CN107257338A

CN107257338A - 媒体数据处理方法、装置及存储介质

Info

Publication number: CN107257338A
Application number: CN201710457646.6A
Authority: CN
Inventors: 陈姿
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd; Tencent Cloud Computing Beijing Co Ltd
Priority date: 2017-06-16
Filing date: 2017-06-16
Publication date: 2017-10-17
Anticipated expiration: 2037-06-16
Also published as: CN107257338B; WO2018228037A1

Abstract

本申请公开了一种媒体数据处理方法，包括：响应于对第一页面中第一媒体内容的选择和对第一控件的操作，向应用服务器发送模仿请求，其中，所述模仿请求携带所述第一媒体内容的标识；响应于来自所述应用服务器的对于所述模仿请求的确认响应，启动图像采集装置；获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容；将所述第二媒体内容的数据发送至所述应用服务器；接收并展示所述应用服务器发送的所述第二媒体内容的相似度，其中，所述相似度通过对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配而得到。本申请还公开了相应的装置及存储介质。

Description

媒体数据处理方法、装置及存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种媒体数据处理方法、装置及存储介质。

背景技术

目前，用户在网站上或者在应用程序(APP)中进行社交活动时，可以对其感兴趣的视频或图片进行模仿，例如，对热门剧中的某个表情及搞笑的视频节目中的某个片段进行模仿，通常用户使用摄像装置将其模仿的内容进行记录，并将其发布到互联网上以供其他用户评论及观赏。

发明内容

本申请提供了一种媒体数据处理方法，该方法包括：响应于对第一页面中第一媒体内容的选择和对第一控件的操作，向应用服务器发送模仿请求，其中，所述模仿请求携带所述第一媒体内容的标识；响应于来自所述应用服务器的对于所述模仿请求的确认响应，启动图像采集装置；获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容；将所述第二媒体内容的数据发送至所述应用服务器；接收并展示所述应用服务器发送的所述第二媒体内容的相似度，其中，所述相似度通过对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配而得到。

本申请还提供了一种媒体数据处理方法，该方法包括：接收应用客户端发送的模仿请求，根据所述模仿请求中携带的第一媒体内容的标识获取所述第一媒体内容的数据；向所述应用客户端发送对于所述模仿请求的确认响应，以使所述应用客户端启动图像采集装置；接收所述应用客户端发送的第二媒体内容的数据；所述第二媒体内容是根据所述图像采集装置采集到的图像数据而生成的；根据所述第一媒体内容和所述第二媒体内容的数据，对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度；将所述第二媒体内容的相似度发送至所述应用客户端，以使所述应用客户端展示所述第二媒体内容的相似度。

本申请还提供了一种媒体数据处理装置，该装置包括：发送模块，响应于对第一页面中第一媒体内容的选择和对第一控件的操作，向应用服务器发送模仿请求，其中，所述模仿请求携带所述第一媒体内容的标识；及将第二媒体内容的数据发送至所述应用服务器；启动模块，响应于来自所述应用服务器的对于所述模仿请求的确认响应，启动图像采集装置；获取模块，获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容；展示模块，接收并展示所述应用服务器发送的所述第二媒体内容的相似度，其中，所述相似度通过对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配而得到。

本申请还提供了一种媒体数据处理装置，该装置包括：接收模块，接收应用客户端发送的模仿请求，根据所述模仿请求中携带的第一媒体内容的标识获取所述第一媒体内容的数据；及接收所述应用客户端发送的第二媒体内容的数据；所述第二媒体内容是根据所述图像采集装置采集到的图像数据而生成的；发送模块，向所述应用客户端发送对于所述模仿请求的确认响应，以使所述应用客户端启动图像采集装置；及将所述第二媒体内容的相似度发送至所述应用客户端，以使所述应用客户端展示所述第二媒体内容的相似度；匹配模块，根据所述第一媒体内容和所述第二媒体内容的数据，对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度。

本申请还提供了一种存储介质，存储有计算机可读指令，可以使至少一个处理器执行上述方法。

采用上述技术方案，能够得到所述第二媒体内容与所述第一媒体内容之间的图像相似度，从而为所述应用客户端提供了新的应用功能，改善了应用客户端的性能。

附图说明

为了更清楚地说明本申请实例中的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请涉及的一种系统构架示意图；

图2是本申请一实例的方法流程图；

图3是本申请涉及的一种用户界面示意图；

图4是本申请涉及的另一种用户界面示意图；

图5是本申请涉及的又一种用户界面示意图；

图6是本申请涉及的又一种用户界面示意图；

图7是本申请另一实例的方法流程图；

图8是本申请媒体数据处理方法的消息交互图；

图9是本申请一实例的装置结构图；

图10是本申请另一实例的装置结构图；及

图11是本申请一实例的设备结构图。

具体实施方式

下面将结合本申请实例中的附图，对本申请实例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。

本申请提出一种媒体数据处理方法，该方法可应用于图1所示的系统构架中。如图1所示，该系统构架包括：应用客户端101和应用服务器102，应用客户端101和应用服务器102通过互联网103进行通信。

用户使用应用客户端101(如视频APP或专门用于图像模仿的APP)访问应用服务器102，比如：观看在线视频等，应用服务器102可以是提供各种互联网服务的网站服务器，比如：门户网站服务器、提供在线视频播放服务的服务器、社交平台的服务器及专门用于图像模仿的应用服务器等等。这里，专门用于图像模仿的APP可以为视频或图片模仿APP、表情模仿APP等等。

当一用户正使用应用客户端101访问应用服务器102中的媒体内容(如视频)时，可以触发应用客户端101中的模仿功能进行图像模仿，应用客户端101响应于触发操作，向应用服务器102发送模仿请求，其中，所述模仿请求携带所述第一媒体内容的标识。应用服务器102响应于上述模仿请求，根据所述第一媒体内容标识获取所述第一媒体内容，之后，向应用客户端101发送对于所述模仿请求的确认响应。应用客户端101响应于上述对于所述模仿请求的确认响应，启动图像采集装置。应用客户端101获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容，并将所述第二媒体内容的数据发送至应用服务器102；应用服务器102将所述第二媒体内容与所述第一媒体内容进行图像相似度匹配，得到所述第二媒体内容的相似度，并将所述相似度发送至应用客户端101，应用客户端101接收并展示所述相似度。

在一些实例中，所得到的第二媒体内容的相似度可以是一个打分值(比如：可以在应用客户端显示为“99分”等)，这个分值可以体现第二媒体内容中图像与第一媒体内容图像之间的相似度。在实际应用场景中，应用客户端101中的模仿功能可能用于图像中角色表情的模仿，比如：某个影视剧中人物、动物等的表情模仿，应用客户端101获得的第二媒体内容可以是现场拍摄的用户模仿某个图片或者视频(即一种第一媒体内容，可简称被模仿的图像)中某个角色表情的图片或者视频(简称模仿图像)，并能从应用服务器102获得此模仿图像与被模仿的图像之间的相似度分值，进而用户可以知道当前模仿的角色表情的相似度有多高。

在一些实例中，本申请提出的媒体数据处理方法可应用于应用客户端101，如图2所示，该方法包括以下步骤：

步骤201：响应于对第一页面中第一媒体内容的选择和对第一控件的操作，向应用服务器发送模仿请求，其中，所述模仿请求携带所述第一媒体内容的标识。

其中，所述第一媒体内容包括视频、图片等，如搞笑或夸张的小视频和图片。这里，所述第一媒体内容(即用户要模仿的图片或视频)可以为用户从应用客户端101(如视频app)展示的视频或相册中截取的图片或视频，也可以是从本地相册选择的本地视频或图片，此时，应用客户端101可从页面中选择其截取获得的第一媒体内容或本地相册中的第一媒体内容，其所发出的所述模仿请求可携带所述第一媒体内容的数据及其标识。所述第一媒体内容也可为应用服务器102提供的，应用客户端101访问应用服务器102提供的页面时，可以浏览到页面中提供的各个第一媒体内容的信息(可包括：封面图片、标题、链接等)，此时，应用客户端101可从页面中选择一个第一媒体内容，其所发出的所述模仿请求可以不携带所述第一媒体内容的数据，而仅携带所述第一媒体内容的标识。

在一些实例中，应用服务器102提供的第一媒体内容，可以是提供此模仿应用服务的一方上传并发布到应用服务器102的，也可以是其它个人用户通过其它应用客户端上传并发布到应用服务器102的。相应的，应用客户端101在从正在展示的某个视频或相册中截取到图片或视频后，可以把它作为用户生成内容(UGC)上传并发布到应用服务器102，这种UGC可以作为供各种用户模仿的第一媒体内容。

例如，所述第一控件可以为如图3所示的“模仿秀”控件(按钮)302，或如图4所示的“模仿秀”控件402。图3为本申请涉及的一种用户界面示意图，在如图3所示的页面(即步骤201中的第一页面)中，301所示的区域正在播放视频，303所示的小视频为当前用户或其他用户从当前播放视频截取的相关部分，或者为视频app或视频服务器提供的小视频，提供在当前页面所示的303区域展示部分小视频，点击“更多”控件304后，切换至如图4所示的页面，该页面中展示更多的小视频(该页面可以具有滚动条及上下箭头按钮，使得用户查看更多的小视频或者剧照)。应用客户端101也可不经过图3所示页面的操作而直接展示图4所示的页面，即作为步骤201中的第一页面。如401所示，该小视频为某一用户截取，其他用户可对该小视频进行互动，如点赞、评论以及模仿该小视频(即触发“模仿秀”控件402)等。如图4所示，其他用户还可以对某一用户截取的剧照(即图片)进行互动，比如：点击了图4所示页面中的标签“剧照”，则可以展示若干剧照照片，用户可以从中选择要模仿的剧照照片。所述要模仿的小视频可以通过如图3所示的控件(按钮)305，或如图4所示的控件403进行选定。即“模仿秀”控件可以位于图3所示的页面中，用户操作“模仿秀”控件302后，选择其要模仿的小视频或剧照；或者“模仿秀”控件位于图4所示的页面中，针对其选定的某一个小视频或剧照进行模仿。

步骤202：响应于来自所述应用服务器的对于所述模仿请求的确认响应，启动图像采集装置。

这里，所述确认响应为所述应用服务器102告知所述应用客户端101可以开始模仿的指令，所述应用客户端101响应于此指令启动自身所在终端设备中的图像采集装置(也可称为摄像装置，如自身所在智能手机的摄像头)。

例如，应用客户端101为视频app，视频app接收应用服务器102发送的模仿指令后，从如图3所示的页面或如图4所示的页面切换至如图5所示的页面，即视频app进入开始模仿的页面。图5为本申请涉及的一种图像模仿的界面，501所示的区域包括进行图像模仿的用户头像及昵称；502为用户选定的要模仿的图像，如小视频，如用户选中了图3或图4页面中的小视频1，则在视频app切换页面至图5时，小视频1导入到图5所示的页面中。

在一些实例中，在所述将当前页面切换至模仿页面之后，所述应用客户端101启动图像采集装置，则开始通过图像采集装置采集第二媒体内容的数据。

这里，应用客户端101将当前页面切换至模仿页面后，首先请求设备中的摄像装置，若成功连接设备中的摄像装置，则尝试读取摄像装置采集的测试图像，应用客户端101可以通过该测试图像辨别摄像装置是否工作正常，之后，给用户时间提示以便用户开始进行图像模仿，应用客户端101则开始通过摄像装置采集所述第二媒体内容的数据；若不能成功连接设备中的摄像装置，则再次尝试连接，可重复多次。

例如，视频app将图3或如图4所示的页面切换至如图5所示的页面后，首先请求智能设备，如手机中的摄像装置，如摄像头，若能成功连接该手机中的摄像头，则给用户倒计时时间提示，如507，倒计时结束后，用户可以通过操作控件503进行开始图像模仿，在该图像模仿的过程中，视频app自动保存模仿图像(即第二媒体内容)的数据，形成用户模仿图像，若用户操作控件505(指示重录)或控件506(指示取消)，则视频app放弃保存所述模仿图像，即删除已录制的模仿图像。控件505可以为“重录”控件，控件506可以为“取消”控件。在507所示的区域，在倒计时提示结束后，还用于显示502区域中小视频的播放时间进度。

步骤203：获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容。

在一些实例中，所述获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容，包括：展示第二页面；在所述第二页面中展示所述图像采集装置的图像采集实时画面；响应于对所述二页面中第二控件的操作，开始录制所述图像采集装置采集到的图像数据；当录制结束条件满足时，停止录制所述图像数据并生成所述第二媒体内容。

例如，所述第二页面如图5所示，在504所示的区域展示所述图像采集装置(如摄像头)的图像采集实时画面，当用户操作控件503(即第二控件)时，视频app开始录制所述图像采集装置采集到的图像数据；当502区域中的小视频(即第一媒体内容)的播放时间进度结束或者用户点击结束按钮时，视频app停止录制所述图像数据并生成如图6中604所示的模仿视频(即第二媒体内容)。

在一些实例中，所述方法进一步包括：响应于对所述二页面中所述第二控件的操作，开始在所述第二页面中展示所述第一媒体内容；其中，所述录制结束条件包括所述第一媒体内容展示完毕。

例如，在如图5所示的第二页面中，当用户操作控件503时(即视频app开始录制模仿视频)，视频app开始播放502区域中的小视频1(即第一媒体内容)，当小视频1的播放时间进度结束时，视频app录制结束。

在一些实例中，所述方法进一步包括：响应于对所述第二页面中第三控件的操作，停止录制所述图像数据并删除已录制的图像数据。

例如，在如图5所示的第二页面中，当用户操作控件506时，视频app停止录制所述图像数据并删除已录制的图像数据。

在一些实例中，所述方法进一步包括：响应于对所述第二页面中第四控件的操作，停止录制所述图像数据，删除已录制的图像数据，并重新开始录制所述图像采集装置采集到的图像数据。

例如，所述第四控件为图5中的“重录”控件505，当用户操作控件505后，视频app响应于上述操作，停止录制所述图像数据，删除已录制的图像数据，并重新开始录制所述图像采集装置采集到的图像数据。

步骤204：将所述第二媒体内容的数据发送至所述应用服务器。

其中，所述将所述第二媒体内容的数据发送至所述应用服务器，可以是采集所述第二媒体内容的数据结束之后，应用客户端101将采集完成的所述第二媒体内容的数据发送至所述应用服务器，同时，应用客户端101将所述第一媒体内容和所述第一媒体内容并列布置在页面中，以便用户对两者进行比较。

例如，在用户模仿结束后(如小视频1的播放时间进度结束)，视频app将如图5所示的页面切换至如图6所示的页面，并在604所示的区域展示所述模仿图像(如模仿视频)，所述模仿图像与602所示的小视频1并列布置，用户点击小视频1和模仿视频，就可同时播放小视频1和模仿视频，这样可以便于用户对两者进行比较，确定模仿效果，同时在607所示的区域展示小视频1的时间进度。

这里，应用客户端101将采集完成的所述第二媒体内容的数据进行保存，并将所述第二媒体内容的数据发送至所述应用服务器102，以便所述应用服务器102根据所述第一媒体内容对所述第二媒体内容进行处理。

步骤205：接收并展示所述应用服务器发送的所述第二媒体内容的相似度，其中，所述相似度通过对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配而得到。

在一些实例中，所述方法进一步包括：在获取所述第二媒体内容后，在第二页面中展示所述第二媒体内容的标识；在所述第二页面中展示所述第二媒体内容的所述相似度；响应于对所述第二媒体内容的标识的操作，展示所述第二媒体内容。

例如，在如图6所示的页面中，视频app录制的模仿视频显示在604所示的区域，用户可以对该模仿视频进行预览，在601区域展示所述模仿图像的得分(即相似度)，如图所示的93分。

在一些实例中，所述方法进一步包括：响应于对所述第二页面中第五控件的操作，将所述第二媒体内容发布到所述应用服务器，以使所述应用服务器为所述第二媒体内容生成链接地址。

例如，图6所示的页面还提供有“发布”控件603(即第五控件)以供用户将所述模仿图像发布到应用服务器102，之后，当用户和其它用户访问应用服务器的相应页面时，即可看到此模仿图像的信息，并可点击播放。当模仿图像成功发布到应用服务器102之后，应用服务器102可在图6所述的页面或者新的页面中给出分享选项，用户通过操作该分享选项，可以将模仿图像分享给其社交关系链中的好友或群组(如微博、微信、QQ中的好友或群组等)，或者将模仿图像分享到空间、微博、朋友圈等等。当用户操作控件603后，视频app将录制的用户模仿视频(即第二媒体内容)发布到视频服务器，视频服务器为所述模仿视频生成链接地址，以便其他用户访问视频app的公开页面(如“动态”)时，可以在公开页面中看到这个链接地址，点击播放所述模仿视频。

在一些实例中，所述方法进一步包括：响应于对所述第二页面中第六控件的操作，将所述第二媒体内容保存在本地并生成本地的链接地址。

例如，所述第六控件可以为图6中的“保存”控件606，当用户操作控件606后，视频app将录制的用户模仿视频(即第二媒体内容)保存在本地并生成本地的链接地址，之后，当用户访问本地作品页面时，会展示此链接地址，点击该链接地址可以播放视频；如图6所示的页面中还提供有“重录”控件605，该控件可以使得用户在不满意当前录制的所述模仿图像时，再次录制。

通过采用上述技术方案，可以得到所述第二媒体内容与所述第一媒体内容之间的图像相似度，从而为所述应用客户端提供了新的应用功能，改善应用客户端的性能，进一步的提高了用户使用应客户端的趣味、娱乐性以及社交属性，提高该应用客户端的展示效果，从而进一步提高用户的体验效果。

在一些实例中，本申请还提出一种媒体数据处理方法，该方法应用于应用服务器102，如图7所示，该方法包括以下步骤：

步骤701：接收应用客户端发送的模仿请求，根据所述模仿请求中携带的第一媒体内容的标识获取所述第一媒体内容的数据。

步骤702：向所述应用客户端发送对于所述模仿请求的确认响应，以使所述应用客户端启动图像采集装置。

在一些实例中，所述方法进一步包括：预先设置训练集，其中，训练集包括N组相似的图像，N为大于1的整数；利用预设的公式模板，采用所述训练集训练得到用于计算图像距离的公式；其中，所述公式包括各图像特征的权重，一个权重表示一个图像中一个特征对图像距离的贡献度。

在一些实例中，所述方法进一步包括：预先设置测试样本，其中，测试样本包括M个图像，M为大于1的整数；利用所述用于计算图像距离的公式分别计算所述测试样本中M个图像与所述第一媒体内容中图像的M个图像距离；根据所述M个图像距离，建立图像距离与相似度分值之间的对应关系。

具体的，应用服务器102向应用客户端101发送对于所述模仿请求的确认响应后，根据所述第一媒体内容的标识获取所述第一媒体内容的数据，并建立图像距离与相似度分值之间的对应关系，所述对应关系求解过程如下：

首先，求解权重w_i。任意两个相似的表情图像I，T，表情图像I和表情图像T的相似性度量具体可以采用基于几何特征的表情相似性度量方法，表情图像I和表情图像T的相似距离(或图像距离)为：

其中，w_i≥0(i＝1,2,…,p+q)表示第i个特征的权重，且满足该特征为形状特征或形变特征；δ≥0为权值作用系数；d_i(I,T)表示为第i个特征的差异，且具体以公式(2)表示：

其中，和为表情图像I和表情图像T的形状特征集合，和为表情图像I和表情图像T的形变特征集合，p表示表情区域数目，q表示需要度量的形变特征数目。

为确定权重w_i，筛选N组相似的表情图像(I_n,T_n)作为训练集，该训练集可以为由宾厄姆顿大学提供的BU-3DFE(Binhamton University 3D Facial Expression)数据库中的数据，相似的表情要求表情的类别(BU-3DFE数据库中将类别分为中性、高兴、厌恶、生气、恐惧、伤心和惊讶)相同及表情的强度(BU-3DFE数据库中将强度分为4个级别，强度1、强度2、强度3及强度4)相同，该数据库包含100个测试者，每个测试者均具有中性及6类基本表情，且每个基本表情具有4个强度。为达到与人无关的表情相似性度量，随机选择50个人表情图像并将任意两人同类别同强度的表情作为一组，即将产生的组相似表情作为训练集，即并将w_i的求解过程转化为相似距离目标函数J_w最小化，即

令则式(3)可简化为

由式(4)可知，δ＝0为无特征加权，δ＝1为线性特征加权，即为线性规划问题，可由单纯形方法求解其最优w_i，但实验表明其度量结果不佳。通过实验比较，本文选取权值作用系数δ＝2，故式(4)最小化问题转化为二次规划问题并可利用拉格朗日条件极值法求解J_w极值，引入拉格朗日函数：

对上式w_i和λ分别求偏导数，并令两个偏导数等于0，可得

解上述方程组可得

其中，w_i反映第i个特征对表情相似距离的贡献度，一般地，眉毛、眼睛、嘴巴这些区域的形状特征对表情的表达效果较显著，脸颊下巴次之，而鼻子往往不能体现表情变化；同时各个区域的形变幅度也不尽相同，即各个区域的形变特征对表情相似距离的贡献度也不同，嘴部区域的形变幅度大于眼睛区域，眉毛区域的形变幅度也不及嘴巴和脸颊。

其次，建立图像距离与相似度分值之间的对应关系。利用式(7)求得w_i后，通过式(1)分别求解BU-3DFE数据库中M(M为余下的50个人的50×24＝1200幅表情图像)个样本与所述第一媒体内容中表情图像的M个图像距离，并建立图像距离与相似度分值之间的对应关系，例如将上述M个图像距离划分为100个间隔，其中，每一个间隔中包括若干个图像距离，每一间隔相应地分别对应1～100分中的某一个分值，如落在第86个间隔的某个图像距离对应86分。

在一些实例中，当所述第一媒体内容和所述第二媒体内容包括视频时，所述第一媒体内容的数据和所述第二媒体内容的数据均包括多个帧图像，针对所述第一媒体内容数据中的每一帧图像进行如下处理：预先设置测试样本，其中，测试样本包括M个图像，M为大于1的整数；利用所述用于计算图像距离的公式分别计算所述测试样本中M个图像与所述第一媒体内容中该帧图像的图像距离；根据所述M个图像距离，建立图像距离与相似度分值之间的对应关系。

具体的，在本申请中，所述应用服务器接收应用客户端发送的所述第一媒体内容(如小视频)后，基于BU-3DFE数据库中的N组相似的表情图像(I_n,T_n)训练集求得w_i，然后对小视频中的每一帧表情图像，利用公式(1)分别计算测试样本中M个图像与所述第一媒体内容中该帧图像的图像距离，根据所述M个图像距离，建立图像距离与相似度分值之间的对应关系。。

步骤703：接收所述应用客户端发送的第二媒体内容的数据。所述第二媒体内容是根据所述图像采集装置采集到的图像数据而生成的。

步骤704：根据所述第一媒体内容和所述第二媒体内容的数据，对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度。

在一些实例中，所述对第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度，包括：根据所述第一媒体内容和所述第二媒体内容的数据，利用所述用于计算图像距离的公式计算所述第二媒体内容的图像与所述第一媒体内容的图像之间的图像距离；根据所述对应关系，确定所述第二媒体内容的图像与所述第一媒体内容的图像之间的图像距离对应的相似度分值。

在一些实例中，当所述第一媒体内容和所述第二媒体内容包括视频时，所述第一媒体内容的数据和所述第二媒体内容的数据均包括多个帧图像，所述对第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度，包括：针对所述第二媒体内容数据中的每一帧图像进行如下处理：利用所述用于计算图像距离的公式计算所述第二媒体内容中该帧图像与所述第一媒体内容中相应帧图像之间的图像距离；根据所述对应关系，确定所述第二媒体内容中该帧图像与所述第一媒体内容中相应帧图像之间的图像距离对应的相似度分值；最后，根据所述第二媒体内容的所有帧图像的相似度分值，确定所述第二媒体内容的相似度分值。

这里，例如可以将所述第二媒体内容的所有帧图像的相似度分值的平均值或加权平均值，确定所述第二媒体内容的相似度分值。

例如，所述第一媒体内容为小视频时，应用服务器102可以对小视频中连续的表情动作进行采集，以及对所述第二媒体内容中相应的表情动作进行采集，将所述连续的表情动作中的每一帧图像分别进行相似性度量；或者所述第一媒体内容为剧照时，应用服务器102对所述第二媒体内容与所述第一媒体内容进行相似性度量。

步骤705：将所述第二媒体内容的相似度发送至所述应用客户端，以使所述应用客户端展示所述第二媒体内容的相似度。

图8示出了本申请一实例的消息交互图，在此实例中，视频app对应于上文的应用客户端，可包括能够实现上述方法的模仿模块；视频服务器对应于前述的应用服务器，可包括用于实现上述方法的相似匹配模块。如图8所示，包括如下步骤：

步骤801：响应于用户的操作，所述操作可以为用户点击视频app播放某一视频页面中的“模仿秀”按钮，如图3所示，或用户点击视频app展示多个小视频页面中的“模仿秀”按钮，如图4所示，视频app向视频服务器发送模仿请求，所述模仿请求携带用户通过控件305或控件403选中的要模仿的小视频，其中，所述小视频为其他用户在其观看的视频中截取的一部分或视频app或视频服务器提供的一段视频，时长可以为几秒或几十秒。

步骤802：视频服务器响应于上述模仿请求，将上述小视频保存，保存完毕后，向视频app发送对于所述模仿请求的确认响应，以告知视频app可以进入模仿阶段。同时，视频服务器中的相似匹配模块基于由宾厄姆顿大学提供的BU-3DFE数据库中的数据，建立图像距离与相似度分值之间的对应关系。

步骤803：视频app接收上述对于所述模仿请求的确认响应后，将视频app的界面切换至模仿界面，如图5所示，并启动摄像头，读取摄像头信息。

步骤804：视频app成功读取到摄像头信息后，给用户时间提示(如倒计时)，如507所示，让用户准备开始模仿。

步骤805：视频app通过摄像头采集用户模仿的图像数据，并自动保存所述图像数据，根据所述图像数据录制模仿视频，将所述模仿视频发送至视频服务器。

步骤806：视频服务器中的相似度匹配模块将所述小视频与所述用户模仿视频进行图像相似度匹配，得到相似度分值。

在一些实例中，可利用公式(1)计算模仿视频中每一帧表情图像与小视频中相应帧表情图像的图像距离，并根据所述对应关系，确定该帧表情图像与所述第一媒体内容中相应帧图像之间的图像距离对应的相似度分值。因所述小视频和模仿图像包含至少一个连续的表情动作，即包含多个连续帧，该模仿图像中连续的表情动作的最终得分可以通过该连续表情动作的每一帧表情图像的相似度分值的加权平均得到。

步骤807：将所述模仿视频的相似度分值发送至视频app，以使得所述视频app展示该相似度分值。

步骤808：响应于“发布”操作，将所述模仿视频发布至本视频app的应用服务器，使得视频app的其它用户也可以浏览到此模仿视频，进一步的视频app还可以提供分享选项，以将该模仿视频分享到其他app，如分享给当前视频app用户的诸如微博、微信、QQ等社交应用中的好友或群组，或者分享到微博、QQ空间或微信朋友圈等；或响应于“重录”控件，返回至步骤803；或响应于“保存”，将所述模仿视频保存在本地，以供用户后续进行查看等。

基于上述实例提供的方法，本申请还提出了一种媒体数据处理装置900，如图9所示，所述装置900包括：

发送模块901，响应于对第一页面中第一媒体内容的选择和对第一控件的操作，向应用服务器发送模仿请求，其中，所述模仿请求携带所述第一媒体内容的标识；及将第二媒体内容的数据发送至所述应用服务器。

启动模块902，响应于来自所述应用服务器的对于所述模仿请求的确认响应，启动图像采集装置。

获取模块903，获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容。

展示模块904，接收并展示所述应用服务器发送的所述第二媒体内容的相似度，其中，所述相似度通过对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配而得到。

在一些实例中，所述展示模块展示第二页面；在所述第二页面中展示所述图像采集装置的图像采集实时画面；响应于对所述二页面中第二控件的操作，所述获取模块903开始录制所述图像采集装置采集到的图像数据；当录制结束条件满足时，所述获取模块903停止录制所述图像数据并生成所述第二媒体内容。

在一些实例中，在所述获取模块903获取所述第二媒体内容后，所述展示模块进一步在第二页面中展示所述第二媒体内容的标识；及在所述第二页面中进一步展示所述第二媒体内容的所述相似度；响应于对所述第二媒体内容的标识的操作，所述展示模块展示所述第二媒体内容。

在一些实例中，本申请还提供了一种媒体数据处理装置1000，如图10所示，该装置1000包括：

接收模块1001，接收应用客户端发送的模仿请求，根据所述模仿请求中携带的第一媒体内容的标识获取所述第一媒体内容的数据；及接收所述应用客户端发送的第二媒体内容的数据；

发送模块1002，向所述应用客户端发送对于所述模仿请求的确认响应，以使所述应用客户端启动图像采集装置；及将所述第二媒体内容的相似度发送至所述应用客户端，以使所述应用客户端展示所述第二媒体内容的相似度；

匹配模块1003，根据所述第一媒体内容和所述第二媒体内容的数据，对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度。

上述各模块功能的具体实现原理在前文已有描述，这里不再赘述。

另外，在本申请各个实例中的媒体数据处理方法和媒体数据处理装置以及其中的各模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上装置或模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

在一实例中，上述的媒体数据处理装置可运行在各种可基于互联网而进行用户信息处理的计算设备中，并加载在该计算设备的存储器中。

图11示出了媒体数据处理装置所在的计算设备的组成结构图。如图11所示，该计算设备包括一个或者多个处理器(CPU)1102、通信模块1104、存储器1106、用户接口1110，以及用于互联这些组件的通信总线1108。

处理器1102可通过通信模块1104接收和发送数据以实现网络通信和/或本地通信。

用户接口1110包括一个或多个输出设备1112，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1110也包括一个或多个输入设备1114，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。

存储器1106可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器1106存储处理器1102可执行的指令集，包括：

操作系统1116，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用1118，包括用于实现媒体数据处理的各种程序，这种程序能够实现上述各实例中的处理流程，比如可以包括图9所示的装置900和/或图10所示的装置1000。

在一些实例中，装置900可包括图9所示的各模块901～904，各模块901～904可以存储有机器可执行指令。处理器1102通过执行存储器1106中各模块901～904中的机器可执行指令，进而能够实现上述各模块901～904的功能。

在一些实例中，装置1000可包括图10所示的各模块1001～1003，各模块1001～1003可以存储有机器可执行指令。处理器1102通过执行存储器1106中各模块1001～1003中的机器可执行指令，进而能够实现上述各模块1001～1003的功能。

另外，本申请的每一个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述方法的任何一种实例。

另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。

以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种媒体数据处理方法，其特征在于，该方法包括：

响应于对第一页面中第一媒体内容的选择和对第一控件的操作，向应用服务器发送模仿请求，其中，所述模仿请求携带所述第一媒体内容的标识；

响应于来自所述应用服务器的对于所述模仿请求的确认响应，启动图像采集装置；

获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容；

将所述第二媒体内容的数据发送至所述应用服务器；

接收并展示所述应用服务器发送的所述第二媒体内容的相似度，其中，所述相似度通过对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配而得到。

2.根据权利要求1所述的方法，其中，所述获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容，包括：

展示第二页面；

在所述第二页面中展示所述图像采集装置的图像采集实时画面；

响应于对所述二页面中第二控件的操作，开始录制所述图像采集装置采集到的图像数据；

当录制结束条件满足时，停止录制所述图像数据并生成所述第二媒体内容。

3.根据权利要求2所述的方法，进一步包括：

响应于对所述二页面中所述第二控件的操作，开始在所述第二页面中展示所述第一媒体内容；

其中，所述录制结束条件包括所述第一媒体内容展示完毕。

4.根据权利要求2或3所述的方法，进一步包括：

响应于对所述第二页面中第四控件的操作，停止录制所述图像数据，删除已录制的图像数据，并重新开始录制所述图像采集装置采集到的图像数据。

5.根据权利要求1所述的方法，进一步包括：

在获取所述第二媒体内容后，在第二页面中展示所述第二媒体内容的标识；

在所述第二页面中展示所述第二媒体内容的所述相似度；

响应于对所述第二媒体内容的标识的操作，展示所述第二媒体内容。

6.根据权利要求5所述的方法，进一步包括：

响应于对所述第二页面中第五控件的操作，将所述第二媒体内容发布到所述应用服务器，以使所述应用服务器为所述第二媒体内容生成链接地址。

7.一种媒体数据处理方法，其特征在于，该方法包括：

接收应用客户端发送的模仿请求，根据所述模仿请求中携带的第一媒体内容的标识获取所述第一媒体内容的数据；

向所述应用客户端发送对于所述模仿请求的确认响应，以使所述应用客户端启动图像采集装置；

接收所述应用客户端发送的第二媒体内容的数据；所述第二媒体内容是根据所述图像采集装置采集到的图像数据而生成的；

根据所述第一媒体内容和所述第二媒体内容的数据，对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度；

将所述第二媒体内容的相似度发送至所述应用客户端，以使所述应用客户端展示所述第二媒体内容的相似度。

8.根据权利要求7所述的方法，进一步包括：

预先设置训练集，其中，训练集包括N组相似的图像，N为大于1的整数；

利用预设的公式模板，采用所述训练集训练得到用于计算图像距离的公式；其中，所述公式包括各图像特征的权重，一个权重表示一个图像中一个特征对图像距离的贡献度。

9.根据权利要求8所述的方法，进一步包括：

预先设置测试样本，其中，测试样本包括M个图像，M为大于1的整数；

利用所述用于计算图像距离的公式分别计算所述测试样本中M个图像与所述第一媒体内容中图像的M个图像距离；

根据所述M个图像距离，建立图像距离与相似度分值之间的对应关系；

其中，所述对第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度，包括：

根据所述第一媒体内容的数据和所述第二媒体内容的数据，利用所述用于计算图像距离的公式计算所述第二媒体内容的图像与所述第一媒体内容的图像之间的图像距离；

根据所述对应关系，确定所述第二媒体内容的图像与所述第一媒体内容的图像之间的图像距离对应的相似度分值。

10.根据权利要求8所述的方法，其中，当所述第一媒体内容和所述第二媒体内容包括视频时，所述第一媒体内容的数据和所述第二媒体内容的数据均包括多个帧图像，

针对所述第一媒体内容数据中的每一帧图像进行如下处理：

利用所述用于计算图像距离的公式分别计算所述测试样本中M个图像与所述第一媒体内容中该帧图像的图像距离；

根据M个所述图像距离，建立图像距离与相似度分值之间的对应关系；

针对所述第二媒体内容数据中的每一帧图像进行如下处理：

利用所述用于计算图像距离的公式计算所述第二媒体内容中该帧图像与所述第一媒体内容中相应帧图像之间的图像距离；

根据所述对应关系，确定所述第二媒体内容中该帧图像与所述第一媒体内容中相应帧图像之间的图像距离对应的相似度分值；

根据所述第二媒体内容的所有帧图像的相似度分值，确定所述第二媒体内容的相似度分值。

11.一种媒体数据处理装置，其特征在于，该装置包括：

发送模块，响应于对第一页面中第一媒体内容的选择和对第一控件的操作，向应用服务器发送模仿请求，其中，所述模仿请求携带所述第一媒体内容的标识；及将第二媒体内容的数据发送至所述应用服务器；

启动模块，响应于来自所述应用服务器的对于所述模仿请求的确认响应，启动图像采集装置；

获取模块，获取根据所述图像采集装置采集到的图像数据而生成的第二媒体内容；

展示模块，接收并展示所述应用服务器发送的所述第二媒体内容的相似度，其中，所述相似度通过对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配而得到。

12.根据权利要求11所述的装置，其中，

所述展示模块展示第二页面；在所述第二页面中展示所述图像采集装置的图像采集实时画面；

响应于对所述二页面中第二控件的操作，所述获取模块开始录制所述图像采集装置采集到的图像数据；当录制结束条件满足时，所述获取模块停止录制所述图像数据并生成所述第二媒体内容。

13.根据权利要求11所述的装置，其中，

在所述获取模块获取所述第二媒体内容后，所述展示模块进一步在第二页面中展示所述第二媒体内容的标识；及在所述第二页面中进一步展示所述第二媒体内容的所述相似度；响应于对所述第二媒体内容的标识的操作，所述展示模块进一步展示所述第二媒体内容。

14.一种媒体数据处理装置，其特征在于，该装置包括：

接收模块，接收应用客户端发送的模仿请求，根据所述模仿请求中携带的第一媒体内容的标识获取所述第一媒体内容的数据；及接收所述应用客户端发送的第二媒体内容的数据；所述第二媒体内容是根据所述图像采集装置采集到的图像数据而生成的；

发送模块，向所述应用客户端发送对于所述模仿请求的确认响应，以使所述应用客户端启动图像采集装置；及将所述第二媒体内容的相似度发送至所述应用客户端，以使所述应用客户端展示所述第二媒体内容的相似度；

匹配模块，根据所述第一媒体内容和所述第二媒体内容的数据，对所述第二媒体内容与所述第一媒体内容进行图像相似度匹配，确定所述第二媒体内容的相似度。

15.一种存储介质，其特征在于，存储有计算机可读指令，可以使至少一个处理器执行如权利要求1至10任一项所述的方法。