CN106557731A - 一种多媒体数据的浏览方法和装置 - Google Patents

Abstract

本发明实施例提供了一种多媒体数据的浏览方法和装置，该方法包括：当检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；对所述图像数据进行人脸检测，获得第一人脸数据；查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；展示所述第二多媒体数据的媒体信息。本发明实施例避免了用户人工浏览每张照片、每个视频进行筛选，大大减少了时间的耗费，提高了效率。

Description

一种多媒体数据的浏览方法和装置

技术领域

本发明涉及多媒体处理的技术领域，特别是涉及一种多媒体数据的浏览方法和一种多媒体数据的浏览装置。

背景技术

随着移动通信技术的发展，诸如手机等移动设备广泛普及，给人们在的生活、学习、工作带来了极大的便利。

这些移动设备大多都配置了摄像头，使得拍照、视频成为移动设备的一个重要应用。

由于拍照、视频的成本很低，用户可以随时随地拍照、视频，因此，在长期的使用过程中，通常会累积大量的照片、视频。

若用户需要对某个人整理照片，需要人工浏览每张照片、每个视频，筛选出具有该人的照片、视频，耗费了用户大量的时间，效率很低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种多媒体数据的浏览方法和相应的一种多媒体数据的浏览装置。

依据本发明的一个方面，提供了一种多媒体数据的浏览方法，包括：

当检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；

对所述图像数据进行人脸检测，获得第一人脸数据；

查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；

展示所述第二多媒体数据的媒体信息。

可选地，所述查找与所述第一人脸数据匹配的一个或多个第二多媒体数据的步骤包括：

计算所述第一人脸数据与预先采集的第二人脸数据的第一相似度；所述第二人脸数据关联一个或多个第二多媒体数据；

当所述第一相似度超过预设的第一相似度阈值时，提取所述一个或多个第二多媒体数据。

可选地，还包括：

当所述媒体信息被触发时，加载所述第二多媒体数据。

可选地，所述加载所述第二多媒体数据的步骤包括：

当所述第二多媒体数据为图像数据时，展示所述第二多媒体数据；

标记所述第二多媒体数据关联的第二人脸数据在所在的位置。

可选地，所述加载所述第二多媒体数据的步骤包括：

当所述第二多媒体数据为视频数据时，播放所述第二多媒体数据；

标记所述第二人脸数据所在的时间区域。

可选地，所述播放所述第二多媒体数据的步骤包括：

按照时间信息的顺序播放多个相似的第二多媒体数据；

其中，所述相似的第二多媒体数据为具有相似或相同的第二人脸数据、相似或相同的图像数据帧的第二多媒体数据。

可选地，还包括：

对存储的多个第二多媒体数据进行人脸检测，获得多个第二人脸数据；

计算所述多个第二人脸数据之间的第二相似性；

当所述第二相似性超过预设的第二相似度阈值时，建立所述多个第二多媒体数据与所述多个第二人脸数据的关联关系。

可选地，还包括：

当某个第二多媒体数据为图像数据时，记录所述第二人脸数据在所在的位置。

可选地，还包括：

当某个第二多媒体数据为视频数据时，记录所述第二人脸数据所在的时间区域。

可选地，还包括：

当多个第二多媒体数据为视频数据时，提取所述多个第二多媒体数据中的图像数据帧；

计算所述图像数据帧之间的第三相似度；

当所述第三相似性超过预设的第三相似度阈值时，确认所述多个第二多媒体数据为相似的第二多媒体数据。

根据本发明的另一方面，提供了一种多媒体数据的浏览装置，包括：

图像数据提取模块，适于在检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；

第一人脸检测模块，适于对所述图像数据进行人脸检测，获得第一人脸数据；

多媒体数据查找模块，适于查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；

媒体信息展示模块，适于展示所述第二多媒体数据的媒体信息。

可选地，所述第一人脸检测模块还适于：

计算所述第一人脸数据与预先采集的第二人脸数据的第一相似度；所述第二人脸数据关联一个或多个第二多媒体数据；

当所述第一相似度超过预设的第一相似度阈值时，提取所述一个或多个第二多媒体数据。

可选地，还包括：

多媒体数据加载模块，适于在所述媒体信息被触发时，加载所述第二多媒体数据。

可选地，所述多媒体数据加载模块还适于：

当所述第二多媒体数据为图像数据时，展示所述第二多媒体数据；

标记所述第二多媒体数据关联的第二人脸数据在所在的位置。

可选地，所述多媒体数据加载模块还适于：

当所述第二多媒体数据为视频数据时，播放所述第二多媒体数据；

标记所述第二人脸数据所在的时间区域。

可选地，所述多媒体数据加载模块还适于：

按照时间信息的顺序播放多个相似的第二多媒体数据；

其中，所述相似的第二多媒体数据为具有相似或相同的第二人脸数据、相似或相同的图像数据帧的第二多媒体数据。

可选地，还包括：

第二人脸检测模块，适于对存储的多个第二多媒体数据进行人脸检测，获得多个第二人脸数据；

人脸相似性计算模块，适于计算所述多个第二人脸数据之间的第二相似性；

关联关系建立模块，适于在所述第二相似性超过预设的第二相似度阈值时，建立所述多个第二多媒体数据与所述多个第二人脸数据的关联关系。

可选地，还包括：

位置记录模块，适于在某个第二多媒体数据为图像数据时，记录所述第二人脸数据在所在的位置。

可选地，还包括：

时间区域记录模块，适于在某个第二多媒体数据为视频数据时，记录所述第二人脸数据所在的时间区域。

可选地，还包括：

图像数据帧提取模块，适于在多个第二多媒体数据为视频数据时，提取所述多个第二多媒体数据中的图像数据帧；

图像数据帧相似度计算模块，适于计算所述图像数据帧之间的第三相似度；

相似确定模块，适于在所述第三相似性超过预设的第三相似度阈值时，确认所述多个第二多媒体数据为相似的第二多媒体数据。

本发明实施例提取第一多媒体数据中的图像数据进行人脸检测，展示具有相同或相似人脸数据的第二多媒体数据，避免了用户人工浏览每张照片、每个视频进行筛选，大大减少了时间的耗费，提高了效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种多媒体数据的浏览方法实施例1的步骤流程图；

图2示出了根据本发明一个实施例的一种多媒体数据的浏览方法实施例2的步骤流程图；以及

图3示出了根据本发明一个实施例的一种多媒体数据的浏览装置实施例的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1，示出了根据本发明一个实施例的一种多媒体数据的浏览方法实施例1的步骤流程图，具体可以包括如下步骤：

步骤101，当检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；

需要说明的是，本发明实施例可以应用在各种移动设备中，例如，手机、平板电脑、个人数字助理、穿戴设备(如眼镜、手表等)等等。

该移动设备的操作系统可以包括Android(安卓)、IOS、Windows Phone、Windows等等，通常可以支持各种多媒体播放器的运行，如图片浏览器、视频播放器等等。

在实际应用中，第一多媒体数据可以包括图像数据、视频数据。

在用户浏览第一多媒体数据时，可以通过多媒体播放器加载第一多媒体数据。

例如，通过图片浏览器展示图像数据、通过视频播放器播放视频数据，等等。

在本发明实施例中，可以提供控制给用户，选择包含用户头像的图像数据。

例如，可以提供一画笔给用户，用户可以在当前展示的图像数据，或在当前播放的视频数据中，通过画笔圈中某一区域，则相当于接收到用户的选择操作，提取被圈中的区域中的图像数据。

又例如，可以提供一选择框给用户，用户可以在当前展示的图像数据，或在当前播放的视频数据中，调整选择框的大小，框中某一区域，则相当于接收到用户的选择操作，提取被框中的区域中的图像数据。

步骤102，对所述图像数据进行人脸检测，获得第一人脸数据；

所谓人脸检测，可以指从图像数据标定出人脸的位置和尺寸，其是人脸识别中的一个重要环节。

在Android中，提供了一个直接在位图上进行脸部检测的方法，这两个API(Application Programming Interface，应用程序编程接口)分别是android.media.FaceDetector和android.media.FaceDetector.Face。

具体而言，扩展基类ImageView，成为MyImageView，而进行检测的包含人脸的位图文件一般是565格式，以保证API正常工作。

被检测出来的人脸需要一个置信测度(confidence measure)，这个措施定义在android.media.FaceDetector.Face.CONFIDENCE_THRESHOLD。

其中，setFace()可以将FaceDetector对象实例化，同时调用findFaces，结果存放在faces里，人脸的中点转移到MyImageView。

接下来，在MyImageView中添加setDisplayPoints()方法，用来在被检测出的人脸上标记渲染。

而API返回其他有用的信息，例如，同时会返回如eyesDistance，pose，以及confidence，则可以通过eyesDistance来定位眼睛的中心位置。

步骤103，查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；

在具体实现中，第二多媒体数据为包含与第一人脸数据表征的人脸的多媒体数据，具体可以为图像数据，也可以为视频数据。

需要说明的是，该第二多媒体数据可以存储在本地，也可以存储在云端，本发明实施例对此不加以限制。

在本发明的一种可选实施例中，步骤103可以包括如下子步骤：

子步骤S11，计算所述第一人脸数据与预先采集的第二人脸数据的第一相似度；

其中，第二人脸数据关联一个或多个第二多媒体数据，即第二多媒体数据包含该第二人脸数据；

子步骤S11，当所述第一相似度超过预设的第一相似度阈值时，提取所述一个或多个第二多媒体数据。

若在先未基于第一人脸数据与第二人脸数据局建立第一多媒体数据与第二多媒体数据之间的关联关系，则在本发明实施例中，可以通过计算第一人脸数据与第二人脸数据的相似度，找出与第一多媒体数据具有相似或相同人脸的第二多媒体数据。

在进行人脸识别之前，可以对人脸数据(包括第一人脸数据、第二人脸数据)进行预处理。

对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。

由于获取的人脸数据为原始图像，受到各种条件的限制和随机干扰，往往不能直接使用，在图像处理的早期阶段可以对其进行灰度校正、噪声过滤等图像预处理。

对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸识别主要包括两个阶段，人脸数据特征提取和人脸数据匹配。

一、人脸数据特征提取；

人脸数据特征提取，也称人脸表征，是针对人脸的某些特征进行的，是对人脸进行特征建模的过程。

在实际应用中，可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。

人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。

人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

二、人脸数据匹配。

提取的第一人脸数据的人脸数据特征与数据库中存储的第二人脸数据的人脸特征模板进行搜索匹配，根据相似程度对人脸的身份信息进行判断。

通常设定一个阈值，当相似度超过这一阈值，则把匹配得到的第二多媒体数据输出。

此外，若在先未基于第一人脸数据与第二人脸数据局建立第一多媒体数据与第二多媒体数据之间的关联关系，则可以直接基于关联关系查找。

步骤104，展示所述第二多媒体数据的媒体信息。

当检索到匹配的第二多媒体数据，则可以在UI(User Interface，用户界面)展示其媒体信息给用户，例如，展示缩略图、生成时间等等。

本发明实施例提取第一多媒体数据中的图像数据进行人脸检测，展示具有相同或相似人脸数据的第二多媒体数据，避免了用户人工浏览每张照片、每个视频进行筛选，大大减少了时间的耗费，提高了效率。

在本发明的一种可选实施例中，该方法还可以包括如下步骤：

步骤105，当所述媒体信息被触发时，加载所述第二多媒体数据。

在展示媒体信息时，用户可以通过点击等方式触发媒体信息，进而加载第二多媒体数据。

在本发明的一种可选实施例中，步骤105可以包括如下子步骤：

子步骤S21，当所述第二多媒体数据为图像数据时，展示所述第二多媒体数据；

子步骤S22，标记所述第二多媒体数据关联的第二人脸数据在所在的位置。

若第二多媒体数据为图像数据，则可以调用图片浏览器展示第二多媒体数据，并在第二多媒体数据中，通过画圈等方式标记第二人脸数据，提示用户与其选中的人脸相似的人脸所在的位置。

在本发明的另一种可选实施例中，步骤105可以包括如下子步骤：

子步骤S31，当所述第二多媒体数据为视频数据时，播放所述第二多媒体数据；

子步骤S32，标记所述第二人脸数据所在的时间区域。

若第二多媒体数据为视频数据，则可以调用视频播放器播放第二多媒体数据，并在第二多媒体数据中，通过在进度条打上标记等方式提示用户与其选中的人脸相似的人脸所在的时间区域，方便用户快进至该时间区域查看。

在一种情况下，若存在相似的第二多媒体数据，即具有相似或相同的第二人脸数据、相似或相同的图像数据帧的第二多媒体数据。

例如，孩子在舞台上演出，由于演出时间较长，父母为孩子拍摄了多段视频数据，一方面，针对孩子拍照，存在大量相同的人脸数据，另一方面，面对舞台拍摄，背景相同，存在大量相似或相同的图像数据帧，可以认为这多段视频数据为相似的多媒体数据。

在此种情况下，可以按照时间信息(如拍摄时间)的顺序播放多个相似的第二多媒体数据。

参照图2，示出了根据本发明一个实施例的一种多媒体数据的浏览方法实施例2的步骤流程图，具体可以包括如下步骤：

步骤201，对存储的多个第二多媒体数据进行人脸检测，获得多个第二人脸数据；

需要说明的是，该第二多媒体数据可以存储在本地，也可以存储在云端，本发明实施例对此不加以限制。

若第二多媒体数据为图像数据，则可以直接对第二多媒体数据进行人脸检测；

若第二多媒体数据为视频数据，则可以从第二多媒体数据中提取若干图像数据帧，对该图像数据帧进行人脸检测。

所谓人脸检测，可以指从图像数据标定出人脸的位置和尺寸，其是人脸识别中的一个重要环节。

在Android中，提供了一个直接在位图上进行脸部检测的方法，这两个API分别是android.media.FaceDetector和android.media.FaceDetector.Face。

具体而言，扩展基类ImageView，成为MyImageView，而进行检测的包含人脸的位图文件一般是565格式，以保证API正常工作。

被检测出来的人脸需要一个置信测度(confidence measure)，这个措施定义在android.media.FaceDetector.Face.CONFIDENCE_THRESHOLD。

其中，setFace()可以将FaceDetector对象实例化，同时调用findFaces，结果存放在faces里，人脸的中点转移到MyImageView。

接下来，在MyImageView中添加setDisplayPoints()方法，用来在被检测出的人脸上标记渲染。

而API返回其他有用的信息，例如，同时会返回如eyesDistance，pose，以及confidence，则可以通过eyesDistance来定位眼睛的中心位置。

步骤202，计算所述多个第二人脸数据之间的第二相似性；

步骤203，当所述第二相似性超过预设的第二相似度阈值时，建立所述多个第二多媒体数据与所述多个第二人脸数据的关联关系。

在进行人脸识别之前，可以对人脸数据(即第二人脸数据)进行预处理。

对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。

由于获取的人脸数据为原始图像，受到各种条件的限制和随机干扰，往往不能直接使用，在图像处理的早期阶段可以对其进行灰度校正、噪声过滤等图像预处理。

对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸识别主要包括两个阶段，人脸数据特征提取和人脸数据匹配。

一、人脸数据特征提取；

人脸数据特征提取，也称人脸表征，是针对人脸的某些特征进行的，是对人脸进行特征建模的过程。

在实际应用中，可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。

人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。

人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

二、人脸数据匹配。

提取的第一人脸数据的人脸数据特征与数据库中存储的第二人脸数据的人脸特征模板进行搜索匹配，根据相似程度对人脸的身份信息进行判断。

通常设定一个阈值，当相似度超过这一阈值，则把匹配得到的第二多媒体数据输出。

步骤204，当某个第二多媒体数据为图像数据时，记录所述第二人脸数据在所在的位置。

在本发明实施例中，当检测出第二人脸数据时，可以记录其在图像数据的位置，方便在后续用户在查看第一多媒体数据时提示相同人脸的位置。

步骤205，当某个第二多媒体数据为视频数据时，记录所述第二人脸数据所在的时间区域。

在本发明实施例中，当检测出第二人脸数据时，可以记录其在视频数据的时间区域，方便在后续用户在查看第一多媒体数据时提示相同人脸的所在的时间，进而进行播放进度的定位。

步骤206，当多个第二多媒体数据为视频数据时，提取所述多个第二多媒体数据中的图像数据帧；

步骤207，计算所述图像数据帧之间的第三相似度；

步骤208，当所述第三相似性超过预设的第三相似度阈值时，确认所述多个第二多媒体数据为相似的第二多媒体数据。

在本发明实施例中，可以提取视频数据中的图像数据帧，如在开始部分、中间部分、结尾部分各提取若干图像数据帧，进行相似度的计算，方便在后续用户在查看第一多媒体数据时，按照时间信息顺序播放多个相似的第二多媒体数据。

相似度可以用于对于两图像数据帧之间内容的相似程度进行打分，根据分数的高低来判断图像数据帧内容的相近程度。

本发明实施例可以通过如下方式计算图像数据帧之间的相似度：

一、基于直方图计算相似度；

假设具有图像数据帧A和图像数据帧B，分别计算两幅图像的直方图，HistA，HistB，然后计算两个直方图的归一化相关系数(如巴氏距离，直方图相交距离等等)，获得相似度。

这种方式是基于向量之间的差异来进行图像相似程度的度量，直方图能够很好的归一化，比如通常的256个bin条的。

那么两帧分辨率不同的图像数据可以直接通过计算直方图来计算相似度很方便。

二、基于矩阵分解计算相似度；

图像数据本身就是一个矩阵，可以依靠矩阵分解，如SVD(Singular Value Decomposition，奇异值分解)、NMF(Non-negative Matrix Factorization，非负矩阵分解)来获取矩阵中一些代表这个矩阵元素值和分布的一些鲁棒性特征来对图像数据帧的相似度进行计算。

三、基于特征点计算相似度。

每一图像数据帧都有自己的特征点，这些特征点表征图像数据帧中比较重要的一些位置，如Harris角点和Sift特征点等等。

那么，将得到的图像数据帧的特征点进行比较，如果相似的特征点数目较多，那么可以认为这两帧图像数据帧的相似程度较高。

当然，上述相似度的计算方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他相似度的计算方式，本发明实施例对此不加以限制。另外，除了上述相似度的计算方式外，本领域技术人员还可以根据实际需要采用其它相似度的计算方式，本发明实施例对此也不加以限制。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图3，示出了根据本发明一个实施例的一种多媒体数据的浏览装置实施例的结构框图，具体可以包括如下模块：

图像数据提取模块301，适于在检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；

第一人脸检测模块302，适于对所述图像数据进行人脸检测，获得第一人脸数据；

多媒体数据查找模块303，适于查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；

媒体信息展示模块304，适于展示所述第二多媒体数据的媒体信息。

在本发明的一种可选实施例中，所述第一人脸检测模块302还可以适于：

计算所述第一人脸数据与预先采集的第二人脸数据的第一相似度；所述第二人脸数据关联一个或多个第二多媒体数据；

当所述第一相似度超过预设的第一相似度阈值时，提取所述一个或多个第二多媒体数据。

在本发明的一种可选实施例中，该装置还可以包括如下模块：

多媒体数据加载模块，适于在所述媒体信息被触发时，加载所述第二多媒体数据。

在本发明的一种可选实施例中，所述多媒体数据加载模块还可以适于：

当所述第二多媒体数据为图像数据时，展示所述第二多媒体数据；

标记所述第二多媒体数据关联的第二人脸数据在所在的位置。

在本发明的一种可选实施例中，所述多媒体数据加载模块还可以适于：

当所述第二多媒体数据为视频数据时，播放所述第二多媒体数据；

标记所述第二人脸数据所在的时间区域。

在本发明的一种可选实施例中，所述多媒体数据加载模块还可以适于：

按照时间信息的顺序播放多个相似的第二多媒体数据；

其中，所述相似的第二多媒体数据为具有相似或相同的第二人脸数据、相似或相同的图像数据帧的第二多媒体数据。

在本发明的一种可选实施例中，该装置还可以包括如下模块：

第二人脸检测模块，适于对存储的多个第二多媒体数据进行人脸检测，获得多个第二人脸数据；

人脸相似性计算模块，适于计算所述多个第二人脸数据之间的第二相似性；

关联关系建立模块，适于在所述第二相似性超过预设的第二相似度阈值时，建立所述多个第二多媒体数据与所述多个第二人脸数据的关联关系。

在本发明的一种可选实施例中，该装置还可以包括如下模块：

位置记录模块，适于在某个第二多媒体数据为图像数据时，记录所述第二人脸数据在所在的位置。

在本发明的一种可选实施例中，该装置还可以包括如下模块：

时间区域记录模块，适于在某个第二多媒体数据为视频数据时，记录所述第二人脸数据所在的时间区域。

在本发明的一种可选实施例中，该装置还可以包括如下模块：

图像数据帧提取模块，适于在多个第二多媒体数据为视频数据时，提取所述多个第二多媒体数据中的图像数据帧；

图像数据帧相似度计算模块，适于计算所述图像数据帧之间的第三相似度；

相似确定模块，适于在所述第三相似性超过预设的第三相似度阈值时，确认所述多个第二多媒体数据为相似的第二多媒体数据。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的多媒体数据的浏览设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明实施例公开了A1、一种多媒体数据的浏览方法，包括：

当检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；

对所述图像数据进行人脸检测，获得第一人脸数据；

查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；

展示所述第二多媒体数据的媒体信息。

A2、如A1所述的方法，所述查找与所述第一人脸数据匹配的一个或多个第二多媒体数据的步骤包括：

计算所述第一人脸数据与预先采集的第二人脸数据的第一相似度；所述第二人脸数据关联一个或多个第二多媒体数据；

当所述第一相似度超过预设的第一相似度阈值时，提取所述一个或多个第二多媒体数据。

A3、如A1或A2所述的方法，还包括：

当所述媒体信息被触发时，加载所述第二多媒体数据。

A4、如A3所述的方法，所述加载所述第二多媒体数据的步骤包括：

当所述第二多媒体数据为图像数据时，展示所述第二多媒体数据；

标记所述第二多媒体数据关联的第二人脸数据在所在的位置。

A5、如A3所述的方法，所述加载所述第二多媒体数据的步骤包括：

当所述第二多媒体数据为视频数据时，播放所述第二多媒体数据；

标记所述第二人脸数据所在的时间区域。

A6、如A5所述的方法，所述播放所述第二多媒体数据的步骤包括：

按照时间信息的顺序播放多个相似的第二多媒体数据；

其中，所述相似的第二多媒体数据为具有相似或相同的第二人脸数据、相似或相同的图像数据帧的第二多媒体数据。

A7、如A1或A2或A3或A4或A5或A6所述的方法，还包括：

对存储的多个第二多媒体数据进行人脸检测，获得多个第二人脸数据；

计算所述多个第二人脸数据之间的第二相似性；

当所述第二相似性超过预设的第二相似度阈值时，建立所述多个第二多媒体数据与所述多个第二人脸数据的关联关系。

A8、如A7所述的方法，还包括：

当某个第二多媒体数据为图像数据时，记录所述第二人脸数据在所在的位置。

A9、如A7所述的方法，还包括：

当某个第二多媒体数据为视频数据时，记录所述第二人脸数据所在的时间区域。

A10、如A7所述的方法，还包括：

当多个第二多媒体数据为视频数据时，提取所述多个第二多媒体数据中的图像数据帧；

计算所述图像数据帧之间的第三相似度；

当所述第三相似性超过预设的第三相似度阈值时，确认所述多个第二多媒体数据为相似的第二多媒体数据。

本发明实施例还公开了B11、一种多媒体数据的浏览装置，包括：

图像数据提取模块，适于在检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；

第一人脸检测模块，适于对所述图像数据进行人脸检测，获得第一人脸数据；

多媒体数据查找模块，适于查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；

媒体信息展示模块，适于展示所述第二多媒体数据的媒体信息。

B12、如B11所述的装置，所述第一人脸检测模块还适于：

计算所述第一人脸数据与预先采集的第二人脸数据的第一相似度；所述第二人脸数据关联一个或多个第二多媒体数据；

当所述第一相似度超过预设的第一相似度阈值时，提取所述一个或多个第二多媒体数据。

B13、如B11或B12所述的装置，还包括：

多媒体数据加载模块，适于在所述媒体信息被触发时，加载所述第二多媒体数据。

B14、如B13所述的装置，所述多媒体数据加载模块还适于：

当所述第二多媒体数据为图像数据时，展示所述第二多媒体数据；

标记所述第二多媒体数据关联的第二人脸数据在所在的位置。

B15、如B13所述的装置，所述多媒体数据加载模块还适于：

当所述第二多媒体数据为视频数据时，播放所述第二多媒体数据；

标记所述第二人脸数据所在的时间区域。

B16、如B15所述的装置，所述多媒体数据加载模块还适于：

按照时间信息的顺序播放多个相似的第二多媒体数据；

其中，所述相似的第二多媒体数据为具有相似或相同的第二人脸数据、相似或相同的图像数据帧的第二多媒体数据。

B17、如B11或B12或B13或B14或B15或B16所述的装置，还包括：

第二人脸检测模块，适于对存储的多个第二多媒体数据进行人脸检测，获得多个第二人脸数据；

人脸相似性计算模块，适于计算所述多个第二人脸数据之间的第二相似性；

关联关系建立模块，适于在所述第二相似性超过预设的第二相似度阈值时，建立所述多个第二多媒体数据与所述多个第二人脸数据的关联关系。

B18、如B17所述的装置，还包括：

位置记录模块，适于在某个第二多媒体数据为图像数据时，记录所述第二人脸数据在所在的位置。

B19、如B17所述的装置，还包括：

时间区域记录模块，适于在某个第二多媒体数据为视频数据时，记录所述第二人脸数据所在的时间区域。

B20、如B17所述的装置，还包括：

图像数据帧提取模块，适于在多个第二多媒体数据为视频数据时，提取所述多个第二多媒体数据中的图像数据帧；

图像数据帧相似度计算模块，适于计算所述图像数据帧之间的第三相似度；

相似确定模块，适于在所述第三相似性超过预设的第三相似度阈值时，确认所述多个第二多媒体数据为相似的第二多媒体数据。

Claims (10)

1.一种多媒体数据的浏览方法，包括：

当检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；

对所述图像数据进行人脸检测，获得第一人脸数据；

查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；

展示所述第二多媒体数据的媒体信息。

2.如权利要求1所述的方法，其特征在于，所述查找与所述第一人脸数据匹配的一个或多个第二多媒体数据的步骤包括：

计算所述第一人脸数据与预先采集的第二人脸数据的第一相似度；所述第二人脸数据关联一个或多个第二多媒体数据；

当所述第一相似度超过预设的第一相似度阈值时，提取所述一个或多个第二多媒体数据。

3.如权利要求1或2所述的方法，其特征在于，还包括：

当所述媒体信息被触发时，加载所述第二多媒体数据。

4.如权利要求3所述的方法，其特征在于，所述加载所述第二多媒体数据的步骤包括：

当所述第二多媒体数据为图像数据时，展示所述第二多媒体数据；

标记所述第二多媒体数据关联的第二人脸数据在所在的位置。

5.如权利要求3所述的方法，其特征在于，所述加载所述第二多媒体数据的步骤包括：

当所述第二多媒体数据为视频数据时，播放所述第二多媒体数据；

标记所述第二人脸数据所在的时间区域。

6.如权利要求5所述的方法，其特征在于，所述播放所述第二多媒体数据的步骤包括：

按照时间信息的顺序播放多个相似的第二多媒体数据；

其中，所述相似的第二多媒体数据为具有相似或相同的第二人脸数据、相似或相同的图像数据帧的第二多媒体数据。

7.如权利要求1或2或3或4或5或6所述的方法，其特征在于，还包括：

对存储的多个第二多媒体数据进行人脸检测，获得多个第二人脸数据；

计算所述多个第二人脸数据之间的第二相似性；

当所述第二相似性超过预设的第二相似度阈值时，建立所述多个第二多媒体数据与所述多个第二人脸数据的关联关系。

8.如权利要求7所述的方法，其特征在于，还包括：

当某个第二多媒体数据为图像数据时，记录所述第二人脸数据在所在的位置。

9.如权利要求7所述的方法，其特征在于，还包括：

当某个第二多媒体数据为视频数据时，记录所述第二人脸数据所在的时间区域。

10.一种多媒体数据的浏览装置，包括：

图像数据提取模块，适于在检测到针对当前展示的第一多媒体数据的选择操作时，提取所述选择操作对应区域的图像数据；

第一人脸检测模块，适于对所述图像数据进行人脸检测，获得第一人脸数据；

多媒体数据查找模块，适于查找与所述第一人脸数据匹配的一个或多个第二多媒体数据；

媒体信息展示模块，适于展示所述第二多媒体数据的媒体信息。