CN105450973A - 一种视频图像的获取方法及装置 - Google Patents

Abstract

本发明实施例公开了一种视频图像的获取方法及装置，其中，所述方法包括：当用户进行视频时，从包含所述用户的视频图像中获取眼部图像；将所述眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像；获取与所述目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像。采用本发明，能够通过将视频图像中的眼部图像替换为用户视线指向摄像头的眼部替换图像，实现视频用户之间的目光接触。

Description

一种视频图像的获取方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频图像的获取方法及装置。

背景技术

随着互联网技术的不断发展，基本的语音功能已经不能满足用户日益增长的通话需求，用户更多时候可能需要进行视频通话，如进行视频会议等等，该视频通话的方式可通过摄像头、话筒等设备实时传输画面和声音，使得用户之间能够更好地交流。

在人与人面对面进行交流时，交流者之间可以进行目光接触，从而更好地掌握当前的交流状态以取得较好的沟通效果。然而，在视频会议过程中，由于摄像头和用户注视屏幕的视线之间有一定的夹角，用户在视频时视线一般指向视频显示屏幕，使得视频显示屏幕中用户的眼部图像无法聚焦，即用户之间无法进行目光接触，导致不能取得良好的沟通效果。

目前，可通过将摄像头安置于屏幕的正后方，使得用户在看屏幕时就正好盯住了摄像头，该屏幕分为屏幕显示和屏幕透明两个交替周期(两个交替周期的时间较短)，处于屏幕显示的周期时，摄像头关闭，即不采集用户图像；屏幕透明的周期，摄像头捕捉当前用户图像并传输给视频对方，从而解决视频时用户之间无法进行目光接触的问题。然而，该设计需要安装专用的硬件，实现复杂，且成本较高。

发明内容

本发明实施例所要解决的技术问题在于，提供一种视频图像的获取方法及装置，可通过将视频图像中的眼部图像替换为用户视线指向摄像头的眼部替换图像来实现用户之间的目光接触。

第一方面，本发明实施例提供了一种视频图像的获取方法，包括：

当用户进行视频时，从包含所述用户的视频图像中获取眼部图像；

将所述眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，所述眼部参考图像为所述用户的视线指向视频显示屏幕时的眼部图像；

获取与所述目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像，所述摄像头用于采集所述视频图像。

结合第一方面，在第一种可能的实现方式中，在所述当用户进行视频时，从包含所述用户的视频图像中获取眼部图像之前，所述方法还包括：

采集用户在不同位置时视线指向视频显示屏幕的第一用户图像以及视线指向摄像头的第二用户图像，所述第一用户图像以及所述第二用户图像包含所述用户的眼部图像；

通过预设的分类器对所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，并将所述第一眼部图像作为眼部参考图像，将所述第二眼部图像作为眼部替换图像。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述通过预设的分类器对所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，包括：

分别从所述第一用户图像中提取出所述用户的第一脸部图像以及从所述第二用户图像中提取出所述用户的第二脸部图像；

通过预设的分类器对所述第一脸部图像以及所述第二脸部图像进行训练，获得所述第一脸部图像中的第一眼部图像以及所述第二脸部图像中的第二眼部图像。

结合第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，在第三种可能的实现方式中，还包括：

获取所述第一用户图像中所述用户所处的第一位置，以及获取所述第二用户图像中所述用户所处的第二位置；

检测所述第一位置和所述第二位置是否为同一个位置，若是，则将所述第一用户图像对应的第一眼部图像和所述第二用户图像对应的第二眼部图像相关联。

结合第一方面，在第四种可能的实现方式中，所述图像相似度包括像素均方差；所述将所述眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，包括：

计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差，并检测所述像素均方差是否低于预设的像素差阈值；

若低于所述像素差阈值，则将所述眼部参考图像确定为目标参考图像。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，在所述计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差之前，还包括：

对所述眼部图像进行分块处理得到图像分块；

通过将所述图像分块向各个预设方向移动后确定的新的图像，对所述眼部图像进行更新。

第二方面，本发明实施例还提供了一种视频图像的获取装置，包括：

第一获取模块，用于当用户进行视频时，从包含所述用户的视频图像中获取眼部图像；

筛选模块，用于将所述第一获取模块获取的眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，所述眼部参考图像为所述用户的视线指向视频显示屏幕时的眼部图像；

第二获取模块，用于获取与所述筛选模块筛选出的目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像，所述摄像头用于采集所述视频图像。

结合第二方面，在第一种可能的实现方式中，所述装置还包括：

采集模块，用于采集用户在不同位置时视线指向视频显示屏幕的第一用户图像以及视线指向摄像头的第二用户图像，所述第一用户图像以及所述第二用户图像包含所述用户的眼部图像；

训练模块，用于通过预设的分类器对所述采集模块采集到的所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，并将所述第一眼部图像作为眼部参考图像，将所述第二眼部图像作为眼部替换图像。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述训练模块包括：

提取单元，用于分别从所述第一用户图像中提取出所述用户的第一脸部图像以及从所述第二用户图像中提取出所述用户的第二脸部图像；

图像获取单元，用于通过预设的分类器对所述提取单元提取出的所述第一脸部图像以及所述第二脸部图像进行训练，获得所述第一脸部图像中的第一眼部图像以及所述第二脸部图像中的第二眼部图像。

结合第二方面的第一种可能的实现方式，或者第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述装置还包括：

第三获取模块，用于获取所述第一用户图像中所述用户所处的第一位置，以及获取所述第二用户图像中所述用户所处的第二位置；

关联模块，用于检测所述第三获取模块获取的所述第一位置和所述第二位置是否为同一个位置，并在检测到为同一个位置时，将所述第一用户图像对应的第一眼部图像和所述第二用户图像对应的第二眼部图像相关联。

结合第二方面，在第四种可能的实现方式中，所述图像相似度包括像素均方差；所述筛选模块包括：

计算单元，用于计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差，并检测所述像素均方差是否低于预设的像素差阈值；

确定单元，用于在所述计算单元检测到所述像素均方差低于所述像素差阈值时，将所述眼部参考图像确定为目标参考图像。

结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，其特征在于，所述装置还包括：

分块模块，用于对所述眼部图像进行分块处理得到图像分块；

更新模块，用于通过将所述分块模块得到的图像分块向各个预设方向移动后确定的新的图像，对所述眼部图像进行更新。

本发明实施例可通过从用户进行视频时采集到的视频图像中获取该用户的眼部图像，并从预置的眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，从而将与该目标参考图像相关联的用户视线指向摄像头的眼部替换图像作为该视频图像的眼部图像，使得视频显示屏幕中用户的眼部图像能够聚焦，从而实现视频用户之间的目光接触，且实现成本较低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种视频图像的获取方法的流程示意图；

图2是本发明实施例提供的另一种视频图像的获取方法的流程示意图；

图3a-图3c是本发明实施例提供的获取眼部参考图像的可选的场景示意图；

图4a-图4c是本发明实施例提供的获取眼部替换图像的可选的场景示意图；

图5是本发明实施例提供的获取视频用户的眼部图像的可选的场景示意图；

图6是本发明实施例提供的一种视频图像的获取装置的结构示意图；

图7是本发明实施例提供的另一种视频图像的获取装置的结构示意图；

图8是本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，是本发明实施例提供的一种视频图像的获取方法的流程示意图，本发明实施例的所述方法具体可在手机、平板电脑、个人电脑等终端设备中实现，具体的，本发明实施例的所述方法包括：

S101：当用户进行视频时，从包含所述用户的视频图像中获取眼部图像。

具体的，在用户进行视频，比如进行视频会议时，可通过预置的摄像头采集包含所述用户的视频图像，并从该含所述用户的视频图像中获取该用户的眼部图像。

S102：将所述眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像。

需要说明的是，该眼部参考图像集合中的眼部参考图像为用户在不同位置时视线指向视频显示屏幕的用户图像中的眼部图像。

在可选的实施例中，可预置一个眼部参考图像集合，该眼部参考图像集合中包括至少一个眼部参考图像。具体的，可采集用户在不同位置比如用户面对屏幕从左侧移动到右侧时视线指向视频显示屏幕的第一用户图像(该第一用户图像为多个，即不同位置对应不同的第一用户图像)，通过预设的分类器对该第一用户图像进行训练，获得该第一用户图像对应的眼部图像，并将该第一用户图像对应的眼部图像作为眼部参考图像，从而得到该眼部参考图像集合。其中，该预设的分类器为通过大量视频图像对分类器进行训练而得到，使得该分类器可识别出图像中的眼部图像(特定部分)。

在获取得到用户视频时的眼部图像时，可从该预置的眼部参考图像中筛选出与该眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像。

S103：获取与所述目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像。

需要说明的是，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像，所述摄像头用于采集所述视频图像。

在可选的实施例中，还可预置一个眼部替换图像集合，该眼部替换图像集合中包括至少一个眼部参考图像。具体的，可采集用户在不同位置时视线指向摄像头的第二用户图像(该第二用户图像为多个，即不同位置对应不同的第二用户图像)，通过该预设的分类器对该第二用户图像进行训练，获得该第二用户图像对应的眼部图像，并将该获得的第二用户图像对应的眼部图像作为眼部参考图像，从而得到该眼部替换图像集合。

进一步的，还可通过获取所述第一用户图像中所述用户所处的第一位置，以及所述第二用户图像中所述用户所处的第二位置；并检测所述第一位置和所述第二位置是否为同一个位置，在检测到为同一个位置时，将所述第一用户图像对应的眼部图像和所述第二用户图像对应的眼部图像相关联，即生成该第一用户图像对应的眼部图像和该第二用户图像对应的眼部图像的关联关系，以便于在筛选出与当前视频图像中的眼部图像所对应的目标参考图像时，通过与该目标参考图像相关联的眼部替换图像替换所述视频图像中的眼部图像。

实施本发明实施例可通过从用户进行视频时采集到的视频图像中获取该用户的眼部图像，并从预置的眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，从而将与该目标参考图像相关联的用户视线指向摄像头的眼部替换图像作为该视频图像的眼部图像，使得视频显示屏幕中用户的眼部图像能够聚焦，从而实现视频用户之间的目光接触，且实现成本较低。

请参见图2，是本发明实施例提供的另一种视频图像的获取方法的流程示意图，具体的，本发明实施例的所述方法包括：

S201：采集用户在不同位置时视线指向视频显示屏幕的第一用户图像以及视线指向摄像头的第二用户图像，所述第一用户图像以及所述第二用户图像包含所述用户的眼部图像。

需要说明的是，该摄像头用于采集用户的视频图像，具体可设置于终端设备的正上方边缘的中央，对于该摄像头的设置位置，本发明实施例不做限定。

可选地，该视频显示屏幕可以是进行视频时的显示窗口，或者可以是该终端设备的整个显示屏幕。

S202：通过预设的分类器对所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，并将所述第一眼部图像作为眼部参考图像，将所述第二眼部图像作为眼部替换图像。

在可选的实施例中，所述通过预设的分类器对所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，可以具体为：分别从所述第一用户图像中提取出所述用户的第一脸部图像以及从所述第二用户图像中提取出所述用户的第二脸部图像；通过预设的分类器对所述第一脸部图像以及所述第二脸部图像进行训练，获得所述第一脸部图像中的第一眼部图像以及所述第二脸部图像中的第二眼部图像。

具体的，该预设的分类器为预先通过大量视频图像进行训练而得到，使得该分类器能够从用户图像中识别出图像中的眼部图像。举例来说，可使用opencv(OpenSourceComputerVisionLibrary)对获取得到的第一用户图像对应的脸部图像(人脸正面)和第二用户图像对应的脸部图像进行眼部识别。建立分类器后，需要使用大量图片对该分类器进行学习训练，让该分类器能够识别出图像中特定的部分。学习训练后的积累的训练数据可以单独保存成文件，在需要识别某类图片中某些部分的时，只要使用特定的分类器算法和已经训练好的的数据文件，就能得到输入是特定图像，输出是该图像中特定部分的函数(即可在输入脸部图像时，输出得到该脸部图像中的眼部图像的函数)。该分类器的训练原理及过程与现有的分类器的训练原理及过程类似，在此不再赘述。

可选地，如图3a-图3c所示，是本发明实施例提供的获取眼部参考图像的可选的场景示意图，即为图3a、图3b以及图3c。该终端设备的正上方边缘的中央设置有摄像头，该摄像头用于采集用户图像，比如采集用户视线指向视频显示频幕的第一用户图像。具体的，在采集第一用户图像时，用户的眼睛盯着视频显示屏幕即用户视线指向视频显示屏幕，优选地，该用户的视线可具体指向视频显示频幕的中央，并采集用户在不同位置时视线指向该视频显示频幕中央的第一用户图像，比如该用户可从左到右进行移动，并保持视线指向屏幕中央，从而采集得到不同位置对应的第一用户图像。通过预设的分类器获取得到该多个第一用户图像对应的第一眼部图像，即得到眼部参考图像集合。该图3a、图3b以及图3c即为用户在不同位置时采集第一用户图像并获取得到相应的眼部参考图像的场景。

进一步可选地，如图4a-图4c所示，是本发明实施例提供的获取眼部替换图像的可选的场景示意图，具体为图4a、图4b以及图4c。该终端设备的正上方边缘的中央设置有摄像头，该摄像头用于采集用户图像，比如采集用户视线指向该摄像头的第二用户图像。具体的，在采集第二用户图像时，用户的眼睛盯着该设置的摄像头即用户视线指向摄像头，并采集用户在不同位置时视线指向该摄像头的第二用户图像，比如该用户可从左到右进行移动，并保持视线指向该摄像头，从而采集得到不同位置对应的第二用户图像。通过该预设的分类器获取得到该多个第二用户图像对应的第二眼部图像，即得到眼部替换图像集合。该图4a、图4b以及图4c即为用户在不同位置时采集第二用户图像并获取得到相应的眼部替换图像的场景。

S203：获取所述第一用户图像中所述用户所处的第一位置，并获取所述第二用户图像中所述用户所处的第二位置。

S204：检测所述第一位置和所述第二位置是否为同一个位置，若是，则将所述第一用户图像对应的第一眼部图像和所述第二用户图像对应的第二眼部图像相关联。

进一步的，还可通过用户在所述第一用户图像中以及所述第二用户图像中所处的位置，来预置眼部参考图像和眼部替换图像之间的关联关系。具体的，可先获取用户在第一用户图像中所处的第一位置以及在第二用户图像中所处的第二位置，并检测该第一位置和第二位置是否为用户图像中的同一位置，当为同一位置时，则可将该第一用户图像对应的第一眼部图像和该第二用户图像对应的第二眼部图像相关联，即生成该第一用户图像对应的眼部参考图像和该第二用户图像对应的眼部替换图像的关联关系。

需要说明的是，该同一位置并不表明该第一位置与第二位置在用户图像中所处的位置完全一致，该同一位置可包含一个距离阈值，即该第一位置与第二位置在用户图像中的相差的距离在该距离阈值范围内时，即可将该第一位置与第二位置确定为同一位置。

S205：当用户进行视频时，从包含所述用户的视频图像中获取眼部图像。

具体的，在用户进行视频，比如进行视频会议时，可通过该设置的摄像头采集包含所述用户的视频图像，并从该包含所述用户的视频图像中获取该用户的眼部图像。

S206：计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差，并检测所述像素均方差是否低于预设的像素差阈值。

其中，所述眼部参考图像即为所述用户的视线指向视频显示屏幕时的第一用户图像中的眼部图像。

在可选的实施例中，在计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差之前，可预先对所述眼部图像进行分块处理得到图像分块；并通过将所述图像分块向各个预设方向移动后确定的新的图像，对所述眼部图像进行更新。其中，该预设方向可包括上下左右等方向，本发明实施例不做限定。

S207：若低于所述像素差阈值，则将所述眼部参考图像确定为目标参考图像。

具体的，在将该图像分块向预设方向移动更新该眼部图像之后，则可计算该更新后的眼部图像与眼部参考图像集合中各眼部参考图像的像素均方差，并将该计算得到的像素均方差与预置的像素差阈值进行比较，在检测到该像素均方差低于该像素差阈值时，即可将该低于像素差阈值的眼部参考图像确定为目标参考图像，以通过该目标参考图像获取得到该视频图像中眼部图像对应的眼部替换图像，并通过该眼部替换图像替换所述眼部图像。

进一步的，若低于该像素差阈值的眼部参考图像不止一个，则可将最小像素均方差对应的眼部参考图像确定为目标参考图像。

S208：获取与所述目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像。

其中，所述眼部替换图像即为所述用户的视线指向摄像头时的第二用户图像中的眼部图像，所述摄像头用于采集视频图像(包括该第一用户图像以及第二用户图像)。

具体的，可根据第一用户图像对应的眼部参考图像和第二用户图像对应的眼部替换图像的关联关系，获取得到该目标参考图像对应的眼部替换图像，并将该眼部替换图像作为该视频图像的眼部图像，即通过该眼部替换图像替换该视频图像中的眼部图像。

进一步可选地，如图5所示，是本发明实施例提供的获取视频用户的眼部图像的可选的场景示意图，该终端设备的正上方边缘的中央设置有摄像头，该摄像头用于采集用户图像即该视频图像。具体的，由于在进行视频时用户的视线一般不会指向摄像头，而是指向该视频显示屏幕，因此，在获取用户的视频图像对应的眼部图像之后，可通过将该视频图像中的眼部图像替换为相同位置时用户视线指向摄像头的眼部替换图像，从而实现视频用户之间的目光接触。

进一步可选地，还可储存一组头像，在用户进行视频时可用该存储的头像替换视频图像中的用户头部(眼部图像仍保持为视线指向摄像头的眼部替换图像)，使得能够保护用户隐私，同时改善了用户体现，比如可将该存储的头像设置为卡通图像。

实施本发明实施例可通过预置眼部参考图像和眼部替换图像，使得用户在进行视频时能够根据获取的视频图像中的眼部图像，从预置的眼部参考图像集合中筛选出与该眼部图像的像素均方差低于预设像素差阈值的眼部参考图像作为目标参考图像，从而将与该目标参考图像相关联的用户视线指向摄像头的眼部替换图像替换为该视频图像的眼部图像，使得视频显示屏幕中用户的眼部图像能够聚焦，实现了用户之间的目光接触，且实现成本较低。

请参见图6，是本发明实施例提供的一种视频图像的获取装置的结构示意图，本发明实施例的所述装置设置于手机、平板电脑、个人电脑等终端设备中，具体的，本发明实施例的所述装置包括：第一获取模块11、筛选模块12以及第二获取模块13。其中，

所述第一获取模块11，用于当用户进行视频时，从包含所述用户的视频图像中获取眼部图像。

具体的，在用户进行视频，比如进行视频会议时，可通过预置的摄像头采集包含所述用户的视频图像，第一获取模块11从该包含所述用户的视频图像中获取该用户的眼部图像。

所述筛选模块12，用于将所述第一获取模块11获取的眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像。

需要说明的是，该眼部参考图像集合中的眼部参考图像为用户在不同位置时视线指向视频显示屏幕的用户图像中的眼部图像。

在第一获取模块11获取得到用户视频时的眼部图像时，筛选模块12可从该预置的眼部参考图像中筛选出与该眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像。

所述第二获取模块13，用于获取与所述筛选模块12筛选出的目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像。

需要说明的是，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像，所述摄像头用于采集所述视频图像。

实施本发明实施例可通过从用户进行视频时采集到的视频图像中获取该用户的眼部图像，并从预置的眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，从而将与该目标参考图像相关联的用户视线指向摄像头的眼部替换图像作为该视频图像的眼部图像，使得视频显示屏幕中用户的眼部图像能够聚焦，从而实现视频用户之间的目光接触，且实现成本较低。

请参见图7，是本发明实施例提供的另一种视频图像的获取装置的结构示意图，本发明实施例的所述装置设置于手机、平板电脑、个人电脑等终端设备中，具体的，本发明实施例的所述装置包括：第一获取模块11、筛选模块12以及第二获取模块13。其中，

所述第一获取模块11，用于当用户进行视频时，从包含所述用户的视频图像中获取眼部图像。

具体的，在用户进行视频，比如进行视频会议时，可通过预置的摄像头采集包含所述用户的视频图像，第一获取模块11从该包含所述用户的视频图像中获取该用户的眼部图像。

所述筛选模块12，用于将所述第一获取模块11获取的眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像。

需要说明的是，该眼部参考图像集合中的眼部参考图像为用户在不同位置时视线指向视频显示屏幕的用户图像中的眼部图像。

在第一获取模块11获取得到用户视频时的眼部图像时，筛选模块12可从该预置的眼部参考图像中筛选出与该眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像。

所述第二获取模块13，用于获取与所述筛选模块12筛选出的目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像。

需要说明的是，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像，所述摄像头用于采集所述视频图像。

进一步的，在本发明实施例中，所述装置还可包括：

采集模块14，用于采集用户在不同位置时视线指向视频显示屏幕的第一用户图像以及视线指向摄像头的第二用户图像，所述第一用户图像以及所述第二用户图像包含所述用户的眼部图像。

在可选的实施例中，可通过采集模块14采集用户在不同位置时视线指向视频显示屏幕的第一用户图像和视线指向摄像头的第二用户图像，比如通过采集模块14采集该用户面对显示屏幕从左到右进行移动得到的多个第一用户图像，并采集该用户同样面对该显示屏幕从左到右进行移动得到的多个第二用户图像。具体的，该视频显示屏幕可以是进行视频时的显示窗口，或者可以是该终端设备的整个显示屏幕。

训练模块15，用于通过预设的分类器对所述采集模块14采集到的所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，并将所述第一眼部图像作为眼部参考图像，将所述第二眼部图像作为眼部替换图像。

可选地，所述训练模块15可进一步包括：

提取单元151，用于分别从所述第一用户图像中提取出所述用户的第一脸部图像以及从所述第二用户图像中提取出所述用户的第二脸部图像；

图像获取单元152，用于通过预设的分类器对所述提取单元151提取出的所述第一脸部图像以及所述第二脸部图像进行训练，获得所述第一脸部图像中的第一眼部图像以及所述第二脸部图像中的第二眼部图像。

具体的，该预设的分类器为预先通过大量视频图像进行训练而得到，使得该分类器能够从用户图像中识别出图像中的眼部图像。举例来说，可使用opencv(OpenSourceComputerVisionLibrary)对获取得到的第一用户图像对应的脸部图像(人脸正面)和第二用户图像对应的脸部图像进行眼部识别。再通过该训练得到的分类器获取眼部图像之前，可先通过提取单元151提取该第一用户图像以及第二用户图像中的脸部图像，图像获取单元152通过该分类器即可从该脸部图像中获得眼部图像。

进一步的，在本发明实施例中，所述装置还可包括：

第三获取模块16，用于获取所述第一用户图像中所述用户所处的第一位置，以及获取所述第二用户图像中所述用户所处的第二位置；

关联模块17，用于检测所述第三获取模块16获取的所述第一位置和所述第二位置是否为同一个位置，并在检测到为同一个位置时，将所述第一用户图像对应的第一眼部图像和所述第二用户图像对应的第二眼部图像相关联。

进一步的，还可通过第三获取模块16获取用户在所述第一用户图像中以及所述第二用户图像中所处的位置，并通过关联模块17预置眼部参考图像和眼部替换图像之间的关联关系。具体的，可通过第三获取模块16获取用户在第一用户图像中所处的第一位置以及在第二用户图像中所处的第二位置，关联模块17检测该第一位置和第二位置是否为用户图像中的同一位置，当为同一位置时，则可将该第一用户图像对应的第一眼部图像和该第二用户图像对应的第二眼部图像相关联，即生成该第一用户图像对应的眼部参考图像和该第二用户图像对应的眼部替换图像的关联关系。

需要说明的是，该同一位置并不表明该第一位置与第二位置在用户图像中所处的位置完全一致，该同一位置可包含一个距离阈值，即该第一位置与第二位置在用户图像中的相差的距离在该距离阈值范围内时，即可将该第一位置与第二位置确定为同一位置。

可选地，所述图像相似度包括像素均方差；所述筛选模块12可进一步包括：

计算单元121，用于计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差，并检测所述像素均方差是否低于预设的像素差阈值。

其中，所述眼部参考图像即为所述用户的视线指向视频显示屏幕时的第一用户图像中的眼部图像。

确定单元122，用于在所述计算单元121检测到所述像素均方差低于所述像素差阈值时，将所述眼部参考图像确定为目标参考图像。

具体的，可通过计算单元121计算该用户在视频时得到的视频图像中的眼部图像与眼部参考图像集合中各眼部参考图像的像素均方差，并将该计算得到的像素均方差与预置的像素差阈值进行比较，在检测到该像素均方差低于该像素差阈值时，即可通过确定单元122将该低于像素差阈值的眼部参考图像确定为目标参考图像，以通过该目标参考图像获取得到该视频图像中眼部图像对应的眼部替换图像，并通过该眼部替换图像替换所述眼部图像。

进一步的，若低于该像素差阈值的眼部参考图像不止一个，则可将最小像素均方差对应的眼部参考图像确定为目标参考图像。

进一步的，在本发明实施例中，所述装置还可包括：

分块模块18，用于对所述眼部图像进行分块处理得到图像分块；

更新模块19，用于通过将所述分块模块18得到的图像分块向各个预设方向移动后确定的新的图像，对所述眼部图像进行更新。

在可选的实施例中，在通过计算单元121计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差之前，可通过分块模块18对所述眼部图像进行分块处理得到图像分块；并由更新模块19通过将所述图像分块向各个预设方向移动后确定的新的图像，对所述眼部图像进行更新。其中，该预设方向可包括上下左右等方向，本发明实施例不做限定。

实施本发明实施例可通过预置眼部参考图像和眼部替换图像，使得用户在进行视频时能够根据获取的视频图像中的眼部图像，从预置的眼部参考图像集合中筛选出与该眼部图像的像素均方差低于预设像素差阈值的眼部参考图像作为目标参考图像，从而将与该目标参考图像相关联的用户视线指向摄像头的眼部替换图像替换为该视频图像的眼部图像，使得视频显示屏幕中用户的眼部图像能够聚焦，实现了用户之间的目光接触，且实现成本较低。

进一步的，请参见图8，是本发明实施例提供的一种终端设备的结构组成示意图，本发明实施例的终端设备包括：摄像头500、输入装置300、输出装置400、存储器200和处理器100，所述存储器200可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。作为一种计算机存储介质的存储器200中存储相应的应用程序等。所述输入装置300、输出装置400、存储器200以及处理器100之间可以通过总线进行数据连接，也可以通过其他方式数据连接。本实施例中以总线连接进行说明。具体的，本发明实施例的所述终端设备可进一步参照图6至图7对应实施例中的视频图像的获取装置的相关描述。

其中，所述处理器100执行如下步骤：

当用户进行视频时，通过所述摄像头500采集包含所述用户的视频图像，从包含所述用户的视频图像中获取眼部图像；

将所述眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，所述眼部参考图像为所述用户的视线指向视频显示屏幕时的眼部图像；

获取与所述目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像，所述摄像头用于采集所述视频图像。

在可选的实施例中，所述处理器100在执行所述当用户进行视频时，从包含所述用户的视频图像中获取眼部图像之前，还执行以下步骤：

通过所述摄像头500采集用户在不同位置时视线指向视频显示屏幕的第一用户图像以及视线指向摄像头的第二用户图像，所述第一用户图像以及所述第二用户图像包含所述用户的眼部图像；

通过预设的分类器对所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，并将所述第一眼部图像作为眼部参考图像，将所述第二眼部图像作为眼部替换图像。

在可选的实施例中，所述处理器100在执行所述通过预设的分类器对所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，具体执行以下步骤：

分别从所述第一用户图像中提取出所述用户的第一脸部图像以及从所述第二用户图像中提取出所述用户的第二脸部图像；

通过预设的分类器对所述第一脸部图像以及所述第二脸部图像进行训练，获得所述第一脸部图像中的第一眼部图像以及所述第二脸部图像中的第二眼部图像。

在可选的实施例中，所述处理器100还执行以下步骤：

获取所述第一用户图像中所述用户所处的第一位置，以及获取所述第二用户图像中所述用户所处的第二位置；

检测所述第一位置和所述第二位置是否为同一个位置，若是，则将所述第一用户图像对应的第一眼部图像和所述第二用户图像对应的第二眼部图像相关联。

在可选的实施例中，所述图像相似度包括像素均方差；所述处理器100在执行所述将所述眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，具体执行以下步骤：

计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差，并检测所述像素均方差是否低于预设的像素差阈值；

若低于所述像素差阈值，则将所述眼部参考图像确定为目标参考图像。

在可选的实施例中，所述处理器100在执行所述计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差之前，还执行以下步骤：

对所述眼部图像进行分块处理得到图像分块；

通过将所述图像分块向各个预设方向移动后确定的新的图像，对所述眼部图像进行更新。

实施本发明实施例可通过从用户进行视频时采集到的视频图像中获取该用户的眼部图像，并从预置的眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，从而将与该目标参考图像相关联的用户视线指向摄像头的眼部替换图像作为该视频图像的眼部图像，使得视频显示屏幕中用户的眼部图像能够聚焦，从而实现视频用户之间的目光接触，且实现成本较低。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种视频图像的获取方法，其特征在于，包括：

当用户进行视频时，从包含所述用户的视频图像中获取眼部图像；

将所述眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，所述眼部参考图像为所述用户的视线指向视频显示屏幕时的眼部图像；

获取与所述目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像，所述摄像头用于采集所述视频图像。

2.根据权利要求1所述的方法，其特征在于，在所述当用户进行视频时，从包含所述用户的视频图像中获取眼部图像之前，所述方法还包括：

采集用户在不同位置时视线指向视频显示屏幕的第一用户图像以及视线指向摄像头的第二用户图像，所述第一用户图像以及所述第二用户图像包含所述用户的眼部图像；

通过预设的分类器对所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，并将所述第一眼部图像作为眼部参考图像，将所述第二眼部图像作为眼部替换图像。

3.根据权利要求2所述的方法，其特征在于，所述通过预设的分类器对所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，包括：

分别从所述第一用户图像中提取出所述用户的第一脸部图像以及从所述第二用户图像中提取出所述用户的第二脸部图像；

通过预设的分类器对所述第一脸部图像以及所述第二脸部图像进行训练，获得所述第一脸部图像中的第一眼部图像以及所述第二脸部图像中的第二眼部图像。

4.根据权利要求2或3所述的方法，其特征在于，还包括：

获取所述第一用户图像中所述用户所处的第一位置，以及获取所述第二用户图像中所述用户所处的第二位置；

检测所述第一位置和所述第二位置是否为同一个位置，若是，则将所述第一用户图像对应的第一眼部图像和所述第二用户图像对应的第二眼部图像相关联。

5.根据权利要求1所述的方法，其特征在于，所述图像相似度包括像素均方差；所述将所述眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，包括：

计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差，并检测所述像素均方差是否低于预设的像素差阈值；

若低于所述像素差阈值，则将所述眼部参考图像确定为目标参考图像。

6.根据权利要求5所述的方法，其特征在于，在所述计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差之前，还包括：

对所述眼部图像进行分块处理得到图像分块；

通过将所述图像分块向各个预设方向移动后确定的新的图像，对所述眼部图像进行更新。

7.一种视频图像的获取装置，其特征在于，包括：

第一获取模块，用于当用户进行视频时，从包含所述用户的视频图像中获取眼部图像；

筛选模块，用于将所述第一获取模块获取的眼部图像与预置的眼部参考图像集合中的眼部参考图像进行对比，从所述眼部参考图像集合中筛选出与所述眼部图像的图像相似度大于预设相似度阈值的眼部参考图像作为目标参考图像，所述眼部参考图像为所述用户的视线指向视频显示屏幕时的眼部图像；

第二获取模块，用于获取与所述筛选模块筛选出的目标参考图像相关联的眼部替换图像，并将所述眼部替换图像作为所述视频图像的眼部图像，所述眼部替换图像为所述用户的视线指向摄像头时的眼部图像，所述摄像头用于采集所述视频图像。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

采集模块，用于采集用户在不同位置时视线指向视频显示屏幕的第一用户图像以及视线指向摄像头的第二用户图像，所述第一用户图像以及所述第二用户图像包含所述用户的眼部图像；

训练模块，用于通过预设的分类器对所述采集模块采集到的所述第一用户图像以及所述第二用户图像进行训练，获得所述第一用户图像对应的第一眼部图像以及所述第二用户图像对应的第二眼部图像，并将所述第一眼部图像作为眼部参考图像，将所述第二眼部图像作为眼部替换图像。

9.根据权利要求8所述的装置，其特征在于，所述训练模块包括：

提取单元，用于分别从所述第一用户图像中提取出所述用户的第一脸部图像以及从所述第二用户图像中提取出所述用户的第二脸部图像；

图像获取单元，用于通过预设的分类器对所述提取单元提取出的所述第一脸部图像以及所述第二脸部图像进行训练，获得所述第一脸部图像中的第一眼部图像以及所述第二脸部图像中的第二眼部图像。

10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：

第三获取模块，用于获取所述第一用户图像中所述用户所处的第一位置，以及获取所述第二用户图像中所述用户所处的第二位置；

关联模块，用于检测所述第三获取模块获取的所述第一位置和所述第二位置是否为同一个位置，并在检测到为同一个位置时，将所述第一用户图像对应的第一眼部图像和所述第二用户图像对应的第二眼部图像相关联。

11.根据权利要求7所述的装置，其特征在于，所述图像相似度包括像素均方差；所述筛选模块包括：

计算单元，用于计算预置的眼部参考图像集合中的眼部参考图像与所述眼部图像之间的像素均方差，并检测所述像素均方差是否低于预设的像素差阈值；

确定单元，用于在所述计算单元检测到所述像素均方差低于所述像素差阈值时，将所述眼部参考图像确定为目标参考图像。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

分块模块，用于对所述眼部图像进行分块处理得到图像分块；

更新模块，用于通过将所述分块模块得到的图像分块向各个预设方向移动后确定的新的图像，对所述眼部图像进行更新。