CN107609490A - 控制方法、控制装置、智能镜子和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种控制方法，用于控制智能镜子。智能镜子包括能够移动的显示屏、设置在显示屏上的第一摄像头和固定设置的第二摄像头。控制方法包括：控制第一摄像头采集第一图像；处理第一图像以确定第一图像是否存在人脸及在第一图像存在人脸时确定人脸正脸相对于第一摄像头的偏移角度；根据偏移角度控制显示屏移动至人脸正脸的正前方；控制第二摄像头采集第二图像；和将第二图像显示在显示屏上。此外，本发明还公开了一种控制装置、智能镜子和计算机可读存储介质。

Description

控制方法、控制装置、智能镜子和计算机可读存储介质

技术领域

本发明涉及消费性电子技术，特别涉及一种控制方法、控制装置、智能镜子和计算机可读存储介质。

背景技术

在相关技术中，当用户使用智能镜子时，若用户希望观看非正面装束，需要侧着身子偏转头部别扭地看向智能镜子，导致用户体验不佳。

发明内容

本发明实施方式提供一种控制方法、控制装置、智能镜子和计算机可读存储介质。

本发明实施方式的控制方法，用于控制智能镜子，所述智能镜子包括能够移动的显示屏、设置在所述显示屏上的第一摄像头和固定设置的第二摄像头，所述控制方法包括：

控制所述第一摄像头采集第一图像；

处理所述第一图像以确定所述第一图像是否存在人脸及在所述第一图像存在人脸时确定人脸正脸相对于所述第一摄像头的偏移角度；

根据所述偏移角度控制所述显示屏移动至所述人脸正脸的正前方；

控制所述第二摄像头采集第二图像；和

将所述第二图像显示在所述显示屏上。

在某些实施方式中，所述处理所述第一图像以确定所述第一图像是否存在人脸及在所述第一图像存在人脸时确定人脸正脸相对于所述第一摄像头的偏移角度包括：

在所述第一图像存在人脸时检测所述第一图像是否包含所述人脸正脸的图像；和

在所述第一图像不包含所述人脸正脸的图像时确定所述人脸正脸相对于所述第一摄像头的偏移角度。

在某些实施方式中，所述控制方法还包括：

在所述第一图像包含所述人脸正脸的图像时，确定所述显示屏已移动至所述人脸正脸的正前方。

在某些实施方式中，所述在所述第一图像存在人脸时检测所述第一图像是否包含所述人脸正脸的图像包括：

定位所述人脸的多个特征点；

计算所述多个特征点之间的相对位置关系；和

根据所述多个特征点之间的相对位置关系判断所述第一图像是否包含所述人脸正脸。

在某些实施方式中，所述在所述第一图像不包含所述人脸正脸的图像时确定所述人脸正脸相对于所述第一摄像头的偏移角度包括：

根据所述多个特征点之间的相对位置关系确定所述偏移角度。

在某些实施方式中，所述控制方法还包括：

根据所述多个特征点之间的相对位置关系训练支持向量机分类器，所述支持向量机分类器用于对所述多个特征点之间的相对位置关系进行评分；

将所述多个特征点之间的相对位置关系输入所述支持向量机分类器；和

根据所述支持向量机分类器的评分确定所述显示屏的移动方向和移动角度。

在某些实施方式中，所述智能镜子包括导轨，所述显示屏安装在所述导轨上并能够沿所述导轨移动。

在某些实施方式中，所述导轨呈圆弧状。

在某些实施方式中，所述控制方法包括：

处理所述第一图像和所述第二图像以形成人脸三维图像；和

将所述人脸三维图像显示在所述显示屏上。

在某些实施方式中，所述处理所述第一图像和所述第二图像以形成三维图像包括：

提取所述第一图像和所述第二图像中的人脸关键点；

匹配所述人脸关键点以确定构建所述人脸三维图像的点云；和

根据所述点云形成所述人脸三维图像。

在某些实施方式中，所述控制方法包括：

对所述第一图像所包含的人脸进行虚拟试妆处理以得到虚拟试妆图像；和

将所述虚拟试妆图像显示在所述显示屏上。

本发明实施方式的控制装置，用于控制智能镜子，所述智能镜子包括能够移动的显示屏、设置在所述显示屏上的第一摄像头和固定设置的第二摄像头，所述控制装置包括：

第一控制模块，所述第一控制模块用于控制所述第一摄像头采集第一图像；

第一处理模块，所述第一处理模块用于处理所述第一图像以确定所述第一图像是否存在人脸及在所述第一图像存在人脸时确定人脸正脸相对于所述第一摄像头的偏移角度；

第二控制模块，所述第二控制模块用于根据所述偏移角度控制所述显示屏移动至所述人脸正脸的正前方；

第三控制模块，所述第三控制模块用于控制所述第二摄像头采集第二图像；和

第四控制模块，所述第四控制模块用于将所述第二图像显示在所述显示屏上。

在某些实施方式中，所述第一处理模块包括：

第一检测单元，所述第一检测单元用于在所述第一图像存在人脸时检测所述第一图像是否包含所述人脸正脸的图像；和

第二检测单元，所述第二检测单元用于在所述第一图像不包含所述人脸正脸的图像时确定所述人脸正脸相对于所述第一摄像头的偏移角度。

在某些实施方式中，所述控制装置还包括：

第一确定模块，所述第一确定模块用于在所述第一图像包含所述人脸正脸的图像时，确定所述显示屏已移动至所述人脸正脸的正前方。

在某些实施方式中，所述第一检测单元包括：

标定子单元，所述标定子单元用于定位所述人脸的多个特征点；

计算子单元，所述计算子单元用于计算所述多个特征点之间的相对位置关系；和

判断子单元，所述判断子单元用于根据所述多个特征点之间的相对位置关系判断所述第一图像是否包含所述人脸正脸。

在某些实施方式中，所述第二检测单元包括：

检测子单元，所述检测子单元用于根据所述多个特征点之间的相对位置关系确定所述偏移角度。

在某些实施方式中，所述控制装置还包括：

训练模块，所述训练模块用于根据所述多个特征点之间的相对位置关系训练支持向量机分类器，所述支持向量机分类器用于对所述多个特征点之间的相对位置关系进行评分；

输入模块，所述输入模块用于将所述多个特征点之间的相对位置关系输入所述支持向量机分类器；和

第二确定模块，所述第二确定模块用于根据所述支持向量机分类器的评分确定所述显示屏的移动方向和移动角度。

在某些实施方式中，所述智能镜子包括导轨，所述显示屏安装在所述导轨上并能够沿所述导轨移动。

在某些实施方式中，所述导轨呈圆弧状。

在某些实施方式中，所述控制装置包括：

第二处理模块，所述第二处理模块用于处理所述第一图像和所述第二图像以形成人脸三维图像；和

第五控制模块，所述第五控制模块用于将所述人脸三维图像显示在所述显示屏上。

在某些实施方式中，所述第二处理模块包括：

提取单元，所述提取单元用于提取所述第一图像和所述第二图像中的人脸关键点；

匹配单元，所述匹配单元用于匹配所述人脸关键点以确定构建所述人脸三维图像的点云；和

构建单元，所述构建单元用于根据所述点云形成所述人脸三维图像。

在某些实施方式中，所述控制装置包括：

第三处理模块，所述第三处理模块用于对所述第一图像所包含的人脸进行虚拟试妆处理以得到虚拟试妆图像；和

第六控制模块，所述第六控制模块用于将所述虚拟试妆图像显示在所述显示屏上。

本发明实施方式的智能镜子，包括：

能够移动的显示屏；

设置在所述显示屏上的第一摄像头；

固定设置的第二摄像头；

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置由所述一个或多个处理器执行，所述程序包括用于执行本发明上述任一实施方式所述的控制方法的指令。

本发明实施方式的计算机可读存储介质，包括与智能镜子结合使用的计算机程序，所述计算机程序可被处理器执行以完成本发明上述任一实施方式所述的控制方法。

本发明实施方式的控制方法、控制装置、智能镜子和计算机可读存储介质，可根据人脸正脸相对于第一摄像头的偏移角度，将显示屏移动至人脸正脸的正前方并将第二图像显示在显示屏上，如此，当用户希望观看非正面装束时，只需要轻松地转动身体和头部，智能镜子即可将用户希望观看的角度投射到人脸正脸的正前方，方便了用户使用智能镜子及提高了用户体验。

本发明实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的控制方法的流程示意图。

图2是本发明实施方式的智能镜子的模块示意图。

图3是本发明实施方式的控制装置的模块示意图。

图4是本发明实施方式的智能镜子的使用场景示意图。

图5是本发明另一个实施方式的智能镜子的使用场景示意图。

图6是本发明另一个实施方式的控制方法的流程示意图。

图7是本发明另一个实施方式的控制装置的模块示意图。

图8是本发明另一个实施方式的控制方法的流程示意图。

图9是本发明实施方式的第一检测单元的模块示意图。

图10是本发明另一个实施方式的控制方法的流程示意图。

图11是本发明实施方式的第二检测单元的模块示意图。

图12是本发明另一个实施方式的控制方法的流程示意图。

图13是本发明另一个实施方式的控制装置的模块示意图。

图14是本发明另一个实施方式的控制方法的流程示意图。

图15是本发明另一个实施方式的控制装置的模块示意图。

图16是本发明另一个实施方式的控制方法的流程示意图。

图17是本发明实施方式的第二处理模块的模块示意图。

图18是本发明另一个实施方式的控制方法的流程示意图。

图19是本发明另一个实施方式的控制装置的模块示意图。

图20是本发明另一个实施方式的智能镜子的模块示意图。

图21是本发明实施方式的智能镜子和计算机可读存储介质的连接示意图。

主要元件及符号说明：

控制装置10、第一控制模块11、第一处理模块12、第一检测单元122、标定子单元1222、计算子单元1224、判断子单元1226、第二检测单元124、检测子单元1242、第二控制模块13、第三控制模块14、第四控制模块15、第一确定模块16、训练模块17、输入模块18、第二确定模块19、第二处理模块20、提取单元202、匹配单元204、构建单元206、第五控制模块21、第三处理模块22、第六控制模块23、显示屏30、第一摄像头40、第二摄像头50、导轨60、处理器70、存储器80、智能镜子100、计算机可读存储介质200。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

请参阅图1和图2，本发明实施方式的控制方法用于控制智能镜子100。智能镜子100包括显示屏30、第一摄像头40和第二摄像头50。显示屏30能够移动。第一摄像头40设置在显示屏30上。第二摄像头50固定设置。控制方法包括：

步骤S11：控制第一摄像头40采集第一图像；

步骤S12：处理第一图像以确定第一图像是否存在人脸及在第一图像存在人脸时确定人脸正脸相对于第一摄像头40的偏移角度；

步骤S13：根据偏移角度控制显示屏30移动至人脸正脸的正前方；

步骤S14：控制第二摄像头50采集第二图像；和

步骤S15：将第二图像显示在显示屏30上。

请参阅图2和3，本发明实施方式的控制装置10用于控制智能镜子100。智能镜子100包括显示屏30、第一摄像头40和第二摄像头50。显示屏30能够移动。第一摄像头40设置在显示屏30上。第二摄像头50固定设置。控制装置10包括第一控制模块11、第一处理模块12、第二控制模块13、第三控制模块14和第四控制模块15。本发明实施方式的控制方法可以由本发明实施方式的控制装置10实现。例如，步骤S11可由第一控制模块11实现，步骤S12可由第一处理模块12实现，步骤S13可由第二控制模块13实现，步骤S14可由第三控制模块14实现，步骤S15可由第四控制模块15实现。

也即是说，第一控制模块11可以用于控制第一摄像头40采集第一图像。第一处理模块12可以用于处理第一图像以确定第一图像是否存在人脸及在第一图像存在人脸时确定人脸正脸相对于第一摄像头40的偏移角度。第二控制模块13可以用于根据偏移角度控制显示屏30移动至人脸正脸的正前方。第三控制模块14可以用于控制第二摄像头50采集第二图像。第四控制模块15可以用于将第二图像显示在显示屏30上。

本发明实施方式的控制方法和控制装置10，可根据人脸正脸相对于第一摄像头40的偏移角度，将显示屏30移动至人脸正脸的正前方并将第二图像显示在显示屏30上，如此，当用户希望观看非正面装束时，只需要轻松地转动身体和头部，智能镜子100即可将用户希望观看的角度投射到人脸正脸的正前方，方便了用户使用智能镜子100及提高了用户体验。

具体地，第二摄像头50可以固定设置在人正坐时人脸正脸的正前方。请参阅图4，初始状态下，人脸正脸未发生偏移，显示屏30位于人脸正脸的正前方。第一摄像头40固定在显示屏30上，人脸正脸相对于第一摄像头40的偏移角度为零，显示屏30不移动，显示屏30显示第二摄像头50采集的第二图像，即人脸正脸的图像。请参阅图5，当人脸正脸发生偏移时，例如人脸正脸相对于图4中的第一摄像头40向左偏移30度，第一图像为人脸正脸向左偏移30度的图像，第一处理模块12根据第一图像可以确定人脸正脸相对于第一摄像头40的偏移角度为30度，第二控制模块13再根据偏移角度控制显示屏30向左移动30度，以到达人脸正脸的正前方。由于第二摄像头50固定设置，显示屏30上显示的第二图像为人脸正脸相对于第二摄像头50向左偏移30度的图像。如此，智能镜子100可以实现将用户希望观看的角度投射到人脸正脸的正前方，以轻松地观看非正面装束。此时，显示屏30和第一摄像头40均位于人脸正脸的正前方，若人脸正脸在上一步向左偏移30度的基础上，再相对于此时的第一摄像头40向右偏移10度，第一摄像头40再次采集第一图像，第一处理模块12根据第一图像可以确定人脸正脸相对于图5中的第一摄像头40向右偏移10度，第二控制模块13再根据偏移角度控制显示屏30向右偏移10度，以到达人脸正脸的正前方。显示屏30上显示的第二图像为人脸正脸相对于第二摄像头50向左偏移20度的图像。如此，当用户第一次偏移角度过大时，可以在第一次偏移的基础上再进行角度的调整，以实现将希望观看的角度投射到人脸正脸的正前方。

需要指出的是，在本发明实施方式中，第一处理模块12处理第一图像以确定人脸正脸相对于第一摄像头40的偏移角度，是为了第二控制模块13可以根据偏移角度控制显示屏30移动至人脸正脸的正前方，以保证显示屏30始终位于人脸正脸的正前方。而第二图像中人脸正脸的偏移情况为人脸正脸相对于第二摄像头50的角度，可以理解，该角度与偏移角度相等或不相等。

请参阅图4和图5，在某些实施方式中，智能镜子100包括导轨60。显示屏30安装在导轨60上并能够沿导轨60移动。

具体地，导轨60可以围绕人体设置，例如可以呈多段式分布，多段导轨60拼接在一起，也可以为圆弧状的整体结构。智能镜子100可以包括与显示屏30连接的电机，智能镜子100通过电机控制显示屏30沿导轨60移动以到达人脸正脸的正前方。

在某些实施方式中，导轨60呈圆弧状。

如此，显示屏30可以在导轨60上平滑地移动，效率较高。在一个例子中，人体与显示屏30上各点之间的距离相等。如此，当人体转动以使人脸正脸偏移时，显示屏30跟随移动至人脸正脸的正前方，人眼在不同角度所看到的第二图像的大小缩放比例一致，保证了人眼观看的舒适性及提高了用户体验。

请参阅图6，在某些实施方式中，步骤S12包括：

步骤S122：在第一图像存在人脸时检测第一图像是否包含人脸正脸的图像；和

步骤S124：在第一图像不包含人脸正脸的图像时确定人脸正脸相对于第一摄像头40的偏移角度。

请参阅图7，在某些实施方式中，第一处理模块12包括第一检测单元122和第二检测单元124。步骤S122可由第一检测单元122实现，步骤S124可由第二检测单元124实现。

也即是说，第一检测单元122可以用于在第一图像存在人脸时检测第一图像是否包含人脸正脸的图像。第二检测单元124可以用于在第一图像不包含人脸正脸的图像时确定人脸正脸相对于第一摄像头40的偏移角度。

在一个例子中，智能镜子100可以通过在图像识别数据库(imagenet)上预训练的深度神经网络来检测第一图像是否存在人脸，以及在第一图像存在人脸时检测第一图像是否包含人脸正脸的图像，该方式速度快、准确性高。具体地，先手工标定存在人脸的图像，然后将该图像导入到深度神经网络来检测该图像是否存在人脸，以训练新的模型，同理，可以手工标定包含人脸正脸的图像，然后该图像导入到深度神经网络来检测该图像是否包含人脸正脸，以训练模型。训练完成的深度神经网络可以用于检测第一图像是否存在人脸，以及在第一图像存在人脸时检测第一图像是否包含人脸正脸的图像。其中，手工标定的存在人脸和人脸正脸的图像可以是任意包含人脸和人脸正脸的图像，例如可以是用户通过手机自拍得到的图像，可以是包含人脸和人脸正脸的第一图像，也可以是包含人脸和人脸正脸的第二图像，这里不作限制。

请参阅图6，在某些实施方式中，控制方法还包括：

步骤S16：在第一图像包含人脸正脸的图像时，确定显示屏30已移动至人脸正脸的正前方。

请参阅图7，在某些实施方式中，控制装置10还包括第一确定模块16。步骤S16可由第一确定模块16实现。

也即是说，第一确定模块16可以用于在第一图像包含人脸正脸的图像时，确定显示屏30已移动至人脸正脸的正前方。

可以理解，当设置在显示屏30上的第一摄像头40采集到的第一图像包含人脸正脸的图像时，则表明显示屏30已经移动至人脸正脸的正前方。

需要指出的是，步骤S16在步骤S13后实施，当第二控制模块13根据偏移角度控制显示屏30移动至人脸正脸的正前方后，若第一确定模块16确定显示屏30已移动至人脸正脸的正前方，则进入步骤S14和S15；若显示屏30未移动至人脸正脸的正前方，则返回步骤S11，再次采集第一图像，进而确定人脸正脸相对于第一摄像头40的偏移角度。

请参阅图8，在某些实施方式中，步骤S122包括：

步骤S1222：定位人脸的多个特征点；

步骤S1224：计算多个特征点之间的相对位置关系；和

步骤S1226：根据多个特征点之间的相对位置关系判断第一图像是否包含人脸正脸。

请参阅图9，在某些实施方式中，第一检测单元122包括标定子单元1222、计算子单元1224和判断子单元1226。步骤S1222可由标定子单元1222实现，步骤S1224可由计算子单元1224实现，步骤S1226可由判断子单元1226实现，

也即使说，标定子单元1222可以用于定位人脸的多个特征点。计算子单元1224可以用于计算多个特征点之间的相对位置关系。判断子单元1226可以用于根据多个特征点之间的相对位置关系判断第一图像是否包含人脸正脸。

具体地，多个特征点可以包括人体的鼻子、眼睛、嘴巴、眉毛等。定位特征点可以通过关键点定位的程序定位来实现。多个特征点之间的相对位置关系包括相对距离和/或相对角度。根据标定的包含人脸正脸的图像中多个特征点之间的相对位置关系，例如左眼相对于右眼的距离，左鼻翼相对于右鼻翼的距离，右鼻翼相对于鼻梁鼻尖的距离，左眼相对于鼻梁鼻尖的角度等，可以训练一个svm(Support Vector Machine，支持向量机)分类器，进而可以通过svm分类器判断第一图像是否包含人脸正脸。

请参阅图10，在某些实施方式中，步骤S124包括：

步骤S1242：根据多个特征点之间的相对位置关系确定偏移角度。

请参阅图11，在某些实施方式中，第二检测单元124包括检测子单元1242。步骤S1242可由检测子单元1242实现。

也即是说，检测子单元1242可以用于根据多个特征点之间的相对位置关系确定偏移角度。

可以理解，当人脸正脸相对于第一摄像头40存在偏移角度时与人脸正脸相对于第一摄像头40不存在偏移角度时，多个特征点之间的相对位置关系将不相同。一般地，多个特征点之间的相对距离和相对角度与偏移角度存在一定的关系。例如，多个特征点之间的相对距离为[d1，d2，d3，……]，对应偏移角度α1；多个特征点之间的相对距离为[D1，D2，D3，……]，对应偏移角度α2。一般地，当人脸正脸向左偏移时，第一图像中左鼻翼与鼻梁之间距离减小，右鼻翼与鼻梁之间距离增大；当人脸正脸向右偏移时，第一图像中右鼻翼与鼻梁之间距离减小，左鼻翼与鼻梁之间距离增大。因此，根据多个特征点之间的相对距离可以确定偏移角度。同理，根据多个特征点之间的相对角度也可以确定偏移角度，或者还可以根据多个特征点之间的相对距离和相对角度确定偏移角度。

请参阅图12，在某些实施方式中，控制方法还包括：

步骤S17：根据多个特征点之间的相对位置关系训练支持向量机分类器，支持向量机分类器用于对多个特征点之间的相对位置关系进行评分；

步骤S18：将多个特征点之间的相对位置关系输入支持向量机分类器；和

步骤S19：根据支持向量机分类器的评分确定显示屏30的移动方向和移动角度。

请参阅图13，在某些实施方式中，控制装置10还包括训练模块17、输入模块18和第二确定模块19。步骤S17可由训练模块17实现，步骤S18可由输入模块18实现，步骤S19可由第二确定模块19实现。

也即是说，训练模块17可以用于根据多个特征点之间的相对位置关系训练支持向量机分类器，支持向量机分类器用于对多个特征点之间的相对位置关系进行评分。输入模块18可以用于将多个特征点之间的相对位置关系输入支持向量机分类器。第二确定模块19可以用于根据支持向量机分类器的评分确定显示屏30的移动方向和移动角度。

具体地，根据多个特征点之间的相对位置关系可以训练svm分类器进行评分，通过得分的大小可以判断显示屏30应该左移还是右移以及显示屏10应该移动的角度。例如，得分为0.1可以对应显示屏30需要左移5度，得分为0.5可以对应显示屏30需要右移5度，得分为2分可以对应显示屏30不需要移动。具体的分值与显示屏30的移动之间的关系可以由人工来设置。当根据偏移角度控制显示屏30移动至人脸正脸的正前方后，可以重新采集第一图像并通过svm分类器的评分来判断显示屏30需要左移还是右移，以使显示屏30始终保持在人脸正脸的正前方。

请参阅图14，在某些实施方式中，控制方法包括：

步骤S20：处理第一图像和第二图像以形成人脸三维图像；和

步骤S21：将人脸三维图像显示在显示屏30上。

请参阅图15，在某些实施方式中，控制装置10包括第二处理模块20和第五控制模块21。步骤S20可由第二处理模块20实现，步骤S21可由第五控制模块21实现。

也即是说，第二处理模块20可以用于处理第一图像和第二图像以形成人脸三维图像。第五控制模块21可以用于将人脸三维图像显示在显示屏30上。

可以理解，当人脸正脸偏移时，第一摄像头40和第二摄像头50可以从不同角度同时采集包括人脸的第一图像和第二图像，第二处理模块20对第一图像和第二图像进行处理以形成人脸三维图像。如此，当用户转动身体和头部时，智能镜子100即可将用户希望观看的角度投射到人脸正脸的正前方的显示屏30上，形象生动，立体，提高了用户体验。

在某些实施方式中，第二摄像头50可以为多个，多个第二摄像头50间隔设置。多个第二摄像头50从不同角度同时采集多帧第二图像。如此，第二处理模块20还可以对多个包括人脸的第二图像进行处理以形成人脸三维图像。

请参阅图16，在某些实施方式中，步骤S20包括：

步骤S202：提取第一图像和第二图像中的人脸关键点；

步骤S204：匹配人脸关键点以确定构建人脸三维图像的点云；和

步骤S206：根据点云形成人脸三维图像。

请参阅图17，在某些实施方式中，第二处理模块20包括提取单元202、匹配单元204和构建单元206。步骤S202可由提取单元202实现，步骤S204可由匹配单元204实现，步骤S206可由构建单元206实现。

也即是说，提取单元202可以用于提取第一图像和第二图像中的人脸关键点。匹配单元204可以用于匹配人脸关键点以确定构建人脸三维图像的点云。构建单元206可以用于根据点云形成人脸三维图像。

具体地，第一摄像头40和第二摄像头50分别采集第一图像和第二图像，提取单元202对包括人脸的第一图像和第二图像提取人脸关键点，匹配单元204根据预定模型对人脸关键点进行匹配，然后计算各个人脸关键点的深度坐标，以确定构建人脸三维图像的点云，最后构建单元206根据点云形成人脸三维图像，并在人脸三维图像上映射人体皮肤纹理以形成用户观看到的人脸三维图像。

请参阅图18，在某些实施方式中，控制方法包括：

步骤S22：对第一图像所包含的人脸进行虚拟试妆处理以得到虚拟试妆图像；和

步骤S23：将虚拟试妆图像显示在显示屏30上。

请参阅图19，在某些实施方式中，控制装置10包括第三处理模块22和第六控制模块23。步骤S22可由第三处理模块22实现，步骤S23可由第六控制模块23实现。

也即是说，第三处理模块22可以用于对第一图像所包含的人脸进行虚拟试妆处理以得到虚拟试妆图像。第六控制模块23可以用于将虚拟试妆图像显示在显示屏30上。

具体地，虚拟试妆处理可仅针对人体的脸部图像，也可以针对人体的全身图像。

在本发明实施方式中，虚拟试妆处理主要针对人体的脸部图像。

在一个例子中，智能镜子100包括妆容素材库。用户可以在智能镜子100的操作界面点选妆容素材。妆容素材可以包括眼影素材、眼线素材、腮红素材、唇彩素材和眉毛素材等中的任意一种或多种。智能镜子100可以根据用户点选的妆容素材对人体图像进行虚拟试妆处理，并将得到的虚拟试妆图像显示在显示屏30上。可以理解，妆容素材库可存储在智能镜子100本地和/或云端。

如此，用户可以直观感受自己化妆后的效果，提高了智能镜子100的实用性。

在某些实施方式中，形成人脸三维图像可以与虚拟试妆处理结合使用。

也即是说，智能镜子100可以在人脸三维图像的基础上进行虚拟试妆处理，以得到虚拟试妆图像，并将虚拟试妆图像显示在显示屏30上。

如此，方便了用户使用智能镜子100，提升了用户观感体验。

请参阅图20，本发明实施方式的智能镜子100包括能够移动的显示屏30、设置在显示屏30上的第一摄像头40、固定设置的第二摄像头50、一个或多个处理器70、存储器80以及一个或多个程序。其中，一个或多个程序被存储在存储器80中，并且被配置由一个或多个处理器70执行。程序包括用于执行本发明上述任一实施方式的控制方法的指令。

请参阅图21，本发明实施方式的计算机可读存储介质200包括与智能镜子100结合使用的计算机程序。计算机程序可被处理器70执行以完成本发明上述任一实施方式的控制方法。

需要指出的是，计算机可读存储介质200可以是内置在智能镜子100中的存储介质，也可以是能够插拔地插接在智能镜子100的存储介质。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(IPM过流保护电路)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。

Claims (24)

1.一种控制方法，用于控制智能镜子，其特征在于，所述智能镜子包括能够移动的显示屏、设置在所述显示屏上的第一摄像头和固定设置的第二摄像头，所述控制方法包括：

控制所述第一摄像头采集第一图像；

处理所述第一图像以确定所述第一图像是否存在人脸及在所述第一图像存在人脸时确定人脸正脸相对于所述第一摄像头的偏移角度；

根据所述偏移角度控制所述显示屏移动至所述人脸正脸的正前方；

控制所述第二摄像头采集第二图像；和

将所述第二图像显示在所述显示屏上。

2.根据权利要求1所述的控制方法，其特征在于，所述处理所述第一图像以确定所述第一图像是否存在人脸及在所述第一图像存在人脸时确定人脸正脸相对于所述第一摄像头的偏移角度包括：

在所述第一图像存在人脸时检测所述第一图像是否包含所述人脸正脸的图像；和

在所述第一图像不包含所述人脸正脸的图像时确定所述人脸正脸相对于所述第一摄像头的偏移角度。

3.根据权利要求2所述的控制方法，其特征在于，所述控制方法还包括：

在所述第一图像包含所述人脸正脸的图像时，确定所述显示屏已移动至所述人脸正脸的正前方。

4.根据权利要求2所述的控制方法，其特征在于，所述在所述第一图像存在人脸时检测所述第一图像是否包含所述人脸正脸的图像包括：

定位所述人脸的多个特征点；

计算所述多个特征点之间的相对位置关系；和

根据所述多个特征点之间的相对位置关系判断所述第一图像是否包含所述人脸正脸。

5.根据权利要求4所述的控制方法，其特征在于，所述在所述第一图像不包含所述人脸正脸的图像时确定所述人脸正脸相对于所述第一摄像头的偏移角度包括：

根据所述多个特征点之间的相对位置关系确定所述偏移角度。

6.根据权利要求4所述的控制方法，其特征在于，所述控制方法还包括：

根据所述多个特征点之间的相对位置关系训练支持向量机分类器，所述支持向量机分类器用于对所述多个特征点之间的相对位置关系进行评分；

将所述多个特征点之间的相对位置关系输入所述支持向量机分类器；和

根据所述支持向量机分类器的评分确定所述显示屏的移动方向和移动角度。

7.根据权利要求1所述的控制方法，其特征在于，所述智能镜子包括导轨，所述显示屏安装在所述导轨上并能够沿所述导轨移动。

8.根据权利要求7所述的控制方法，其特征在于，所述导轨呈圆弧状。

9.根据权利要求1所述的控制方法，其特征在于，所述控制方法包括：

处理所述第一图像和所述第二图像以形成人脸三维图像；和

将所述人脸三维图像显示在所述显示屏上。

10.根据权利要求9所述的控制方法，其特征在于，所述处理所述第一图像和所述第二图像以形成三维图像包括：

提取所述第一图像和所述第二图像中的人脸关键点；

匹配所述人脸关键点以确定构建所述人脸三维图像的点云；和

根据所述点云形成所述人脸三维图像。

11.根据权利要求1所述的控制方法，其特征在于，所述控制方法包括：

对所述第一图像所包含的人脸进行虚拟试妆处理以得到虚拟试妆图像；和

将所述虚拟试妆图像显示在所述显示屏上。

12.一种控制装置，用于控制智能镜子，其特征在于，所述智能镜子包括能够移动的显示屏、设置在所述显示屏上的第一摄像头和固定设置的第二摄像头，所述控制装置包括：

第一控制模块，所述第一控制模块用于控制所述第一摄像头采集第一图像；

第一处理模块，所述第一处理模块用于处理所述第一图像以确定所述第一图像是否存在人脸及在所述第一图像存在人脸时确定人脸正脸相对于所述第一摄像头的偏移角度；

第二控制模块，所述第二控制模块用于根据所述偏移角度控制所述显示屏移动至所述人脸正脸的正前方；

第三控制模块，所述第三控制模块用于控制所述第二摄像头采集第二图像；和

第四控制模块，所述第四控制模块用于将所述第二图像显示在所述显示屏上。

13.根据权利要求12所述的控制装置，其特征在于，所述第一处理模块包括：

第一检测单元，所述第一检测单元用于在所述第一图像存在人脸时检测所述第一图像是否包含所述人脸正脸的图像；和

第二检测单元，所述第二检测单元用于在所述第一图像不包含所述人脸正脸的图像时确定所述人脸正脸相对于所述第一摄像头的偏移角度。

14.根据权利要求13所述的控制装置，其特征在于，所述控制装置还包括：

第一确定模块，所述第一确定模块用于在所述第一图像包含所述人脸正脸的图像时，确定所述显示屏已移动至所述人脸正脸的正前方。

15.根据权利要求13所述的控制装置，其特征在于，所述第一检测单元包括：

标定子单元，所述标定子单元用于定位所述人脸的多个特征点；

计算子单元，所述计算子单元用于计算所述多个特征点之间的相对位置关系；和

判断子单元，所述判断子单元用于根据所述多个特征点之间的相对位置关系判断所述第一图像是否包含所述人脸正脸。

16.根据权利要求15所述的控制装置，其特征在于，所述第二检测单元包括：

检测子单元，所述检测子单元用于根据所述多个特征点之间的相对位置关系确定所述偏移角度。

17.根据权利要求15所述的控制装置，其特征在于，所述控制装置还包括：

训练模块，所述训练模块用于根据所述多个特征点之间的相对位置关系训练支持向量机分类器，所述支持向量机分类器用于对所述多个特征点之间的相对位置关系进行评分；

输入模块，所述输入模块用于将所述多个特征点之间的相对位置关系输入所述支持向量机分类器；和

第二确定模块，所述第二确定模块用于根据所述支持向量机分类器的评分确定所述显示屏的移动方向和移动角度。

18.根据权利要求12所述的控制装置，其特征在于，所述智能镜子包括导轨，所述显示屏安装在所述导轨上并能够沿所述导轨移动。

19.根据权利要求18所述的控制装置，其特征在于，所述导轨呈圆弧状。

20.根据权利要求12所述的控制装置，其特征在于，所述控制装置包括：

第二处理模块，所述第二处理模块用于处理所述第一图像和所述第二图像以形成人脸三维图像；和

第五控制模块，所述第五控制模块用于将所述人脸三维图像显示在所述显示屏上。

21.根据权利要求20所述的控制装置，其特征在于，所述第二处理模块包括：

提取单元，所述提取单元用于提取所述第一图像和所述第二图像中的人脸关键点；

匹配单元，所述匹配单元用于匹配所述人脸关键点以确定构建所述人脸三维图像的点云；和

构建单元，所述构建单元用于根据所述点云形成所述人脸三维图像。

22.根据权利要求12所述的控制装置，其特征在于，所述控制装置包括：

第三处理模块，所述第三处理模块用于对所述第一图像所包含的人脸进行虚拟试妆处理以得到虚拟试妆图像；和

第六控制模块，所述第六控制模块用于将所述虚拟试妆图像显示在所述显示屏上。

23.一种智能镜子，其特征在于，包括：

能够移动的显示屏；

设置在所述显示屏上的第一摄像头；

固定设置的第二摄像头；

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置由所述一个或多个处理器执行，所述程序包括用于执行权利要求1-11任意一项所述的控制方法的指令。

24.一种计算机可读存储介质，其特征在于，包括与智能镜子结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1-11任意一项所述的控制方法。