CN117834838B - 一种双目视觉检测投影设备及检测投影方法 - Google Patents

Abstract

本发明属于视觉投影技术领域，具体公开了一种双目视觉检测投影设备及检测投影方法，包括设置在具有镜面的固定台面上的主机，所述主机具有两个与主机转动连接的同轴的转动部，转动部上设有摄像头；主机上还设有投影部，投影部具有投影镜头；主机内具有控制模块，所述控制模块内置有脸部三维模型，控制模块接收摄像头拍摄的多帧带景深信息的人脸图像通过脸部三维模型生成带妆虚像并由投影镜头向外投影；所述镜面上通过覆盖有的幕布分隔为镜像区和投影区，投影镜头朝向镜面设置且投射的带妆虚像处于投影区。本发明通过一体化的结构设计，以低成本小体积的方式可适用于具有镜面的各种场景，具有较高适应性。

Description

一种双目视觉检测投影设备及检测投影方法

技术领域

本发明属于视觉检测成像技术领域，具体涉及一种双目视觉检测投影设备及检测投影方法。

背景技术

双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差图像。

这种双目立体视觉技术一般用于获取景深图像来计算获取到虚拟图像或三维模型，利用这种技术手段在各个领域能够辅助实现一些功能。例如化妆的辅助设备中，现有的辅助设备多是通过手机等具有摄像头的终端设备集成有APP，实现图像采集和化妆辅助的功能。具体是通过获取到人脸的图像然后通过软件将妆容模板简单匹配在脸上即可，这些技术手段都较为简单，所生成的虚拟像失真严重，只能是作为简单的参照，无法获取到较为真实的化妆反馈。无论如何通过仿真的软件进行精度还原，虚拟像是否无法替代镜面的反射效果，主要是颜色失真和分辨率较低的问题，现有的技术手段中有存在通过集成大屏幕的镜面设备实现较为真实的妆容匹配反馈的手段，但这种设备设置要求较高，诸多已有镜面的家庭并不能接受采用这种一体式设备进行更换的方案，且屏幕较大分辨率需要控制，而高分辨率的和高色域的屏幕成本较高。

发明内容

为了解决现有技术存在的问题，本发明提供一种双目视觉检测投影设备，通过较小体积且带有投影镜头的设备既能够实时获取到用户人脸的像和姿态，并通过投影带妆反馈辅导化妆，同时通过在镜面上的人脸镜像来调整投影的大小和姿态，从而做到和人脸镜像相同比例和姿态的带妆虚像，提高化妆效率。

本发明所采用的技术方案为：

第一方面，本发明提供一种双目视觉检测投影设备，用于实时获取人脸图像并投影在投影区呈现带妆虚像，包括设置在具有镜面的固定台面上的主机，所述主机具有两个与主机转动连接的同轴的转动部，转动部上设有摄像头；

主机上还设有投影部，投影部具有投影镜头；

主机内具有控制模块，所述控制模块内置有脸部三维模型，控制模块接收摄像头拍摄的多帧带景深信息的人脸图像通过脸部三维模型生成带妆虚像并由投影镜头向外投影；

所述镜面上通过覆盖有的幕布分隔为镜像区和投影区，投影镜头朝向镜面设置且投射的带妆虚像处于投影区；

在主机上还设有朝向镜面的检测部，控制模块通过检测部获取镜面的图像以及摄像头获取人脸图像计算控制带妆虚像与镜像区的人脸镜像比例保持一致。

结合第一方面，本发明提供第一方面的第一种实施方式，所述检测部包括摄像传感器，控制模块根据摄像传感器拍摄同时带有带妆虚像与人脸镜像的图片确认实际比例并调整投影镜头的成像大小。

结合第一方面，本发明提供第一方面的第二种实施方式，所述检测部包括摄像传感器和距离传感器，控制模块根据距离传感器获取的主机与镜面的距离调整带妆虚像的成像大小，根据摄像传感器获取的人脸镜像的方向调整带妆虚像的转动方向。

结合第一方面或第一方面的第一、第二种实施方式，本发明提供第一方面的第三种实施方式，所述主机为矩形壳体结构，主机沿长度方向设有一条与主机转动连接的转轴，两个所述转动部分别设置在转轴的端部且两个摄像头的光路保持空间平行。

结合第一方面的第三种实施方式，本发明提供第一方面的第四种实施方式，所述转轴穿出主机的两个端部上任一设有给转轴提供转动阻力的阻尼结构。

结合第一方面的第三种实施方式，本发明提供第一方面的第五种实施方式，所述主机一侧为操作区，操作区上设有显示屏、旋钮和若干按键。

结合第一方面的第五种实施方式，本发明提供第一方面的第六种实施方式，所述操作区上还设有条形的补光灯；

主机顶部还设有用于接触进行移动终端设备连接认证的近场通信区。

结合第一方面的第五种实施方式，本发明提供第一方面的第七种实施方式，所述主机另一侧中部设有投影壳体，所述投影壳体为矩形壳体结构，并从主机中部向外延伸形成延伸部，在延伸部端部具有弧面，弧面上设有转动槽，所述投影镜头设置在转动槽内与投影壳体转动连接；

延伸部两侧还设有散热区，设置在转动槽内的风扇将外部空气从一侧散热区带入吹过投影镜头后从另一侧散热区吹出形成散热风道。

结合第一方面的第七种实施方式，本发明提供第一方面的第八种实施方式，所述转动槽内在与投影镜头转动连接处设有电机，控制模块通过电机控制投影镜头的转向。

第二方面，本发明提供一种检测投影方法，采用上述中的一种双目视觉检测投影设备，步骤如下：

首先，根据主机所在位置将投影幕布贴在镜面的对应位置形成镜像区和投影区，控制模块通过摄像头获取到用户的若干帧人脸图像，根据脸部三维模型建立三维虚拟头像，然后根据数据库存储的妆容数据匹配妆容形成带妆虚像；

再由控制模块将带妆虚像通过投影镜头投影至投影区成像，同时摄像头持续获取当前的用户的人脸图像确定姿态数据，控制模块根据姿态数据调整带妆虚像的转动方向；

然后控制模块根据检测部实时获取当前的人脸镜像调整带妆虚像的大小。

本发明的有益效果为：

（1）本发明通过设有的一体式结构设计，采用可调节转动方向的双目摄像头模块采集用户的人脸数据，并利用现有的化妆镜面设置有投影幕布后便能够显示两个像，通过带妆虚像来确认带妆效果以及引导用户在脸上的对应区域用对应颜色的化妆品化妆，同时通过人脸镜像来确认现实中的脸上的妆容情况，由于是等比例等姿态的像，故能够更好更真实的反馈效果，同时更好的分步骤分区域引导化妆流程，提高效率；

（2）本发明通过设有的两个同步的摄像头形成双目视觉检测系统获取人脸的景深图像，通过景深图像形成带坐标的脸部三维模型，从而更好的适配妆容数据形成较为真实的带妆虚像，所投影的带妆虚像也呈现三维状态，根据人脸当时的姿态调整其空间的转动方向，再结合检测部检测到的人脸镜像的实际大小，方便控制模块调整投影镜头的位置或像的大小来匹配比例，提高其仿真效果。

附图说明

图1是本发明实施例中双目视觉检测投影设备的使用场景示意图；

图2是本发明实施例中双目视觉检测投影设备的检测投影的光线示意图；

图3是本发明实施例中双目视觉检测投影设备的第一轴测示意图；

图4是本发明实施例中双目视觉检测投影设备的第二轴测示意图；

图5是本发明实施例中双目视觉检测投影设备的俯视图；

图6是本发明实施例中双目视觉检测投影设备的后视图。

图中：1-镜像区，2-投影区，3-主机，4-投影壳体，5-转动部，6-摄像头，7-投影镜头，8-显示屏，9-按键，10-旋钮，11-近场通信区，12-检测部，13-散热区，14-补光灯。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，本申请的描述中若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，本申请的描述中若出现术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

实施例1：

本实施例公开一种双目视觉检测投影设备，旨在通过一体式的设备结构适用于带有镜面的多种化妆柜使用，通过采集人脸生成虚拟像配合镜像的方式来辅助用户进行化妆，具有成本低集成度高适用场景多的优点。

具体的，该投影设备具有一个主机3，主机3的主要部分为矩形壳体结构，内置有PCB板，PCB板上具有控制模块和电源模块，电源模块通过连接外部的220V外部电源进行供电。主机3壳体上设有两个转动部5，转动部5之间具有固定间隙，每个转动部5具有摄像头6，摄像头6通过内部线缆与PCB板连接进行信号传输和供电。

转动部5与主机3转动连接，两个转动部5的转动轴线共线且同步转动，摄像头6的光路处于空间平行，并以确定的间距数据通过内置的双目视觉检测算法形成双目摄像头6，从而通过视差原理可获取对应焦距范围内的物体的多帧景深图像。

转动部5可进行角度范围调整，一般是用于拍摄用户一侧，故角度的调节范围一般为180°。

主机3上还设有用于投影的投影部，投影部上设有一个可调位置、角度和焦距的小型的投影镜头7，根据使用场景，其投影的像大小在50cm×50cm左右，投影距离在1m以内。投影镜头7采用现有市场上的成熟产品，通过与PCB板信号和供电连接实现控制。

使用时，主机3设置在具有镜面的固定台面上，一般为化妆柜上，镜面不限制其大小，只需要根据主机3的放置位置来布置一个投影幕布，投影幕布的面积小于镜面的一半，只用于投影使用，避免遮挡较多影响用户的镜面成像。

设置有投影幕布后将镜面分隔为上下或左右两个区域，即镜像区1和投影区2。投影镜头7朝向镜面设置且投射的带妆虚像处于投影区2；在主机3上还设有朝向镜面的检测部12，控制模块通过检测部12获取镜面的图像以及摄像头6获取人脸图像计算控制带妆虚像与镜像区1的人脸镜像比例保持一致。

本实施例还公开一种检测投影的方法，首先，根据主机3所在位置将投影幕布贴在镜面的对应位置形成镜像区1和投影区2，控制模块通过摄像头6获取到用户的若干帧人脸图像，根据脸部三维模型建立三维虚拟头像，然后根据数据库存储的妆容数据匹配妆容形成带妆虚像；

再由控制模块将带妆虚像通过投影镜头7投影至投影区2成像，同时摄像头6持续获取当前的用户的人脸图像确定姿态数据，控制模块根据姿态数据调整带妆虚像的转动方向；

然后控制模块根据检测部12实时获取当前的人脸镜像调整带妆虚像的大小。

进一步地，参照图1-图6，提供一种检测投影设备的示例。需要说明的是，图中主要用于示出对应结构和主体的相对位置关系，其体积、尺寸、规格、性能并不作限定，例如主机3的相对体积仅是一个示例，实际中可能采用更小集成度更高的结构设计，类似带有两个摄像头6的平板设备，本实施例仅用于原理说明，并不限于此。

主机3为矩形壳体结构，主机3沿长度方向设有一条与主机3转动连接的转轴，两个所述转动部5分别设置在转轴的端部且两个摄像头6的光路保持空间平行。通过同轴结构设计，能够方便用户调整其转动角度，并保持摄像头6的朝向一致。同时这种长条形的壳体设计有利于提高两个摄像头6获取到的人脸图像的立体感，具有较高的视差度，能够形成更精确的人脸三维模型。

转轴穿出主机3的两个端部上任一设有给转轴提供转动阻力的阻尼结构，主机3一侧为操作区，操作区上设有显示屏8、旋钮10和若干按键9，操作区上还设有条形的补光灯14；主机3顶部还设有用于接触进行移动终端设备连接认证的近场通信区11。

参照图3，操作区的按键9为九宫格布置的数字按键9，同时多出的一排按键9包含有确认、取消、自定义功能键，在开机状态下由显示屏8显示交互界面，使用者可通过按键9和旋钮10进行系统操作和设备控制。但本身该设备为了控制成本，所采用的处理设备的处理能力有限，故设置有的近场通信区11能够快速连接外部的终端设备，通过外部终端设备来实现联网或者信息交互和操作的补充。该近场通信区11并未限定具体的信号连接方式，一般为NFC。

主机3另一侧中部设有投影壳体4，投影壳体4为矩形壳体结构，并从主机3中部向外延伸形成延伸部，在延伸部端部具有弧面，弧面上设有转动槽，所述投影镜头7设置在转动槽内与投影壳体4转动连接；

延伸部两侧还设有散热区13，设置在转动槽内的风扇将外部空气从一侧散热区13带入吹过投影镜头7后从另一侧散热区13吹出形成散热风道。转动槽内在与投影镜头7转动连接处设有电机，控制模块通过电机控制投影镜头7的转向。

其中，检测部12可以是摄像传感器，控制模块根据摄像传感器拍摄同时带有带妆虚像与人脸镜像的图片确认实际比例并调整投影镜头7的成像大小。

而检测部12也可以包括摄像传感器和距离传感器，控制模块根据距离传感器获取的主机3与镜面的距离调整带妆虚像的成像大小，根据摄像传感器的获取的人脸镜像带妆虚像的转动方向。

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种双目视觉检测投影设备，用于实时获取人脸图像并投影在投影区（2）呈现带妆虚像，其特征在于：包括设置在具有镜面的固定台面上的主机（3），所述主机（3）具有两个与主机（3）转动连接的同轴的转动部（5），转动部（5）上设有摄像头（6）；

主机（3）上还设有投影部，投影部具有投影镜头（7）；

主机（3）内具有控制模块，所述控制模块内置有脸部三维模型，控制模块接收摄像头（6）拍摄的多帧带景深信息的人脸图像通过脸部三维模型生成带妆虚像并由投影镜头（7）向外投影；

所述镜面上通过覆盖有的幕布分隔为镜像区（1）和投影区（2），投影镜头（7）朝向镜面设置且投射的带妆虚像处于投影区（2）；

在主机（3）上还设有朝向镜面的检测部（12），控制模块通过检测部（12）获取镜面的图像以及摄像头（6）获取人脸图像计算控制带妆虚像与镜像区（1）的人脸镜像比例保持一致。

2.根据权利要求1所述的一种双目视觉检测投影设备，其特征在于：所述检测部（12）包括摄像传感器，控制模块根据摄像传感器拍摄同时带有带妆虚像与人脸镜像的图片确认实际比例并调整投影镜头（7）的成像大小。

3.根据权利要求1所述的一种双目视觉检测投影设备，其特征在于：所述检测部（12）包括摄像传感器和距离传感器，控制模块根据距离传感器获取的主机（3）与镜面的距离调整带妆虚像的成像大小，根据摄像传感器获取的人脸镜像的方向调整带妆虚像的转动方向。

4.根据权利要求1-3任一项所述的一种双目视觉检测投影设备，其特征在于：所述主机（3）为矩形壳体结构，主机（3）沿长度方向设有一条与主机（3）转动连接的转轴，两个所述转动部（5）分别设置在转轴的端部且两个摄像头（6）的光路保持空间平行。

5.根据权利要求4所述的一种双目视觉检测投影设备，其特征在于：所述转轴穿出主机（3）的两个端部上任一设有给转轴提供转动阻力的阻尼结构。

6.根据权利要求4所述的一种双目视觉检测投影设备，其特征在于：所述主机（3）一侧为操作区，操作区上设有显示屏（8）、旋钮（10）和若干按键（9）。

7.根据权利要求6所述的一种双目视觉检测投影设备，其特征在于：所述操作区上还设有条形的补光灯（14）；

主机（3）顶部还设有用于接触进行移动终端设备连接认证的近场通信区（11）。

8.根据权利要求6所述的一种双目视觉检测投影设备，其特征在于：所述主机（3）另一侧中部设有投影壳体（4），所述投影壳体（4）为矩形壳体结构，并从主机（3）中部向外延伸形成延伸部，在延伸部端部具有弧面，弧面上设有转动槽，所述投影镜头（7）设置在转动槽内与投影壳体（4）转动连接；

延伸部两侧还设有散热区（13），设置在转动槽内的风扇将外部空气从一侧散热区（13）带入吹过投影镜头（7）后从另一侧散热区（13）吹出形成散热风道。

9.根据权利要求8所述的一种双目视觉检测投影设备，其特征在于：所述转动槽内在与投影镜头（7）转动连接处设有电机，控制模块通过电机控制投影镜头（7）的转向。

10.一种检测投影方法，其特征在于：采用权利要求2或3所述的一种双目视觉检测投影设备，步骤如下：

首先，根据主机（3）所在位置将投影幕布贴在镜面的对应位置形成镜像区（1）和投影区（2），控制模块通过摄像头（6）获取到用户的若干帧人脸图像，根据脸部三维模型建立三维虚拟头像，然后根据数据库存储的妆容数据匹配妆容形成带妆虚像；

再由控制模块将带妆虚像通过投影镜头（7）投影至投影区（2）成像，同时摄像头（6）持续获取当前的用户的人脸图像确定姿态数据，控制模块根据姿态数据调整带妆虚像的转动方向；

然后控制模块根据检测部（12）实时获取当前的人脸镜像调整带妆虚像的大小。