CN106709954B - 在投影区域遮罩人脸的方法 - Google Patents

Abstract

本发明涉及电子信息技术领域，尤其涉及一种在投影区域遮罩人脸的方法。本发明提供的在投影区域遮罩人脸的方法，利用双目摄像机定位跟踪位于投影机前的人头或人脸在三维空间中的坐标集，并且把这个三维坐标集映射到投影机像平面内，得到人脸区域对应的二维坐标集，在该坐标集区域建立电子遮罩区域，实现投影光线屏蔽，从而有效避免了投影机发出的强光对人眼的损伤，且设备成本较低，扩大了投影机的应用范围，提高了用户体验。

Description

在投影区域遮罩人脸的方法

技术领域

本发明涉及电子信息技术领域，尤其涉及一种在投影区域遮罩人脸的方法。

背景技术

随着科学技术的不断发展和人们生活水平的持续提高，投影机在人们生活中越来越多的被使用，特别是在商务演讲、教育行业中被大量使用。投影机，又叫投影仪，是一种可以将图像或视频投射到幕布上的设备。投影机广泛应用于家庭、办公室、学校和娱乐场所，根据工作方式不同，有CRT，LCD，DLP等不同类型。近年来随着LED光源、激光技术的长足发展，微型投影机呈现井喷式增长，大量的家庭也都在使用投影设备。然而投影设备的原理决定了它必然会有一个极其明亮的高强度光源——无论是卤素灯泡、LED光源还是激光光源，其亮度都远远超越人眼能够直视的程度，甚至短时间的照射都会导致人眼刺痛、流泪、暂时失明，尤其是在家庭中的儿童，一旦被这样的强光照射眼睛，受到的伤害更严重。投影机通常安装在投影屏幕的正前方，演讲者站在投影屏幕前，面向听众时，就会正面直视投影机，此时演讲者容易受到投影机的强光刺激，造成眼部不适或者视力损伤。该问题是投影技术的固有缺陷，因此长期以来各大厂商都对此避而不谈，也没有相关的技术能够规避这样的伤害。如果降低投影机的光照强度，则会使投影内容变得较不清晰，因此投影亮度(光强)和对演讲者的眼睛保护成为一对矛盾。超短焦技术是近年出现的一项新技术。它并不是用来解决强光伤害眼睛的问题的，但该技术将远距离投影的设备“挪到”距离幕布非常近的距离，因此在一定程度上规避了强光伤害眼睛的问题。然而，超短焦技术并不能彻底解决问题，因为在很多场合都无法部署超短焦投影设备。而且超短焦投影设备的价格远远高于普通投影设备，在许多成本敏感的场景无力部署此类设备。背投技术是另一种可以规避强光伤害眼睛的技术，但该技术由于需要特殊的投影设备，以及需要很大的额外投影空间，投影亮度和清晰度也早已不能满足现代人对于高清观影的要求，现在已经极少使用，属于淘汰技术。因此，如何防止投影机的强光对人眼的损伤，扩大投影机的应用场景，是目前亟待解决的技术问题。

发明内容

本发明提供了一种在投影区域遮罩人脸的方法，用以解决投影机的强光易对人眼造成损伤的问题，扩大投影机的应用场景，提高用户体验。

为了解决上述问题，本发明提供了一种在投影区域遮罩人脸的方法，包括如下步骤：提供相对位置固定不变的投影机和双目摄像机；建立双目摄像机拍摄出的投影区域的三维摄像坐标与投影机的二维投影坐标之间的映射关系；向投影区域内投射特定波长的光线，并采用滤光装置对所述双目摄像机实施滤光，所述滤光装置只允许所述特定波长的光线通过；所述双目摄像机根据所获得的图像检测出人脸图像，并计算出人脸图像上的多个特征点在投影区域内的三维摄像坐标；根据三维摄像坐标与二维投影坐标之间的映射关系，计算出人脸图像上的多个特征点的二维投影坐标；根据人脸上的多个特征点的二维投影坐标计算出一包括了所述多个特征点的凸包区域作为遮罩区域；投影机减弱遮罩区域的出射光。

优选的，提供相对位置固定不变的投影机和双目摄像机的步骤具体是：1)

采用张正友标定法对双目摄像机进行标定，得到双目摄像机的内部参数；2)对未标定的投影机进行标定：a)用双目摄像机中的一个摄像头与投影机建立一个“摄像机-投影机”系统，并把投影机当作逆向相机；b)投影机向标定平面投射黑白棋盘格模式，所述摄像头捕捉棋盘格的角点；c)采用张正友标定法进行标定；d)计算得到“摄像机-投影机”系统的外部参数和投影机的内部参数。

优选的，所述投影区域存在多人，所述双目摄像机识别出多个人脸图像，并分别计算出每个人脸图像上的特征点在投影区域内的三维摄像坐标以及二维投影坐标，并以特征点的二维投影坐标的集合作为计算凸包区域的依据。

优选的，投影机减弱遮罩区域的出射光，具体是选自于以下两种方式的任意一种：将遮罩区域内的光完全消除；将遮罩区域内的光柔化或弱化成不伤眼的弱光。

优选的，所述双目摄像机根据所获得的图像检测出人脸图像，并计算出人脸图像上的多个特征点在投影区域内的三维摄像坐标的步骤具体包括：采用人脸检测算法检测双目摄像机中每一个摄像头捕获的图像中的人脸图像；对双目摄像机中每一个摄像头捕获的人脸图像上的特征点进行配对；利用三角测距原理得到每个像素点与双目摄像机之间的距离；再根据双目摄像机的内部参数求得所述特征点的三维摄像坐标。

优选的，所述双目摄像机识别出人脸图像后，进一步识别出人眼图像，并分别计算出每个人眼图像上的特征点在投影区域内的三维摄像坐标以及二维投影坐标，并以特征点的二维投影坐标的集合作为计算凸包区域的依据。

优选的，所述特定波长的光线为红外光。

本发明提供的在投影区域遮罩人脸的方法，利用双目摄像机定位跟踪位于投影机前的人脸在三维空间中的坐标集，并且把这个三维坐标集映射到投影机像平面内，得到人脸区域对应的二维坐标集，在该坐标集区域建立电子遮罩区域，实现投影光线屏蔽，从而有效避免了投影机发出的强光对人眼的损伤，且设备成本较低，因而扩大了投影机的应用范围，提高了用户体验。

附图说明

附图1是本发明具体实施方式的在投影区域遮罩人脸的方法的流程图；

附图2是本发明具体实施方式的提供相对位置固定不变的投影机和双目摄像机的方法流程图；

附图3是本发明具体实施方式的对未标定的投影机进行标定的方法流程图；

附图4是本发明具体实施方式的双目摄像机根据所获得的图像识别出人脸图像，并计算出人脸图像上的多个特征点在投影区域内的三维摄像坐标的方法流程图。

具体实施方式

下面结合附图对本发明提供的在投影区域遮罩人脸的方法的具体实施方式做详细说明。

本发明提供了一种在投影区域遮罩人脸的方法，附图1是本发明具体实施方式的在投影区域遮罩人脸的方法的流程图。如图1所示，本发明所述的在投影区域遮罩人脸的方法包括如下步骤：

步骤S11，提供相对位置固定不变的投影机和双目摄像机。为了防止所述投影机投射的强光对人眼的损伤，但是又不能对所述投影机投射的画面产生显著的影响，本发明采用的方法是减弱所述投影机投向人脸区域，特别是人眼区域的光的强度。为了实现对人脸的准确定位，本发明提供了一个与投影机的相对位置固定不变的双目摄像机。其中，所谓双目摄像机是具有两个摄像头的摄像机，其主要用于获取物体在空间的三维坐标。其中，所述双目摄像机通常包括左摄像机和右摄像机。

附图2是本发明具体实施方式的提供相对位置固定不变的投影机和双目摄像机的方法流程图，优选的，为了投影机精准的实现减弱投向人脸区域的出射光，提供相对位置固定不变的投影机和双目摄像机的步骤具体是：

步骤S21，对双目摄像机进行标定，得到双目摄像机的内部参数。其中，对于双目摄像机进行标定的方法可以是张正友标定法或其他标定法，所述其他标定法可以是但不限于直接线性法、Tsai两步标定法等。由于张正友标定法最为人们所熟知，且标定准确度相对较高，本具体实施方式优选采用张正友标定法进行标定。且所述双目摄像机的内部参数是指，两个摄像机的镜头焦距f在X方向和Y方向的像素个数、成像传感器主点坐标等，其中，X方向为双目摄像机像平面的水平方法，Y方向为双目摄像机像平面的竖直方向。

步骤S22，对未标定的投影机进行标定。

其中，所述张正友标定法，也称张氏标定法，是介于传统标定和自标定之间的一种方法，它只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点之间的对应关系，即每一幅图像的单应矩阵，来进行摄像机的标定。该方法模板制作简单、使用方便、成本低、鲁棒性好、准确率高，因此，本发明优选采用张正友标定法对双目摄像机的内部参数进行标定。其中，所述双目摄像机的内部参数包括焦距、主点、偏态系数、畸变等。

附图3是本发明具体实施方式的对未标定的投影机进行标定的方法流程图，优选的，为了实现对投影机的准确标定，所述对未标定的投影机进行标定的方法包括如下步骤：

步骤S31，用双目摄像机中的一个摄像头与投影机建立一个“摄像机-投影机”系统，并把投影机当作逆向相机；

步骤S32，投影机向标定平面投射黑白棋盘格模式，所述摄像头捕捉棋盘格的角点；

步骤S33，采用张正友标定法进行标定；

步骤S34，计算得到“摄像机-投影机”系统的外部参数和投影机的内部参数。其中，所述外部参数是指，投影机与摄像机间的平移、旋转关系。

通过两次采用张正友标定法，对双目摄像机和投影机实现了准确的标定，同时“摄像机-投影机”系统的外部参数和投影机的内部参数。其中，所述“摄像机-投影机”系统的外部参数是指投影机和双目摄像机之间的位置和方向关系；由于把投影机当作逆向相机，故而所述投影机的内部参数与摄像机内部参数类似，包括焦距、主点、偏态系数、畸变等。

步骤S12，建立双目摄像机拍摄出的投影区域的三维摄像坐标与投影机的二维投影坐标之间的映射关系。为了将双目摄像机获取的投影区域的三维摄像坐标转换成投影机的二维投影坐标，需要根据步骤S12标定得到的双目摄像机的内部参数、“摄像机-投影机”系统的外部参数和投影机的内部参数，建立双目摄像机拍摄出的投影区域的三维摄像坐标与投影机的二维投影坐标之间的映射关系。其中，所述三维摄像坐标是指，以在由所述双目摄像机之一(通常是左摄像机的光心位置)为原点而构造的空间三维坐标系中，投影区域内某一点在该三维坐标系下的三维坐标；所述二维投影坐标是指，在投影机内部的二维像平面内的二维坐标。

步骤S13，向投影区域内投射特定波长的光线，并采用滤光装置对所述双目摄像机实施滤光，所述滤光装置只允许所述特定波长的光线通过。为了排除环境因素对双目摄像机拍摄的干扰，从而准确获取人脸在投影区域的三维摄像坐标，则需要向投影区域内投射特定波长的光线，并对所述双目摄像机的每个摄像头配置滤光装置。通过向投影区域投射红外光，有助于准确的获得投影区域内的三维摄像坐标，优选的，所述特定波长的光线为红外光，则对应的滤光装置为红外过滤切换器，红外过滤切换器能够通过相应的程序驱动电机，以控制所述红外过滤切换器的开启或闭合，从而调节进入双目摄像机的成像系统的光线的种类：关闭红外滤光切换器时，所述双目摄像机仅能捕获可见光；开启红外滤光切换器时，所述双目摄像机仅能捕获红外光。由于投影机通常是在光线较暗的环境下使用，此时，通过向投射区域投射红外光，并开启红外滤光切换器，即使在光线较弱的环境下，也可实现人脸在投影区域的三维摄像坐标的准确定位，提高了后续模式识别算法的可靠性。

步骤S14，所述双目摄像机根据所获得的图像识别出人脸图像，并计算出人脸图像上的多个特征点在投影区域内的三维摄像坐标。由于双目摄像机拍摄到的图像中出了人脸还可能存在其他物体，例如拍摄到的图像是这个人的全身或是包含投影屏幕的一部分，这时，为了防止后续遮罩的过程中，遮罩区域过而对投影画面产生显著的影响，则需要对双目摄像机获取的图像进行人脸检测，并计算出人脸图像上的多个特征点在投影区域内的三维摄像坐标。

附图4是本发明具体实施方式的双目摄像机根据所获得的图像识别出人脸图像，优选的，为了快速的检测出人脸图像，并准确获得人脸图像上的多个特征点在投影区域内的三维摄像坐标，所述双目摄像机根据所获得的图像检测出人脸图像，并计算出人脸图像上的多个特征点在投影区域内的三维摄像坐标的步骤具体包括：

步骤S41，采用人脸检测算法检测双目摄像机中每一个摄像头捕获的图像中的人脸图像。

步骤S42，对双目摄像机中每一个摄像头捕获的人脸图像上的特征点进行配对。其中，所述特征点可以采用尺度不变特征变换(Scale-invariant feature transform，SIFT)、加速稳健特征(Speeded Up Robust Features,SURF)、快速视网膜关键点(FastRetina Key Point,FREAK)、二值鲁棒尺度不变关键点BRISK(Binary Robust InvariantScalable Key points,BRISK)等特征描述符来描述。

步骤S43，利用三角测距原理得到每个像素点与双目摄像机之间的距离。

步骤S44，再根据双目摄像机的内部参数求得所述特征点的三维摄像坐标。

其中，由于双目摄像机具有两个位置不同的摄像头，则需要采用人脸检测算法分别检测双目摄像机中每一个摄像头捕获的图像中的人脸图像。其中，所述的人脸检测算法可以采用本领域技术人员所熟知的各种人脸检测方法，本发明对此不作限定。为了获得人脸的空间三维坐标，在识别出每个摄像头捕获的人脸图像后，还需要对双目摄像机中每一个摄像头捕获的人脸图像上的像素点进行配对。所述三角测距原理是指物体、红外发射器、图像传感器(CCD)位于三角形的三个顶点位置，红外发射器按照一定的角度发射光束，当遇到物体后，光束会反射回来，反射回来的光线被图像传感器检测到后，会产生一个相对图像传感器中心点的偏移值，并由此计算出每个像素点与双目摄像机之间的距离，该方法操作简单，准确率相对较高。

步骤S15，根据三维摄像坐标与二维投影坐标之间的映射关系，计算出人脸图像上的多个特征点的二维投影坐标。在获取人脸图像上的多个特征点在投影区域内的三维摄像坐标后，根据步骤S12建立的双目摄像机拍摄出的投影区域的三维摄像坐标与投影机的二维投影坐标之间的映射关系，计算出人脸图像上的多个特征点在投影机内的二维投影坐标。至此，所述投影机便准确获得了人脸图像在投影机上的二维投影坐标。

步骤S16，根据人脸上的多个特征点的二维投影坐标计算出一包括了所述多个特征点的凸包区域作为遮罩区域。在根据步骤S15获得人脸图像上的多个特征点在投影机内的二维投影坐标后，再根据投影机的内部参数，计算出一包括了所述多个特征点的凸包区域作为遮罩区域。

步骤S17，投影机减弱遮罩区域的出射光。投影机减弱遮罩区域的出射光，具体是选自于以下两种方式的任意一种：将遮罩区域内的光完全消除；将遮罩区域内的光柔化或弱化成不伤眼的弱光。由于演讲者站在投影机和投影屏幕之间进行演讲时，演讲者的头部会在投影屏幕上形成一遮挡区域，而遮罩区域是由人脸上的多个特征点构成的凸包区域，即遮罩区域包含于遮挡区域内，故而减弱投影机投向遮罩区域的出射光，并不会对投影画面产生显著的影响，甚至于观众都无法察觉，用户体验较佳。

当所述投影区域存在多人，为了防止投影机投射的强光对每个人的眼睛造成损伤，优选的，所述双目摄像机检测出多个人脸图像，并分别计算出每个人脸图像上的特征点在投影区域内的三维摄像坐标以及二维投影坐标，并以特征点的二维投影坐标的集合作为计算凸包区域的依据。这样，形成多个遮罩区域，以对每个人的眼睛进行保护。

为了使得因投影机遮罩区域的光线弱化对投影画面的影响更小，不影响演讲者的演讲效果，优选的，所述双目摄像机检测出人脸图像后，进一步检测出人眼图像，并分别计算出每个人眼图像上的特征点在投影区域内的三维摄像坐标以及二维投影坐标，并以特征点的二维投影坐标的集合作为计算凸包区域的依据。这样一来，通过进一步识别人眼可以减小最终的凸包区域面积，从而对正常的投影内容干扰最小化。

不仅如此，本发明所述的在投影区域遮罩人脸的方法，还可以跟踪演讲者的位置，实时更新遮罩区域的位置，使得演讲者在移动的过程中也能避免强光对眼睛的损伤。

需要说明的是，本发明所述的双目摄像机可以位于所述投影机的内部，这样所述双目摄像机定位于投影机内部，双目摄像机的内部参数、投影机的内部参数、双目摄像机和投影机间的外部参数可以由厂商预先标定并保存在系统的非易失性存储器中，用户无需再自行标定，操作简单，且人脸遮罩的精准度较高；所述双目摄像机也可以作为一个单独的功能组件，与投影机分离，这样，使得普通投影机就能实现遮罩功能，一个双目摄像机可以与多个不同型号、不同尺寸的投影机匹配，具有普适性，降低了用户成本，扩大了普通投影机的适用范围。

本发明提供的在投影区域遮罩人脸的方法，利用双目摄像机定位跟踪位于投影机前的人脸在三维空间中的坐标集，并且把这个三维坐标集映射到投影机像平面内，得到人脸区域对应的二维坐标集，在该坐标集区域建立电子遮罩区域，实现投影光线屏蔽，从而有效避免了投影机发出的强光对人眼的损伤，且设备成本较低，因而扩大了投影机的应用范围，提高了用户体验。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种在投影区域遮罩人脸的方法，其特征在于，包括如下步骤：

提供相对位置固定不变的投影机和双目摄像机，所述双目摄像机包括左摄像机和右摄像机；

建立双目摄像机拍摄出的投影区域的三维摄像坐标与投影机的二维投影坐标之间的映射关系；所述三维摄像坐标是指，以在由所述左摄像机的光心位置为原点而构造的空间三维坐标系中，投影区域内某一点在该三维坐标系下的三维坐标；所述二维投影坐标是指，在投影机内部的二维像平面内的二维坐标；

向投影区域内投射特定波长的光线，并采用滤光装置对所述双目摄像机实施滤光，所述滤光装置只允许所述特定波长的光线通过；

所述双目摄像机根据所获得的图像检测出人脸图像，并计算出人脸图像上的多个特征点在投影区域内的三维摄像坐标；

根据三维摄像坐标与二维投影坐标之间的映射关系，计算出人脸图像上的多个特征点的二维投影坐标；

根据人脸上的多个特征点的二维投影坐标计算出一包括了所述多个特征点的凸包区域作为遮罩区域；

投影机减弱遮罩区域的出射光。

2.根据权利要求1所述的在投影区域遮罩人脸的方法，其特征在于，提供相对位置固定不变的投影机和双目摄像机的步骤具体是：

1)对双目摄像机进行标定，得到双目摄像机的内部参数；

2)对未标定的投影机进行标定：

a)用双目摄像机中的一个摄像头与投影机建立一个“摄像机-投影机”系统，并把投影机当作逆向相机；

b)投影机向标定平面投射黑白棋盘格模式，所述摄像头捕捉棋盘格的角点；

c)采用张正友标定法进行标定；

d)计算得到“摄像机-投影机”系统的外部参数和投影机的内部参数。

3.根据权利要求1所述的在投影区域遮罩人脸的方法，其特征在于，所述投影区域存在多人，所述双目摄像机检测出多个人脸图像，并分别计算出每个人脸图像上的特征点在投影区域内的三维摄像坐标以及二维投影坐标，并以特征点的二维投影坐标的集合作为计算凸包区域的依据。

4.根据权利要求1所述的在投影区域遮罩人脸的方法，其特征在于，投影机减弱遮罩区域的出射光，具体是选自于以下两种方式的任意一种：

将遮罩区域内的光完全消除；

将遮罩区域内的光柔化或弱化成不伤眼的弱光。

5.根据权利要求1所述的在投影区域遮罩人脸的方法，其特征在于，所述双目摄像机根据所获得的图像检测出人脸图像，并计算出人脸图像上的多个特征点在投影区域内的三维摄像坐标的步骤具体包括：

采用人脸检测算法检测出双目摄像机中每一个摄像头捕获的图像中的人脸图像；

对双目摄像机中每一个摄像头捕获的人脸图像上的特征点进行配对；

利用三角测距原理得到每个像素点与双目摄像机基线之间的距离；

再根据双目摄像机的内部参数求得所述特征点的三维摄像坐标。

6.根据权利要求1所述的在投影区域遮罩人脸的方法，其特征在于，所述双目摄像机检测出人脸图像后，进一步识别出人眼图像，并分别计算出每个人眼图像上的特征点在投影区域内的三维摄像坐标以及二维投影坐标，并以特征点的二维投影坐标的集合作为计算凸包区域的依据。

7.根据权利要求1所述的在投影区域遮罩人脸的方法，其特征在于，所述特定波长的光线为红外光。

Images