CN105893965B - 一种可用于非特定人的双目视觉图像合成装置与方法 - Google Patents
一种可用于非特定人的双目视觉图像合成装置与方法 Download PDFInfo
- Publication number
- CN105893965B CN105893965B CN201610197497.XA CN201610197497A CN105893965B CN 105893965 B CN105893965 B CN 105893965B CN 201610197497 A CN201610197497 A CN 201610197497A CN 105893965 B CN105893965 B CN 105893965B
- Authority
- CN
- China
- Prior art keywords
- face
- module
- image
- binocular vision
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 25
- 230000001815 facial effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010189 synthetic method Methods 0.000 claims description 2
- 238000000151 deposition Methods 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000000465 moulding Methods 0.000 claims 1
- 230000006641 stabilisation Effects 0.000 abstract 1
- 238000011105 stabilization Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 230000005526 G1 to G0 transition Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007650 screen-printing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种可用于非特定人的双目视觉图像合成装置与方法,所述装置包括双目视觉采集模块、相机姿态调整模块、控制模块、人脸识别模块、人脸对齐模块、存储模块及图像合成模块,其中人脸识别模块捕获双目视觉采集模块所采集图像中的人脸信息,控制模块根据人脸在图像中的位置驱动相机姿态调整模块跟踪人脸,稳定后拍摄立体人脸图像,并将对齐后的立体人脸图像保存到存储模块中,最后通过图像合成模块将同一使用者在不同时间拍摄的立体人脸图像按时间顺序连续播放。本发明使用双目摄像头拍摄立体人脸图像,通过长时间多次拍摄实现自动记录一个或多个使用者不同时期的面部图像,可用于个性化的成长记录或个人档案。
Description
技术领域
本发明涉及双目立体图像采集、处理与合成技术,尤其涉及一种可用于非特定人的双目视觉图像合成装置与方法。
背景技术
双目立体视觉技术是指在双目定位过程中,两部相机处于同一平面上,并且光轴相互平行,其生成的带有深度信息的立体图像与人的两只眼睛观测角度一致,利用特殊的工具(如3D眼镜)就可以在观测者眼中复现出立体图像的技术。由于该技术可重构出场景的三维几何信息,并且具有精度高、识别率高、展示效果好等特点,被广泛应用于移动机器人的自主导航、航空及遥感测量、工业自动化等领域中。特别是在工业自动化领域,该技术已成功应用于丝网印刷、贴合、切割、PCB补线机、PCB打孔机、玻璃割片机、点胶机、SMT检测、贴版机等对工业精密对位、定位、零件确认、尺寸测量、工业显微等有显著需求的产品中,产生了巨大的经济效益。
随着图像处理技术的迅猛发展,人脸识别技术也越来越成熟,应用也越来越广泛。该技术具有非强制性、非接触性和并发性等优点,在企业管理、住宅安全门禁、电子护照及身份证、公安及司法刑侦、自助服务、信息安全等多方面相继取得成功应用,在娱乐领域也产生了如笑脸检测、人脸自动对焦、寻找相似明星脸等成熟应用。
近年来,三维人脸识别技术逐渐发展,其中一种低成本的方案采用双目摄像头,利用一侧摄像头的图片进行人脸检测和关键特征点(如眼睛)定位,同时利用两侧摄像头图片进行立体融合,生成立体人脸图像。目前,三维人脸识别技术主要用于考勤、自助服务等身份认证领域,尚未在娱乐领域实现成功应用。
目前主流人脸识别应用均重视识别结果,而忽视了注册之后历次识别的图像信息。事实上这些图像信息是极具个性化的成长记录或个人档案,其价值尚未被发掘。曾有人连续多年每天为自己的女儿拍摄一张照片,再手工拼接为视频,虽然耗费了大量的时间精力,但视频的效果极佳,完整地展现出女儿的成长过程,因此吸引了大量的网络用户。如果保存历次人脸识别的图像信息,并结合人脸采集、对齐与合成等技术,将这些图像按照时间顺序合成为可连续播放的动态图像或视频,将成为一种新型的人脸识别应用方式。
因此,需要一种可以通过双目视觉解决非特定人的长周期人脸图像合成的技术。
发明内容
本发明所述一种可用于非特定人的双目视觉图像合成装置与方法,其目的是使用双目摄像头拍摄立体人脸图像,通过长时间多次拍摄实现自动记录一个或多个使用者不同时期的面部图像,从而用于个性化的成长记录或个人档案。
本发明所述一种可用于非特定人的双目视觉图像合成装置与方法,其原理是由双目摄像头拍摄人脸图像,通过舵机控制双目摄像头调整姿态始终跟踪人脸,直到拍摄到稳定的正面立体人脸图像,经过裁剪和对齐处理后进行保存,最后根据需要将同一使用者在不同时间拍摄的立体人脸图像按时间顺序进行连续播放。
为达到上述目的,本发明的技术方案是这样实现的:
根据本发明的一方面,提出一种可用于非特定人的双目视觉图像合成装置,所述装置包括双目视觉采集模块、相机姿态调整模块、控制模块、人脸识别模块、人脸对齐模块、存储模块及图像合成模块,其中:
所述双目视觉采集模块与相机姿态调整模块连接,两个模块相互配合采集立体图像,并将采集到的图像数据传输到控制模块;
所述相机姿态调整模块与控制模块连接,用于根据控制模块的指令驱动双目视觉采集模块在多个自由度上进行运动;
所述控制模块分别与双目视觉采集模块、相机姿态调整模块、存储模块、人脸识别模块和图像合成模块连接,用于对各模块的动作或处理方式进行控制;
所述人脸识别模块与控制模块、人脸对齐模块和存储模块连接,用于检测所述双目视觉采集模块采集到的图像数据中是否包含人脸,并根据检测到的立体人脸图像中的人脸生物特征在所述存储模块所存储的已注册人脸数据库中寻找所述立体人脸图像的匹配结果;
所述人脸对齐模块分别与人脸识别模块和存储模块连接,用于将人脸识别模块检测到的立体人脸图像进行裁剪和对齐,使人脸部分固定于图像中指定的区域中,并将对齐后的立体人脸图像发送给所述存储模块;
所述存储模块与控制模块、人脸识别模块、人脸对齐模块和图像合成模块连接,用于存储对齐后的立体人脸图像;
所述图像合成模块与控制模块和存储模块连接,用于根据控制模块的指令从存储模块中提取指定人的立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输出。
根据本发明的另一方面,还提出一种利用所述可用于非特定人的双目视觉图像合成装置进行双目视觉图像合成的方法,所述方法包括以下步骤:
步骤301:双目视觉采集模块按照设定采样频率进行采样,并将采集到的图像数据经控制模块传输给人脸识别模块,所述人脸识别模块4检测图像中是否存在人脸图像并将检测结果以及人脸在图像中的位置信息发送给控制模块3;
步骤302:所述控制模块根据人脸在图像中的位置计算姿态调整角度生成姿态调整命令,并将所述姿态调整命令发送给相机姿态调整模块,对所述双目视觉采集模块进行姿态调整,以持续追踪正面人脸;
步骤303:若判断在连续多次采集的图像中,人脸位置居中且偏移量小于某一指定阈值,则所述控制模块向双目视觉采集模块发出拍照指令,否则返回所述步骤302;
步骤304:人脸识别模块对所采集图像中的人脸进行识别,得到立体人脸图像,并将其与存储模块存储的已注册人脸数据库进行比对,寻找所述立体人脸图像的匹配结果;
步骤305:通过提取所述立体人脸图像中的人脸关键点将人脸位置固定于立体人脸图像中指定的相同区域内;
步骤306:将对齐后的立体人脸图像进行储存,并在存储模块的使用数据库中添加一条包含用户ID、立体人脸图像存储位置、图像采集时间信息的数据记录;
步骤307:根据控制模块的指令从存储模块的使用数据库中提取指定用户ID的全部立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输出
从上述技术方案可以看出,本发明具有以下有益效果:
1、本发明在传统二维人脸识别的基础上,根据立体视觉原理设计双目视觉采集模块提取人脸的三维信息,对于左右两个摄像头的输入图像,依据相关系数和约束关系找到两幅图中的每个点的对应关系,从而表征出深度信息,进一步利用深度数据组成不同于传统二维人脸识别的新的判别依据,增加了人脸识别的准确性和鲁棒性。
2、本发明通过保存人脸注册之后历次识别的图像信息,并结合人脸采集、对齐与合成等技术,将这些图像按照时间顺序合成为可连续播放的动态图像或视频,形成一类极具个性化的成长记录或个人档案,成为一种新型的人脸识别应用方式。
3、本发明完全自动化操作,全程无需人的参与,在历次使用过程中就可通过人脸跟踪、人脸识别、人脸对齐、人脸合成等技术轻松记录成长过程,克服了传统手工合成方式周期长、耗时费力等问题。
4、本发明采用双目摄像头进行长周期的非特定人人脸识别及图像合成,具有广泛的应用价值,例如集成在学校班级门口的人脸考勤机中,可方便师生进行身份认证,并可在学生毕业时自动生成一份个人成长记录视频;集成到家庭中的写字台、浴室镜、电视中也可长时间纪录具有纪念意义的家庭成员生活轨迹;应用到理发店、健身房等服务性行业中,可为客人定做个人发型或体型纪念册,从而带来更好的用户体验,起到更大的市场宣传作用。
附图说明
图1是根据本发明一实施例的可用于非特定人的双目视觉图像合成装置的组成框图;
图2是根据本发明一实施例的可用于非特定人的双目视觉图像合成装置中人脸识别模块的工作流程图;
图3是根据本发明一实施例的可用于非特定人的双目视觉图像合成方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1是根据本发明一实施例的可用于非特定人的双目视觉图像合成装置的组成框图,如图1所示,所述可用于非特定人的双目视觉图像合成装置包括双目视觉采集模块1、相机姿态调整模块2、控制模块3、人脸识别模块4、人脸对齐模块5、存储模块6及图像合成模块7,其中:
所述双目视觉采集模块1与相机姿态调整模块2连接,两个模块相互配合采集立体图像,并将采集到的图像数据传输到控制模块3;
所述相机姿态调整模块2与控制模块3连接,用于根据控制模块3的指令驱动双目视觉采集模块1在多个自由度上进行运动;
所述控制模块3分别与双目视觉采集模块1、相机姿态调整模块2、存储模块6、人脸识别模块4和图像合成模块7连接,用于对各模块的动作或处理方式进行控制,在本发明一实施例中,所述控制模块3根据预先设置的算法及规则对各模块的动作或处理方式进行控制;
所述人脸识别模块4与控制模块3、人脸对齐模块5和存储模块6连接,用于检测所述双目视觉采集模块1采集到的图像数据中是否包含人脸,并根据检测到的立体人脸图像中的人脸生物特征在所述存储模块6所存储的已注册人脸数据库中寻找所述立体人脸图像的匹配结果;
所述人脸对齐模块5分别与人脸识别模块4和存储模块6连接,用于将人脸识别模块4检测到的立体人脸图像进行裁剪和对齐,使人脸部分固定于图像中指定的区域中,并将对齐后的立体人脸图像发送给所述存储模块6,其中,所述指定的区域根据实际应用的需要来确定,本发明对其不作具体限定;
所述存储模块6与控制模块3、人脸识别模块4、人脸对齐模块5和图像合成模块7连接,用于存储对齐后的立体人脸图像;
所述图像合成模块7与控制模块3和存储模块6连接,用于根据控制模块3的指令从存储模块6中提取指定人的立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输出。
其中,所述相机姿态调整模块2由不少于一个舵机组成,可以根据控制模块3的指令,对每个舵机分别进行特定角度的调整。
在本发明的一个实施例中,所述相机姿态调整模块2包括2台RDS3115型号舵机和一个STM32F103C8T6单片机,舵机单个重量60g,工作电压5V至7.2V,工作在7.2V电压时堵转扭矩17kg/cm,速度0.16sec/60度,可控角度范围180度。舵机由单片机STM32F103C8T6输出的PWM波控制角度,控制模块3通过RS232口给单片机STM32F103C8T6发送指令MMab(指令标示符MM以ASCII码形式发送即0x4D4D;a和b为数值,各占16位,数值以0.1为单位)可实现俯仰a度左右摇头b度,发送指令M00可实现初始化回到原点。安装时两个舵机旋转轴互相垂直,负责左右摇摆的舵机在下旋转轴竖直,上面舵机以下面舵机的舵盘为底座,上面舵机旋转轴上安装U型支架用以固定相机,如此可以实现双目视觉采集模块1的2个自由度运动即实现俯仰、左右摇头。
具体地,所述控制模块3,采集时用于接收双目视觉采集模块1采集得到的图像,再将图像转发给人脸识别模块4,并根据人脸识别模块4返回的偏移参数计算相机姿态调整模块2的调整角度,然后将该调整角度发送给相机姿态调整模块2,带动双目视觉采集模块1持续追踪人脸,直到采集到正面清晰人脸图像;展示时用于向图像合成模块7发出从存储模块6提取指定人立体人脸图像的指令。
在本发明的一个实施例中,控制模块3采用英特尔的i5-4590型号的处理器作为核心控制器,通过RGB888接口获取双目视觉采集模块1采集得到的图像。控制模块3将采集到的图像发送给人脸识别模块4并接收处理结果,并根据该处理结果给相机姿态调整模块2发出动作指令,例如人脸识别模块4返回的偏移参数水平偏移量为x,垂直偏移量为y,设定调整系数为k(k为一个定值,需根据实际相机的不同进行实验调整),则双目视觉采集模块1需要调整的俯仰角度指令为m=-10*y*k,左右旋转角度指令为n=-10*x*k,则控制模块3通过串口给相机姿态调整模块2发送指令MMmn,然后继续采集图像并发送给人脸识别模块4并接收处理结果,如此反复进行调整,直到返回结果连续5次有人脸且偏移量小于阈值为止,此时认为人脸位于中心位置,停止调整。当人脸位于中心位置时,进行拍照,并将照片发送到人脸识别模块进行后续处理。
所述人脸识别模块4,如图2本发明提供的可用于非特定人的双目视觉图像合成装置中人脸识别模块的工作流程图所示,从控制模块3接收图像后首先判断图像中是否包含人脸信息,如果包含则计算人脸中心点与图像中心点之间的偏移,并将该偏移参数返回给控制模块3,直至连续多次采集到的人脸中心点与图像中心点之间的偏移小于预先设定的阈值,以确保双目视觉采集模块1拍摄到稳定的人脸图像;进而分析该人脸图像中的生物特征,并与存储模块6所存储的已注册人脸数据库进行比对,判断是否为已注册用户,若已注册则将该人脸图像和注册用户ID发送到人脸对齐模块5进行后续处理,若为未注册用户则进入注册模式,为使用者创建新的用户ID。
在本发明的一个实施例中,调整系数k为0.01,偏移参数阈值T=20,第一张检测到人脸图像的偏移参数x=100,y=150,则调整参数m=-15,n=-10,控制模块3则发送指令0x4D4DFFF1FFF6给相机姿态调整模块2,相机姿态调整模块2根据指令执行动作俯仰1.5度,左右旋转1度;第二张检测到的人脸图像的偏移参数x=95,y=143,然后继续按照公式调节,最后在第16次调节后,偏移参数x=13,y=15,均小于阈值T,并且此后连续4次有人脸且偏移参数都在阈值范围内,此时完成调节,进行拍照。
所述存储模块6,其中包含已注册人脸数据库和使用数据库,已注册人脸数据库中保存使用者注册信息,使用数据库的数据结构中至少包括用户ID、立体人脸图像存储位置、图像采集时间三个字段,可用于存储多个使用者的人脸数据。
在本发明的一个实施例中,已注册人脸数据库的数据结构表示为
使用数据库的数据结构表示为:
所述人脸对齐模块5,能够通过提取人脸图像中的特征关键点,并将其在图像中的坐标位置与模板位置进行比较,利用裁剪、缩放、拉伸、平移等处理方式将人脸位置固定于立体人脸图像中指定的相同区域内,以使未来图像合成模块7输出的动态图像或视频中,人脸的位置和大小保持基本稳定。
在本发明的一个实施例中,设置人脸模板的大小为分辨率640*480,人脸对齐模块5采取只保留脸部不留背景的方式。在图像中以包含人脸的最小矩形框位置为基准,上下各增加人脸高度的5%,左右各增加人脸宽度的5%,然后以增大后的矩形框截取人脸图像,超出原来图像部分以白色补齐。然后将截取的人脸图像缩放到人脸模板大小即640*480,然后将此图像保存,并将储存信息添加到使用数据库中。
根据本发明的另一方面,还提出一种可用于非特定人的双目视觉图像合成方法,如图3本发明提供的可用于非特定人的双目视觉图像合成方法的流程图所示,该方法应用于包含双目视觉采集模块1、相机姿态调整模块2、控制模块3、人脸识别模块4、人脸对齐模块5、存储模块6及图像合成模块7的非特定人双目视觉图像合成装置,该方法包括以下步骤:
步骤301:检测人脸:开机后由双目视觉采集模块1按照设定采样频率,比如3帧/秒,进行采样,并将采集到的图像数据经控制模块3传输给人脸识别模块4,所述人脸识别模块4检测图像中是否存在人脸图像并将检测结果以及人脸在图像中的位置信息发送给控制模块3;
步骤302:人脸追踪:所述控制模块3根据人脸在图像中的位置计算姿态调整角度生成姿态调整命令,并将所述姿态调整命令发送给相机姿态调整模块2,对所述双目视觉采集模块1进行姿态调整,以持续追踪正面人脸;
在本发明的一个实施例中:
相机姿态调整模块2包括2台RDS3115型号舵机和一个STM32F103C8T6单片机,舵机单个重量60g,工作电压5V至7.2V,工作在7.2V电压时堵转扭矩17kg/cm,速度0.16sec/60度,可控角度范围180度。舵机由单片机STM32F103C8T6输出的PWM波控制角度,控制模块3通过RS232口给单片机STM32F103C8T6发送指令MMab(指令标示符MM以ASCII码形式发送即0x4D4D;a和b为数值,各占16位,数值以0.1为单位)可实现俯仰a度左右摇头b度,发送指令M00可实现初始化回到原点。安装时两个舵机旋转轴互相垂直,负责左右摇摆的舵机在下旋转轴竖直,上面舵机以下面舵机的舵盘为底座,上面舵机旋转轴上安装U型支架用以固定相机,如此可以实现双目视觉采集模块1的2个自由度运动即实现俯仰、左右摇头;
控制模块3采用英特尔的i5-4590型号的处理器作为核心控制器,通过RGB888接口获取双目视觉采集模块1采集得到的图像。控制模块3将采集到的图像发送给人脸识别模块4并接收处理结果,并根据该处理结果给相机姿态调整模块2发出动作指令,例如人脸识别模块4返回的偏移参数水平偏移量为x,垂直偏移量为y,设定调整系数为k(k为一个定值,需根据实际相机的不同进行实验调整),则双目视觉采集模块1需要调整的俯仰角度指令为m=-10*y*k,左右旋转角度指令为n=-10*x*k,则控制模块3通过串口给相机姿态调整模块2发送指令MMmn,然后继续采集图像并发送给人脸识别模块4并接收处理结果,如此反复进行调整,以追踪人脸。
步骤303:人脸拍照:若判断在连续多次采集的图像中,人脸位置居中且没有发生较大偏移,则所述控制模块3向双目视觉采集模块1发出拍照指令,否则返回所述步骤302;
在本发明的一个实施例中,调整系数k为0.01,偏移参数阈值T=20,设定控制模块3接收到人脸识别模块4返回结果连续5次有人脸且偏移量小于阈值时进行拍照。第一张检测到人脸图像的偏移参数x=100,y=150,则调整参数m=-15,n=-10,控制模块3则发送指令0x4D4DFFF1FFF6给相机姿态调整模块2,相机姿态调整模块2根据指令执行动作俯仰1.5度,左右旋转1度;第二张检测到的人脸图像的偏移参数x=95,y=143,然后继续按照公式调节,最后在第16次调节后,偏移参数x=13,y=15,均小于阈值T,并且此后连续4次有人脸且偏移参数都在阈值范围内,此时完成调节,进行拍照。
步骤304:人脸识别:人脸识别模块4对所采集图像中的人脸进行识别,得到立体人脸图像,并将其与存储模块6存储的已注册人脸数据库进行比对,寻找所述立体人脸图像的匹配结果;
在新采集的图像NewPicture.jpg发送到人脸识别模块4后,采用特征脸方法对NewPicture.jpg进行识别,根据已注册人脸数据库中的数据,将图片NewPicture.jpg逐个与每个用户ID的注册图片进行识别。首先计算NewPicture.jpg以及每张注册图片的特征向量,然后分别计算NewPicture.jpg与每个用户ID的注册图片中的最近邻,并取其中的最小值,当最小值小于阈值100时,识别为对应ID的用户,否则为新用户。在该实施例中,NewPicture.jpg与各个用户ID中的注册图片最小临近分别为2390,60,3120,即NewPicture.jpg是ID为000002的用户照片。
步骤305:人脸对齐:通过提取所述立体人脸图像中的人脸关键点将人脸位置固定于立体人脸图像中指定的相同区域内;
步骤306:存储图像:将对齐后的立体人脸图像进行储存,并在使用数据库中添加一条包含用户ID、立体人脸图像存储位置、图像采集时间信息的数据记录;
步骤307:合成输出:根据控制模块3的指令从存储模块6的使用数据库中提取指定用户ID的全部立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输出。
所述人脸识别模块4将得到立体人脸图像与存储模块6存储的已注册人脸数据库进行比对的步骤包括:
步骤3041:判断当前用户是否为已注册用户;
步骤3042:若为已注册用户则将该立体人脸图像和注册用户ID发送到人脸对齐模块5进行后续处理;
步骤3043:若为未注册用户则进入注册模式,为当前用户创建新的用户ID,并采集其多幅人脸图像存储到已注册人脸数据库中。
所述提取所述立体人脸图像中的人脸关键点将人脸位置固定于立体人脸图像中指定的相同区域内,其流程包括:
步骤3051:比较当前立体人脸图像中人脸关键特征点与模板图像人脸关键特征点的位置和偏差;
步骤3052:对当前立体人脸图像进行裁剪、缩放、拉伸、平移等处理,使当前图像与模板图像中的人脸关键特征点对齐。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种可用于非特定人的双目视觉图像合成装置,其特征在于:所述装置包括双目视觉采集模块、相机姿态调整模块、控制模块、人脸识别模块、人脸对齐模块、存储模块及图像合成模块,其中:
所述双目视觉采集模块与相机姿态调整模块连接,两个模块相互配合采集立体图像,并将采集到的图像数据传输到控制模块;
所述相机姿态调整模块与控制模块连接,用于根据控制模块的指令驱动双目视觉采集模块在多个自由度上进行运动;
所述控制模块分别与双目视觉采集模块、相机姿态调整模块、存储模块、人脸识别模块和图像合成模块连接,用于对各模块的动作或处理方式进行控制;
所述人脸识别模块与控制模块、人脸对齐模块和存储模块连接,用于检测所述双目视觉采集模块采集到的图像数据中是否包含人脸,并根据检测到的立体人脸图像中的人脸生物特征在所述存储模块所存储的已注册人脸数据库中寻找所述立体人脸图像的匹配结果;
所述人脸对齐模块分别与人脸识别模块和存储模块连接,用于将人脸识别模块检测到的立体人脸图像进行裁剪和对齐,使人脸部分固定于图像中指定的区域中,并将对齐后的立体人脸图像发送给所述存储模块;
所述存储模块与控制模块、人脸识别模块、人脸对齐模块和图像合成模块连接,用于存储对齐后的立体人脸图像;
所述图像合成模块与控制模块和存储模块连接,用于根据控制模块的指令从存储模块中提取指定人的立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输出。
2.根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述相机姿态调整模块由不少于一个舵机组成,所述控制模块能够对每个舵机分别进行特定角度的调整。
3.根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述控制模块,在采集图像时接收双目视觉采集模块采集得到的图像,将其转发给人脸识别模块,并根据人脸识别模块返回的偏移参数计算相机姿态调整模块的调整角度,然后将该调整角度发送给相机姿态调整模块,带动双目视觉采集模块持续追踪人脸,直到采集到正面清晰人脸图像;在展示时向图像合成模块发出从存储模块提取特定人立体人脸图像的指令。
4.根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述人脸识别模块从控制模块接收图像后首先判断图像中是否包含人脸信息,如果包含则计算人脸中心点与图像中心点之间的偏移,并将该偏移参数返回给控制模块,直至连续多次采集到的人脸中心点与图像中心点之间的偏移小于预先设定的阈值,确保双目视觉采集模块拍摄到稳定的人脸图像;进而分析该人脸图像中的生物特征,并与存储模块所存储的已注册人脸数据库进行比对,判断是否为已注册用户,若已注册则将该人脸图像和注册用户ID发送到人脸对齐模块进行后续处理,若为未注册用户则进入注册模式,为使用者创建新的用户ID。
5.根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述存储模块包括已注册人脸数据库和使用数据库,所述已注册人脸数据库用于保存使用者注册信息,所述使用数据库的数据结构中至少包括用户ID、立体人脸图像存储位置和图像采集时间,以存储多个使用者的人脸数据。
6.根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述人脸对齐模块提取立体人脸图像中的特征关键点,并将其在图像中的坐标位置与模板位置进行比较,利用裁剪、缩放、拉伸、平移将人脸位置固定于立体人脸图像中指定的相同区域内。
7.一种利用权利要求1所述可用于非特定人的双目视觉图像合成装置进行双目视觉图像合成的方法,其特征在于,所述方法包括以下步骤:
步骤301:双目视觉采集模块按照设定采样频率进行采样,并将采集到的图像数据经控制模块传输给人脸识别模块,所述人脸识别模块检测图像中是否存在人脸图像并将检测结果以及人脸在图像中的位置信息发送给控制模块;
步骤302:所述控制模块根据人脸在图像中的位置计算姿态调整角度生成姿态调整命令,并将所述姿态调整命令发送给相机姿态调整模块,对所述双目视觉采集模块进行姿态调整,以持续追踪正面人脸;
步骤303:若判断在连续多次采集的图像中,人脸位置居中且偏移量小于一指定阈值,则所述控制模块向双目视觉采集模块发出拍照指令,否则返回所述步骤302;
步骤304:人脸识别模块对所采集图像中的人脸进行识别,得到立体人脸图像,并将其与存储模块存储的已注册人脸数据库进行比对,寻找所述立体人脸图像的匹配结果;
步骤305:通过提取所述立体人脸图像中的人脸关键点将人脸位置固定于立体人脸图像中指定的相同区域内;
步骤306:将对齐后的立体人脸图像进行储存,并在存储模块的使用数据库中添加一条包含用户ID、立体人脸图像存储位置、图像采集时间信息的数据记录;
步骤307:根据控制模块的指令从存储模块的使用数据库中提取指定用户ID的全部立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输出。
8.根据权利要求7所述的方法,其特征在于:所述步骤304中所述人脸识别模块将得到立体人脸图像与存储模块存储的已注册人脸数据库进行比对的步骤进一步包括:
步骤3041:判断当前用户是否为已注册用户;
步骤3042:若为已注册用户则将该立体人脸图像和注册用户ID发送到人脸对齐模块进行后续处理;
步骤3043:若为未注册用户则进入注册模式,为当前用户创建新的用户ID,并采集其多幅人脸图像存储到已注册人脸数据库中。
9.根据权利要求7所述的方法,其特征在于:所述步骤305进一步包括:
步骤3051:比较当前立体人脸图像中人脸关键特征点与模板图像人脸关键特征点的位置和偏差;
步骤3052:对当前立体人脸图像进行裁剪、缩放、拉伸、平移处理,使当前立体人脸图像与模板图像中的人脸关键特征点对齐。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610197497.XA CN105893965B (zh) | 2016-03-31 | 2016-03-31 | 一种可用于非特定人的双目视觉图像合成装置与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610197497.XA CN105893965B (zh) | 2016-03-31 | 2016-03-31 | 一种可用于非特定人的双目视觉图像合成装置与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105893965A CN105893965A (zh) | 2016-08-24 |
CN105893965B true CN105893965B (zh) | 2019-03-29 |
Family
ID=57011934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610197497.XA Active CN105893965B (zh) | 2016-03-31 | 2016-03-31 | 一种可用于非特定人的双目视觉图像合成装置与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105893965B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412420B (zh) * | 2016-08-25 | 2019-05-03 | 安徽华夏显示技术股份有限公司 | 一种互动拍照实现方法 |
CN107093230A (zh) * | 2017-03-28 | 2017-08-25 | 上海斐讯数据通信技术有限公司 | 一种智能摄像头的云管理方法及其系统 |
CN108664847B (zh) * | 2017-03-29 | 2021-10-22 | 华为技术有限公司 | 一种对象识别方法、设备和系统 |
CN108197556A (zh) * | 2017-12-28 | 2018-06-22 | 广州超越数码科技有限公司 | 一种基于人脸识别的身份查验装置 |
CN108320316B (zh) * | 2018-02-11 | 2022-03-04 | 秦皇岛中科鸿合信息科技有限公司 | 个性化表情包制作系统及方法 |
CN108470150A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种基于可见光相机的生物特征四维数据采集方法及装置 |
CN108470186A (zh) * | 2018-02-14 | 2018-08-31 | 天目爱视(北京)科技有限公司 | 一种图像特征点的匹配方法及装置 |
CN108446596A (zh) * | 2018-02-14 | 2018-08-24 | 天目爱视(北京)科技有限公司 | 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法 |
CN108492330B (zh) * | 2018-02-14 | 2019-04-05 | 天目爱视(北京)科技有限公司 | 一种多目视觉深度计算方法及装置 |
CN108470166A (zh) * | 2018-04-04 | 2018-08-31 | 北京天目智联科技有限公司 | 一种基于激光扫描的生物特征3d四维数据识别方法及系统 |
CN108564018A (zh) * | 2018-04-04 | 2018-09-21 | 北京天目智联科技有限公司 | 一种基于红外拍照的生物特征3d四维数据识别方法及系统 |
CN108537236A (zh) * | 2018-04-04 | 2018-09-14 | 天目爱视(北京)科技有限公司 | 一种多相机数据识别控制系统 |
CN110278399A (zh) * | 2018-09-29 | 2019-09-24 | 新华智云科技有限公司 | 一种景点参观视频自动生成方法、系统、设备和存储介质 |
CN110008797B (zh) * | 2018-10-08 | 2021-12-14 | 杭州中威电子股份有限公司 | 一种多摄像机多人脸视频接续采集方法 |
CN111382653A (zh) * | 2018-12-29 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种人体坐姿的监督方法 |
CN109670298A (zh) * | 2019-01-30 | 2019-04-23 | 咪付(广西)网络技术有限公司 | 一种用于身份识别的注册方法及系统 |
CN113538538B (zh) * | 2021-07-29 | 2022-09-30 | 合肥的卢深视科技有限公司 | 双目图像对齐方法、电子设备和计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063689A (zh) * | 2014-06-20 | 2014-09-24 | 南京航空航天大学 | 一种基于双目立体视觉的人脸图像识别方法 |
CN104915656A (zh) * | 2015-06-12 | 2015-09-16 | 东北大学 | 一种基于双目视觉测量技术的快速人脸识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7634106B2 (en) * | 2004-09-22 | 2009-12-15 | Fujifilm Corporation | Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program |
-
2016
- 2016-03-31 CN CN201610197497.XA patent/CN105893965B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063689A (zh) * | 2014-06-20 | 2014-09-24 | 南京航空航天大学 | 一种基于双目立体视觉的人脸图像识别方法 |
CN104915656A (zh) * | 2015-06-12 | 2015-09-16 | 东北大学 | 一种基于双目视觉测量技术的快速人脸识别方法 |
Non-Patent Citations (3)
Title |
---|
Evaluation of 3D face analysis and synthesis techniques;M.Chan et al.;《2004 IEEE International Conference on Multimedia and Expo (ICME)》;20040630;全文 * |
从静态到动态的沟通;唐诗;《中国优秀硕士学位论文全文数据库 哲学与人文科学辑》;20151215;第2015年卷(第12期);第F088-333页 * |
基于双目立体视觉的人脸三维重建与识别;孙曦;《中国博士学位论文全文数据库 信息科技辑》;20110915;第2011年卷(第09期);第I138-38页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105893965A (zh) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105893965B (zh) | 一种可用于非特定人的双目视觉图像合成装置与方法 | |
CN107204010B (zh) | 一种单目图像深度估计方法与系统 | |
CN105404392B (zh) | 基于单目摄像头的虚拟穿戴方法及系统 | |
CN105426827B (zh) | 活体验证方法、装置和系统 | |
Zhu et al. | Monocular free-head 3d gaze tracking with deep learning and geometry constraints | |
CN103258316B (zh) | 一种图片处理方法和装置 | |
US7221809B2 (en) | Face recognition system and method | |
WO2017160370A1 (en) | Visualization of image themes based on image content | |
US20050084140A1 (en) | Multi-modal face recognition | |
CN104112209A (zh) | 显示终端的受众统计方法和系统 | |
CN108875485A (zh) | 一种底图录入方法、装置及系统 | |
WO2020042542A1 (zh) | 眼动控制校准数据获取方法和装置 | |
WO2017177259A1 (en) | System and method for processing photographic images | |
US20110150283A1 (en) | Apparatus and method for providing advertising content | |
KR20150070363A (ko) | 이미지 배향을 정정하기 위한 이미지 컨텐츠에 기반한 이미지의 회전 | |
CN110531853A (zh) | 一种基于人眼注视点检测的电子书阅读器控制方法及系统 | |
CN106570747A (zh) | 结合手势识别的眼镜在线适配方法及系统 | |
Reale et al. | Pointing with the eyes: Gaze estimation using a static/active camera system and 3D iris disk model | |
CN112464012A (zh) | 可自动筛选照片的景区自动拍照系统及景区自动拍照方法 | |
Tin | Robust Algorithm for face detection in color images | |
Wang et al. | Hierarchical gaze estimation based on adaptive feature learning | |
CN112132864B (zh) | 基于视觉的机器人跟随方法及跟随机器人 | |
Li et al. | Morphable models of faces | |
JP5092093B2 (ja) | 画像処理装置 | |
CN109756663A (zh) | 一种ar设备的控制方法、装置及ar设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |