CN109005325A - 基于交互式智能补光人脸摄像装置及方法 - Google Patents
基于交互式智能补光人脸摄像装置及方法 Download PDFInfo
- Publication number
- CN109005325A CN109005325A CN201810993774.7A CN201810993774A CN109005325A CN 109005325 A CN109005325 A CN 109005325A CN 201810993774 A CN201810993774 A CN 201810993774A CN 109005325 A CN109005325 A CN 109005325A
- Authority
- CN
- China
- Prior art keywords
- region
- interest
- light
- light filling
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 19
- 238000005286 illumination Methods 0.000 claims abstract description 18
- 238000003331 infrared imaging Methods 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000000153 supplemental effect Effects 0.000 claims abstract description 10
- 241000251468 Actinopterygii Species 0.000 claims description 15
- 230000000717 retained effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000004973 liquid crystal related substance Substances 0.000 claims description 6
- 239000000523 sample Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000000571 coke Substances 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 239000003814 drug Substances 0.000 abstract description 2
- 210000004709 eyebrow Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
本发明公开了一种基于交互式智能补光人脸摄像装置及方法。包括的交互镜面、补光照明部分和摄像部分按照由面向人一侧到背向人一侧的顺序安装;交互镜面包括可触碰透光板、漫反射透光板和透光镜面,补光照明部分包括多个分区段补光照明灯,摄像部分包括多种镜头、光学彩色视频传感器和红外成像传感器;方法包括镜头切换、智能补光和人脸摄像,镜头切换通过测距人脸与摄像部分之间的垂直距离切换镜头拍摄;智能补光控制调整光照通过补光算法使得合适镜头所拍摄的人脸图像区域内光照强度与光照色调均匀。本发明通过采用智能交互、智能调距、智能补光等方式,可非常便利地实现人脸细节的观测与拍摄,适用于如女性化妆、中医面诊等等场合。
Description
技术领域
本发明涉及了一种补光摄像装置及方法,尤其是涉及一种基于交互式智能补光人脸摄像装置及方法。
背景技术
现实生活中,越来越多的场合需要实现照镜子过程中记录人脸细节,例如女性化妆时对眉毛或眼睑等特定部位进行铺粉、京剧脸谱勾勒时对面颊或下巴画线条、中医面诊诊断时对眼睛或舌苔等进行观察。
为实现人脸细节观测,化妆镜是一类常用的工具。化妆镜通常为中间一面镜子,镜子四周一圈灯光,且灯光向镜子中心聚焦以照亮整个脸庞。但是,化妆镜的灯光只能实现整体式亮度调节,无法实现人脸特定区域的局部亮度调节,例如,演员在描眉时,为了看清楚眉毛,只能演员自身往镜子前面凑并调整合适角度,然后才能看清楚自己的眉毛。同时,化妆镜也不具备摄像、图像保存等功能,因此使用场合具有一定的局限性。
用智能手机可以方便地实现自拍,但是对人脸局部细节进行清晰地自拍仍然存在较大的困难,这是因为手机镜头的广角范围通常有限,为拍清楚某个人脸细节(如左边眉毛)需要将手机镜头凑近,而此时拍照者往往因为角度问题无法看到手机屏幕上的图像。同时,智能手机的闪光功能也往往不够强大,白天和黑夜、室内和室外的拍照效果往往差异较大。
发明内容
本发明的目的在于提供了一种基于交互式智能补光的人脸摄像装置及方法。本发明能在人脸拍照时通过语音交互方式提醒拍照人调整距离和位姿,以获取整个人脸区域,捕捉到人的正脸。同时能在人脸拍照时通过图像处理方法完成对人脸亮度的智能补光,实现对人脸细节部位的均衡照度摄像。
为了达到上述目的,本发明采用的技术方案如下:
一、一种基于交互交互式智能补光人脸摄像装置:
装置主要由交互镜面、补光照明部分和摄像部分组成,交互镜面、补光照明部分和摄像部分按照由面向人一侧到背向人一侧的顺序安装;所述的交互镜面包括可触碰透光板、漫反射透光板和透光镜面,透光镜面呈圆形,漫反射透光板呈环形,透光镜面同心布置在漫反射透光板的中间,且漫反射透光板和透光镜面位于同一平面;透光镜面朝向人一侧的表面为镜面,透光镜面允许从面向人一侧向背向人一侧的光仅透过,透光镜面允许从背向人一侧向靠近人一侧的光反射,可触碰透光板覆盖在透光镜面镜面上;所述的补光照明部分包括多个分区段补光照明灯,多个分区段补光照明灯沿周向间隔均布固定在漫反射透光板面向人一侧的表面;所述的摄像部分包括中焦镜头、广角镜头、鱼眼镜头、微焦镜头、光学彩色视频传感器和红外成像传感器,交互镜面在远离人一侧方设有圆盘架,圆盘架中心安装有直流电机,直流电机的输出轴朝向人一侧且和十字架的中间固定连接,十字架的四端分别安装有中焦镜头、广角镜头、鱼眼镜头和微焦镜头,且中焦镜头、广角镜头、鱼眼镜头和微焦镜头布置于平行于透光镜面的同一平面,直流电机运行带动十字架旋转进而带动四个镜头旋转进行切换;光学彩色视频传感器布置在广角镜头远离人一侧方的圆盘架上,红外成像传感器布置在圆盘架的底部,光学彩色视频传感器和红外成像传感器的探头均朝向人脸。
还包括控制部分,控制部分包括控制主板和语音模块,圆盘架的中部安装有控制主板,圆盘架的侧部安装有语音模块,语音模块、直流电机、四个镜头、光学彩色视频传感器和红外成像传感器、分区段补光照明灯均连接到控制主板。
所述的漫反射透光板的顶部安装有液晶屏,液晶屏用于实时显示镜头所拍摄的人脸图像。
二、一种基于交互式智能补光方法:
所述方法是以镜头切换、智能补光、人脸摄像的三个步骤依次循环往复进行:所述的镜头切换,通过红外成像传感器测距成像与人脸面部特征识别两种方式计算人脸与摄像部分之间的垂直距离,进而根据距离值选择摄像部分的合适镜头进行切换,用合适镜头进行拍摄;所述的智能补光,通过语音交互方式输入到语音模块将感兴趣的人脸细节区域告知,通过控制调整补光照明部分内的分区段补光照明灯,通过补光算法使得合适镜头所拍摄的人脸图像区域内光照强度与光照色调均匀;所述的人脸摄像,采用合适镜头在智能补光的情况下进行拍摄。
所述的镜头切换中,采用以下公式选择合适镜头在人脸与镜面不同距离时镜头切换:
上式中,d为人脸与镜面之间的垂直距离,x1、x2、x3、x4分别表示鱼眼镜头、广角镜头、中焦镜头和微距镜头对应的距离量值;当f(d)=x4时选择微距镜头作为合适镜头,当f(d)=x3时选择中焦镜头作为合适镜头,当f(d)=x2时选择广角镜头作为合适镜头,当f(d)=x1时选择鱼眼镜头作为合适镜头。
所述补光算法具体为:
首先,视频光学传感器获取人脸图像,然后采用人脸检测算法得到人脸特征点,用户选定人脸细节区域并将人脸细节区域圆化处理获得圆形的兴趣区域,使得所有人脸特征点全部落入在兴趣区域内;
接着,将兴趣区域沿径向绘制多个等分的同心圆,相邻同心圆径向间距相同,同时兴趣区域沿周向间隔均匀地绘制多个半径线段,通过同心圆和半径线段将兴趣区域分成各个子兴趣区域作为作为补光最小单元;
然后,对各个补光最小单元的照度和色调进行分析与处理,且按照先色调后照度的顺序进行处理,在色调与标准值关系满足之后,再进一步处理照度与标准值关系。
1)色调处理
1.1)先判断所有子兴趣区域的色调中取最大色调Hmax和最小色调Hmin,并进行判断:若满足Hmax-Hmin≤Hmay,Hmay表示色差允许偏差,则不进行以下步骤;若满足Hmax-Hmin>Hmay,则进行以下步骤;
1.2)兴趣区域被各个同心圆划分形成位于中间的圆形区域和圆形区域之外的各个环形区域,针对圆形区域和每个环形区域的单个区域内的所有子兴趣区域计算色调的平均值作为区域色调前值H(i),i表示从兴趣区域圆心开始向外的环形区域序数,i=1~n;
1.3)圆形区域和每个环形区域的单个区域内每个子兴趣区域的色调H(Sij)和区域色调前值H(i)进行比较,H(Sij)表示从兴趣区域圆心开始向外的第i个同心圆和第i+1个同心圆以及沿周向的第j个半径线段和第j+1个半径线段之间围城的子兴趣区域,若子兴趣区域的色调H(Sij)和区域色调前值H(i)之差的绝对值大于区域色调前值H(i)的40%,则将该子兴趣区域剔除,否则保留;
1.4)圆形区域和每个环形区域的单个区域内用剩余保留的子兴趣区域计算色调的平均值作为区域色调后值H’(i),从兴趣区域中心的圆形区域开始向外到各个环形区域,将每个区域色调后值H’(i)和预先设置的色调阈值进行比较:
选取最靠近兴趣区域中心且区域色调后值H’(i)高于或者低于色调阈值的区域,以该区域做处理:若该区域的区域色调后值H’(i)低于色调阈值,则增加对应补光照明部分的色调;若该区域的区域色调后值H’(i)高于色调阈值,则减少对应补光照明部分的色调;
1.5)增加或者减少调整兴趣区域所正对的补光照明部分中的分区段补光照明灯的色调控制,调整后再重复上述步骤判断,不断迭代调整直到使得从所有子兴趣区域的色调中取的最大色调Hmax和最小色调Hmin满足Hmax-Hmin≤Hmay。
2)光照处理
2.1)先判断所有子兴趣区域的亮度中取最大亮度Lmax和最小亮度Lmin,并进行判断:若满足Lmax-Lmin≤Lmay,Lmay表示亮度差允许偏差,则不进行以下步骤;若满足Lmax-Lmin>Lmay,则进行以下步骤;
2.2)兴趣区域被各个同心圆划分形成位于中间的圆形区域和圆形区域之外的各个环形区域,针对圆形区域和每个环形区域的单个区域内的所有子兴趣区域计算亮度的平均值作为区域亮度前值L(i),i表示从兴趣区域圆心开始向外的环形区域序数,i=1~n;
2.3)圆形区域和每个环形区域的单个区域内每个子兴趣区域的亮度L(Sij)和区域亮度前值L(i)进行比较,L(Sij)表示从兴趣区域圆心开始向外的第i个同心圆和第i+1个同心圆以及沿周向的第j个半径线段和第j+1个半径线段之间围城的子兴趣区域,若子兴趣区域的亮度L(Sij)和区域亮度前值L(i)之差的绝对值大于区域亮度前值L(i)的40%,则将该子兴趣区域剔除,否则保留;
2.4)圆形区域和每个环形区域的单个区域内用剩余保留的子兴趣区域计算亮度的平均值作为区域亮度后值L’(i),从兴趣区域中心的圆形区域开始向外到各个环形区域,将每个区域亮度后值L’(i)和预先设置的亮度阈值进行比较:
选取最靠近兴趣区域中心且区域亮度后值L’(i)高于或者低于亮度阈值的区域,以该区域做处理:若该区域的区域亮度后值L’(i)低于亮度阈值,则增加对应补光照明部分的亮度;若该区域的区域亮度后值L’(i)高于亮度阈值,则减少对应补光照明部分的亮度;
2.5)增加或者减少调整兴趣区域所正对的补光照明部分中的分区段补光照明灯的亮度控制,调整后再重复上述步骤判断,不断迭代调整直到使得从所有子兴趣区域的亮度中取的最大亮度Lmax和最小亮度Lmin满足Lmax-Lmin≤Lmay。
本发明的有益效果是:
本发明可实现人与镜面的交互式拍摄,极大地提高了使用便利性,使得用户无需他人帮助,使用自拍方式即可完成人脸细节的观测。
本发明可实现镜头自主切换,使得全脸拍摄与脸部细节拍摄有机结合,避免了传统产品全脸与细节不可兼得的缺陷。
本发明结构简单,成本低廉,有利于大规模推广使用。
附图说明
图1是本发明装置的内部结构装配示意图。
图2是本发明装置的工作流程示意图。
图3是本发明主控主板的组成模块示意图。
图4是本发明装置的使用效果示意图。
图5是本发明装置的补光算法运行流程图。
图中:1.可触碰透光板,2.分区段补光照明灯,3.漫反射透光板、4.透光镜面、5.液晶屏、6.中焦镜头、7.广角镜头、8.鱼眼镜头、9.微焦镜头、10.光学彩色视频传感器、11.红外成像传感器、12.直流电机、13.控制主板、14.语音模块。
具体实施方式
下面结合附图对本发明的具体实施方式做一个详细的说明。
如图1和图4所示,本发明的装置主要由交互镜面、补光照明部分和摄像部分组成,交互镜面、补光照明部分和摄像部分按照由面向人一侧到背向人一侧的顺序安装。
交互镜面包括可触碰透光板1、漫反射透光板3和透光镜面4,透光镜面4呈圆形,漫反射透光板3呈环形,透光镜面4同心布置在漫反射透光板3的中间,且漫反射透光板3和透光镜面4位于同一平面,透光镜面4安装在中间,漫反射透光板3安装在周围;透光镜面4朝向人一侧的表面为镜面,透光镜面4允许从面向人一侧向背向人一侧的光仅透过,透光镜面4允许从背向人一侧向靠近人一侧的光反射,可触碰透光板1覆盖在透光镜面4镜面上。
补光照明部分包括多个分区段补光照明灯2,多个分区段补光照明灯2沿周向间隔均布固定在漫反射透光板3面向人一侧的表面,位于分布安装在透光镜面4四周,分区段补光照明灯2朝向人脸照射。每分区段补光照明灯2Led都连接到控制主板上,方便信号的传输和控制。
摄像部分包括中焦镜头6、广角镜头7、鱼眼镜头8、微焦镜头9、光学彩色视频传感器10和红外成像传感器11,交互镜面在远离人一侧方设有圆盘架,圆盘架中心安装有直流电机12,直流电机12的输出轴朝向人一侧且和十字架的中间固定连接,十字架的四端分别安装有中焦镜头6、广角镜头7、鱼眼镜头8和微焦镜头9,且中焦镜头6、广角镜头7、鱼眼镜头8和微焦镜头9形成镜头组布置于平行于透光镜面4的同一平面,直流电机12运行带动十字架旋转进而带动四个镜头旋转进行切换,四个镜头均朝向人脸;光学彩色视频传感器10布置在广角镜头7远离人一侧方的圆盘架上,红外成像传感器11布置在圆盘架的底部,位于镜头组的下方,光学彩色视频传感器10和红外成像传感器11的探头均朝向人脸。
镜头的切换依靠直流电机12的旋转,为了精确控制镜头可以与光学传感器完美融合,本发明将储是镜头选择位广角镜头7,且在它垂直下方放置光学彩色视频传感器10,红外成像传感器11放置在镜头组6,7,8,9所在平面外围。镜头组选择锐尔威视公司,型号选择RER-USBJT。红外成像传感器选择深圳市激埃特光电有限公司GIAI243型号。
直流电机可选用深圳市踢踢电子有限公司GM13-050SH型号电机,语音模块可选用上海益深电子有限公司原装迷你语音贺卡芯片E608-116型号。
如图3所示,还包括控制部分,控制部分包括控制主板13和语音模块14,控制主板13采用嵌入式单片机,圆盘架的中部安装有控制主板13,圆盘架的侧部安装有语音模块14,语音模块14、直流电机12、四个镜头、光学彩色视频传感器10和红外成像传感器11、分区段补光照明灯2均连接到控制主板13。控制主板11获取信息的接口是语音模块、红外成像传感器和光学传感器。控制主板输出命令和信息的接口是直流电机,分段式LED和信息显示单元。
漫反射透光板3的顶部安装有液晶屏5,液晶屏5用于实时显示镜头所拍摄的人脸图像。
本发明的实施工作过程如下:
如图2所示,设备开机完成后,本发明装置默认处于待机状态,以节约功耗和系统资源。拍照人需要启动本发明装置进行拍摄时,只需直接对本装置说“拍照”,本装置接收到语音后会进行文字内容判断,如果语音为“拍照”无误则开启后续的拍摄流程,如果语音不是“拍照”则本装置会发出提示音“输入错误,请重新输入”。这样能够避免其他语音对本装置造成误触发。
如图2所示,本发明装置被语音唤醒并完成人脸拍摄以后,将在显示屏上显示本次所拍摄并优化后的图像,同时将图像进行存储,然后播放语音“拍照结束”以提示拍照人本次拍摄结束,最后本装置将再度进入待机状态。
图2虚线框内所示的,为本发明装置实现人脸特定区域拍摄的动作流程,该流程总体上按照“人脸摄像-->镜头切换-->智能补光-->人脸摄像”循环反复工作。
在上述动作循环里面,“镜头切换”通过红外成像传感器测距与人脸面部特征识别两种方法计算人脸与摄像装置(镜面)之间的距离,进而根据距离值切换选择摄像部分的合适镜头,实现镜头焦距、视场角等摄像装置参数与人脸距离值的匹配。
下述表达式为人脸与镜面不同距离时的镜头切换方法,具体为:
上式中,d为人脸与镜面之间的垂直距离,x1、x2、x3、x4分别表示鱼眼镜头、广角镜头、中焦镜头和微距镜头对应的距离量值。按照上述公式,当距离f(d)=x4时选择微距镜头,f(d)=x3选择中焦镜头,f(d)=x2选择广角镜头,f(d)=x1选择鱼眼镜头。
在上述动作循环里面,“智能补光”通过语音交互方式将特征区域(如左边眉毛)告知人脸摄像装置,人脸摄像装置通过控制调整补光照明部分内的分区段补光照明灯,使得特征区域内光照强度与光照色调均匀。
本发明采用的分区段补光照明灯,由本发明装置的特定结构与补光算法共同实现,其中补光算法的具体流程如图4所示,包括补光前期准备、补光区域划分、色调与照度处理三个动作顺序:
补光算法的第一步骤是补光前期准备:视频光学传感器获取人脸图像,然后采用人脸检测算法得到人脸特征点,用户选定人脸细节区域并将人脸细节区域圆化处理获得圆形的兴趣区域,使得所有人脸特征点全部落入在兴趣区域内。
补光算法的第二步骤是补光区域划分:将兴趣区域沿径向绘制多个等分的同心圆,相邻同心圆径向间距相同,同时兴趣区域沿周向间隔均匀地绘制多个半径线段,通过同心圆和半径线段将兴趣区域分成各个子兴趣区域作为作为补光最小单元;
子兴趣区域形状为扇形或圆弧,位于中心的同心圆内的各个子兴趣区域形状为扇形,除此以外的其他子兴趣区域形状为圆弧形。
补光算法的第三步骤是色调与照度处理:对各个补光最小单元的照度和色调进行分析与处理,且按照先色调后照度的顺序进行处理,在色调与标准值关系满足之后,再进一步处理照度与标准值关系。
以视频传感器成像转为HSI体系为例,通过图像分析测得各兴趣区域亮度与色调。
由每个子兴趣区域的色调构建以下色调矩阵H(S)
其中,H(Snm)表示从兴趣区域圆心开始向外的第n个同心圆和第n+1个同心圆以及沿周向的第m个半径线段和第m+1个半径线段之间围城的子兴趣区域的色调,n表示沿同一径向上划分的同心圆总个数,m表示同一周向上划分的半径线段总个数;
1)色调处理,如图5所示
1.1)先判断所有子兴趣区域的色调中取最大色调Hmax和最小色调Hmin,一个子兴趣区域有一个色调,并进行判断:若满足Hmax-Hmin≤Hmay,Hmay表示色差允许偏差,则不进行以下步骤;若满足Hmax-Hmin>Hmay,则进行以下步骤;
1.2)兴趣区域被各个同心圆划分形成位于中间的圆形区域和圆形区域之外的各个环形区域,针对圆形区域和每个环形区域的单个区域内的所有子兴趣区域计算色调的平均值作为区域色调前值H(i),i表示从兴趣区域圆心开始向外的环形区域序数,i=1~n;
1.3)圆形区域和每个环形区域的单个区域内每个子兴趣区域的色调H(Sij)和区域色调前值H(i)进行比较,H(Sij)表示从兴趣区域圆心开始向外的第i个同心圆和第i+1个同心圆以及沿周向的第j个半径线段和第j+1个半径线段之间围城的子兴趣区域,若子兴趣区域的色调H(Sij)和区域色调前值H(i)之差的绝对值大于区域色调前值H(i)的40%,则将该子兴趣区域剔除,否则保留;
1.4)圆形区域和每个环形区域的单个区域内用剩余保留的子兴趣区域计算色调的平均值作为区域色调后值H’(i),从兴趣区域中心的圆形区域开始向外到各个环形区域,将每个区域色调后值H’(i)和预先设置的色调阈值进行比较:
选取最靠近兴趣区域中心且区域色调后值H’(i)高于或者低于色调阈值的区域,以该区域做处理:
若该区域的区域色调后值H’(i)低于色调阈值,则增加对应补光照明部分的色调;
若该区域的区域色调后值H’(i)高于色调阈值,则减少对应补光照明部分的色调;
若所有区域的区域色调后值H’(i)等于色调阈值,则不作色调。
1.5)增加或者减少调整兴趣区域所正对的补光照明部分中的分区段补光照明灯(2)的色调控制,调整后再重复上述步骤判断,不断迭代调整直到使得从所有子兴趣区域的色调中取的最大色调Hmax和最小色调Hmin满足Hmax-Hmin≤Hmay。
2)光照处理,如图5所示
由每个子兴趣区域的亮度构建以下亮度矩阵H(S)
其中,L(Snm)表示从兴趣区域圆心开始向外的第n个同心圆和第n+1个同心圆以及沿周向的第m个半径线段和第m+1个半径线段之间围城的子兴趣区域的亮度,n表示沿同一径向上划分的同心圆总个数,m表示同一周向上划分的半径线段总个数;
2.1)先判断所有子兴趣区域的亮度中取最大亮度Lmax和最小亮度Lmin,一个子兴趣区域有一个亮度,并进行判断:若满足Lmax-Lmin≤Lmay,Lmay表示亮度差允许偏差,则不进行以下步骤;若满足Lmax-Lmin>Lmay,则进行以下步骤;
2.2)兴趣区域被各个同心圆划分形成位于中间的圆形区域和圆形区域之外的各个环形区域,针对圆形区域和每个环形区域的单个区域内的所有子兴趣区域计算亮度的平均值作为区域亮度前值L(i),i表示从兴趣区域圆心开始向外的环形区域序数,i=1~n;
2.3)圆形区域和每个环形区域的单个区域内每个子兴趣区域的亮度L(Sij)和区域亮度前值L(i)进行比较,L(Sij)表示从兴趣区域圆心开始向外的第i个同心圆和第i+1个同心圆以及沿周向的第j个半径线段和第j+1个半径线段之间围城的子兴趣区域,若子兴趣区域的亮度L(Sij)和区域亮度前值L(i)之差的绝对值大于区域亮度前值L(i)的40%,则将该子兴趣区域剔除,否则保留;
2.4)圆形区域和每个环形区域的单个区域内用剩余保留的子兴趣区域计算亮度的平均值作为区域亮度后值L’(i),从兴趣区域中心的圆形区域开始向外到各个环形区域,将每个区域亮度后值L’(i)和预先设置的亮度阈值进行比较:
选取最靠近兴趣区域中心且区域亮度后值L’(i)高于或者低于亮度阈值的区域,以该区域做处理:
若该区域的区域亮度后值L’(i)低于亮度阈值,则增加对应补光照明部分的亮度;
若该区域的区域亮度后值L’(i)高于亮度阈值,则减少对应补光照明部分的亮度;
若所有区域的区域亮度后值L’(i)等于亮度阈值,则不作亮度调整。
2.5)增加或者减少调整兴趣区域所正对的补光照明部分中的分区段补光照明灯(2)的亮度控制,调整后再重复上述步骤判断,不断迭代调整直到使得从所有子兴趣区域的亮度中取的最大亮度Lmax和最小亮度Lmin满足Lmax-Lmin≤Lmay。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。
Claims (6)
1.一种基于交互交互式智能补光人脸摄像装置,其特征在于:装置主要由交互镜面、补光照明部分和摄像部分组成,交互镜面、补光照明部分和摄像部分按照由面向人一侧到背向人一侧的顺序安装;所述的交互镜面包括可触碰透光板(1)、漫反射透光板(3)和透光镜面(4),透光镜面(4)呈圆形,漫反射透光板(3)呈环形,透光镜面(4)同心布置在漫反射透光板(3)的中间,且漫反射透光板(3)和透光镜面(4)位于同一平面;透光镜面(4)朝向人一侧的表面为镜面,透光镜面(4)允许从面向人一侧向背向人一侧的光仅透过,透光镜面(4)允许从背向人一侧向靠近人一侧的光反射,可触碰透光板(1)覆盖在透光镜面(4)镜面上;所述的补光照明部分包括多个分区段补光照明灯(2),多个分区段补光照明灯(2)沿周向间隔均布固定在漫反射透光板(3)面向人一侧的表面;所述的摄像部分包括中焦镜头(6)、广角镜头(7)、鱼眼镜头(8)、微焦镜头(9)、光学彩色视频传感器(10)和红外成像传感器(11),交互镜面在远离人一侧方设有圆盘架,圆盘架中心安装有直流电机(12),直流电机(12)的输出轴朝向人一侧且和十字架的中间固定连接,十字架的四端分别安装有中焦镜头(6)、广角镜头(7)、鱼眼镜头(8)和微焦镜头(9),且中焦镜头(6)、广角镜头(7)、鱼眼镜头(8)和微焦镜头(9)布置于平行于透光镜面(4)的同一平面,直流电机(12)运行带动十字架旋转进而带动四个镜头旋转进行切换;光学彩色视频传感器(10)布置在广角镜头(7)远离人一侧方的圆盘架上,红外成像传感器(11)布置在圆盘架的底部,光学彩色视频传感器(10)和红外成像传感器(11)的探头均朝向人脸。
2.根据权利要求1所述的一种基于交互式智能补光人脸摄像装置,其特征在于:还包括控制部分,控制部分包括控制主板(13)和语音模块(14),圆盘架的中部安装有控制主板(13),圆盘架的侧部安装有语音模块(14),语音模块(14)、直流电机(12)、四个镜头、光学彩色视频传感器(10)和红外成像传感器(11)、分区段补光照明灯(2)均连接到控制主板(13)。
3.根据权利要求1所述的一种基于交互式智能补光人脸摄像装置,其特征在于:所述的漫反射透光板(3)的顶部安装有液晶屏(5),液晶屏(5)用于实时显示镜头所拍摄的人脸图像。
4.应用于权利要求1所述装置的一种基于交互式智能补光方法,其特征在于:所述方法是以镜头切换、智能补光、人脸摄像的三个步骤依次循环往复进行:所述的镜头切换,通过红外成像传感器测距成像与人脸面部特征识别两种方式计算人脸与摄像部分之间的垂直距离,进而根据距离值选择摄像部分的合适镜头进行切换,用合适镜头进行拍摄;所述的智能补光,通过语音交互方式输入到语音模块(14)将感兴趣的人脸细节区域告知,通过控制调整补光照明部分内的分区段补光照明灯,通过补光算法使得合适镜头所拍摄的人脸图像区域内光照强度与光照色调均匀;所述的人脸摄像,采用合适镜头在智能补光的情况下进行拍摄。
5.根据权利要求4所述的一种基于交互式智能补光方法,其特征在于:
所述的镜头切换中,采用以下公式选择合适镜头在人脸与镜面不同距离时镜头切换:
上式中,d为人脸与镜面之间的垂直距离,x1、x2、x3、x4分别表示鱼眼镜头、广角镜头、中焦镜头和微距镜头对应的距离量值;当f(d)=x4时选择微距镜头作为合适镜头,当f(d)=x3时选择中焦镜头作为合适镜头,当f(d)=x2时选择广角镜头作为合适镜头,当f(d)=x1时选择鱼眼镜头作为合适镜头。
6.根据权利要求4所述的一种基于交互式智能补光方法,其特征在于:
所述补光算法具体为:
首先,视频光学传感器获取人脸图像,然后采用人脸检测算法得到人脸特征点,用户选定人脸细节区域并将人脸细节区域圆化处理获得圆形的兴趣区域,使得所有人脸特征点全部落入在兴趣区域内;
接着,将兴趣区域沿径向绘制多个等分的同心圆,相邻同心圆径向间距相同,同时兴趣区域沿周向间隔均匀地绘制多个半径线段,通过同心圆和半径线段将兴趣区域分成各个子兴趣区域作为作为补光最小单元;
然后,对各个补光最小单元的照度和色调进行分析与处理,且按照先色调后亮度的顺序进行处理,在色调与标准值关系满足之后,再进一步处理亮度与标准值关系。
1)色调处理
1.1)先判断所有子兴趣区域的色调中取最大色调Hmax和最小色调Hmin,并进行判断:若满足Hmax-Hmin≤Hmay,Hmay表示色差允许偏差,则不进行以下步骤;若满足Hmax-Hmin>Hmay,则进行以下步骤;
1.2)兴趣区域被各个同心圆划分形成位于中间的圆形区域和圆形区域之外的各个环形区域,针对圆形区域和每个环形区域的单个区域内的所有子兴趣区域计算色调的平均值作为区域色调前值H(i),i表示从兴趣区域圆心开始向外的环形区域序数,i=1~n;
1.3)圆形区域和每个环形区域的单个区域内每个子兴趣区域的色调H(Sij)和区域色调前值H(i)进行比较,H(Sij)表示从兴趣区域圆心开始向外的第i个同心圆和第i+1个同心圆以及沿周向的第j个半径线段和第j+1个半径线段之间围城的子兴趣区域,若子兴趣区域的色调H(Sij)和区域色调前值H(i)之差的绝对值大于区域色调前值H(i)的40%,则将该子兴趣区域剔除,否则保留;
1.4)圆形区域和每个环形区域的单个区域内用剩余保留的子兴趣区域计算色调的平均值作为区域色调后值H’(i),从兴趣区域中心的圆形区域开始向外到各个环形区域,将每个区域色调后值H’(i)和预先设置的色调阈值进行比较:
选取最靠近兴趣区域中心且区域色调后值H’(i)高于或者低于色调阈值的区域,以该区域做处理:若该区域的区域色调后值H’(i)低于色调阈值,则增加对应补光照明部分的色调;若该区域的区域色调后值H’(i)高于色调阈值,则减少对应补光照明部分的色调;
1.5)增加或者减少调整兴趣区域所正对的补光照明部分中的分区段补光照明灯(2)的色调控制,调整后再重复上述步骤判断,不断迭代调整直到使得从所有子兴趣区域的色调中取的最大色调Hmax和最小色调Hmin满足Hmax-Hmin≤Hmay。
2)光照处理
2.1)先判断所有子兴趣区域的亮度中取最大亮度Lmax和最小亮度Lmin,并进行判断:若满足Lmax-Lmin≤Lmay,Lmay表示亮度差允许偏差,则不进行以下步骤;若满足Lmax-Lmin>Lmay,则进行以下步骤;
2.2)兴趣区域被各个同心圆划分形成位于中间的圆形区域和圆形区域之外的各个环形区域,针对圆形区域和每个环形区域的单个区域内的所有子兴趣区域计算亮度的平均值作为区域亮度前值L(i),i表示从兴趣区域圆心开始向外的环形区域序数,i=1~n;
2.3)圆形区域和每个环形区域的单个区域内每个子兴趣区域的亮度L(Sij)和区域亮度前值L(i)进行比较,L(Sij)表示从兴趣区域圆心开始向外的第i个同心圆和第i+1个同心圆以及沿周向的第j个半径线段和第j+1个半径线段之间围城的子兴趣区域,若子兴趣区域的亮度L(Sij)和区域亮度前值L(i)之差的绝对值大于区域亮度前值L(i)的40%,则将该子兴趣区域剔除,否则保留;
2.4)圆形区域和每个环形区域的单个区域内用剩余保留的子兴趣区域计算亮度的平均值作为区域亮度后值L’(i),从兴趣区域中心的圆形区域开始向外到各个环形区域,将每个区域亮度后值L’(i)和预先设置的亮度阈值进行比较:
选取最靠近兴趣区域中心且区域亮度后值L’(i)高于或者低于亮度阈值的区域,以该区域做处理:若该区域的区域亮度后值L’(i)低于亮度阈值,则增加对应补光照明部分的亮度;若该区域的区域亮度后值L’(i)高于亮度阈值,则减少对应补光照明部分的亮度;
2.5)增加或者减少调整兴趣区域所正对的补光照明部分中的分区段补光照明灯(2)的亮度控制,调整后再重复上述步骤判断,不断迭代调整直到使得从所有子兴趣区域的亮度中取的最大亮度Lmax和最小亮度Lmin满足Lmax-Lmin≤Lmay。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810993774.7A CN109005325B (zh) | 2018-08-29 | 2018-08-29 | 基于交互式智能补光人脸摄像装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810993774.7A CN109005325B (zh) | 2018-08-29 | 2018-08-29 | 基于交互式智能补光人脸摄像装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109005325A true CN109005325A (zh) | 2018-12-14 |
CN109005325B CN109005325B (zh) | 2023-11-07 |
Family
ID=64593972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810993774.7A Active CN109005325B (zh) | 2018-08-29 | 2018-08-29 | 基于交互式智能补光人脸摄像装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109005325B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111770264A (zh) * | 2020-06-04 | 2020-10-13 | 深圳明心科技有限公司 | 一种提高摄像模组成像效果的方法、装置及摄像模组 |
CN113723326A (zh) * | 2021-09-03 | 2021-11-30 | 西安天通数字科技有限公司 | 一种光补偿方法及装置、计算机装置及存储介质 |
CN113840097A (zh) * | 2021-09-30 | 2021-12-24 | 联想(北京)有限公司 | 控制方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1725804A (zh) * | 2004-07-21 | 2006-01-25 | 上海高德威智能交通系统有限公司 | 具有交通监控专用功能的智能摄像机及其智能摄像方法 |
JP2011182176A (ja) * | 2010-03-01 | 2011-09-15 | Toyama Univ | 広視野角画像処理方法と広視野角画像撮影装置 |
CN103051839A (zh) * | 2012-12-27 | 2013-04-17 | 武汉烽火众智数字技术有限责任公司 | 一种智能调节补光角度的装置及其方法 |
WO2017049923A1 (zh) * | 2015-06-17 | 2017-03-30 | 广州市巽腾信息科技有限公司 | 一种多功能移动图像处理装置、处理方法及用途 |
CN208849848U (zh) * | 2018-08-29 | 2019-05-10 | 浙江科技学院 | 一种带补光的人脸摄像装置 |
-
2018
- 2018-08-29 CN CN201810993774.7A patent/CN109005325B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1725804A (zh) * | 2004-07-21 | 2006-01-25 | 上海高德威智能交通系统有限公司 | 具有交通监控专用功能的智能摄像机及其智能摄像方法 |
JP2011182176A (ja) * | 2010-03-01 | 2011-09-15 | Toyama Univ | 広視野角画像処理方法と広視野角画像撮影装置 |
CN103051839A (zh) * | 2012-12-27 | 2013-04-17 | 武汉烽火众智数字技术有限责任公司 | 一种智能调节补光角度的装置及其方法 |
WO2017049923A1 (zh) * | 2015-06-17 | 2017-03-30 | 广州市巽腾信息科技有限公司 | 一种多功能移动图像处理装置、处理方法及用途 |
CN208849848U (zh) * | 2018-08-29 | 2019-05-10 | 浙江科技学院 | 一种带补光的人脸摄像装置 |
Non-Patent Citations (1)
Title |
---|
罗常伟;江辰;李睿;於俊;汪增福: "面向普通用户的3D虚拟人脸动画", 计算机辅助设计与图形学学报, vol. 27, no. 3 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111770264A (zh) * | 2020-06-04 | 2020-10-13 | 深圳明心科技有限公司 | 一种提高摄像模组成像效果的方法、装置及摄像模组 |
CN111770264B (zh) * | 2020-06-04 | 2022-04-08 | 深圳明心科技有限公司 | 一种提高摄像模组成像效果的方法、装置及摄像模组 |
CN113723326A (zh) * | 2021-09-03 | 2021-11-30 | 西安天通数字科技有限公司 | 一种光补偿方法及装置、计算机装置及存储介质 |
CN113840097A (zh) * | 2021-09-30 | 2021-12-24 | 联想(北京)有限公司 | 控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109005325B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104113688B (zh) | 一种图像处理方法及其电子设备 | |
CN104573667B (zh) | 一种提高移动终端的虹膜图像质量的虹膜识别装置 | |
CN106295536B (zh) | 自适应式虹膜识别装置及利用该装置进行虹膜识别的方法 | |
CN105376469B (zh) | 一种用于生物特征识别移动终端的驱动自动聚焦方法 | |
CN109005325A (zh) | 基于交互式智能补光人脸摄像装置及方法 | |
CN207037682U (zh) | 一种交替打光的虹膜图像采集装置 | |
CN107623803A (zh) | 一种带光流定位功能的增强现实的实现方法和设备 | |
CN105929957A (zh) | 一种智能眼镜的控制方法、装置及设备 | |
CN102855626A (zh) | 光源方向标定及人体信息三维采集方法与装置 | |
CN106210524A (zh) | 一种摄像模组的拍摄方法及摄像模组 | |
CN208849848U (zh) | 一种带补光的人脸摄像装置 | |
CN104240677B (zh) | 一种电子设备及参数调整方法 | |
CN107172338B (zh) | 一种摄像头及电子设备 | |
CN105678228B (zh) | 用于安全身份认证的虹膜识别光学成像模组及使用方法 | |
CN204926129U (zh) | 指静脉识别装置 | |
CN106973205A (zh) | 一种摄像头、摄像头成像方法及移动终端 | |
CN208445646U (zh) | 智能夜视监控摄像机 | |
CN2672768Y (zh) | 虹膜光学成像装置 | |
CN110728184A (zh) | 一种可消除成像区域光影的多光源虹膜图像采集装置 | |
CN205721623U (zh) | 智能交互系统 | |
CN214675333U (zh) | 色彩采集组件、摄像头模组及电子设备 | |
US20230334909A1 (en) | Multi-wavelength biometric imaging system | |
US20230367857A1 (en) | Pose optimization in biometric authentication systems | |
CN201274545Y (zh) | 一种半球式固定工位的红外图像监测装置 | |
CN110141193B (zh) | 一种基于球形结构的舌体三维采集系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |