CN112380912B - 一种行进中虹膜识别装置 - Google Patents
一种行进中虹膜识别装置 Download PDFInfo
- Publication number
- CN112380912B CN112380912B CN202011130140.2A CN202011130140A CN112380912B CN 112380912 B CN112380912 B CN 112380912B CN 202011130140 A CN202011130140 A CN 202011130140A CN 112380912 B CN112380912 B CN 112380912B
- Authority
- CN
- China
- Prior art keywords
- target
- iris
- lens
- motor
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 109
- 239000007788 liquid Substances 0.000 claims abstract description 70
- 230000033001 locomotion Effects 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 25
- 230000000670 limiting effect Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 17
- 230000010354 integration Effects 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 11
- 238000005096 rolling process Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000005693 optoelectronics Effects 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims description 5
- 210000000554 iris Anatomy 0.000 abstract description 121
- 230000006978 adaptation Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 14
- 230000001276 controlling effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 229910000838 Al alloy Inorganic materials 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101150080287 SUB3 gene Proteins 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Abstract
本发明公开了一种行进中虹膜识别装置,包括二自由度摆镜、虹膜成像模块、光电控制系统和场景感知设备以及装置支架;二自由度摆镜包括工业反射镜和二自由度转台;二自由度转台顶部的载物台上设置有工业反射镜;其中,虹膜成像模块,包括成像镜头、转接环、液体透镜和虹膜相机;成像镜头垂直朝下安装;成像镜头的顶部,通过转接环与液体透镜的下端相连接;液体透镜的顶部与虹膜相机相连接。本发明基于液体透镜的景深扩展与快速对焦,以及基于二自由度摆镜的视场扩展与身高适应,能够实现行进中动态虹膜的成像与识别,可以对不同身高、不同方位行进中的目标实现虹膜识别,适应性强。
Description
技术领域
本发明涉及虹膜识别技术领域,特别是涉及一种行进中虹膜识别装置。
背景技术
虹膜识别作为一种更准确、安全系数更高的生物特征识别技术,已经受到了越来越多的关注,技术应用也越来越成熟。未来的安防、国防、电子商务等多种领域的应用,也必然会以虹膜识别技术为重点,市场应用前景非常广阔。
当前的虹膜识别产品,主要分为接触式和非接触式两种,接触式虹膜识别设备需要人眼部主动接触虹膜设备,一般用于虹膜数据采集、虹膜特征注册等,采集速度快,也可用于识别,但是交互体验很差;
非接触式虹膜识别设备根据距离又可分为超近距离(≤0.5m)、近距离(>0.5m且≤3.0m)、远距离(>3.0m且≤10.0m)和超远距离(>10.0m),其中,超近距离型虹膜识别产品一般体积比较小、补光能力有限,如手机虹膜识别、虹膜识别电脑、虹膜电子锁、虹膜支付终端等;而近距离型虹膜识别产品由于要提供足够的红外光强,体积一般稍大,该类产品主要应用在闸机安检、工作打卡等领域;另外,远距离虹膜识别技术还没有相应的产品应用,仅处于研究阶段,但也是下一代虹膜识别产品研发的主要方向;超远距离虹膜识别技术还未有相关的报道或进展。所以,目前市场上的虹膜识别产品基本都属于非接触式近距离类型。
当前的虹膜识别产品,都需要人主动配合(调整距离、身高、角度)后才能进行静态识别,这样不仅交互体验差,而且对于客流量大的场所,会引起严重的等候、排队问题,大大限制了虹膜识别产品的进一步推广与应用。这就急需要一种新的技术打破现有限制,重新推动虹膜识别技术的发展与应用。因此,在行进过程中对虹膜进行无等待成像与识别,成为了当前虹膜识别技术研究中不得不解决的问题。
行进中生物特征识别并不是一个新鲜的问题,人脸特征就可以在人运动的过程中进行识别,无需静止,但是人脸不要特定光照环境,特征比较明显,一般的离焦、运动模糊并不影响特征提取,而且人脸识别设备的视场范围一般也很大,不用担心出视场问题,但是,由于虹膜特征比较微小,采集需要良好红外环境,而且视场也小,这就决定行进中虹膜识别不可能像行进中人脸识别一样轻易实现。
当前对行进中动态虹膜成像与识别的研究,基本都是采用的传统采集装置加光源门的形式,这是最容易实现的一种方式,目前也有相应的技术产品。但是,现有的技术产品进行行进中虹膜识别的成功率还不高,而且由于焦点无法改变、景深浅,需要重复进行识别;
此外,对于现有的技术产品,光源门一般体积庞大,同时,由于视场有限,只能按既定路线前进。
因此,目前迫切需要开发出一种技术,能够解决以上技术问题。
发明内容
本发明的目的是针对现有技术存在的技术缺陷,提供一种行进中虹膜识别装置。
为此,本发明提供了一种行进中虹膜识别装置,包括二自由度摆镜、虹膜成像模块、光电控制系统和场景感知设备以及装置支架;
其中,装置支架垂直分布,且其中上部前侧具有水平分布的承重板;
其中,二自由度摆镜,包括工业反射镜和二自由度转台;
二自由度转台顶部的载物台上,固定设置有工业反射镜;
工业反射镜的底部,固定安装所述承重板的顶部;
其中,虹膜成像模块,包括成像镜头、转接环、液体透镜和虹膜相机;
成像镜头朝下安装;
成像镜头的后侧上下两端,与装置支架的上部前侧固定连接;
成像镜头的顶部,通过转接环与液体透镜的下端相连接;
液体透镜的顶部与虹膜相机相连接;
其中,工业反射镜,位于成像镜头的正下方,用于将前方景像,先后反射到成像镜头、转接环、液体透镜和虹膜相机中;
成像镜头、转接环和液体透镜,用于先后对所述工业反射镜反射的前方景像进行变焦处理,然后提供给虹膜相机;
虹膜相机,用于获取前方景象中的虹膜图像;
其中,场景感知设备,安装在成像镜头的前侧下端,用于获取前方行进中的目标的当前姿态信息,然后发送给光电控制系统;
其中,光电控制系统,安装在装置支架的下部,与场景感知设备相连接,用于根据所述场景感知设备发来的目标的当前姿态信息,预测目标在预设时长Δt后的未来姿态信息,然后根据目标的未来姿态信息,对应控制二自由度转台的转动角度和液体透镜的工作电流;
其中,目标的当前姿态信息和未来姿态信息,均包括:目标速度、目标时空坐标、目标距离和目标角度,所述的目标角度包括目标方位角和目标俯仰角。
优选地,还包括近红外光源,安装在装置支架的下部前侧,用于为前方的低曝光环境进行补光;
光电控制系统,与近红外光源相连接,还用于根据预测的目标在预设时长Δt后的未来姿态信息中的目标距离,以及预先存储的不同目标距离与不同近红外光源亮度值之间的对应关系,对应控制位于所述装置支架下部前侧的近红外光源的亮度。
优选地,光电控制系统,还与虹膜相机相连接,用于读取虹膜相机所获取的前方景象中的虹膜图像,然后首先基于模糊去除算法对虹膜图像进行去模糊,接着基于去模糊序列图像进行复原,最终获得清晰的虹膜图像。
优选地,成像镜头的后侧上下两端,分别通过一个第一弓形件,与装置支架的上部前侧固定连接;
场景感知设备,通过一个第二弓形件,安装在装置支架的上部前侧。
优选地,成像镜头是近红外变焦镜头;
液体透镜为电湿润液体透镜。
优选地,光电控制系统包括以下子系统:
主控制模块,与场景感知设备相连接,用于根据所述场景感知设备发来的目标的当前姿态信息,预测目标在预设时长Δt后的未来姿态信息,然后根据目标的未来姿态信息,通过坐标转换,获得二自由度转台在水平方向和竖直方向需要转动的角度,然后发送角度转动指令给二自由度摆镜控制子系统;
二自由度摆镜控制子系统,分别与主控制模块和二自由度转台相连接,用于接收主控制模块发出的角度转动指令,对应控制二自由度转台运动到指定位置;
液体透镜控制子系统,分别与主控制模块和液体透镜相连接,用于根据目标的未来姿态信息中的距离信息、通过预先存储的透镜工作电流与目标距离之间的一一对应关系,确定对应的透镜工作电流,然后对应控制液体透镜工作电流的改变。
优选地,当成像镜头是变焦镜头时,光电控制系统还根据预测的目标的未来姿态信息,根据对应控制变焦镜头中的电机位置;
光电控制系统,还包括变焦镜头控制子系统,分别与主控制模块和成像镜头相连接,用于根据目标的未来姿态信息中的目标距离、通过预先存储的成像镜头的变焦电机和调焦电机的位置与目标距离之间的一一对应关系,确定成像镜头中的变焦电机和调焦电机的位置,然后对应调整成像镜头,实现控制成像镜头的变焦电机和调焦电机的位置。
优选地,当还包括近红外光源时,光电控制系统还包括以下的子系统:
光源控制子系统,与主控制模块相连接,用于根据目标的未来姿态信息中的距离信息,通过预先存储的光源积分时间、工作状态与目标距离之间的一一对应关系,确定光源积分时间,然后对应调整近红外光源的工作状态和光源积分时间。
优选地,二自由度转台包括竖直电机和水平电机;
竖直电机安装在承重板的顶部;
竖直电机顶部的电机转动台,通过螺丝固定连接有竖直运动转接件;
竖直运动转接件的顶部左右两端,分别固定连接有一个水平电机支撑板;
每个水平电机支撑板内,开孔安装有一个滚动轴承;
两个水平电机支撑板的外侧,分别具有一个垂直分布的载物支撑板;
两个水平电机支撑板之间,具有一个水平电机;
水平电机的左右两端,分别安装有一个水平运动转接件;
每个水平运动转接件上具有螺纹的外侧端,穿过相邻的水平电机支撑板内的滚动轴承的内圈以及载物支撑板上预留的通孔后,与载物固定件螺纹固定连接;
两个载物支撑板的顶部,固定连接载物台的底部左右两端;
载物台的顶部中部,固定连接有工业反射镜;
其中,每个水平电机支撑板的左右外侧的前后两端,分别安装有一个水平运动限位柱;
承重板的顶部,在竖直电机的前后两端,分别安装有一个竖直运动限位柱;
每个竖直运动限位柱的顶部具有向所述竖直电机方向弯折的限位块;
限位块,位于竖直运动转接件的正上方。
优选地,目标的当前姿态信息,具体包括以下信息:
目标速度v0;
目标时空坐标(t0,x0,y0,z0),是在场景感知设备坐标系下的三维坐标,在场景感知设备坐标系中,t为时间轴,z为正方向远离设备的深度轴,y为高度轴,x为方位轴;
目标方位角α0为:坐标原点O与点M在xOz平面上的投影M′xz的连线OM′xz和z轴之间的夹角,α0=arc tan(x0/z0);
对于预测的预设时长Δt时间后的未来姿态信息,具体包括以下信息:
目标的未来姿态信息中的目标速度,等于目标的当前姿态信息中的目标速度;
目标的未来姿态信息中的目标MΔt时空坐标为(t0+Δt,xΔt,yΔt,zΔt),则
目标的未来姿态信息中目标方位角αΔt=α0;
目标的未来姿态信息中的目标俯仰角βΔt=arcsin(y0/sΔt)。
由以上本发明提供的技术方案可见,与现有技术相比较,本发明提供了一种行进中虹膜识别装置,其设计科学,基于液体透镜的景深扩展与快速对焦,以及基于二自由度摆镜的视场扩展与身高适应,能够实现行进中动态虹膜的成像与识别,可以对不同身高、不同方位行进中的目标实现虹膜识别,无需人们主动配合,适应性强,交互体验良好,具有重大的实践意义。
此外,通过本发明的应用,有利于解决远距离、不同身高、不同方位及不同速度等复杂情况下的动态虹膜成像问题,避免虹膜识别等待,提高客流通量和交互体验,可持续成像与识别,可实现多人行进中虹膜识别。
附图说明
图1a为本发明提供的一种行进中虹膜识别装置的部分结构示意图;
图1b为本发明提供的一种行进中虹膜识别装置中,二自由度摆镜的结构示意图;
图1c为本发明提供的一种行进中虹膜识别装置中,二自由度摆镜的部分结构拆解示意图;
图2是本发明提供的一种行进中虹膜识别装置的工作原理示意图;
图3是本发明提供的一种行进中虹膜识别装置中,主要算法的流程示意图;
图4是本发明提供的一种行进中虹膜识别的时空坐标转换原理示意图;
图5a是本发明提供的一种行进中虹膜识别装置的转接环的立体结构示意图;
图5b是本发明提供的一种行进中虹膜识别装置的转接环的俯视结构示意图;
图6是本发明提供的一种行进中虹膜识别装置的固定环的结构示意图;
图7是本发明提供的一种行进中虹膜识别装置,在不同姿态下的空间坐标示意图;
图8是本发明提供的一种行进中虹膜识别装置,在不同坐标系下的目标姿态相对关系示意图。
具体实施方式
为使本发明实现的技术手段更容易理解,下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,在本申请的描述中,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,还需要说明的是,在本申请的描述中,除非另有明确的规定和限定,术语“安装”等应做广义理解,例如,可以是固定安装,也可以是可拆卸安装。
对于本领域技术人员而言,可根据具体情况理解上述术语在本申请中的具体含义。
参见图1a至图8,本发明提供了一种行进中虹膜识别装置,包括二自由度摆镜1、虹膜成像模块2、光电控制系统4和场景感知设备5以及装置支架61;
其中,装置支架61垂直分布,且其中上部前侧具有水平分布的承重板101;
其中,二自由度摆镜1,包括工业反射镜11和二自由度转台12;
二自由度转台12顶部的载物台上,固定设置有工业反射镜11;
工业反射镜11的底部,固定安装所述承重板101的顶部;
其中,虹膜成像模块2,包括成像镜头21、转接环22、液体透镜23和虹膜相机24;
成像镜头21朝下安装;
成像镜头21的后侧上下两端,分别通过一个第一弓形件62,与装置支架61的上部前侧固定连接;
成像镜头21的顶部,通过转接环22与液体透镜23的下端相连接;
液体透镜23的顶部与虹膜相机相连接;
其中,工业反射镜11,位于成像镜头21的正下方,用于将前方景像,先后反射到成像镜头21、转接环22、液体透镜23和虹膜相机24中;
成像镜头21、转接环22和液体透镜23,用于先后对所述工业反射镜11反射的前方景像进行变焦处理,然后提供给虹膜相机24;
虹膜相机24,用于获取前方景象中的虹膜图像;
其中,场景感知设备5,安装在成像镜头21的前侧下端,用于获取前方行进中的目标的当前姿态信息,然后发送给光电控制系统4;
其中,光电控制系统4,安装在装置支架61的下部,与场景感知设备5相连接(例如通过数据线),用于根据所述场景感知设备5发来的目标的当前姿态信息,预测目标在预设时长(如Δt)后的未来姿态信息,然后根据预测的目标的未来姿态信息,对应控制二自由度转台12的转动角度和液体透镜23的工作电流;
此外,当成像镜头21是变焦镜头时,光电控制系统4还根据预测的目标的未来姿态信息,根据对应控制变焦镜头中的电机位置;
其中,目标的当前姿态信息和未来姿态信息(只是采集信息的时刻不同),均包括:目标速度、目标时空坐标、目标距离和目标角度,所述的目标角度包括目标方位角和目标俯仰角。
图4是本发明提供的一种行进中虹膜识别的时空坐标转换原理示意图。参见图4所示,对于目标的当前姿态信息,所述目标速度包括速度大小和速度方向(速度记为v0,正表示朝设备靠近,负表示远离设备),是预测未来Δt时刻后目标姿态的关键参数,单位cm/s(或m/s);
对于目标的当前姿态信息,所述目标时空坐标,表示某一时刻目标的脸部中心点M的坐标,记为(t0,x0,y0,z0),是在场景感知设备坐标系下的三维坐标,在场景感知设备坐标系中,t为时间轴,z为深度轴(正方向远离设备),y为高度轴(竖直向下为正),x为方位轴(背靠设备,左正右负);
对于目标的当前姿态信息,所述目标方位角为:坐标原点O与点M在xOz平面上的投影M′xz的连线OM′xz和z轴之间的夹角,记为α0,α0=arc tan(x0/z0),用于表示目标移动的路线(假设移动过程中,目标的人脸正视设备),根据该角度,来调整二自由度摆镜1的方位角(即二自由度转台12中竖直电机转动的角度);
对于目标的当前姿态信息,所述目标俯仰角为:坐标原点O与点M的连线OM和原点O与点M在xOz平面上的投影M′xz的连线OM′xz之间的夹角,记为β0,则根据该角度,来调整二自由度摆镜1的俯仰角(即二自由度转台12中水平电机转动的角度)。
在本发明中,对于预测的预设时长Δt时间后的未来姿态信息,此姿态信息根据当前姿态信息进行计算确定,由于Δt(≤100ms)较短,可认为该预设时长Δt内目标M进行匀速移动,则目标M移动的距离Δs=Δt·v0(Δs为负,表示接近装置),而预设时长Δt时间后的目标速度仍保持不变(跟目标的当前姿态信息一样);
对于预设时长Δt时间后的未来姿态信息,在预设时长Δt时间后的目标MΔt时空坐标为(t0+Δt,xΔt,yΔt,zΔt),则
此外,需要说明的是,目标距离也可以根据时空坐标计算;
需要说明的是,对于本发明,对于预设时长Δt时间后的未来姿态信息,目标方位角不变,即预设时长Δt时间后的目标方位角αΔt=α0,该目标方位角也可以根据时空坐标计算;
对于预设时长Δt时间后的未来姿态信息,预设时长Δt时间后的目标俯仰角βΔt=arcsin(y0/sΔt),该目标俯仰角也可以根据时空坐标计算。
在本发明中,具体实现上,光电控制系统4,根据预测的目标的未来姿态信息,对应控制液体透镜23的工作电流,具体包括以下操作:
光电控制系统4,根据预测的目标在预设时长(如Δt)后的未来姿态信息中的目标距离,以及预先存储的不同目标距离与不同液体透镜电流值之间的对应关系(可以通过线性插值),确定未来姿态信息中的目标距离对应的液体透镜电流值并控制液体透镜23进行相应的电流改变;
在本发明中,具体实现上,光电控制系统4,与位于所述装置支架61下部前侧的近红外光源3相连接,还用于根据预测的目标在预设时长(如Δt)后的未来姿态信息中的目标距离,以及预先存储的不同目标距离与不同近红外光源亮度值之间的对应关系(可以通过线性插值),对应控制位于所述装置支架61下部前侧的近红外光源3的亮度。
在本发明中,具体实现上,光电控制系统4,根据预测的目标的未来姿态信息,对应控制二自由度转台12的转动角度,具体包括以下操作:
光电控制系统4,根据预测的目标的未来姿态信息中的目标方位角,调整二自由度摆镜1的方位角,即调整二自由度摆镜1包括的二自由度转台12中竖直电机转动的角度;
光电控制系统4,还根据预测的目标的未来姿态信息中的目标俯仰角,调整二自由度摆镜1的俯仰角,即二自由度转台12中水平电机转动的角度。
在硬件调整完成时,即可控制目标运动至预测的位置。
在本发明中,具体实现上,当成像镜头21是变焦镜头时,光电控制系统4,根据预测的目标的未来姿态信息,对应控制变焦镜头中的电机位置,具体包括以下操作:
光电控制系统4,用于根据预测的目标在预设时长(如Δt)后的未来姿态信息中的目标距离,以及预先存储的不同目标距离与不同变焦镜头的电机位置(包括变焦电机和调焦电机的位置)之间的对应关系,对应控制变焦镜头中的电机位置。
在本发明中,需要说明的是,场景感知设备5,是现有的设备,具体使用的是Stereolabs公司生产的第二代ZED双目立体相机,主要用于获取目标场景中的3D点云信息。具体是:场景感知设备5首先通过其上的左眼(左侧相机)采集到的RGB图像,来对目标进行检测,当检测到目标后,获取目标的人脸中心点图像坐标;然后根据该坐标从点云中寻找对应3D点,即为目标的3D坐标信息,同时自动记录该目标的3D坐标信息的获取时间。
需要说明的是,3D设备(即场景感知设备)得到的数据就是点云数据,很多的3D点就是点云。
在本发明中,工业反射镜11,是用于对光路进行改变、实现二次成像的关键部件,主要是反射前方目标的入射光线,使反射光线竖直射出,投影到虹膜相机24的相机传感器上面。
在本发明中,二自由度转台12,可以实现X轴和Y轴两个方向(即水平方向和垂直方向)的转动,当检测到目标并计算出其方位角和俯仰角后,光电控制系统将发送控制信号,控制二自由度转台12转动相应的角度,从而能够使二自由度转台12的载物台上安装的工业反射镜11正对目标的虹膜位置。
在本发明中,成像镜头21,可以是变焦镜头,也可以是定焦镜头。对于变焦镜头,可以通过RS422自定义串口协议,在线控制镜头变焦和调焦;安装有可见光截止滤光片,可有效去除环境光干扰。
在本发明中,转接环22,用于将成像镜头21的非标螺纹转为标准C口螺纹,以与液体透镜23连接;同时可以通过螺纹连接的深度,实现法兰距的微调和成像距离的校正。
在本发明中,液体透镜23基于电湿润原理,通过改变液体的曲率来改变焦距,响应速度快,可实现快速对焦,是实现景深扩展的关键部件。
在本发明中,虹膜相机24,可以是采用1200万、1.1"大靶面图像传感器的工业相机,对850nm近红外敏感度高,是形成虹膜图像的最终部件。
在本发明中,场景感知设备5,主要是用于获取场景的3D信息,当检测到目标时,获取目标的3D坐标,并与此刻时间形成目标时空坐标;作为反馈信号,光电控制系统经分析处理后控制二自由度转台12、成像镜头21(当采用变焦镜头时)和液体透镜23进行相应的参数调整。
需要说明的是,在本发明中,工业反射镜11通过螺钉固定在二自由度转台12的载物台上;二自由度转台12通过4个M6x16mm螺钉固定在承重板101上方;成像镜头21后端与转接环22前端连接;转接环22后端与液体透镜23前端连接;液体透镜23后端与虹膜相机24连接;成像镜头21通过螺钉与两个第一弓形件62的凸起部位连接,而第一弓形件62的固定脚使用螺钉固定在装置支架61上;场景感知设备5通过一个M6螺钉固定在第二弓形件63上,而第二弓形件63的固定脚通过螺钉固定在装置支架61上。
还需要说明的是,经过应用本发明,目标的光依次经过工业反射镜11、成像镜头21、液体透镜23后,能在虹膜相机24的相机传感器上形成清晰的图像。所有的硬件都是程序在后台自动控制的。
在本发明中,当成像镜头21为变焦镜头时,可以包括镜片组、电控模块、通讯模块和外壳,镜片组及参数按照标准成像原理设计,具体为标准成像距离1000mm~5000mm,波段700mm~900mm、焦距70mm~350mm、像元尺寸4.5μm×4.5μm、通光孔径60mm(直径)、后截距38mm;其中的电控模块包括变焦模块和调焦模块,变焦模块包括变焦电机和控制电路板,调焦模块包括调焦电机和调焦电路板;通讯模块为RS422通讯,17位十六进制自定义协议,可同时控制变焦和调焦运动;外壳使用0.1mm不锈钢材料,有6个6mm的通孔,便于固定。
需要说明的是,对于成像镜头21,当采用变焦镜头时,变焦镜头中的变焦电机用于改变镜头的焦距,调焦电机用于进行微调,使目标对焦。参数是将调焦和变焦位置进行了细划分,这些可以内置到电机控制器里面。
具体实现上,成像镜头21在安装时,其光轴应该与二自由度转台12中竖直电机的竖直转动轴重合,距离工业反射镜11平面的中心位置的距离为6~13cm。
在本发明中,具体实现上,本发明提供的行进中虹膜识别装置,还包括近红外光源3,安装在装置支架61的下部前侧,用于为前方的低曝光环境进行补光,保证光强。
具体实现上,近红外光源3功率较大,为近红外850nm波段,照面大,积分时间可控,可适应低曝光环境,可满足不同方位前进目标的补光要求。
具体实现上,近红外光源3可以由多个5W大功率灯珠模块组成,安装高度0.7m,倾斜安装,防止反光。
需要说明的是,对于本发明,光电控制系统4通过对场景感知设备5反馈的目标信息进行认知、分析,得到目标的运动状态(速度、方向)、距离、角度(方位角、俯仰角)等姿态数据,经过深度理解和推演,对在预设时长(如Δt)后的目标未来行为进行精确预测,控制二自由度摆镜1、液体透镜23、成像镜头21和辅助的近红外光源3进行迅速调整,实现行进中目标的持续对焦。
在本发明中,具体实现上,光电控制系统4,还与虹膜相机24相连接,用于读取虹膜相机24所获取的前方景象中的虹膜图像,然后首先基于模糊去除算法对虹膜图像进行去模糊,接着基于去模糊序列图像进行复原,最终获得清晰的虹膜图像,实现运动中虹膜清晰成像。
也就是说,通过应用光电控制系统,本发明的装置从虹膜相机中可以高速获取虹膜图像,即对模糊图像进行高速成像,然后基于模糊去除算法对图像进行去模糊,基于去模糊序列图像进行复原,实现运动中虹膜清晰成像。
在本发明中,具体实现上,工业反射镜11通过多个(不限于四个)螺钉固定在二自由度转台12的载物台上,物理尺寸可以为60mm×70mm×10mm,主要是为了适应成像镜头21的通光孔径,为了方便安装,使用铝基材料,加工多个定位固定螺纹孔,且工业反射镜11表面镀金,以提高反射镜对850nm近红外光的反光率,降低能量损失。工业反射镜11的表面面型精度达到63.3nm,满足虹膜成像要求,同时保证加工难度和制造成本。
具体实现上,工业反射镜11主要分为基底和反射面,基底使用铝合金材质,底面对称分布有4个M6x6的螺纹孔;反射面是经打磨、抛光、镀膜后形成,反射表面为一层镀金膜,可提高对近红外光的反射率。
具体实现上,工业反射镜11的近红外光反射率≥95%,使用铝基材料,方便加工、安装,不易变形。
在本发明中,具体实现上,二自由度转台12通过螺钉固定在装置支架61的承重板101上,安装在承重板101的中部位置。
参见图1a、图1b、图1c所示,二自由度转台12包括竖直电机121和水平电机131;
竖直电机121安装在承重板101的顶部;
竖直电机121顶部的电机转动台,通过螺丝固定连接有竖直运动转接件122;
竖直运动转接件122的顶部左右两端,分别固定连接有一个水平电机支撑板132;
每个水平电机支撑板132内,开孔安装有一个滚动轴承134;
两个水平电机支撑板132的外侧,分别具有一个垂直分布的载物支撑板152;
两个水平电机支撑板132之间,具有一个水平电机131;
水平电机131的左右两端,分别安装有一个水平运动转接件133;
每个水平运动转接件133上具有螺纹的外侧端,穿过相邻的水平电机支撑板132内的滚动轴承134的内圈以及载物支撑板152上预留的通孔后,与载物固定件151(具体可以采用螺母)螺纹固定连接;
两个载物支撑板152的顶部,固定连接载物台153的底部左右两端;
载物台153的顶部中部,固定连接有工业反射镜11。
具体实现上,每个水平电机支撑板132的左右外侧的前后两端,分别安装有一个水平运动限位柱162;
承重板101的顶部,在竖直电机121的前后两端,分别安装有一个竖直运动限位柱161(共有两个);
每个竖直运动限位柱161的顶部具有向所述竖直电机121方向弯折的限位块1610;
限位块1610,位于竖直运动转接件122的正上方。
需要说明的是,水平电机和竖直电机是根据中心旋转轴的方向区分,水平电机绕水平轴(其中心旋转轴是水平轴)转动即水平运动,调整的是俯仰角度,用以适应身高。竖直电机绕竖直轴(即中心旋转轴是竖直轴)转动即竖直运动,调整的是方位角度,用于适应不同位置的目标。
需要说明的是,对于本发明,对于竖直电机121,在竖直运动限位柱161下,竖直转动角度在±60°范围内,但理论最大可达±180°工作范围,运动精度0.01°,实现360度视场范围全覆盖;竖直运动转接件122为圆形,中间中空,有定位阶梯槽。
其中,竖直电机121安装在二自由度转台12的下面,绕竖直方向在竖直运动限位柱161下运动,其顶部的运动转台(即电机转动台)通过4个M6螺钉与竖直运动转接件122连接,实现运动传递。
其中,竖直运动转接件122为圆形,中间中空,便于穿线,两边有定位槽。
需要说明的是,对于水平电机131,在水平运动限位柱162的作用下,水平电机运动角度在±60°范围内,运动精度0.01°,水平运动限位柱成对安装在水平电机支撑板上;水平电机支撑板内各安装一个滚动轴承。
其中,水平电机131安装在二自由度转台上部,一端固定在水平电机支撑板132上;水平电机支撑板132内安装有滚动轴承134,保证同轴,降低运动磨损;
其中,水平运动转接件133为阶梯轴,外侧端具有螺纹,穿过滚动轴承,通过螺母与载物固定件151固定连接。
需要说明的是,对于本发明,竖直运动限位柱161和水平运动限位柱162,主要为了保证竖直运动和水平运动在安全范围内,防止飞车或其他事故。
具体实现上,水平电机的型号为雅科贝思AXM60-50电机,使载物台绕水平轴转动,即实现俯仰角改变;竖直电机的型号为雅科贝思AXM120-50电机,使载物台绕竖直轴转动,即实现方位角改变;载物台主要用来连接工业反射镜11,其他部件仅作为固定或支撑使用。其中,竖直电机、水平电机这两个电机相对垂直安装,水平电机(直径60mm)在上,且位于载物台的内部,该中心型结构设计,使结构非常紧凑,控制精度0.01°。
具体实现上,二自由度转台12还可以采用现有的二维转台,是现有的顶部可以安装工业反射镜的,能够让顶部进行垂直方向(Y轴方向)和水平方向(X轴方向)转动的二维转台。
具体实现上,二自由度转台12包括X轴(水平)转动模块和Y轴(竖直)转动模块,电机相对垂直安装,控制精度<0.01°,可实现载物台二维方向姿态任意调整;转台的安装高度在1.2m;水平视场范围±180°,垂直视场范围±60°;水平电机位于中心位置。
在本发明中,具体实现上,场景感知设备5,通过一个第二弓形件63,安装在装置支架61的上部前侧。
在本发明中,具体实现上,成像镜头21优选为变焦镜头,竖直安装,通过一对第一弓形件62固定在装置支架61上,工作波段为700mm~900mm。成像镜头21的标准成像物距为1~5m,焦距70~350mm,视场角27.5°~5.8°,奈奎斯特频率111线对每毫米(lp/mm),进光孔100mm,出光孔60mm(直径),工作电压12V,后截距最后镜面到像面位置38.0mm,数据通信接口为RS485/422接口。
具体实现上,成像镜头21可以是近红外变焦镜头,后截距38.0mm,通过转接环22与液体透镜23连接;镜头镀膜,可见光截止。
在本发明中,具体实现上,转接环22的厚度为1mm,可通过固定环25前后调节后截距,使之与理论参数匹配,转接环22用于连接所述成像镜头21和液体透镜23。
需要说明的是,转接环22与固定环25成套使用,用于调整后截距。
具体实现上,转接环22为铝合金材质,前端为M60内螺纹,后端为M25外螺纹;高9mm,中间壁厚0.8mm,主要为连接成像镜头21和液体透镜23。
具体实现上,固定环25为铝合金材质的正六边形,厚1mm,中间为内螺纹,安装在成像镜头21的顶端,当转接环22调整完后,使固定环紧贴转接环,以使转接环固定,避免转接环处于活动、非固定状态。
具体实现上,转接环22的非标准螺纹深度为5mm。
在本发明中,具体实现上,液体透镜23为电湿润液体透镜,变焦速度快,操作稳定,屈光度范围大(-10~10dpt),可见光截止,工作波段为850mm~1500mm,通光孔径16mm,响应时间7ms,稳定时间40ms,工作电流为-292.84~292.84mA,并且采用标准C口,体积小。
需要说明的是,控制液体透镜工作电流的改变的目的在于:电流改变就是屈光度改变,相当于进行对焦。
具体实现上,液体透镜23可以为Optotune公司的型号ER-16-40-TC-VIS-20D的液体透镜,屈光度-20dpt~20dpt。
在本发明中,具体实现上,虹膜相机24为标准C口工业相机,1200万像素,灰度可感近红外相机,相机的靶面CMOS1",能够增大像元,提高感光面积,全局曝光,降低运动模糊的影响。
具体实现上,虹膜相机24可以为迈德威视公司的型号MV-SUF1200M-T的工业相机,数据接口SUB3.0,像元尺寸3.1×3.1μm。
在本发明中,具体实现上,当本发明的装置包括近红外光源3时,光电控制系统4,还用于根据目标的未来姿态信息,对应控制近红外光源3的工作状态(即开关状态)和光源积分时间。
在本发明中,具体实现上,光电控制系统4包括以下子系统:
主控制模块,与场景感知设备5相连接,用于根据所述场景感知设备5发来的目标的当前姿态信息,预测目标在预设时长(如Δt)后的未来姿态信息,然后根据目标的未来姿态信息,通过坐标转换,获得二自由度转台(12)在水平方向和竖直方向需要转动的角度,然后发送角度转动指令给二自由度摆镜控制子系统;
对于本发明,在预测目标的未来姿态信息后,就可以计算出来应该控制转台水平(即俯仰角度)和竖直(水平角度)转动的角度,然后把角度换算为脉冲(一个脉冲表示0.01度),最后把角度分别转为PPI协议,并通过PPI电缆发送至西门子S7-200 PLC;PLC检测到缓冲区数值改变后,自动通过I0.0/I0.1脉冲输出端口向二自由度转台12中水平电机的驱动器和竖直电机的驱动器发送指定数量的脉冲;电机接收到来自驱动器的脉冲后即开始转动。
二自由度摆镜控制子系统,分别与主控制模块和二自由度转台12相连接,用于接收主控制模块发出的角度转动指令,对应控制二自由度转台12运动到指定位置,从而实现对身高的适应和对场景的扩展;
液体透镜控制子系统,分别与主控制模块和液体透镜相连接,用于根据目标的未来姿态信息中的距离信息(即距离反馈)、通过预先存储的透镜工作电流与目标距离之间的一一对应关系(例如可以通过查表的方式,目标距离和工作电流的关系表),确定对应的透镜工作电流,然后对应控制液体透镜工作电流的改变;
当成像镜头是变焦镜头时,光电控制系统还包括变焦镜头控制子系统;
变焦镜头控制子系统,分别与主控制模块和成像镜头21相连接,用于根据目标的未来姿态信息中的目标距离信息(即距离反馈)、通过预先存储的成像镜头21(采用变焦镜头)的变焦电机和调焦电机的参数与目标距离之间的一一对应关系(例如可以通过查表的方式,即成像镜头21的变焦电机和调焦电机的位置与工作电流的关系表),确定成像镜头21(是变焦镜头)中的变焦电机和调焦电机的位置,然后发送控制指令给成像镜头,对应调整成像镜头21,实现控制成像镜头21(采用变焦镜头)中变焦电机和调焦电机的位置。
具体实现上,当本发明的装置还包括近红外光源3时,光电控制系统4还包括以下的子系统:
光源控制子系统,与主控制模块相连接,用于根据目标的未来姿态信息中的距离信息(即距离反馈),通过预先存储的光源积分时间、工作状态(开关状态)与目标距离之间的一一对应关系(例如可以通过查表的方式,目标距离和光源积分时间、工作状态的关系表),确定光源积分时间,然后对应调整近红外光源3的工作状态和光源积分时间。
具体实现上,二自由度摆镜控制子系统,可以包括西门子S7-200 PLC(作为运动控制器)、两个电机驱动器、通信线和控制程序,服务器通过PPI电缆与PLC连接(USB一端插在服务器上,RS485一端连接PLC),PLC与驱动器通过屏蔽线连接。具体可以通过控制程序,根据姿态信息分析得到转动应该转动的角度,然后转为脉冲数,最后通过标准PPI协议将脉冲数发送给PLC;PLC再给电机驱动器(具体包括二自由度转台12中水平电机的驱动器和竖直电机的驱动器)发送指定数量的脉冲,转台即转动相应的角度。
具体实现上,二自由度摆镜控制子系统的电机驱动器可以是Akribis(雅科贝思)ASD驱动器;运动控制器可以是西门子S7-200 PLC;差分脉冲控制器是艾莫迅公司四通道集电极转差分脉冲转换器。运动控制器发出单端脉冲经差分脉冲控制器转为差分脉冲信号,然后差分脉冲信号传入到电机驱动器,即可控制电机转动。
具体实现上,液体透镜控制子系统,可以包括透镜驱动器、6pin的线缆和控制程序,将驱动器直接插到服务器的USB口(或通过USB延长线连接服务器),使用6pin的线缆连接驱动器和液体透镜。软件在初始化的时候,加载提前标定好的电流与距离的对应关系表,控制程序根据姿态信息获取目标距离,通过查表和线性插值的方法,得到该距离下对应的电流,然后将电流值转为7位十六进制控制器的标准协议指令,并通过USB串口将指令发送给液体透镜的驱动器;液体透镜的驱动器接收到服务器发送来的指令后,即开始控制液体透镜的电流改变。
具体实现上,变焦镜头控制子系统,主要包括一个RS422通信线和控制程序,通信线USB一端连接服务器的USB端口,另一端连接变焦镜头(即作为成像镜头)的通信端口,镜头需要提供24V电源。软件在初始化的时候,加载提前标定好的变焦镜头电机位置(具体是变焦电机和调焦电机的位置)与距离的对应关系表(一般只需标定3个位置即可满足要求,设3个位置分别为(a1,b1)、(a2,b2)和(a3,b3),对应的距离分别为0~2.m,2.0m~3.5m和3.5m~5.0m),控制程序根据姿态信息获取目标距离,该距离在哪一个距离段,即将变焦镜头的变焦电机和调焦电机调整至相应位置;具体是:确定目标位置后,需要先将十进制目标位置转为十六进制数,然后根据变焦镜头已规定好的非标协议转为相应指令,服务器通过USB串口将该指令通过通信线发送给变焦镜头(即作为成像镜头)的控制器,镜头将自动调整到目标位置,若已处于目标位置,则不再进行调整。
具体实现上,光源控制子系统包括电流控制器、RS232通信线和控制程序,通信线USB一端连接服务器USB端口,另一端连接电流控制器通信端口。控制程序根据姿态信息获取目标距离和方位角,根据预设策略自动分析出应该打开哪个方位光源和光源强度应该是多少,然后转为电流控制器标准的协议指令;将该指令通过RS232通信线发送至控制器,控制器会根据指令信息打开指定方位光源,并将光源调整至指定亮度即指定电流大小。
具体实现上,对于本发明,液体透镜控制子系统,在确定透镜工作电流后,是基于非标准协议,通过透镜驱动器来控制液体透镜的工作电流变化。
具体实现上,对于本发明,变焦镜头控制子系统,基于非标准协议,通过RS485接口,来控制成像镜头21(可以采用变焦镜头)中的变焦电机和调焦电机的运动,在用作定焦镜头时不需要控制,而使用变焦镜头,可以使扩展景深再次增大。
具体实现上,对于本发明,光源控制子系统,可以通过近红外光源3的控制电路板,来控制近红外光源3的工作状态(即开关状态)和积分时间。
需要说明的是,在本发明中,具体实现上,虽然现有的TOF、结构光3D设备检测精度高,但是检测距离较近,远距离检测误差很大或无法检测,所以本发明所述的场景感知设备5为双目3D场景感知设备,第二代ZED,可检测深度范围0.3~25m,视场60°(H)×100°(V),光圈f/2.0,6元素全玻璃双镜头,传感器像元2.0×2.0μm,USB3.0,工作输出图像像素1920×1080,水平居中间位置安装,使用第二弓形件63固定在装置支架61上。
为了更加清楚地理解本发明的技术方案,下面说明本发明的工作原理,就根据目标的当前姿态信息,得到未来姿态信息的相关过程进行说明。
参见图2、图4和图7所示,初始状态M1、中间状态M2和预测状态M3,分别为同一个目标M由远及近行进中不同时刻的三种状态。
参见图3所示,首先,在目标刚进入场景感知设备5的测量范围内时,定义此时目标的状态为初始状态,通过场景感知设备5获取目标M在初始状态M1下的当前空间坐标信息(x1,y1,z1),计算目标的当前距离(与本发明装置的场景感知设备5的距离,即目标在初始状态M1下的距离),记录目标在初始状态M1下的时间t1,即当前姿态下的时空坐标为(t1,x1,y1,z1);
需要说明的是,对于本发明,通过场景感知设备只能通过点云获取坐标信息,目标姿态的其他信息都是在此基础进行计算的。
然后,当目标行进到中间状态M2的位置时,通过场景感知设备5获取目标M在M2状态下的当前空间坐标信息(x2,y2,z2),计算得到目标在该状态下的距离为记录此刻目标在中间状态M2下的时间为t2,即当前姿态下的时空坐标为(t2,x2,y2,z2),目标在中间状态M2下的方位角a2=arctan(x2/z2),目标在中间状态M2下的俯仰角此时目标在中间状态M2下的速度v≈(S2-S1)/(t2-t1)(负号表示由远及近),但是此时的速度存在一定偏差,t2-t1时间长,特别是实际移动速度又快的时候,偏差会进一步扩大,这是因为S1与S2的距离方向不一致,所以必须保证距离变化与行进方向一致,由于目标在移动过程中高度不会变化即y轴坐标始终一致,所以去除y轴坐标可得
接着,在中间状态M2的时刻,预测在预设时长Δt之后具有的预测状态M3,由于Δt很短,可以认为目标M在Δt时间内仍然按照M2时刻的速度和方向移动(速度匀速,方向不考虑突变即在该移动过程中的突然改变),则预测状态M3的位置坐标如下:
所以,在预测状态M3下,目标的距离S3、方位角α3、俯仰角为β3,具体计算公式如下:
具体实现上,预设时长Δt,需要根据场景感知设备的一帧深度数据的获取时间、程序计算分析时间、指令发送及硬件相应时间综合确定,理论上不小于它们之和。但是这些时间也都是有浮动的。
需要说明的是,对于本发明,在比较短的时间内,目标从M2移动到M3可以认为是匀速的,其在该过程中的速度和移动方向与M2姿态下计算的速度和方向一致。这里的方向主要是方位角。由于是在移动,时空坐标是在变化的。
具体实现上,若深度设备(即场景感知设备5)的帧率为F,则状态M1和状态M2之间的间隔时长Δt12=t2-t1≥n*1/F(n=1,2,3...),n可取3,太小移动的距离可能无法分辨。
具体实现上,预测的预设时长Δt,应等于固定预测时间Δt0加硬件的最长调整时间Δtmax(从发出指令到达到稳定状态需要的时间即为Δtmax)。具体实现上,变焦镜头(作为成像镜头21)的使用,是使不同景深段进行拼接,经测试,5m范围只需进行1~2次变焦即可实现覆盖。由于成像镜头21的调整次数很少,所以Δtmax主要取决于液体透镜和工业反射镜的调整时间,而对于同一目标的行进过程,方位角只需一次初始转动,高度虽有变化,但俯仰角度改变一般在0.1°~0.2°,调整时间<20ms,而液体透镜的响应时间为7ms,但稳态时间为40ms,所以硬件的最长调整时间Δtmax∈(40ms,100ms)。
需要说明的是,固定预测时间Δt0是一个变量,比如要预测200ms后的目标状态,这个时间是不考虑其他因素影响的理想预测时间,但是由于信息获取的滞后性、硬件的响应时间等影响,控制程序要在这个时间的基础上考虑其他因素的响应。当然也可以预测2s/5s之后的状态,固定预测时间越长,虽然其他因素的影响会减弱,但是运动过程的不可控会大大增加。
具体实现上,由于本发明的装置在安装固定后,二自由度摆镜1和场景感知设备5的相对位置确定,所以在预测到M3状态时,根据M3的姿态信息(即目标的未来姿态信息),通过坐标转换,即可得出二自由度转台12需要转动的角度(包括二自由度转台12在水平方向和竖直方向需要转动的角度)。同时,由于要求更快的预测、调整速度,液体透镜的调焦不再适合使用现有的基于图像质量评价的方法,可以通过查表和线性插值的方法,来确定焦点电流(即工作电流),目标距离和工作电流的关系表需要提前标定。
需要说明的是,对于本发明,上述坐标转换的原理如下:
参见图8所示,图8是本发明提供的一种行进中虹膜识别装置,在不同坐标系下的目标姿态相对关系示意图。假设场景感知设备5(场景感知设备是双目成像设备)到地面的安装高度为h1;在初始位置时,工业反射镜11表面中心到地面的安装高度为h2,场景感知设备到工业反射镜11表面中心的距离为d,双目(即场景感知设备上的两个镜头)间的距离为l,水平即俯仰方向角度补偿为θp,竖直即方位角方向角度补偿为θa,已知目标在场景感知设备坐标系下的坐标为(x,y,z),则目标距离s1、方位角α1和俯仰角β1为:
修正后人体高度(人脸中心到地面的距离)H为:
H=h1-s·sin((β1+θp)π/180);
那么,在反射镜坐标系下的目标距离s2、方位角α2和俯仰角β2为:
另外,需要说明的是,场景感知设备坐标系相对于反射镜坐标系的坐标为(Δx,Δy,Δz),其中Δy为h1、h2的高度差,Δz即为d,若安装时,yoz平面与YOZ平面重合,则Δx为l/2,否则需要实际测量确定。
需要说明的是,对于本发明的装置,在程序启动后,首先对硬件设备进行初始化,启动并发线程,使场景感知设备5处于工作状态,其他处于带工作状态;
当场景感知设备5感知到有行进中的目标时,会自动估计当前目标的运动状态(位姿、速度),然后通过光电控制系统4一方面继续计算此时的目标距离S,一方面将该运动状态存入目标信息共享变量;当信息监测线程检测到变量变化时,即根据当前行进状态,对目标Δt后的目标位姿进行预测,并通过坐标转换迅速计算预测状态下的目标距离S0和目标角度,控制液体透镜23、成像镜头21的调整和二自由度摆镜1的姿态变化,然后从虹膜相机24中不断高速获取虹膜图像,对序列图像进行去模糊、复原后进行识别,直到目标实时距离S<S0,即跳出当前状态,开始下一状态的调整。而当有多目标时,只需在识别出一个目标后,迅速调整转台方位角,即可对另一行进中目标进行识别。
基于以上技术方案可知,通过本发明提供的装置,可以很好地解决行进中虹膜识别问题,适应性强,无主动配合,无等候,可以进一步推动虹膜识别产品的市场化应用,未来市场前景广阔。
与现有技术相比较,本发明提供的行进中虹膜识别装置,具有如下有益效果:
1、动态虹膜成像。对运动中的动态虹膜进行持续清晰成像,稳定性强,不受复杂环境的影响。
2、速度适应范围广。可以适应≤1.5m/s的速度,覆盖快、中、慢等的不同速度。
3、人机良好交互。不需要人主动配合,无需等候,无既定路线限制,无身高要求,本装置都可快速成像与识别。
4、动态范围广。在实现行进中虹膜识别的同时,基于大屈光度液体透镜的景深扩展能力,突破商用虹膜识别产品距离限制,实现5m范围内动态识别。
5、多目标识别。基于二自由度摆镜对虹膜相机水平方向的视场扩展特性,可以实现对多个行进中目标的虹膜识别。
6、身高自适应。基于二自由度摆镜水平俯仰角自动调节能力,实现对不同身高目标、目标行进过程中的相对身高变化自动快速适应。
基于以上技术方案可知,通过应用本发明,可以实现对从不同方位行进中的不同身高的人,都可以进行虹膜识别;同时,可以实现多目标群体行进中识别;还可以实现复杂运动下动态识别;可以实现被动移动中虹膜识别;本发明的技术方案,无需人们静止和人们主动配合,可应用于闸机安检、小区门禁、ETC等场景,无等候,快速验证身份,大大降低通行时间,提高交互体验。
综上所述,与现有技术相比较,本发明提供的由以上本发明提供的技术方案可见,与现有技术相比较,本发明提供了一种行进中虹膜识别装置,其设计科学,基于液体透镜的景深扩展与快速对焦,以及基于二自由度摆镜的视场扩展与身高适应,能够实现行进中动态虹膜的成像与识别,可以对不同身高、不同方位行进中的目标实现虹膜识别,无需人们主动配合,适应性强,交互体验良好,具有重大的实践意义。
此外,通过本发明的应用,有利于解决远距离、不同身高、不同方位及不同速度等复杂情况下的动态虹膜成像问题,避免虹膜识别等待,提高客流通量和交互体验,可持续成像与识别,可实现多人行进中虹膜识别。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种行进中虹膜识别装置,其特征在于,包括二自由度摆镜(1)、虹膜成像模块(2)、光电控制系统(4)和场景感知设备(5)以及装置支架(61);
其中,装置支架(61)垂直分布,且其中上部前侧具有水平分布的承重板(101);
其中,二自由度摆镜(1),包括工业反射镜(11)和二自由度转台(12);
二自由度转台(12)顶部的载物台上,固定设置有工业反射镜(11);
工业反射镜(11)的底部,固定安装所述承重板(101)的顶部;
其中,虹膜成像模块(2),包括成像镜头(21)、转接环(22)、液体透镜(23)和虹膜相机(24);
成像镜头(21)朝下安装;
成像镜头(21)的后侧上下两端,与装置支架(61)的上部前侧固定连接;
成像镜头(21)的顶部,通过转接环(22)与液体透镜(23)的下端相连接;
液体透镜(23)的顶部与虹膜相机相连接;
其中,工业反射镜(11),位于成像镜头(21)的正下方,用于将前方景像,先后反射到成像镜头(21)、转接环(22)、液体透镜(23)和虹膜相机(24)中;
成像镜头(21)、转接环(22)和液体透镜(23),用于先后对所述工业反射镜(11)反射的前方景像进行变焦处理,然后提供给虹膜相机(24);
虹膜相机(24),用于获取前方景象中的虹膜图像;
其中,场景感知设备(5),安装在成像镜头(21)的前侧下端,用于获取前方行进中的目标的当前姿态信息,然后发送给光电控制系统(4);
其中,光电控制系统(4),安装在装置支架(61)的下部,与场景感知设备(5)相连接,用于根据所述场景感知设备(5)发来的目标的当前姿态信息,预测目标在预设时长Δt后的未来姿态信息,然后根据目标的未来姿态信息,对应控制二自由度转台(12)的转动角度和液体透镜(23)的工作电流;
其中,目标的当前姿态信息和未来姿态信息,均包括:目标速度、目标时空坐标、目标距离和目标角度,所述的目标角度包括目标方位角和目标俯仰角。
2.如权利要求1所述的行进中虹膜识别装置,其特征在于,还包括近红外光源(3),安装在装置支架(61)的下部前侧,用于为前方的低曝光环境进行补光;
光电控制系统(4),与近红外光源(3)相连接,还用于根据预测的目标在预设时长Δt后的未来姿态信息中的目标距离,以及预先存储的不同目标距离与不同近红外光源亮度值之间的对应关系,对应控制位于所述装置支架(61)下部前侧的近红外光源(3)的亮度。
3.如权利要求1所述的行进中虹膜识别装置,其特征在于,光电控制系统(4),还与虹膜相机(24)相连接,用于读取虹膜相机(24)所获取的前方景象中的虹膜图像,然后首先基于模糊去除算法对虹膜图像进行去模糊,接着基于去模糊序列图像进行复原,最终获得清晰的虹膜图像。
4.如权利要求1所述的行进中虹膜识别装置,其特征在于,成像镜头(21)的后侧上下两端,分别通过一个第一弓形件(62),与装置支架(61)的上部前侧固定连接;
场景感知设备(5),通过一个第二弓形件(63),安装在装置支架(61)的上部前侧。
5.如权利要求1所述的行进中虹膜识别装置,其特征在于,成像镜头(21)是近红外变焦镜头;
液体透镜(23)为电湿润液体透镜。
6.如权利要求1所述的行进中虹膜识别装置,其特征在于,光电控制系统(4)包括以下子系统:
主控制模块,与场景感知设备(5)相连接,用于根据所述场景感知设备(5)发来的目标的当前姿态信息,预测目标在预设时长Δt后的未来姿态信息,然后根据目标的未来姿态信息,通过坐标转换,获得二自由度转台(12)在水平方向和竖直方向需要转动的角度,然后发送角度转动指令给二自由度摆镜控制子系统;
二自由度摆镜控制子系统,分别与主控制模块和二自由度转台(12)相连接,用于接收主控制模块发出的角度转动指令,对应控制二自由度转台(12)运动到指定位置;
液体透镜控制子系统,分别与主控制模块和液体透镜相连接,用于根据目标的未来姿态信息中的距离信息、通过预先存储的透镜工作电流与目标距离之间的一一对应关系,确定对应的透镜工作电流,然后对应控制液体透镜工作电流的改变。
7.如权利要求6所述的行进中虹膜识别装置,其特征在于,当成像镜头(21)是变焦镜头时,光电控制系统(4)还根据预测的目标的未来姿态信息,根据对应控制变焦镜头中的电机位置;
光电控制系统(4),还包括变焦镜头控制子系统,分别与主控制模块和成像镜头(21)相连接,用于根据目标的未来姿态信息中的目标距离、通过预先存储的成像镜头(21)的变焦电机和调焦电机的位置与目标距离之间的一一对应关系,确定成像镜头(21)中的变焦电机和调焦电机的位置,然后对应调整成像镜头(21),实现控制成像镜头(21)的变焦电机和调焦电机的位置。
8.如权利要求6所述的行进中虹膜识别装置,其特征在于,当还包括近红外光源(3)时,光电控制系统(4)还包括以下的子系统:
光源控制子系统,与主控制模块相连接,用于根据目标的未来姿态信息中的距离信息,通过预先存储的光源积分时间、工作状态与目标距离之间的一一对应关系,确定光源积分时间,然后对应调整近红外光源(3)的工作状态和光源积分时间。
9.如权利要求1所述的行进中虹膜识别装置,其特征在于,二自由度转台(12)包括竖直电机(121)和水平电机(131);
竖直电机(121)安装在承重板(101)的顶部;
竖直电机(121)顶部的电机转动台,通过螺丝固定连接有竖直运动转接件(122);
竖直运动转接件(122)的顶部左右两端,分别固定连接有一个水平电机支撑板(132);
每个水平电机支撑板(132)内,开孔安装有一个滚动轴承(134);
两个水平电机支撑板(132)的外侧,分别具有一个垂直分布的载物支撑板(152);
两个水平电机支撑板(132)之间,具有一个水平电机(131);
水平电机(131)的左右两端,分别安装有一个水平运动转接件(133);
每个水平运动转接件(133)上具有螺纹的外侧端,穿过相邻的水平电机支撑板(132)内的滚动轴承(134)的内圈以及载物支撑板(152)上预留的通孔后,与载物固定件(151)螺纹固定连接;
两个载物支撑板(152)的顶部,固定连接载物台(153)的底部左右两端;
载物台(153)的顶部中部,固定连接有工业反射镜(11);
其中,每个水平电机支撑板(132)的左右外侧的前后两端,分别安装有一个水平运动限位柱(162);
承重板(101)的顶部,在竖直电机(121)的前后两端,分别安装有一个竖直运动限位柱(161);
每个竖直运动限位柱(161)的顶部具有向所述竖直电机(121)方向弯折的限位块(1610);
限位块(1610),位于竖直运动转接件(122)的正上方。
10.如权利要求1所述的行进中虹膜识别装置,其特征在于,目标的当前姿态信息,具体包括以下信息:
目标速度v0;
目标时空坐标(t0,x0,y0,z0),是在场景感知设备坐标系下的三维坐标,在场景感知设备坐标系中,t为时间轴,z为正方向远离设备的深度轴,y为高度轴,x为方位轴;
目标方位角α0为:坐标原点O与点M在xOz平面上的投影M′xz的连线OM′xz和z轴之间的夹角,α0=arctan(x0/z0);
其中,点M为目标的脸部中心点;
对于预测的预设时长Δt时间后的未来姿态信息,具体包括以下信息:
目标的未来姿态信息中的目标速度,等于目标的当前姿态信息中的目标速度;
目标的未来姿态信息中的目标MΔt时空坐标为(t0+Δt,xΔt,yΔt,zΔt),则
其中,Δs为在预设时长Δt内点M移动的距离;
目标的未来姿态信息中目标方位角αΔt=α0;
目标的未来姿态信息中的目标俯仰角βΔt=arcsin(y0/sΔt)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011130140.2A CN112380912B (zh) | 2020-10-21 | 2020-10-21 | 一种行进中虹膜识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011130140.2A CN112380912B (zh) | 2020-10-21 | 2020-10-21 | 一种行进中虹膜识别装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112380912A CN112380912A (zh) | 2021-02-19 |
CN112380912B true CN112380912B (zh) | 2023-05-02 |
Family
ID=74580356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011130140.2A Active CN112380912B (zh) | 2020-10-21 | 2020-10-21 | 一种行进中虹膜识别装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112380912B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002033963A1 (fr) * | 2000-10-16 | 2002-04-25 | Matsushita Electric Industrial Co., Ltd. | Dispositif d"imagerie irienne |
JP2003323607A (ja) * | 2002-04-30 | 2003-11-14 | Matsushita Electric Ind Co Ltd | 虹彩撮像装置 |
CN101770573A (zh) * | 2010-01-14 | 2010-07-07 | 沈洪泉 | 用于虹膜识别的自动聚焦虹膜图像成像装置及其控制方法 |
CN203734738U (zh) * | 2014-02-28 | 2014-07-23 | 北京中科虹霸科技有限公司 | 一种用于移动终端的虹膜识别摄像头模组 |
CN108154126A (zh) * | 2017-12-27 | 2018-06-12 | 中国科学院深圳先进技术研究院 | 虹膜成像系统及方法 |
CN108334874A (zh) * | 2018-04-04 | 2018-07-27 | 北京天目智联科技有限公司 | 一种3d四维虹膜图像数据识别设备 |
CN109394170A (zh) * | 2018-10-18 | 2019-03-01 | 天目爱视(北京)科技有限公司 | 一种无反光的虹膜信息测量系统 |
CN109887040A (zh) * | 2019-02-18 | 2019-06-14 | 北京航空航天大学 | 面向视频监控的运动目标主动感知方法及系统 |
CN209103318U (zh) * | 2018-10-18 | 2019-07-12 | 天目爱视(北京)科技有限公司 | 一种基于光照的虹膜形貌测量系统 |
CN111197967A (zh) * | 2020-01-13 | 2020-05-26 | 苏州大学 | 一种基于液体透镜的中心偏差测量装置及方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8121356B2 (en) * | 2006-09-15 | 2012-02-21 | Identix Incorporated | Long distance multimodal biometric system and method |
US11083537B2 (en) * | 2017-04-24 | 2021-08-10 | Alcon Inc. | Stereoscopic camera with fluorescence visualization |
-
2020
- 2020-10-21 CN CN202011130140.2A patent/CN112380912B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002033963A1 (fr) * | 2000-10-16 | 2002-04-25 | Matsushita Electric Industrial Co., Ltd. | Dispositif d"imagerie irienne |
JP2003323607A (ja) * | 2002-04-30 | 2003-11-14 | Matsushita Electric Ind Co Ltd | 虹彩撮像装置 |
CN101770573A (zh) * | 2010-01-14 | 2010-07-07 | 沈洪泉 | 用于虹膜识别的自动聚焦虹膜图像成像装置及其控制方法 |
CN203734738U (zh) * | 2014-02-28 | 2014-07-23 | 北京中科虹霸科技有限公司 | 一种用于移动终端的虹膜识别摄像头模组 |
CN108154126A (zh) * | 2017-12-27 | 2018-06-12 | 中国科学院深圳先进技术研究院 | 虹膜成像系统及方法 |
CN108334874A (zh) * | 2018-04-04 | 2018-07-27 | 北京天目智联科技有限公司 | 一种3d四维虹膜图像数据识别设备 |
CN109394170A (zh) * | 2018-10-18 | 2019-03-01 | 天目爱视(北京)科技有限公司 | 一种无反光的虹膜信息测量系统 |
CN209103318U (zh) * | 2018-10-18 | 2019-07-12 | 天目爱视(北京)科技有限公司 | 一种基于光照的虹膜形貌测量系统 |
CN109887040A (zh) * | 2019-02-18 | 2019-06-14 | 北京航空航天大学 | 面向视频监控的运动目标主动感知方法及系统 |
CN111197967A (zh) * | 2020-01-13 | 2020-05-26 | 苏州大学 | 一种基于液体透镜的中心偏差测量装置及方法 |
Non-Patent Citations (4)
Title |
---|
"人眼虹膜图像采集跟瞄系统设计";鲁宇;《中国优秀硕士论文电子期刊网 信息科技辑》;20140115(第01期);全文 * |
三维激光雷达共光路液体透镜变焦光学系统设计;李晶等;《红外与激光工程》;20190425(第04期);全文 * |
基于双目视觉和旋转云台的远距离虹膜识别系统;董文博等;《科技导报》;20100313(第05期);全文 * |
非负矩阵分解在空间目标图像识别中的应用;孙静静等;《激光与光电子学进展》;20181227(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112380912A (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110132226B (zh) | 一种无人机巡线的距离及方位角测量系统和方法 | |
CN104079868B (zh) | 一种单视点视频监控的激光辅助测距装置和方法 | |
EP1333667A1 (en) | Iris imaging apparatus | |
CN108072877A (zh) | 光学装置 | |
WO2006050430A2 (en) | Optical tracking system using variable focal length lens | |
CN106896343B (zh) | 一种伺服随动机器视觉装置及动态跟踪测距方法 | |
CN105242689B (zh) | 一种基于光学反射的云台跟踪视觉系统 | |
CN109451233B (zh) | 一种采集高清晰度面部图像的装置 | |
US20040190758A1 (en) | Authentication object image pick-up device and method thereof | |
US10623618B2 (en) | Imaging device, display system, and imaging system | |
TW201513660A (zh) | 具有雙鏡頭之影像擷取系統 | |
CN109655812B (zh) | 基于mems微振镜的固态激光雷达装调方法 | |
WO2020207185A1 (zh) | 基于三维光场技术的光学无人机监测系统 | |
Hu et al. | A dual-camera-based ultrafast tracking system for simultaneous multi-target zooming | |
CN105100577A (zh) | 一种图像处理方法及装置 | |
CN103813102A (zh) | 一种用于细节成像的车载可变焦全景监控系统 | |
JP2011109630A (ja) | カメラ装置用雲台 | |
CN112380912B (zh) | 一种行进中虹膜识别装置 | |
CN109541626B (zh) | 目标平面法向量检测装置及检测方法 | |
Li et al. | A cooperative camera surveillance method based on the principle of coarse-fine coupling boresight adjustment | |
US20140354800A1 (en) | Detection system and detection method | |
TW201838400A (zh) | 一種移動目標位置追蹤系統 | |
CN115337581A (zh) | 一种基于多目视觉消防系统的消防灭火方法 | |
EP4071578A1 (en) | Light source control method for vision machine, and vision machine | |
CN110622064A (zh) | 控制方法、控制装置、成像系统、飞行器和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 300457 unit 1001, block 1, msd-g1, TEDA, No.57, 2nd Street, Binhai New Area Economic and Technological Development Zone, Tianjin Patentee after: Tianjin Zhongke intelligent identification Co.,Ltd. Address before: 300457 unit msd-g1-1001, TEDA, No.57, 2nd Street, Tianjin Economic and Technological Development Zone, Binhai New Area, Tianjin Patentee before: TIANJIN ZHONGKE INTELLIGENT IDENTIFICATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd. |
|
CP03 | Change of name, title or address |