CN110543871B - 基于点云的3d比对测量方法 - Google Patents

基于点云的3d比对测量方法 Download PDF

Info

Publication number
CN110543871B
CN110543871B CN201910862183.0A CN201910862183A CN110543871B CN 110543871 B CN110543871 B CN 110543871B CN 201910862183 A CN201910862183 A CN 201910862183A CN 110543871 B CN110543871 B CN 110543871B
Authority
CN
China
Prior art keywords
point cloud
model
sample
target
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910862183.0A
Other languages
English (en)
Other versions
CN110543871A (zh
Inventor
左忠斌
左达宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianmu Aishi Beijing Technology Co Ltd
Original Assignee
Tianmu Aishi Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianmu Aishi Beijing Technology Co Ltd filed Critical Tianmu Aishi Beijing Technology Co Ltd
Priority to CN201910862183.0A priority Critical patent/CN110543871B/zh
Publication of CN110543871A publication Critical patent/CN110543871A/zh
Application granted granted Critical
Publication of CN110543871B publication Critical patent/CN110543871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明提供了一种基于点云的3D比对测量方法,包括:获取第一目标的不同角度的多幅图像信息;根据所述多幅图像信息构建所述第一目标的第一点云3D模型;将所述第一点云3D模型与预存在第一样本数据库中绑定有身份信息的点云3D模型样本一一对比,找到与所述第一点云3D模型相匹配的点云3D模型样本,测量第一点云3D模型与点云3D模型样本之间的几何差距;所述多幅图像中三个图像至少均存在表示目标物同一区域的部分;所述点云为稀疏点云或密集点云。提出用目标物稀疏或密集点云与样本进行测量/比对提高测量/比对的速度。同时创造性地提出了图片质量对于3D测量/比对精度和速度会造成影响。并利用优化相邻拍摄图片的关系的手段,保证获取的图片合成精度高。

Description

基于点云的3D比对测量方法
技术领域
本发明涉及测量技术领域,特别是一种基于点云的3D比对测量方法。
背景技术
目前,在进行目标物的3D测量时,通常获得目标物点云数据后,利用标定尺寸进行计算,但在一些情况下不仅仅需要目标物的3D尺寸,还需要测量目标物每个区域与标准目标物之间的尺寸差距。而且这种情况与通常的3D尺寸测量不同,通常用在测量精度要求较高的场合,但是如果将目标物3D模型全部合成后再进行测量会极大的影响测量的速度。
现有也有一些为了提高速度对目标物与标准目标物几何尺寸差距进行测量的方法,包括采用二维图像的方法等,然而这些方法测量精度难以达到实际要求。
另外,如何保证快速、高质量的3D测量和合成,本领域技术人员通常是从测量步骤和合成算法优化方向寻求解决方案。并没有意识到采集图像的质量也会影响目标物3D合成的质量,从而影响3D测量和比对的精度和速度,更没有提出解决方案。
特别是在一些情况下,目标物不是一个,而是多个区域,此时用现有技术(例如单相机围绕目标物转动)拍摄的图像难以符合3D测量/合成快速、准确的要求。
现有技术中也存在使用多个相机同时拍照,在拍摄前严格标定各个相机位置、光学参数从而提高图片质量的方法,但这种方法前期准备时间较长,且体积庞大,在例如门禁系统中并不适用。
然而,与标准物的差距测量是3D比对的基础,上述差距测量准确,才能够准确判断两个3D模型是否表征同一目标物。而现有技术中难以在保证精度的情况下快速完成测量,也就无法获得快速准确地完成比对。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于点云的3D比对测量方法。
本发明提供了一种基于点云的3D比对测量方法,包括:
获取第一目标的不同角度的多幅图像信息;根据所述多幅图像信息构建所述第一目标的第一点云3D模型;
将所述第一点云3D模型与预存在第一样本数据库中绑定有身份信息的点云3D模型样本一一对比,找到与所述第一点云3D模型相匹配的点云3D模型样本,测量第一点云3D模型与点云3D模型样本之间的几何差距;
所述不同角度的多幅图像的拍摄位置为矩阵结构,矩阵结构是由采集多个图像时图像采集装置的位置决定的,相邻三个位置满足如下条件:
相机在位置W1拍摄图片P1,移动至位置W2后拍摄图片P2,继续移动相机至W3位置,拍摄图片P3,比较图片P1、图片P2和图片P3中是否有表示目标物同一区域的部分,即P1∩P2∩P3非空,且利用多张图片合成3D时符合3D信息采集和测量要求,则相机位置W1、W2、W3即为符合条件。
所述点云为稀疏点云或密集点云。
可选的,包括:将与所述第一稀疏点云3D模型相匹配的稀疏点云3D模型样本对应的身份信息作为比对结果输出。
可选的,
构建所述第一目标的生物特征的第一密集点云3D模型;
若所述比对结果为多个身份信息,则:
将所述第一密集点云3D模型与预存在第二样本数据库中与所述比对结果对应的密集点云3D模型样本一一对比,找到与所述第一密集点云3D模型相匹配的密集点云3D模型样本,以完成深度比对;
将与所述第一密集点云3D模型相匹配的密集点云3D模型样本对应的身份信息作为最终结果输出。
可选的,所述第一样本数据库中的稀疏点云3D模型样本由以下步骤获得:
获取目标样本的不同角度的多幅图像信息;
根据多幅图像信息构建所述目标样本的生物特征的稀疏点云3D模型样本;
将所述目标样本的身份信息作为识别标志绑定至所述稀疏点云3D模型样本,存储形成所述第一样本数据库。
可选的,所述第二样本数据库中的密集点云3D模型样本由以下步骤获得:
根据所述稀疏点云3D模型样本,构建所述目标样本的生物特征的密集点云3D模型样本;
将所述目标样本的身份信息作为识别标志绑定至所述密集点云3D模型样本,存储形成所述第二样本数据库。
可选的,所述比对包括比对3D模型各个点的三维坐标、或灰度值、或某个点与邻近点的关系。
可选的,采用天目点云比对识别法进行所述初步比对或所述深度比对,所述天目点云比对识别法包括:
特征点拟合;
曲面整体最佳拟合;
相似度计算。
可选的,所述天目点云比对识别法包括如下具体步骤:
采用基于空域直接匹配的方法进行特征点拟合,在两个点云的对应的刚性区域,选取三个及以上特征点作为拟合关键点,通过坐标变换,直接进行特征点对应匹配;
特征点对应匹配后,整体曲面最佳拟合后的点云的数据对齐;
采用最小二乘法进行相似度计算。
可选的,获取不同角度的多幅图像信息通过如下方式:
利用图像采集装置绕某一中心轴转动;
或,利用一个或多个图像采集装置分别与目标物的多个区域相对运动;
或,图像采集装置在与目标物相对运动过程中进行自动对焦或变焦;
或,图像采集装置在绕目标物转动过程中沿光轴方向平移。
本发明的发明点及技术效果
1、提出用目标物稀疏点云或密集点云与样本进行测量/比对的方式提高测量/比对的速度。同时创造性地提出了图片质量对于3D测量/比对精度和速度会造成影响。并利用优化相邻拍摄图片的关系的手段,保证获取的图片合成精度高。
2、提出用先用目标物稀疏点云与样本进行测量/比对、后用目标物密集点云与样本进行测量/比对的方式分步骤进行测量/比对,使得在一些情况下,稀疏点云比对手段即可完成较为准确的测量/比对,而无需直接进入密集点云的比对,进一步提高测量/比对准确度和速度。
3、通过对采集图片时相机位置进行限定(优化了相机位置的经验公式),保证了图片参数更适宜稀疏点云或密集点云与样本进行测量/比对,提高了精度。
4、通过利用相机在拍摄物体的过程中进行自适应自动焦距适应(自适应移动相机距离目标物的距离或测距实现高速自动对焦),提高图片质量,从而提高3D测量、比对速度和精度。而现有技术中只在拍摄开始前进行一次对焦,后续由于相机或物体运动、或目标物不同区域凹凸不同而导致跑焦的问题无法解决,重新手动对焦会导致拍摄时间过长,或拍摄准备时间过长,从而影响3D测量/比对。
5、提出利用相机单轴自旋转来减小由于复杂轨道或移动机构带来的体积增大、可靠性降低的问题,适用于更多应用场合中。
6、现有技术对于合成效果的提升主要通过硬件升级和严格标定,现有技术中没有任何启示能够通过化相机拍照时的角度位置来保证3D合成的效果和稳定性,更没有具体优化的条件。本发明首次提出了优化相机拍照时的角度位置来保证3D合成的效果和稳定性,并且通过反复试验,提出了相机位置需要满足的最佳经验条件,大大提高了3D合成的效果和合成图像稳定性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例的一种基于点云的3D比对测量方法的流程示意图;
图2为本发明实施例的一种优选的基于点云的3D比对测量方法的流程示意图;
图3位本发明实施例中的多幅图像按照采集位置的要求采集到图像的示意图;
图4为本发明另一实施例的一种快速身份识别系统的示意图;
图5为本发明另一实施例的一种优选的快速身份识别系统的示意图。
附图标记:
1 图像获取装置,
2 稀疏点云3D模型构建装置,
3 初步识别装置,
4 初步结果输出装置,
5 密集点云3D模型构建装置,
6 深度识别装置,
7 深度结果输出装置。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明一实施例提供了一种基于点云的3D比对测量方法,包括以下步骤,如图1所示:
步骤S101,依据预设规则布置多台相机组成的相机组,获取第一目标的不同角度的多幅图像信息;
具体的,根据预设规则布置多台相机组成的相机组,为根据第一目标采集对象的不同,布置不同位置和数量的相机,第一目标可以为人的脸部、头部、耳部、手部、指部或虹膜中的一种,或根据具体场景设定的识别的具体要求来选取多种组合。
例如,当第一目标为人的脸部时,可采用弧形承载结构来布置各台相机,弧形承载结构设置在面对脸部预定距离的位置,在弧形承载结构上安装若干台相机,每台相机根据采集的脸部图像角度的要求设置安装位置,以便最终每台相机采集的图像,能够合成构建出脸部3D数据。
步骤S102,根据多幅图像信息构建第一目标的生物特征的第一稀疏点云3D模型;
具体的,构建第一稀疏点云3D模型,可以采用以下步骤,如图2所示:
步骤S1021,对多幅图像进行处理,提取多幅图像中各自的特征点;
步骤S1022,基于提取的多幅图像中各自的特征点,生成生物特征的特征点云数据;
步骤S1023,根据特征点云数据构建针对第一目标的第一稀疏点云3D模型。
步骤S103,将第一稀疏点云3D模型与预存在第一样本数据库中绑定有身份信息的稀疏点云3D模型样本一一对比,找到与第一稀疏点云3D模型相匹配的稀疏点云3D模型样本,以完成初步比对;
具体的,每个稀疏点云3D模型包含有5000个左右的特征点,能满足一般识别精度要求的应用场合。
第一样本数据库中预先存储有绑定有不同人身份信息的稀疏点云3D模型样本数据,所有样本数据可以为首次注册或登记时采集,例如可以是银行或其他机构使用设备预先获取存储的,也可以是公安部派出所等人口管理官方部门在办理身份证时进行登记和采集处理存储的。
第一样本数据库中预先存储有绑定有不同人身份信息的稀疏点云3D模型样本数据可以采用与身份识别设备同一台设备采集,也可以采用与身份识别设备不同的设备采集。
步骤S104,将与第一稀疏点云3D模型相匹配的稀疏点云3D模型样本对应的身份信息作为比对结果输出。
具体的,可以直接输出找到的匹配的3D模型样本对应的身份信息,如人的姓名、年龄、籍贯、及犯罪记录信息等信息,可以满足对识别精度要求较高环境的应用。
通过上述快速身份识别方法达到了在不需要任何身份证件的条件下,通过当时获取的第一目标的生物特征信息,就能识别出第一目标的身份信息的目的。这种根据点云3D模型数据来自动判断目标身份的方法,避免了由于人工判断所带来的误差,无需办理证件,也不存在伪造证件的情况,能快速准确的识别出目标的身份,能够实现以公开的信息证明身份的效果。
上文步骤S1022中基于提取的多幅图像中各自的特征点,生成生物特征的特征点云数据,具体可以是包括以下步骤S201至步骤S203。
步骤S201,根据提取的多幅图像中各自的特征点的特征,进行特征点的匹配,建立匹配的特征点数据集。
步骤S202,根据多台相机的光学信息,计算各台相机相对于第一目标特征在空间上的相对位置,并根据相对位置计算出多幅图像中的特征点的空间深度信息。
步骤S203,根据匹配的特征点数据集和特征点的空间深度信息,生成第一目标生物特征的特征点云数据。
在上面的步骤S201中,多幅图像中各自的特征点的特征可以采用SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)特征描述子来描述。SIFT特征描述子具有128个特征描述向量,可以在方向和尺度上描述任何特征点的128个方面的特征,显著提高对特征描述的精度,同时特征描述子具有空间上的独立性。
在步骤S202中,根据多台相机的光学信息,计算各台相机相对于第一目标的特征在空间上的相对位置,具体的,可以根据多台相机的光学信息,采用光束平差法计算各台相机相对于第一目标特征在空间上的相对位置。
在光束平差法的定义中,假设有一个3D空间中的点,它被位于不同位置的多个相机看到,那么光束平差法就是能够从这些多视角信息中提取出3D点的坐标以及各个相机的相对位置和光学信息的过程。
进一步地,步骤S202中提及的多幅图像中的特征点的空间深度信息可以包括:空间位置信息和颜色信息,即,可以是特征点在空间位置的X轴坐标、特征点在空间位置的Y轴坐标、特征点在空间位置的Z轴坐标、特征点的颜色信息的R通道的值、特征点的颜色信息的G通道的值、特征点的颜色信息的B通道的值、特征点的颜色信息的Alpha通道的值等等。这样,生成的特征点云数据中包含了特征点的空间位置信息和颜色信息,特征点云数据的格式可以如下所示:
X1 Y1 Z1 R1 G1 B1 A1
X2 Y2 Z2 R2 G2 B2 A2
……
Xn Yn Zn Rn Gn Bn An
其中,Xn表示特征点在空间位置的X轴坐标;Yn表示特征点在空间位置的Y轴坐标;Zn表示特征点在空间位置的Z轴坐标;Rn表示特征点的颜色信息的R通道的值;Gn表示特征点的颜色信息的G通道的值;Bn表示特征点的颜色信息的B通道的值;An表示特征点的颜色信息的Alpha通道的值。
根据多个图像匹配的特征点数据集和特征点的空间深度信息,生成目标物特征的特征点云数据。
根据特征点云数据构建目标物3D模型,以实现目标物点云数据的采集。
将采集到的目标物颜色、纹理附加在点云数据上,形成目标物3D图像。
其中,可以利用一组图像中的所有图像合成3D图像,也可以从其中选择质量较高的图像进行合成。
上述拼接方法只是有限举例,并不限于此,所有根据多幅多角度二维图像生成三维图像的方法均可以使用。
在本发明实施例中,在样本数据库中预存绑定有身份信息的稀疏点云3D模型样本数据,采集构建待识别第一目标的当前的稀疏点云3D模型,调用样本数据库中的样本数据,将采集的当前稀疏点云3D模型数据与样本数据进行一一对比,识别出相匹配的样本数据,即识别出该样本数据对应的身份信息,即识别出了当前第一目标的身份信息。
另外,需要说明的是,通过上述步骤101至步骤104获取的当前第一目标的稀疏点云3D模型数据,获取的时间信息及比对的初步结果都可以进行存储,以便形成该用户的身份识别历史记录,供后续的大数据分析或有关官方部门使用。
可选的,
步骤S301,根据第一稀疏点云3D模型,构建第一目标的生物特征的第一密集点云3D模型;
步骤S302,若比对结果为多个身份信息,则:将第一密集点云3D模型与预存在第二样本数据库中与比对结果对应的密集点云3D模型样本一一对比,找到与第一密集点云3D模型相匹配的密集点云3D模型样本,以完成深度比对;
步骤303,将与第一密集点云3D模型相匹配的密集点云3D模型样本对应的身份信息作为最终结果输出。
也就是说,可以设定匹配规则,经过步骤101至步骤104的初步对比,可以筛选出符合匹配规则的几个身份信息,完成基于海量稀疏点云3D模型数据的初级识别,将比对范围缩小至几个较为相似的身份信息,然后通过深度对比做精确对比,深度比对是基于每个密集点云3D模型包含有200万个以上的特征点,能达到非常高的识别精度。
通过先针对稀疏点云3D模型数据进行初步比对,筛选出较为相似的几个模型样本,再调取相应的密集点云3D模型数据进行深度比对,最后锁定匹配度最高的密集点云3D模型数据,其对应的身份信息就是当前第一目标的身份信息,从而完成了对未知身份的目标人的身份识别。这样,一方面提高了识别速度,另一方面,也提高了识别精度。
初步比对识别和深度比对识别可针对不同等级的安全级别来设计使用。
具体的,第二样本数据库中预先存储有绑定有不同人身份信息的密集点云3D模型样本数据,所有样本数据同样可以为首次注册或登记时采集,例如可以是银行或其他机构使用设备预先获取存储的,也可以是公安部派出所等人口管理官方部门在办理身份证时进行登记和采集处理存储的。
第二样本数据库中预先存储有绑定有不同人身份信息的密集点云3D模型样本数据可以采用与身份识别设备同一台设备采集,也可以采用与身份识别设备不同的设备采集。
第一样本数据库和第二样本数据库可以存储在本地设备,也可以存储在云端服务器。
可选的,第一样本数据库中的稀疏点云3D模型样本由以下步骤获得:
依据预设规则布置多台相机组成的相机组,获取目标样本的不同角度的多幅图像信息;
根据多幅图像信息构建目标样本的生物特征的稀疏点云3D模型样本;
将目标样本的身份信息作为识别标志绑定至稀疏点云3D模型样本,存储形成第一样本数据库。
可选的,第二样本数据库中的密集点云3D模型样本由以下步骤获得:
根据第一稀疏点云3D模型,构建目标样本的生物特征的密集点云3D模型样本;
将目标样本的身份信息作为识别标志绑定至密集点云3D模型样本,存储形成第二样本数据库。
具体的,第一样本数据库和第二样本数据库可以是存储在同一个存储装置中,也可以是存储在不同的存储装置中。
另外,需要说明的是,此处通过上述步骤构建当前第一目标的密集点云3D模型数据,构建的时间信息及比对的深度结果也可以进行存储,同样可以形成该用户的身份识别历史记录,供后续的大数据分析或有关官方部门使用。
采用与身份识别设备同一台设备时采集第一样本数据库数据时,可选的,步骤101之前,还可以先获取选择命令,若获取到进入注册或登记通道的命令,则执行身份注册的步骤;若获取到进入验证通道的命令,则执行身份验证的步骤。
具体的,可在设备的用户界面上设置选择命令按钮,第一命令按钮可控制设备进入注册或登记通道,执行注册登记的采集、处理和存储;第二命令按钮可控制设备进入身份识别通道,执行身份识别的采集、处理和比对。
可选的,根据多幅图像信息构建第一目标的生物特征的第一稀疏点云3D模型,具体包括,
使用光束平差法,从多幅图像信息中的每幅图像信息中取得最具特征的特征点,合成第一稀疏点云3D模型。
可选的,根据第一稀疏点云3D模型,构建第一目标的生物特征的第一密集点云3D模型,具体包括,
根据第一稀疏点云3D模型,通过CMPS算法合成第一密集点云3D模型。
虽然上述实施例是以人的身份为例进行说明,但可以理解的是,身份是一个宽泛的概念,物体、动植物等有形的事物均存在身份。身份可以是其名称、种类、或人为对其的编号等任何表示其特点的参数。
本发明首次提出在进行3D测量/比对/识别时,采集的原始图片的过程和质量对整个测量/比对/识别过程的速度和精度影响较大。因此,本发明给出了集中优选的图片获取方法。
(1)相机位置的优化
由于目标对象不同、形状凹凸情况不同,为达到较好的合成效果对相机位置进行优化时难以规范表达,因此目前也没有对相机位置进行优化的技术。而为了形成稳定可靠的相机矩阵或通过相机运动形成的虚拟矩阵,经过反复试验,总结经验对矩阵的结构进行优化,给出了相机采集图像的位置需要满足的经验条件:
采集目标物图像时图像采集装置的相邻两个位置至少满足如下条件:
H*(1-cosb)=L*sin2b;
a=m*b;
0<m<1.5;
其中L为图像采集装置到目标物的距离,通常为图像采集装置在第一位置时距离所采集的目标物正对区域的距离。
H为采集到的图像中目标物实际尺寸,所述图像通常为图像采集装置在第一位置时拍摄的图片,该图片中的目标物具有真实的几何尺寸(不是图片中的尺寸),测量该尺寸时沿着第一位置到第二位置的方向测量。例如第一位置和第二位置是水平移动的关系,那么该尺寸沿着目标物的水平横向测量。例如图片中能够显示出的目标物最左端为A,最右端为B,则测量目标物上A到B的直线距离,为H。所述测量方法可以根据图片中A、B距离,结合相机镜头焦距进行实际距离计算,也可以在目标物上标识出A、B,利用其它测量手段直接测量AB直线距离。
a为相邻两个位置图像采集装置光轴夹角。
m为系数。
由于物体大小、凹凸情况各异,无法用严格公式限定a的取值,需要根据经验进行限定。根据大量实验,m的取值在1.5以内即可,但优选可以为0.8以内。具体实验数据参见如下表格:
目标物 M值 合成效果 合成率
人体头部 0.1、0.2、0.3、0.4 非常好 >90%
人体头部 0.4、0.5、0.6 >85%
人体头部 0.7、0.8 比较好 >80%
人体头部 0.9、1.0 一般 >70%
人体头部 1.0、1.1、1.2 一般 >60%
人体头部 1.2、1.3、1.4、1.5 勉强合成 >50%
人体头部 1.6、1.7 难以合成 <40%
在目标物及图像采集装置确定后,根据上述经验公式可以计算出a的值,根据a值即可确定虚拟矩阵的参数,即矩阵点之间的位置关系。
在通常情况下,虚拟矩阵为一维矩阵,例如沿着水平方向排布多个矩阵点(采集位置)。但有些目标物体较大时,需要二维矩阵,那么在垂直方向上相邻的两个位置同样满足上述a值条件。
一些情况下,即使根据上述经验公式,有些场合下也不易确定矩阵参数(a值),此时需要根据实验调整矩阵参数,实验方法如下:根据上述公式计算预测矩阵参数a,并按照矩阵参数控制相机移动至相应的矩阵点,例如相机在位置W1拍摄图片P1,移动至位置W2后拍摄图片P2,此时比较图片P1和图片P2中是否有表示目标物同一区域的部分,即P1∩P2非空(例如同时包含人眼角部分,但照片拍摄角度不同),如果没有则重新调整a值,重新移动至位置W2’,重复上述比较步骤。如果P1∩P2非空,则根据a值(调整或未调整的)继续移动相机至W3位置,拍摄图片P3,再次比较图片P1、图片P2和图片P3中是否有表示目标物同一区域的部分,即P1∩P2∩P3非空。再利用多张图片合成3D,测试3D合成效果,符合3D信息采集和测量要求即可。也就是说,如图3所示,矩阵的结构是由采集多个图像时图像采集装置的位置决定的,相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。
(2)相机拍摄过程的优化
首次注意到并提出对于轮廓不规则的物体,在相机相对运动过程中仅利用单一焦距进行拍照会影响3D合成效果及测量、比对精度。为克服物体不规则轮廓导致的距离相机距离不规则变化导致对焦不准的问题,提出了采用移动相机、重新变焦、自动对焦的解决方案,在3D采集及测量领域首次被提出。并且首次提出在相机移动过程中进行实时对焦。克服了现有技术中一次对焦导致的3D合成效果不佳的问题。同时为了配合实时对焦,相机转动方式进行了优化:在适宜拍照的角度停止等待对焦,拍摄完毕后再进行转动。采用优化的对焦策略,保证了对焦速度,防止由于实时对焦带来的采集速度降低,测量时间延长的问题。这与现有的对焦策略均不相同,现有对焦策略对对焦的实时性要求并不高。
由于相机拍摄照片清晰是要求物体对焦准确,但传统技术中对焦仅在转动开始时进行,那么如果开始对焦的位置,物体正对相机的区域距离相机距离为H,而在转动过程中,物体正对相机的区域距离相机距离为h(x),其中x为相机位置。由于物体轮廓并不是圆形,或者由于相机旋转中心很难完全与物体中心重合,那么h(x)难以完全等于H,这样会造成在转动过程中难以对焦准确,从而造成3D图像无法合成,或是合成有较大误差,导致3D测量不准确。
因此,位移装置可以在图像采集设备的径向上移动图像采集设备,使得图像采集设备可以靠近或远离目标物体,从而保证在整个转动过程中,图像采集设备一直对焦准确,即通过位移装置驱动图像采集装置使得在相对运动过程中图像采集装置与目标物距离保持不变。这样即使对于镜头为定焦镜头的图像采集设备而言,也可以在整个转动过程中保证对焦准确。
还包括测距装置,可以测量图像采集设备到物体的实时距离。测距装置在第一次对焦完成后测量图像采集设备到目标物体的距离H,在转动开始后,测距装置实时测量图像采集设备到物体的实时距离h(x),并将数据H及h(x)传递给处理单元。处理单元100判断h(x)>H,则控制位移装置沿径向向靠近物体的方向移动h(x)-H距离,若判断h(x)<H,则控制位移装置沿径向向远离物体的方向移动H-h(x)距离,若判断h(x)=H,则不动作。
其中测距装置可以为激光测距仪、图像测距仪等各种类型。其可以单独成为一个模块,也可以是图像采集设备的一部分。
其中图像采集设备可以为相机、摄像机、CCD、CMOS,其可根据需要搭配各种镜头,例如红外镜头、可见光镜头、远焦镜头、广角镜头、微距镜头等。
优选的,虽然通过移动图像采集设备可以保持图像采集设备与物体距离不变,但进行移动的步进电机具有最小步距,其影响了图像采集设备移动的分辨率。从而使得无法严格保持图像采集设备与物体距离不变。设备老化导致的移动不准确同样会导致这个问题。因此,为了避免机械结构导致的距离不能保持的问题,可以在图像采集设备转动到每个进行拍摄的位置停止转动,再重新进行自动对焦。
但是由于质量大,移动相机需要更长的时间,导致自适应调整的时间较长,不利于快速采集和测量。在转动过程中,测距装置实时测量相机到物体的距离(物距)h(x),并将测量结果发送给处理单元,处理单元查物距-焦距表,找到对应的焦距值,向相机发出对焦信号,控制相机超声波马达驱动镜头移动进行快速对焦。这样,可以在不调整图像采集设备的位置,也不大幅度调整其镜头焦距的情况下,实现快速对焦,保证图像采集设备拍摄照片清晰。这也是本发明的发明点之一。
综上,利用自适应单元在图像采集装置采集区域与目标物的相对运动过程中根据图像采集装置与目标物的距离对图像采集装置进行调整,使其获得目标物的清晰图像,所述调整可以为驱动图像采集装置使得在上述相对运动过程中图像采集装置与目标物距离不变;也可以为能够在上述相对运动过程中实时变焦的自动变焦或自动对焦。
(3)某些场合的优化
在一些场合下,经常需要采集目标物不同区域的3D信息。例如需要同时采集人面部和虹膜信息。现有技术中也存在利用3D采集设备先进行人脸部3D信息采集,再进行虹膜3D信息采集的方案。然而,目标物不同区域对于3D采集设备的要求是不同的。例如人脸3D采集时,需要采集以头部为轴的180°范围内的信息,而虹膜3D采集只需要采集非常小角度的信息;人脸3D采集时相机通常用可见光相机,而虹膜3D采集则需要用红外相机;人脸3D采集和虹膜3D采集对于镜头景深、镜头类型等要求均不相同。也就是说,由于目标物不同区域的特点不同,单一的3D采集设备如果混用,则会造成采集效果差,甚至无法合成3D图像。
通过第1图像采集装置的采集区域与目标物第1区域相对运动,采集目标物第1区域第1组图像;以此类推,通过第m图像采集装置的采集区域与目标物第n区域相对运动,采集目标物第n区域第n组图像,其中m≥1,n≥2;根据上述每组图像中的多个图像得到目标物对应区域的3D信息。
以人面部和虹膜为例,处理器控制对应的伺服电机,驱动脸部图像采集单元,虹膜图像采集单元沿各自轨道,轨道上运动,使得相机能够围绕人体头部进行180°的转动,从而拍摄人体头部的多张图像;使得相机能够围绕人体眼睛进行90°转动,从而拍摄人体虹膜的多张图像。根据实际3D采集需要,相机还能够围绕人体头部进行任意角度的转动,例如45°、90°、270°、360°。同时根据采集虹膜的需要,可以采集一只眼睛的虹膜信息,也可以采集两只眼睛。如只采集一只眼睛则只需要转动20°左右即可。同时,可以理解,相机需要转动的角度,和目标区域的大小、相机距离目标区域的距离,相机焦距等均有关系。可事先输入限定这些参数,处理器计算后控制对应相机转动角度。另外,也可以根据采集区域的特点,识别出起始点和终止点,在起始点和终止点之间控制相机进行拍照。例如可以识别出眼角位置,在相机画面运动到眼角位置时开始拍照,离开另一眼角位置时停止拍照。除此之外,还可以不控制相机拍照的时机,在轨道起始点即开始拍照,在轨道终点停止拍照。
处理器分别接收相机发送的一组图像,并且分别从图像组中筛选出多个图像。再利用多个图像合成面部3D图像,利用多个图像合成虹膜3D图像。合成方法可以使用根据相邻图像特征点进行图像拼接的方法,也可以使用其它方法。
而在一些场合下,例如门禁系统中,由于本身位置空间有限,对采集/测量/比对装置体积要求较高。基于单目相机的3D图像采集方式中存在结构过于复杂,占用空间大,使用效率低等不足,特别是针对小范围、小深度目标物3D图像采集,现有产品中不存在快捷的采集设备和测量装置。例如现有技术中存在利用单个相机进行3D拍摄的装置,但其需要同时使用旋转装置、轨道(平移装置),特别是需要直线(圆弧曲线)运动的承载平台、轨道等占用空间较大的机械结构,需要将相机设置在空间中较远的两个位置实现图像采集和测量,使得整个装置结构复杂。还有一些使用机器臂承载相机,实现立体空间内的任意角度、任意位置的拍摄。这种设备虽然可采集、测量的范围比较广,但机器臂结构复杂,控制难度较大。而结构和方法的复杂意味着可靠性会在一定程度上降低。并且由于存在直线(曲线)运动装置或机械臂,该装置的控制和移动带来的采集和测量不准确性也是固有的问题。而尺寸较小且深度较小的目标物(例如虹膜)通常要求采集/测量设备体积小、可靠性高、采集速度快,特别是其对采集范围要求较低。目前并没有任何现有技术意识到该类型目标物采集的特殊要求,即没有任何提出该问题的动机,更没有任何针对小范围、小深度3D点云、图像的特定的采集/测量设备和方法。
图像采集装置通过图像采集装置的采集区域与目标物相对运动采集目标物一组图像;采集区域移动装置用于驱动图像采集装置的采集区域与目标物产生相对运动;所述采集区域移动装置为转轴装置,使得图像采集装置沿一中心轴转动;图像采集装置为一相机,所述相机通过固定安装在旋动座上的相机固定架上,旋动座下连接有旋转轴,旋转轴由转轴驱动装置控制转动,转轴驱动装置和相机均连接控制终端,控制终端用于控制转轴驱动装置实施驱动和相机拍摄。此外,旋转轴也可以直接与图像采集装置固定连接,带动相机旋转。
旋转中心轴可以位于图像采集装置下方,旋转轴与图像采集装置直接连接,此时中心轴与图像采集装置相交;中心轴位于图像采集装置的相机的镜头一侧,此时,相机绕中心轴旋转并进行拍摄,旋转轴与旋动座之间设置了旋转连接臂;中心轴位于图像采集装置的相机的镜头反向的一侧,此时,相机绕中心轴旋转并进行拍摄,旋转轴与旋动座之间设置了旋转连接臂,且可以根据需要将连接臂设置为具有向上或向下弯曲的结构;中心轴位于图像采集装置的相机的镜头反向的一侧,且中心轴为水平设置,该设置使得相机可以在垂直方向进行角度变换,可适应于垂直方向具有特定特征的目标物拍摄,其中转轴驱动装置驱动旋转轴转动,带动摆动连接臂上下运动;转轴驱动装置还包括升降装置和用于控制升降装置运动的升降驱动装置,升降驱动装置与控制终端连接,增加了3D信息获取装置的拍摄区域范围。
除上述方法外,图所述采集区域移动装置为光学扫描装置,使得图像采集装置不移动或转动的情况下,图像采集装置的采集区域与目标物产生相对运动。所述采集区域移动装置还包括光线偏转单元,可选地,光线偏转单元由光线偏转驱动单元驱动,图像采集装置为一相机,所述相机固定安装,其物理位置不发生变化,即不移动也不转动,通过光线偏转单元使得相机的采集区域发生一定的变化,以实现目标物与采集区域发生变化,该过程中,光线偏转单元能够被光线偏转驱动单元驱动使得不同方向的光线进入图像采集装置。光线偏转驱动单元可以为控制光线偏转单元直线运动或转动的驱动装置。光线偏转驱动单元和相机均连接控制终端,控制终端用于控制转轴驱动装置实施驱动和相机拍摄。
可选的,采用天目点云比对识别法进行初步比对或深度比对,天目点云比对识别法包括:
S301.特征点拟合;
S302.曲面整体最佳拟合;
S303.相似度计算。
可选的,天目点云比对识别法包括如下具体步骤:
采用基于空域直接匹配的方法进行特征点拟合,在两个点云的对应的刚性区域,选取三个及以上特征点作为拟合关键点,通过坐标变换,直接进行特征点对应匹配;
特征点对应匹配后,整体曲面最佳拟合后的点云的数据对齐;
采用最小二乘法进行相似度计算。
天目点云比对识别法(Yare Eyes point cloud match recognition method)识别过程和工作原理如下:首先,在某一时刻的点云是组成四维模型的基本元素,它包含空间坐标信息(XYZ)和颜色信息(RGB)。点云的属性包括空间分辨率,点位精度,表面法向量等。它的特征不受外界条件的影响,对于平移和旋转都不会发生改变。逆向软件能够进行点云的编辑和处理,如:imageware、geomagic、catia、copycad和rapidform等。
天目点云比对识别法特有的基于空域直接匹配的方法包括:迭代最近点法ICP(Iterative closest point),ICP方法通常分为两步,第一步特征点拟合,第二步曲面整体最佳拟合。先拟合对齐特征点的目的是为了最短时间找到并对齐要比对拟合的两个点云。但不限于此。例如可以是:
第一步,在两个点云的对应的刚性区域,选取三个及以上特征点作为拟合关键点,通过坐标变换,直接进行特征点对应匹配。
ICP用于曲线或曲面片段的配准,是3D数据重构过程中一个非常有效的工具,在某一时刻给定两个3D模型粗略的初始对齐条件,ICP迭代地寻求两者之间的刚性变换以最小化对齐误差,实现两者的空间几何关系的配准。
给定集合
Figure BDA0002200128150000161
Figure BDA0002200128150000162
集合元素表示两个模型表面的坐标点,ICP配准技术迭代求解距离最近的对应点、建立变换矩阵,并对其中一个实施变换,直到达到某个收敛条件,迭代停止.其编码如下:
1.1ICP算法
输入.P1,P2.
输出.经变换后的P2
P2(0)=P2,l=0;
Do
For P2(l)中的每一个点
Figure BDA0002200128150000171
在P1中找一个最近的点yi
End For
计算
Figure BDA0002200128150000172
配准误差E;
If E大于某一阈值
计算P2(l)与Y(l)之间的变换矩阵T(l);
P2(l+1)=T(l)·P2(l),l=l+1;
Else
停止;
End If
While||P2(l+l)-P2(l)||>threshold;
其中配准误差
Figure BDA0002200128150000173
1.2基于局部特征点的匹配:
以人面部信息识别为例,人脸模型主要分为刚性模型部分和塑性模型部分,塑性变形影响对齐的准确性,进而影响相似度。塑性模型第一次第二次采集数据会有局部差异,一种解决途径是只在刚性区域选取特征点,特征点是从一个对象中提取的、在一定条件下保持稳定不变的属性,采用迭代最近点法ICP对特征点进行拟合对齐。
对特征点的要求:
1)完备性.蕴含尽可能多的对象信息,使之区别于其他类别的对象;
2)紧凑性.表达所需的数据量尽可能少;
3)特征最好能在模型旋转、平移、镜像变换下保持不变。
在3D生物特征识别中,采用对齐两个3D生物特征模型点云,计算输入模型的相似度,其中配准误差作为差别度量。
第二步:特征点最佳拟合后,整体曲面最佳拟合后的点云的数据对齐。
第三步,相似度计算。
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法也可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵,用最小二乘法来表达。常用于解决曲线拟合问题,进而解决曲面的完全拟合。通过迭代算法能够加快数据收敛,快速求得最优解。
如果在某一时刻的3D数据模型是以STL文件格式输入的,则通过计算点云与三角片的距离来确定其偏差。因此,该方法需要对每个三角面片建立平面方程,其偏差为点到平面的距离。而对于在某一时刻的3D数据模型为IGES或STEP模型,由于自由曲面表达形式为NURBS面,所以点到面的距离计算需要用到数值优化的方法进行计算。通过迭代计算点云中各点至NURBS曲面的最小距离来表达偏差,或将NURBS曲面进行指定尺度离散,用点与点的距离近似表达点偏差,或将其转换为STL格式进行偏差计算。不同的坐标对齐及偏差计算方法,获得的检测结果也不同。对齐误差的大小将直接影响检测精度及评估报告的可信度。
最佳拟合对齐是检测偏差平均到整体,以保证整体偏差最小为条件来终止迭代计算的对齐过程,对配准结果进行3D分析,生成结果对象以两个图形间误差的均方根的形式输出,均方根越大,反映两个模型在该处的差异越大。反之亦反。根据比对重合度比例判断是否是比对标的物。
可选的,第一目标包括头脸部、耳部、手部、虹膜中的至少一种。
具体的,可采用上述部位中的一种作为采集数据和识别对象,也可采用两种以上的组合,进行采集和识别。相对而言,使用两种以上的组合进行采集和识别,能够达到更高的识别精度。
另外,头脸部、耳部、手部都包括刚性区域和柔性区域,比例,脸部的眼睛、嘴部易变性,为柔性区域,耳部和虹膜不易变形,为刚性区域。
可预设匹配规则,定义匹配阈值,在采集和识别过程中,可单独选择刚性区域进行采集和识别,也可单独选择柔性区域进行采集和识别,当所选择的区域的当前采集的3D模型数据与3D模型样本数据匹配度达到阈值时,即可认为身份匹配,进行识别出当前采集的3D模型数据对应的人物的身份信息。
同样,还可以分别定义刚性区域和柔性区域的范围、识别权重、和阈值,在采集和识别过程中,可同时针对定义的范围和权重采集刚性区域和柔性区域,并按照定义的阈值进行识别,当所选择的刚性区域和柔性区域的当前采集的3D模型数据与3D模型样本数据匹配度达到阈值时,即可认为身份匹配,进行识别出当前采集的3D模型数据对应的人物的身份信息。
此处所说的达到阈值,可以是设置刚性区域和柔性区域分别同时达到阈值,也可以设置为刚性区域或柔性区域其中之一达到阈值即可。只要能实现按照预设的匹配规则来进行比对识别的目的,在此不做具体的限定。
本发明的另一实施例提供了一种快速身份识别系统,如图4所示,包括:
图像获取装置,用于依据预设规则布置多台相机组成的相机组,获取第一目标的不同角度的多幅图像信息;
稀疏点云3D模型构建装置,用于根据多幅图像信息构建第一目标的生物特征的第一稀疏点云3D模型;
初步识别装置,用于将第一稀疏点云3D模型与预存在第一样本数据库中绑定有身份信息的稀疏点云3D模型样本一一对比,找到与第一稀疏点云3D模型相匹配的稀疏点云3D模型样本,以完成初步比对;
初步结果输出装置,用于将与第一稀疏点云3D模型相匹配的稀疏点云3D模型样本对应的身份信息作为比对结果输出。
具体的,根据预设规则布置多台相机组成的相机组,为根据第一目标采集对象的不同,布置不同位置和数量的相机,第一目标可以为人的脸部、头部、耳部、手部、指部或虹膜中的一种,或根据具体场景设定的识别的具体要求来选取多种组合。
例如,当第一目标为人的脸部时,可采用弧形承载结构来布置各台相机,弧形承载结构设置在面对脸部预定距离的位置,在弧形承载结构上安装若干台相机,每台相机根据采集的脸部图像角度的要求设置安装位置,以便最终每台相机采集的图像,能够合成构建出脸部3D数据。
相机可以采用定焦相机或变焦相机,根据具体的应用对象来进行选择即可。
稀疏点云3D模型构建装置,具体的,可以是数据处理中心,可以包括具有图像处理器GPU和中央处理器CPU的处理单元;将多幅目标体特征图像的图像信息分配到GPU的块block中进行运算,并结合CPU的集中调度和分配功能,计算多幅生物特征图像各自的特征点。可以看到,本发明实施例采用多台拍照相机控制技术进行目标生物特征信息的采集,可以显著提高特征信息的采集效率。并且,本发明实施例基于中央处理器和图形处理器的并行计算,可以高效地实现特征信息的处理。
初步识别装置,可采用天目点云比对识别法进行初步比对。
初步结果输出装置,可具体采用显示器进行可图像视化显示,也可采用语音输出装置进行语音结果提示,也可采用文字输出初步结果,对比对得到的初步结果的身份信息进行输出。
由上可知,上述快速身份识别系统通过图像获取装置获取第一目标的不同角度的多幅图像信息,经过稀疏点云3D模型构建装置根据多幅图像信息构建第一目标的生物特征的第一稀疏点云3D模型,后经初步识别装置将第一稀疏点云3D模型与预存在第一样本数据库中绑定有身份信息的稀疏点云3D模型样本一一对比,找到与第一稀疏点云3D模型相匹配的稀疏点云3D模型样本,以完成初步比对,最后由初步结果输出装置将与第一稀疏点云3D模型相匹配的稀疏点云3D模型样本对应的身份信息作为比对结果输出。从而达到了在不需要任何身份证件的条件下,通过当时第一目标的外部特征,就能识别出第一目标的身份信息的目的。这种根据稀疏点云3D模型数据来自动判断目标身份的方法,避免了由于人工判断所带来的误差,无需办理证件,也不存在伪造证件的情况,能快速准确的识别出目标的身份。
本系统可以应用在出入境安检设备、银行业务办理设备、机场、火车站、地铁等安检设备。
以用户使用银行业务办理设备为例具体说明:
首次办理业务,进行登记或注册,图像获取装置采集用户的不同角度的多幅图像信息,发送至稀疏点云3D模型构建装置进行处理,构建该用户的稀疏点云3D模型样本,关联用户的身份信息,存储在第一样本数据库。
当用户再次到银行办理业务时,进行用户身份识别,相机组采集用户当前的不同角度的多幅图像信息,稀疏点云3D模型构建装置经数据处理,构建该用户的第一稀疏点云3D模型,发送至初步识别装置,调取所有存储在第一样本数据库中的稀疏点云3D模型样本比对,找到与第一稀疏点云3D模型相匹配的稀疏点云3D模型样本,进而找到关联的身份信息,得到了初步结果,发送至显示器进行显示,显示该用户的身份,若初步结果显示当前用户身份为银行已注册的用户,则调用该用户的银行业务办理权限,进入业务办理菜单,进行相应的业务办理操作即可。
可选的,如图5所示,系统还包括:
密集点云3D模型构建装置,用于根据第一稀疏点云3D模型,构建第一目标的生物特征的第一密集点云3D模型;
深度识别装置,用于若比对结果为多个身份信息,则:
将第一密集点云3D模型与预存在第二样本数据库中与比对结果对应密集点云3D模型样本一一对比,找到与第一密集点云3D模型相匹配的密集点云3D模型样本,以完成深度比对;
深度结果输出装置,用于将与第一密集点云3D模型相匹配的密集点云3D模型样本对应的身份信息作为最终结果输出。
也就是说,初步识别装置和深度识别装置可预设匹配规则,经过初步识别装置的初步对比,可以筛选出符合匹配规则的几个身份信息,完成基于海量稀疏点云3D模型数据的初级识别,将比对范围缩小至几个较为相似的身份信息,然后通过深度识别装置的深度对比做精确对比,深度比对是基于每个密集点云3D模型包含有200万个以上的特征点,能达到非常高的识别精度。
通过先针对稀疏点云3D模型数据进行初步比对,筛选出较为相似的几个模型样本,再调取相应的密集点云3D模型数据进行深度比对,最后锁定匹配度最高的密集点云3D模型数据,其对应的身份信息就是当前第一目标的身份信息,从而完成了对未知身份的目标人的身份识别。这样,一方面提高了识别速度,另一方面,也提高了识别精度。
初步识别装置和深度识别装置可针对不同等级的安全级别的应用系统来设计配置使用。
初步结果输出装置与深度结果输出装置可以采用一台装置输出,也可采用两台装置输出,例如采用一台显示器显示,也可采用两台显示器显示。
可选的,还包括:
存储装置,用于存储第一样本数据库中的稀疏点云3D模型样本数据和第二样本数据库中的密集点云3D模型样本数据。
具体的,可以选择存储装置的配置方式,当对安全级别较高的封闭系统,可将存储装置配置在本地,以保证网络安全和运行速度;当对于安全级别一般,可开放式管理的系统。可将存储装置配置在云端服务器,能扩大应用场合的范围。
本发明中所述目标可以为一实体物体或人,也可以为多个物体组成物。
所述目标物的3D信息包括3D图像、3D点云、3D网格、局部3D特征、3D尺寸及一切带有目标物3D特征的参数。
本发明里所谓的3D、三维是指具有XYZ三个方向信息,特别是具有深度信息,与只有二维平面信息具有本质区别。也与一些称为3D、全景、全息、三维,但实际上只包括二维信息,特别是不包括深度信息的定义有本质区别。
本发明所说的采集区域是指图像采集/获取装置(例如相机)能够拍摄的范围。
本发明中的图像采集/获取装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于可见光相机的生物特征四维数据采集装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (9)

1.一种基于点云的3D比对测量方法,其特征在于,包括:
获取第一目标的不同角度的多幅图像信息;根据所述多幅图像信息构建所述第一目标的第一点云3D模型;
将所述第一点云3D模型与预存在第一样本数据库中绑定有身份信息的点云3D模型样本一一对比,找到与所述第一点云3D模型相匹配的点云3D模型样本,测量第一点云3D模型与点云3D模型样本之间的几何差距;
所述不同角度的多幅图像的拍摄位置为矩阵结构,矩阵结构是由采集多个图像时图像采集装置的位置决定的,
采集目标物图像时图像采集装置的相邻两个位置至少满足如下条件:
H*(1-cosb)=L*sin2b;
a=m*b;
0<m<1.5;
其中L为图像采集装置到目标物的距离,H为采集到的图像中目标物实际尺寸,a为相邻两个位置图像采集装置光轴夹角,m为系数;
在垂直方向上相邻的两个位置同样满足上述条件。
2.如权利要求1所述的方法,其特征在于,包括:所述第一点云3D模型为第一稀疏点云3D模型,将与第一稀疏点云3D模型相匹配的稀疏点云3D模型样本对应的身份信息作为比对结果输出。
3.根据权利要求2所述的方法,其特征在于,
构建所述第一目标的生物特征的第一密集点云3D模型;
若所述比对结果为多个身份信息,则:
将所述第一密集点云3D模型与预存在第二样本数据库中与所述比对结果对应的密集点云3D模型样本一一对比,找到与所述第一密集点云3D模型相匹配的密集点云3D模型样本,以完成深度比对;
将与所述第一密集点云3D模型相匹配的密集点云3D模型样本对应的身份信息作为最终结果输出。
4.根据权利要求3所述的方法,其特征在于,所述第二样本数据库中的密集点云3D模型样本由以下步骤获得:
根据所述稀疏点云3D模型样本,构建所述目标样本的生物特征的密集点云3D模型样本;
将所述目标样本的身份信息作为识别标志绑定至所述密集点云3D模型样本,存储形成所述第二样本数据库。
5.根据权利要求1所述的方法,其特征在于,所述第一样本数据库中的稀疏点云3D模型样本由以下步骤获得:
获取目标样本的不同角度的多幅图像信息;
根据多幅图像信息构建所述目标样本的生物特征的稀疏点云3D模型样本;
将所述目标样本的身份信息作为识别标志绑定至所述稀疏点云3D模型样本,存储形成所述第一样本数据库。
6.根据权利要求1所述的方法,其特征在于,获取不同角度的多幅图像信息通过如下方式:
利用图像采集装置绕某一中心轴转动;
或,利用一个或多个图像采集装置分别与目标物的多个区域相对运动;
或,图像采集装置在与目标物相对运动过程中进行自动对焦或变焦;
或,图像采集装置在绕目标物转动过程中沿光轴方向平移。
7.根据权利要求2-4任一所述的方法,其特征在于,所述比对包括比对3D模型各个点的三维坐标、或灰度值、或某个点与邻近点的关系。
8.根据权利要求7所述的方法,其特征在于,采用天目点云比对识别法进行初步比对或深度比对,所述天目点云比对识别法包括:
特征点拟合;
曲面整体最佳拟合;
相似度计算。
9.根据权利要求8所述的方法,其特征在于,所述天目点云比对识别法包括如下具体步骤:
采用基于空域直接匹配的方法进行特征点拟合,在两个点云的对应的刚性区域,选取三个及以上特征点作为拟合关键点,通过坐标变换,直接进行特征点对应匹配;
特征点对应匹配后,整体曲面最佳拟合后的点云的数据对齐;
采用最小二乘法进行相似度计算。
CN201910862183.0A 2018-09-05 2018-09-05 基于点云的3d比对测量方法 Active CN110543871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910862183.0A CN110543871B (zh) 2018-09-05 2018-09-05 基于点云的3d比对测量方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910862183.0A CN110543871B (zh) 2018-09-05 2018-09-05 基于点云的3d比对测量方法
CN201811032876.9A CN109269405B (zh) 2018-09-05 2018-09-05 一种快速3d测量和比对方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811032876.9A Division CN109269405B (zh) 2018-09-05 2018-09-05 一种快速3d测量和比对方法

Publications (2)

Publication Number Publication Date
CN110543871A CN110543871A (zh) 2019-12-06
CN110543871B true CN110543871B (zh) 2022-01-04

Family

ID=65187253

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910862183.0A Active CN110543871B (zh) 2018-09-05 2018-09-05 基于点云的3d比对测量方法
CN201811032876.9A Active CN109269405B (zh) 2018-09-05 2018-09-05 一种快速3d测量和比对方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811032876.9A Active CN109269405B (zh) 2018-09-05 2018-09-05 一种快速3d测量和比对方法

Country Status (1)

Country Link
CN (2) CN110543871B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109990703A (zh) * 2019-03-18 2019-07-09 桂林电子科技大学 一种预制构件的尺寸检测方法及系统
CN110188616B (zh) * 2019-05-05 2023-02-28 上海盎维信息技术有限公司 基于2d和3d影像的空间建模方法及装置
WO2020227918A1 (en) * 2019-05-14 2020-11-19 Intel Corporation Automatic point cloud validation for immersive media
CN110189347B (zh) * 2019-05-15 2021-09-24 深圳市优博讯科技股份有限公司 一种测量物体体积的方法及终端
CN110213566B (zh) * 2019-05-20 2021-06-01 歌尔光学科技有限公司 图像匹配方法、装置、设备及计算机可读存储介质
CN111028341B (zh) * 2019-12-12 2020-08-04 天目爱视(北京)科技有限公司 一种三维模型生成方法
CN111649690A (zh) * 2019-12-12 2020-09-11 天目爱视(北京)科技有限公司 一种能够手持的3d信息采集的设备及方法
CN111325780B (zh) * 2020-02-17 2021-07-27 天目爱视(北京)科技有限公司 一种基于图像筛选的3d模型快速构建方法
CN111208138B (zh) * 2020-02-28 2021-03-12 天目爱视(北京)科技有限公司 一种智能木料识别装置
CN111445528B (zh) * 2020-03-16 2021-05-11 天目爱视(北京)科技有限公司 一种在3d建模中多相机共同标定方法
CN115298708A (zh) * 2020-03-30 2022-11-04 上海科技大学 多视角神经人体渲染
CN113532268B (zh) * 2020-04-20 2024-04-16 成都鼎桥通信技术有限公司 物体测量方法、拍摄终端及存储介质
CN111797268B (zh) * 2020-07-17 2023-12-26 中国海洋大学 Rgb-d图像检索方法
US11703457B2 (en) * 2020-12-29 2023-07-18 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method
CN113251926B (zh) * 2021-06-04 2021-09-24 山东捷瑞数字科技股份有限公司 一种不规则物体的尺寸测量方法及测量装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927747A (zh) * 2014-04-03 2014-07-16 北京航空航天大学 一种基于人脸生物特征的面匹配空间注册方法
CN105184856A (zh) * 2015-09-02 2015-12-23 泰山学院 一种基于稠密匹配的二阶段人体皮肤三维重建方法
CN105931177A (zh) * 2016-04-14 2016-09-07 付常青 特定环境下的图像采集处理装置及其方法
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN108334873A (zh) * 2018-04-04 2018-07-27 天目爱视(北京)科技有限公司 一种3d四维手部数据识别设备
CN108446596A (zh) * 2018-02-14 2018-08-24 天目爱视(北京)科技有限公司 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2923487B2 (ja) * 1997-10-27 1999-07-26 ジェ バク ヒー 光学窓を用いる非接触式3次元微少形状測定方法
CN107592449B (zh) * 2017-08-09 2020-05-19 Oppo广东移动通信有限公司 三维模型建立方法、装置和移动终端
CN107578434A (zh) * 2017-08-25 2018-01-12 上海嘉奥信息科技发展有限公司 基于3d点云快速配准的vr渲染方法及系统
CN107702662B (zh) * 2017-09-27 2020-01-21 深圳拎得清软件有限公司 基于激光扫描仪和bim的逆向监控方法及其系统
CN108340405B (zh) * 2017-11-10 2021-12-07 广东康云多维视觉智能科技有限公司 一种机器人三维扫描系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927747A (zh) * 2014-04-03 2014-07-16 北京航空航天大学 一种基于人脸生物特征的面匹配空间注册方法
CN105184856A (zh) * 2015-09-02 2015-12-23 泰山学院 一种基于稠密匹配的二阶段人体皮肤三维重建方法
CN105931177A (zh) * 2016-04-14 2016-09-07 付常青 特定环境下的图像采集处理装置及其方法
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN108446596A (zh) * 2018-02-14 2018-08-24 天目爱视(北京)科技有限公司 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法
CN108334873A (zh) * 2018-04-04 2018-07-27 天目爱视(北京)科技有限公司 一种3d四维手部数据识别设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于关键点选择的快速点云配准算法;张哲 等;《激光与光电子学进展》;20170716;第54卷(第12期);全文 *

Also Published As

Publication number Publication date
CN109269405A (zh) 2019-01-25
CN109269405B (zh) 2019-10-22
CN110543871A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110543871B (zh) 基于点云的3d比对测量方法
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN111060024B (zh) 旋转中心轴与图像采集装置相交的3d测量及获取装置
CN111292364B (zh) 一种三维模型构建过程中图像快速匹配的方法
CN109146961B (zh) 一种基于虚拟矩阵的3d测量及获取装置
CN109141240B (zh) 一种自适应3d测量及信息获取装置
US20160335475A1 (en) 3d image analyzer for determining the gaze direction
JP5872818B2 (ja) 測位処理装置、測位処理方法、および画像処理装置
CN110567371B (zh) 用于3d信息采集的光照控制系统
CN109394168B (zh) 一种基于光照控制的虹膜信息测量系统
CN208653401U (zh) 自适应图像采集设备、3d信息比对装置、配套物生成装置
WO2021185214A1 (zh) 一种在3d建模中远距离标定方法
CN112304222B (zh) 一种背景板同步旋转的3d信息采集设备
CN110827196A (zh) 一种能够对目标物多区域同时进行3d信息采集的装置
WO2006075528A1 (ja) 3次元オブジェクト計測装置
CN209279885U (zh) 图像采集设备、3d信息比对及配套物生成装置
CN111006586B (zh) 一种用于3d信息采集的智能控制方法
CN109146949B (zh) 一种基于视频数据的3d测量及信息获取装置
CN208653473U (zh) 图像采集设备、3d信息比对装置、配套物生成装置
CN109084679B (zh) 一种基于空间光调制器的3d测量及获取装置
CN111340959A (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
CN109394170B (zh) 一种无反光的虹膜信息测量系统
WO2021115297A1 (zh) 3d信息采集的设备及方法
CN111207690B (zh) 一种可调整的虹膜3d信息采集测量设备
CN209103318U (zh) 一种基于光照的虹膜形貌测量系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant