CN108259751A - 一种多相机数据采集控制系统 - Google Patents

一种多相机数据采集控制系统 Download PDF

Info

Publication number
CN108259751A
CN108259751A CN201810152233.1A CN201810152233A CN108259751A CN 108259751 A CN108259751 A CN 108259751A CN 201810152233 A CN201810152233 A CN 201810152233A CN 108259751 A CN108259751 A CN 108259751A
Authority
CN
China
Prior art keywords
data
information
processing unit
characteristic
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810152233.1A
Other languages
English (en)
Inventor
左忠斌
左达宇
胡艳松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianmu Love Vision (beijing) Technology Co Ltd
Tianmu Aishi Beijing Technology Co Ltd
Original Assignee
Tianmu Love Vision (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianmu Love Vision (beijing) Technology Co Ltd filed Critical Tianmu Love Vision (beijing) Technology Co Ltd
Priority to CN201810152233.1A priority Critical patent/CN108259751A/zh
Publication of CN108259751A publication Critical patent/CN108259751A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Abstract

本发明提供了一种多相机数据采集控制系统。该系统包括:支撑结构,设置在所述支撑结构上的弧形承载结构,布置在所述弧形承载结构上的形成相机矩阵的多台可见光相机,以及与所述多台可见光相机连接的数据处理单元;所述多台可见光相机,用于对生物特征信息进行采集,得到多幅生物特征图像,并将所述多幅生物特征图像传输至所述数据处理单元;所述数据处理单元,用于对所述多幅生物特征图像进行处理。本发明实施例采用多台可见光相机控制技术进行生物特征信息的采集,可以显著提高生物特征信息的采集效率。

Description

一种多相机数据采集控制系统
技术领域
本发明涉及生物识别技术领域,特别是一种多相机数据采集控制系统。
背景技术
生物特征即生物固有的生理或行为特征,如指纹、掌纹、虹膜或人脸等。生物特征有一定的唯一性和稳定性,即任何两生物的某种生物特征之间的差异比较大,且生物特征一般不会随着时间发生很大的变化,这就使得生物特征很适合应用在身份认证或识别系统中的认证信息等场景中。
目前使用单一相机采集生物特征数据,单一相机只能采集某个特定的角度,或者需要调整相机来采集不同角度的生物特征,实际使用起来不便捷,较为繁琐,因此亟待解决这一技术问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的多相机数据采集控制系统。
本发明实施例提供了一种多相机数据采集控制系统,包括:支撑结构,设置在所述支撑结构上的弧形承载结构,布置在所述弧形承载结构上的形成相机矩阵的多台可见光相机,以及与所述多台可见光相机连接的数据处理单元;
所述多台可见光相机,用于对生物特征信息进行采集,得到多幅生物特征图像,并将所述多幅生物特征图像传输至所述数据处理单元;
所述数据处理单元,用于对所述多幅生物特征图像进行处理。
可选地,所述数据处理单元具体包括:
提取器,用于提取所述多幅生物特征图像中各自的特征点;
生成器,用于基于提取的所述多幅生物特征图像中各自的特征点,生成生物特征的特征点云数据;
构建器,用于根据所述特征点云数据构建生物特征的3D模型,以实现生物特征3D数据的采集。
可选地,所述多台可见光相机还用于:记录采集生物特征信息的时间数据,并传输至所述数据处理单元;
所述数据处理单元中的所述构建器还用于:
根据所述特征点云数据和所述时间数据,构建具有时间维度的生物特征的3D模型,以实现生物特征四维数据的采集。
可选地,所述生成器还用于:
根据提取的所述多幅生物特征图像中各自的特征点的特征,进行特征点的匹配,建立匹配的特征点数据集;
根据多台可见光相机的光学信息,计算各台可见光相机相对于生物特征在空间上的相对位置,并根据所述相对位置计算出所述多幅生物特征图像中的特征点的空间深度信息;
根据匹配的特征点数据集和特征点的空间深度信息,生成生物特征的特征点云数据。
可选地,所述多幅生物特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述。
可选地,所述生成器还用于:
根据多台可见光相机的光学信息,采用光束平差法计算各台可见光相机相对于生物特征在空间上的相对位置。
可选地,所述多幅生物特征图像中的特征点的空间深度信息包括:空间位置信息和颜色信息。
可选地,所述构建器还用于:
设定待构建的3D模型的参考尺寸;根据所述参考尺寸和所述特征点云数据的空间位置信息,确定所述特征点云数据中各个特征点的空间尺寸,从而构建生物特征的3D模型;或者
设定待构建的3D模型的参考尺寸;根据所述参考尺寸和所述特征点云数据的空间位置信息,确定所述特征点云数据中各个特征点的空间尺寸,从而构建生物特征的3D模型;根据构建的生物特征的3D模型和所述时间数据,生成具有时间维度的生物特征的3D模型。
可选地,若所述生物特征信息为头部面部信息,则所述系统还包括:
与所述支撑结构连接的底座,以及设置在所述底座上用于固定生物拍照位置的座椅;
当生物位于所述座椅上时,所述多台可见光相机对头部面部信息进行采集。
可选地,所述系统还包括:
设置在所述弧形承载结构上的第一显示器,所述第一显示器与所述数据处理单元连接;
在所述数据处理单元构建得到头部面部的3D模型后,在所述第一显示器上通过可视化方式显示头部面部3D数据;或者
在所述数据处理单元构建得到具有时间维度的头部面部的3D模型后,在所述第一显示器上通过可视化方式显示头部面部四维数据。
可选地,若所述生物特征信息为手部信息,则所述支撑结构为柜体,所述弧形承载结构设置在所述柜体内,所述系统还包括:
设置在所述柜体上面向多台可见光相机的镜头的一面的透明玻璃盖板;
当生物的手部放置在所述透明玻璃盖板上时,所述多台可见光相机对手部信息进行采集。
可选地,所述系统还包括:
设置在所述柜体上的第二显示器,所述第二显示器与所述数据处理单元连接;
在所述数据处理单元构建得到手部的3D模型后,在所述第二显示器上通过可视化方式显示手部3D数据;或者
在所述数据处理单元构建得到具有时间维度的手部的3D模型后,在所述第二显示器上通过可视化方式显示手部四维数据。
本发明实施例提供了一种多相机数据采集控制系统,该系统包括支撑结构,设置在支撑结构上的弧形承载结构,布置在弧形承载结构上的形成相机矩阵的多台可见光相机,以及与多台可见光相机连接的数据处理单元;多台可见光相机用于对生物特征信息进行采集,得到多幅生物特征图像,并将多幅生物特征图像传输至数据处理单元;数据处理单元用于对多幅生物特征图像进行处理。可以看到,本发明实施例采用多台可见光相机控制技术进行生物特征信息的采集,可以显著提高生物特征信息的采集效率。
并且,本发明实施例利用采集到生物特征在空间上的特征信息,完整地复原生物特征在空间上的各项特征,为后续的生物特征数据的应用提供了无限的可能性。
进一步,本发明实施例基于中央处理器和图形处理器的并行计算,可以快速高效地实现特征信息的处理以及点云的生成。并且,采用尺度不变特征转换SIFT特征描述子结合特殊图形处理器的并行计算能力,可以快速实现特征点的匹配和空间特征点云的生成。此外,采用独特的尺寸标定方法,可以准确快速地提取生物特征任何特征点的空间尺寸,生成生物特征的3D模型,以实现3D数据的采集。另外,本发明实施例采用独特的尺寸标定方法,可以准确快速地提取生物特征任何特征点的空间尺寸,生成具有时间维度的生物特征的3D模型,以实现四维数据的采集。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示意了根据本发明一实施例的多相机数据采集控制系统的结构图;
图2示意了根据本发明另一实施例的多相机数据采集控制系统的结构图;
图3示意了根据本发明一实施例的头部面部可见光拍照3D数据采集控制系统的示意图;
图4示意了图3所示的采集控制系统中承载结构的内部模块和外部的连接的示意图;
图5示意了图3所示的采集控制系统中串口集成模块、相机矩阵和中央处理模块的连接的示意图;
图6示意了根据本发明一实施例的人体手部可见光拍照3D数据采集控制系统的示意图;
图7示意了图6所示的采集控制系统的中央控制模块和外部的连接的示意图;
图8示意了根据本发明一实施例的人体手部信息采集位置的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是:本发明中的3D四维数据是指三维空间数据结合时间维度数据所形成的数据,三维空间结合时间维度是指:多张相同时间间隔或不同时间间隔、不同角度、不同方位或不同状态等情况的图像或影像形成的数据集合。
为了解决上述技术问题,本发明实施例提供了一种多相机数据采集控制系统。图1示出了根据本发明一实施例的多相机数据采集控制系统的结构图,在图1中,多相机数据采集控制系统100具体可以包括:支撑结构110,设置在支撑结构110上的弧形承载结构120,布置在弧形承载结构120上的形成相机矩阵的多台可见光相机130,以及与多台可见光相机130连接的数据处理单元140;
多台可见光相机130,用于对生物特征信息进行采集,得到多幅生物特征图像,并将多幅生物特征图像传输至数据处理单元140;
数据处理单元140,用于对多幅生物特征图像进行处理。
本发明实施例提供了一种多相机数据采集控制系统,该系统包括支撑结构,设置在支撑结构上的弧形承载结构,布置在弧形承载结构上的形成相机矩阵的多台可见光相机,以及与多台可见光相机连接的数据处理单元;多台可见光相机用于对生物特征信息进行采集,得到多幅生物特征图像,并将多幅生物特征图像传输至数据处理单元;数据处理单元用于对多幅生物特征图像进行处理。可以看到,本发明实施例采用多台可见光相机控制技术进行生物特征信息的采集,可以显著提高生物特征信息的采集效率。
在本发明的可选实施例中,如图2所示,上文图1展示的数据处理单元140具体可以包括:提取器141、与提取器141连接的生成器142以及与生成器142连接的构建器143。
提取器141,用于提取多幅生物特征图像中各自的特征点;
生成器142,用于基于提取的多幅生物特征图像中各自的特征点,生成生物特征的特征点云数据;
构建器143,用于根据特征点云数据构建生物特征的3D模型,以实现生物特征3D数据的采集。
在本发明的可选实施例中,多台可见光相机130还用于记录采集生物特征信息的时间数据,并传输至数据处理单元140;
数据处理单元140中的构建器143还用于根据特征点云数据和时间数据,构建具有时间维度的生物特征的3D模型,以实现生物特征四维数据的采集。
在本发明的可选实施例中,上文图2所示的生成器142在基于提取的多幅生物特征图像中各自的特征点,生成生物特征的特征点云数据时,具体还用于:
根据提取的多幅生物特征图像中各自的特征点的特征,进行特征点的匹配,建立匹配的特征点数据集;
根据多台可见光相机的光学信息,计算各台可见光相机相对于生物特征在空间上的相对位置,并根据相对位置计算出多幅生物特征图像中的特征点的空间深度信息;以及
根据匹配的特征点数据集和特征点的空间深度信息,生成生物特征的特征点云数据。
这里,多幅生物特征图像中各自的特征点的特征可以采用SIFT(Scale-InvariantFeature Transform,尺度不变特征转换)特征描述子来描述。SIFT特征描述子具有128个特征描述向量,可以在方向和尺度上描述任何特征点的128个方面的特征,显著提高对特征描述的精度,同时特征描述子具有空间上的独立性。
在本发明的可选实施例中,生成器142根据多台可见光相机的光学信息,计算各台可见光相机相对于生物特征在空间上的相对位置,具体可以是根据多台可见光相机的光学信息,采用光束平差法计算各台可见光相机相对于生物特征在空间上的相对位置。
在光束平差法的定义中,假设有一个3D空间中的点,它被位于不同位置的多个可见光相机看到,那么光束平差法就是能够从这些多视角信息中提取出3D点的坐标以及各个可见光相机的相对位置和光学信息的过程。
进一步地,上文提及的多幅生物特征图像中的特征点的空间深度信息可以包括:空间位置信息和颜色信息,即,可以是特征点在空间位置的X轴坐标、特征点在空间位置的Y轴坐标、特征点在空间位置的Z轴坐标、特征点的颜色信息的R通道的值、特征点的颜色信息的G通道的值、特征点的颜色信息的B通道的值、特征点的颜色信息的Alpha通道的值等等。这样,生成的特征点云数据中包含了特征点的空间位置信息和颜色信息,特征点云数据的格式可以如下所示:
其中,Xn表示特征点在空间位置的X轴坐标;Yn表示特征点在空间位置的Y轴坐标;Zn表示特征点在空间位置的Z轴坐标;Rn表示特征点的颜色信息的R通道的值;Gn表示特征点的颜色信息的G通道的值;Bn表示特征点的颜色信息的B通道的值;An表示特征点的颜色信息的Alpha通道的值。
在本发明的可选实施例中,构建器143还可以是设定待构建的3D模型的参考尺寸;进而根据参考尺寸和特征点云数据的空间位置信息,确定特征点云数据中各个特征点的空间尺寸,从而构建生物特征的3D模型。或者,构建器143还可以设定待构建的3D模型的参考尺寸;根据参考尺寸和特征点云数据的空间位置信息,确定特征点云数据中各个特征点的空间尺寸,从而构建生物特征的3D模型;根据构建的生物特征的3D模型和时间数据,生成具有时间维度的生物特征的3D模型。
在构建的生物特征的3D模型中,可以包括描述3D模型的空间形状特征数据、描述3D模型的表面纹理特征数据、描述3D模型的表面材质和灯光特征数据等3D数据,本发明实施例对此不作限制。
在本发明的可选实施例中,当需要采集的生物特征不同时,多相机数据采集控制系统100的结构也有所不同,下面将分别进行详细介绍。
情况一,若生物特征信息为头部面部信息,则多相机数据采集控制系统还可以包括:与支撑结构连接的底座,以及设置在底座上用于固定生物拍照位置的座椅;
当生物位于座椅上时,多台可见光相机对头部面部信息进行采集。
在可选的实施例中,多相机数据采集控制系统还可以包括:设置在弧形承载结构上的第一显示器,第一显示器与数据处理单元连接;
在数据处理单元构建得到头部面部的3D模型后,在第一显示器上通过可视化方式显示头部面部3D数据;或者
在数据处理单元构建得到具有时间维度的头部面部的3D模型后,在第一显示器上通过可视化方式显示头部面部四维数据。
在可选的实施例中,还可以通过第一显示器界面,设定各台可见光相机的拍照参数,如感光度、快门速度、变焦倍数、光圈等,本发明实施例不限于此。
情况二,若生物特征信息为手部信息,则支撑结构可以为柜体,弧形承载结构设置在柜体内,则多相机数据采集控制系统还可以包括:设置在柜体上面向多台可见光相机的镜头的一面的透明玻璃盖板;
当生物的手部放置在透明玻璃盖板上时,多台可见光相机对手部信息进行采集。
在可选的实施例中,多相机数据采集控制系统还可以包括:设置在柜体上的第二显示器,第二显示器与数据处理单元连接;
在数据处理单元构建得到手部的3D模型后,在第二显示器上通过可视化方式显示手部3D数据;或者
在数据处理单元构建得到具有时间维度的手部的3D模型后,在第二显示器上通过可视化方式显示手部四维数据。
在可选的实施例中,还可以通过第二显示器界面,设定各台可见光相机的拍照参数,如感光度、快门速度、变焦倍数、光圈等,本发明实施例不限于此。
在本发明的可选实施例中,还可以记录多台可见光相机采集生物特征信息的时间数据,从而根据特征点云数据和时间数据,构建具有时间维度的生物特征的3D模型,以实现生物特征四维数据的采集。这里的四维数据可以是多张相同时间间隔或不同时间间隔、不同角度、不同方位、不同表情形态等的3D数据集合。
需要说明的是,本发明实施例中的生物特征并不限于上述的头部面部以及手部,还可以包括其他生物特征,如脚部等,本发明实施例对此不做限制。
以上介绍了图1所示的实施例中各个环节的多种实现方式,下面通过具体的实施例对本发明实施例提供的多相机数据采集控制系统做进一步说明,在具体实施例中分别以头部面部信息、手部信息采集为例。
具体实施例一
(1-1)头部面部可见光拍照3D数据采集控制系统设计思路如下。
A.头部面部可见光拍照3D数据采集控制系统,如图3所示,在图3中,该系统可以包括:
底座31,作为整个发明设备的主要的底部支撑结构;
座椅32,固定拍照人体位置和调节人体高度;
支撑结构33,连接设备的底部和其他主体机构;
显示器34,设备系统工作的操作界面;
承载结构35,可见光相机、中央处理器、灯光的固定结构;
相机矩阵36,人体头部面部信息采集;
带状补光灯37,环境灯光补充使用。
B.设备的连接关系说明
底座31通过连接结构和座椅32相连;
底座31通过机构连接结构和支撑结构33相连;
支撑结构33通过机械连接结构和承载结构35相连;
显示器34通过机械固定在承载结构35上;
相机矩阵36通过结构固定的方式固定在承载结构35上;
带状补光灯37通过结构固定的方式固定在承载结构35上。
(1-2)承载结构35的内部模块组成如下。
A.如图4所示,承载结构35的内部模块可以由如下几部分组成:
电源管理模块,负责提供整个系统的所需的各种电源;
灯光管理模块,通过中央处理模块可以调整灯光的亮度;
串口集成模块,负责中央处理模块和相机矩阵的双向通讯;
中央处理模块,负责系统信息处理、显示、灯光、座椅的控制;
座椅升降管理模块,负责座椅高度调整;
显示驱动管理模块,负责显示器的显示驱动。
B.承载结构35的内部模块以及外部的连接关系如下:
1)电源管理模块向相机矩阵、串口集成模块、灯光管理模块、中央处理模块、显示驱动管理模块、座椅升降管理模块提供电源;
2)串口集成模块连接相机矩阵和中央处理模块,实现它们之间的双向通讯,如图5所示;
2.1)相机以单独个体的方式以串口的方式和串口集成模块连接
2.2)串口集成模块通过USB接口和中央处理模块连接
2.3)中央处理模块通过定制开发的软件界面实现和相机矩阵的可视化操作2.4)操作界面上可以实现对相机拍照参数的设置
感光度ISO(范围50~6400)
快门速度(1/4000~1/2)(秒)
变焦倍数(1~3.8x)
光圈(大/小)
2.5)操作界面可以实现对相机开机的初始化操作
2.6)操作界面可以实现相机影像采集的命令
2.7)操作界面可以实现相机影像储存路径的设置
2.8)操作界面可以实现相机实时影像的浏览以及相机的切换
3)灯光管理模块连接电源管理模块、中央处理模块以及外部带状补光灯;
4)座椅升降管理模块连接电源管理模块、中央处理模块以及外部座椅,中央处理模块通过可视化界面实现对座椅高度的上下调节;
5)显示驱动管理模块连接电源管理模块、中央处理模块及外部的显示器;
6)中央处理模块连接电源管理模块、灯光管理模块、座椅升降管理模块、串口集成模块、显示驱动管理模块。
(1-3)设备使用方法如下
A.启动设备:打开电源开关后,中央处理器,相机矩阵,带状补光灯分别启动。
B.参数设定:通过显示器界面,可以设定相机矩阵拍照的各项参数。
C.信息采集:参数设定完毕后,启动矩阵相机开始对人体头部面部进行信息采集,信息采集时间在0.8秒内完成,采集的信号最后以数字图像(.jpg)的格式传至中央处理模块进行处理,中央处理模块核心由以下几个部分组成:
C.1CPU(Central Processing Unit,中央处理单元):负责整个数字信号的传送调度,任务分配,内存管理,以及部分单一的计算处理;
C.2GPU(Graphics Processing Unit,图像处理单元):选用特殊型号的GPU,具有优秀的图像处理能力和高效的计算能力;
C.3DRAM(Dynamic Random Access Memory,即动态随机存取存储器):作为整个数字信号处理的暂时存储中心,需要匹配CPU和GPU的运算能力,得到最佳的处理和计算效能。
D.信息处理:矩阵相机采集完的信号传送到中央处理模块进行信号处理。
D.1信息处理的过程如下
D.1.1采集图像的滤波
利用GPU的特性,结合图像滤波的矩阵运算子的特性,图像滤波可以在一定算法的支持下,快速完成。
D.1.2采集图像的特征点提取
采用CPU和与整体性能相匹配的GPU,因为本设备的各种信息的格式都是图像格式,结合具有优秀图像处理能力的GPU,可以将jpg的各种信息内容均匀的分配到GPU的block中,由于本设备采用双GPU,每颗GPU本身具有56个block,所以采集信息抓取到的18张jpg的图像会均匀的分配到112个block上面进行运算,并结合CPU的集中调度和分配功能,可以快速地计算出每张照片具有的特征点,相对于单独CPU或者CPU搭配其他普通型号的GPU的运算,整体的运算速度时间是后者的1/10或者更短。
D.1.3采集图像的匹配和空间深度信息的计算
图像特征点的提取采用金字塔的层级结构,以及空间尺度不变性的特殊算法,这两种特殊的算法都是结合本设备选用的GPU的特殊构造,最大程度的发挥系统的计算性能,实现快速提取图像信息中的特征点。
此过程的特征描述子采用SIFT特征描述子,SIFT特征描述子具有128个特征描述向量,可以在方向和尺度上描述任何特征点的128个方面的特征,显著提高对特征描述的精度,同时特征描述子具有空间上的独立性。
本设备采用的特殊图像处理GPU,具有优异的单独向量的计算和处理能力,对于采用128个特殊描述子的SIFT特征向量来讲,在这样特殊GPU的条件下来处理是最适合不过了,可以充分发挥该GPU的特殊计算能力,比较采用普通CPU或者CPU搭配其他普通规格的GPU,特征点的匹配时间会降低70%。
特征点匹配完毕,系统会采用光束平差法的算法计算出可见光相机相对于头部面部在空间上的相对位置,根据此相对位置的空间坐标,GPU可以快速地计算出头部面部特征点的深度信息。
D.1.4特征点云数据的生成
根据D.1.3计算出头部面部特征点在空间的深度信息,由于GPU具有的向量计算能力,可以快速地匹配出头部面部特征点云的空间位置和颜色信息,形成一个标准的模型建立需要的点云信息。
E.特征尺寸标定:通过特征点云尺寸的标准,为整个模型的尺寸设定最初的参考尺寸。
通过在信息采集上的特殊标定,该特殊标定具有空间确定尺寸,由于头部面部特征点云具有空间上尺度一致性,通过该特殊标定的确定尺寸,头部面部的任何特征点之间的尺寸可以从点云的空间位置坐标计算得到。
F.数据的后续处理:基于E中标定的尺寸,通过对点云数据进行进一步的处理,可以得到人脸头部面部的3D数据。
3D数据的格式有如下几个文件:
.obj——描述3D模型的空间形状特征
.jpg——描述3D模型的表面纹理特征
.mtl——描述3D模型的表面材质和灯光特征
G.头部面部3D数据通过可视化的方法显示在显示器上。或者,具有时间维度的头部面部的3D模型通过可视化的方法可以显示在显示器上。
具体实施例二
(2-1)人体手部可见光拍照3D数据采集控制系统设计思路如下。
A.人体手部可见光拍照3D数据采集控制系统,如图6所示,在图6中,该系统可以包括:
柜体61,作为整个设备的主要的主体支撑结构;
相机矩阵62,采集人体手部特征,具体可以是指部特征和/或掌部特征;
透明玻璃盖板63,人体手部的放置装置;
中央控制模块64,系统的信息处理、分析、显示模块;
手部虚拟位置65,人体手部的放置位置说明;
无影灯光系统66,为手部3D建模提供灯光环境。
B.设备的连接关系说明
柜体61通过机械固定的方式和相机矩阵62相连;
柜体61通过机械结构固定的方式和透明玻璃盖板63相连;
中央控制模块64通过机械固定的方式和柜体61相连;
无影灯光系统66通过机械固定的方式和柜体61相连;
手部虚拟位置65确保人体手部整体落在相机矩阵62信息采集的范围内。
(2-2)中央控制模块64和外部的连接如图7所示。
A.整个中央控制模块由如下几个部分组成:
电源管理模块,提供整个设备的电源;
串口集成模块,负责相机矩阵和中央处理模块的命令和数据传递;
灯光管理模块,负责管理外部无影灯光系统的;
显示驱动模块,负责显示模块的管理;
中央处理模块,整个系统的采集数据的分析、计算和处理;
显示模块,系统操作界面。
B.整个中央控制模块的连接关系如下所示:
B.1电源管理模块提供电源给相机矩阵、串口集成模块、中央处理模块、灯光管理模块、显示驱动模块、显示模块;
B.2串口集成模块实现相机矩阵和中央处理模块之间的双向通讯;
B.3灯光管理模块提供电源给无影灯光系统,并负责调整灯光系统的参数;
B.4中央处理模块连接串口集成模块、灯光管理模块、显示驱动模块和电源管理模块;
B.5显示驱动模块连接中央处理模块和显示模块。
(2-3)设备使用方法如下
A.启动设备:打开电源开关后,启动电源管理模块给系统各个模块提供电源,并同时启动相机矩阵、中央控制模块、无影灯光系统以及显示模块。
B.人体手部放置:将人体的手部放置在透明玻璃盖板上,通过调整手部的位置,使手部的信息全部落在信息采集的方位内,由于本设备的灯光系统采用无影灯光系统,各个角度采集的手部信息没有阴影,可以显著提高特征点采集的效率和准确度。
C.参数设置:通过显示器界面,可以设定相机矩阵拍照的各项参数。
D.信息采集:参数设置完毕,启动相机矩阵开始对手部的信息进行采集,采集的信息会以图片的格式传到中央控制模块进行分析和处理。
E.信息处理:相机矩阵采集完的信号传送到中央控制模块进行信号处理,信息处理的过程如下。
D.1采集图像的滤波
由于人体手部的主要特征采集点集中在手部指部的顶端,如图8所示,指端的指纹特征也是具有唯一生物识别的特征,所以在采集到手部指部的特征点后,首先需要将非指端的信息采用算法的方法滤掉,整个算法的整体思路如下:
D.1.1建立指端和第二指部的关节纹的库文件以及指部关节纹的特征库;
D.1.2导入特征库针对指部采集到的信息进行特征识别;
D.1.3特征识别后,针对特征区的区域进行计算,计算出指部指端的特征区的范围;
D.1.4特征区和非指部特征区的图像分割;
D.1.5非指部特征区的信息从原始图像剔除;
D.1.6新特征区域的信息做进一步的滤波处理;
D.2采集图像的特征点提取
D.3采集图像的匹配和空间深度信息的计算
D.4特征点云数据的生成
F.数据后续处理:通过对点云数据进行进一步的处理,可以得到手部的纹理构造。
G.手部3D数据显示:手部3D数据通过可视化的方法显示在显示器上;或者,具有时间维度的手部的3D模型通过可视化的方法显示在显示器上。
这里,D.2、D.3以及D.4可以参见前文介绍,此处不再赘述。
需要说明的是,实际应用中,上述所有可选实施方式可以采用结合的方式任意组合,形成本发明的可选实施例,在此不再一一赘述。
根据上述任意一个可选实施例或多个可选实施例的组合,本发明实施例能够达到如下有益效果:
本发明实施例提供了一种多相机数据采集控制系统,该系统包括支撑结构,设置在支撑结构上的弧形承载结构,布置在弧形承载结构上的形成相机矩阵的多台可见光相机,以及与多台可见光相机连接的数据处理单元;多台可见光相机用于对生物特征信息进行采集,得到多幅生物特征图像,并将多幅生物特征图像传输至数据处理单元;数据处理单元用于对多幅生物特征图像进行处理。可以看到,本发明实施例采用多台可见光相机控制技术进行生物特征信息的采集,可以显著提高生物特征信息的采集效率。
并且,本发明实施例利用采集到生物特征在空间上的特征信息,完整地复原生物特征在空间上的各项特征,为后续的生物特征数据的应用提供了无限的可能性。
进一步,本发明实施例基于中央处理器和图形处理器的并行计算,可以快速高效地实现特征信息的处理以及点云的生成。并且,采用尺度不变特征转换SIFT特征描述子结合特殊图形处理器的并行计算能力,可以快速实现特征点的匹配和空间特征点云的生成。此外,采用独特的尺寸标定方法,可以准确快速地提取生物特征任何特征点的空间尺寸,生成生物特征的3D模型,以实现3D数据的采集。另外,本发明实施例采用独特的尺寸标定方法,可以准确快速地提取生物特征任何特征点的空间尺寸,生成具有时间维度的生物特征的3D模型,以实现四维数据的采集。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的多相机数据采集控制系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种多相机数据采集控制系统,其特征在于,包括:支撑结构,设置在所述支撑结构上的弧形承载结构,布置在所述弧形承载结构上的形成相机矩阵的多台可见光相机,以及与所述多台可见光相机连接的数据处理单元;
所述多台可见光相机,用于对生物特征信息进行采集,得到多幅生物特征图像,并将所述多幅生物特征图像传输至所述数据处理单元;
所述数据处理单元,用于对所述多幅生物特征图像进行处理。
2.根据权利要求1所述的系统,其特征在于,所述数据处理单元具体包括:
提取器,用于提取所述多幅生物特征图像中各自的特征点;
生成器,用于基于提取的所述多幅生物特征图像中各自的特征点,生成生物特征的特征点云数据;
构建器,用于根据所述特征点云数据构建生物特征的3D模型,以实现生物特征3D数据的采集。
3.根据权利要求2所述的系统,其特征在于,所述多台可见光相机还用于:记录采集生物特征信息的时间数据,并传输至所述数据处理单元;
所述数据处理单元中的所述构建器还用于:
根据所述特征点云数据和所述时间数据,构建具有时间维度的生物特征的3D模型,以实现生物特征四维数据的采集。
4.根据权利要求2或3所述的系统,其特征在于,所述生成器还用于:
根据提取的所述多幅生物特征图像中各自的特征点的特征,进行特征点的匹配,建立匹配的特征点数据集;
根据多台可见光相机的光学信息,计算各台可见光相机相对于生物特征在空间上的相对位置,并根据所述相对位置计算出所述多幅生物特征图像中的特征点的空间深度信息;
根据匹配的特征点数据集和特征点的空间深度信息,生成生物特征的特征点云数据。
5.根据权利要求4所述的系统,其特征在于,所述多幅生物特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述。
6.根据权利要求4所述的系统,其特征在于,所述生成器还用于:
根据多台可见光相机的光学信息,采用光束平差法计算各台可见光相机相对于生物特征在空间上的相对位置。
7.根据权利要求4所述的系统,其特征在于,所述多幅生物特征图像中的特征点的空间深度信息包括:空间位置信息和颜色信息。
8.根据权利要求7所述的系统,其特征在于,所述构建器还用于:
设定待构建的3D模型的参考尺寸;根据所述参考尺寸和所述特征点云数据的空间位置信息,确定所述特征点云数据中各个特征点的空间尺寸,从而构建生物特征的3D模型;或者
设定待构建的3D模型的参考尺寸;根据所述参考尺寸和所述特征点云数据的空间位置信息,确定所述特征点云数据中各个特征点的空间尺寸,从而构建生物特征的3D模型;根据构建的生物特征的3D模型和所述时间数据,生成具有时间维度的生物特征的3D模型。
9.根据权利要求1所述的系统,其特征在于,若所述生物特征信息为头部面部信息,则所述系统还包括:
与所述支撑结构连接的底座,以及设置在所述底座上用于固定生物拍照位置的座椅;
当生物位于所述座椅上时,所述多台可见光相机对头部面部信息进行采集。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括:
设置在所述弧形承载结构上的第一显示器,所述第一显示器与所述数据处理单元连接;
在所述数据处理单元构建得到头部面部的3D模型后,在所述第一显示器上通过可视化方式显示头部面部3D数据;或者
在所述数据处理单元构建得到具有时间维度的头部面部的3D模型后,在所述第一显示器上通过可视化方式显示头部面部四维数据;优选地,若所述生物特征信息为手部信息,则所述支撑结构为柜体,所述弧形承载结构设置在所述柜体内,所述系统还包括:
设置在所述柜体上面向多台可见光相机的镜头的一面的透明玻璃盖板;
当生物的手部放置在所述透明玻璃盖板上时,所述多台可见光相机对手部信息进行采集;
优选地,所述系统还包括:
设置在所述柜体上的第二显示器,所述第二显示器与所述数据处理单元连接;
在所述数据处理单元构建得到手部的3D模型后,在所述第二显示器上通过可视化方式显示手部3D数据;或者
在所述数据处理单元构建得到具有时间维度的手部的3D模型后,在所述第二显示器上通过可视化方式显示手部四维数据。
CN201810152233.1A 2018-02-14 2018-02-14 一种多相机数据采集控制系统 Withdrawn CN108259751A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810152233.1A CN108259751A (zh) 2018-02-14 2018-02-14 一种多相机数据采集控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810152233.1A CN108259751A (zh) 2018-02-14 2018-02-14 一种多相机数据采集控制系统

Publications (1)

Publication Number Publication Date
CN108259751A true CN108259751A (zh) 2018-07-06

Family

ID=62745328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810152233.1A Withdrawn CN108259751A (zh) 2018-02-14 2018-02-14 一种多相机数据采集控制系统

Country Status (1)

Country Link
CN (1) CN108259751A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146961A (zh) * 2018-09-05 2019-01-04 天目爱视(北京)科技有限公司 一种基于虚拟矩阵的3d测量及获取装置
CN110827196A (zh) * 2018-09-05 2020-02-21 天目爱视(北京)科技有限公司 一种能够对目标物多区域同时进行3d信息采集的装置
CN112016570A (zh) * 2019-12-12 2020-12-01 天目爱视(北京)科技有限公司 用于背景板同步旋转采集中的三维模型生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140064554A1 (en) * 2011-11-14 2014-03-06 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery
CN106156740A (zh) * 2016-07-05 2016-11-23 张宁 民航机场候机楼人脸快速识别系统
CN107066862A (zh) * 2007-09-24 2017-08-18 苹果公司 电子设备中的嵌入式验证系统
CN107491675A (zh) * 2017-07-31 2017-12-19 广东欧珀移动通信有限公司 信息安全处理方法、装置和终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066862A (zh) * 2007-09-24 2017-08-18 苹果公司 电子设备中的嵌入式验证系统
US20140064554A1 (en) * 2011-11-14 2014-03-06 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery
CN106156740A (zh) * 2016-07-05 2016-11-23 张宁 民航机场候机楼人脸快速识别系统
CN107491675A (zh) * 2017-07-31 2017-12-19 广东欧珀移动通信有限公司 信息安全处理方法、装置和终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146961A (zh) * 2018-09-05 2019-01-04 天目爱视(北京)科技有限公司 一种基于虚拟矩阵的3d测量及获取装置
CN109146961B (zh) * 2018-09-05 2019-12-31 天目爱视(北京)科技有限公司 一种基于虚拟矩阵的3d测量及获取装置
CN110827196A (zh) * 2018-09-05 2020-02-21 天目爱视(北京)科技有限公司 一种能够对目标物多区域同时进行3d信息采集的装置
CN112016570A (zh) * 2019-12-12 2020-12-01 天目爱视(北京)科技有限公司 用于背景板同步旋转采集中的三维模型生成方法
CN112016570B (zh) * 2019-12-12 2023-12-26 天目爱视(北京)科技有限公司 用于背景板同步旋转采集中的三维模型生成方法

Similar Documents

Publication Publication Date Title
KR102592980B1 (ko) 광 필드 디스플레이 계측
CN108446597B (zh) 一种基于可见光相机的生物特征3d数据采集方法及装置
CN108549873A (zh) 三维人脸识别方法和三维人脸识别系统
CN105335950B (zh) 图像处理方法和图像处理装置
CN108446596A (zh) 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法
CN108416312B (zh) 一种基于可见光拍照的生物特征3d数据识别方法
CN111060023A (zh) 一种高精度3d信息采集的设备及方法
CN108259751A (zh) 一种多相机数据采集控制系统
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
Nishihara Intensity, visible-surface, and volumetric representations
WO2019157989A1 (zh) 生物特征3d数据采集方法和生物特征3d数据识别方法
CN108470149A (zh) 一种基于光场相机的3d四维数据采集方法及装置
CN108319939A (zh) 一种3d四维头部面部数据识别设备
JP7125199B2 (ja) 植物の監視のためのシステム、方法及びコンピュータプログラム製品
CN108520230A (zh) 一种3d四维手部图像数据识别方法及设备
CN108229448A (zh) 一种手部3d四维数据采集装置
CN108470186A (zh) 一种图像特征点的匹配方法及装置
CN108470150A (zh) 一种基于可见光相机的生物特征四维数据采集方法及装置
CN108550184A (zh) 一种基于光场相机的生物特征3d四维数据识别方法及系统
Lanteri et al. 2D and 3D ultraviolet fluorescence applications on cultural heritage paintings and objects through a low-cost approach for diagnostics and documentation
CN111208138A (zh) 一种智能木料识别装置
CN110288714B (zh) 一种虚拟仿真实验系统
CN108460368A (zh) 三维图像合成方法、装置及计算机可读存储介质
CN108492330B (zh) 一种多目视觉深度计算方法及装置
CN108334873A (zh) 一种3d四维手部数据识别设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180706

WW01 Invention patent application withdrawn after publication