CN114095715A - 一种动态目标的结构光扫描成像方法及其成像装置 - Google Patents

一种动态目标的结构光扫描成像方法及其成像装置 Download PDF

Info

Publication number
CN114095715A
CN114095715A CN202111370071.7A CN202111370071A CN114095715A CN 114095715 A CN114095715 A CN 114095715A CN 202111370071 A CN202111370071 A CN 202111370071A CN 114095715 A CN114095715 A CN 114095715A
Authority
CN
China
Prior art keywords
projection
module
channel image
measured
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111370071.7A
Other languages
English (en)
Inventor
赵东旭
姜洋
王飞
王云鹏
范翊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202111370071.7A priority Critical patent/CN114095715A/zh
Publication of CN114095715A publication Critical patent/CN114095715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种动态目标的结构光扫描成像方法及其成像装置，包括成像模块和投影模块；成像模块和投影模块均位于待测目标区域的上方；投影模块用于在待测目标区域形成投影信息；成像模块用于接收并处理待测目标的离散位置信息。本发明投影端通过RGB三色投影，接收端利用RGB三色棱镜分光以同时接收三幅图像，将同时拍摄的三幅图像合成一张三维图片，实现了动态目标的高速实时轮廓采集。

Description

一种动态目标的结构光扫描成像方法及其成像装置
技术领域
本发明属于用于小动物活体成像三维立体扫描技术领域，具体涉及一种动态目标的结构光扫描成像方法及其成像装置。
背景技术
由于活体小动物荧光成像，组织内部的光信号较弱滤光片带宽较窄，相机接收到为局部单色光通常无法获得生物发光点在生物体中的相对位置，在活体生物荧光成像设备中加入结构光或其他三维扫描装置可以对小动物整体外轮廓辅助建模。
传统的活体小动物光学成像为麻醉后的静态，通过结构光扫描的方式用于几何空间中生物器官的三维坐标定位，或者与其他模式影像的二次融合，应用于活体小动物生物发光等实验箱。
传统结构光为单一波段光源投影，通常需要不同时间依次拍摄的三幅或四幅图片经处理合成一张三维图片。由于传统结构光扫描为分时成像，如果观察小动物的非麻醉自然生存状态则要求结构光扫描具备极高的帧频才可以精确反演建模，不利于动态目标的实时扫描。
发明内容
本发明为了克服上述现有技术中的缺陷，提出了一种动态目标的结构光扫描成像方法及其成像装置，该方法的接收端利用RGB三色棱镜分光同时接收三幅图像，利用同时拍摄的三幅图像合成一张三维图片，保证了动态目标的高速实时轮廓采集。为实现上述目的，本发明采用以下具体技术方案：
一种动态目标的结构光扫描成像装置，包括成像模块和投影模块；
成像模块和投影模块均位于待测目标区域的上方；
投影模块用于在待测目标区域形成投影信息；
成像模块用于接收并处理待测目标的离散位置信息；
离散位置信息为由投影信息经待测目标反射后的图像信息。
优选地，成像模块包括RGB分光棱镜、成像镜组和相机组；
RGB分光棱镜用于将带有离散位置信息的成像光束进行分束；
相机组用于同时分别获取经RGB分光棱镜分光后的R、G、B三通道的图像信息。
优选地，投影模块包括RGB光源模块、激光投影模块；
投影信息为由激光投影模块投射的标准正弦光栅条纹图像或散斑图像。
一种动态目标的结构光扫描成像方法，包括步骤：
S1、搭建动态目标的结构光扫描成像装置并对其产生的几何形变进行定标补偿；
S2、同步触发成像模块和投影模块，使相机组同时分别获取含有待测目标的离散位置信息的R通道图像、G通道图像和B通道图像；
S3、根据R通道图像、G通道图像和B通道图像对待测目标的三维结构进行重构。
优选地，投影模块采用透射液晶、LCOS或DLP中的任意一种投影技术。
优选地，步骤S3包括以下步骤：
S301、通过同时获取R通道图像、G通道图像和B通道图像的光强分布，计算得到包含待测物体轮廓信息的包裹相位φw(u,v)：
Figure BDA0003362010970000021
其中，Ir(u,v)、Ig(u,v)、Ib(u,v)分别为R通道图像、G通道图像和B通道图像的光强分布；
S302、将包裹相位φw(u,v)转化为绝对相位Φ(u,v)；
S303、构建待测物体的三维重构模型，得到重构后的待测物体的坐标分布X。
优选地，步骤S302中，通过多频或双频的方法将包裹相位φw(u,v)转化为绝对相位Φ(u,v)。
优选地，步骤S303包括以下步骤：
S3031、构建关于相机组的数学关系模型，实现待测物体的像素坐标从世界坐标系向相机组坐标系的转换；
S3032、构建关于投影模块的数学关系模型，实现待测物体的像素坐标从世界坐标系向投影坐标系的转换。
优选地，数学关系模型为针孔模型。
本发明能够取得以下技术效果：
本发明通过RGB三色投影，接收端利用RGB三色棱镜分光同时接收三幅图像，将同时拍摄的三幅图像合成一张三维图片，实现了动态目标的高速实时轮廓采集。
附图说明
图1是本发明一个实施例的动态目标的结构光扫描成像方法的流程图；
图2是本发明一个实施例的动态目标的结构光扫描成像装置的示意图；
图3是本发明一个实施例的RGB分光组件的示意图。
附图标记：
RGB分光棱镜1、成像镜组2、RGB光源模块3、激光投影模块4、待测目标区域5、第一相机6、第二相机7、第三相机8。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
本发明的目的是提供一种动态目标的结构光扫描成像方法及成像装置。下面将对本发明提供的一种动态目标的结构光扫描成像方法及成像装置，通过具体实施例来进行详细说明。
图2和图3示出了本发明的一种动态目标的结构光扫描成像装置，参见图2-图3，包括位于待测目标区域5上方的成像模块和投影模块。投影模块用于向待测目标区域5投射带有条纹的图像，形成投影信息；具有投影信息的条纹图像在遇到待测目标时会产生弯曲变形，形成携带有待测目标离散位置信息的变形条纹图像，变形条纹图像被成像模块接收并进行数据处理，最终得到重构待测目标需要的三维结构数据信息，即坐标分布X。
在本发明的一个优选实施例中，投影模块包括：RGB光源模块3和激光投影模块4，RGB光源模块3和激光投影模块4共同构成投影仪，使RGB光源模块3经过激光投影模块4产生的标准正弦光栅的条纹图像投射在待测目标区域5上。
成像模块包括：RGB分光棱镜1、成像镜组2和相机组，相机组包括第一相机6、第二相机7、第三相机8。RGB分光棱镜1将成像镜2组接收到的带有待测目标的离散位置信息的成像光束分束为R光、G光和B光，分别对应通过R、G、B三个通道入射至相机组中第一相机6、第二相机7和第三相机8，在相机组中同时生成关于RGB三种波长的具有待测目标离散位置信息的变形条纹图像。
常规的三维结构光扫描为单一光源单一相机，如果采用多光源多机位采集会产生相对位置数据偏差。因此，本发明采用棱镜分光的方式分通道采集，相当于三个光源同时投影，对于动态变化的条纹图像的位置，通过某一瞬间的RGB三幅图像即可实现对当时待测目标的三维结构的重建。
在本发明的另一个优选实施例中，还可以利用激光投影模块4投射的散斑图像对待测目标进行三维结构的重构。
下面利用上述装置进行的扫描成像方法进行详细说明，参见图1示出的动态目标的结构光扫描成像方法的流程，包括以下步骤：
S1、搭建动态目标的结构光扫描成像装置并对其产生的几何形变进行定标补偿。
在本发明的一个优选实施例中，通过使用静态校准靶标对搭建的结构光扫描成像装置中的光学器件以及因搭建光学器件所形成的视角而造成的几何变形进行标定补偿。
S2、同步触发成像模块和投影模块，使相机组同时分别获取含有待测目标的离散位置信息的R通道图像、G通道图像和B通道图像。
在本发明的一个优选实施例中，成像模块和投影模块均位于待测目标区域5的上方，成像镜组2和激光投影模块4正对待测目标。在标定及测试过程中成像模块和投影模块相对位置角度均固定，RGB光源模块3与相机组的硬件同步触发采集数据，R、G、B三种颜色的光同时发出互不干扰，接收也为独立通道，因此可以同时使第一相机6、第二相机7和第三相机8分别获取待测目标的R、G、B三通道的图像。
RGB光源模块3为半导体激光光源，半导体激光光源通过透射液晶、LCOS或DLP等投影技术在待测目标区域5上产生一维强度成正弦周期变化的平行正弦光栅条纹图像，直线光栅条纹图像在遇到曲面物体时会产生弯曲变形，利用成像光路获取完全变形后的R、G、B三通道图像即可对待测目标的三维结构进行重建。
S3、根据R通道图像、G通道图像和B通道图像对待测目标的三维结构进行重构。
具体包括以下步骤：
S301、通过获取R通道图像、G通道图像和B通道图像的光强分布，计算得到包含待测物体轮廓信息的包裹相位。
在本发明的一个优选实施例中，第一相机6、第二相机7和第三相机8分别同时采集到R、G、B三通道的正弦光栅条纹图像的强度存在如下关系式：
Figure BDA0003362010970000051
Ig(u,v)＝I′(u,v)+I″(u,v)cos(Φ(u,v)) (3)；
Figure BDA0003362010970000061
其中，I′(u,v)为三幅正弦光栅条纹图像的光强平均值分布；
I″(u,v)为经待测目标反射后的三幅正弦光栅条纹图像的调制光强分布；
Φ(u,v)为包含待测目标的轮廓信息的绝对相位分布。
由相机组采集到的强度分布Ir(u,v)、Ig(u,v)、Ib(u,v)可以计算出包含待测目标的轮廓信息的-π到π的包裹相位φw(u,v)：
Figure BDA0003362010970000062
S302、将包裹相位φw(u,v)转化为绝对相位Φ(u,v)；
在本发明的一个优选实施例中，由于包裹相位呈周期变化，同一个相位无法确定对应的像素，而绝对相位可以找到对应的像素，因此需要对包裹相位进行解包裹。本发明中使用比较成熟的相位解包裹算法如，多频、双频等方法将包裹相位φw(u,v)转化成连续的绝对相位Φ(u,v)。
S303、构建待测物体的三维重构模型，得到重构后的待测物体的坐标分布X。
具体包括如下步骤：
S3031、构建关于相机组的数学关系模型，实现待测物体的像素坐标从世界坐标系向相机组坐标系的转换；
在本发明的一个优选实施例中，采用传统的针孔模型来描述相机和投影模块的成像过程，相机的针孔模型如下：
sc[uc,vc,1]T＝Ac[Rc,tc][xw,yw,zw,1]T (5)
其中，sc为相机针孔模型的尺度因子；
上标c表示相机坐标系，上标w表示世界坐标系；
Figure BDA0003362010970000071
为相机的内参矩阵，用以实现相机坐标系向相机像素坐标系的转换；
Figure BDA0003362010970000072
为相机的焦距，
Figure BDA0003362010970000073
为相机的主点；
Rc和tc分别为相机的旋转与平移矩阵，用以实现世界坐标系向相机坐标系的转换。
S3032、构建关于投影模块的数学关系模型，实现待测物体的像素坐标从世界坐标系向投影模块坐标系的转换；
在本发明的一个优选实施例中，投影模块的针孔模型如下：
sp[up,vp,1]T＝Ap[Rp,tp][xw,yw,zw,1]T (6)
其中，sp为投影模块针孔模型的尺度因子；
上标c表示投影坐标系，上标w表示世界坐标系；
Figure BDA0003362010970000074
为投影模块的内参矩阵，用以实现投影坐标系向投影像素坐标系的转换；
Figure BDA0003362010970000075
为投影模块的焦距，
Figure BDA0003362010970000076
为投影模块的主点；
Rp和tp分别为投影模块的旋转与平移矩阵，用以实现世界坐标系向投影坐标系的转换。
S303、构建待测物体的三维重构模型，得到重构后的待测物体的坐标分布X。
在本发明的一个优选实施例中，为了在对三维结构重构模型进行重构时书写方便，记：
Figure BDA0003362010970000077
Figure BDA0003362010970000078
因此，结合公式(5)和公式(6)，可以得到如下的三维结构重构模型：
Figure BDA0003362010970000081
其中，
Figure BDA0003362010970000082
T为正弦光栅的周期。
利用公式(7)得到重构后的待测物体在世界坐标系下的三维坐标分布X＝(MTM)-1(MTN)，
其中，
Figure BDA0003362010970000083
Figure BDA0003362010970000084
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种动态目标的结构光扫描成像装置，其特征在于，包括成像模块和投影模块；
所述成像模块和所述投影模块均位于待测目标区域的上方；
所述投影模块用于在所述待测目标区域形成投影信息；
所述成像模块用于接收并处理待测目标的离散位置信息；
所述离散位置信息为由所述投影信息经所述待测目标反射后的图像信息。
2.根据权利要求1所述的动态目标的结构光扫描成像装置，其特征在于，所述成像模块包括RGB分光棱镜、成像镜组和相机组；
所述RGB分光棱镜用于将带有所述离散位置信息的成像光束进行分束；
所述相机组用于同时分别获取经所述RGB分光棱镜分光后的R、G、B三通道的图像信息。
3.根据权利要求1所述的动态目标的结构光扫描成像装置，其特征在于，所述投影模块包括RGB光源模块、激光投影模块；
所述投影信息为由所述激光投影模块投射的标准正弦光栅条纹图像或散斑图像。
4.一种动态目标的结构光扫描成像方法，其特征在于，包括步骤：
S1、搭建如权利要求1-3任一项所述的动态目标的结构光扫描成像装置并对其产生的几何形变进行定标补偿；
S2、同步触发成像模块和投影模块，使相机组同时分别获取含有待测目标的离散位置信息的R通道图像、G通道图像和B通道图像；
S3、根据所述R通道图像、所述G通道图像和所述B通道图像对待测目标的三维结构进行重构。
5.根据权利要求4所述的动态目标的结构光扫描成像方法，其特征在于，所述投影模块采用透射液晶、LCOS或DLP中的任意一种投影技术。
6.根据权利要求4所述的动态目标的结构光扫描成像方法，其特征在于，步骤S3包括以下步骤：
S301、通过同时获取所述R通道图像、所述G通道图像和所述B通道图像的光强分布，计算得到包含待测物体轮廓信息的包裹相位φw(u,v)：
Figure FDA0003362010960000021
其中，Ir(u,v)、Ig(u,v)、Ib(u,v)分别为所述R通道图像、所述G通道图像和所述B通道图像的光强分布；
S302、将所述包裹相位φw(u,v)转化为绝对相位Φ(u,v)；
S303、构建待测物体的三维重构模型，得到重构后的待测物体的坐标分布X。
7.根据权利要求6所述的动态目标的结构光扫描成像方法，其特征在于，在所述步骤S302中，通过多频或双频的方法将所述包裹相位φw(u,v)转化为绝对相位Φ(u,v)。
8.根据权利要求6所述的动态目标的结构光扫描成像方法，其特征在于，步骤S303包括以下步骤：
S3031、构建关于所述相机组的数学关系模型，实现待测物体的像素坐标从世界坐标系向相机组坐标系的转换；
S3032、构建关于所述投影模块的数学关系模型，实现待测物体的像素坐标从世界坐标系向投影坐标系的转换。
9.根据权利要求8所述的动态目标的结构光扫描成像方法，其特征在于，所述数学关系模型为针孔模型。
CN202111370071.7A 2021-11-18 2021-11-18 一种动态目标的结构光扫描成像方法及其成像装置 Pending CN114095715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111370071.7A CN114095715A (zh) 2021-11-18 2021-11-18 一种动态目标的结构光扫描成像方法及其成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111370071.7A CN114095715A (zh) 2021-11-18 2021-11-18 一种动态目标的结构光扫描成像方法及其成像装置

Publications (1)

Publication Number Publication Date
CN114095715A true CN114095715A (zh) 2022-02-25

Family

ID=80301759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111370071.7A Pending CN114095715A (zh) 2021-11-18 2021-11-18 一种动态目标的结构光扫描成像方法及其成像装置

Country Status (1)

Country Link
CN (1) CN114095715A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125205A1 (en) * 2002-12-05 2004-07-01 Geng Z. Jason System and a method for high speed three-dimensional imaging
CN101466998A (zh) * 2005-11-09 2009-06-24 几何信息学股份有限公司 三维绝对坐标表面成像的方法和装置
WO2020168094A1 (en) * 2019-02-15 2020-08-20 Nikon Corporation Simultaneous depth profile and spectral measurement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125205A1 (en) * 2002-12-05 2004-07-01 Geng Z. Jason System and a method for high speed three-dimensional imaging
CN101466998A (zh) * 2005-11-09 2009-06-24 几何信息学股份有限公司 三维绝对坐标表面成像的方法和装置
WO2020168094A1 (en) * 2019-02-15 2020-08-20 Nikon Corporation Simultaneous depth profile and spectral measurement

Similar Documents

Publication Publication Date Title
US11680790B2 (en) Multiple channel locating
CN112985307B (zh) 一种三维扫描仪、系统及三维重建方法
US6101269A (en) Apparatus and method for rapid 3D image parametrization
CN102008282B (zh) 数字印模口内扫描仪及口腔内表面形貌图像实时重建系统
CN112066912B (zh) 模型三维表面轮廓和表面压力同步测量方法及测量装置
JP2002213931A (ja) ３次元形状計測装置および３次元形状計測方法
US20080074648A1 (en) Method and Apparatus for Three-Dimensional Measurement of Objects in an Extended angular range
CN112330732A (zh) 三维数据拼接方法及三维扫描系统、手持扫描仪
CA2275411A1 (en) Apparatus and method for rapid 3d image parametrization
CN112710253B (zh) 三维扫描仪和三维扫描方法
JP2001523827A (ja) 二波長光を用いた三角測量による三次元画像化
CN114018176A (zh) 一种投影图像处理模块、三维重构方法及其系统
CN111879257A (zh) 一种基于傅里叶变换轮廓术的高动态范围实时三维测量方法
JP2004318612A (ja) 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム
CN103376725B (zh) 彩色全息影像的合成系统
JP2005181038A (ja) 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法
Pan et al. Color-encoded digital fringe projection technique for high-speed 3-D shape measurement: color coupling and imbalance compensation
CN105180840B (zh) 基于彩色双频条纹反射的大口径凹镜面面形的测量方法及其装置
CN103809365A (zh) 真三维图像显示系统及真三维图像显示方法
CN207571310U (zh) 压缩感知成像装置
CN114095715A (zh) 一种动态目标的结构光扫描成像方法及其成像装置
Muyshondt et al. A calibrated 3D dual-barrel otoendoscope based on fringe-projection profilometry
CN112325799A (zh) 一种基于近红外光投影的高精度三维人脸测量方法
JP2000193527A (ja) 三次元シミュレ―ション画像の形成方法
CN204480329U (zh) 一种皮肤病量化评价装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220225

RJ01 Rejection of invention patent application after publication