CN102706275B - 基于双图像传感器的空间曲面扫描与重构装置与方法 - Google Patents

基于双图像传感器的空间曲面扫描与重构装置与方法 Download PDF

Info

Publication number
CN102706275B
CN102706275B CN201210146138.3A CN201210146138A CN102706275B CN 102706275 B CN102706275 B CN 102706275B CN 201210146138 A CN201210146138 A CN 201210146138A CN 102706275 B CN102706275 B CN 102706275B
Authority
CN
China
Prior art keywords
coordinate
sensor
point
space
lens group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210146138.3A
Other languages
English (en)
Other versions
CN102706275A (zh
Inventor
高静
叶颖聪
史再峰
徐江涛
姚素英
聂凯明
高志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201210146138.3A priority Critical patent/CN102706275B/zh
Publication of CN102706275A publication Critical patent/CN102706275A/zh
Application granted granted Critical
Publication of CN102706275B publication Critical patent/CN102706275B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Input (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及数字图像处理技术领域。为提供一种彩色图像采集装置，采集到更加真实的彩色图像，解决探测器与传感器空间位置相对固定的限制，实现便携手持扫描；并且解决点扫描的效率问题，每一次采样可重构出一条空间曲线的数据，实现高速扫描。为达到上述目的，本发明采取的技术方案是，基于双图像传感器的空间曲面扫描与重构装置，由激光二极管与光学镜片组构成的手持探测装置、光学镜头组、图像传感器、专用图像处理芯片、外部存储芯片、接口控制器组成。本发明主要应用于数字图像处理、便携手持扫描。

Description

基于双图像传感器的空间曲面扫描与重构装置与方法
技术领域
本发明涉及数字图像处理技术领域，具体讲，涉及基于双图像传感器的空间曲面扫描与重构方法。
背景技术
激光三角空间扫描是一种采用激光探测环境的主动空间扫描方法，其原理如图1所示。激光发射器101发出一束激光在物体上形成一个光斑点，并使用一个数字相机(镜头组102与图像传感器103)来寻找该点的位置。取决于物体表面点与激光发射器的距离，光斑点的像出现在相机视场的不同位置。此方法中激光发射器101、光斑点与图像传感器103构成一个三角形。三角形的一边即激光发射器101与传感器103的距离是已知的，激光发射器101角的角度也是已知的。光斑点在相机视场中的位置则可计算出传感器103角的角度，这三个数值完全确定了一个三角形，因此可以计算出光斑点一角的实际空间位置。此方法要求发射器101与数字相机的位置相对固定，而且每次采样只能得到曲面表面一个点的坐标。
发明内容
本发明旨在克服现有技术的不足，提供一种彩色图像采集装置，采集到更加真实的彩色图像，解决探测器与传感器空间位置相对固定的限制，实现便携手持扫描；并且解决点扫描的效率问题，每一次采样可重构出一条空间曲线的数据，实现高速扫描。为达到上述目的，本发明采取的技术方案是，基于双图像传感器的空间曲面扫描与重构装置，由激光二极管与光学镜片组构成的手持探测装置、光学镜头组、图像传感器、专用图像处理芯片、外部存储芯片、接口控制器组成；手持探测装置产生低功率的带状激光，投射在目标物体上形成空间曲线，空间曲线透过光学镜头组在图像传感器上成像，两片图像传感器在专用图像处理芯片的控制下，以相同的采样率作连续采集，图像处理芯片为图像传感器提供参考时钟和必要的控制信号，并将两个传感器捕获到的图像数据暂存于外部存储芯片302中，用于计算空间点云坐标，图像处理芯片计算得到的坐标数据写入到接口控制器中，并通过数据接口发送到上位机作进一步处理。
基于双图像传感器的空间曲面扫描与重构方法，采用手持探测装置产生低功率的带状激光，投射在目标物体上形成空间曲线；使空间曲线透过光学镜头组在图像传感器上成像，两片图像传感器在专用图像处理芯片的控制下，以相同的采样率作连续采集，图像处理芯片为图像传感器提供参考时钟和必要的控制信号，并将两个传感器捕获到的图像数据暂存于外部存储芯片中，用于计算空间点云坐标，图像处理芯片计算得到的坐标数据写入到接口控制器中，并通过数据接口发送到上位机作进一步处理；计算空间点云坐标包括如下步骤：
光学镜头组有效焦距为f，设在焦前有限距离p的物体，于焦后距离为q的平面成像，物体与镜头组的距离a和镜头组与图像传感器的距离b表示为：
a＝f+p                   (1)
b＝f+q                   (2)
又由光路中的三角相似关系及式(1)(2)整理得到：
1/f＝1/a+1/b                 (3)
以安装在一个可调直角支架上的两片图像传感器、光学镜头组、被测物体建立一个笛卡尔空间坐标系，原点为O；一个传感器与光学镜头组在Y轴上，坐标为(0，a，0)并且轴线与Y轴重合；另一个传感器与光学镜头组在X轴上，坐标为(a，0，0)并且轴线与X轴重合；光学镜头组的焦距为f，则由式(3)可计算得到b的值；
手持探测器发出带状激光射向目标，在某一时刻目标表面反射激光形成的曲线被图像传感器捕获到，采用专用图像处理芯片将依靠存储在外存中的这两帧图像重构出一条空间曲线，步骤如下：
1)通过加权平均法得到曲线在每行像素上的坐标，每个坐标对应物体表面的一个兴趣点；
2)对于一个传感器捕获的任意兴趣点的投影(x1，y1)与垂直距离为b处的镜头中心点(0，a，0)确定了一条空间直线v，该直线在另一个传感器上的投影与其捕获曲线的交点(x2，y2)为当前兴趣点在另一个传感器上的投影，(x2，y2)的值由另一个传感器捕获的兴趣点集中与v最近的两个点插补得到；
3)设物体表面当前兴趣点的空间坐标为(x，y，z)，由空间几何关系得到：
x∶x1＝(a-y)∶b                   (4)
y∶x2＝(a-x)∶b                   (5)
z∶y1＝(a-y)∶b                   (6)
整理得：
x＝a(bx1-x1x2)/(b2-x1x2)          (7)
y＝a(bx2-x1x2)/(b2-x1x2)          (8)
z＝a(by1-y1x2)/(b2-x1x2)          (9)
4)对一个传感器捕获的所有投影点进行以上操作，得到一组空间曲线点云坐标；
5)对于另一个传感器捕获的任意投影点(x2，y2)，同样有：
x＝a(bx1-x1x2)/(b2-x1x2)          (10)
y＝a(bx2-x1x2)/(b2-x1x2)          (11)
z＝a(by2-y2x1)/(b2-x1x2)          (12)
重复1)至4)提及的处理，得到另一组空间曲线点云坐标；
6)对4)和5)的结果进行误差消除处理，得到最终的空间曲线点云坐标数据；
两个图像传感器205和206作同步的连续采样，每采样一次，图像处理芯片重构出一组空间曲线点云，用户通过挥动手持探测器描过目标，可重构出目标表面的点云坐标，对于兴趣区域可作多次扫描以产生出更密集的点云数据，以提高重构精度；点云数据通过接口控制器上传至计算机可作进一步误差和冗余数据消除并连接成多边形，得到的多边形在用户软件的协助下可重构出更理想的曲面。
本发明的技术特点及效果：
本发明使用2个图像传感器和定制的专用图像处理芯片完成空间曲面的扫描与重构，目标物体、传感器支架与探测器的相对位置可以不固定，扫描区域与采样密度可人为控制，具有灵活性和便携性；并且单次采样即可重构出一条空间曲线，相对于传统的方法提高了效率。本技术可直接应用于影视娱乐的3D扫描系统中，适合对于便携及兴趣区域可控性有特殊要求的应用场合。
附图说明
图1为现有激光三角法重构物体表面的原理示意图；
图2为本发明实施办法的示意图；
图3为本发明的电路系统结构；
图4为本发明中单个传感器等效光路的示意图；
图5为本发明在图像处理中使用的坐标系示意图；
图6为本发明中两个图像传感器在某一时刻捕获的图像数据及计算原理示意图；
图7为本发明对物体表面重构后的3D多边形示意图。
具体实施方式
本发明的实施办法如图2所示，由激光二极管与光学镜片组构成的手持探测装置201产生低功率的带状激光，投射在目标物体上形成一条空间曲线202，空间曲线透过光学镜头组203和204在图像传感器205和206上形成不同的像，并捕获。用户通过挥动手持探测装置201描过感兴趣的区域，捕获足够多的准连续的空间曲线，从而重构出空间曲面。
本发明的电路系统结构如图3所示，两片图像传感器在定制的专用图像处理芯片301的控制下，以相同的采样率作连续采集。上述专用图像处理芯片可以是专门设计的集成电路芯片，也可以是用通用的FPGA芯片进行编程得到的。图像处理芯片在本发明中采用FPGA编程得到，这个FPGA芯片在本例中选用xilinx公司的virtex-5芯片。图像处理芯片301为图像传感器提供参考时钟和必要的控制信号，并将两个传感器捕获到的图像数据暂存于外部存储芯片302中，用于计算空间点云坐标，计算得到的坐标数据写入到接口控制器303中，并通过数据接口发送到上位机作进一步处理。
下面介绍分立空间曲线上采样点的空间坐标计算。首先考虑单个传感器的光路图，如图4所示，镜头组203和204可等效为一片凸透镜，其有效焦距为f，设在焦前有限距离p的物体，于焦后距离为q的平面成像，物体与镜头组的距离a和镜头组与图像传感器的距离b表示为：
a＝f+p                   (1)
b＝f+q                   (2)
又由光路图中的三角相似关系及式(1)(2)整理得到：
1/f＝1/a+1/b             (3)
传感器205和206安装在一个可调直角支架上，建立一个笛卡尔空间坐标系，如图5所示，原点为0；传感器205与镜头组203在Y轴上，坐标为(0，a，0)并且轴线与Y轴重合；传感器206与镜头组204在X轴上，坐标为(a，0，0)并且轴线与X轴重合；设两组镜头203和204的焦距f已知，则由式(3)可计算得到b的值。
手持探测器201发出带状激光射向目标，在某一时刻目标表面反射激光形成的曲线被图像传感器205和206捕获到，如图6所示。专用图像处理芯片301将依靠存储在外存302中的这两帧图像重构出一条空间曲线，原理如下：
7)通过加权平均法得到曲线在每行像素上的坐标，每个坐标对应物体表面的一个兴趣点；
8)对于传感器205捕获的任意兴趣点的投影(x1，y1)与垂直距离为b处的镜头中心点(0，a，0)确定了一条空间直线v，该直线在传感器206上的投影与其捕获曲线的交点(x2，y2)为当前兴趣点在传感器206上的投影，(x2，y2)的值由传感器206捕获的兴趣点集中与v最近的两个点插补得到。
9)设物体表面当前兴趣点的空间坐标为(x，y，z)，由空间几何关系得到：
x∶x1＝(a-y)∶b                 (4)
y∶x2＝(a-x)∶b                  (5)
z∶y1＝(a-y)∶b                  (6)
整理得：
x＝a(bx1-x1x2)/(b2-x1x2)         (7)
y＝a(bx2-x1x2)/(b2-x1x2)         (8)
z＝a(by1-y1x2)/(b2-x1x2)         (9)
10)对传感器205捕获的所有投影点进行以上操作，得到一组空间曲线点云坐标；
11)对于传感器206捕获的任意投影点(x2，y2)，同样有：
x＝a(bx1-x1x2)/(b2-x1x2)         (10)
y＝a(bx2-x1x2)/(b2-x1x2)         (11)
z＝a(by2-y2x1)/(b2-x1x2)         (12)
重复1)至4)提及的处理，得到另一组空间曲线点云坐标；
12)对4)和5)的结果进行误差消除处理，得到最终的空间曲线点云坐标数据；
两个图像传感器205和206作同步的连续采样，每采样一次，图像处理芯片301重构出一组空间曲线点云，用户通过挥动手持探测器201描过目标，可重构出目标表面的点云坐标，对于兴趣区域可作多次扫描以产生出更密集的点云数据，以提高重构精度。点云数据通过接口控制器303上传至计算机可作进一步误差和冗余数据消除并连接成多边形，保存为通用的OBJ格式，得到的多边形在用户软件的协助下可重构出更理想的曲面，效果如图7所示。
本发明一个最佳实施方式如图2与图3所示，由激光二极管与光学镜片组构成的手持探测装置201产生带状激光投射向目标物体上形成空间曲线202，反射被两片互相垂直的面阵图像传感器205和206与光学镜头203和204构成采集装置所接收，数据暂存于外部存储芯片302中，经图像处理芯片301作重构计算后，得到的空间坐标数据写入到接口控制器303中发送。
本发明应用于三维表面扫描中，可实现兴趣区域的三维多边形重构，特别适合于可移动的三维扫描系统。

Claims (1)

1.一种基于双图像传感器的空间曲面扫描与重构方法，其特征是，采用手持探测装置产生低功率的带状激光，投射在目标物体上形成空间曲线；使空间曲线透过光学镜头组在图像传感器上成像，两片图像传感器在专用图像处理芯片的控制下，以相同的采样率作连续采集，图像处理芯片为图像传感器提供参考时钟和必要的控制信号，并将两个传感器捕获到的图像数据暂存于外部存储芯片中，用于计算空间点云坐标，图像处理芯片计算得到的坐标数据写入到接口控制器中，并通过数据接口发送到上位机作进一步处理；计算空间点云坐标包括如下步骤： 
光学镜头组有效焦距为f，设在焦前有限距离p的物体，于焦后距离为q的平面成像，物体与镜头组的距离a和镜头组与图像传感器的距离b表示为： 
a＝f+p    (1) 
b＝f+q    (2) 
又由光路中的三角相似关系及式(1)(2)整理得到： 
1/f＝1/a+1/b    (3) 
以安装在一个可调直角支架上的两片图像传感器、光学镜头组、被测物体建立一个笛卡尔空间坐标系，原点为O；一个传感器与光学镜头组在Y轴上，坐标为(0,a,0)并且轴线与Y轴重合；另一个传感器与光学镜头组在X轴上，坐标为(a,0,0)并且轴线与X轴重合；光学镜头组的焦距为f，则由式(3)可计算得到b的值； 
手持探测器发出带状激光射向目标，在某一时刻目标表面反射激光形成的曲线被图像传感器捕获到，采用专用图像处理芯片将依靠存储在外存中的这两帧图像重构出一条空间曲线，步骤如下： 
1)通过加权平均法得到曲线在每行像素上的坐标，每个坐标对应物体表面的一个兴趣点； 
2)对于一个传感器捕获的任意兴趣点的投影(x1,y1)与垂直距离为b处的镜头中心点(0,a,0)确定了一条空间直线v，该直线在另一个传感器上的投影与其捕获曲线的交点(x2,y2)为当前兴趣点在另一个传感器上的投影，(x2,y2)的值由另一个传感器捕获的兴趣点集中与v最近的两个点插补得到； 
3)设物体表面当前兴趣点的空间坐标为(x,y,z)，由空间几何关系得到： 
x:x1＝(a-y):b    (4) 
y:x2＝(a-x):b    (5) 
z:y1＝(a-y):b    (6) 
整理得: 
x＝a(bx1-x1x2)/(b2-x1x2)    (7) 
y＝a(bx2-x1x2)/(b2-x1x2)    (8) 
z＝a(by1-y1x2)/(b2-x1x2)    (9) 
4)对一个传感器捕获的所有投影点进行以上操作，得到一组空间曲线点云坐标； 
5)对于另一个传感器捕获的任意投影点(x2,y2)，同样有： 
x＝a(bx1-x1x2)/(b2-x1x2)    (10) 
y＝a(bx2-x1x2)/(b2-x1x2)    (11) 
z＝a(by2-y2x1)/(b2-x1x2)    (12) 
重复1)至4)提及的处理，得到另一组空间曲线点云坐标； 
6)对4)和5)的结果进行误差消除处理，得到最终的空间曲线点云坐标数据； 
两个图像传感器（205，206）作同步的连续采样，每采样一次，图像处理芯片重构出一组空间曲线点云，用户通过挥动手持探测器描过目标，可重构出目标表面的点云坐标，对于兴趣区域可作多次扫描以产生出更密集的点云数据，以提高重构精度；点云数据通过接口控制器上传至计算机可作进一步误差和冗余数据消除并连接成多边形，得到的多边形在用户软件的协助下可重构出更理想的曲面。 
CN201210146138.3A 2012-05-11 2012-05-11 基于双图像传感器的空间曲面扫描与重构装置与方法 Expired - Fee Related CN102706275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210146138.3A CN102706275B (zh) 2012-05-11 2012-05-11 基于双图像传感器的空间曲面扫描与重构装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210146138.3A CN102706275B (zh) 2012-05-11 2012-05-11 基于双图像传感器的空间曲面扫描与重构装置与方法

Publications (2)

Publication Number Publication Date
CN102706275A CN102706275A (zh) 2012-10-03
CN102706275B true CN102706275B (zh) 2014-10-29

Family

ID=46899227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210146138.3A Expired - Fee Related CN102706275B (zh) 2012-05-11 2012-05-11 基于双图像传感器的空间曲面扫描与重构装置与方法

Country Status (1)

Country Link
CN (1) CN102706275B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1260544C (zh) * 2004-07-14 2006-06-21 天津大学 双目线结构光传感器一致性精确标定方法及其实施装置
CN101783008A (zh) * 2009-10-13 2010-07-21 上海海事大学 一种基于fpga及dsp功能的超高分辨率遥感图像实时处理平台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1260544C (zh) * 2004-07-14 2006-06-21 天津大学 双目线结构光传感器一致性精确标定方法及其实施装置
CN101783008A (zh) * 2009-10-13 2010-07-21 上海海事大学 一种基于fpga及dsp功能的超高分辨率遥感图像实时处理平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
便携式激光扫描三维形貌测量系统;邾继贵;《机械工程学报》;20050228;第41卷(第2期);第165页第二栏第2段 *
邾继贵.便携式激光扫描三维形貌测量系统.《机械工程学报》.2005,第41卷(第2期),第165页第二栏第2段.

Also Published As

Publication number Publication date
CN102706275A (zh) 2012-10-03

Similar Documents

Publication Publication Date Title
AU2012307095B2 (en) System and method for three-dimensional surface imaging
KR101643079B1 (ko) 데이터를 위치 맞춤하는 방법
CN110230983B (zh) 抗振式光学三维定位方法及装置
KR102583723B1 (ko) 라이트 필드를 나타내는 데이터를 생성하기 위한 방법 및 장치
CN105157602A (zh) 基于机器视觉的远程三维扫描系统及方法
CN102679959A (zh) 基于主动全景视觉传感器的全方位三维建模系统
CN107421462A (zh) 基于线激光扫描的物体三维轮廓测量系统
US10893190B2 (en) Tracking image collection for digital capture of environments, and associated systems and methods
JP6969121B2 (ja) 撮像システム、画像処理装置および画像処理プログラム
CN103340606B (zh) 光切换人体三维扫描系统及其工作方法
Wenzel et al. High-resolution surface reconstruction from imagery for close range cultural Heritage applications
CN204863196U (zh) 一种三维人体扫描装置
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
Xueqin et al. Depth camera in computer vision and computer graphics: an overview
Ringaby et al. Scan rectification for structured light range sensors with rolling shutters
CN102706275B (zh) 基于双图像传感器的空间曲面扫描与重构装置与方法
CN110705487A (zh) 掌纹采集设备、方法及其图像采集装置
Palka et al. 3D object digitization devices in manufacturing engineering applications and services
CN209978890U (zh) 一种多激光线快速检测系统
Zhang et al. Recent reviews on machine vision-based 3D reconstruction
Jiang et al. Real-time panoramic system for underwater cleaning robot
JP2004170277A (ja) ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
Chikurtev et al. 3D modelling for object recognition with depth sensors
CN116643648B (zh) 一种三维场景匹配交互方法、装置、设备及存储介质
CN112085839B (zh) 一种灵活、多功能的三维重建方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141029

Termination date: 20210511