CN109754418A - 一种单摄像头立体视觉方法 - Google Patents
一种单摄像头立体视觉方法 Download PDFInfo
- Publication number
- CN109754418A CN109754418A CN201811641513.5A CN201811641513A CN109754418A CN 109754418 A CN109754418 A CN 109754418A CN 201811641513 A CN201811641513 A CN 201811641513A CN 109754418 A CN109754418 A CN 109754418A
- Authority
- CN
- China
- Prior art keywords
- focus degree
- point
- spectrum picture
- stereo vision
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 18
- 239000000571 coke Substances 0.000 claims description 6
- 238000011088 calibration curve Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000011017 operating method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于3D传感器测量技术领域，提供了一种单摄像头立体视觉方法，其包括三个操作步骤：第一步图像获取，利用所述快照式多光谱摄像装置，进行一次曝光零时差采集N幅(N≥2)光谱图像；第二步聚焦清晰度计算：所述图像处理分析装置计算所述N≥2幅光谱图像在每一个像素(X,Y空间位置)聚焦清晰度；第三步深度探测：根据所述聚焦清晰度度，获取每一个像素所对应位置的纵向(即深度)Z信息，完成XYZ立体视觉。该方法克服双目立体视觉运算量大及激光3D视觉系统价格昂贵等缺点，在先进制造、智能机器人移动、无人驾驶汽车导航与避障等具有广泛应用价值。
Description
技术领域
本发明涉及机器视觉，具体涉及一种单摄像头立体视觉方法。
背景技术
自然世界是三维的，有平面(X,Y)位置信息，还包含有Z深度信息。人识别深度信息的方法主要有三种：通过左右眼视差信息，通过眼睛相对于物体运动的运动信息，通过物体表面颜色信息。也有通过物体表面纹理信息探测深度的。
在过去二三十年间，学术界所研究的3D视觉方法主要包括通过分析左右眼视差信息来获取深度信息。尽管文献中对3D视觉进行了长期讨论，但当今大多数机器视觉系统往往依赖于对两个摄像头所获取的两个二维图像进行分析(CN201610987447双目立体视觉系统及深度测量方法、CN201410490534根据立体视图原理的3D相机和用于获取深度图的方法、CN201410490534-根据立体视图原理的3D相机和用于获取深度图的方法)。然而这类双目立体机器视觉方法信息处理量大，难以快速给出深度检测结果。另外双摄像头刻度难度较高，同步控制较难，因此目前还难以在实践中广泛应用。
目前还仍然依赖价格昂贵的激光扫描视觉系统来获取周围环境3D图像信息。激光3D视觉系统采用多路激光束，测量激光束从发出到被障碍物反射回来信息的时间差来计算周边障碍物信息，其缺点是除了价格昂贵外，还有空间分辨率不高，主要以点云形式来表现周边环境及障碍物情况，不能实现逼真的图像信息。
发明内容
本发明的主要目的在于克服已有机器视觉方法尤其是双摄像头立体视觉方法计算量大实时性较差的缺点、已有3D激光视觉系统价格昂贵检测结果为稀疏云团而不能有逼真2D图像信息的缺点，提出一种单摄像头立体视觉方法。
本发明采用如下技术方案：
一种单摄像头立体视觉方法，其特征在于，包括如下步骤：
1)图像获取：采用快照式多光谱摄像装置进行一次曝光零时差，采集N幅光谱图像；
2)聚焦清晰度计算：计算N幅光谱图像在每一个像素的聚焦清晰度；
3)深度探测：根据聚焦清晰度，获取每一个像素所对应纵向位置的深度信息，完成立体视觉。
在步骤3)之前，还包括深度刻度步骤：
2.1)将已知表面形貌的刻度模板放置于已知某一纵向位置，采用快照式多光谱摄像装置进行一次曝光零时差，采集N幅光谱图像；
2.2)计算N幅光谱图像在每一个像素的聚焦清晰度,建立该刻度模板在已知某一纵向位置时，该刻度模板表面不同位置点与N幅光谱图像对应点的聚焦清晰度之间的关系；
2.3)重复步骤2.1)及2.2)，建立刻度模板在P个不同纵向位置时，刻度模板表面不同位置点与N幅光谱图像对应点的聚焦清晰度之间的关系；
2.4)建立刻度模板的纵向深度与步骤2.3)得到的关系之间的关系曲线，得到深度刻度曲线。
所述步骤3)中，采用插值法，将步骤2)的聚焦清晰度代入步骤2.4)的深度刻度曲线，得到所述深度信息。
在步骤1)中，还包括图像预处理方法，包括不同光谱通道的图像灰度归一化处理。
所述深度探测适用于图像上任意两点(X1,Y1)和(X2,Y2)位置前后判断方法，包括如下：
①如果点(X1,Y1)在短波长光谱图像的聚焦清晰度比点(X2,Y2)在该短波长光谱图像的聚焦清晰度差，而点(X1,Y1)在长波长光谱图像焦清晰度比点(X2,Y2)在该长波光谱图像的聚焦清晰度更好，那么该点(X1,Y1)比点(X2,Y2)更远离摄像头；
②反之如果点(X1,Y1)在短波长光谱图像的聚焦清晰度比点(X2,Y2)在该短波长光谱图像的聚焦清晰度好，而点(X1,Y1)在长波长光谱图像焦清晰度比点(X2,Y2)在该长波光谱图像的聚焦清晰度更差，那么该(X1,Y1)比点(X2,Y2)更靠近摄像头。
步骤2)中，采用点扩散函数半径R、边缘扩散宽度或图像在频域空间高频信息含量来代表所述聚焦清晰度；
步骤2)中，采用点扩散函数半径R倒数或由其组成的递减函数代表聚焦清晰度。
所述聚焦清晰度F计算方法可以是边缘算子、梯度算子、空间频率算法或它们的任意组合。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
1、本发明可以一次曝光获得XY平面空间位置自然校准而聚焦清晰度不同的多幅窄带光谱图像。
2、本发明通过配套的分析算法分析对每次曝光所获得的多副光谱窄带图像进行分析，获得周围每个二维位置信息(X,Y)的深度Z信息，实现空间三维(X,Y,Z)的探知。
3、本发明可用于先进制造、智能机器人移动、无人驾驶汽车导航与避障。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明的一种单摄像头立体视觉方法，其通过至少一个快照式多光谱摄像装置和至少一个图像处理分析装置实现，该方法包括以下步骤：
1)图像获取，利用快照式多光谱摄像装置，进行一次曝光零时差采集N幅(N≥2)光谱图像。
2)聚焦清晰度计算：图像处理分析装置计算N≥2幅光谱图像在每一个像素(X,Y空间位置)聚焦清晰度。该步骤中还包括图像预处理方法，其采用不同光谱通道图像灰度归一化处理步骤，使得不同亮度的光谱通道图像可以比拟。
该步骤可采用点扩散函数半径R、边缘扩散宽度或图像在频域空间高频信息含量来代表聚焦清晰度，或者采用点扩散函数半径R倒数或由其组成的递减函数代表聚焦清晰度。该聚焦清晰度F计算方法可以是边缘算子、梯度算子、空间频率算法或它们的任意组合。
还包含一个深度刻度步骤:
2.1)将一个已知表面形貌(或者高度)的刻度模板放置在已知第一位置Z1，采用快照式多光谱摄像装置进行一次曝光零时差，采集N幅光谱图像；
2.2)计算N幅光谱图像在每一个像素的聚焦清晰度,建立该刻度模板在已知某一纵向位置Z1时，该刻度模板表面不同位置点与N幅光谱图像对应点的聚焦清晰度之间的关系及Fi＝1(x,y)的关系。
2.3)重复步骤2.1)及2.2)，建立刻度模板在P个不同纵向位置时，刻度模板表面不同位置点与N幅光谱图像对应点的聚焦清晰度之间的关系；类似地重复P≥3次(类似第一步到第三步循环连续进行)，建立刻度板在P个不同纵向位置Z时候刻度板表面不同位置点与N幅光谱图像对应点的清晰度之间的关系Fi＝2，…,N(x,y)。
2.4)建立刻度模板的纵向深度与步骤2.3)得到的关系之间的关系曲线，得到深度刻度曲线。即根据刻度板表面每个位置(x,y)在不同纵向位置Z＝1,2,…,P及不同光谱图像n＝1,2,…,N聚焦清晰度Fi＝1,2，…,N(x,y)关系,建立纵向深度Z与聚焦清晰度F的关系曲线，即深度刻度曲线。
3)深度探测：根据聚焦清晰度度，获取每一个像素所对应位置的纵向(即深度)Z信息，完成XYZ立体视觉。可采用插值法，将步骤2)的聚焦清晰度代入步骤2.4)的深度刻度曲线，得到深度信息。
本发明的深度探测还可适用于图像任意两点(X1,Y1)和(X2,Y2)位置前后判断方法：
①如果点(X1,Y1)在短波长光谱图像的聚焦清晰度比点(X2,Y2)在该短波长光谱图像的聚焦清晰度差，而点(X1,Y1)在长波长光谱图像焦清晰度比点(X2,Y2)在该长波光谱图像的聚焦清晰度更好，那么该(X1,Y1)比点(X2,Y2)更远离摄像头(更大的Z)；
②反之如果点(X1,Y1)在短波长光谱图像的聚焦清晰度比点(X2,Y2)在该短波长光谱图像的聚焦清晰度好，而点(X1,Y1)在长波长光谱图像焦清晰度比点(X2,Y2)在该长波光谱图像的聚焦清晰度更差，那么该(X1,Y1)比点(X2,Y2)更靠近摄像头(更小的Z)。
使用本发明，可以一次曝光获得XY平面空间位置自然校准而聚焦清晰度不同的多幅窄带光谱图像。该系统的意义在于，可以通过配套的分析算法分析对每次曝光所获得的多副光谱窄带图像进行分析，获得周围每个二维位置信息(X,Y)的深度Z信息，实现空间三维(X,Y,Z)的探知。本发明可用于先进制造、智能机器人移动、无人驾驶汽车导航与避障。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (8)
1.一种单摄像头立体视觉方法，其特征在于，包括如下步骤：
1)图像获取：采用快照式多光谱摄像装置进行一次曝光零时差，采集N幅光谱图像；
2)聚焦清晰度计算：计算N幅光谱图像在每一个像素的聚焦清晰度；
3)深度探测：根据聚焦清晰度，获取每一个像素所对应纵向位置的深度信息，完成立体视觉。
2.如权利要求1所述的一种单摄像头立体视觉方法，其特征在于，在步骤3)之前，还包括深度刻度步骤：
2.1)将已知表面形貌的刻度模板放置于已知某一纵向位置，采用快照式多光谱摄像装置进行一次曝光零时差，采集N幅光谱图像；
2.2)计算N幅光谱图像在每一个像素的聚焦清晰度,建立该刻度模板在已知某一纵向位置时，该刻度模板表面不同位置点与N幅光谱图像对应点的聚焦清晰度之间的关系；
2.3)重复步骤2.1)及2.2)，建立刻度模板在P个不同纵向位置时，刻度模板表面不同位置点与N幅光谱图像对应点的聚焦清晰度之间的关系；
2.4)建立刻度模板的纵向深度与步骤2.3)得到的关系之间的关系曲线，得到深度刻度曲线。
3.如权利要求2所述的一种单摄像头立体视觉方法，其特征在于，所述步骤3)中，采用插值法，将步骤2)的聚焦清晰度代入步骤2.4)的深度刻度曲线，得到所述深度信息。
4.如权利要求1所述的一种单摄像头立体视觉方法，其特征在于：在步骤1)中，还包括图像预处理方法，包括不同光谱通道的图像灰度归一化处理。
5.如权利要求1所述的一种单摄像头立体视觉方法，其特征在于，所述深度探测适用于图像上任意两点(X1,Y1)和(X2,Y2)位置前后判断方法，包括如下：
①如果点(X1,Y1)在短波长光谱图像的聚焦清晰度比点(X2,Y2)在该短波长光谱图像的聚焦清晰度差，而点(X1,Y1)在长波长光谱图像焦清晰度比点(X2,Y2)在该长波光谱图像的聚焦清晰度更好，那么该点(X1,Y1)比点(X2,Y2)更远离摄像头；
②反之如果点(X1,Y1)在短波长光谱图像的聚焦清晰度比点(X2,Y2)在该短波长光谱图像的聚焦清晰度好，而点(X1,Y1)在长波长光谱图像焦清晰度比点(X2,Y2)在该长波光谱图像的聚焦清晰度更差，那么该(X1,Y1)比点(X2,Y2)更靠近摄像头。
6.如权利要求1所述的一种单摄像头立体视觉方法，其特征在于，步骤2)中，采用点扩散函数半径R、边缘扩散宽度或图像在频域空间高频信息含量来代表所述聚焦清晰度。
7.如权利要求1所述的一种单摄像头立体视觉方法，其特征在于，步骤2)中，采用点扩散函数半径R倒数或由其组成的递减函数代表聚焦清晰度。
8.如权利要求1所述的一种单摄像头立体视觉方法，其特征在于，所述聚焦清晰度F计算方法可以是边缘算子、梯度算子、空间频率算法或它们的任意组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811641513.5A CN109754418B (zh) | 2018-12-29 | 2018-12-29 | 一种单摄像头立体视觉方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811641513.5A CN109754418B (zh) | 2018-12-29 | 2018-12-29 | 一种单摄像头立体视觉方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109754418A true CN109754418A (zh) | 2019-05-14 |
| CN109754418B CN109754418B (zh) | 2023-10-31 |
Family
ID=66404491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811641513.5A Active CN109754418B (zh) | 2018-12-29 | 2018-12-29 | 一种单摄像头立体视觉方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109754418B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101943839A (zh) * | 2010-07-06 | 2011-01-12 | 浙江大学 | 一体化的自动聚焦摄像机装置及清晰度评价方法 |
| US20150092099A1 (en) * | 2013-09-30 | 2015-04-02 | The Hong Kong Research Institute Of Textiles And Apparel Limited | Fast focusing method and device for multi-spectral imaging |
| US20150234102A1 (en) * | 2012-08-20 | 2015-08-20 | Drexel University | Dynamically focusable multispectral light field imaging |
| CN106412426A (zh) * | 2016-09-24 | 2017-02-15 | 上海大学 | 全聚焦摄影装置及方法 |
| CN108426538A (zh) * | 2018-02-27 | 2018-08-21 | 华侨大学 | 一种3d形貌检测系统及方法 |
| CN108459417A (zh) * | 2018-02-05 | 2018-08-28 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
-
2018
- 2018-12-29 CN CN201811641513.5A patent/CN109754418B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101943839A (zh) * | 2010-07-06 | 2011-01-12 | 浙江大学 | 一体化的自动聚焦摄像机装置及清晰度评价方法 |
| US20150234102A1 (en) * | 2012-08-20 | 2015-08-20 | Drexel University | Dynamically focusable multispectral light field imaging |
| US20150092099A1 (en) * | 2013-09-30 | 2015-04-02 | The Hong Kong Research Institute Of Textiles And Apparel Limited | Fast focusing method and device for multi-spectral imaging |
| CN106412426A (zh) * | 2016-09-24 | 2017-02-15 | 上海大学 | 全聚焦摄影装置及方法 |
| CN108459417A (zh) * | 2018-02-05 | 2018-08-28 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
| CN108426538A (zh) * | 2018-02-27 | 2018-08-21 | 华侨大学 | 一种3d形貌检测系统及方法 |
Non-Patent Citations (7)
| Title |
|---|
| 吕遐东 等: "基于显微图像散焦特征的微操作机器人深度信息提取", 《机器人》, vol. 25, no. 04, pages 322 - 326 * |
| 吴文杰 等: "基于共聚焦图像序列的深度估计方法", 《计算机应用与软件》 * |
| 吴文杰 等: "基于共聚焦图像序列的深度估计方法", 《计算机应用与软件》, vol. 29, no. 12, 31 December 2012 (2012-12-31), pages 43 - 46 * |
| 李长阳 等: "一种体视显微镜聚焦一致性的判定方法", 《光学技术》 * |
| 李长阳 等: "一种体视显微镜聚焦一致性的判定方法", 《光学技术》, vol. 43, no. 01, 28 February 2017 (2017-02-28), pages 56 - 60 * |
| 江静 等: "基于计算机视觉的深度估计方法", 《光电技术应用》 * |
| 江静 等: "基于计算机视觉的深度估计方法", 《光电技术应用》, vol. 26, no. 01, 28 February 2011 (2011-02-28), pages 51 - 55 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109754418B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10699476B2 (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
| US20190156557A1 (en) | 3d geometric modeling and 3d video content creation | |
| EP3869797B1 (en) | Method for depth detection in images captured using array cameras | |
| US8135211B2 (en) | Method and device for three-dimensional reconstruction of a scene | |
| US9025862B2 (en) | Range image pixel matching method | |
| EP1580523A1 (en) | Three-dimensional shape measuring method and its device | |
| CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
| KR20120058828A (ko) | 3차원 좌표 추출 시스템 및 그 방법 | |
| JP2008535116A (ja) | ３次元レンダリング用の方法及び装置 | |
| KR20090055803A (ko) | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 | |
| US20110187827A1 (en) | Method and apparatus for creating a stereoscopic image | |
| KR20120045269A (ko) | 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치 | |
| JP6285686B2 (ja) | 視差画像生成装置 | |
| KR20120122272A (ko) | 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법 | |
| Beltran et al. | A comparison between active and passive 3d vision sensors: Bumblebeexb3 and Microsoft Kinect | |
| JP2008275366A (ja) | ステレオ３次元計測システム | |
| KR20110112143A (ko) | Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법 | |
| CN111462331B (zh) | 扩展对极几何并实时计算三维点云的查找表方法 | |
| EP3130273B1 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm | |
| CN109754418A (zh) | 一种单摄像头立体视觉方法 | |
| US5144373A (en) | Detection of range discontinuities in stereoscopic imagery | |
| Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
| CN110942480A (zh) | 一种单目单帧多光谱三维成像方法 | |
| JP5457976B2 (ja) | ３次元形状取得装置および３次元形状取得プログラム | |
| CN110751731A (zh) | 一种用于结构光的3d重建方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |