CN110400333B - 教练式双目立体视觉装置及高精度立体视觉图像获取方法 - Google Patents
教练式双目立体视觉装置及高精度立体视觉图像获取方法 Download PDFInfo
- Publication number
- CN110400333B CN110400333B CN201910680675.8A CN201910680675A CN110400333B CN 110400333 B CN110400333 B CN 110400333B CN 201910680675 A CN201910680675 A CN 201910680675A CN 110400333 B CN110400333 B CN 110400333B
- Authority
- CN
- China
- Prior art keywords
- binocular
- image
- images
- neural network
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 61
- 230000009466 transformation Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种教练式双目立体视觉装置及高精度立体视觉图像获取方法，属于立体视觉技术领域，解决了现有立体视觉装置无法同时满足高精和低成本的问题。装置包括：双目立体视觉单元，离线采集视场范围内的双目样本图像及在线采集被测范围的双目实时图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；教练单元获取同一视场范围内的精确立体视觉图像；智能学习单元根据基于双目样本图像得到的双目可见光非立体图像中的一幅、匹配代价图、双目立体视觉图像及精确立体视觉图像，训练存储在智能学习单元中的深度卷积神经网络，直至收敛；还在收敛后，基于处理双目实时图像得到的相应图像，得到被测范围的高精度的立体视觉图像。
Description
技术领域
本发明涉及双目视觉图像校正技术领域，尤其涉及一种教练式双目立体视觉装置及高精度立体视觉图像获取方法。
背景技术
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。基于双目立体视觉的深度测量方式类似人类的双眼，和基于TOF、结构光原理的深度相机不同，它不对外主动投射光源，完全依靠拍摄的两张图片(彩色RGB或者灰度图)来计算深度，因此有时候也被称为被动双目深度相机。
实际应用过程中，双目立体视觉存在以下缺点：1)对环境光照非常敏感。双目立体视觉法依赖环境中的自然光线采集图像，而由于光照角度变化、光照强度变化等环境因素的影响，拍摄的两张图片亮度差别会比较大，这会对匹配算法提出很大的挑战；2)不适用于单调缺乏纹理的场景。由于双目立体视觉法根据视觉特征进行图像匹配，所以对于缺乏视觉特征的场景(如天空、白墙、沙漠等)会出现匹配困难，导致匹配误差较大甚至匹配失败。
激光TOF立体视觉设备能够有效解决双目立体视觉法存在的问题，且测量精度较高，但是由于其设备成本较高，严重限制了激光TOF立体视觉设备的广泛使用。如何实现高精度、低成本的立体视觉，是一个急需解决的问题。
发明内容
鉴于上述的分析，本发明旨在提供一种教练式双目立体视觉装置及高精度立体视觉图像获取方法，用以解决现有立体视觉装置无法满足高精度和低成本要求的问题。
本发明的目的主要是通过以下技术方案实现的：
一种教练式双目立体视觉装置，包括：
双目立体视觉单元，用于离线采集视场范围内的双目样本图像及在线采集被测范围的双目实时图像；基于所述双目样本图像或双目实时图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；
教练单元，用于获取与双目样本图像同一视场范围内的精确立体视觉图像；
智能学习单元，用于根据基于所述双目样本图像得到的双目可见光非立体图像中的一幅、匹配代价图、双目立体视觉图像，以及教练单元输出的精确立体视觉图像，训练存储在所述智能学习单元中的深度卷积神经网络，直至收敛；还用于在训练完成后，根据基于所述双目实时图像得到的双目可见光非立体图像中的一幅、匹配代价图、双目立体视觉图像，得到被测范围的高精度的立体视觉图像。
在上述方案的基础上，本发明还做了如下改进：
进一步，所述双目立体视觉单元包括：两个同参数可见光摄像头和一个控制器；
所述控制器，用于控制两个所述可见光摄像头在同一时刻采集图像，并处理所述同一时刻采集到的两幅图像，得到双目可见光非立体图像、匹配代价图及双目立体视觉图像。
进一步，所述教练单元包括红外激光发射器、高帧频红外摄像头，基于红外激光TOF原理，得到教练单元输出的精确立体视觉图像。
进一步，所述智能学习单元在训练所述深度卷积神经网络前，还根据所述双目立体视觉单元坐标和所述教练单元坐标之间的变换关系，校正所述基于所述双目样本图像得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像，将其统一至同一坐标系中；
所述变换关系通过下述方式确定：
对齐所述双目立体视觉单元和所述教练单元，利用同一视场内的标定物为基准建立坐标系，确定所述双目立体视觉单元坐标和所述教练单元坐标之间的变换关系。
进一步，所述智能学习单元通过执行以下操作训练所述深度卷积神经网络：
以校正后的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像作为深度卷积神经网络的三个通道对齐输入，以校正后的教练单元精确立体视觉图像作为正样本图像，训练所述深度卷积神经网络；
当所述所述深度卷积神经网络训练输出的立体视觉图像与所述正样本图像之间的偏差满足阈值条件时，得到收敛的深度卷积神经网络；
否则，根据以下公式修正正样本图像的每个像素点：
其中，T(x,y)表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值；L(x,y)表示校正后的教练单元精确立体视觉图像中坐标为(x,y)的像素点的像素值；D(x,y)表示校正后的双目立体视觉图像中坐标为(x,y)的像素点的像素值；Tmax、Tmin分别表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值最大值、最小值；k1、k2、k3分别为T(x,y)、L(x,y)、D(x,y)对应的权重系数；
利用修正后的正样本图像继续训练所述深度卷积神经网络，若收敛，得到收敛的深度卷积神经网络；否则，重复上述修正过程。
进一步，所述控制器采用SGB算法或BM算法处理所述同一时刻采集被测范围内的两幅图像，得到双目可见光非立体图像、匹配代价图及双目立体视觉图像。
本发明还公开了一种高精度立体视觉图像获取方法，包括如下步骤：
在线采集被测范围内的双目实时图像，并基于所述双目实时图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；
将基于所述双目实时图像得到的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像输入至训练好的深度卷积神经网络，由所述深度卷积神经网络处理输出高精度立体视觉图像。
在上述方案的基础上，本发明还做了如下改进：
进一步，还包括通过以下方式训练所述深度卷积神经网络：
离线采集视场范围内的双目样本图像，并基于所述双目样本图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；
在同一时刻获取与双目样本图像同一视场范围内的精确立体视觉图像；
校正所述基于所述双目样本图像处理得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像；
将校正后的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像作为深度卷积神经网络的三个通道对齐输入，以校正后的精确立体视觉图像作为正样本图像，训练所述深度卷积神经网络；
当所述深度卷积神经网络训练输出的立体视觉图像与所述正样本图像之间的偏差满足阈值条件时，得到收敛的深度卷积神经网络；
否则，根据以下公式修正正样本图像的每个像素点：
其中，T(x,y)表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值；L(x,y)表示校正后的精确立体视觉图像中坐标为(x,y)的像素点的像素值；D(x,y)表示校正后的双目立体视觉图像中坐标为(x,y)的像素点的像素值；Tmax、Tmin分别表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值最大值、最小值；k1、k2、k3分别为T(x,y)、L(x,y)、D(x,y)对应的权重系数；
利用修正后的正样本图像继续训练所述深度卷积神经网络，若收敛，得到收敛的深度卷积神经网络；否则，重复上述修正过程。
进一步，所述校正所述基于所述双目样本图像处理得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像，包括：
以同一视场内的标定物为基准建立坐标系，确定所述双目立体视觉单元坐标和所述教练单元坐标之间的变换关系；
根据所述变换关系校正所述基于所述双目样本图像得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像，将其统一至同一坐标系中。
进一步，当采集双目实时图像的位置、视场范围或环境光源发生显著变化时，重新训练所述深度卷积神经网络。
本发明有益效果如下：
本发明中提供的教练式双目立体视觉装置具体分为离线训练过程和在线使用过程。在离线训练过程中，利用通过低成本的双目立体视觉单元获取到精度相对较低的双目视觉图像，利用高精度的教练单元获取到精确立体视觉图像；利用深度卷积神经网络确定它们之间的关系，得到训练后的深度卷积神经网络；训练完成后，即可拆除教练单元，仅利用双目立体视觉单元和智能学习单元的配合得到高精度的立体视觉图像，从而实现了利用低成本、低精度的双目视觉部件，获取到高精度的立体视觉图像。该方法适用于双目立体视觉单元安装位置相对固定、环境光源变化较小的场所，如地铁站等。本发明中方法与上述装置基于相同的原理实现，因此，也具备上述装置能够达到的效果。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例中教练式双目立体视觉装置离线训练时的结构示意图；
图2为本发明实施例中教练式双目立体视觉装置在线使用时的结构示意图；
图3为本发明实施例中高精度立体视觉图像获取方法流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
本发明的一个具体实施例，公开了一种教练式双目立体视觉装置，包括：双目立体视觉单元，用于离线采集视场范围内的双目样本图像及在线采集被测范围的双目实时图像；基于所述双目样本图像或双目实时图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；教练单元，用于获取与双目样本图像同一视场范围内的精确立体视觉图像；智能学习单元，用于根据基于所述双目样本图像得到的双目可见光非立体图像中的一幅、匹配代价图、双目立体视觉图像，以及教练单元输出的精确立体视觉图像，训练存储在所述智能学习单元中的深度卷积神经网络，直至收敛；还用于在训练完成后，根据基于所述双目实时图像得到的双目可见光非立体图像中的一幅、匹配代价图、双目立体视觉图像，得到被测范围的高精度的立体视觉图像，该高精度视觉图像具有高分辨率、高清晰度的特点，双目立体视觉装置经过神经网络的学习后可以有效的分辨客流，提高图像的精度，获得学习之前更好的性能。其中，图1为本实施例中教练式双目立体视觉装置离线训练时的结构示意图；图2为本实施例中教练式双目立体视觉装置在线使用时的结构示意图。
与现有技术相比，本发明中提供的教练式双目立体视觉装置具体分为离线训练过程和在线使用过程。在离线训练过程中，利用通过低成本的双目立体视觉单元获取到精度相对较低的双目视觉图像，利用高精度的教练单元获取到精确立体视觉图像；利用深度卷积神经网络确定它们之间的关系，得到训练后的深度卷积神经网络；训练完成后，即可拆除教练单元，仅利用双目立体视觉单元和智能学习单元的配合得到高精度的立体视觉图像，从而实现了利用低成本、低精度的双目视觉部件，获取到高精度的立体视觉图像。该装置适用于双目立体视觉单元安装位置相对固定、环境光源变化较小的场所，如地铁站等。
优选地，本实施例还给出了一种典型的双目立体视觉单元的设置方式，包括：两个相距一定距离的同参数可见光摄像头和一个控制器；其中，控制器用于控制两个所述可见光摄像头在同一时刻采集图像，并采用SGB算法或BM算法处理所述同一时刻采集被测范围内的两幅图像，得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；还可以暂存上述三种图像信息；优选地，为得到精确立体视觉图像，本实施例中的教练单元包括红外激光发射器、高帧频红外摄像头，利用硬件本身的高精度，基于红外激光TOF原理，得到教练单元输出的精确立体视觉图像。
由于双模立体视觉单元与教练单元拍摄图像的位置可能存在偏差，为保证更为精确的处理结果，智能学习单元在训练深度卷积神经网络前，还需要根据所述双目立体视觉单元坐标和所述教练单元坐标之间的变换关系，校正所述基于所述双目样本图像得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像，将其统一至同一坐标系中；本实施例给出了一种变换关系的确定方式：对齐所述双目立体视觉单元和所述教练单元，利用同一视场内的标定物为基准建立坐标系，确定所述双目立体视觉单元坐标和所述教练单元坐标之间的变换关系。
将图像校正至统一坐标系后，即可训练深度积神经网络。本实施中，所述智能学习单元通过执行以下操作训练所述深度卷积神经网络：
以校正后的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像作为深度卷积神经网络的三个通道对齐输入，以校正后的教练单元精确立体视觉图像作为正样本图像，训练所述深度卷积神经网络；
当所述深度卷积神经网络训练输出的立体视觉图像与所述正样本图像之间的偏差满足阈值条件时(阈值是度量神经元产生正激励的难易程度，在记忆学习中，阈值一般由自带的工具箱函数设定，一般是默认的值，也可根据客户要求进行调试，决定了训练时间的长短和训练效果)，得到收敛的深度卷积神经网络；
否则，根据以下公式修正正样本图像的每个像素点：
其中，T(x,y)表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值；L(x,y)表示校正后的教练单元精确立体视觉图像中坐标为(x,y)的像素点的像素值；D(x,y)表示校正后的双目立体视觉图像中坐标为(x,y)的像素点的像素值；Tmax、Tmin分别表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值最大值、最小值，可通过以下方式确定：对坐标(x,y)周围一定范围内的像素点的像素值进行排序，将排序结果中的最大值作为Tmax，最小值作为Tmin；k1、k2、k3分别为T(x,y)、L(x,y)、D(x,y)对应的权重系数；
利用修正后的正样本图像继续训练所述深度卷积神经网络，这种修正方式能使得学习单元不断进行记忆学习，若收敛，得到收敛的深度卷积神经网络；否则，重复上述修正过程。这种修正方法使它能够对双目单元的一般图像进行修正，一旦之后满足了修正的阈值条件，便意味着他的修正能力已经可以使得双目单元和学习单元能够产生跟教练单元类似的高精度立体视觉图像，这种方法是神经网络记忆学习的基本学习方法。(系统中的权重系数由程序中自带的工具箱函数设定，一般是默认的值，也可根据客户要求进行调试，决定了训练时间的长短和训练效果)
实施例2
在本发明的另一实施例中，还公开了一种高精度立体视觉图像获取方法，如图3所示，包括如下步骤：
步骤S1：在线采集被测范围内的双目实时图像，并基于所述双目实时图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；
步骤S2：将基于所述双目实时图像得到的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像输入至训练好的深度卷积神经网络，由所述深度卷积神经网络处理输出高精度立体视觉图像。
在具体实施过程中，通过以下方式训练所述深度卷积神经网络：
步骤S201：离线采集视场范围内的双目样本图像，并基于所述双目样本图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；
步骤S202：在同一时刻获取与双目样本图像同一视场范围内的精确立体视觉图像；
步骤S203：以同一视场内的标定物为基准建立坐标系，确定所述双目立体视觉单元坐标和所述教练单元坐标之间的变换关系；
步骤S204：根据所述变换关系校正所述基于所述双目样本图像得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像，将其统一至同一坐标系中；
步骤S205：将校正后的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像作为深度卷积神经网络的三个通道对齐输入，以校正后的精确立体视觉图像作为正样本图像，训练所述深度卷积神经网络，具体地，
步骤S2051：当所述深度卷积神经网络训练输出的立体视觉图像与所述正样本图像之间的偏差满足阈值条件时，得到收敛的深度卷积神经网络，训练结束；否则，执行步骤S2052；
步骤S2052：根据以下公式修正正样本图像的每个像素点：
其中，T(x,y)表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值；L(x,y)表示校正后的精确立体视觉图像中坐标为(x,y)的像素点的像素值；D(x,y)表示校正后的双目立体视觉图像中坐标为(x,y)的像素点的像素值；Tmax、Tmin分别表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值最大值、最小值；k1、k2、k3分别为T(x,y)、L(x,y)、D(x,y)对应的权重系数；
步骤S2053：利用修正后的正样本图像继续训练所述深度卷积神经网络(即跳转到步骤S2051)，若收敛，得到收敛的深度卷积神经网络；否则，重复上述修正过程。
经过上述过程，能够得到深度卷积神经网络。
训练完成后，将双目实时图像得到的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像输入至训练好的深度卷积神经网络，即可由所述深度卷积神经网络处理输出高精度立体视觉图像。但是，当当采集双目实时图像的位置、视场范围或环境光源发生显著变化时，已训练好的深度卷积神经网络不再适用，需要根据变化后的环境信息，重新进行图像的采集和深度卷积神经网络的训练。
上述方法实施例和装置实施例，基于相同的原理，其相关之处可相互借鉴，且能达到相同的技术效果。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种教练式双目立体视觉装置，其特征在于，包括：
双目立体视觉单元，用于离线采集视场范围内的双目样本图像及在线采集被测范围的双目实时图像；基于所述双目样本图像或双目实时图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；
教练单元，用于获取与双目样本图像同一视场范围内的精确立体视觉图像；
智能学习单元，用于根据基于所述双目样本图像得到的双目可见光非立体图像中的一幅、匹配代价图、双目立体视觉图像，以及教练单元输出的精确立体视觉图像，训练存储在所述智能学习单元中的深度卷积神经网络，直至收敛；还用于在训练完成后，根据基于所述双目实时图像得到的双目可见光非立体图像中的一幅、匹配代价图、双目立体视觉图像，得到被测范围的高精度立体视觉图像；
所述智能学习单元在训练所述深度卷积神经网络前，还根据所述双目立体视觉单元坐标和所述教练单元坐标之间的变换关系，校正所述基于所述双目样本图像得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像，将其统一至同一坐标系中；
所述变换关系通过下述方式确定：
对齐所述双目立体视觉单元和所述教练单元，利用同一视场内的标定物为基准建立坐标系，确定所述双目立体视觉单元坐标和所述教练单元坐标之间的变换关系；
所述智能学习单元通过执行以下操作训练所述深度卷积神经网络：
以校正后的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像作为深度卷积神经网络的三个通道对齐输入，以校正后的教练单元精确立体视觉图像作为正样本图像，训练所述深度卷积神经网络；
当所述深度卷积神经网络训练输出的立体视觉图像与所述正样本图像之间的偏差满足阈值条件时，得到收敛的深度卷积神经网络；
否则，根据以下公式修正正样本图像的每个像素点：
其中，T(x,y)表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值；L(x,y)表示校正后的教练单元精确立体视觉图像中坐标为(x,y)的像素点的像素值；D(x,y)表示校正后的双目立体视觉图像中坐标为(x,y)的像素点的像素值；Tmax、Tmin分别表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值最大值、最小值；k1、k2、k3分别为T(x,y)、L(x,y)、D(x,y)对应的权重系数；
利用修正后的正样本图像继续训练所述深度卷积神经网络，若收敛，得到收敛的深度卷积神经网络；否则，重复上述修正过程。
2.根据权利要求1所述的教练式双目立体视觉装置，其特征在于，所述双目立体视觉单元包括：两个同参数可见光摄像头和一个控制器；
所述控制器，用于控制两个所述可见光摄像头在同一时刻采集图像，并处理所述同一时刻采集到的两幅图像，得到双目可见光非立体图像、匹配代价图及双目立体视觉图像。
3.根据权利要求2所述的教练式双目立体视觉装置，其特征在于，所述教练单元包括红外激光发射器、高帧频红外摄像头，基于红外激光TOF原理，得到教练单元输出的精确立体视觉图像。
4.根据权利要求2所述的教练式双目立体视觉装置，其特征在于，
所述控制器采用BM算法处理所述同一时刻采集被测范围内的两幅图像，得到双目可见光非立体图像、匹配代价图及双目立体视觉图像。
5.一种高精度立体视觉图像获取方法，其特征在于，包括如下步骤：
在线采集被测范围内的双目实时图像，并基于所述双目实时图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；
将基于所述双目实时图像得到的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像输入至训练好的深度卷积神经网络，由所述深度卷积神经网络处理输出高精度立体视觉图像；
通过以下方式训练所述深度卷积神经网络：
离线采集视场范围内的双目样本图像，并基于所述双目样本图像，处理得到双目可见光非立体图像、匹配代价图及双目立体视觉图像；
在同一时刻获取与双目样本图像同一视场范围内的精确立体视觉图像；
校正所述基于所述双目样本图像处理得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像；
将校正后的双目可见光非立体图像中的一幅、匹配代价图及双目立体视觉图像作为深度卷积神经网络的三个通道对齐输入，以校正后的精确立体视觉图像作为正样本图像，训练所述深度卷积神经网络；
当所述深度卷积神经网络训练输出的立体视觉图像与所述正样本图像之间的偏差满足阈值条件时，得到收敛的深度卷积神经网络；
否则，根据以下公式修正正样本图像的每个像素点：
其中，T(x,y)表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值；L(x,y)表示校正后的精确立体视觉图像中坐标为(x,y)的像素点的像素值；D(x,y)表示校正后的双目立体视觉图像中坐标为(x,y)的像素点的像素值；Tmax、Tmin分别表示所述深度卷积神经网络训练输出的立体视觉图像中坐标为(x,y)的像素点的像素值最大值、最小值；k1、k2、k3分别为T(x,y)、L(x,y)、D(x,y)对应的权重系数；
利用修正后的正样本图像继续训练所述深度卷积神经网络，若收敛，得到收敛的深度卷积神经网络；否则，重复上述修正过程。
6.根据权利要求5所述的高精度立体视觉图像获取方法，其特征在于，所述校正所述基于所述双目样本图像处理得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像，包括：
以同一视场内的标定物为基准建立坐标系，确定双目立体视觉单元坐标和教练单元坐标之间的变换关系；
根据所述变换关系校正所述基于所述双目样本图像得到的双目可见光非立体图像、匹配代价图、双目立体视觉图像，以及精确立体视觉图像，将其统一至同一坐标系中；
其中，所述双目立体视觉单元，用于离线采集视场范围内的双目样本图像及在线采集被测范围的双目实时图像；所述教练单元，用于获取与双目样本图像同一视场范围内的精确立体视觉图像。
7.根据权利要求5所述的高精度立体视觉图像获取方法，其特征在于，当采集双目实时图像的位置、视场范围或环境光源发生显著变化时，重新训练所述深度卷积神经网络。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910680675.8A CN110400333B (zh) | 2019-07-26 | 2019-07-26 | 教练式双目立体视觉装置及高精度立体视觉图像获取方法 |
| NL2026030A NL2026030B1 (en) | 2019-07-26 | 2020-07-09 | A Coaching Binocular stereo Vision Device and a Method for Acquiring High-precision stereo Vision Images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910680675.8A CN110400333B (zh) | 2019-07-26 | 2019-07-26 | 教练式双目立体视觉装置及高精度立体视觉图像获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110400333A CN110400333A (zh) | 2019-11-01 |
| CN110400333B true CN110400333B (zh) | 2020-06-26 |
Family
ID=68325076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910680675.8A Active CN110400333B (zh) | 2019-07-26 | 2019-07-26 | 教练式双目立体视觉装置及高精度立体视觉图像获取方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110400333B (zh) |
| NL (1) | NL2026030B1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260711B (zh) * | 2020-01-10 | 2021-08-10 | 大连理工大学 | 一种弱监督可信代价传播的视差估计方法 |
| CN111476767B (zh) * | 2020-04-02 | 2022-04-12 | 南昌工程学院 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
| CN109407697A (zh) * | 2018-09-20 | 2019-03-01 | 北京机械设备研究所 | 一种基于双目视觉测距的无人机跟踪运动目标系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102541559B1 (ko) * | 2017-08-04 | 2023-06-08 | 삼성전자주식회사 | 관심 객체를 검출하는 방법 및 장치 |
| US10803581B2 (en) * | 2017-11-06 | 2020-10-13 | Beijing Keya Medical Technology Co., Ltd. | System and method for generating and editing diagnosis reports based on medical images |
-
2019
- 2019-07-26 CN CN201910680675.8A patent/CN110400333B/zh active Active
-
2020
- 2020-07-09 NL NL2026030A patent/NL2026030B1/en active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
| CN109407697A (zh) * | 2018-09-20 | 2019-03-01 | 北京机械设备研究所 | 一种基于双目视觉测距的无人机跟踪运动目标系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110400333A (zh) | 2019-11-01 |
| NL2026030B1 (en) | 2021-09-23 |
| NL2026030A (en) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112505065B (zh) | 一种实现室内无人机对大部件表面缺陷进行检测的方法 | |
| US5832106A (en) | Method for camera calibration of range imaging system by use of neural network | |
| CN113362247B (zh) | 一种激光融合多目相机的语义实景三维重建方法及系统 | |
| EP2194725B1 (en) | Method and apparatus for correcting a depth image | |
| CN106705849B (zh) | 线结构光传感器标定方法 | |
| CN109297436B (zh) | 双目线激光立体测量基准标定方法 | |
| CN109584290A (zh) | 一种基于卷积神经网络的立体图像匹配方法 | |
| CN109827502A (zh) | 一种标定点图像补偿的线结构光视觉传感器高精度标定方法 | |
| CN105740856A (zh) | 一种基于机器视觉的指针式仪表示数读取方法 | |
| CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN109974623B (zh) | 基于线激光和双目视觉的三维信息获取方法和装置 | |
| CN110400333B (zh) | 教练式双目立体视觉装置及高精度立体视觉图像获取方法 | |
| CN103325120A (zh) | 一种快速自适应支持权值双目视觉立体匹配方法 | |
| CN111637834B (zh) | 一种三维数据测量装置及方法 | |
| CN111524174B (zh) | 一种动平台动目标双目视觉三维构建方法 | |
| CN108917640A (zh) | 一种激光盲孔深度检测方法及其系统 | |
| CN107339938A (zh) | 一种用于单目立体视觉自标定的异型标定块及标定方法 | |
| CN111027415A (zh) | 一种基于偏振图像的车辆检测方法 | |
| CN208254424U (zh) | 一种激光盲孔深度检测系统 | |
| CN105513074B (zh) | 一种羽毛球机器人相机以及车身到世界坐标系的标定方法 | |
| CN111105467B (zh) | 一种图像标定方法、装置及电子设备 | |
| CN113393524A (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
| CN116030519A (zh) | 一种直播教学平台的学习注意力检测与评估方法 | |
| CN109544584B (zh) | 一种实现巡检稳像精度测量的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |