CN106525004A - 双目立体视觉系统及深度测量方法 - Google Patents

双目立体视觉系统及深度测量方法 Download PDF

Info

Publication number
CN106525004A
CN106525004A CN201610987447.1A CN201610987447A CN106525004A CN 106525004 A CN106525004 A CN 106525004A CN 201610987447 A CN201610987447 A CN 201610987447A CN 106525004 A CN106525004 A CN 106525004A
Authority
CN
China
Prior art keywords
pixel
port ram
coordinate
parallax
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610987447.1A
Other languages
English (en)
Inventor
窦仁银
叶平
李嘉俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
People Plus Intelligent Robot Technology (beijing) Co Ltd
Original Assignee
People Plus Intelligent Robot Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by People Plus Intelligent Robot Technology (beijing) Co Ltd filed Critical People Plus Intelligent Robot Technology (beijing) Co Ltd
Priority to CN201610987447.1A priority Critical patent/CN106525004A/zh
Publication of CN106525004A publication Critical patent/CN106525004A/zh
Priority to PCT/CN2017/088492 priority patent/WO2018086348A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于3D传感测量技术领域，提供了一种双目立体视觉系统及深度测量方法。本发明的用于双目立体视觉系统的深度测量方法包括：产生同步触发信号，发送给左图像采集单元和右图像采集单元；采用FPGA的流水和并行设计，对左图像采集单元和右图像采集单元输出的像素点进行畸变与立体矫正处理、立体匹配后得到左图与右图匹配对应的像素点的视差，最后根据视差得到像素点对应的真实物理深度。本发明提供的双目立体视觉系统及深度测量方法，选用了FPGA平台实现，集成度高、处理速度快，满足了实时性的要求，将双目立体视觉技术带到可商用的级别。

Description

双目立体视觉系统及深度测量方法
技术领域
本发明涉及3D传感测量技术领域，具体涉及一种双目立体视觉系统及深度测量方法。
背景技术
双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机(CCD/CMOS)经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。测量方式目前主要分为主动3D测量和被动3D测量。
目前主动3D测量主要原理为通过光学系统打出有结构编码的光，通过成像通过解码获取三维结构，另外一种TOF主要通过测量发送的光束与返回光束之间的相位差进行距离测量。主动式的3D测量主要应用场景为室内的体感交互或是室内机器人。在室外因为阳光导致环境光中含有大量红外光，导致无法产生有效的测量。因此被动式的双目立体系统是比较合适的选择，并且也可以扩展到室内使用。
关于双目立体视觉的研究已经很多年了，学术界提出了很多种算法，也取得了不错的结果，但目前存在的最大的问题是：还没有很好的平台能承载算法的实时性运算需求，通常能取得比较好效果的算法运算量更加大。
目前的双目立体视觉系统的常见方案分为两种：其一为双目+高性能PC方式；其二为双目+高性能GPU方式。采用上述方案的主要原因在于被动式双目立体视觉涉及到的算法复杂度很高，因此需要很强劲的运算单元。选用以上的运算系统有以下几个缺点：成本高，难以小型化，运算单元的动态负载使得实时性有限，很难保证一致的实时性。
发明内容
针对现有技术中的缺陷，本发明提供的双目立体视觉系统及深度测量方法，选用了FPGA平台实现，集成度高、处理速度快，满足了实时性的要求，将双目立体视觉技术带到可商用的级别。
第一方面，本发明提供的一种用于双目立体视觉系统的深度测量方法，包括：产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；获取所述左图像采集单元和所述右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM；读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM；读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差；根据所述视差得到像素点对应的真实物理深度。
本发明提供的用于双目立体视觉系统的深度测量方法，选用了FPGA平台实现，将图像采集预处理、矫正以及处理核输出均集成进去，使用FPGA的并发性以及流水线设计，提高了整个处理流程的速率，满足了实时性的要求，目前已达到的帧率为720p@30fps，480p@120fps，并在提升FPGA资源的情况下能达到更高的性能参数。相比采用专用的GPU芯片的实现方式，本实施例的方案在性能和成本上均达到消费级可用的级别。
优选地，所述读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，包括：根据预先标定的内参数和畸变参数计算第一校正坐标在左图中对应的第一原图坐标；从所述第一双端口RAM中读取与所述第一原图坐标相邻的像素点的像素值；根据读取的像素值和所述第一原图坐标的小数点分量进行双线性插值，得到所述第一校正坐标的像素值，并输入第三双端口RAM；所述读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM，包括：根据预先标定的内参数和畸变参数计算第二校正坐标在右图中对应的第二原图坐标；从所述第二双端口RAM中读取与所述第二原图坐标相邻的像素点的像素值；根据读取的像素值和所述第二原图坐标的小数点分量进行双线性插值，得到所述第二校正坐标的像素值，并输入第四双端口RAM。
优选地，所述根据读取的像素值和所述第一原图坐标的小数点分量进行双线性插值，得到所述第一校正坐标的像素值，包括：根据读取的像素值和所述第一原图坐标的小数点分量，采用定点计算完成双线性差值，得到所述第一校正坐标的像素值；所述根据读取的像素值和所述第二原图坐标的小数点分量进行双线性插值，得到所述第二校正坐标的像素值，包括：根据读取的像素值和所述第二原图坐标的小数点分量，采用定点计算完成双线性差值，得到所述第二校正坐标的像素值。
优选地，所述读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差，包括：读取所述第三双端口RAM中的像素点，使用设定的卷积核对左图图像进行卷积运算，得到左图中像素点的梯度信息，同时，读取所述第四双端口RAM中的像素点，使用设定的卷积核对右图图像进行卷积运算，得到右图中像素点的梯度信息；根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图像素点匹配的像素点作为第一匹配代价结果，根据左图像素点和右图的第一匹配代价结果得到左图视差；同时，根据左图像素点的梯度信息和右图图像素点的梯度信息，在左图中找到与右图像素点匹配的像素点作为第二匹配代价结果，根据右图像素和左图的第二匹配代价结果得到右图视差；选择所述左图视差和所述右图视差中的一个作为视差输出。
优选地，所述卷积核为sobel梯度算子。
优选地，所述根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图像素点匹配的像素点作为第一匹配代价结果，包括：计算左图像素点的度信息与右图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第一匹配代价结果；所述根据左图像素点的梯度信息和右图图像素点的梯度信息，在左图中找到与右图像素点匹配的像素点作为第二匹配代价结果，包括：计算右图像素点的梯度信息与左图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第二匹配代价结果。
优选地，所述根据所述视差得到像素点对应的真实物理深度，包括：根据标定参数中的焦距和基线以及所述视差，使用FPGA中的DSP资源进行浮点运算，得到像素点对应的真实物理深度。
第二方面，本发明提供的一种双目立体视觉系统，包括：左图像采集单元、右图像采集单元、处理单元、数据输出接口；所述左图像采集单元、所述右图像采集单元、所述数据输出接口分别与所述处理单元连接；所述左图采集单元包括第一镜头和第一图像传感器；所述右图采集单元包括第二镜头和第二图像传感器；所述处理单元包括：双目同步模块、数据采集模块、畸变与立体矫正模块、立体匹配模块、深度计算模块和输出接口模块；所述双目同步模块用于产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；所述数据采集模块用于获取所述左图像采集单元和所述右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM；所述畸变与立体矫正模块用于读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM；所述立体匹配模块用于读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差；所述深度计算模块用于根据所述视差得到像素点对应的真实物理深度；所述输出接口模块用于选择输出的数据，同时根据所述数据输出接口对应的协议配置不同的接口。
本发明提供的双目立体视觉系统，使用FPGA作为实际运算处理单元，集成了图像传输、矫正、输出接口，使得双目立体视觉系统可以做到高度集成，使得小型化成为可能，使用定制的电路进行运算，一方面通过并行加速和流水线方式保证了系统的最小延时，获得较高的实时性，另一方面因为运算资源的独占性，使得实时性得到保障。
优选地，还包括补光单元，所述补光单元与所述处理单元连接，所述补光单元用于根据所述处理单元的控制发射补光。可在低光或黑暗环境中使用补光单元，以获得比较好的成像质量。
优选地，还包括纹理增强单元，所述纹理增强单元与所述处理单元连接，所述纹理增强单元用于根据所述处理单元的控制发射结构光。
附图说明
图1为本实施例所提供的用于双目立体视觉系统的深度测量方法的流程图；
图2为本实施例所提供的双目立体视觉系统中的双目同步模块；
图3为同步触发信号产生的流程图；
图4为本实施例所提供的双目立体视觉系统中的数据采集模块；
图5为畸变与立体矫正处理前后的坐标关系；
图6为本实施例所提供的双目立体视觉系统中的畸变与立体矫正处理模块；
图7为实时坐标映射计算模块的FPGA电路设计；
图8为本实施例所提供的双目立体视觉系统中的立体匹配模块；
图9为本实施例所提供的双目立体视觉系统中的深度计算模块；
图10为本实施例所提供的双目立体视觉系统的结构框图；
图11为本实施例所提供的双目立体视觉系统中的输出结构模块。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，本发明实施例提供的用于双目立体视觉系统的深度测量方法，包括：
步骤S1，产生同步触发信号，并将同步触发信号发送给左图像采集单元和右图像采集单元。
其中，左图像采集单元和右图像采集单元共同组成双目成像系统。
步骤S2，获取左图像采集单元和右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM。
步骤S3，读取第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM。
步骤S4，读取第三双端口RAM和第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差。
步骤S5，根据视差得到像素点对应的真实物理深度。
本实施例提供的用于双目立体视觉系统的深度测量方法，选用了FPGA平台实现，将图像采集预处理、矫正以及处理核输出均集成进去，使用FPGA的并发性以及流水线设计，提高了整个处理流程的速率，满足了实时性的要求，目前已达到的帧率为720p@30fps，480p@120fps，并在提升FPGA资源的情况下能达到更高的性能参数。相比采用专用的GPU芯片的实现方式，本实施例的方案在性能和成本上均达到消费级可用的级别。
其中，步骤S1的目的是为左图像采集单元和右图像采集单元产生同步触发信号，使得左图像采集单元和右图像采集单元中的CMOS传感器能同步开始曝光，步骤S1使用FPGA硬件电路实现，能根据CMOS传感器的帧率精确周期性地产生同步触发信号。步骤S1的实现方式如图2所示，通过一个计数器实现同步触发信号的生成，使用一个高频基数时钟作为输入，到使能信号有效时，开始计数，达到计数上限时产生同步触发信号。左图像采集单元和右图像采集单元采集图像的帧率相同，比如时钟频率为F(单位：Mhz)，要想达到帧率为m(单位：帧每秒)时，需要的计数上限T为T＝F/m。同步触发信号产生的具体流程如图3所示，首先，计数器初始化清零；然后，检测使能信号，若使能信号为1，则开始计数；当计数值达到设置的计数上限T时，输出同步触发信号，同时计数器清零，进入下一轮计数。
其中，步骤S2的目的是为了获取左图像采集单元和右图像采集单元中的CMOS传感器输出的图像数据，在FPGA中的具体实现如图4所示，CMOS1和CMOS2各自拥有自己的像素时钟，以不同的时钟分别向各自的FIFO中输入数据，然后在同一个时钟下逐个像素依次输出至第一双端口RAM和第二双端口RAM，以达到同步CMOS1和CMOS2采集输出的像素点。本实施例采用的数据采集方法与传统的软件端采集frame buffer机制不同，本实施例采用的方法不做过多的图像缓存(传统的方式需保存一帧或多帧图像后再进行后续处理)，及时将接收到的像素点输出进行下一步处理。
由于双目成像系统在成像过程中会有畸变，且左图像采集单元和右图像采集单元很难做到光轴平行，输出的左、右图像很难实现平面对齐，因此在立体匹配之前需要进行步骤S3的畸变与立体矫正处理，以保证图像无畸变且满足极线约束。畸变参数及双目成像系统的外参数通过双目标定获取，标定后获取以下参数：
(1)左、右成像系统的内参数和畸变参数，左、右成像系统分别有自己的内参数和畸变参数：
内参数：
畸变参数：
(k1,k2,p1,p2,k3)
其中，f为的焦距，k为径向畸变，p为切向畸变，x为图像横向坐标，y为图像纵向坐标。
(2)外部参数：基线b
(3)立体矫正后的内参(左、右成像系统一致)：
(4)左、右成像系统的旋转矩阵R(3×3)，立体矫正后图像平面相对于立体矫正前的图像平面包含一个旋转，这个旋转通过旋转矩阵R表示。
R＝Rz*Ry*Rz
其中，φ、θ与ψ分别为x、y、z轴对应的旋转量。
根据上述标定的参数，可以得到矫正后图像坐标(u,v)到矫正前图像(u”,v”)的映射关系，具体计算步骤如下：
Step1，归一化：
Step2，旋转图像平面，
Step3，加入畸变，
y”＝y'(1+k1r2+k2r2+k3r6)+pl(r2+2y'2)+2p2x'y'
x”＝x'(1+k1r2+k2r2+k3r6)+2plx'y'+p2(r2+2x'2)
Step4，计入焦距，
u”＝x”fx+cx
v”＝y”fy+cy
其中，(u,v)为整数，(u”,v”)为浮点数，如图5所示，α,β分别为u”和v”的小数部分，通过双线性插值可以得到矫正后的图像位置(u,v)处的像素值d，具体计算方式为：
d＝A(1-α)(1-β)+Bα(1-β)+C(1-α)β+Dαβ
其中，A、B、C、D为(u”,v”)坐标位置对应近邻的四个坐标点下的像素值。
基于上述畸变与立体矫正处理方法，左右两幅图的畸变矫正和立体矫正处理最终转换为坐标映射以及双线性插值运算，左图与右图同时进行变与立体矫正处理大大提高了处理效率。以左图的处理方式为例，步骤S3的优选方式为：
步骤S31，根据预先标定的内参数和畸变参数计算第一校正坐标在左图中对应的第一原图坐标；
步骤S32，从第一双端口RAM中读取与第一原图坐标相邻的像素点的像素值；
步骤S33，根据读取的像素值和第一原图坐标中的小数点分量进行双线性插值，得到第一校正坐标的像素值，并输入第三双端口RAM。
上述步骤为针对左图的进行畸变与立体矫正处理的方法，针对右图的处理方法与上述方法相同，在此不再赘述。
如图6所示，是上述畸变与立体矫正处理方法对应的FPGA算法设计。结合图6，整个畸变与立体矫正处理的工作流程如下：
图像缓存写逻辑模块不断将前端接收的像素点写入双端口RAM，当图像坐标递增模块接收到开始信号，开始触发实时坐标映射计算模块工作，逐个计算出校正图像的第一校正坐标(或第二校正坐标)对应在左图(或右图)中的第一原图坐标(或第二原图坐标)，同时将第一原图坐标输入坐标地址映射模块和像素值读取模块，进而从双端口RAM中读取与第一原图坐标相邻的像素点的像素值，然后双线性插值模块根据获取到的多个像素值和第一原图坐标(或第二原图坐标)的小数点分量插值得到第一校正坐标(或第二校正坐标)的像素值，依此类推，计算校正图像的下一个坐标对应的像素值。图像递增单元的速度受限于前端的双端口RAM的写入速度，原因在于校正图像从映射后的原始图像获取像素值时需保证图像缓存中存在映射的像素点。
其中，在原图中选取与第一原图坐标相邻的像素点时，可以根据各种算法在相邻点中选取合适的像素点，一般使用2×2窗体取相邻的四个像素点，也可以使用3×3窗体，使用2×2窗体插值一般能在一定程度上保证插值后图像的不至于过分平滑。
其中，实时坐标映射值计算的具体公式为：
图7为整个实时坐标映射计算模块的FPGA电路设计，使用基本的加减乘除基本单元进行计算，大大提高了运算速率。
在最终双线性插值计算环节，根据FPGA资源和计算特性，将浮点计算转换为定点计算，使用了6位定点，将浮点运算转换为整数运算和移位运算，具体计算方式为：
a＝64*α
b＝64*β
a＝64-a
b＝64-b
d＝abA+(64-a)bB+a(64-b)C+(64-a)(64-b)D
d＝d>>12
tmp1＝(A-B)*a+(B<<6)
tmp2＝(C-D)*a+(D<<6)
d＝(tmp1-tmp2)*b+(tmp2<<6)
d＝d>>12
步骤S4的主要作用是接收前端校正后的数据进行立体匹配，具体包括：
步骤S41，读取第三双端口RAM中的像素点，使用设定的卷积核对图像进行卷积运算，得到左图中像素点的梯度信息，同时，读取第四双端口RAM中的像素点，使用设定的卷积核对图像进行卷积运算，得到右图中像素点的梯度信息。
其中，左图与右图同时进行卷积运算，大大提高了处理效率。其中，卷积核优选采用sobel梯度算子，使用sobel梯度算子的优势在于依据其建立的特征描述对绝对亮度不敏感，使得左右相机在成像亮度有差异的情况下依然能建立良好的匹配。
步骤S42，根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图的像素点匹配的像素点作为第一匹配代价结果，根据左图像素点和右图的第一匹配代价结果得到左图视差；同时，根据左图像素点的梯度信息和右图图像素点的梯度信息，在左图中找到与右图的像素点匹配的像素点作为第二匹配代价结果，根据右图像素和左图的第二匹配代价结果得到右图视差。
步骤S43，选择左图视差和右图视差中的一个作为视差输出。
上述立体匹配方法的整体设计框架如图8所示，通常立体匹配算法需要很大的存储空间，本实施对立体匹配算法进行了针对于FPGA的设计，大大减少了对存储的要求，结合图8其处理流程为：
分别从第三双端口RAM和第四双端口RAM中提取左图和右图的像素点，分别进行sobel梯度计算，得到左图和右图中的像素点的梯度信息。计算左图的像素点的梯度信息与右图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第一匹配代价结果，根据左图的像素点和右图的第一匹配代价结果之间的坐标距离得到左图视差，同时用相同的方法得到右图视差。然后，选择左图视差和右图视差中的一个作为视差输出，并对输出做中值滤波。其中，聚合窗的尺寸和形状可根据实际需求进行选择。本实施例在立体匹配过程中的特征点选取上使用的是图像局部的相对大小关系而不是绝对大小，因此对于环境的适用性更强。
其中，步骤S5的主要作用是根据步骤S4得到的视差恢复出视差图中某一像素点对应的物理真实深度，主要使用标定参数中的焦距f以及基线b，计算公式为z＝f*b/D，其中D为步骤S4得到的视差，z为当前处理的像素点对应的物理真实深度。如图9所示，步骤S5使用FPGA中的DSP资源进行浮点运算，计算为流水处理，因此对资源的消耗仅为一个乘法器与一个除法器。
基于与上述深度测量方法相同的构思，本实施例还提供了一种双目立体视觉系统，如图10所示，包括：左图像采集单元、右图像采集单元、处理单元、数据输出接口；左图像采集单元、右图像采集单元、数据输出接口分别与处理单元连接。
左图采集单元包括第一镜头和第一图像传感器；右图采集单元包括第二镜头和第二图像传感器。左图采集单元和右图像采集单元组成双目成像单元。其中，第一图像传感器和第二图像传感器可以选用CMOS或CCD。
处理单元包括：双目同步模块、数据采集模块、畸变与立体矫正模块、立体匹配模块、深度计算模块和输出接口模块。
双目同步模块用于产生同步触发信号，并将同步触发信号发送给左图像采集单元和右图像采集单元。
数据采集模块用于获取左图像采集单元和右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM。
畸变与立体矫正模块用于读取第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM。
立体匹配模块用于读取第三双端口RAM和第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差。
深度计算模块用于根据视差得到像素点对应的真实物理深度。
输出接口模块用于选择输出的数据，同时根据数据输出接口对应的协议配置不同的接口。如图11所示，输出接口模块可以根据需要选择各种原始图像、中间处理图像和最终结果输出，还可以FPGA的硬件可编程特性定制不同的输出接口，以适应不同的数据输出接口，如LVDS、USB等。
本实施例提供的双目立体视觉系统，使用FPGA作为实际运算处理单元，集成了图像传输、矫正、输出接口，使得双目立体视觉系统可以做到高度集成，使得小型化成为可能，使用定制的电路进行运算，一方面通过并行加速和流水线方式保证了系统的最小延时，获得较高的实时性，另一方面因为运算资源的独占性，使得实时性得到保障。
为了使系统能适应低光或黑暗的环境，本实施例提供的双目立体视觉系统还包括补光单元，补光单元与处理单元连接，处理单元可以控制补光单元在外部光照不够的情况下发光，以获得比较好的成像质量。补光单元的光源可以为近红外波段也可以为可见光波段。
考虑到环境中的弱纹理区域，本实施例提供的双目立体视觉系统还包括纹理增强单元，纹理增强单元与处理单元连接，纹理增强单元集成了结构光投射模组，在弱纹理区域可打开结构光投射模组，发出结构光，如条纹或是随机斑点等，增强了环境光纹理，提高了测量的准确度。
为了提高系统的环境适应性，第一镜头和第一图像传感器之间、第二镜头和第二图像传感器之间装有IR滤镜，IR滤镜的作用为滤除红外光。其中，第一镜头和第二镜头均为相机专用镜头，镜头上不加近红外滤出膜，使得近红外能透过；在不使用红外补光单元和红外纹理增强单元时可将IR滤镜开关打开，在需要使用近红外波段进行补光或是补充纹理时关闭红外滤镜开关。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种用于双目立体视觉系统的深度测量方法，其特征在于，包括：
产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；
获取所述左图像采集单元和所述右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM；
读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM；
读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差；
根据所述视差得到像素点对应的真实物理深度。
2.根据权利要求1所述的方法，其特征在于，
所述读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，包括：
根据预先标定的内参数和畸变参数计算第一校正坐标在左图中对应的第一原图坐标；
从所述第一双端口RAM中读取与所述第一原图坐标相邻的像素点的像素值；
根据读取的像素值和所述第一原图坐标的小数点分量进行双线性插值，得到所述第一校正坐标的像素值，并输入第三双端口RAM；
所述读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM，包括：
根据预先标定的内参数和畸变参数计算第二校正坐标在右图中对应的第二原图坐标；
从所述第二双端口RAM中读取与所述第二原图坐标相邻的像素点的像素值；
根据读取的像素值和所述第二原图坐标的小数点分量进行双线性插值，得到所述第二校正坐标的像素值，并输入第四双端口RAM。
3.根据权利要求2所述的方法，其特征在于，
所述根据读取的像素值和所述第一原图坐标的小数点分量进行双线性插值，得到所述第一校正坐标的像素值，包括：根据读取的像素值和所述第一原图坐标的小数点分量，采用定点计算完成双线性差值，得到所述第一校正坐标的像素值；
所述根据读取的像素值和所述第二原图坐标的小数点分量进行双线性插值，得到所述第二校正坐标的像素值，包括：根据读取的像素值和所述第二原图坐标的小数点分量，采用定点计算完成双线性差值，得到所述第二校正坐标的像素值。
4.根据权利要求1所述的方法，其特征在于，所述读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差，包括：
读取所述第三双端口RAM中的像素点，使用设定的卷积核对左图图像进行卷积运算，得到左图中像素点的梯度信息，同时，读取所述第四双端口RAM中的像素点，使用设定的卷积核对右图图像进行卷积运算，得到右图中像素点的梯度信息；
根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图像素点匹配的像素点作为第一匹配代价结果，根据左图像素点和右图的第一匹配代价结果得到左图视差；同时，根据左图像素点的梯度信息和右图图像素点的梯度信息，在左图中找到与右图像素点匹配的像素点作为第二匹配代价结果，根据右图像素和左图的第二匹配代价结果得到右图视差；
选择所述左图视差和所述右图视差中的一个作为视差输出。
5.根据权利要求4所述的方法，其特征在于，所述卷积核为sobel梯度算子。
6.根据权利要求4所述的方法，其特征在于，
所述根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图像素点匹配的像素点作为第一匹配代价结果，包括：计算左图像素点的度信息与右图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第一匹配代价结果；
所述根据左图像素点的梯度信息和右图图像素点的梯度信息，在左图中找到与右图像素点匹配的像素点作为第二匹配代价结果，包括：计算右图像素点的梯度信息与左图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第二匹配代价结果。
7.根据权利要求1所述的方法，其特征在于，所述根据所述视差得到像素点对应的真实物理深度，包括：根据标定参数中的焦距和基线以及所述视差，使用FPGA中的DSP资源进行浮点运算，得到像素点对应的真实物理深度。
8.一种双目立体视觉系统，其特征在于，包括：左图像采集单元、右图像采集单元、处理单元、数据输出接口；所述左图像采集单元、所述右图像采集单元、所述数据输出接口分别与所述处理单元连接；
所述左图采集单元包括第一镜头和第一图像传感器；
所述右图采集单元包括第二镜头和第二图像传感器；
所述处理单元包括：双目同步模块、数据采集模块、畸变与立体矫正模块、立体匹配模块、深度计算模块和输出接口模块；
所述双目同步模块用于产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；
所述数据采集模块用于获取所述左图像采集单元和所述右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM；
所述畸变与立体矫正模块用于读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM；
所述立体匹配模块用于读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差；
所述深度计算模块用于根据所述视差得到像素点对应的真实物理深度；
所述输出接口模块用于选择输出的数据，同时根据所述数据输出接口对应的协议配置不同的接口。
9.根据权利要求8所述的系统，其特征在于，还包括补光单元，所述补光单元与所述处理单元连接，所述补光单元用于根据所述处理单元的控制发射补光。
10.根据权利要求8所述的系统，其特征在于，还包括纹理增强单元，所述纹理增强单元与所述处理单元连接，所述纹理增强单元用于根据所述处理单元的控制发射结构光。
CN201610987447.1A 2016-11-09 2016-11-09 双目立体视觉系统及深度测量方法 Pending CN106525004A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610987447.1A CN106525004A (zh) 2016-11-09 2016-11-09 双目立体视觉系统及深度测量方法
PCT/CN2017/088492 WO2018086348A1 (zh) 2016-11-09 2017-06-15 双目立体视觉系统及深度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610987447.1A CN106525004A (zh) 2016-11-09 2016-11-09 双目立体视觉系统及深度测量方法

Publications (1)

Publication Number Publication Date
CN106525004A true CN106525004A (zh) 2017-03-22

Family

ID=58350551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610987447.1A Pending CN106525004A (zh) 2016-11-09 2016-11-09 双目立体视觉系统及深度测量方法

Country Status (2)

Country Link
CN (1) CN106525004A (zh)
WO (1) WO2018086348A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358638A (zh) * 2017-07-19 2017-11-17 智车优行科技（北京）有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN107507245A (zh) * 2017-08-18 2017-12-22 南京阿尔特交通科技有限公司 一种车辆跟驰轨迹的动态采集方法及系统
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN108171744A (zh) * 2017-12-26 2018-06-15 努比亚技术有限公司 一种双目虚化中视差图的确定方法、移动终端及存储介质
CN109509218A (zh) * 2019-01-31 2019-03-22 深兰人工智能芯片研究院（江苏）有限公司 基于fpga获取视差图的方法、装置
CN109598687A (zh) * 2018-12-04 2019-04-09 深慧视(深圳)科技有限公司 双目立体视觉系统及图像校正方法
CN109672876A (zh) * 2017-10-17 2019-04-23 福州瑞芯微电子股份有限公司 深度图处理装置及深度图处理单元
CN109741385A (zh) * 2018-12-24 2019-05-10 浙江大华技术股份有限公司 一种图像处理系统、方法、装置、电子设备及存储介质
CN109883400A (zh) * 2018-12-27 2019-06-14 南京国图信息产业有限公司 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN109887022A (zh) * 2019-02-25 2019-06-14 北京超维度计算科技有限公司 一种双目深度相机的特征点匹配方法
CN110033426A (zh) * 2018-01-12 2019-07-19 杭州海康威视数字技术股份有限公司 一种用于对视差估计图像进行处理的装置
CN110191330A (zh) * 2019-06-13 2019-08-30 内蒙古大学 基于双目视觉绿色作物视频流的深度图fpga实现方法与系统
CN110517307A (zh) * 2019-06-20 2019-11-29 福州瑞芯微电子股份有限公司 利用卷积实现基于激光散斑图的立体匹配方法
CN110533701A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种图像视差确定方法、装置及设备
CN110533708A (zh) * 2019-08-28 2019-12-03 维沃移动通信有限公司 一种电子设备及深度信息获取方法
CN110596720A (zh) * 2019-08-19 2019-12-20 深圳奥锐达科技有限公司 距离测量系统
CN110738608A (zh) * 2019-05-27 2020-01-31 首都师范大学 一种平面图像校正方法及系统
CN111325674A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 图像处理方法、装置及设备
CN111462212A (zh) * 2020-03-26 2020-07-28 华南理工大学 一种针对双目测距的立体匹配成本体积构造的方法
CN111681275A (zh) * 2020-06-16 2020-09-18 南京莱斯电子设备有限公司 一种双特征融合的半全局立体匹配方法
CN112967332A (zh) * 2021-03-16 2021-06-15 清华大学 基于门控成像的双目深度估计方法、装置及计算机设备
CN113284128A (zh) * 2021-06-11 2021-08-20 中国南方电网有限责任公司超高压输电公司天生桥局 基于电力设备的图像融合显示方法、装置和计算机设备
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与系统
CN114018214A (zh) * 2021-10-18 2022-02-08 武汉理工大学 一种基于硬件加速系统的标志物双目亚像素测距方法
CN116485904A (zh) * 2023-03-26 2023-07-25 重庆大学 基于图像梯度阈值计算的改进移动机器人EDLines线段检测方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087247B (zh) * 2018-08-17 2022-12-20 复旦大学 一种对立体图像进行超分的方法
CN109341527B (zh) * 2018-10-22 2023-05-16 广东工业大学 一种自动阴影补偿的结构光投影三维测量系统及方法
CN109711279B (zh) * 2018-12-08 2023-06-20 南京赫曼机器人自动化有限公司 一种用于农业环境的障碍物检测方法
CN111381599A (zh) * 2018-12-28 2020-07-07 中强光电股份有限公司 无人机避障系统及其控制方法
CN111382607B (zh) * 2018-12-28 2024-06-25 北京三星通信技术研究有限公司 活体检测方法、装置及人脸认证系统
CN111754542B (zh) * 2019-03-27 2023-08-04 丰翼科技(深圳)有限公司 目标对象确定方法、跟踪方法、装置、设备及其存储介质
CN110136186B (zh) * 2019-05-10 2022-09-16 安徽工程大学 一种用于移动机器人目标测距的检测目标匹配方法
CN110570453B (zh) * 2019-07-10 2022-09-27 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法
CN110443787B (zh) * 2019-07-30 2023-05-26 云谷（固安）科技有限公司 矫正装置和矫正方法
CN110533710B (zh) * 2019-08-22 2023-07-14 桂林电子科技大学 一种基于gpu的双目匹配算法的方法及处理装置
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法
CN112700486B (zh) * 2019-10-23 2024-05-07 浙江菜鸟供应链管理有限公司 对图像中路面车道线的深度进行估计的方法及装置
CN110969158B (zh) * 2019-11-06 2023-07-25 中国科学院自动化研究所 基于水下作业机器人视觉的目标检测方法、系统、装置
CN111080710A (zh) * 2019-11-22 2020-04-28 深圳晨芯时代科技有限公司 一种ar双目摄像头标定方法
CN111047709B (zh) * 2019-11-29 2023-05-05 暨南大学 一种双目视觉裸眼3d图像生成方法
CN111145271B (zh) * 2019-12-30 2023-04-28 广东博智林机器人有限公司 相机参数的精确度的确定方法、装置、存储介质及终端
CN111239684A (zh) * 2020-01-17 2020-06-05 中航华东光电（上海）有限公司 一种基于YoloV3深度学习的双目快速距离测量方法
CN111429571B (zh) * 2020-04-15 2023-04-07 四川大学 一种基于时空图像信息联合相关的快速立体匹配方法
CN111709985B (zh) * 2020-06-10 2023-07-07 大连海事大学 一种基于双目视觉的水下目标测距方法
CN111798444B (zh) * 2020-07-17 2023-06-27 太原理工大学 基于图像畸变矫正分色处理的无人车间钢管长度测量方法
CN111932602B (zh) * 2020-07-20 2024-04-05 华东交通大学 一种基于变焦双目立体视觉的三维重建方法
CN111899282B (zh) * 2020-07-30 2024-05-14 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN112053404B (zh) * 2020-08-07 2024-04-16 北京中科慧眼科技有限公司 一种双目相机装车后立体校正方法和系统
CN111951193B (zh) * 2020-08-21 2024-02-02 安谋科技（中国）有限公司 图像的水平畸变矫正方法及水平畸变矫正装置
CN111968170A (zh) * 2020-08-26 2020-11-20 广东工业大学 一种基于互相关时延估计的在线双目视觉测距方法
CN112116640B (zh) * 2020-09-11 2024-02-23 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的双目立体匹配方法
CN112116645A (zh) * 2020-09-14 2020-12-22 广东新时空科技股份有限公司 一种基于立体视觉的提取图像深度信息的方法
CN112053781B (zh) * 2020-09-16 2023-04-28 四川大学华西医院 动静态立体视测试方法及终端
EP3985446B1 (fr) 2020-10-14 2023-05-24 The Swatch Group Research and Development Ltd Dispositif de determination de position d'afficheur d'horlogerie
CN112435282B (zh) * 2020-10-28 2023-09-12 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112529795B (zh) * 2020-12-04 2024-01-16 北京中科慧眼科技有限公司 基于fpga的双目相机畸变校正系统、方法和终端设备
CN112634374B (zh) * 2020-12-18 2023-07-14 杭州海康威视数字技术股份有限公司 双目相机的立体标定方法、装置、系统及双目相机
CN112581542A (zh) * 2020-12-24 2021-03-30 北京百度网讯科技有限公司 自动驾驶单目标定算法的评估方法、装置及设备
CN112505065B (zh) * 2020-12-28 2022-11-04 上海工程技术大学 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN112801975B (zh) * 2021-01-28 2023-12-22 中科(湖南)先进轨道交通研究院有限公司 一种基于双目视觉的轨道道砟检验系统及其工作方法
CN113362462B (zh) * 2021-02-01 2024-04-05 中国计量大学 一种基于自监督学习的双目立体视觉视差滤波方法和装置
CN113344945B (zh) * 2021-05-31 2024-04-09 沈阳工业大学 一种基于双目视觉的岩体爆破块度自动分析装置及方法
CN113592953B (zh) * 2021-07-20 2023-05-02 中国科学院西安光学精密机械研究所 一种基于特征点集的双目非合作目标位姿测量方法
CN113554714B (zh) * 2021-07-22 2022-04-05 元橡科技(苏州)有限公司 车载双目立体相机自校正方法及其系统、fpga芯片
CN113763346B (zh) * 2021-08-31 2023-12-01 哈尔滨工业大学（威海） 基于双目视觉的立面作业效果与表面缺陷检测方法
CN113963052B (zh) * 2021-09-22 2023-08-18 西安交通大学 一种基于双目视觉的大型浮空器体积实时监测方法
CN113963107B (zh) * 2021-09-22 2024-04-02 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统
CN113947625B (zh) * 2021-10-15 2024-06-21 中国矿业大学 一种视差面精细建模的双目图像视差计算优化方法
CN114119718A (zh) * 2021-11-29 2022-03-01 福州大学 融合颜色特征和边缘特征的双目视觉绿色植被匹配定位方法
CN114255319B (zh) * 2021-12-09 2022-11-25 苏州大学 一种不同帧率的立体相机的三维重建方法、系统及其应用
CN114119777B (zh) * 2022-01-27 2022-05-17 北京中科慧眼科技有限公司 基于深度学习的立体匹配方法和系统
CN114445473B (zh) * 2022-04-07 2022-07-26 北京中科慧眼科技有限公司 基于深度学习算子的立体匹配方法和系统
CN116721109B (zh) * 2023-08-11 2023-11-03 合肥图迅电子科技有限公司 一种双目视觉图像半全局匹配方法
CN118072148B (zh) * 2024-04-25 2024-06-25 深圳市威远精密技术有限公司 一种精密滚珠丝杠副检测系统及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819638A (zh) * 2010-04-12 2010-09-01 中国科学院计算技术研究所 色情检测模型建立方法和色情检测方法
CN103488356A (zh) * 2013-10-18 2014-01-01 武汉拓宝电子系统有限公司 一种基于红外摄像头三维成像的触摸识别方法
CN103778632A (zh) * 2014-01-18 2014-05-07 南京理工大学 一种基于fpga的立体匹配方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
CN104616304A (zh) * 2015-02-11 2015-05-13 南京理工大学 一种基于fpga的自适应支撑权重的立体匹配方法
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN106525004A (zh) * 2016-11-09 2017-03-22 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN206177294U (zh) * 2016-11-09 2017-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819638A (zh) * 2010-04-12 2010-09-01 中国科学院计算技术研究所 色情检测模型建立方法和色情检测方法
CN103488356A (zh) * 2013-10-18 2014-01-01 武汉拓宝电子系统有限公司 一种基于红外摄像头三维成像的触摸识别方法
CN103778632A (zh) * 2014-01-18 2014-05-07 南京理工大学 一种基于fpga的立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘丽伟 等: "基于双DSP立体测距系统的设计与实现", 《吉林大学学报》 *
王新成: "《高级图像处理技术》", 31 May 2001 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN107358638B (zh) * 2017-07-19 2020-11-27 智车优行科技（北京）有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN107358638A (zh) * 2017-07-19 2017-11-17 智车优行科技（北京）有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN107507245A (zh) * 2017-08-18 2017-12-22 南京阿尔特交通科技有限公司 一种车辆跟驰轨迹的动态采集方法及系统
CN109672876A (zh) * 2017-10-17 2019-04-23 福州瑞芯微电子股份有限公司 深度图处理装置及深度图处理单元
CN108171744A (zh) * 2017-12-26 2018-06-15 努比亚技术有限公司 一种双目虚化中视差图的确定方法、移动终端及存储介质
CN110033426A (zh) * 2018-01-12 2019-07-19 杭州海康威视数字技术股份有限公司 一种用于对视差估计图像进行处理的装置
CN110033426B (zh) * 2018-01-12 2021-07-09 杭州海康威视数字技术股份有限公司 一种用于对视差估计图像进行处理的装置
CN110533701A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种图像视差确定方法、装置及设备
CN109598687A (zh) * 2018-12-04 2019-04-09 深慧视(深圳)科技有限公司 双目立体视觉系统及图像校正方法
CN111325674A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 图像处理方法、装置及设备
CN109741385A (zh) * 2018-12-24 2019-05-10 浙江大华技术股份有限公司 一种图像处理系统、方法、装置、电子设备及存储介质
CN109883400A (zh) * 2018-12-27 2019-06-14 南京国图信息产业有限公司 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN109509218B (zh) * 2019-01-31 2019-10-22 深兰人工智能芯片研究院（江苏）有限公司 基于fpga获取视差图的方法、装置
CN109509218A (zh) * 2019-01-31 2019-03-22 深兰人工智能芯片研究院（江苏）有限公司 基于fpga获取视差图的方法、装置
CN109887022A (zh) * 2019-02-25 2019-06-14 北京超维度计算科技有限公司 一种双目深度相机的特征点匹配方法
CN110738608A (zh) * 2019-05-27 2020-01-31 首都师范大学 一种平面图像校正方法及系统
CN110738608B (zh) * 2019-05-27 2022-02-25 首都师范大学 一种平面图像校正方法及系统
CN110191330A (zh) * 2019-06-13 2019-08-30 内蒙古大学 基于双目视觉绿色作物视频流的深度图fpga实现方法与系统
CN110517307A (zh) * 2019-06-20 2019-11-29 福州瑞芯微电子股份有限公司 利用卷积实现基于激光散斑图的立体匹配方法
CN110596720A (zh) * 2019-08-19 2019-12-20 深圳奥锐达科技有限公司 距离测量系统
CN110533708A (zh) * 2019-08-28 2019-12-03 维沃移动通信有限公司 一种电子设备及深度信息获取方法
CN111462212A (zh) * 2020-03-26 2020-07-28 华南理工大学 一种针对双目测距的立体匹配成本体积构造的方法
CN111462212B (zh) * 2020-03-26 2023-02-10 华南理工大学 一种针对双目测距的立体匹配成本体积构造的方法
CN111681275A (zh) * 2020-06-16 2020-09-18 南京莱斯电子设备有限公司 一种双特征融合的半全局立体匹配方法
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与系统
CN112967332A (zh) * 2021-03-16 2021-06-15 清华大学 基于门控成像的双目深度估计方法、装置及计算机设备
CN113284128A (zh) * 2021-06-11 2021-08-20 中国南方电网有限责任公司超高压输电公司天生桥局 基于电力设备的图像融合显示方法、装置和计算机设备
CN114018214A (zh) * 2021-10-18 2022-02-08 武汉理工大学 一种基于硬件加速系统的标志物双目亚像素测距方法
CN116485904A (zh) * 2023-03-26 2023-07-25 重庆大学 基于图像梯度阈值计算的改进移动机器人EDLines线段检测方法

Also Published As

Publication number Publication date
WO2018086348A1 (zh) 2018-05-17

Similar Documents

Publication Publication Date Title
CN106525004A (zh) 双目立体视觉系统及深度测量方法
Kim et al. Robust radiometric calibration and vignetting correction
CN107917701A (zh) 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN106780590B (zh) 一种深度图的获取方法及系统
CN107635129B (zh) 一种三维三目摄像装置及深度融合方法
CN206177294U (zh) 双目立体视觉系统
CN110070598B (zh) 用于3d扫描重建的移动终端及其进行3d扫描重建方法
WO2021098083A1 (zh) 基于显著特征的多光谱相机动态立体标定算法
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
US10645364B2 (en) Dynamic calibration of multi-camera systems using multiple multi-view image frames
CN107396080A (zh) 产生深度信息的方法及系统
CN105931240A (zh) 三维深度感知装置及方法
CN102057365A (zh) 用于3d绘图的集成处理器
CN109769109A (zh) 基于虚拟视点合成绘制三维物体的方法和系统
Mattoccia Stereo vision algorithms for fpgas
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
CN106254854A (zh) 三维图像的获得方法、装置及系统
WO2016109068A1 (en) Method and system of sub-pixel accuracy 3d measurement using multiple images
CN107798702A (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN103220545A (zh) 一种立体视频实时深度估计系统硬件实现方法
CN110191330A (zh) 基于双目视觉绿色作物视频流的深度图fpga实现方法与系统
CN115035235A (zh) 三维重建方法及装置
CN109931906A (zh) 摄像机测距方法、装置以及电子设备
CN107374638A (zh) 一种基于双目视觉模块的身高测量系统及方法
Ambrosch et al. A miniature embedded stereo vision system for automotive applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322