CN107507249A - 一种智能车立体视觉系统 - Google Patents
一种智能车立体视觉系统 Download PDFInfo
- Publication number
- CN107507249A CN107507249A CN201710862286.8A CN201710862286A CN107507249A CN 107507249 A CN107507249 A CN 107507249A CN 201710862286 A CN201710862286 A CN 201710862286A CN 107507249 A CN107507249 A CN 107507249A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msup
- mfrac
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000004438 eyesight Effects 0.000 claims abstract description 9
- 230000004382 visual function Effects 0.000 claims abstract description 3
- 238000011156 evaluation Methods 0.000 claims description 38
- 238000001914 filtration Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000005603 centrifugal distortion Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Lenses (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种智能车立体视觉系统，包括视觉装置和与视觉装置相连的视觉处理装置，所述视觉装置为相同的两台摄像机，分别安装于智能车的左右两侧，记为左摄像机和右摄像机，所述视觉处理装置用于对视觉装置进行处理以实现智能车视觉功能，所述视觉处理装置包括标定模块、图像获取模块、立体匹配模块和三维重建模块，所述标定模块用于对相同的两台摄像机进行标定，所述图像获取模块采用经过标定的两台摄像机获取图像，所述立体匹配模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述三维重建模块用于根据视差图对三维场景进行重建。本发明有益效果为：实现了智能车立体视觉准确获取。
Description
技术领域
本发明涉及立体视觉技术领域，具体涉及一种智能车立体视觉系统。
背景技术
智能车是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型的高新技术综合体。
智能车视觉系统靠三维测量技术探测并重构周围场景的空间信息或目标的位置信息，为全局决策系统的路径规划提供必需的路况信息，因此三维测量技术是视觉导航系统理解外部环境的核心。由于外部环境复杂多变且无法预测，空间三维信息的重构也是最具挑战性的技术难点。
发明内容
针对上述问题，本发明旨在提供一种智能车立体视觉系统。
本发明的目的采用以下技术方案来实现：
提供了一种智能车立体视觉系统，包括视觉装置和与视觉装置相连的视觉处理装置，所述视觉装置为相同的两台摄像机，分别安装于智能车的左右两侧，记为左摄像机和右摄像机，所述视觉处理装置用于对视觉装置进行处理以实现智能车视觉功能，所述视觉处理装置包括标定模块、图像获取模块、立体匹配模块和三维重建模块，所述标定模块用于对相同的两台摄像机进行标定，所述图像获取模块采用经过标定的两台摄像机获取图像，所述立体匹配模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述三维重建模块用于根据视差图对三维场景进行重建。
本发明的有益效果为：实现了智能车立体视觉的准确获取，提高了智能车的智能化水平。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
附图标记：
视觉装置1、视觉处理装置2。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种智能车立体视觉系统，包括视觉装置1和与视觉装置1相连的视觉处理装置2，所述视觉装置1为相同的两台摄像机，分别安装于智能车的左右两侧，记为左摄像机和右摄像机，所述视觉处理装置2用于对视觉装置1进行处理以实现智能车视觉功能，所述视觉处理装置2包括标定模块、图像获取模块、立体匹配模块和三维重建模块，所述标定模块用于对相同的两台摄像机进行标定，所述图像获取模块采用经过标定的两台摄像机获取图像，所述立体匹配模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述三维重建模块用于根据视差图对三维场景进行重建。
本实施例实现了智能车立体视觉的准确获取，提高了智能车的智能化水平。
优选的，所述对相同的两台摄像机进行标定，采用以下方式进行：
步骤1、确定透镜的畸变模型：
上述式子中，xd、yd为实际的图像坐标，xu、yu为理想的图像坐标，k1、k2为径向畸变参数，p1、p2为离心畸变参数；
步骤2、确定左、右摄像机待标定参数的值，具体为：准备一个模板，打印出并把它贴在一个平整的表面上，通过移动标定模板或摄像机，拍摄多个不同方向和角度的模板图像，采用张氏标定法确定左、右摄像机的内部参数、外部参数、径向畸变参数和离心畸变参数的值；
确定左、右摄像机构成的立体系统参数的值，具体为：
上述式子中，R和t表示左、右摄像机构成的立体系统的旋转矩阵和平移向量，n表示世界坐标系的个数,Ri l和Ri r分别表示左、右摄像机在第i个世界坐标系下的旋转矩阵，ti l和ti r分别表示左、右摄像机在第i个世界坐标系下的平移向量。
本优选实施例标定模块对摄像机进行标定，保证了后续计算的准确性，该透镜畸变模型更加符合透镜成像规律，提高了标定水平，同时对两个摄像机构成的系统进行标定，为后续立体图像的采集和匹配奠定了良好的基础。
优选的，所述立体匹配模块包括预处理单元、匹配单元和评价单元，所述预处理单元对图像进行滤波处理，所述匹配单元用于根据滤波后的图像求取视差图，所述评价单元根据视差图对匹配情况进行评价。
本优选实施例实现了来自不同摄像机的图像匹配，得到了准确的视差图像。
优选的，所述预处理单元包括第一滤波子单元、第二滤波子单元和滤波融合子单元，所述第一滤波子单元对图像进行一次滤波处理，所述第二滤波子单元对图像进行二次滤波处理，所述滤波融合子单元对两次滤波结果进行融合；
所述对图像进行一次滤波处理，具体为：
设H(x,y)为图像函数，滤波后的图像可表示为：
上述式子中，H1(x,y)表示经过一次滤波处理后的图像，σ表示滤波尺度参数；
所述对图像进行二次滤波处理，具体为：
设H(x,y)为图像函数，滤波后的图像可表示为：
上述式子中，H2(x,y)表示经过二次滤波处理后的图像；
所述对两次滤波结果进行融合：
上述式子中，H3(x,y)表示滤波后的图像。
立体匹配的过程中，一方面成像过程涉及到光照背景、噪声和景物位置关系等各因素的干扰，为像素点的匹配带来不确定性；另一方面匹配过程既涉及到图像预处理，本优选实施例预处理单元对图像进行滤波处理，降低了滤波处理时间，取得了良好的滤波效果，有助于提高后续立体匹配的效率和精度。
优选的，所述评价单元包括第一评价子单元、第二评价子单元和融合评价子单元，所述第一评价子单元用于确定立体匹配情况的第一评价因子，所述第二评价子单元用于确定立体匹配情况的第二评价因子，所述融合评价子单元用于根据第一评价因子和第二评价因子对立体匹配情况进行综合评价。
所述确定输出图像的第一评价因子，具体为：
上述式子中，P1表示立体匹配情况的第一评价因子，A表示视差图像中的平坦区域，NA表示平坦区域包含的像素个数，Dj(x,y)表示视差图像显示的视差值，Ds(x,y)表示手工实测的真实视差值；
所述确定输出图像的第二评价因子，具体为：
上述式子中，P2表示立体匹配情况的第二评价因子，Z表示视差图像中的遮挡区域，NZ表示平坦区域包含的像素个数；
所述对立体匹配情况进行综合评价，具体为：根据第一评价因子和第二评价因子计算综合评价因子P：综合评价因子越大，立体匹配效果越好。
本优选实施例评价单元对于立体匹配效果进行定量描述，实现了图像立体匹配的客观评价，且该评价模块综合考虑多方面评价因素，评价的可信度高。
采用本发明智能车立体视觉系统对智能车周围环境信息进行获取，选取5辆智能车，分别为智能车1、智能车2、智能车3、智能车4、智能车5，对立体视觉信息获取时间和立体视觉信息获取准确率进行统计，同现有技术相比，产生的有益效果如下表所示：
| 获取时间减少 | 获取准确率提高 | |
| 智能车1 | 29％ | 21％ |
| 智能车2 | 27％ | 23％ |
| 智能车3 | 26％ | 25％ |
| 智能车4 | 25％ | 27％ |
| 智能车5 | 24％ | 29％ |
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (6)
1.一种智能车立体视觉系统，其特征在于，包括视觉装置和与视觉装置相连的视觉处理装置，所述视觉装置为相同的两台摄像机，分别安装于智能车的左右两侧，记为左摄像机和右摄像机，所述视觉处理装置用于对视觉装置进行处理以实现智能车视觉功能，所述视觉处理装置包括标定模块、图像获取模块、立体匹配模块和三维重建模块，所述标定模块用于对相同的两台摄像机进行标定，所述图像获取模块采用经过标定的两台摄像机获取图像，所述立体匹配模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述三维重建模块用于根据视差图对三维场景进行重建。
2.根据权利要求1所述的智能车立体视觉系统，其特征在于，所述对相同的两台摄像机进行标定，采用以下方式进行：
步骤1、确定透镜的畸变模型：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mi>x</mi>
<mi>u</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mi>y</mi>
<mi>u</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mo>&lsqb;</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msup>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1.8</mn>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mo>&lsqb;</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mn>1</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msup>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1.8</mn>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
上述式子中，xd、yd为实际的图像坐标，xu、yu为理想的图像坐标，k1、k2为径向畸变参数，p1、p2为离心畸变参数；
步骤2、确定左、右摄像机待标定参数的值，具体为：准备一个模板，打印出并把它贴在一个平整的表面上，通过移动标定模板或摄像机，拍摄多个不同方向和角度的模板图像，采用张氏标定法确定左、右摄像机的内部参数、外部参数、径向畸变参数和离心畸变参数的值；
确定左、右摄像机构成的立体系统参数的值，具体为：
<mrow>
<mi>R</mi>
<mo>=</mo>
<mfrac>
<mn>3</mn>
<mrow>
<mn>5</mn>
<mi>n</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<msup>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>+</mo>
<mfrac>
<mn>2</mn>
<mrow>
<mn>5</mn>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<msup>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>n</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<mo>-</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<msup>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mi>r</mi>
</msup>
<mo>-</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<msup>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
上述式子中，R和t表示左、右摄像机构成的立体系统的旋转矩阵和平移向量，n表示世界坐标系的个数,Ri l和Ri r分别表示左、右摄像机在第i个世界坐标系下的旋转矩阵，ti l和ti r分别表示左、右摄像机在第i个世界坐标系下的平移向量。
3.根据权利要求2所述的智能车立体视觉系统，其特征在于，所述立体匹配模块包括预处理单元、匹配单元和评价单元，所述预处理单元对图像进行滤波处理，所述匹配单元用于根据滤波后的图像求取视差图，所述评价单元根据视差图对匹配情况进行评价。
4.根据权利要求3所述的智能车立体视觉系统，其特征在于，所述预处理单元包括第一滤波子单元、第二滤波子单元和滤波融合子单元，所述第一滤波子单元对图像进行一次滤波处理，所述第二滤波子单元对图像进行二次滤波处理，所述滤波融合子单元对两次滤波结果进行融合；
所述对图像进行一次滤波处理，具体为：
设H(x,y)为图像函数，滤波后的图像可表示为：
<mrow>
<msub>
<mi>H</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msup>
<mi>&pi;&sigma;</mi>
<mn>4</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>6</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
上述式子中，H1(x,y)表示经过一次滤波处理后的图像，σ表示滤波尺度参数；
所述对图像进行二次滤波处理，具体为：
设H(x,y)为图像函数，滤波后的图像可表示为：
<mrow>
<msub>
<mi>H</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>4</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msup>
<mi>&pi;&sigma;</mi>
<mn>6</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mfrac>
</mrow>
</msup>
<mo>*</mo>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
上述式子中，H2(x,y)表示经过二次滤波处理后的图像；
所述对两次滤波结果进行融合：
<mrow>
<msub>
<mi>H</mi>
<mn>3</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>H</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>H</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msqrt>
</mrow>
上述式子中，H3(x,y)表示滤波后的图像。
5.根据权利要求4所述的智能车立体视觉系统，其特征在于，所述评价单元包括第一评价子单元、第二评价子单元和融合评价子单元，所述第一评价子单元用于确定立体匹配情况的第一评价因子，所述第二评价子单元用于确定立体匹配情况的第二评价因子，所述融合评价子单元用于根据第一评价因子和第二评价因子对立体匹配情况进行综合评价。
6.根据权利要求5所述的智能车立体视觉系统，其特征在于，所述确定输出图像的第一评价因子，具体为：
<mrow>
<msub>
<mi>P</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>N</mi>
<mi>A</mi>
</msub>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>A</mi>
</mrow>
</munder>
<mo>&lsqb;</mo>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
上述式子中，P1表示立体匹配情况的第一评价因子，A表示视差图像中的平坦区域，NA表示平坦区域包含的像素个数，Dj(x,y)表示视差图像显示的视差值，Ds(x,y)表示手工实测的真实视差值；
所述确定输出图像的第二评价因子，具体为：
<mrow>
<msub>
<mi>P</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>N</mi>
<mi>Z</mi>
</msub>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>Z</mi>
</mrow>
</munder>
<mo>&lsqb;</mo>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
上述式子中，P2表示立体匹配情况的第二评价因子，Z表示视差图像中的遮挡区域，NZ表示平坦区域包含的像素个数；
所述对立体匹配情况进行综合评价，具体为：根据第一评价因子和第二评价因子计算综合评价因子P：综合评价因子越大，立体匹配效果越好。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710862286.8A CN107507249B (zh) | 2017-09-21 | 2017-09-21 | 一种智能车立体视觉系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710862286.8A CN107507249B (zh) | 2017-09-21 | 2017-09-21 | 一种智能车立体视觉系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507249A true CN107507249A (zh) | 2017-12-22 |
| CN107507249B CN107507249B (zh) | 2018-09-21 |
Family
ID=60697328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710862286.8A Active CN107507249B (zh) | 2017-09-21 | 2017-09-21 | 一种智能车立体视觉系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507249B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801339A (zh) * | 2018-12-29 | 2019-05-24 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置和存储介质 |
| CN113891056A (zh) * | 2021-11-12 | 2022-01-04 | 盐城吉研智能科技有限公司 | 一种基于立体视觉技术的多摄像机图像精准分析方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8179448B2 (en) * | 2008-08-26 | 2012-05-15 | National Taiwan University | Auto depth field capturing system and method thereof |
| CN205395928U (zh) * | 2016-01-19 | 2016-07-27 | 华晨汽车集团控股有限公司 | 车载立体全景监控系统 |
| CN105844692A (zh) * | 2016-04-27 | 2016-08-10 | 北京博瑞空间科技发展有限公司 | 基于双目立体视觉的三维重建装置、方法、系统及无人机 |
| CN106296825A (zh) * | 2016-07-27 | 2017-01-04 | 中国科学院半导体研究所 | 一种仿生三维信息生成系统及方法 |
-
2017
- 2017-09-21 CN CN201710862286.8A patent/CN107507249B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8179448B2 (en) * | 2008-08-26 | 2012-05-15 | National Taiwan University | Auto depth field capturing system and method thereof |
| CN205395928U (zh) * | 2016-01-19 | 2016-07-27 | 华晨汽车集团控股有限公司 | 车载立体全景监控系统 |
| CN105844692A (zh) * | 2016-04-27 | 2016-08-10 | 北京博瑞空间科技发展有限公司 | 基于双目立体视觉的三维重建装置、方法、系统及无人机 |
| CN106296825A (zh) * | 2016-07-27 | 2017-01-04 | 中国科学院半导体研究所 | 一种仿生三维信息生成系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801339A (zh) * | 2018-12-29 | 2019-05-24 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置和存储介质 |
| CN113891056A (zh) * | 2021-11-12 | 2022-01-04 | 盐城吉研智能科技有限公司 | 一种基于立体视觉技术的多摄像机图像精准分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507249B (zh) | 2018-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021004312A1 (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
| CN110322702B (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
| CN109509230B (zh) | 一种应用于多镜头组合式全景相机的slam方法 | |
| WO2018103408A1 (zh) | 一种无人机勘查交通事故现场的航拍图像采集方法及系统 | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CN101887589B (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
| CN104539925B (zh) | 基于深度信息的三维场景增强现实的方法及系统 | |
| CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| CN104539928B (zh) | 一种光栅立体印刷图像合成方法 | |
| CN105469389B (zh) | 一种用于视觉传感器标定的网格球靶标及相应标定方法 | |
| CN101894366A (zh) | 一种获取标定参数的方法、装置及一种视频监控系统 | |
| CN104517291B (zh) | 基于目标同轴圆特征的位姿测量方法 | |
| CN105160702A (zh) | 基于LiDAR点云辅助的立体影像密集匹配方法及系统 | |
| CN105528785A (zh) | 一种双目视觉图像立体匹配方法 | |
| CN106600643B (zh) | 一种基于轨迹分析的人数统计方法 | |
| CN105043250B (zh) | 一种基于至少两个公共标记点的双视角数据对齐方法 | |
| CN103198524A (zh) | 一种大规模室外场景三维重建方法 | |
| CN110264528A (zh) | 一种鱼眼镜头双目像机快速自标定方法 | |
| CN107767424A (zh) | 多相机系统的标定方法、多相机系统及终端设备 | |
| CN105389543A (zh) | 基于全方位双目视觉深度信息融合的移动机器人避障装置 | |
| CN106599776B (zh) | 一种基于轨迹分析的人数统计方法 | |
| CN109883433B (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN106842178A (zh) | 一种光场距离估计方法与光场成像系统 | |
| CN107909543A (zh) | 一种鱼眼双目视觉立体匹配空间定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180809 Address after: 510700 No. 1, Guang Ben Road, Whampoa District, Guangzhou, Guangdong. Applicant after: GAC Honda Automobile Co., Ltd. Address before: 543000 longhui Town, Longwei Town, Longwei District, Wuzhou, the Guangxi Zhuang Autonomous Region Applicant before: Cheng Danqiu |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |