CN107507249B - 一种智能车立体视觉系统 - Google Patents

一种智能车立体视觉系统 Download PDF

Info

Publication number
CN107507249B
CN107507249B CN201710862286.8A CN201710862286A CN107507249B CN 107507249 B CN107507249 B CN 107507249B CN 201710862286 A CN201710862286 A CN 201710862286A CN 107507249 B CN107507249 B CN 107507249B
Authority
CN
China
Prior art keywords
image
indicate
module
intelligent vehicle
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710862286.8A
Other languages
English (en)
Other versions
CN107507249A (zh
Inventor
程丹秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GAC Honda Automobile Co Ltd
Original Assignee
GAC Honda Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GAC Honda Automobile Co Ltd filed Critical GAC Honda Automobile Co Ltd
Priority to CN201710862286.8A priority Critical patent/CN107507249B/zh
Publication of CN107507249A publication Critical patent/CN107507249A/zh
Application granted granted Critical
Publication of CN107507249B publication Critical patent/CN107507249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Lenses (AREA)

Abstract

本发明提供了一种智能车立体视觉系统，包括视觉装置和与视觉装置相连的视觉处理装置，所述视觉装置为相同的两台摄像机，分别安装于智能车的左右两侧，记为左摄像机和右摄像机，所述视觉处理装置用于对视觉装置进行处理以实现智能车视觉功能，所述视觉处理装置包括标定模块、图像获取模块、立体匹配模块和三维重建模块，所述标定模块用于对相同的两台摄像机进行标定，所述图像获取模块采用经过标定的两台摄像机获取图像，所述立体匹配模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述三维重建模块用于根据视差图对三维场景进行重建。本发明有益效果为：实现了智能车立体视觉准确获取。

Description

一种智能车立体视觉系统
技术领域
本发明涉及立体视觉技术领域，具体涉及一种智能车立体视觉系统。
背景技术
智能车是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型的高新技术综合体。
智能车视觉系统靠三维测量技术探测并重构周围场景的空间信息或目标的位置信息，为全局决策系统的路径规划提供必需的路况信息，因此三维测量技术是视觉导航系统理解外部环境的核心。由于外部环境复杂多变且无法预测，空间三维信息的重构也是最具挑战性的技术难点。
发明内容
针对上述问题，本发明旨在提供一种智能车立体视觉系统。
本发明的目的采用以下技术方案来实现：
提供了一种智能车立体视觉系统，包括视觉装置和与视觉装置相连的视觉处理装置，所述视觉装置为相同的两台摄像机，分别安装于智能车的左右两侧，记为左摄像机和右摄像机，所述视觉处理装置用于对视觉装置进行处理以实现智能车视觉功能，所述视觉处理装置包括标定模块、图像获取模块、立体匹配模块和三维重建模块，所述标定模块用于对相同的两台摄像机进行标定，所述图像获取模块采用经过标定的两台摄像机获取图像，所述立体匹配模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述三维重建模块用于根据视差图对三维场景进行重建。
本发明的有益效果为：实现了智能车立体视觉的准确获取，提高了智能车的智能化水平。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
附图标记：
视觉装置1、视觉处理装置2。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种智能车立体视觉系统，包括视觉装置1和与视觉装置1相连的视觉处理装置2，所述视觉装置1为相同的两台摄像机，分别安装于智能车的左右两侧，记为左摄像机和右摄像机，所述视觉处理装置2用于对视觉装置1进行处理以实现智能车视觉功能，所述视觉处理装置2包括标定模块、图像获取模块、立体匹配模块和三维重建模块，所述标定模块用于对相同的两台摄像机进行标定，所述图像获取模块采用经过标定的两台摄像机获取图像，所述立体匹配模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述三维重建模块用于根据视差图对三维场景进行重建。
本实施例实现了智能车立体视觉的准确获取，提高了智能车的智能化水平。
优选的，所述对相同的两台摄像机进行标定，采用以下方式进行：
步骤1、确定透镜的畸变模型：
上述式子中，xd、yd为实际的图像坐标，xu、yu为理想的图像坐标，k1、k2为径向畸变参数，p1、p2为离心畸变参数；
步骤2、确定左、右摄像机待标定参数的值，具体为：准备一个模板，打印出并把它贴在一个平整的表面上，通过移动标定模板或摄像机，拍摄多个不同方向和角度的模板图像，采用张氏标定法确定左、右摄像机的内部参数、外部参数、径向畸变参数和离心畸变参数的值；
确定左、右摄像机构成的立体系统参数的值，具体为：
上述式子中，R和t表示左、右摄像机构成的立体系统的旋转矩阵和平移向量，n表示世界坐标系的个数,Ri l和Ri r分别表示左、右摄像机在第i个世界坐标系下的旋转矩阵，ti l和ti r分别表示左、右摄像机在第i个世界坐标系下的平移向量。
本优选实施例标定模块对摄像机进行标定，保证了后续计算的准确性，该透镜畸变模型更加符合透镜成像规律，提高了标定水平，同时对两个摄像机构成的系统进行标定，为后续立体图像的采集和匹配奠定了良好的基础。
优选的，所述立体匹配模块包括预处理单元、匹配单元和评价单元，所述预处理单元对图像进行滤波处理，所述匹配单元用于根据滤波后的图像求取视差图，所述评价单元根据视差图对匹配情况进行评价。
本优选实施例实现了来自不同摄像机的图像匹配，得到了准确的视差图像。
优选的，所述预处理单元包括第一滤波子单元、第二滤波子单元和滤波融合子单元，所述第一滤波子单元对图像进行一次滤波处理，所述第二滤波子单元对图像进行二次滤波处理，所述滤波融合子单元对两次滤波结果进行融合；
所述对图像进行一次滤波处理，具体为：
设H(x,y)为图像函数，滤波后的图像可表示为：
上述式子中，H1(x,y)表示经过一次滤波处理后的图像，σ表示滤波尺度参数；
所述对图像进行二次滤波处理，具体为：
设H(x,y)为图像函数，滤波后的图像可表示为：
上述式子中，H2(x,y)表示经过二次滤波处理后的图像；
所述对两次滤波结果进行融合：
上述式子中，H3(x,y)表示滤波后的图像。
立体匹配的过程中，一方面成像过程涉及到光照背景、噪声和景物位置关系等各因素的干扰，为像素点的匹配带来不确定性；另一方面匹配过程既涉及到图像预处理，本优选实施例预处理单元对图像进行滤波处理，降低了滤波处理时间，取得了良好的滤波效果，有助于提高后续立体匹配的效率和精度。
优选的，所述评价单元包括第一评价子单元、第二评价子单元和融合评价子单元，所述第一评价子单元用于确定立体匹配情况的第一评价因子，所述第二评价子单元用于确定立体匹配情况的第二评价因子，所述融合评价子单元用于根据第一评价因子和第二评价因子对立体匹配情况进行综合评价。
所述确定输出图像的第一评价因子，具体为：
上述式子中，P1表示立体匹配情况的第一评价因子，A表示视差图像中的平坦区域，NA表示平坦区域包含的像素个数，Dj(x,y)表示视差图像显示的视差值，Ds(x,y)表示手工实测的真实视差值；
所述确定输出图像的第二评价因子，具体为：
上述式子中，P2表示立体匹配情况的第二评价因子，Z表示视差图像中的遮挡区域，NZ表示平坦区域包含的像素个数；
所述对立体匹配情况进行综合评价，具体为：根据第一评价因子和第二评价因子计算综合评价因子P：综合评价因子越大，立体匹配效果越好。
本优选实施例评价单元对于立体匹配效果进行定量描述，实现了图像立体匹配的客观评价，且该评价模块综合考虑多方面评价因素，评价的可信度高。
采用本发明智能车立体视觉系统对智能车周围环境信息进行获取，选取5辆智能车，分别为智能车1、智能车2、智能车3、智能车4、智能车5，对立体视觉信息获取时间和立体视觉信息获取准确率进行统计，同现有技术相比，产生的有益效果如下表所示：
获取时间减少 获取准确率提高
智能车1 29％ 21％
智能车2 27％ 23％
智能车3 26％ 25％
智能车4 25％ 27％
智能车5 24％ 29％
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种智能车立体视觉系统，其特征在于，包括视觉装置和与视觉装置相连的视觉处理装置，所述视觉装置为相同的两台摄像机，分别安装于智能车的左右两侧，记为左摄像机和右摄像机，所述视觉处理装置用于对视觉装置进行处理以实现智能车视觉功能，所述视觉处理装置包括标定模块、图像获取模块、立体匹配模块和三维重建模块，所述标定模块用于对相同的两台摄像机进行标定，所述图像获取模块采用经过标定的两台摄像机获取图像，所述立体匹配模块用于从两幅图像中寻找出同一景物点在各自图像平面上的投影点，并计算所述投影点的视差，得到视差图，所述三维重建模块用于根据视差图对三维场景进行重建；
所述对相同的两台摄像机进行标定，采用以下方式进行：
步骤1、确定透镜的畸变模型：
上述式子中，、为实际的图像坐标，、为理想的图像坐标，、为径向畸变参数，、为离心畸变参数；
步骤2、确定左、右摄像机待标定参数的值，具体为：准备一个模板，打印出并把它贴在一个平整的表面上，通过移动标定模板或摄像机，拍摄多个不同方向和角度的模板图像，采用张氏标定法确定左、右摄像机的内部参数、外部参数、径向畸变参数和离心畸变参数的值；
确定左、右摄像机构成的立体系统参数的值，具体为：
上述式子中，和表示左、右摄像机构成的立体系统的旋转矩阵和平移向量，表示世界坐标系的个数,和分别表示左、右摄像机在第个世界坐标系下的旋转矩阵，和分别表示左、右摄像机在第个世界坐标系下的平移向量。
2.根据权利要求1所述的智能车立体视觉系统，其特征在于，所述立体匹配模块包括预处理单元、匹配单元和评价单元，所述预处理单元对图像进行滤波处理，所述匹配单元用于根据滤波后的图像求取视差图，所述评价单元根据视差图对匹配情况进行评价。
3.根据权利要求2所述的智能车立体视觉系统，其特征在于，所述预处理单元包括第一滤波子单元、第二滤波子单元和滤波融合子单元，所述第一滤波子单元对图像进行一次滤波处理，所述第二滤波子单元对图像进行二次滤波处理，所述滤波融合子单元对两次滤波结果进行融合；
所述对图像进行一次滤波处理，具体为：
设为图像函数，滤波后的图像可表示为：
上述式子中，表示经过一次滤波处理后的图像，表示滤波尺度参数；
所述对图像进行二次滤波处理，具体为：
设为图像函数，滤波后的图像可表示为：
上述式子中，表示经过二次滤波处理后的图像；
所述对两次滤波结果进行融合：
上述式子中，表示滤波后的图像。
4.根据权利要求3所述的智能车立体视觉系统，其特征在于，所述评价单元包括第一评价子单元、第二评价子单元和融合评价子单元，所述第一评价子单元用于确定立体匹配情况的第一评价因子，所述第二评价子单元用于确定立体匹配情况的第二评价因子，所述融合评价子单元用于根据第一评价因子和第二评价因子对立体匹配情况进行综合评价。
5.根据权利要求4所述的智能车立体视觉系统，其特征在于，所述确定输出图像的第一评价因子，具体为：
上述式子中，表示立体匹配情况的第一评价因子，表示视差图像中的平坦区域，表示平坦区域包含的像素个数，表示视差图像显示的视差值，表示手工实测的真实视差值；
所述确定输出图像的第二评价因子，具体为：
上述式子中，表示立体匹配情况的第二评价因子，表示视差图像中的遮挡区域，表示平坦区域包含的像素个数；
所述对立体匹配情况进行综合评价，具体为：根据第一评价因子和第二评价因子计算综合评价因子：，综合评价因子越大，立体匹配效果越好。
CN201710862286.8A 2017-09-21 2017-09-21 一种智能车立体视觉系统 Active CN107507249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710862286.8A CN107507249B (zh) 2017-09-21 2017-09-21 一种智能车立体视觉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710862286.8A CN107507249B (zh) 2017-09-21 2017-09-21 一种智能车立体视觉系统

Publications (2)

Publication Number Publication Date
CN107507249A CN107507249A (zh) 2017-12-22
CN107507249B true CN107507249B (zh) 2018-09-21

Family

ID=60697328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710862286.8A Active CN107507249B (zh) 2017-09-21 2017-09-21 一种智能车立体视觉系统

Country Status (1)

Country Link
CN (1) CN107507249B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801339B (zh) * 2018-12-29 2021-07-20 百度在线网络技术（北京）有限公司 图像处理方法、装置和存储介质
CN113891056A (zh) * 2021-11-12 2022-01-04 盐城吉研智能科技有限公司 一种基于立体视觉技术的多摄像机图像精准分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179448B2 (en) * 2008-08-26 2012-05-15 National Taiwan University Auto depth field capturing system and method thereof
CN205395928U (zh) * 2016-01-19 2016-07-27 华晨汽车集团控股有限公司 车载立体全景监控系统
CN105844692A (zh) * 2016-04-27 2016-08-10 北京博瑞空间科技发展有限公司 基于双目立体视觉的三维重建装置、方法、系统及无人机
CN106296825A (zh) * 2016-07-27 2017-01-04 中国科学院半导体研究所 一种仿生三维信息生成系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179448B2 (en) * 2008-08-26 2012-05-15 National Taiwan University Auto depth field capturing system and method thereof
CN205395928U (zh) * 2016-01-19 2016-07-27 华晨汽车集团控股有限公司 车载立体全景监控系统
CN105844692A (zh) * 2016-04-27 2016-08-10 北京博瑞空间科技发展有限公司 基于双目立体视觉的三维重建装置、方法、系统及无人机
CN106296825A (zh) * 2016-07-27 2017-01-04 中国科学院半导体研究所 一种仿生三维信息生成系统及方法

Also Published As

Publication number Publication date
CN107507249A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
WO2021004312A1 (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN108682026B (zh) 一种基于多匹配基元融合的双目视觉立体匹配方法
CN103955920B (zh) 基于三维点云分割的双目视觉障碍物检测方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN101887589B (zh) 一种基于立体视觉的实拍低纹理图像重建方法
CN108876749A (zh) 一种鲁棒的镜头畸变校正方法
CN105469389B (zh) 一种用于视觉传感器标定的网格球靶标及相应标定方法
CN104539928B (zh) 一种光栅立体印刷图像合成方法
CN108288292A (zh) 一种三维重建方法、装置及设备
CN105654476B (zh) 基于混沌粒子群优化算法的双目标定方法
CN105654547B (zh) 三维重建方法
CN102831601A (zh) 基于联合相似性测度和自适应支持权重的立体匹配方法
CN104677277B (zh) 一种测量物体几何属性或距离的方法及系统
CN106920276A (zh) 一种三维重建方法和系统
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN108510540A (zh) 立体视觉摄像机及其高度获取方法
CN104424640A (zh) 对图像进行虚化处理的方法和装置
CN106355621A (zh) 基于阵列图像的深度信息获取方法
CN107767424A (zh) 多相机系统的标定方法、多相机系统及终端设备
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN107991665A (zh) 一种基于定焦相机的对标靶三维坐标连续测量方法
CN102914295A (zh) 基于计算机视觉立方体标定的三维测量方法
CN109242898A (zh) 一种基于图像序列的三维建模方法及系统
CN106023189B (zh) 一种基于匹配优化的光场数据深度重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180809

Address after: 510700 No. 1, Guang Ben Road, Whampoa District, Guangzhou, Guangdong.

Applicant after: Guangqi Honda Automobile Co., Ltd.

Address before: 543000 longhui Town, Longwei Town, Longwei District, Wuzhou, the Guangxi Zhuang Autonomous Region

Applicant before: Cheng Danqiu

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant