CN104512328A - 汽车环视图像生成方法及汽车环视系统 - Google Patents
汽车环视图像生成方法及汽车环视系统 Download PDFInfo
- Publication number
- CN104512328A CN104512328A CN201310450345.2A CN201310450345A CN104512328A CN 104512328 A CN104512328 A CN 104512328A CN 201310450345 A CN201310450345 A CN 201310450345A CN 104512328 A CN104512328 A CN 104512328A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- pixel
- automobile
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013507 mapping Methods 0.000 claims description 40
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 230000003247 decreasing effect Effects 0.000 abstract 2
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种汽车环视图像生成方法及汽车环视系统，其中方法包括以下步骤：S1、通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；S2、根据采集到的六个方位上的图像生成六幅俯视图像；S3、对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像；S4、在环视界面区域显示所述环视图像。根据本发明的汽车环视图像生成方法，可以降低所需摄像头视场角的大小，改用视场角较小的摄像头，从而有效的降低环视系统的制造成本，有利于环视系统的普及，同时，还能够起到减少图像的失真程度的作用。
Description
技术领域
本发明涉及汽车辅助泊车技术领域，特别是涉及一种汽车环视图像生成方法及汽车环视系统。
背景技术
汽车驾驶者在驾驶的过程中存在很多盲区，如车身前方被遮挡处、左右后视镜盲区以及车后的盲区，这些盲区往往会给汽车的驾驶带来很多不便，甚至会给驾驶者的生命财产带来重大损失。并且随着私家车数量的急剧增加，城市交通变的拥堵不堪，狭窄道路挪车、窄车位停车，这些都给驾驶者的驾驶技术带来很大考验，如何最大限度的消除盲区安全隐患成了大家共同关注的问题。
目前市场上消除盲区比较理想的行车辅助系统是四摄像头的全景泊车系统（也称环视系统），该系统通过安装在车身前格栅、后备箱盖以及左右外后视镜上的四个摄像头，将摄像头采集来的图像进行矫正拼接，形成最终的车身鸟瞰图（即环视图像）。由于安装位置及摄像头数量上的限制，这种系统就需要采用视场角很大的鱼眼摄像头（通常采用180度全景鱼眼摄像头），大视场角就会带来图像畸变严重的问题，图像矫正后的效果也不会很理想，导致图像严重失真，而且大视场角的鱼眼摄像头往往是价格昂贵，这给产品的普及带来了不小的障碍。
发明内容
本发明所要解决的技术问题是针对现有的四摄像头的全景泊车系统环视图像严重失真且采用的大视场角的鱼眼摄像头价格昂贵的缺陷，提供一种汽车环视图像生成方法及汽车环视系统。
本发明解决上述技术问题所采用的技术方案为，提供一种汽车环视图像生成方法，包括以下步骤：
S1、通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
S2、根据采集到的六个方位上的图像生成六幅俯视图像；
S3、对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像；
S4、在环视界面区域显示所述环视图像。
进一步地，步骤S2具体为：
根据预先得到的环视界面到摄像头采集图像的六个映射关系表将环视界面上的像素点对应到各个摄像头采集的六个方位上的图像中的像素点，从而生成分别表示六个方位的六幅俯视图像。
进一步地，所述环视界面到摄像头采集图像的六个映射关系表通过如下步骤得到：
通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
分别对六个摄像头采集到的图像进行畸变矫正和透视变换；
计算环视界面上的像素点对应到各个摄像头采集图像上的像素点，以此生成表示环视界面上的像素点对应到各个摄像头采集图像中的像素点的映射关系的映射关系表。
进一步地，所述环视界面到摄像头采集图像的六个映射关系表的具体生成方法如下：
在每个摄像头拍摄区域内的地面上放置四个标定点，对六个摄像头采集来的图像分别进行畸变矫正，利用摄像头本身的光学系统参数，拟合出表示理想像高与畸变系数的函数关系的多项式，并根据该多项式对摄像头采集图像上的每个像素点求解出它的畸变系数d值，结合公式x=x0*(1+d)、y=y0*(1+d)，分别生成六个矫正后图像到摄像头采集图像的映射关系表；其中，x0、y0为理想图像坐标，x、y为实际图像坐标；
确定六个摄像头采集图像上标定点的坐标位置，结合摄像头的光学系统参数，拟合出表示实际像高和畸变系数的函数关系的多项式，并根据该多项式计算出这些标定点在矫正后图像上的坐标位置，求解出每个标定点的畸变系数d值，结合公式：xo=x/(1+d)、y0=y/(1+d)，确定摄像头采集图像上的四个标定点在矫正后图像上的像素点的坐标位置；其中，x、y为实际图像坐标，x0、y0为理想图像坐标；
通过比例换算，计算出这些标定点在环视界面中的坐标位置，分别生成六个环视界面到矫正后图像的坐标映射关系表；
利用生成的六个矫正后图像到摄像头采集图像的映射关系表与六个环视界面到矫正后图像的坐标映射关系表建立六个直接从环视界面到摄像头采集图像的映射关系表。
进一步地，步骤S3中“对生成的六幅俯视图像进行图像拼接”的具体步骤如下：
根据步骤S2中生成的六幅俯视图像，运用融合模板对相邻的两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像无缝拼接。
根据本发明的汽车环视图像生成方法，通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像，根据采集到的六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像，与现有技术相比，可以降低所需摄像头视场角的大小，改用视场角较小的摄像头，从而有效的降低环视系统的制造成本，有利于环视系统的普及，同时，还能够起到减少图像的失真程度的作用。
另外本发明还提供了一种汽车环视系统，包括图像采集模块、控制模块及图像显示模块：
所述图像采集模块，包括安装在车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头，分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
所述控制模块，用于根据采集到的六个方位上的图像生成六幅俯视图像，并对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像；
所述图像显示模块，包括环视界面，用于在所述环视界面上显示所述环视图像。
进一步地，所述“根据采集到的六个方位上的图像生成六幅俯视图像”具体为：
根据预先得到的六个映射关系表将环视界面上的像素点对应到各个摄像头采集图像中的像素点，从而生成分别表示六个方位的六幅俯视图像。
进一步地，所述控制模块包括：
接收单元，用于接收通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
矫正变换单元，用于分别对六个摄像头采集到的图像进行畸变矫正和透视变换；
映射关系表生成单元，用于计算环视界面上的像素点对应到各个摄像头采集图像上的像素点，以此生成表示环视界面上的像素点对应到各个摄像头采集图像中的像素点的映射关系的映射关系表。
进一步地，所述前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头均为130度视场角的摄像头。
进一步地，所述前视摄像头安装在前格栅上，所述后视摄像头安装在后备箱盖上，所述左前视摄像头安装在左外后视镜上并朝向前方，所述左后视摄像头安装在左外后视镜上并朝向后方，所述右前视摄像头安装在右外后视镜上并朝向前方，所述右后视摄像头安装在右外后视镜上并朝向后方。
进一步地，还包括控制输入模块，所述控制输入模块用于控制环视系统的开启和关闭。
根据本发明的汽车环视系统，通过安装在车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像，根据采集到的六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像，与现有技术相比，可以降低所需摄像头视场角的大小，改用视场角较小的摄像头，从而有效的降低环视系统的制造成本，有利于环视系统的普及，同时，还能够起到减少图像的失真程度的作用。
附图说明
图1是本发明一实施例提供的汽车环视图像生成方法的框图；
图2是本发明一实施例提供的汽车环视图像生成方法中生成的环视图像的示意图；
图3是本发明一实施例提供的汽车环视系统的示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明一实施例提供了一种汽车环视图像生成方法，包括以下步骤：
S1、通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
S2、根据采集到的六个方位上的图像生成六幅俯视图像；
S3、对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像；如图2所示，环视图像由车身图像CS和围绕车身图像CS周围的六幅俯视图像组成，车身图像CS可以是真实的拍照图片，也可以是渲染的效果图；其中，图中F表示前方俯视图像，B表示后方俯视图像，LF表示左前方俯视图像，LB表示左后方俯视图像，RF表示右前方俯视图像，RB表示右后方俯视图像，图中剖面线表示的部分为相邻的两幅图像重合的区域CH；按照图2所示的环视图像区域划分，充分利用左右各两个摄像头的优势，减少了前后摄像头需要显示的区域，从而整体的降低六个摄像头所需的视场角，在图像质量和成本降低上都有一个很明显的提升。
S4、在环视界面区域显示所述环视图像。
本实施例中，步骤S2具体为：
根据预先得到的环视界面到摄像头采集图像的六个映射关系表将环视界面上的像素点对应到各个摄像头采集的六个方位上的图像中的像素点，从而生成分别表示六个方位的六幅俯视图像。当然，在其它实施例中，也可以直接通过畸变矫正和透视变换得到六幅俯视图像。
本实施例中，所述环视界面到摄像头采集图像的六个映射关系表通过如下步骤得到：
通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
分别对六个摄像头采集到的图像进行畸变矫正和透视变换；
计算环视界面上的像素点对应到各个摄像头采集图像上的像素点，以此生成表示环视界面上的像素点对应到各个摄像头采集图像中的像素点的映射关系的映射关系表。
本实施例中，所述环视界面到摄像头采集图像的六个映射关系表的具体生成方法如下：
在每个摄像头拍摄区域内的地面上放置四个标定点，对六个摄像头采集来的图像分别进行畸变矫正，利用摄像头本身的光学系统参数（即理想像高、实际像高和畸变系数之间的对应关系），利用matlab软件中的polyfit(x，y，n)函数，拟合出表示理想像高与畸变系数的函数关系的多项式，所述表示理想像高与畸变系数的函数关系的多项式其形式如下：
d=b0+b1*H+b2*H2+b3*H3+b4*H4+b5*H5+b6*H6+b7*H7+b8*H8；
其中，d为摄像头的畸变系数，H为理想像高（即矫正后图像上该点与图像中心点的直线距离），b0～b8为多项式系数。
然后，根据该多项式对摄像头采集图像上的每个像素点求解出它的畸变系数d值，结合公式x=x0*(1+d)、y=y0*(1+d)，分别生成六个矫正后图像到摄像头采集图像的映射关系表；其中，x0、y0为理想图像坐标，x、y为实际图像坐标；
确定六个摄像头采集图像上标定点的坐标位置，结合摄像头的光学系统参数，利用matlab中的polyfit(x,y,n)函数，拟合出表示实际像高和畸变系数的函数关系的多项式，所述表示实际像高和畸变系数的函数关系的多项式其形式如下：
d=a0+a1*h+a2*h2+a3*h3+a4*h4+a5*h5+a6*h6+a7*h7+a8*h8；
其中d为摄像头畸变系数，h为实际像高（即摄像头图像上该点与图像中心点的直线距离），a0～a8为多项式系数。
然后，根据该多项式计算出这些标定点在矫正后图像上的坐标位置，求解出每个标定点的畸变系数d值，结合公式：xo=x/(1+d)、y0=y/(1+d)，确定摄像头采集图像上的四个标定点在矫正后图像上的像素点的坐标位置；其中，x、y为实际图像坐标，x0、y0为理想图像坐标；
通过比例换算，计算出这些标定点在环视界面中的坐标位置，所述比例换所采用的透视变换模型如下：
X=(c1*x+c2*y+c3)/(c7*x+c8*y+1)；
Y=(c4*x+c5*y+c6)/(c7*x+c8*y+1)；
其中，(X，Y)为环视界面中标定点的坐标，(x，y)为矫正后图像上标定点的坐标，c1～c8为透视变换系数，利用每幅图像的四个标定点在矫正后图像和环视界面上的坐标，运用最小二乘法计算出c1～c8这8个系数，对六路摄像头都进行相同操作，建立六个环视图像到矫正后图像的映射关系表。
利用生成的六个矫正后图像到摄像头采集图像的映射关系表与六个环视界面到矫正后图像的坐标映射关系表建立六个直接从环视界面到摄像头采集图像的映射关系表。
本实施例中，步骤S3中“对生成的六幅俯视图像进行图像拼接”的具体步骤如下：
根据步骤S2中生成的六幅俯视图像，运用融合模板对相邻的两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像无缝拼接。图2中剖面线表示的部分即为相邻的两幅图像重合的区域CH。
本实施例中，映射关系表在对六个摄像头进行标定的时候生成，生成后存储在环视系统的控制模块的存储器中，后续系统工作时，只需利用映射关系表，将摄像头采集来的图像上的像素点一一对应到环视界面上，再将相邻两幅图像重合的地方进行图像融合，即可形成环视图像，减少了重复工作，减少了环视系统的响应时间。
根据本发明的汽车环视图像生成方法，通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像，根据采集到的六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像，与现有技术相比，可以降低所需摄像头视场角的大小，改用视场角较小的摄像头，从而有效的降低环视系统的制造成本，有利于环视系统的普及，同时，还能够起到减少图像的失真程度的作用。
另外，如图3所示，本发明还提供了一种汽车环视系统，包括图像采集模块10、控制模块20、图像显示模块30及控制输入模块40；
所述控制输入模块40，用于控制环视系统的开启和关闭。控制输入模块40可以是集成在方向盘上的按键，按下按键，通过整车CAN总线向控制模块20发出环视系统开启和关闭命令。
所述图像采集模块10，包括安装在车身上的前视摄像头11、后视摄像头12、左前视摄像头13、左后视摄像头14、右前视摄像头15及右后视摄像头16，分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像。
所述控制模块20，用于根据采集到的六个方位上的图像生成六幅俯视图像，并对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像；控制模块20控制摄像头的信号输入，对摄像头采集来的图像进行处理以及响应控制输入模块40的开启和关闭命令。控制模块20可以是汽车的中央处理器ECU。
所述图像显示模块30，包括环视界面，用于在所述环视界面上显示所述环视图像。如图2所示，环视图像由车身图像CS和围绕车身图像CS周围的六幅俯视图像组成，车身图像CS可以是真实的拍照图片，也可以是渲染的效果图；其中，图中F表示前方俯视图像，B表示后方俯视图像，LF表示左前方俯视图像，LB表示左后方俯视图像，RF表示右前方俯视图像，RB表示右后方俯视图像，图中剖面线表示的部分为相邻的两幅图像重合的区域CH。
本实施例中，图像显示模块30为车载DVD，环视界面为车载DVD液晶显示屏的全部显示区域或部分显示区域。
本实施例中，所述前视摄像头11、后视摄像头12、左前视摄像头13、左后视摄像头14、右前视摄像头15及右后视摄像头16均为130度视场角的摄像头。相对于现有的180度全景鱼眼摄像头，可以大大降低制造成本，有利于环视系统的普及。
本实施例中，所述前视摄像头11安装在前格栅上，所述后视摄像头12安装在后备箱盖上，所述左前视摄像头13安装在左外后视镜上并朝向前方，所述左后视摄像头14安装在左外后视镜上并朝向后方，所述右前视摄像头15安装在右外后视镜上并朝向前方，所述右后视摄像头16安装在右外后视镜上并朝向后方。
本实施例中，所述“根据采集到的六个方位上的图像生成六幅俯视图像”具体为：
根据预先得到的六个映射关系表将环视界面上的像素点对应到各个摄像头采集图像中的像素点，从而生成分别表示六个方位的六幅俯视图像。六个映射关系表预告存储在控制模块的存储器中。
本实施例中，所述控制模块20包括：
接收单元，用于接收通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
矫正变换单元，用于分别对六个摄像头采集到的图像进行畸变矫正和透视变换；
映射关系表生成单元，用于计算环视界面上的像素点对应到各个摄像头采集图像上的像素点，以此生成表示环视界面上的像素点对应到各个摄像头采集图像中的像素点的映射关系的映射关系表。
根据本发明的汽车环视系统，通过安装在车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像，根据采集到的六个方位上的图像生成六幅俯视图像，对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像，与现有技术相比，可以降低所需摄像头视场角的大小，改用视场角较小的摄像头，从而有效的降低环视系统的制造成本，有利于环视系统的普及，同时，还能够起到减少图像的失真程度的作用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种汽车环视图像生成方法，其特征在于，包括以下步骤：
S1、通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
S2、根据采集到的六个方位上的图像生成六幅俯视图像；
S3、对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像；
S4、在环视界面区域显示所述环视图像。
2.根据权利要求1所述的汽车环视图像生成方法，其特征在于，步骤S2具体为：
根据预先得到的环视界面到摄像头采集图像的六个映射关系表将环视界面上的像素点对应到各个摄像头采集的六个方位上的图像中的像素点，从而生成分别表示六个方位的六幅俯视图像。
3.根据权利要求2所述的汽车环视图像生成方法，其特征在于，所述环视界面到摄像头采集图像的六个映射关系表通过如下步骤得到：
通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
分别对六个摄像头采集到的图像进行畸变矫正和透视变换；
计算环视界面上的像素点对应到各个摄像头采集图像上的像素点，以此生成表示环视界面上的像素点对应到各个摄像头采集图像中的像素点的映射关系的映射关系表。
4.根据权利要求3所述的汽车环视图像生成方法，其特征在于，所述环视界面到摄像头采集图像的六个映射关系表的具体生成方法如下：
在每个摄像头拍摄区域内的地面上放置四个标定点，对六个摄像头采集来的图像分别进行畸变矫正，利用摄像头本身的光学系统参数，拟合出表示理想像高与畸变系数的函数关系的多项式，并根据该多项式对摄像头采集图像上的每个像素点求解出它的畸变系数d值，结合公式x=x0*(1+d)、y=y0*(1+d)，分别生成六个矫正后图像到摄像头采集图像的映射关系表；其中，x0、y0为理想图像坐标，x、y为实际图像坐标；
确定六个摄像头采集图像上标定点的坐标位置，结合摄像头的光学系统参数，拟合出表示实际像高和畸变系数的函数关系的多项式，并根据该多项式计算出这些标定点在矫正后图像上的坐标位置，求解出每个标定点的畸变系数d值，结合公式：xo=x/(1+d)、y0=y/(1+d)，确定摄像头采集图像上的四个标定点在矫正后图像上的像素点的坐标位置；其中，x、y为实际图像坐标，x0、y0为理想图像坐标；
通过比例换算，计算出这些标定点在环视界面中的坐标位置，分别生成六个环视界面到矫正后图像的坐标映射关系表；
利用生成的六个矫正后图像到摄像头采集图像的映射关系表与六个环视界面到矫正后图像的坐标映射关系表建立六个直接从环视界面到摄像头采集图像的映射关系表。
5.根据权利要求1至4任意一项所述的汽车环视图像生成方法，其特征在于，步骤S3中“对生成的六幅俯视图像进行图像拼接”的具体步骤如下：
根据步骤S2中生成的六幅俯视图像，运用融合模板对相邻的两幅图像重合的区域进行图像融合，以实现所述六幅俯视图像无缝拼接。
6.一种汽车环视系统，其特征在于，包括图像采集模块、控制模块及图像显示模块；
所述图像采集模块，包括安装在车身上的前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头，分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
所述控制模块，用于根据采集到的六个方位上的图像生成六幅俯视图像，并对生成的六幅俯视图像进行图像拼接，结合车身的俯视图像得到环视图像；
所述图像显示模块，包括环视界面，用于在所述环视界面上显示所述环视图像。
7.根据权利要求6所述的汽车环视系统，其特征在于，所述“根据采集到的六个方位上的图像生成六幅俯视图像”具体为：
根据预先得到的六个映射关系表将环视界面上的像素点对应到各个摄像头采集图像中的像素点，从而生成分别表示六个方位的六幅俯视图像。
8.根据权利要求6所述的汽车环视系统，其特征在于，所述控制模块包括：
接收单元，用于接收通过六个摄像头分别采集汽车车身前方、后方、左前方、左后方、右前方及右后方六个方位上的图像；
矫正变换单元，用于分别对六个摄像头采集到的图像进行畸变矫正和透视变换；
映射关系表生成单元，用于计算环视界面上的像素点对应到各个摄像头采集图像上的像素点，以此生成表示环视界面上的像素点对应到各个摄像头采集图像中的像素点的映射关系的映射关系表。
9.根据权利要求6所述的汽车环视系统，其特征在于，所述前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头及右后视摄像头均为130度视场角的摄像头。
10.根据权利要求6至9任意一项所述的汽车环视系统，其特征在于，所述前视摄像头安装在前格栅上，所述后视摄像头安装在后备箱盖上，所述左前视摄像头安装在左外后视镜上并朝向前方，所述左后视摄像头安装在左外后视镜上并朝向后方，所述右前视摄像头安装在右外后视镜上并朝向前方，所述右后视摄像头安装在右外后视镜上并朝向后方。
11.根据权利要求6至9任意一项所述的汽车环视系统，其特征在于，还包括控制输入模块，所述控制输入模块用于控制环视系统的开启和关闭。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310450345.2A CN104512328B (zh) | 2013-09-27 | 2013-09-27 | 汽车环视图像生成方法及汽车环视系统 |
| PCT/CN2014/087554 WO2015043507A1 (zh) | 2013-09-27 | 2014-09-26 | 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310450345.2A CN104512328B (zh) | 2013-09-27 | 2013-09-27 | 汽车环视图像生成方法及汽车环视系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104512328A true CN104512328A (zh) | 2015-04-15 |
| CN104512328B CN104512328B (zh) | 2016-11-09 |
Family
ID=52742082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310450345.2A Active CN104512328B (zh) | 2013-09-27 | 2013-09-27 | 汽车环视图像生成方法及汽车环视系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN104512328B (zh) |
| WO (1) | WO2015043507A1 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574863A (zh) * | 2015-12-14 | 2016-05-11 | 宁波裕兰信息科技有限公司 | 一种360度环视系统在线自动标定系统 |
| CN106274684A (zh) * | 2015-06-24 | 2017-01-04 | 张烂熳 | 一种小角度摄像头实现的汽车全景环视系统 |
| CN106296642A (zh) * | 2015-06-09 | 2017-01-04 | 汪浩 | 车载环视系统摄像头内外参数一次性标定的方法 |
| CN106355553A (zh) * | 2016-09-06 | 2017-01-25 | 深圳格兰泰克汽车电子有限公司 | 一种360环视拼接方法及装置 |
| CN106853798A (zh) * | 2015-12-08 | 2017-06-16 | 现代自动车株式会社 | 用于提供车辆周围图像信息的系统和方法 |
| CN107423667A (zh) * | 2017-04-12 | 2017-12-01 | 杭州奥腾电子股份有限公司 | 一种车体上的预测障碍物的方法 |
| CN107424116A (zh) * | 2017-07-03 | 2017-12-01 | 浙江零跑科技有限公司 | 基于侧环视相机的泊车位检测方法 |
| CN107554472A (zh) * | 2017-08-23 | 2018-01-09 | 中国科学院自动化研究所 | 一种车辆碰撞警示系统和方法 |
| CN108327719A (zh) * | 2018-01-31 | 2018-07-27 | 京东方科技集团股份有限公司 | 辅助车辆行驶的方法及装置 |
| CN108629732A (zh) * | 2017-03-15 | 2018-10-09 | 比亚迪股份有限公司 | 车辆环视全景图像生成方法、装置和车辆 |
| CN110944107A (zh) * | 2019-12-29 | 2020-03-31 | 徐书诚 | 一种实现环视网络摄像机组单屏还原显示计算机系统 |
| CN111757057A (zh) * | 2020-06-17 | 2020-10-09 | 广州市泰睿科技有限公司 | 一种全景环视显示方法、装置、设备及存储介质 |
| CN113065999A (zh) * | 2019-12-16 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置、图像处理设备及存储介质 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106851201A (zh) * | 2017-02-09 | 2017-06-13 | 苏州慧景光电科技有限公司 | 基于光纤传像技术的车载全景影像系统及其标定方法 |
| CN109278641A (zh) * | 2018-05-30 | 2019-01-29 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于摄像头消除汽车盲区的高清智能装置及其方法 |
| KR102053099B1 (ko) * | 2018-06-07 | 2019-12-06 | 현대오트론 주식회사 | 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법 |
| CN109285120A (zh) * | 2018-11-21 | 2019-01-29 | 北京汽车研究总院有限公司 | 一种图像拼接、图像标定方法、车辆及标定设备 |
| CN110910311B (zh) * | 2019-10-30 | 2023-09-26 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
| CN111369439B (zh) * | 2020-02-29 | 2023-05-23 | 华南理工大学 | 基于环视的自动泊车车位识别全景环视图像实时拼接方法 |
| CN111311693B (zh) * | 2020-03-16 | 2023-11-14 | 威海经济技术开发区天智创新技术研究院 | 一种多目摄像头的在线标定方法及系统 |
| CN112465693A (zh) * | 2020-11-26 | 2021-03-09 | 江苏国和智能科技有限公司 | 一种360°环视水下视觉成像方法及系统 |
| CN113099219A (zh) * | 2021-04-12 | 2021-07-09 | 上海网车科技有限公司 | 一种环视摄像头布置位置匹配标定系统及方法 |
| CN113221833B (zh) * | 2021-06-01 | 2023-05-26 | 深圳市天双科技有限公司 | 一种后视摄像头实现全景泊车的方法 |
| CN113538283B (zh) * | 2021-07-22 | 2024-04-30 | 浙江赫千电子科技有限公司 | 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法 |
| CN113947551A (zh) * | 2021-11-16 | 2022-01-18 | 深圳市锐思华创技术有限公司 | 一种抬头显示器畸变矫正系统及其矫正方法 |
| CN114827491B (zh) * | 2022-04-18 | 2023-02-14 | 鹰驾科技（深圳）有限公司 | 一种无线传输全景环视拼接技术 |
| CN115426440B (zh) * | 2022-07-27 | 2024-03-15 | 深圳市富中奇科技有限公司 | 车辆环视系统的实现方法、装置、设备及计算机存储介质 |
| CN115412676A (zh) * | 2022-09-13 | 2022-11-29 | 清华大学 | 一种基于权重掩膜的全景环视系统及全景图像融合方法 |
| CN115994952B (zh) * | 2023-02-01 | 2024-01-30 | 镁佳(北京)科技有限公司 | 环视影像系统的标定方法、装置、计算机设备及存储介质 |
| CN116229426B (zh) * | 2023-05-09 | 2023-07-21 | 华东交通大学 | 基于全景环视图像的无人驾驶泊车停车位检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1921621A (zh) * | 2006-09-18 | 2007-02-28 | 李博航 | 全景可视驾驶辅助设备 |
| JP5128566B2 (ja) * | 2009-09-28 | 2013-01-23 | 住友重機械工業株式会社 | 周囲画像提示装置及び操作支援システム |
| JP5302227B2 (ja) * | 2010-01-19 | 2013-10-02 | 富士通テン株式会社 | 画像処理装置、画像処理システム、および、画像処理方法 |
| TWM392773U (en) * | 2010-05-21 | 2010-11-21 | Fortune Prec Technology Co Ltd | Auxiliary apparatus with panoramic viewing and recording for car driving |
| CN102111610B (zh) * | 2010-05-21 | 2012-08-29 | 深圳安科智能视频技术有限公司 | 用于辅助驾驶的全景式影像生成方法 |
-
2013
- 2013-09-27 CN CN201310450345.2A patent/CN104512328B/zh active Active
-
2014
- 2014-09-26 WO PCT/CN2014/087554 patent/WO2015043507A1/zh active Application Filing
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296642A (zh) * | 2015-06-09 | 2017-01-04 | 汪浩 | 车载环视系统摄像头内外参数一次性标定的方法 |
| CN106274684A (zh) * | 2015-06-24 | 2017-01-04 | 张烂熳 | 一种小角度摄像头实现的汽车全景环视系统 |
| CN106853798A (zh) * | 2015-12-08 | 2017-06-16 | 现代自动车株式会社 | 用于提供车辆周围图像信息的系统和方法 |
| CN106853798B (zh) * | 2015-12-08 | 2021-02-09 | 现代自动车株式会社 | 用于提供车辆周围图像信息的系统和方法 |
| CN105574863B (zh) * | 2015-12-14 | 2018-03-27 | 宁波裕兰信息科技有限公司 | 一种360度环视系统在线自动标定系统 |
| CN105574863A (zh) * | 2015-12-14 | 2016-05-11 | 宁波裕兰信息科技有限公司 | 一种360度环视系统在线自动标定系统 |
| CN106355553A (zh) * | 2016-09-06 | 2017-01-25 | 深圳格兰泰克汽车电子有限公司 | 一种360环视拼接方法及装置 |
| CN106355553B (zh) * | 2016-09-06 | 2019-08-27 | 深圳格兰泰克汽车电子有限公司 | 一种360环视拼接方法及装置 |
| CN108629732A (zh) * | 2017-03-15 | 2018-10-09 | 比亚迪股份有限公司 | 车辆环视全景图像生成方法、装置和车辆 |
| CN107423667A (zh) * | 2017-04-12 | 2017-12-01 | 杭州奥腾电子股份有限公司 | 一种车体上的预测障碍物的方法 |
| CN107424116A (zh) * | 2017-07-03 | 2017-12-01 | 浙江零跑科技有限公司 | 基于侧环视相机的泊车位检测方法 |
| CN107424116B (zh) * | 2017-07-03 | 2020-06-19 | 浙江零跑科技有限公司 | 基于侧环视相机的泊车位检测方法 |
| CN107554472A (zh) * | 2017-08-23 | 2018-01-09 | 中国科学院自动化研究所 | 一种车辆碰撞警示系统和方法 |
| CN108327719A (zh) * | 2018-01-31 | 2018-07-27 | 京东方科技集团股份有限公司 | 辅助车辆行驶的方法及装置 |
| CN113065999A (zh) * | 2019-12-16 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置、图像处理设备及存储介质 |
| CN113065999B (zh) * | 2019-12-16 | 2023-03-10 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置、图像处理设备及存储介质 |
| CN110944107A (zh) * | 2019-12-29 | 2020-03-31 | 徐书诚 | 一种实现环视网络摄像机组单屏还原显示计算机系统 |
| CN110944107B (zh) * | 2019-12-29 | 2021-06-04 | 徐书诚 | 一种实现环视网络摄像机组单屏还原显示计算机系统 |
| CN111757057A (zh) * | 2020-06-17 | 2020-10-09 | 广州市泰睿科技有限公司 | 一种全景环视显示方法、装置、设备及存储介质 |
| CN111757057B (zh) * | 2020-06-17 | 2022-06-17 | 广州市泰睿科技有限公司 | 一种全景环视显示方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015043507A1 (zh) | 2015-04-02 |
| CN104512328B (zh) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104512328A (zh) | 汽车环视图像生成方法及汽车环视系统 | |
| CN102045546B (zh) | 一种全景泊车辅助系统 | |
| CN108263283A (zh) | 多编组变角度车辆全景环视系统标定及拼接方法 | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| CN110509851B (zh) | 一种随动显示的多曲率电子后视镜 | |
| US20140114534A1 (en) | Dynamic rearview mirror display features | |
| CN109089074A (zh) | 用于环视监控系统的摄像头角度估计方法 | |
| KR20190047027A (ko) | 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법 | |
| JP4560716B2 (ja) | 車両の周辺監視システム | |
| CN111559314B (zh) | 深度与图像信息融合的3d增强全景环视系统及实现方法 | |
| WO2003107273A1 (ja) | 運転支援装置 | |
| CN109087251B (zh) | 一种车载全景图像显示方法及系统 | |
| CN107027329B (zh) | 将行进工具的周围环境的局部图像拼接成一个图像 | |
| CN105321160B (zh) | 三维立体全景泊车的多摄像头标定方法 | |
| CN106994936A (zh) | 一种3d全景泊车辅助系统 | |
| KR20020033816A (ko) | 감시시스템 | |
| CN103617606A (zh) | 用于辅助驾驶的车辆多视角全景生成方法 | |
| JP5724446B2 (ja) | 車両の運転支援装置 | |
| CN101442618A (zh) | 用于车辆辅助驾驶的360度环形视频合成方法 | |
| CN102521817A (zh) | 一种用于全景泊车系统的图像融合方法 | |
| JP5966513B2 (ja) | 車両の後側方撮影装置 | |
| CN105539290A (zh) | 一种用于显示车辆3d全景影像的系统及方法 | |
| CN106855999A (zh) | 汽车环视图像的生成方法及装置 | |
| KR102057021B1 (ko) | 패널 변환 | |
| CN106274684A (zh) | 一种小角度摄像头实现的汽车全景环视系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |