CN101971207A - 图像处理装置及方法、驾驶辅助系统、车辆 - Google Patents

图像处理装置及方法、驾驶辅助系统、车辆 Download PDF

Info

Publication number
CN101971207A
CN101971207A CN2009801091522A CN200980109152A CN101971207A CN 101971207 A CN101971207 A CN 101971207A CN 2009801091522 A CN2009801091522 A CN 2009801091522A CN 200980109152 A CN200980109152 A CN 200980109152A CN 101971207 A CN101971207 A CN 101971207A
Authority
CN
China
Prior art keywords
image
reference point
shortcoming
changing
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801091522A
Other languages
English (en)
Other versions
CN101971207B (zh
Inventor
本乡仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101971207A publication Critical patent/CN101971207A/zh
Application granted granted Critical
Publication of CN101971207B publication Critical patent/CN101971207B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理装置及方法、驾驶辅助系统、车辆。从通过设置在车辆中的摄像机得到的摄像机图像中提取四个特征点,另一方面,设定应由摄像机图像生成的偏差校正图像上的四个基准点的位置,进行基于单应性矩阵的坐标变换,以使四个特征点的坐标值变换为四个基准点的坐标值。在偏差校正图像上,以图像中心线与车体中心线吻合的方式设定各坐标值。判定在所生成的偏差校正图像的整体区域内,是否包含不存在以摄像机图像的图像数据为基础的图像数据的图像缺欠区域,当包含它时,使两个基准点或四个基准点的位置左右对称地移动,并根据移动后的基准点的位置,再计算单应性矩阵。

Description

图像处理装置及方法、驾驶辅助系统、车辆
技术领域
本发明涉及针对来自摄像机的输入图像来实现图像处理的图像处理装置及方法。此外,本发明涉及利用它们的驾驶辅助系统及车辆。
背景技术
对车辆的驾驶者而言,车辆后方易于成为死角。于是,公开有以下方法,即:在车辆后部设置监视车辆后方的背面摄像机,并在驾驶座附近配置的显示装置中显示从背面摄像机得到的摄像机图像。
通常,由于车辆的结构或设计上的制约,如图15所示,背面摄像机多被安装在从车辆的后部中央偏移的位置(偏差位置)。在图15中,符号901表示背面摄像机。若存在这样的位置偏移,则在从背面摄像机得到的摄像机图像上,车体后部中心会不位于图像的中心线上。例如,即使将图像的中心线的位置与图像上的车体后部中心位置对齐,也会由于摄像机光轴从车体中心线偏移,所以实际空间上的车辆的移动与显示画面上的映像的移动不吻合,驾驶者会对边看映像边驾驶感到不协调。
于是,公开有以下方法,即:在从车辆的后部中央偏移的位置设置背面摄像机的情况下,根据摄像机图像的每个光栅的偏差量,以规定的倍率使摄像机图像内的规定范围进行伸缩(参照下述专利文献)。在该方法中,车辆的行驶方向上的车体中心线位于图像的中心线上,并且,以车辆的行驶方向上的车辆两端与图像的两端对应的方式,将摄像机图像左右分开,而个别地对左右的部分图像进行伸缩校正。
然而,在此方法中,由于用于进行校正的参数调整很复杂,在摄像机机的安装位置产生变更时,难于进行与其变更的对应。此外,由于将摄像机图像左右分开而个别地对左右的部分图像进行伸缩校正,所以左右图像的尺度变得不均匀。
此外,虽然着眼于在从车辆的后部中央偏移的位置上配置背面摄像机的情况,但存在背面摄像机的光轴方向相对于车辆的行驶方向倾斜的情形。在这种情况下,也会产生与上述相同的问题。
另一方面,一般公知以下方法,即:根据变换前图像上的四个特征点的坐标值与变换后图像上的四个基准点的坐标值的对应关系来设定单应性矩阵(homography matrix),并根据该单应性矩阵来进行坐标变换。如果利用该坐标变换来适当地设定各坐标值,则能够生成图像上的车体后部中心位置与图像的中心线的位置吻合的偏差校正图像。但是,若使用的单应性矩阵不恰当,则在偏差校正图像中会产生图像的缺欠。
所谓图像的缺欠是指偏差校正图像的整体像在应出现的偏差校正图像的整体区域内包括图像缺欠区域。所谓图像缺欠区域是指不存在以摄像机图像的图像数据为基础的图像数据的区域。本来,根据以摄像机的拍摄结果为基础的摄像机图像的图像数据应生成偏差校正图像的全像素的图像数据,但若作为图像变换参数的单应性矩阵不合适,则偏差校正图像内的一部分图像的对应像素会在摄像机图像内不存在,结果,产生图像缺欠。
[专利文献1]JP特开2005-129988号公报
发明内容
于是,本发明的目的在于,提供一种能够与各种摄像机的安装位置或安装角度对应,并且能够抑制图像的缺欠的图像处理装置及图像校正方法。此外,本发明的目的还在于,提供利用它们的驾驶辅助系统及车辆。
本发明的图像处理装置,具有:图像获取单元,其根据拍摄车辆周边的摄像机的拍摄结果来获取输入图像;图像变换单元,其通过坐标变换由所述输入图像生成变换图像,以使所述输入图像上的特征点的位置变换为所述变换图像上的基准点的位置;参数存储单元,其存储基于所述特征点的位置与所述基准点的位置且用于将所述输入图像变换为所述变换图像的图像变换参数;缺欠判定单元,其判定在使用所述参数存储单元所存储的图像变换参数由所述输入图像而得到的所述变换图像的整体区域内,是否包含不存在以所述输入图像的图像数据为基础的图像数据的图像缺欠区域;和参数调整单元,其在判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时,通过变更所述基准点的位置来调整所述图像变换参数,以便抑制所述图像缺欠区域的产生。
上述图像处理装置,通过以输入图像上的特征点的位置与变换图像上的基准点的位置为基础的坐标变换来生成变换图像。此外,输入图像是以摄像机的拍摄结果为基础的图像,所以摄像机的安装位置及安装角度的状态被反映于输入图像上的特征点的位置。因此,能够生成与各种摄像机的安装位置或安装角度对应的变换图像,即使安装位置等发生变更,也能够易于生成与该变更后的安装位置等对应的图像变换参数。此时,根据图像变换参数,虽然有时变换图像的整体区域内包含图像缺欠区域,但通过参数调整单元会自动地抑制图像缺欠区域的产生。
具体而言,例如,所述参数调整单元,当判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时,以减少所述图像缺欠区域的尺寸的方式,使所述基准点的位置向从所述变换图像的中心位置离开的方向移动,从而进行所述图像变换参数的调整。
如上所述,通过将基准点的位置从变换图像的中心位置离开,将缩小变换图像的视野范围,所以能够抑制图像缺欠区域的产生。
更具体而言,例如,所述特征点由包括第一及第二特征点的多个特征点构成,并且所述基准点由包括第一及第二基准点的多个基准点构成,所述第一及第二特征点分别与所述第一及第二基准点对应,所述参数调整单元,当判定为是所述变换图像的整体区域内且在比所述第二基准点更靠近所述第一基准点的区域包含有所述图像缺欠区域时,以减少所述图像缺欠区域的尺寸的方式,使所述第一基准点的位置向从所述中心位置离开的方向移动,另一方面,当判定为是所述变换图像的整体区域内且在比所述第一基准点更靠近所述第二基准点的区域包含有所述图像缺欠区域时,以减少所述图像缺欠区域的尺寸的方式,使所述第二基准点的位置在所述变换图像内向从所述中心位置离开的方向移动。
更具体而言,例如,当考虑为以将所述变换图像在水平或垂直方向上进行二分的中心线作为边界而将所述变换图像分割为第一及第二部分图像时,所述第一及第二基准点分别位于第一及第二部分图像内,所述参数调整单元,在使所述第一及第二基准点之中的一方的位置移动时,同时使另一方的基准点的位置也移动,以使所述第一及第二基准点的位置保持以所述中心线为对称轴呈线对称的关系。
于是,例如,在所述变换图像上,以使所述车辆的行驶方向上的所述车辆的车体中心线与所述中心线吻合的方式,来决定所述特征点的位置及移动前后的所述基准点的位置。
由此,在变换图像上,图像的中心线与车体中心线吻合,并且左右的图像的尺度均等。
此外,例如,通过所述图像变换参数来规定与所述变换图像内的各像素的坐标值对应的坐标变换前的坐标值,所述缺欠判定单元,在该坐标变换前的坐标值全部是所述输入图像内的坐标值时,判定为在所述变换图像的整体区域内未包含所述图像缺欠区域,在求出的所述坐标值中包含所述输入图像外的坐标值时,判定为在所述变换图像的整体区域内包含有所述图像缺欠区域。
本发明的驾驶辅助系统,具有所述摄像机及所述图像处理装置,且将基于由所述图像处理装置的图像变换单元所得到的变换图像的图像输出给显示单元。
本发明的车辆,设置有所述摄像机及所述图像处理装置。
本发明的图像处理方法,执行:图像获取步骤,根据拍摄车辆周边的摄像机的拍摄结果来获取输入图像;图像变换步骤,通过坐标变换由所述输入图像生成变换图像,以使所述输入图像上的特征点的位置变换为所述变换图像上的基准点的位置;参数存储步骤,存储基于所述特征点的位置与所述基准点的位置且用于将所述输入图像变换为所述变换图像的图像变换参数;缺欠判定步骤,判定在使用所存储的图像变换参数由所述输入图像而得到的所述变换图像的整体区域内,是否包含不存在以所述输入图像的图像数据为基础的图像数据的图像缺欠区域;和参数调整步骤,在判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时,通过变更所述基准点的位置来调整所述图像变换参数,以便抑制所述图像缺欠区域的产生。
(发明效果)
根据本发明,能够提供一种与各种摄像机安装位置或安装角度对应并且能够抑制图像缺欠的图像处理装置及图像校正方法。此外,能够提供利用它们的驾驶辅助系统及车辆。
本发明的意义或效果,通过以下所示的实施方式的说明会更加明确。但是,以下的实施方式,始终是本发明的一个实施方式,本发明乃至各构成要件的用语的意义,不局限于以下实施方式中所记载的意义。
附图说明
图1(a)及(b)分别是从上方看本发明的实施方式的车辆时的平面图及从侧面看车辆时的平面图。
图2是本发明的实施方式驾驶辅助系统的概略整体方框图。
图3(a)及(b)是分别表示从车辆后部中央偏移的位置设置了图2的摄像机的状态的图、及表示倾斜地设置图2的摄像机的状态的图。
图4是表示本发明的实施方式的单应性矩阵的初始值的计算动作的流程图。
图5是表示计算单应性矩阵的初始值时的摄像机的拍摄环境的图。
图6是表示本发明的实施方式的摄像机图像及偏差校正图像的图。
图7是用于说明本发明的实施方式的作为摄像机图像或偏差校正图像的矩形图像的结构的图。
图8是表示本发明的实施方式的偏差校正图像中产生了图像的缺欠的图。
图9是包括图像处理装置的功能方框图的图2的驾驶辅助系统的详细方框图。
图10是表示图2的驾驶辅助系统的动作的流程的流程图。
图11是表示在图9的图像处理装置内定义的XY坐标面上的偏差校正图像的外形的图。
图12(a)及(b)是分别表示没有图像缺欠时的摄像机图像与偏差校正图像的关系图、及有图像缺欠时的摄像机图像与偏差校正图像的关系图。
图13(a)、(b)及(c)是分别表示包括两个图像缺欠区域的偏差校正图像的图、该偏差图像的第一图像区域的放大图、及该偏差图像的第四图像区域的放大图。
图14是表示包括两个图像缺欠区域的其它偏差校正图像的图。
图15是表示现有技术中的在从车辆后部中央偏移的位置设置后部摄像机的状态的图。
图中:
1-摄像机,
2-图像处理装置,
3-显示装置,
4-操作部,
11-图像输入部,
12-镜头变形校正部,
13-图像变换部,
14-缺欠判定部,
15-参数调整部,
16-参数存储部,
17-显示用图像生成部。
具体实施方式
以下,对本发明的实施方式,参照附图来具体地进行说明。在所参照的各图中,对相同部分赋予相同符号,原则上省略与相同部分相关的重复说明。
图1(a)是从上方看汽车即车辆100的平面图。图1(b)是从侧面看车辆100的平面图。车辆100为配置在路面上的汽车。在车辆100的后部,设置有用于辅助车辆100后方的安全确认的摄像机1。摄像机1被设置在车辆100上,以使在车辆100的后方侧具有视野。带有符号105的虚线扇形区域,表示摄像机1的拍摄区域(视野)。摄像机1被向后下方设置,以使摄像机1的视野中包括车辆100附近的后方侧路面。此外,作为车辆100,虽然例示了普通乘用车,但车辆100也可以是普通乘用车以外(货车等)的车。路面是处于水平面上。
当前,以车辆100为基准,在现实空间(实际的空间)中,定义作为虚拟轴的XC轴及YC轴。XC轴及YC轴是路面上的轴,XC轴与YC轴相互正交。在由XC轴及YC轴构成的二维坐标系中,YC轴与车辆100的行驶方向平行,车辆100的车体中心线位于YC轴上。在此所谓车辆100的行驶方向是指车辆100直行时的行驶方向。此外,所谓车体中心线是指与车辆100的行驶方向平行的车体的中心线。更具体而言,所谓车体中心线,是指通过虚拟线111和虚拟线112之间的中心的线,虚拟线111是通过车辆100的右端且与YC轴平行的线,虚拟线112是通过车辆100的左端且与YC轴平行的线。此外,通过虚拟线113和虚拟线114之间的中心的线位于XC轴上,虚拟线113是通过车辆100的前端且与XC轴平行的线,虚拟线114是通过车辆100的后端且与XC轴平行的线。虚拟线111~114,是路面上的虚拟线。此外,车辆100的右端与车辆100的车体的右端是相同含义。针对车辆100的左端也同样。
图2表示本发明的实施方式的驾驶辅助系统的概略整体方框图。驾驶辅助系统具有:摄像机1;图像处理装置2;显示装置3及操作部4。摄像机1,对位于车辆100周边的被摄体(包括路面)进行拍摄,将显示由拍摄得到的图像信号输出给图像处理装置2。图像处理装置2根据从摄像机1得到的图像生成显示用图像。图像处理装置2,将对生成的显示用图像进行显现的映像信号输出给显示装置3,显示装置3根据分配来的映像信号而将显示用图像显示为映像。操作部4是接收基于用户的操作的部位,用户的操作内容被传输给图像处理装置2。
由摄像机1的拍摄而得到的图像称为摄像机图像。由摄像机1的输出信号其本身所显现的摄像机图像,多受镜头变形的影响。因此,图像处理装置2,针对由摄像机1的输出信号其本身所显现的摄像机图像施行镜头变形校正,并根据镜头变形校正后的摄像机图像进行显示用图像的生成。只要没有特别声明,则以下所述的摄像机图像,是指镜头变形校正后的摄像机图像。但是,基于摄像机1的特性,有时也省略镜头变形校正处理。
作为摄像机1,使用采用CCD(Charge Coupled Devices)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等固体摄像元件的摄像机。图像处理装置2,例如由集成电路形成。显示装置3,由液晶显示面板等形成。也可以将导航系统等中包含的显示装置沿用为驾驶辅助系统中的显示装置3。此外,图像处理装置2可组成为导航系统的一部分。图像处理装置2及显示装置3,例如,被设置在车辆100的驾驶座附近。
理想状态而言,摄像机1正确地以朝向车辆后方的方式被配置在车辆后部中央。即,理想状态而言,摄像机1被设置在车辆100上,以使摄像机1的光轴位于包含YC轴的垂直面上。然而,由于车辆100的结构或设计上的制约或摄像机1的安装误差,如图3(a)所示,摄像机1大多被设置在从车辆后部中央偏移的位置上,或者如图3(b)所示,摄像机1的光轴大多不与包含YC轴的垂直面平行。在这种情况下,摄像机图像的中心线会从摄像机图像上的车体中心线偏移,或摄像机图像会相对于车辆100的行驶方向发生倾斜。本实施方式的驾驶辅助系统,具有生成和显示对这种图像的偏移或倾斜进行补偿的图像的功能。
将对图像的偏移或倾斜进行补偿后的图像称为偏差校正图像。偏差校正图像可通过对摄像机图像进行坐标变换而得到。可认为通过将摄像机图像变换为从与摄像机1的视点不同的虚拟视点看到的图像来生成偏差校正图像。这种坐标变换(或者基于该坐标变换的图像变换)被称为视点变换。
能够根据单应性矩阵(射影变换矩阵)来进行用于由摄像机图像得到偏差校正图像的坐标变换。图像处理装置2,根据摄像机1的拍摄结果而求出单应性矩阵,但暂时计算出的单应性矩阵在后面可被调整。首先,参照图4来说明单应性矩阵的计算方法。图4是表示单应性矩阵的初始值的计算动作的流程图。此外,图4中的步骤S4~S6的处理,例如,通过设置在图像处理装置2内的参数导出部(未图示)来执行。
首先,在步骤S1中,整备校正环境。作为典型的示例,假设:整备了如图5所示的校正环境。但是,以下的校正环境是理想的环境,实际上可含有误差。
首先,在车辆100上设置摄像机1,并在路面上配置车辆100,以使摄像机1的视野内容纳在路面上所描画的白线L1及L2。白线L1及L2,例如,是用于将停车场中的一个停车区划与其它停车区划相区分的标识。在路面上,白线L1与L2,是相互平行的线段,两线段的长度相等。而且,以YC轴为对称轴,白线L1与白线L2具有线对称关系。因此,YC轴与白线L1及L2平行并且YC轴与白线L1的距离和YC轴与白线L2的距离一致。此外,在图5中,摄像机1正确地以朝向车辆后方的方式被配置在车辆后部中央,如上所述,在该配置中可包含偏移。
分别以P1及P3来表示白线L1的两端点之中距摄像机1及车辆100远方的端点及近方的端点,分别以P2及P4来表示白线L2的两端点之中距摄像机1及车辆100远方的端点及近方的端点。为了说明的简化,可忽略各白线的粗细(XC轴方向的长度)。在不忽略白线L1的粗细的情况下,可假设与YC轴平行的白线L1的中心线,并将该中心线上的白线L1的两端点作为端点P1及P3即可(针对白线L2也同样)。
在这样的校正环境下,在步骤S2中,使摄像机1进行拍摄而获取原始图像,并在步骤S3中对原始图像实施镜头变形校正。所谓原始图像,是指镜头变形校正前的摄像机图像。将对原始图像实施镜头变形校正后而得到的图像,如上所述,简称为摄像机图像。在步骤S3中得到的摄像机图像为图6所示的摄像机图像210。摄像机图像210内的点P1A~P4A,分别表示摄像机图像210上的端点P1~P4,将这些点称为特征点。此外,用符号220表示偏差校正图像,该偏差校正图像是根据由图4的处理应求出的单应性矩阵的初始值对摄像机图像210进行坐标变换后而得到的。
接着在步骤S4中,图像处理装置2,根据摄像机图像210的图像数据,从摄像机图像210提取特征点P1A~P4A,来检测出点P1A~P4A的位置。
作为提取图像内的白线的端点的方法可采用公知的方法。例如,可采用JP特开昭63-142478号公报、JP特开平7-78234号公报或国际公开号码WO00/7373号所记载的方法。即:例如,针对摄像机图像进行边缘提取处理之后,针对该边缘提取结果进而实施利用Hough变换等的直线提取处理,将得到的线段的端点提取为白线的端点。此外,也可以由用户的手动操作来决定特征点P1A~P4A的位置。此外,暂时根据摄像机图像210的图像数据来自动提取特征点P1A~P4A的位置之后,为了与提取误差对应,根据需要,也可以由用户通过手动操作将正确的特征点P1A~P4A的位置赋予图像处理装置2。
各特征点的位置,由摄像机图像210上的坐标值来表示。当前,作为定义摄像机图像及偏差校正图像的坐标面(坐标系),假设:将X轴及Y轴设为坐标轴的二维XY坐标面(XY坐标系)。X轴及Y轴相互正交,以(x,y)来表示摄像机图像上的点的坐标值,另一方面,以(x′,y′)表示偏差校正图像上的点的坐标值。x及y,分别表示摄像机图像上的点的位置的X轴分量及Y轴分量。x′及y′分别表示偏差校正图像上的点的位置的X轴分量及Y轴分量。X轴与摄像机图像及偏差校正图像的水平方向(及水平线)平行,Y轴与摄像机图像及偏差校正图像的垂直方向(及垂直线)平行。X轴方向设为与图像的左右方向对应,并且,Y轴方向设为与图像的上下方向对应。此外,以0表示相当于X轴与Y轴的交点的XY坐标面上的原点。
此外,摄像机图像及偏差校正图像设为矩形图像。图7示出表示摄像机图像或偏差校正图像的矩形图像230。在图7中,直线241表示在垂直方向上将矩形图像230进行二分的水平中心线,直线242表示在水平方向上将矩形图像230进行二分的垂直中心线。水平中心线241与矩形图像230的水平线平行(与X轴平行),垂直中心线242与矩形图像230的垂直线平行(与Y轴平行)。矩形图像230的整体区域被水平中心线241及垂直中心线242分割为4部分。分别将在水平中心线241的上侧且位于垂直中心线242的左侧的图像区域、在水平中心线241的上侧且位于垂直中心线242的右侧的图像区域、在水平中心线241的下侧且位于垂直中心线242的左侧的图像区域、在水平中心线241的下侧且位于垂直中心线242的右侧的图像区域称为第一、第二、第三及第四图像区域,分别将第一、第二、第三及第四图像区域内的图像称为第一、第二、第三及第四部分图像。此外,水平中心线241与垂直中心线242的交点240是矩形图像230的中心点。
在图4的步骤S4中决定了特征点P1A~P4A的位置之后,在步骤S5中,图像处理装置2决定应与特征点P1A~P4A对应的基准点P1B~P4B的位置。基准点P1B~P4B表示偏差校正图像上的端点P1~P4,各基准点的位置由偏差校正图像上的坐标值来表示。基准点P1B~P4B的位置,例如,被预先设定。或者,通过针对操作部4的操作,由用户指定基准点P1B~P4B的位置。
其中,基准点P1B~P4B分别设为位于偏差校正图像的第一~第四图像区域内的点。此外,特征点P1A~P4A分别设为位于摄像机图像中的第一~第四图像区域内的点。此外,在偏差校正图像中,左右对称地配置基准点P1B及P3B与P2B及P4B,以使垂直中心线与车体中心线吻合。即,按照基准点P1B的位置与基准点P2B的位置以偏差校正图像的垂直中心线为对称轴呈线对称关系,并且基准点P3B的位置与基准点P4B的位置以偏差校正图像的垂直中心线为对称轴呈线对称关系的方式,来决定在步骤S5中的P1B~P4B的位置的点。
若在步骤S4及S5中决定了四个特征点的坐标值(位置)及四个基准点的坐标值(位置),则在步骤S6中,图像处理装置2,根据这些坐标值信息来计算单应性矩阵的初始值。当以H表示单应性矩阵时,摄像机图像上的坐标值(x,y)与偏差校正图像上的坐标值(x′,y′)的关系,如以下算式(1)所示。单应性矩阵H是三行三列的矩阵,以h1~h9表示该矩阵的各要素。而且,设为h9=1(以h9=1的方式对矩阵进行正规化)。此外,根据算式(1),坐标值(x,y)与坐标值(x′,y′)的关系,能够由以下算式(2a)及(2b)表示。
[算式1]
x ′ y ′ 1 = H x y 1 = h 1 h 2 h 3 h 4 h 5 h 6 h 7 h 8 h 9 x y 1 …(1)
= h 1 h 2 h 3 h 4 h 5 h 6 h 7 h 8 1 x y 1
[算式2]
x ′ = h 1 x + h 2 y + h 3 h 7 x + h 8 y + 1 . . . ( 2 a )
y ′ = h 4 x + h 5 y + h 6 h 7 x + h 8 y + 1 . . . ( 2 b )
作为根据四组坐标值对应关系而求出单应性矩阵的方法,可采用公知的方法。例如,可以采用JP特开2004-342067号公报中记载的方法(尤其,参照段落[0059]~[0069]中记载的方法)。在步骤S4中决定的特征点P1A~P4A的坐标值,分别设为(x1,y1)、(x2,y2)、(x3,y3)及(x4,y4),并且,在步骤S5中决定的基准点P1B~P4B的坐标值,分别设为(x1′,y1′)、(x2′,y2′)、(x3′,y3′)及(x4′,y4′)。这样,在步骤S6中,图像处理装置2,以使坐标值(x1,y1)、(x2,y2)、(x3,y3)及(x4,y4)分别变换为坐标值(x1′,y1′)、(x2′,y2′)、(x3′,y3′)及(x4′,y4′)的方式,求出单应性矩阵H的要素h1~h8的各值。实际上,以该变换的误差(JP特开2004-342067号公报中的评价系数)被最小化的方式求出要素h1~h8的各值。将具有在此求出的要素h1~h8的各值的单应性矩阵H作为应在步骤S6中求取的单应性矩阵的初始值。
一旦求出单应性矩阵,就能够根据上述算式(2a)及(2b)将摄像机图像上的任意点变换为偏差校正图像上的点,并在由任意的摄像机图像生成的偏差校正图像上,将垂直中心线与车体中心线吻合。实际上,例如,通过制成按照求出的单应性矩阵的表格数据,从而将其存储在图像处理装置2内的存储器中而生成查找表,并通过参照该表格数据由摄像机图像生成偏差校正图像。该表格数据或单应性矩阵,是对与偏差校正图像上的各像素的坐标值对应的摄像机图像上的坐标值(即,坐标变换前的坐标值)进行规定的参数。以下,将该参数称为图像变换参数。
此外,上述单应性矩阵的初始值的计算方法,始终是示例,只要在采用单应性矩阵的初始值而得到的偏差校正图像上,垂直中心线与车体中心线吻合,则如何计算它均可。
虽然通过如上所述求出图像变换参数,能在偏差校正图像上使垂直中心线与车体中心线吻合,但通过图像变换参数,如图8所示,在偏差校正图像内会产生图像的缺欠。
所谓图像的缺欠是指在应显现偏差校正图像的整体像的偏差校正图像的整体区域内包含图像缺欠区域。所谓图像缺欠区域是指不存在以摄像机图像的图像数据为基础的图像数据的区域。在图8中,带有符号251及252的斜线区域分别是图像缺欠区域。本来,由根据摄像机的拍摄结果的图像数据应生成偏差校正图像的全像素的图像数据,但若图像变换参数不合适,则偏差校正图像内的一部分的像素的对应像素会在摄像机图像内不存在,结果,产生图像缺欠。
即使在未正确地以朝向车辆后方的方式在车辆后部中央配置摄像机1的情况下,当知道以固定的位置及角度完全固定了摄像机1的安装位置及角度时,由于以车辆100作为基准的拍摄区域是不变的,所以能够考虑到摄像机1的安装状态,在驾驶辅助系统的设计阶段恰当地设定好图像变换参数。但是,在用户与准备车辆100分体设置摄像机1并按照车辆100的形状等在车辆100上设置摄像机1时,即使如上所述求出图像变换参数,若不看图像变换结果则也无法知道在偏差校正图像中是否产生图像缺欠。
本实施方式的驾驶辅助系统,具有用于排除图像的缺欠的针对图像变换参数的自动调整功能。以下,对该功能中关注的驾驶辅助系统的结构及动作进行说明。
图9包括图像处理装置2的功能方框图,是图2的驾驶辅助系统的详细方框图。图像处理装置2具有由符号11~17参照的各部位。图10是表示包括用于实现上述自动调整功能的动作的驾驶辅助系统的动作的流程的流程图。
首先,在步骤S11中,图像输入部11从摄像机1接收原始图像的输入。即,图像输入部11接收从摄像机1发送来的原始图像的图像数据,通过在帧存储器(未图示)中存储该图像数据来获取原始图像。所谓原始图像,如上所述,是指镜头变形校正前的摄像机图像。由于在应确保广视角的摄像机1中使用广角镜头,所以原始图像中包含变形。于是,在步骤S12中,镜头变形校正部12针对图像输入部11获取到的原始图像实施镜头变形校正。作为镜头变形校正的方法,可采用JP特开平5-176323号公报中记载的公知的任意方法。如上所述,将在原始图像中实施镜头变形校正后而得到的图像简称为摄像机图像。
在接着步骤S12的步骤S13中,图像变换部13读入参数存储部16所存储的图像变换参数。当初,参数存储部16,虽然存储有在图4的步骤S6中求出的图像变换参数(即,表示单应性矩阵的初始值的图像变换参数),但如后所述,有时所存储的图像变换参数会被更新。在步骤S13中,读入最新的图像变换参数。接着在步骤S14中,图像变换部13,根据所读入的图像变换参数来对从镜头变形校正部12给予的摄像机图像进行坐标变换(视点变换),从而生成偏差校正图像。
在步骤S14的处理之后,通过缺欠判定部14执行步骤S15的处理。缺欠判定部14对应在步骤S14生成的偏差校正图像中是否产生了图像的缺欠进行判定。缺欠判定部14,当在偏差校正图像的整体区域内包括图像缺欠区域时,判定为产生了图像的缺欠,当在偏差校正图像的整体区域内不包括图像缺欠区域时,判定为未产生图像的缺欠。
当判断为在偏差校正图像中产生了图像的缺欠时,从步骤S15转移至步骤S16,当判断为未产生图像的缺欠时,转移至步骤S17。
参照图11和图12(a)及(b),对图像缺欠的意义及有无图像缺欠的判定方法进行补充说明。形成偏差校正图像的各像素应位于的XY坐标面上的坐标值被预先设定,根据其设定内容,XY坐标面上的偏差校正图像的外形位置也被预先确定。在图11和图12(a)及(b)中,带有符号270的框表示XY坐标面上的偏差校正图像的整体区域外形。在该框270内由二维排列的像素组生成偏差校正图像。
缺欠判定部14,根据在步骤S13中读入的图像变换参数,求出与框270内的各像素的坐标值(x′,y′)对应的坐标值(x,y)。于是,当求出的全部坐标值(x,y)是摄像机图像内的坐标值时,即,当能够由摄像机图像的图像数据得到形成偏差校正图像的整个像素的图像数据时,判定为未产生图像缺欠。另一方面,当在求出的全部坐标值(x,y)中存在摄像机图像以外的坐标值时,判定为产生了图像缺欠。图12(a)表示未产生图像缺欠时的坐标变换的情形,图12(b)表示产生了图像缺欠时的坐标变换的情形。在图12(a)及(b)中,框280表示XY坐标面上的摄像机图像的整体区域外形,且仅在框280内存在摄像机图像的图像数据。
当在步骤S15中判断为产生了图像的缺欠时,在步骤S16中,根据该判断结果,由参数调整部15进行图像变换参数的调整。
对步骤S16的调整方法进行说明。参数调整部15,当在形成偏差校正图像的整体区域的第一~第四图像区域之中(参照图7)的第一、第二、第三、第四图像区域内存在图像缺欠区域时,以减少其图像缺欠区域的大小的方式(最终,以图像缺欠区域完全消失的方式),分别使基准点P1B、P3B、P2B、P4B的位置向从偏差校正图像的中心点离开的方向移动,根据移动后的基准点的位置,再计算图像变换参数。通过该再计算来进行调整。即,由该再计算而得到的新的图像变换参数是调整后的图像变换参数。参数存储部16存储的图像变换参数,由调整后的图像变换参数来更新。若从偏差校正图像的中心点离开基准点的位置,则偏差校正图像的视野范围变窄,所以图像缺欠区域难以产生。
此时,若按照保持基准点P1B与基准点P2B的位置以垂直中心线242为对称轴呈线对称关系的方式,使基准点P1B与基准点P2B之中的一方的基准点的位置移动,则另一方的基准点的位置也同时移动。同样,若按照保持基准点P3B与基准点P4B的位置以垂直中心线242为对称轴呈线对称关系的方式,使基准点P3B与基准点P4B之中的一方的基准点的位置移动,则另一方的基准点的位置也同时移动。由此,即使在以调整后的图像变换参数为基础的偏差校正图像中,垂直中心线与车体中心线也吻合,而且左右的图像的尺度均等。即,位于第一部分图像内的物体的图像上的水平方向的长度与位于第二部分图像内的物体的图像上的水平方向的长度,若两物体的尺寸在实际空间上相同,则相同。第三部分图像与第四部分图像的关系也同样。
对具体的基准点的移动方向及移动量的决定方法进行说明。当前假设:通过采用调整前的图像变换参数,在步骤S14中,得到图13(a)所示的偏差校正图像300的情况。设为:在偏差校正图像300的第一图像区域中存在图像缺欠区域301,在偏差校正图像300的第四图像区域中存在图像缺欠区域302。此外,图像缺欠区域302的一部分存在于第二图像区域。此外,由符号310来参照偏差校正图像300的中心点。此外,分别在图13(b)及(c)中表示偏差校正图像300的第一及第四图像区域的放大图。
参数调整部15分别着眼于偏差校正图像300的第一~第四图像区域,按照每个水平线计算所着眼的图像区域中包含的图像缺欠区域的水平方向像素数,并按照每个垂直线计算垂直方向像素数。关于第i图像区域中所包含的图像缺欠区域,所谓某一水平线的水平方向像素数是指属于该图像缺欠区域的像素并且位于该水平线上的像素的个数,所谓某一垂直线的垂直方向像素数是指属于该图像缺欠区域的像素并且位于该垂直线上的像素的个数(其中,i是1、2、3或4)。首先,着眼于第一图像区域,对基于该计算结果的处理进行说明。
参数调整部15,按照每条水平线,计算第一图像区域中包含的图像缺欠区域301的水平方向像素数,并且按照每条垂直线,计算垂直方向像素数,且求出计算出的水平方向像素数是预定的阈值THA以上的水平线数N1A,并求出计算出的垂直方向像素数是预定的阈值THB以上的垂直线数N1B。此外,水平线数N1A与图13(b)所示的括弧330的尺寸成比例。
于是,当求出的水平线数N1A大于等于1时,使基准点P1B的位置向上侧(即,以从中心点310离开的方式向垂直方向)移动。能够根据水平线数N1A来决定向上侧的移动量。例如,可随着水平线数N1A增加,使向上侧的移动量增加。同样,当求出的垂直线数N1B大于等于1时,使基准点P1B的位置向左侧(即,以从中心点310离开的方式向水平方向)移动。能够根据垂直线数N1B来决定向左侧的移动量。例如,可随着水平线数N1B增加,使向左侧的移动量增加。但是,在图13(b)所示的示例中,由于N1B=0,所以不能进行向基准点P1B的左侧移动。
此外,如上所述,若使基准点P1B的位置移动,则同时基准点P2B的位置也移动。图13(b)所示的示例的情况,由于使基准点P1B的位置向上侧移动,所以同时基准点P2B的位置也向上侧移动。基准点P1B的移动量与基准点P2B的移动量相同。
针对第四图像区域也实施同样的处理。即,参数调整部15,按照每条水平线,计算第四图像区域中包含的图像缺欠区域302的水平方向像素数,并且按照每条垂直线,计算垂直方向像素数,且求出计算出的水平方向像素数是预定的阈值THA以上的水平线数N4A,并求出计算出的垂直方向像素数是预定的阈值THB以上的垂直线数N4B
于是,当求出的水平线数N4A大于等于1时,使基准点P4B的位置向下侧(即,以从中心点310离开的方式向垂直方向)移动。能够根据水平线数N4A来决定向下侧的移动量。例如,可随着水平线数N4A增加,使向下侧的移动量增加。同样,当求出的垂直线数N4B大于等于1时,使基准点P4B的位置向右侧(即,以从中心点310离开的方式向水平方向)移动。能够根据垂直线数N4B来决定向右侧的移动量。例如,可随着水平线数N4B增加,使向右侧的移动量增加。
此外,如上所述,若使基准点P4B的位置移动,则同时基准点P3B的位置也移动。图13(c)所示的示例的情况,由于使基准点P4B的位置向右下侧移动,所以同时基准点P3B的位置也向左下侧移动。基准点P4B向下侧的移动量与基准点P3B向下侧的移动量相同,基准点P4B向右侧的移动量与基准点P3B向左侧的移动量相同。
针对第二及第三图像区域也实施同样的处理。但是,按照以垂直中心线242为对称轴,基准点P1B与基准点P2B的位置总保持线对称的关系,并且以垂直中心线242为对称轴,基准点P3B与基准点P4B的位置总保持线对称的关系的方式,进行针对各基准点的位置的移动处理。
因此,在分别于如图14所示的第一及第二图像区域中得到存在图像缺欠区域的偏差校正图像的情况下,当判断为基于第一图像区域中包含的图像缺欠区域的尺寸应将基准点P1B的位置向上侧移动五个像素,同时判断为基于第二图像区域中包含的图像缺欠区域的尺寸应将基准点P2B的位置向上侧移动三个像素时,根据双方的判断结果来决定基准点P1B及P2B向上侧的移动量。例如,在针对基准点P1B及P2B而判断出的移动量之中,可以按照大的移动量来移动基准点P1B及P2B的位置。总之,在该数值例的情况下,可以使基准点P1B及P2B的位置都向上侧移动五个像素。
此外,摄像机图像中的特征点P1A~P4A的位置,虽然在图4的步骤S4的处理阶段被决定,但也可以在步骤S16的处理的阶段同时也对特征点P1A~P4A的位置进行调整。例如,为了与以摄像机图像的图像数据为基础的特征点P1A~P4A的提取误差对应,在步骤S16的处理阶段,根据需要,也可以由用户通过手动操作来调整特征点P1A~P4A的位置。此时,根据该调整后的特征点的位置和上述移动后的基准点的位置,再计算图像变换参数,通过该再计算而得到的新的图像变换参数被作为调整后的图像变换参数,更新存储在参数存储部16中。
在图10的步骤S16中调整图像变换参数之后,返回步骤S13,由图像变换部13读入已被更新存储的图像变换参数,执行采用了该已被更新存储的图像变换参数的步骤S14的图像变换及步骤S15的缺欠判定处理。因此,由步骤S13~S16构成的循环处理,直到在步骤S15中判断为未产生图像缺欠为止,被反复执行。
当在步骤S15中判断为未产生图像的缺欠时,未产生图像缺欠的最新的偏差校正图像的图像数据从图像变换部13发送给显示用图像生成部17(参照图9)。显示用图像生成部17,根据该最新的偏差校正图像的图像数据,生成显示用图像的图像数据,并将该显示用图像的图像数据输出给显示装置3。由此,在显示装置3中显示以不存在图像的缺欠的偏差校正图像为基础的显示用图像。显示用图像,例如,是偏差校正图像其本身,或者是对偏差校正图像实施了任意加工的图像,或者是对偏差校正图像附加了任意图像的图像。
根据本实施方式的驾驶辅助系统,适应摄像机1的安装状态而自动地调整图像变换参数,所以能够向驾驶者提示没有图像缺欠的映像。此外,当摄像机1相对于车辆100的安装位置或安装角度产生变更时,在该变更之后,若通过执行图4的步骤S1~S6的各处理来执行图10的步骤S11~S17的各处理,则自动调整图像变换参数,以便适应变更后的摄像机1的安装状态。总之,即使在摄像机1的安装位置或安装角度发生变更的情况下,也能够易于生成用于生成没有图像缺欠的映像的合适的图像变换参数。而且,根据本实施方式的驾驶辅助系统,与采用专利文献1中记载的方法的情况不同,能够将显示画面上的左右的图像的尺度设为均等。
《变形等》
作为上述实施方式的变形例或注释事项,以下,记为注释1~注释7。各注释中记载的内容,只要不矛盾,可任意地组合。
[注释1]
在上述示例中,当求出作为图像变换参数的单应性矩阵时,虽然将特征点的个数及基准点的个数设为四个,但它们的个数只要是四个以上则均可。众所周知,通过将它们的个数设为大于四个,能够提高图像变换的精度。
[注释2]
用于由摄像机图像生成偏差校正图像的图像变换方法(坐标变换方法),可以不是基于单应性矩阵的方法。例如,也可以通过采用仿射(affine)变换或非线性变换的图像变换(坐标变换),由摄像机图像生成偏差校正图像。
[注释3]
可以交换上述实施方式的说明文中的“水平”与“垂直”来考虑。即,在上述示例中,使车辆的行驶方向与图像的垂直方向对应,但也可以使车辆的行驶方向与图像的水平方向对应。
[注释4]
在上述的示例中,针对镜头变形校正后的图像而使图像变换参数发挥了作用,但也可以在图像变换部13的图像变换参数中加入用于进行镜头变形校正的图像变换,由原始图像直接生成偏差校正图像。此时,将在图9的图像输入部11中获取到的原始图像输入图像变换部13。于是,在参数存储部16中存储包括用于镜头变形校正的图像变换的图像变换参数,通过使该图像变换参数对原始图像起作用而生成偏差校正图像。
此外,根据使用的摄像机,有时镜头变形校正本身不需要。当镜头变形校正不需要时,从图9的图像处理装置2中削除镜头变形校正部12,将原始图像直接供给图像变换部13。
[注释5]
虽然对在车辆100的后部设置摄像机1以使在车辆100的后方侧具有视野的示例进行了描述,但也可以将摄像机1设置在车辆100的前部或侧方部,以使在车辆100的前方具有视野,或者在车辆100的侧方具有视野。
[注释6]
在上述的示例中,虽然在显示装置3中显示了基于由一个摄像机得到的摄像机图像的显示用图像,也可以在车辆100中设置多个摄像机(未图示),并根据从这些多个摄像机(未图示)得到的多个摄像机图像来生成显示用图像。例如,除了摄像机1以外,还在车辆100上安装一台以上其它摄像机,将基于其它摄像机的摄像机图像的图像合成为基于摄像机1的摄像机图像的图像(在上述示例中,偏差校正图像),能够将由该合成而得到的合成图像作为最终对显示装置3的显示用图像。该合成图像,例如,将车辆100的360°周边全周收为视野范围的图像。
[注释7]
图9的图像处理装置2,能够由硬件或硬件与软件的组合来实现。当使用软件来构成图像处理装置2时,针对在软件中实现的部位的方框图,是表示该部位的功能方框图。此外,可以将在图像处理装置2中实现的功能的全部或部分作为程序来记述,并通过在程序执行装置上执行该程序,实现其功能的全部或部分。

Claims (9)

1.一种图像处理装置,具有:
图像获取单元,其根据拍摄车辆周边的摄像机的拍摄结果来获取输入图像;
图像变换单元,其通过坐标变换由所述输入图像生成变换图像,以使所述输入图像上的特征点的位置变换为所述变换图像上的基准点的位置;
参数存储单元,其存储基于所述特征点的位置与所述基准点的位置且用于将所述输入图像变换为所述变换图像的图像变换参数;
缺欠判定单元,其判定在使用所述参数存储单元所存储的图像变换参数由所述输入图像而得到的所述变换图像的整体区域内,是否包含不存在以所述输入图像的图像数据为基础的图像数据的图像缺欠区域;和
参数调整单元,其当判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时,通过变更所述基准点的位置来调整所述图像变换参数,以便抑制所述图像缺欠区域的产生。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述参数调整单元,当判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时,以减少所述图像缺欠区域的尺寸的方式,使所述基准点的位置向从所述变换图像的中心位置离开的方向移动,从而进行所述图像变换参数的调整。
3.根据权利要求2所述的图像处理装置,其特征在于,
所述特征点由包括第一及第二特征点的多个特征点构成,并且所述基准点由包括第一及第二基准点的多个基准点构成,所述第一及第二特征点分别与所述第一及第二基准点对应,
所述参数调整单元,
当判定为是所述变换图像的整体区域内且在比所述第二基准点更靠近所述第一基准点的区域包含有所述图像缺欠区域时,以减少所述图像缺欠区域的尺寸的方式,使所述第一基准点的位置向从所述中心位置离开的方向移动,另一方面,
当判定为是所述变换图像的整体区域内且在比所述第一基准点更靠近所述第二基准点的区域包含有所述图像缺欠区域时,以减少所述图像缺欠区域的尺寸的方式,使所述第二基准点的位置在所述变换图像内向从所述中心位置离开的方向移动。
4.根据权利要求3所述的图像处理装置,其特征在于,
所述图像处理装置,当考虑为以将所述变换图像在水平或垂直方向上进行二分的中心线作为边界而将所述变换图像分割为第一及第二部分图像时,所述第一及第二基准点分别位于第一及第二部分图像内,
所述参数调整单元,在使所述第一及第二基准点之中的一方的位置移动时,同时使另一方的基准点的位置也移动,以使所述第一及第二基准点的位置保持以所述中心线为对称轴呈线对称的关系。
5.根据权利要求4所述的图像处理装置,其特征在于,
在所述变换图像上,以使所述车辆的行驶方向上的所述车辆的车体中心线与所述中心线吻合的方式,来决定所述特征点的位置及移动前后的所述基准点的位置。
6.根据权利要求1~5中任一项所述的图像处理装置,其特征在于,
所述图像处理装置,通过所述图像变换参数来规定与所述变换图像内的各像素的坐标值对应的坐标变换前的坐标值,
所述缺欠判定单元,在该坐标变换前的坐标值全部是所述输入图像内的坐标值时,判定为在所述变换图像的整体区域内未包含所述图像缺欠区域,在求出的所述坐标值中包含所述输入图像外的坐标值时,判定为在所述变换图像的整体区域内包含有所述图像缺欠区域。
7.一种驾驶辅助系统,
具有权利要求1~5中任一项所述的图像处理装置,并且
将基于变换图像的图像输出给显示单元,所述变换图像由所述图像处理装置的图像变换单元获得。
8.一种车辆,
设置有权利要求1~5中任一项所述的摄像机及图像处理装置。
9.一种图像处理方法,执行:
图像获取步骤,根据拍摄车辆周边的摄像机的拍摄结果来获取输入图像;
图像变换步骤,通过坐标变换由所述输入图像生成变换图像,以使所述输入图像上的特征点的位置变换为所述变换图像上的基准点的位置;
参数存储步骤,存储基于所述特征点的位置与所述基准点的位置且用于将所述输入图像变换为所述变换图像的图像变换参数;
缺欠判定步骤,判定在使用所存储的图像变换参数由所述输入图像而得到的所述变换图像的整体区域内,是否包含不存在以所述输入图像的图像数据为基础的图像数据的图像缺欠区域;和
参数调整步骤,当判定为在所述变换图像的整体区域内包含有所述图像缺欠区域时,通过变更所述基准点的位置来调整所述图像变换参数,以便抑制所述图像缺欠区域的产生。
CN2009801091522A 2008-03-19 2009-02-03 图像处理装置及方法、驾驶辅助系统、车辆 Expired - Fee Related CN101971207B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008071944A JP4874280B2 (ja) 2008-03-19 2008-03-19 画像処理装置及び方法、運転支援システム、車両
JP2008-071944 2008-03-19
PCT/JP2009/051748 WO2009116328A1 (ja) 2008-03-19 2009-02-03 画像処理装置及び方法、運転支援システム、車両

Publications (2)

Publication Number Publication Date
CN101971207A true CN101971207A (zh) 2011-02-09
CN101971207B CN101971207B (zh) 2013-03-27

Family

ID=41090736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801091522A Expired - Fee Related CN101971207B (zh) 2008-03-19 2009-02-03 图像处理装置及方法、驾驶辅助系统、车辆

Country Status (5)

Country Link
US (1) US20110013021A1 (zh)
EP (1) EP2256686A4 (zh)
JP (1) JP4874280B2 (zh)
CN (1) CN101971207B (zh)
WO (1) WO2009116328A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096102A (zh) * 2011-11-01 2013-05-08 财团法人资讯工业策进会 影像形变方法
CN103366339A (zh) * 2013-06-25 2013-10-23 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
CN103916572A (zh) * 2012-12-28 2014-07-09 财团法人工业技术研究院 车用镜头的自动化校正与应用其的影像转换方法与装置
CN104159787A (zh) * 2012-02-24 2014-11-19 京瓷株式会社 摄像机设备,摄像机系统和摄像机校正方法
CN105578176A (zh) * 2014-10-29 2016-05-11 现代摩比斯株式会社 车辆用后方摄像头的影像补正方法
CN107564063A (zh) * 2017-08-30 2018-01-09 广州华多网络科技有限公司 一种基于卷积神经网络的虚拟物显示方法及装置
CN107833252A (zh) * 2016-09-09 2018-03-23 现代摩比斯株式会社 用于校正摄像机的误差的系统和方法
CN108513072A (zh) * 2012-09-11 2018-09-07 株式会社理光 图像处理器、图像处理方法和成像系统
CN108705974A (zh) * 2017-03-22 2018-10-26 丰田自动车株式会社 车辆用显示控制装置、控制系统及控制方法
CN108761475A (zh) * 2017-04-20 2018-11-06 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证
CN109383376A (zh) * 2017-08-03 2019-02-26 株式会社斯巴鲁 车辆用驾驶辅助装置
CN111086521A (zh) * 2018-10-23 2020-05-01 三星电子株式会社 校准方法、校准装置以及非暂时性计算机记录媒体

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP5811327B2 (ja) * 2011-06-11 2015-11-11 スズキ株式会社 カメラキャリブレーション装置
JP5884439B2 (ja) * 2011-11-24 2016-03-15 アイシン精機株式会社 車両周辺監視用画像生成装置
WO2014058086A1 (en) * 2012-10-11 2014-04-17 Lg Electronics Inc. Image processing device and image processing method
JP6022423B2 (ja) * 2013-07-31 2016-11-09 Toa株式会社 監視装置及び監視装置の制御プログラム
JP6036601B2 (ja) * 2013-08-09 2016-11-30 株式会社デンソー 画像処理装置及び画像処理方法
DE102013015847B3 (de) * 2013-09-24 2015-03-05 Mekra Lang Gmbh & Co. Kg Sichtsystem
CN103632334B (zh) * 2013-11-13 2017-02-08 华南理工大学 一种基于平行光轴结构摄像机的无穷远图像对齐方法
CN105095900B (zh) 2014-05-04 2020-12-08 斑马智行网络(香港)有限公司 一种提取标准卡片中特定信息的方法和装置
JP6322812B2 (ja) * 2014-08-21 2018-05-16 パナソニックIpマネジメント株式会社 情報管理装置、車両、および、情報管理方法
KR101676161B1 (ko) * 2015-03-31 2016-11-15 멀티펠스 주식회사 차량 카메라용 영상 처리 시스템 및 그 영상 처리 방법
CN110969657B (zh) * 2018-09-29 2023-11-03 杭州海康威视数字技术股份有限公司 一种枪球坐标关联方法、装置、电子设备及存储介质
CN111860440A (zh) * 2020-07-31 2020-10-30 广州繁星互娱信息科技有限公司 人脸特征点的位置调整方法、装置、终端及存储介质
CN113860172A (zh) * 2021-09-30 2021-12-31 广州文远知行科技有限公司 一种纠偏方法、装置、交通工具及存储介质
CN117274939B (zh) * 2023-10-08 2024-05-28 北京路凯智行科技有限公司 安全区域检测方法和安全区域检测装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0656619B2 (ja) 1986-12-05 1994-07-27 日産自動車株式会社 白線検出装置
JP3395195B2 (ja) 1991-12-24 2003-04-07 松下電工株式会社 画像歪み補正方式
JPH0778234A (ja) 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
EP1291668B1 (en) * 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP4818609B2 (ja) * 2002-08-21 2011-11-16 ジェンテックス コーポレイション 外部車両照明の自動制御のための画像取得及び処理方法
JP2004342067A (ja) 2003-04-22 2004-12-02 3D Media Co Ltd 画像処理方法、画像処理装置、及びコンピュータプログラム
JP2004289225A (ja) * 2003-03-19 2004-10-14 Minolta Co Ltd 撮像装置
JP4363156B2 (ja) 2003-10-21 2009-11-11 日産自動車株式会社 車両用周囲撮影装置
JP4196841B2 (ja) * 2004-01-30 2008-12-17 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP4461091B2 (ja) * 2004-11-30 2010-05-12 本田技研工業株式会社 位置検出装置及びその補正方法
JP3968375B2 (ja) * 2005-02-15 2007-08-29 松下電器産業株式会社 周辺監視装置および周辺監視方法
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP2006252473A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP4980617B2 (ja) * 2005-08-26 2012-07-18 株式会社岩根研究所 二次元図面と映像の合成表示装置
JP2007258989A (ja) * 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法
JP4868964B2 (ja) * 2006-07-13 2012-02-01 三菱ふそうトラック・バス株式会社 走行状態判定装置
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096102B (zh) * 2011-11-01 2015-01-28 财团法人资讯工业策进会 影像形变方法
CN103096102A (zh) * 2011-11-01 2013-05-08 财团法人资讯工业策进会 影像形变方法
CN104159787A (zh) * 2012-02-24 2014-11-19 京瓷株式会社 摄像机设备,摄像机系统和摄像机校正方法
CN104159787B (zh) * 2012-02-24 2016-05-18 京瓷株式会社 摄像机设备,摄像机系统和摄像机校正方法
CN108513072A (zh) * 2012-09-11 2018-09-07 株式会社理光 图像处理器、图像处理方法和成像系统
CN103916572B (zh) * 2012-12-28 2017-07-07 财团法人工业技术研究院 车用镜头的自动化校正与应用其的影像转换方法与装置
CN103916572A (zh) * 2012-12-28 2014-07-09 财团法人工业技术研究院 车用镜头的自动化校正与应用其的影像转换方法与装置
CN103366339B (zh) * 2013-06-25 2017-11-28 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
CN103366339A (zh) * 2013-06-25 2013-10-23 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
CN105578176A (zh) * 2014-10-29 2016-05-11 现代摩比斯株式会社 车辆用后方摄像头的影像补正方法
CN107833252A (zh) * 2016-09-09 2018-03-23 现代摩比斯株式会社 用于校正摄像机的误差的系统和方法
CN107833252B (zh) * 2016-09-09 2022-04-12 现代摩比斯株式会社 用于校正摄像机的误差的系统和方法
CN108705974A (zh) * 2017-03-22 2018-10-26 丰田自动车株式会社 车辆用显示控制装置、控制系统及控制方法
CN108705974B (zh) * 2017-03-22 2022-04-19 丰田自动车株式会社 车辆用显示控制装置、控制系统及控制方法
CN108761475A (zh) * 2017-04-20 2018-11-06 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证
CN109383376A (zh) * 2017-08-03 2019-02-26 株式会社斯巴鲁 车辆用驾驶辅助装置
CN107564063A (zh) * 2017-08-30 2018-01-09 广州华多网络科技有限公司 一种基于卷积神经网络的虚拟物显示方法及装置
CN111086521A (zh) * 2018-10-23 2020-05-01 三星电子株式会社 校准方法、校准装置以及非暂时性计算机记录媒体

Also Published As

Publication number Publication date
JP2009230235A (ja) 2009-10-08
WO2009116328A1 (ja) 2009-09-24
EP2256686A1 (en) 2010-12-01
CN101971207B (zh) 2013-03-27
JP4874280B2 (ja) 2012-02-15
US20110013021A1 (en) 2011-01-20
EP2256686A4 (en) 2017-03-01

Similar Documents

Publication Publication Date Title
CN101971207B (zh) 图像处理装置及方法、驾驶辅助系统、车辆
CN111540004B (zh) 单相机极线校正方法及装置
US9729858B2 (en) Stereo auto-calibration from structure-from-motion
EP3350989B1 (en) 3d display apparatus and control method thereof
US20130016186A1 (en) Method and apparatus for calibrating an imaging device
US20130002861A1 (en) Camera distance measurement device
CN105453136A (zh) 使用自动聚焦反馈进行立体侧倾校正
CN101978694A (zh) 图像处理装置和方法、驾驶支持系统、车辆
CN101394572A (zh) 三维图像处理装置以及方法
CN107071382A (zh) 立体图像显示装置
CN103019021B (zh) 一种3d光场相机及其拍摄图像的处理方法
CN108063940B (zh) 一种人眼跟踪裸眼3d显示系统的校正系统和方法
CN101861255A (zh) 图像处理装置和方法、驾驶支持系统、车辆
CN110728638A (zh) 一种图像的畸变矫正方法、车机及汽车
CN102957937A (zh) 处理三维立体影像的系统与方法
CN103947199A (zh) 图像处理装置、立体图像显示设备、图像处理方法和图像处理程序
CN104166834A (zh) 路面检测方法和装置
CN111739101A (zh) 一种消除车辆a柱盲区的装置和方法
CN104950460A (zh) 用于调整汽车车载立体显示器的显像的方法和装置
CN108108021A (zh) 人眼跟踪系统外参数校正治具及校正方法
CN104937634A (zh) 用于生成环绕视图的方法和系统
CN105376556A (zh) 立体显示组件、立体显示系统和立体显示方法
CN106651903B (zh) 一种运动物体检测方法
CN110876053A (zh) 图像处理装置、驾驶支援系统及记录介质
CN103220544B (zh) 一种主动离轴平行式立体成像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20140203