CN101848370B - 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序 - Google Patents

驾驶辅助装置、驾驶辅助方法和驾驶辅助程序 Download PDF

Info

Publication number
CN101848370B
CN101848370B CN201010117713.8A CN201010117713A CN101848370B CN 101848370 B CN101848370 B CN 101848370B CN 201010117713 A CN201010117713 A CN 201010117713A CN 101848370 B CN101848370 B CN 101848370B
Authority
CN
China
Prior art keywords
composograph
vehicle
eye view
view image
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010117713.8A
Other languages
English (en)
Other versions
CN101848370A (zh
Inventor
森俊宏
大下裕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN101848370A publication Critical patent/CN101848370A/zh
Application granted granted Critical
Publication of CN101848370B publication Critical patent/CN101848370B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

本发明提供驾驶辅助装置、驾驶辅助方法和驾驶辅助程序。该驾驶辅助装置包括:摄像机,其对车辆的周边进行摄像;图像存储器,其对摄像机所摄取的图像数据进行记录;移动状态确定部,其基于关于车辆的移动的移动信息确定车辆的移动状态;合成图像生成部,其基于移动状态确定部所确定的移动状态,合成记录在图像存储器的图像数据,生成包含车辆的位置的区域的合成图像;显示器,其显示合成图像生成部所生成的合成图像;以及校正部,其基于与车辆的旋转相对应地合成图像生成部所生成的合成图像所包含的基准标识的配置、和在合成图像上重叠显示的基准标识的与旋转对应的预测配置,对移动状态确定部基于移动信息确定旋转时使用的旋转参数进行校正。

Description

驾驶辅助装置、驾驶辅助方法和驾驶辅助程序
技术领域
本发明涉及驾驶辅助装置、驾驶辅助方法和驾驶辅助程序。
背景技术
在现有技术中,作为辅助驾驶员的驾驶的装置,已知将车辆周边的图像显示于显示器的驾驶辅助装置。该驾驶辅助装置将由设置在车辆外部的摄像机拍摄的车辆周边的图像数据,显示于配置在驾驶席附近的显示器。
在这样的驾驶辅助装置中,由于摄像机的设置位置、设置角度的偏差,在显示器中显示的图像的位置、角度也可能会产生偏差。还提出了在这样的情况下,用于调整显示于显示器的图像的位置、角度的驾驶辅助系统的方案。例如,提出有下述的驾驶辅助系统,为了能够以比较简单的操作进行鸟瞰图像的调整,将对鸟瞰图像进行俯瞰变换后的图像与用于表示车辆的左右端的延长线的引导线一同显示于显示装置,由用户修正该俯瞰变换后的图像和引导线的偏差(例如,参照专利文献1)。
专利文献1:日本特开2008-205928号公报(0160段)
还提出有将由摄像机取得的图像数据存储在存储器中,输出对存储在该存储器中的图像数据进行合成后的合成图像的装置。该装置,在合成图像数据并生成合成图像时,例如参照与摄像机的设置位置和车辆的运动特性等对应的参数。于是,在摄像机的设置位置、车辆的运动特性等变化时,由于参数不对应于变化后的状态,可能使得合成图像产生变形、偏差。但是,在上述现有的驾驶辅助系统中,只是能够修正俯瞰图像中的图像与引导线的偏差,而不能够将生成合成图像时使用的参数修正为适当的值。
发明内容
本发明鉴于上述内容而提出,目的在于提供驾驶辅助装置、驾驶辅助方法和驾驶辅助程序,即使在摄像机的设置位置、车辆的运动特性等变化的情况下,也能够合成记录在记录单元中的图像数据并显示正确的合成图像。
为了解决上述问题,以达上目的,第一方面所述的驾驶辅助装置包括:摄像单元,其对车辆的周边进行摄像;记录单元,其对上述摄像单元所摄取的上述车辆的周边的图像数据进行记录;移动状态确定单元,其取得与上述车辆的移动相关的移动信息,基于该取得的移动信息确定该车辆的移动状态;合成图像生成单元,其基于上述移动状态确定单元所确定的移动状态,合成记录在上述记录单元的上述图像数据,生成包含上述车辆的位置的区域的合成图像;显示单元,其显示上述合成图像生成单元所生成的上述合成图像;以及校正单元,其在基准标识配置在上述摄像单元能够摄取的范围的路面上且上述车辆旋转时,基于与该旋转相对应地由上述合成图像生成单元所生成的上述合成图像所包含的上述基准标识的配置、和在上述合成图像上重叠显示的上述基准标识的与上述旋转对应的预测配置,对上述移动状态确定单元基于上述移动信息确定作为上述移动状态的旋转时使用的旋转参数进行校正。
此外,第二方面所述的驾驶辅助装置是,在第一方面所述的驾驶辅助装置中,上述校正单元在上述基准标识配置在上述摄像单元能够摄取的范围的路面上且上述车辆直线移动时,基于与该直线移动相对应地由上述合成图像生成单元所生成的上述合成图像所包含的上述基准标识的配置、和在上述合成图像上重叠显示的上述基准标识的与上述直线移动对应的预测配置,对上述移动状态确定单元基于上述移动信息确定作为上述移动状态的移动距离时使用的距离参数进行校正。
此外,第三方面所述的驾驶辅助装置是,在第一或第二方面所述的驾驶辅助装置中,包括俯瞰图像生成单元,其基于上述摄像单元所摄取的上述车辆的周边的图像数据,生成包含上述车辆的位置的区域的俯瞰图像,上述校正单元在上述基准标识配置在上述摄像单元能够摄取的范围的路面上时,基于上述俯瞰图像生成单元所生成的上述俯瞰图像所包含的上述基准标识的配置、和在上述俯瞰图像上重叠显示的上述基准标识的与俯瞰变换对应的预测配置,对上述俯瞰图像生成单元生成上述俯瞰图像时使用的俯瞰参数进行校正。
此外,第四方面所述的驾驶辅助方法包括:摄像步骤,其对车辆的周边进行摄像;记录步骤,其将在上述摄像步骤所摄取的上述车辆的周边的图像数据记录在记录单元中;移动状态确定步骤,其取得与上述车辆的移动相关的移动信息,基于该取得的移动信息确定该车辆的移动状态;合成图像生成步骤,其基于在上述移动状态确定步骤确定的移动状态,合成在上述记录步骤记录在上述记录单元的上述图像数据,生成包含上述车辆的位置的区域的合成图像;显示步骤,其将在上述合成图像生成步骤生成的上述合成图像显示在显示单元上;以及校正步骤,其在基准标识配置于在上述摄像步骤能够摄取的范围的路面上且上述车辆旋转时,基于与该旋转相对应地在上述合成图像生成步骤生成的上述合成图像所包含的上述基准标识的配置、和在上述合成图像上重叠显示的上述基准标识的与上述旋转对应的预测配置,对在上述移动状态确定步骤基于上述移动信息确定作为上述移动状态的旋转角度时使用的旋转参数进行校正。
此外,第五方面所述的驾驶辅助方法是,在第四方面所述的驾驶辅助方法中,包括俯瞰图像生成步骤,其基于在上述摄像步骤摄取的上述车辆的周边的图像数据,生成包含上述车辆的位置的区域的俯瞰图像,在上述校正步骤中,在上述基准标识配置于在上述摄像步骤能够摄取的范围的路面上时,基于在上述俯瞰图像生成步骤生成的上述俯瞰图像所包含的上述基准标识的配置、和在上述俯瞰图像上重叠显示的上述基准标识的与俯瞰变换对应的预测配置,对在上述俯瞰图像生成步骤生成上述俯瞰图像时使用的俯瞰参数进行校正,在校正上述俯瞰参数之后,在上述基准标识配置于在上述摄像步骤能够摄取的范围的路面上且上述车辆直线移动时,基于与该直线移动相对应地在上述合成图像生成步骤生成的上述合成图像所包含的上述基准标识的配置、和在上述合成图像上重叠显示的上述基准标识的与上述直线移动对应的预测配置,对在上述移动状态确定步骤基于上述移动信息确定作为上述移动状态的移动距离时使用的距离参数进行校正,在校正上述距离参数之后,校正上述旋转参数。
此外,第六方面所述的驾驶辅助程序,使计算机执行第四方面或第五方面所述的方法。
[发明效果]
根据第一方面所述的驾驶辅助装置、第五方面所述的驾驶辅助方法、第七方面所述的驾驶辅助程序,基于与旋转相对应地合成图像生成单元所生成的合成图像所包含的基准标识的配置、和在合成图像上重叠显示的基准标识的与旋转对应的预测配置,对移动状态确定单元基于移动信息确定作为移动状态的旋转时使用的旋转参数进行校正。由此,即使在由于车辆的旋转半径等关于旋转的运动特性的变化,不能够使用旋转参数确定正确的旋转,不能够基于移动信息显示正确的合成图像的情况下,也能够基于合成图像中基准标识的配置与其预测配置的差校正旋转参数,能够使用该校正后的旋转参数,合成记录在记录单元的图像数据,显示正确的合成图像。
此外,根据第二方面所述的驾驶辅助装置,基于与直线移动相对应地合成图像生成单元所生成的合成图像所包含的基准标识的配置、和在合成图像上重叠显示的基准标识的与直线移动对应的预测配置,对移动状态确定单元基于移动信息确定作为移动状态的移动距离时使用的距离参数进行校正。由此,即使在由于随着轮胎更换的轮胎径的变化等关于移动距离的运动特性的变化,不能够使用距离参数确定正确的移动距离,不能够基于移动信息显示正确的合成图像的情况下,也能够基于合成图像中基准标识的配置与其预测配置的差校正距离参数,能够使用该校正后的距离参数,合成记录在记录单元的图像数据,显示正确的合成图像。
此外,根据第三方面所述的驾驶辅助装置,基于俯瞰图像生成单元所生成的俯瞰图像所包含的基准标识的配置、和在俯瞰图像上重叠显示的基准标识的与俯瞰变换对应的预测配置,对俯瞰图像生成单元生成俯瞰图像时使用的俯瞰参数进行校正。由此,即使在由于摄像单元的设置位置的偏差等,不能够使用俯瞰参数生成正确的俯瞰图像的情况下,也能够基于合成图像中基准标识的配置与其预测配置的差校正俯瞰参数,能够使用该校正后的俯瞰参数,生成正确的俯瞰图像。
此外,根据第四方面所述的驾驶辅助装置,在合成图像生成单元所生成的合成图像中基于摄像单元所摄取的现在的图像数据生成的部分,显示与车辆的位置对应的位置标识,因此,无论合成图像中基于记录图像数据生成的部分正确与否,都能够基于该位置标识提示使车辆移动一定距离时的目标位置。
此外,根据第六方面所述的驾驶辅助方法,在校正步骤中,在校正俯瞰参数之后,校正距离参数,因此,能够基于在正确的俯瞰图像中显示的基准标识的预测位置校正距离参数。进一步,在校正距离参数之后,校正旋转参数,因此能够基于使用正确的距离参数生成的合成图像和基准标识的预测配置校正旋转参数。
附图说明
图1是举例表示实施方式的驾驶辅助装置的框图;
图2是合成图像生成处理的流程图;
图3是校正处理的流程图;
图4是俯瞰参数校正处理的流程图;
图5是表示俯瞰参数校正处理进行时的车辆和显示器的图,图5(a)是表示车辆和基准标识的位置的平面图,图5(b)是表示显示器的显示画面的图;
图6是距离参数校正处理的流程图;
图7是表示距离参数校正处理进行时的车辆和显示器的图,图7(a)、(c)、(e)是表示车辆和基准标识的位置的平面图,图7(b)、(d)、(f)是表示显示器的显示画面的图;
图8是旋转参数校正处理的流程图;
图9是表示旋转参数校正处理进行时的车辆和显示器的图,图9(a)、(c)、(e)是表示车辆和基准标识的位置的平面图,图9(b)、(d)、(f)是表示显示器的显示画面的图;以及
图10是举例表示变更旋转参数的值时显示于显示器的画面的图,图10(a)是旋转参数变更前的画面的图,图10(b)是旋转参数变更后的画面的图。
附图符号说明
1驾驶辅助装置;2车辆;3基准标识;3a第一框线;3b第二框线;3c第三框线;10转向传感器;20车速传感器;30操作输入部;30a“大”按钮;30b“小”按钮;30c“上”按钮;30e“左”按钮;30f“右”按钮;40摄像机;50显示器;50a显示画面;60控制部;61移动状态确定部;62合成图像生成部;63俯瞰图像生成部;64校正部;65图像存储器;70数据记录部;71引导线信息;72参数信息;80俯瞰引导线;81位置引导线;82距离引导线;83旋转引导线
具体实施方式
以下,对本发明的驾驶辅助装置的实施方式参照附图进行详细的说明。但是,本发明并不限定于实施方式。
(结构)
首先,说明驾驶辅助装置的结构。图1是举例表示实施方式的驾驶辅助装置的框图。如图1所示,该驾驶辅助装置1包括转向传感器10、车速传感器20、操作输入部30、摄像机40、显示器50、控制部60、和数据记录部70。
(结构-转向传感器)
转向传感器10检测车辆的方向盘的转向角,并将该检测值输出至控制部60,能够使用已知的转向传感器。
(结构-车速传感器)
车速传感器20将与车轴的旋转数成比例的车速脉冲信号等输出至控制部60,能够使用已知的车速传感器。
(结构-操作输入部)
操作输部30接受来自用户的操作输入,能够使用开关、触摸面板等公知的输入单元。
(结构-摄像机)
摄像机40是对车辆的周边进行摄像的摄像单元。该摄像机40例如在车辆的前后保险杠附近等设置一台或多台,对车辆的周边进行摄像。摄像机40所摄取的图像数据输入控制部60。另外,摄像机40的具体结构是任意的,例如能够使用CMOS图像传感器、CCD图像传感器等公知的摄像元件,以及鱼眼透镜、棱镜等公知的光学系统部件而构成。
(结构-显示器)
显示器50是显示控制部60所生成的合成图像、俯瞰图像的显示单元。另外,该显示器50的具体的结构是任意的,能够使用像公知的液晶显示器、有机EL显示器那样的平板显示器。
(结构-控制部)
控制部60是控制驾驶辅助装置1的控制单元,具体地说,是包括CPU、在该CPU上被解释并执行的各种程序(包括OS等的基本控制程序、在OS上启动并实现特定功能的应用程序)、以及用于存储程序和各种数据的RAM那样的内部存储器的计算机。特别的是,本实施方式的驾驶辅助程序通过任意的记录介质或网络安装于驾驶辅助装置1,由此实质上构成控制部60的各部。
该控制部60,从功能概念出发,包括移动状态确定部61、合成图像生成部62、俯瞰图像生成部63、校正部64、和图像存储器65。移动状态确定部61是取得关于车辆的移动的移动信息,基于该取得的移动信息确定该车辆的移动状态的移动状态确定单元。此处,“移动信息”例如包括从转向传感器10输入的转向角的检测值、从车速传感器20输入的车速脉冲信号。此外,“移动状态”是表示例如车辆的旋转角度、移动距离等关于车辆的移动的状态的概念。合成图像生成部62是基于移动状态确定部61所确定的移动状态,合成记录在数据记录部70的图像数据,生成包含车辆的位置的区域的合成图像的合成图像生成单元。俯瞰图像生成部63是基于摄像机40所拍摄的车辆的周边的图像数据,生成包含车辆的位置的区域的俯瞰图像的俯瞰图像生成单元。校正部64是对在移动状态确定部61基于移动信息确定移动状态时使用的参数、和在俯瞰图像生成部63生成俯瞰图像时使用的俯瞰参数进行校正的校正单元。图像存储器65是对摄像机40所摄取的车辆周边的图像数据进行记录的记录单元。此外,图像存储器65也进行合成图像生成部62所生成的合成图像、俯瞰图像生成部63所生成的俯瞰图像的记录。由这些控制部60的各构成要素实施的处理的详细内容在后面叙述。
(结构-数据记录部)
数据记录部70是记录在驾驶辅助装置1的动作中需要的程序和各种数据的记录单元,例如使用作为外部存储装置的硬盘(省略图示)而构成。但是,也能够代替硬盘或与硬盘一同,使用包括磁盘那样的磁性记录介质、或者DVD、蓝光光盘那样的光学记录介质的其它任意的记录介质。
该数据记录部70记录有引导线信息71、和参数信息72。引导线信息71是用于确定在合成图像上重叠显示的引导线的配置的信息,例如能够构成为合成图像中的引导线的位图数据。另外,引导线的具体内容在后面叙述。参数信息72是确定在合成图像、俯瞰图像的生成过程中使用的各种参数的信息,例如包括:在移动状态确定部61基于从转向传感器10输入的转向角的检测值确定车辆的旋转时使用的旋转参数;在移动状态确定部61基于从车速传感器20输入的车速脉冲信号确定车辆的移动距离时使用的距离参数;或者在俯瞰图像生成部63生成俯瞰图像时使用的俯瞰参数等。其中,作为旋转参数,例如能够使用用于求取与转向角对应的车辆的旋转半径、与转向角和移动距离对应的车辆的旋转角度的参数。此外,作为距离参数,例如能够使用在车速脉冲信号每次输出1脉冲时车辆所移动的距离(车速脉冲长度)。此外,作为俯瞰参数,例如能够使用确定在车辆的前后方向、左右方向和高度方向的摄像机40的设置位置的坐标值,在滚动轴、俯仰轴、偏航轴(roll、pitch and yaw)的各轴的摄像机40的设置角度等,在将摄像机40所摄取的车辆周边的图像数据坐标变换为俯瞰图像或进行变形修正时的各种参数。
(处理)
接着,说明由这样构成的驾驶辅助装置1进行的处理,驾驶辅助装置1所进行的处理大致分为合成图像生成处理和校正处理。
(处理-合成图像生成处理)
首先说明合成图像生成处理。图2是合成图像生成处理的流程图(在以下的各处理的说明中将步骤简称为“S”)。该合成图像生成处理在例如通过操作输入部30输入了合成图像生成处理的启动指示的情况下、或档位设定为倒档且车辆开始后退的情况下启动。
如图2所示,当合成图像生成处理启动时,移动状态确定部61取得从转向传感器10输入的转向角的检测值、从车速传感器20输入的车速脉冲信号等移动信息,基于该取得的移动信息,使用记录在数据记录部70中的距离参数、旋转参数,确定车辆的移动距离、旋转角度等移动状态(SA1)。
接着,合成图像生成部62基于在SA1确定的移动距离,判定是否为取得图像数据的时刻(SA2)。例如,在存储在RAM1的脉冲计数器中对车速脉冲信号的输入脉冲数进行累加,在累加脉冲数成为规定数量时,即在推测车辆移动了规定的距离时判定为取得图像数据的时刻。
结果,在判定为不是取得图像数据的时刻时(SA2,否),重复该SA2的判定,在判定为是取得图像数据的时刻时(SA2,是),合成图像生成部62取得摄像机40所摄取的图像数据(SA3)。接着,合成图像生成部62对存储在RAM中的脉冲计数器的计数值进行复位,回到初始值(SA4)。进一步,俯瞰图像生成部63对在SA3中合成图像生成部62取得的图像数据进行俯瞰变换,生成记录图像数据(SA5)。
此外,合成图像生成部62基于在SA1确定的移动距离、旋转角度等移动状态,确定从基准位置(例如合成图像生成处理启动时的车辆的位置)的车辆的移动距离和旋转角度(SA6)。然后,基于确定的旋转角度,以公知的图像处理方法对在SA5生成的记录图像数据进行旋转处理(SA7),将旋转处理后的记录图像数据,基于在SA6确定的移动距离和旋转角度,记录于图像存储器65的图像合成用区域中对应的像素区域(SA8)。在该像素区域中,与前次以前生成并记录的记录图像数据的像素区域存在重复的情况下,由之后摄取的记录图像数据改写该重复区域。
接着,合成图像生成部62判定是否为输出合成图像的时刻(SA9)。例如,在前次的合成图像输出之后规定张数以上的记录图像数据被记录于图像存储器65的情况下,判定为是输出合成图像的时刻。
在判定的结果是判定为不是输出合成图像的时刻的情况下(SA9,否),回到SA1,移动状态确定部61进行移动状态的确定(SA1)。另一方面,在判定是输出合成图像的时刻的情况下(SA9,是),俯瞰图像生成部63在该时刻取得摄像机40所摄取的图像数据,对该图像数据进行俯瞰变换,从而生成现在图像数据(SA10)。
接着,合成图像生成部62使用在SA10生成的现在图像数据和存储在图像存储器65中的记录图像数据,生成合成图像(SA11)。例如,合成图像生成部62从记录于图像合成用区域的各记录图像数据,抽出与现在的包含车辆的位置的区域对应的范围,通过与从SA6到SA8的各处理同样的处理,以使该抽出的记录图像数据和现在图像数据连续的方式进行一体化,由此生成合成图像。当生成合成图像时,合成图像生成部62将该合成图像显示于显示器50(SA12)。以后,重复SA1到SA12的处理,在输入了结束触发时(例如通过操作输入部30输入了合成图像生成处理的结束指示时,档位设定为倒档以外的档时),结束合成图像生成处理。
(处理-校正处理)
接着,说明校正处理。图3是校正处理的流程图。该校正处理例如在通过操作输入部30接受开始校正处理的操作输入时启动。
如图3所示,当校正处理启动时,校正部64首先通过进行俯瞰参数校正处理校正俯瞰参数(SB1),接着通过进行距离参数校正处理校正距离参数(SB2),最后通过旋转参数校正处理构成旋转参数(SB3)。以下说明从SB1到SB3的各子程序的内容。
(处理-俯瞰参数校正处理)
首先,说明SB1的俯瞰参数校正处理。图4是俯瞰参数校正处理的流程图。此外,图5是表示俯瞰参数校正处理进行时的车辆和显示器50的图,图5(a)是表示车辆和基准标识的位置的平面图,图5(b)是表示显示器50的显示画面50a的图。
当在上述SB1启动俯瞰参数校正处理时,校正部64判定在摄像机40能够摄取的范围的路面上是否配置有基准标识3(SC1)。此处,基准标识3是指校正参数时作为基准的标识,例如能够使用图5(a)所示的一边重复的多个长方形框线而构成。在以下的说明中,将基准标识3中最外侧的框线记为第一框线3a,将中间的框线记为第二框线3b,将最内侧的框线记为第三框线3c。此外,将与各框线相互重复的一边平行的线称为“左右框线”,将与左右框线正交的框线记为“前后框线”。
在图5(a)所示的例子中,在俯瞰参数校正处理开始时,以使前后框线和车辆2的前进方向平行的方式,且以基准标识3的各框线相互重复的一边和车辆2的后端在从车辆2的铅直上方看时一致的方式,将基准标识3配置在路面上,或者使车辆2移动。在这样配置基准标识3,例如通过操作输入部30接受基准标识3的配置完成的操作输入时,能够判定基准标识3配置在摄像机40能够摄取的范围的路面上。
回到图4,在判定基准标识3配置在摄像机40能够摄取的范围的路面上时(SC1,是),校正部64基于记录在数据记录部70的引导线信息71,将俯瞰引导线显示于显示器50(SC2)。该俯瞰引导线表示俯瞰图像中与基准标识3的俯瞰变换对应的预测配置,是基于显示在显示器50的俯瞰图像进行俯瞰参数的校正时的基准。例如图5(b)中虚线所示的那样,俯瞰引导线80作为表示在俯瞰参数正确时基准标识3应该在俯瞰图像中显示的配置和形状的框线进行显示,例如作为与基准标识3的形状对应的位图图像与俯瞰图像重复并显示在显示器50中。此时,俯瞰引导线80的位图图像,例如使用在以显示画面50a的左上角作为原点的坐标系中的坐标数据,确定其配置、形状,在显示画面50a上固定地显示。
回到图4,俯瞰图像生成部63基于摄像机40摄取的车辆2的周边的图像数据和俯瞰参数,生成包含车辆2的位置的区域的俯瞰图像,与在SC2显示的俯瞰引导线80相互重叠,显示于显示器50(SC3)。例如,俯瞰图像生成部63参照记录在数据记录部70的俯瞰参数,进行从摄像机40输入的图像数据的坐标变换,由此对该图像数据进行俯瞰变换,将变换后的图像数据显示于显示器50。例如,俯瞰图像生成部63对从倾斜上方对基准标识3所配置于的路面进行摄影而得到的图像数据进行俯瞰变换,作为图5(b)中以实线表示的平面图,将变换后的图像数据显示于显示器50。
回到图4,校正部64判定在SC3俯瞰图像生成部63生成并显示于显示器50的俯瞰图像所包含的基准标识3的配置与在该俯瞰图像上重叠显示的俯瞰引导线80的配置是否一致(SC4)。例如,在通过按下作为操作输入部30的决定按钮(省略图示),输入包含在俯瞰图像中的基准标识3的配置与俯瞰引导线80的配置一致的信息的情况下,校正部64判定包含在俯瞰图像中的基准标识3的配置与俯瞰引导线80的配置一致。另一方面,例如图5(b)所示,在作为俯瞰参数变更用的操作输入按钮的显示在兼作为触摸面板的显示器50中的“大”按钮30a或“小”按钮30b被按下时,认为需要进行俯瞰参数的变更,校正部64判定包含在俯瞰图像中的基准标识3的配置与俯瞰引导线80的配置不一致。
回到图4,在判定包含在俯瞰图像中的基准标识3的配置与俯瞰引导线80的配置不一致的情况下(SC4,否),校正部64例如基于通过操作输入部30的操作输入,变更记录在数据记录部70中的俯瞰参数的值(SC5)。例如,使构成操作输入部30的按钮与按下该按钮时会变更的俯瞰参数的变更量预先相互对应,基于按下的按钮和按下次数,以对应的变更量进行俯瞰参数的变更。在图5(b)的例子中,在操作“大”按钮30a时以放大俯瞰图像的方式进行俯瞰参数的变更(例如,使确定摄像机40的设置位置的坐标值,移位至比现在的坐标值所示的位置更高的位置,或者表示车辆2的前方的位置的坐标值),在操作“小”按钮30b时以缩小俯瞰图像的方式进行俯瞰参数的变更(例如,使确定摄像机40的设置位置的坐标值,移位至比现在的坐标值所示的位置更低的位置,或者表示车辆2的后方的位置的坐标值)。回到图4,俯瞰图像生成部63使用变更后的俯瞰参数生成俯瞰图像,与在SC2显示的俯瞰引导线80相互重叠,显示于显示器50(SC3)。
另一方面,在判定包含于俯瞰图像的基准标识3的位置与俯瞰引导线80的配置一致的情况下(SC4,是),认为由俯瞰图像生成部63正确地进行了图像数据的俯瞰变换而生成俯瞰图像,校正部64结束俯瞰参数校正处理。
(处理-距离参数校正处理)
接着,说明图3的SB2的距离参数校正处理。图6是距离参数校正处理的流程图。此外,图7是表示距离参数校正处理进行时的车辆2和显示器50的图,图7(a)、(c)、(e)是表示车辆2和基准标识3的位置的平面图。图7(b)、(d)、(f)中以斜阴影线表示的区域中斜线的间隔较密的区域表示,由于没有对应的图像数据而不显示图像的区域。此外,斜线的间隔较稀疏的区域表示,合成图像中基于记录在图像存储器65中的记录图像数据合成的区域。此外,没有阴影线的区域表示,合成图像中基于现在图像数据合成的区域。
此处,作为进行距离参数校正处理的前提,与俯瞰参数校正处理开始时同样,以使基准标识3的前后框线和车辆2的前进方向平行的方式,且以基准标识3的各框线相互重复的一边和车辆2的后端在从车辆2的铅直上方看时一致的方式,配置基准标识3,或者使车辆2移动(图7(a))。另外,该基准标识3以使规定长度的多个直线以规定角度相互组合的方式构成,在以下的说明中,例如包括:一边的长度为1m50cm的正方形的第一框线3a、一边的长度为1m的正方形的第二框线3b、以及一边的长度为50cm的正方形的第三框线3c。此外,在显示器50显示以车辆2为基准的固定区域的图像。将与该图像对应的区域在图7(a)、(c)、(e)中以虚线表示。
当在上述SB2启动距离参数校正处理时,如图6所示,校正部64判定基准标识3是否配置在摄像机40能够摄取的范围的路面上(SD1)。例如,在如图7(a)所示那样配置基准标识3,通过操作输入部30接受基准标识3的配置完成的操作输入时,能够判定基准标识3配置在摄像机40能够摄取的范围的路面上。此时,如图7(b)所示,在显示画面50a中作为现在图像数据显示基于摄像机40摄取的现在的图像数据生成的俯瞰图像。在基准标识3的配置完成时,以基准标识3的各框线相互重复的一边位于该现在图像数据的下端部分(图7(b)中非阴影线区域与阴影线区域的边界)的方式,显示基准标识3。
回到图6,在判定基准标识3配置在摄像机40能够摄取的范围的路面上的情况下(SD1,是),校正部64基于记录在数据记录部70的引导线信息71,将位置引导线和距离引导线显示于显示器50(SD2)。位置引导线是确定使车辆2直线移动之后应该停止的位置的作为基准的位置标识,在显示画面50a中显示为与车辆2的前进方向正交的直线。在本实施方式中,如图7所示,位置引导线81,在合成图像生成部62所生成的合成图像中基于摄像机40摄取的现在的图像数据生成的部分(图7(b)中为“现在图像数据”的部分)中,固定地显示于与车辆2开始直线后退之前的状态下(图7(b)的状态)基准标识3的第三框线3c的左右框线一致的位置(图7(b)中上侧的虚线)。此时,第三框线3c的前后框线的长度为50cm,因此位置引导线81在合成图像中在相当于距离现在图像数据的下端部分50cm的位置,固定地显示为表示与车辆2的前进方向正交的方向的直线的位图图像。在该情况下,当从图7(b)的状态开始车辆2完成了1m的直线后退时,位置引导线81与距离基准标识3的第三框线3c的左右框线1m的距离的第一框线3a的左右框线一致。位置引导线81显示于现在图像数据的部分,因此在车辆2完成1m的直线后退时位置引导线81与第一框线3a的左右框线必然一致。另外,位置引导线81的位图图像例如使用以显示画面50a的左上角为原点的坐标系中的坐标数据而确定其配置和形状,并固定地显示在显示画面50a上。
此外,距离引导线表示合成图像中基准标识3的与直线移动对应的预测配置,是基于显示于显示器50的合成图像进行距离参数的校正时的基准。例如图7所示,距离引导线82,在车辆2直线移动了规定距离(在本实施方式中,与从基准标识3的第三框线3c的左右框线到第一框线3a的左右框线的距离对应的1m)时,作为表示俯瞰图像中基准标识3的第三框线3c的左右框线在距离参数正确的情况下应该显示于显示器50的配置的线,在合成图像中基于过去摄取的记录图像数据生成的部分(图7(b)中不显示“现在图像数据”的部分)固定地显示(图7(b)中下侧的虚线)。在本实施方式中,将车辆2从图7(b)所示的位置引导线81与基准标识3的第三框线3c的左右框线一致的位置移动到图7(f)所示的位置引导线81与第一框线3a的左右框线一致的位置地1m的距离的情况下的、基准标识3的第三框线3c的左右框线的预测配置显示为距离引导线82。在该情况下,距离引导线82,在图7(b)的状态的合成图像中相当于距离第三框线3c的左右框线1m的位置,即在相当于距离现在图像数据与记录图像数据的边界50cm的位置,固定地显示为表示与车辆2的前进方向正交的方向的直线的位图图像。在距离参数正确时,当车辆从图7(b)的状态直线移动1m时,合成图像中第三框线3c的移动距离与现实的移动距离1m相等,因此距离引导线82与显示在记录图像数据的区域的第三框线3c的左右框线一致。另一方面,在距离参数不正确时,合成图像中第三框线3c的移动距离与现实的移动距离1m不同,因此距离引导线82与显示在记录图像数据的区域的第三框线3c不一致。
在SD2中在显示器50显示位置引导线81和距离引导线82之后,校正部64将使车辆2向着基准标识3直线后退的指示显示于显示器50(SD3)。例如,将第一框线3a的左右框线和位置引导线81以高光显示,显示使车辆2直线后退的消息直至两者一致。或者,也可以通过校正部64控制节流门,自动地使车辆2直线后退。
与上述的车辆2的直线后退相配合地,合成图像生成部62进行上述的合成图像生成处理,由此生成包含车辆2的位置的区域的合成图像,将该生成的合成图像显示于显示器50(SD4)。
然后,校正部64判定在SD2显示的位置引导线81的配置与合成图像所包含的基准标识3的配置是否一致(SD5)。例如,在图7中,在以基准标识3的第一框线3a的左右框线为基准的情况下,图7(d)的状态判定为该框线与位置引导线81的配置不一致。另一方面,图7(f)的状态判定为该框线与位置引导线81的配置一致。例如,在通过按下作为操作输入部30的决定按钮(省略图示),输入合成图像中的基准标识3的第一框线3a与位置引导线81的配置一致的消息时,校正部64判定位置引导线81的配置与合成图像所包含的基准识3的配置一致。另一方面,在车辆2继续直线后退时,校正部64判定位置引导线81的配置与合成图像所包含的基准标识3的配置不一致。
回到图6,在判定位置引导线81的配置与包含于合成图像的基准标识3的配置不致的情况下(SD5,否),合成图像生成部62重复进行合成图像的生成和向显示器50的显示(SD4)。另一方面,在判定位置引导线81的配置与合成图像所包含的基准标识3的配置一致的情况下(SD5,是),认为车辆2直线移动了规定的距离(图7的例子中是1m),校正部64判定与车辆2的直线移动相对应地合成图像生成部62所生成的合成图像所包含的基准标识3的配置与在合成图像上重叠显示的距离引导线82的配置是否一致(SD6)。例如,在通过按下作为操作输入部30的决定按钮(省略图示),输入了合成图像中基准标识3的第三框线3c与距离引导线82的配置一致的消息时,校正部64判定距离引导线82的配置与合成图像所包含的基准标识3的配置一致。另一方面,在例如图7(f)所示那样,在作为距离参数变更用的操作输入按钮显示于兼作为触摸面板的显示器50的“上”按钮30c或“下”按钮30d被按下的情况下,认为需要距离参数的变更,校正部64判定距离引导线82的配置与包含于合成图像的基准标识3的配置不一致。
例如,在图7中,在以基准标识3的第三框线3c的左右框线为基准的情况下,图7(f)的状态判定为该框线与距离引导线82的配置不一致。例如在随着轮胎更换而轮胎径变大的情况下,现实中车辆2在车速脉冲信号每一脉冲中移动的距离相比于在数据记录部70中作为距离参数记录的在车速脉冲信号每一脉冲的移动距离变长。例如,记录在数据记录部70中的在车速脉冲信号每一脉冲的移动距离是8cm,与此相对,由于轮胎更换轮胎径变大后的车辆2在车速脉冲信号每一脉冲实际上移动的距离为10cm。此时,当车辆2移动1m时,车速传感器20输出的车速脉冲信号的脉冲数为1m/10cm=10脉冲。另一方面,在数据记录部70中作为距离参数被记录的在车速脉冲信号每一脉冲移动的距离为8cm,因此基于该距离参数确定的车辆2的移动距离为8cm×10脉冲=80cm,与实际的车辆2的移动距离1m不同。如果基于这样确定的移动距离,通过合成图像生成处理生成合成图像,则如图7(f)所示,生成第三框线3c的左右框线未到达距离引导线82的状态的合成图像。
回到图6,在判定包含于合成图像的基准标识3的配置与距离引导线82的配置不一致的情况下(SD6,否),校正部64例如基于通过操作输入部30的操作输入,变更记录在数据记录部70的距离参数的值(SD7)。例如图7(f)所示,在兼作为触摸面板的显示器50中显示作为距离参数变更用的操作输入按钮的“上”按钮30c和“下”按钮30d。在操作了该“上”按钮30c的情况下,以合成图像中显示于记录图像数据的部分的基准标识3向显示画面50a的上方移动的方式进行距离参数的变更。即,在合成图像生成处理中,使伴随车辆2的移动依次重合的记录图像数据的间隔变窄,因此使在数据记录部70作为距离参数被记录的在车速脉冲信号每一脉冲移动的距离变为比现在的值小的值。例如,在每按压一次“上”按钮30c时使在车速脉冲信号每一脉冲移动的距离变短规定长度(例如1cm)。另一方面,在操作了“下”按钮30d的情况下,以合成图像中显示于记录图像数据的部分的基准标识3向显示画面50a的下方移动的方式进行距离参数的变更。即,在合成图像生成处理中,使伴随车辆2的移动依次重合的记录图像数据的间隔扩展,因此使在数据记录部70作为距离参数被记录的在车速脉冲信号每一脉冲移动的距离变为比现在的值大的值。例如,在每按压一次“下”按钮30d时使在车速脉冲信号每一脉冲移动的距离变长规定长度(例如1cm)。
回到图6,合成图像生成部62使用变更后的距离参数进行合成图像生成处理,将生成的合成图像与在SD2显示的位置引导线81和距离引导线82相互重叠,并显示于显示器50(SD8)。之后,判定再次合成图像所包含的基准标识3的配置与距离引导线82的配置是否一致(SD6)。
另一方面,在SD6中,判定合成图像所包含的基准标识3的配置与距离引导线82的配置一致的情况下(SD6,是),认为在合成图像生成处理中,合成图像生成部62以适当的间隔依次重合记录图像数据而生成合成图像,校正部64结束距离参数校正处理。
(处理-旋转参数校正处理)
接着,说明图3的SB3的旋转参数校正处理。图8是旋转参数校正处理的流程图。此外,图9是表示旋转参数校正处理进行时的车辆2和显示器50的图,图9(a)、(c)、(e)是表示车辆2和基准标识3的位置的平面图,图9(b)、(d)、(f)是表示显示器50的显示画面50a的图。此处,作为进行旋转参数校正处理的前提,与俯瞰参数校正处理开始时同样,以使基准标识3的前后框线与车辆2的前进方向平行的方式将基准标识3配置在车辆2的后端部附近(图9(a))。
当在上述SB3启动旋转参数校正处理时,如图8所示,校正部64判定基准标识3是否配置在摄像机40能够摄取的范围的路面上(SE1)。例如,在像图9(a)例示的那样配置基准标识3,通过操作输入部30接受基准标识3的配置完成的操作输入时,能够判定基准标识3配置在摄像机40能够摄取的范围的路面上。
回到图8,在判定基准标识3配置在摄像机40能够摄取的范围的路面上的情况下(SE1,是),校正部64基于记录在数据记录部70的引导线信息71,将旋转引导线显示于显示器50(SE2)。旋转引导线表示合成图像中与基准标识3的旋转对应的预测配置,是基于显示器50中显示的合成图像进行旋转参数的校正时的基准。在本实施方式中,使用记录在数据记录部70的旋转参数,确定从图9(a)所示的基准标识3配置在车辆2的后端部附近的状态开始,车辆2以预先决定转向的转向角后退一定距离的情况下的基准标识3的第一框线3a的前后框线的预测配置,并作为旋转引导线83进行显示。
在SE2中将旋转引导线83显示于显示器50之后,校正部64在显示器50中显示使车辆2旋转的指示(SE3)。例如,在显示器50显示使转向为一定的转向角的消息(例如“向左旋转一周”等),以及用于使车辆2后退一定距离的距离计数器(例如“之后后退1m”)等。或者,也可以通过校正部64控制转向和节流门,自动地使车辆旋转。
与上述的车辆2的旋转相配合地,合成图像生成部进行上述的合成图像生成处理,由此生成包含车辆2的位置的区域的合成图像,将该生成的合成图像显示于显示器50(SE4)。
然后,校正部64判定车辆是否后退了一定距离(SE5)。例如,基于从车速传感器20输入的车速脉冲信号和在距离参数校正处理校正后的距离参数,移动状态确定部61确定车辆2的移动距离,判定该确定的移动距离是否达到一定的距离。在其结果是判定车辆2未后退一定的距离的情况下(SE5,否),校正部64回到SE3,在显示器50显示使车辆2旋转的指示。
另一方面,在判定车辆2后退了一定距离的情况下(SE5,是),校正部64判定与车辆2的旋转相对应地合成图像生成部62所生成的合成图像所包含的基准标识3的配置与在合成图像上重叠的旋转引导线83的配置是否一致(SE6)。
例如,在表示使车辆2后退一定距离时的显示器50的显示画面50a的图9(f)中,判定基准标识3的第一框线3a的前后框线与作为其预测配置的旋转引导线83的配置不一致。例如,伴随悬架的更换、轮胎更换,轮胎径、偏移量等产生变化,随之现实的车辆2的与转向角对应的旋转半径与在数据记录部70中作为旋转参数记录的旋转半径相比,可能变大。当旋转半径变大时,车辆2移动一定距离时的旋转角度变小。此时,在合成图像生成处理中,随着车辆2的旋转依次旋转重合的记录图像数据的相互间的角度比现实的车辆2的旋转角度大。因此,如图9(f)所示,生成第三框线3c的前后框线弯曲,与旋转引导线83的配置不一致的状态的合成图像。
回到图8,在判定包含于合成图像的基准标识3的配置与旋转引导线83的配置不一致的情况下(SE6,否),校正部64基于例如通过操作输入部30的操作输入,变更记录在数据记录部70中的旋转参数的值(SE7)。图10是举例表示变更旋转参数的值时显示于显示器50的显示画面50a的图,图10(a)是旋转参数变更前的显示画面50a的图,图10(b)是旋转参数变更后的显示画面50a的图。另外,在图10中为了简化表示,将基准标识3的第一框线3a的前后框线和旋转引导线83各仅表示了一根。
如该图10所示,在例如兼作为触摸面板的显示器50中显示作为旋转参数变更用的操作输入按钮的“左”按钮30e和“右”按钮30f。在该“左”按钮30e被操作时,以旋转引导线83和在合成图像中记录图像数据的部分显示的基准标识3在显示画面50a中向左方向旋转的方式进行旋转参数的变更。即,在合成图像生成处理中,使随着车辆2的旋转依次旋转重合的记录图像数据的旋转角度变小,因此使在数据记录部70作为旋转参数记录的旋转半径变为比现在的值大的值。另一方面,在“右”按钮30f被操作时,以旋转引导线83和在合成图像中记录图像数据的部分显示的基准标识3在显示画面50a中向右方向旋转的方式进行旋转参数的变更。即,在合成图像生成处理中,使随着车辆2的旋转依次旋转重合的记录图像数据的旋转角度变大,因此使在数据记录部70作为旋转参数记录的旋转半径变为比现在的值小的值。
回到图8,校正部64使用变更后的旋转参数,再次确定基准标识3的前后框线的预测配置,并作为变更后的旋转引导线83显示于显示器50(SE8)。例如,在SE7的处理中,通过使作为旋转参数被记录的旋转半径变为比现在的值大的值,使伴随车辆2的旋转依次旋转重合的记录图像数据的旋转角度变小。结果,图10(b)所示的显示画面50a中的旋转引导线83作为比图10(a)所示的显示画面50a中的旋转引导线83更沿着车辆2的前进方向(显示画面50a的上方向)的直线而被再次配置。
回到图8,合成图像生成部62使用变更后的旋转参数进行合成图像生成处理,将生成的合成图像与在SE8显示的旋转引导线83相互重叠而显示于显示器50(SE9)。例如,在SE7的处理中,通过使作为旋转参数被记录的旋转半径变为比现在的值大的值,图10(b)所示的显示画面50a中的基准标识3的第一框线3a的前后框线,相比于图10(a)所示的显示画面50a中的该框线,弯曲变小,显示为沿着旋转引导线83的线。
另一方面,在SE6中,判定合成图像所包含的基准标识3的配置与旋转引导线83的配置一致的情况下(SE6,是),认为在合成图像生成处理中,合成图像生成部62以适当的角度使记录图像数据旋转并依次重合而生成合成图像,校正部64结束旋转参数校正处理。
(效果)
根据这样的实施方式,基于与旋转相对应地合成图像生成部62所生成的合成图像所包含的基准标识3的配置、和在合成图像上重叠显示的基准标识3的与旋转对应的预测配置,对移动状态确定部61基于移动信息确定作为移动状态的旋转时使用的旋转参数进行校正。由此,即使在由于车辆2的旋转半径等关于旋转的运动特性的变化,不能够使用旋转参数确定正确的旋转,不能够基于移动信息显示正确的合成图像的情况下,也能够基于合成图像中基准标识3的配置与其预测配置的差校正旋转参数,能够使用该校正后的旋转参数,合成记录在数据记录部70的图像数据,显示正确的合成图像。
此外,基于与直线移动相对应地合成图像生成部62所生成的合成图像所包含的基准标识3的配置、和在合成图像上重叠显示的基准标识3的与直线移动对应的预测配置,对移动状态确定部61基于移动信息确定作为移动状态的移动距离时使用的距离参数进行校正。由此,即使在由于随着轮胎更换的轮胎径的变化等关于移动距离的运动特性的变化,不能够使用距离参数确定正确的移动距离,不能够基于移动信息显示正确的合成图像的情况下,也能够基于合成图像中基准标识3的配置与其预测配置的差校正距离参数,能够使用该校正后的距离参数,合成记录在数据记录部70的图像数据,显示正确的合成图像。
此外,基于俯瞰图像生成部63所生成的俯瞰图像所包含的基准标识3的配置、和在俯瞰图像上重叠显示的基准标识3的与俯瞰变换对应的预测配置,对俯瞰图像生成部63生成俯瞰图像时使用的俯瞰参数进行校正。由此,即使在由于摄像机40的设置位置的偏差等,不能够使用俯瞰参数生成正确的俯瞰图像的情况下,也能够基于合成图像中基准标识3的配置与其预测配置的差校正俯瞰参数,能够使用该校正后的俯瞰参数,生成正确的俯瞰图像。
此外,在合成图像生成部62所生成的合成图像中基于摄像机40所摄取的现在的图像数据生成的部分,显示与车辆2的位置对应的位置标识,因此,无论合成图像中基于记录图像数据生成的部分正确与否,都能够基于该位置标识提示使车辆2移动一定距离时的目标位置。
此外,在校正处理中,在校正俯瞰参数之后,校正距离参数,因此,能够基于在正确的俯瞰图像中显示的位置引导线81和距离引导线82校正距离参数。进一步,在校正距离参数之后,校正旋转参数,因此能够基于使用正确的距离参数生成的合成图像和旋转引导线83校正旋转参数。
(对于实施方式的变形例)
以上说明了本发明的实施方式,但本发明的具体的结构和方法,在权利要求范围所记载的各发明的技术思想的范围内,能够进行任意的改变和改良。以下说明这样的变形例。
(关于要解决的问题和发明的效果)
首先,发明所要解决的问题和发明的效果并不限定于上述内容。存在根据发明的实施环境、结构的细节部分而不同的可能性,可以仅解决上述问题的一部分问题,仅达到上述效果的一部分效果。
(关于基准标识)
在上述实施方式中说明了,在校正处理的各处理中使用的基准标识3,构成为一边重复的多个长方形的框线的情况,但也可以在各处理中使用不同的基准标识3。例如,在俯瞰参数校正处理中可以仅使用第一框线3a。此外,在距离参数校正处理中可以仅使用第一框线3a和第三框线3c的左右框线。此外,在旋转参数校正处理中,可以仅使用第一框线3a的前后框线。

Claims (5)

1.一种驾驶辅助装置,其包括:
摄像单元,其对车辆的周边进行摄像;
俯瞰图像生成单元,其基于所述摄像单元所摄取的所述车辆的周边的图像数据,生成包含所述车辆的位置的区域的俯瞰图像;
记录单元,其对所述俯瞰图像生成单元生成的所述俯瞰图像进行记录;
移动状态确定单元,其取得与所述车辆的移动相关的移动信息,基于该取得的移动信息确定该车辆的移动状态;
合成图像生成单元,其基于所述移动状态确定单元所确定的移动状态,合成记录在所述记录单元的所述图像数据,生成包含所述车辆的位置的区域的合成图像;
显示单元,其显示所述合成图像生成单元所生成的所述合成图像;以及
校正单元,其在基准标识配置在所述摄像单元能够摄取的范围的路面上且所述车辆旋转时,基于与该旋转相对应地由所述合成图像生成单元所生成的所述合成图像所包含的所述基准标识的配置、和在所述合成图像上重叠显示的所述基准标识的与所述旋转对应的预测配置,对所述移动状态确定单元基于所述移动信息确定作为所述移动状态的旋转时使用的旋转参数进行校正。
2.如权利要求1所述的驾驶辅助装置,其中,
所述校正单元在所述基准标识配置在所述摄像单元能够摄取的范围的路面上且所述车辆直线移动时,基于与该直线移动相对应地由所述合成图像生成单元所生成的所述合成图像所包含的所述基准标识的配置、和在所述合成图像上重叠显示的所述基准标识的与所述直线移动对应的预测配置,对所述移动状态确定单元基于所述移动信息确定作为所述移动状态的移动距离时使用的距离参数进行校正。
3.如权利要求1或2所述的驾驶辅助装置,其中,
所述校正单元在所述基准标识配置在所述摄像单元能够摄取的范围的路面上时,基于所述俯瞰图像生成单元所生成的所述俯瞰图像所包含的所述基准标识的配置、和在所述俯瞰图像上重叠显示的所述基准标识的与俯瞰变换对应的预测配置,对所述俯瞰图像生成单元生成所述俯瞰图像时使用的俯瞰参数进行校正。
4.一种驾驶辅助方法,其包括:
摄像步骤,其对车辆的周边进行摄像;
俯瞰图像生成步骤,其基于在所述摄像步骤摄取的所述车辆的周边的图像数据,生成包含所述车辆的位置的区域的俯瞰图像;
记录步骤,其将在所述俯瞰图像生成步骤中生成的所述俯瞰图像记录在记录单元中;
移动状态确定步骤,其取得与所述车辆的移动相关的移动信息,基于该取得的移动信息确定该车辆的移动状态;
合成图像生成步骤,其基于在所述移动状态确定步骤确定的移动状态,合成在所述记录步骤记录在所述记录单元的所述图像数据,生成包含所述车辆的位置的区域的合成图像;
显示步骤,其将在所述合成图像生成步骤生成的所述合成图像显示在显示单元上;以及
校正步骤,其在基准标识配置于在所述摄像步骤能够摄取的范围的路面上且所述车辆旋转时,基于与该旋转相对应地在所述合成图像生成步骤生成的所述合成图像所包含的所述基准标识的配置、和在所述合成图像上重叠显示的所述基准标识的与所述旋转对应的预测配置,对在所述移动状态确定步骤基于所述移动信息确定作为所述移动状态的旋转角度时使用的旋转参数进行校正。
5.如权利要求4所述的驾驶辅助方法,其中,
在所述校正步骤中,
在所述基准标识配置于在所述摄像步骤能够摄取的范围的路面上时,基于在所述俯瞰图像生成步骤生成的所述俯瞰图像所包含的所述基准标识的配置、和在所述俯瞰图像上重叠显示的所述基准标识的与俯瞰变换对应的预测配置,对在所述俯瞰图像生成步骤生成所述俯瞰图像时使用的俯瞰参数进行校正,
在校正所述俯瞰参数之后,在所述基准标识配置于在所述摄像步骤能够摄取的范围的路面上且所述车辆直线移动时,基于与该直线移动相对应地在所述合成图像生成步骤生成的所述合成图像所包含的所述基准标识的配置、和在所述合成图像上重叠显示的所述基准标识的与所述直线移动对应的预测配置,对在所述移动状态确定步骤基于所述移动信息确定作为所述移动状态的移动距离时使用的距离参数进行校正,
在校正所述距离参数之后,校正所述旋转参数。
CN201010117713.8A 2009-03-27 2010-02-11 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序 Expired - Fee Related CN101848370B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-080008 2009-03-27
JP2009080008A JP4831374B2 (ja) 2009-03-27 2009-03-27 運転支援装置、運転支援方法、及び運転支援プログラム

Publications (2)

Publication Number Publication Date
CN101848370A CN101848370A (zh) 2010-09-29
CN101848370B true CN101848370B (zh) 2014-09-24

Family

ID=42309613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010117713.8A Expired - Fee Related CN101848370B (zh) 2009-03-27 2010-02-11 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序

Country Status (4)

Country Link
US (1) US8675070B2 (zh)
EP (1) EP2233357B1 (zh)
JP (1) JP4831374B2 (zh)
CN (1) CN101848370B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9140719B2 (en) * 2010-09-16 2015-09-22 Pioneer Corporation Terminal holding device
US9064296B2 (en) * 2010-10-22 2015-06-23 Pioneer Corporation Terminal device, image processing method and image processing program executed by a terminal device
JP6058256B2 (ja) 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
JP5858045B2 (ja) * 2011-09-13 2016-02-10 トヨタ自動車株式会社 車載カメラの光軸把握装置
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
US9760092B2 (en) 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
JP6025365B2 (ja) * 2012-04-04 2016-11-16 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
CN103369216A (zh) * 2012-04-06 2013-10-23 英华达(上海)科技有限公司 摄像装置及其校正拍摄范围的方法
JP5888087B2 (ja) 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
US20140176709A1 (en) * 2012-12-21 2014-06-26 Caterpillar, Inc. Video Overlays for RC/Autonomous Machine
JP6260891B2 (ja) * 2013-08-08 2018-01-17 パナソニックIpマネジメント株式会社 画像処理装置および画像処理方法
DE102013015847B3 (de) * 2013-09-24 2015-03-05 Mekra Lang Gmbh & Co. Kg Sichtsystem
US20140232871A1 (en) * 2014-05-01 2014-08-21 Caterpillar Inc. Method for manually calibrating a camera mounted on vehicle
JP6327160B2 (ja) * 2014-09-02 2018-05-23 株式会社デンソー 車両用画像処理装置
WO2016035271A1 (ja) * 2014-09-02 2016-03-10 株式会社デンソー 車両用画像処理装置
JP6466139B2 (ja) * 2014-10-20 2019-02-06 有限会社テレビジネス 人間の動きを測定するロボット計測器
JP2017139612A (ja) * 2016-02-03 2017-08-10 パナソニックIpマネジメント株式会社 車載カメラ用校正システム
AU2016224353B2 (en) * 2016-03-28 2019-10-31 Komatsu Ltd. Evaluation Device
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
DE102017130173A1 (de) * 2017-02-24 2018-08-30 Denso Ten Limited Ladeunterstützungsvorrichtung
WO2017191853A1 (ja) * 2017-06-28 2017-11-09 株式会社小松製作所 作業機械の表示装置及び表示システム
CN109997356B (zh) * 2017-07-31 2021-10-08 Jvc 建伍株式会社 显示控制装置、显示控制系统、显示控制方法以及程序
US10748032B1 (en) * 2019-01-31 2020-08-18 StradVision, Inc. Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same
US10872532B2 (en) * 2019-02-27 2020-12-22 ANI Technologies Private Limited Calibration of fixed image-capturing device for predicting driving lane
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580373B1 (en) * 1998-11-30 2003-06-17 Tuner Corporation Car-mounted image record system
CN1701213A (zh) * 2003-05-29 2005-11-23 奥林巴斯株式会社 立体摄像机支持装置、立体摄像机支持方法、校准检测装置、校准校正装置以及立体摄像机系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP3551920B2 (ja) * 1999-12-24 2004-08-11 アイシン精機株式会社 車載カメラの校正装置および校正方法
US6813371B2 (en) * 1999-12-24 2004-11-02 Aisin Seiki Kabushiki Kaisha On-vehicle camera calibration device
US20020052724A1 (en) * 2000-10-23 2002-05-02 Sheridan Thomas B. Hybrid vehicle operations simulator
JP2003044996A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 障害物検出装置
EP1637836A1 (en) * 2003-05-29 2006-03-22 Olympus Corporation Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
JP3916240B2 (ja) * 2003-08-07 2007-05-16 松下電器産業株式会社 運転支援装置及び運転支援方法
JP4238663B2 (ja) * 2003-08-29 2009-03-18 トヨタ自動車株式会社 車載カメラのキャリブレーション方法及びキャリブレーション装置
JP4868964B2 (ja) * 2006-07-13 2012-02-01 三菱ふそうトラック・バス株式会社 走行状態判定装置
JP4286294B2 (ja) * 2007-02-21 2009-06-24 三洋電機株式会社 運転支援システム
JP4863922B2 (ja) * 2007-04-18 2012-01-25 三洋電機株式会社 運転支援システム並びに車両
EP2242994A1 (en) * 2008-02-04 2010-10-27 Tele Atlas North America Inc. Method for map matching with sensor detected objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580373B1 (en) * 1998-11-30 2003-06-17 Tuner Corporation Car-mounted image record system
CN1701213A (zh) * 2003-05-29 2005-11-23 奥林巴斯株式会社 立体摄像机支持装置、立体摄像机支持方法、校准检测装置、校准校正装置以及立体摄像机系统

Also Published As

Publication number Publication date
JP4831374B2 (ja) 2011-12-07
JP2010233079A (ja) 2010-10-14
US8675070B2 (en) 2014-03-18
EP2233357A3 (en) 2012-06-13
EP2233357B1 (en) 2013-11-20
EP2233357A2 (en) 2010-09-29
US20100245575A1 (en) 2010-09-30
CN101848370A (zh) 2010-09-29

Similar Documents

Publication Publication Date Title
CN101848370B (zh) 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序
JP6946652B2 (ja) 駐車支援装置
CN101816175B (zh) 停车辅助装置以及停车辅助方法
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
CN101909972B (zh) 车辆用停车辅助系统和方法
CN101309818A (zh) 泊车支援装置及泊车支援方法
JP4622806B2 (ja) 駐車支援方法及び駐車支援装置
CN103328261A (zh) 用于产生车辆周围环境的图像的方法以及成像装置
US20080055407A1 (en) Apparatus And Method For Displaying An Image Of Vehicle Surroundings
CN104956668A (zh) 图像处理装置以及图像处理方法
CN104854640A (zh) 探测并显示用于车辆的停车位的车辆侧方法和车辆侧设备
JP2002354467A (ja) 車両周囲情報表示装置
CN105472317A (zh) 周边监视装置及周边监视系统
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
JP2010183234A (ja) 描画装置
CN103832355A (zh) 倒车导引线系统的导引方法
JP4317046B2 (ja) 駐車支援システム
KR102164702B1 (ko) 자동 주차 장치 및 자동 주차 방법
US8872921B2 (en) Vehicle rearview back-up system and method
JP2018165912A (ja) 支援装置
JP4977556B2 (ja) 半導体集積回路装置および描画処理表示システム
JP2010233080A (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
JP4845716B2 (ja) 車両の駐車支援装置
JP5072533B2 (ja) 運転支援装置および運転支援方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140924

Termination date: 20200211