CN104081763A - 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质 - Google Patents

图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质 Download PDF

Info

Publication number
CN104081763A
CN104081763A CN201280067356.6A CN201280067356A CN104081763A CN 104081763 A CN104081763 A CN 104081763A CN 201280067356 A CN201280067356 A CN 201280067356A CN 104081763 A CN104081763 A CN 104081763A
Authority
CN
China
Prior art keywords
image
image processing
place ahead
display
datum mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280067356.6A
Other languages
English (en)
Other versions
CN104081763B (zh
Inventor
杉江伸一
铃木祯司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of CN104081763A publication Critical patent/CN104081763A/zh
Application granted granted Critical
Publication of CN104081763B publication Critical patent/CN104081763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Instrument Panels (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种能够适当地支援对于从车辆拍摄到的图像中的预定的注意对象物的注意的注意支援图像的重叠显示技术。以将在前方图像中通过图像识别而检测到的注意对象物(F)的显示区域的中心位置(P3)和移动显示基准点(P2)进行连接的线段，生成注意支援图像并显示。该线段图像结果形成为以移动显示基准点(P2)为中心的大致辐射状的图形。由于在前方图像中显示的任何显示物都随着车辆(V)的移动而以移动显示基准点(P2)为中心呈辐射状移动显示，所以线段图像表示注意对象物(F)的移动轨迹。由此，在通过图像识别而检测到的注意对象物(F)的中心位置(P3)在前方图像的最新图像帧中稍微偏离的情况下，也因注意对象物(F)位于注意支援图像的线段的延长上，而在视觉上容易进行该偏离的插补，用户能够自然且直观地把握注意对象物(F)。

Description

图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
技术领域
本发明涉及对移动体的前方图像中的预定显示物重叠指示其位置的图像的图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质。
背景技术
近年来，提出了如下技术：通过搭载于移动体上的相机来拍摄周围的图像，使指示在该图像中显示的多个显示物中应尤其促使用户注意的对象物的图形等重叠显示在该图像上，进行其注意的支援。
例如，在专利文献1中记载的技术中，在图像数据中通过图像识别等而检测到预定的特征部位时，将包围该特征部位的框形状的记号重叠显示在图像上。
现有技术文献
专利文献
专利文献1:JP特开2004-320286号公报
发明内容
发明要解决的课题
但是，在通过搭载于正在行驶中的移动体上的相机以动画形式拍摄了周围的图像的情况下，通过该移动体的移动，图像中的显示物如流动那样移动。在对这样的动画形式的图像通过上述现有技术而在作为图像中的特征部位的显示物上重叠显示了框状记号的情况下，由于对该显示物进行图像识别的处理、应重叠显示的框记号的位置或大小的计算以及描绘的处理要花费时间，所以会导致框记号偏离对象的显示物地重叠显示，导致用户难以识别图像中的注意对象物。因此，期望能够适当地支援用户对于从移动体拍摄到的图像中的预定的注意对象物的识别的支援图像的重叠显示技术。
在本发明要解决的课题中，作为一例而举出上述问题。
用于解决课题的手段
为了解决上述课题，技术方案1所述的发明是一种图像处理装置，包括：生成单元，以从行驶的移动体拍摄到的前方图像的消失点或者该消失点附近的点为基准点，生成表示所述基准点与所述前方图像中的预定的特征物的相对的位置关系的显示目标；以及输出单元，输出包括由所述生成单元生成的所述显示目标的前方图像。
为了解决上述课题，技术方案10所述的发明是一种图像处理装置，包括：摄像单元，搭载于行驶的移动体上，获取所述移动体的前方图像；生成单元，以所述前方图像中的消失点或者该消失点附近的点为基准点，生成表示所述基准点与预定的特征物的相对的位置关系的显示目标；输出单元，输出由所述生成单元生成的所述显示目标；以及平视显示器，在驾驶者驾驶时的视野内放映出所述输出单元输出的所述显示目标。
为了解决上述课题，技术方案12所述的发明是一种图像处理服务器，包括：接收单元，从外部的图像处理装置接收从行驶的移动体拍摄到的前方图像；生成单元，以所述前方图像中的消失点或者该消失点附近的点为基准点，生成表示所述基准点与预定的特征物的相对的位置关系的显示目标；以及发送单元，将由所述生成单元生成的所述显示目标发送到所述外部的图像处理装置。
为了解决上述课题，技术方案13所述的发明是一种图像处理装置，包括：摄像单元，搭载于行驶的移动体上，拍摄前方图像；通信单元，与技术方案12所述的图像处理服务器进行所述前方图像的收发；以及显示单元，对包括所述通信单元从所述图像处理服务器接收到的所述显示目标的前方图像进行显示。
为了解决上述课题，技术方案14所述的发明是一种图像处理装置执行的图像处理方法，执行如下步骤：生成步骤，以从行驶的移动体拍摄到的前方图像的消失点或者该消失点附近的点为基准点，生成表示所述基准点与所述前方图像中的预定的特征物的相对的位置关系的显示目标；以及输出步骤，输出包括由所述生成单元生成的所述显示目标的前方图像。
为了解决上述课题，技术方案15所述的发明是一种图像处理程序，使图像处理装置执行技术方案14所述的图像处理方法。
为了解决上述课题，技术方案16所述的发明是一种记录介质，以能够由所述图像处理装置读取的方式存储有技术方案15所述的图像处理程序。
附图说明
图1是表示搭载了包括本发明的图像处理装置的实施方式的驾驶支援装置的车辆的结构例的立体图。
图2是表示驾驶支援装置的硬件结构例的框图。
图3是表示从驾驶室看的车窗风景以及对应于此的显示器的显示的一例的图。
图4是表示将图3所示的姿势状态的前置相机拍摄到的前方图像显示在显示器上的情况下的显示例的图。
图5是表示在生成、显示了作为比较现有例的注意支援图像的框形状记号的情况下的显示例的图。
图6是表示在生成、显示了实施方式的注意支援图像的情况下的显示例的图。
图7表示将图3所示的姿势状态的前置相机1拍摄到的前方图像显示在显示器3上的情况下的显示例。
图8是表示将拍到车线轮廓线、车线消失点以及平均消失点的前方图像显示在显示器上的情况下的显示例的图。
图9是表示成像单元的CPU执行的控制内容的流程图。
图10是表示以半直线图像生成、显示了注意支援图像的情况下的显示例的图。
图11是表示在半直线图像的注意支援图像中在中心位置的前后改变了显示方式的情况下的显示例的图。
图12是表示以比注意对象物的显示区域稍微长的线段图像重复地生成、显示了注意支援图像的情况下的显示例的图。
图13是表示在由包络注意对象物的显示区域的两条线段图像生成、显示了注意支援图像的情况下的显示例的图。
图14是表示在将作为注意支援图像的两条线段图像之间的区域在中心位置的前后改变了显示方式的情况下的显示例的图。
图15是表示在以从移动显示基准点至注意对象物为止沿着辐射方向移动的移动目标生成、显示了注意支援图像的情况下的显示例的图。
图16是表示在以使框形状记号呈辐射状地扁平的椭圆形生成、显示了注意支援图像的情况下的显示例的图。
图17是表示以将在过去和最新的图像帧中分别检测到的两个中心位置进行连接的线段图像生成、显示了注意支援图像的情况下的显示例的图。
图18是表示将大致辐射状的图形和框形状记号进行组合而生成、显示了注意支援图像的情况下的显示例的图。
图19是表示搭载了服务器型的驾驶支援装置的车辆和网络的结构例的立体图的一例。
图20是表示搭载了利用了电子便携终端的方式的图像处理装置的车辆的结构例的立体图的一例。
图21是表示在具有平视显示器投影机和组合器的情况下的驾驶支援装置的系统结构的一例的框图。
图22是表示从车辆的车内看的车窗风景以及对应于此的平视显示器的显示的一例的图。
图23是从侧方看平视显示器对于组合器的投影显示的方式的示意图。
图24是表示在各方式中的各构成设备之间的硬件构成元素的分担的组合例的图。
图25是表示在各方式中的各构成设备之间的软件处理内容的分担的组合例的图。
具体实施方式
以下，参照附图说明本发明的实施方式中的一个实施方式。
图1是表示搭载了包括本发明的图像处理装置的实施方式的驾驶支援装置的车辆的结构例的立体图。在该图1中，驾驶支援装置S在室内镜101的前方侧位置设置单独的前置相机1，上述室内镜101设置于作为移动体的车辆V的车内顶棚。前置相机1的拍摄方向Dc被安装成能够拍摄该车辆V的前进方向的前方的姿势。另外，在该例中，前置相机1通过经由例如万向接头的安装装置而安装到车辆V，其拍摄方向Dc在偏航方向(水平方向)和俯仰方向(垂直方向)的各个方向的预定范围中通过手动而可动。该前置相机1在其姿势的可动范围内，使贯通该车辆V的中央前后方向的车辆轴的方向Dv不会脱离拍摄范围。
图2是表示驾驶支援装置S的硬件结构例的框图。在该图2中，驾驶支援装置S具有前置相机1、成像单元2、显示器3、GPS13、车速传感器14。
前置相机1相当于摄像单元，具有例如利用CCD摄像元件等而拍摄上述的该车辆的前进方向的前方图像并将对应的信号输出到成像单元2的CPU(后述)的功能。另外，在本实施方式的例中，通过该前置相机1以充分短的时间周期按时间序列持续拍摄多个图像帧，从而以动画的形式拍摄前方图像。
显示器3相当于显示单元，例如由LCD面板等构成，具有基于从成像单元2的图形控制器(后述)输入的图像信号显示在由上述前置相机1拍摄到的前方图像上重叠了后述的注意支援图像而成的合成图像的功能。
GPS13具有如下功能：进行车辆V的当前地的测位并获取当前位置信息，且基于预先存储的地图信息而进行预定的注意对象物(后面详细叙述)的位置检测。
车速传感器14具有检测该车辆V的行驶速度的功能。成像单元2具有的后述的CPU能够基于该车速传感器14的检测信号，识别该车辆V是否为停止中的状态、或者在以什么样的行驶速度行驶。
成像单元2相当于图像处理装置，具有CPU11、存储装置12、图形控制器15。
CPU11具有以下功能：根据预定的程序的动作而进行各种运算，且在与其他的各部之间进行信息的交换或输出各种控制指示，从而控制驾驶支援装置S整体。
存储装置12具有ROM12a、RAM12b以及存储介质12c。ROM12a是预先写入了各种处理程序、其他需要的信息的信息存储介质。RAM12b是在执行上述各种程序时进行需要的信息的写入以及读出的信息存储介质。存储介质12c是例如闪速存储器、硬盘等非易失性的信息存储介质。
图形控制器15具有以下功能：通过CPU11的控制而从视频RAM(未图示)以及上述GPS13等获取图像数据，并使上述显示器3显示基于该图像数据的图像信号的功能。另外，如上所述，本实施方式的例中的该图形控制器15将基于在由上述前置相机1拍摄到的前方图像上重叠了后述的注意支援图像而成的合成图像数据的图像信号输出到显示器3。此外，在本实施方式的例中，该图形控制器15与上述前置相机1以动画形式拍摄前方图像时的时间周期无关地在任意的时机使图像信号显示到显示器3。
图3是表示从驾驶室看的车窗风景以及对应于此的显示器3的显示的一例的图。在图示的例中，表示该车辆V行驶大致直线的行驶车线并跟随位于其行驶方向前方的前方车辆Vf的状态。在室内镜101的背侧(前进方向侧)设置的前置相机1拍摄包括上述直线的行驶车线和前方车辆Vf的前方图像。此时，如上所述，前置相机1的拍摄范围包括该车辆V的车辆轴方向Dv而使其不会脱离。并且，显示器3显示前置相机1拍摄到的前方图像。
这里，如上所述，由于前置相机1的安装姿势为可动，所以如图示的例那样，有时其拍摄方向Dc成为不与车辆轴方向Dv平行的姿势关系。在用户将前置相机1安装到任意的位置的情况下或通过手动作业而安装的情况下等也可能产生这样的偏离。因此，在本实施方式中，考虑这样的前置相机1的拍摄方向Dc与车辆轴方向Dv之间的偏离的同时，进行能够适当地支援在动画形式的前方图像中移动显示的预定的注意对象物的识别的注意支援图像的生成和显示。以下，依次说明这样的注意支援图像的生成方法以及显示例。
首先，图4表示将上述图3所示的姿势状态的前置相机1拍摄到的前方图像显示在显示器3上的情况下的显示例。另外，在图示的例中，在显示器3的显示区域中设定的显示坐标X-Y的整体中显示前方图像，即显示坐标X-Y与前方图像的图像坐标一致。在该图4中，在前方图像中，除了上述前方车辆Vf以外，作为显示物还显示有邮筒51、两个道路标志52、53、两个信号灯54、55、看板56以及行人57。
此外，如上所述，前置相机1由于在其姿势的可动范围内该车辆V的车辆轴方向Dv不会脱离摄像范围，所以在前方图像的显示坐标X-Y中必定存在移动显示基准点P2。该移动显示基准点P2是指，在前方图像中相当于该车辆V在该时刻的前进方向的无限远方移动位置(在该时刻显示的前方图像中的显示坐标X-Y中，该车辆V按原来的前进方向移动时到达的预定位置)的点，该点始终位于该时刻的大致地平线(大致水平线：在图4中未特别图示)与车辆轴方向Dv的大致延长线的交点上，将其称为消失点。另外，该移动显示基准点P2相当于各权利要求中记载的基准点。
并且，随着该车辆V朝向车辆轴方向Dv移动，上述的前方图像中的全部显示物以上述移动显示基准点P2为中心呈辐射状移动。即，前方图像中的全部显示物在从该车辆V向远方远去时，都位于移动显示基准点P2的附近。并且，随着该车辆V朝向移动显示基准点P2移动，在动画形式的前方图像中，各显示物被显示为沿着以移动显示基准点P2为中心呈大致辐射状配置的半直线上(参照图中的虚线箭头)移动。
以下，考虑将上述的邮筒51设定为注意对象物F的情况。注意对象物F是指，应促使作为该车辆V的驾驶者或同乘者的用户注意在从前方图像中显示的多个显示物中尤其不能看漏的显示物。这里，作为一例，将邮筒51设为注意对象物F，但并不限定于此。在其他的例中，也可以是道路标志、信号灯、看板等地上物或行人等相比于车辆的速度以充分低的速度移动的物体。另外，注意对象物F相当于在各权利要求中记载的预定的特征物。特征物具有能够通过图像识别而检测的特征部位。成像单元2通过对该特征部位进行图像识别而从前方图像中检测注意对象物F。作为该注意对象物F的设定方法，可以预先设定邮筒或道路标志等预定的种类的特征物，也可以基于GPS13存储的地图信息而预先指定在之后要通过的预定的道路附近设置的特征物来设定，或者，也可以是用户将前方图像中的特征物通过在显示器3中设置的触摸面板(未特别图示)上的直接接触或通过光标等指标而直接指定，从而将与所指定的特征物同种的特征物设定为注意对象物F。
考虑以下情况：为了促使在前方图像中注意这样被设定为注意对象物F的邮筒51，生成图5所示的框形状的记号61作为注意支援图像，并以包围该邮筒51的显示区域的方式重叠显示。但是，此时，成像单元2的CPU11必须进行以下处理：在前方图像的显示坐标X-Y中通过图像识别而检测邮筒51的显示区域和其存在位置，且配合该显示区域的大小而计算框形状记号61的大小并进行描绘。这些处理的计算量都多，尤其图像识别中花费的处理时间长。因此，在以动画形式显示前方图像的情况下，会赶不上其帧周期，而如图5所示那样即使重叠显示了框形状的记号61，对应的邮筒51也从框形状大幅脱离，难以引起用户的注意。
因此，在本实施方式中，将注意支援图像生成、显示为以几何学方式表示上述移动显示基准点P2与注意对象物F的存在位置的相对的位置关系。具体而言，在本实施方式的例中，如图6所示，将在前方图像中通过图像识别而检测到的邮筒51的显示区域的中心位置P3设为存在位置，以连接上述移动显示基准点P2和该中心位置P3的线段G1来生成、显示注意支援图像。并且，这样生成、显示的注意支援图像的线段G1结果形成为以移动显示基准点P2为中心的大致辐射状的图形。另外，该注意支援图像相当于在各权利要求中记载的显示目标。
如上所述，在动画形式的前方图像中显示的任何显示物都随着该车辆V的移动而以移动显示基准点P2为中心呈辐射状移动显示。即，作为上述的注意支援图像而生成、显示的线段图像G1表示作为注意对象物F的邮筒51在前方图像中的移动轨迹。因此，在通过图像识别而检测到的邮筒51的中心位置P3稍微偏离了前方图像的最新图像帧中的中心位置的情况下，由于邮筒51位于注意支援图像的线段G1的延长线上，所以在视觉上容易进行该偏离的插补，用户能够自然且直观地识别邮筒51。这在将相比于车辆V的移动速度充分慢的行人等设为注意对象物F时，也能够获得相同的效果。
这里，前方图像的显示坐标X-Y中的上述移动显示基准点P2的位置在大多数情况下偏离显示坐标X-Y的中央位置，且根据该时刻的前置相机1的拍摄方向Dc朝向哪个方向而不同。在本实施方式中，通过以下说明的平均消失点的计算，获取在显示坐标X-Y中的移动显示基准点P2的位置。
首先，图7表示将上述图3所示的姿势状态的前置相机1拍摄到的前方图像显示在显示器3上的情况下的显示例。另外，为了避免图示的繁杂，只将前方车辆Vf显示为显示物。在该图7中，在如上所述的前置相机1的拍摄方向Dc与车辆轴方向Dv之间存在偏离的情况下，显示器3的显示坐标X-Y的中央位置、即图中的纵方向、横方向各自的中心线Lv、Ll的交点位置偏离车辆轴方向Dv。此时，前方图像破坏相对于中心线Ll的左右方向的对称性，例如即使车辆V实际在直线状的行驶车线上行驶，夹着该行驶车线在左侧和右侧分别显示的显示物之间在前方图像中的移动的方向和速度关于行驶车线也会成为非对称。
相对于此，如图示的例那样，在直线状的行驶车线上行驶时拍摄到的前方图像中，相当于行驶车线的无限远方点的车线消失点P1始终位于该时刻的大致地平线(大致水平线)与车辆轴方向Dv的大致延长线的交点上。即，这样在直线状的行驶车线上行驶时的车线消失点P1的位置与上述移动显示基准点P2的位置一致。
作为检测上述车线消失点P1的方法，首先，如图示那样，通过前方图像的图像分析而检测在实际的行驶车线的两侧涂抹的白线、路面与路缘石的边界线、或柏油道路的边缘部等，识别为形成该行驶车线的轮廓的两条车线轮廓线Lr。并且，这两条车线轮廓线Lr的车辆前进方向的延长线上的交点被检测为前方图像上的上述车线消失点P1。
这里，例如图8所示，在行驶车线为曲线状的情况下，上述两条车线轮廓线Lr也配合前方图像上的该曲线的方向和曲率而被识别。另外，虽然未特别图示，但在该曲线的曲率在中途变化的情况下，优先该车辆V的跟前侧的曲率而识别两条车线轮廓线Lr。并且，以基于跟前侧的曲率的近似式来计算曲线的延长线，它们的交点位置被检测为车线消失点P1。
在该车辆V长时间行驶多样的形状的行驶车线、多次检测并记录了上述车线消失点P1的情况下，位于这些车线消失点P1的平均位置的平均消失点P2统计上在地平线上与车辆轴方向Dv的延长线接近。即，显示坐标X-Y上的平均消失点P2的位置被视为与该时刻的前置相机1的拍摄方向Dc对应的上述移动显示基准点P2的固定位置。这样在本实施方式中，作为生成适当的注意支援图像之前的准备作业，车辆V在多样的形状的行驶车线上行驶而检测充分多的车线消失点P1，基于这些车线消失点P1而计算具有可靠性的平均消失点P2。然后，获取该计算出的平均消失点P2作为与该时刻的前置相机1的拍摄方向Dc对应的显示坐标X-Y上的移动显示基准点P2。
图9是表示为了实现以上说明的动作方式，成像单元2的CPU11执行的控制内容的流程图。另外，在前置相机1以动画的方式拍摄前方图像的期间，例如以适当的时间间隔调用而执行该流程。
在图9中，首先，在步骤S5中，基于车速传感器14的检测信号，判定该车辆V是否以预定速度以上行驶。在该车辆V以预定速度以上行驶的情况下，满足判定，转移到步骤S10。
在步骤S10中，获取在该时刻前置相机1拍摄到的前方图像(静止图像帧)。
转移到步骤S15，判定在上一次设定前置相机1的拍摄方向Dc之后是否将与此对应的显示坐标X-Y上的平均消失点P2已经获取完毕。在还未能获取与该时刻的拍摄方向Dc对应的平均消失点P2的情况下，不能满足判定，转移到步骤S20。
在步骤S20中，判定是否从上一次的车线消失点P1的检测经过了预定时间。在没有经过预定时间的情况下，不能满足判定，返回到步骤S5而重复同样的过程。通过这样空出检测车线消失点P1的时间间隔，确保要检测的车线消失点P1的多样性，能够提高要检测的平均消失点P2的可靠性。
另一方面，在经过了预定时间的情况下，满足判定，转移到步骤S25。
在步骤S25中，在上述步骤S10中拍摄到的前方图像中，识别当前的行驶车线中的两条车线轮廓线Lr。
转移到步骤S30，基于在上述步骤S25中识别到的两条车线轮廓线Lr，检测在当前的行驶车线中的车线消失点P1。
转移到步骤S35，将在上述步骤S30中检测到的车线消失点P1以存储到存储介质12c的方式追加记录。
转移到步骤S40，判定在该时刻是否已经以能够检测可靠性高的平均消失点P2的充分的数目来检测、存储车线消失点P1。在直到该时刻为止检测数还不充分的情况下，不能满足判定，返回到步骤S5，重复同样的过程。
另一方面，在该时刻已经以能够检测可靠性高的平均消失点P2的充分的数目来检测、存储车线消失点P1的情况下，满足判定，转移到步骤S45。
在步骤S45中，读出在存储介质12c中记录的全部车线消失点P1。
转移到步骤S50，计算位于在上述步骤S45中读出的全部车线消失点P1的平均位置的平均消失点P2。并且，返回到步骤S5，重复同样的过程。
另一方面，在上述步骤S15的判定中，已经获取了与该时刻的拍摄方向Dc对应的平均消失点P2的情况下，满足判定，转移到步骤S55。
在步骤S55中，判定是否设定了注意对象物F。另外，注意对象物F也可以预先设定，或者由用户设定。此外，在有基于地图信息的注意对象物F的设定的情况下，也可以一并判定是否接近显示在前方图像上的程度的近的位置。在没有设定任何注意对象物F的情况下，或者尽管已基于地图信息设定但尚未接近到显示在前方图像的程度的情况下，不能满足判定，返回到步骤S5，重复同样的过程。
另一方面，在注意对象物F设定完毕且需要使注意支援图像显示在前方图像上的情况下，满足判定，转移到步骤S60。
在步骤S60中，在上述步骤S10中获取的前方图像中，通过图像识别而识别注意对象物F，将该显示区域的中心位置P3检测为该注意对象物F的存在位置。另外，该步骤S60的过程相当于在各权利要求中记载的生成单元以及生成步骤。
转移到步骤S65，生成在显示坐标X-Y上连接平均消失点P2至注意对象物F的中心位置P3的线段G1的图像作为注意支援图像。另外，该步骤S65的过程也相当于在各权利要求中记载的生成单元以及生成步骤。
转移到步骤S70，将在上述步骤S65中生成的注意支援图像的线段G1以重叠显示到前方图像上的方式输出到显示器3。并且，返回到步骤S5，重复同样的过程。另外，该步骤S70的过程相当于在各权利要求中记载的输出单元以及输出步骤。
如以上所说明，在上述实施方式的成像单元2中包括：步骤S60、S65的过程(相当于生成单元)，生成表示从行驶的车辆V(相当于移动体)拍摄到的前方图像的平均消失点P2(相当于消失点)或者位于其附近的移动显示基准点P2(相当于基准点)与所述前方图像中的预定的注意对象物F(相当于预定的特征物)的相对的位置关系的作为注意支援图像(相当于显示目标)的线段图像G1；以及步骤S70的过程(相当于输出单元)，输出包括通过所述步骤S60、S65的过程而生成的所述注意支援图像的前方图像。
此外，在上述实施方式的成像单元2执行的图像处理方法中执行：步骤S60、S65的过程(相当于生成步骤)，生成表示从行驶的车辆V(相当于移动体)拍摄到的前方图像的平均消失点P2(相当于消失点)或者位于其附近的移动显示基准点P2(相当于基准点)与所述前方图像中的预定的注意对象物F(相当于预定的特征物)的相对的位置关系的作为注意支援图像(相当于显示目标)的线段图像G1；以及输出步骤，输出包括通过所述步骤S60、S65的过程而生成的所述注意支援图像的前方图像。
这样，随着车辆V在该时刻向前进方向的移动，前方图像中的全部显示物从移动显示基准点P2或者其附近向该前方图像的外周侧移动显示。并且，表示移动显示基准点P2与注意对象物F的中心位置P3的相对的位置关系的注意支援图像G1成为概略性地表示该注意对象物F在前方图像中的移动方向的图像。因此，即使通过处理时间花费比较长的图像识别而检测到的注意对象物F的中心位置P3稍微偏离了最新的图像帧中的同一个注意对象物F的中心位置的情况下，用户也能够通过参照注意支援图像G1而直观地把握前方图像中的注意对象物F的位置。其结果，能够进行可适当地支援对于从车辆V拍摄到的图像中的预定的注意对象物F的注意的注意支援图像的重叠显示。
除了上述的结构之外，也可以进一步在步骤S65的过程中，在所述前方图像中，以将所述移动显示基准点P2为中心的大致辐射状的图形，生成所述注意支援图像G1。
这样，以大致辐射状的图形生成的注意支援图像G1与注意对象物F在前方图像中的移动轨迹基本重复。因此，在通过图像识别而检测到的注意对象物F的中心位置P3稍微偏离了前方图像的最新图像帧中的同一个注意对象物F的中心位置的情况下，由于注意对象物F位于注意支援图像G1的延长上，所以在视觉上容易进行该偏离的插补，用户能够自然且直观地把握注意对象物F。
除了上述的结构之外，还执行：步骤S25的过程，在所述前方图像中，识别位于所述车辆V行驶的行驶车线的左右两侧而形成该行驶车线的轮廓的两条车线轮廓线Lr；步骤S30的过程，检测所述两条车线轮廓线Lr各自的所述前进方向的延长线上的交点作为车线消失点P1；以及步骤S50的过程，计算位于过去在所述步骤S30的过程中检测到的多个所述车线消失点P1各自的平均位置的平均消失点P2，并将其设为在所述步骤S65的过程中使用的所述移动显示基准点P2。
若通过以上的方法来计算平均消失点P2，则即使是在前置相机1的拍摄方向Dc朝向任意的方向的状态下，也能够高精度地确定消失点并设为移动显示基准点P2。因此，如图6所示连接邮筒51的显示区域的中心位置P3和移动显示基准点P2的线段G1的朝向不变，邮筒51准确地位于注意支援图像的线段G1的延长上，所以能够最大地获得用户能够自然且直观地识别邮筒51的效果。
在上述的结构中，将从所述前方图像获得的平均消失点P2设为所述移动显示基准点P2，但也可以通过其他的方法来设定移动显示基准点P2。例如，也可以通过其他的方法来计算消失点，在前置相机1的拍摄方向Dc被基本准确地设置的情况下，也可以将前方图像的中心点设为移动显示基准点P2。无论在哪种方法中，只要能够将准确的消失点的附近设定为移动显示基准点P2，则连接邮筒51的显示区域的中心位置P3和移动显示基准点P2的线段G1的朝向基本不变，邮筒51位于注意支援图像的线段G1的延长上，所以能够获得用户能够自然且直观地识别邮筒51的效果。
除了上述的结构之外，所述前方图像中的所述预定的注意对象物F是地上物或者行人。
这样，由于地上物相对于地面静止、此外行人相比于该车辆V的速度以充分低的速度移动，所以他们与该车辆V之间的相对速度能够视为基本与该车辆V的车辆速度相等。由此，最新的图像帧中的同一个注意对象物F的中心位置不会大幅偏离注意支援图像G1表示的这些注意对象物F在前方图像中的移动方向。其结果，能够确保用于直观地把握前方图像中的注意对象物F的位置的注意支援图像G1的可靠性。
除了上述的结构之外，步骤S65的过程也可以以包括位于以所述平均消失点P2为始点并通过注意对象物F的中心位置P3的半直线上的线段的方式，生成所述注意支援图像。
这样，作为注意支援图像而生成的线段图像G1与注意对象物F在前方图像中的过去的移动轨迹上或者将来的移动轨迹上基本重叠一致。因此，即使在通过图像识别而检测到的注意对象物F的中心位置P3稍微偏离了前方图像的最新图像帧中的同一个注意对象物F的中心位置的情况下，注意支援图像的线段图像G1与最新图像帧中的注意对象物F重复的可能性也很高。此外，即使在不重复的情况下，由于注意对象物F位于线段图像的延长上，所以在视觉上容易进行该偏离的插补，用户能够自然且直观地把握注意对象物F。此外，由于以线段图像G1来支援注意，所以能够在比较窄的范围中明确地确定并表示要注意的方向、区域。
此外，作为比较现有例的注意支援图像，在上述图5所示的框形状记号61中，前方图像的图像帧切换，注意对象物F在显示坐标X-Y上移动显示，从而随之需要以追随该注意对象物F的方式改变位置而再描绘该框形状记号61的整体。但是，在上述实施方式中，如图6所示那样以连接移动显示基准点P2和注意对象物F的中心位置P3的线段图像G1来生成、显示注意支援图像的情况下，即使注意对象物F在显示坐标X-Y上移动，也只要配合该移动而以延长线段图像G1的辐射方向的前端部分的方式追加描绘即可。此时，除了由于不需要再描绘线段图像G1的整体而能够减轻描绘处理的负担之外，由于只要能够以适当的长度来延长前端部分就不需要重复基于图像识别的注意对象物F的中心位置P3的检测，所以注意支援图像G1的生成处理的负担也能够大幅减轻，能够将整体的处理高速化。
除了上述的结构之外，也可以进一步具有：搭载于所述车辆V上且以能够在所述步骤S60、S65的过程中利用的方式提供拍摄到的所述前方图像的前置相机1(相当于摄像单元)；以及显示包括在所述步骤S70的过程中输出的所述注意支援图像G1的所述前方图像的显示器3(相当于显示单元)。
这样，能够将前方图像的拍摄直到重叠了注意支援图像G1的前方图像的显示，由驾驶支援装置S一体地单独进行。
除了上述的结构之外，所述步骤S60、S65的过程也可以进一步将在所述前方图像中存在的显示物中用户任意地指定的显示物设定为所述注意对象物F。
这样，由于能够将用户在前方图像上通过在显示器3中设置的触摸面板(未特别图示)上的直接接触或通过光标等指标而直接指定的显示物设定为注意对象物，所以能够进行注意对象物F的实时的设定，便利性提高。
另外，在上述实施方式中，上述图6所示那样利用连接移动显示基准点P2至注意对象物F的显示区域的中心位置P3的线段图像G1来生成、显示了注意支援图像，但本发明并不限定于此。例如，如图10所示，也可以利用以移动显示基准点P2为始点并通过注意对象物F(图示的例的邮筒51)的显示区域的中心位置P3的半直线的图像G2来生成、显示注意支援图像。此时，注意支援图像的半直线图像G2结果也成为以移动显示基准点P2为中心的大致辐射状的图形，进一步，该半直线图像G2的整体表示注意对象物F的过去以及将来的移动轨迹整体而必定与注意对象物F的显示区域重复。因此，能够比在上述实施方式中的线段图像G1更可靠地促使用户注意注意对象物F。
此外，也可以生成、显示为在上述半直线图像G2中从移动显示基准点P2至注意对象物F的中心位置P3的区间与从该中心位置P3至外周侧的区间中使显示方式不同。例如，如图11中的半直线图像G2A所示，也可以在从移动显示基准点P2至注意对象物F的中心位置P3的区间中以实线的方式显示，在从中心位置P3至外周侧的区间中以虚线的方式显示。这样，能够在注意支援图像G2A的整体中表示注意对象物F的过去以及将来的移动轨迹整体，且在该移动轨迹整体中表示注意对象物F在该时刻大致位于哪个位置。因此，能够比上述的单纯的半直线图像G2更可靠地促使用户注意注意对象物F。
此外，在以线段图像来生成注意支援图像的情况下，也可以例如图12所示，以比注意对象物F的显示区域的大小稍微长的程度的长度的线段图像G3来以与注意对象物F的中心位置P3重复的方式生成、显示。此时，线段图像G3简单地表示注意对象物F的移动方向的同时，能够使得尤其注意其中心位置P3。此外，通过在该线段图像G3的外周侧追加箭头的头部，能够使得线段图像G3整体看上去像注意对象物F的移动矢量，能够进行与前方图像中的注意对象物F的移动对应的表现。
此外，以上，以包括位于以移动显示基准点P2为始点并通过注意对象物F的显示区域的中心位置P3的半直线上的线段的方式，生成、显示了注意支援图像，但本发明并不限定于此。也可以例如图13所示，以包括分别以移动显示基准点P2为始点并包络注意对象物F的显示区域的两条线段G4的图像来生成、显示注意支援图像。此时，两条线段图像G4结果成为以移动显示基准点P2为中心的大致辐射状的图形，进一步，这两条线段图像G4之间的区域的整体表示还反映了注意对象物F的显示区域的过去以及将来的远近的比例尺的通过范围整体而必定与注意对象物F的显示区域重复。因此，能够比在上述实施方式中的线段图像G1更可靠地促使用户把握注意对象物F的存在范围。
此外，也可以以在上述两条线段图像G4和其之间的区域中在从移动显示基准点P2至注意对象物F的中心位置P3的区间与从该中心位置P3至外周侧的区间中使显示方式不同的方式来进行生成、显示。也可以例如图14中的G4A所示，在两条线段图像G4之间的区域中，在从移动显示基准点P2至注意对象物F的中心位置P3的区间与从中心位置P3至外周侧的区间中改变颜色(或者浓度)而以半透色的涂色处理来显示。这样，能够在注意支援图像G4A的整体中表示还反映了注意对象物F的显示区域的过去以及将来的远近的比例尺的通过范围整体，且在该通过范围整体中表示注意对象物F在该时刻大致位于哪个位置。因此，能够比上述的单纯的两条线段图像G4更可靠地促使用户注意注意对象物F。
此外，以上生成、显示了固定地配置在以移动显示基准点P2为中心成为辐射状的位置的注意支援图像，但本发明并不限定于此。也可以例如图15所示，以包括在以移动显示基准点P2为始点并通过注意对象物F的显示区域的中心位置P3的半直线上从移动显示基准点P2沿着辐射方向移动的移动目标G5的图像来生成、显示注意支援图像。在图15所示的例中，在连接移动显示基准点P2和注意对象物F的中心位置P3的线段(参照图中的点线)上，以沿着从移动显示基准点P2朝向注意对象物F的中心位置P3的方向动态地移动的流星的方式的移动目标G5来生成、显示注意支援图像。该例所示的流星的移动目标G5由前端和尾幡状云来表现移动方向，以比前方图像中的注意对象物F的移动快的速度来移动显示流星。此时，能够以动态的动画来表现注意对象物F的移动轨迹和移动方向。另外，连接移动显示基准点P2和注意对象物F的中心位置P3的线段(参照图中的点线)可以显示，也可以省略显示。此外，流星的移动目标G5可以在注意对象物F的中心位置P3停止，也可以这样超过注意对象物F而移动至前方图像的外周侧。
此外，作为以往比较例的注意支援图像，也可以使上述图5所示的圆形的框形状记号61如图16所示那样沿着以移动显示基准点P2为始点并通过注意对象物F的显示区域的中心位置P3的半直线(参照图中的虚线)扁平地生成、显示注意支援图像G6。此时，椭圆形的注意支援图像G6结果成为以移动显示基准点P2为中心的大致辐射状的图形，该椭圆形图像G6的整体概略地表示注意对象物F的过去以及将来的移动轨迹整体而必定与注意对象物F的显示区域重复。因此，能够比在上述实施方式中的线段图像G1更可靠地使用户把握注意对象物F的存在范围。
以上，以通过几何学方式表示在一个静止图像的图像帧中检测到的注意对象物F的中心位置P3与在显示坐标X-Y上固定地获取到的移动显示基准点P2之间的相对的位置关系的图形来生成、显示了注意支援图像，但本发明并不限定于此。例如，也可以以包括连接在动画形式的前方图像中按时间序列拍摄到的多个图像帧中对同一个注意对象物F在过去的图像帧和最新的图像帧中分别检测到的两个中心位置P3的线段的方式，生成、显示注意支援图像。此时，例如图17所示的线段图像G7成为注意支援图像，且该线段图像G7结果也成为以移动显示基准点P2为中心的大致辐射状的图形，且通过几何学方式表示移动显示基准点P2(图17中省略图示)与注意对象物F的中心位置P3之间的相对的位置关系(另外，图中的中心位置P4是在过去的图像帧中检测到的中心位置)。因此，通过该线段图像G7也能够简略地表示注意对象物F的移动方向，且能够使得尤其注意其中心位置P3。此外，由于在生成该线段图像G7时不需要移动显示基准点P2的设定，所以作为在还没有获得充分的车线消失点P1时显示的注意支援图像而有用。
此外，也可以例如图18所示，将如上述的以移动显示基准点P2为中心的大致辐射状的图形的注意支援图像(图示的例中为线段图像G1)和作为现有比较例的注意支援图像的上述图5所示的框形状记号61进行组合而显示。在前方图像的图像帧的摄像周期足够长或者成像单元2的CPU11的处理速度足够快的情况下，如图所示那样，注意支援图像G1、61都能够以准确地配置来生成、显示，通过这些组合，能够最明确地促使用户注意注意对象物F。
此外，在本实施方式的驾驶支援装置S中，也可以将重叠了注意支援图像G1～G7的前方图像直接记录在存储介质12c等中，应用于之后进行重放的驱动记录器。或者，也可以在存储介质12c中只记录前方图像，在之后的重放时或编辑时等才生成注意支援图像G1～G7并使其重叠而显示或者进一步记录其重叠图像。
另外，本发明并不限定于上述实施方式，在不脱离其要旨以及技术思想的范围内能够进行各种变形。
(1)第1变形例：在将前方图像存储在外部的数据库中的情况下
在上述实施方式中，驾驶支援装置S是利用自己拍摄到的前方图像，自己进行图像识别处理或注意支援图像的生成、显示或者使在内部具有的存储介质12c记录该前方图像的所谓的独立方式，但本发明并不限定于此。例如图19所示，驾驶支援装置S2也可以是所谓的服务器型，具有无线通信装置21(相当于通信单元)和天线22，通过经由与中继站23(相当于接收单元、发送单元)的无线通信的通信网络对外部的数据中心24所具有的数据库服务器25(相当于图像处理服务器)发送前方图像，使该数据库服务器25进行前方图像的图像识别、注意支援图像的生成、以及它们的记录。并且，也可以将重叠了注意支援图像的前方图像从数据库服务器25发回驾驶支援装置S2，使其显示器3显示。或者，也可以只将注意支援图像从数据库服务器25发回驾驶支援装置S2，驾驶支援装置S2将注意支援图像重叠在前方图像上，并使其显示器3显示。
由此，即使在驾驶支援装置S2的存储介质12c侧误删除了过去的前方图像的情况下，也能够将使数据中心24的数据库服务器25记录的前方图像和注意支援图像作为备份而利用。
(2)第2变形例：在利用电子便携终端来构成的情况下
在上述实施方式以及上述第1变形例中，搭载于车辆V上的设备结构都只是驾驶支援装置S、S2，但本发明并不限定于此。近年来，在销售的智能手机、电子书终端等电子便携终端31上配备相机、显示器或者GPS的模型较多，有时将其可装卸地安装到例如与上述车速传感器14连接的支架32上而搭载于车辆V上(参照图20)。并且，通过使该电子便携终端31拍摄前方图像，使同一个电子便携终端31具有的CPU进行预定的图像识别处理、注意支援图像的生成，而能够作为图像处理装置发挥作用。在这样的结构的图像处理装置中，也能够进行在上述实施方式中例示的注意支援图像的生成、显示。
此时，电子便携终端31相当于在各权利要求中记载的图像处理装置，在该电子便携终端31中配备的相机相当于摄像单元，在该电子便携终端31的CPU处理的控制过程中生成注意支援图像的过程相当于生成单元，输出包括注意支援图像的前方图像的过程相当于输出单元，在电子便携终端31中配备的显示器相当于显示单元。
此外，虽然没有特别图示，但在利用了电子便携终端31的结构中也能够设为上述的服务器型。此时，在电子便携终端31中具有通信单元，数据中心24的数据库服务器25相当于进行前方图像的识别、注意支援图像的生成、以及记录它们的图像处理服务器。
另外，在以上说明的实施方式、第1变形例以及第2变形例中，需要的基本的硬件构成元素以及软件处理内容都相同，只是构成设备之间的它们的分担不同。图24和图25表示这些分担的主要例。
首先，图24表示各构成设备之间的硬件构成元素的分担的组合例。该图24的硬件构成元素中的存储部相当于记录重叠了注意支援图像的前方图像的存储介质12c或数据库服务器25，通信部相当于上述无线通信装置21。此外，也可以在构成设备中的车载装置(驾驶支援装置、支架)中配备车速传感器，也可以在数据中心中配备存储部。此外，GPS可以配备在车载装置或者便携终端的任一个中，但不能配备在数据中心。此外，在服务器型的情况下，必须在便携终端和车载装置中的任一个和数据中心中分别配备通信部。
除了图示的分担例以外，相机和显示器分别只要由便携终端和车载装置中的任一个配备即可，存储部只要由便携终端、车载装置以及数据中心中的任一个配备即可。另外，各硬件构成元素只要分别在能够配备的任一个构成设备中各具有一个即可，但例如也可以设为在便携终端和车载装置的双方重复具有显示器的结构。此外，在便携终端利用方式中，在车载装置具有相机、显示器、GPS、存储部以及通信部中的任一个并将其利用的情况下，便携终端和车载装置需要以能够经由连接器或近距离无线通信等而收发信息信号的方式安装。此外，在硬件构成元素中相机、显示器以及通信部(服务器型的情况下)必须分别配备在构成设备中的任一个对应的构成设备中，但其他的GPS、存储部以及车速传感器的配备是任意的。
接着，图25表示各构成设备之间的软件处理内容的分担的组合例。作为该图25所示的软件处理内容是以下四个处理：计算平均消失点P2(移动显示基准点P2)的计算处理；检测前方图像中的注意对象物F的中心位置P3的检测处理；生成注意支援图像的生成处理；以及记录重叠了注意支援图像的前方图像的记录处理。在这些软件处理内容中检测处理以及生成处理必须分别在构成设备中的任一个进行处理，但其他的计算处理以及存储处理的处理是任意的。关于该软件处理内容的分担，只要由具有充分的处理能力的CPU搭载于各构成设备上能够相互收发信息，则基本上哪个处理内容也都能够使任意的构成设备进行分担处理。图示的分担例只是主要的例子，除此之外，可以有多样的组合。
(3)第3变形例：在将注意支援图像显示在平视显示器的情况下
在上述实施方式中，将对由前置相机1拍摄到的前方图像重叠显示了注意支援图像的合成图像显示在单独的显示器上，但本发明并不限定于此。例如，也可以具有平视显示器，其以与经由车辆V的窗玻璃的驾驶者的视野一致的方式配置显示坐标X-Y，在该窗玻璃上或者其跟前位置显示注意支援图像。
图21是与上述实施方式的图2对应地表示本变形例的驾驶支援装置S4的硬件结构例的框图。在该图21中，本变形例的驾驶支援装置S4具有平视显示器投影机4以及组合器5来代替显示器3，除此之外的硬件结构与上述实施方式相等。但是，从图形控制器15输出仅由注意支援图像的图像数据构成的图像信号而不包括前方图像。
与上述实施方式的图3对应的图22是表示从车辆V的车内看的车窗风景以及对应于此的平视显示器的显示的一例的图。在该图22所示的例中，在位于图中的右侧的驾驶席的上方，平视显示器投影机4固定在车顶上。此外，在前玻璃104的前面侧，以覆盖平视显示器投影机4的投影范围的方式设置有组合器5。该平视显示器投影机4和组合器5相当于平视显示器，基于从上述图形控制器15输出的图像信号，在适当地具有作为半透反射镜的功能的组合器5的前面投影显示注意支援图像(在图示的例中为线段图像G1)的影像。
图23是从侧方看上述平视显示器在前玻璃104的前面侧进行投影显示的方式的示意图。平视显示器投影机4在具有作为半透反射镜的功能的组合器5上设定显示坐标X-Y并投影显示该注意支援图像G1～G7的影像。这里，通过将上述显示坐标X-Y设定为与经由车辆V的前玻璃104的驾驶者的视野一致的配置，驾驶者在经由前玻璃104的前方视野中，能够看到通过几何学方式表示移动显示基准点P2与注意对象物F的存在位置的相对的位置关系的注意支援图像G1～G7。
此时，为了实现显示坐标X-Y上的注意支援图像G1～G7的配置与驾驶者的前方视野中的配置的匹配，需要根据驾驶者的坐高的高度(眼球的高度位置)与前置相机1的拍摄方向Dc的偏差，适当地调整平视显示器投影机4的显示坐标X-Y的配置。
如以上所说明，在上述第3变形例的驾驶支援装置S4中具有：前置相机1，搭载于行驶的车辆V上，获取所述车辆V的前方图像；步骤S60、S65的过程，生成表示所述前方图像中的平均消失点P2或者位于其附近的移动显示基准点P2与预定的注意对象物F的相对的位置关系的注意支援图像；步骤S70的过程，输出通过所述步骤S60、S65的过程而生成的所述注意支援图像；以及平视显示器投影机4以及组合器5(相当于平视显示器)，在驾驶者的驾驶时的视野内放映出在所述步骤S70的过程中输出的所述注意支援图像。
这样，由于能够投影显示位置被匹配为驾驶者经由前玻璃104看到的前方视野本身的注意支援图像G1～G7的影像，所以驾驶者不大幅移动视线就能够看到注意支援图像G1～G7，能够集中驾驶。
另外，在上述第3变形例中，通过从平视显示器投影机4对设置在前玻璃104的前面侧的组合器5投影显示注意支援图像G1～G7的影像而构成平视显示器，但本发明并不限定于此。除此之外，也可以设为在前玻璃自身设置例如透过型的液晶面板等，通过其自发光来显示注意支援图像等的结构。
此外，除了以上已经叙述之外，也可以适当组合上述实施方式、各变形例的方法来进行利用。
符号说明
1   前置相机(相当于摄像单元)
2   成像单元(相当于图像处理装置)
3   显示器(相当于显示装置)
11  CPU
12  存储部
13  GPS
14  车速传感器
15  图形控制器
21  无线通信装置(相当于通信单元)
22  中继站(相当于接收单元、发送单元)
24  数据中心
25  数据库服务器(相当于图像处理服务器)
31  电子便携终端(相当于便携终端装置)
32  支架
51  邮筒
61  框形状记号
Dc  拍摄方向
Dv  车辆轴方向
F   注意对象物(相当于预定的特征物)
G1～G7 注意支援图像(相当于显示目标)
Lr  车线轮廓线
P1  车线消失点
P2  平均消失点、移动显示基准点(相当于基准点)
P3  注意对象物的显示区域的中心位置
S，S2，S3，S4 驾驶支援装置
V  车辆

Claims (16)

1.一种图像处理装置，其特征在于，包括：
生成单元，以从行驶的移动体拍摄到的前方图像的消失点或者该消失点附近的点为基准点，生成表示所述基准点与所述前方图像中的预定的特征物的相对的位置关系的显示目标；以及
输出单元，输出包括由所述生成单元生成的所述显示目标的前方图像。
2.如权利要求1所述的图像处理装置，其特征在于，
所述生成单元在所述前方图像中利用以所述基准点为中心的大致辐射状的图形生成所述显示目标。
3.如权利要求1或2所述的图像处理装置，其特征在于，
所述前方图像中的所述预定的特征物是地上物或者行人。
4.如权利要求1至3的任一项所述的图像处理装置，其特征在于，
所述生成单元以包括位于以所述基准点为始点并通过所述预定的特征物的半直线上的线段的方式生成所述显示目标。
5.如权利要求1至3的任一项所述的图像处理装置，其特征在于，
所述生成单元以包括分别以所述基准点为始点并包络所述预定的特征物的显示区域的两条线段的方式生成所述显示目标。
6.如权利要求1至5的任一项所述的图像处理装置，其特征在于，
所述生成单元以包括在以所述基准点为始点并通过所述预定的特征物的半直线上从所述基准点沿着辐射方向移动的移动目标的方式生成所述显示目标。
7.如权利要求1至6的任一项所述的图像处理装置，其特征在于，
所述生成单元以在从所述基准点至所述预定的特征物为止的区间与从该预定的特征物至外周侧的区间中使所述显示目标的显示方式不同的方式生成。
8.如权利要求1至6的任一项所述的图像处理装置，其特征在于，
所述前方图像是作为动画形式按时间序列拍摄到的多个图像帧，
所述生成单元以包括将所述检测单元对同一个所述预定的特征物在过去的图像帧和最新的图像帧中分别检测到的两个所述预定的特征物的位置进行连接的线段的方式生成所述显示目标。
9.如权利要求1至8的任一项所述的图像处理装置，其特征在于，还包括：
摄像单元，搭载于所述移动体上，将拍摄到的所述前方图像提供给所述生成单元；以及
显示单元，对所述输出单元输出的包括所述显示目标的前方图像进行显示。
10.一种图像处理装置，其特征在于，包括：
摄像单元，搭载于行驶的移动体上，获取所述移动体的前方图像；
生成单元，以所述前方图像中的消失点或者该消失点附近的点为基准点，生成表示所述基准点与预定的特征物的相对的位置关系的显示目标；
输出单元，输出由所述生成单元生成的所述显示目标；以及
平视显示器，在驾驶者驾驶时的视野内放映出所述输出单元输出的所述显示目标。
11.如权利要求1至10的任一项所述的图像处理装置，其特征在于，
所述生成单元能够将在所述前方图像中存在的特征物中用户任意地指定的特征物设定为所述预定的特征物。
12.一种图像处理服务器，其特征在于，包括：
接收单元，从外部的图像处理装置接收从行驶的移动体拍摄到的前方图像；
生成单元，以所述前方图像中的消失点或者该消失点附近的点为基准点，生成表示所述基准点与预定的特征物的相对的位置关系的显示目标；以及
发送单元，将由所述生成单元生成的所述显示目标发送到所述外部的图像处理装置。
13.一种图像处理装置，其特征在于，包括：
摄像单元，搭载于行驶的移动体上，拍摄前方图像；
通信单元，与权利要求12所述的图像处理服务器进行所述前方图像的收发；以及
显示单元，对包括所述通信单元从所述图像处理服务器接收到的所述显示目标的前方图像进行显示。
14.一种图像处理装置执行的图像处理方法，其特征在于，执行如下步骤：
生成步骤，以从行驶的移动体拍摄到的前方图像的消失点或者该消失点附近的点为基准点，生成表示所述基准点与所述前方图像中的预定的特征物的相对的位置关系的显示目标；以及
输出步骤，输出包括由所述生成单元生成的所述显示目标的前方图像。
15.一种图像处理程序，其特征在于，
使图像处理装置执行权利要求14所述的图像处理方法。
16.一种记录介质，其特征在于，
以能够由所述图像处理装置读取的方式存储有权利要求15所述的图像处理程序。
CN201280067356.6A 2012-01-17 2012-01-17 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质 Active CN104081763B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/050873 WO2013108371A1 (ja) 2012-01-17 2012-01-17 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
CN104081763A true CN104081763A (zh) 2014-10-01
CN104081763B CN104081763B (zh) 2018-09-14

Family

ID=48798821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280067356.6A Active CN104081763B (zh) 2012-01-17 2012-01-17 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质

Country Status (3)

Country Link
JP (1) JP5893054B2 (zh)
CN (1) CN104081763B (zh)
WO (1) WO2013108371A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016329A (zh) * 2015-11-20 2017-08-04 松下电器（美国）知识产权公司 图像处理方法
CN107923761A (zh) * 2015-08-20 2018-04-17 三菱电机株式会社 显示控制装置、显示装置及显示控制方法
CN108885845A (zh) * 2016-03-24 2018-11-23 三菱电机株式会社 辅助图像显示装置、辅助图像显示方法和辅助图像显示程序
CN109155839A (zh) * 2016-03-30 2019-01-04 马自达汽车株式会社 电子镜控制装置
US10279741B2 (en) 2013-10-10 2019-05-07 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, method, recording medium, and vehicle
CN110091798A (zh) * 2014-12-01 2019-08-06 星克跃尔株式会社 电子装置、电子装置的控制方法以及计算机可读存储介质
CN112119282A (zh) * 2018-03-23 2020-12-22 索尼公司 信息处理装置、移动装置、方法和程序

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021148A (ja) * 2015-07-09 2017-01-26 ホシデン株式会社 投射型表示装置及び該投射型表示装置を用いた車載用ヘッドアップディスプレイ
JP6611315B2 (ja) * 2015-09-11 2019-11-27 矢崎エナジーシステム株式会社 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
JP2017074871A (ja) * 2015-10-15 2017-04-20 日立建機株式会社 車両周囲障害物検出装置
JP6665521B2 (ja) * 2015-12-18 2020-03-13 株式会社リコー 情報処理装置、情報処理システム、および情報処理プログラム
JP6655997B2 (ja) * 2016-01-25 2020-03-04 パイオニア株式会社 映像制御装置
JP6617610B2 (ja) * 2016-03-02 2019-12-11 トヨタ自動車株式会社 車両用表示装置
JP6661082B2 (ja) * 2016-03-30 2020-03-11 株式会社エクォス・リサーチ 画像認識装置、及び画像認識プログラム
JP6720729B2 (ja) * 2016-06-28 2020-07-08 アイシン精機株式会社 表示制御装置
JP6809959B2 (ja) * 2017-03-29 2021-01-06 株式会社ゼンリンデータコム 移動体情報提供サービスシステム、移動体情報提供サービスサーバー装置、移動体窓用装置及び移動体情報提供サービス方法
JP2018169667A (ja) * 2017-03-29 2018-11-01 株式会社デンソー 運転情報記録システム、運転情報記録方法、及びプログラム
JP7266257B2 (ja) * 2017-06-30 2023-04-28 パナソニックＩｐマネジメント株式会社 表示システム、及び表示システムの制御方法
KR102300836B1 (ko) * 2017-09-12 2021-09-13 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP2020106946A (ja) * 2018-12-26 2020-07-09 マクセル株式会社 車両運行記録システム、車載運転情報記録処理システム、および、ヘッドアップディスプレイ装置
JP7276280B2 (ja) * 2020-08-18 2023-05-18 トヨタ自動車株式会社 車両用画像記録装置及び車両用画像記録方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106703A (zh) * 2006-07-12 2008-01-16 爱信艾达株式会社 驾驶支援方法以及驾驶支援装置
JP2008009843A (ja) * 2006-06-30 2008-01-17 Honda Motor Co Ltd 障害物判別装置
CN101207802A (zh) * 2006-12-20 2008-06-25 爱信艾达株式会社 驾驶支援方法和驾驶支援装置
CN101252679A (zh) * 2007-02-23 2008-08-27 爱信艾达株式会社 驾驶辅助方法及驾驶辅助装置
JP2009237773A (ja) * 2008-03-26 2009-10-15 Toyota Motor Corp 画像処理装置および画像処理プログラム
WO2011111701A1 (ja) * 2010-03-10 2011-09-15 クラリオン株式会社 車両用周囲監視装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5208147B2 (ja) * 2010-03-09 2013-06-12 三菱電機株式会社 車載カメラのカメラキャリブレーション装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009843A (ja) * 2006-06-30 2008-01-17 Honda Motor Co Ltd 障害物判別装置
CN101106703A (zh) * 2006-07-12 2008-01-16 爱信艾达株式会社 驾驶支援方法以及驾驶支援装置
CN101207802A (zh) * 2006-12-20 2008-06-25 爱信艾达株式会社 驾驶支援方法和驾驶支援装置
CN101252679A (zh) * 2007-02-23 2008-08-27 爱信艾达株式会社 驾驶辅助方法及驾驶辅助装置
JP2009237773A (ja) * 2008-03-26 2009-10-15 Toyota Motor Corp 画像処理装置および画像処理プログラム
WO2011111701A1 (ja) * 2010-03-10 2011-09-15 クラリオン株式会社 車両用周囲監視装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10279741B2 (en) 2013-10-10 2019-05-07 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, method, recording medium, and vehicle
CN110091798A (zh) * 2014-12-01 2019-08-06 星克跃尔株式会社 电子装置、电子装置的控制方法以及计算机可读存储介质
CN107923761A (zh) * 2015-08-20 2018-04-17 三菱电机株式会社 显示控制装置、显示装置及显示控制方法
CN107923761B (zh) * 2015-08-20 2021-04-16 三菱电机株式会社 显示控制装置、显示装置及显示控制方法
CN107016329A (zh) * 2015-11-20 2017-08-04 松下电器（美国）知识产权公司 图像处理方法
CN107016329B (zh) * 2015-11-20 2021-12-21 松下电器（美国）知识产权公司 图像处理方法
CN108885845A (zh) * 2016-03-24 2018-11-23 三菱电机株式会社 辅助图像显示装置、辅助图像显示方法和辅助图像显示程序
CN108885845B (zh) * 2016-03-24 2021-02-26 三菱电机株式会社 辅助图像显示装置、辅助图像显示方法和计算机可读的记录介质
CN109155839A (zh) * 2016-03-30 2019-01-04 马自达汽车株式会社 电子镜控制装置
CN112119282A (zh) * 2018-03-23 2020-12-22 索尼公司 信息处理装置、移动装置、方法和程序

Also Published As

Publication number Publication date
WO2013108371A1 (ja) 2013-07-25
JPWO2013108371A1 (ja) 2015-05-11
CN104081763B (zh) 2018-09-14
JP5893054B2 (ja) 2016-03-23

Similar Documents

Publication Publication Date Title
CN104081763A (zh) 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
US11710322B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
CN105448184B (zh) 地图道路的绘制方法及装置
CN108917758B (zh) 一种基于ar的导航方法及系统
CN111046762A (zh) 一种对象定位方法、装置电子设备及存储介质
WO2015071923A1 (ja) 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム
CN101122464A (zh) 一种gps导航系统中道路显示方法、装置及设备
JP2016000598A (ja) 線路空間支障物検知システム
US10104286B1 (en) Motion de-blurring for panoramic frames
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
CN109931889B (zh) 基于图像识别技术的偏差检测系统及方法
JP2013234946A (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
CN110609721B (zh) 信息显示方法及其显示系统
JP5262232B2 (ja) 画像上方位表示方法及び装置並びに写真
JP7232604B2 (ja) ナビゲーションシステム、ナビゲーション表示方法、およびナビゲーション表示プログラム
CN208638479U (zh) 全景图像采集装置及移动机器人
CN107848460A (zh) 用于车辆的系统、方法和设备以及计算机可读介质
CN106445208B (zh) 一种基于串口的标注图形跟随显示的方法
JP3211823U (ja) 屋内地図構築装置
CN112400122A (zh) 定位目标对象的系统和方法
WO2013030932A1 (ja) ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法
JPWO2013030932A1 (ja) ナビゲーション装置、画像表示制御装置、サーバ、調整装置、及び前方画像表示制御方法
CN112985372B (zh) 路径规划系统及其方法
JP2018128381A (ja) 位置座標変換システム、マーカー作成装置、路側撮像装置及び位置座標変換方法
JP2021051717A (ja) 情報出力及びカメラキャリブレーションのための方法並びに装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant