CN103477634A - 俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序 - Google Patents

俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序 Download PDF

Info

Publication number
CN103477634A
CN103477634A CN2012800167884A CN201280016788A CN103477634A CN 103477634 A CN103477634 A CN 103477634A CN 2012800167884 A CN2012800167884 A CN 2012800167884A CN 201280016788 A CN201280016788 A CN 201280016788A CN 103477634 A CN103477634 A CN 103477634A
Authority
CN
China
Prior art keywords
eye view
view image
image
seam
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800167884A
Other languages
English (en)
Other versions
CN103477634B (zh
Inventor
高桥幸司
一瀬忠夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103477634A publication Critical patent/CN103477634A/zh
Application granted granted Critical
Publication of CN103477634B publication Critical patent/CN103477634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

俯瞰图像生成装置包括：摄像图像获取单元；图像变换单元；俯瞰图像合成单元；以及接缝设定单元。接缝设定单元在与摄像范围重复的两个摄像装置对应的两个俯瞰图像中，在重复的摄像范围内，将俯瞰图像中包含的相当于车辆的车辆图像周边的任意的位置设为端点，在从两个摄像装置向端点的两个辐射方向之间，将从端点在与车辆图像相反侧的任意方向上延长的线，作为连接所合成的两个俯瞰图像间的接缝来设定。

Description

俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序
技术领域
本发明涉及将从多个摄像装置获取的摄像图像进行变换处理，并输出到显示装置的俯瞰图像生成装置、俯瞰图像生成方法、以及俯瞰图像生成程序。特别涉及消除在合成显示俯瞰图像时产生的接缝(seam)附近的被摄体的不自然的映入的俯瞰图像合成技术。 
背景技术
近年来，为了提高道路交通的安全性，装载摄像机(摄像装置)的车越来越多，以使驾驶员用在车内设置的车载监视器能够确认前方、后方、以及左右的死角。而且，提出了使用在车中装载的摄像机的驾驶辅助系统。 
在这种驾驶辅助系统中，进行将车辆的前方、后方、及左右分别用摄像机拍摄的视频，变换为从车辆上方垂直向下观察的图像(以下，也称为俯瞰图像)的视点变换处理。而且，将这些俯瞰图像(birds-eye-view image)进行合成，生成好像从车辆的正上方俯视周围的俯瞰图像。由此，驾驶员可以在1画面上连续地目视确认车辆周围。 
在通过将多个俯瞰图像彼此合成生成的合成俯瞰图像上，有时立体障碍物在图像接缝附近看不到。为了改善这种情况，考虑将2个俯瞰图像在接缝附近重合显示，但该情况下，有时双重看到1个立体障碍物。此外，还考虑了在接缝附近不重合显示2个俯瞰图像的情况，在该情况下，有时立体障碍物跨越接缝而间断不连续地看到。于是，即使实施上述改善对策，有时驾驶员也难以识别障碍物。 
对于这样的俯瞰图像的接缝附近的立体障碍物的视觉识别性下降，已知以下的技术。例如，已知在通过障碍物检测装置在接缝附近检测出立体障碍物的情况下，除了对路面水平(1evel)(第1基准高度)实施显示区域截取处理，还对于单个或多个不同的有限的基准高度实施显示区域截取处理，切换显示得到的多个俯瞰图像(例如，参照专利文献1)。此外，已知用车辆 上装载的声波定位仪判断在与合成俯瞰图像的接缝部分对应的区域中是否存在障碍物，在该区域中存在障碍物的情况下，使成为合成俯瞰图像的接缝部分的位置改变(例如，参照专利文献2)。 
现有技术文献 
专利文献 
专利文献1：日本特开2010-200240号公报 
专利文献2：日本特开2007-41791号公报 
发明内容
发明要解决的问题 
但是，在专利文献1的技术中，例如，如图19(A)所示，将从第1基准高度101得到的图19(C)的俯瞰图像和图19(B)那样从第2基准高度102得到的图19(D)的俯瞰图像切换显示。从映入在变换显示了该图19(A)、(B)的被摄体103的图19(C)、(D)的俯瞰图像中的各个被摄体104、105可知，对每次切换显示，可看到被摄体的映入位置相对于本车辆图像产生横移动、纵移动、斜移动等。即，被摄体和本车辆图像之间的位置关系、或相邻的俯瞰图像间的基准高度上的(基准高度中的)位置关系，对每次切换显示改变。 
由于该作用，深度考虑视觉识别合成俯瞰图像的驾驶员误识别相对本车辆的被摄体的位置，对驾驶造成的麻烦。连接本车辆和本车辆连接的地面之间的位置关系、相邻的俯瞰图像间的基准高度上的位置关系改变的情况，对于车辆终究不是本意。 
此外，在专利文献2的技术中，因障碍物的存在而使成为接缝部分的位置改变，但对于该位置没有特别地限制。因此，距基准高度具有高度的(距基准高度具有规定的高度)被摄体映入到接缝附近时，有可能间断不连续。那样的现象可使驾驶员感到极大的不舒服。有关这一点，使用附图说明。 
首先，说明俯瞰图像的特征。图20表示摄像装置201和地面202上设置的长方体203之间的位置关系。在从距地面具有某个高度的位置能够拍摄地面附近的状态下存在摄像装置201。 
在图21中，表示拍摄了图20的长方体203的摄像装置获取的摄像图像301。网格线303是在地面202上绘制的正方格子状的格眼。图22表示将图 21的摄像图像301通过进行以地面为基准的投影的视点变换处理变换的俯瞰图像304。在图21中，网格线303被变换为以直线构成的网格线306。此外，长方体302和长方体305的各点分别是点A1和点A2、点B1和点B2、点C1和点C2、点D1和点D2、点E1和点E2、点F1和点F2、点G1和点G2、点H1和点H2对应。 
此时，如图23所示，在直线L1、L2、L3、L4上存在分别连结长方体305上的点A2和点B2的边、连结点C2和点D2的边、连结点E2和点F2的边、连结点G2和点H2的边，该4直线在位置307相交。在图23中，绘制了与图22相同的俯瞰图像304。 
对于俯瞰图像304中的基准高度上存在的被摄体的映入位置，该位置307是获取作为俯瞰图像304的生成基础的摄像图像301的摄像装置201在现实中存在的垂直线上的位置。 
因此，俯瞰图像304中垂直的被摄体从摄像装置201的位置被投影在辐射方向上，将这样的映入的状态表现为被摄体的‘倒落’，将该辐射方向表现为‘倒落方向’。 
再有，以后图中的俯瞰图像或车辆图像中所示的摄像装置的位置，与图23上绘制的摄像装置201的位置307是相同的意义。 
其次，图24(A)表示专利文献2的2台的摄像装置和由该摄像装置获取的图像生成的俯瞰图像中所包含的区域(俯瞰图像的显示区域)之间的关系。摄像装置401生成包含区域403和区域405的俯瞰图像。摄像装置402生成包含区域404和区域405的俯瞰图像。因此，区域405是由双方的摄像装置401、402的摄像图像的一部分重复生成俯瞰图像的一部分的部位。 
因此，假想在区域405内使用接缝将图像彼此连接在一起。例如图24(B)所示，如果配置以虚线408表示的接缝，在区域405中区域406侧显示由摄像装置401的图像生成的俯瞰图像的一部分，在区域407侧显示由摄像装置402的图像生成的俯瞰图像的一部分。 
这里，如专利文献2的技术，在假定了将变化的图像的接缝配置在以虚线408、虚线409、虚线410表示的位置的情况下，在地面上的点411的位置存在的长方体的映入方分别为图25(A)、(B)、(C)的长方体412。 
在以虚线408(参照图24(B))表示的位置配置的图25(A)和以虚线409(参照图24(B))表示的位置配置的图25(B)中，长方体412的显 示仅在中途间断消失，能见度上无极大地改变。图25(A)和图25(B)的不同是，图25(B)的长方体412的一方，有时相当于接缝的配置部位的变化的间断消失的部分变大。 
相对于此，在用虚线410(参照图24(B))表示的位置配置了接缝的图25(C)中，当长方体412在区域406侧映入的同时，跨越接缝且在区域407侧中也以间断不连续的状态来映入。这样，例如，1个被摄体分离为2个，可看到被摄体存在2个那样的合成俯瞰图像，有可能对识别被摄体的状态和相对车辆的位置产生误解。 
如以上，在专利文献1中，本车辆和俯瞰图像之间、并且相邻的俯瞰图像间的基准高度上的位置关系有可能错开。此外，在专利文献2中，在长方体那样的垂直于地面的方向上延长的被摄体有可能跨越接缝而间断不连续地映入。 
本发明鉴于上述情况而完成，目的在于提供可高精度地识别合成俯瞰图像中被摄体的位置或形状的俯瞰图像生成装置、俯瞰图像生成方法、及俯瞰图像生成程序。 
解决问题的方案 
本发明的俯瞰图像生成装置包括：摄像图像获取单元，获取由车辆上所搭载的多个摄像装置摄像的摄像图像；图像变换单元，将由所述摄像图像获取单元获取的摄像图像通过视点变换处理变换为俯瞰图像；图像合成单元，合成由所述图像变换单元变换后的多个俯瞰图像；以及接缝设定单元，在与摄像范围重复的两个摄像装置对应拍摄的两个俯瞰图像中，在所述重复的摄像范围内，将所述俯瞰图像中包含的相当于所述车辆的车辆图像周边的任意的位置设为端点，在从所述两个摄像装置向所述端点的两个辐射方向之间，将从所述端点向与所述车辆图像相反侧的任意方向上延长的线，作为连接通过所述俯瞰图像合成单元所合成的两个俯瞰图像间的接缝来设定。 
根据该结构，维持本车辆和俯瞰图像间、并且相邻的俯瞰图像间的基准高度上的位置关系，而且无论在哪个俯瞰图像侧，都不跨越接缝而间断不连续地映入从摄像装置向辐射方向倒落的垂直的被摄体。此外，容易不误解地识别被摄体的状态和相对车辆的位置。这样，可高精度地识别合成俯瞰图像中被摄体的位置或形状。因此，可以提高驾驶操作中的视觉识别性。 
此外，本发明的俯瞰图像生成装置，在所述两个俯瞰图像中，所述接缝设定单元沿所述2个辐射方向的其中一方设定所述接缝。 
根据该结构，在成为沿接缝的线的方向的基准的摄像装置的俯瞰图像中所包含的范围内，在跨越接缝的方向上哪个位置都不产生垂直的被摄体的倒落。因此，在该范围内，在中途被摄体的高度方向的显示没有间断消失，而成为极大地显示，容易识别被摄体的存在。 
此外，本发明的俯瞰图像生成装置，在所述两个俯瞰图像中，在所述车辆的驾驶员的视线方向和第1辐射方向形成的第1角度小于所述视线方向和第2辐射方向形成的第2角度的情况下，所述接缝设定单元沿从所述视线方向靠近所述第1辐射方向的方向设定所述接缝。 
根据该结构，显示垂直的被摄体的倒落方向靠近驾驶员的视线方向的摄像装置的俯瞰图像，另一方面，距驾驶员的视线方向远的摄像装置的俯瞰图像因上述近的摄像装置的俯瞰图像而被隐藏，所以不显示。因此，仅显示驾驶员从驾驶座位观察到垂直的被摄体的视线方向和被摄体的倒落方向附近的俯瞰图像，容易识别以驾驶员为中心的被摄体的存在方向。 
此外，本发明的俯瞰图像生成装置，在所述两个俯瞰图像中，所述接缝设定单元将所述车辆图像的角部作为所述端点。 
根据该结构，在俯瞰图像中包含的范围内，难以显示距基准高度具有高度的本车辆，容易没有本车辆的不需要的映入。此外，对车辆图像的1边，通过在该车辆图像的1边连接从位置最近的摄像装置生成的仅1个俯瞰图像中包含的区域，车辆的1边的方向和俯瞰图像的方向一致，容易识别以车辆为中心的被摄体存在的方向。 
此外，本发明的俯瞰图像生成装置包括：车辆信息获取单元，获取所述车辆的车辆信息，所述接缝设定单元基于由所述车辆信息获取单元获取的车辆信息，设定所述接缝。 
根据该结构，根据用途和车辆周围的状况，可以变更接缝的位置，容易无误解地识别被摄体的状态或被摄体相对车辆的位置。 
此外，本发明的俯瞰图像生成装置，所述车辆信息获取单元获取包含车辆的行驶方向的所述车辆信息，所述接缝设定单元避开所述车辆的行驶方向侧的区域及在与所述行驶方向正交的方向中偏向与所述行驶方向相反方向的区域，设定所述接缝。 
根据该结构，在考虑了车辆的行驶方向的情况下，可以防止在驾驶员最想视觉识别的位置，被摄体间断消失。 
此外，本发明的俯瞰图像生成装置包括：图像输出单元，同时地输出由所述俯瞰图像合成单元合成的合成俯瞰图像和由所述摄像图像获取单元获取的摄像图像或由所述图像变换单元变换的俯瞰图像。 
根据该结构，可以同时输出合成俯瞰图像和与作为合成俯瞰图像基础的摄像图像相关联的其他图像。因此，驾驶员在1个视频内，可以确保在合成俯瞰图像上极大地变形而难以识别的立体物的视觉识别性和宽视野，补偿视觉识别性。 
此外，本发明的俯瞰图像生成方法具有以下步骤：获取由多个摄像装置摄像的摄像图像的步骤；将所述获取的摄像图像通过视点变换处理变换为俯瞰图像的步骤；合成所述变换的多个俯瞰图像的步骤；以及在与摄像范围重复的两个摄像装置对应的两个俯瞰图像中，在所述重复的摄像范围内，将所述俯瞰图像中包含的相当于所述车辆的车辆图像周边的任意的位置作为端点，在从所述两个摄像装置向所述端点的两个辐射方向之间、将从所述端点向与所述车辆图像相反侧的任意方向上延长的线，作为连接通过所述俯瞰图像合成单元所合成的两个俯瞰图像间的接缝来设定的步骤。 
根据该方法，维持本车辆和俯瞰图像间、并且相邻的俯瞰图像间的基准高度上的位置关系，而且无论在哪个俯瞰图像侧，都不跨越接缝而间断不连续地映入从摄像装置向辐射方向倒落的垂直的被摄体。此外，容易不误解地识别被摄体的状态和相对车辆的位置。这样，可高精度地识别合成俯瞰图像中被摄体的位置或形状。因此，可以提高驾驶操作中的视觉识别性。 
此外，本发明的俯瞰图像生成程序是用于使计算机执行上述俯瞰图像生成方法的各步骤的程序。 
根据该程序，维持本车辆和俯瞰图像间、并且相邻的俯瞰图像间的基准高度上的位置关系，即使哪个俯瞰图像侧，都不跨越接缝而间断不连续地映入从摄像装置向辐射方向倒落的垂直的被摄体。此外，容易不误解地识别被摄体的状态和相对车辆的位置。这样，可高精度地识别合成俯瞰图像中被摄体的位置或形状。因此，可以提高驾驶操作中的视觉识别性。 
发明的效果 
根据本发明，可高精度地识别合成俯瞰图像中被摄体的位置或形状。 
附图说明
图1是表示本发明的第1实施方式的俯瞰图像输出系统的结构例的方框图。 
图2(A)是表示一例本发明的第1实施方式的各摄像装置和车辆之间的位置及方向的关系的图，(B)是表示一例本发明的第1实施方式的图像显示装置上显示的合成俯瞰图像的图。 
图3(A)～(C)是表示一例本发明的第1实施方式的合成俯瞰图像内的、相邻的2个俯瞰图像的合成部分的图。 
图4(A)、(B)是表示一例本发明的第1实施方式的合成俯瞰图像内的、相邻的2个俯瞰图像的合成部分的图。 
图5(A)～(D)是表示一例本发明的第1实施方式的通过位于摄像装置的可撮像的视角内的端点的辐射线的图。 
图6(A)～(C)是表示一例本发明的第2实施方式的合成俯瞰图像内的、相邻的2个俯瞰图像的合成部分的图。 
图7(A)、(B)是表示一例本发明的第2实施方式的合成俯瞰图像内的、相邻的2个俯瞰图像的合成部分的图。 
图8(A)～(D)是表示一例本发明的第2实施方式的通过位于摄像装置可撮像的视角内的端点的辐射线(接缝)的图。 
图9(A)、(B)是表示一例本发明的第3实施方式的合成俯瞰图像中的驾驶员的视线方向和被摄体的倒落方向的图。 
图10(A)是表示一例本发明的第3实施方式的在两个摄像装置的摄像范围内从摄像装置向端点的2个辐射线之间的范围的图，(B)是表示一例本发明的第3实施方式的合成俯瞰图像中的驾驶员的视线方向和被摄体的倒落方向的图。 
图11(A)是表示一例本发明的第4实施方式的接缝的端点位于表示车辆图像的侧端的各边上的情况下的一部分合成俯瞰图像的图，(B)是表示一例本发明的第4实施方式的接缝的端点位于表示车辆图像的后端的边上的情况下的一部分合成俯瞰图像的图，(C)是表示一例本发明的第4实施方式的接缝的端点位于车辆图像的角部的情况下的一部分合成俯瞰图像的图。 
图12是表示一例本发明的第4实施方式的各接缝的各端点位于车辆图像 的各角部的情况下的合成俯瞰图像的图。 
图13是表示本发明的第5实施方式的俯瞰图像输出系统的结构例的方框图。 
图14(A)、(B)是表示一例在本发明的第5实施方式的两个摄像装置的摄像范围内从摄像装置向端点的2个辐射线之间的范围的图。 
图15(A)是表示一例本发明的第5实施方式的车辆倒车的情况下的驾驶员的视觉识别区域的图，(B)是表示一例本发明的第5实施方式的车辆倒车情况下的驾驶员的视觉识别区域及多个俯瞰图像间的接缝的图。 
图16(A)是表示一例本发明的第5实施方式的车辆行驶情况下的驾驶员的视觉识别区域的图，(B)是表示一例本发明的第5实施方式的车辆行驶情况下的驾驶员的视觉识别区域及多个俯瞰图像间的接缝的图。 
图17是表示一例本发明的第5实施方式的各接缝左右不对称的情况下的合成俯瞰图像的图。 
图18是表示一例本发明的第6实施方式的俯瞰图像生成装置的输出图像的图。 
图19(A)是表示以往的车辆和被摄体及第1基准高度之间的关系的图，(B)是表示以往的车辆和被摄体及第2基准高度之间的关系的图，(C)是表示从以往的第1基准高度得到的俯瞰图像的图，(D)是表示从以往的第2基准高度得到的俯瞰图像的图。 
图20是表示以往的摄像装置和地面上设置的长方体的位置关系的图。 
图21是表示拍摄图20的长方体的摄像装置获取的摄像图像的图。 
图22是表示将图21的摄像图像，通过进行以地面为基准的投影的视点变换处理变换的俯瞰图像的图。 
图23是表示图22的俯瞰图像的长方体的高度方向的线段在规定的点相交情况的图。 
图24(A)是表示以往的2台摄像装置和包含由该摄像装置获取的图像生成的俯瞰图像的显示区域之间的关系的图，(B)是表示以往的2台摄像装置、包含由该摄像装置获取的图像生成的俯瞰图像的显示区域、以及2台摄像装置的俯瞰图像的接缝之间的关系的图。 
图25(A)～(C)是表示一例以往的将2个俯瞰图像在各接缝合成的情况下的合成俯瞰图像的图。 
标号说明 
101  第1基准高度 
102  第2基准高度 
103、104、105被摄体 
201  摄像装置 
202  地面 
203  长方体 
301  摄像装置 
302、305长方体 
303、306网格线 
304  俯瞰图像 
307  位置 
401、402摄像装置 
403、404、405、406、407区域 
408、409、410虚线 
411  点 
412  长方体 
501  俯瞰图像生成装置 
502  前方摄像装置 
503  后方摄像装置 
504  右侧方摄像装置 
505  左侧方摄像装置 
506  图像显示装置 
51   摄像图像获取单元 
52   图像变换单元 
53   俯瞰图像合成单元 
54   接缝设定单元 
55   图像输出单元 
56   车辆信息获取单元 
601  车辆 
602  车辆图像 
603  合成俯瞰图像 
701  俯瞰图像的显示范围 
702  端点 
703、704从摄像装置的位置穿过端点的辐射线 
705  表示范围701和以辐射线703及辐射线704包围的范围 
706、718接缝 
707、708、719、720区域 
709、713位置 
710、714被摄体 
711、712、715、716辐射方向 
717、721、722交点 
801、802、803、804范围 
901、912接缝 
902、903、913、914俯瞰图像的显示区域 
904、908基准高度上的位置 
905、909被摄体 
906、907、910、911辐射方向 
915  交点 
1001、1002、1003、1004辐射方向 
1101 驾驶员的位置 
1102 表示视线方向的辐射线 
1103、1104表示倒落方向的辐射虚线 
1105 端点 
1106、1107辐射线 
1108 范围 
1109 地点 
1110 视线方向 
1111 靠近视线方向的方向 
1112 远离视线方向的方向 
1201、1204、1208端点 
1202、1205、1209接缝 
1203、1206、1207区域 
1301、1303、1305、1307接缝 
1302、1304、1306、1308角 
1309、1311、1313、1315边 
1310、1312、1314、1316俯瞰图像的显示区域 
1401 俯瞰图像生成装置 
1402 方向盘转向角检测装置 
1403 行驶状态检测装置 
1404 驾驶员操作接收装置 
1405 障碍物检测装置 
1501、1502、1503、1504接缝可位于的范围 
1505、1507、1509、1511、1513、1515、1517、1519接缝 
1506、1508、1510、1512、1514、1516、1518、1520区域 
1521、1523箭头 
1522、1524区域 
1531、1532、1533、1534接缝 
1601 输出图像 
1602 车辆 
具体实施方式
以下，使用附图说明本发明的实施方式。 
(第1实施方式) 
图1是表示本发明的第1实施方式的俯瞰图像输出系统的结构例的方框图。 
俯瞰图像生成装置501例如搭载在车辆上，进行用于俯瞰图像生成的处理等各种各样的处理。前方摄像装置502拍摄车辆的前方周边。后方摄像装置503拍摄车辆的后方周边。右侧方摄像装置504拍摄车辆的右侧方周边。左侧方摄像装置505拍摄车辆的左侧方周边。图像显示装置506是在车内设置的显示输入的图像等的车载监视器等。这些装置501～506被电连接。各摄像装置502～505搭载在车辆上，关于视角一般为180度左右。 
如图1所示，在俯瞰图像生成装置501中，在输入侧，连接前方摄像装置502、后方摄像装置503、右侧方摄像装置504、及左侧方摄像装置505，在输出侧，连接图像显示装置506。 
俯瞰图像生成装置501上所连接的前方摄像装置502、后方摄像装置503、右侧方摄像装置504、左侧方摄像装置505、及图像显示装置506也可以通过车辆内设置的未图示的电子控制单元(ECU：Electrical Control Unit；电控单元)来连接。 
俯瞰图像生成装置501具有公知的CPU、ROM、RAM等，并具有摄像图像获取单元51、图像变换单元52、俯瞰图像合成单元53、接缝设定单元54、图像输出单元55而构成。摄像图像获取单元51、图像变换单元52、俯瞰图像合成单元53、接缝设定单元54、及图像输出单元55的各功能，例如通过俯瞰图像生成装置501内的CPU执行在ROM中存储的程序来实现。 
摄像图像获取单元51通过有线或无线的电路或电缆获取由各摄像装置502～505拍摄的图像即摄像图像。 
图像变换单元52将由摄像图像获取单元51获取的摄像图像通过视点变换处理变换为俯瞰图像。俯瞰图像是从高处俯视地面那样扫描的图像。此外，视点变换处理的一例记载在以下的文献中。 
(参考专利文献)特开2004-289386号公报 
俯瞰图像合成单元53将由图像变换单元52变换的多个俯瞰图像进行合成，生成合成俯瞰图像。此外，俯瞰图像合成单元53用通过接缝设定单元54设定的接缝使多个图像连接在一起，生成合成俯瞰图像。 
接缝设定单元54中，在与摄像范围重复的两个摄像装置(例如，参照图3(A)中标号503、505)对应的2个俯瞰图像(例如，参照图3(B)的标号707、708)中，在上述重复的摄像范围(例如，参照图3(A)中的标号705)内，接缝设定单元54将俯瞰图像中包含的相当于车辆的车辆图像(例如，参照图2(A)中的标号602)的周边的任意的位置设为端点(例如，参照图3(A)的标号702)。而且，在从两个摄像装置向端点的2个辐射方向(例如，参照图3(A)的标号703、704的方向)之间，将从上述端点向与车辆图像相反侧的任意的方向延长的线作为连接由俯瞰图像合成单元53合成的2个俯瞰图像间的接缝(例如，参照图3(B)中的标号706)来设定。再有，本实施方式中说明的上述端点是表示在接缝的摄像装置附近一侧的端 点。后面论述接缝设定单元54的接缝的设定方法的细节。对每个被连接在一起的2个俯瞰图像例如设定1个接缝。 
图像输出单元55通过有线或无线的电路或电缆向图像显示装置506输出由俯瞰图像合成单元53生成的合成俯瞰图像和其他的图像等。 
各摄像装置502～505和车辆601的位置及方向的关系，假设如图2(A)所示那样。此外，图像显示装置506上所显示的合成俯瞰图像603如图2(B)所示那样。车辆图像602是设想在真实世界中的车辆601存在的位置的图像。这里，车辆图像602的区域以矩形区域表示，但该区域的形状不限于矩形。合成俯瞰图像603是，以包围车辆图像602的全体周边的方式，将各摄像装置502～505的摄像图像通过图像变换单元52进行视点变换处理，将各自的图像通过俯瞰图像合成单元53进行合成得到的图像。 
接着，说明俯瞰图像生成装置501的俯瞰图像生成方法。 
图3(A)～(C)是表示一例合成俯瞰图像603(参照图2(B))内的、相邻的2个俯瞰图像的合成部分的图。在图3(A)中，标号701表示由后方摄像装置503或左侧方摄像装置505的摄像图像生成的俯瞰图像中包含的范围(俯瞰图像的显示区域)。标号702表示在接缝的摄像装置503、505附近一侧的端点。标号703表示从后方摄像装置503的位置穿过端点702的辐射线。标号704表示从左侧方摄像装置505的位置穿过端点702的辐射线。标号705表示用显示范围701、辐射线703和辐射线704包围的范围。该范围是后方摄像装置503的摄像范围和左侧方摄像装置505的摄像范围重复的范围。 
在图3(B)中，表示在从范围705之中的端点702开始的任意的辐射方向上配置接缝706的情况下的、显示后方摄像装置503的俯瞰图像的一部分的区域707、以及显示左侧方摄像装置505的俯瞰图像的一部分的区域708。 
图3(C)是表示在以接缝706为基础合成了2个俯瞰图像的、基准高度上的位置709、713上分别映入了垂直的被摄体710、714的状况的图。再有，本实施方式的垂直的被摄体是相对地面垂直的被摄体。 
再有，在图3(A)中仅表示车辆图像602的一部分(周边)。 
映入到位置709的垂直的被摄体710在从后方摄像装置503穿过位置709的辐射线711的方向、以及从左侧方摄像装置505穿过位置709的辐射线712 的方向上产生倒落。但是，图像显示装置506根据区域707和区域708的位置关系，仅在辐射线711的方向的一方向上显示倒落的被摄体。 
此时，从产生垂直的被摄体710的倒落的辐射线711、712上的位置709，在外侧2方向(向与后方摄像装置503、左侧方摄像装置505相反侧的方向)中，哪个与接缝706都不相交。 
此外，映入到位置713的垂直的被摄体714在从后方摄像装置503穿过位置713的辐射线715的方向、以及从左侧方摄像装置505穿过位置713的辐射线716的方向上产生倒落。但是，图像显示装置506根据区域707和区域708的位置关系，仅在辐射线716的方向的一方向上显示倒落的被摄体。该倒落的显示在接缝706和辐射线716之间的交点717的位置间断。 
此时，从产生垂直的被摄体714的倒落的辐射线716上的位置713，在外侧方向(向与左侧方摄像装置505相反侧的方向)中，与接缝706相交。另一方面，从产生相同倒落的辐射线715上的位置713，在外侧方向(向与后方摄像装置503相反侧的方向)中，与接缝706不相交。 
如图3(A)～(C)的例子，为了收敛在范围705中，在从端点702向辐射线703和辐射线704之间的方向(范围705中范围内)配置了(设定)接缝706的情况下，无论被摄体映入到哪个位置，在来自两个摄像装置503、505的2个辐射线的外侧方向中，该2个辐射线的双方与接缝706都不相交。例如，在从两个摄像装置503、505的位置穿过被摄体710(714)的位置的2个辐射线711、712(715、716)中，在从被摄体710(714)的位置产生倒落的外侧方向中，有时接缝706仅与一方相交，但没有双方一起相交。 
另一方面，在图4(A)中，表示在范围705的外侧且从端点702开始的辐射方向上配置了接缝718的情况下的、显示了后方摄像装置503的俯瞰图像的一部分的区域719以及显示了左侧方摄像装置505的俯瞰图像的一部分的区域720。 
图4(B)是表示在以接缝718为基础合成了2个俯瞰图像的、与图3(C)相同的基准高度上的位置709、713上分别映入了垂直的被摄体710、714的状况的图。位置709上所映入的垂直的被摄体710与图3(C)相同，仅在辐射线711的方向的一方向上显示有倒落的被摄体。 
相对于此，位置713上所映入的垂直的被摄体714与图3(C)极大地不同。这里，根据区域719和区域720的位置关系，辐射线716的方向上倒落 显示的被摄体，在接缝718和辐射线716的交点721的位置间断。此外，辐射线715的方向上倒落显示的被摄体，在接缝718和辐射线715的交点722的位置间断。因此，该被摄体714不连续地被显示。 
此时，从产生垂直的被摄体714的倒落的辐射线715上的位置713，在外侧方向(向与后方摄像装置503相反侧的方向)中，与接缝718相交。相同地，从产生垂直的被摄体714的倒落的辐射线716上的位置713，在外侧方向(向与左侧方摄像装置505相反侧的方向)中，也与接缝718相交。 
如图4(A)、(B)的例子，如脱离范围705那样，在不是从端点702延长的辐射线703和辐射线704之间的方向(范围705的范围外)上配置了接缝718的情况下，有时根据被摄体的位置，在来自两个摄像装置的2个辐射线的外侧方向，这2个辐射线的双方与接缝718相交。例如，在从两个摄像装置503、505的位置穿过被摄体714的位置的2个辐射线715、716中，在从被摄体714的位置产生倒落的外侧方向，2个辐射线715、716的双方与接缝718相交。这种情况下，垂直的被摄体714跨越接缝且间断不连续地映入。 
如以上那样，本实施方式的俯瞰图像生成装置501包括：获取由多个摄像装置503、505拍摄的摄像图像的摄像图像获取单元51；将获取的摄像图像通过视点变换处理变换为俯瞰图像的图像变换单元52；将变换后的多个俯瞰图像进行合成的俯瞰图像合成单元53；以及接缝设定单元54。接缝设定单元54在与摄像范围重复的两个摄像装置503、505对应的两个俯瞰图像中，在重复的摄像范围内，将俯瞰图像中包含的相当于车辆的车辆图像周边的任意的位置作为端点702，在从两个摄像装置503、505向端点702的2个辐射线703、704的方向(辐射方向)之间，将从端点702向与车辆图像相反侧的任意方向上延长的线，设定作为连接由俯瞰图像合成单元53合成的2个俯瞰图像间的接缝706。 
这种情况下，在从摄像范围重复的两个摄像装置503、505的位置穿过被摄体710(714)的位置709(713)的2个辐射线711、712(715、716)之内的、产生倒落的外侧方向，接缝706和2个辐射线711、712(715、716)双方都不相交，或仅与一方相交。 
因此，与图19(C)、(D)中说明的状态不同，可以维持本车辆和俯瞰图像间、并且相邻的俯瞰图像间的基准高度上的位置关系。因此，在哪个 摄像装置的俯瞰图像中，都没有从摄像装置向辐射方向倒落的垂直的被摄体跨越接缝且间断不连续地映入。因此，容易不误解地识别被摄体的状态和相对车辆的位置。 
再有，如图5(A)～(D)中表示的合成俯瞰图像例那样，只要摄像装置在可撮像的视角，无论车辆图像602如何，都可以在两个摄像装置的摄像范围内，以车辆图像602的周边的任意的位置作为端点，在范围801～804那样的各自的范围内，配置接缝。 
(第2实施方式) 
本实施方式的俯瞰图像输出系统的结构与图1所示的第1实施方式的俯瞰图像输出系统的结构是同样的，所以省略说明。 
图6(A)～(C)及图7(A)、(B)表示一例合成俯瞰图像603(参照图2(B))内的、相邻的2个俯瞰图像的合成部分。图6(A)与图3(A)相同，包含并表示了俯瞰图像的显示范围701、端点702、辐射线703、辐射线704。 
再有，在图6(A)～(C)以后的图中，对与已经列举过的相同的结构要素，附加相同的标号而省略详细的说明。 
在图6(B)中表示了，以与图6(A)的辐射线703的方向一致即沿辐射线703配置接缝901的情况下的、显示后方摄像装置503的俯瞰图像的一部分的显示区域902、以及显示左侧方摄像装置505的俯瞰图像的一部分的显示区域903。 
图6(C)是表示在以图6(B)的接缝901为基础合成了俯瞰图像的、基准高度上的位置904、908上分别映入了垂直的被摄体905、909的状况的图。位置904上所映入的垂直的被摄体905在从后方摄像装置503穿过位置904的辐射线906的方向、以及从左侧方摄像装置505穿过位置904的辐射线907的方向上产生倒落。但是，根据显示区域902和显示区域903之间的位置关系，图像显示装置506仅在辐射线906的方向的一方向上显示倒落的被摄体。 
接缝901沿来自后方摄像装置503的位置的辐射线703的方向配置。因此，在从后方摄像装置503的位置穿过不在辐射线703的方向上的位置904的辐射线906的方向上倒落显示的垂直的被摄体905，与接缝901不相交。 
此外，位置908上所映入的垂直的被摄体909在从后方摄像装置503穿过位置908的辐射线910的方向、以及从左侧方摄像装置505穿过位置908的辐射线911的方向上产生倒落。但是，根据显示区域902和显示区域903之间的位置关系，图像显示装置506仅在辐射线910的方向的一方向上显示倒落的被摄体。 
接缝901沿来自后方摄像装置503的位置的辐射线703的方向配置。因此，与垂直的被摄体905相同，在从后方摄像装置503的位置穿过不在辐射线703的方向上的位置908的辐射线910的方向上倒落显示的垂直的被摄体909，与接缝901不相交。 
如图6(A)～(C)的例子，在使其与来自后方摄像装置503的位置的辐射线703的方向一致而配置了接缝901的情况下，即使在显示了后方摄像装置503的俯瞰图像的显示区域902的哪个位置映入垂直的被摄体905、909，所显示的倒落也不在跨越接缝901的方向上产生。 
另一方面，在来自后方摄像装置503的位置的辐射线703的方向上接缝不一致的情况下，在显示后方摄像装置503的俯瞰图像的一部分的显示区域中，有时垂直的被摄体的倒落也在跨越接缝的方向上产生。在先前说明的图3(B)、(C)中，接缝706和垂直的被摄体710之间的位置关系上不产生这样的情况，但有时全凭接缝和垂直的被摄体之间的位置关系而产生。在图7(A)、(B)中补充这种情况。 
图7(A)表示在范围705内，将接缝912与辐射线703、704的双方不一致地配置的情况下的、显示了后方摄像装置503的俯瞰图像的一部分的显示区域913、以及显示了左侧方摄像装置505的俯瞰图像的一部分的显示区域914。 
图7(B)表示在以图7(A)的接缝912为基础合成俯瞰图像的、与图6(C)相同的基准高度上的位置904、908上分别映入了垂直的被摄体905、909的状况。 
与图6(C)相同，位置904上所映入的垂直的被摄体905，仅在辐射线906的方向的一方向上显示倒落的被摄体，在接缝912和辐射线906之间的交点915的位置间断。此时，在来自后方摄像装置503的位置的辐射线906的方向上倒落显示的垂直的被摄体905，与接缝912相交。 
此外，位置908上所映入的垂直的被摄体909，在从后方摄像装置503穿过位置908的辐射线910的方向、以及从左侧方摄像装置505穿过位置908的辐射线911的方向上产生倒落。但是，根据显示区域913和显示区域914之间的位置关系，图像显示装置506仅在辐射线911的方向的一方向上显示倒落的被摄体。此时，垂直的被摄体909与接缝912不相交，但由于辐射线911和接缝912不平行，所以在显示区域913、914(参照图7(A))的范围外相交。 
如图7(A)、(B)的例子，接缝912延长的方向与来自后方摄像装置503的位置的辐射线906的方向不一致。后方摄像装置503的位置是成为显示区域913的垂直的被摄体905的倒落方向的基点的位置。因此，根据被摄体905的位置，有时倒落在跨越接缝912的方向上产生。这种情况下，垂直的被摄体905在俯瞰图像中包含的范围内的中途间断消失。 
如以上，本实施方式的俯瞰图像生成装置501中，接缝设定单元54在两个俯瞰图像中，沿2个辐射线703、704的方向(辐射方向)的其中一方设定接缝901。这种情况下，在成为使接缝901一致的(沿着)辐射线703的方向的基准的后方摄像装置503的俯瞰图像中包含的范围内，垂直的被摄体的倒落在哪个位置都不在跨越接缝901的方向上产生。由此，在摄像装置503的俯瞰图像中包含的范围内，被摄体的显示没有在中途间断消失而被很大地显示。因此，容易识别被摄体的存在。 
再有，如图8(A)～(D)中所示的合成俯瞰图像例子，只要是摄像装置可撮像的视角，则无论车辆图像602如何，也可以在两个摄像装置的摄像范围内，以车辆图像602的周边的任意的位置作为端点，沿辐射线1001～1004的方向配置接缝。 
(第3实施方式) 
本实施方式的俯瞰图像输出系统的结构，与图1所示的第1实施方式的俯瞰图像输出系统的结构是同样的，所以省略说明。 
图9(A)、(B)及图10(A)、(B)是表示一例合成俯瞰图像603的图。在图9(A)中，表示辐射线1102和辐射虚线1103之间的关系，辐射线1102表示来自驾驶员1101的位置的视线方向，辐射虚线1103表示在后方摄像装置503的俯瞰图像中映入了垂直的被摄体的情况下的倒落方向。此外，在图9(B)中，表示辐射线1102和辐射虚线1104之间的关系，辐射线1102 表示来自驾驶员1101的位置的视线方向，辐射虚线1104表示在左侧方摄像装置505的俯瞰图像中映入了垂直的被摄体的情况下的倒落方向。 
如图10(A)所示，配置在接缝的摄像装置附近的端点1105。研讨在以从后方摄像装置503的位置穿过端点1105的位置的辐射线1106、从左侧方摄像装置505的位置穿过端点1105的位置的辐射线1107、以及合成俯瞰图像中包含的范围围成的范围1108内的地点1109中存在垂直的被摄体的情况下，从端点1105在任意的辐射方向上配置接缝的条件。 
这种情况下，如图10(B)所示，在地点1109中，配置接缝以显示左侧方摄像装置505的俯瞰图像时，显示向靠近驾驶员的视线方向1110的方向1111(从左侧方摄像装置505向端点1105的方向)的垂直的被摄体的倒落。另一方面，不显示向远离驾驶员的视线方向1110的方向1112(从后方摄像装置503向端点1105的方向)的倒落。在地点1109附近，仅显示驾驶员从驾驶座位观察到垂直的被摄体的视线方向和该被摄体的倒落方向近的俯瞰图像。 
再有，从图10(B)可以理解，视线方向和倒落方向近，意味着视线方向和倒落方向之间形成的角更小，视线方向和倒落方向远，意味着视线方向和倒落方向之间形成的角更大。 
如以上，本实施方式的俯瞰图像生成装置501中，在两个俯瞰图像中，车辆的驾驶员1101的视线方向1110和辐射线1107的方向(第1辐射方向)之间形成的第1角度小于视线方向1110和辐射线1106的方向(第2辐射方向)之间形成的第2角度的情况下，接缝设定单元54从视线方向1110沿靠近辐射线1107的方向设定接缝。 
这种情况下，显示垂直的被摄体的倒落方向靠近驾驶员的视线方向的俯瞰图像侧，不显示远离驾驶员的视线方向的俯瞰图像侧。由此，仅显示驾驶员1101从驾驶座位看到垂直的被摄体的视线方向1110和被摄体的倒落方向近的俯瞰图像。因此，容易识别以驾驶员为中心的被摄体的存在方向。 
(第4实施方式) 
本实施方式的俯瞰图像输出系统的结构与图1所示的第1实施方式的俯瞰图像输出系统的结构是同样的，所以省略说明。 
图11(A)～(C)是表示一例合成俯瞰图像603(参照图2(B))的一部分的图。在图11(A)中，接缝的距摄像装置近的各端点1201位于表示车 辆图像602的左端及右端的各边上，并表示从该各端点1201延长的接缝1202。再有，在这里的左端及右端中，不包含角部分。 
这里，假设高度方向相比较车辆为最近距离、即后方摄像装置503的高度和车辆的高度为相同的程度。此外，假设后方摄像装置503位于车辆的左右中央的尽可能的后端侧。此外，假设以映入车辆和地面的(车辆和地面包含在后方摄像装置503的摄像范围中)一般的布局(1ayout)配置，装载在车辆上。 
通过距基准高度具有高度的车辆被投影在后方摄像装置503的俯瞰图像上，在从车辆上方(俯瞰图像的虚拟视点)垂直向下观察的情况下，后方摄像装置503和映入的车辆之间的距离短的车辆后部方向几乎不错位。另一方面，后方摄像装置503和映入的车辆之间的距离长的车辆左右方向极大错位，车辆映入在区域1203中。 
该区域1203中产生车辆错位映入的现象时，从图11(A)可知，存在跨越接缝1202且失去后方摄像装置503和左侧方摄像装置505、或后方摄像装置503和右侧方摄像装置504的俯瞰图像间的基准高度上的被摄体的连续性的部位。此外，同时由于包含表示车辆后端的边的车辆的映入连接表示车辆图像602的侧端的边，所以也失去被摄体相对车辆的方向性(即从车辆观察被摄体时位于哪个方向)。 
此外，在图11(B)中，接缝的距摄像装置近的各端点1204位于表示车辆图像602的后端的边上，并表示从该各端点1204延长的接缝1205。 
这里，假设左侧方摄像装置505和右侧方摄像装置504的高度方向相比较车辆为最近距离、即左侧方摄像装置505或右侧方摄像装置504的高度和车辆的高度为相同的程度。此外，假设左侧方摄像装置505和右侧方摄像装置504位于车辆的尽可能的左端侧或右端侧。此外，假设以映入车辆和地面的(车辆和地面包含在左侧方摄像装置505或右侧方摄像装置504的摄像范围中)一般的布局配置，装载在车辆上。 
这种情况下，距基准高度具有高度的车辆被投影到左侧方摄像装置505或右侧方摄像装置504的俯瞰图像上时，在从车辆上方垂直向下观察的情况下，有时俯瞰图像上的位置错位。这里，将车辆上方(俯瞰图像的虚拟视点)设为基准时，左侧方摄像装置505或右侧方摄像装置504与映入的车辆之间的距离短的车辆左右方向几乎不错位。另一方面，左侧方摄像装置505或右 侧方摄像装置504与映入的车辆之间的距离长的车辆前后方向极大地错位，车辆映入在区域1206或区域1207中。 
在该区域1206或区域1207中产生车辆错位映入的现象时，从图11(B)可知，存在跨越接缝1205且失去后方摄像装置503和左侧方摄像装置505、或后方摄像装置503和右侧方摄像装置504的俯瞰图像间的基准高度上的被摄体连续性的部位。此外，同时由于包含表示车辆的侧端的边的车辆的映入连接表示车辆图像602的后端的边，所以也失去被摄体相对车辆的方向性。 
另一方面，在图11(C)中，表示配置了用于将后方摄像装置503和左侧方摄像装置505的俯瞰图像进行合成的接缝1209的端点1208，以使该端点位于车辆图像602的边的角上。 
在图11(C)中，未表示在图11(A)中区域1203内极大地错位映入的由后方摄像装置503的摄像图像生成的俯瞰图像上的车辆、以及在图11(B)中区域1206内极大地错位映入的由左侧方摄像装置505或右侧方摄像装置504的摄像图像生成的俯瞰图像上车辆。 
如图11(A)、(B)的例子，在将接缝的距摄像装置近的端点从车辆图像602的边的角错位配置时，相对表示车辆图像602的一个后端或侧端的边，连接2个俯瞰图像的显示区域，在从车辆上方垂直向下观察的情况下，有可能显示从实际的位置极大地错位映入的车辆。另一方面，如图11(C)的例子，将上述端点配置在车辆图像602的边的角上时，相对车辆图像602的一个后端或侧端，连接一个俯瞰图像的显示区域，难以显示极大地错位映入的车辆。 
再有，这里的车辆的后端相当于图11(A)～(C)中的车辆图像602的后端(下端)。此外，这里的车辆的侧端相当于图11(A)～(C)中的车辆图像602的侧端(左端或右端)。 
而且，如图12所示，将车辆图像602的边的角1302作为接缝1301的距摄像装置近的端点来配置接缝1301。将车辆图像602的边的角1304作为接缝1303的距摄像装置近的端点来配置接缝1303。将车辆图像602的边的角1306作为接缝1305的距摄像装置近的端点来配置接缝1305。将车辆图像602的边的角1308作为接缝1307的距摄像装置近的端点来配置接缝1307。 
这种情况下，对于表示车辆图像602的前端的整个边1309，连接显示前方摄像装置502的俯瞰图像的一部分的表示显示区域1310的周边的一部分的 整个1边。对于表示车辆图像602的左端的整个边1311，连接显示左侧方摄像装置505的俯瞰图像的一部分的表示显示区域1312的周边的一部分的整个1边。对于表示车辆图像602的后端的整个边1313，连接显示后方摄像装置503的俯瞰图像的一部分的表示显示区域1314的周边的一部分的整个1边。对于表示车辆图像602的右端的整个边1315，连接显示右侧方摄像装置504的俯瞰图像的一部分的表示显示区域1316的周边的一部分的整个1边。 
如图12的例子，在将接缝的距摄像装置近的端点配置在车辆图像602的边的全部各角(显示合成的配置相邻的2个俯瞰图像的一部分的显示区域的边相交的各角)来生成合成俯瞰图像603时，相对车辆图像602的1边，连接显示1个俯瞰图像的一部分的显示区域。因此，车辆图像602的各边和各俯瞰图像的相对车辆的方向性一致。 
再有，这里通过图像显示装置506所显示的合成俯瞰图像603上的接缝具有规定的宽度，假设为驾驶员看到并可以明确地识别俯瞰图像的缝隙。 
如以上，本实施方式的俯瞰图像生成装置501中，接缝设定单元54在两个俯瞰图像中，将车辆图像602的角部设为端点。这种情况下，将显示2个俯瞰图像的一部分的显示区域内的、靠近摄像装置的2边相交的角设为接缝的端点，所以在车辆周围的合成俯瞰图像603中，相对车辆图像602的1边，连接由位置最靠近该车辆图像602的1边的摄像装置生成的仅1个俯瞰图像的显示区域。 
由此，在显示俯瞰图像的一部分的显示区域的范围内，难以显示距基准高度具有高度的车辆，很容易没有本车辆的不需要的映入。而且，车辆图像602的1边和相对车辆的俯瞰图像的方向一致，容易识别以车辆为中心的被摄体的存在的方向。 
(第5实施方式) 
图13是表示本发明的第5实施方式的俯瞰图像输出系统的结构例的方框图。 
俯瞰图像生成装置1401例如搭载在车辆上，用于进行俯瞰图像生成的处理等各种各样的处理。方向盘转向角检测装置1402检测车辆的直行状态、左转状态、右转状态、或方向盘的旋转角度，输出到俯瞰图像生成装置1401。行驶状态检测装置1403检测车辆驱动是前进状态还是后退状态等的信息，输出到俯瞰图像生成装置1401。驾驶员操作接收装置1404接收驾驶员通过在 车辆上设置的未图示的输入装置输入的信息，将该信息输出到俯瞰图像生成装置1401。障碍物检测装置1405从通过车辆上所搭载的声纳仪或摄像装置获取的摄像图像等检测障碍物，并将该信息输出到俯瞰图像生成装置1401。这些装置被电连接。 
如图13所示，在俯瞰图像生成装置1401中，在输入侧，连接前方摄像装置502、后方摄像装置503、右侧方摄像装置504、左侧方摄像装置505、方向盘转向角检测装置1402、行驶状态检测装置1403、驾驶员操作接收装置1404、及障碍物检测装置1405，在输出侧，连接图像显示装置506。 
此外，俯瞰图像生成装置1401除了实现图1中说明的俯瞰图像生成装置501的功能的结构单元以外，还包括获取搭载了俯瞰图像生成装置1401的车辆的车辆信息的车辆信息获取单元56。车辆信息获取单元56通过有线或无线的电路或电缆获取来自方向盘转向角检测装置1402、行驶状态检测装置1403、驾驶员操作接收装置1404、以及障碍物检测装置1405的各种车辆信息。 
接下来，图14(A)～(B)、图15(A)～(B)、图16(A)～(B)、以及图17是表示一例合成俯瞰图像603(参照图6(B))的图。在图14(A)中，表示将车辆图像602的各角作为接缝的距摄像装置近的端点，沿任意的辐射方向配置接缝的情况下的各接缝可位于的范围1501～1504。 
在俯瞰图像生成装置1401中，在驾驶操作中，通过方向盘转向角检测装置1402、行驶状态检测装置1403、驾驶员操作接收装置1404、及障碍物检测装置1405，可以实时地获取上述各种车辆信息。由此，根据用途和车辆周围的状况，接缝设定单元54在范围1501～1504内将接缝切换到最合适的位置。 
在图14(B)中，表示即使在范围1501～1504中也在成为边界的位置(成为范围1501的周边的一个边)配置了接缝的情况。该接缝相对于车辆图像602的各角，各存在2组。 
这里，设想相对于接缝1505在区域1506中、相对于接缝1507在区域1508中、相对于接缝1509在区域1510中、相对于接缝1511在区域1512中、相对于接缝1513在区域1514中、相对于接缝1515在区域1516中、相对于接缝1517在区域1518中、相对于接缝1519在区域1520中，在各区域的基准高度的位置映入垂直的被摄体。 
这种情况下，被摄体的倒落在俯瞰图像的显示范围内跨越接缝的方向上产生，所以被摄体的高度方向的显示因该作用而有可能间断消失。 
在此基础上，在车辆后退移动的情况下，如图15(A)那样，在合成俯瞰图像603上背景向箭头1521的方向(图中上方向)流动，驾驶员最想视觉识别区域1522的附近，所以优先使该区域1522中垂直的被摄体在俯瞰图像的显示范围内不会间断消失。该情况下，如图15(B)那样，将配置在接缝1505、1509、1515、1519的位置，在跨越接缝1505、1509、1515、1519的方向上产生垂直的被摄体的倒落的区域不重叠在区域1522上即可。 
此外，在车辆前进移动的情况下，如图16(A)那样，在合成俯瞰图像603上背景向箭头1523的方向(图中下方向)流动，驾驶员最想视觉识别区域1524的附近，所以优先使该区域1524中垂直的被摄体在俯瞰图像的显示范围内不会间断消失。该情况下，图16(B)那样，将配置在接缝1507、1511、1513、1517的位置，在跨越接缝1507、1511、1513、1517的方向上产生垂直的被摄体的倒落的区域不重叠在区域1524上即可。 
再有，在变更(包括设定)接缝的位置的情况下，如图17那样，接缝1531～1534也可以左右不对称。 
如以上，本实施方式的俯瞰图像生成装置501包括获取搭载了俯瞰图像生成装置501的车辆的车辆信息的车辆信息获取单元56。接缝设定单元54基于获取的车辆信息，设定接缝。这种情况下，在从摄像装置的位置向上述端点的2个辐射方向之间，根据车辆信息来变更接缝。例如，避开在车辆的行驶方向侧(例如在后退时为后方侧)的区域、以及与行驶方向正交的方向中偏向与行驶方向相反方向(例如在后退时为偏靠左右前方)的区域，设定接缝。由此，可以根据用途和车辆周围的状况，在最合适的状态中切换接缝。因此，容易不误解地识别被摄体的状态和相对车辆的位置。 
(第6实施方式) 
本实施方式的俯瞰图像输出系统的结构与图1所示的第1实施方式的俯瞰图像输出系统的结构是同样的，所以省略说明。 
图18是表示一例俯瞰图像生成装置1401的输出图像的图。作为图18所示的输出图像1601，合成俯瞰图像603和与该合成俯瞰图像603不同的视点变换图像被同时输出。视点变换图像可以是俯瞰图像的至少一部分，可以是由摄像装置拍摄的摄像图像的至少一部分，也可以是其他图像。在图18中， 在输出图像1601中，合成俯瞰图像603配置在右侧部分，映入了车辆1602的车辆的左侧部分的视点变换图像配置在左侧部分。 
输出图像1601通过俯瞰图像生成装置1401具备的图像输出单元55被输出到图像显示装置506。图像显示装置506将输出图像中包含的多个图像同时地显示。 
再有，考虑到与合成俯瞰图像同时输出的图像的用途、相对车辆的输出图像的方向性(是哪个部分的图像)等，也可以改变输出图像1601中的各图像的配置。 
如以上，本实施方式的俯瞰图像生成装置501包括同时地输出由俯瞰图像合成单元53合成的合成俯瞰图像(第1图像)、由摄像图像获取单元51获取的摄像图像或由图像变换单元52变换的俯瞰图像(第2图像)的图像输出单元55。即，也可以同时输出合成俯瞰图像、以及显示与该合成俯瞰图像不同的观察方向或在合成俯瞰图像上未显示的部分的第2图像。 
由此，可以提高图像显示装置506所显示的视频内的、合成俯瞰图像上极大变形而驾驶员难以识别的立体物的视觉识别性。此外，在显示合成俯瞰图像中未被显示的部分的情况下，可以获得宽的视野。这样，通过第2图像，补偿视觉识别性。 
以上说明了本发明的优选实施方式。但是，本发明不限于上述实施方式，本领域技术人员在本发明的范围内当然可将上述实施方式变形。 
本申请基于2011年9月30曰申请的日本专利申请No.2011—217954，其内容在这里作为参照而引用。 
工业实用性 
本发明在可高精度地识别合成俯瞰图像中被摄体的位置或形状的俯瞰图像生成装置、俯瞰图像生成方法、俯瞰图像生成程序等中是有用的。 

Claims (9)

1.俯瞰图像生成装置，包括：
摄像图像获取单元，获取由车辆上所搭载的多个摄像装置摄像的摄像图像；
图像变换单元，将由所述摄像图像获取单元获取的摄像图像通过视点变换处理变换为俯瞰图像；
俯瞰图像合成单元，合成由所述图像变换单元变换后的多个俯瞰图像；以及
接缝设定单元，在与摄像范围重复的两个摄像装置对应拍摄的两个俯瞰图像中，在所述重复的摄像范围内，将所述俯瞰图像中包含的相当于所述车辆的车辆图像周边的任意的位置设为端点，在从所述两个摄像装置向所述端点的两个辐射方向之间，将从所述端点向与所述车辆图像相反侧的任意方向上延长的线，作为连接通过所述俯瞰图像合成单元所合成的两个俯瞰图像间的接缝来设定。
2.如权利要求1所述的俯瞰图像生成装置，
在所述两个俯瞰图像中，所述接缝设定单元沿所述2个辐射方向的其中一方设定所述接缝。
3.如权利要求2所述的俯瞰图像生成装置，
在所述两个俯瞰图像中，在所述车辆的驾驶员的视线方向和第1辐射方向形成的第1角度小于所述视线方向和第2辐射方向形成的第2角度的情况下，所述接缝设定单元沿从所述视线方向靠近所述第1辐射方向的方向设定所述接缝。
4.如权利要求1至3的任何一项所述的俯瞰图像生成装置，
在所述两个俯瞰图像中，所述接缝设定单元将所述车辆图像的角部作为所述端点。
5.如权利要求1至4的任何一项所述的俯瞰图像生成装置，还包括：
车辆信息获取单元，获取所述车辆的车辆信息，
所述接缝设定单元基于由所述车辆信息获取单元获取的车辆信息，设定所述接缝。
6.如权利要求5所述的俯瞰图像生成装置，
所述车辆信息获取单元获取包含车辆的行驶方向的所述车辆信息，
所述接缝设定单元避开所述车辆的行驶方向侧的区域及在与所述行驶方向正交的方向中偏向与所述行驶方向相反方向的区域，设定所述接缝。
7.如权利要求1至6的任何一项所述的俯瞰图像生成装置，还包括：
图像输出单元，同时地输出由所述俯瞰图像合成单元合成的合成俯瞰图像和由所述摄像图像获取单元获取的摄像图像或由所述图像变换单元变换的俯瞰图像。
8.俯瞰图像生成装置的俯瞰图像生成方法，包括以下步骤：
获取由多个摄像装置摄像的摄像图像的步骤；
将所述获取的摄像图像通过视点变换处理变换为俯瞰图像的步骤；
合成所述变换的多个俯瞰图像的步骤；以及
在与摄像范围重复的两个摄像装置对应拍摄的两个俯瞰图像中，在所述重复的摄像范围内，将所述俯瞰图像中包含的相当于所述车辆的车辆图像周边的任意的位置作为端点，在从所述两个摄像装置向所述端点的两个辐射方向之间，将从所述端点向与所述车辆图像相反侧的任意方向上延长的线，作为连接通过所述俯瞰图像合成单元所合成的两个俯瞰图像间的接缝来设定的步骤。
9.俯瞰图像生成程序，用于使计算机执行权利要求8所述的俯瞰图像生成方法的各步骤。
CN201280016788.4A 2011-09-30 2012-09-14 俯瞰图像生成装置和俯瞰图像生成方法 Active CN103477634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011217954 2011-09-30
JP2011-217954 2011-09-30
PCT/JP2012/005923 WO2013046593A1 (ja) 2011-09-30 2012-09-14 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム

Publications (2)

Publication Number Publication Date
CN103477634A true CN103477634A (zh) 2013-12-25
CN103477634B CN103477634B (zh) 2016-11-23

Family

ID=47994679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280016788.4A Active CN103477634B (zh) 2011-09-30 2012-09-14 俯瞰图像生成装置和俯瞰图像生成方法

Country Status (5)

Country Link
US (1) US9715631B2 (zh)
EP (1) EP2763406A4 (zh)
JP (1) JP5962927B2 (zh)
CN (1) CN103477634B (zh)
WO (1) WO2013046593A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469135A (zh) * 2013-09-18 2015-03-25 株式会社理光 图像处理系统
CN106031166A (zh) * 2014-02-12 2016-10-12 株式会社电装 车辆周边图像显示装置和车辆周边图像显示方法
CN110228468A (zh) * 2018-03-06 2019-09-13 爱信精机株式会社 周围环境监测设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5971223B2 (ja) * 2013-10-16 2016-08-17 株式会社デンソー 合成画像生成装置
US10336462B2 (en) * 2015-03-12 2019-07-02 Vu Systems, LLC Vehicle navigation methods, systems and computer program products
US20160300372A1 (en) * 2015-04-09 2016-10-13 Bendix Commercial Vehicle Systems Llc System and Method for Graphically Indicating an Object in an Image
CN104967826A (zh) * 2015-07-03 2015-10-07 上海弼智仿生高科技有限公司 固定区域监视系统及方法
US10417743B2 (en) * 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium
JP6477444B2 (ja) * 2015-11-25 2019-03-06 株式会社デンソー 表示制御装置及び表示制御プログラム
JP6730606B2 (ja) * 2016-11-25 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
KR102551099B1 (ko) 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US10436485B2 (en) * 2017-11-14 2019-10-08 Haier Us Appliance Solutions, Inc. Sealed system for a packaged terminal air conditioner unit
CN111886624A (zh) * 2018-03-28 2020-11-03 三菱电机株式会社 图像处理装置、图像处理方法及图像处理程序
US10967792B1 (en) * 2018-10-12 2021-04-06 Roger Stafford Apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device
CN111402132B (zh) * 2020-03-11 2024-02-02 黑芝麻智能科技(上海)有限公司 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
JPWO2021186853A1 (zh) * 2020-03-19 2021-09-23

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
EP2192552A1 (en) * 2008-11-28 2010-06-02 Fujitsu Limited Image processing apparatus, image processing method, and recording medium
CN102202214A (zh) * 2010-03-25 2011-09-28 富士通天株式会社 图像生成装置、图像显示系统及图像生成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300337B2 (ja) * 2000-04-28 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
US6734896B2 (en) 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP4256702B2 (ja) 2003-03-20 2009-04-22 クラリオン株式会社 画像表示方法、画像表示装置及び画像処理装置
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4725233B2 (ja) * 2005-08-02 2011-07-13 日産自動車株式会社 俯瞰画像表示システム
US20090128630A1 (en) 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4254887B2 (ja) 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
JP5068779B2 (ja) 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
EP2482557B1 (en) 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Driving support display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
EP2192552A1 (en) * 2008-11-28 2010-06-02 Fujitsu Limited Image processing apparatus, image processing method, and recording medium
CN102202214A (zh) * 2010-03-25 2011-09-28 富士通天株式会社 图像生成装置、图像显示系统及图像生成方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469135A (zh) * 2013-09-18 2015-03-25 株式会社理光 图像处理系统
CN104469135B (zh) * 2013-09-18 2017-11-28 株式会社理光 图像处理系统
CN106031166A (zh) * 2014-02-12 2016-10-12 株式会社电装 车辆周边图像显示装置和车辆周边图像显示方法
CN106031166B (zh) * 2014-02-12 2018-12-25 株式会社电装 车辆周边图像显示装置和车辆周边图像显示方法
CN110228468A (zh) * 2018-03-06 2019-09-13 爱信精机株式会社 周围环境监测设备

Also Published As

Publication number Publication date
EP2763406A4 (en) 2015-06-17
EP2763406A1 (en) 2014-08-06
JPWO2013046593A1 (ja) 2015-03-26
US9715631B2 (en) 2017-07-25
US20140002660A1 (en) 2014-01-02
JP5962927B2 (ja) 2016-08-03
CN103477634B (zh) 2016-11-23
WO2013046593A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
CN103477634A (zh) 俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序
CN100443333C (zh) 车辆周围监视装置及其调整方法
US11528413B2 (en) Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
EP1696669B1 (en) Vehicle surrounding monitoring device
EP1288618B1 (en) Driving assistance display apparatus
JP4934308B2 (ja) 運転支援システム
US8848056B2 (en) Vehicle periphery monitoring apparatus
JP5209578B2 (ja) 車両用画像表示装置
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
CN104041018A (zh) 自行式工业机械的周围监视装置
CN103692973A (zh) 图像生成装置、图像显示系统、以及图像生成方法
US20150319370A1 (en) Onboard image generator
EP3547677B1 (en) Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program
JP2011221760A (ja) 運転支援表示装置
CN110239436B (zh) 显示控制装置、车辆周边显示系统以及显示控制方法
JP2018165912A (ja) 支援装置
JP2012147308A (ja) 画像処理装置、画像表示システム、及び、画像処理方法
JP2018074503A (ja) 車両用視認装置及び車両用視認画像表示方法
JP2013207747A (ja) 車両の後側方撮影装置
JP4752284B2 (ja) 車両周辺監視装置
JP6332331B2 (ja) 電子ミラー装置
JP5722643B2 (ja) 物体検出装置、および、物体検出方法
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2022029346A (ja) 画像処理装置、画像処理プログラム
JP2018133616A (ja) 画像処理装置及びこれを使用した運転支援装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151104

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240418

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan