CN101132536A - 图像处理装置和车辆周边视场支援装置 - Google Patents

图像处理装置和车辆周边视场支援装置 Download PDF

Info

Publication number
CN101132536A
CN101132536A CNA2007101400783A CN200710140078A CN101132536A CN 101132536 A CN101132536 A CN 101132536A CN A2007101400783 A CNA2007101400783 A CN A2007101400783A CN 200710140078 A CN200710140078 A CN 200710140078A CN 101132536 A CN101132536 A CN 101132536A
Authority
CN
China
Prior art keywords
image
vehicle
image pickup
visual field
panoramic picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101400783A
Other languages
English (en)
Other versions
CN101132536B (zh
Inventor
本乡仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101132536A publication Critical patent/CN101132536A/zh
Application granted granted Critical
Publication of CN101132536B publication Critical patent/CN101132536B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像处理装置和车辆周边视场支援装置，其中在牵引车的左右后端部的水平方向上平均设置一台视野角宽的摄像机。在左侧摄像机的视野中包含牵引车和挂车左侧的路面等。在右侧摄像机的视野中包含牵引车和挂车右侧的路面等。左右摄像机在挂车的后部侧具有共同视野。将合成了从左右摄像机获得的各图像的全景图像显示在牵引车车厢内的显示装置上。

Description

图像处理装置和车辆周边视场支援装置
本非临时申请按照35U.S.C.§119(a)，要求2006年8月21日在日本申请的专利申请号为2006-224444和2007年6月15日在日本申请的专利申请号为2007-158802的优先权，其全部内容作为参考引用在此。
技术领域
本发明涉及车辆周边视场支援装置和方法，特别涉及将用于表示由牵引车和挂车构成的拖挂车辆的周围视场的图像显示在牵引车车厢内的显示装置上的车辆周边视场支援装置和方法。本发明还涉及车辆周边视场支援装置所使用的图像处理装置。
背景技术
在由牵引车和由该牵引车牵引的挂车构成的拖挂车辆中，在车体转弯时，牵引车和挂车通过拖挂部而弯曲，弯曲角度(拖挂角)根据转弯状态而时刻变化。
这种拖挂车辆的驾驶操作比较困难，例如，在一边使拖挂车辆向右转弯一边后退时，就需要一度向左打方向盘和将拖挂角保持某个程度之后向右打方向盘之类的驾驶操作。这样，就需要驾驶员一边把握拖挂角一边使车辆转弯，与此同时还需要进行周围的安全确认。但是，在这种拖挂车辆中，由于死角区域大且死角区域伴随转弯而变化，因此即使对于熟练者，拖挂角把握和安全确认的可靠进行也是不容易的，并且成为很大的负担。用于减轻这些负担的技术是重要的。
作为支援这种拖挂车辆视场的技术，存在几种现有技术。例如，在第一个现有技术中，在挂车的左右后端部设置摄像机，通过根据挂车的偏向角来回转与挂车偏向方向相反侧的后端部的摄像机，拍摄成为死角的挂车侧。然后，使得将前进方向预想线路重叠而显示在由该拍摄获得的图像上。
例如，在第二个现有技术中，在牵引车的左右后端部设置能够控制摄像机方向的摄像机，使得根据挂车的偏向角来控制摄像机方向。
而且，还提出了许多用于检测挂车拖挂角的方法。已经公开了与通过合成多个图像来生成全景图像的图像合成处理相关的技术。还已经公开了与考虑了摄像机倾斜角的圆筒面投影变换处理相关的技术。
发明内容
用于实现上述目的一种图像处理装置，对来自在第一车辆侧设置的、在该第一车辆所拖挂的第二车辆侧具有共同视野的第一和第二摄像部的摄像信号进行受理，其特征在于，包括：图像合成机构，其用于生成将基于来自所述第一摄像部的摄像信号的第一图像和基于来自所述第二摄像部的摄像信号的第二图像合成后的合成图像；以及图像信号输出机构，其输出用于将基于所述合成图像的显示图像在显示装置上显示的图像信号。
根据本发明的第二图像处理装置是对来自在第一车辆侧设置的、在该第一车辆所拖挂的第二车辆侧具有共同视野的第一和第二摄像部的摄像信号进行受理，并对来自用于拍摄所述第二车辆的后方的第三摄像部的摄像信号进行受理，其特征在于，包括：图像合成机构，其通过将基于来自所述第三摄像部的摄像信号的第三图像，反映在借助于将基于来自所述第一摄像部的摄像信号的第一图像和基于来自所述第二摄像部的摄像信号的第二图像合成而得到的合成图像内的所述第二车辆的图像部分中，而生成在所述合成图像中进一步合成了所述第三图像后的多重合成图像；以及图像信号输出机构，其输出：用于将基于所述多重合成图像的显示图像显示在显示装置上的图像信号。
更具体地，例如，将所述第一摄像部和所述第二摄像部设置在所述第一车辆侧，以便使在所述第一车辆和所述第二车辆处于一条直线上时，所述第二车辆的左侧和所述第二车辆的车轮或者轮胎进入所述第一摄像部的视野，并且所述第二车辆的右侧和所述第二车辆的车轮或者轮胎进入所述第二摄像部的视野，在所述共同视野中至少包含所述第二车辆的车轮或者轮胎，所述图像合成机构，在所述合成图像内作为与所述共同视野对应的一部分图像，至少生成所述第二车辆的车轮或者轮胎的图像。
另外，例如，所述图像合成机构将所述第一图像内的与所述共同视野相对应的图像区域的各个像素的亮度和所述第二图像内的与所述共同视野相对应的图像区域的各个像素的亮度进行比较，并且使用亮度大的一方的像素的像素信号来生成所述合成图像内的与所述共同视野相对应的一部分图像。
另外，例如，也可以，所述图像合成机构，包括对所述第一图像上和所述第二图像上的所述第二车辆的规定部位的位置进行检测的部位检测机构，基于所述部位检测机构的检测结果，而合成所述第一图像和所述第二图像。
另外，例如，也可以，还包括对所述第一车辆和所述第二车辆的拖挂角进行检测的拖挂角检测机构，所述图像合成机构基于所检测的所述拖挂角来合成所述第一图像和所述第二图像。
根据本发明的第一车辆周边视场支援装置，其特征在于，包括：上述第一图像处理装置；以及具有所述第一和第二摄像部的摄像单元与所述显示装置中的至少一方。
根据本发明的第二车辆周边视场支援装置，其特征在于，包括：上述第二图像处理装置；以及具有所述第一、第二和第三摄像部的摄像单元与所述显示装置中的至少一方。
根据本发明的第一车辆是由第一车辆和该第一车辆所拖挂的第二车辆构成的车辆，其特征在于，设置了上述图像处理装置以及第一和第二摄像部。
根据本发明的第二车辆是由第一车辆和该第一车辆所拖挂的第二车辆构成的车辆，其特征在于，设置了上述图像处理装置以及第一、第二和第三摄像部。
根据本发明的第一车辆周边视场支援方法，其特征在于：受理来自在第一车辆侧设置的、在该第一车辆所拖挂的第二车辆侧具有共同视野的第一和第二摄像部的摄像信号；生成将基于来自所述第一摄像部的摄像信号的第一图像和基于来自所述第二摄像部的摄像信号的第二图像合成后的合成图像；以及将基于所述合成图像的显示图像在显示装置上显示。
根据本发明的第二车辆周边视场支援方法，其特征在于：对来自设置在第一车辆侧的、在该第一车辆所拖挂的第二车辆侧具有共同视野的第一和第二摄像部的摄像信号进行受理，并对来自用于拍摄所述第二车辆的后方的第三摄像部的摄像信号进行受理，在通过对基于来自所述第一摄像部的摄像信号的第一图像和基于来自所述第二摄像部的摄像信号的第二图像进行合成而得到的合成图像内的所述第二车辆的图像部分中，反映基于来自所述第三摄像部的摄像信号的第三图像，由此生成：在所述合成图像中进一步合成了所述第三图像的多重合成图像，并在显示装置上显示基于所述多重合成图像的显示图像。
附图说明
图1是根据本发明实施方式所涉及的车辆周边视场支援装置的整体构成方框图。
图2是表示图1的摄像机视野角的图。
图3是表示图1的摄像机构成例子的图。
图4是安装了图1的车辆周边视场支援装置的牵引车以及该牵引车所牵引的挂车的侧面外观图。
图5是从上方观察图4的牵引车及挂车的图(拖挂角为0°的情况)。
图6是从上方观察图4的牵引车及挂车的图(拖挂角不为0°的情况)。
图7是从上方观察图4的牵引车及挂车的图，是用于说明牵引车和挂车的拖挂角与图1所示2个摄像机的视野的关系的图。
图8(a)是表示由图1的摄像机的拍摄所生成的右全景图像的例子的图，是用于说明右全景图像所表示的路面等的图。
图8(b)是表示由图1的摄像机拍摄所生成的左全景图像的例子的图，是用于说明左全景图像所表示的路面等的图。
图9是表示由图8(a)和(b)的右和左全景图像合成的宽全景图像的图。
图10是表示基于图9的宽全景图像的显示图像的图。
图11是表示由图1的显示装置显示的显示图像的其他例子的图。
图12(a)是表示由图1的摄像机的拍摄所生成的右全景图像的例子的图(拖挂角为0°的情况)，是用于说明本发明的实施方式所涉及的第一合成方法的图。
图12(b)是表示由图1的摄像机的拍摄所生成的左全景图像的例子的图(拖挂角为0°的情况)，是用于说明本发明的实施方式所涉及的第一合成方法的图。
图13(a)是表示由图1的摄像机的拍摄所生成的右全景图像的例子的图(拖挂角为正的情况)，是用于说明本发明的实施方式所涉及的第一合成方法的图。
图13(b)是表示由图1的摄像机的拍摄所生成的左全景图像的例子的图(拖挂角为正的情况)，以及用于说明本发明的实施方式所涉及的第一合成方法的图。
图14是表示由图12(a)和(b)所示的右和左全景图像合成的宽全景图像的图。
图15是表示由图13(a)和(b)所示的右和左全景图像合成的宽全景图像的图。
图16(a)是表示作为第一合成方法中的合成对象图像的右全景图像的图。
图16(b)是表示作为第一合成方法中的合成对象图像的左全景图像的图。
图17是用于说明右和左全景图像的第一合成方法的图，是表示该第一合成方法中的合成对象图像等的像素排列的图。
图18是用于说明右和左全景图像的第二合成方法的图，是表示由该第二合成方法中的模式匹配(pattern matching)所使用的注册图像模式的一个例子的图。
图19(a)是用于说明使用了图18的注册图像模式的合成方法的图，是用于表示作为该合成对象图像的右全景图像的图。
图19(b)是用于说明使用了图18的注册图像模式的合成方法的图，是用于表示作为该合成对象图像的左全景图像的图。
图20是用于说明右和左全景图像的第二合成方法的图，是表示由该第二合成方法中的模式匹配所使用的注册图像模式的其他例子的图。
图21是用于说明右和左全景图像的第二合成方法的图，是表示由该第二合成方法中的模式匹配所使用的注册图像模式的其他例子的图。
图22(a)是用于说明使用图18和图20的注册图像模式的合成方法的图，是用于表示作为该合成对象图像的右全景图像的图。
图22(b)是用于说明使用图18和图20的注册图像模式的合成方法的图，是用于表示作为该合成对象图像的左全景图像的图。
图23是在采用右和左全景的宽全景图像的第三合成方法时车辆周边视场支援装置的整体构成方框图，是表示图1的其变形例的图。
图24(a)是用于说明根据本发明实施方式的第三合成方法的图，是表示由图1摄像机的拍摄所生成的右全景图像的一个例子的图(拖挂角为0°的情况)。
图24(b)是用于说明本发明实施方式的第三合成方法的图，是表示由图1的摄像机的拍摄所生成的左全景图像的一个例子的图(拖挂角为0°的情况)。
图25(a)是用于说明本发明的实施方式所涉及的第三合成方法的图，是表示由图1的摄像机的拍摄所生成的右全景图像的一个例子的图(拖挂角为60°的情况)。
图25(b)是用于说明本发明的实施方式所涉及的第三合成方法的图，是表示由图1摄像机的拍摄所生成的左全景图像的一个例子的图(拖挂角为60°的情况)。
图26是表示由图25(a)和图25(b)所示的右和左全景图像合成的宽全景图像的图。
图27是表示通过将由图4等后部摄像机取得的后部图像嵌入在图26的宽全景图像中所获得的图像的图。
图28是表示图1的2个摄像机的各自构成例的图。
具体实施方式
下面，参考附图，具体说明本发明的实施方式。在所参考的各个图中，相同的部分给出了相同的符号，原则上省略了涉及相同部分的重复说明。
图1是根据本发明实施方式的车辆周边视场支援装置(下面省略记为“视场支援装置”)1的整体构成方框图。视场支援装置1包括摄像机2L和2R、全景图像生成部3L和3R、图像合成部4、图像信号输出部5以及显示装置6。
摄像机2L和2R的每个是所谓的全景摄像机，例如，具有如图2所示的200°以上的视野角。摄像机2L和2R的每个例如由将一般普及的、具有100°～140°的视场角的广角摄像机进行多台组合而形成的。
图3表示摄像机2L的构成例。摄像机2L通过使用具有100°～140°的视场角的广角摄像机11和12而形成。广角摄像机11和12单独进行拍摄，表示由广角摄像机11和12的各个拍摄所获得的图像的摄像信号被送到图1的全景图像生成部3L。配置广角摄像机11和12使得在水平方向上具有不同的视野，各个广角摄像机的视野的一部分相互重复。
全景图像生成部3L通过合成从广角摄像机11和12得到的各个图像来生成全景图像。作为在生成全景图像时的图像的合成方法，可以使用日本国特开2000-331151号公报或者日本国特开2001-184484号公报所记载那样的公知技术。如图3所示，通过水平并列配置各个广角摄像机使得形成摄像机2L的各个广角摄像机(现在情况下为广角摄像机11和12)的光轴相交在一点，能够使全景图像的合成变得容易，并且使摄像机2L水平方向的视野角为200°以上。而且，在图3中，尽管示出了使用2个广角摄像机来构成摄像机2L的例子，但是也可以使用3个或者以上的摄像机来构成摄像机2L。
摄像机2R和全景图像生成部3R的构成及功能与摄像机2L和全景图像生成部3L的构成及功能是同样的。即，摄像机2R例如由广角摄像机11和12那样的多个摄像机构成，用于表示通过该多个摄像机的各个拍摄所获得的图像的摄像信号，被送到全景图像生成部3R。全景图像生成部3R通过合成由该多个摄像机所获得的各个图像来生成全景图像。
而且，尽管透镜设计和构造变得复杂，但是将摄像机2L和2R的每个由一个摄像机构成也是没有问题的。然而，在将摄像机2L和2R的每个由一个摄像机构成时，现状中由于确保200°以上视野角是困难的，对于这种情况，适当地将视野角假设为不足200°。
下面，将由全景图像生成部3L生成的全景图像称为左全景图像，将由全景图像生成部3R生成的全景图像称为右全景图像。图1中，图像合成部4合成左全景图像和右全景图像。将通过该合成获得的图像称为宽全景图像。后述该宽全景图像的合成方法。用于表示宽全景图像的信号被送到图像信号输出部5。图像信号输出部5，基于来自图像合成部4的该信号，生成图像信号并将该图像信号送到显示装置6，以使得基于宽全景图像的显示图像被显示在显示装置6的显示画面上。
显示装置6由液晶显示面板等形成，其将上述显示图像显示在显示画面上。显示装置6被设置在牵引车21的车室内，使得牵引车21的驾驶员能够可视确认显示装置6的显示图像。而且，可以将车辆导航系统等所包含的显示装置兼用作为视场支援装置1的显示装置6。
视场支援装置1安装于车辆而使用。图4是安装了视场支援装置1的车辆的侧面外观图。符号21表示牵引车。符号22表示牵引车21拖挂的由牵引车21牵引的挂车。符号24表示挂车22所设的轮胎。一般地，轮胎24被称为挂车22的后轮。符号25表示挂车22的后端。符号26表示后端25所设置的用于拍摄挂车22后方的后部摄像机。符号27表示设有轮胎24的挂车22的底面。
而且，还能够将后部摄像机26包含在视场支援装置1的构成要素中。后述在该情况中后部摄像机26的拍摄图像的利用法。
在本说明书中，从挂车22侧观察，则将牵引车21侧设为“前”，从牵引车21侧观察，则将挂车22侧设为“后”。当然，将与前后方向垂直的方向假设为左右方向。
图5和图6是从上方观察牵引车21及挂车22的图，图5是表示牵引车21及挂车22所构成的角(以下称为“拖挂角”)为0°的情况，图6表示拖挂角不为0°的情况。图7是从上方观察牵引车21及挂车22的透视上部图。拖挂角为0°时，牵引车21及挂车22排列在一条直线上(牵引车21及挂车22的各个车厢排列在一条直线上)。
图7中，符号23是拖挂部。挂车22通过拖挂部23与牵引车21拖挂。挂车22将拖挂部23当做支点，相对牵引车21折曲。在将牵引车21和挂车22投影到水平面上的二维平面中，牵引车21中心线35和挂车22中心线36所成的角相当于上述拖挂角。图7中，拖挂角由θ表示。在从上方观察牵引车21和挂车22时，使拖挂部23成为支点和挂车22在顺时针旋转方向上弯曲时的拖挂角θ假设为正。因此，在假设牵引车21和挂车22从正在直线前进的状态左转时所表示的拖挂角θ成为正。
摄像机2L被设置在牵引车21后端部的左侧。摄像机2R被设置在牵引车21后端部的右侧。图4中，由于摄像机2R被隐藏在摄像机2L的里面，因此没有被图示。摄像机2L和2R共同被设置在牵引车21比较低的位置，使得能够拍摄轮胎24和底面27。
在拖挂角处于图5所示的状态时，半椭圆状的斜线区域31被包含在摄像机2L的视野(摄像区域)中，半椭圆状的斜线区域32被包含在摄像机2R的视野(摄像区域)中。在这种情况下，摄像机2L拍摄包含斜线区域31的视野内的被拍摄体，摄像机2R拍摄包含斜线区域32的视野内的被拍摄体。斜线区域31是位于牵引车21和挂车22左侧的区域，斜线区域32是位于牵引车21和挂车22右侧的区域。而且，斜线区域31内的箭头表示摄像机2L的视野的扩展方向，斜线区域32内的箭头表示摄像机2R的视野的扩展方向。
在拖挂角处于图6所示的状态时，具有变形的扇形形状的斜线区域33被包含在摄像机2L的视野(摄像区域)中，具有变形的扇形形状的斜线区域34被包含在摄像机2R的视野(摄像区域)中。在这种情况下，摄像机2L拍摄包含斜线区域33的视野内的被拍摄体，摄像机2R拍摄包含斜线区域34的视野内的被拍摄体。斜线区域33是位于牵引车21和挂车22左侧的区域，斜线区域34是位于牵引车21和挂车22右侧的区域。而且，斜线区域33内的箭头表示摄像机2L的视野的扩展方向，斜线区域34内的箭头表示摄像机2R的视野的扩展方向。在图5和图6中，后部摄像机26的拍摄方向是纸面右方向(从挂车22前方朝向后方的方向)。
图7中，清楚地表示了摄像机2L和2R的视野的共同部分。具有变形的扇形形状的斜线区域37被包含在摄像机2L的视野中，具有变形的扇形形状的斜线区域38被包含在摄像机2R的视野中。斜线区域37和38在比拖挂部23更靠近挂车22的后端的部分上重叠。
摄像机2L和2R一起共同拍摄包含挂车22一部分的区域。就是说，摄像机2L和2R在挂车22侧具有共同的视野。图7中，斜线区域37和38重叠，带有符号39的网格区域表示该共同视野(斜线区域37和38包含共同的网格区域39)。在该共同视野上包含轮胎24和底面27的一部分。尽管至少存在两个轮胎24，但也存在因拖挂角θ而在共同视野上所有轮胎24均不包含的情况。与牵引车21相关的共同视野，依赖于摄像机2L和2R的视野角(视场角)和摄像机2L和2R的设置位置以及设置方向而确定，在该共同视野上包含挂车22的哪个一部分由拖挂角θ和挂车22的长度等确定。
如图5～图7所示，设置摄像机2L使得在水平方向具有宽的视野角。具体地，将摄像机2L设置在牵引车21的后端部的左侧，使得在水平方向具有200°以上的视野角。在摄像机2L的视野中包含牵引车21的左侧面、牵引车21和挂车22的左侧路面、以及挂车22的底面27，依赖于拖挂角θ，还包含挂车22的右侧路面。
图8(b)表示由摄像机2L的拍摄获得的左全景图像的例子。在该左全景图像上显示了牵引车21的左侧面41L、牵引车21的左侧所设置的后视镜42L、牵引车21和挂车22的左侧路面43L、挂车22的轮胎24和底面27、以及挂车22的右侧路面44。在图8(b)和表示左全景图像的后述各图中，纸面右方向对应于靠近牵引车21左侧面41L的方向。
摄像机2R与摄像机2L同样，被设置成使得在水平方向具有宽的视野角。具体地，将摄像机2R设置在牵引车21的后端部的右侧，使得在水平方向具有200°或者以上的视野角。在摄像机2R的视野中包含牵引车21的右侧面、牵引车21和挂车22的右侧路面、以及挂车22的底面27，依赖于拖挂角θ还包含挂车22的左侧路面。
图8(a)表示由摄像机2R的拍摄获得的右全景图像的例子。在该右全景图像上显示了牵引车21的右侧面41R、牵引车21的右侧所设置的后视镜42R、牵引车21和挂车22的右侧路面43R、挂车22的轮胎24和底面27、以及挂车22的左侧路面45。在图8(a)和表示右全景图像的后述各图中，纸面左方向对应于靠近牵引车21的右侧面41R的方向。
图1的全景图像生成部3L和3R、图像合成部4、图像信号输出部5和显示装置6也被设置在牵引车21侧。图像合成部4合成图8(a)所示那样的右全景图像和图8(b)所示那样的左全景图像，并且生成图9所示那样的宽全景图像。在图9和表示宽全景图像的后述各图中，纸面左侧对应于实空间中牵引车21等的右侧。因此，通过图像合成部4或者图像信号输出部5，使得该宽全景图像的左右反向，并且将反向的图像(即在左右方向上镜像反向的图像)作为显示图像被显示在显示装置6上。
图10表示与图9的宽全景图像对应的显示图像。图10所示的显示图像是在拖挂角θ为0°时的显示图像。图11表示左转时(例如θ＝60°)时的显示图像的例子(后述以这些显示图像为基础的宽全景图像的合成方法)。通过参考这些显示图像，驾驶员能够用见到后视镜那样的感觉来确认车辆后方和侧面，从而在停车、起步、左转弯等各种驾驶状况中支援车辆周边的安全确认和驾驶操作。另外，如从图10变化到图11那样，将挂车22的后部根据拖挂角θ在宽全景图像和显示图像上作为左右，驾驶员通过参考显示图像，能够直观地把握拖挂角θ。而且，由于摄像机2L和2R被设置在牵引车21侧，即使牵引的挂车22变化，视场支援装置1也有效地起作用。
如图10和图11所示，通过在显示图像上添加表示拖挂角θ的刻度，驾驶员能够更详细地把握拖挂角θ。可以将该刻度添加在宽全景图像上。对于在显示图像(宽全景图像)上的刻度的添加位置即在显示图像(宽全景图像)上的哪个部分上添加什么样的值的刻度，能够通过基于与挂车22的长度等相对应的三角函数的运算来确定。如果如后述那样检测了拖挂角θ，例如可以使用模式匹配等来求得显示图像(宽全景图像)上的左右两个轮胎24间的中心位置，根据该中心位置和拖挂角θ的检测结果，确定显示图像(宽全景图像)上的刻度的添加位置。
而且，在表示宽全景图像或者显示图像的各图(图9～图11等)中，以对宽全景图像或者显示图像进行二分的方式在图像中央部所设置的虚线是宽全景图像或者显示图像的中心线。该中心线对应于表示拖挂角θ的刻度为0°(参考图10等)。这样的中心线也被设置在实际的宽全景图像和显示图像上(但是也可以不设置)。
下面，说明通过图1的图像合成部4进行的宽全景图像的合成方法。如上述，由于摄像机2L和2R的共同视野由摄像机2L和2R的视野角以及摄像机2L和2R的设置位置及设置方向确定，因此通过混合(blending)与其共同视野对应的左全景图像内的一部分图像和右全景图像内的一部分图像，能够一次生成宽全景图像。
但是，由于在摄像机2L和2R之间存在视差，因此摄像机2L和2R上所映出的挂车22的底面等即使在拖挂角θ为0°时也不是完全一致的。图12(a)和(b)分别表示在拖挂角θ为0°时的右全景图像和左全景图像。
图12(a)的右全景图像的粗线四角框内的图像区域51R和图12(b)左全景图像的粗线四角框内的图像区域51L都是共同视野的拍摄图像区域。例如，尽管右全景图像中的底面27的端53和左全景图像中的底面27的端54在实际空间中是相同的，但是由于视差，其在图像上观察是不同的。因此，当单纯通过平均化处理等来混合图像区域51R和51L时，在宽全景图像上，像就变成二重。
而且，随着拖挂角θ变大，如图13(a)和(b)所示，在摄像机2L和2R之间挂车22的映像方向的差异变大，在单纯的混合中，它们不能对应。图13(a)和(b)分别表示在拖挂角θ为正(例如θ＝60°)时的右全景图像和左全景图像。图13(a)右全景图像中的粗线四角框内的图像区域56R和图13(b)左全景图像中的粗线四角框内的图像区域56L都是共同视野的拍摄图像区域。
而且，在图12(a)的右全景图像中，将图像区域51R以外的图像区域称为非共同图像区域52R，在图12(b)的左全景图像中，将图像区域51L以外的图像区域称为非共同图像区域52L。而且，在图13(a)的右全景图像中，将图像区域56R以外的图像区域称为非共同图像区域57R，在图13(b)的左全景图像中，将图像区域56L以外的图像区域称为非共同图像区域57L。
在考虑了这种事情后，图1的图像合成部4进行宽全景图像的合成。作为通过图像合成部4进行的宽全景图像的合成方法，以下例示出第一～第三合成方法。
[第一合成方法]
首先，说明第一合成方法。在第一合成方法中，通过利用共同视野的亮度的大小关系来进行图像合成。由此，从图12(a)和(b)所示的右全景图像和左全景图像得到图14所示的宽全景图像，从图13(a)和(b)所示的右全景图像和左全景图像得到图15所示的宽全景图像。
图14所示的宽全景图像由在图14的纸面左侧表示的图12(a)的非共同图像区域52R的图像、在图14的纸面右侧表示的图12(b)的非共同图像区域52L的图像、以及在这两者中夹着的共同图像区域61的图像所形成。而且，尽管图14示出了表示共同图像区域61的四角框，但在实际的宽全景图像中，没有这种四角框表示。在图14中，Ow是共同图像区域61中的原点。如上述，在表示宽全景图像的图面中，纸面左侧对应于实际空间中牵引车21等的右侧。
图15所示的宽全景图像，由在图15的纸面左侧表示的图13(a)的非共同图像区域57R的图像、在图15的纸面右侧表示的图13(b)的非共同图像区域57L的图像、以及在这两者中夹着的共同图像区域66的图像所形成。而且，尽管图15示出了表示共同图像区域66的四角框，但在实际的宽全景图像中，没有这种四角框表示。
参考图16(a)和(b)。将与图12(a)和(b)表示的图像区域相同的图像区域51R和51L分别放大表示在图16(a)和(b)。在图像区域51R中确定原点OR，将与此对应的图像区域51L的原点假设为OL。假设图像区域51R和51L分别由M×N个像素(垂直方向为M个像素，水平方向为N个像素)形成。M和N是2或者以上的整数。
图17表示图像区域51R和51L的各个像素排列，同时表示共同图像区域61R和61L(参考图14和图15)的各个像素排列。将形成这些图像区域的像素由P(m，n)描述。这里，m表示图像的垂直方向的位置，采用1～M之间的各个整数。n表示图像的水平方向的位置，采用1～N之间的各个整数。原点OR和OL以及图14所示的原点OW对应于像素P(1，1)。
图1的图像合成部4对在图像区域51R和51L之间的每个像素比较亮度。该比较在与相同像素位置相对应的像素之间进行。就是说，在图像区域51R和51L之间，例如，比较像素P(1，1)之间的亮度，以及比较像素P(1，2)之间的亮度。作为该比较结果，将亮度大的一方的像素P(m，n)的像素信号作为共同图像区域61中的像素P(m，n)的像素信号。
即，例如，在与图16(a)图像区域51R内的符号71对应的像素P(100，200)的亮度比与图16(b)图像区域51L内的符号72对应的像素P(100，200)的亮度大时，将图像区域51R的像素P(100，200)的像素信号假设为共同图像区域61中的像素P(100，200)的像素信号。而且，例如，在与图16(a)图像区域51R内的符号73对应的像素P(100，50)的亮度比与图16(b)图像区域51L内的符号74对应的像素P(100，50)的亮度小时，将图像区域51L的像素P(100，50)的像素信号假设为共同图像区域61中的像素P(100，50)的像素信号。对于形成图像区域51R和51L的全部像素，进行这种比较处理，决定共同图像区域61的全部像素的像素信号。
如上述，在形成与共同视野相对应的共同图像区域61(图14)的图像时，使得优先使用亮度大的像素的像素信号。由此，得到图14所示那样的宽全景图像。同样，从图13(a)和(b)的图像区域56R和56L的各个图像，还合成图15所示的共同图像区域66的图像。
一般地，由于挂车22的底部暗而外周围明亮，因此通过该处理使外周围优先表示在宽全景图像中。在驾驶牵引车21时，安全上确认成为必要的不是挂车22的底部，而是外周围。因此，在第一合成方法中，通过优先地映射(mapping)外周围来生成宽全景图像和显示图像。由此，确认所必需的图像被优先显示，从而获得妥当的宽全景图像和显示图像。而且，还避免了在宽全景图像上像被二重表示的问题的发生。
而且，与某个像素相关的像素信号例如由表示该像素亮度的亮度信号和表示该像素颜色的色信号(色差信号等)构成。
[第二合成方法]
下面，说明第二合成方法。在第二合成方法中，检测图像上挂车22的规定部位的位置，利用该检测结果来进行图像合成。
具体地，例如，预先注册图18所示那样的轮胎24的图像模式。将该注册的图像模式称为注册图像模式RP1。与应该设置在挂车22后方的左右两个轮胎24相关的、左全景图像或者右全景图像上的标准的图像模式，被假设为注册图像模式RP1。
在得到了图8(a)和(b)所示那样的右全景图像和左全景图像时，图1的图像合成部4进行右全景图像和左全景图像的每一个和注册图像模式RP1之间的模式匹配(特别地例如模板匹配(templet matching)，确定与注册图像模式RP1的相关成为最大的右全景图像内的一部分图像的位置和与注册图像模式RP1的相关成为最大的左全景图像内的一部分图像的位置。
例如，在图19(a)所示右全景图像中，如果注册图像模式RP1和一部分图像71之间的相关变为最大，则确定右全景图像内的该一部分图像71的位置。然后，在右全景图像中，将用于二分左右轮胎24的一部分图像71的中心线假设为合成边界72。同样，在图19(b)所示左全景图像中，如果注册图像模式RP1和一部分图像73之间的相关变为最大，则确定左全景图像内的该一部分图像73的位置。然后，在左全景图像中，将用于二分左右轮胎24的一部分图像73的中心线假设为合成边界74。
然后，图像合成部4通过将图19(a)的右全景图像和图19(b)的左全景图像在合成边界72和74上结合(即接合)来生成宽全景图像。就是说，宽全景图像通过将在右全景图像中从合成边界72开始的纸面左侧的一部分图像75和在左全景图像中从合成边界74开始的纸面右侧的一部分图像76结合而形成。由此，得到图9所示那样的宽全景图像。
而且，不是在合成边界上单纯地结合右全景图像和左全景图像，通过在右全景图像和左全景图像间混合与挂车22的底面27和轮胎24相当的图像部分，可以生成在宽全景图像中的该图像部分的像素信号。由此，在宽全景图像中，图像的结合部分表现为平滑。关于成为混合对象的图像范围，例如将合成边界作为中心来确定。这里，所谓混合，意思是用规定的比率来将混合对象像素的像素信号混合，例如，意味着像素信号的平均化。
尽管例示了左右两个轮胎24表示在右全景图像和左全景图像两者上的情况，但是，也可以发生这种情况：根据拖挂角θ，在左右两个轮胎24内，只表示一个轮胎24的图像。与这种情况对应，在左右两个轮胎24内，可以准备仅有右侧轮胎24的注册图像模式RP2(参考图20)和仅有左侧轮胎24的注册图像模式RP3(参考图21)。
在得到了图22(a)和(b)所示那样的右全景图像和左全景图像时，第一图像合成部4进行右全景图像和图20的注册图像模式RP2之间的模式匹配(特别地例如模板匹配)，在确定与注册图像模式RP2的相关变为最大的右全景图像内的一部分图像81的位置的同时，进行左全景图像和图18的注册图像模式RP1之间的模式匹配(特别地例如模板匹配)，以及确定与注册图像模式RP1的相关变为最大的左全景图像内的一部分图像83的位置。
接着，在图22(a)的右全景图像中，根据一部分图像81的位置对与图19(a)的合成边界72相当的合成边界82进行确定。在图22(a)所示的例子中，合成边界82与右全景图像的边缘大约一致。合成边界82在右全景图像中相当于推测用于二分左右轮胎24的中心线的线。在图22(b)的左全景图像中，将用于二分左右轮胎24的一部分图像83的中心线作为合成边界84。最终，通过将图22(a)的右全景图像和图22(b)的左全景图像在合成边界82和84结合，生成宽全景图像。
假设，在图22(a)的右全景图像中，当一部分图像81的位置进一步向纸面右方向移动、并且用于二分左右轮胎24的中心线的推测线如线82a那样外出于右全景图像时，将左全景图像中的合成边界84向纸面左侧移动该外出的图像的宽度ΔW1(在本例情况下，等于合成边界82和线82a之间的水平距离)。然后，可以通过在由该移动获得的合成边界84a上结合右全景图像和左全景图像，生成宽全景图像。在这种情况下，在宽全景图像上，成为显示右全景图像的全体。
而且，尽管说明了使用图20的注册图像模式RP2的情况，但是使用图21的注册图像模式RP3的情况也是同样的。
另外，可以通过将轮胎24以外的部分用作为注册图像模式来进行图像合成。例如，预先将标记(mark：记号)设置在挂车22底面27或者后端25的预定位置(例如图7中心线36上的位置)上。以纳入图7的共同视野39内的方式设置该标记。然后，在右全景图像和左全景图像上，通过确定该标记的位置以及将该确定的位置作为基准来求得合成边界，可以合成右全景图像和左全景图像。
通过使用第二合成方法，能够避免在宽全景图像上像被二重表示之类的问题的产生，由此能够生成合适的宽全景图像。
而且，在第二合成方法中，用于对挂车22规定部位(轮胎24和上述标记等)的图像上的位置进行指定的部位检测机构，有效地起作用。该部位检测机构，可以被解释为安装在图1的图像合成部4中。而且，注册图像模式(RP1～RP3等)被预先注册在图像合成部4的内部或者外部所设置的存储器中，使得能够参考图1的图像合成部4。
[第三合成方法]
下面，说明第三合成方法。在第三合成方法中，通过检测拖挂角θ，并利用拖挂角θ的检测结果来进行图像合成。由此，在采用第三合成方法时，通过将拖挂角检测部7追加到图1的视场支援装置1，使得视场支援装置的构成方框图变为图23那样。图23的视场支援装置在将拖挂角检测部7追加到图1的视场支援装置1上这一点不同，而在其他点上两者一致。对于两者一致的点，重复说明省略。
拖挂角检测部7通过使用日本国特开2002-120775号公报或者日本国特开2002-181518号公报中记载那样的公知技术来检测拖挂角θ。拖挂角θ的检测结果被传输到图像合成部4。图像合成部4基于由拖挂角检测部7检测的拖挂角θ来求得右全景图像和左全景图像上的合成边界，由此来生成宽全景图像。
这里，将拖挂角θ为0°时的合成边界假设为基准合成边界。图24(a)和(b)表示拖挂角θ为0°时的右全景图像和左全景图像。在这些图像中，基准合成边界由符号91和92表示。在拖挂角θ为0°时，基准合成边界91和92假设为原样合成边界，通过在这些合成边界来结合(即接合)右全景图像和左全景图像，从而生成宽全景图像。
图25(a)和(b)表示拖挂角θ为60°时的右全景图像和左全景图像。基准合成边界91和92的图像上的位置不拘泥于拖挂角θ而是固定的。在拖挂角θ为60°时，将从基准合成边界移动了该60°相当量的边界作为实际的合成边界。即，在图25(a)所示的右全景图像中，将从基准合成边界91起向纸面右侧移动了60°量的边界作为合成边界93，在图25(b)所示的左全景图像中，将从基准合成边界92起向纸面右侧移动了60°相当量的边界作为合成边界94。
然后，图像合成部4通过将图25(a)的右全景图像和图25(b)的左全景图像在合成边界93和94上结合(即接合)，生成如图26所示那样的宽全景图像。在图26中，符号95与合成边界93和94一致，表示宽全景图像上的合成边界。而且，在图26的宽全景图像中，清楚示出了表示拖挂角θ的刻度。
而且，不是在合成边界上单纯地结合右全景图像和左全景图像，通过在右全景图像和左全景图像间混合与挂车22的底面27和轮胎24相当的图像部分，可以生成宽全景图像中的该图像部分的像素信号。由此，在宽全景图像中，图像的结合部分表现为平滑。成为混合对象的图像范围例如将合成边界作为中心来确定。
当拖挂角θ在例如正方向上变大时，在图25(a)的右全景图像中，存在合成边界进一步向纸面右方向上移动而离出到右全景图像之外的情况。在该情况中，用符号93a表示右全景图像的合成边界。在该情况下，将左全景图像中的合成边界94向纸面左侧移动该外出的图像的宽度ΔW2(在本例情况下，等于合成边界93和合成边界93a之间的水平距离)。然后，可以通过在由该移动获得的合成边界94a上结合右全景图像和左全景图像，生成宽全景图像。在这种情况下，在宽全景图像上，成为显示右全景图像的全体。而且，尽管说明了拖挂角θ为正的情况，但拖挂角θ为负的情况也是同样的。
通过使用第三合成方法，能够避免在宽全景图像上像被二重表示之类的问题的产生，由此能够生成合适的宽全景图像。
而且，基准合成边界91和92在图像上的位置以及根据拖挂角θ确定的合成边界(93等)在图像上的位置，基于摄像机2L和2R的视野角(视场角)以及摄像机2L和2R的设置位置及设置方向等被预先设定。
可以按下述那样求得拖挂角θ。例如，通过将传感器(未图示)设置在图7所示的拖挂部23上来求得拖挂角θ。由于将拖挂部23假设为支点而使挂车22相对于牵引车21弯曲，因此通过由该传感器检测该弯曲量和弯曲角而能够求得拖挂角θ。
而且，例如，预先将标记(mark：记号)设置在挂车22底面27或者后端25的预定位置(例如图7中心线36上的位置)上。以纳入图7的共同视野39内的方式设置该标记。然后，在右全景图像和左全景图像上，确定该标记的位置，使得从该确定的位置求得拖挂角θ。关于图像中的标记的位置和拖挂角θ的关系，根据上述标记在实际空间中的设置位置等而被预先求得。
[后部摄像机的使用]
在图1的视场支援装置1中，尽管是否利用图4～图7所示后部摄像机26是任意的，但下面说明利用后部摄像机26时的例子。
如上述，后部摄像机26拍摄挂车22的后方。表示由后部摄像机26的拍摄所获得的图像的摄像信号被供给到图1的图像合成部4。下面，将由后部摄像机26的拍摄所获得的图像(后部摄像机26的摄像图像)称为后部图像。在利用来自后部摄像机26的后部图像时，图像合成部4通过如上述生成的宽全景图像内的挂车22的图像部分嵌入后部图像，生成最终的宽全景图像(复用合成图像)。将该最终的宽全景图像的左右反向的图像(即在左右方向上镜像反向的图像)通过图1的图像信号输出部5被送到显示装置6，并且作为显示图像被显示在显示装置6上。
例如，当在图26所示的宽全景图像内的挂车22的图像部分嵌入后部图像时，所生成的最终的宽全景图像成为图27那样。图27中，符号100表示被嵌入的后部图像。这样，通过将后部图像嵌入到宽全景图像，能够在显示装置6上确认车辆周边360度视场的大体，从而在确保高的安全性的同时减轻驾驶员的负担。
所谓应该嵌入后部图像的宽全景图像内的挂车22的图像部分，是在嵌入后部图像前的宽全景图像中表示挂车22的构成要素(轮胎24和底面27等)的部分，典型地，例如是在嵌入后部图像前的宽全景图像中的包含表示挂车22的构成要素(轮胎24和底面27等)的部分的矩形区域。
关于将后部图像嵌入到宽全景图像中的哪个部分上，可以利用在第二合成方法中说明的部位检测机构的检测结果或者在第三合成方法中说明的拖挂角θ的检测结果来决定。上述部位检测机构由于能够确定挂车22规定部分(轮胎24或者上述标记等)在图像上的位置，因此如果参考该确定的内容，就能够确定宽全景图像上的挂车22的位置。若知道了拖挂角θ，则合成边界(图25(a)的合成边界93等)被确定，因此如果参考该被确定的内容，就能够确定挂车22在宽全景图像上的位置。
另外，使用第一～第三合成方法的任何一种，一旦在生成了不包含后部图像的宽全景图像之后，通过使用该宽全景图像，就可以确定该宽全景图像中的挂车22的图像部分。例如，通过进行不包含后部图像的宽全景图像和图18所示那样的注册图像模式RP1之间的模式匹配(特别地例如为模板匹配)，能够确定不包含后部图像的宽全景图像中的挂车22的图像部分。而且，通过基于不包含后部图像的宽全景图像的浓淡变化成分(边缘成分)来进行轮廓检测，可以检测挂车22的图像部分。
另外，在将后部图像简单嵌入在挂车22的图像部分中时，如图27所示，对于实际空间中连续的路面，在图像上将产生级差。为了抑制该级差的产生，通过将后部图像投影在与生成了左全景图像和右全景图像的圆筒面相同的圆筒面上，可以将后部图像变换到将摄像机2L和2R的中间点作为视点观察挂车22后方的图像上，并且可以将该变换后的后部图像嵌入到宽全景图像内挂车22的图像部分中。由此，确保了后部图像嵌入部分的图像连续性。
而且，通常，为了拍摄挂车22的附近，应当以倾斜状态设置后部摄像机26。由此，在上述变换时，尽管需要考虑后部摄像机26的倾斜角度，但是，作为考虑它的变换处理，可以使用日本国特开2004-46573号公报所公开那样的公知的圆筒面投影变换处理。
《变形等》
在上述实施方式中，尽管例示了下述方法：即，首先单独生成左全景图像和右全景图像，接着从所生成的左全景图像和右全景图像中生成宽全景图像，但是变更这些图像的生成顺序也是可能的。例如，考虑如下情况：即如图28所示，摄像机2L和2R的每个由广角摄像机11和12形成，借助于摄像机2L的广角摄像机11的视野和摄像机2R的广角摄像机12的视野的重叠部分来形成图7的共同视野39的情况。
在这种情况下，省略图1(或者图23)中的全景图像生成部3L和3R，并且将形成摄像机2L的广角摄像机11和12的各个摄像图像以及形成摄像机2R的广角摄像机11和12的各个摄像图像原样送到图像合成部4。然后，图像合成部4通过使用上述同样的方法来合成摄像机2L的广角摄像机11的摄像图像和摄像机2R的广角摄像机12的摄像图像，并且通过将由该合成得到的图像、与摄像机2L的广角摄像机12的摄像图像和摄像机2R的广角摄像机11的摄像图像进行结合，来生成宽全景图像。
另外，图1或者图23的视场支援装置能够通过硬件、或者硬件与软件的组合来实现。由全景图像生成部3L和3R以及图像合成部4构成的部分(以下称为部分α)的功能能够通过硬件、软件、或者硬件与软件的组合来实现。
在使用软件来实现上述部分α的功能时，将由部分α实现的功能的全部或者一部分作为程序而记述，通过在计算机上执行该程序，可以实现该功能的全部或者一部分。在使用软件实现部分α的功能时，图1或者图23的一部分成为表示部分α的功能方框图。
在上述实施方式中，尽管将摄像机2L和2R的每一个的视野角假设为200°或者以上，使得牵引车21的侧面也包含在视野中，但是，视野范围可以适当地变更。例如，将牵引车21的侧面和牵引车21的侧面附近从视野中除去也是可能的。但是，应该确保与图7的共同视野39同等的共同视野。
而且，在上述实施方式中，假定了由牵引车21和牵引车21所拖挂的挂车22构成的车辆，并将根据本发明的视场支援装置(例如图1的视场支援装置1或者图23的视场支援装置)适用于该车辆。但是，能够适用本发明所涉及的视场支援装置的车辆不限定于由牵引车21和挂车22构成的车辆。例如，对于由第一车辆和第一车辆拖挂而牵引的第二车辆构成的任意车辆(以下称为“拖挂型车辆”)，也能够适用本发明所涉及的视场支援装置。在上述实施方式中，第一车辆相当于牵引车21，第二车辆相当于挂车22。
拖挂型车辆包含一般被称为牵引汽车的车辆(或者拖挂型车辆是牵引汽车)。拖挂型车辆例如由第一车辆和第二车辆构成，包含连接型公共汽车、拖挂型公共汽车和卡车型公共汽车。例如，在将本发明所涉及的视场支援装置适用于连接型公共汽车时，可以将连接型公共汽车中的第一车辆和第二车辆判定为上述的牵引车21和挂车22来实施上述的处理。
所谓相对于由牵引车21和挂车22构成的车辆而描述的轮胎，是包围该车辆的车轮的轮缘、由橡胶等构成的轮子。相反，在根据本发明的视场支援装置所适用的拖挂型车辆上没有安装带有被分类为轮胎的部位的情况下，可以考虑将上述的轮胎称作车轮。

Claims (12)

1.一种图像处理装置，对来自在第一车辆侧设置的、在该第一车辆所拖挂的第二车辆侧具有共同视野的第一和第二摄像部的摄像信号进行受理，其特征在于，
包括：
图像合成机构，其用于生成将基于来自所述第一摄像部的摄像信号的第一图像和基于来自所述第二摄像部的摄像信号的第二图像合成后的合成图像；以及
图像信号输出机构，其输出用于将基于所述合成图像的显示图像在显示装置上显示的图像信号。
2.一种图像处理装置，对来自在第一车辆侧设置的、在该第一车辆所拖挂的第二车辆侧具有共同视野的第一和第二摄像部的摄像信号进行受理，并对来自用于拍摄所述第二车辆的后方的第三摄像部的摄像信号进行受理，其特征在于，
包括：
图像合成机构，其通过将基于来自所述第三摄像部的摄像信号的第三图像，反映在借助于将基于来自所述第一摄像部的摄像信号的第一图像和基于来自所述第二摄像部的摄像信号的第二图像合成而得到的合成图像内的所述第二车辆的图像部分中，而生成在所述合成图像中进一步合成了所述第三图像后的多重合成图像；以及
图像信号输出机构，其输出：用于将基于所述多重合成图像的显示图像显示在显示装置上的图像信号。
3.如权利要求1记载的图像处理装置，其特征在于，
将所述第一摄像部和所述第二摄像部设置在所述第一车辆侧，以便使在所述第一车辆和所述第二车辆处于一条直线上时，所述第二车辆的左侧和所述第二车辆的车轮或者轮胎进入所述第一摄像部的视野，并且所述第二车辆的右侧和所述第二车辆的车轮或者轮胎进入所述第二摄像部的视野，
在所述共同视野中至少包含所述第二车辆的车轮或者轮胎，
所述图像合成机构，在所述合成图像内作为与所述共同视野对应的一部分图像，至少生成所述第二车辆的车轮或者轮胎的图像。
4.如权利要求1记载的图像处理装置，其特征在于，
所述图像合成机构将所述第一图像内的与所述共同视野相对应的图像区域的各个像素的亮度和所述第二图像内的与所述共同视野相对应的图像区域的各个像素的亮度进行比较，并且使用亮度大的一方的像素的像素信号来生成所述合成图像内的与所述共同视野相对应的一部分图像。
5.如权利要求1记载的图像处理装置，其特征在于，
所述图像合成机构，包括对所述第一图像上和所述第二图像上的所述第二车辆的规定部位的位置进行检测的部位检测机构，
基于所述部位检测机构的检测结果，而合成所述第一图像和所述第二图像。
6.如权利要求1记载的图像处理装置，其特征在于，
还包括对所述第一车辆和所述第二车辆的拖挂角进行检测的拖挂角检测机构，
所述图像合成机构基于所检测的所述拖挂角来合成所述第一图像和所述第二图像。
7.一种车辆周边视场支援装置，其特征在于，
包括：
权利要求1记载的图像处理装置；以及
具有所述第一和第二摄像部的摄像单元与所述显示装置中的至少一方。
8.一种车辆周边视场支援装置，其特征在于，
包括：
权利要求2记载的图像处理装置；以及
具有所述第一、第二和第三摄像部的摄像单元与所述显示装置中的至少一方。
9.一种车辆，是由第一车辆和该第一车辆所拖挂的第二车辆构成的车辆，其特征在于，
设置了权利要求1记载的图像处理装置以及第一和第二摄像部。
10.一种车辆，是由第一车辆和该第一车辆所拖挂的第二车辆构成的车辆，其特征在于，
设置了权利要求2记载的图像处理装置以及第一、第二和第三摄像部。
11.一种车辆周边视场支援方法，其特征在于：
对来自设置在第一车辆侧的、在该第一车辆所拖挂的第二车辆侧具有共同视野的第一和第二摄像部的摄像信号进行受理；
生成将基于来自所述第一摄像部的摄像信号的第一图像和基于来自所述第二摄像部的摄像信号的第二图像合成后的合成图像；以及
将基于所述合成图像的显示图像在显示装置上显示。
12.一种车辆周边视场支援方法，其特征在于：
对来自设置在第一车辆侧的、在该第一车辆所拖挂的第二车辆侧具有共同视野的第一和第二摄像部的摄像信号进行受理，并对来自用于拍摄所述第二车辆的后方的第三摄像部的摄像信号进行受理，
在通过对基于来自所述第一摄像部的摄像信号的第一图像和基于来自所述第二摄像部的摄像信号的第二图像进行合成而得到的合成图像内的所述第二车辆的图像部分中，反映基于来自所述第三摄像部的摄像信号的第三图像，由此生成：在所述合成图像中进一步合成了所述第三图像的多重合成图像，
并在显示装置上显示基于所述多重合成图像的显示图像。
CN2007101400783A 2006-08-21 2007-08-14 图像处理装置和车辆周边视场支援装置 Expired - Fee Related CN101132536B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006224444 2006-08-21
JP2006224444 2006-08-21
JP2006-224444 2006-08-21
JP2007158802A JP2008077628A (ja) 2006-08-21 2007-06-15 画像処理装置並びに車両周辺視界支援装置及び方法
JP2007158802 2007-06-15
JP2007-158802 2007-06-15

Publications (2)

Publication Number Publication Date
CN101132536A true CN101132536A (zh) 2008-02-27
CN101132536B CN101132536B (zh) 2011-06-01

Family

ID=38726242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101400783A Expired - Fee Related CN101132536B (zh) 2006-08-21 2007-08-14 图像处理装置和车辆周边视场支援装置

Country Status (4)

Country Link
US (1) US7974444B2 (zh)
EP (1) EP1892150A2 (zh)
JP (1) JP2008077628A (zh)
CN (1) CN101132536B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610401A (zh) * 2009-03-17 2009-12-23 郑仰湖 全景可视泊车系统
CN103310673A (zh) * 2012-03-08 2013-09-18 财团法人工业技术研究院 全周鸟瞰图像产生方法及其训练方法及训练装置
CN105291980A (zh) * 2014-05-27 2016-02-03 曼卡车和巴士股份公司 用于协助商用车的驾驶员的方法以及驾驶员辅助系统
CN105900417A (zh) * 2014-02-12 2016-08-24 住友重机械工业株式会社 图像生成装置及操作支持系统
CN106225723A (zh) * 2016-07-25 2016-12-14 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
CN106463062A (zh) * 2014-04-04 2017-02-22 伟智有限公司 车辆周边图像生成装置及方法
CN106536281A (zh) * 2014-06-17 2017-03-22 罗伯特博世汽车转向有限公司 在监控机动车或机动车组合车辆的行驶时支持驾驶员的方法
CN106537905A (zh) * 2014-08-12 2017-03-22 索尼公司 信号处理设备、信号处理方法和监视系统
CN109070801A (zh) * 2016-04-21 2018-12-21 罗伯特·博世有限公司 使用后置相机的拖车角度检测
CN109941194A (zh) * 2017-12-20 2019-06-28 丰田自动车株式会社 图像显示装置

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
DE102008020839A1 (de) * 2008-04-25 2009-10-29 Daimler Ag Verfahren und Vorrichtung zur Ermittlung einer Position und/oder einer Ausrichtung einer Kamera
US20090271078A1 (en) * 2008-04-29 2009-10-29 Mike Dickinson System and method for identifying a trailer being towed by a vehicle
JP5094597B2 (ja) * 2008-07-02 2012-12-12 本田技研工業株式会社 運転支援装置
DE102008039649A1 (de) 2008-08-26 2009-04-02 Daimler Ag Umgebungserfassungsvorrichtung zur Beobachtung einer Umgebung eines gegliederten Fahrzeuges
US8004576B2 (en) 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
JP5109937B2 (ja) * 2008-11-11 2012-12-26 日産自動車株式会社 車両周辺監視装置および車両周辺監視方法
JP5189568B2 (ja) * 2009-08-10 2013-04-24 日本電信電話株式会社 画像合成装置，画像合成方法および画像合成プログラム
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
WO2011121741A1 (ja) 2010-03-30 2011-10-06 富士通株式会社 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
WO2012017560A1 (ja) * 2010-08-06 2012-02-09 富士通株式会社 画像処理装置および画像処理プログラム
JP5651132B2 (ja) * 2011-01-11 2015-01-07 株式会社アドバンス 口腔内撮影表示システム
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9374562B2 (en) 2011-04-19 2016-06-21 Ford Global Technologies, Llc System and method for calculating a horizontal camera to target distance
US9434414B2 (en) 2011-04-19 2016-09-06 Ford Global Technologies, Llc System and method for determining a hitch angle offset
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9555832B2 (en) 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9500497B2 (en) 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9513103B2 (en) 2011-04-19 2016-12-06 Ford Global Technologies, Llc Hitch angle sensor assembly
US9506774B2 (en) 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US10196088B2 (en) 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US9373044B2 (en) 2011-07-25 2016-06-21 Ford Global Technologies, Llc Trailer lane departure warning system
KR20130084720A (ko) * 2012-01-18 2013-07-26 삼성전기주식회사 영상 처리 장치 및 방법
DE102012001835B4 (de) 2012-01-31 2023-03-02 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
US9154746B2 (en) 2012-07-20 2015-10-06 Scott Kageta Rear camera system for a vehicle with a trailer
US9511799B2 (en) 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
US9592851B2 (en) 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system
DE102013002079A1 (de) * 2013-02-06 2014-08-07 Volvo Construction Equipment Germany GmbH Baumaschine
JP2013211035A (ja) * 2013-05-20 2013-10-10 Denso Corp 車両周辺表示装置
DE102013214368A1 (de) 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
DE102014000978A1 (de) * 2014-01-25 2015-07-30 Audi Ag Verfahren und Vorrichtung zur Steuerung eines Gespanns in einen Parkraum
US20150286878A1 (en) * 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
US9963004B2 (en) 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US9517668B2 (en) 2014-07-28 2016-12-13 Ford Global Technologies, Llc Hitch angle warning system and method
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method
US10686976B2 (en) 2014-08-18 2020-06-16 Trimble Inc. System and method for modifying onboard event detection and/or image capture strategy using external source data
US9714037B2 (en) 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US10161746B2 (en) 2014-08-18 2018-12-25 Trimble Navigation Limited Systems and methods for cargo management
GB2529408B (en) * 2014-08-18 2019-01-30 Jaguar Land Rover Ltd Display system and method
DE102014015753A1 (de) * 2014-10-23 2016-04-28 Man Truck & Bus Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeug-Gespanns, insbesondere eines Nutzfahrzeug-Gespanns
US9522677B2 (en) 2014-12-05 2016-12-20 Ford Global Technologies, Llc Mitigation of input device failure and mode management
DE102014018040A1 (de) * 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
US9522699B2 (en) 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9616923B2 (en) 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
US9804022B2 (en) 2015-03-24 2017-10-31 Ford Global Technologies, Llc System and method for hitch angle detection
US9821845B2 (en) 2015-06-11 2017-11-21 Ford Global Technologies, Llc Trailer length estimation method using trailer yaw rate signal
US9860445B2 (en) 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
US10373378B2 (en) 2015-06-26 2019-08-06 Paccar Inc Augmented reality system for vehicle blind spot prevention
TWI536313B (zh) * 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法
US10204159B2 (en) 2015-08-21 2019-02-12 Trimble Navigation Limited On-demand system and method for retrieving video from a commercial vehicle
GB2541906A (en) * 2015-09-02 2017-03-08 Jaguar Land Rover Ltd Display system and method
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
US10611407B2 (en) 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
JP3202242U (ja) * 2015-11-10 2016-01-28 秋男 田中 安全走行をするための確認装置及びそれを備えた連結車両
US10017115B2 (en) 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
US9796228B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US9798953B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US9610975B1 (en) 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9827818B2 (en) 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US10155478B2 (en) 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
US10005492B2 (en) 2016-02-18 2018-06-26 Ford Global Technologies, Llc Trailer length and hitch angle bias estimation
DE102016003233A1 (de) * 2016-03-16 2017-09-21 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug, insbesondere Nutzfahrzeug
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
US10106193B2 (en) 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
MX2019000060A (es) * 2016-07-13 2019-04-01 Sony Corp Dispositivo generador de imagenes, metodo para la generacion de imagenes, y programa.
DE102016114689A1 (de) 2016-08-09 2018-02-15 Connaught Electronics Ltd. Verfahren zum Unterstützen des Fahrers eines Kraftfahrzeugs beim Rangieren des Kraftfahrzeugs mit einem Anhänger, Fahrerassistenzsystem sowie Gespann
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
SE540160C2 (en) 2016-09-13 2018-04-17 Stoneridge Electronics Ab Automatic panning system
WO2018057839A1 (en) 2016-09-22 2018-03-29 Apple Inc. Vehicle Video System
US10306289B1 (en) 2016-09-22 2019-05-28 Apple Inc. Vehicle video viewing systems
US10887653B2 (en) 2016-09-26 2021-01-05 Cyberlink Corp. Systems and methods for performing distributed playback of 360-degree video in a plurality of viewing windows
US10222804B2 (en) 2016-10-21 2019-03-05 Ford Global Technologies, Llc Inertial reference for TBA speed limiting
US10313584B2 (en) 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
EP3355293A1 (en) * 2017-01-27 2018-08-01 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH A sensor arrangement and a method for detecting an object around a trailer of a vehicle
US10706291B2 (en) * 2017-03-03 2020-07-07 Magna Electronics Inc. Trailer angle detection system for vehicle
JP6488533B2 (ja) * 2017-08-21 2019-03-27 アールアンドピー株式会社 分離可能な車両の車載カメラ装置。
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
JP2019069722A (ja) * 2017-10-10 2019-05-09 アイシン精機株式会社 駐車支援装置
US11591018B2 (en) 2017-10-10 2023-02-28 Aisin Corporation Parking assistance device
DE102018201027B4 (de) * 2018-01-23 2021-09-30 Continental Automotive Gmbh Kamera-Monitor-System sowie Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US11077795B2 (en) 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US10829046B2 (en) 2019-03-06 2020-11-10 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US11417116B2 (en) * 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
DE102019122086A1 (de) 2019-08-16 2021-02-18 Connaught Electronics Ltd. Fahrerassistenz für eine Kombination
GB2586803B (en) * 2019-09-03 2022-02-16 Jaguar Land Rover Ltd Control system and method
US10882468B1 (en) * 2019-10-29 2021-01-05 Deere & Company Work vehicle composite panoramic vision systems
CN112131898A (zh) * 2020-09-23 2020-12-25 创新奇智(青岛)科技有限公司 一种扫码设备及图形码识别方法
EP4244648A4 (en) * 2020-11-16 2024-10-16 Isee Inc SENSOR SYSTEM FOR TRACTOR TRAILERS
DE102021201525A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
EP4382363A1 (en) * 2021-08-06 2024-06-12 Shanghai Yuxing Electronics Technology Co., Ltd Display system and method for compensating blind area of field of view in rearview mirror of tractor-trailer

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4277804A (en) * 1978-11-01 1981-07-07 Elburn Robison System for viewing the area rearwardly of a vehicle
DE4029890C2 (de) * 1990-09-21 1999-03-11 Mekra Lang Gmbh & Co Kg Rückblick-Einrichtung für Kraftfahrzeuge
US5917405A (en) * 1993-06-08 1999-06-29 Joao; Raymond Anthony Control apparatus and methods for vehicles
JPH0713588A (ja) 1993-06-28 1995-01-17 Oki Electric Ind Co Ltd ヒドン・マルコフ・モデルの学習方法
JP2604387Y2 (ja) 1993-08-12 2000-05-08 日産ディーゼル工業株式会社 後方確認装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP2000331151A (ja) 1999-05-25 2000-11-30 Nec Corp 画像処理方法、画像歪み補正処理装置、及びそのプログラムを記録した記録媒体
US6450523B1 (en) * 1999-11-23 2002-09-17 Nathan E. Masters Steering method for a trailing section of an articulated vehicle
JP3545297B2 (ja) 1999-12-24 2004-07-21 三洋電機株式会社 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3674473B2 (ja) 2000-08-03 2005-07-20 いすゞ自動車株式会社 車両後方視界支援装置
JP2002181518A (ja) 2000-10-02 2002-06-26 Isuzu Motors Ltd トレーラ連結角検出装置
JP2002120775A (ja) 2000-10-19 2002-04-23 Isuzu Motors Ltd トレーラ連結角検出装置
JP2003235036A (ja) 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
JP2004046573A (ja) 2002-07-12 2004-02-12 Sanyo Electric Co Ltd チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005533321A (ja) * 2002-07-17 2005-11-04 フィコ ミロールス，エセ ア 車両の安全境界の能動監視のための装置及び方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610401A (zh) * 2009-03-17 2009-12-23 郑仰湖 全景可视泊车系统
CN103310673A (zh) * 2012-03-08 2013-09-18 财团法人工业技术研究院 全周鸟瞰图像产生方法及其训练方法及训练装置
US9082315B2 (en) 2012-03-08 2015-07-14 Industrial Technology Research Institute Surrounding bird view monitoring image generation method and training method, automobile-side device, and training device thereof
CN103310673B (zh) * 2012-03-08 2015-07-15 财团法人工业技术研究院 全周鸟瞰图像产生方法及其训练方法及训练装置
CN105900417A (zh) * 2014-02-12 2016-08-24 住友重机械工业株式会社 图像生成装置及操作支持系统
CN105900417B (zh) * 2014-02-12 2019-05-07 住友重机械工业株式会社 图像生成装置及操作支持系统
CN106463062A (zh) * 2014-04-04 2017-02-22 伟智有限公司 车辆周边图像生成装置及方法
CN105291980A (zh) * 2014-05-27 2016-02-03 曼卡车和巴士股份公司 用于协助商用车的驾驶员的方法以及驾驶员辅助系统
CN105291980B (zh) * 2014-05-27 2020-06-05 曼卡车和巴士股份公司 用于协助商用车的驾驶员的方法以及驾驶员辅助系统
CN106536281A (zh) * 2014-06-17 2017-03-22 罗伯特博世汽车转向有限公司 在监控机动车或机动车组合车辆的行驶时支持驾驶员的方法
CN106537905A (zh) * 2014-08-12 2017-03-22 索尼公司 信号处理设备、信号处理方法和监视系统
CN106537905B (zh) * 2014-08-12 2020-07-03 索尼公司 信号处理设备、信号处理方法和监视系统
CN109070801A (zh) * 2016-04-21 2018-12-21 罗伯特·博世有限公司 使用后置相机的拖车角度检测
CN109070801B (zh) * 2016-04-21 2021-12-21 罗伯特·博世有限公司 使用后置相机的拖车角度检测
CN106225723B (zh) * 2016-07-25 2019-03-29 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
CN106225723A (zh) * 2016-07-25 2016-12-14 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
CN109941194A (zh) * 2017-12-20 2019-06-28 丰田自动车株式会社 图像显示装置
CN109941194B (zh) * 2017-12-20 2022-04-15 丰田自动车株式会社 图像显示装置

Also Published As

Publication number Publication date
US7974444B2 (en) 2011-07-05
CN101132536B (zh) 2011-06-01
US20080044061A1 (en) 2008-02-21
EP1892150A2 (en) 2008-02-27
JP2008077628A (ja) 2008-04-03

Similar Documents

Publication Publication Date Title
CN101132536B (zh) 图像处理装置和车辆周边视场支援装置
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US7365653B2 (en) Driving support system
JP6558989B2 (ja) 車両用電子ミラーシステム
US8854466B2 (en) Rearward view assistance apparatus displaying cropped vehicle rearward image
JP5132249B2 (ja) 車載用撮像装置
CN110877572A (zh) 周边监视装置
JP7039879B2 (ja) 表示制御装置
JP2008296697A (ja) 駐車支援装置
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
US20090102922A1 (en) On-vehicle image pickup apparatus
CN111095921A (zh) 显示控制装置
EP3967554B1 (en) Vehicular display system
JP2007028445A (ja) 画像表示システム
US20190176698A1 (en) Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination
JP7013751B2 (ja) 画像処理装置
JP2008037118A (ja) 車両用表示装置
US8384779B2 (en) Display device for vehicle
CN1825951A (zh) 车辆周围环境观察装置
JP2009083744A (ja) 合成画像調整装置
JP3830025B2 (ja) 描画装置
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP2016136326A (ja) 情報表示装置および情報表示方法
JP6785480B2 (ja) 画像合成装置、及び、制御方法
JP2013197816A (ja) 車載画像表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110601

Termination date: 20140814

EXPY Termination of patent right or utility model