CN109314766A - 图像生成装置以及程序 - Google Patents

图像生成装置以及程序 Download PDF

Info

Publication number
CN109314766A
CN109314766A CN201780036175.XA CN201780036175A CN109314766A CN 109314766 A CN109314766 A CN 109314766A CN 201780036175 A CN201780036175 A CN 201780036175A CN 109314766 A CN109314766 A CN 109314766A
Authority
CN
China
Prior art keywords
image
mentioned
vehicle
periphery
superimposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780036175.XA
Other languages
English (en)
Inventor
雨谷匡之
松本宗昭
横田昇幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN109314766A publication Critical patent/CN109314766A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

图像生成部(S9)使用图像获取部获取到的拍摄车辆的周边的图像来生成从在车辆的外部设定的虚拟视点观察车辆以及周边的图像。轨迹预测部(S5)基于车辆的驾驶状态来预测车辆的行驶轨迹。图像合成部(S11)将图像生成部生成的图像中的车辆的图像以及预测出的行驶轨迹的图像中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像以及图像生成部生成的图像中的周边的图像上。

Description

图像生成装置以及程序
相关申请的交叉引用
本国际申请主张基于2016年6月13日向日本专利厅申请的日本专利申请第2016－117010号的优先权，并在本国际申请中通过参照引用日本专利申请第2016－117010号的全部内容。
技术领域
本公开涉及生成车辆以及与该车辆的周边对应的图像的技术。
背景技术
在下述专利文献1中记载了基于经由搭载在车辆上的相机拍摄该车辆的周边而成的图像和预先准备的该车辆的车顶等的图像来生成从在该车辆的外部设定的虚拟视点观察该车辆以及该车辆的周边的图像的技术。上述虚拟视点是虚拟地设定的视点，例如若设定为包括上述车辆整体的三维空间中的车辆的斜上方等，则能够把握车辆和其周边的状况的关系。
专利文献1:国际公开00/07373号
另一方面，也已知一种在车辆后退时等，将根据转向角等所预测的该车辆的行驶轨迹叠加在拍摄车辆的后方周边而成的图像上并进行显示的技术。然而，发明人的详细研究的结果是发现了在专利文献1所记载的技术中，将从虚拟视点观察车辆以及该车辆的周边的图像(以下，也称为3D视图)单纯地叠加在上述行驶轨迹上并进行显示的话，成为不易明白的图像这个课题。
发明内容
本公开的一个方面希望能够识别从虚拟视点观察车辆以及该车辆的周边的图像和预测的车辆的行驶轨迹这两方。
本公开的一个方面是具备图像获取部、图像生成部、轨迹预测部、图像合成部的图像生成装置。
图像获取部构成为获取拍摄车辆的周边而成的图像。图像生成部构成为使用上述图像获取部获取到的图像来生成从在上述车辆的外部设定的虚拟视点观察上述车辆以及上述周边的图像。轨迹预测部构成为基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹。图像合成部构成为生成将上述图像生成部生成的图像中的上述车辆的图像以及上述轨迹预测部预测出的行驶轨迹的图像中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像上而成的图像作为输出图像。
根据这样的结构，将从上述虚拟视点观察上述车辆以及上述周边的图像中的表示上述车辆的图像以及上述预测出的车辆的行驶轨迹的图像中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像上。而且，由于这些图像从上方叠加到上述周边的图像上，所以能够识别从虚拟视点观察车辆以及该车辆的周边的图像和预测的车辆的行驶轨迹这两方。其结果为，车辆和周边的状况的关系、以及针对该车辆所预测的行驶轨迹和周边的状况的关系都能够良好地把握。
另外，对于本公开的另一方面而言，上述图像生成部构成为使用上述图像获取部获取到的图像和根据上述车辆而预先准备的具有透过性的上述车辆的图像(B、T)来生成从在上述车辆的外部设定的虚拟视点(V)观察上述周边以及被赋予透过性的上述车辆的图像。上述图像生成部构成为生成将上述图像生成部生成的图像中的上述车辆的图像从上方叠加在上述轨迹预测部预测出的行驶轨迹的图像(K)上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像(H)上而成的图像作为输出图像。
该情况下，由于将具有透过性的车辆的图像从上方叠加在轨迹的图像上而成的图像被从上方叠加在周边的图像上，所以能够识别从虚拟视点观察车辆以及该车辆的周边的图像和预测的车辆的行驶轨迹这两方。其结果为，车辆和周边的状况的关系、以及针对该车辆所预测的行驶轨迹和周边的状况的关系都能够良好地把握。
此外，权利要求书所记载的括号内的符号示出与作为一个方式后述的实施方式所记载的具体单元的对应关系，并不对本公开的技术范围进行限定。
附图说明
图1是表示第一实施方式的图像生成装置的结构的框图。
图2是示意性地表示该图像生成装置的相机的配置的说明图。
图3是表示由该图像生成装置进行的显示处理的流程图。
图4是表示该显示处理的显示结果的一个例子的说明图。
图5是表示第二实施方式的图像生成装置的结构的框图。
图6是表示该图像生成装置中的显示状态的一个例子的说明图。
图7是表示由该图像生成装置进行的显示处理的流程图。
图8是表示该显示处理中的虚拟视点的变更例子的说明图。
图9是表示该显示处理中的虚拟视点的其它变更例子的说明图。
图10是表示各实施方式中的行驶轨迹显示的变形例的说明图。
图11是表示各实施方式中的行驶轨迹显示的其它变形例的说明图。
具体实施方式
以下，参照附图，对一个实施方式进行说明。此外，在本说明书中，具有透过性的图像意味该图像的一部分被透明化，或该图像的一部分或者全部被半透明化的图像，不包括该图像的整体被透明化而无法识别该图像的图像。
[1.第一实施方式]
[1－1.结构]
图1所示的第一实施方式的图像生成装置100具备相机3A－3D、显示装置5和ECU10。此外，如图1所示，相机3A是指前相机3A，相机3B是指右相机3B，相机3C是指左相机3C，相机3D是指后相机3D。该图像生成装置100是图2所示的搭载在车辆1上的相机，前相机3A被设置在车辆1的前方，右相机3B被设置在车辆1的右方，左相机3C被设置在车辆1的左方，后相机3D被设置在车辆1的后方。前相机3A例如可以配置在车辆1的机罩的前端中央。后相机3D例如可以配置在车辆1的后方的车牌号码上方。右相机3B以及左相机3C例如分别配置在左右车外后视镜上方。相机3A－3D也可以都是广角相机。
作为显示装置5，可以利用利用液晶的显示装置、利用有机EL元件的显示装置等各种显示装置。另外，显示装置5可以是单色的显示装置，也可以是彩色的显示装置。另外，显示装置5也可以通过在表面具备压电元件等而构成为触摸面板。另外，显示装置5也可以兼作车辆导航装置、音频设备等为了其它车载设备而设置的显示装置。
ECU10以具备图示省略的CPU、和RAM、ROM、闪存等半导体存储器(以下，存储器20)的公知的微型计算机为中心而构成。ECU10的各种功能通过CPU执行储存在非迁移的实体的记录介质中的程序来实现。在该例子中，存储器20符合储存有程序的非迁移的实体的记录介质。另外，通过执行该程序来执行与程序对应的方法。此外，构成ECU10的微型计算机的数量可以是一个，也可以是多个。另外，ECU10具备用于维持存储器20中的RAM的存储或驱动CPU的电源30。
ECU10具备相机影像输入处理部(以下，输入处理部)11、图像处理部13、影像输出信号处理部(以下，输出处理部)15和车辆信息信号处理部(以下，信息处理部)19作为CPU执行程序而实现的功能的构成。实现构成ECU10的这些的要素的方法并不限于软件，也可以使用组合了逻辑电路、模拟电路等的硬件来实现其一部分或者全部的要素。
输入处理部11从相机3A－3D输入与相机3A－3D拍摄到的影像对应的信号，并将该信号变换为能够在ECU10中作为图像数据而处理的信号。图像处理部13对从输入处理部11输入的信号实施后述那样的加工处理(以下，称为显示处理)，并向输出处理部15输出。输出处理部15根据从图像处理部13输入的信号来生成显示装置5的驱动信号，并向该显示装置5输出。信息处理部19经由图示省略的车内LAN等来获取车辆1的换挡位置、车速、转向角等数据(以下，也称为车辆信息)，并向图像处理部13输出。此外，车辆的驾驶状态是指由车辆信息表示的车辆的状态。存储器20除了上述程序之外还储存表示车辆1的车顶等外形等的内部参数。
[1－2.处理]
接下来，使用图3的流程图，对图像处理部13执行的显示处理进行说明。此外，在车辆1的电源接通时由驾驶员进行规定的操作时开始该处理。此外，规定的操作可以是将换挡位置放在R(即后退)的操作，也可以是按下用于启动该显示处理的开关或者按钮的操作，还可以是其它的操作。另外，对于车辆1的电源接通，在车辆1为电动汽车或者混合动力车的情况下，照字面意思是指电源开关处于接通的状态的状态，在车辆1为通过内燃机行驶的车辆的情况下，是指按键被配置在ACC或者ON的位置的状态。
如图3所示，若开始该处理，则执行S1的处理、S3以及S5的处理和S7以及S9的处理作为并行处理。在S1的处理中，准备车辆1的车顶的形状等这样的不需要更新的图像。该处理通过从存储器20读出适当的数据而进行。例如，通过本处理，将从配置在车辆1的前方斜上方的虚拟视点观察车辆1以及其周边的3D视图显示于显示装置5的情况下，车辆1的车体B的形状例如是图4中虚线所例示那样的形状，不需要更新。在S1中，准备那样的图像的数据。
在S3、S5的处理中，首先，在S3中，获取换挡位置、车速、转向角等车辆信息，在接下来的S5中，基于该车辆信息来描绘车辆1的轨迹。在S5的处理中，基于在S3中获取到的车辆信息来预测车辆1的行驶轨迹(以下，也仅称为轨迹)，该轨迹例如描绘在存储器20中所设置的图像缓冲器中。此外，在该S5中所描绘的轨迹可以是车辆1的车体B整体的轨迹，也可以是全部的车轮T的轨迹，还可以如图4所例示的轨迹K那样是后方的车轮T的轨迹(即，一部分的车轮T的轨迹)。另外，在该S5中，可以基于在S3中作为车辆信息而被获取的转向角等来计算各车轮T相对于车体B的角度(即方向)，并以该角度将车轮T描绘在上述图像缓冲器中。
在S7、S9的处理中，首先，在S7中，将与四个相机3A、3B、3C、3D拍摄到的影像对应的图像数据输入至输入处理部11，在接下来的S9中，进行针对该图像数据的图像处理，从而合成从上述虚拟视点观察车辆1的周边的3D视图的图像。例如，在S9中，通过使四个相机3A、3B、3C、3D拍摄到的影像变形、结合，从而合成图4中例示为背景H那样的图像。此外，此时，对于车辆1的侧面等进入到相机3A－3D的拍摄范围的车体B或者车轮T，可以基于该拍摄结果来合成图像，也可以在接下来的S11中使用与在S1中预先准备的数据对应的图像。
这样，若分别执行S1的处理、S3以及S5的处理和S7以及S9的处理作为并行处理，则处理移至S11，作为并行处理而将通过上述各处理所生成的图像重叠。此时，若将各图像单纯地重叠，则轨迹K的大部分被车体B覆盖，只显示远方的轨迹K。该情况下，车辆1的驾驶员难以推测近距离处的车辆1的动作。
因此，在S11中，尽管S5中描绘出的轨迹K的图像被保持原样地叠加在S9中所生成的背景H的图像的上方，但使得车轮T以及车体B的图像半透明化或者部分透明化地叠加在背景H以及轨迹K的图像上。作为该半透明化或者透明化的方式，考虑各种方式。
例如，车轮T以及车体B的图像如图4所例示那样，可以设为用虚线示出轮廓的图像，并叠加在背景H以及轨迹K的图像上。即，车轮T以及车体B的图像设为使轮廓以外的部分完全透明化的图像并叠加。此外，轮廓可以是实线、点划线等。另外，在S11中，可以进行在背景H以及轨迹K的图像上重叠车轮T以及车体B的图像，为每个表示车轮T以及车体B的像素设定规定的透过度(即阿尔法值)并合成的所谓阿尔法混合。该透过度的设定与半透明化对应。另外，可以以明白轨迹K的程度对车轮T以及车体B的一部分进行这样的半透明化或者透明化。另外，也可以仅对车体B进行透明化或者半透明化，车轮T既不进行透明化也不进行半透明化。另外，S11的处理也可以是对轨迹K的图像实施前述那样的半透明化或者透明化而从上方叠加在车轮T以及车体B的图像的处理。另外，不对驾驶操作带来影响的车体B的一部分可以省略图像本身。
这样一来，与S11进行的重叠结束的图像对应的数据在接下来的S13中经由输出处理部15被输出至显示装置5，处理移至前述的并行处理(即，S1、S3、S7)。
[1－3.效果]
根据以上详述的第一实施方式，获得以下的效果。
(1A)在本实施方式中，使从上述虚拟视点观察到的3D视图的图像中的车体B的图像以及上述预测出的车辆的轨迹K的图像中的任意一方的图像至少一部分半透明化或者透明化(即被赋予透过性)，并从上方叠加在另一方的图像上。其结果为，将能够良好地识别出车体B的图像和轨迹K的图像这两方的图像显示于显示装置5。而且，由于这些图像被叠加在背景H的图像上，所以车辆1和周边的状况的关系以及对该车辆1所预测的轨迹K和周边的状况的关系都能够良好地把握。因此，车辆1的驾驶员能够容易地预测本车(即车辆1)的动作。另外，驾驶员能够良好地把握以往较难的从近距离到远距离的本车的预测动作。
(1B)另外，在图4所示的例子中，将从在车辆1的前方斜上方配置的虚拟视点观察到的3D视图显示于显示装置5。该情况下，车辆1的后退时的车辆1和周边的状况的关系以及对该车辆1所预测的轨迹K和周边的状况的关系都能够极好地把握。另外，在将虚拟视点配置在车辆1的斜上方的情况下，与被配置在车辆1的正上方的情况相比，车体B和轨迹K的叠加变大。因此，如前述那样，更显著地表现出使车体B以及轨迹K中的任意一方半透明化或者透明化的效果。
(1C)另外，如图4所例示，对车轮T以及车体B的3D视图进行显示，至少车体B被半透明化或者透明化，进一步在将各车轮T相对于车体B的角度设为与转向角对应的角度的情况下，容易把握转向角和轨迹K的关系。因此，驾驶员能够良好地把握当调整转向角时预测的轨迹K如何变化。
此外，在上述实施方式中，前相机3A、右相机3B、左相机3C以及后相机3D与图像获取部对应，ECU10与图像生成部、轨迹预测部以及图像合成部对应。另外，ECU10的处理中，S1以及S9是与图像生成部对应的处理，S5是与轨迹预测部对应的处理，S10是与图像合成部对应的处理。
[2.第二实施方式]
[2－1.与第一实施方式的不同点]
第二实施方式的基本的构成与第一实施方式相同，对于相同的构成省略说明，以不同点为中心进行说明。此外，与第一实施方式相同的符号表示相同的结构，参照先前的说明。
在前述的第一实施方式中，设为显示装置5可以仅具有显示的功能或可以是触摸面板。与此相对，在第二实施方式中，如图5所示，在使用触摸面板50作为显示装置5，并将表示其操作状态的信号输入到图像处理部13这一点上与第一实施方式不同。
另外，在该触摸面板50中，在显示3D视图时，显示图6所示那样的箭头按钮51～54。箭头按钮51是用于使虚拟视点向上移动的按钮。箭头按钮52是用于使虚拟视点向右移动的按钮。箭头按钮53是用于使虚拟视点向下移动的按钮。箭头按钮54是用于使虚拟视点向左移动的按钮。若箭头按钮51～54的任一被手指F按下，则将该信息输入至图像处理部13。
此外，在图6中，将箭头按钮51～54配置在触摸面板50的右下角，但并不限于此，只要是在驾驶员观察3D视图时难以妨碍的形态即可，可以任意配置。例如，可以配置在上下左右一侧的角落，只要是半透明化等3D视图没有被隐藏的形态的显示则可以显示在触摸面板50的中央。
[2－2.处理]
接下来，使用图7的流程图，对第二实施方式中的图像处理部13代替图3所示的第一实施方式中的显示处理而执行的显示处理进行说明。此外，图7所示的处理在追加S101～S107的处理的点上与图3的处理不同，与此对应地S1、S5、S9的处理也进行若干的变更，成为S1A、S5A、S9A。以下，对这些的变更点进行说明。
在该显示处理中，在处理的开始时以及S13的处理的结束时，执行S101的处理。在S101中判断箭头按钮51～54的任一是否被按下。在S101中判断为箭头按钮51～54的任一被按下(即，是)的情况下，处理移至S103。在S103中，根据箭头按钮51～54中被按下的箭头按钮来变更虚拟视点的极坐标即θ或者
例如，如图8所示，将与支承车辆1的地面G(例如路面)垂直且通过车辆1的中心的朝上的轴设为Z轴，将虚拟视点V相对于该Z轴的倾斜角(即极角)设为θ。在S103中，在箭头按钮51被按下时，进行以减小θ的方式变更虚拟视点V的位置的处理，在箭头按钮53被按下时，进行以增大θ的方式变更虚拟视点V的位置的处理。此外，θ能够在0°≤θ≤90°的范围中变更，在超过该范围来变更θ那样的进行箭头按钮51或者53的按下的情况下，忽略该按下。
另外，例如如图9所示，将通过车辆1的中心且朝向该车辆1的前方的轴设为X轴，将从该X轴俯视逆时针测出的方位角设为在S103中，在箭头按钮52被按下时，进行以增大的方式变更虚拟视点V的位置的处理，在箭头按钮54被按下时，进行以减小的方式变更虚拟视点V的位置的处理。此外，能够在的范围中变更，在超过该范围来变更那样的进行箭头按钮52或者54的按下的情况下，进行将－180°和+180°视为相同的处理。
S103的处理结束后，或者，在S101中判断为箭头按钮51～54都未被按下(即，否)的情况下，执行S1A的处理、S105以及S107以及S3以及S5A的处理、和S7以及S9A的处理作为并行处理。
在S1A中，与第一实施方式中的S1不同，基于在S103中所设定的θ、根据在该时刻所设定的虚拟视点V的位置来进行车辆1的车顶的形状等这样的不需要更新的图像的准备。S9A也同样地与第一实施方式中的S9不同，基于在S103中所设定的θ、进行对从在该时刻所设定的虚拟视点V观察到的3D视图的图像进行合成的图像处理。
另外，在插入到第一实施方式中的S3的前一步骤的S105中，判断θ是否是预先被设定为阈值的θ1以下。该θ1表示成为即使显示轨迹K的图像但几乎不存在上下方向的大小的图像，显示该图像的意义变少的角度，例如被设定为图8所例示的角度。
因此，在S105中判断为θ大于θ1的情况下，在S107中删除至此所描绘的轨迹K的图像，处理移至前述的S11。另外，在S105中判断为θ为θ1以下的情况下，处理移至与第一实施方式相同的S3，获取车辆信息。在接下来S3的S5A中，与第一实施方式中的S5不同，基于在S103中所设定的θ、描述从在该时刻所设定的虚拟视点V观察到的形状的轨迹K。
[2－3.效果]
根据以上详述的第二实施方式，除了前述的第一实施方式的效果(1A)～(1C)之外，还获得以下的效果。
(2A)在本实施方式中，通过按下箭头按钮51～54，能够自由地调整虚拟视点V的位置。因此，车辆1和周边的状况的关系以及针对该车辆1所预测的轨迹K和周边的状况的关系都能够从在驾驶员的所希望的位置配置的虚拟视点V良好地显示。换言之，车辆1和周边的状况的关系、以及针对该车辆1所预测的轨迹K和周边的状况的关系都能够从驾驶员想要观察的角度良好地把握。
(2B)而且，在虚拟视点V的位置较低(即，θ较大)，显示从该位置观察到的轨迹K的意义较少的情况下，不显示轨迹K。因此，能够抑制在图像处理部13中进行不必要的处理。此外，这样成为是否显示轨迹K的阈值的θ1即使在制造时被设定为适当的角度，也可以由驾驶员设定为所希望的角度，但例如根据车辆1中的将车顶的前端和后轮的中心连结的线的角度这样的基准来设定。此外，在上述第二实施方式中，箭头按钮51～54与视点设定部对应。
[3.其它实施方式]
以上，对用于实施本公开的方式进行了说明，本公开并不限于上述的实施方式，能够进行各种变形来实施。
(3A)在图4的例子中，用全面涂布的单一色描绘轨迹K，但本公开并不限于此。轨迹K的描绘形态可以根据该轨迹K的置信度等在各部变化。例如，如图10所例示，可以在置信度低的部分(例如距车辆1较远的部分)中，用虚线描绘轨迹K，置信度越低则虚线的缝隙越多。另外，如图11所例示，也可以以置信度越低则颜色越薄的方式将轨迹K描绘为具有渐变的图像。该情况下，也可以是色调变化，来代替颜色的浓度变化。对于这样的处理而言，如果在S5或者S5A中预测轨迹时，也针对轨迹的每个部位计算该预测中的置信度，只要根据该置信度来变更轨迹K的各部位的描绘形态则可以实现。该情况下，驾驶员能够良好地识别轨迹K的各部位的置信度。
(3B)在第二实施方式中，通过按下箭头按钮51～54来变更虚拟视点V的位置，但本公开并不限于此。例如，可以以车辆1的速度越大则θ越大的方式自动调整虚拟视点V的位置。该情况下，例如，在将虚拟视点V配置在车辆1的前方斜上方的情况下，车辆1的后退速度越大则能够显示越远的背景H。该情况下，不需要使用触摸面板50，框图与第一实施方式相同。另外，这样的处理能够通过如下的方式实现：在图9的S101中判断车速是否变化，并在车速变化的情况下，在S103中根据车速来变更θ的值。
(3C)在上述各实施方式中，显示车轮T以及车体B，且车轮T相对于车体B的角度被设为与转向角对应的值，但本公开并不限于此。例如，车轮T相对于车体B的角度可以是固定值，也可以不显示车轮T。另外，在不显示车轮T的情况下，可以利用计算机图形等方法，变换为车轮T隐藏于车体B那样的图像等进行向不给驾驶员带来不协调的图像的变换。
(3D)在第一实施方式中，在车辆1的前方斜上方配置虚拟视点，但固定配置虚拟视点的情况下的配置并不限于此。例如，虚拟视点可以固定配置在车辆1的正上方，也可以固定配置车辆1的后方斜上方、右方斜上方等其它位置。
(3E)在上述各实施方式中，使用车辆1所具备的四个相机3A－3D来生成3D视图的图像，但本公开并不限于此。例如，使用的相机可以为五个以上。另外，即使在仅使用一个车辆1所具备的相机的情况下，也存在通过利用过去的拍摄图像能够生成3D视图的图像的情况。另外，如果采用如下那样的结构，则也可以完全不使用车辆1所具备的相机。例如，可以使用基础设施所具备的相机、其它车辆所具备的相机、搭载在其它车辆上的驾驶记录仪等所具备的相机等设置在车辆1以外的相机来生成3D视图。该情况下，图像处理部13通过通信等获取上述相机的拍摄图像。该情况下，从车辆1的外部通过通信等获取图像的接收装置与图像获取部对应。
(3F)在上述各实施方式中，在S11中，3D视图的图像中的车体B的图像以及上述预测出的车辆的轨迹K的图像中的任意一方的图像被赋予透过性，并从上方被叠加在另一方的图像上，但本公开并不限于此。例如，如果在S1或者S1A中所准备的车体B等的图像是从被储存在存储器20中时已经充分地被赋予透过性的图像(即，原本具有透过性的图像)，则那样的图像在S11中被单纯地叠加在周边H的图像上即可。
(3G)可以通过多个构成要素来实现上述实施方式中的一个构成要素具有的多个功能，或通过多个构成要素来实现一个构成要素具有一个功能。另外，也可以通过一个构成要素来实现多个构成要素具有的多个功能，或通过一个构成要素来实现由多个构成要素实现的一个功能。另外，可以省略上述实施方式的结构的一部分。另外，也可以对其它上述实施方式的结构附加或者置换上述实施方式的结构的至少一部分。此外，仅由权利要求书所记载的语句确定的技术思想所包括的所有方式都是本公开的实施方式。
(3H)除了上述的图像生成装置100之外，也能够以将该图像生成装置100作为构成要素的系统、用于使计算机作为该图像生成装置100发挥作用的程序、记录有该程序的半导体存储器等非迁移的实体记录介质、图像生成方法等各种方式实现本公开。
[4.补充]
此外，从以上说明的例示的实施方式可知，本公开的图像生成装置100还可以具备以下所例举的结构。
(4A)上述图像生成部可以构成为生成从在上述车辆的斜上方设定的虚拟视点观察上述车辆的整体以及上述车辆周边的图像。该情况下，更显著地表现出将车辆的图像以及预测出的行驶轨迹中的任意一方设为具有透过性的图像的效果。
(4B)另外，通过上述图像合成部在上述周边的图像上从上方叠加的上述车辆的图像是在上述车辆的各车轮的图像(T)上从上方叠加上述车辆的车体的图像(B)而成的图像，上述车体的图像也可以是被赋予透过性的图像。该情况下，通过将车体的图像设为具有透过性的图像，能够识别车轮的方向，容易把握转向角和行驶轨迹的关系。
(4C)另外，还可以具备构成为设定上述虚拟视点的位置的视点设定部(51、52、53、54)。该情况下，车辆和周边的状况的关系以及预测的行驶轨迹和周边的状况的关系能够从所希望的角度良好地把握。
(4D)而且，在(4C)的情况下，在相对于上述车辆的正上方方向的倾斜角大于预先设定的规定值的位置经由上述视点设定部设定上述虚拟视点的情况下，上述轨迹预测部(10、5A)不进行上述行驶轨迹的预测，上述图像合成部可以构成为将上述图像生成部(10、S9A、S1)生成的图像保持原样地作为输出图像。该情况下，能够抑制在轨迹预测部以及图像合成部中进行不必要的处理。此处，“正上方方向”并不限于在精确的含义下与重力相反方向，只要起到目标的效果则可以不必严格正上方方向。例如，如上述第二实施方式那样，可以是相对于地面G的垂直方向，也可以是与其相比再向任意的方向稍微倾斜的方向。
(4E)另外，上述轨迹预测部构成为针对上述行驶轨迹的每个部位，计算上述预测的置信度，上述图像合成部也可以构成为将上述行驶轨迹中的各个部位的图像作为与上述置信度对应的形态的图像，并与上述图像生成部生成的图像叠加。该情况下，能够良好地识别行驶轨迹中的各个部位的置信度。

Claims (9)

1.一种图像生成装置，该图像生成装置(100)具备：
图像获取部(3A、3B、3C、3D)，构成为获取拍摄车辆(1)的周边而成的图像；
图像生成部(10、S9、S9A、S1、S1A)，构成为使用上述图像获取部获取到的图像来生成从在上述车辆的外部设定的虚拟视点(V)观察上述车辆以及上述周边的图像；
轨迹预测部(10、S5、S5A)，构成为基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹；以及
图像合成部(10、S11)，构成为生成将上述图像生成部生成的图像中的上述车辆的图像(B、T)以及上述轨迹预测部预测出的行驶轨迹的图像(K)中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像(H)上而成的图像作为输出图像。
2.一种图像生成装置，该图像生成装置(100)具备：
图像获取部(3A、3B、3C、3D)，构成为获取拍摄车辆(1)的周边而成的图像；
图像生成部(10、S9、S9A、S1、S1A)，构成为使用上述图像获取部获取到的图像和根据上述车辆而预先准备的具有透过性的上述车辆的图像(B、T)来生成从在上述车辆的外部设定的虚拟视点(V)观察上述周边以及被赋予透过性的上述车辆的图像；
轨迹预测部(10、S5、S5A)，构成为基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹；以及
图像合成部(10、S11)，构成为生成将上述图像生成部生成的图像中的上述车辆的图像从上方叠加在上述轨迹预测部预测出的行驶轨迹的图像(K)上，并进一步将这些图像从上方叠加在上述图像生成部生成的图像中的上述周边的图像(H)上而成的图像作为输出图像。
3.根据权利要求1或者2所述的图像生成装置，其中，
上述图像生成部构成为生成从在上述车辆的斜上方设定的虚拟视点观察上述车辆的整体以及上述车辆周边的图像。
4.根据权利要求1～3中的任意一项所述的图像生成装置，其中，
通过上述图像合成部从上方叠加在上述周边的图像上的上述车辆的图像是在上述车辆的各车轮的图像(T)上从上方叠加上述车辆的车体的图像(B)而成的图像，
上述车体的图像是被赋予透过性的图像。
5.根据权利要求1～4中的任意一项所述的图像生成装置，其中，
还具备视点设定部(51、52、53、54)，上述视点设定部构成为设定上述虚拟视点的位置。
6.根据权利要求5所述的图像生成装置，其中，
在相对于上述车辆的正上方方向的倾斜角大于预先设定的规定值的位置上经由上述视点设定部设定了上述虚拟视点的情况下，上述轨迹预测部(10、5A)不进行上述行驶轨迹的预测，上述图像合成部构成为将上述图像生成部(10、S9A、S1A)生成的图像保持原样地作为输出图像。
7.根据权利要求1～6中的任意一项所述的图像生成装置，其中，
上述轨迹预测部构成为按上述行驶轨迹的每个部位计算上述预测的置信度，
上述图像合成部构成为将上述行驶轨迹中的各个部位的图像作为与上述置信度对应的形态的图像而与上述图像生成部生成的图像叠加。
8.一种程序，用于使计算机执行如下处理，包括：
使用拍摄车辆(1)的周边而成的图像来生成从在上述车辆的外部设定的虚拟视点(V)观察上述车辆以及上述周边的图像(S9、S9A、S1、S1A)；
基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹(S5、S5A)；
生成将上述生成的图像中的上述车辆的图像以及上述预测出的行驶轨迹的图像中的任意一方设为具有透过性的图像，并从上方叠加在另一方的图像上，并进一步将这些图像从上方叠加在上述生成的图像中的上述周边的图像(H)上而成的图像作为输出图像(S11)。
9.一种程序，用于使计算机执行如下处理，包括：
使用拍摄车辆(1)的周边而成的图像和根据上述车辆而预先准备的具有透过性的上述车辆的图像(B、T)来生成从在上述车辆的外部设定的虚拟视点(V)观察上述周边以及被赋予透过性的上述车辆的图像(S9、S9A、S1、S1A)；
基于上述车辆的驾驶状态来预测上述车辆的行驶轨迹(S5、S5A)；
生成将上述生成的图像中的上述车辆的图像从上方叠加在上述预测出的行驶轨迹的图像(K)上，并进一步将这些图像从上方叠加在上述生成的图像中的上述周边的图像(H)上而成的图像作为输出图像(S11)。
CN201780036175.XA 2016-06-13 2017-06-13 图像生成装置以及程序 Withdrawn CN109314766A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-117010 2016-06-13
JP2016117010A JP6555195B2 (ja) 2016-06-13 2016-06-13 画像生成装置
PCT/JP2017/021855 WO2017217422A1 (ja) 2016-06-13 2017-06-13 画像生成装置及びプログラム

Publications (1)

Publication Number Publication Date
CN109314766A true CN109314766A (zh) 2019-02-05

Family

ID=60664619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780036175.XA Withdrawn CN109314766A (zh) 2016-06-13 2017-06-13 图像生成装置以及程序

Country Status (5)

Country Link
US (1) US20190126827A1 (zh)
JP (1) JP6555195B2 (zh)
CN (1) CN109314766A (zh)
DE (1) DE112017002951T5 (zh)
WO (1) WO2017217422A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021016101A (ja) * 2019-07-12 2021-02-12 トヨタ自動車株式会社 車両用周辺監視装置
JP7327171B2 (ja) * 2020-01-08 2023-08-16 トヨタ自動車株式会社 車両用電子ミラーシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227999A (ja) * 1998-12-03 2000-08-15 Aisin Aw Co Ltd 運転支援装置
CN1324739A (zh) * 2000-05-24 2001-12-05 松下电器产业株式会社 描绘装置
JP2002087191A (ja) * 2000-06-30 2002-03-26 Matsushita Electric Ind Co Ltd 運転支援システム
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2267656A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus und image displaying method
EP1148461B1 (en) * 2000-04-05 2004-09-22 Matsushita Electric Industrial Co., Ltd. Driving operation assisting method and system
JP3620647B2 (ja) * 2000-05-24 2005-02-16 松下電器産業株式会社 描画装置
JP2005038225A (ja) * 2003-07-16 2005-02-10 Nissan Motor Co Ltd 車線追従装置
JP2005268847A (ja) * 2004-03-16 2005-09-29 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
JP4595649B2 (ja) * 2005-04-22 2010-12-08 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP6156486B2 (ja) * 2013-03-28 2017-07-05 アイシン精機株式会社 周辺監視装置、及びプログラム
JP6380410B2 (ja) * 2014-01-10 2018-08-29 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP6190352B2 (ja) 2014-12-19 2017-08-30 株式会社神戸製鋼所 流体流通装置及びその運転方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227999A (ja) * 1998-12-03 2000-08-15 Aisin Aw Co Ltd 運転支援装置
CN1324739A (zh) * 2000-05-24 2001-12-05 松下电器产业株式会社 描绘装置
JP2002087191A (ja) * 2000-06-30 2002-03-26 Matsushita Electric Ind Co Ltd 運転支援システム
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法

Also Published As

Publication number Publication date
JP6555195B2 (ja) 2019-08-07
US20190126827A1 (en) 2019-05-02
JP2017224881A (ja) 2017-12-21
WO2017217422A1 (ja) 2017-12-21
DE112017002951T5 (de) 2019-02-28

Similar Documents

Publication Publication Date Title
CN105009574B (zh) 周边监视装置及周边监视方法、记录介质
CN104334809B (zh) 自行式工业机械的显示装置
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP4640417B2 (ja) 車両用メータユニット
JP5813944B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
CN102934427A (zh) 图像处理装置、图像处理系统和图像处理方法
CN105472317B (zh) 周边监视装置及周边监视系统
JP2009073431A (ja) 車両用メータユニット
WO2000064175A1 (fr) Dispositif de traitement d'images et systeme de surveillance
US11962916B2 (en) Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method
CN104321224A (zh) 具有摄像机监控系统的机动车
JP2007256030A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
CN109314767A (zh) 周边监控装置
JP2012039341A (ja) 画像表示システム、画像生成装置、及び、画像表示方法
JPWO2018088239A1 (ja) 情報処理装置および方法、並びにプログラム
CN107852481A (zh) 图像显示控制装置
JP2013212723A (ja) 駐車支援装置、及び駐車支援方法
CN109314766A (zh) 图像生成装置以及程序
WO2013103115A1 (ja) 画像表示装置
CN105991942A (zh) 车辆及用于控制车辆的方法
JP6073433B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
CN111669543A (zh) 用于停车解决方案的车辆成像系统和方法
CN109691089A (zh) 显示控制装置
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2010183234A (ja) 描画装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190205

WW01 Invention patent application withdrawn after publication