CN103692973A - 图像生成装置、图像显示系统、以及图像生成方法 - Google Patents

图像生成装置、图像显示系统、以及图像生成方法 Download PDF

Info

Publication number
CN103692973A
CN103692973A CN201310311280.3A CN201310311280A CN103692973A CN 103692973 A CN103692973 A CN 103692973A CN 201310311280 A CN201310311280 A CN 201310311280A CN 103692973 A CN103692973 A CN 103692973A
Authority
CN
China
Prior art keywords
vehicle
frame
image
picture
composograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310311280.3A
Other languages
English (en)
Other versions
CN103692973B (zh
Inventor
森山亲一
山田正博
泽田康嘉
村角美纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN103692973A publication Critical patent/CN103692973A/zh
Application granted granted Critical
Publication of CN103692973B publication Critical patent/CN103692973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

本发明涉及一种图像生成装置、图像显示系统、以及图像生成方法，其目的在于在显示了将车辆像在周边图像上进行了重叠的合成图像的情况下，使用户能够把握本车辆和物体间的准确的距离。根据拍摄图像，生成从虚拟视点观察车辆以及车辆的周边区域而得到的周边图像，生成在该周边图像上将表示车辆的车辆像进行了重叠的合成图像。然后，将合成图像中的车辆像设为由线状的线框来表示车体的框架的线框显示，根据规定条件变更线框显示的显示形态。由此，能够与物体的位置无关地可靠地确认车辆像与物体像在图像上的间隔，并能够准确地把握物体相对于车辆的距离。

Description

图像生成装置、图像显示系统、以及图像生成方法
技术领域
本发明涉及在车辆中生成图像并显示的技术。
背景技术
在现有技术中，图像生成装置，对车辆(主要由作为车辆的用户的驾驶员乘坐的车辆，以下称为“本车辆”)的周边由在该本车辆中所设置的多个摄像头(camera)进行拍摄，基于该拍摄图像生成本车辆周边的图像(以下称为“周边图像”)，然后，将在周边图像上重叠了本车辆的车辆像(以下称为“本车辆像”)的合成图像显示于显示装置。但是，在生成周边图像的情况下，当从虚拟视点观察的物体存在于隔着本车辆的位置时，合成图像中的物体的像(以下称为“物体像”)，与本车辆像相重叠，该物体像将会隐藏在本车辆像的后方。因此，存在用户难以对从虚拟视点来看存在于隔着本车辆的位置的物体进行确认的情况。
对此，存在如下技术：图像生成装置生成将提高了透过率(例如，透过率50％以上)的车辆像、或用由线状表示的框来显示车体框架的框显示的本车辆像与周边图像进行了重叠的合成图像。即，存在如下技术：图像生成装置，生成物体像不会被本车辆像隐藏的合成图像，生成用户能够在图像上用眼识别从虚拟视点来看存在于隔着本车辆的位置的物体的合成图像。另外，作为说明与本发明关联的技术的资料存在专利文献1。
【在先技术文献】
【专利文献】
【专利文献1】日本特开2010-231276号公报
发明内容
【发明要解决的课题】
但是，通过由图像生成装置生成将提高了透过率的本车辆像、或框显示的本车辆像重叠于周边图像的合成图像，虽然用户在图像上能够用眼识别在本车辆的后方存在的物体，可是还存在难以准确地把握本车辆与物体间的距离的情况。具体来说，在图像生成装置生成在周边图像上重叠了提高了透过率的本车辆像的合成图像的情况下，有时本车辆像的显示变得不清晰。其结果，用户不能充分地确认本车辆像和物体像在图像上的间隔，存在难以准确地把握本车辆和物体间的距离的情况。
此外，在图像生成装置生成在周边图像上重叠了框显示的本车辆像的合成图像的情况下，表示本车辆的车体框架的形状的框的线的线宽以及线的颜色，在车体的各部分用相同线宽以及相同颜色来显示。于是，根据框线的线宽，当在图像上处于本车辆像和物体像重叠的位置的时候，物体像的一部分被构成本车辆像的框线隐藏，存在用户难以充分地确认本车辆像和物体像在图像上的间隔的情况。
此外，由于车体各部分的框线的颜色是相同的颜色，因此用户不能立刻判别特定的框线相当于本车辆像的车体的哪个部分，存在难以充分地确认本车辆像和物体像的图像上的间隔的情况。其结果，存在用户不能把握本车辆和物体间的准确的距离的情况。
本发明鉴于上述课题而作，目的在于提供在显示了在周边图像上重叠了车辆像的合成图像的情况下，用户能够把握本车辆9和物体间的准确的距离的技术。
【解决课题的手段】
为了解决上述课题，技术方案1的发明具备：取得单元，其取得车辆所搭载的摄像头的拍摄图像；和生成单元，其根据所述拍摄图像，生成从虚拟视点观察所述车辆以及所述车辆的周边区域而得到的周边图像，并生成在该周边图像上重叠了表示所述车辆的车辆像而得到的合成图像，所述生成单元，将所述车辆像设为由线状的框来表示车体的框架的框显示，根据规定条件变更所述框显示的显示形态。
此外，技术方案2的发明，在技术方案1所述的图像生成装置中，所述生成单元，将所述框显示的显示形态设为根据所述车辆的用户的操作从所述框的线的线宽不同的多个所述框显示中选择的一个框显示的显示形态。
此外，技术方案3的发明，在技术方案1或2所述的图像生成装置中，所述生成单元，根据所述虚拟视点，将所述车辆像设为所述框显示和所述车辆的实像显示中的任意一者的显示形态。
此外，技术方案4的发明，在技术方案1至3中任意一项所述的图像生成装置中，所述框的一个面和另一个面是不同的颜色，所述生成单元，根据从所述虚拟视点观察时所显示的所述框的面是所述一个面和所述另一个面中的哪一个面，来变更所述框显示的显示形态。
此外，技术方案5的发明，在技术方案1至4中任意一项所述的图像生成装置中，还具备检测存在于所述车辆的周边的物体的检测单元，所述生成单元将所述框显示的显示形态设为根据所述物体的位置从所述框的线的线宽不同的多个所述框显示中选择的一个框显示的显示形态。
此外，技术方案6的发明，在技术方案5所述的图像生成装置中，所述生成单元，随着所述物体的位置接近所述车辆的位置使所述框显示的框的线的线宽变细。
此外，技术方案7的发明，在技术方案1至4中任意一项所述的图像生成装置中，还具备检测存在于所述车辆的周边的物体的检测单元，所述生成单元，对与所述物体的位置相对应的所述框显示的一部分框的显示形态进行变更。
此外，技术方案8的发明具备：技术方案1至7中任意一项所述的图像生成装置；和显示从所述图像生成装置输出的所述合成图像的显示装置。
进而，技术方案9的发明具备：(a)取得车辆所搭载的摄像头的拍摄图像的工序；和(b)根据所述拍摄图像，生成从虚拟视点观察所述车辆以及所述车辆的周边区域而得到的周边图像，并生成在该周边图像上重叠了表示所述车辆的车辆像而得到的合成图像的工序，所述工序(b)，将所述车辆像设为由线状的框来表示车体的框架的框显示，按照规定条件变更所述框显示的显示形态。
【发明效果】
根据技术方案1至9的发明，通过将车辆像设为框显示并变更其显示形态，用户能够单独地识别车辆像以及物体像，并能够与物体的位置无关地可靠地确认车辆像和物体像在图像上的间隔，并能够准确地把握车辆和物体间的距离。
此外，特别根据技术方案2的发明，即使在物体像隐藏在车辆像的后方从而用户很难对车辆像和物体像在图像上的间隔进行确认的情况下，通过选择用户容易确认车辆像与物体像在图像上的间隔的线的线宽的框显示，也能够准确地把握车辆和物体间的距离。
此外，特别根据技术方案3的发明，通过根据虚拟视点将车辆像设为框显示以及车辆的实像显示的任意一者的显示形态，从而无论是从哪个虚拟视点观察的合成图像，在合成图像中都能够显示用户容易识别车辆的形状的本车辆像，用户能够准确地把握本车辆和物体间的距离。
此外，特别根据技术方案4的发明，通过根据在从虚拟视点观察的情况下所显示的框是一个面以及另一个面的哪个面来变更与各自的颜色相对应的框显示的显示形态，从而用户能够立体地识别本车辆像，并能够准确地把握车辆和物体间的距离。
此外，特别根据技术方案5的发明，由于根据物体的位置从框的线的线宽不同的多个框显示中选择一个框显示，因此用户能够单独地识别车辆像以及物体像，容易确认车辆像和物体像在图像上的间隔，并能够准确地把握车辆和物体间的距离。
此外，特别根据技术方案6的发明，随着车辆和物体的位置接近，通过将框线的线宽变细，用户能够可靠地用眼识别图像上的物体像的存在，并容易确认车辆像和物体像在图像上的间隔，能够更加准确地把握车辆和物体间的距离。
进而，特别根据技术方案7的发明，通过对与物体的位置相对应的一部分框的显示形态进行变更，用户能够准确地把握物体相对于车辆存在于哪个位置。
附图说明
图1是示出图像显示系统的构成的图。
图2是示出4个摄像头分别拍摄的方向的图。
图3是说明生成周边图像、本车辆像、以及合成图像的手法的图。
图4是示出本车辆数据的多个多边形模型的图。
图5是说明在显示装置中显示的图像的变化的图。
图6是示出在从虚拟视点观察的周边图像上重叠了车辆像的合成图像的图。
图7是示出在从虚拟视点观察的周边图像上重叠了本车辆像的合成图像的图。
图8是关于在合成图像上显示的框显示的本车辆像的设定的说明图。
图9是说明图像生成装置的处理的流程图。
图10是关于与虚拟视点相应的本车辆像的显示形态的变更的说明图。
图11是示出三角形的形状的2枚多边形、和粘合了2枚多边形的1枚粘合多边形的图。
图12是示出对于被框显示的部分的多边形使用粘合多边形而构成的多边形模型的合成图像的图。
图13是示出图像显示系统的构成的图。
图14是示出与物体的位置相应的框的线的线宽的变更状态的图。
图15是示出图像显示系统的构成的图。
图16是示出框显示的本车辆像的一部分框的显示形态成为与物体的位置相对应的显示形态的合成图像的图。
具体实施方式
以下，参照附图说明本发明的实施方式。
<1.第1实施方式>
<1-1.构成>
图1是示出图像显示系统10的构成的图。该图像显示系统10，在车辆(本实施方式中是汽车，主要由作为车辆的用户的驾驶员乘坐的车辆，以下称为“本车辆”。)中被使用，具有生成表示本车辆的周边区域的图像(以下，称为“周边图像”。)并在车室内进行显示的功能。图像显示系统10的用户(有代表性的是驾驶员)，通过利用该图像显示系统10，能够几乎实时地把握本车辆的周边的情况。
如图1所示，图像显示系统10主要具备多个摄像头5、图像生成装置2、显示装置3、以及操作按钮41。多个摄像头5分别对本车辆的周边进行拍摄并取得拍摄图像，将取得的拍摄图像的数据输入到图像生成装置2。图像生成装置2，使用表示本车辆的周边的拍摄图像，生成作为包含后述的本车辆的车辆像(以下称为“本车辆像”。)在内的周边图像的合成图像。显示装置3显示由图像生成装置2所生成的合成图像。此外，操作按钮41在用户执行图像生成装置2的功能时被使用，受理用户的操作并将操作信号输出到后述的操作受理部25。
多个摄像头5分别具备透镜和摄像元件，取得表示本车辆的周边的拍摄图像的数据。多个摄像头5包含前摄像头5F、后摄像头5B、左侧摄像头5L、以及右侧摄像头5R。这4个摄像头5F、5B、5L、5R，在本车辆中被配置在相互不同的位置，对本车辆的周边的不同方向进行拍摄。
图2是表示4个摄像头5F、5B、5L、5R分别拍摄的方向的图。前摄像头5F被设置在本车辆9的前端，其光轴5Fa朝向本车辆9的直线前进方向。后摄像头5B被设置在本车辆9的后端，其光轴5Ba朝向本车辆9的直线前进方向的反方向。左侧摄像头5L被设置于左侧的左后视镜(leftside mirror)93L，其光轴5La朝向本车辆9的左侧方(本车辆9的直线前进方向的正交方向)。此外，右侧摄像头5R被设置于右侧的右后视镜(rightside mirror)93R，其光轴5Ra朝向本车辆9的右侧方(本车辆9的直线前进方向的正交方向)。
这些摄像头5F、5B、5L、5R的透镜中采用了鱼眼透镜等的广角透镜，各摄像头5F、5B、5L、5R具有180度以上的视角θ。因此，通过利用4个摄像头5F、5B、5L、5R，能够拍摄本车辆9的整个周围。
回到图1，显示装置3具备例如液晶等的薄型的显示面板，来显示各种信息或图像。显示装置3配置于本车辆9的仪表板等，使用户能够用眼识别其画面。显示装置3，既可以与图像生成装置2配置在同一个外壳(housing)内而与图像生成装置2进行一体化，也可以与图像生成装置2是分体的装置。显示装置3具备与显示面板重叠的触摸面板31以及在显示面板的外周附近的硬件按钮(hard button)32，能够受理用户的操作。
操作按钮41是受理用户的操作的操作构件。操作按钮41，例如被设置于本车辆9的方向盘，主要受理来自驾驶员的操作。用户通过该操作按钮41、显示装置3的触摸面板31以及硬件按钮32能够进行对图像显示系统10的各种操作。另外，以下将该操作按钮41、显示装置3的触摸面板31以及硬件按钮32称为操作部4。在通过操作部4进行了用户的操作的情况下，表示该操作的内容的操作信号被输入到图像生成装置2。
图像生成装置2是能够进行各种图像处理的电子装置，主要具备图像取得部21、周边图像生成部22、合成图像生成部23、和图像输出部24。
图像取得部21取得由4个摄像头5F、5B、5L、5R分别得到的拍摄图像的数据。图像取得部21具有将模拟的拍摄图像变换为数字的拍摄图像的功能等的图像处理功能。图像取得部21，对取得的拍摄图像的数据进行规定的图像处理，将处理后的拍摄图像的数据输入到周边图像生成部22、以及合成图像生成部23。
周边图像生成部22，对由多个摄像头5所取得的多个拍摄图像进行合成，生成表示从虚拟视点观察的本车辆9的周边情况的周边图像。虚拟视点是从本车辆9的外部的位置俯视本车辆9的视点，或其他对于驾驶员来说成为死角的本车辆9的周边的视点。此外，周边图像生成部22生成在周边图像上重叠的本车辆9的车辆像即本车辆像。
在此本车辆像是作为从一个虚拟视点对后述的本车辆9的多边形模型进行观察而得到的图像而生成的车辆像。并且，本车辆9的多边形模型作为后述的本车辆数据273而将多个模型存储在存储部27。详细来讲，本车辆9的多边形模型是使用多个多边形由三维形状来构成本车辆9的模型。具体来说，存在以透过率0％来表示本车辆9的实像的实像显示的模型、由线状的框来表示本车辆9的车体框架的框显示的模型。另外，框显示的模型，如后述那样存在框的线的线宽不同的多个模型。例如，根据用户的选择等的规定条件从存储部27读出本车辆数据273，基于所读出的多边形模型来生成本车辆像。
合成图像生成部23，生成对由周边图像生成部22所生成的周边图像重叠了本车辆像的合成图像，将该合成图像输入到图像输出部24。此外，合成图像生成部23，将从图像取得部21取得的由一个摄像头所拍摄的拍摄图像输出到图像输出部24。
图像输出部24，主要将由合成图像生成部23所生成的合成图像输出到显示装置3。其结果，显示装置3将合成图像作为一个显示图像进行显示。此外，图像输出部24，除了合成图像以外还将拍摄图像输出到显示装置3。其结果，显示装置3将合成图像以及拍摄图像的多个图像作为一个显示图像进行显示。就像这样将表示从虚拟视点观察的本车辆9的周边的显示图像显示于显示装置3。
此外，图像生成装置2还具备控制部20、操作受理部25、信号接收部26和存储部27。控制部20是例如具备CPU、RAM、以及ROM等的微型计算机，集中控制图像生成装置2的整体。
操作受理部25，在用户进行了操作的情况下接收从操作部4输出的操作信号。由此，操作受理部25受理用户的操作。操作受理部25将接收到的操作信号输出到控制部20。
信号接收部26接收来自与图像生成装置2分离地设置于本车辆9的其他装置的信号，输入到控制部20。信号接收部26，例如，从位移传感器(shift sensor)101接收表示本车辆9的变速装置的变速杆的位置即移位位置的信号。控制部20基于该信号来判定本车辆9的行进方向是前方还是后方。此外，信号接收部26，基于本车辆9的车轴的转速从车速传感器102接收表示本车辆9的速度的信号。控制部20基于该信号来取得本车辆9的当前时间点的速度的信息。
存储部27是例如闪存等的非易失性存储器，存储各种信息。存储部27，存储作为固件的程序271、周边图像、以及生成合成图像等时所使用的各种数据。具体来说，存储部27存储包含在周边图像的生成中所使用的多个虚拟视点的位置坐标以及视线方向在内的数据即虚拟视点数据272。此外，存储部27存储包含在生成本车辆像时所使用的多个多边形模型在内的数据即本车辆数据273。
控制部20的各种功能，通过按照存储部27中所存储的程序271等由CPU进行运算处理来实现。即，图中所示的图像控制部201，是通过按照程序271等由CPU进行运算处理而实现的功能部的一部分。
图像控制部201，主要控制生成周边图像的周边图像生成部22、以及生成合成图像的合成图像生成部23。即，图像控制部201，对表示本车辆9的周边状况的周边图像、作为本车辆9的车辆像的本车辆像、以及在周边图像上重叠了本车辆像的合成图像等的生成处理进行控制。
<1-2.合成图像的生成>
接着，对周边图像生成部22生成表示从虚拟视点观察的本车辆9的周边状况的周边图像以及本车辆像的手法、和合成图像生成部23生成在周边图像上重叠了本车辆像的合成图像的手法进行说明。图3是说明生成周边图像、本车辆像、以及合成图像的手法的图。
若进行本车辆9所具备的前摄像头5F、后摄像头5B、左侧摄像头5L、以及右侧摄像头5R的各个摄像头的拍摄，则取得分别表示本车辆9的前方、后方、左侧方、以及右侧方的4个拍摄图像SF、SB、SL、SR。在这4个拍摄图像SF、SB、SL、SR中，包含着本车辆9的整个周围的数据。
图像合成部22，首先将这4个拍摄图像SF、SB、SL、SR中所包含的数据(各像素的值)，在虚拟的三维空间中的投影面TS上进行投影。投影面TS是相当于本车辆9的周边区域的虚拟的立体面。投影面TS的中心区域被规定为作为本车辆9的位置的车辆区域R0。
在投影面TS上，在车辆区域R0不投影拍摄图像的数据，在车辆区域R0的外侧的区域投影拍摄图像的数据。以下，在投影面TS上，将拍摄图像的数据被投影的区域(车辆区域R0的外侧的区域)称为“投影对象区域”。
此外，在车辆区域R0配置由多个多边形构成三维形状的本车辆9的多边形模型(例如，图4中后述的“粗线模型PGa”)。即，多边形模型，在设定投影面TS的三维空间中，被配置在规定为本车辆9的位置的大致半球状的中心部分。例如，作为多边形模型的粗线模型PGa，通过用户的选择操作从本车辆数据273中被读出，并被配置在车辆区域R0。
在此，使用图4对本车辆数据273的多个多边形模型进行说明。图4是表示本车辆数据273的多个多边形模型的图。在图4中，以4个多边形模型为例进行表示。例如通过用户的使用了操作部4的操作来选择1个多边形模型。周边图像生成部22，基于所选择的多边形模型生成本车辆像。
然后，在这4个多边形模型之中以透过率0％来表示本车辆9的实像的实像显示的多边形模型PG(以下称为“实像模型PG”。)，是使用多个多边形由三维形状来构成本车辆9的模型。然后，对构成该实像模型PG的各多边形进行与实际的本车辆9的实像相对应的着色。因此，在从本车辆9的车外的任意的虚拟视点(以下称为“任意的虚拟视点”。)观察实像模型PG的情况下，存在于从该虚拟视点隔着实像模型PG的区域中的物体的物体像，隐藏在实像模型PG所对应的本车辆像的后方而在合成图像上不被显示。
接着，多边形模型PGa是将本车辆9的车体的框架用比较粗的线状的框来表示的框显示的多边形模型PGa(以下称为“粗线模型PGa”。)。该粗线模型PGa是和实像模型PG同样地使用多个多边形，由三维形状来表现本车辆9的形状的模型。在此，粗线模型PGa与实像模型PG不同，对于与本车辆9的车体的框架相当的部分、和构成本车辆9的外形的主要的零件(例如，轮胎、前灯、尾灯、以及后视镜等)进行着色。即，对这些部分设定了比较低的透过率(例如，透过率0％)。特别是进行着色使得与车体的框架相当的部分显示为比较粗的线状的框。
而且，该粗线模型PGa，对除了与本车辆9的车体的框架相当的部分、以及构成本车辆9的外形的主要的零件部分以外的多边形不进行着色。即，对这些部分设定比较高的透过率(例如，透过率100％)。因此，在从任意的虚拟视点观察粗线模型PGa的情况下，存在于从该虚拟视点隔着粗线模型PGa的多边形的未进行着色的部位的区域中的物体的物体像，没有隐藏在框显示的本车辆像的后方而在合成图像上被显示。而且，由于粗线模型PGa的框是比较粗的线，因此本车辆像变得明确，用户容易识别本车辆9的形状。
接着，多边形模型PGb是将本车辆9的车体的框架用比较细的线状的框来表示的框显示的多边形模型(以下称为“细线模型PGb”。)。该细线模型PGb，是与实像模型PG以及粗线模型PGa同样地使用多个多边形由三维形状来构成本车辆9的模型。细线模型PGb与粗线模型PG相比，对于与本车辆9的车体的框架相当的部分和构成本车辆9的外形的主要的零件(例如，轮胎、前灯、尾灯、以及后视镜等)进行着色这一点是相同的。不过，对与本车辆9的车体的框架相当的部分进行着色使其成为比较细的线，这一点上与粗线模型PGa不同。
而且，该细线模型PGb对除了与本车辆9的车体的框架相当的部分、以及构成本车辆9的外形的主要零件的部分以外的多边形不进行着色。因此，在从任意的虚拟视点观察细线模型PGb的情况下，在隔着细线模型PGb的未进行着色的部位的时候，存在于从该虚拟视点隔着细线模型PGb的区域中的物体的物体像，没有被框显示的本车辆像隐藏而在合成图像上得到显示。
另外，如上所述，由于细线模型PGb的与车体的框架相当的部分是比较细的线，因此与粗线模型PGa相比用户有时难于识别本车辆9的形状等。但是，与粗线模型PGa相比通过框显示的本车辆像用户更容易把握存在于从虚拟视点隔着本车辆9的区域中的物体的位置。具体来说，即使在粗线模型PGa的情况下，物体像的一部分被构成车辆像的框线隐藏、用户很难充分地确认车辆像和物体像在图像上的间隔时，通过根据用户的选择将框显示的显示形态从粗线模型PGa变更为细线模型PGb，从而被构成本车辆像的框线隐藏了的物体像得到显示。由此，用户能够单独地识别本车辆像以及其他车辆像，并能够确认本车辆像和物体像在图像上的间隔，能够准确地把握本车辆9和物体间的距离。
接着，本车辆9的前半部分的车体的框架与细线模型PGb同样是比较细的线状的框、且对本车辆9的后半部分的车体的框架不进行着色的框显示的多边形模型PGc(以下称为“前车体模型PGc”。)，是与细线模型PGb等同样地使用多个多边形由三维形状来构成本车辆9的多边形模型。在此，前车体模型PGc与细线模型PGb相比，对于本车辆9所对应的前车体模型PGc的与车体的框架的前半部分相当的部分、和构成本车辆9所对应的前车体模型PGc的外形的主要零件(例如，轮胎、前灯、尾灯、以及后视镜等)进行着色这一点是相同的。不过，在对与本车辆9的车体的后半部分相当的部分不进行着色这一点上与细线模型PGb不同。即，该前车体模型PGc，对除了与本车辆9的前半部分的车体的框架相当的部分、以及构成本车辆9的外形的主要零件部分以外的多边形不进行着色。
因此，在从任意的虚拟视点观察前车体模型PGc的情况下，隔着前车体模型PGc的未进行着色的部位的时候像下面这样进行显示。即，存在于从该虚拟视点隔着前车体模型PGc的区域中的物体的物体像，没有被框显示的本车辆像隐藏而在合成图像上得到显示。另外，如上所述，对于前车体模型PGc的与车体的框架相当的部分，车体的前半部分由比较细的线显示，后半部分未进行着色因而不显示框线。因此，与细线模型PGb相比用户有时难于识别本车辆9的形状。
但是，与细线模型PGb相比，通过框显示的车辆像用户更容易把握存在于从虚拟视点隔着本车辆9的区域中的物体的位置。即，在细线模型PGb的情况下，物体像的一部分被构成车辆像的框线隐藏，用户有时很难充分地确认车辆像和物体像在图像上的间隔。在这样的情况下，通过根据用户的选择将框显示的显示形态从细线模型PGb变更为前车体模型PGc，从而被构成车辆像的框线隐藏的物体像得到显示。由此，用户能够单独地识别本车辆像以及其他车辆像，并能够确认本车辆像和物体像在图像上的间隔，能够准确地把握本车辆9和物体间的距离。
另外，关于框显示的显示形态的变更在后面叙述，但既可以使得在合成图像显示在显示装置3中之前，能够通过用户对操作部4的操作来进行框显示的变更，也可以使得在合成图像显示在显示装置3中之后，能够通过用户对操作部4的操作来进行框显示的变更。
回到图3，进行合成图像的生成的说明。投影面TS的投影对象区域中的各位置，与4个拍摄图像SF、SB、SL、SR的任意一者，通过表数据等的对应信息建立对应。图像合成部22将4个拍摄图像SF、SB、SL、SR的数据分别投影在投影对象区域的对应的部分。
图像合成部22，在投影对象区域中与本车辆9的前方相当的区域即区域PF中，投影前摄像头5F的拍摄图像SF的数据。此外，图像合成部22，在投影对象区域中与本车辆9的后方相当的区域即区域PB中，投影后摄像头5B的拍摄图像SB的数据。此外，图像合成部22，在投影对象区域中与本车辆9的左侧方相当的区域即区域PL中，投影左侧摄像头5L的拍摄图像SL的数据，在投影对象区域中与本车辆9的右侧方相当的区域即区域PR中，投影右侧摄像头5R的拍摄图像SR的数据。
若像这样在投影面TS的投影对象区域内的各区域中将拍摄图像的数据进行投影，则周边图像生成部22将由三维形状表示本车辆9的多边形模型(例如，粗线模型PGa)配置在车辆区域R0。
接着，周边图像生成部22，在虚拟的三维空间的投影面TS上，设定虚拟视点VP来生成周边图像。例如，虚拟视点VP的视点位置是在本车辆9的前方且比本车辆9的车高更高的位置。此外，虚拟视点VP的视线方向是从车辆9的前方看向后方的方向。
然后，周边图像生成部22，将从虚拟视点VP来看在规定的视野中包含的区域中所投影的数据作为图像提取出来，生成周边图像。此外，周边图像生成部22基于虚拟视点VP生成本车辆像。然后，合成图像生成部23，生成在所生成的周边图像上重叠了本车辆像的合成图像IMa。
在此，由于作为本车辆像选择了粗线模型PGa，因此在合成图像IMa中，示出了由比较粗的线状的框来表示车体的框架的框显示的本车辆像91a(以下称为“粗线框像91a”。)。进而，由于在本车辆9的后方有其他的车辆存在，因此在合成图像IMa中示出了存在于从虚拟视点VP来看隔着该粗线框像91a的本车辆像的区域中的物体即其他的车辆的像92a(以下称为“其他车辆像92a”。)。由此，用户能够用眼识别存在于作为本车辆像的粗线框像91a的后方的其他车辆像92a，通过确认粗线框像91a和其他车辆像92a在图像上的间隔能够把握本车辆9和其他车辆间的距离。
并且，在该粗线框像91a的显示中，在其他车辆像92a的一部分被框线所隐藏，用户很难确认图像上的粗线框像91a和其他车辆像92a在图像上的间隔的情况下，用户能够变更本车辆像的框显示的显示形态。
<1-3.本车辆像的框显示的显示形态变更>
接着，使用图5～图8，关于合成图像中的本车辆像的框显示的显示形态的变更进行说明。图5是说明在显示装置3中显示的图像的变化的图。在图5上段示出了在执行导航功能的情况下在显示装置3中显示的导航图像NA。此外，在图5下段示出了在本车辆9后退时在显示装置3中显示的主要表示本车辆9的后方的倒退模式图像BA。
图5上段的导航图像NA是在执行导航功能的情况下，读出在显示装置3的未图示的存储部中所存储的地图数据等，而在显示装置3进行显示的图像。导航图像NA中主要显示重叠在地图图像上来表示本车辆9的当前位置的当前地标记GP、以及设定按钮Ba。设定按钮Ba的功能通过用户使手指等接触操作部4的触摸面板31并进行操作来执行。另外，通过用户操作设定按钮Ba来设定的功能是包含导航功能在内的各种功能。在该各种功能中，包含在显示装置3中显示的合成图像中的框显示的本车辆像的设定。关于框显示的本车辆像的设定在后面叙述。
在显示装置3显示了导航图像NA的情况下，当从位移传感器101输入的移位位置的信号变为表示“R(后退)”的信号时，倒退模式图像BA在显示装置3进行显示。即，在移位位置是“R(后退)”的情况下，由于本车辆9是后退的状态，因此主要表示本车辆9的后方的倒退模式图像BA在显示装置3进行显示。
倒退模式图像BA是包含合成图像TIM在内的图像，该合成图像TIM是在图3中所示的投影面TS上从将视点位置设为本车辆9的正上方、视线方向设为本车辆9的正下方的方向(垂直方向)的虚拟视点(例如，后述的图10所示的“虚拟视点VP1”)观察的俯视图像。此外，倒退模式图像BA是连同合成图像TIM一起包含本车辆9的后摄像头5B的拍摄图像即拍摄图像BIM在内的图像。
在合成图像TIM中示出了实像模型PG所对应的实像显示的本车辆像91h。此外，在合成图像TIM中示出了存在于本车辆9的后方的其他车辆所对应的其他车辆像92h。此外，在拍摄图像BIM中示出了由合成图像TIM的其他车辆像92h所对应的后摄像头5B拍摄的其他车辆像92k。并且，在包含合成图像TIM和拍摄图像BIM在内的倒退模式图像BA中示出了视点切换按钮B0、以及返回按钮B1。用户若操作视点切换按钮B0，则虚拟视点从虚拟视点VP1被切换到在图3中说明了的虚拟视点VP，接着将使用图6说明的合成图像IM在显示装置3进行显示。另外，用户若操作返回按钮B1，则导航图像NA在显示装置3进行显示。
图6是示出在从虚拟视点VP观察的周边图像上重叠了车辆像的合成图像的图。以下，关于图6至图7所示的各合成图像进行说明。图6以及图7示出了在从虚拟视点VP观察的周边图像上重叠了框显示的显示形态不同的多个多边形模型(实像模型PG、粗线模型PGa、细线模型PGb、以及前车体模型PGc)中的任意一个多边形模型的合成图像。
在图6上段示出了在从虚拟视点VP观察的周边图像上，重叠了从相同虚拟视点观察的实像模型PG的本车辆像91(以下称为“实像显示的本车辆像91”。)的合成图像IM。并且，合成图像IM中除了示出实像显示的本车辆像91以外还示出存在于本车辆9的后方的其他车辆所对应的其他车辆像92。在此，其他车辆像92在合成图像IM上，虽然车体的一部分的像得到了显示，但是由于车体的其他部分的像隐藏在本车辆像91的后方而不被显示。因此用户不能够用眼识别其他车辆的整体像。即，在从虚拟视点VP观察实像模型PG的情况下，存在于从虚拟视点VP隔着实像模型PG的区域中的物体的物体像的大部分，被实像显示的本车辆像91所隐藏而在合成图像上不被显示。因此，即使用户观察该合成图像IM的显示并能够用眼识别存在于本车辆像91的后方的其他车辆像92的存在，也不能充分地确认本车辆像91和其他车辆像92在图像上的间隔。换言之，不能准确地把握本车辆9和其他车辆间的距离。
在这种情况下，用户若操作图像切换按钮B2，则包含将显示形态从实像显示的本车辆像91变更为框显示的本车辆像之后的本车辆像在内的图6下段所示的合成图像IMa在显示装置3进行显示。另外，用户若操作返回按钮B1则在操作图像切换按钮B2之前在显示装置3中显示了的倒退模式模式图像BA在显示装置3进行显示。另外，以下的附图中示出的返回按钮B1的功能是像这样从当前显示装置3所显示的图像切换为在操作图像切换按钮B2之前在显示装置3显示了的图像。
图6下段示出了在从虚拟视点VP观察的周边图像上，重叠了从相同虚拟视点观察的粗线模型PGa所对应的比较粗的框显示的粗线框像91a的合成图像IMa。换言之，根据用户的图像切换按钮B2的操作，合成图像IM中的实像显示的本车辆像91变更为粗线框像91a的显示形态并在显示装置3进行显示。并且，在合成图像IMa中除了示出粗线框像91a以外还示出其他车辆像92a。具体来说，在合成图像IMa中，存在于从虚拟视点VP隔着粗线框像91a的区域中的其他车辆像92a，没有被本车辆像隐藏而在合成图像上得到显示。由此，用户能够单独地识别本车辆像以及其他车辆像，并能够可靠地确认本车辆像和其他车辆像在图像上的间隔，能够准确地把握作为物体的其他车辆相对于本车辆的距离。
在此，在如合成图像IMa所示将框显示的本车辆像设为比较粗的框显示的情况下，虽然用户容易识别图像上的本车辆像的形状和位置，但是根据图像上的物体像的位置，其他车辆像92a的一部分被粗线框像91a的框线隐藏。因此，用户有时很难确认粗线框像91a和其他车辆像92a在图像上的间隔。在这种情况下，用户操作图像切换按钮B2，使图7上段所示的合成图像IMb在显示装置3进行显示。
图7是示出在从虚拟视点VP观察的周边图像上重叠了本车辆像的合成图像的图。图7上段中，示出了在从虚拟视点VP观察的周边图像上重叠了从相同虚拟视点观察的细线模型PGb所对应的比较细的框显示的本车辆像即细线框像91b而得到的合成图像IMb。并且，合成图像IMb中，除了示出细线框像91b以外还示出存在于本车辆9的后方的其他车辆所对应的其他车辆像92b。具体来说，合成图像IMb中，通过从虚拟视点VP观察细线模型PGb，关于细线模型PGb未进行着色的部位，存在于隔着细线框像91b的区域中的其他车辆像92b，没有被本车辆像隐藏而在合成图像上得到了显示。由此，用户能够单独地识别本车辆像以及其他车辆像，并能够可靠地确认本车辆像和其他车辆像在图像上的间隔，能够准确地把握作为物体的其他车辆相对于本车辆的距离。
在此，细线框像91b和上述的粗线框像91a的框的线的线宽不同。即，细线框像91b和粗线框像91a相比，框的线的线宽变细。因此，细线框像91b和粗线框像91a相比，虽然用户难以识别合成图像上的本车辆像的形状和位置，但是合成图像上的细线框像91b和其他车辆像92b的间隔的确认与粗线框像91a相比容易进行。因此，用户能够单独地识别本车辆像以及其他车辆像，并能够准确地把握本车辆和作为物体的其他车辆间的距离。
另外，根据图像上的物体像的位置，有时其他车辆像92b的一部分被细线框像91b的框线隐藏，很难确认细线框像91b和其他车辆像92b在图像上的间隔。在这种情况下，用户操作图像切换按钮B2，使图7下段所示的合成图像IMc在显示装置3进行显示。
图7下段中，示出了在从虚拟视点VP观察的周边图像上重叠了从相同虚拟视点观察的前车体模型PGc所对应的、车体的前半部分由比较细的线状来表示的框显示的本车辆像91c(以下称为“前车体框像91c”。)的合成图像IMc。换言之，根据用户的图像切换按钮B2的操作，合成图像IMb中的细线框像91b被变更为前车体框像91c的显示形态并在显示装置3进行显示。具体来说，在合成图像IMc中，通过从虚拟视点VP观察前车体模型PGc，关于前车体模型PGc未进行着色的部位，存在于隔着前车体框像91c的区域中的其他车辆像92c，没有被本车辆像隐藏而在合成图像上得到显示。由此，用户能够单独地识别本车辆像以及其他车辆像，并能够可靠地确认本车辆像和其他车辆像的图像上的间隔，能够准确地把握作为物体的其他车辆相对于本车辆的距离。
通过像这样根据规定条件变更本车辆像的车体的框架的框显示的显示形态，用户能够与物体的位置无关地单独地识别本车辆像以及其他车辆像，并能够可靠地确认车辆像和物体像在图像上的间隔，能够准确地把握物体相对于本车辆9的距离。于是，通过将框显示的显示形态设为从框的线的线宽不同的多个框显示中根据本车辆9的用户对操作部4的操作而选择的框显示的显示形态，用户可以获得下面的好处。即，即使在物体像隐藏于本车辆像的后方而很难确认车辆像和物体像在图像上的间隔的情况下，用户也能够单独地识别本车辆像以及其他车辆像，并能够准确地把握本车辆9和物体间的距离。
另外，在图7下段的合成图像IMc中若操作图像切换按钮B2，则从合成图像IMc变为图6上段所示的合成图像IM在显示装置进行显示。像这样用户能够从多个框显示的显示形态中，自由地选择容易确认本车辆像和物体像在图像上的间隔的显示形态。
图8是关于合成图像上所显示的框显示的本车辆像的设定的说明图。图8上段示出了导航图像NA。用户若操作导航图像NA的设定按钮Ba，则图8下段所示的车辆像选择图像SE在显示装置3进行显示。
该车辆像选择图像SE是通过用户的操作对生成合成图像时所使用的多边形模型预先进行选择的图像。车辆像选择图像SE中示出了实像模型PG、粗线模型PGa、细线模型PGb、以及前车体模型PGc。用户从这些多个多边形模型中选择的一个多边形模型，在生成合成图像时被配置在投影面TS上的车辆区域R0中。然后，通过周边图像生成部22生成从虚拟视点观察的本车辆像，并生成在周边图像上重叠了本车辆像的合成图像。
<1-4.处理>
图9是说明图像生成装置2的处理的流程图。在图像生成装置2的信号接收部26接收到来自位移传感器101的将移位位置设为“R(后退)”的信号的情况下(在步骤S101中为“是”)，周边图像生成部22以及合成图像生成部23，生成包含从本车辆9的正上方的虚拟视点VP1观察的合成图像TIM、和由后摄像头5B拍摄而得到的拍摄图像BIM在内的倒退模式图像BA，在显示装置3进行显示(步骤S102)。另外，在信号接收部26没接收到来自位移传感器101的将移位位置设为“R(后退)”的信号的情况下(在步骤S101中为“否”)，结束处理。
接着，在操作受理部25接收到通过用户对操作部4的操作而产生的倒退模式图像BA的视点切换按钮B0的操作信号的情况下(在步骤S103为“是”)，周边图像生成部22生成从虚拟视点VP观察的本车辆9的周边图像、和在车辆像选择图像SE中预先选择的多边形模型(例如，粗线模型PGa)所对应的本车辆像(例如，粗线框像91a)，合成图像生成部23生成在周边图像上重叠了本车辆像的合成图像(例如，合成图像IMa)(步骤S104)。另外，在操作受理部25没接收到用户使用了操作部4的视点切换按钮B0的操作信号的情况下(在步骤S103中为“否”)进行后述的步骤S106的处理。
然后，图像输出部24将由合成图像生成部23生成的合成图像输入至显示装置3并进行显示(步骤S105)。
接着，在操作受理部25接收到用户使用了操作部4的图像切换按钮B2的操作信号的情况下(在步骤S106中为“是”)，周边图像生成部22生成从虚拟视点VP观察的本车辆9的周边图像、和从在车辆像选择图像SE中预先选择的多边形模型(例如，粗线模型PGa)的本车辆像对框显示的显示形态进行变更的另外的多边形模型(例如，细线模型PGb)所对应的本车辆像(例如，细线框像91b)，合成图像生成部23生成在周边图像上重叠了本车辆像的合成图像(例如，合成图像IMb)(步骤S104)。另外，在操作信号受理部25没接收到用户使用了操作部4的图像切换按钮B2的操作信号的情况下(在步骤S106中为“否”)结束处理。
另外，在步骤S106的处理中在操作信号受理部25没接收到用户使用了操作部4的图像切换按钮B2的操作信号的情况下，在显示装置3所显示着的图像不进行变更而继续原有状态。此外，在这种情况下经过了一定的时间(例如，5分钟以上)时，也可以切换为导航图像NA。
通过像这样将本车辆像设为框显示并变更其显示形态，用户能够单独地识别本车辆像以及其他车辆像，并能够与物体的位置无关地可靠地确认本车辆像和物体像在图像上的间隔，能够准确地把握物体相对于本车辆9的距离。
此外，即使在作为物体像的其他车辆像的一部分被框显示的本车辆像隐藏而用户难以确认车辆像和物体像在图像上的间隔的情况下，通过由用户选择容易确认车辆像和物体像在图像上的间隔的线的线宽的框显示，用户也能够单独地识别本车辆像以及其他车辆像，并能够准确地把握物体相对于本车辆9的距离。
<1-5.与虚拟视点相应的本车辆像的框显示的显示形态的变更>
另外，在本实施方式中能够如同上述的图5所示的基于虚拟视点VP1的合成图像TIM和图7所示的基于虚拟视点VP的合成图像IMb那样，根据虚拟视点，变更合成图像中所显示的本车辆像的框显示的显示形态。即，能够根据虚拟视点将本车辆像变更为实像显示以及框显示的任意一者。关于这样的本车辆像的变更使用图10进行说明。
图10是关于与虚拟视点相应的本车辆像的框显示的显示形态的变更的说明图。图10上段示出了从视点位置在实像模型PG的正上方、视线方向是垂直方向的虚拟视点VP1观察的合成图像TIM。合成图像TIM，除了生成倒退模式图像BA的情况以外在下面的情况下被生成。例如，在信号接收部26接收到表示用户的本车辆9的IGON(ignition on，点火打开)的信号的情况下，图像生成装置2生成合成图像TIM。其结果，显示装置3显示合成图像TIM。在像这样生成合成图像的虚拟视点是虚拟视点VP1的情况下，本车辆的多边形模型选择实像模型PG。这是因为在从虚拟视点VP1观察的周边图像上重叠了实像显示的本车辆像91h的情况下，不会存在其他车辆像被本车辆像91h隐藏而成为用户的死角的区域。此外，是因为在将本车辆像设为框显示的情况下，有时本车辆像的形状不明确反而用户难以把握本车辆像。
像这样，与框显示相比通过对用户容易把握本车辆的形状和位置的实像显示的本车辆像进行显示，用户能够单独地识别本车辆像以及其他车辆像，并能够准确地把握物体相对于本车辆9的距离。于是，在从虚拟视点来看隔着本车辆9的区域对于用户来说不会成为死角的情况下，图像生成装置2，在显示装置3中显示在周边图像上重叠了实像模型PG所对应的实像显示的本车辆像的合成图像TIM。
与此相对，图10下段示出了，从视点位置是投影面TS中的粗线模型PGa的前方且比本车辆9的车高更高的位置、视线方向是从本车辆9的前方向后方的虚拟视点VP观察的合成图像IMa。像这样在生成合成图像的虚拟视点是虚拟视点VP的情况下，本车辆的多边形模型选择为框显示的本车辆像所对应的模型(例如，粗线模型PGa)。这是因为从虚拟视点VP隔着本车辆9的区域的一部分被隐藏，对用户来说成为死角。像这样从虚拟视点来看隔着本车辆9的区域对用户来说成为死角的情况下，图像生成装置2，在显示装置3中显示在周边图像上重叠了粗线模型PGa等的框显示的本车辆像的合成图像IMa。
像这样根据虚拟视点，通过将在周边图像上重叠的本车辆像设为框显示以及实像显示的任意一者的显示，从而无论是从哪个虚拟视点观察的合成图像都能够在合成图像中显示用户容易识别车辆形状的本车辆像，用户能够准确地把握本车辆和物体间的距离。
<2.第2实施方式>
接着，关于第2实施方式进行说明。第2实施方式的图像显示系统10的图像生成装置2对在第1实施方式中说明了的多边形模型的构成进行变更。具体来说，对于由多个多边形所构成的各模型(粗线模型PGa、细线模型PGb、以及前车体模型PGc)的至少进行框显示的部位，将2枚多边形的背面彼此粘在一起，将粘在一起的多边形(以下称为“粘合多边形”。)的表面以及背面的颜色分别设为不同的颜色来进行着色。第2实施方式的图像显示系统10的构成以及处理，和第1实施方式几乎是同样的，但像这样构成各模型的多个多边形的至少一部分的多边形的构成不同，其结果，由周边图像生成部22所生成的本车辆像的框显示的显示形态也不同。因此使用图11以及图12以不同点为中心进行说明。
图11是示出三角形形状的2枚多边形、和粘合了2枚多边形的1枚粘合多边形的图。图11上段的多边形pn1和pn2是相同形状以及性质的多边形，将各自的表面设为表面ob1(ob2)，背面设为背面re1(re2)进行说明。并且，在第1实施方式中所说明的各多边形模型使用这种多个多边形pn1(pn2)来构成三维形状。
此外，在第1实施方式中说明的各多边形模型根据其种类，在多个多边形pn1(pn2)的表面ob1(ob2)上着色的范围、颜色等不同。例如，在实像模型PG的情况下，对于构成本车辆9的三维形状的模型，在多个多边形pn1(pn2)的表面ob1(ob2)进行与实际的本车辆9的实像相近的着色。另外，在多边形pn1(pn2)的背面re1(re2)不进行着色。因此，从虚拟视点观察多边形pn1(pn2)的情况下，观察表面ob1(ob2)时，表面上所着色的颜色在图像上被显示，观察背面re1(re2)时，由于背面re1(re2)并未着色是透明的，因此在表面ob1(ob2)上所着色的颜色在图像上被显示。
然后，在第1实施方式的框显示的各多边形模型中，对于构成本车辆9的三维形状的多个多边形pn1(pn2)中与本车辆9的车体的框架相当的部分、和其他构成本车辆9的外形的主要的零件(例如，轮胎、前灯、尾灯、以及后视镜等)的多边形pn1(pn2)进行着色。并且，对构成其他的部分的多边形pn1(pn2)不进行着色。例如，通过在多边形pn1(pn2)的表面ob1(ob2)进行绿色的着色，框显示(例如，图7上段所示的细线框像91b的框线)的部分显示为绿色。
与此相对，在第2实施方式的框显示的各多边形模型中，在与本车辆9的车体的框架相当的部分的多边形pn1(pn2)的背面re1(re2)粘合别的多边形pn1(pn2)的背面re1(re2)，生成2枚多边形的各自的背面被粘合的粘合多边形pn3。然后，例如如图11下段所示多边形pn1的背面re1和多边形pn2的背面re2被粘合的情况下，多边形pn3的表面ob3和背面re3所着色的颜色不同。例如，多边形pn3的表面ob3被着色为绿色，多边形pn3的背面被着色为红色。在周边图像上重叠了由粘合多边形所构成的本车辆像的合成图像的例子在下面示出。
图12是示出在细线模型PGb中，对于被框显示的部分的多边形使用粘合多边形pn3而构成的多边形模型的合成图像IMd的图。例如，在图12的本车辆像91d中由实线示出的表面ob3所对应的框线的颜色显示为绿色，在虚线上画了阴影的线所示的背面re3所对应的框线的颜色显示为红色。即，在从虚拟视点VP观察本车辆9的情况下，在从虚拟视点VP看得见的部分的框线中使用表面ob3。其结果框线的颜色显示为绿色。
并且，在被车体隐藏本来看不见的部分的框线中使用背面re3。其结果框线的颜色显示为红色。即，本车辆9的车体的框架所对应的框线的一个面与另一个面设为不同颜色，在从虚拟视点观察的情况下，图像上所显示的框线根据是一个面以及另一个面的哪一个面，变更框显示的显示形态。由此，因为用户能够立即分清各框线对应于本车辆9的哪个部分，所以用户能够立体地识别本车辆像91d，并能够准确地把握本车辆9与物体间的距离。
另外，这种合成图像IMd，用户通过操作图12所示的图像切换按钮B2，能够如同在第1实施方式中所说明的各合成图像那样进行本车辆像的显示方式的变更。
<3.第3实施方式>
接着，关于第3实施方式进行说明。第3实施方式的图像显示系统10a的图像生成装置2a，从图像信息、来自各种传感器的信息等来检测存在于本车辆9的周边的作为障碍物的物体的位置，根据该物体的位置，变更框显示的本车辆像的框的线的线宽。即，图像生成装置2a根据物体的位置将本车辆像设为从框线的线宽不同的多个框显示中所选择的一个框显示的显示形态。另外，物体的位置没有必要是准确的位置，只要是物体相对于本车辆9存在于规定距离范围内的情况即可。
第3实施方式的图像显示系统的10a的构成以及处理，与第1实施方式几乎是相同的，但像这样根据存在于本车辆9的周边的物体的位置，来变更本车辆像的框显示的显示形态这一点上至少一部分的构成不同。因此，以下使用图13以及图14以不同点为中心进行说明。
图13是示出图像显示系统10a的构成的图。图像显示系统10a的图像生成装置2a的控制部20中具备检测存在于本车辆9的周边的物体的位置的位置检测部202。位置检测部202根据由图像生成装置2a所生成的图像上的物体像(例如，后述的图14上段的合成图像IMe所示的障碍物像92e)的位置来检测实际的物体的位置。
此外，位置检测部202，也可以基于除了图像上的物体像以外的信息来取得表示存在于本车辆9的周边的物体的位置的信息(以下称为“周边物体信息”。)。例如，位置检测部202，从在图像显示系统10a的外部并被设置于本车辆9的检测存在于本车辆9的周边的物体的位置的雷达装置103、以及间隙声纳(clearance SONAR)104的至少任意一个传感器取得周边物体信息。其结果，位置检测部202检测存在于本车辆9的周边的物体的位置。
在此，雷达装置103，例如，配备在本车辆9的前方或后方保险杠(bumper)的大致中央的部分，接收发送波在物体上反射后的反射波。此外，间隙声纳104，在本车辆9的前方的保险杠附近配备多个，以及本车辆9后方的保险杠附近配备多个，接收发送波在物体上反射后的反射波。
接着，根据位置检测部202检测到的周边物体信息，图像控制部201从本车辆数据273的多个多边形模型中读出一个多边形模型，将所读出的多边形模型配置在投影面TS的车辆区域R0，生成在周边图像上重叠了从虚拟视点观察的本车辆像的合成图像。
在此，从多个多边形模型中读出的一个多边形模型，随着物体相对于本车辆9的位置接近而显示形态发生变化。例如，图像控制部201，随着物体相对于本车辆9的位置接近而在多个框显示的显示形态中，选择框的线的线宽细的框显示所对应的多边形模型。换言之，图像控制部201，随着物体相对于本车辆9的位置接近而使框显示的框的线的线宽变细。由此，用户能够可靠地用眼识别图像上的物体像的存在，容易确认车辆像与物体像在图像上的间隔，并能够更准确地把握本车辆9和物体间的距离。像这样，由于物体相对于本车辆9的位置接近，从而本车辆9与物体相撞的危险度变得越高，使框显示的显示的框线的线宽越细，由此用户能够更容易看见障碍物像。
图14是示出根据物体的位置来变更框的线的线宽的合成图像的图。图14上段示出了，物体相对于本车辆9的位置是第1范围(例如，物体相对于本车辆9的距离超过5m，并且在20m以下)的情况下的包含框显示的本车辆像在内的合成图像IMe。此外，图14下段示出了，物体相对于本车辆9的位置是第2范围(例如，物体相对于本车辆9的距离超过1m，并且在5m以下)的情况下的包含框显示的本车辆像在内的合成图像IMf。
此外，合成图像IMe以及合成图像IMf是从大致相同的虚拟视点观察本车辆9的情况下所生成的合成图像，是在周边图像上重叠了从将视点位置设为在本车辆9的左前方且比本车辆9的车高更高的位置、视线方向设为从本车辆9的左前方看向本车辆9右后方的虚拟视点观察的本车辆像而得到的合成图像。
并且，图14上段的合成图像IMe中，在大致中央示出了粗线模型PGa所对应的粗线框像91e。并且，在粗线框像91e的右侧后方显示了物体(例如，电线杆或旗杆(pole)等)所对应的障碍物像92e。
位置检测部202，根据合成图像IMe的障碍物像92e的图像信息、或来自雷达装置103以及间隙声纳104的至少任意一个装置的周边物体信息，检测物体相对于本车辆9的位置。然后，根据由位置检测部202检测到的物体相对于本车辆9的位置(这种情况下，假设物体存在于第1范围内)，图像控制部201，从本车辆数据273的多个多边形数据中读出粗线模型PGa。然后，图像控制部201，在投影面TS的车辆区域R0配置读出的粗线模型PGa，生成在周边图像上重叠了从虚拟视点观察的粗线框像91e的合成图像IMe。其结果，显示装置3显示合成图像IMe。
接着，关于本车辆9的位置比图14上段的图中所示的位置后退从而本车辆9的位置和障碍部的位置接近了的情况，使用图14下段的图来进行说明。在图14下段中，在合成图像IMf的大致中央示出了细线模型PGb所对应的细线框像91f。并且，显示了在细线框像91f的右侧后方与物体对应的障碍物像92f。
位置检测部202，根据合成图像IMf的障碍物像92e的图像信息、或来自雷达装置103以及间隙声纳104的至少任意一个装置的周边物体信息，来检测物体相对于本车辆9的位置。然后，根据由位置检测部202检测到的物体相对于本车辆9的位置(这种情况下，假设物体存在于第2范围内)，图像控制部201从本车辆数据273的多个多边形数据中读出细线模型PGb。然后，图像控制部201，在投影面TS的车辆区域R0配置读出的细线模型PGb，生成在周边图像上重叠了从虚拟视点观察的细线框像91f的合成图像IMf。其结果，显示装置3显示合成图像IMf。
像这样，图像生成装置2，随着存在于本车辆9的周边的物体的位置接近本车辆9的位置使框显示的框的线的线宽变细。由此，用户能够单独地识别本车辆像以及其他车辆像，并可靠地用眼识别图像上的物体像的存在，容易确认本车辆像和障碍物像在图像上的间隔，并能够更准确地把握本车辆9和物体间的距离。
<4.第4实施方式>
接着，关于第4实施方式进行说明。第4实施方式的图像显示系统10b的图像生成装置2b，根据图像信息、来自各种传感器的信息等来检测存在于本车辆9的周边的物体的位置。然后，图像生成装置2b，在物体的位置为本车辆9的附近的情况下，对物体的位置所对应的框显示的一部分的框线的显示形态进行变更。即，在物体的位置为本车辆9的附近的情况下，对于物体的位置所对应的一部分框线重叠表示用户应该注意的部位的标志的图像(例如，对于绿色的框线重叠黄色的标志的图像)。另外，物体的位置没有必要是准确的位置，只要是物体相对于本车辆9存在于规定距离范围内的情况即可。
第4实施方式的图像显示系统的10b的构成以及处理，和第3实施方式几乎相同，但像这样根据物体的位置在本车辆像的框线上重叠显示表示用户应该注意的部位的标志的图像(以下称为“标志图像”。)这一点上至少一部分的构成不同。因此，以下使用图15以及图16以不同点为中心进行说明。
图15是示出图像显示系统10b的构成的图。图像显示系统10b的图像生成装置2b中的存储部27具备标志图像数据274。该标志图像数据274，在由位置检测部202检测到的物体的位置为本车辆9的附近的情况下，通过图像控制部201的控制从存储部27被读出。然后，在物体的位置所对应的本车辆像的框线的部分上重叠和该框线颜色不同的标志图像。由此，用户能够准确地把握物体相对于本车辆9存在于哪个位置。
图16是示出本车辆像91g的一部分框线的显示变成与物体的位置对应的显示形态的合成图像IMg的图。图16的合成图像IMg，是在周边图像上重叠了从将视点位置设为本车辆9的左侧后方且比本车辆9的车高更高的位置、视线方向设为从本车辆9的左侧后方看向本车辆9的右侧前方的虚拟视点观察的本车辆像的合成图像。并且，在合成图像16的大致中央示出了细线模型PGb所对应的细线框像91g。此外，在细线框像91g的左侧后方显示了物体所对应的障碍物像92g。
位置检测部202，根据合成图像IMg的障碍物像92g的图像信息、或来自雷达装置103以及间隙声纳104的至少一个装置的周边物体信息，检测物体相对于本车辆9的位置。然后，在由位置检测部202检测到的物体相对于本车辆9的位置为本车辆9的附近(例如，5m以内)的情况下，图像控制部201，在与物体的位置所对应的本车辆9的车体部分相当的一部分框线上重叠标志图像数据274的标志图像MA。例如，如图16所示，图像控制装置201，生成在与细线框像91g的左后方的车体部分相当的框线上重叠了标志图像MA的合成图像IMg。显示装置3显示合成图像IMg。由此，用户能够准确地把握物体相当于本车辆9存在于哪个位置，并能够确认本车辆9的危险部位。
另外，在物体存在于本车辆9的附近的情况下，预先规定根据物体存在的位置使本车辆像的哪个框线的显示形态进行变更，通过使与物体的位置相应的本车辆像的一部分框线的显示形态进行变更，用户能够直观地把握物体相对于本车辆9存在于哪个位置、本车辆9的哪个部位危险。
<5.变形例>
以上，关于本发明的实施方式进行了说明，但本发明并不限定于上述实施方式，能够进行各种变形。以下，关于这种变形例进行说明。包含在上述实施方式中所说明的形态、以及以下说明的形态在内的所有的形态，能够进行适当的组合。
在上述实施方式中，将生成包含周边图像和本车辆像在内的合成图像的情况下的虚拟视点主要设为虚拟视点VP以及VP1的位置和视线方向进行了说明，但只要用于示出从虚拟视点来看隔着车辆的区域，则虚拟视点也可以是除了虚拟视点VP以及VP1以外的其他的视点位置以及视线方向的虚拟视点。
此外，在上述实施方式中，说明了由图像生成装置2的控制部20来实现的功能的一部分，也可以由显示装置3的控制部来实现。
此外，在上述实施方式中，说明了通过按照程序的CPU的运算处理来在软件上实现各种功能，但这些功能中的一部分也可以通过电的硬件电路来实现。而且反之，通过硬件电路来实现的功能中的一部分，也可以在软件上实现。
此外，在第3以及4的实施方式中，说明了图像生成装置2a以及2b，通过信号接收部26，从雷达装置103以及间隙声纳104的至少任意一个装置取得周边物体信息。对此，也可以从除了雷达装置103以及间隙声纳104以外的装置取得周边物体信息，来检测物体的位置。
此外，在第4实施方式中，在物体的位置为本车辆9的附近的情况下，说明了在物体的位置所对应的本车辆像的框线的一部分上重叠标志图像。除此以外，也可以不在时间上持续地进行标志图像的重叠，而是隔开规定的时间间隔(例如大约1秒的间隔)反复进行重叠和非重叠。由此，在用户观察合成图像IMg的情况下，图像上的标志图像MA看起来像在闪烁，更加容易识别危险部位。进而，在本车辆9的附近的位置检测到物体的情况下，也可以代替重叠标志图像MA、或与标志图像MA的重叠一起，从图15中未图示的图像生成装置2b所配备的扬声器对用户报告警告音。
【符号说明】
2     图像生成装置
3     显示装置
4     操作部
5     拍摄部
9     本车辆
10    图像显示系统

Claims (9)

1.一种图像生成装置，其特征在于，具备：
取得单元，其取得车辆所搭载的摄像头的拍摄图像；和
生成单元，其根据所述拍摄图像，生成从虚拟视点观察所述车辆以及所述车辆的周边区域而得到的周边图像，并生成在该周边图像上重叠了表示所述车辆的车辆像而得到的合成图像，
所述生成单元，将所述车辆像设为由线状的框来表示车体的框架的框显示，根据规定条件变更所述框显示的显示形态。
2.根据权利要求1所述的图像生成装置，其特征在于，
所述生成单元将所述框显示的显示形态设为根据所述车辆的用户的操作而从所述框的线的线宽不同的多个所述框显示中选择的一个框显示的显示形态。
3.根据权利要求1所述的图像生成装置，其特征在于，
所述生成单元，根据所述虚拟视点，将所述车辆像设为所述框显示和所述车辆的实像显示中的任意一方的显示形态。
4.根据权利要求1所述的图像生成装置，其特征在于，
所述框的一个面与另一个面为不同颜色，
所述生成单元，根据从所述虚拟视点观察时所显示的所述框的面是所述一个面和所述另一个面中的哪一个面，来变更所述框显示的显示形态。
5.根据权利要求1所述的图像生成装置，其特征在于，
还具备检测存在于所述车辆的周边的物体的检测单元，
所述生成单元，将所述框显示的显示形态设为根据所述物体的位置从所述框的线的线宽不同的多个所述框显示中选择的一个框显示的显示形态。
6.根据权利要求5所述的图像生成装置，其特征在于，
随着所述物体的位置接近所述车辆的位置，所述生成单元使所述框显示的框的线的线宽变细。
7.根据权利要求1所述的图像生成装置，其特征在于，
还具备检测存在于所述车辆的周边的物体的检测单元，
所述生成单元，对与所述物体的位置相对应的所述框显示的一部分框的显示形态进行变更。
8.一种图像显示系统，其特征在于，具备：
权利要求1至7中任意一项所述的图像生成装置；和
显示装置，其显示从所述图像生成装置输出的所述合成图像。
9.一种图像生成方法，其特征在于，具备：
(a)取得车辆所搭载的摄像头的拍摄图像的工序；
(b)根据所述拍摄图像，生成从虚拟视点观察所述车辆以及所述车辆的周边区域而得到的周边图像，并生成在该周边图像上重叠了表示所述车辆的车辆像而得到的合成图像的工序，
所述工序(b)，将所述车辆像设为由线状的框来表示车体的框架的框显示，根据规定条件变更所述框显示的显示形态。
CN201310311280.3A 2012-09-27 2013-07-23 图像生成装置、图像显示系统、以及图像生成方法 Active CN103692973B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-213889 2012-09-27
JP2012213889A JP6014442B2 (ja) 2012-09-27 2012-09-27 画像生成装置、画像表示システム、および、画像生成方法

Publications (2)

Publication Number Publication Date
CN103692973A true CN103692973A (zh) 2014-04-02
CN103692973B CN103692973B (zh) 2015-12-23

Family

ID=50338465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310311280.3A Active CN103692973B (zh) 2012-09-27 2013-07-23 图像生成装置、图像显示系统、以及图像生成方法

Country Status (3)

Country Link
US (1) US9479740B2 (zh)
JP (1) JP6014442B2 (zh)
CN (1) CN103692973B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107429890A (zh) * 2015-03-23 2017-12-01 株式会社小糸制作所 车辆用拍摄装置、车辆用灯具以及电子控制单元
CN107472135A (zh) * 2016-06-07 2017-12-15 松下知识产权经营株式会社 图像生成装置、图像生成方法以及程序
CN108268833A (zh) * 2017-01-04 2018-07-10 株式会社电装天 图像处理设备和图像处理方法
CN109076197A (zh) * 2016-04-26 2018-12-21 株式会社电装 显示控制装置
CN109792509A (zh) * 2016-10-04 2019-05-21 爱信精机株式会社 周边监控装置
CN109789831A (zh) * 2016-09-14 2019-05-21 罗伯特·博世有限公司 用于提供车辆的车辆周围环境的后视镜视图的方法
CN109849788A (zh) * 2018-12-29 2019-06-07 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
CN110997409A (zh) * 2017-07-07 2020-04-10 爱信精机株式会社 周边监控装置
CN111052735A (zh) * 2017-09-07 2020-04-21 索尼公司 图像处理装置、图像处理方法以及图像显示系统
CN111918020A (zh) * 2019-05-07 2020-11-10 阿尔派株式会社 图像处理装置、以及图像处理方法
CN112477758A (zh) * 2019-09-12 2021-03-12 爱信精机株式会社 周边监视装置
CN112818743A (zh) * 2020-12-29 2021-05-18 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN114258366A (zh) * 2019-08-21 2022-03-29 伟摩有限责任公司 对于自主车辆的折线轮廓表示
CN116095298A (zh) * 2021-11-06 2023-05-09 浙江吉利控股集团有限公司 车外场景显示方法、头戴显示设备、终端设备及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6388205B2 (ja) * 2014-02-25 2018-09-12 パナソニックＩｐマネジメント株式会社 表示制御プログラム、表示制御装置、および表示装置
WO2016031009A1 (ja) * 2014-08-28 2016-03-03 国立大学法人東京大学 作業車両の表示システム、表示制御装置、作業車両、及び表示制御方法
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
JP6327160B2 (ja) * 2014-09-02 2018-05-23 株式会社デンソー 車両用画像処理装置
WO2016035271A1 (ja) * 2014-09-02 2016-03-10 株式会社デンソー 車両用画像処理装置
CN106143303A (zh) * 2015-04-23 2016-11-23 唐勇超 一种汽车驾驶影像技术
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6662175B2 (ja) * 2016-04-21 2020-03-11 日産自動車株式会社 表示方法及び運転支援装置
CN109690652A (zh) * 2016-09-16 2019-04-26 索尼公司 图像处理设备和方法以及图像处理系统
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
JP2018063294A (ja) * 2016-10-11 2018-04-19 アイシン精機株式会社 表示制御装置
JP6730177B2 (ja) * 2016-12-28 2020-07-29 株式会社デンソーテン 画像生成装置および画像生成方法
US20180278922A1 (en) * 2017-03-22 2018-09-27 Bragi GmbH Wireless earpiece with a projector
JP7056034B2 (ja) * 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置
DE102018100212A1 (de) * 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Darstellen einer Umgebung eines Fahrzeugs durch Einblenden und Ausblenden eines Modells des Fahrzeugs in einem virtuellen Bild; Steuereinheit; Fahrerassistenzsystem; sowie Kameraeinrichtung
DE102018100599A1 (de) * 2018-01-12 2019-07-18 Connaught Electronics Ltd. Verfahren zum Darstellen einer Umgebung eines Fahrzeugs durch Anpassen eines Modells des Fahrzeugs in einem virtuellen Bild an Wetterbedingungen; Steuereinheit; Fahrerassistenzsystem; sowie Kameraeinrichtung
JP7140498B2 (ja) * 2018-01-25 2022-09-21 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置及び表示システム
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP6802226B2 (ja) * 2018-09-12 2020-12-16 矢崎総業株式会社 車両用表示装置
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
JP7283059B2 (ja) * 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
JP7293862B2 (ja) * 2019-05-24 2023-06-20 沖電気工業株式会社 移動体表示システム、画像処理装置及び画像処理プログラム
JP7327171B2 (ja) * 2020-01-08 2023-08-16 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7460385B2 (ja) 2020-02-13 2024-04-02 Ｇｏ株式会社 プログラム、車両端末及び表示方法
US11661722B2 (en) 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
JP7491194B2 (ja) * 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274147A1 (en) * 2005-06-07 2006-12-07 Nissan Motor Co., Ltd. Image display device and method
WO2009136559A1 (ja) * 2008-05-08 2009-11-12 アイシン精機株式会社 車両周辺表示装置
JP4895940B2 (ja) * 2007-08-13 2012-03-14 アルパイン株式会社 車両周辺画像表示装置および表示モード情報表示方法
CN102474597A (zh) * 2009-08-03 2012-05-23 爱信精机株式会社 车辆周围图像生成装置
CN102740056A (zh) * 2011-03-31 2012-10-17 富士通天株式会社 图像显示系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029349A (ja) * 2000-07-13 2002-01-29 Nissan Motor Co Ltd 車両周囲認識装置
JP4593070B2 (ja) * 2001-12-12 2010-12-08 株式会社エクォス・リサーチ 車両の画像処理装置
JP3972722B2 (ja) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ 車載画像処理装置
JP3797343B2 (ja) * 2003-05-12 2006-07-19 株式会社デンソー 車両周辺表示装置
JP4329525B2 (ja) 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
JP4569285B2 (ja) * 2004-12-13 2010-10-27 日産自動車株式会社 画像処理装置
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
JP4579145B2 (ja) 2005-11-30 2010-11-10 アルパイン株式会社 車両周辺画像表示装置
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP2009265803A (ja) * 2008-04-23 2009-11-12 Panasonic Corp 車両視界支援装置
JP2010093567A (ja) 2008-10-08 2010-04-22 Panasonic Corp 画像処理装置
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5592138B2 (ja) * 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274147A1 (en) * 2005-06-07 2006-12-07 Nissan Motor Co., Ltd. Image display device and method
JP4895940B2 (ja) * 2007-08-13 2012-03-14 アルパイン株式会社 車両周辺画像表示装置および表示モード情報表示方法
WO2009136559A1 (ja) * 2008-05-08 2009-11-12 アイシン精機株式会社 車両周辺表示装置
CN102474597A (zh) * 2009-08-03 2012-05-23 爱信精机株式会社 车辆周围图像生成装置
CN102740056A (zh) * 2011-03-31 2012-10-17 富士通天株式会社 图像显示系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107429890A (zh) * 2015-03-23 2017-12-01 株式会社小糸制作所 车辆用拍摄装置、车辆用灯具以及电子控制单元
CN109076197B (zh) * 2016-04-26 2020-09-04 株式会社电装 显示控制装置
CN109076197A (zh) * 2016-04-26 2018-12-21 株式会社电装 显示控制装置
CN107472135A (zh) * 2016-06-07 2017-12-15 松下知识产权经营株式会社 图像生成装置、图像生成方法以及程序
CN107472135B (zh) * 2016-06-07 2022-03-25 松下知识产权经营株式会社 图像生成装置、图像生成方法以及记录介质
CN109789831A (zh) * 2016-09-14 2019-05-21 罗伯特·博世有限公司 用于提供车辆的车辆周围环境的后视镜视图的方法
CN109792509A (zh) * 2016-10-04 2019-05-21 爱信精机株式会社 周边监控装置
US11302076B2 (en) 2016-10-04 2022-04-12 Aisin Corporation Periphery monitoring apparatus
CN108268833A (zh) * 2017-01-04 2018-07-10 株式会社电装天 图像处理设备和图像处理方法
CN110997409A (zh) * 2017-07-07 2020-04-10 爱信精机株式会社 周边监控装置
CN111052735A (zh) * 2017-09-07 2020-04-21 索尼公司 图像处理装置、图像处理方法以及图像显示系统
CN111052735B (zh) * 2017-09-07 2022-01-04 索尼公司 图像处理装置、图像处理方法以及图像显示系统
CN109849788A (zh) * 2018-12-29 2019-06-07 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
CN111918020A (zh) * 2019-05-07 2020-11-10 阿尔派株式会社 图像处理装置、以及图像处理方法
CN114258366A (zh) * 2019-08-21 2022-03-29 伟摩有限责任公司 对于自主车辆的折线轮廓表示
CN114258366B (zh) * 2019-08-21 2023-05-16 伟摩有限责任公司 对于自主车辆的折线轮廓表示
US11938926B2 (en) 2019-08-21 2024-03-26 Waymo Llc Polyline contour representations for autonomous vehicles
CN112477758A (zh) * 2019-09-12 2021-03-12 爱信精机株式会社 周边监视装置
CN112818743A (zh) * 2020-12-29 2021-05-18 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN112818743B (zh) * 2020-12-29 2022-09-23 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN116095298A (zh) * 2021-11-06 2023-05-09 浙江吉利控股集团有限公司 车外场景显示方法、头戴显示设备、终端设备及存储介质

Also Published As

Publication number Publication date
US20140085466A1 (en) 2014-03-27
JP6014442B2 (ja) 2016-10-25
US9479740B2 (en) 2016-10-25
JP2014068308A (ja) 2014-04-17
CN103692973B (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN103692973B (zh) 图像生成装置、图像显示系统、以及图像生成方法
CN102804763B (zh) 车辆周边监视装置
JP5267660B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
CN1878299B (zh) 图像显示装置和方法
JP5208203B2 (ja) 死角表示装置
WO2018105417A1 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP5408198B2 (ja) 映像表示装置及び映像表示方法
US10930070B2 (en) Periphery monitoring device
CN102555905B (zh) 产生车辆周围环境中至少一个物体的影像的方法和设备
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6084097B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2016063390A (ja) 画像処理装置、及び画像表示システム
JP2018110328A (ja) 画像処理装置および画像処理方法
JP5960007B2 (ja) 作業機械用周辺監視装置
JP2012257107A (ja) 画像生成装置
JP2015184839A (ja) 画像生成装置、画像表示システム及び画像生成方法
TW201526638A (zh) 車用障礙物偵測顯示系統
JP6762863B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP2014067120A (ja) 画像生成装置、画像表示システム、および、画像生成方法
US20210370773A1 (en) Image processing apparatus, moving apparatus, method, and program
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
JP6781035B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
CN110347241B (zh) 一种可正位实景显示的ar抬头显示光学系统
JP2014059723A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP7296490B2 (ja) 表示制御装置及び車両

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant