CN111052735A - 图像处理装置、图像处理方法以及图像显示系统 - Google Patents

图像处理装置、图像处理方法以及图像显示系统 Download PDF

Info

Publication number
CN111052735A
CN111052735A CN201880056163.8A CN201880056163A CN111052735A CN 111052735 A CN111052735 A CN 111052735A CN 201880056163 A CN201880056163 A CN 201880056163A CN 111052735 A CN111052735 A CN 111052735A
Authority
CN
China
Prior art keywords
image
obstacle
vehicle
distance
virtual mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880056163.8A
Other languages
English (en)
Other versions
CN111052735B (zh
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111052735A publication Critical patent/CN111052735A/zh
Application granted granted Critical
Publication of CN111052735B publication Critical patent/CN111052735B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Instrument Panels (AREA)

Abstract

本发明的公开涉及使得能够以较小的视线移动把握与障碍物的间隔的图像处理装置、图像处理方法和图像显示系统。在本发明中，立体图像捕获装置以车辆前方的测量目标范围作为视角来捕获立体图像，并且显示装置被设置为从车辆内的驾驶员的视点位置观察时覆盖测量目标范围的至少部分。距离测量单元使用立体图像测量到测量目标范围中的其他物体的距离，并将位于预定距离内的物体识别为障碍物。图像生成单元假设将镜子虚拟地设置在从车辆中的驾驶员的视点位置观察所述障碍物的方向的上方，生成允许使用通过所述镜子的反射至少看到车辆和障碍物的虚拟镜子图像，并使显示装置显示所述虚拟镜子图像。本发明的技术可以应用于例如车载图像显示系统。

Description

图像处理装置、图像处理方法以及图像显示系统
技术领域
本公开涉及图像处理装置、图像处理方法和图像显示系统，尤其涉及使得能够以较小的视线移动把握与障碍物的距离的图像处理装置、图像处理方法和图像显示系统。
背景技术
通常，由于视线被车辆的发动机罩等遮挡而对驾驶车辆的驾驶员产生不可见区域(以下称为盲区)，因此难以把握距离盲区中的障碍物(诸如其他汽车)的距离。过去，已经开发了各种方法(参见稍后描述的图4B和图4C)，使得驾驶员可以识别在这种盲区中的障碍物。
例如，专利文献1提出了一种基于对驾驶员的视点的位置的检测结果，使用车辆外部的图像来创建类似于后视镜中的反射图像的输出图像的方法。
引文列表
专利文献
PTL 1 JP 2014-198531A
发明内容
技术问题
顺便提及，在如上所述的现有方法中，由于必须将视线从要注意的障碍物上移开或者难以把握本车辆与障碍物之间的距离，因此需要使得能够以较小的视线移动来把握与障碍物的距离的方法。
鉴于这种情况做出本公开，并且本公开使得能够以较小的视线移动来把握与障碍物的距离。
问题的解决方案
根据本公开的一方面的图像处理装置设置有距离测量部和图像生成部，其中所述距离测量部测量从预定的移动物体到测量目标范围中的其他物体的距离，并将在预定距离内的所述其他物体识别为障碍物；以及所述图像生成部在假设将镜子虚拟地设置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使布置为从所述视点位置观察时覆盖所述测量目标范围的至少部分的显示装置显示所述虚拟镜子图像。
根据本公开的一方面的图像处理方法包括：对于处理图像的图像处理装置，测量从预定的移动物体到测量目标范围中的其他物体的距离，以便将预定距离内的所述其他物体识别为障碍物；以及在假设将镜子虚拟地设置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使布置为从所述视点位置观察时覆盖所述测量目标范围的至少部分的显示装置显示所述虚拟镜子图像。
根据本公开的一方面的图像显示系统设置有立体图像捕获装置，所述立体图像捕获装置以从预定的移动物体的测量目标范围作为视角捕获立体图像；显示装置，所述显示装置被布置为从所述移动物体中的预定的视点位置观察时覆盖所述测量目标范围的至少部分；距离测量部，所述距离测量部通过使用所述立体图像来测量到所述测量目标范围中的其他物体的距离，并且将预定距离内的所述其他物体识别为障碍物；以及图像生成部，所述图像生成部在假设将镜子虚拟地布置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使所述显示装置显示所述虚拟镜子图像。
在本公开的一方面，测量从预定的移动物体到测量目标范围中的其他物体的距离，并且将预定距离内的所述其他物体识别为障碍物。然后，在假设将镜子虚拟地设置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过来自所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并将所述虚拟镜子图像显示在布置为从所述视点位置观察时覆盖所述测量目标范围的至少部分的显示装置上。
发明的有益效果
根据本公开的一方面，可以以较小的视线移动来把握与障碍物的距离。
注意，本公开的效果不必限于这里描述的那些，并且可以是本公开中描述的任何效果。
附图说明
图1是示出应用了本技术的车载图像显示系统的实施例的配置示例的框图。
图2描绘了示出配备有图像显示系统的车辆与停止的车辆之间的位置关系的图。
图3描绘了用于说明虚拟镜子的图。
图4描绘了用于说明当使用其他方法时的视野的图。
图5是用于说明第一图像显示处理的流程图。
图6是用于说明第二图像显示处理的流程图。
图7是用于说明第三图像显示处理的流程图。
图8描绘了用于说明图标图像的显示示例的图。
图9是示出应用本技术的计算机的实施例的配置示例的框图。
具体实施方式
在下文中，将参照附图详细描述应用了本技术的特定实施例。
<车载图像显示系统的配置示例>
图1是示出应用了本技术的车载图像显示系统的实施例的配置示例的框图。
图1所示的图像显示系统11包括立体图像捕获装置12、IMU(惯性测量单元)13、显示装置14和图像处理装置15，并且安装在例如稍后将如图2中说明的车辆31上。
如在稍后将描述的图2中所示，立体图像捕获装置12例如被布置在车辆31的挡风玻璃的上端附近的布置位置处(即，在后视镜的后侧的布置位置处)，并且被固定为从布置位置捕获车辆31前方的图像。在图像显示系统11中，将由立体图像捕获装置12捕获的图像的范围视为相对于车辆31的周边环境的测量目标的测量目标范围，并且例如，在车辆31的中央向前观察时立体图像捕获装置12拥有的图像捕获部的视角中包括的范围被视为测量目标范围。
例如，立体图像捕获装置12包括至少两个图像捕获部，并且这些图像捕获部被布置为具有适当的距离，以获得用于测量到作为图像捕获物体的物体的距离的视差。然后，立体图像捕获装置12向图像处理装置15提供根据两个图像捕获部的视角捕获的在测量目标范围内的立体图像。
IMU 13例如包括陀螺仪装置和加速度测量装置，并且是测量安装有图像显示系统11的车辆31的惯性的惯性测量装置。例如，IMU 13可以检测三轴角或角速度和三轴加速度，并将通过观察得到的观察数据提供给图像处理装置15。注意，图像显示系统11可以使用来自IMU 13的观察数据，并且可以使用例如从车辆31中包括的各种传感器输出的车辆速度脉冲和偏航率。
显示装置14例如包括在不显示图像时透明并且不遮挡驾驶员的视线的平视显示器，并且显示区域被布置成覆盖车辆31的挡风玻璃，如图3所示。换句话说，如果将显示装置14的显示区域布置为从坐在车辆31的驾驶员座位的驾驶员观察时覆盖通过立体图像捕获装置12的(车辆31的前方)测量目标范围的至少一部分，就足够了。然后，显示装置14显示经过图像处理装置15的图像处理的图像，即，例如显示使得能够通过稍后将描述的图3所示的虚拟镜子41来识别盲区的图像(下文中称为虚拟镜子图像)。
例如，图像处理装置15生成看起来像由虚拟地设置在盲区上方的虚拟镜子41(图3)反射的图像的虚拟镜子图像，并且执行用于使显示装置14显示使驾驶员可以识别由于车辆31的发动机罩等导致的盲区的图像的图像处理。在此，虚拟镜子图像是用作使当从驾驶员的视点位置观察虚拟镜子41时、通过在虚拟镜子41上的反射至少可以看到车辆31和障碍物，并且可以(与使用普通镜子观察时类似的方式)直观地识别出这两者之间的距离的图像。
如图所示，图像处理装置15包括距离测量部21、本车辆运动估计部22、物体识别处理部23、3D(维度)建模部24、数据登记部25、以及图像生成部26。
距离测量部21使用从立体图像捕获装置12提供的立体图像，并且例如，基于由两个图像捕获部捕获的两个图像之间的视差来测量到其图像在立体图像中捕获的物体的距离。然后，距离测量部21在立体图像捕获装置12的测量目标范围内测量到周边环境中的物体的距离，并将指示测量结果的距离信息提供给物体识别处理部23和3D建模部24。此外，距离测量部21将在测量目标范围内的预定距离内的物体识别为障碍物，并且将指示障碍物的位置的位置信息和指示到障碍物的距离的距离信息提供给图像生成部26。
本车辆运动估计部22基于从立体图像捕获装置12提供的立体图像和从IMU 13提供的观察数据，估计安装有图像显示系统11的车辆31的运动。例如，本车辆运动估计部22估计车辆31的诸如行驶速度、加速度和行驶方向的运动，并将指示估计结果的运动信息提供给3D建模部24。
物体识别处理部23基于从立体图像捕获装置12提供的立体图像和从距离测量部21提供的距离信息来识别车辆31的周边环境中的物体，并且将指示识别结果的物体识别信息提供给图像生成部26。例如，物体识别处理部23可以通过将基于距离信息识别出存在物体的位置处的图像中捕获的物体与捕获各种物体的图像进行匹配来识别物体。然后，物体识别处理部23将识别出的物体所属的属性(例如，可以布置在道路上的各种物体的名称、动物的种类等)作为物体识别信息输出。
3D建模部24基于从距离测量部21提供的距离信息和从本车辆运动估计部22提供的运动信息，生成以三维形状表示车辆31的周边环境中的物体的3D模型，并将该模型提供给图像生成部26。例如，3D建模部24在提供距离信息和运动信息的每个时刻生成3D模型，此外，还可以使用车辆31的过去运动来基于从运动估计的物体的布置生成3D模型。也就是说，3D建模部24即使对于已经离开立体图像捕获装置12的视角(在死角中)的障碍物，也基于车辆31的过去运动来累积3D模型并估计障碍物的布置，从而将布置反映在3D模型上。
在图像登记装置25中登记有图像处理装置15中的图像处理所需的各种数据。例如，指示驾驶员的头部在车辆31中的位置(例如，驾驶员的视点位置)的驾驶员头部位置信息被登记在数据登记部25中。例如，在驾驶员头部位置信息中，可以预先设置基于车辆31的驾驶员座椅的位置和形状而识别的位置，此外，通过使用传感器(未显示)测量驾驶员的头部，还可以实时设置该信息。此外，在数据登记部25中，与可以由物体识别处理部23识别的物体的属性相关联地预先登记表示属性的图标图像(见图8)。
当通过距离测量部21识别出障碍物时，图像生成部26从数据登记部25获取驾驶员头部位置信息。然后，图像生成部26基于当从驾驶员观察看时、由3D建模部24提供的3D模型表示的障碍物的位置和方向确定虚拟地布置虚拟镜子41的位置和姿势(倾斜度)。例如，图像生成部26确定位置和姿势，从而使得虚拟镜子41被布置在从驾驶员观察障碍物的上部位置处，并且当从驾驶员观察时通过来自虚拟镜子41的反射至少可以看到车辆31和障碍物。
此后，图像生成部26在假设将镜子虚拟地布置在所确定的位置和姿势的情况下生成通过该镜子的反射可以看到车辆31和障碍物的虚拟镜子图像。然后，图像生成部26使显示装置14显示虚拟镜子图像，以使得图像显示在从驾驶员可以看到障碍物的显示位置。
例如，图像生成部26可以通过对由立体图像捕获装置12捕获的立体图像施加视点变换来生成虚拟镜子图像。此外，图像生成部26可以生成通过在从虚拟镜子41侧观察障碍物的方向上渲染从3D建模部24提供的3D模型而获得的CG(计算机图形)图像，作为虚拟镜子图像。然后，所生成的虚拟镜子图像被反转以成为由镜子反射的镜子图像并显示在显示装置14上。
此外，在从物体识别处理部23提供关于被识别为预定距离内的障碍物的物体的物体识别信息的情况下，图像生成部26从数据登记部25获取与障碍物的属性相关联地登记的图标图像。然后，图像生成部26使显示装置14显示图标图像，从而使得显示位置与由距离测量部21测量出的障碍物的位置相对应。例如，在显示装置14上显示虚拟镜子图像的情况下，图像生成部26可以在虚拟镜子图像附近显示图标图像。
此外，图像生成部26例如根据由从距离测量部21提供的距离信息所指示的到障碍物的距离来改变显示在显示装置14上的虚拟镜子图像的颜色，以便执行向驾驶员警报障碍物的警报处理。注意，除了基于这种视觉感之外，还可以例如通过从扬声器(未示出)输出警告声音来基于听觉感执行警报处理。
顺便提及，图像生成部26可以根据距离测量部21对障碍物的位置移动的测量，来移动虚拟镜子图像的显示位置。此外，在通过距离测量部21识别出多个障碍物的情况下，图像生成部26可以根据各个障碍物的位置在显示装置14上的多个位置处显示虚拟镜子图像。此外，在多个障碍物的位置彼此接近的情况下，图像生成部26可以根据距离来叠加与障碍物相对应的虚拟镜子图像，或者可以在一个大的虚拟镜子图像中集体显示多个障碍物。
图像显示系统11如上所述地配置，并且通过使用如上所述的虚拟镜子图像，驾驶员可以以较小的视线移动把握与障碍物的距离。
在此，参照图2至图4，将描述在图像显示系统11中的显示装置14上显示的虚拟镜子图像。
图2A示出了表示安装有图像显示系统11的车辆31与车辆31的前方的停止状态的停止车辆32之间的位置关系的侧视图，并且图2B示出其平面图。注意，在图2中，用虚线指示表示立体图像捕获装置12可以捕获图像的范围的视角，并且用点划线指示车辆31中的驾驶员的视线。
如图2A所示，假设车辆31向前移动并且接近停止车辆32至从车辆31的驾驶员观看时是盲区的范围(点划线下方的阴影线范围)。在这种情况下，车辆31的驾驶员不能在视觉上识别盲区中的停止车辆32。顺便提及，立体图像捕获装置12被布置在车辆31的挡风玻璃的上端附近，并且可以为驾驶员捕获在盲区中的停止车辆32的图像。
然后，如图2B所示，车辆31的驾驶员执行转向操作，以使车辆31向右侧移动从而避开停止车辆32。在这种情况下，由图像显示系统11显示虚拟镜子图像，以便防止驾驶员使车辆31与停止车辆32接触。
就是说，如图3A所示，虚拟镜子41的位置和姿势被布置在当从车辆31的驾驶员观看时、停止车辆32的位置上方，并且被确定为使得通过虚拟镜子41上的反射可以至少看到车辆31和停止车辆32之间的距离。然后，以在从车辆31的驾驶员观察时以这种方式确定的位置和姿势布置虚拟镜子41，并且在显示装置14上显示看起来像由虚拟镜子41反射的虚拟镜子图像。
这时，如图3B所示，在显示装置14的左侧显示看起来由虚拟镜子41反射的虚拟镜子图像，使得虚拟镜子41看起来被布置在从车辆31中的驾驶员头部的位置朝向停止车辆32的方向上看到的位置处。如图所示，视点变换被施加到由立体图像捕获装置12捕获的图像，并且虚拟镜子图像呈现出从上方观察车辆31和停止车辆32之间的距离的情况。
因此，车辆31的驾驶员可以通过观看显示在显示装置14上的虚拟镜子图像来直观地把握车辆31与停止车辆32之间的距离。由此，车辆31的驾驶员可以进行驾驶，使得可以可靠地避免车辆31与停止车辆32接触的情况。
如上所述，例如，图像显示系统11将视点变换施加于由立体图像捕获装置12捕获的图像，并且生成虚拟镜子图像，使得该图像看起来被虚拟地布置在车辆31与停止车辆32之间的位置上方的虚拟镜子41反射。然后，图像显示系统11在显示装置14的、从驾驶员观看时停止车辆32的位置的显示位置处显示虚拟镜子图像。结果，车辆31的驾驶员可以通过以从应当被注意的停止车辆32的小视线移动观看虚拟镜子图像来从虚拟镜子图像直观地把握车辆31与停止车辆32之间的距离。
这里，参照图4，将在如图2所示的情况、停止车辆34在车辆33的前方处于停止状态的情况下，描述当未使用参考图3描述的虚拟镜子41时的视野。
例如，图4A示出了未使用用于确认盲区的装置的普通视野。在这种情况下，车辆33的驾驶员不能在视觉上识别处于由于车辆33的发动机罩导致的盲区的停止车辆34。
在图4B中，示出了在犹如车辆33的发动机罩是透明的，在平视显示器上显示被车辆33的发动机罩遮蔽的区域的图像，以便当从车辆的驾驶员观察时叠加在发动机罩上的情况下的视野。在这种情况下，车辆33的驾驶员可以通过从显示为叠加在车辆33的发动机罩上的图像中视觉地识别停止车辆34来驾驶车辆，从而避开停止车辆34。然而，通过看起来犹如车辆33的发动机罩是透明的图像，如图3所示的使用虚拟镜子41的虚拟镜子图像中那样把握车辆31与停止车辆32之间的距离是很难的。
另外，图4C示出了在通过处理车辆31周围的捕获图像而获得并且表示从车辆31正上方看的鸟瞰图的图像被显示在设置在车辆31的仪表板上的显示器42上的情况下的视野。然而，在这种情况下，车辆33的驾驶员需要通过将驾驶员的视线从应注意的停止车辆34上移开来凝视显示器42。
在图像显示系统11中，与这些现有方法相反，使用虚拟镜子41的虚拟镜子图像使得驾驶员能够以较小的视线移动来把握与障碍物的距离，并且能够可靠地驾驶以避免与障碍物接触。
<第一图像显示处理>
将参照图5描述在图像显示系统11中执行的第一图像显示处理。
例如，当启动车辆31并且向图像显示系统11提供驱动力时，处理开始并且将由立体图像捕获装置12捕获的立体图像和由IMU 13产生的观察数据提供给图像处理装置15。然后，在步骤S11中，距离测量部21基于从立体图像捕获装置12提供的立体图像来确定是否已经检测到距车辆31预定距离内的障碍物。例如，距离测量部21在与立体图像捕获装置12中包括的图像捕获部的视角相对应的测量目标范围内测量到周边环境中的所有物体的距离，并且其测量距离小于预定距离的物体被检测为障碍物。
在步骤S11中，在距离测量部21确定未检测到障碍物的同时，重复确定处理，并且在距离测量部21确定已检测到障碍物的情况下，处理进入步骤S12。
在步骤S12中，距离测量部21在步骤S11中检测到的障碍物中识别最短距离处的障碍物的位置，并将指示障碍物的位置的位置信息和指示到障碍物的距离的距离信息提供给图像生成部26。
在步骤S13中，图像生成部26基于在步骤S12中从距离测量部21提供的位置信息和从数据登记部25获取的驾驶员头部位置信息，按如上参照图3所述确定虚拟镜子41的位置和姿势。
在步骤S14中，图像生成部26通过对从立体图像捕获装置12提供的立体图像施加视点变换来生成虚拟镜子图像，以使得图像看起来像被以步骤S13中确定的位置和姿势虚拟地布置的虚拟镜子41反射。
在步骤S15中，图像生成部26根据在步骤S12中从距离测量部21提供的距离信息所指示的到障碍物的距离来执行警报处理。例如，图像生成部26通过根据到障碍物的距离改变在步骤S14中生成的虚拟镜子图像的颜色来给驾驶员警报。或者，图像生成部26可以通过根据到障碍物的距离改变虚拟镜子图像的亮度或使虚拟镜子图像闪烁来给驾驶员警报。
在步骤S16中，图像生成部26使显示装置14显示虚拟镜子图像，以使得在从车辆31中的驾驶员头部的位置朝向障碍物的方向上看到的显示位置处显示经过步骤S15中的警报处理的虚拟镜子图像。
在步骤S17中，距离测量部21确定在步骤S11中检测到的障碍物是否已经变得比预定距离远。
在距离测量部21在步骤S17中确定检测到的障碍物不比预定距离远的情况下，即，在被检测到的障碍物仍在预定距离内的情况下，处理返回到步骤S12，并且连续显示虚拟镜子图像。
另一方面，在距离测量部21在步骤S17中确定检测到的障碍物已经变得比预定距离远的情况下，处理进入步骤S18，并且使虚拟镜子图像不显示。之后，处理返回到步骤S11，并且此后重复类似的处理。
顺便提及，即使当在显示虚拟镜子图像的同时执行了用于停止针对所检测到的障碍物显示虚拟镜子图像的功能的操作时，处理也可以返回到步骤S11，类似于在步骤S11中确定障碍物变得比预定距离远的情况。
如上所述，图像显示系统11可以通过使用由立体图像捕获装置12捕获的立体图像来生成允许驾驶员通过在虚拟地设置在障碍物上方的虚拟镜子41上的反射看到障碍物的虚拟镜子图像，并且可以在从驾驶员观察障碍物的位置处显示虚拟镜子图像。结果，驾驶员可以以较小的视线移动直观地把握与障碍物的距离。
<第二图像显示处理>
将参照图6描述在图像显示系统11中执行的第二图像显示处理。
例如，当启动车辆31并且向图像显示系统11提供驱动力时，处理开始，并且由立体图像捕获装置12捕获的立体图像和由IMU 13产生的观察数据被提供给图像处理装置15。然后，在步骤S21中，3D建模部24基于从距离测量部21提供的距离信息和从本车辆运动估计部22提供的运动信息生成通过使用三维形状表示车辆31的周边环境中的物体的3D模型。
在步骤S22中，与图5中的步骤S11相同，距离测量部21基于从立体图像捕获装置12提供的立体图像来确定是否已经检测到距车辆31预定距离内的障碍物。然后，在步骤S22通过距离测量部21未检测到障碍物的情况下，处理返回到步骤S21，并且重复类似的处理，并且例如，累积由3D建模部24生成的3D模型。
另一方面，在步骤S22中确定已经通过距离测量部21检测到障碍物的情况下，处理进入步骤S23。在步骤S23和S24中，执行与图15的步骤S12和S13类似的处理。
在步骤S25中，3D建模部24将如上所述累积的3D模型中的最新的3D模型提供给图像生成部26。然后，图像生成部26通过使用3D模型在从虚拟镜子41侧观察障碍物的方向上进行渲染来生成CG图像，作为虚拟镜子图像。
之后，在步骤S26至S29中，执行与图5中的步骤S15至S18类似的处理。
如上所述，图像显示系统11累积在车辆31行驶时生成的3D模型，并使用3D模型生成允许驾驶员通过虚拟地布置在障碍物上方的虚拟镜子41上的反射来看到障碍物的虚拟镜子图像，并且可以在从驾驶员观察障碍物的位置处显示图像。结果，驾驶员可以以较小的视线移动直观地把握与障碍物的距离。
<第三图像显示处理>
将参照图7描述在图像显示系统11中执行的第三图像显示处理。
例如，当车辆31启动并且向图像显示系统11提供驱动力时，处理开始，并且将由立体图像捕获装置12捕获的立体图像和由IMU 13产生的观察数据提供给图像处理装置15。然后，在步骤S31中，物体识别处理部23基于从立体图像捕获装置12提供的立体图像和从距离测量部21提供的距离信息，识别车辆31的周边环境中的物体的属性。
在步骤S32中，与图5中的步骤S11相同，距离测量部21基于从立体图像捕获装置12提供的立体图像来确定是否已经检测到距车辆31预定距离内的障碍物。然后，在步骤S32中确定通过距离测量部21未检测到障碍物的情况下，处理返回到步骤S31，并且重复类似的处理，并且例如，累积由物体识别处理部23识别出的物体的属性。
另一方面，在步骤S32中确定通过距离测量部21已检测到障碍物的情况下，处理进入步骤S33。在步骤S33至S35中，执行与图5中的步骤S12至S14类似的处理。
在步骤S36中，图像生成部26确定物体识别处理部23是否已经识别出在步骤S35中生成的虚拟镜子图像所显示的障碍物的属性。例如，在从物体识别处理部23提供与在虚拟镜子图像中显示的障碍物相对应的物体识别信息的情况下，确定已经识别出障碍物的属性。
在步骤S36中，在图像生成部26确定物体识别处理部23已识别出障碍物的属性的情况下，处理进入步骤S37。在步骤S37中，图像生成部26从数据登记部25获取与由物体识别处理部23提供的物体识别信息所指示的障碍物的属性相关联地登记的图标图像，然后处理进入步骤S38。
另一方面，在图像生成部26在步骤S36中确定物体识别处理部23未识别出障碍物的属性的情况下，处理跳过步骤S37而进入步骤S38。
在步骤S38中，执行与图5中的步骤S15类似的处理。
在步骤S39中，图像生成部26使显示装置14显示虚拟镜子图像，以便在作为从车辆31中的驾驶员头部的位置朝向障碍物的位置的方向上看到的位置的显示位置处显示经过步骤S15中的警报处理的虚拟镜子图像。此时，在图像生成部26已经在步骤S37中获取了图标图像的情况下，图像生成部26将图标图像显示在虚拟镜子图像附近。
此后，在步骤S40和S41中，执行与图5中的步骤S17和S18类似的处理。
如上所述，图像显示系统11在从驾驶员观察障碍物的位置处显示虚拟镜子图像，并且可以基于车辆31行驶时产生的物体识别信息在虚拟镜子图像附近显示图标图像。因此，驾驶员可以以较小的视线移动直观地把握与障碍物的距离，并且可以容易地识别出障碍物是什么。
<图标图像的显示示例>
将参考图8描述图标图像的显示示例。
如上所述，图像显示系统11可以在虚拟镜子图像的附近显示图标图像。另外，如图8A所示，图像显示系统11可以仅显示图标图像51而不显示虚拟镜子图像。
例如，当通过对由立体图像捕获装置12捕获的立体图像施加视点变换来生成虚拟镜子图像时，由于车辆31的移动，障碍物可能在立体图像捕获装置12的视角之外。此时，可以根据车辆31的运动来估计障碍物的位置，并且即使不能通过立体图像捕获装置12捕获障碍物的图像，也可以基于估计的障碍物的位置显示表示障碍物的属性的图标图像51。
另外，障碍物的位置根据车辆31的移动而相对地变化，并且在这种情况下，估计障碍物的位置的变化并且可以根据估计的位置如图8B所示地移动图标图像51的显示位置。这可以允许驾驶员识别在立体图像捕获装置12的视角之外的障碍物。
顺便提及，在本实施例中，使用由立体图像捕获装置12捕获的立体图像生成虚拟镜子图像，但是也可以设置除立体图像捕获装置12之外的图像捕获装置以通过使用由该图像捕获装置捕获的图像生成虚拟镜子图像。例如，可以在诸如车辆31的保险杠和后视镜的多个位置处设置大量的图像捕获部，从而使得尽可能不会产生盲区，并且可以使用由这些图像捕获部捕获的图像。此外，除了基于由立体图像捕获装置12捕获的立体图像来测量距离之外，还可以使用诸如TOF(飞行时间)传感器的能够测量距离的各种传感器来测量距离。
此外，图像显示系统11中的测量目标范围不限于如上所述地应用于车辆31的前部，而是例如可应用于车辆31的侧面或后方。也就是说，可以通过使用可以捕获车辆31后面的图像的图像捕获装置和布置成放置在车辆31的后窗上的显示器来显示用于识别隐藏在后方的盲区中的障碍物的虚拟镜子图像。此外，图像显示系统11可以应用于除了车辆31之外的任何移动物体。
<计算机的配置示例>
注意，参考上述流程图描述的处理不必一定按照流程图中描述的时间顺序进行处理，而是包括并行或单独执行的处理(例如，并行处理或取决于对象的处理)。此外，程序可以由单个CPU处理，或者可以由多个CPU分布式处理。
此外，上述一系列处理(图像处理方法)可以由硬件执行或可以由软件执行。在通过软件执行一系列处理的情况下，构成该软件的程序从其上记录有该程序的程序记录介质安装在可以通过安装各种程序来执行各种功能的专用硬件中并入的计算机或例如通用个人计算机中。
图9是示出通过程序执行上述一系列处理的计算机的硬件配置示例的框图。
在计算机中，CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103和EEPROM(电可擦可编程只读存储器)104通过总线105彼此连接。输入/输出接口106进一步连接到总线105，并且输入/输出接口106连接到外部。
在如上所述配置的计算机中，CPU 101例如经由总线105将存储在ROM 102和EEPROM 104中的程序加载到RAM 103中并执行该程序，从而执行上述一系列处理。另外，除了预先写入ROM 102之外，还可以将由计算机(CPU 101)执行的程序安装在EEPROM 104中，或者通过输入/输出接口106从外部进行更新。
<配置的组合示例>
另外，本技术还可以采用以下配置。
(1)一种图像处理装置，包括：
距离测量部，所述距离测量部测量从预定的移动物体到测量目标范围中的其他物体的距离，并将在预定距离内的所述其他物体识别为障碍物；以及
图像生成部，所述图像生成部在假设将镜子虚拟地设置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使布置为从所述视点位置观察时覆盖所述测量目标范围的至少部分的显示装置显示所述虚拟镜子图像。
(2)上述项目(1)中所述的图像处理装置，其中，
所述图像生成部在能够从所述视点位置看到所述障碍物的显示位置处显示所述虚拟镜子图像。
(3)上述项目(1)或(2)中所述的图像处理装置，其中，
所述图像生成部通过对由以所述测量目标范围作为视角捕获图像的图像捕获装置从高于所述视点位置的位置捕获的图像施加视点变换来生成所述虚拟镜子图像。
(4)上述项目(3)中所述的图像处理装置，还包括：
物体识别处理部，所述物体识别处理部基于由所述图像捕获装置捕获的图像来识别由所述距离测量部识别的所述障碍物的属性，其中
所述图像生成部使所述显示装置根据所述障碍物的位置来显示指示所述障碍物的属性的图像。
(5)上述项目(1)至(4)中任一项所述的图像处理装置，还包括：
3D建模部，所述3D建模部生成以三维形状表示移动物体的至少包括所述测量目标范围的周边环境中的所述其他物体的3D模型，其中
所述图像生成部基于所述3D模型，确定虚拟地布置的镜子的位置和姿势，从而使得能够从所述视点位置由虚拟镜子图像观察到至少所述移动物体和所述障碍物。
(6)上述项目(5)中所述的图像处理装置，其中，
所述图像生成部通过使用所述3D模型在从虚拟布置的镜子侧观察所述移动物体与所述障碍物之间的方向上执行渲染，来生成所述虚拟镜子图像。
(7)上述项目(5)或(6)中所述的图像处理装置，还包括：
运动估计部，用于估计所述移动物体的运动，其中
所述3D建模部基于由所述运动估计部估计的所述移动物体的运动和由所述距离测量部测量的到所述其他物体的距离来生成所述3D模型。
(8)上述项目(7)中所述的图像处理装置，其中，
所述3D建模部累积生成的3D模型，并根据由所述运动估计部估计的所述移动物体的运动来估计进入不能通过所述距离测量部测量距离的盲区的障碍物的位置，以生成3D模型。
(9)上述项目(1)至(8)中任一项所述的图像处理装置，还包括：
立体图像捕获单元，所述立体图像捕获单元包括以所述测量目标范围作为视角捕获图像的至少两个图像捕获部，并且通过使用这些图像捕获部来捕获具有视差的立体图像，其中
所述距离测量部通过使用所述立体图像来测量到所述其他物体的距离。
(10)上述项目(1)至(9)中任一项所述的图像处理装置，其中，
根据由所述距离测量部测量的到所述障碍物的距离，执行针对所述障碍物的警报的警报处理。
(11)上述项目(10)中所述的图像处理装置，其中，
通过改变所述虚拟镜子图像的颜色来执行所述警报处理。
(12)上述项目(1)至(11)中任一项所述的图像处理装置，其中，
所述图像生成部根据所述距离测量部对所述障碍物的位置移动的测量来移动所述虚拟镜子图像的显示位置。
(13)上述项目(1)至(12)中任一项所述的图像处理装置，其中，
在所述距离测量部识别出多个障碍物的情况下，所述图像生成部根据每个障碍物的位置使所述虚拟镜子图像显示在多个位置。
(14)一种图像处理装置处理图像的图像处理方法，所述方法包括：
测量从预定的移动物体到测量目标范围中的其他物体的距离，以便将预定距离内的所述其他物体识别为障碍物；以及
在假设将镜子虚拟地设置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使布置为从所述视点位置观察时覆盖所述测量目标范围的至少部分的显示装置显示所述虚拟镜子图像。
(15)一种图像显示系统，包括：
立体图像捕获装置，所述立体图像捕获装置以从预定的移动物体的测量目标范围作为视角捕获立体图像；
显示装置，所述显示装置被布置为从所述移动物体中的预定的视点位置观察时覆盖所述测量目标范围的至少部分；
距离测量部，所述距离测量部通过使用所述立体图像来测量到所述测量目标范围中的其他物体的距离，并且将预定距离内的所述其他物体识别为障碍物；以及
图像生成部，所述图像生成部在假设将镜子虚拟地布置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使所述显示装置显示所述虚拟镜子图像。
注意，本实施例不限于上述实施例，并且可以在不脱离本公开的范围的情况下进行各种修改。此外，由于本说明书中描述的效果仅是示例性的，因此本公开的效果不限于此，因此可能存在其他效果。
附图标记列表
11图像显示系统，12立体图像捕获装置，13IMU，14显示装置，15图像处理装置，21距离测量部，22本车辆运动估计部，23物体识别处理部，24 3D建模部，25数据登记部，26图像生成部，31车辆，32停止车辆，33车辆，34停止车辆，41虚拟镜子，42显示器，51图标图像

Claims (15)

1.一种图像处理装置，包括：
距离测量部，所述距离测量部测量从预定的移动物体到测量目标范围中的其他物体的距离，并将在预定距离内的所述其他物体识别为障碍物；以及
图像生成部，所述图像生成部在假设将镜子虚拟地设置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使布置为从所述视点位置观察时覆盖所述测量目标范围的至少部分的显示装置显示所述虚拟镜子图像。
2.根据权利要求1所述的图像处理装置，其中，
所述图像生成部在能够从所述视点位置看到所述障碍物的显示位置处显示所述虚拟镜子图像。
3.根据权利要求1所述的图像处理装置，其中，
所述图像生成部通过对由以所述测量目标范围作为视角捕获图像的图像捕获装置从高于所述视点位置的位置捕获的图像施加视点变换来生成所述虚拟镜子图像。
4.根据权利要求3所述的图像处理装置，还包括：
物体识别处理部，所述物体识别处理部基于由所述图像捕获装置捕获的图像来识别由所述距离测量部识别的所述障碍物的属性，其中
所述图像生成部使所述显示装置根据所述障碍物的位置来显示指示所述障碍物的属性的图像。
5.根据权利要求1所述的图像处理装置，还包括：
3D建模部，所述3D建模部生成以三维形状表示移动物体的至少包括所述测量目标范围的周边环境中的所述其他物体的3D模型，其中
所述图像生成部基于所述3D模型，确定虚拟地布置的镜子的位置和姿势，从而使得能够从所述视点位置由虚拟镜子图像观察到至少所述移动物体和所述障碍物。
6.根据权利要求5所述的图像处理装置，其中，
所述图像生成部通过使用所述3D模型在从虚拟布置的镜子侧观察所述移动物体与所述障碍物之间的方向上执行渲染，来生成所述虚拟镜子图像。
7.根据权利要求5所述的图像处理装置，还包括：
运动估计部，用于估计所述移动物体的运动，其中
所述3D建模部基于由所述运动估计部估计的所述移动物体的运动和由所述距离测量部测量的到所述其他物体的距离来生成所述3D模型。
8.根据权利要求7所述的图像处理装置，其中，
所述3D建模部累积生成的3D模型，并根据由所述运动估计部估计的所述移动物体的运动来估计进入不能通过所述距离测量部测量距离的盲区的障碍物的位置，以生成3D模型。
9.根据权利要求1所述的图像处理装置，还包括：
立体图像捕获单元，所述立体图像捕获单元包括以所述测量目标范围作为视角捕获图像的至少两个图像捕获部，并且通过使用这些图像捕获部来捕获具有视差的立体图像，其中
所述距离测量部通过使用所述立体图像来测量到所述其他物体的距离。
10.根据权利要求1所述的图像处理装置，其中，
根据由所述距离测量部测量的到所述障碍物的距离，执行针对所述障碍物的警报的警报处理。
11.根据权利要求10所述的图像处理装置，其中，
通过改变所述虚拟镜子图像的颜色来执行所述警报处理。
12.根据权利要求1所述的图像处理装置，其中，
所述图像生成部根据所述距离测量部对所述障碍物的位置移动的测量来移动所述虚拟镜子图像的显示位置。
13.根据权利要求1所述的图像处理装置，其中，
在所述距离测量部识别出多个障碍物的情况下，所述图像生成部根据每个障碍物的位置使所述虚拟镜子图像显示在多个位置。
14.一种图像处理装置处理图像的图像处理方法，所述方法包括：
测量从预定的移动物体到测量目标范围中的其他物体的距离，以便将预定距离内的所述其他物体识别为障碍物；以及
在假设将镜子虚拟地设置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使布置为从所述视点位置观察时覆盖所述测量目标范围的至少部分的显示装置显示所述虚拟镜子图像。
15.一种图像显示系统，包括：
立体图像捕获装置，所述立体图像捕获装置以从预定的移动物体的测量目标范围作为视角捕获立体图像；
显示装置，所述显示装置被布置为从所述移动物体中的预定的视点位置观察时覆盖所述测量目标范围的至少部分；
距离测量部，所述距离测量部通过使用所述立体图像来测量到所述测量目标范围中的其他物体的距离，并且将预定距离内的所述其他物体识别为障碍物；以及
图像生成部，所述图像生成部在假设将镜子虚拟地布置在从所述移动物体中的预定的视点位置观察所述障碍物的方向的上方的情况下，生成通过所述镜子的反射能够至少看到所述移动物体和所述障碍物的虚拟镜子图像，并使所述显示装置显示所述虚拟镜子图像。
CN201880056163.8A 2017-09-07 2018-08-28 图像处理装置、图像处理方法以及图像显示系统 Expired - Fee Related CN111052735B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-171799 2017-09-07
JP2017171799 2017-09-07
PCT/JP2018/031659 WO2019049709A1 (ja) 2017-09-07 2018-08-28 画像処理装置、画像処理方法、および画像表示システム

Publications (2)

Publication Number Publication Date
CN111052735A true CN111052735A (zh) 2020-04-21
CN111052735B CN111052735B (zh) 2022-01-04

Family

ID=65634971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880056163.8A Expired - Fee Related CN111052735B (zh) 2017-09-07 2018-08-28 图像处理装置、图像处理方法以及图像显示系统

Country Status (5)

Country Link
US (1) US11004226B2 (zh)
EP (1) EP3681151A1 (zh)
JP (1) JPWO2019049709A1 (zh)
CN (1) CN111052735B (zh)
WO (1) WO2019049709A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112156467A (zh) * 2020-10-15 2021-01-01 网易（杭州）网络有限公司 虚拟相机的控制方法、系统、存储介质与终端设备
CN112506189A (zh) * 2020-11-19 2021-03-16 深圳优地科技有限公司 一种控制机器人移动的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021203482A1 (de) 2021-04-08 2022-10-13 Volkswagen Aktiengesellschaft Verfahren und optisches Ausgabesystem für ein Fahrzeug zur optischen Ausgabe eines Merkmals eines in einem Fahrzeugumfeld befindlichen zu erfassenden Fahrzeugs
US11912429B2 (en) * 2022-04-05 2024-02-27 Gulfstream Aerospace Corporation System and methodology to provide an augmented view of an environment below an obstructing structure of an aircraft
JP2024062176A (ja) * 2022-10-24 2024-05-09 株式会社クボタ 作業機の遠隔操作支援システム、遠隔装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202345537U (zh) * 2011-11-02 2012-07-25 曾夏泓 汽车行驶辅助系统
CN203267910U (zh) * 2013-05-31 2013-11-06 深圳速锐得科技有限公司 基于汽车挡风玻璃投射显示的新型导航设备
CN103595987A (zh) * 2012-07-31 2014-02-19 Nlt科技股份有限公司 立体图像显示装置、图像处理装置及图像处理方法
CN103692973A (zh) * 2012-09-27 2014-04-02 富士通天株式会社 图像生成装置、图像显示系统、以及图像生成方法
CN103818314A (zh) * 2012-11-19 2014-05-28 鸿富锦精密工业（深圳）有限公司 行车安全监控系统及方法
CN103988499A (zh) * 2011-09-27 2014-08-13 爱信精机株式会社 车辆周边监视装置
US20150015962A1 (en) * 2013-07-10 2015-01-15 Yazaki Corporation Head-up display device and display unit
CN204340870U (zh) * 2014-10-24 2015-05-20 上海夏紫广告有限公司 一种单摄像头全景记录装置
JP2015120395A (ja) * 2013-12-23 2015-07-02 日本精機株式会社 車両情報投影システム
CN105556956A (zh) * 2013-09-19 2016-05-04 富士通天株式会社 图像生成装置、图像显示系统、图像生成方法以及图像显示方法
JP2016155545A (ja) * 2015-02-13 2016-09-01 フィコ ミロース， エセ．ア． 自動車用リアビューミラーアセンブリ及びシステム、並びに設置方法
US20160327792A1 (en) * 2014-02-26 2016-11-10 Yazaki Corporation Display Light Projection Optical Device
CN106249411A (zh) * 2015-06-12 2016-12-21 福特全球技术公司 投影装置及将虚拟图像投影至车辆驾驶员视野中的方法
JP2017037634A (ja) * 2015-08-07 2017-02-16 株式会社デンソー 表示システム
US20170166130A1 (en) * 2007-08-09 2017-06-15 Donnelly Corporation Vehicular camera monitoring system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000071877A (ja) 1998-08-26 2000-03-07 Nissan Motor Co Ltd 車両用表示装置
EP2410742A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
WO2002007443A1 (fr) * 2000-07-19 2002-01-24 Matsushita Electric Industrial Co., Ltd. Systeme de controle
JP2002316602A (ja) * 2001-04-24 2002-10-29 Matsushita Electric Ind Co Ltd 車載カメラの撮像画像表示方法及びその装置
DE10253510A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP4699054B2 (ja) * 2005-03-10 2011-06-08 クラリオン株式会社 車両周囲監視装置
JP5385009B2 (ja) * 2009-05-29 2014-01-08 日立オートモティブシステムズ株式会社 車両制御装置および車両制御方法
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP2011109170A (ja) * 2009-11-12 2011-06-02 Clarion Co Ltd 車両周囲表示装置、車両周囲表示方法
JP6364702B2 (ja) 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
US9403482B2 (en) * 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6451101B2 (ja) 2014-06-30 2019-01-16 株式会社リコー 車両用通信装置
JP6275006B2 (ja) * 2014-09-12 2018-02-07 アイシン精機株式会社 駐車支援装置
JP6565674B2 (ja) * 2015-12-28 2019-08-28 株式会社Ｊｖｃケンウッド 車両用表示装置および車両用表示方法
JP2017052364A (ja) * 2015-09-09 2017-03-16 日本精機株式会社 ヘッドアップディスプレイ装置
CN108702488B (zh) * 2016-02-22 2020-05-26 富士胶片株式会社 投影型显示装置、投影显示方法、计算机可读取存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170166130A1 (en) * 2007-08-09 2017-06-15 Donnelly Corporation Vehicular camera monitoring system
CN103988499A (zh) * 2011-09-27 2014-08-13 爱信精机株式会社 车辆周边监视装置
CN202345537U (zh) * 2011-11-02 2012-07-25 曾夏泓 汽车行驶辅助系统
CN103595987A (zh) * 2012-07-31 2014-02-19 Nlt科技股份有限公司 立体图像显示装置、图像处理装置及图像处理方法
CN103692973A (zh) * 2012-09-27 2014-04-02 富士通天株式会社 图像生成装置、图像显示系统、以及图像生成方法
CN103818314A (zh) * 2012-11-19 2014-05-28 鸿富锦精密工业（深圳）有限公司 行车安全监控系统及方法
CN203267910U (zh) * 2013-05-31 2013-11-06 深圳速锐得科技有限公司 基于汽车挡风玻璃投射显示的新型导航设备
US20150015962A1 (en) * 2013-07-10 2015-01-15 Yazaki Corporation Head-up display device and display unit
CN105556956A (zh) * 2013-09-19 2016-05-04 富士通天株式会社 图像生成装置、图像显示系统、图像生成方法以及图像显示方法
JP2015120395A (ja) * 2013-12-23 2015-07-02 日本精機株式会社 車両情報投影システム
US20160327792A1 (en) * 2014-02-26 2016-11-10 Yazaki Corporation Display Light Projection Optical Device
CN204340870U (zh) * 2014-10-24 2015-05-20 上海夏紫广告有限公司 一种单摄像头全景记录装置
JP2016155545A (ja) * 2015-02-13 2016-09-01 フィコ ミロース， エセ．ア． 自動車用リアビューミラーアセンブリ及びシステム、並びに設置方法
CN106249411A (zh) * 2015-06-12 2016-12-21 福特全球技术公司 投影装置及将虚拟图像投影至车辆驾驶员视野中的方法
JP2017037634A (ja) * 2015-08-07 2017-02-16 株式会社デンソー 表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹斌: "机器视觉智能车虚拟环境的搭建", 《自动化与仪表》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112156467A (zh) * 2020-10-15 2021-01-01 网易（杭州）网络有限公司 虚拟相机的控制方法、系统、存储介质与终端设备
CN112506189A (zh) * 2020-11-19 2021-03-16 深圳优地科技有限公司 一种控制机器人移动的方法

Also Published As

Publication number Publication date
WO2019049709A1 (ja) 2019-03-14
JPWO2019049709A1 (ja) 2020-12-03
CN111052735B (zh) 2022-01-04
US20200193626A1 (en) 2020-06-18
US11004226B2 (en) 2021-05-11
EP3681151A4 (en) 2020-07-15
EP3681151A1 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
CN111052735B (zh) 图像处理装置、图像处理方法以及图像显示系统
JP4475308B2 (ja) 表示装置
US9771022B2 (en) Display apparatus
CN111052733B (zh) 周围车辆显示方法及周围车辆显示装置
US20180136332A1 (en) Method and system to annotate objects and determine distances to objects in an image
EP3576973B1 (en) Method and system for alerting a truck driver
CN105966311B (zh) 用于校准摄像机的方法、车辆用的设备和计算机程序产品
US20170269684A1 (en) Vehicle display device
CN109314765B (zh) 车辆用显示控制装置、显示系统、显示控制方法以及程序
KR102531888B1 (ko) 자동차에서 디스플레이 장치를 작동하기 위한 방법
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
JP2016009251A (ja) 車両用制御装置
US10366541B2 (en) Vehicle backup safety mapping
JP6677474B2 (ja) 周辺認識装置
WO2019193928A1 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
KR102017958B1 (ko) 철도차량용 증강현실 헤드업 디스플레이 시스템
CN108422932B (zh) 驾驶辅助系统、方法和车辆
JP2006027481A (ja) 物体警告装置及び物体警告方法
JP7234614B2 (ja) 異常検出装置、異常検出システム及び異常検出プログラム
JP2024056653A (ja) オブジェクト検出システム
JP6198871B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視プログラムとその記録媒体
US20240078819A1 (en) Steering wheel contact detection
WO2022250117A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
JP2018200701A (ja) 車両用制御装置
JP2017118409A (ja) 車両用表示装置および車両用表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220104

CF01 Termination of patent right due to non-payment of annual fee