CN115176457A - 图像处理设备、图像处理方法、程序和图像呈现系统 - Google Patents

图像处理设备、图像处理方法、程序和图像呈现系统 Download PDF

Info

Publication number
CN115176457A
CN115176457A CN202180015634.2A CN202180015634A CN115176457A CN 115176457 A CN115176457 A CN 115176457A CN 202180015634 A CN202180015634 A CN 202180015634A CN 115176457 A CN115176457 A CN 115176457A
Authority
CN
China
Prior art keywords
image
vehicle
image processing
presentation
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180015634.2A
Other languages
English (en)
Inventor
池田哲男
西出幸子
白川实祐树
村上朋成
铃木章雄
山岸麻美
长田浩二
高松孝至
林真秀
友永诚史
长良彻
竹内宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115176457A publication Critical patent/CN115176457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开涉及使得可以在车辆中呈现更优选的图像的图像处理设备、图像处理方法、程序和图像呈现系统。图像处理单元基于通过拍摄行驶期间的第一车辆的车辆外部环境而获得的车辆外部图像来生成呈现在行驶期间的第二车辆的内部的呈现图像。本公开可应用于例如投影仪型呈现设备。

Description

图像处理设备、图像处理方法、程序和图像呈现系统
技术领域
本公开涉及图像处理设备、图像处理方法、程序和图像呈现系统，尤其涉及能够将更合适的图像呈现到车辆的内部的图像处理设备、图像处理方法、程序和图像呈现系统。
背景技术
PTL 1公开了通过转换经由鱼眼镜头捕获的鱼眼图像来生成在圆柱面上展开(develop)鱼眼图像的展开图像(developed image)的技术。根据该技术，可以根据失真较小的展开图像来估计被摄体的三维位置。
引用列表
专利文献
PTL 1：JP 2012-226645 A
发明内容
技术问题
然而，当与正在行驶的车辆外部的状况不对应的图像被呈现为向车辆的内部呈现的图像时，观看该图像的用户可能会感到不舒服。
本公开是鉴于这样的情况而做出的，并且使得能够将更合适的图像呈现到车辆的内部。
问题的解决方案
本公开的图像处理设备是一种图像处理设备，所述图像处理设备包括图像处理单元，所述图像处理单元被配置为基于通过捕捉正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
本公开的图像处理方法是一种图像处理方法，包括：由图像处理设备基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
本公开的程序是一种程序，用于使计算机执行以下处理：基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
本公开的图像呈现系统是一种图像呈现系统，包括：图像处理设备，所述图像处理设备包括图像处理单元，所述图像处理单元被配置成基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像，以及呈现设备，所述呈现设备包括呈现单元，所述呈现单元被配置成将呈现图像呈现到第二车辆的内部。
在本公开中，基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
附图说明
图1是示出应用了根据本公开的技术的图像处理设备的配置的框图。
图2是示出图像处理设备的应用示例的图。
图3是示出图像处理设备的应用示例的图。
图4是示出图像处理设备的应用示例的图。
图5是示出图像处理单元的操作流程的流程图。
图6是示出根据第一实施例的图像处理单元的配置示例的框图。
图7是示出鱼眼相机的布置的图。
图8是示出图像处理单元的操作流程的流程图。
图9是示出鱼眼相机图像的校正的示例的图。
图10是示出鱼眼相机图像的校正的示例的图。
图11是示出第二实施例的图像处理单元的配置示例的框图。
图12是示出语义分割(semantic segmentation)的图。
图13是示出图像处理单元的操作流程的流程图。
图14是示出鱼眼相机图像的校正的示例的图。
图15是示出鱼眼相机图像的校正的示例的图。
图16是示出对象信息的示例的图。
图17是示出根据第三实施例的图像处理单元的配置示例的框图。
图18是示出前方相机的布置的图。
图19是示出单点透视面板(one-point perspective panel)的图。
图20是示出图像处理单元的操作流程的流程图。
图21是示出前方相机图像的示例的图。
图22是示出消失点的检测的图。
图23是示出单点透视面板的叠加的图。
图24是示出剪切(clip)的图。
图25是示出区域图像的合成和模糊处理的图。
图26是示出呈现图像的投影的示例的图。
图27是示出图像处理单元的另一配置示例的框图。
图28是示出根据第四实施例的图像处理单元的配置示例的框图。
图29是示出车辆外部图像的获取的图。
图30是示出图像处理单元的操作流程的流程图。
图31是示出速度估计处理的流程的流程图。
图32是示出速度估计处理的流程的流程图。
图33是示出对象识别处理的示例的图。
图34是示出对象信息的示例的图。
图35是示出绝对速度的计算的示例的图。
图36是示出图像呈现处理的流程的流程图。
图37是示出与车辆的行驶速度相对应的图像再现的示例的图。
图38是示出与车辆的行驶速度相对应的图像再现的示例的图。
图39是示出根据第五实施例的图像处理单元的配置示例的框图。
图40是示出图像处理单元的操作流程的流程图。
图41是示出投影仪的布置的另一示例的图。
图42是示出计算机的配置示例的框图。
具体实施方式
在下文中，将描述用于实施本公开的模式(在下文中被称为实施例)。将按照以下顺序进行描述。
1.根据本公开的技术的概要
2.第一实施例(鱼眼相机图像的校正)
3.第二实施例(鱼眼相机图像校正和对象识别处理)
4.第三实施例(前方相机图像的校正)
5.第四实施例(与行驶速度相对应的图像再现)
6.第五实施例(与行驶速度相对应的图像校正和图像再现)
7.变型示例
8.计算机的配置示例
<1.根据本公开的技术的概要>
(图像处理设备的配置)
图1是示出应用了根据本公开的技术(本技术)的图像处理设备的配置的框图。
图1的图像处理设备1被配置为实现交互式图像呈现的投影仪型呈现设备。例如，图像处理设备1在诸如汽车之类的车辆中通过经由投影仪投影图像来向用户呈现通过预定图像处理而生成的图像。
图像处理设备1包括输入单元10、图形显示处理单元20、输出单元30、图像处理单元40和存储单元50。
输入单元10包括诸如图像传感器、深度传感器、触摸传感器和速度传感器之类的传感器组、通用输入设备和通信设备，并且接收在车辆中投影的图像、用户操作、车辆速度等作为输入。作为能够获取图像的图像传感器，使用可见光相机、红外相机等。作为能够获取3D信息的深度传感器，使用立体相机、飞行时间(ToF)传感器等。通过输入单元10输入的诸如各种类型的传感器数据之类的输入信息被提供给图形显示处理单元20。
图形显示处理单元20基于来自输入单元10的输入信息执行向用户显示图形的处理。图形显示处理单元20被配置为通用操作系统(OS)的控制层，该控制层控制多个内容(诸如用于显示应用的窗口)的绘制，并且将诸如触摸操作之类的事件分发给每个内容。提供给图形显示处理单元20的输入信息也被提供给图像处理单元40。
输出单元30由作为一个或多个呈现单元的投影仪组成，并且向用户呈现图像。
图像处理单元40基于经由图形显示处理单元20提供的输入信息执行预定的图像处理。经由图形显示处理单元20由输出单元30来呈现通过图像处理而获得的图像。
存储单元50存储由图像处理单元40执行的图像处理所需的信息等。
同时，图1的配置可以被配置为图像呈现系统1，该图像呈现系统1包括至少具有图像处理单元40的图像处理设备和至少具有输出单元30的呈现设备。
(图像处理设备的应用示例)
这里，将描述将图1的图像处理设备1应用于将图像投影到车辆的内部的配置的示例。
图2和图3是配备有图像处理设备1的车辆80的俯视图和侧视图。
在图2和图3中，将与图1的图像处理设备1的输出单元30相对应的投影仪81、82和83安装在车辆80的内部。
将投影仪81安装在车辆内部的后端的垂直和水平方向的中心附近。将投影仪82安装在车辆内部的后部的右侧面的上部。将投影仪83安装在车辆的内部的后部的左侧面的上部。
图4是示出车辆80的内部中的在其上投影图像的呈现部位(投影面)的位置的图。
当将顶棚92用作车辆80的内部91中的呈现部位(presentation region)时，来自投影仪81的投影图像93被投影在顶棚92上。当车辆80配备有天窗时，将遮蔽天窗的滑动面板用作呈现部位。
当将后排座椅的左侧玻璃94用作呈现部位时，来自投影仪82的投影图像95被投影在左侧玻璃94上。此外，当将后排座椅的右侧玻璃96用作呈现部位时，来自投影仪83的投影图像97被投影在右侧玻璃96上。
除了顶棚92、后排座椅的左侧玻璃94和右侧玻璃96之外，还可以将后排座椅中央的扶手98、驾驶员座椅的头枕99、乘客座椅的头枕100、乘客座椅侧的侧面玻璃101和驾驶员座椅侧的侧面玻璃102用作呈现部位。
在这种情况下，来自投影仪81到83中的任何一个的投影图像被投影在扶手98、驾驶员座椅的头枕99和乘客座椅的头枕100上。此外，来自投影仪82和83中的任何一个的投影图像被投影在乘客座椅侧的侧面玻璃101和驾驶员座椅侧的侧面玻璃102上。
利用这样的配置，车辆内部91的所有区域都可以被交互地用作呈现部位，并且可以在利用车辆内部91的内部装饰的纹理的同时根据需要提供屏幕。此外，通过使用投影仪，与传统的液晶监视器等相比，可以以低成本利用诸如顶棚之类的广阔区域作为呈现部位。
近年来，由于车辆安全标准的提高和购买者的期望，汽车制造商等需要达到高于平均水平的目标，诸如“拥有轻量化且耐用的车辆”。另一方面，可以在节省空间的同时呈现大图像的投影仪被认为是有用的。
(图像处理单元的操作)
这里，将参考图5的流程图来描述包括在图像处理设备1中的图像处理单元40的操作流程。通过在正在行驶的车辆80中被呈现图像等的用户指示触发来执行图5的处理。
在步骤S1中，图像处理设备1的图像处理单元40获取通过输入单元10输入的车辆外部图像。车辆外部图像是通过捕获正在行驶的预定车辆(第一车辆)外部的环境而获得的图像。预定车辆可以是与车辆81不同的另一车辆，或者可以是与车辆80相同的车辆(车辆80本身)。此外，车辆外部图像可以是过去从正在行驶的预定车辆捕获的图像，或者可以是实时地从当前正在行驶的预定车辆捕获的图像。
在步骤S2中，图像处理单元40基于所获取的车辆外部图像生成要呈现到正在行驶的车辆80(第二车辆)的内部91的图像(以下被称为呈现图像)。呈现图像是与车辆80外部的状况相对应的图像。
在步骤S3中，图像处理单元40将生成的呈现图像输出到图形显示处理单元20。输出到图形显示处理单元20的呈现图像被输出单元30呈现到车辆80的内部91。
根据上述处理，由于与车辆外部的状况相对应的呈现图像被生成为呈现到正在行驶的车辆80的内部91的图像，因此可以将更合适的图像呈现到车辆的内部。
以下，将描述图像处理单元40的每个实施例。
<2.第一实施例>
图6是示出根据本技术的第一实施例的图像处理单元40A的配置示例的框图。
图像处理单元40A基于通过捕获正在行驶的车辆80外部的环境而获得的车辆外部图像来生成呈现到顶棚92的呈现图像，该顶棚92是车辆内部91的投影面。
图像处理单元40A包括车辆外部图像获取单元111和剪切单元112。
车辆外部图像获取单元111从被配置为输入单元10的具有鱼眼镜头的相机(以下被称为鱼眼相机)获取车辆外部图像，并且将车辆外部图像提供给剪切单元112。
图7是示出鱼眼相机的布置的图。
如图7中所示，鱼眼相机130设置在车辆80的车顶上(顶棚外侧)，并且从正在行驶的车辆80在天顶方向上捕获图像。由鱼眼相机130捕获的图像(以下被称为鱼眼相机图像)是在车辆80的天顶方向上反映车辆80的整个环境的运动图像。即，车辆外部图像获取单元111获取鱼眼相机图像作为车辆外部图像。
这里，为了增加视角，使用鱼眼相机130代替具有普通镜头的中央投影型相机。
剪切单元112校正来自车辆外部图像获取单元111的车辆外部图像(鱼眼相机图像)以适合作为车辆内部91的投影面的顶棚92，并且输出经校正的车辆外部图像作为呈现图像。通过将在天顶方向上反映车辆外部的呈现图像呈现到顶棚92，使得用户能够感觉他/她好像在敞篷汽车中一样。
接下来，将参考图8的流程图来描述图像处理单元40A的操作流程。
在步骤S11中，车辆外部图像获取单元111从鱼眼相机获取鱼眼相机图像。
在步骤S12中，剪切单元112剪切鱼眼相机图像。
例如，假设已经从鱼眼相机130获取了如图9中所示的反映正在行驶的车辆80周围的建筑物的鱼眼相机图像140。当已经将鱼眼相机图像140按照原样投影在车辆内部91的顶棚92上时，周边的失真变得明显。
因此，剪切单元112通过放大鱼眼相机图像140来生成放大图像150，并且以鱼眼相机图像140的中心为基准来剪切与车辆内部91的投影面(顶棚92)相对应的区域CL101。
因此，输出失真较小的呈现图像。然而，由于通过剪切区域CL101而获得的呈现图像受到鱼眼镜头的特性的影响，因此例如原本为直线的建筑物的顶部被扭曲了。
因此，如图10中所示，剪切单元112放大鱼眼相机图像140，通过对鱼眼相机图像140进行失真校正来生成失真校正图像160，并且剪切与车辆内部91的投影面(顶棚92)相对应的区域CL102。这里，失真校正是以鱼眼镜头的曲率已知且一致为前提，并且不考虑鱼眼镜头的个体差异来执行该失真校正。
利用上述配置和处理，可以输出失真较小的呈现图像。
<3.第二实施例>
图11是示出根据本技术的第二实施例的图像处理单元40B的配置示例的框图。
图像处理单元40B基于通过捕获正在行驶的车辆80外部的环境而获得的车辆外部图像来生成呈现到顶棚92的呈现图像，该顶棚92是车辆内部91的投影面。
图像处理单元40B包括车辆外部图像获取单元211、剪切单元212、对象识别单元213和校正处理单元214。
车辆外部图像获取单元211和剪切单元212具有与图6的车辆外部图像获取单元111和剪切单元112相同的功能。因此，由车辆外部图像获取单元211获取的鱼眼相机图像被剪切单元112放大和剪切(失真校正)，并且被提供给对象识别单元213。
对象识别单元213对经剪切的鱼眼相机图像的至少一部分执行对象识别处理，并且将处理结果与经剪切的鱼眼相机图像一起提供给校正处理单元214。
例如，针对如图12的上部中所示的捕获图像220，对象识别单元213根据语义分割逐像素地确定被摄体(对象)的属性，并且根据属性来划分捕获图像220。因此，获得如图12的下部中所示的处理后图像230。在处理后图像230中，将汽车、道路、人行道、房屋、树木、天空等区分为被摄体的属性。
除了语义分割以外，对象识别单元213还可以通过其他方法来执行对象识别处理。
校正处理单元214基于来自对象识别单元213的对象识别处理结果和在对象信息定义单元215中累积的对象信息来校正/修复经剪切的鱼眼相机图像，并且将其作为呈现图像输出。例如，以关系数据库或查找表的形式在存储单元50中实现对象信息定义单元215。
接下来，将参考图13的流程图来描述图像处理单元40B的操作流程。
由于图13的流程图中的步骤S21和S22的处理与图8的流程图中的步骤S11和S12的处理相同，因此将省略对其的描述。
即，当在步骤S22中剪切了鱼眼相机图像时，在步骤S23中，对象识别单元213对经剪切的鱼眼相机图像的至少一部分执行对象识别处理。
在步骤S24中，校正处理单元214基于在对象信息定义单元215中累积的对象信息来校正经剪切的鱼眼相机图像。
例如，如图14中所示，假设从参考图10描述的失真校正图像160中获取了区域CL102已被剪切的呈现图像240。
对象识别单元213从呈现图像240中提取被由虚线指示的矩形框240A包围的部分，以获取所提取的图像250。然后，对象识别单元213通过对所提取的图像250执行对象识别处理，根据对象的属性来划分所提取的图像250。将所获得的处理后图像260划分为建筑物、树木、天空和灯的区域。
然后，校正处理单元214基于来自对象识别单元213的对象识别处理结果和对象信息定义单元215中累积的对象信息来校正呈现图像240，以获取图15中所示的校正后图像270。
图16是示出对象信息的示例的图。
图16中所示的对象信息OJ201是表示每个对象是否具有与车辆行驶的道路(地平面)平行的边或面的信息。图16的示例示出：建筑物具有与道路平行的边和面，而树木、天空和灯没有与道路平行的边和面。
这里，校正处理单元214使用表示“建筑物具有与道路平行的边和面”的信息来校正呈现图像240，使得在呈现图像240中识别的建筑物的顶边(top side)变得与道路平行(相对于道路的直线)。
在以这种方式获得的校正后图像270中，其一部分缺失，如图中的黑色区域所示。因此，例如，校正处理单元214通过根据对校正后图像270的修补(inpainting)执行图像修复来获取修复后图像280，并且将修复后图像280作为呈现图像输出。
利用上述配置和处理，可以输出更没有失真的呈现图像。
<4.第三实施例>
图17是示出根据本技术的第三实施例的图像处理单元40C的配置示例的框图。
图像处理单元40C基于通过捕获正在行驶的车辆80外部的环境而获得的车辆外部图像来生成呈现到顶棚92的呈现图像，该顶棚92是车辆内部91的投影面。
图像处理单元40C包括车辆外部图像获取单元311、消失点检测单元312、面板叠加单元313、剪切单元314、合成单元315和模糊处理单元316。
车辆外部图像获取单元311从被配置为输入单元10的前方相机获取车辆外部图像，并且将其提供给消失点检测单元312。
图18是示出前方相机的布置的图。
如图18中所示，前方相机320设置在车辆80内部的挡风玻璃的上端或顶棚的前端处，并且捕获正在行驶的车辆80的行驶方向上的图像。由前方相机320捕获的图像(以下被称为前方相机图像)是反映车辆80在行驶方向上的前视图的运动图像。即，车辆外部图像获取单元311获取前方相机图像作为车辆外部图像。
消失点检测单元312从来自车辆外部图像获取单元311的前方相机图像中检测消失点。例如，消失点检测单元312从前方相机图像中获取边缘信息。消失点检测单元312通过对所获取的边缘信息执行霍夫(Hough)变换来输出直线，并且获得所输出的直线的交点。消失点检测单元312获得其中聚集了大量所获得的交点的范围，对该范围内的交点的坐标进行平均，并且将平均后的坐标设定为消失点。
面板叠加单元313在前方相机图像中将单点透视面板叠加在以由消失点检测单元312检测到的消失点为基准的位置上。
这里，将参考图19描述单点透视面板。
在图19中，从前方相机图像FV中检测消失点VP，并且叠加单点透视面板330以使得它与朝向消失点VP的透视线一致。当前方相机图像FV被视为通过单点透视法绘制的透视图时，单点透视面板330是用于在前方相机图像FV中识别与挡风玻璃、前排座椅的左侧玻璃和右侧玻璃以及车辆80的顶棚相对应的区域的图像。
具体地，单点透视面板330包括与车辆80的挡风玻璃相对应的前面板330F、与前排座椅的左侧玻璃相对应的左侧面板330L、与前排座椅的右侧玻璃相对应的右侧面板330R以及与顶棚相对应的顶棚面板330T。
返回到图17的描述，剪切单元314例如以预定时间间隔(诸如秒或帧)在前方相机图像中剪切与车辆80的呈现部位(顶棚92)相对应的区域。以预定时间间隔剪切的区域图像被顺序地提供给合成单元315。
合成单元315顺序合成(组合)来自剪切单元314的区域图像以生成合成图像，并且将合成图像提供给模糊处理单元316。
模糊处理单元316对来自合成单元315的合成图像执行模糊处理，并且将其作为呈现图像输出。即使没有在车辆外部的天顶方向上捕获图像的相机，也将在前方相机图像中反映与顶棚92相对应的区域的呈现图像呈现到顶棚92，因此使得用户能够感觉好像他/她在敞篷汽车中一样。
接下来，将参考图20的流程图来描述图像处理单元40C的操作流程。
在步骤S31中，车辆外部图像获取单元311从前方相机获取前方相机图像。
在步骤S32中，消失点检测单元312从前方相机图像中检测消失点。
在步骤S33中，面板叠加单元313在前方相机图像中将单点透视面板叠加在以消失点为基准的位置上。
例如，假设已经从前方相机320获取了如图21中所示的反映车辆80的行驶方向上的景色的前方相机图像340。前方相机图像340反映道路两侧的建筑(例如建筑物)、在车辆80前方行驶的车辆、停车的车辆以及安装在道路旁边的道路标志。
当获取了前方相机图像340时，如图22中所示，从前方相机图像340中检测消失点VP，并且如图23中所示，在前方相机图像340中将单点透视面板330叠加在以消失点VP为基准的位置上。
当将单点透视面板330叠加在前方相机图像340上时，在步骤S34中，如图24中所示，剪切单元314以预定时间间隔在前方相机图像340中剪切作为与车辆80的顶棚92相对应的顶棚面板330T的一部分的区域CL301，以获取区域图像350。在图24的示例中，区域CL301在顶棚面板330T中对应于顶棚的前端。
在步骤S35中，合成单元315顺序合成以预定时间间隔剪切的区域图像350。具体地，如图25中所示，合成在时间t-4到时间t获取的五个区域图像350(t-4)到350(t)，以使得它们从顶部起依次排列。
此后，在步骤S36中，模糊处理单元316对已经合成了区域图像350(t-4)到350(t)的合成图像执行例如使用高斯滤波的模糊处理，以获取处理后图像360，并且将其作为呈现图像输出。
图26是示出车辆80中的呈现图像的投影的示例的图。
图26示出了从车辆80的后排座椅观看的挡风玻璃371、前排座椅的左侧玻璃372L和右侧玻璃372R、以及顶棚373。
从挡风玻璃371观看在时间t的车辆80前方的景色，并且在时间t输出的呈现图像(处理后图像360)被投影在作为投影面的顶棚373上。
当车辆80正在通过自动驾驶行驶时，除了顶棚373之外，还可以将挡风玻璃371用作投影面。在这种情况下，将在时间t的前方相机图像340中已经剪切了与单点透视面板330的前面板330F相对应的区域的图像作为呈现图像投影在挡风玻璃371上。
此外，当将左侧玻璃372L和右侧玻璃372R用作投影面时，将在时间t的前方相机图像340中已经剪切了与单点透视面板330的左侧面板330L和右侧面板330R相对应的区域的图像作为呈现图像投影在左侧玻璃372L和右侧玻璃372R上。
根据上述配置和处理，从前方相机图像输出根据单点透视投影法的概念的图像作为呈现图像，因此，由人感知到的加速度可以与从呈现图像感受到的思维模式(mindset)一致，并且可以防止不适感和晕车。
在上述配置和处理中，由于车辆80(前方相机320)正在向前移动，因此区域图像350中反映的车辆80前方的景色以预定时间间隔变大。因此，在图25中所示的区域图像350(t-4)到350(t)中，在车辆80前方的道路两侧建造的建筑物之间的空间随着时间而扩大，因此原来是与道路垂直的直线的建筑物的轮廓倾斜。
因此，将描述如下配置，其中使用表示“建筑物具有与道路垂直的轮廓”的信息来校正在已经合成了区域图像的合成图像中识别的建筑物的轮廓，从而使其垂直。
图27是示出本实施例的图像处理单元40C的另一配置示例的框图。
除了与图17的图像处理单元40C的组件相同的组件之外，图27的图像处理单元40C’还包括对象识别单元381和校正处理单元382。
对象识别单元381以与图11中的对象识别单元213相同的方式对来自车辆外部图像获取单元311的前方相机图像340执行对象识别处理，并且将处理结果提供给校正处理单元382。
校正处理单元382基于来自对象识别单元381的对象识别处理结果和对象信息定义单元383中累积的对象信息，校正和修复由合成单元315顺序地合成区域图像而生成的合成图像，并且将校正和修复后的合成图像提供给模糊处理单元316。以与图11的对象信息定义单元215相同的方式来配置对象信息定义单元383。
也就是说，校正处理单元382使用表示“建筑物具有与道路垂直的轮廓”的信息来校正合成图像，使得在前方相机图像340中识别的建筑物的轮廓是垂直的。
模糊处理单元316对来自校正处理单元382的校正/修复后的合成图像执行模糊处理，并且将其作为呈现图像输出。当由校正处理单元382以高精度执行校正/修复时，可以省略模糊处理单元316。
利用上述配置，可以输出更没有失真和更自然的呈现图像。
<5.第四实施例>
图28是示出根据本技术的第四实施例的图像处理单元40D的配置示例的框图。
图像处理单元40D基于从车辆外部环境的车辆外部图像中获取的正在行驶的预定车辆的行驶速度来生成与车辆80的行驶速度相对应的呈现图像。
例如，当从在完全不同的地方行驶(正在行驶)的车辆捕获的车辆外部图像被投影为在参考图4描述的车辆80的顶棚92上投影的投影图像93时，图像处理单元40D生成与车辆80的行驶速度一致地再现的呈现图像。
因此，可以使用户的身体上的加速度变化与呈现图像中的加速度变化一致，因此使得用户能够感觉好像他/她正在不同的地方驾驶一样。
图像处理单元40D包括图像获取单元411、速度估计单元412和呈现控制单元413。
图像获取单元411获取已被捕获(正在被捕获)的、在不同地方行驶(正在行驶)的车辆外部环境的车辆外部图像，并且将该图像提供给速度估计单元412。
例如，如图29中所示，经由连接到诸如因特网之类的预定网络的云服务器431将来自在不同地方行驶(正在行驶)的车辆420的车辆外部图像发送到车辆80，因此可以获取车辆外部图像。
此外，可以通过在预定记录介质432中记录来自在不同地方行驶的车辆420的车辆外部图像并且在车辆80中读取该车辆外部图像来获取车辆外部图像。
在图29中，当预先获取通过捕获在不同地方行驶的车辆外部环境而获得的车辆外部图像时，车辆80和车辆420可以是不同的车辆，或者可以是相同的车辆。
此外，作为预先捕获的在不同地方行驶的车辆外部环境的车辆外部图像，可以获取由上述第一至第三实施例的图像处理单元40A至40C(40C')生成的呈现图像(图像处理后的鱼眼镜头图像或前方相机图像)。
速度估计单元412执行速度估计处理。具体地，速度估计单元412对来自图像获取单元411的车辆外部图像执行对象识别处理，并且基于处理结果和对象信息定义单元414中累积的对象信息来估计车辆420的行驶速度。例如以关系数据库或查找表的形式在存储单元50中实现对象信息定义单元414。
所估计的行驶速度被提供给呈现控制单元413。当车辆外部图像的元数据包括车辆420的行驶速度时，包括在车辆外部图像的元数据中的车辆420的行驶速度被原样地提供给呈现控制单元413。
呈现控制单元413执行图像呈现处理。具体地，呈现控制单元413基于来自速度估计单元412的车辆420的行驶速度，生成与车辆80的行驶速度相对应的呈现图像。所生成的呈现图像被输出到图形显示处理单元20，并且由输出单元30呈现到车辆80的内部91。
接下来，将参考图30的流程图来描述图像处理单元40D的操作流程。
在步骤S41中，车辆外部图像获取单元411获取车辆外部图像。
在步骤S42中，速度估计单元412执行速度估计处理。
在步骤S43中，呈现控制单元413执行图像呈现处理。
根据上述配置和处理，可以将与车辆80外部的状况相对应的呈现图像呈现到正在行驶的车辆80的内部。
(速度估计处理的流程)
这里，首先，将参考图31和图32的流程图来描述在图30的流程图的步骤S42中由速度估计单元412执行的速度估计处理的流程。例如，当用户选择要在车辆内部91中呈现的图像并且该图像由图像获取单元411获取时，开始速度估计处理。
在步骤S101中，速度估计单元412确定是否已将表示车辆420(车辆外部图像已被捕获的车辆)的行驶速度的速度信息作为元数据添加到来自图像获取单元411的车辆外部图像。
如果在步骤S101中确定已将速度信息添加到车辆外部图像，则已添加了速度信息的车辆外部图像被原样地提供给呈现控制单元413，并且处理结束。
另一方面，如果在步骤S101中确定没有将速度信息添加到车辆外部图像，则处理进行到步骤S102，在步骤S102中，速度估计单元412对车辆外部图像执行对象识别处理。
例如，当图21中所示的前方相机图像340已被获取为车辆外部图像时，速度估计单元412对前方相机图像340执行对象识别处理，以根据如图33中所示的对象的属性来划分前方相机图像340。所获得的处理后图像440被划分为建筑物、汽车、道路和标志的区域。
在步骤S103中，速度估计单元412确定在对象信息定义单元414中是否存在通过对车辆外部图像执行的对象识别处理而识别的对象当中的引起关注的对象(以下被称为感兴趣的对象)的对象信息。
图34是示出对象信息的示例的图。
图34中所示的对象信息OJ401是表示每个对象是否可以移动以及每个对象是否是指定大小的对象的信息。指定大小的对象是指具有通常设定的大小的对象。在图34的示例中，建筑物和道路“不可”移动并且不是指定大小的对象(具有“无效”大小)，车辆“可以”移动并且是指定大小的对象(具有“有效”大小)，以及道路标志“不可”移动并且是指定大小的对象(具有“有效”大小)。对于具有“有效”大小的对象，对象的实际大小也被定义在对象信息中。如稍后所述，这样的对象信息用来确定速度估计目标对象(target object)，该速度估计目标对象是用于速度估计的对象。
如图34中所示，对象信息OJ401可以包括表示每个对象是否具有与车辆行驶的道路平行的边或面的信息。
如果在步骤S103中确定在对象信息定义单元414中存在与感兴趣的对象相对应的对象信息，则处理进行到步骤S104。
在步骤S104中，速度估计单元412在与感兴趣的对象相对应的对象信息中确定感兴趣的对象是否“不可”移动。这里，朝向车辆80移动的对象不是速度估计目标对象，并且诸如道路标志之类的非移动对象可以是速度估计目标对象。
如果在步骤S104中确定感兴趣的对象“不可”移动，则处理进行到步骤S105。
在步骤S105中，速度估计单元412确定感兴趣的对象的大小是否是一定大小或更大。例如，确定车辆外部图像中的感兴趣的对象的垂直长度和水平长度是否大于20px(像素)。这里，为了避免所估计的行驶速度的可靠性的降低，车辆外部图像中的感兴趣的对象中的具有大面积的对象可以是速度估计目标对象。
如果在步骤S105中确定感兴趣的对象的大小等于或大于一定大小，则处理进行到步骤S106，在步骤S106中，速度估计单元412将感兴趣的对象添加到速度估计目标对象候选，该速度估计目标对象候选是速度估计目标对象的候选。
另一方面，如果在步骤S103中确定在对象信息定义单元414中不存在与感兴趣的对象相对应的对象信息，如果在步骤S104中确定感兴趣的对象“可以”移动，或者如果在步骤S105中确定感兴趣的对象的大小不是等于或大于一定大小，则跳过直到步骤S106的处理。
然后，在步骤S107中，速度估计单元412确定是否对通过对车辆外部图像执行的对象识别处理而识别的所有对象执行了步骤S103至S106的处理。
如果尚未对所有对象执行步骤S103至S106的处理，则处理返回到步骤S103，并且重复步骤S103至S106的处理。
另一方面，如果已经对所有对象执行了步骤S103至S106的处理，则处理进行到图32的步骤S108。
在步骤S108中，速度估计单元412从速度估计目标对象候选当中确定速度估计目标对象。
这里，当在多个速度估计目标对象候选的对象信息中同时存在具有“有效”大小和“无效”大小的对象时，具有“有效”大小的对象被优先确定为速度估计目标对象。此外，当在多个速度估计目标对象候选的对象信息中存在具有“有效”大小和“无效”大小中的任何一个的对象时，具有较大大小的对象可以被优先确定为速度估计目标对象。
当没有对象被添加到速度估计目标对象候选时，不确定速度估计目标对象。
在步骤S109中，速度估计单元412确定是否已确定了速度估计目标对象。
如果在步骤S109中确定已确定了速度估计目标对象，则处理进行到步骤S110，在步骤S110中，速度估计单元412确定速度估计目标对象的大小是否“有效”。
如果在步骤S110中确定速度估计目标对象的大小为“有效”，则处理进行到步骤S111，在步骤S111中，速度估计单元412计算车辆420的绝对速度(实际速度)作为车辆420的行驶速度。
图35是示出绝对速度的计算的示例的图。在图35的示例中，假设在前方相机图像340中反映的对象当中，具有被定义为“不可”移动的对象信息、具有“有效”大小并且具有直径为60cm的实际大小的道路标志被确定为速度估计目标对象。
在图35的示例中，示出了在时间t和一秒之后的时间t+1的前方相机图像340的一部分，并且示出了道路标志从时间t到时间t+1接近车辆420(前侧)的状态。具体地，如图35中所示，具有30px的大小(垂直长度和水平长度)的道路标志在前方相机图像340中每秒移动300px。
在这种情况下，道路标志在一秒内接近车辆80的实际距离为300(px)×0.6(m)/30(px)＝6(m)。也就是说，车辆420的移动速度(km/h)是从6m/s转换而来的21.6km/h，这是车辆420的绝对速度。
如上所述，基于车辆外部图像中的指定大小的对象的移动量来计算车辆420的绝对速度。如果存在多个指定大小的对象，则可以基于每个对象的移动量来计算绝对速度，并且可以使用绝对速度的平均值或中值作为车辆420的最终绝对速度。
返回到图32的流程图，如果在步骤S110中确定速度估计目标对象的大小不是“有效”，即，如果速度估计目标对象的大小是“无效”，则处理进行到步骤S111。
在步骤S111中，速度估计单元412计算以车辆外部图像中的预定对象的移动速度为基准的相对速度，作为车辆420的行驶速度。在这种情况下，尽管速度估计目标对象的实际大小未知，但是可以计算车辆外部图像中的速度估计目标对象的移动速度(px/km)。因此，例如将通过将车辆外部图像中的速度估计目标对象的移动速度乘以预定系数而获得的值设定为车辆420的相对速度。
另一方面，当在步骤S109中确定尚未确定速度估计目标对象时，即，当没有对象被添加到速度估计目标对象候选时，处理结束而不估计车辆420的行驶速度。
表示如上所述地估计的车辆420的行驶速度(绝对速度或相对速度)的速度信息被添加到由图像获取单元411获取的车辆外部图像，并且被提供给呈现控制单元413。
(图像呈现处理的流程)
接下来，将参考图36的流程图来描述在图30的流程图的步骤S43中由呈现控制单元413执行的图像呈现处理的流程。例如，通过用户指示图像的呈现来开始图像呈现处理。
在步骤S201中，呈现控制单元413从被配置为输入单元10的速度传感器获取正在行驶的车辆80的行驶速度。
在步骤S202中，呈现控制单元413确定是否已将表示车辆420(车辆外部图像已被捕获的车辆)的行驶速度的速度信息添加到来自速度估计单元412的车辆外部图像。
如果在步骤S202中确定已将速度信息添加到车辆外部图像，则处理进行到步骤S203。
在步骤S203中，呈现控制单元413确定是否存在与车辆80的行驶速度一致的车辆外部图像，具体地，是否存在已添加了表示与车辆80的行驶速度一致的行驶速度的速度信息的车辆外部图像。
如果在步骤S203中确定存在与车辆80的行驶速度一致的车辆外部图像，则处理进行到步骤S204，在步骤S204中，呈现控制单元413原样地输出与车辆80的行驶速度一致的车辆外部图像作为呈现图像。
另一方面，如果在步骤S203中确定不存在与车辆80的行驶速度一致的车辆外部图像，则处理进行到步骤S205。
在步骤S205中，呈现控制单元413确定是否存在比车辆80的行驶速度慢的车辆外部图像，具体地，是否存在已添加了表示比车辆80的行驶速度慢的行驶速度的速度信息的车辆外部图像。
如果在步骤S205中确定存在比车辆80的行驶速度慢的车辆外部图像，则处理进行到步骤S206，在步骤S206中，呈现控制单元413输出以与车辆80的行驶速度相对应的高速再现车辆外部图像的呈现图像。
另一方面，如果在步骤S205中确定不存在比车辆80的行驶速度慢的车辆外部图像，即，如果存在比车辆80的行驶速度快的车辆外部图像，则处理进行到步骤S207。
在步骤S207中，呈现控制单元413输出以与车辆80的行驶速度相对应的低速再现车辆外部图像的呈现图像。
如果在步骤S202中确定没有将速度信息添加到车辆外部图像，则处理进行到步骤S208，在步骤S208中，呈现控制单元413原样地输出车辆外部图像作为呈现图像，即，与车辆80的行驶速度无关。
在步骤S204、S206、S207和S208中的每个之后，在步骤S209中，呈现控制单元413确定用户是否已指示了在正在行驶的车辆80的内部91中结束图像再现。
如果在步骤S209中确定没有指示结束再现，则处理返回到步骤S201，并且重复后续处理。另一方面，如果在步骤S209中确定已指示了结束再现，则处理结束。
这里，将描述与车辆80的行驶速度相对应的图像再现的示例。
(当计算了绝对速度时的图像再现的示例)
图37是示出当计算了车辆420的绝对速度时的与车辆80的行驶速度相对应的图像再现的示例的图。当车辆外部图像的元数据包括车辆420的行驶速度时，也应用该示例。
在图37的A、B和C中的每个中，车辆80在某个时间段内以10km/h的速度行驶，并且在随后时间段内以20km/h的速度行驶。
A图示出了当存在与车辆80的行驶速度一致的车辆外部图像时的图像再现的示例。在A图的示例中，存在已添加了表示车辆420的绝对速度为10km/h的速度信息的车辆外部图像(以下被称为10km/h的车辆外部图像等)和20km/h的车辆外部图像。
在这种情况下，当车辆80正在以10km/h行驶时，以1倍速度再现10km/h的车辆外部图像作为呈现图像。此外，当车辆80正在以20km/h行驶时，以1倍速度再现20km/h的车辆外部图像作为呈现图像。在A图的示例中，在车辆80的行驶速度在10km/h和20km/h之间切换的情况下，交叉淡入淡出地(crossfade)再现10km/h的车辆外部图像和20km/h的车辆外部图像。
同时，通过在两个车辆外部图像之间插入单一黑色的黑色图像进行交叉淡入淡出再现，可以进一步降低图像切换的不自然性。
B图示出了当存在比车辆80的行驶速度慢的车辆外部图像时的图像再现的示例。在B图的示例中，存在5km/h的车辆外部图像和20km/h的车辆外部图像。
在这种情况下，特别地，当车辆80正在以10km/h行驶时，根据帧稀疏(framethinning out)等以2倍速度重复再现5km/h的车辆外部图像作为呈现图像。在B图的示例中，尽管因为5km/h的车辆外部图像的再现时间小于车辆80正在以10km/h行驶时的时间，所以重复再现5km/h的车辆外部图像，但是当5km/h的车辆外部图像的再现时间足够长时，不需要重复再现5km/h的车辆外部图像。在B图的示例中，在车辆80的行驶速度在5km/h和20km/h之间切换的情况下，交叉淡入淡出地再现5km/h的车辆外部图像和20km/h的车辆外部图像。
C图示出了当存在比车辆80的行驶速度快的车辆外部图像时的图像再现的示例。在C图的示例中，仅存在20km/h的车辆外部图像。
在这种情况下，特别地，当车辆80正在以10km/h行驶时，根据帧插值等以0.5倍速度再现20km/h的车辆外部图像作为呈现图像。在C图的示例中，在车辆80的行驶速度在两者之间切换的情况下，以改变的再现速度再现20km/h的车辆外部图像。
根据上述操作，可以使用户的身体上的加速度变化与呈现图像中的加速度变化一致，因此使得用户能够感觉好像他/她正在不同的地方驾驶一样。
(当计算了相对速度时的图像再现的示例)
图38是示出当计算了相对速度而不是车辆420的绝对速度时的与车辆80的行驶速度相对应的图像再现的示例的图。
与图37类似，在图38的A、B和C中的每个中，车辆80在某个时间段内以10km/h行驶，并且在随后时间段内以20km/h行驶。
在图38的示例中，假设在已添加了表示车辆420的相对速度的速度信息的车辆外部图像中，最慢相对速度是s，并且该相对速度s对应于车辆80的5km/h。
A图示出了当存在与车辆80的行驶速度一致的车辆外部图像时的图像再现的示例。在A图的示例中，存在已添加了表示车辆420的相对速度为2s的速度信息的车辆外部图像(以下被称为具有2s的相对速度的车辆外部图像等)和具有4s的相对速度的车辆外部图像。
在这种情况下，当车辆80正在以10km/h行驶时，以1倍速度再现具有2s的相对速度的车辆外部图像作为呈现图像。此外，当车辆80正在以20km/h行驶时，以1倍速度再现具有4s的相对速度的车辆外部图像作为呈现图像。在A图的示例中，在车辆80的行驶速度在2s的相对速度和4s的相对速度之间切换的情况下，交叉淡入淡出地再现具有2s的相对速度的车辆外部图像和具有4s的相对速度的车辆外部图像被。
B图示出了当存在比车辆80的行驶速度慢的车辆外部图像时的图像再现的示例。在B图的示例中，存在具有s的相对速度的车辆外部图像和具有4s的相对速度的车辆外部图像。
在这种情况下，特别地，当车辆80正在以10km/h行驶时，根据帧稀疏等以2倍速度重复再现具有s的相对速度的车辆外部图像作为呈现图像。在B图的示例中，虽然因为具有s的相对速度的车辆外部图像的再现时间小于车辆80正在以10km/h行驶期间的时间，所以重复再现具有s的相对速度的车辆外部图像，但是如果具有s的相对速度的车辆外部图像的再现时间足够长，则不需要重复再现具有s的相对速度的车辆外部图像。在B图的示例中，在车辆80的行驶速度在s的相对速度和4s的相对速度之间切换的情况下，也交叉淡入淡出地再现具有s的相对速度的车辆外部图像和具有4s的相对速度的车辆外部图像。
C图示出了当存在比车辆80的行驶速度快的车辆外部图像时的图像再现的示例。在C图的示例中，仅存在具有4s的相对速度的车辆外部图像。
在这种情况下，特别地，当车辆80正在以10km/h行驶时，根据帧插值等以0.5倍速度再现具有4s的相对速度的车辆外部图像作为呈现图像。在C图的示例中，在车辆80的行驶速度在其之间切换的情况下，以改变的再现速度再现具有4s的相对速度的车辆外部图像。
根据上述操作，即使尚未计算车辆420的绝对速度，也可以使用户的身体上的加速度变化与呈现图像中的加速度变化一致，并且减少不适感。
在上述描述中，车辆420的车辆外部图像中的最慢相对速度s对应于车辆80的5km/h。
本公开不限于此，并且在图38的示例中，当车辆80正在根据自动驾驶行驶时，车辆外部图像的相对速度可以基于自动驾驶的行驶路线上的法定速度与车辆80的行驶速度相关联。自动驾驶的行驶路线上的法定速度是从例如通过输入单元10等输入的地图信息中获取的。
例如，当存在具有s、2s、4s和8s的相对速度的车辆外部图像时，使最高相对速度8s对应于自动驾驶的行驶路线上的最大法定速度。此外，可以使相对速度s和相对速度8s之间的中间值对应于从手动驾驶切换到自动驾驶时的行驶速度。在后一种情况下，在从手动驾驶切换到自动驾驶的定时开始车辆外部图像的再现。
此外，可以通过以下方式将车辆外部图像的相对速度与车辆80的行驶速度相关联：对从正在行驶的车辆80捕获的车辆外部环境的图像实时地执行对象识别处理，并且基于不是指定大小的对象的行道树、建筑物、招牌(signboard)等计算相对速度。
<6.第五实施例>
图39是示出本技术的第五实施例的图像处理单元40E的配置示例的框图。
图像处理单元40E基于从车辆外部环境的车辆外部图像中获取的正在行驶的预定车辆的行驶速度来生成与车辆80的行驶速度相对应的呈现图像。在图像处理单元40E中，如在上述第一至第三实施例的图像处理单元40A至40C(40C')中一样，获取在进行图像处理之前的鱼眼镜头图像或前方相机图像作为车辆外部图像。
图39的图像处理单元40E与图28的图像处理单元40D的不同之处在于，设置了车辆外部图像处理单元511来代替图像获取单元411。
车辆外部图像处理单元511被配置为上述第一至第三实施例的图像处理单元40A、40B和40C(40C')中的任何一个。
接下来，将参考图40的流程图来描述图像处理单元40E的操作流程。
由于图40的流程图中的步骤S512和S513的处理与图30的流程图中的步骤S42和S43的处理相同，因此将省略对其的描述。
即，在步骤S511中，车辆外部图像处理单元511对车辆外部图像执行图像处理。具体地，车辆外部图像处理单元511获取鱼眼镜头图像或前方相机图像，并且根据上述第一至第三实施例的图像处理单元40A、40B和40C(40C')中的任何一个的操作来执行图像处理。此后，对经过图像处理的鱼眼镜头图像或前方相机图像执行上述速度估计处理和图像呈现处理。
根据上述配置和处理，即使在再现基于鱼眼镜头图像或前方相机图像生成的呈现图像时，也可以使用户的身体上的加速度变化与呈现图像中的加速度变化一致。
<7.变型示例>
以下配置也可以应用于上述实施例。
(投影仪的布置的其他示例)
当将顶棚92用作车辆80的内部91中的呈现部位时，如图41中所示，来自设置在驾驶员座椅的头枕99上的投影仪611的投影图像93可以被投影在顶棚92上。在图41的示例中，投影仪611可以设置在乘客座椅的头枕100上，而不是设置在驾驶员座椅的头枕99上，或者可以设置在头枕99和100两者上。
(输出单元的其他示例)
作为车辆80的内部91中的呈现部位，可以设置平板或柔性图像显示器(液晶显示器、有机电致发光(EL)等)作为输出单元30，并且可以在图像显示器上显示呈现图像。
<8.计算机的配置示例>
上述一系列处理也可以通过硬件或软件来执行。当一系列处理通过软件来执行时，将用于软件的程序从程序记录介质安装到嵌入在专用硬件中的计算机或通用个人计算机上。
图42是示出执行程序以执行上述一系列处理的计算机的硬件配置示例的框图。
上述图像处理设备1由具有图42中所示的配置的计算机900来实现。
CPU 901、ROM 902和RAM 903通过总线904连接。
输入/输出接口905进一步连接到总线904。包括键盘和鼠标的输入单元906和包括显示器和扬声器的输出单元907连接到输入/输出接口905。此外，包括硬盘、非易失性存储器等的存储单元908、包括网络接口等的通信单元909以及驱动可移动介质911的驱动器910连接到输入/输出接口905。
在具有上述配置的计算机900中，例如，CPU 901通过经由输入/输出接口905和总线904将存储在存储单元908中的程序加载到RAM 903并且执行该程序来执行上述一系列处理。
由CPU 901执行的程序被记录在例如可移动介质911上，或者经由有线或无线传输介质(诸如局域网、因特网或数字广播)来提供以安装在存储单元908中。
由计算机900执行的程序可以是按照本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是并行地或在需要的定时(例如调用时)执行处理的程序。
在本说明书中，系统是指多个构成元件(设备、模块(组件)等)的集合，并且所有构成元件可以位于或不位于同一外壳中。因此，容纳在单独外壳中并且经由网络连接的多个设备，以及其中多个模块容纳在一个外壳中的一个设备都是系统。
本技术的实施例不限于上述实施例，并且可以在不偏离本技术的要旨的情况下进行各种改变。
本说明书中描述的有利效果仅仅是示例性的，而不受限制，并且可以实现其他有利效果。
此外，本公开可以如下配置。
(1)一种图像处理设备，所述图像处理设备包括图像处理单元，所述图像处理单元被配置成基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
(2)根据(1)所述的图像处理设备，其中，所述图像处理单元基于从车辆外部图像中获取的第一车辆的行驶速度来生成与第二车辆的行驶速度相对应的呈现图像。
(3)根据(2)所述的图像处理设备，其中，当第一车辆的行驶速度与第二车辆的行驶速度一致时，所述图像处理单元输出车辆外部图像作为呈现图像。
(4)根据(3)所述的图像处理设备，其中，当第一车辆的行驶速度与第二车辆的行驶速度不一致时，所述图像处理单元输出与第二车辆的行驶速度相对应的再现速度的车辆外部图像作为呈现图像。
(5)根据(2)至(4)中的任一项所述的图像处理设备，其中，第一车辆的行驶速度被包括在车辆外部图像的元数据中。
(6)根据(2)至(4)中的任一项所述的图像处理设备，其中，所述图像处理单元基于对车辆外部图像执行的对象识别处理的处理结果来估计第一车辆的行驶速度。
(7)根据(6)所述的图像处理设备，其中，当通过对象识别处理检测到指定大小的对象时，所述图像处理单元基于车辆外部图像中的指定大小的对象的移动量来计算第一车辆的绝对速度。
(8)根据(6)或(7)所述的图像处理设备，其中，当通过对象识别处理没有检测到指定大小的对象时，所述图像处理单元计算以车辆外部图像中的预定对象的移动速度为基准的相对速度。
(9)根据(1)至(8)中的任一项所述的图像处理设备，其中，车辆外部图像是通过从第一车辆在天顶方向上捕获图像而获得的鱼眼相机图像，以及
所述图像处理单元通过剪切以鱼眼相机图像的中心为基准的区域来生成呈现图像。
(10)根据(9)所述的图像处理设备，其中，所述图像处理单元对经过失真校正的鱼眼相机图像进行剪切。
(11)根据(10)所述的图像处理设备，其中，所述图像处理单元通过根据对经剪切的鱼眼相机图像的至少一部分执行的对象识别处理的处理结果校正鱼眼相机图像中的对象来生成呈现图像。
(12)根据(1)至(8)中的任一项所述的图像处理设备，其中，车辆外部图像是通过在第一车辆的行驶方向上捕获图像而获得的前方相机图像，以及
所述图像处理单元通过顺序地合成区域图像来生成呈现图像，所述区域图像是通过在前方相机图像中以预定时间间隔剪切与第二车辆的呈现图像的呈现部位相对应的区域而获得的。
(13)根据(12)所述的图像处理设备，其中，所述图像处理单元剪切以从前方相机图像中检测到的消失点为基准的区域。
(14)根据(13)所述的图像处理设备，其中，所述图像处理单元通过对通过顺序地合成所述区域图像而获得的合成图像执行模糊处理来生成呈现图像。
(15)根据(1)至(14)中的任一项所述的图像处理设备，其中，呈现图像的呈现部位包括第二车辆内的顶棚。
(16)根据(1)至(15)中的任一项所述的图像处理设备，其中，第一车辆和第二车辆是不同的车辆。
(17)根据(1)至(15)中的任一项所述的图像处理设备，其中，第一车辆和第二车辆是相同的车辆。
(18)一种图像处理方法，包括：
由图像处理设备基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
(19)一种程序，用于使计算机执行以下处理：
基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
(20)一种图像呈现系统，包括：
图像处理设备，所述图像处理设备包括图像处理单元，所述图像处理单元被配置成基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像，以及
呈现设备，所述呈现设备包括呈现单元，所述呈现单元被配置成将呈现图像呈现到第二车辆的内部。
参考标记列表
1 图像处理设备
10 输入单元
20 图形显示处理单元
30 输出单元
40、40A至40E 图像处理单元
50 存储单元

Claims (20)

1.一种图像处理设备，所述图像处理设备包括图像处理单元，所述图像处理单元被配置成基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
2.根据权利要求1所述的图像处理设备，其中，所述图像处理单元基于从车辆外部图像中获取的第一车辆的行驶速度来生成与第二车辆的行驶速度相对应的呈现图像。
3.根据权利要求2所述的图像处理设备，其中，当第一车辆的行驶速度与第二车辆的行驶速度一致时，所述图像处理单元输出车辆外部图像作为呈现图像。
4.根据权利要求3所述的图像处理设备，其中，当第一车辆的行驶速度与第二车辆的行驶速度不一致时，所述图像处理单元输出与第二车辆的行驶速度相对应的再现速度的车辆外部图像作为呈现图像。
5.根据权利要求2所述的图像处理设备，其中，第一车辆的行驶速度被包括在车辆外部图像的元数据中。
6.根据权利要求2所述的图像处理设备，其中，所述图像处理单元基于对车辆外部图像执行的对象识别处理的处理结果来估计第一车辆的行驶速度。
7.根据权利要求6所述的图像处理设备，其中，当通过对象识别处理检测到指定大小的对象时，所述图像处理单元基于车辆外部图像中的指定大小的对象的移动量来计算第一车辆的绝对速度。
8.根据权利要求6所述的图像处理设备，其中，当通过对象识别处理没有检测到指定大小的对象时，所述图像处理单元计算以车辆外部图像中的预定对象的移动速度为基准的相对速度。
9.根据权利要求1所述的图像处理设备，其中，车辆外部图像是通过从第一车辆在天顶方向上捕获图像而获得的鱼眼相机图像，以及
所述图像处理单元通过剪切以鱼眼相机图像的中心为基准的区域来生成呈现图像。
10.根据权利要求9所述的图像处理设备，其中，所述图像处理单元对经过失真校正的鱼眼相机图像进行剪切。
11.根据权利要求10所述的图像处理设备，其中，所述图像处理单元通过根据对经剪切的鱼眼相机图像的至少一部分执行的对象识别处理的处理结果校正鱼眼相机图像中的对象来生成呈现图像。
12.根据权利要求1所述的图像处理设备，其中，车辆外部图像是通过在第一车辆的行驶方向上捕获图像而获得的前方相机图像，以及
所述图像处理单元通过顺序地合成区域图像来生成呈现图像，所述区域图像是通过在前方相机图像中以预定时间间隔剪切与第二车辆的呈现图像的呈现部位相对应的区域而获得的。
13.根据权利要求12所述的图像处理设备，其中，所述图像处理单元剪切以从前方相机图像中检测到的消失点为基准的区域。
14.根据权利要求13所述的图像处理设备，其中，所述图像处理单元通过对通过顺序地合成所述区域图像而获得的合成图像执行模糊处理来生成呈现图像。
15.根据权利要求1所述的图像处理设备，其中，呈现图像的呈现部位包括第二车辆内的顶棚。
16.根据权利要求1所述的图像处理设备，其中，第一车辆和第二车辆是不同的车辆。
17.根据权利要求1所述的图像处理设备，其中，第一车辆和第二车辆是相同的车辆。
18.一种图像处理方法，包括：
由图像处理设备基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
19.一种程序，用于使计算机执行以下处理：
基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像。
20.一种图像呈现系统，包括：
图像处理设备，所述图像处理设备包括图像处理单元，所述图像处理单元被配置成基于通过捕获正在行驶的第一车辆外部的环境而获得的车辆外部图像来生成要呈现到正在行驶的第二车辆的内部的呈现图像，以及
呈现设备，所述呈现设备包括呈现单元，所述呈现单元被配置成将呈现图像呈现到第二车辆的内部。
CN202180015634.2A 2020-02-28 2021-02-12 图像处理设备、图像处理方法、程序和图像呈现系统 Pending CN115176457A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-034197 2020-02-28
JP2020034197 2020-02-28
PCT/JP2021/005165 WO2021172037A1 (ja) 2020-02-28 2021-02-12 画像処理装置、画像処理方法、プログラム、および画像提示システム

Publications (1)

Publication Number Publication Date
CN115176457A true CN115176457A (zh) 2022-10-11

Family

ID=77491487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180015634.2A Pending CN115176457A (zh) 2020-02-28 2021-02-12 图像处理设备、图像处理方法、程序和图像呈现系统

Country Status (5)

Country Link
US (1) US20230085310A1 (zh)
EP (1) EP4113988A4 (zh)
JP (1) JPWO2021172037A1 (zh)
CN (1) CN115176457A (zh)
WO (1) WO2021172037A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4303055A1 (en) * 2022-07-07 2024-01-10 Bayerische Motoren Werke Aktiengesellschaft Vehicle and method for reducing motion sickness of an occupant

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067752A (ja) * 2001-08-28 2003-03-07 Yazaki Corp 車両周辺監視装置
JP2003323699A (ja) * 2002-05-08 2003-11-14 Matsushita Electric Ind Co Ltd 安全運転支援装置
JP5239126B2 (ja) * 2006-04-11 2013-07-17 株式会社ニコン 電子カメラ
KR100876673B1 (ko) * 2007-09-06 2009-01-07 아이쓰리시스템 주식회사 촬영 속도 조절이 가능한 캡슐형 내시경
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP2012189859A (ja) * 2011-03-11 2012-10-04 Nikon Corp 撮像装置
KR101233861B1 (ko) * 2011-05-25 2013-02-15 임강준 가상주행 영상장치를 갖는 런닝머신 및 런닝머신의 구동방법
JP6345572B2 (ja) * 2014-11-04 2018-06-20 アルパイン株式会社 走行映像記録システムおよびこれに用いるドライブレコーダ、並びに記録走行映像のアップロード方法
JP6450604B2 (ja) * 2015-01-28 2019-01-09 オリンパス株式会社 画像取得装置及び画像取得方法
US11023515B2 (en) * 2015-11-30 2021-06-01 Faraday & Future Inc. Infotainment based on vehicle navigation data
EP3174290B1 (en) * 2015-11-30 2024-05-08 Deutsche Telekom AG Method for generating an enhanced video signal and providing the enhanced video signal to the driver of a vehicle that is moving at a certain speed, system for generating an enhanced video signal, program and computer program product
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
JP6810589B2 (ja) * 2016-12-06 2021-01-06 小島プレス工業株式会社 車載用投影装置
JP6991045B2 (ja) * 2017-11-30 2022-01-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
JP7315303B2 (ja) * 2018-01-26 2023-07-26 株式会社アイシン 画像処理装置
US20210197846A1 (en) * 2019-12-30 2021-07-01 Gm Cruise Holdings Llc Dynamic inter-vehicle communication regarding risk detected based on vehicle sensor measurements
US20230093446A1 (en) * 2020-02-20 2023-03-23 Sony Group Corporation Information processing device, information processing method, and program

Also Published As

Publication number Publication date
EP4113988A4 (en) 2023-06-21
WO2021172037A1 (ja) 2021-09-02
EP4113988A1 (en) 2023-01-04
US20230085310A1 (en) 2023-03-16
JPWO2021172037A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
US11676254B2 (en) Systems and methods for positioning vehicles under poor lighting conditions
KR101359660B1 (ko) 헤드업 디스플레이를 위한 증강현실 시스템
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
US20200023772A1 (en) Apparatus and method for displaying information
TW201716267A (zh) 用於影像處理之系統及方法
GB2525053A (en) Apparatus and method for displaying information
US20190379841A1 (en) Apparatus and method for displaying information
CN107027329B (zh) 将行进工具的周围环境的局部图像拼接成一个图像
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
US20140043466A1 (en) Environment image display apparatus for transport machine
JP3381351B2 (ja) 車両用周囲状況表示装置
JP6750531B2 (ja) 表示制御装置及び表示制御プログラム
US20120162425A1 (en) Device and method for securing visibility for driver
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
WO2014006793A1 (ja) 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体
US11227366B2 (en) Heads up display (HUD) content control system and methodologies
JP5262515B2 (ja) 車両用表示装置および表示方法
CN115119045A (zh) 基于车载多摄像头的视频生成方法、装置及车载设备
US11580695B2 (en) Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device
EP4113988A1 (en) Image processing device, image processing method, program, and image presentation system
CN113492756A (zh) 一种车外信息展示方法、装置、设备及存储介质
JP2012116400A (ja) コーナーポール投影装置
US20220408062A1 (en) Display control apparatus, display control method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination