CN113170083A - 图像处理装置、图像处理方法和图像处理系统 - Google Patents

图像处理装置、图像处理方法和图像处理系统 Download PDF

Info

Publication number
CN113170083A
CN113170083A CN201980080332.6A CN201980080332A CN113170083A CN 113170083 A CN113170083 A CN 113170083A CN 201980080332 A CN201980080332 A CN 201980080332A CN 113170083 A CN113170083 A CN 113170083A
Authority
CN
China
Prior art keywords
image
vehicle
processing apparatus
display
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980080332.6A
Other languages
English (en)
Inventor
长田浩二
汤川泰宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113170083A publication Critical patent/CN113170083A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明令人满意地实现通过运动视差的距离感的提供和各种视野的提供。通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像。所述显示图像是基于由设定单元设定的基准视野设定信息生成的。基准视野设定包括例如显示位置设定、显示尺寸设定、在水平方向上整体或部分的压缩设定、在垂直方向上整体或部分的压缩设定等。表示车辆的图像例如是计算机图形图像。例如，按照驾驶员视点的运动，改变拍摄图像与表示车辆的图像之间的叠加位置关系。

Description

图像处理装置、图像处理方法和图像处理系统
技术领域
本技术涉及图像处理装置、图像处理方法和图像处理系统，更具体地，涉及适合应用于车载电子视镜的图像处理装置等。
背景技术
通常，提出了车载电子视镜，其中用摄像头和显示器来代替车辆的后视镜(车内镜以及左和右车门后视镜)。例如，专利文献1提出一种技术，其中通过使用驾驶员的头部相对于显示器的相对位置来改变要显示在显示器上的摄像头图像的范围，以便解决电子视镜中的外观(appearance)与实际视镜中的外观的差异。
引文列表
专利文献
专利文献1：日本专利申请公开No.2013-216286
发明内容
本发明要解决的问题
驾驶员视觉识别的重要信息之一是从运动视差获得的距离感。当移动视点时，人类从物体的出现和消失按照物体的透视位置而变化的现象，感知到物体的距离以及物体之间的相对距离。专利文献1中提出的技术不能辅助上述感知。此外，适合于驾驶的视野随驾驶状况而异，并且还存在个人偏好。
本技术的目的是令人满意地实现通过运动视差的距离感的提供和各种视野的提供。
问题的解决方案
本技术的概念是
一种图像处理装置，包括：
处理单元，所述处理单元被配置成通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像，其中
上述处理单元基于关于基准视野的设定信息，生成上述显示图像，并且
所述图像处理装置还包括：
设定单元，所述设定单元被配置成设定上述基准视野。
在本技术中，处理单元将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，以生成显示图像。这种情况下，基于关于基准视野的设定信息，生成显示图像。基准视野由设定单元设定。例如，基准视野设定可包括显示位置设定。此外，例如，基准视野设定可包括显示尺寸设定。此外，例如，基准视野设定可包括在水平方向上的整体或部分的压缩设定。此外，例如，基准视野设定可包括垂直方向上的整体或部分的压缩设定。
如上所述，在本技术中，显示图像是通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上获得的。这种情况下，由于显示图像并不仅仅由通过拍摄车辆后方的图像而获得的拍摄图像构成，相反显示图像是通过将表示车辆的图像叠加在所述拍摄图像上获得的，因此可以令人满意地通过运动视差提供距离感。此外，提供了配置成设定基准视野的设定单元。于是，可以按照驾驶状况或按照驾驶员(个人)的偏好令人满意地提供视野。
注意，在本技术中，例如，可以使处理单元使用由附装在车辆后部的图像拍摄装置拍摄的拍摄图像和由附装在车辆侧部的图像拍摄装置拍摄的拍摄图像，作为通过拍摄车辆后方的图像而获得的拍摄图像。这种配置扩大了拍摄图像的图像拍摄范围，能够提高在作为视野设定的显示位置设定、显示尺寸设定等方面的设定自由度。
此外，在本技术中，例如，还可以提供配置成从多个基准视野设定中选择任意基准视野设定的选择单元，并且可以使处理单元基于选择的基准视野设定生成显示图像。这种配置使得例如可以按照驾驶状况等的变化，容易且立即地切换视野。
此外，在本技术中，例如，车辆内部图像可以是计算机图形图像。使用计算机图形图像使生成车辆内部图像方面的自由度更高。
此外，在本技术中，例如，可以使处理单元按照驾驶员视点的运动，改变拍摄图像与车辆内部图像之间的叠加位置关系。这种配置能够产生与观看实际视镜相接近的运动视差，并且能够辅助驾驶员的距离之间的感知。
这种情况下，例如，可以使处理单元将拍摄图像和表示车辆的图像布置在三维空间中，获得按照驾驶员视点的运动而变化的虚拟视点位置，并利用由虚拟视点位置决定的视野，将拍摄图像和表示车辆的图像转换成投影坐标系图像，以获得显示图像。这种配置使得可以按照驾驶员视点的运动，精确改变拍摄图像与表示车辆的图像之间的叠加位置关系。
然后，在这种情况下，例如，可以使处理单元将拍摄图像布置在存在于车辆后方的预定对象的位置。例如，预定对象可以是最接近车辆的对象，或者是驾驶员看到的对象。通过以这种方式将拍摄图像布置在存在于车辆后方的预定对象的位置，预定对象能够以适当的尺寸布置在三维空间中的适当位置，并且能够正确地表现在预定对象与车辆内部图像之间发生的运动视差。
例如，可以使处理单元基于对于每个驾驶员登记的基准视点位置和基准虚拟视点位置，获得按照驾驶员视点的运动而变化的虚拟视点位置。这种配置使得可以对于每个驾驶员获得最佳的显示图像。
此外，在本技术中，例如，可以使处理单元将车辆内部图像叠加在拍摄图像上，以使拍摄图像能被看透。即使在通过叠加车辆内部图像来提供运动视差时，这种配置也能够避免削弱后方可视性。
附图说明
图1是表示作为实施例的车辆的组件布置的例子的视图。
图2是表示车辆的车身(轿车车身)、车身开口(车窗)和内饰物的视图。
图3是表示图像处理装置的配置例子的方框图。
图4是表示虚拟空间中的组件布置(一个摄像头)的视图。
图5是表示虚拟空间中的组件布置(多个摄像头)的视图。
图6是用于说明视点运动和虚拟视点运动的视图。
图7是表示在基准视野的情况下电子视镜中的外观的例子的视图。
图8是表示初始化流程的例子的流程图。
图9是表示基准视点位置的登记流程的例子的流程图。
图10是表示视点检测区域和视线检测区域的例子的视图。
图11是用于说明拍摄的摄像头图像的视图。
图12是表示摄像头图像的布置例子的视图。
图13是表示由于摄像头图像的布置的差异引起的摄像头图像的外观的变化的视图。
图14是表示摄像头图像布置计算单元的处理流程的例子的流程图。
图15是表示摄像头图像布置计算单元的处理流程的另一个例子的流程图。
图16是表示摄像头图像布置计算单元的处理流程的另一个例子的流程图。
图17是表示虚拟空间中的摄像头图像布置(使用一个摄像头图像)的视图。
图18是表示虚拟空间中的摄像头图像布置(使用多个摄像头图像)的视图。
图19是表示在虚拟空间中进行描绘所需的元素的布置例子(使用一个摄像头图像)的视图。
图20是表示在虚拟空间中进行描绘所需的元素的布置例子(使用多个摄像头图像)的视图。
图21是表示由图像描绘单元获得的显示图像的例子的视图。
图22是用于说明基准视野设定中的显示位置的操作方法的例子的视图。
图23是用于说明基准视野设定中的显示尺寸操作方法的例子的视图。
图24是用于说明基准视野设定中的整个水平方向的压缩(曲率)的操作方法的例子的视图。
图25是用于说明基准视野设定中的仅在水平方向端部的压缩(曲率)的操作方法的例子的视图。
图26是用于说明基准视野设定中的整个垂直方向的压缩(曲率)的操作方法的例子的视图。
图27是用于说明基准视野设定中的仅在垂直方向端部的压缩(曲率)的操作方法的例子的视图。
图28是表示图像处理装置中的正常操作流程的例子的流程图。
图29是表示显示图像处理的例子的流程图。
图30是用于说明使用一个摄像头图像的情况的视图。
图31是用于说明使用多个摄像头图像的情况的视图。
图32是表示由于视点运动引起的描绘对象移动的重叠程度的变化的视图。
图33是表示描绘处理的变化的视图。
图34是用于说明切换显示模式(基准视野设定)的例子的视图。
图35是表示计算机的硬件的配置例子的方框图。
具体实施方式
下面将描述实现本发明的实施例(下面称为实施例)。注意，描述是按以下顺序进行的。
1.实施例
2.变形例
<1.实施例>
[车辆的组件布置]
图1表示作为实施例的车辆10的组件布置的例子。车辆10具有车身(轿车车身)100、车身开口(车窗)101和诸如座椅之类的内饰物102。图2(a)表示车身(轿车车身)100，图2(b)的阴影表示车身开口(车窗)101，而图2(c)表示诸如座椅之类的内饰物102。
此外，车辆10具有中央后方图像拍摄单元103、中央后方距离测量单元104、视点测量单元105和视线测量单元106。中央后方图像拍摄单元103例如由互补金属氧化物半导体(CMOS)摄像头来配置，并附装在车辆10的后侧外壳上，以便拍摄后方的图像。中央后方距离测量单元104例如包括飞行时间(ToF)距离图像传感器，并附装在车辆10的后侧外壳上，以便获取后方距离图像。
此外，车辆10具有右侧后方图像拍摄单元103R、右侧后方距离测量单元104R、左侧后方图像拍摄单元103L和左侧后方距离测量单元104L。右侧后方图像拍摄单元103R和左侧后方图像拍摄单元103L均由例如COMS摄像头构成，并附装在车辆10的侧面外壳上，以便拍摄后方的图像。例如，可以设想将右侧后方图像拍摄单元103R和左侧后方图像拍摄单元103L分别附装在侧视镜位置。
此外，右侧后方距离测量单元104R和左侧后方距离测量单元104L均由例如ToF距离图像传感器构成，并附装在车辆10的侧面外壳上，以便获取后方距离图像。例如，可以设想将右侧后方距离测量单元104R和左侧后方距离测量单元104L分别附装在侧视镜位置。
视点测量单元105检测驾驶员(用户)的视点位置。视点测量单元105附装在车辆10的前侧内部。视点测量单元105例如包括CMOS摄像头，并且基于摄像头的拍摄图像，测量驾驶员的眼睛的位置作为视点位置。注意，视点测量单元105可以例如基于由红外线摄像头拍摄的图像，来测量驾驶员的视点位置。视线测量单元106检测驾驶员的视线。视线测量单元106附装在车辆10的前侧内部。视线测量单元106例如包括CMOS摄像头，并且基于驾驶员的瞳孔的图像，检测驾驶员的视线，即驾驶员正在看哪里。
此外，车辆10具有视频图像显示单元(显示器)107、用户操作单元108和图像处理装置109。视频图像显示单元107代替传统的车内视镜，附装在车辆10的前侧内部，具有大致长方形的显示面。视频图像显示单元107包括液晶显示器(LCD)、有机电致发光(EL)面板等。
用户操作单元108构成接收驾驶员的各种操作的用户接口。该用户操作单元108例如包括布置在前面板上的机械操作按钮，并且还包括布置在视频图像显示单元107的屏幕上的触摸面板等。注意，在图1的例子中，用户操作单元108被表示成布置在前面板上，但是，用户操作单元108的布置位置不限于该位置。视频图像显示单元107主要显示车辆10的后方图像。然而，在提供触摸面板功能的情况下，必要时，视频图像显示单元107也显示供用户操作的用户接口(UI)。
图像处理装置109进行用于获得要显示在视频图像显示单元107上的显示图像的处理。图像处理装置109布置在车辆10内的任意位置，例如如图所示，布置在前面板部分中。图像处理装置109通过用3D CG，将作为表示车辆10的图像的车辆内部图像(座椅、头枕、车窗、立柱等)叠加并合成到由中央后方图像拍摄单元103、右侧后方图像拍摄单元103R、左侧后方图像拍摄单元103L等获得的摄像头图像上，获得显示图像。这样，显示图像不是仅由摄像头图像构成，相反显示图像是通过将车辆内部图像叠加在摄像头图像上获得的。于是，可以容易地通过运动视差提供距离感。
这种情况下，图像处理装置109按照由视点测量单元105获得的驾驶员视点的运动，改变拍摄图像与车辆内部图像之间的叠加位置关系。这种配置使驾驶员能具有与观看实际的车内视镜相接近的运动视差，并且能够辅助驾驶员的距离之间的感知。
图像处理装置109基于关于基准视野的设定信息，对显示图像进行设定。基准视野设定包括显示位置设定、显示尺寸设定、水平方向整体或部分的压缩设定、垂直方向整体或部分的压缩设定等。驾驶员(用户)通过操作用户操作单元108，能够任意地设定基准视野。这种配置使得可以按照驾驶状况或按照驾驶员(个人)的偏好提供视野。
[图像处理装置的构成]
图3表示图像处理装置109的构成例子。图像处理装置109包括存储单元111、视锥体形状位置计算单元112、物体历史存储单元113、摄像头图像布置计算单元115、虚拟空间布置计算单元116、投影计算单元117和图像描绘单元118。
除了要经过图像处理的组件，即，车辆10的3D CG数据(轿车车身、车窗、内饰物等)之外，图像处理装置109还将通过拍摄后方的图像而获得的摄像头图像布置在虚拟空间中，并放置基于虚拟视点位置和虚拟视频图像显示单元107A获得的视锥体。
图4表示在只使用一个摄像头图像，即，只使用由中央后方图像拍摄单元103拍摄的摄像头图像的情况下的虚拟空间中的组件布置的例子。此外，图5表示在使用多个摄像头图像的情况，例如，使用由中央后方图像拍摄单元103和右侧后方图像拍摄单元103R拍摄的两个摄像头图像；中央后方图像拍摄单元103和左侧后方图像拍摄单元103L的两个摄像头图像；或者中央后方图像拍摄单元103、右侧后方图像拍摄单元103R和左侧后方图像拍摄单元103L的三个摄像头图像的情况下的虚拟空间中的组件布置的例子。
这里，要使用的摄像头图像的数量由包含在视锥体中的摄像头图像的区域决定。例如，在视锥体只包含中央后方图像拍摄单元103的摄像头图像的区域的情况下，只使用一个摄像头图像。此外，例如，在视锥体包含多个后方图像拍摄单元的摄像头图像的区域的情况下，使用多个摄像头图像。在使用多个摄像头图像的情况下，那些摄像头图像被合成以供使用。为了减小多个摄像头图像的叠加部分的失真，摄像头图像合成面具有例如以虚拟视频图像显示单元107A为中心的圆柱形。
图像处理装置109根据需要对用视锥体生成的图像进行放大/缩小处理，并作为待显示在视频图像显示单元107上的显示图像输出。注意，在虚拟视频图像显示单元107A的尺寸与视频图像显示单元107的尺寸相同的情况下，不需要放大/缩小处理。
这种情况下，如图6中所示，图像处理装置109测量由视点测量单元105测量的驾驶员的视点位置的移动，作为相对于基准视点位置的相对移动。与此对应，图像处理装置109从基准虚拟视点位置移动虚拟视点位置，以改变在虚拟视频图像显示单元107A上并且于是在视频图像显示单元107上显示的图像(视频图像)，从而向驾驶员提供适当的运动视差。
返回图3，存储单元111存储关于每个驾驶员登记的基准视点位置和基准视野设定的信息，以及车辆的3D CG数据。这里，基准视野是基准后方视野，并且意思是具有由虚拟视点位置和虚拟视频图像显示单元107A所形成的视锥体的视野。于是，具体地，关于基准视野设定的信息包括关于虚拟视点位置的信息、关于虚拟视频图像显示单元107A的位置和尺寸的信息，等等。
驾驶员可以通过来自用户操作单元108的操作，预先登记基准视点位置和基准视野设定。图像处理装置109在初始化流程中从存储单元111读取关于基准视点位置和基准视野设定的信息，并在正常操作流程中使用读取的信息。注意，驾驶员也可以在正常操作流程中变更和调整基准视野的设定。
作为基准视野的优选后方视野随驾驶状况和个人而不同，不过，其中均衡地映出上下左右、并且消失点略高于屏幕中心的视野被认为是一般的基准视野。图7表示优选作为基准视野的后方视野的例子。在这个例子中，在行驶在直线水平道路上的状态下，消失点略高于屏幕中心。注意，在图7中，沿着垂直方向和水平方向延伸的虚线的交点表示屏幕中心。
在本实施例中，基准视野设定包括显示位置设定、显示尺寸设定、水平方向整体或部分的压缩(曲率)设定、垂直方向整体或部分的压缩(曲率)设定等。基准视野设定的细节将在后面说明。
图像处理装置109例如在起动时，比如接通电源时执行初始化流程，指定驾驶员(用户)，并从存储单元111读出关于与驾驶员对应的基准视点位置和基准视野设定的信息，以在随后的正常操作流程中使用该信息。驾驶员由例如来自用户操作单元108的驾驶员的操作来指定。注意，尽管详细描述被省略，不过，可以设想通过通常公知的诸如面部认证、指纹认证或语音认证之类的认证方法来自动指定驾驶员。
图8的流程图表示初始化流程的例子。在步骤ST1，图像处理装置109开始处理。之后在步骤ST2，图像处理装置109指定用户，即驾驶员。之后在步骤ST3，图像处理装置109从存储单元111读出关于指定的驾驶员的基准视野设定的信息。之后在步骤ST3，图像处理装置109从存储单元111读出关于指定的驾驶员的基准视点位置的信息。然后，图像处理装置109在步骤ST5，结束初始化流程的一系列处理。
图9的流程图表示基准视点位置的登记流程的例子。在步骤ST11，图像处理装置109开始处理。之后在步骤ST12，图像处理装置109基于视点测量单元105的检测结果，获取驾驶员的当前视点位置，还基于视线测量单元106的检测结果，获取驾驶员的当前视线位置。
之后在步骤ST13，图像处理装置109判定视点是否在视点检测区域(参见图10)内。当视点不在视点检测区域内时，图像处理装置109返回步骤ST12的处理。然而，当视点在视点检测区域内时，图像处理装置109在步骤ST14判定视线是否在视线检测区域(参见图10)内的视频图像显示单元107上。当视线不在视频图像显示单元107上时，图像处理装置109返回步骤ST12的处理。然而，当视线在视频图像显示单元107上时，图像处理装置109移动到步骤ST15的处理。
在步骤ST15，图像处理装置109判定视线是否持续一定时间或更长时间，这里持续1秒或更长时间停留在视频图像显示单元107上。当视线未持续1秒或更长时间停留在视频图像显示单元107上时，图像处理装置109返回步骤ST12的处理。然而，当视线持续1秒或更长时间停留在视频图像显示单元107上时，在步骤ST16，图像处理装置109将当前视点位置作为基准视点位置，与驾驶员关联地记录在存储单元111中。之后，在步骤ST17，图像处理装置109结束一系列的处理。
返回图3，视锥体形状位置计算单元112基于从存储单元111读取的关于基准视点位置和基准视野设定的信息，以及视点测量单元105检测的当前视点位置，计算虚拟空间中视锥体的形状和位置。这种情况下，按照视点位置(当前视点位置)从基准视点位置的偏离(距离、方向的偏离)，获得从基准虚拟视点位置偏离的虚拟视点位置(当前虚拟视点位置)(参见图6)。此外，基于该虚拟视点位置、以及虚拟视频图像显示单元107A的尺寸和位置，获得以虚拟视点作为顶点的视锥体的位置和形状(参见图4和5)。
摄像头图像布置计算单元115基于下述来计算在虚拟空间中摄像头图像的布置距离：由右侧后方距离测量单元104R、中央后方距离测量单元104和左侧后方距离测量单元104L获取的后方距离图像；由右侧后方图像拍摄单元103R、中央后方图像拍摄单元103和左侧后方图像拍摄单元103L获取的后方摄像头图像；由视锥体形状位置计算单元112获得的视锥体的形状和位置；等等。
取决于摄像头图像的该布置位置，当驾驶员移动视点位置时，在摄像头图像中示出并在车辆内部图像(车身、车窗、内饰物)中出现和消失的被摄物体的外观(运动视差)不同。为了提供适当的运动视差，需要在虚拟空间中将摄像头图像放置在适当的位置。
如图11中所示，通过在距离方向上压缩三维空间，获得摄像头实际拍摄的图像，并且在不同距离处的物体(对象)A～D被拍摄成以对应于距离的尺寸的二维图像。于是，将该摄像头图像放置在三维空间中的任何地方都不是很合适，仅仅对于位于放置摄像头图像的距离处的物体才能获得适当的位置。注意，实际上，在摄像头镜头的景深之外的图像是模糊的，不过这里，它被认为是理想的泛焦摄像头。
图12表示其中摄像头图像被放置在物体A的距离处的情况(图像布置A)和其中摄像头图像被放置在物体D的距离处的情况(图像布置D)。随后，图13(a)、13(b)和13(c)分别表示在将视野(与由虚拟视点位置决定的视锥体对应)向右、中央和左移动的情况下的视域。
比较图13(a)、13(b)和13(c)，在图像布置A的情况和图像布置D的情况之间，进入视野的摄像头图像的范围不同。此外，可以看出，摄像头图像中的移动范围按照视野的运动而不同。这是对于摄像头图像中的物体的运动视差。通过将摄像头图像放置在关注的物体(对象)的距离处，可以正确地表现在物体与车辆之间发生的运动视差。
应注意的是，对于除关注的物体以外的物体，显示的尺寸和由视点运动引起的运动视差未被正确表现。为了对所有物体提供适当的运动视差，需要以3D方式拍摄后方的图像，并将所有物体分开放置在虚拟空间中。然而，这种处理需要非常大的计算力
本技术具有通过放弃除了所关注物体以外的运动视差，以相对少量的计算量提供针对所关注物体的运动视差的特征。
为了通过有限的运动视差呈现有用的距离感，需要选择适合于向驾驶员呈现距离感的所关注物体。以下是在选择适合于呈现距离感的物体时应考虑的事件。
(1)车辆与物体之间的距离(最接近车辆的物体)。
(2)车辆与物体之间的距离的变化(是在靠近，还是在远离)。
(3)物体的尺寸(不必关注其尺寸小于一定水平的物体，例如昆虫)。
(4)物体是什么(轿车、自行车、人、墙或植物)。
(5)驾驶员正在看的东西(驾驶员在看哪里)。
理想地，应考虑到所有这些因素进行综合判定，不过，即使只有一些事件，也可以提供有用的系统。图14的流程图表示摄像头图像布置计算单元115的处理流程的例子。该处理例子考虑了上述事件(1)、(2)和(3)，可以只使用由后方距离测量单元(右侧后方距离测量单元104R、中央后方距离测量单元104和左侧后方距离测量单元104L)获取的距离图像来实现。
每当后方距离测量单元获取距离图像时，摄像头图像布置计算单元115执行图14的流程图中所示的处理流程。注意，后方距离测量单元例如以120fps的频率获取距离图像。
在步骤ST21，摄像头图像布置计算单元115在后方距离测量单元获取距离图像的定时开始处理。之后在步骤ST22，摄像头图像布置计算单元115从距离图像中提取物体(对象)，并创建具有一定尺寸或更大的物体的位置、形状、尺寸和距离的列表。然后在步骤ST23，摄像头图像布置计算单元115将创建的列表存储在物体历史存储单元113中。
之后在步骤ST24，摄像头图像布置计算单元115浏览物体历史存储单元113的历史数据，根据形状特征搜索同一物体，从列表中删除没有历史的物体，并且计算有历史的物体与车辆的相对速度以添加到列表中。
之后在步骤ST25，摄像头图像布置计算单元115从创建的列表中，排除偏离摄像头的有效图像拍摄距离的物体。这用来除去在摄像头无法聚焦的距离处的物体。如果即使能够测量距离但不能拍摄摄像头图像，那么该物体也不适合于摄像头图像布置距离，并且被排除。
之后在步骤ST26，摄像头图像布置计算单元115从列表中删除正以一定速度或更高的速度远离的物体。之后在步骤ST27，摄像头图像布置计算单元115从列表中删除偏离视锥体及其附近的物体。然后在步骤ST28，摄像头图像布置计算单元115判定在列表中是否保留有数据。
当在列表中保留有数据时，在步骤ST29，摄像头图像布置计算单元115采用与离车辆最近的物体的距离作为摄像头图像布置距离。在步骤ST29的处理之后，摄像头图像布置计算单元115在步骤ST30终止一系列的处理。
此外，当在步骤ST28没有数据保留在列表中时，在步骤ST31，采用预先确定的默认距离作为摄像头图像布置距离。这里，默认距离是适合于布置远景的距离。在呈现距离感方面，理想的是远至计算能力允许的范围。然而现实中，例如，参考中央后方距离测量单元104的计算能力来确定默认距离。例如，默认距离对于光探测和测距(LiDAR)约为100m，对于ToF传感器约为250m。在步骤ST31的处理之后，摄像头图像布置计算单元115在步骤ST30终止一系列的处理。
图15的流程图表示摄像头图像布置计算单元115的处理流程的再一个例子。该处理例子考虑了上述事件(1)、(3)和(4)，除了由后方距离测量单元获取的距离图像之外，还可以通过使用由中央后方图像拍摄单元103获得的摄像头图像来实现。
每当后方距离测量单元获取距离图像时，摄像头图像布置计算单元115执行图15的流程图中所示的处理流程。注意，后方距离测量单元例如以120fps的频率获取距离图像。
在步骤ST61，摄像头图像布置计算单元115在后方距离测量单元获取距离图像的定时开始处理。之后在步骤ST62，摄像头图像布置计算单元115从距离图像中提取物体，并创建具有一定尺寸或更大的物体的位置、形状、尺寸和距离的列表。
之后在步骤ST63，摄像头图像布置计算单元115从创建的列表中，排除偏离摄像头的有效图像拍摄距离的物体。这用来除去在摄像头无法聚焦的距离处的物体。如果即使能够测量距离但不能拍摄摄像头图像，那么该物体也不适合于摄像头图像布置距离，从而被排除。
之后在步骤ST64，摄像头图像布置计算单元115通过图像识别来识别物体，并从列表中删除不适合于图像布置的物体(鸟、枯叶等)。之后在步骤ST65，摄像头图像布置计算单元115从列表中删除偏离视锥体及其附近的物体。然后在步骤ST66，摄像头图像布置计算单元115判定在列表中是否保留有数据。
当在列表中保留有数据时，在步骤ST67，摄像头图像布置计算单元115采用与离车辆最近的物体的距离作为摄像头图像布置距离。在步骤ST67的处理之后，摄像头图像布置计算单元115在步骤ST68终止一系列的处理。
此外，当在步骤ST66没有数据保留在列表中时，在步骤ST69，采用预先确定的默认距离(适合于布置远景的距离)作为摄像头图像布置距离。在步骤ST69的处理之后，摄像头图像布置计算单元115在步骤ST68终止一系列的处理。
图16的流程图表示摄像头图像布置计算单元115的处理流程的另一个例子。该处理例子考虑了上述事件(1)、(3)和(5)，除了由后方距离测量单元获取的距离图像之外，还可以通过使用视线测量单元106的驾驶员(用户)的视线检测结果来实现。
每当后方距离测量单元获取距离图像时，摄像头图像布置计算单元115执行图16的流程图中所示的处理流程。注意，后方距离测量单元例如以120fps的频率获取距离图像。
在步骤ST71，摄像头图像布置计算单元115在后方距离测量单元获取距离图像的定时开始处理。之后在步骤ST72，摄像头图像布置计算单元115从距离图像中提取物体，并创建具有一定尺寸或更大的物体的位置、形状、尺寸和距离的列表。
之后在步骤ST73，摄像头图像布置计算单元115从创建的列表中，排除偏离摄像头的有效图像拍摄距离的物体。随后在步骤ST74，摄像头图像布置计算单元115判定在列表中是否保留有数据。
当在列表中保留有数据时，在步骤ST75，摄像头图像布置计算单元115获取由视线测量单元106获得的驾驶员(用户)的视线。随后，在步骤ST76，摄像头图像布置计算单元115采用在最接近于视线的位置的物体的距离，作为摄像头图像布置距离。在步骤ST76的处理之后，摄像头图像布置计算单元115在步骤ST77终止一系列的处理。
此外，当在步骤ST74没有数据保留在列表中时，在步骤ST78，采用预先确定的默认距离(适合于布置远景)作为摄像头图像布置距离。在步骤ST78的处理之后，摄像头图像布置计算单元115在步骤ST77终止一系列的处理。
图17表示在只使用一个摄像头图像，即，只使用由中央后方图像拍摄单元103拍摄的摄像头图像的情况下的摄像头图像的布置位置。摄像头图像已通过用中央后方图像拍摄单元103以预先确定的图像拍摄视角进行拍摄而获得。该摄像头图像在虚拟空间中被布置在与车辆10的后部隔开由摄像头图像布置计算单元115计算的摄像头图像布置距离的位置。注意，在以这种方式只使用中央后方图像拍摄单元103的情况下，在如上所述计算摄像头图像布置距离时，摄像头图像布置计算单元115使用由中央后方距离测量单元104获得的距离图像来计算从车辆10的后部(后方距离测量单元104)的摄像头图像布置距离。
图18表示在使用多个摄像头图像的情况下，例如，在使用中央后方图像拍摄单元103和右侧后方图像拍摄单元103R的两个摄像头图像；中央后方图像拍摄单元103和左侧后方图像拍摄单元103L的两个摄像头图像；或者中央后方图像拍摄单元103、右侧后方图像拍摄单元103R和左侧后方图像拍摄单元103L的三个摄像头图像的情况下的合成摄像头图像的布置位置。
这种情况下，可以从对应的多个后方距离测量单元中的每一个获得后方距离图像。由于那些距离图像是分别测量的距离，因此它们被合成为以虚拟视频图像显示单元107A为中心的距离图像。合成摄像头图像在虚拟空间中被布置在与虚拟视频图像显示单元107A隔开由摄像头图像布置计算单元115计算的摄像头图像布置距离的位置。注意，在以这种方式使用多个摄像头的情况下，在如上所述计算摄像头图像布置距离时，摄像头图像布置计算单元115使用多个后方距离测量单元的距离图像的合成物来计算从虚拟视频图像显示单元107A的摄像头图像布置距离。
返回图3，虚拟空间布置计算单元116在虚拟空间中布置进行描绘所需的元素。即，虚拟空间布置计算单元116在虚拟空间中布置存储在存储单元111中的车辆10的3D CG数据(轿车车身、车窗、内饰物等)。虚拟空间布置计算单元116还将摄像头图像布置在由摄像头图像布置计算单元115计算的摄像头图像布置距离的位置，并且此外基于由视锥体形状布置计算单元112计算的形状和位置来布置视锥体。
图19表示在只使用一个摄像头图像，即，只使用由中央后方图像拍摄单元103拍摄的摄像头图像的情况下，在虚拟空间中进行描绘所需的元素的布置例子。此外，图20表示在使用多个摄像头图像的情况下，在虚拟空间中进行描绘所需的元素的布置例子。注意，图解所示的例子表示使用中央后方图像拍摄单元103、右侧后方图像拍摄单元103R和左侧后方图像拍摄单元103L这三者的情况。
如上所述，在使用多个摄像头的情况下，合成分别拍摄的摄像头图像以在以虚拟视频图像显示单元107A为中心的圆柱形摄像头图像面上使用。通过将摄像头图像合成为圆柱形，可以进行图像处理，使得摄像头图像的接合处不显眼。此时，通过还布置实际安装在车辆10中的中央后方图像拍摄单元103、右侧后方图像拍摄单元103R和左侧后方图像拍摄单元103L，使得如图20中所示每个摄像头光轴通过虚拟视频图像显示单元107A的中心，能够在合成摄像头图像时以少量的校正获得更自然的图像。
投影计算单元117以虚拟视频图像显示单元107A作为投影面，将虚拟空间中的对象转换成投影图像。图像描绘单元118进行用于在由投影计算单元117获得的投影图像上描绘摄像头图像和3D CG数据的细节的处理。图像描绘单元118还进行用于使图像的尺寸与视频图像显示单元107的尺寸匹配的放大/缩小处理，以输出提供给视频图像显示单元107的显示图像。图21(a)和21(b)表示由图像描绘单元118获得的显示图像的例子。图21(b)表示其中基准视野的显示尺寸比图21(a)中的大的情况的例子。
下面说明基准视野的设定。作为基准视野的设定点，可以考虑(1)显示位置、(2)显示尺寸、(3)整个水平方向的压缩(曲率)、(4)仅仅水平方向端部的压缩、(5)整个垂直方向的压缩(曲率)、(6)仅仅垂直方向端部的压缩(曲率)，等等。尽管对于每一个可以考虑各种可能的设定方法，不过这里作为例子，对于(1)和(2)描述使用按钮操作的设定方法，对于(3)～(6)描述使用视频图像显示单元107上的触摸面板操作的设定方法。
首先，描述对于(1)显示位置的操作方法的例子。这种情况下，如图22(a)中所示，例如，驾驶员(用户)通过使用上/下/左/右按钮，变更显示位置。当驾驶员按下上/下/左/右按钮时，基准虚拟视点位置沿上/下/左/右的反方向移动。例如，当驾驶员按下左按钮时，如图22(b)中所示，虚拟基准视点值向相反方向右侧移动，并且虚拟视频图像显示单元的位置是固定的。于是，视锥体的方向变成向左，显示在视频图像显示单元107上的图像范围向左侧移动。
接下来，描述对于(2)显示尺寸的操作方法的例子。这种情况下，如图23(a)中所示，例如，驾驶员(用户)通过使用“+”和“-”按钮，变更显示位置。当驾驶员按下“+”和“-”按钮时，基准虚拟视点位置沿前后方向移动。例如，当驾驶员按下“+”按钮时，虚拟基准视点值接近虚拟视频图像显示单元，如图23(b)中所示，并且虚拟视频图像显示单元的位置是固定的。于是，视锥体的视角被扩大，并且显示的范围(显示尺寸)变大。
接下来，描述(3)整个水平方向压缩(曲率)的操作方法的例子。图24表示该操作方法。当驾驶员(用户)在屏幕中央附近进行向左右捏合操作时，按照捏合操作的大小，虚拟视频图像显示单元在水平方向的尺寸扩大。此时，由于基准虚拟视点位置是固定的，因此视锥体在整个水平方向上变大。由于实际的视频图像显示单元(视频图像显示单元107)的尺寸是固定的，因此虚拟到现实图像转换是整体上在左右方向上被压缩的转换，并且显示在实际的视频图像显示单元107上的显示图像在左右方向上被压缩。
相反，在驾驶员在屏幕中央附近进行向左右扩大操作的情况下，视锥体在水平方向上变小，并且显示在实际的视频图像显示单元107上的显示图像的压缩率在左右方向上变小。通过捏合操作和扩大操作的这种调整，调整整个屏幕在左右方向的压缩率(对应于真实视镜的整个左右方向的曲率)。
接下来，描述(4)仅仅水平方向端部的压缩(曲率)的操作方法的例子。图25表示这种操作方法。当驾驶员(用户)在屏幕的右端部附近，向左右进行捏合操作时，按照捏合操作的尺寸，虚拟视频图像显示单元在向右方向的尺寸扩大。此时，由于基准虚拟视点位置是固定的，因此视锥体在向右方向上增大。由于实际的视频图像显示单元(视频图像显示单元107)的尺寸是固定的，因此虚拟到现实图像转换是在右端部在左右方向上压缩的转换，并且显示在视频图像显示单元107上的显示图像在右端部在左右方向上被压缩。
相反，在驾驶员在屏幕中央附近向左右进行扩大操作的情况下，虚拟视频图像显示单元在向右方向的尺寸变小，并且视锥体在向右方向的尺寸变小。通过捏合操作和扩大操作的这种调整，调整屏幕的右端部的左右方向的压缩率(对应于真实视镜的右端部的曲率)。注意，尽管详细描述被省略，可以类似地调整在左端部在左右方向的压缩率。此外，在调整右端部或左端部在左右方向的压缩率时，还可以设想同时调整两者压缩率。
接下来，描述(5)整个垂直方向压缩(曲率)的操作方法的例子。图26表示这种操作方法。当驾驶员(用户)在屏幕中央附近向上下进行捏合操作时，按照捏合操作的尺寸，虚拟视频图像显示单元在垂直方向的尺寸扩大。此时，由于基准虚拟视点位置是固定的，因此视锥体在整个垂直方向上变大。由于实际的视频图像显示单元(视频图像显示单元107)的尺寸是固定的，因此虚拟到现实图像转换是在上下方向上整体上压缩的转换，从而显示在实际的视频图像显示单元107上的显示图像在上下方向上被压缩。
相反，在驾驶员在屏幕中央附近向上下进行扩大操作的情况下，视锥体在垂直方向上变小，并且显示在实际的视频图像显示单元107上的显示图像的压缩率变小。通过捏合操作和扩大操作的这种调整，调整整个屏幕在上下方向的压缩率(对应于真实视镜的整个上下方向的曲率)。
接下来，描述(6)仅仅垂直方向端部的压缩(曲率)的操作方法的例子。图27表示这种操作方法。当驾驶员(用户)在屏幕的上端部附近，向上下进行捏合操作时，按照捏合操作的尺寸，虚拟视频图像显示单元在向上方向的尺寸扩大。此时，由于基准虚拟视点位置是固定的，因此视锥体在向上方向上增大。由于实际的视频图像显示单元(视频图像显示单元107)的尺寸是固定的，因此虚拟到现实图像转换是在上端部在上下方向上压缩的转换，并且显示在实际的视频图像显示单元107上的显示图像在上端部在上下方向上被压缩。
相反，在驾驶员在屏幕中央附近向左右进行扩大操作的情况下，虚拟视频图像显示单元在向上方向的尺寸变小，并且视锥体在向上方向的尺寸变小。通过捏合操作和扩大操作的这种调整，调整屏幕的上端部的上下方向的压缩率(对应于真实视镜的右端部的曲率)。注意，尽管详细说明被省略，不过，可以类似地调整在下端部在上下方向的压缩率。此外，在调整上端部或下端部在上下方向的压缩率时，还可以设想同时调整两者压缩率。
图28的流程图表示图像处理装置109中的正常操作流程的例子。在步骤ST71，图像处理装置109开始处理。之后，在步骤ST72，图像处理装置109判定是否存在基准视野设定的变更操作。当存在变更操作时，在步骤ST73，图像处理装置109基于用户操作，变更基准视野设定(参见图24-27)。
在步骤ST73的处理之后，图像处理装置109进入步骤ST74的处理。此外，当在步骤ST72不存在变更操作时，图像处理装置109立即进入步骤ST74的处理。在步骤ST74，图像处理装置109进行用于生成要显示在视频图像显示单元107上的显示图像的处理。在步骤ST74的处理之后，图像处理装置109返回步骤ST72，重复如上所述的类似处理。
图29的流程图表示图28的步骤ST74的显示图像处理的例子。在步骤ST41，图像处理装置109开始处理。之后在步骤ST42，图像处理装置109基于视点测量单元105的检测结果，获取当前视点位置。
之后在步骤ST43，图像处理装置109将基准视点位置与当前视点位置之差转换成虚拟视点相对于基准虚拟视点位置之差，从而计算虚拟视点位置(参见图6)。之后在步骤ST44，图像处理装置109根据虚拟视点位置，计算视锥体的形状和位置。
之后在步骤ST45，图像处理装置109判定是否使用多个摄像头图像。这里，使用的摄像头图像的数量可以是一个或多个，并由哪个摄像头图像区域包含在由基准虚拟视点位置和虚拟视频图像显示单元107A形成的视锥体部分中来决定。
例如，如图30中所示，在视锥体仅容纳在一个摄像头图像(中央后方图像拍摄单元103的摄像头图像)的情况下，只使用一个摄像头图像。此外，例如，如图31中所示，在存在横跨中央后方图像拍摄单元103、右侧后方图像拍摄单元103R和左侧后方图像拍摄单元103L这三个摄像头的摄像头图像的视锥体的情况下，使用三个摄像头图像。同理，尽管未图示，不过，要使用的摄像头图像可以是中央后方图像拍摄单元103和右侧后方图像拍摄单元103R的两个摄像头图像，或者中央后方图像拍摄单元103和左侧后方图像拍摄单元103L的两个摄像头图像。
返回图29，当在步骤ST45使用一个摄像头图像时，在步骤ST46，图像处理装置109获取所述一个摄像头图像。之后在步骤ST47，图像处理装置109计算摄像头图像布置距离(参见图17)。这种情况下，使用由中央后方距离测量单元104获得的距离图像来计算从车辆10的后侧部分(中央后方距离测量单元104)的摄像头图像布置距离。在步骤ST47的处理之后，图像处理装置109进入步骤ST48的处理。
此外，当在步骤ST45中使用多个摄像头图像时，在步骤ST49，图像处理装置109获取所述多个摄像头图像。之后在步骤ST50，图像处理装置109合成多个摄像头图像。这种情况下，在以虚拟视频图像显示单元107A为中心并且在虚拟空间中准备的圆柱形摄像头图像布置面上进行映射。
之后在步骤ST51，图像处理装置109计算摄像头图像布置距离(参见图18)。这种情况下，使用多个后方距离测量单元的距离图像的合成物，并且计算从虚拟视频图像显示单元107A的摄像头图像布置距离。在步骤ST51的处理之后，图像处理装置109进入步骤ST48的处理。
在步骤ST48，图像处理装置109在虚拟空间中布置作为进行描绘所需的元素的车辆10的3D CG数据(轿车车身、车窗、内饰物等)、摄像头图像和视锥体(参见图19和20)。之后在步骤ST52，图像处理装置109将虚拟空间中的组件转换到投影坐标系，以获得投影图像。
之后在步骤ST53，图像处理装置109对投影图像进行描绘摄像头图像和3D CG数据的细节的处理，以获得显示图像。之后在步骤ST54，图像处理装置109将显示图像输出给视频图像显示单元107。在步骤ST54的处理之后，图像处理装置109在步骤ST55结束处理。
图像处理装置109与视频图像显示单元107的更新频率，例如120fps同步地连续进行上述正常操作流程的处理。于是，在显示在视频图像显示单元107上的显示图像中，描绘目标对象的重叠程度随视点的运动、以及与后方的关注物体之间的距离而被适当改变，即，能够获得适当的运动视差。因此，驾驶员(用户)能够获得相对于后方的摄像头图像的适当距离感。
图32(a)、32(b)和32(c)表示显示在视频图像显示单元107上的显示图像的例子。图32(a)表示驾驶员的视点位置在标准视点位置的情况，图32(b)表示驾驶员的视点位置从标准视点位置向右移动的情况，图32(c)表示驾驶员的视点位置从标准视点位置向左移动的情况。可以看出车辆内部CG图像与摄像头图像中的对象(汽车)之间的重叠程度按照驾驶员的视点位置而变化。
注意，在真实的视镜中，内饰物和车身会造成看不到后方的盲区。然而，在本技术中，通过在描绘时透明地描绘，或者通过隐藏一部分，在通过运动视差来辅助距离感的感知时，还能够维持开阔的后方视野。例如，图33(a)是作为内饰物的后排座椅被隐藏的状态。此外，图33(b)表示具有低透过率的车身和作为内饰物的后排座椅，而图33(c)表示具有高透过率的车身和作为内饰物的后排座椅。
当然，如果不介意盲区的出现，那么可以以0％的透过率描绘内饰物或车身，从而生成并显示像真实视镜那样的图像。
此外，内饰物不限于座椅等，例如，可以通过在车窗玻璃上描绘图案来进一步强调距离感知。图33(d)表示提供水平线作为车窗玻璃上的对象的状态。
如上所述，在图1中所示的车辆10中，图3中所示的图像处理装置109按照驾驶员(用户)对用户操作单元108的操作，进行基准视野设定。于是，可以按照驾驶状况或者按照驾驶员(个人)的偏好，令人满意地提供视野。
此外，在图1中所示的车辆10中，图3中所示的图像处理装置109将车辆内部图像叠加在通过拍摄车辆10后方的图像而获得的摄像头图像上，并且获得将被显示在代替传统车内视镜布置的视频图像显示单元107上的显示图像。该显示图像并不仅仅由通过拍摄车辆10后方的图像而获得的摄像头图像构成，相反，该显示图像是通过将车辆内部图像叠加在摄像头图像上获得的。于是，可以容易地通过运动视差提供距离感。
此外，在图1中所示的车辆10中，图3中所示的图像处理装置109按照驾驶员的视点的运动，改变摄像头图像与车辆内部图像之间的叠加位置关系。于是，可以产生与观看实际视镜相接近的运动视差，并且能够辅助驾驶员的距离之间的感知。
此外，在图1中所示的车辆10中，图3中所示的图像处理装置109将摄像头图像和表示车辆的图像布置在三维空间中，获得按照驾驶员视点的运动而变化的虚拟视点位置，并通过由虚拟视点位置决定的视野，将摄像头图像和车辆内部图像转换到投影坐标系，以获得显示图像。于是，可以按照驾驶员视点的运动，精确地改变摄像头图像与车辆内部图像之间的叠加位置关系。
此外，在图1中所示的车辆10中，图3中所示的图像处理装置109将摄像头图像布置在存在于车辆10后方的关注物体(对象)的位置，以获得显示图像。于是，关注物体能够以适当的尺寸被布置在三维空间中的适当位置，并且能够正确地表现在该物体与车辆内部图像之间发生的运动视差。
注意，在本说明书中描述的效果仅仅是例子而不是限制，可以存在附加的效果。
车辆用电子视镜具有能够提供不受货物的装载影响、并且与实际视镜相比盲区较少的后方视野的优点。然而，电子视镜具有难以直观地感知距离感的问题。人类感知距离的重要要素的例子包括双目视差、会聚角、调节和运动视差。
其中，运动视差是距离不同的两个或更多物体响应于视点的运动而出现和消失的现象。认为如上述专利文献1所记载的技术中那样，只通过使摄像头图像的显示部分运动，那么出现和消失的变化不足，并且通过运动视差呈现距离感的效果非常弱。本技术可以提供一种通过在后方摄像头图像上叠加并描绘车辆内部的对象并向它们添加运动视差，积极地通过运动视差提供距离感，并且直观且驾驶员(用户)熟悉的电子视镜。
<2.变形例>
注意，上述实施例表示了其中驾驶员(用户)从用户操作单元108设定基准视野，基于设定信息生成显示图像，并显示在与车内视镜对应的视频图像显示单元107上的例子。
考虑到实际使用情况，还可以设想预先保持一些显示模式(基准视野设定)，并按照驾驶者的偏好、车型和驾驶状况来切换使用。这里，将描述在下述(1)-(4)之间进行切换的方法。注意，本例表示了4种模式之间的切换，不过，要保持的显示模式的数量可以根据需要而变化。
(1)平面镜(标准显示)
(2)曲面镜(在屏幕的水平方向上弯曲显示)
(3)右端曲面镜(在屏幕的右端部弯曲显示)
(4)左端曲面镜(在屏幕的左端部弯曲显示)
作为用于切换显示模式的操作方法，可以考虑各种实现方法，比如通过菜单进行切换，和按照驾驶操作或车辆的行驶状况进行切换。这里，如图34(a)中所示，每次按下模式按钮时，可以切换使用预先准备的显示模式(1)-(4)。图34(b)表示在视频图像显示单元107上并且可以对应于显示模式(1)-(4)被切换的显示图像的例子。
注意，在这个例子中，通过按钮操作来切换显示模式，不过，也可以设想按照诸如行驶速度、转向信号灯和方向盘操作之类的驾驶操作，自动提供适当的显示模式的方法，以及与导航装置结合基于位置自动提供适当的显示模式的方法。
此外，上述图像处理装置109中的一系列处理可以由硬件执行，也可以由软件执行。在所述一系列处理由软件进行的情况下，配置所述软件的程序安装在计算机中。这里，计算机的例子例如包括内置在专用硬件中的计算机，通过安装有各种程序能够进行各种功能的通用个人计算机，等等。
图35是表示按照程序，执行上述一系列处理的计算机400的硬件的配例子的方框图。
在计算机400中，中央处理器(CPU)401、只读存储器(ROM)402和随机存取存储器(RAM)403通过总线404相互连接。
总线404还与输入/输出接口405连接。输入单元406、输出单元407、记录单元408、通信单元409和驱动器410连接到输入/输出接口405。
输入单元406包括输入开关、按钮、麦克风、图像传感器等。输出单元407包括显示器、扬声器等。记录单元408包括硬盘、非易失性存储器等。通信单元409包括网络接口等。驱动器410驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质411。
在如上所述配置的计算机400中，上述一系列处理例如由经由输入/输出接口405和总线404将记录在记录单元408中的程序载入RAM403中并执行的CPU 401进行。
由计算机400(CPU 401)执行的程序可以通过记录在例如作为封装介质等的可移动介质411上来提供。此外，可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机中，通过将可移动介质411附接到驱动器410，程序可以经由输入/输出接口405安装在记录单元408中。此外，程序可以经由有线或无线传输介质由通信单元409接收，并安装在记录单元408中。此外，程序可以预先安装在ROM 402和记录单元408中。
注意，由计算机执行的程序可以是按照记载在本说明书中的顺序，时序地进行处理的程序，或者可以是并行地或在诸如当进行调用时之类的必要定时进行处理的程序。
此外，尽管上面参考附图详细描述了本公开的优选实施例，不过，本公开的技术范围不限于这样的例子。显然本公开的技术领域的普通技术人员可以在记载在权利要求书中的技术思想的范围内得出各种变更或修改，应明白的是这些变更和修改自然都在本公开的技术范围之内。
此外，本技术也可以具有以下构成。
(1)一种图像处理装置，包括：
处理单元，所述处理单元被配置成通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像，其中
上述处理单元基于关于基准视野的设定信息，生成上述显示图像，并且
所述图像处理装置还包括：
设定单元，所述设定单元被配置成设定上述基准视野。
(2)按照上述(1)所述的图像处理装置，其中
作为上述基准视野设定，包括显示位置设定。
(3)按照上述(1)或(2)所述的图像处理装置，其中
作为上述基准视野设定，包括显示尺寸设定。
(4)按照上述(1)-(3)任意之一所述的图像处理装置，其中
作为上述基准视野设定，包括在水平方向上的整体或部分的压缩设定。
(5)按照上述(1)-(4)任意之一所述的图像处理装置，其中
作为上述基准视野设定，包括在垂直方向上整体或部分的压缩设定。
(6)按照上述(1)-(5)任意之一所述的图像处理装置，其中
上述处理单元使用由安装在上述车辆的后部的图像拍摄装置拍摄的拍摄图像和由安装在上述车辆侧部的图像拍摄装置拍摄的拍摄图像，作为通过拍摄上述车辆的后方的图像而获得的拍摄图像。
(7)按照上述(1)-(6)任意之一所述的图像处理装置，还包括：
选择单元，所述选择单元被配置成从多个上述基准视野设定中选择任意的基准视野设定，其中
上述处理单元基于选择的上述基准视野设定生成上述显示图像。
(8)按照上述(1)-(7)任意之一所述的图像处理装置，其中
上述车辆内部图像是计算机图形图像。
(9)按照上述(1)-(8)任意之一所述的图像处理装置，其中
上述处理单元按照驾驶员视点的运动，改变上述拍摄图像与上述车辆内部图像之间的叠加位置关系。
(10)按照上述(9)所述的图像处理装置，其中
上述处理单元
将上述拍摄图像和上述车辆内部图像布置在三维空间中，并且
求出按照上述驾驶员的视点的运动而变化的虚拟视点位置，并利用由虚拟视点位置决定的视野，将上述拍摄图像和上述车辆内部图像转换到投影坐标系，从而获得上述显示图像。
(11)按照上述(10)所述的图像处理装置，其中
上述处理单元将上述拍摄图像布置在存在于上述车辆的后方的预定对象的位置。
(12)按照上述(11)所述的图像处理装置，其中
上述预定对象是最接近上述车辆的对象。
(13)按照上述(11)所述的图像处理装置，其中
所述预定对象是上述驾驶员看到的对象。
(14)按照上述(10)-(13)任意之一所述的图像处理装置，其中
上述处理单元基于对于每个驾驶员登记的基准视点位置和基准虚拟视点位置，求出按照上述驾驶员的视点的运动而变化的虚拟视点位置。
(15)按照上述(1)-(14)任意之一所述的图像处理装置，其中
上述处理单元将上述车辆内部图像叠加在上述拍摄图像上，以使拍摄图像能被看透。
(16)一种图像处理方法，包括：
通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像的步骤，其中
在生成上述显示图像的步骤中，基于关于基准视野的设定信息生成上述显示图像，并且
所述图像处理方法还包括：
设定上述基准视野的步骤。
(17)一种图像处理系统，包括：
图像拍摄单元，所述图像拍摄单元被配置成拍摄车辆后方的图像；和
处理单元，所述处理单元被配置成通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像，其中
上述处理单元基于关于基准视野的设定信息，生成所述显示图像，并且
所述图像处理系统还包括：
设定单元，所述设定单元被配置成设定上述基准视野；和
显示单元，所述显示单元被配置成显示由上述处理单元生成的显示图像。
(18)一种用于使计算机执行图像处理方法的程序，所述图像处理方法包括：
通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像的步骤，其中
在生成上述显示图像的步骤中，基于关于基准视野的设定信息生成上述显示图像，并且
所述图像处理方法还包括：
设定上述基准视野的步骤。
附图标记列表
10 车辆
100 车身(轿车车身)
101 车身开口(车窗)
102 内饰物
103 中央后方图像拍摄单元
103R 右侧后方图像拍摄单元
103L 左侧后方图像拍摄单元
104 中央后方距离测量单元
104R 右侧后方距离测量单元
104L 左侧后方距离测量单元
105 视点测量单元
106 视线测量单元
107 视频图像显示单元
107A 虚拟视频图像显示单元
108 用户操作单元
109 图像处理装置
111 存储单元
112 视锥体形状布置计算单元
113 物体历史存储单元
115 摄像头图像布置计算单元
116 虚拟空间布置计算单元
117 投影计算单元
118 图像描绘单元

Claims (17)

1.一种图像处理装置，包括：
处理单元，所述处理单元被配置成通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像，其中
所述处理单元基于关于基准视野的设定信息，生成所述显示图像，并且
所述图像处理装置还包括：
设定单元，所述设定单元被配置成设定所述基准视野。
2.按照权利要求1所述的图像处理装置，其中
作为基准视野设定，包括显示位置设定。
3.按照权利要求1所述的图像处理装置，其中
作为基准视野设定，包括显示尺寸设定。
4.按照权利要求1所述的图像处理装置，其中
作为基准视野设定，包括在水平方向上的整体或部分的压缩设定。
5.按照权利要求1所述的图像处理装置，其中
作为基准视野设定，包括在垂直方向上的整体或部分的压缩设定。
6.按照权利要求1所述的图像处理装置，其中
所述处理单元使用由安装在所述车辆后部的图像拍摄装置拍摄的拍摄图像和由安装在所述车辆侧部的图像拍摄装置拍摄的拍摄图像，作为通过拍摄所述车辆后方的图像而获得的拍摄图像。
7.按照权利要求1所述的图像处理装置，还包括：
选择单元，所述选择单元被配置成从多个基准视野设定中选择任意的基准视野设定，其中
所述处理单元基于选择的所述基准视野设定生成所述显示图像。
8.按照权利要求1所述的图像处理装置，其中
所述车辆内部图像为计算机图形图像。
9.按照权利要求1所述的图像处理装置，其中
所述处理单元按照驾驶员视点的运动，改变所述拍摄图像与所述车辆内部图像之间的叠加位置关系。
10.按照权利要求9所述的图像处理装置，其中
所述处理单元
将所述拍摄图像和所述车辆内部图像布置在三维空间中，并且
求出按照所述驾驶员的视点的运动而变化的虚拟视点位置，并利用由该虚拟视点位置决定的视野，将所述拍摄图像和所述车辆内部图像转换到投影坐标系，从而获得所述显示图像。
11.按照权利要求10所述的图像处理装置，其中
所述处理单元将所述拍摄图像布置在存在于所述车辆的后方的预定对象的位置。
12.按照权利要求11所述的图像处理装置，其中
所述预定对象为最接近所述车辆的对象。
13.按照权利要求11所述的图像处理装置，其中
所述预定对象为所述驾驶员看到的对象。
14.按照权利要求10所述的图像处理装置，其中
所述处理单元基于对于每个驾驶员登记的基准视点位置和基准虚拟视点位置，求出按照所述驾驶员的视点的运动而变化的虚拟视点位置。
15.按照权利要求1所述的图像处理装置，其中
所述处理单元将所述车辆内部图像叠加在所述拍摄图像上，以使拍摄图像能被看透。
16.一种图像处理方法，包括：
通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像的步骤，其中
在生成所述显示图像的步骤中，基于关于基准视野的设定信息生成所述显示图像，并且
所述图像处理方法还包括：
设定所述基准视野的步骤。
17.一种图像处理系统，包括：
图像拍摄单元，所述图像拍摄单元被配置成拍摄车辆后方的图像；和
处理单元，所述处理单元被配置成通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像，其中
所述处理单元基于关于基准视野的设定信息，生成所述显示图像，并且
所述图像处理系统还包括：
设定单元，所述设定单元被配置成设定所述基准视野；和
显示单元，所述显示单元被配置成显示由所述处理单元生成的显示图像。
CN201980080332.6A 2018-12-11 2019-12-10 图像处理装置、图像处理方法和图像处理系统 Pending CN113170083A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018232048 2018-12-11
JP2018-232048 2018-12-11
PCT/JP2019/048363 WO2020122084A1 (ja) 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム

Publications (1)

Publication Number Publication Date
CN113170083A true CN113170083A (zh) 2021-07-23

Family

ID=71077293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980080332.6A Pending CN113170083A (zh) 2018-12-11 2019-12-10 图像处理装置、图像处理方法和图像处理系统

Country Status (6)

Country Link
US (1) US20220030178A1 (zh)
EP (1) EP3896963A4 (zh)
JP (1) JP7484722B2 (zh)
KR (1) KR20210100608A (zh)
CN (1) CN113170083A (zh)
WO (1) WO2020122084A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170084A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570780B1 (ko) * 2018-05-08 2023-08-29 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287845A (ja) * 2003-03-20 2004-10-14 Aisin Seiki Co Ltd 車両運転者の視線検出装置
JP2007081590A (ja) * 2005-09-13 2007-03-29 Matsushita Electric Ind Co Ltd 車両側方確認装置
US20070072154A1 (en) * 2005-09-28 2007-03-29 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP2009100180A (ja) * 2007-10-16 2009-05-07 Denso Corp 車両後方監視装置
US20120069187A1 (en) * 2009-05-29 2012-03-22 Fujitsu Ten Limited Image generating apparatus and image display system
JP2012226665A (ja) * 2011-04-21 2012-11-15 Canon Inc 情報処理装置、その処理方法、プログラム及び撮像装置
JP2015201680A (ja) * 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
US20160059781A1 (en) * 2014-08-27 2016-03-03 Koito Manufacturing Co., Ltd. Electronic control unit and in-vehicle video system
US20160288717A1 (en) * 2013-03-29 2016-10-06 Aisin Seiki Kabushiki Kaisha Image display control apparatus, image display system and display unit
JP2017111739A (ja) * 2015-12-18 2017-06-22 株式会社デンソー 運転支援装置、運転支援方法
US20170282813A1 (en) * 2014-09-05 2017-10-05 Aisin Seiki Kabushiki Kaisha Image display control device and image display system
CN107284352A (zh) * 2016-04-04 2017-10-24 东芝阿尔派·汽车技术有限公司 车辆用周边监视装置
CN107791949A (zh) * 2016-09-06 2018-03-13 电装韩国电子株式会社 车载摄像头的hud集成集群系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
EP1974998B1 (en) * 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
JP5874920B2 (ja) 2012-04-12 2016-03-02 スズキ株式会社 車両周囲確認用モニター装置
WO2014130049A1 (en) * 2013-02-25 2014-08-28 Johnson Controls Technology Company Systems and methods for augmented rear-view displays
EP3358839A4 (en) * 2015-09-28 2019-05-22 Kyocera Corporation Image processing device, imaging device, camera system and image processing method
CN109417611A (zh) * 2016-07-13 2019-03-01 索尼公司 图像生成设备、图像生成方法和程序
JP6768412B2 (ja) * 2016-08-26 2020-10-14 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
JP6890288B2 (ja) * 2018-03-28 2021-06-18 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287845A (ja) * 2003-03-20 2004-10-14 Aisin Seiki Co Ltd 車両運転者の視線検出装置
JP2007081590A (ja) * 2005-09-13 2007-03-29 Matsushita Electric Ind Co Ltd 車両側方確認装置
US20070072154A1 (en) * 2005-09-28 2007-03-29 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP2009100180A (ja) * 2007-10-16 2009-05-07 Denso Corp 車両後方監視装置
US20120069187A1 (en) * 2009-05-29 2012-03-22 Fujitsu Ten Limited Image generating apparatus and image display system
JP2012226665A (ja) * 2011-04-21 2012-11-15 Canon Inc 情報処理装置、その処理方法、プログラム及び撮像装置
US20160288717A1 (en) * 2013-03-29 2016-10-06 Aisin Seiki Kabushiki Kaisha Image display control apparatus, image display system and display unit
JP2015201680A (ja) * 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
US20160059781A1 (en) * 2014-08-27 2016-03-03 Koito Manufacturing Co., Ltd. Electronic control unit and in-vehicle video system
US20170282813A1 (en) * 2014-09-05 2017-10-05 Aisin Seiki Kabushiki Kaisha Image display control device and image display system
JP2017111739A (ja) * 2015-12-18 2017-06-22 株式会社デンソー 運転支援装置、運転支援方法
CN107284352A (zh) * 2016-04-04 2017-10-24 东芝阿尔派·汽车技术有限公司 车辆用周边监视装置
CN107791949A (zh) * 2016-09-06 2018-03-13 电装韩国电子株式会社 车载摄像头的hud集成集群系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170084A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
US11987182B2 (en) 2018-12-11 2024-05-21 Sony Group Corporation Image processing apparatus, image processing method, and image processing system

Also Published As

Publication number Publication date
WO2020122084A1 (ja) 2020-06-18
EP3896963A1 (en) 2021-10-20
KR20210100608A (ko) 2021-08-17
JP7484722B2 (ja) 2024-05-16
EP3896963A4 (en) 2022-01-19
US20220030178A1 (en) 2022-01-27
JPWO2020122084A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
JP6493361B2 (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
JP6134478B2 (ja) 情報処理装置、表示制御方法、プログラムおよび記憶媒体
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
JP7444073B2 (ja) 画像処理装置、画像処理方法および画像処理システム
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
JP7428139B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP2005335410A (ja) 画像表示装置
CN113170083A (zh) 图像处理装置、图像处理方法和图像处理系统
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
WO2017168953A1 (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
JP2011254190A (ja) 車両用周囲監視装置
JP2016181004A (ja) 情報処理装置、表示制御方法、プログラムおよび記憶媒体
CN115917609A (zh) 信息处理装置、信息处理方法和存储介质
JP7364009B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination