CN117121472A - 影像显示装置及影像显示方法 - Google Patents

影像显示装置及影像显示方法 Download PDF

Info

Publication number
CN117121472A
CN117121472A CN202280027361.8A CN202280027361A CN117121472A CN 117121472 A CN117121472 A CN 117121472A CN 202280027361 A CN202280027361 A CN 202280027361A CN 117121472 A CN117121472 A CN 117121472A
Authority
CN
China
Prior art keywords
image
vehicle
unit
image display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280027361.8A
Other languages
English (en)
Inventor
新谷勇志
定本宏道
中岛康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN117121472A publication Critical patent/CN117121472A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开的影像显示装置，包括：拍摄部，拍摄车辆的周围；注视点检测部，检测落座于车辆的座椅的观察者的注视点的位置；影像显示部，配置于遮挡观察者的车外视野的遮蔽部；影像数据生成部，基于从拍摄部输出的拍摄数据，生成与被遮蔽部遮挡的观察者的车外视野相对应的影像的影像数据；以及显示装置，将影像数据显示于影像显示部。拍摄部基于注视点的位置，变更拍摄部的分辨率。

Description

影像显示装置及影像显示方法
技术领域
本公开涉及影像显示装置和影像显示方法。
背景技术
现有技术的一例记载在专利文献1中。
现有技术文献
专利文献
专利文献1：日本特开2006-44596号公报
发明内容
本公开的影像显示装置包括：拍摄部，拍摄车辆的周围；注视点检测部，检测落座于所述车辆的座椅的观察者的注视点的位置；影像显示部，配置于遮挡所述观察者的车外视野的遮蔽部；影像数据生成部，基于从所述拍摄部输出的拍摄数据，生成与被所述遮蔽部遮挡的所述观察者的车外视野相对应的影像的影像数据；以及显示装置，将所述影像数据显示于所述影像显示部，所述拍摄部基于所述注视点的位置，变更所述拍摄部的分辨率。
本公开的影像显示方法包括：检测工序，检测落座于车辆的座椅的观察者的注视点的位置；拍摄工序，拍摄所述车辆的周围；生成工序，基于在所述拍摄工序中得到的拍摄数据，生成与落座于所述车辆的座椅的观察者的被遮蔽部遮挡的车外视野相对应的影像的影像数据；以及显示工序，将所述影像数据显示于配置于所述遮蔽部的影像显示部。在所述拍摄工序中，基于所述注视点的位置，变更拍摄部的分辨率。
附图说明
图1是示意性地表示本公开的实施方式所涉及的影像显示装置的图。
图2是示意性地表示搭载有图1的影像显示装置的车辆的俯视图。
图3是示意性地表示搭载有图1的影像显示装置的车辆的侧视图。
图4是示意性地表示图1的影像显示装置的回归性反射屏幕的一例的剖视图。
图5是示意性地表示图1的影像显示装置中的拍摄部的拍摄范围及投影器的投影范围的图。
图6是表示图1的影像显示装置中的透明化影像数据的生成及投影的图。
图7是说明图1的影像显示装置中的透明化影像数据的生成及投影的图。
图8是说明图1的影像显示装置中的透明化影像数据的生成及投影的图。
图9是说明图1的影像显示装置中的透明化影像数据的生成及投影的图。
图10是表示不变更拍摄部的分辨率而将透明化影像数据投影到遮蔽部的状态的比较例的图。
图11是表示不变更拍摄部的分辨率而将透明化影像数据投影到遮蔽部的状态的比较例的图。
图12是示意性地表示搭载有本公开的一实施方式的变形例的影像显示装置的车辆的俯视图。
图13是示意性地表示搭载有本公开的一实施方式的变形例的影像显示装置的车辆的侧视图。
图14是示意性地表示搭载有本公开的其他实施方式的变形例的影像显示装置的车辆的俯视图。
图15是表示本公开的一实施方式所涉及的影像显示方法的流程图。
具体实施方式
根据以下的详细说明和附图，本公开的目的、特征和优点将变得更加清楚。
近年来，提出了各种通过将由照相机拍摄的外部影像投影到配置在遮挡观察者的视野的遮挡物上的回归性反射屏幕上，从而使观察者感知经由遮挡物能透视到外部那样的透明化影像的透明化技术、以及利用该透明化技术的影像显示装置(例如，参照专利文献1)。
以往的影像显示装置在观察者的注视点的位置发生了变化的情况下，有时难以使观察者感知与外部的风景关联的透明化影像，或者难以使观察者感知精细的透明化影像。
以下，参照附图，对本公开的影像显示装置及影像显示方法的实施方式进行说明。在以下的说明中使用的图是示意性的图。附图上的大小比例等未必与现实一致。在各图中，为了便于说明，标注了以车宽方向为X方向、以车长方向为Y方向、以高度方向为Z方向的正交坐标系XYZ。
图1是示意性地表示本公开的一实施方式所涉及的影像显示装置的结构的图，图2是示意性地表示搭载有图1的影像显示装置的车辆的俯视图，图3是示意性地表示搭载有图1的影像显示装置的车辆的侧视图，图4是示意性地表示图1的影像显示装置的回归性反射屏幕的一例的剖视图。图5是示意性地表示图1的影像显示装置中的拍摄部的拍摄范围和投射器的投影范围的俯视图，图6～9是说明图1的影像显示装置中的透明化影像数据的生成及投影的图。图10、11是表示不变更拍摄部的分辨率而将透明化影像数据投影到遮蔽部的状态的比较例的图。图12是示意性地表示搭载有本公开的一实施方式的变形例的影像显示装置的车辆的俯视图，图13是示意性地表示搭载有本公开的一实施方式的变形例的影像显示装置的车辆的侧视图。图14是示意性地表示搭载有本公开的其他实施方式的影像显示装置的车辆的俯视图。图15是表示本公开的一实施方式所涉及的影像显示方法的流程图。
本实施方式的影像显示装置1构成为包括拍摄部2、注视点检测部3、影像显示部4、影像数据生成部5以及显示装置6(参照图1)。
影像显示装置1例如如图2、3所示，搭载于车辆10。图2、3表示车辆10为乘用车的情况，但车辆10不限于乘用车，也可以是卡车、公共汽车、两轮车以及无轨电车等机动车。另外，车辆10不限于机动车，也可以是铁路车辆、工业车辆、生活车辆或在跑道上行驶的固定翼机。
影像显示装置1构成为包含控制部9。控制部9与影像显示装置1的各构成要素连接，对各构成要素进行控制。控制部9通过作为硬件资源的例如电子控制装置(ElectronicControl Unit；ECU)等处理器和作为软件资源的可由计算机读取的程序来实现。控制部9可以包括1个以上处理器。处理器可以包括读取特定程序以执行特定功能的通用处理器，以及专用于特定处理的专用处理器。专用处理器可以包括专用集成电路(ApplicationSpecific Integrated Circuit；ASIC)。处理器可以包括可编程逻辑器件(ProgrammableLogic Device；PLD)。PLD可以包括现场可编程门阵列(Field-Programmable Gate Array；FPGA)。控制部9可以是一个或多个处理器协作的系统级芯片(System-on-a-Chip；SoC)及系统级封装(System In a Package；SiP)中的任意一个。控制部9具备存储部，可以在存储部中保存各种信息、或者用于使影像显示装置1的各构成要素动作的程序等。存储部例如可以由半导体存储器等构成。存储部可以作为在控制部9的数据处理的中途临时使用的存储区域发挥功能。
拍摄部2对车辆10的周围的风景进行拍摄。拍摄部2将拍摄得到的拍摄数据(也称为影像数据)输出到影像数据生成部5。拍摄部2构成为包括车外照相机21。车外照相机21例如如图2、3所示，也可以配置在车辆10的前端部。车外照相机21也可以配置在车辆10的车内，也可以配置在发动机舱内。车外照相机21构成为包括多个拍摄元件。拍摄元件例如可以是电荷耦合器件(Charge Coupled Device；CCD)图像传感器、互补金属氧化半导体(Complementary Metal Oxide Semiconductor；CMOS)图像传感器等。车外照相机21例如也可以具有广角透镜、鱼眼透镜等视角较宽的透镜。
拍摄部2构成为能够变更分辨率(即，车外照相机21所拍摄的影像的分辨率)。拍摄部2也可以基于从控制部9输出的控制信号来变更分辨率。拍摄部2的分辨率也可以通过增减多个拍摄元件中的、接收风景像的拍摄元件的数量来变更。拍摄部2的分辨率也可以通过增减多个拍摄元件中的、输出受光信号的拍摄元件的数量来变更。
车辆10具有遮蔽部8，该遮蔽部8部分地遮挡坐在车辆10的座椅12上的观察者7的车外视野。作为遮蔽部8，例如可以举出仪表板81、侧柱82、门83等。车外照相机21拍摄观察者7不被遮蔽部8遮挡地能够感知到的车辆10的周围的风景、以及观察者7被遮蔽部8遮挡而不能够感知到的车辆10的周围的风景。在以下的说明中，设遮蔽部8为仪表板81。观察者7所坐的座椅12可以是车辆10的驾驶席。观察者7可以是车辆10的驾驶员。在以下的说明中，观察者7也称为驾驶员7，座椅12也称为驾驶席12。
注视点检测部3检测落座于车辆10的座椅12的观察者7的注视点P。这里，“注视点P”是指观察者7注视的三维空间内的点。注视点P可以是观察者7的左眼(也称为第一眼)7L的视线与观察者7的右眼(也称为第二眼)7R的视线相交的点。视线是连接观察者7的瞳孔中心和角膜曲率中心的直线。视线例如能够基于由照相机拍摄的左眼7L和右眼7R的拍摄数据来检测。在以下的说明中，在不区分左眼7L和右眼7R的情况下，有时将左眼7L和右眼7R简单地统称为眼7L、7R。另外，注视点P例如也可以是引起观察者7注意的物体的位置。注视点P例如可以是与车辆10的距离最小的物体的位置，也可以是与车辆10的距离最大的物体的位置。
注视点检测部3构成为包括车内照相机31。车内照相机31构成为拍摄观察者7的面部，特别是观察者7的左眼7L及右眼7R。
例如，如图2、3所示，车内照相机31也可以配置在车辆10的车内的顶棚上。车内照相机31可以配置在仪表板81上，也可以配置在侧柱82上。车内照相机31也可以与车内后视镜一体化。车内照相机31构成为包括多个拍摄元件。拍摄元件例如可以是CCD图像传感器、CMOS图像传感器等。车内照相机31可以是可见光照相机，也可以是红外线照相机。车内照相机31可以是配置在车内的相互不同的位置上的多个照相机。
注视点检测部3对从车内照相机31输出的、包含观察者7的眼7L、7R的坐标的拍摄数据进行运算处理，检测观察者7的注视点P。注视点检测部3将检测到的注视点P的坐标输出到影像数据生成部5和控制部9。控制部9也可以基于从注视点检测部3输出的注视点P的坐标，生成用于变更车外照相机21的分辨率的控制信号，并将生成的控制信号输出到拍摄部2。
注视点检测部3也可以检测三维空间中的注视点P的X坐标、Y坐标以及Z坐标。或者，由于能够推定出注视点P的Z坐标与被推定为存在观察者7的眼7L、7R的座椅12的头枕121的位置的Z坐标实质上相同，所以通过座椅12的头枕121，注视点检测部3也可以仅检测与高度方向(Z方向)垂直的平面内的注视点P的X坐标和Y坐标。由此，能够降低注视点检测部3的处理负荷，因此能够使观察者7感知的透明化影像处理高速化，并能够使观察者7感知自然的透明化影像。
影像显示部4被配置在遮蔽部8的、面对在车辆10的座椅12上落座的观察者7的表面上。在影像显示部4中，通过显示装置6显示影像数据。影像显示部4例如可以是回归性反射屏幕、扩散性反射屏幕等屏幕。影像显示部4不限于屏幕，例如也可以包括液晶显示装置、有机EL(Electro Luminescence：电致发光)显示装置或μLED(Micro Light EmittingDiode：微发光二极管)显示装置等影像显示装置而构成。在以下的说明中，设影像显示部4为回归性反射屏幕40。在回归性反射屏幕40中，通过作为投影器的显示装置6投影影像数据。回归性反射屏幕40具有回归反射性，将入射的光的全部向入射方向反射。回归性反射屏幕40例如可以是微珠(Microbeads)型的回归性反射屏幕、隅角棱镜(Corner cube)型的回归性反射屏幕等。
微珠型的回归性反射屏幕40构成为包括回归性反射材料41。回归性反射材料41包含反射膜41a和粘贴在反射膜41a上的多个玻璃珠41b。反射膜41a例如可以构成为包含铝(Al)、银(Ag)、金(Au)、铬(Cr)、镍(Ni)、铂(Pt)或锡(Sn)等金属材料。玻璃珠41b可以具有例如约20μm以上约100μm以下的直径。
入射到回归性反射屏幕40的入射光在玻璃珠41b的与反射膜41a侧相反的一侧的前面折射，到达玻璃珠41b的反射膜41a侧的背面后，被反射膜41a反射。被反射膜41a反射的光在玻璃珠41b的背面再次折射，从入射光的光路仅离开玻璃珠41b的直径以下的微小距离，在与入射光的光路平行的光路上行进。这样，实现了回归性反射屏幕40的回归性反射。
回归性反射屏幕40也可以构成为包括扩散板42。扩散板42配置在回归性反射材料41与作为投影器的显示装置6之间。扩散板42接近回归性反射材料41配置。扩散板42也可以构成为扩散从显示装置6的出射光瞳射出的影像光的光束。扩散板42例如也可以由衍射元件等构成。
在回归性反射屏幕40不包括扩散板42的情况下，从投影器投影并由回归性反射屏幕40回归反射的影像光由于朝向投影器行进，因此有时观察者7感知到的透明化影像的亮度变低。在回归性反射屏幕40包括扩散板42的情况下，由于能够使由回归性反射屏幕40回归反射的影像光入射到观察者7的眼7L、7R，因此能够使观察者7感知到高亮度的透明化影像。
扩散板42也可以是车宽方向(X方向)的扩散能力和高度方向(Z方向)的扩散能力相互不同的各向异性扩散板。各向异性扩散板的扩散能力例如可以基于推定为观察者7的眼7L、7R存在的位置(例如座椅12的头枕121的位置)和作为投影器的显示装置6的位置来设定。由此，能够使由回归性反射屏幕40回归反射的影像光有效地入射到观察者7的眼7L、7R，因此能够使观察者7感知到清晰的透明化影像。
影像数据生成部5基于从拍摄部2输出的车辆10的周围的风景的影像数据，生成与被遮蔽部8遮挡的观察者7的车外视野对应的影像(也称为透明化影像)的影像数据。
影像数据生成部5包括：车外影像存储器51，存储车辆10的周围的风景的影像数据；透明化影像存储器52，存储向回归性反射屏幕40投影的影像数据(也称为透明化影像数据)；以及处理部53，由处理器等实现。
在车外影像存储器51中存储并更新由车外照相机21拍摄到的影像数据。在车外影像存储器51中存储并更新的影像数据包括与被遮蔽部8遮挡的观察者7的车外视野对应的范围。
处理部53读出存储在车外影像存储器51中的影像数据，基于读出的影像数据，生成与被遮蔽部8遮挡的观察者7的车外视野对应的影像的透明化影像数据。处理部53在生成透明化影像数据时，进行基于遮蔽部8的位置及形状的运算。在透明化影像存储器52中存储由处理部53生成的影像数据。影像数据生成部5将存储在透明化影像存储器52中的影像数据输出到显示装置6。
影像数据生成部5切出(提取)从拍摄部2输出的影像数据的一部分，基于切出(提取)的影像数据生成透明化影像数据。影像数据生成部5生成的透明化影像数据也可以是从拍摄部2输出的影像数据的一部分。影像数据生成部5也可以基于眼7L、7R的位置与注视点P的位置的位置关系、遮蔽部8的形状等，对切出的影像数据进行修正，使透明化影像变形。由此，即使在遮蔽部8具有弯曲的表面，且在遮蔽部8的弯曲的表面配置有回归性反射屏幕40的情况下，也能够使观察者7感知与车外的风景的、降低了失真的透明化影像。
影像数据生成部5也可以构成为包括检测车内的照度的照明传感器(未图示)。影像数据生成部5也可以基于从照明传感器获取的照度，调整影像数据的亮度信息。由此，能够使观察者7感知到与车内的亮度对应的清晰的透明化影像。
显示装置6将由影像数据生成部5生成的影像数据显示于影像显示部4。在影像显示部4是回归性反射屏幕40的情况下，显示装置6由投影器60构成。投影器60将由影像数据生成部5生成的影像数据投影到回归性反射屏幕40。投影器60包括显示面板61和投影透镜62。投影透镜62也可以配置在其出射光瞳位于观察者7的眼7L、7R附近的位置。另外，在使用液晶显示装置等影像显示装置的画面作为影像显示部4的情况下，影像显示装置包含显示装置6，因此不需要投影器60。
显示面板61显示由影像数据生成部5生成的影像数据。显示面板61可以是透射型的显示面板，也可以是自发光型的显示面板。透射型的显示面板可以是包括透射型液晶显示元件和背光的液晶显示面板。自发光型的显示面板例如也可以是包含发光二极管(LightEmitting Diode)元件、有机发光二极管(Organic Light Emitting Diode)元件、半导体激光器(Laser Diode)元件等自发光元件的显示面板。投影透镜62将从显示面板61的显示面射出的影像光投影到回归性反射屏幕40上。投影透镜62可以由单一的透镜构成，也可以由多个透镜的组合构成。
从投影器60投影到回归性反射屏幕40的透明化影像数据的影像光被回归性反射屏幕40回归反射，并入射到观察者7的眼7L、7R。由此，观察者7能够感知与车外的风景关联的透明化影像。
影像显示装置1也可以构成为控制部9基于由注视点检测部3检测出的注视点P的位置来控制拍摄部2的分辨率。控制部9也可以基于车辆10与注视点P之间的距离D来变更拍摄部2的分辨率。车辆10与注视点P之间的距离D也可以是车外照相机21与注视点P之间的距离。车外照相机21与注视点P之间的距离D也可以是在高度方向(Z方向)上观察时的在车长方向(Y方向)上车外照相机21与注视点P之间的距离。换言之，距离D也可以是XY平面内的车长方向(Y方向)上车外照相机21与注视点P之间的距离。
接着，对影像显示装置1中的透明化影像的生成进行说明。图5表示从高度方向(Z方向)观察时的观察者7的注视点P、车外照相机21及投射器60的彼此的位置关系。影像显示装置1构成为，投射器60与回归性反射屏幕40之间的距离L固定，回归性反射屏幕40与拍摄部2(车外照相机21)之间的距离A固定。在图5中，示出了车外照相机21与注视点P之间的距离D为X1的情况、以及距离D为X2(X2>X1)的情况。距离D、距离L和距离A是XY平面内的车长方向(Y方向)的距离。另外，在影像显示装置1中，车外照相机21的视角Θ固定，投影器60的投射比S固定。拍摄部2的拍摄范围IR和投影器60的投影范围PR是ZX平面内的区域。
影像显示装置1构成为，在注视点P位于P1所示的位置、即车外照相机21与注视点P之间的距离D为预先规定的距离X1的情况下，拍摄部2的拍摄范围IR1与投射器60的投影范围PR1一致。因此，以下的式(1)成立。影像显示装置1也可以构成为，在车外照相机21与注视点P之间的距离D为X1的情况下，拍摄部2的分辨率与投射器60的分辨率一致。
(L+A+X1):L＝(X1×tan(Θ/2)):(L/2S)…(1)
在车外照相机21与注视点P之间的距离D为X1的情况下，车宽方向(X方向)上的投影范围PR1的宽度WPR和拍摄范围IR1的宽度WIR分别由以下公式(2)和(3)给出。
WPR＝(L+A+X1)/S…(2)
WIR＝2×X1×tan(Θ/2)…(3)
在车外照相机21与注视点P之间的距离D为X1的情况下，式(1)成立，因此WPR＝WIR。由于投影范围PR与拍摄范围IR1一致，因此通过将从拍摄部2输出的影像数据投影到回归性反射屏幕40上，能够使观察者7感知与车外的风景关联的精细的透明化影像。
参照图6～9，对在车外照相机21与注视点P之间的距离D为X1的情况下的透明化影像数据的生成及投影进行说明。图6示出了在车辆10的座椅落座的观察者7的车外视野。图6表示影像显示装置1未动作的状态。在该状态下，观察者7的车外视野被遮蔽部8(仪表板81)部分地遮挡。图7表示由拍摄部2拍摄到的风景。如图8所示，影像数据生成部5将从拍摄部2输出的拍摄数据的一部分切出，生成投影到回归性反射屏幕40的透明化影像数据。影像数据生成部5也可以基于例如在影像显示装置1未动作的状态下的观察者7的车外视野(参照图6)与由拍摄部2拍摄到的风景(参照图7)的差分，生成投影到回归性反射屏幕40上的透明化影像数据。投影器60将由影像数据生成部5生成的影像数据投影到回归性反射屏幕40上。例如，如图9所示，观察者7能够感知与车外的风景关联的透明化影像。
在注视点P位于P2所示的位置的情况下，即，在车外照相机21与注视点P之间的距离D为距离X2(>X1)的情况下，车宽方向(X方向)上的投影范围PR2的宽度WPR及拍摄范围IR2的宽度WIR分别由以下的式(4)及式(5)给出。
WPR＝(L+A+X2)/S…(4)
WIR＝2×X2×tan(Θ/2)…(5)
在车外照相机21与注视点P之间的距离D为X2的情况下，拍摄部2的拍摄范围IR2比投射器60的投影范围PR2大。因此，与车外照相机21与注视点P之间的距离D为X1的情况同样地，当切出从拍摄部2输出的影像数据的一部分并将切出的影像数据投影到回归性反射屏幕40上时，观察者7不能感知与车外的风景关联的透明化影像(参照图10)。通过缩小从由拍摄部2输出的影像数据中切出的范围，能够使观察者7感知到与车外的风景关联的透明化影像，但这样生成的透明化影像成为分辨率比投影器60的分辨率小的影像(例如，分辨率为投影器60的分辨率的(WPR/WIR)2倍)，因此观察者7不能感知到精细的透明化影像(参照图11)。通过将拍摄部2的分辨率始终固定为高分辨率，能够使观察者7感知到与车外的风景关联的精细的透明化影像，但由于拍摄部2的分辨率始终固定为高分辨率，因此影像数据生成部5的处理负荷增大。其结果是，使观察者7难以感知实时更新的透明化影像，并且影像显示装置1的功耗增大。
本实施方式的影像显示装置1构成为基于观察者7的注视点P的位置来变更拍摄部2的分辨率。影像显示装置1在拍摄部2的拍摄范围与投影器60的投影范围一致的情况下，如图9所示，能够使观察者7感知到与车外的风景关联的精细的透明化影像。另外，影像显示装置1在拍摄部2的拍摄范围比投影器60的投影范围大的情况下，变更车外照相机21的分辨率，并且使从由拍摄部2输出的影像数据中切出的范围比拍摄范围与投影器60的投影范围一致的情况下的切出的范围小。由此，即使在拍摄部2的拍摄范围比投影器60的投影范围大的情况下，与拍摄部2的拍摄范围和投影器60的投影范围一致的情况同样，影像显示装置1也能够使观察者7感知到与车外的风景关联的精细的透明化影像。
影像显示装置1也可以随着拍摄部2(车外照相机21)与注视点P之间的距离D的增大而使拍摄部2的分辨率增大。在车外照相机21与注视点P之间的距离D为k×X1(k是1以上的实数)的情况下，影像显示装置1也可以将车外照相机21的分辨率设定为投影器60的分辨率的k倍。由此，影像显示装置1即使在车外照相机21与注视点P之间的距离D与距离X1不同的情况下，也能够根据距离D变更车外照相机21的分辨率，使与投射器60的投影范围PR对应的拍摄范围IR的分辨率与投射器60的分辨率一致或大致一致。其结果是，即使在观察者7的注视点P的位置发生了变化的情况下，影像显示装置1也能够使观察者7感知到与车外的风景关联的精细的透明化影像。
影像显示装置1基于拍摄部2(车外照相机21)与注视点P之间的距离D，可以动态地变更拍摄部2的分辨率。由此，能够根据拍摄部2(车外照相机21)与注视点P之间的距离D来最优化拍摄部2的分辨率，因此能够降低影像显示装置1的处理负荷。其结果是，能够使用于使观察者7感知到透明化影像的透明化影像处理高速化，能够使观察者7感知到自然的透明化影像。此外，能够抑制影像显示装置1的功耗增大。
例如，如图3所示，影像显示装置1也可以构成为包括落座传感器11。落座传感器11配置于车辆10的驾驶席12，检测驾驶员7是否落座。落座传感器11例如可以由载荷传感器、限位开关等已知的传感器构成。落座传感器11在检测到驾驶员7落座于驾驶席12时，将检测信号输出至控制部9。控制部9在被输入来自落座传感器11的检测信号时，使注视点检测部3开始检测驾驶员7的注视点P，之后，使拍摄部2、影像数据生成部5以及投影器60开始动作。由此，驾驶员7不需要操作使影像显示装置1开始动作的开关，因此能够提高驾驶员7的便利性。
影像显示装置1也可以不包括注视点检测部3。影像显示装置1在不包括注视点检测部3的情况下，例如如图12、13所示，也可以构成为包括测距部13。测距部13例如也可以构成为包括LiDAR(Light Detection and Ranging：光检测和测距)、毫米波雷达、超声波传感器、立体照相机等。测距部13例如可以配置在车辆10的前端部。测距部13检测车辆10与存在于车辆10的周围的对象物的相对位置及相对速度。对象物可以是存在于车辆10的周围的物体中的引起观察者7的注意的物体。对象物例如可以是与车辆10的距离最小的物体，也可以是与车辆10的距离最大的物体。影像显示装置1也可以构成为基于对象物的位置来变更拍摄部2的分辨率。影像显示装置1即使是代替注视点检测部3而包括测距部13的结构，也能够使观察者7感知与车外的风景关联的精细的透明化影像。影像显示装置1也可以构成为基于由测距部13测定的车辆10与对象物之间的距离D1来变更拍摄部2的分辨率。车辆10与对象物之间的距离D1也可以是在高度方向(Z方向)上观察时的在车长方向(Y方向)上车外照相机21与对象物之间的距离。影像显示装置1也可以构成为随着距离D1增加而使拍摄部2的分辨率增加。
影像显示装置1也可以构成为使观察者7感知作为立体影像的透明化影像(参照图14)。
拍摄部2也可以拍摄车外的风景，输出彼此具有视差的第一拍摄数据和第二拍摄数据。第一拍摄数据和第二拍摄数据也可以具有与观察者7的眼7L、7R对应的视差。车外照相机21例如可以是立体照相机、单眼照相机等。在车外照相机21为单眼照相机的情况下，拍摄部2也可以对单一的拍摄数据进行运算处理，生成相互具有视差的第一拍摄数据和第二拍摄数据。
影像数据生成部5基于从拍摄部2输出的第一拍摄数据，生成使观察者7的左眼(第一眼)7L感知的第一影像的影像数据。另外，影像数据生成部5基于从拍摄部2输出的第二拍摄数据，生成使观察者7的右眼(第二眼)7R感知的第二影像的影像数据。第一影像和第二影像彼此具有视差。
例如，如图14所示，投射器60包括第一投射器63和第二投射器64。第一投射器63将由影像数据生成部5生成的第一影像的影像数据投影到回归性反射屏幕40，第二投射器64将由影像数据生成部5生成的第二影像的影像数据投影到回归性反射屏幕40。第一投射器63和第二投射器64可以靠近座椅12的头枕121配置。第一投射器63可以配置在其出射光瞳位于观察者7的左眼7L附近的位置。第二投射器64可以配置在其出射光瞳位于观察者7的右眼7R附近的位置。
图14所示的影像显示装置1能够使观察者7立体观看与车外的风景关联的精细的透明化影像。影像显示装置1也可以构成为基于观察者7的注视点P的位置来变更拍摄部2的分辨率。影像显示装置1也可以构成为基于车辆10与注视点P之间的距离D来变更拍摄部2的分辨率。影像显示装置1也可以构成为随着距离D的增加而使拍摄部2的分辨率增加。
接下来，对本公开的一实施方式的影像显示方法进行说明。图15是表示本实施方式的影像显示方法的流程图，控制部9执行本流程图。控制部9也可以在输入了来自落座传感器11的检测信号的时间点开始本流程图。控制部9在影像显示装置1的动作中，反复执行本流程图。
本实施方式的影像显示方法包括检测工序S1、拍摄工序S2、生成工序S3和显示工序S4。
在检测工序S1中，检测落座于车辆10的座椅12的观察者7的注视点P的位置。控制部9控制注视点检测部3，使车内照相机31拍摄观察者7的眼7L、7R，基于眼7L、7R的拍摄数据来检测观察者7的注视点P。
在拍摄工序S2中，使用拍摄部2拍摄车辆10周围的风景。控制部9控制拍摄部2，在基于在检测工序S1中检测出的注视点P的位置变更分辨率之后，拍摄车辆10周围的风景。控制部9变更拍摄部2的分辨率，以使与投射器60的投影范围PR对应的、拍摄部2的拍摄范围IR的分辨率与投射器60的分辨率一致或大致一致。控制部9也可以随着车辆10与注视点P之间的距离D增加而使拍摄部2的分辨率增加。
在生成工序S3中，基于在拍摄工序S2中得到的拍摄数据，生成与落座于车辆10的座椅12的观察者7的被遮蔽部8遮挡的车外视野相对应的影像的影像数据(透明化影像数据)。控制部9控制影像数据生成部5，基于在拍摄工序S2中得到的拍摄数据，生成透明化影像数据。控制部9也可以切出在拍摄工序S2中得到的拍摄数据的一部分，基于切出的影像数据，生成透明化影像数据。
在显示工序S4中，将在生成工序S3中生成的影像数据显示于配置于遮蔽部8的影像显示部4。控制部9控制显示装置6，将在生成工序S3中生成的透明化影像数据显示于影像显示部4，结束本流程图。另外，在影像显示部4是回归性反射屏幕40、显示装置6是投射器60的情况下，控制部9控制投射器60，将透明化影像数据投影于回归性反射屏幕40。
根据本实施方式的影像显示方法，即使在观察者7的注视点P的位置发生了变化的情况下，也能够使观察者7感知与车外的风景关联的精细的透明化影像。
本公开能够有以下的实施方式。
本公开的影像显示装置包括：拍摄部，拍摄车辆的周围；注视点检测部，检测落座于所述车辆的座椅的观察者的注视点的位置；影像显示部，配置于遮挡所述观察者的车外视野的遮蔽部；影像数据生成部，基于从所述拍摄部输出的拍摄数据，生成与被所述遮蔽部遮挡的所述观察者的车外视野相对应的影像的影像数据；以及显示装置，将所述影像数据显示于所述影像显示部，所述拍摄部基于所述注视点的位置，变更所述拍摄部的分辨率。
本公开的影像显示方法包括：检测工序，检测落座于车辆的座椅的观察者的注视点的位置；拍摄工序，拍摄所述车辆的周围；生成工序，基于在所述拍摄工序中得到的拍摄数据，生成与落座于所述车辆的座椅的观察者的被遮蔽部遮挡的车外视野相对应的影像的影像数据；以及显示工序，将所述影像数据显示于配置于所述遮蔽部的影像显示部。在所述拍摄工序中，基于所述注视点的位置，变更拍摄部的分辨率。
根据本公开的影像显示装置及影像显示方法，即使在观察者的注视点的位置发生了变化的情况下，也能够使观察者感知与外部的风景关联的精细的透明化影像。
以上，对本公开的实施方式进行了详细地说明，另外，本公开并不限定于上述的实施方式，在不脱离本公开的主旨的范围内，能够进行各种变更、改良等。当然，能够将分别构成上述各实施方式的全部或一部分在不矛盾的范围内适当地组合。
附图标记的说明
1影像显示装置
2拍摄部
21车外照相机
3注视点检测部
31车内照相机
4影像显示部
40回归性反射屏幕
41回归性反射材料
41a反射膜
41b玻璃珠
42扩散板
5影像数据生成部
51车外影像存储器
52透明化影像存储器
53处理部
6显示装置
60投影器
61显示面板
62投影透镜
63第一投影器
64第二投影器
7观察者(驾驶员)
7L左眼
7R右眼
8遮蔽部
81仪表板
82侧柱
83门
9控制部
10车辆
11落座传感器
12座椅(驾驶席)
121头枕
13测距部

Claims (10)

1.一种影像显示装置，其中，包括：
拍摄部，拍摄车辆的周围；
注视点检测部，检测落座于所述车辆的座椅的观察者的注视点的位置；
影像显示部，配置于遮挡所述观察者的车外视野的遮蔽部；
影像数据生成部，基于从所述拍摄部输出的拍摄数据，生成与被所述遮蔽部遮挡的所述观察者的车外视野相对应的影像的影像数据；以及
显示装置，将所述影像数据显示于所述影像显示部，
所述拍摄部基于所述注视点的位置，变更所述拍摄部的分辨率。
2.根据权利要求1所述的影像显示装置，其中，
所述拍摄部随着所述车辆与所述注视点之间的距离增加而使所述拍摄部的分辨率增加。
3.根据权利要求1或2所述的影像显示装置，其中，
所述影像数据生成部切出所述拍摄数据的一部分，并基于切出的所述拍摄数据，生成所述影像数据。
4.根据权利要求1至3中任一项所述的影像显示装置，其中，
所述影像显示部是回归性反射屏幕，
所述显示装置是向所述回归性反射屏幕投影所述影像数据的投影器。
5.根据权利要求4所述的影像显示装置，其中，
所述回归性反射屏幕包括：回归性反射材料，配置于所述遮蔽部的面对所述观察者的面；以及扩散板，在所述回归性反射材料与所述投影器之间接近所述回归性反射材料地被配置。
6.根据权利要求1或2所述的影像显示装置，其中，
所述影像数据生成部基于所述拍摄数据，生成用于使所述观察者的第一眼感知的第一影像的影像数据和用于使所述观察者的第二眼感知的、相对于所述第一影像具有视差的第二影像的影像数据，
所述投影器将所述第一影像的影像数据和所述第二影像的影像数据投影到所述回归性反射屏幕。
7.根据权利要求1至6中任一项所述的影像显示装置，其中，
所述遮蔽部包括所述车辆的仪表板、侧柱和门。
8.一种影像显示方法，其中，包括：
检测工序，检测落座于车辆的座椅的观察者的注视点的位置；
拍摄工序，拍摄所述车辆的周围；
生成工序，基于在所述拍摄工序中得到的拍摄数据，生成与落座于所述车辆的座椅的观察者的被遮蔽部遮挡的车外视野相对应的影像的影像数据；以及
显示工序，将所述影像数据显示于配置于所述遮蔽部的影像显示部，
在所述拍摄工序中，基于所述注视点的位置，变更拍摄部的分辨率。
9.根据权利要求8所述的影像显示方法，其中，
在所述拍摄工序中，随着所述车辆与所述注视点之间的距离增加而使所述拍摄部的分辨率增加。
10.根据权利要求8或9所述的影像显示方法，其中，
在所述生成工序中，切出所述拍摄数据的一部分，基于切出的所述拍摄数据，生成所述影像数据。
CN202280027361.8A 2021-04-28 2022-04-25 影像显示装置及影像显示方法 Pending CN117121472A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-075783 2021-04-28
JP2021075783 2021-04-28
PCT/JP2022/018769 WO2022230824A1 (ja) 2021-04-28 2022-04-25 映像表示装置および映像表示方法

Publications (1)

Publication Number Publication Date
CN117121472A true CN117121472A (zh) 2023-11-24

Family

ID=83848160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280027361.8A Pending CN117121472A (zh) 2021-04-28 2022-04-25 影像显示装置及影像显示方法

Country Status (5)

Country Link
US (1) US20240198908A1 (zh)
EP (1) EP4311229A1 (zh)
JP (1) JPWO2022230824A1 (zh)
CN (1) CN117121472A (zh)
WO (1) WO2022230824A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006044596A (ja) 2004-08-09 2006-02-16 Denso Corp 車両用表示装置
JP2008137595A (ja) * 2006-12-05 2008-06-19 Aisin Aw Co Ltd 車両外部表示装置
JP5013184B2 (ja) * 2007-06-28 2012-08-29 アイシン・エィ・ダブリュ株式会社 運転支援装置及びコンピュータプログラム
US20130096820A1 (en) * 2011-10-14 2013-04-18 Continental Automotive Systems, Inc. Virtual display system for a vehicle
JPWO2014076993A1 (ja) * 2012-11-14 2017-01-05 日本電気株式会社 インターフェース装置及び入力受付方法
WO2019035177A1 (ja) * 2017-08-15 2019-02-21 三菱電機株式会社 車載表示装置、画像処理装置および表示制御方法
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法

Also Published As

Publication number Publication date
US20240198908A1 (en) 2024-06-20
JPWO2022230824A1 (zh) 2022-11-03
WO2022230824A1 (ja) 2022-11-03
EP4311229A1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
CN110308557B (zh) 显示系统、电子镜系统、移动体以及显示方法
JP6706802B2 (ja) 表示システム、電子ミラーシステム及びそれを備える移動体
JP2019174794A (ja) 表示システム、電子ミラーシステム、移動体、及び表示方法
US11130404B2 (en) Head-up display apparatus
CN114466761A (zh) 平视显示器及图像显示系统
US20220013046A1 (en) Virtual image display system, image display method, head-up display, and moving vehicle
JP7350777B2 (ja) ヘッドアップディスプレイ
US20240126095A1 (en) Image display device
WO2022230824A1 (ja) 映像表示装置および映像表示方法
WO2023228770A1 (ja) 画像表示装置
JP6697747B2 (ja) 表示システム、電子ミラーシステム及び移動体
WO2022186189A1 (ja) 撮像装置および３次元表示装置
EP4145213A1 (en) Image display system
WO2023228771A1 (ja) 画像表示装置、車両及び画像表示方法
EP3961291A1 (en) Vehicular head-up display and light source unit used therefor
US20230152586A1 (en) Image generation device and head-up display
JP7466687B2 (ja) 検出装置および画像表示システム
US11780368B2 (en) Electronic mirror system, image display method, and moving vehicle
JP2023174351A (ja) 画像表示装置
US11977226B2 (en) Head-up display system and movable body
WO2024128170A1 (ja) 画像生成装置及び画像投影装置
EP4191995A1 (en) Camera system and driving assistance system
EP4131158A1 (en) Detection device and image display module
US20240036311A1 (en) Head-up display
JP2021017064A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination