CN117441201A - 空中影像显示装置和空中影像显示方法 - Google Patents

空中影像显示装置和空中影像显示方法 Download PDF

Info

Publication number
CN117441201A
CN117441201A CN202180099049.5A CN202180099049A CN117441201A CN 117441201 A CN117441201 A CN 117441201A CN 202180099049 A CN202180099049 A CN 202180099049A CN 117441201 A CN117441201 A CN 117441201A
Authority
CN
China
Prior art keywords
image
light
aerial image
image display
aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180099049.5A
Other languages
English (en)
Inventor
菊田勇人
坂井雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN117441201A publication Critical patent/CN117441201A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/3413—Details of control of colour illumination sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)

Abstract

空中影像显示装置(100)具有：影像显示部(10)，其基于影像数据来显示影像(11)；成像光学系统(20)，其使影像(11)成像为空中影像(12)；视点信息取得部(51)，其取得表示观察者的眼睛(80)的位置的视点信息(60)；周边光信息取得部(52)，其取得表示朝向成像光学系统(20)的周边光(L21)的信息的周边光信息(61)；画质下降区域估计部(54)，其基于视点信息(60)和周边光信息(61)，来估计影像显示部(10)上的与周边光通过区域(R30)对应的的画质下降区域(R3)，该周边光通过区域(R30)是周边光(L21)中的由成像光学系统(20)反射而朝向眼(80)的位置的光(L22、L25)在空中影像(12)中通过的区域；以及显示处理部(55)，其基于画质下降区域(R3)对影像(11)进行校正。

Description

空中影像显示装置和空中影像显示方法
技术领域
本公开涉及空中影像显示装置和空中影像显示方法。
背景技术
已知有一种应用了在空中显示影像的空中影像成像技术的空中影像显示装置。例如参照专利文献1。
专利文献1的空中影像显示装置根据观察者的状态使空中影像的显示内容变化。具体而言，专利文献1的空中影像显示装置具备根据观察者的眼睛的位置来控制空中影像的显示质量(例如，亮度或对比度等)的功能。由此，显示具有适合于观察者的眼睛位置的画质的空中影像。
现有技术文献
专利文献
专利文献1：国际公开第2020/194699号
发明内容
发明要解决的问题
但是，观察者看到的空中影像的画质不限于根据该观察者的眼睛的位置而变化，也根据空中影像显示装置的周边的照明环境而变化。例如，在周边光入射到专利文献1的空中影像显示装置的情况下，产生杂散光，与观察者的眼睛的位置对应的空中影像的画质下降。在该情况下，存在观察者的可视性下降这样的问题。
本公开的目的在于，显示与观察者的眼睛的位置及周边光相应的空中影像。
用于解决问题的手段
本公开的一个方案的空中影像显示装置的特征在于，具有：影像显示部，其基于影像数据来显示影像；成像光学系统，其使所述影像成像为空中影像；视点信息取得部，其取得表示观察者的眼睛的位置的视点信息；周边光信息取得部，其取得表示朝向所述成像光学系统的周边光的信息的周边光信息；画质下降区域估计部，其基于所述视点信息和所述周边光信息，来估计所述影像显示部上的与周边光通过区域对应的画质下降区域，该周边光通过区域是所述周边光中的由所述成像光学系统反射而朝向所述眼睛的位置的光在所述空中影像中通过的区域；以及显示处理部，其基于所述画质下降区域对所述影像进行校正。
本公开的另一方案的空中影像显示方法是空中影像显示装置的空中影像显示方法，该空中影像显示装置具有基于影像数据显示影像的影像显示部、以及使所述影像成像为空中影像的成像光学系统，其特征在于，所述空中影像显示方法具有以下步骤：取得表示观察者的眼睛的位置的视点信息；取得表示朝向所述成像光学系统的周边光的信息的周边光信息；基于所述视点信息和所述周边光信息，来估计所述影像显示部上的与周边光通过区域对应的画质下降区域，该周边光通过区域是所述周边光中的由所述成像光学系统反射而朝向所述眼睛的位置的光在所述空中影像中通过的区域；以及基于所述画质下降区域对所述影像进行校正。
发明的效果
根据本公开，能够显示与观察者的眼睛的位置及周边光相应的空中影像。
附图说明
图1是示出实施方式1的空中影像显示装置的结构的框图。
图2是说明实施方式1的空中影像显示装置的概要结构的说明图。
图3是示出实施方式1的空中影像显示装置的成像光学系统的另一例的俯视图。
图4是说明图1所示的空中影像的画质下降的主要原因的一例的说明图。
图5是说明图1所示的空中影像的画质下降的主要原因的另一例的说明图。
图6的(A)是概要地示出实施方式1的空中影像装置的硬件结构的一例的图。图6的(B)是概要地示出实施方式1的空中影像装置的硬件结构的另一例的图。
图7的(A)至(D)是示出图1所示的空中影像显示处理部所进行的画质校正控制的一例的图。
图8的(A)至(D)是示出图1所示的空中影像显示处理部所进行的布局控制的一例的图。
图9是示出实施方式1的空中影像显示装置的动作的流程图。
图10是说明实施方式2的空中影像显示装置的概要结构的说明图。
图11是示出实施方式2的空中影像显示装置的结构的框图。
具体实施方式
以下，参照附图对本公开的实施方式的空中影像显示装置和空中影像显示方法进行说明。以下的实施方式只不过是例子，能够适当地组合实施方式以及适当地变更各实施方式。
《实施方式1》
〈空中影像显示装置的结构〉
图1是示出实施方式1的空中影像显示装置100的结构的框图。图2是说明实施方式1的空中影像显示装置100的概要结构的说明图。如图1和2所示，空中影像显示装置100具备影像显示部10、作为成像光学系统的空中成像光学系统20、观察者检测部30、周边光源检测部40、视点信息取得部51、周边光信息取得部52、画质下降区域估计部54、以及作为显示处理部的空中影像显示处理部55。
影像显示部10是显示影像11的显示装置。影像显示部10具有作为光源的背光光源(未图示)和显示影像11的显示面10a。影像显示部10将作为影像11的光(以下也称为“影像光”。)的第1光L1朝向空中成像光学系统20的分束器21射出。第1光L1是向显示面10a的周围扩散的扩散光。
空中成像光学系统20使影像11成像为空中影像12。在图1和2所示的例子中，空中成像光学系统20具有分束器21和作为回归反射部件的回归反射片22。
分束器21是反射从影像显示部10射出的第1光L1并作为朝向回归反射片22的第2光L2射出的光学部件。在以下的说明中，将第2光L2朝向回归反射片22行进的方向称为“射出方向”。
回归反射片22对第2光L2进行回归反射。具体而言，回归反射片22向第2光L2的射出方向反射该第2光L2，作为朝向分束器21的第3光L3射出。
第3光L3透射分束器21。分束器21使第3光L3透射，作为朝向观察者的眼睛80的第4光L4射出。第4光L4在不存在显示元件的空中成像。由此，基于影像11的空中影像12被显示在空中，因此，观察者能够看(感知)到该空中影像12。
视点信息取得部51取得表示观察者的眼睛80的位置的视点信息60。视点信息取得部51基于观察者检测部30中的检测结果，计算视点信息60。视点信息取得部51将取得的视点信息60输出到画质下降区域估计部54。
周边光信息取得部52取得周边光信息61，该周边光信息61表示朝向空中成像光学系统20的周边光的信息。周边光信息取得部52基于周边光源检测部40中的检测结果，计算周边光信息61。在实施方式1中，周边光信息61具有表示周边光的光源(例如，后述的图4和图5所示的周边光源90)的位置的信息和表示周边光的强度的信息。周边光信息取得部52将取得的周边光信息61输出到画质下降区域估计部54。另外，周边光信息61具有表示周边光的光源的位置和周边光的强度中的至少1个的信息即可。
如图1所示，画质下降区域估计部54基于视点信息60和周边光信息61，来估计画质下降区域(例如，后述的图7和图8所示的画质下降区域R3)。画质下降区域估计部54将估计结果作为画质下降区域信息64输出到空中影像显示处理部55。
空中影像显示处理部55基于画质下降区域信息64对影像11进行校正。由此，能够显示与观察者的眼睛80的位置和周边光相应的空中影像12。因此，即便在空中影像显示装置100的周边存在照明光源等的情况下，也能够防止观察者对空中影像12的可视性的下降。
上述的视点信息取得部51、周边光信息取得部52、画质下降区域估计部54以及空中影像显示处理部55配置在显示控制部50中。另外，视点信息取得部51与观察者检测部30也可以为一体，周边光信息取得部52与周边光源检测部40也可以为一体。
接着，对空中影像显示装置100的各结构的详细情况进行说明。影像显示部10显示基于作为影像数据的显示影像信息65的影像11。影像显示部10例如是具有二维平面光源的显示装置。影像显示部10例如是具有液晶元件和背光光源的液晶显示器。另外，影像显示部10也可以是具有有机EL(Electro Luminescence：电致发光)元件或LED(Light EmittingDiode：发光二极管)的自发光型的显示装置。
影像显示部10不限于具有平面光源的显示装置，也可以是具有曲面的显示器、立体地配置的显示器以及具有LED的立体显示器等。此外，影像显示部10也可以是通过具有透镜光学系统和屏障控制部而利用了基于观察者的两眼视差或运动视差的立体视觉的显示器。此外，影像显示部10的光源不限于LED，也可以是卤素灯等照明光源。此外，影像显示部10也可以是具有投影仪和屏幕的投影装置。
分束器21是将入射光分离为透射光和反射光的光学部件。分束器21由树脂制的透明板(例如，亚克力板)或玻璃板等形成。通常，树脂制的透明板的透射光的强度比反射光的强度高。因此，在分束器21由树脂制的透明板形成的情况下，也可以通过对该透明板附加金属膜来提高反射强度。在该情况下，分束器21也可以是半反射镜。此外，分束器21例如也可以是根据从液晶元件或薄膜元件入射的光的偏振状态来使该光透射或反射的反射型偏振板。此外，分束器21也可以是透射率与反射率之比根据所入射的光的偏振状态而变化的反射型偏振板。
回归反射片22是片状的光学部件。回归反射片22具有向入射光的入射方向反射该入射光的回归反射性。回归反射片22例如是所谓的珠类型的回归反射片。在珠类型的回归反射片中封入有多个微小的玻璃珠，该玻璃珠具有镜面。另外，回归反射片22也可以是所谓的棱镜类型的回归反射片。在棱镜类型的回归反射片中，排列有多个微小的微棱镜，该微棱镜具有镜面。微棱镜例如是凸形状的三棱锥棱镜或中空的三棱锥棱镜。
这里，对影像光在观察者所在的空间内成像为空中影像12的原理进行说明。在实施方式1中，影像显示部10的显示面10a所显示的影像11的影像光通过由影像显示部10、分束器21及回归反射片22构成的光学系统而成像为空中影像12。具体而言，从影像显示部10入射到分束器21的影像光即第1光L1被分离为作为反射光的第2光L2和透射光(未图示)。第2光L2被回归反射片22回归反射，作为第3光L3再次向分束器21入射。第3光L3在分束器21中被分离为反射光(未图示)和作为透射光的第4光L4。第4光L4到达观察者的眼睛80。
这样，从影像显示部10射出的第1光L1的一部分在被分束器21反射后通过回归反射片22进行回归反射，由此，沿着透射该分束器21的光路行进。这里，如上所述，第1光L1是扩散光。因此，从影像显示部10射出的扩散光在以该分束器21为基准而面对称的位置收敛。收敛后的光从收敛位置再次扩散而到达观察者的眼睛80。由此，观察者能够看到基于影像11的空中影像12。
空中成像光学系统20不限于图2所示的结构，也能够由其他结构实现。图3是示出实施方式1的空中影像显示装置100的空中成像光学系统20的另一例的示意图。在图3所示的例子中，空中成像光学系统20具有二面角反射器阵列23。二面角反射器阵列23包含在平面S上排列的多个二面角反射器24。二面角反射器24具有正交的2个镜面24a、24b，由2个镜面24a、24b中的一方的镜面反射的光也在另一方的镜面反射。由此，影像光在以二面角反射器阵列23为基准而面对称的位置处成像，因此，观察者能够看到空中影像12。
接着，返回到图1和图2，对观察者检测部30和视点信息取得部51的结构的详细情况进行说明。观察者检测部30例如是相机等摄像装置。观察者检测部30拍摄包含观察者的图像。观察者检测部30例如是复眼相机。在该情况下，视点信息取得部51能够基于由观察者检测部30拍摄到的图像所包含的观察者的三维的位置信息，计算表示观察者的眼睛80的位置的视点信息60。另外，观察者检测部30也可以是单眼相机。在该情况下，视点信息取得部51例如能够通过基于光流估计眼睛80在三维空间坐标系中的位置、或者基于面部特征点估计眼睛80的位置来计算视点信息60。
观察者检测部30不限于相机等摄像装置，也可以是使用红外线的三维距离传感器。在该情况下，视点信息取得部51通过检测观察者站立的位置与空中影像显示装置100的相对位置来取得视点信息60。
视点信息取得部51也可以基于预先存储的观察者的身体信息，通过估计观察者的位置来取得视点信息60。身体信息例如是观察者的身高。此外，身体信息例如是有无使用轮椅和观察者的坐高信息。例如，在轮椅的使用为“有”且预先存储有坐高信息的情况下，视点信息取得部51基于将通常的轮椅的座椅部分的高度与观察者的坐高相加而得到的值，来估计从地面到观察者的眼睛80的位置的高度。视点信息取得部51取得该计算结果作为视点信息60。
接着，对周边光源检测部40和周边光信息取得部52的结构的详细情况进行说明。周边光源检测部40例如是相机等摄像装置。周边光源检测部40通过拍摄空中影像显示装置100的周边，例如检测周边光(以下也称为“外部光”。)的光源的位置。周边光源检测部40例如是具有宽范围透镜的相机等摄像装置。另外，周边光源检测部40和观察者检测部30也可以配置于同一摄像装置。
周边光信息取得部52基于由周边光源检测部40拍摄到的图像，取得周边光信息61。具体而言，周边光信息取得部52检测由周边光源检测部40拍摄到的图像中的高灰度的部分，基于其视场角位置来计算周边光的入射方向(换言之，周边光的光源的位置)。此外，周边光信息取得部52基于由周边光源检测部40拍摄到的图像的灰度值，计算周边光的强度。
周边光源检测部40也可以具有照度计，该照度计测定每单位面积内照射的周边光的光束的量作为照度。周边光源检测部40例如也可以包括具有互不相同的指向性的多个照度计。换言之，周边光源检测部40也可以具有呈辐射状排列的多个照度计。假设在周边光源检测部40具有1个照度计的情况下，仅测定从特定位置朝向空中成像光学系统20的周边光的照度。但是，通过将多个照度计呈辐射状配置，能够基于在各照度计中计测出的照度来计算周边光的入射方向和强度。
接着，使用图1对显示控制部50的结构的详细情况进行说明。如图1所示，显示控制部50具有空中成像范围估计部53、画质下降区域估计部54以及空中影像显示处理部55。
空中成像范围估计部53基于视点信息60和空中成像构造信息62，来估计形成观察者能够看到的空中影像12的范围(以下也称为“空中影像成像范围”。)。空中影像成像范围示出了影像显示部10的显示面10a(参照图2)中的观察者能够看到的影像显示范围作为二维平面的位置信息。空中成像范围估计部53生成表示空中成像范围的信息即空中成像范围信息63，将该空中成像范围信息63输出到画质下降区域估计部54。
空中成像构造信息62包括光学系统规格信息62a和光学系统配置信息62b。另外，空中成像构造信息62例如预先存储在作为参数存储部的存储部56中。
光学系统规格信息62a例如是表示影像显示部10、分束器21及回归反射片22各自的构造和功能的规格。详细而言，光学系统规格信息62a具有影像显示部10上的亮度、分辨率、视角、分束器21的板厚、透射率、反射率及回归反射片22的回归反射精度中的至少1个。
光学系统配置信息62b是表示空中成像光学系统20中的位置关系的信息。在实施方式1中，光学系统配置信息62b例如是表示分束器21与回归反射片22之间的空间位置关系的信息。光学系统配置信息62b例如具有3D-CAD数据等这样的三维位置信息。
这样，光学系统配置信息62b具有表示使空中影像12成像的光学部件的位置关系的信息。因此，空中成像范围估计部53能够估计在空间内成像的空中影像12的位置。例如，如实施方式1那样，在空中成像光学系统20利用回归反射的情况下，通过在观察者的视线上存在分束器21、并且在透射分束器21或被分束器21反射的光的光路上存在回归反射片22，从而观察者能够看到空中影像12。换言之，空中成像范围估计部53通过进行基于视点信息60和空中成像范围信息63的三维坐标系中的光的光路追迹，能够估计影像显示部10的显示面10a中的观察者作为空中影像12能够看到的范围，即，空中成像范围。
在空中成像光学系统20具有图3所示的二面角反射器阵列23的情况下，也能够估计空中成像范围。在二面角反射器阵列23中，入射的光在相互正交的2个镜面24a，24b上分别各反射1次，从而使该光成像。因此，空中成像范围估计部53基于二面角反射器阵列23与光的入射角度的关系性，在判定为光反射1次以下或3次以上的情况下，能够估计为空中影像12没有被观察者看到。
画质下降区域估计部54基于周边光信息61、空中成像构造信息62及空中成像范围信息63，生成画质下降区域信息64，将该画质下降区域信息64输出到空中影像显示处理部55。
具体而言，画质下降区域估计部54基于视点信息60、周边光信息61、光学系统规格信息62a及光学系统配置信息62b，来估计影像显示部10上的画质下降区域(例如，后述的图7的(C)和图8的(C)所示的画质下降区域R3)。画质下降区域是与空中影像12的周边光通过区域对应的区域。这里，周边光通过区域是周边光中的由空中成像光学系统20反射而朝向观察者的眼睛80的位置的光(例如，后述的图4所示的光L22)在空中影像12中通过的区域。
用于估计画质下降区域的光学系统规格信息62a例如具有表示分束器21的材料的信息。分束器21的材料是亚克力板、玻璃板、半反射镜及反射型偏振板中的任意1个。此外，光学系统规格信息62a还具有表示回归反射片22的构造的信息。具体而言，光学系统规格信息62a还具有表示珠类型的回归反射片22、棱镜类型的回归反射片22及回归反射片22的尺寸的信息。此外，光学系统规格信息62a还具有表示影像显示部10的规格的信息。具体而言，光学系统规格信息62a还具有表示液晶显示器或者具有有机EL元件或LED的自发光型的显示装置的规格的信息。
用于估计画质下降区域的光学系统配置信息62b例如具有表示使影像光成像的光学部件(在实施方式1中为分束器21和回归反射片22)与影像显示部10的位置关系的信息。
这里，引起观察者对空中影像12的可视性的下降即画质的下降的要素是指，由于构成空中影像显示装置100的光学部件与空中影像显示装置100的外部的外部光环境的关系性，使观察者看到与空中影像12的光不同的光。
例如，通过照明光等外部光与形成空中影像12的光重叠而引起画质的下降。由此，空中影像12在观察者所希望的视觉信息中的亮度、对比度及色度中的至少1个发生了变化的状态下被看到，因此，观察者的可视性下降。此外，在聚光灯等局部高亮度的外部光与空中影像12的光重叠的情况下，由于基于瞳孔或眼睑的开闭的视觉功能的控制，观察者的视觉功能发生变化。由此，观察者对外部光在空中影像12中通过的位置的周边区域的可视性也下降。
此外，在通过空中影像12的外部光不是照明光而是配置于周边的投影仪的光或与影像显示部10不同的显示装置的光的情况下，在空中影像12中产生不清楚的边缘和混合颜色。在该情况下，除了空中影像12的亮度、对比度及色度之外，分辨率和锐度也下降。
画质下降区域信息64是按照空中影像12的每个像素来表示上述的使空中影像12的画质下降的要素的信息。画质下降区域信息64表示各像素单位中的亮度、对比度、色度、分辨率及锐度中的至少1个以上的参数的下降度。画质下降区域信息64是表示该参数的下降度的二维映射信息。
例如，亮度(cd/m2)的下降度由外部光通过空中影像12之前的像素的最大亮度与外部光通过了空中影像12时的像素的最大亮度的差分数据表示。此外，对比度的下降度由外部光通过空中影像12之前的对比度与外部光通过了空中影像12时的对比度的差分数据表示。这里，对比度由最大灰度显示时的空中影像12的亮度与最小灰度显示时的空中影像12的亮度的比率表示。
此外，色度的下降度由显示出空中影像12时的单位颜色(例如，像素的RGB等)的色度根据外部光而变化的程度表示。表示色度的下降度的颜色空间的变化度例如是xyz表色系中的x坐标和y坐标各自的变化量。此外，在空中影像12由数字影像显示的情况下，色度的下降度通过对RGB的各灰度值中的灰度变化量进行LUT(Look UP Table：查找表)等的映射而得到的数据来表示。
基于整个显示区域及图像边缘处的敏感度的频率解析结果与有无外部光之间的关系来计算分辨率和锐度各自的下降度。例如，分辨率和锐度各自的下降度由频率解析结果中的存储最大频率的频率特性受到外部光的影响的情况与该频率特性未受到外部光的影响的情况的差分数据表示。这里，图像边缘是指图像的亮度发生变化的亮度的边界部分。此外，在对比敏感度的频率解析中，例如使用对比度传递函数。此外，对比敏感度的最大频率是指具有预先决定的阈值以上的信号强度的频率成分。
空中影像显示处理部55基于画质下降区域信息64和显示影像信息65而生成输出影像信息66，将该输出影像信息66输出到影像显示部10。
〈周边光的影响所引起的空中影像的画质的下降〉
接着，使用图4和图5来说明由于周边光L21的影响而使空中影像12的画质下降的主要原因。图4是说明图1所示的空中影像12的画质下降的主要原因的一例的说明图。空中影像12的画质的下降根据分束器21与周边光L21的关系而产生。因此，以下，说明周边光L21被分束器21反射从而使空中影像12的画质下降的例子。
如上所述，分束器21是配置在空中影像12的成像光路上并使入射的光反射和透射的光学部件。因此，分束器21使从周边光源90射出的周边光L21的一部分反射，作为朝向观察者的眼睛80的光L22而射出。在周边光L21中的被分束器21反射的光即光L22在形成空中影像12的第4光L4的光路上行进的情况下，第4光L4的亮度增加了光L22的亮度。
这里，将空中影像12的像素的位置x处的亮度设为A(x)，将影像显示部10上的像素即显示像素的位置x处的亮度设为L(x)。此外，将分束器21的透射率设为T，将分束器21的反射率设为R，将空间内的第4光L4的衰减率设为α。此时，亮度A(x)由以下的式(1)表示。
A(x)＝L(x)·T·R·α (1)
透射率T、反射率R及衰减率α是从0到1的范围内的小数值。从显示像素的位置x到空中影像12被成像的位置为止的距离即光路距离越大，则衰减率α越小，该光路距离越小，则衰减率α越大。此外，衰减率α包括基于回归反射片22的反射精度的峰值亮度的衰减率。因此，衰减率α根据光向回归反射片22所具备的回归反射元件(未图示)入射的入射角而变动。
此外，在将光L22通过的空中影像12的像素的位置x处的亮度设为B1(x)、将向分束器21入射的周边光L21的亮度设为Le(x)时，亮度B1(x)由以下的式(2)表示。
B1(x)＝Le(x)·R (2)
产生亮度Le(x)的条件为，分束器21的反射面的位置、周边光源90的位置及观察者的位置的关系是成为正反射方向的位置关系。
由于亮度A(x)增加了亮度B1(x)，在空中影像12中产生局部成为高亮度的区域。在该情况下，观察者识别出泛白等，因此，在空中影像12中产生视觉信息的缺失。此外，通常，从观察者的视觉特性的观点出发，在强度较强的光通过空中影像12时，在该光通过的区域的周边区域的像素中，对比度也相对地下降。因此，在光L22通过的空中影像12的像素的位置x的周边区域中，亮度、对比度及分辨率等也下降。这样的画质的下降与光L22通过的像素和其周边的像素之间的距离成比例。因此，画质下降区域信息64也可以具有表示光L22所通过的像素的位置x的周边像素中的画质下降的映射信息。由此，能够防止空中影像12的画质的下降。
此外，在画质下降区域信息64是表示色度的下降度的映射信息的情况下，该映射信息表示光L22通过空中影像12之前的像素的色度与光L22通过了空中影像12时的该像素的色度的差分数据。基于亮度A(x)与亮度B1(x)的比率，对光L22通过之前的像素的色度加上从周边光信息取得部52输出的周边光L21的色度，从而得到光L22通过了空中影像12时的像素的色度。
接着，使用图5，来说明由于周边光L21的影响而使空中影像12的画质下降的另一主要原因。图5是说明图1所示的空中影像12的画质下降的主要原因的另一例的说明图。空中影像12的画质的下降也根据回归反射片22的回归反射元件的性能与周边光L21的关系而产生。
向该回归反射片22的表面22a入射的光有时根据构成回归反射片22的回归反射元件的形状而向与理想的回归反射方向不同的方向反射。在棱镜类型的回归反射片22中，例如，通过将反射次数设定为预先决定的次数以下来决定反射方向。例如，在回归反射元件为微棱镜的情况下，通过将光的反射次数设定为3次以下，来实现理想的回归反射，即，入射的光向入射方向反射。但是，根据入射角的大小或回归反射元件的形状，即便在反射次数为3次以下的情况下，入射的光也可能向与入射方向(即，理想的回归反射方向)不同的方向反射。
此外，回归反射片22的表面22a上的反射方向是由设置于回归反射元件的表面的保护层产生的镜面反射的反射方向。在回归反射元件的表面，有时附加有由有机材料形成的保护膜。在该情况下，入射的光由该保护膜进行镜面反射。即，通过回归反射片22的表面22a成为镜面而形成反射光。因此，在周边光L21中的透射了分束器21的光L23到达回归反射片22的情况下，该光L23由回归反射片22进行镜面反射，作为光L24再次向分束器21入射。入射到分束器21的光L24的一部分作为光L25朝向观察者的眼睛80。在光L25沿着形成空中影像12的第4光L4的光路行进而朝向观察者的眼睛80的情况下，空中影像12中的通过了光L25的位置x处的画质下降。
在图5所示的例子中，光L25通过之前的空中影像12的位置x的像素中的亮度A(x)由上述的式(1)表示。将光L25通过了时的空中影像12的位置x的像素中的亮度设为B2(x)，将向分束器21入射时的周边光L21的亮度设为Le(x)。此外，在将回归反射片22中的光的衰减率设为β、将分束器21的透射率设为T时，亮度B2(x)由以下的式(3)表示。
B2(x)＝Le(x)·T2·β (3)
如式(3)所示，亮度B2(x)与分束器21的透射率T的平方成比例。这是因为，在图5所示的例子中，周边光L21和光L24在分束器21中透射。即，是因为光2次透射分束器21。在回归反射片22具有回归反射元件的情况下，衰减率β是从回归反射光相对于入射光的衰减率减去内部散射成分和表面衰减成分而得到的值。此外，在回归反射片22具有作为表面保护材料的镜面反射层的情况下，衰减率β是基于表面保护剂的光学规格的反射率。
画质下降区域估计部54进行基于亮度A(x)与亮度B2(x)的比率来计算画质下降区域信息64的映射处理。该映射处理与使用图4说明的映射处理是同样的，因此，省略说明。
空中影像12的画质的下降也根据分束器21的光反射性及光透射性与周边光L21的关系而产生。
在分束器21中，根据表面处理或内部的元件构造，有时发生光的多重反射和散射。例如，在对分束器21实施了所谓的防眩表面处理的情况下，入射到该分束器21的周边光L21散射，由此，观察者有时看到好像分束器21的表面在发光。此外，在分束器21具有反射第1光L1的反射面和反射周边光L21的一部分的反射面的情况下，发生周边光L21在分束器21的内部的多重反射、透射时的周边光L21的折射等光学现象。当发生了这样的光学现象时，观察者可能会看到分束器21的表面如扩散光那样在发光。
这样，在发生了分束器21中的光的多重反射和折射的情况下，空中影像12的亮度不必要地增加。因此，空中影像12的画质下降。因此，作为用于估计画质下降区域的光学系统规格信息62a，也可以预先存储表示分束器21中的散射光的发生率的信息。在该情况下，画质下降区域估计部54能够通过对式(2)所示的反射率R进行校正来计算亮度B1(x)。
空中影像12的画质的下降也根据回归反射片22的光反射性与周边光L21的关系而产生。
根据回归反射片22的光反射性，向该回归反射片22的表面22a入射的周边光L21有时向与理想的回归反射方向不同的方向反射。因此，周边光L21中的由回归反射片22反射的光有时在形成空中影像12的第4光L4的光路上行进。在该情况下，空中影像12的亮度不必要地增加。因此，空中影像12的画质下降。因此，作为用于估计画质下降区域的光学系统规格信息62a，也可以预先存储表示回归反射片22的反射精度的信息。这里，回归反射片22的反射精度由将在该回归反射片22反射后的反射光的峰值亮度的回归反射方向作为角度原点的配光分布特性等表示。
在图4和图5所示的例子中，在观察者朝向空中影像12的视线的方向上配置有回归反射片22。因此，假设在周边光源存在于观察者的后方的情况下，从该周边光源射出的周边光有时在透射分束器21之后，由回归反射片22向与理想的回归反射方向不同的方向反射，再次透射分束器21而到达观察者的眼。这样的沿着光路行进的周边光通过了空中影像12时的该空中影像12的亮度例如由上述的式(3)表示。式(3)中的衰减率β根据回归反射片22的光学系统规格信息62a而变化。衰减率β是使用基于观察者和周边光源各自的位置信息的反射方向上的回归反射片22的配光分布特性而计算的值。
由画质下降区域估计部54估计的空中影像12的画质的下降主要原因也根据影像显示部10、分束器21、回归反射片22及周边光源90的位置关系而产生。
在透射了分束器21的周边光L21在回归反射片22回归反射而再次向分束器21入射的情况下，有时由该分束器21反射。在该情况下，由分束器21反射的光有时在由影像显示部10的显示面10a反射之后沿着形成空中影像12的影像的光路行进，由此被观察者看到。
这里，将透射了分束器21的周边光L21中的按照回归反射片22、分束器21、影像显示部10的顺序反射的光通过了空中影像12时的该空中影像12的位置x处的像素的亮度设为B3(x)。此外，将向分束器21入射时的周边光L21的亮度设为Le(x)，将分束器21的透射率设为T，将回归反射片22中的光的衰减率设为β，将影像显示部10中的光的反射率设为γ。此时，亮度B3(x)由以下的式(4)表示。
B3(x)＝Le(x)·T2·R2·β·γ (4)
反射率γ表示影像显示部10的显示面10a上的光的反射率。反射率γ例如是实施了防眩表面处理的LCD(Liquid Crystal Dispay：液晶显示器)显示器的显示面上的扩散光反射率等。
此外，作为实施方式1的空中影像显示装置100的空中成像光学系统20，存在具有二面角反射器和微透镜阵列的成像方式。在该成像方式的情况下，画质下降区域估计部54能够基于周边光L21中的沿着空中成像光路的光的亮度效率或者表示周边光L21中的作为杂散光而没有被空中成像的光的分布的光学元件信息，来计算周边光L21通过的前后的空中影像12的亮度。另外，该亮度效率和光学元件信息例如通过总括上述的分束器21的透射率T和反射率R以及回归反射片22的衰减率β等而得到。
接着，对空中影像显示装置100的硬件结构进行说明。图6的(A)是概要地示出空中影像显示装置100的硬件结构的图。如图6的(A)所示，空中影像显示装置100的显示控制部50例如能够使用存储作为软件的程序的作为存储装置的存储器50a、以及实现存储器50a所存储的程序的作为信息处理部的处理器50b(例如，由计算机)来实现。另外，也可以通过图6的(A)所示的存储器50a和执行程序的处理器50b来实现显示控制部50的一部分。此外，显示控制部50也可以由电气电路实现。
影像显示部10、观察者检测部30及周边光源检测部40经由总线50c而与处理器50b连接。
图6的(B)是概要地示出空中影像显示装置100的硬件结构的另一例的图。如图6的(B)所示，显示控制部50也可以使用作为单一电路或复合电路等专用硬件的处理电路50d来实现。在该情况下，显示控制部50的功能由处理电路50d实现。
〈影像的校正〉
接着，对空中影像显示处理部55所进行的影像显示部10上的影像的校正进行说明。空中影像显示处理部55基于由画质下降区域估计部54估计出的画质下降区域，来控制向影像显示部10输出的显示影像信息65(参照图1)。空中影像显示处理部55的控制内容例如是影像11的画质或影像11的布局的校正。
图7的(A)至(D)是说明空中影像显示处理部55所进行的画质校正控制的一例的说明图。图7的(A)是示出基于显示影像信息65(参照图1)的影像11a的一例的图。影像11a例如包含插图区域R1和文字区域R2。
图7的(B)是示出影像11a的光成像且附加了周边光的空中影像12a的一例的图。空中影像12a包含与插图区域R1(参照图7的(A))对应的空中插图区域R21、以及与文字区域R2(参照图7的(A))对应的空中文字区域R22。在空中影像12a中附加了光L22、L25(参照图4和图5)的情况下，空中影像12a中的光L22、L25通过的区域即周边光通过区域R30的亮度与作为周边区域的空中插图区域R21和空中文字区域R22的亮度相比增加。这样，在空中影像12a中，存在局部为高亮度的区域。在该情况下，空中影像12a的对比度下降，因此，观察者的可视性下降。
图7的(C)是示出基于输出影像信息66(参照图1)的影像11b的一例的图。影像11b具有与图7的(B)所示的周边光通过区域R30对应的区域即画质下降区域R3。空中影像显示处理部55(参照图1)对画质下降区域R3的亮度进行校正，使得周边光通过区域R30的亮度接近该周边光通过区域R30的周边区域的亮度。在图7的(C)所示的例子中，画质下降区域R3的亮度比插图区域R1和文字区域R2各自的亮度小。
空中影像显示处理部55也可以对画质下降区域R3的对比度进行校正，使得周边光通过区域R30的对比度接近该周边光通过区域R30的周边区域的对比度。此外，空中影像显示处理部55也可以对画质下降区域R3的灰度值进行校正，使得周边光通过区域R30的灰度值接近该周边光通过区域R30的周边区域的灰度值。这样，空中影像显示处理部55也可以基于画质下降区域R3，对影像11的亮度、对比度及灰度值中的至少1个进行校正。
图7的(D)是示出影像11b的光成像且附加了周边光的空中影像12b的一例的图。在显示出空中影像12b时，周边光通过区域R30的亮度与空中插图区域R21及空中文字区域R22各自的亮度大致相同。由此，即便在周边光L21中的由空中成像光学系统20反射的光L22、L25通过了空中影像12b的情况下，也能够防止产生局部高亮度的区域。因此，能够减少给观察者的视觉带来的麻烦，并且能够降低观察者的视觉信息的识别的不均匀化。
这样，空中影像显示处理部55所进行的影像11的校正例如是对与周边光通过区域R30对应的画质下降区域R3的像素的亮度进行校正的处理。空中影像显示处理部55基于由画质下降区域估计部54生成的画质下降区域信息64，来提取周边光通过区域R30的像素中的亮度(以下也称为“灰度亮度”。)的增加量。然后，空中影像显示处理部55使画质下降区域R3的像素的灰度亮度减少与提取出的增加量相同的量。由此，生成用于校正灰度亮度的输出影像信息66，将基于输出影像信息66的影像11b显示于影像显示部10。
此外，空中影像显示处理部55所进行的影像11的校正处理例如是增加与该周边光通过区域R30对应的画质下降区域R3的像素的对比度的处理。空中影像显示处理部55基于画质下降区域R3的亮度的统计量(以下，也称为“亮度直方图”)，来改善由于周边光L21的影响而引起的空中影像12的对比度的下降。
首先，空中影像显示处理部55基于亮度直方图，计算画质下降区域R3中的最大亮度与最小亮度的比率作为对比度。然后，空中影像显示处理部55进行转换灰度值的处理，使得计算出的对比度与空中影像12中的未受到周边光L21的影响的其他区域的对比度相同。
这里，将校正后的灰度值设为g，将校正前的灰度值设为f。此外，在将作为对比度校正处理的对象的画质下降区域R3中的最大亮度设为Fmax、将最小亮度设为Fmin、将校正函数设为G时，灰度值g由以下的式(5)表示。
g＝G·(f-Fmin)/(Fmax-Fmin) (5)
校正函数G是用于将灰度值g转换为目标对比度的函数，将对灰度值f的亮度直方图进行归一化而得到的值作为参数。校正函数G例如是线性函数。在该情况下，校正函数G将最大灰度值和最小灰度值作为参数(输入参数)，计算与该参数成线性比例的对比度。另外，校正函数G也可以是非线性的函数。在该情况下，校正函数G将最大灰度值和最小灰度值作为参数(输入参数)，基于该参数执行利用了伽马特性的灰度值的转换处理。由此，空中影像显示处理部55能够计算影像显示部10中的考虑了电-光转换特性的灰度值的变化量。
此外，校正函数G例如也可以是用于使灰度值局部变化的函数。在该情况下，校正函数G能够通过使图像边缘的亮度或强调视觉信息的亮度升高或降低，来防止观察者对空中影像12的可视性的下降。在使用了校正函数G的控制处理中，除了对输入的灰度值执行数值计算之外，还通过LUT来安装灰度值的转换，由此，实现简易的参数调整和处理的高速化。
空中影像显示处理部55所进行的影像11的校正处理例如是对该影像11的边缘进行控制的处理。几何形状或文字等显示对象生成较强的视觉效果。因此，在空中影像12的对比度受到周边光的影响而下降的情况下，能够通过对影像11上的显示对象实施边缘强调处理来防止观察者的可视性的下降。
边缘强调处理例如对画质下降区域R3中的边缘方向进行估计，进行使边缘处的灰度值与边缘周边的区域的灰度值的亮度比率大于预先决定的阈值的校正。在边缘方向的估计中，例如，使用提取画质下降区域R3中的由多个像素(例如，3×3像素或5×5像素)构成的周边像素灰度区域的特征的滤波函数。另外，边缘强调处理例如也可以通过计算画质下降区域R3中的灰度值的频率特性来进行使作为高频成分的灰度区域的对比度增加的校正。
此外，边缘强调处理也可以是降低影像11中的与画质下降区域R3不同的区域中的边缘的处理。由此，由于使观察者的注意朝向空中影像12中的周边光通过区域R30，因此，能够使观察者识别该周边光通过区域R30。这里，边缘的降低方法例如能够通过针对与对应于画质下降区域R3的区域不同的区域中的灰度值的频率特性高的区域降低平滑化滤波器等的对比度的方法来实现。
关于对应于画质下降区域R3的区域的边缘强调处理和不同于该区域的区域的边缘降低处理，也可以基于显示影像信息65的内容和画质下降区域R3中的视觉信息的重要性等来进行有无处理的判断或参数强度的调整。
到此为止，独立地说明了亮度、对比度及边缘校正的控制例，但也可以根据使观察者看到的空中影像的内容而协调地执行。例如，使观察者的视觉性提高的要素为图像的明亮度和清晰度，因此，明亮度和清晰度的重要性的程度根据显示内容而变化。在文字内容包含于影像11的情况下，为了提高可读性，影像11的清晰度是重要的。另一方面，在包含插图或图标等单调内容或色彩多样的内容的况下，为了在视觉上增加刺激，影像11的明亮度是重要的。
此外，在色彩多样的内容包含于影像11的情况下，进行考虑了色度(发光颜色)的校正处理是重要的。这里，在应用了色度的校正处理中，例如，将灰度值转换成HSV颜色空间内的色度参数，对与该色度参数中的包含在预先决定的阈值的范围内的色度参数对应的亮度进行校正，由此，能够执行考虑了色度的校正处理。此外，空中影像显示处理部55也可以基于画质下降区域R3来改变表示影像显示部10上的视角的光指向性分布。这样，空中影像显示处理部55也可以基于画质下降区域R3来改变影像光的强度、光指向性分布及色度中的至少1个。
接着，对空中影像显示处理部55所进行的影像显示部10上的影像的校正的另一例进行说明。图8的(A)至(D)是说明空中影像显示处理部55所进行的影像的布局控制的一例的说明图。在图8的(A)至(D)所示的例子中，空中影像显示处理部55基于由画质下降区域估计部54估计出的画质下降区域R3，对影像显示部10上的影像所包含的显示对象的大小和配置进行校正。
图8的(A)是示出基于校正前的显示影像信息65的影像11a的一例的图。影像11a的显示对象包含插图区域R1和文字区域R2。
图8的(B)是示出影像11a的光成像且附加了周边光的空中影像12a的一例的图。空中影像12a包含对应于插图区域R1(参照图8的(A))的空中插图区域R21和对应于文字区域R2(参照图8的(A))的空中文字区域R22。在空中影像12a中附加了光L22、L25(参照图4和图5)的情况下，空中影像12a中的光L22、L25通过的区域即周边光通过区域R30的亮度与作为周边区域的空中插图区域R21和空中文字区域R22的亮度相比增加。这样，在空中影像12a中，存在局部为高亮度的区域。在该情况下，空中影像12a的对比度下降，因此，观察者的可视性下降。
图8的(C)是示出基于校正后的输出影像信息66的影像11b的一例的图。空中影像显示处理部55对插图区域R1的大小和配置进行校正，使得插图区域R1(参照图8的(A))与画质下降区域R3不重叠。具体而言，校正后的插图区域R11的配置场所与校正前的插图区域R1的配置场所不同。此外，校正后的插图区域R11的大小小于校正前的插图区域R11的大小。
此外，空中影像显示处理部55对文字区域R2的配置进行校正，使得文字区域R2(参照图8的(A))与画质下降区域R3不重叠。具体而言，校正后的文字区域R12的配置场所与校正前的文字区域R2的配置场所不同。这样，空中影像显示处理部55生成对插图区域R1的大小和配置以及文字区域R2的配置进行控制的输出影像信息66，将该输出影像信息66输出到影像显示部10。由此，在影像显示部10中，作为显示对象而显示包含校正后的插图区域R11和文字区域R12的影像11b。
图8的(D)是示出影像11b的光成像且附加了周边光的空中影像12b的一例的图。空中影像12b具有对应于插图区域R11(参照图8的(C))的校正后的空中插图区域R41和对应于文字区域R12(参照图8的(C))的校正后的空中文字区域R42。
在显示出空中影像12b时，空中插图区域R41与周边光通过区域R30重叠的范围小于图8的(B)所示的空中插图区域R21与周边光通过区域R30重叠的范围。由此，能够防止观察者对空中插图区域41的可视性的下降。此外，在显示出空中影像12b时，空中文字区域R42与周边光通过区域R30不重叠。由此，能够防止观察者对空中文字区域R42的可视性的下降。
空中影像显示处理部55在对影像11a所包含的显示对象的大小和配置进行校正时，也可以基于使观察者看到的显示对象的重要度，来判别可否进行该校正。例如，在显示影像信息65中复合有多个显示对象的情况下，显示对象的重要度是该多个显示对象的优先顺位等。在对显示对象设定了优先顺位的情况下，例如，空中影像显示处理部55将优先顺位高的显示对象的配置场所显示于与画质下降区域R3不重叠的位置，并且将显示对象的大小设定得较大。此外，空中影像显示处理部55也可以进行如下处理：通过减小优先顺位低的显示对象的大小，从而即便配置于与画质下降区域R3重叠的位置，也能够容许显示。
空中影像显示处理部55在对影像11a所包含的显示对象的大小和配置进行校正时，也可以基于使观察者看到的显示对象的配置关系性，来判别可否进行该校正。使观察者看到的显示对象的配置关系性例如是指如下情况：显示影像信息65包含插图或文字等形态不同的多个显示对象，该多个显示对象的关联性高，且具有配置于附近的关系。在该情况下，多个显示对象的配置产生制约，因此，空中影像显示处理部55考虑该制约对显示对象的配置进行校正。此外，显示对象的配置关系性是指，显示影像信息65包含关联性高的多个显示对象，将该多个显示对象中的使观察者识别的优先度低的显示对象配置于画质下降区域R3。
空中影像显示处理部55在对影像11a所包含的显示对象的大小和配置进行校正时，也可以基于使观察者看到的影像信息的识别分辨率，来判别可否进行该校正。例如，在显示包含文字区域的空中影像12的情况下，有时文字区域的大小根据观察者的状态而产生制约。在该情况下，空中影像显示处理部55基于与文字区域的大小对应的分辨率，对显示影像信息65进行校正。这里，文字区域的大小根据观察者的身体上的差异而变化。因此，观察者的状态是指空中影像12与观察者之间的距离或观察者的视力等。例如，表示观察者的视力的信息包含关于观察者是否为远视或近视的信息、以及关于是否具有色弱等障碍的信息、表示大人或孩子等观察者的属性的信息中的至少1个。
〈空中影像显示装置的动作〉
接着，对实施方式1的空中影像显示装置100的动作进行说明。图6是示出实施方式1的空中影像显示装置100的动作的流程图。
首先，在步骤ST1中，视点信息取得部51取得表示观察者的眼睛80的位置的视点信息60。
在步骤ST2中，空中成像范围估计部53基于视点信息60来估计空中影像12的成像范围。由此，能够在观察者的视线的方向上显示空中影像12。
在步骤ST3中，周边光信息取得部52取得表示周边光L21的光源即周边光源90的位置的周边光信息61。例如与步骤ST1至步骤ST2的处理并行地进行步骤ST3的处理。另外，也可以在步骤ST1的处理之前或之后进行步骤ST3的处理。
在步骤ST4中，画质下降区域估计部54基于视点信息60和周边光信息61来估计影像显示部10上的画质下降区域R3。
在步骤ST5中，空中影像显示处理部55基于画质下降区域R3，生成对影像11进行校正的输出影像信息66。
在步骤ST6中，影像显示部10显示基于输出影像信息66的影像11a。由此，显示与观察者的眼睛80的位置及周边光源90的位置相应的空中影像12。
在步骤ST7中，空中影像显示处理部55判定是否结束空中影像12的显示，在判定为结束空中影像12的显示的情况下(即，在步骤ST7中，判定为是的情况)，结束处理。另一方面，空中影像显示处理部55在判定为不结束空中影像12的显示的情况下(即，在步骤ST7中，判定为否的情况)，重复进行步骤ST1至步骤ST6的处理，直至结束空中影像12的显示。
如以上说明的那样，实施方式1的空中影像显示装置100基于观察者的视点信息60、周边光信息61及空中成像构造信息62，对空中影像12的画质下降的画质下降区域R3进行估计。此外，空中影像显示装置100基于估计出的画质下降区域R3，对影像显示部10所显示的影像11进行校正。由此，能够防止观察者对空中影像12的可视性的下降。
〈实施方式1的效果〉
如以上说明的那样，根据实施方式1的空中影像显示装置100，基于视点信息60和周边光信息61对影像显示部10上的画质下降区域R3进行估计，基于该画质下降区域R3对影像11进行校正。由此，能够显示与观察者的眼睛80的位置及周边光L21相应的空中影像12。
此外，根据实施方式1的空中影像显示装置100，空中影像显示处理部55基于画质下降区域R3对影像11的亮度、对比度及灰度值中的至少1个进行校正。由此，即便在周边光L21中的由空中成像光学系统20反射的光L22、L25通过了空中影像12的情况下，也能够防止观察者的可视性的下降。
此外，根据实施方式1的空中影像显示装置100，空中影像显示处理部55基于画质下降区域R3对影像11所包含的显示对象的大小和布局中的至少1个进行校正。由此，即便在周边光L21中的由空中成像光学系统20反射的光L22、L25通过了空中影像12的情况下，也能够以与画质下降区域R3不重叠的方式将影像11所包含的显示对象显示为空中影像12。
《实施方式2》
图10是示出实施方式2的空中影像显示装置200的结构的框图。图11是说明实施方式2的空中影像显示装置200的概要结构的说明图。在图10和图11中，针对与图1及图2所示的结构要素相同或对应的结构要素标注与图1及图2所示的标号相同的标号。实施方式2的空中影像显示装置200与实施方式1的空中影像显示装置100的不同之处在于，还具有光学功能调整部70a、70b、70c和光学功能控制部257。关于除此以外的方面，实施方式2的空中影像显示装置200与实施方式1的空中影像显示装置100相同。
如图10和图11所示，空中影像显示装置200具有影像显示部10、空中成像光学系统20、观察者检测部30、周边光源检测部40、光学功能调整部70a、70b、70c以及显示控制部250。
光学功能调整部70a、70b、70c是分别对影像显示部10、分束器21及回归反射片22进行驱动的驱动部。光学功能调整部70a、70b、70c例如是步进电机。
显示控制部250还具有空中成像范围估计部53、画质下降区域估计部54、空中影像显示处理部55以及光学功能控制部257。
光学功能控制部257基于画质下降区域R3(参照图7的(C)和图8的(C))对光学功能调整部70a、70b、70c进行控制。具体而言，光学功能控制部257基于显示影像信息65和画质下降区域信息64，改变影像显示部10、分束器21及回归反射片22各自的位置，使得影像11所包含的显示对象与画质下降区域R3不重叠。换言之，在实施方式2中，能够根据画质下降区域R3的位置，来改变影像显示部10与分束器21的位置关系以及影像显示部10与回归反射片22的位置关系。因此，即便在周边光L21中的由空中成像光学系统20反射的光L22、L25(参照图4和5)通过了空中影像12的情况下，也能够防止观察者的可视性的下降。另外，空中影像显示装置200具有影像显示部10和空中成像光学系统20中的至少1个驱动部即可。
光学功能调整部70a也可以是对影像显示部10所具备的背光光源进行驱动的背光驱动部。在该情况下，光学功能调整部70a基于从光学功能控制部257输出的信号67对背光光源进行驱动。具体而言，光学功能控制部257通过改变背光光源的光量来改变画质下降区域R3的亮度，使得周边光通过区域R30的亮度接近周边光通过区域R30的周边区域的亮度。由此，即便在周边光L21中的由空中成像光学系统20反射的光L22、L25(参照图4和5)通过了空中影像12的情况下，也能够防止看到空中影像12的观察者的可视性的下降。
此外，光学功能调整部70a也可以是调整从影像显示部10射出的第1光L1的光路的光路调整部。在该情况下，光学功能调整部70a是具有能够进行位置调整的透镜机构或电子屏障层的光学部件。光学功能控制部257通过对光路调整部进行驱动来改变画质下降区域R3的亮度，使得周边光通过区域R30的亮度接近周边光通过区域R30的周边区域的亮度。由此，即便在周边光L21中的由空中成像光学系统20反射的光L22、L25(参照图4和5)通过了空中影像12的情况下，也能够防止看到空中影像12的观察者的可视性的下降。
此外，光学功能调整部70b也可以是能够对分束器21的反射率或扩散率进行电子控制的光学薄膜。具体而言，光学功能调整部70b基于入射到分束器21的内部和表面的光的入射角，对反射率或扩散率进行控制。光学功能调整部70c也可以是能够对回归反射片22的反射率或扩散率进行控制的光学薄膜。具体而言，基于入射到回归反射片22的表面的光的入射角，对反射率或扩散率进行控制。
光学功能调整部70b、70c例如也可以是光学状态根据电压的变化而变化的液晶薄膜。由此，能够改变分束器21和回归反射片22的反射率或扩散率。此外，光学功能调整部70b、70c例如也可以是具有排列为二维平面的多个微镜的板状的光学元件。在光学功能调整部70b、70c具有液晶薄膜或微镜的情况下，光学功能控制部257能够改变从影像显示部10射出的影像光的光路，使得影像11所包含的显示对象与画质下降区域R3不重叠。因此，能够防止观看空中影像12的观察者的可视性的下降。
〈实施方式2的效果〉
如以上说明的那样，实施方式2的空中影像显示装置200具有对影像显示部10、分束器21及回归反射片22的光学功能进行调整的光学功能调整部70a、70b、70c、以及基于画质下降区域R3对光学功能调整部70a、70b、70c进行控制的光学功能控制部257。由此，即便在周边光中的由空中成像光学系统20反射的光通过了空中影像12的情况下，也能够防止观察者的可视性的下降。
此外，根据实施方式2的空中影像显示装置200，光学功能调整部70a、70b、70c是对影像显示部10、分束器21及回归反射片22分别进行驱动的驱动部，光学功能控制部257改变影像显示部10的位置，使得影像11所包含的显示对象与画质下降区域R3不重叠。由此，能够防止将该显示对象显示为空中影像12时的观察者的可视性的下降。
附图标记说明
10影像显示部，11、11a、11b影像，12、12a、12b空中影像，20成像光学系统，21分束器，22回归反射片，23二面角反射器阵列，30观察者检测部，40周边光源检测部，51视点信息取得部，52周边光信息取得部，54画质下降区域估计部，55空中影像显示处理部，60视点信息，61周边光信息，70a、70b、70c光学功能调整部，80眼，90周边光源，100、200空中影像显示装置，257光学功能控制部，R1、R2显示对象，R3画质下降区域，R30周边光通过区域，L21周边光，L22、L25光。

Claims (20)

1.一种空中影像显示装置，其特征在于，具有：
影像显示部，其基于影像数据来显示影像；
成像光学系统，其使所述影像成像为空中影像；
视点信息取得部，其取得表示观察者的眼睛的位置的视点信息；
周边光信息取得部，其取得表示朝向所述成像光学系统的周边光的信息的周边光信息；
画质下降区域估计部，其基于所述视点信息和所述周边光信息，来估计所述影像显示部上的与周边光通过区域对应的画质下降区域，该周边光通过区域是所述周边光中的由所述成像光学系统反射而朝向所述眼睛的位置的光在所述空中影像中通过的区域；以及
显示处理部，其基于所述画质下降区域对所述影像进行校正。
2.根据权利要求1所述的空中影像显示装置，其特征在于，
所述显示处理部基于所述画质下降区域，对所述影像的亮度、对比度及灰度值中的至少1个进行校正。
3.根据权利要求2所述的空中影像显示装置，其特征在于，
所述显示处理部对所述画质下降区域的亮度进行校正，使得所述周边光通过区域的亮度接近所述周边光通过区域的周边区域的亮度。
4.根据权利要求2或3所述的空中影像显示装置，其特征在于，
所述显示处理部对所述画质下降区域的对比度进行校正，使得所述周边光通过区域的对比度接近所述周边光通过区域的周边区域的对比度。
5.根据权利要求2至4中的任意一项所述的空中影像显示装置，其特征在于，
所述显示处理部对所述画质下降区域的灰度值进行校正，使得所述周边光通过区域的灰度值接近所述周边光通过区域的周边区域的灰度值。
6.根据权利要求1至5中的任意一项所述的空中影像显示装置，其特征在于，
所述显示处理部基于所述画质下降区域，对所述影像所包含的显示对象的大小和配置中的至少1个进行校正。
7.根据权利要求6所述的空中影像显示装置，其特征在于，
所述显示处理部对所述大小和所述配置中的至少1个进行校正，使得所述显示对象与所述画质下降区域不重叠。
8.根据权利要求6或7所述的空中影像显示装置，其特征在于，
所述显示对象包含文字区域，
所述显示处理部对所述文字区域的大小和所述配置中的至少1个进行校正，使得所述文字区域与所述画质下降区域不重叠。
9.根据权利要求6至8中的任意一项所述的空中影像显示装置，其特征在于，
所述显示对象包含插图区域，
所述显示处理部对所述插图区域的大小和所述配置中的至少1个进行校正，使得所述插图区域与所述画质下降区域不重叠。
10.根据权利要求1至9中的任意一项所述的空中影像显示装置，其特征在于，
所述周边光信息具有表示所述周边光的光源的位置和所述周边光的强度中的至少1个的信息。
11.根据权利要求1至10中的任意一项所述的空中影像显示装置，其特征在于，
所述显示处理部基于所述画质下降区域来改变所述影像的光的强度、光指向性分布及色度中的至少1个。
12.根据权利要求1至11中的任意一项所述的空中影像显示装置，其特征在于，
所述成像光学系统具有：
光学部件，其反射作为所述影像的光的第1光，并作为第2光在预先决定的射出方向上射出；以及
回归反射部件，其使所述第2光在所述射出方向上反射而作为第3光射出。
13.根据权利要求1至12中的任意一项所述的空中影像显示装置，其特征在于，
所述空中影像显示装置还具有：
光学功能调整部，其调整所述影像显示部和所述成像光学系统中的至少1个的光学功能；以及
光学功能控制部，其基于所述画质下降区域来控制所述光学功能调整部。
14.根据权利要求13所述的空中影像显示装置，其特征在于，
所述光学功能调整部是对所述影像显示部和所述成像光学系统中的至少1个进行驱动的驱动部。
15.根据权利要求14所述的空中影像显示装置，其特征在于，
所述光学功能控制部改变所述影像显示部的位置，使得所述影像所包含的显示对象与所述画质下降区域不重叠。
16.根据权利要求14或15所述的空中影像显示装置，其特征在于，
所述光学功能控制部改变所述成像光学系统的位置，使得所述影像所包含的显示对象与所述画质下降区域不重叠。
17.根据权利要求1至16中的任意一项所述的空中影像显示装置，其特征在于，
所述成像光学系统具有二面角反射器阵列。
18.根据权利要求1至17中的任意一项所述的空中影像显示装置，其特征在于，
所述空中影像显示装置还具有检测所述观察者的观察者检测部，
所述视点信息取得部基于所述观察者检测部中的检测结果来取得所述视点信息。
19.根据权利要求1至18中的任意一项所述的空中影像显示装置，其特征在于，
所述空中影像显示装置还具有检测所述周边光的光源的周边光源检测部，
所述周边光信息取得部基于所述周边光源检测部中的检测结果来取得所述周边光信息。
20.一种空中影像显示方法，其是空中影像显示装置的空中影像显示方法，该空中影像显示装置具有基于影像数据显示影像的影像显示部、以及使所述影像成像为空中影像的成像光学系统，其特征在于，
所述空中影像显示方法具有以下步骤：
取得表示观察者的眼睛的位置的视点信息；
取得表示朝向所述成像光学系统的周边光的信息的周边光信息；
基于所述视点信息和所述周边光信息，来估计所述影像显示部上的与周边光通过区域对应的画质下降区域，该周边光通过区域是所述周边光中的由所述成像光学系统反射而朝向所述眼睛的位置的光在所述空中影像中通过的区域；以及
基于所述画质下降区域对所述影像进行校正。
CN202180099049.5A 2021-06-16 2021-06-16 空中影像显示装置和空中影像显示方法 Pending CN117441201A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/022776 WO2022264294A1 (ja) 2021-06-16 2021-06-16 空中映像表示装置及び空中映像表示方法

Publications (1)

Publication Number Publication Date
CN117441201A true CN117441201A (zh) 2024-01-23

Family

ID=82556741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180099049.5A Pending CN117441201A (zh) 2021-06-16 2021-06-16 空中影像显示装置和空中影像显示方法

Country Status (4)

Country Link
US (1) US20240280830A1 (zh)
JP (1) JP7106022B1 (zh)
CN (1) CN117441201A (zh)
WO (1) WO2022264294A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024028928A1 (ja) * 2022-08-01 2024-02-08 日本電信電話株式会社 空中像表示システム、表示制御装置、表示制御方法およびプログラム
CN115550658B (zh) * 2022-11-30 2023-05-09 江苏益捷思信息科技有限公司 基于智慧校园管理平台的数据传输方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003215494A (ja) * 2002-01-22 2003-07-30 Canon Inc 複合現実感提示装置および画像処理方法
JP4910802B2 (ja) * 2006-03-15 2012-04-04 オムロン株式会社 監視装置および方法、記録媒体、並びに、プログラム
JP2011242616A (ja) * 2010-05-19 2011-12-01 Sony Corp 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム
JP2011257496A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像表示装置、電子機器、画像表示システム、画像表示方法、照明光分布補正装置、照明光分布補正方法、プログラム
JP2012242807A (ja) * 2011-05-24 2012-12-10 Sony Corp 表示装置
US11880035B2 (en) * 2018-05-04 2024-01-23 Harman International Industries, Incorporated Adjustable three-dimensional augmented reality heads up display
US11280999B2 (en) * 2018-07-23 2022-03-22 Maxell, Ltd. Head-up display
CN113614620A (zh) * 2019-03-28 2021-11-05 三菱电机株式会社 空中影像显示装置

Also Published As

Publication number Publication date
JP7106022B1 (ja) 2022-07-25
US20240280830A1 (en) 2024-08-22
WO2022264294A1 (ja) 2022-12-22
JPWO2022264294A1 (zh) 2022-12-22

Similar Documents

Publication Publication Date Title
US10401627B1 (en) Stacked display panels for image enhancement
US20160266391A1 (en) Head up display for vehicle and control method thereof
WO2020139915A1 (en) Head mounted display calibration using portable docking station with calibration target
CN110658914B (zh) 边界区域的闪烁追踪
US10854583B1 (en) Foveated rendering display devices and methods of making the same
JP7086273B2 (ja) 空中映像表示装置
US10775625B2 (en) Real time algorithmic calibration and compensation of virtual and augmented reality systems and optimized semi-transparent and transparent retroreflective display systems and methods
US10528128B1 (en) Head-mounted display devices with transparent display panels for eye tracking
US11841502B2 (en) Reflective polarizer for augmented reality and virtual reality display
US11675206B1 (en) Display with a resolution enhanced region
JP7403626B2 (ja) 空中映像表示装置
JP7106022B1 (ja) 空中映像表示装置及び空中映像表示方法
WO2019179162A1 (en) Augmented reality display device and method, and head-mounted augmented reality device
US11579683B2 (en) Wearable device and control method therefor
US10674141B1 (en) Apparatuses, systems, and methods for determining interpupillary distances of head-mounted displays
US10921499B1 (en) Display devices and methods for processing light
JP2018090170A (ja) ヘッドアップディスプレイシステム
JP2017146337A (ja) 空中映像表示装置
KR20220147091A (ko) 고해상도 액정 디스플레이
US10706600B1 (en) Head-mounted display devices with transparent display panels for color deficient user
US10572731B1 (en) Infrared transparent backlight device for eye tracking applications
US10416445B1 (en) Lenses with consistent distortion profile
TWI691735B (zh) 近眼顯示裝置
WO2024157861A1 (ja) 空中像表示装置
US20240320906A1 (en) Gaze-aware tone mapping with adaptive sparkles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination