CN117981297A - 显示控制装置、平视显示装置及显示控制方法 - Google Patents
显示控制装置、平视显示装置及显示控制方法 Download PDFInfo
- Publication number
- CN117981297A CN117981297A CN202280063490.2A CN202280063490A CN117981297A CN 117981297 A CN117981297 A CN 117981297A CN 202280063490 A CN202280063490 A CN 202280063490A CN 117981297 A CN117981297 A CN 117981297A
- Authority
- CN
- China
- Prior art keywords
- image
- depth value
- eye position
- display
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 149
- 238000001514 detection method Methods 0.000 claims abstract description 119
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims description 98
- 230000008859 change Effects 0.000 claims description 70
- 230000015654 memory Effects 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 27
- 230000009471 action Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003702 image correction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/346—Image reproducers using prisms or semi-transparent mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供一种显示控制装置、平视显示装置及显示控制方法,其实现不易带给观察者违和感。其中,处理器获取包含用户人眼位置、人脸位置及人脸朝向中的至少一项的人眼位置相关信息,显示AR虚像(V60),为了调整AR虚像(V60)的显示位置,执行人眼追踪性图像修正处理,即,至少基于人眼位置相关信息对显示装置(40)中显示的图像的位置进行修正,在判定为人眼位置相关信息或人眼位置相关信息的检测动作满足预设的2D条件的情形下,将3D图像切换至2D图像。
Description
技术领域
本发明涉及一种应用在车辆等移动体中将图像重叠至移动体前方景象(从乘车人员的角度所看到的移动体前行方向的实景)上以供视觉观察的显示控制装置、平视显示装置及显示控制方法等。
背景技术
专利文献1中记载有一种平视显示装置(虚像显示装置的一个示例),通过将投射至车辆前挡风玻璃等被投影部的显示光朝向车辆内侧的乘车人员(观察者)反射,而供观察者视觉观察虚像。专利文献1中尤其记载有一种平视显示装置,通过使虚像感知距离(观察者所感知到的与虚像间的距离)发生变化,从而识别车辆的速度状况。图像(虚像)在从观察者观察的角度向近侧移动或向远侧移动,能够引起观察者视觉上的注意,或者能够在所显示的图像上附加距离方面的信息。这样使感知距离发生变化的平视显示装置在内部设有立体显示装置。
立体显示装置例如有应用透镜阵列等的方法(柱状透镜方式,例如参照专利文献2)、应用视差屏障的方法(视差屏障方式,例如参照专利文献3)或视差图像分时显示方式(例如参照专利文献4、5及6)等。
这些方法方式通过使左视点图像的显示光朝向左眼所在的位置,使右视点图像的显示光朝向右眼所在的位置来视觉观察具有视差的左视点图像及右视点图像并融合图像,以此改变虚像的感知距离。
现有技术文献
专利文献
专利文献1:日本专利特开2019-127065号公报
专利文献2:日本专利特开2006-115198号公报
专利文献3:日本专利特开2014-150304号公报
专利文献4:日本专利特开2011-107382号公报
专利文献5:日本专利特开2000-236561号公报
专利文献6:日本专利特开2000-4452号公报
发明内容
发明要解决的课题
然而,已知如上所述的立体显示装置会发生串扰。串扰是指从一个视点观察时本应观察到的视点图像和与其不同的视点图像(典型的是应在相邻视点观察到的视点图像)被同时观察到的现象,会观察到多个视点图像重叠的重影。
本说明书中公开的特定技术方案的概要如下所示。应理解,这些形态仅仅是为了向读者提供这些特定技术方案的概要而提出,并不限定该公开的范围。实际上本发明可包括未记载在下文中的各种形态。
本发明的概要涉及实现不易视觉观察到串扰的事项。更具体而言,涉及提供显示控制装置、平视显示装置及显示控制方法等的事项,其显示的图像不易视觉观察到串扰且不易带给观察者违和感。
用于解决课题的手段
因此,为了解决所述课题,本说明书记载的显示控制装置、平视显示装置及显示控制方法等采用了以下手段。本技术方案的主旨在于基于包含用户人眼位置、人脸位置及人脸朝向中的至少一项的人眼位置相关信息或人眼位置相关信息的检测动作,快速将3D图像(FU10)切换至所述2D图像(FU30)。
因此,本发明第一技术方案的显示控制装置,执行显示图像的显示器及平视显示装置中的显示控制,所述平视显示装置通过将显示器显示的图像的光投影至被投影部而使图像的虚像重叠至前方景象供车辆用户视觉观察,并且所述显示控制装置具备:一个或多个处理器;存储器;以及一个或多个计算机程序,其保存在存储器中,且构成为由一个或多个处理器执行;并且,处理器在平视显示装置中显示2D图像及可立体观测的3D图像,获取包含用户人眼位置或人脸位置中的至少一项的人眼位置相关信息,并基于人眼位置相关信息,判定人眼位置相关信息或人眼位置相关信息的检测动作是否满足预设的2D条件,在判定为满足2D条件的情形下,执行将3D图像切换至2D图像的2D切换处理。本发明第一技术方案具有如下优点:通过基于包含用户人眼位置或人脸位置中的至少一项的人眼位置相关信息,对可能发生串扰的状况进行推测或预测,并将3D图像切换至2D图像,从而难以视觉观察到串扰。或者也可推断出如下优点:即使在视觉观察到串扰的情况下也能够实现重影的偏差较小。
另外,第一技术方案的其他显示控制装置中,处理器在平视显示装置中显示2D图像及可立体观测的3D图像,获取包含用户人脸朝向的人眼位置相关信息,并基于人眼位置相关信息,判定人眼位置相关信息或人眼位置相关信息的检测动作是否满足预设的2D条件,在判定为满足2D条件的情形下,执行将3D图像切换至2D图像的2D切换处理。本发明第一技术方案具有如下优点:通过基于包含用户人脸朝向的人眼位置相关信息对可能发生串扰的状况进行推测或预测,并将3D图像切换至2D图像,从而难以视觉观察到串扰。或者也可推断出如下优点:即使在视觉观察到串扰的情况下也能够实现重影的偏差较小。
另外,其他第一技术方案的显示控制装置中,处理器在平视显示装置中显示2D图像及可立体观测的3D图像,获取包含用户人眼位置、人脸位置及人脸朝向中的至少一项的人眼位置相关信息,判定人眼位置相关信息的检测动作是否满足预设的2D条件,在判定为满足2D条件的情形下,执行将3D图像切换至2D图像的2D切换处理。本发明第一技术方案具有如下优点:通过基于包含用户人眼位置或人脸位置中的至少一项的人眼位置相关信息,对可能发生串扰的状况进行推测或预测,并将3D图像切换至2D图像,从而难以视觉观察到串扰。或者也可推断出如下优点:即使在视觉观察到串扰的情况下也能够实现重影的偏差较小。
根据能够附属于第一技术方案的第二技术方案,2D条件包括以下至少任一项:人眼位置、人脸位置及人脸朝向中的至少一项的变化速度条件;人眼位置、人脸位置及人脸朝向中的至少一项的坐标条件;以及人眼位置、人脸位置及人脸朝向中的至少一项的移动时间条件。该情形下,根据人眼位置、人脸位置及人脸朝向中的至少一项的变化速度条件、坐标条件或移动时间条件,能够对可能视觉观察到与人眼位置不匹配的图像的状况进行推测,并切换至2D图像。
根据能够附属于第一技术方案的第三技术方案,2D条件包括以下至少任一项:人眼位置、人脸位置及人脸朝向中的至少一项的变化速度较快;人眼位置、人脸位置及人脸朝向中的至少一项的坐标处于预设范围内;以及人眼位置、人脸位置及人脸朝向中的至少一项连续变化。该情形下具有如下优点:能够以人眼位置、人脸位置及人脸朝向中的至少一项的变化速度较快为条件,切换至右视点图像与左视点图像不易产生偏差的2D图像。例如,如果变化速度快于预设的阈值,则切换至右视点图像与左视点图像不易产生偏差的2D图像。并且,该情形下具有如下优点:能够以人眼位置、人脸位置及人脸朝向中的至少一项的坐标处于预设范围内为条件,切换至右视点图像与左视点图像不易产生偏差的2D图像。例如,如果处于容易导致人眼位置的检测误差扩大(检测精度降低)或发生误检测的预设范围,则切换至2D图像。并且,该情形下具有如下优点:能够以检测到人眼位置、人脸位置及人脸朝向中的至少一项连续变化为条件而切换至2D图像。例如,在检测到人眼位置朝一个方向连续变化的情形下,切换至2D图像。
根据能够附属于第三技术方案的第四技术方案,人眼位置相关信息的检测动作的条件包括以下至少任一项:人眼位置、人脸位置及人脸朝向中的至少一项无法检测;以及检测到人眼位置、人脸位置及人脸朝向中的至少一项的检测精度降低。该情形下具有如下优点:能够以人眼位置、人脸位置及人脸朝向中的至少一项无法检测为条件而切换至2D图像。并且,该情形下具有如下优点:能够以检测到人眼位置、人脸位置及人脸朝向中的至少一项的检测精度降低为条件而切换至2D图像。
根据能够附属于第一至第四技术方案的第五技术方案,处理器在判定为满足2D条件的情形下,在2D切换处理中,将具有深度值的3D图像瞬间切换至不具有深度值的2D图像,在判定为满足预设的3D条件的情形下,进一步执行3D切换处理,所述3D切换处理是从2D图像开始伴随时间经过而阶段性地或连续地逐渐加大深度值,直到变为具有先前深度值的3D图像。该情形下具有如下优点:通过在推测出可能发生串扰的满足2D条件的情形下快速切换至2D图像,而能够提前防止观察者视觉观察到重影(或偏差较大的重影),并且能够减少恢复成3D图像时图像深度急剧变化带给观察者的违和感。
根据能够附属于第一至第四技术方案的第六技术方案,处理器在判定为满足2D条件的情形下,在2D切换处理中,将具有第一深度值的第一3D图像、及具有大于第一深度值的第二深度值的第二3D图像,切换至不具有深度值的2D图像,处理器进一步执行第一3D切换处理及第二3D切换处理,所述第一3D切换处理是从2D图像开始伴随时间经过而阶段性地或连续地以第一变化速度逐渐加大深度值,直到变为具有先前第一深度值的第一3D图像,所述第二3D切换处理是从2D图像开始伴随时间经过而阶段性地或连续地以第二变化速度逐渐加大深度值,直到变为具有先前第二深度值的第二3D图像,第二变化速度快于第一变化速度。在以相同变化速度使深度值变化的情形下,会导致达到先前深度值的时间根据深度值的深度呈线性增加。根据第六技术方案,具有如下优点:对于先前深度值较大的3D图像,能够缩短达到先前深度值的时间。并且也能推断出如下优点:能够缩短达到深度值较大的3D图像的时间与达到深度值较小的3D图像的时间之间的差。另外,该情形下,在判定为满足预设的3D条件的情形下,第一3D切换处理与第二3D切换处理可同时开始。
根据能够附属于第一至第四技术方案的第七技术方案,处理器在判定为满足2D条件的情形下,在2D切换处理中,将具有第一深度值的第一3D图像、及具有大于第一深度值的第二深度值的第二3D图像,切换至不具有深度值的2D图像,处理器进一步执行第一3D切换处理及第二3D切换处理,所述第一3D切换处理是从2D图像开始伴随时间经过而阶段性地或连续地逐渐加大深度值,直到变为具有先前第一深度值的第一3D图像,所述第二3D切换处理是从2D图像开始伴随时间经过而阶段性地或连续地逐渐加大深度值,直到变为具有先前第二深度值的第二3D图像,在判定为满足预设的3D条件的情形下,是开始第二3D切换处理后再开始第一3D切换处理。该情形下也能推断出如下优点:相较于第一3D切换处理与第二3D切换处理同时开始的情形,更易于从视觉上注意到各图像。
根据能够附属于第一至第四技术方案的第八技术方案,处理器在判定为满足2D条件的情形下,在2D切换处理中,将具有小于预设阈值的第一深度值的第一3D图像、及具有大于预设阈值的第二深度值的第二3D图像,切换至不具有深度值的2D图像,处理器进一步执行第三3D切换处理及第四3D切换处理,所述第三3D切换处理是从2D图像瞬间切换至具有先前第一深度值的第一3D图像,所述第四3D切换处理是从2D图像开始伴随时间经过而阶段性地或连续地逐渐加大深度值,直到变为具有先前第二深度值的第二3D图像。该情形下具有如下优点:深度值较小(与2D图像之间的深度差较小)的图像不易被察觉到深度值发生了变化,不易带来违和感,因此优先立刻变化至预设深度,而深度值较大(与2D图像之间的深度差较大)的图像易于被察觉深度值发生了变化,容易带来违和感,因此可考虑减少带给观察者的违和感进行显示,可提供灵活且便利的系统。
根据能够附属于第一至第四技术方案的第九技术方案,处理器在判定为满足2D条件的情形下,在2D切换处理中,不将具有小于预设阈值的第一深度值的第一3D图像切换至不具有深度值的2D图像,而将具有大于预设阈值的第二深度值的第二3D图像切换至不具有深度值的2D图像。该情形下具有如下优点:针对串扰引起的重影的图像偏差量较大的大深度值3D图像,能够有效地执行2D切换处理及3D切换处理。
根据第十技术方案的平视显示装置,具备:第一至第九技术方案中的任一项所述的显示控制装置;显示器,其射出显示光;以及中继光学系统,其使来自显示器的显示光朝向被投影部。由此能够获得所述优点。其他优点及较佳的方案特别记载在所述技术方案及所述说明中。
根据第十一技术方案,一种显示控制方法,其是显示图像的显示器及平视显示装置中的显示控制方法,所述平视显示装置通过将显示器显示的图像的光投影至被投影部而使图像的虚像重叠至前方景象供车辆用户视觉观察,所述显示控制方法包括:在平视显示装置中显示2D图像及可立体观测的3D图像;获取与用户人眼位置、人脸位置及人脸朝向中的至少一项的变化速度相关的信息;基于人眼位置相关信息,判定人眼位置相关信息或人眼位置相关信息的检测动作是否满足预设的2D条件;以及在判定为满足2D条件的情形下,执行将3D图像切换至2D图像的2D切换处理。由此能够获得所述优点。其他优点及较佳的方案特别记载在所述技术方案及所述说明中。
附图说明
图1是显示车辆用虚像显示系统应用在车辆中的应用例的图。
图2是显示平视显示装置的结构的图。
图3是显示本车行驶过程中观察者所视觉观察到的前方景象和与前方景象重叠显示的虚像的示例的图。
图4是示意性地显示HUD装置为3D-HUD装置的实施方式中虚像成像面所显示的左视点虚像及右视点虚像、与观察者根据这些左视点虚像及右视点虚像所感知到的感知图像(3D图像)之间的位置关系的图。
图5是示意性地显示HUD装置为3D-HUD装置的实施方式中虚像成像面所显示的左视点虚像及右视点虚像、与观察者根据这些左视点虚像及右视点虚像所感知到的感知图像(2D图像)之间的位置关系的图。
图6是一些实施方式的车辆用虚像显示系统的框图。
图7A是显示基于观察者人眼位置、人脸位置或人脸朝向的检测结果执行切换至3D图像或2D图像的2D切换处理及3D切换处理的方法的流程图。
图7B是接图7A的流程图。
图8是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
图9是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
图10是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
图11是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
图12是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
图13是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
图14是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
图15是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
符号说明
1 :车辆;
2 :被投影部;
5 :仪表板;
10 :车辆用显示系统;
20 :平视显示装置(HUD装置);
21 :出光窗;
22 :壳体;
24 :光源单元;
28 :第一致动器;
29 :第二致动器;
30 :显示控制装置;
31 :I/O接口;
33 :处理器;
35 :图像处理电路;
37 :存储器;
40 :显示装置;
50 :显示器;
51 :空间光调制元件;
52 :光学层;
60 :光源单元;
80 :中继光学系统;
126 :特征点检测部;
200 :眼盒;
205 :中心;
401 :车辆ECU;
403 :道路信息数据库;
405 :本车位置检测部;
407 :操作检测部;
409 :人脸检测部;
411 :车外传感器;
413 :亮度检测部;
417 :便携式信息终端;
419 :外部通信设备;
502 :人眼位置检测模块;
504 :人眼位置推测模块;
506 :人眼位置预测模块;
508 :人脸检测模块;
510 :判定模块;
512 :车辆状态判定模块;
514 :图像深度控制模块;
516 :人眼追踪性图像处理模块;
518 :图形模块;
520 :光源驱动模块;
522 :致动器驱动模块;
700 :人眼位置;
D10 :成像距离;
D21 :距离;
D22 :距离;
D31 :第一感知距离;
D32 :第二感知距离;
D33 :距离;
DP :深度值;
DP10 :第一深度值(深度值);
DP20 :第二深度值(深度值);
DPth :阈值;
FU :感知图像;
FU1 :第一内容图像;
FU10 :3D图像;
FU11 :第一3D图像;
FU12 :第二3D图像;
FU2 :第二内容图像;
FU30 :2D图像;
K10 :左眼用显示光(显示光);
K20 :右眼用显示光(显示光);
V10 :左视点图像(虚像);
V11 :第一左视点内容图像;
V12 :第二左视点内容图像;
V13 :第三左视点内容图像;
V20 :右视点图像(虚像);
V21 :第一右视点内容图像;
V22 :第二右视点内容图像;
V23 :第三右视点内容图像;
VS :虚像显示区域;
Vx :变化速度;
Vy :变化速度;
t :周期时间;
ΔPx :变化量;
ΔPy :变化量。
具体实施方式
下面通过图1至图15提供对作为示例的车辆用显示系统的构成及动作的说明。另外,本发明并不由以下实施方式(也包括附图内容)限定。当然,可以对下述实施方式作出变更(也包括删除构件)。另外,以下说明中,为了便于理解本发明,会适当省略对公知的技术性事项的说明。
参照图1。图1是显示包括视差式3D-HUD装置的车辆用虚像显示系统的构成的一个示例的图。另外,图1中,以车辆(移动体的一个示例)1的左右方向(换言之就是车辆1的宽度方向)为X轴(X轴的正方向是车辆1朝前方时的左方向),以沿与左右方向正交且与地面或相当于地面的面(此处为路面6)正交的线段的上下方向(换言之就是车辆1的高度方向)为Y轴(Y轴的正方向为上方向),以沿分别与左右方向及上下方向正交的线段的前后方向为Z轴(Z轴的正方向为车辆1的直线前行方向)。这一点在其他附图中也一样。
如图所示,车辆(移动体的一个示例)1所具备的车辆用显示系统10由如下构件等构成:对观察者(典型的是坐在车辆1驾驶位的驾驶员)的左眼700L及右眼700R的位置和视线方向进行检测的瞳孔(或人脸)检测用人脸检测部409;由对车辆1前方(广义上是周围)进行拍摄的相机(例如立体摄影机)等构成的车外传感器411;平视显示装置(下文中也称为HUD装置)20;以及控制HUD装置20的显示控制装置30。
图2是显示平视显示装置结构的一个形态的图。HUD装置20例如设置在仪表板(图1的符号5)内。该HUD装置20具有:立体显示装置(显示器的一个示例)40;中继光学系统80;及壳体22,该壳体22对这些显示装置40及中继光学系统80进行收纳,并具有能够将来自显示装置40的显示光K从内部向外部射出的出光窗21。
显示装置40在此处是视差式3D显示装置。该显示装置(视差式3D显示装置)40由如下构件构成:显示器50,其是采用了多视点图像显示方式的裸眼立体显示装置,所述多视点图像显示方式通过视觉观察左视点图像及右视点图像而能够控制进深表现;以及光源单元60,其作为背光发挥作用。
显示器50具有:空间光调制元件51,其对来自光源单元60的照明光进行光调制从而生成图像;以及光学层(光线分离部的一个示例)52,其例如具有柱状透镜和视差屏障等,将从空间光调制元件51射出的光,分离成用于左眼的光线K11、K12及K13等左眼用显示光(图1的符号K10)和用于右眼的光线K21、K22及K23等右眼用显示光(图1的符号K20)。光学层52包括柱状透镜、视差屏障、透镜阵列及微透镜等光学滤光器。但是这是一个示例,并不受限定。光学层52的实施方式并不限定于如上所述的光学滤光器,只要能够从空间光调制元件51射出的光中生成左眼用显示光(图1的符号K10)及右眼用显示光(图1的符号K20),则包括配置在空间光调制元件51正面或背面的所有形态的光学层。光学层52的一些实施方式可以是通过受到电性控制而从空间光调制元件51射出的光中生成左眼用显示光(图1的符号K10)及右眼用显示光(图1的符号K20)的光学层,例如可列举液晶透镜等。即,光学层52的实施方式可包括受电性控制的光学层和不受电性控制的光学层。
另外,显示装置40也可替代掉光学层(光线分离部的一个示例)52或者在此基础之上,用指向性背光单元(光线分离部的一个示例)构成光源单元60,以此来射出用于左眼的光线K11、K12及K13等左眼用显示光(图1的符号K10)和用于右眼的光线K21、K22及K23等右眼用显示光(图1的符号K20)。具体而言,例如,下述显示控制装置30通过在指向性背光单元射出朝向左眼700L的照明光时,使空间光调制元件51显示左视点图像,使得用于左眼的光线K11、K12及K13等左眼用显示光K10朝向观察者的左眼700L,通过在指向性背光单元射出朝向右眼700R的照明光时,使空间光调制元件51显示右视点图像,使得用于右眼的光线K21、K22及K23等右眼用显示光K20朝向观察者的左眼700R。但是,上述指向性背光单元的实施方式是一个示例,并不受限定。
下述显示控制装置30例如可通过执行图像渲染处理(图形处理)和显示器驱动处理等,使左视点图像V10的左眼用显示光K10朝向观察者的左眼700L,使右视点图像V20的右眼用显示光K20朝向右眼700R,通过调整左视点图像V10及右视点图像V20,控制HUD装置20显示的(观察者感知到的)感知图像FU的形态。另外,下述显示控制装置30可以控制显示器(显示器50)生成光场,所述光场将从存在于一定空间的点等位置朝各个方向输出的光线直接(大体上)再现。
中继光学系统80具有曲面镜(凹面镜等)81、82,其等对来自显示装置40的光进行反射,使图像的显示光K10、K20投影至挡风玻璃(被投影部)2。但是也可以进一步具有其他光学部件(包括透镜等折射光学部件、全息图等衍射光学部件、反射光学部件或其等的任意组合)。
图1中,HUD装置20的显示装置40显示左右眼分别有视差的图像(视差图像)。如图1所示,各视差图像是以在虚像显示面(虚像成像面)VS上成像的V10、V20的形式显示。观察者(人)的每只眼睛的焦点是根据虚像显示区域VS的位置进行调节。另外,虚像显示区域VS的位置称为“调节位置(或成像位置)”,另外,预设的标准位置(例如HUD装置20的眼盒200的中心205、观察者的视点位置或车辆1的特定位置等)与虚像显示区域VS之间的距离(参照图4的符号D10)称为“调节距离(成像距离)”。
但是,实际上人脑会对各图像(虚像)进行图像融合,因此人会辨识到感知图像(此处是用于导航的箭头的图形)FU是显示在比调节位置更处于进深侧的位置(例如由左视点图像V10与右视点图像V20的会聚角确定的位置,会聚角越小,则会感知到处于离观察者越远的位置)。另外,感知图像FU有时被称为“立体虚像”,另外,从广义上对“图像”加以考究而也包括虚像的情形下,也能称为“立体图像”。另外有时也称为“立体像”,“3D显示”等。另外,HUD装置20并不限定于如图1所示那样在比调节位置更靠进深侧感知到感知图像FU,也能够以在比调节位置更处于面前侧的位置视觉观察到感知图像FU的方式显示左视点图像V10及右视点图像V20。
接下来参照图3及图4。图3是显示车辆1行驶过程中观察者所视觉观察到的前方景象和与所述前方景象重叠显示的感知图像的实例的图。图4是示意性地显示虚像成像面所显示的左视点虚像及右视点虚像、与观察者根据这些左视点虚像及右视点虚像所立体观测到的感知图像(3D图像)之间的位置关系的图。
图3中,车辆1在直线状的道路(路面)6上行驶。HUD装置20设置在仪表板5内。从HUD装置20的出光窗21将显示光K(K10、K20)投影至被投影部(车辆1的前挡风玻璃)2。图3的示例中,与路面6重叠显示指示车辆1的路线(此处表示直线前行)的第一内容图像FU1、及同样指示车辆1的路线(此处表示直线前行)且在比第一内容图像FU1更远处被感知的第二内容图像FU2。
如图4的左图所示:(1)HUD装置20按照供被投影部2向人脸检测部409检测到的左眼700L进行反射的位置及角度,向被投影部2射出左眼用显示光K10,在从左眼700L看到的虚像显示区域VS的预设位置,形成第一左视点内容图像V11;(2)HUD装置20按照供被投影部2向右眼700R进行反射的位置及角度,向被投影部2射出右眼用显示光K20,在从右眼700R看到的虚像显示区域VS的预设位置,形成第一右视点内容图像V21。根据具有视差的第一左视点内容图像V11及第一右视点内容图像V21感知到的第一内容图像(3D图像)FU11会在与虚像显示区域VS之间具有距离D21的进深侧的位置(与上述标准位置之间相隔距离D31的位置)被视觉观察到。
同样,如图4的右图所示:(1)HUD装置20按照供被投影部2向人脸检测部409检测到的左眼700L进行反射的位置及角度,向被投影部2射出左眼用显示光K10,在从左眼700L看到的虚像显示区域VS的预设位置,形成第二左视点内容图像V12;(2)HUD装置20按照供被投影部2向右眼700R进行反射的位置及角度,向被投影部2射出右眼用显示光K20,在从右眼700R看到的虚像显示区域VS的预设位置,形成第二右视点内容图像V22。根据具有视差的第二左视点内容图像V12及第二右视点内容图像V22感知到的第二内容图像(3D图像)FU12会在与虚像显示区域VS之间具有距离D22的进深侧的位置(与上述标准位置之间相隔距离D32的位置)被视觉观察到。
具体而言,上述标准位置与虚像显示区域VS之间的距离(成像距离D10)例如设定为“4m”的距离,上述标准位置与图4左图所示的第一内容图像FU1之间的距离(第一感知距离D31)例如设定为“7m”的距离,上述标准位置与图4右图所示的第二内容图像FU2之间的距离(第二感知距离D32)例如设定为“10m”的距离。但是,这是一个示例,并不受限定。
图5是示意性地显示虚像成像面所显示的左视点虚像及右视点虚像、与观察者根据这些左视点虚像及右视点虚像视觉观察到的感知图像(2D图像)之间的位置关系的图。在供观察者感知2D图像时,左视点内容图像V10及右视点内容图像V20与感知3D图像的情况不同,其等为相同画像(换言之就是指用于供观察者感知2D图像的左视点内容图像V10与右视点内容图像V20之间,不具有用于感知3D图像的视差)。
如图5所示:(1)HUD装置20按照供被投影部2向人脸检测部409检测到的左眼700L进行反射的位置及角度,向被投影部2射出左眼用显示光K10,在从左眼700L看到的虚像显示区域VS的预设位置,形成第三左视点内容图像V13;(2)HUD装置20按照供被投影部2向右眼700R进行反射的位置及角度,向被投影部2射出右眼用显示光K20,在从右眼700R看到的虚像显示区域VS中与第三左视点内容图像V13大体相同的位置,形成第三右视点内容图像V23。根据不具有视差的相同图像即第三左视点内容图像V13及第三右视点内容图像V23感知到的第三内容图像(2D图像)FU30会在与虚像显示区域VS相同的位置(与上述标准位置之间相隔距离D33(=D10)的位置)被视觉观察到。
图6是一些实施方式所涉及的车辆用虚像显示系统的框图。显示控制装置30具备:一个或多个I/O接口31;一个或多个处理器33;一个或多个图像处理电路35;及一个或多个存储器37。图6所记载的各种功能块可由硬件、软件或这两者的组合构成。图6不过是一个实施方式,图示的构件可组合成数量更少的构件,或也可以有追加的构件。例如,图像处理电路35(例如图形处理单元)可包含在一个或多个处理器33中。
如图所示,处理器33及图像处理电路35与存储器37连结而能够工作。更具体而言,处理器33及图像处理电路35通过执行储存在存储器37中的计算机程序,例如能够进行图像数据的生成及/或发送等对车辆用显示系统10(显示装置40)的控制。处理器33及/或图像处理电路35可包括至少一个通用微处理器(例如中央处理装置(CPU))、至少一个特定用途集成电路(ASIC)、至少一个现场可编程门阵列(FPGA)或其等的任意组合。存储器37包括:任意类型的磁性介质,如硬盘;任意类型的光学介质,如CD及DVD;任意类型的半导体存储器,如易失性存储器;及非易失性存储器。易失性存储器可包括DRAM及SRAM,非易失性存储器可包括ROM及NVRAM。
如图所示,处理器33与I/O接口31连结而能够工作。I/O接口31例如根据CAN(Controller Area Network)的标准,与设在车辆中的下述车辆ECU401及/或其他电子设备(下述符号403~419)进行通信(也称为CAN通信)。另外,I/O接口31所采用的通信标准并不限定于CAN,例如包括:CANFD(CAN with Flexible Data Rate)、LIN(Local InterconnectNetwork)、Ethernet(注册商标)、MOST(Media Oriented Systems Transport:MOST为注册商标)、UART或USB等有线通信接口、或者例如Bluetooth(注册商标)网络等个人局域网(PAN)、802.11x Wi-Fi(注册商标)网络等局域网(LAN)等几十米内的近距离无线通信接口的车内通信(内部通信)接口。另外,I/O接口31也可包括使用无线广域网(WWAN0、IEEE802.16-2004(WiMAX:Worldwide Interoperability for Microwave Access))、IEEE802.16e base(Mobile WiMAX)、4G、4G-LTE、LTE Advanced、5G等蜂窝通信标准的广域通信网(例如互联网通信网)等车外通信(外部通信)接口。
如图所示,处理器33与I/O接口31连结而能够协同工作,由此能够与车辆用显示系统10(I/O接口31)所连接的各种其他电子设备等进行信息收发。例如,车辆ECU401、道路信息数据库403、本车位置检测部405、操作检测部407、人脸检测部409、车外传感器411、亮度检测部413、IMU415、便携式信息终端417及外部通信设备419等与I/O接口31连结而能够工作。另外,I/O接口31也可包括对从车辆用显示系统10所连接的其他电子设备等接收的信息进行加工(转换、运算、解析)的功能。
显示装置40与处理器33及图像处理电路35连结而能够工作。因此,由空间光调制元件51显示的图像也可基于从处理器33及/或图像处理电路35接收的图像数据进行显示。处理器33及图像处理电路35基于从I/O接口31获取的信息,对空间光调制元件51显示的图像进行控制。
人脸检测部409可包括对坐在车辆1驾驶位的观察者的人眼位置700(参照图1)进行检测的红外线相机等相机,并将拍摄的图像输出至处理器33。处理器33可从人脸检测部409获取拍摄图像(可推测人眼位置700的信息的一个示例),并利用图像匹配等方法对该拍摄图像进行解析,由此检测观察者人眼位置700的坐标,并将表示检测出的人眼位置700的坐标的信号输出至处理器33。
另外,人脸检测部409也可将解析相机拍摄图像得到的解析结果(例如表示观察者人眼位置700属于预先设定的多个显示参数所对应的空间区域的哪个位置的信号)输出至处理器33。另外,获取车辆1观察者人眼位置700或可推测观察者人眼位置700的信息的方法并不限定于此,也可使用已知的人眼位置检测(推测)技术来获取。
另外,人脸检测部409可对观察者人眼位置700的变化速度及/或移动方向进行检测,并将表示观察者人眼位置700的变化速度及/或移动方向的信号输出至处理器33。
另外,人脸检测部409可在检测到下述信号(11)、(12)、(13)的情形下,判定为满足预设的2D条件,并将表示该状态的信号输出至处理器33,即:(11)表示新检测到的人眼位置700相对于之前检测到的人眼位置700而超过存储器37中预先储存的人眼位置移动距离阈值(预设单位时间内的人眼位置移动大于规定范围)的信号;(12)表示人眼位置变化速度超过存储器37中预先储存的人眼位置变化速度阈值的信号;(13)表示检测到观察者人眼位置700的移动后无法检测到观察者人眼位置700的信号。
另外,人脸检测部409也可具有作为视线方向检测部的功能。视线方向检测部可包括对坐在车辆1驾驶位的观察者的人脸进行拍摄的红外线相机或可见光相机,并将所拍摄的图像输出至处理器33。处理器33从视线方向检测部获取拍摄图像(可推测视线方向的信息的一个示例),并解析该拍摄图像,从而能够确定观察者的视线方向(及/或所述注视位置)。另外,视线方向检测部可对来自相机的拍摄图像进行解析,并将表示解析结果即观察者视线方向(及/或所述注视位置)的信号输出至处理器33。另外,获取可推测车辆1观察者视线方向的信息的方法并不限定于此,也可利用EOG(Electro-oculogram,眼动电流图)法、角膜反射法、巩膜反射法、浦肯野图像检测法、搜索线圈法、红外眼底相机法等其他已知的视线方向检测(推测)技术来获取。
车外传感器411对存在于车辆1周边(前方、侧方及后方)的实物进行检测。车外传感器411检测的实物例如可包括:障碍物(行人、自行车、自动二轮车及其他车辆等)、下述行驶车道的路面、划分线、路边物体及/或地面物体(建筑物等)等。车外传感器例如由检测单元及处理装置构成,所述检测单元包括毫米波雷达、超声波雷达、激光雷达等雷达传感器、相机或其等的任意组合,所述处理装置对来自该一个或多个检测单元的检测数据进行处理(数据融合)。关于利用这些雷达传感器和相机传感器进行的物体检测是应用先前的公知方法。通过利用这些传感器进行物体检测,可检测出三维空间内是否有实物以及在有实物时该实物的位置(与车辆1之间的相对距离、以车辆1前进方向为前后方向时左右方向的位置、上下方向的位置等)、大小(横向(左右方向)、高度方向(上下方向)等的大小)、移动方向(横向(左右方向)、进深方向(前后方向))、变化速度(横向(左右方向)、进深方向(前后方向))及/或实物的类型等。一个或多个车外传感器411可在各传感器的每个检测周期对车辆1前方的实物进行检测,并将作为实物信息的一个示例的实物信息(实物有无、有实物时每个实物的位置、大小及/或类型等信息)输出至处理器33。另外,这些实物信息也可经由其他设备(例如车辆ECU401)发送至处理器33。另外,使用相机作为传感器时,优选使用红外线相机或近红外线相机,以便在夜间等周边较暗时也能检测实物。另外,使用相机作为传感器时,优选使用还能够根据视差获取距离等的立体摄影机。
存储器37中储存的软件构件包括:人眼位置检测模块502、人眼位置推测模块504、人眼位置预测模块506、人脸检测模块508、判定模块510、车辆状态判定模块512、图像深度控制模块514、人眼追踪性图像处理模块516、图形模块518、光源驱动模块520及致动器驱动模块522等。
图7A及图7B是显示基于观察者人眼位置、人脸位置或人脸朝向的检测结果执行2D切换处理的方法S100的流程图。方法S100是在包括空间光调制元件的HUD装置20和对该HUD装置20进行控制的显示控制装置30中执行。以下所示的方法S100的几个动作可任意选择组合,几个动作的顺序可任意选择变更,几个动作可任意选择省略。
首先,显示控制装置30(处理器33)获取表示观察者人眼位置700、人脸位置(未图示)或人脸朝向(未图示)的信息(步骤S110)。
(步骤S110的一个示例)
一些实施方式的步骤S110中,显示控制装置30(处理器33)通过执行图6的人眼位置检测模块502,从而通过人脸检测部409检测观察者的人眼位置700(获取表示人眼位置700的人眼位置相关信息)。人眼位置检测模块502包括用于执行与下述事项相关的各种动作的各种软件构件,即:对表示观察者人眼位置700的坐标(X、Y轴方向的位置,是人眼位置相关信息的一个示例)进行检测;对表示观察者人眼高度的坐标(Y轴方向的位置,是人眼位置相关信息的一个示例)进行检测;对表示观察者人眼高度及进深方向的位置的坐标(Y及Z轴方向的位置,是人眼位置相关信息的一个示例)进行检测;及/或对表示观察者人眼位置700的坐标(X、Y、Z轴方向的位置,是人眼位置相关信息的一个示例)进行检测。
另外,人眼位置检测模块502检测的人眼位置700可包括右眼及左眼各自的位置700R、700L、右眼位置700R及左眼位置700L中预先确定的一者的位置、右眼位置700R及左眼位置700L中可检测(易检测)的任一者的位置或者根据右眼位置700R及左眼位置700L计算出的位置(例如右眼位置与左眼位置的中点)等。例如,人眼位置检测模块502在即将对显示设定进行更新的时机之前基于从人脸检测部409获取的观测位置确定人眼位置700。
另外,人脸检测部409可基于在每个预设的检测时机从人脸检测部409获取的多个观测位置,对观察者人眼位置700的移动方向及/或变化速度进行检测,并将表示观察者人眼位置700的移动方向及/或变化速度的信号输出至处理器33。
(步骤S110的一个示例)
另外,一些实施方式的显示控制装置30(处理器33)可通过执行人眼位置推测模块504,获取可推测人眼位置的信息(人眼位置相关信息的一个示例)。可推测人眼位置的信息(人眼位置相关信息的一个示例)例如有:从人脸检测部409获取的拍摄图像、车辆1驾驶位的位置、观察者的人脸位置、坐高高度或多个观察者的人眼的观测位置等。人眼位置推测模块504根据一个或多个可推测人眼位置的信息,对车辆1的观察者的人眼位置700进行推测。人眼位置推测模块504包括用于执行与下述事项相关的各种动作的各种软件构件,即:根据从人脸检测部409获取的拍摄图像、车辆1驾驶位的位置、观察者的人脸位置、坐高高度或多个观察者的人眼的观测位置等推测观察者人眼位置700等对观察者人眼位置700进行推测的事项。即,人眼位置推测模块504可包括用于根据可推测人眼位置的信息对观察者的人眼位置700进行推测的表格数据、运算公式等。
(步骤S110的一个示例)
另外,一些实施方式的显示控制装置30(处理器33)可通过执行人眼位置预测模块506,获取可预测观察者人眼位置700的信息。可预测观察者人眼位置700的信息例如是从人脸检测部409获取的最新的观测位置或者先前获取的一个或一个以上的观测位置等。人眼位置预测模块506包括用于执行与基于可预测观察者人眼位置700的信息对人眼位置700进行预测相关的各种动作的各种软件构件。具体而言,例如,人眼位置预测模块506对观察者视觉观察应用了新显示设定的图像的时机时观察者的人眼位置700进行预测。人眼位置预测模块506例如可使用最小二乘法或者卡尔曼滤波器、α-β滤波器或粒子滤波器等预测算法,使用之前的一个或一个以上的观测位置,对下一次的值进行预测。
(步骤S110的一个示例)
另外,一些实施方式的显示控制装置30(处理器33)可通过执行人脸检测模块508,获取表示人脸位置的人脸位置信息及表示人脸朝向的人脸朝向信息。人脸检测模块508获取从人脸检测部409获取的人脸区域检测数据(人脸位置信息的一个示例、人脸朝向信息的一个示例),根据所获取的人脸区域检测数据对人脸的特征点进行检测,并根据检测出的特征点的配置图案对表示观察者人脸位置的人脸位置信息及表示人脸朝向的人脸朝向信息进行检测。另外,人脸检测模块508也可获取特征点检测部126检测出的人脸特征点检测数据(人脸位置信息的一个示例、人脸朝向信息的一个示例),并利用所获取的人脸特征点检测数据对人脸位置信息、人脸朝向信息进行检测。另外,人脸检测模块508也可只获取人脸检测部409检测出的人脸位置信息、人脸朝向信息。人脸朝向检测处理例如使用基于多个人脸部位(例如眼睛、鼻子及嘴巴等)的位置关系计算出人脸朝向角度的方法。或者,例如,人脸朝向检测处理使用应用机械学习结果的方法(但是,人脸朝向检测处理并不限定于此)。具体而言,例如,人脸位置及人脸朝向以沿左右方向的X轴上的坐标及表示以X轴为中心的旋转方向的俯仰角、沿上下方向的Y轴上的坐标及表示以Y轴为中心的旋转方向的偏斜角、沿进深方向的Z轴上的坐标及表示以Z轴为中心的旋转方向的滚动角等所示的3轴方向位置及绕各轴旋转的角度的形式算出。
(步骤S120)
然后,显示控制装置30(处理器33)通过执行判定模块510,判定是否满足预设的2D条件(步骤S120)。
(步骤S130)
一些实施方式的步骤S120中,显示控制装置30(处理器33)通过执行图6的判定模块510,从而基于步骤S110中获取的人眼位置相关信息、人脸位置信息或人脸朝向信息,判定人眼位置700、人脸位置或人脸朝向是否满足预设的条件。另外,以下说明中,主要对使用人眼位置700和人脸位置进行的处理加以说明。人眼位置700及人脸位置是位置坐标系,人脸朝向的不同处仅在于角度坐标系,以下说明的使用人眼位置700(或人脸位置)的变化量及变化速度进行的处理也可应用到使用人脸朝向的变化量及变化速度进行的处理中,对使用人脸朝向进行的处理则省略说明。
图8是表示在每个预设的周期时间t(t1、t2、t3……t10)检测到的如下项(11)、(12)、(13)、(21)、(22)及(23)的表格,即:(11)上下方向的人眼位置700或人脸位置(或人脸朝向)Py(Y1、Y2、Y3……Y10);(12)上下方向的人眼位置700或人脸位置(或人脸朝向)的变化量ΔPy(Py1(=Y2-Y1)、Py2(=Y3-Y2)、Py3(=Y4-Y3)、……Py9(=Y10-Y9));(13)上下方向的人眼位置700或人脸位置(或人脸朝向)的变化速度Vy(Vy1(=Py1/Δt)、Vy2(=Py2/Δt)、Vy3(=Py3/Δt)、……Vy9(=Py9/Δt));(21)左右方向的人眼位置700或人脸位置(或人脸朝向)Px(X1、X2、X3……X10);(22)左右方向的人眼位置700或人脸位置(或人脸朝向)的变化量ΔPx(Px1(=X2-X1)、
Px2(=X3-X2)、Px3(=X4-X3)、……Px9(=X10-X9));及(23)左右方向的人眼位置700或人脸位置(或人脸朝向)的变化速度Vx(Vx1(=Px1/Δt)、Vx2(=Px2/Δt)、Vx3(=Px3/Δt)、……Vx9(=Px9/Δt))。
(步骤S131)
一些实施方式的步骤S130中,显示控制装置30(处理器33)通过执行图6的判定模块510,在人眼位置700或人脸位置(或人脸朝向)的变化速度Vx(Vy)较快的情形下,判定为满足预设的2D条件。例如,判定模块510可将人眼位置700或人脸位置(或人脸朝向)的变化速度Vx(Vy)与预先储存在存储器37中的(或用户在操作检测部407设定的)预设的第一阈值(未图示)进行比较,在人眼位置700或人脸位置(或人脸朝向)的变化速度Vx(Vy)快于所述预设的第一阈值的情形下,可判定为满足预设的2D条件(但是,变化速度的判定方法并不限定于此)。
(步骤S132)
另外,一些实施方式的步骤S130中,显示控制装置30(处理器33)通过执行图6的判定模块510,从而在人眼位置700或人脸位置(或人脸朝向)处于预先设定的第一范围(未图示)的情形下,判定为满足预设的2D条件。例如,判定模块510可将人眼位置700或人脸位置(或人脸朝向)Px(Py)与预先储存在存储器37中的预设的第一范围(未图示)进行比较,在人眼位置700或人脸位置(或人脸朝向)Px(Py)处于所述第一范围内的情形下,判定为满足预设的2D条件(但是,人眼位置700或人脸位置(或人脸朝向)的位置坐标或角度坐标的判定方法并不限定于此)。所述第一范围可设定为与预设的标准位置(未图示)相隔预设坐标的范围。即,所述第一范围被设定为如下范围及其等的任意组合之一,即:与眼盒200(所述预设的标准位置的一个示例)的中心205朝左方向(X轴负方向)相隔预设的X坐标的第一左范围、朝右方向(X轴正方向)相隔预设的X坐标的第一右范围、朝上方向(Y轴正方向)相隔预设的Y坐标的第一上范围、朝下方向(Y轴负方向)相隔预设的Y坐标的第一下范围。由此,所述第一范围可设定在远离眼盒200中心205的外沿或眼盒200的外侧。另外,另一实施方式中,判定模块510计算出人眼位置700或人脸位置(或人脸朝向)Px(Py)与预先储存在存储器37中的预设的标准位置(未图示)之间的差,在人眼位置700或人脸位置(或人脸朝向)Px(Py)与所述预设标准位置之间的差长于存储器37中预先储存的预设的第二阈值的情形下,则人眼位置700或人脸位置(或人脸朝向)Px(Py)是处于与所述预设的标准位置之间相隔大于等于所述第二阈值的第一范围内,可判定为满足预设的2D条件。其中,所述标准位置可设定为眼盒200的中心205。该情形下,如果人眼位置700或人脸位置(或人脸朝向)Px(Py)远离眼盒200的中心205,则判定模块510判定为满足预设的2D条件。另外,所述第一范围可随眼盒200的移动而变化。显示控制装置30(处理器33)例如可在通过控制第一致动器28及/或第二致动器29使眼盒200移动时,基于第一致动器28(及/或第二致动器29)的控制值,改变所述第一范围。
(步骤S133)
另外,一些实施方式的步骤S130中,显示控制装置30(处理器33)可通过执行图6的判定模块510,从而在根据人眼位置700或人脸位置(或人脸朝向)发生变化的第二范围(未图示)内检测到人眼位置700或人脸位置(或人脸朝向)的情形下,判定为满足预设的2D条件。
步骤S133中,图6的人眼位置推测模块504可基于人眼位置700或人脸位置(或人脸朝向)Px(Py)处于稳定状态而依次更新所述第二范围。所述第二范围可设定为与根据人眼位置700或人脸位置(或人脸朝向)发生变化的所述标准位置之间相隔预设坐标的范围。例如,人眼位置700或人脸位置(或人脸朝向)Px(Py)在大于等于1秒内处于大体相同位置的情形下,人眼位置推测模块504可判定为是稳定状态,并将当前人眼位置700或人脸位置(或人脸朝向)Px(Py)作为所述标准位置登记至存储器37中,将与所述标准位置相隔存储器37中预先储存的预设坐标(未图示)的范围设定为所述第二范围。另外,另一实施方式中,人眼位置700或人脸位置(或人脸朝向)Px(Py)在大于等于1秒内处于大体相同位置的情形下,人眼位置推测模块504可判定为是稳定状态,并将先前获取的多个人眼位置700或人脸位置(或人脸朝向)Px(Py)的平均值作为所述标准位置登记到存储器37中。例如,如果人眼位置700或人脸位置(或人脸朝向)Px(Py)的采样率为60samples/sec,平均周期为0.5sec,则在人眼位置700或人脸位置(或人脸朝向)Px(Py)在1秒内的60samples处于大体相同位置的情形下,人眼位置推测模块504可判定为是稳定状态,并将之前的0.5sec内获取的30个samples中最新的5个Samples的人眼位置700或人脸位置(或人脸朝向)Px(Py)的平均值作为所述标准位置登记到存储器37中。例如,判定模块510可计算出人眼位置700或人脸位置(或人脸朝向)Px(Py)与依次更新到存储器37中得以储存的所述预设标准位置之间的差,在人眼位置700或人脸位置(或人脸朝向)Px(Py)与所述预设标准位置之间的差长于存储器37中预先储存的预设的第三阈值的情形下,判定为满足预设的2D条件。
(步骤S134)
一些实施方式的步骤S130中,显示控制装置30(处理器33)可通过执行图6的判定模块510,从而在人眼位置700或人脸位置(或人脸朝向)朝一个方向连续变化的情形下,判定为满足预设的2D条件。判定模块510例如在检测到图8所示的左右方向的人眼位置700或人脸位置(或人脸朝向)的变化量ΔPx,以从Px2向右方向移动至Px3→从Px3向右方向移动至Px4的方式朝一个方向(此处是右方向)连续变化大于等于预设次数(例如两次)的情形下,可判定为满足所述预设的2D条件。
(步骤S141)
另外,一些实施方式中,图6的判定模块510可判定观察者人眼位置700(或人脸位置)是否处于不稳定状态,在判定为观察者人眼位置700(或人脸位置)处于不稳定状态的情形下,判定为满足所述预设的2D条件。判定模块510包括用于执行与如下事项相关的各种动作的各种软件构件,即,判定观察者人眼位置的稳定度是否较低(不稳定),在观察者人眼位置的稳定度较低的情形下,判定为不稳定状态(步骤S141)。即,判定模块510为了根据人眼位置700的检测信息、推测信息或预测信息,判定观察者人眼位置700是否处于不稳定状态,可包括阈值、表格数据、运算公式等。
(步骤S141的一个示例)
可以是如下方式:人眼位置检测模块502计算出在预设测定时间内从人脸检测部409获取的多个观测位置各自的位置数据的离散度,在人眼位置检测模块502计算出的离散度大于存储器37中预先储存的(或在操作检测部407中设定的)预设阈值的情形下,判定模块510判定为观察者人眼位置的稳定度较低(不稳定)。
(步骤S141的一个示例)
也可以是如下方式:人眼位置检测模块502计算出在预设测定时间内从人脸检测部409获取的多个观测位置各自的位置数据的偏差,在人眼位置检测模块502计算出的偏差大于存储器37中预先储存的(或在操作检测部407中设定的)预设阈值的情形下,判定模块510判定为观察者人眼位置的稳定度较低(不稳定)(非不稳定状态)。
(步骤S141的一个示例)
另外,还可以是如下方式:不使用步骤S141的离散度和偏差,人眼位置检测模块502可将眼盒200识别为多个子视场(例如沿上下方向分成5份且沿左右方向分成5份的25个的区域),在预设的每单位时间内,人眼位置700移动的所述子视场的数量大于预设阈值时,则判定为观察者人眼位置的稳定度较低(不稳定)(非不稳定状态)。
(步骤S141的一个示例)
另外,还可以是如下方式:每预设单位时间内人眼位置700移动的总距离(每单位时间内多次获取的多个观测位置间的距离的总和)长于预设阈值时,人眼位置检测模块502判定为观察者人眼位置的稳定度较低(不稳定)(非不稳定状态)。
(步骤S142)
另外,一些实施方式中,图6的判定模块510判定观察者人眼位置700的检测动作是否为不稳定状态,在判定为不稳定状态的情形下,判定为满足所述预设的2D条件。判定模块510包括用于执行与如下事项相关的各种动作的各种软件构件,即:(10)判定是否能检测观察者人眼位置700,在无法检测人眼位置700的情形下,判定为不稳定状态(步骤S142的一个示例);(20)判定是否能推测出观察者人眼位置700的检测精度下降,在能推测出人眼位置700的检测精度下降的情形下,判定为不稳定状态(步骤S142的一个示例);(30)判定观察者人眼位置700是否在眼盒200外,在眼盒200外的情形下,判定为不稳定状态(步骤S142的一个示例);(40)判定是否能推测出观察者人眼位置700处于眼盒200外,在能够推测出处于眼盒200外的情形下,判定为不稳定状态(步骤S142的一个示例);或(50)判定是否预测出观察者人眼位置700将处于眼盒200外,在预测出将处于眼盒200外的情形下,判定为不稳定状态(步骤S142的一个示例)。即,判定模块510为了根据人眼位置700的检测信息、推测信息或预测信息等判定观察者人眼位置700的检测动作是否处于不稳定状态,可包括阈值、表格数据、运算公式等。
(步骤S142的一个示例)
判定是否能检测观察者人眼位置700的方法包括根据如下项(1)、(2)、(3)或其等的任意组合,判定为无法检测观察者人眼位置700(观察者人眼位置700的检测处于不稳定状态)(但所述判定方法并不限定于此),即,(1)从人脸检测部409获得表示无法检测人眼位置700的信号;(2)在预设期间内从人脸检测部409获取的观察者人眼的观测位置的一部分(例如大于等于预设次数)或全部无法检测;(3)人眼位置检测模块502在常规动作中无法检测观察者人眼位置700。
(步骤S142的一个示例)
判定为观察者人眼位置700的检测精度下降的方法包括根据如下项(1)~(7)或其等的任意组合,判定为观察者人眼位置700的检测精度下降(但所述判定方法并不限定于此),即,(1)从人脸检测部409获得表示推测出人眼位置700的检测精度下降的信号;(2)在预设期间内从人脸检测部409获取的观察者人眼的观测位置的一部分(例如大于等于预设次数)或全部无法检测;(3)人眼位置检测模块502在常规动作中无法检测观察者人眼位置700;(4)人眼位置推测模块504在常规动作中无法推测出观察者人眼位置700;(5)人眼位置预测模块506在常规动作中,无法预测出观察者人眼位置700;(6)检测到阳光等外部光线引起拍摄观察者的图像的对比度下降;(7)检测到帽子或饰品(也包括眼镜);(8)因帽子或饰品(包括眼镜)等而无法检测观察者人脸的一部分。
(步骤S142的一个示例)
判定观察者人眼位置700是否处于眼盒200外的方法包括根据如下项(1)、(2)或其等的任意组合,判定为观察者人眼位置700处于眼盒200外(观察者人眼位置700处于不稳定状态)(但所述判定方法并不限定于此),即,(1)在预设期间内从人脸检测部409获取的观察者人眼的观测位置的一部分(例如大于等于预设次数)或全部是在眼盒200外获得;(2)人眼位置检测模块502在眼盒200外检测到观察者人眼位置700。
(步骤S142的一个示例)
判定是否能推测观察者人眼位置700位于眼盒200外的方法包括根据如下项(1)、(2)、(3)或其等的任意组合,判定为能够推测观察者人眼位置700处于眼盒200外(观察者人眼位置700处于不稳定状态)(但所述判定方法并不限定于此),即,(1)人脸检测部409检测到观察者人眼位置700移动后,再无法检测到观察者人眼位置700;(2)人眼位置检测模块502在眼盒200边界附近检测到观察者人眼位置700;(3)人眼位置检测模块502在眼盒200边界附近检测到观察者右眼位置700R及左眼位置700L中的任一者。
(步骤S142的一个示例)
判定是否预测出观察者人眼位置700将位于眼盒200外的方法包括根据如下项(1)、(2)或其等的任意组合,判定为能够预测出观察者人眼位置700将处于眼盒200外(观察者人眼位置700处于不稳定状态)(但所述判定方法并不限定于此),即,(1)人眼位置预测模块506预测预设时间后的观察者人眼位置700在眼盒200外;(2)人眼位置检测模块502新检测到的人眼位置700相对于先前检测到的人眼位置700,大于等于存储器37中预先储存的人眼位置移动距离阈值(人眼位置700的变化速度大于等于存储器37中预先储存的人眼位置变化速度阈值)。
(步骤S150)
接下来参照图7B。在步骤S120中判定是否满足所述预设的2D条件后,显示控制装置30(处理器33)更新显示装置40中显示的图像。在步骤S120中判定为满足所述预设的2D条件的情形下,显示控制装置30(处理器33)通过执行图像深度控制模块514,执行将3D图像FU10切换至2D图像FU30的2D切换处理(步骤S170)。
一些实施方式中,显示控制装置30(处理器33)在执行2D切换处理(步骤S170)时,判定是否满足预设的3D条件,判定为满足所述3D条件的情形下,执行将2D图像FU30切换至3D图像FU10的3D切换处理(步骤S180)。
所述预设的3D条件包括转至2D切换处理(步骤S170)之后经过了预设时间(例如20秒)。图像深度控制模块514可在转至所述2D切换处理(步骤S170)之后执行计时,并在经过了预先储存在存储器37中的(或在操作检测部407设定的)所述预设时间的情形下,判定为满足所述3D条件。
另外,所述预设的3D条件也可包括在步骤S120中变得不再满足所述预设的2D条件。即,所述预设的3D条件也可包括检测出步骤S131至S134及步骤S141至S143中的至少一项从满足所述预设的2D条件的状态转变为不满足所述预设的2D条件的状态。另外,所述预设的3D条件也可包括在步骤S120中变得不再满足所述预设的2D条件之后经过了预设时间(例如20秒)。
(步骤S220)
显示控制装置30(处理器33)在步骤S210中判定为满足所述3D条件的情形下,执行3D切换处理(步骤S180)。
图9至图14是一些实施方式中2D切换处理及3D切换处理中的深度值的推移图。
(第一实施方式)
显示控制装置30执行显示图像的显示器50及平视显示装置20中的显示控制,所述平视显示装置20通过将显示器50显示的图像的光投影至被投影部2而使图像的虚像V10、V20重叠至前方景象供车辆1的用户视觉观察,并且所述显示控制装置(30)具备:一个或多个处理器33;存储器37;以及一个或多个计算机程序,其保存在存储器37中,且构成为由一个或多个处理器33执行;并且,处理器33在平视显示装置20中显示2D图像FU30及可立体观测的3D图像FU10,获取包含用户人眼位置、人脸位置及人脸朝向中的至少一项的人眼位置相关信息,并基于人眼位置相关信息,判定人眼位置相关信息或人眼位置相关信息的检测动作是否满足预设的2D条件,在判定为满足2D条件的情形下,执行将3D图像FU10切换至2D图像FU30的2D切换处理(步骤S170)。第一实施方式具有如下优点:通过基于包含用户人眼位置、人脸位置及人脸朝向中的至少一项的人眼位置相关信息对可能发生串扰的状况进行推测或预测,并将3D图像切换至2D图像,从而难以视觉观察到串扰。或者也可推断出如下优点:即使在视觉观察到串扰的情况下也能够实现重影的偏差较小。
(第二实施方式)
尤其较佳的几个实施方式中的显示控制装置30中,2D条件包括以下至少任一项:人眼位置、人脸位置及人脸朝向中的至少一项的变化速度条件;人眼位置、人脸位置及人脸朝向中的至少一项的坐标条件;以及人眼位置、人脸位置及人脸朝向中的至少一项的移动时间条件。该情形下,根据人眼位置、人脸位置及人脸朝向中的至少一项的变化速度条件、坐标条件或移动时间条件,能够对可能视觉观察到与人眼位置不匹配的图像的状况进行推测,并切换至2D图像。
(第三实施方式)
尤其较佳的几个实施方式中的显示控制装置30中,2D条件包括以下至少任一项:人眼位置、人脸位置及人脸朝向中的至少一项的变化速度较快;人眼位置、人脸位置及人脸朝向中的至少一项的坐标处于预设范围内;以及人眼位置、人脸位置及人脸朝向中的至少一项连续变化。该情形下具有如下优点:能够以人眼位置、人脸位置及人脸朝向中的至少一项的变化速度较快为条件,切换至右视点图像与左视点图像不易产生偏差的2D图像。例如,如果变化速度快于预设的阈值,则切换至右视点图像与左视点图像不易产生偏差的2D图像。并且,该情形下具有如下优点:能够以人眼位置、人脸位置及人脸朝向中的至少一项的坐标处于预设范围内为条件,切换至右视点图像与左视点图像不易产生偏差的2D图像。例如,如果处于容易导致人眼位置的检测误差扩大(检测精度降低)或发生误检测的预设范围,则切换至2D图像。并且,该情形下具有如下优点:能够以检测到人眼位置、人脸位置及人脸朝向中的至少一项连续变化为条件而切换至2D图像。例如,在检测到人眼位置朝一个方向连续变化的情形下,切换至2D图像。
(第四实施方式)
尤其较佳的几个实施方式中的显示控制装置30中,人眼位置相关信息的检测动作的条件包括以下至少任一项:人眼位置、人脸位置及人脸朝向中的至少一项的无法检测;以及检测到人眼位置、人脸位置及人脸朝向中的至少一项的检测精度降低。该情形下具有如下优点:能够以人眼位置、人脸位置及人脸朝向中的至少一项无法检测为条件而切换至2D图像。并且,该情形下具有如下优点:能够以检测到人眼位置、人脸位置及人脸朝向中的至少一项的检测精度降低为条件而切换至2D图像。
(第五实施方式)
尤其较佳的几个实施方式中的显示控制装置30中,处理器33在判定为满足2D条件的情形下,在2D切换处理(步骤S170)中,将具有深度值DP的3D图像FU10瞬间切换至不具有深度值DP的2D图像FU30,在判定为满足预设的3D条件的情形下,进一步执行3D切换处理(步骤S180),所述3D切换处理是从2D图像FU30开始伴随时间经过而阶段性地或连续地逐渐加大深度值,直到变为具有先前深度值DP的3D图像FU10。图9所示的例中,处理器33在时间t11判定为满足2D条件的情形下,执行2D切换处理,将具有深度值DP20的3D图像FU10瞬间切换至不具有深度值DP的2D图像FU30。然后,处理器33在时间t21判定为满足3D条件的情形下,执行3D切换处理,从不具有深度值DP的2D图像FU30开始伴随时间经过而阶段性地(图9的实线)或连续地(图9的虚线)逐渐加大深度值DP,直到变为具有先前深度值DP20的3D图像FU10。该情形下具有如下优点:通过在推测出可能发生串扰的满足2D条件的情形下快速切换至2D图像,而能够提前防止观察者视觉观察到重影(或偏差较大的重影),并且能够减少恢复成3D图像时图像深度急剧变化带给观察者的违和感。
(第六实施方式)
尤其较佳的几个实施方式中的显示控制装置30中,如图9至图11及图14所示,处理器33在时间t11判定为满足2D条件的情形下,在2D切换处理中,将具有第一深度值DP10的第一3D图像FU11、及具有大于第一深度值DP10的第二深度值DP20的第二3D图像FU12,切换至不具有深度值DP的2D图像FU30,处理器33进一步执行第一3D切换处理及第二3D切换处理,所述第一3D切换处理是从2D图像FU30开始伴随时间经过而阶段性地或连续地以第一变化速度逐渐加大深度值DP,直到变为具有先前第一深度值DP10的第一3D图像FU11,所述第二3D切换处理是从2D图像FU30开始伴随时间经过而阶段性地或连续地以第二变化速度逐渐加大深度值DP,直到变为具有先前第二深度值DP20的第二3D图像FU12,第二变化速度快于第一变化速度,在时间t21判定为满足预设的3D条件的情形下,第一3D切换处理及第二3D切换处理是同时开始。第一变化速度及第二变化速度是瞬时速度,例如,如图10所示,第二变化速度快于第一变化速度是指用时间(t)对深度值(DP)进行微分得到的第二变化速度(瞬时速度)快于第一变化速度(瞬时速度)。另外,从广义上来说,第一变化速度也包括(DP20)/(t31-t21)所示的平均速度,其中,深度值DP可以阶段性地从0变化为先前的深度值DP20,也可以是连续变化,还可以是瞬间变化,第二变化速度也包括(DP10)/(t31-t22)所示的平均速度,其中,深度值DP可以从0阶段性地变化为先前的深度值DP20,也可以是连续变化,还可以是瞬间变化。即,例如,如图9、图11或图14所示,第二变化速度快于第一变化速度也可包括用时间(t)对深度值(DP)进行平均得到的第二变化速度(平均速度)快于第一变化速度(平均速度)。但是,在以相同变化速度使深度值DP变化的情形下,会导致达到先前深度值的时间根据深度值的深度呈线性增加。根据第六实施方式,具有如下优点:对于先前深度值较大的3D图像FU10,能够缩短达到先前深度值的时间。并且也能推断出如下优点:能够缩短达到深度值较大的3D图像FU10的时间与达到深度值较小的3D图像FU10的时间之间的差。
(第七实施方式)
尤其较佳的几个实施方式中的显示控制装置30中,如图12或图13所示,处理器33在t11判定为满足2D条件的情形下,在2D切换处理中,将具有第一深度值DP10的第一3D图像FU11、及具有大于第一深度值DP10的第二深度值DP20的第二3D图像FU12,切换至不具有深度值DP的2D图像FU30,处理器33进一步执行第一3D切换处理及第二3D切换处理,所述第一3D切换处理是从2D图像FU30开始伴随时间经过而阶段性地或连续地逐渐加大深度值DP,直到变为具有先前第一深度值DP10的第一3D图像FU11,所述第二3D切换处理是从2D图像FU30开始伴随时间经过而阶段性地或连续地逐渐加大深度值DP,直到变为具有先前第二深度值DP20的第二3D图像FU12,在判定为满足预设的3D条件的情形下,是在时间t21开始第二3D切换处理后再于时间t22开始第一3D切换处理。该情形下也能推断出如下优点:相较于第一3D切换处理与第二3D切换处理同时开始的情形,更易于从视觉上注意到各图像。
(第八实施方式)
尤其较佳的几个实施方式中的显示控制装置30中,如图14所示,处理器33在判定为满足2D条件的情形下,在2D切换处理中,将具有小于预设阈值的第一深度值DP10的第一3D图像FU11、及具有大于预设阈值的第二深度值DP20的第二3D图像FU12,切换至不具有深度值DP的2D图像FU30,处理器33进一步执行第三3D切换处理及第四3D切换处理,所述第三3D切换处理是将2D图像FU30瞬间切换至具有先前第一深度值DP10的第一3D图像FU11,所述第四3D切换处理是从2D图像FU30开始伴随时间经过而阶段性地或连续地逐渐加大深度值DP,直到变为具有先前第二深度值DP20的第二3D图像FU12。该情形下具有如下优点:深度值较小(与2D图像FU30之间的深度差较小)的图像不易被察觉到深度值发生了变化,不易带来违和感,因此优先立刻变化至预设深度,而深度值较大(与2D图像FU30之间的深度差较大)的图像易于被察觉深度值发生了变化,容易带来违和感,因此可考虑减少带给观察者的违和感进行显示,可提供灵活且便利的系统。
(第九实施方式)
尤其较佳的几个实施方式中的显示控制装置30中,如图15所示,处理器33在判定为满足2D条件的情形下,在2D切换处理中,不将具有小于预设阈值DPth的第一深度值DP10的第一3D图像FU11切换至不具有深度值DP的2D图像FU30,而将具有大于预设阈值DPth的第二深度值DP20的第二3D图像FU12切换至不具有深度值DP的2D图像FU30。该情形下具有如下优点:针对串扰引起的重影的图像偏差量较大的大深度值3D图像FU10,能够有效地执行2D切换处理及3D切换处理。
根据本实施方式的平视显示装置20,具备:第一至第九实施方式中的任一项所述的显示控制装置30;显示器50,其射出显示光;以及中继光学系统80,其使来自显示器50的显示光K朝向被投影部2。由此能够获得所述优点。其他优点及较佳的特征特别记载在所述实施方式及所述说明中。
根据本实施方式的显示控制方法,其是显示图像的显示器50及平视显示装置20中的显示控制方法,所述平视显示装置20通过将显示器50显示的图像的光K投影至被投影部2而使图像的虚像V10、V20重叠至前方景象供车辆1的用户视觉观察,所述显示控制方法包括:在平视显示装置20中显示2D图像FU30及可立体观测的3D图像FU10;获取与用户人眼位置、人脸位置及人脸朝向中的至少一项的变化速度相关的信息;基于人眼位置相关信息,判定人眼位置相关信息或人眼位置相关信息的检测动作是否满足预设的2D条件;以及在判定为满足2D条件的情形下,执行将3D图像FU10切换至2D图像FU30的2D切换处理。由此能够获得所述优点。其他优点及较佳的特征特别记载在所述实施方式及所述说明中。
再次参照图6。图6的图形模块518包括用于进行渲染等图像处理而生成图像数据并驱动显示装置40的各种已知的软件构件。另外,图形模块518也可包括用于对所显示的图像的类型(视频、静止图象、形状)、配置(位置坐标、角度)、尺寸、显示距离(3D的情况下)、视觉效果(例如亮度、透明度、色度、对比度或其他视觉特性)进行变更的各种已知的软件构件。图形模块518能够以通过图像类型(显示参数示例之一)、图像位置坐标(显示参数示例之一)、图像角度(以X方向为轴的俯仰角、以Y方向为轴的偏斜角、以Z方向为轴的滚动角等,显示参数示例之一)、图像尺寸(显示参数示例之一)、图像颜色(以色调、色度、明亮度等设定的显示参数的示例之一)、图像远近表现的强度(以消失点位置等设定的显示参数的一种)供观察者视觉观察的方式生成图像数据,并驱动显示器50。
光源驱动模块520包括用于执行光源单元24的驱动的各种已知的软件构件。光源驱动模块520可基于所设定的显示参数驱动光源单元24。
致动器驱动模块522包括用于执行第一致动器28及/或第二致动器29的驱动的各种已知的软件构件。致动器驱动模块522可基于所设定的显示参数驱动第一致动器28及第二致动器29。
上述处理过程的动作可通过执行通用处理器或特定用途芯片等信息处理装置的一个以上的功能模块而实施。这些模块、这些模块的组合及/或与能够代替其等的功能的公知的硬件的组合全部包含在本发明保护范围内。
可任意选择地,为了执行所说明的各种实施方式的原理,车辆用显示系统10的功能块通过硬件、软件或硬件和软件的组合来执行。本领域技术人员应理解,为了实施所说明的实施方式的原理,图6中说明的功能块可任意选择地组合或将一个功能块分离成两个以上的子功能块。因此,本说明书中的说明可任意选择地支持本说明书所说明的功能块的所有可能的组合或分割。
Claims (11)
1.一种显示控制装置(30),其执行显示图像的显示器(40)及平视显示装置(20)中的显示控制,所述平视显示装置(20)通过将所述显示器(40)显示的所述图像的光投影至被投影部而使所述图像的虚像重叠至前方景象供车辆用户视觉观察,其特征在于,
所述显示控制装置(30)具备:
一个或多个处理器(33);
存储器(37);以及
一个或多个计算机程序,其保存在所述存储器(37)中,且构成为由所述一个或多个处理器(33)执行,
所述平视显示装置(20)能够显示2D图像(FU30)及可立体观测的3D图像(FU10),
所述处理器(33)获取包含所述用户人眼位置、人脸位置及人脸朝向中的至少一项的人眼位置相关信息,
所述处理器(33)基于所述人眼位置相关信息,判定所述人眼位置相关信息或所述人眼位置相关信息的检测动作是否满足预设的2D条件,
在判定为满足所述2D条件的情形下,所述处理器(33)执行将所述3D图像(FU10)切换至所述2D图像(FU30)的2D切换处理。
2.根据权利要求1所述的显示控制装置(30),其特征在于,
所述2D条件包括以下至少任一项:
所述人眼位置、所述人脸位置及所述人脸朝向中的至少任一项的变化速度条件;
所述人眼位置、所述人脸位置及所述人脸朝向中的至少任一项的坐标条件;以及
所述人眼位置、所述人脸位置及所述人脸朝向中的至少任一项的移动时间条件。
3.根据权利要求1所述的显示控制装置(30),其特征在于,
所述2D条件包括以下至少任一项:
所述人眼位置、所述人脸位置及所述人脸朝向中的至少任一项的变化速度较快;
所述人眼位置、所述人脸位置及所述人脸朝向中的至少任一项的坐标处于预设范围内;以及
所述人眼位置、所述人脸位置及所述人脸朝向中的至少任一项连续变化。
4.根据权利要求3所述的显示控制装置(30),其特征在于,
所述人眼位置相关信息的检测动作的条件包括以下至少任一项:
所述人眼位置、所述人脸位置及所述人脸朝向中的至少任一项无法检测;以及
检测到所述人眼位置、所述人脸位置及所述人脸朝向中的至少任一项的检测精度降低。
5.根据权利要求1所述的显示控制装置(30),其特征在于,
所述处理器(33)在判定为满足所述2D条件的情形下,在所述2D切换处理中,
将具有深度值的3D图像(FU10)瞬间切换至不具有深度值的所述2D图像(FU30),
所述处理器(33)在判定为满足预设的3D条件的情形下,
进一步执行3D切换处理,所述3D切换处理是从所述2D图像(FU30)开始伴随时间经过而阶段性地或连续地逐渐加大所述深度值,直到变为具有先前深度值的所述3D图像(FU10)。
6.根据权利要求1所述的显示控制装置(30),其特征在于,
所述处理器(33)在判定为满足所述2D条件的情形下,在所述2D切换处理中,
将具有第一深度值的第一3D图像(FU10)、及具有大于所述第一深度值的第二深度值的第二3D图像(FU10),切换至不具有深度值的所述2D图像(FU30),
所述处理器(33)进一步执行第一3D切换处理及第二3D切换处理,
所述第一3D切换处理是从所述2D图像(FU30)开始以第一变化速度加大所述深度值,直到变为具有先前所述第一深度值的所述第一3D图像(FU10),
所述第二3D切换处理是从所述2D图像(FU30)开始以第二变化速度加大所述深度值,直到变为具有先前所述第二深度值的所述第二3D图像(FU10),
所述第二变化速度快于所述第一变化速度。
7.根据权利要求1所述的显示控制装置(30),其特征在于,
所述处理器(33)在判定为满足所述2D条件的情形下,在所述2D切换处理中,
将具有第一深度值的第一3D图像(FU10)、及具有大于所述第一深度值的第二深度值的第二3D图像(FU10),切换至不具有深度值的所述2D图像(FU30),
所述处理器(33)进一步执行第一3D切换处理及第二3D切换处理,
所述第一3D切换处理是从所述2D图像(FU30)开始加大所述深度值,直到变为具有先前所述第一深度值的所述第一3D图像(FU10),
所述第二3D切换处理是从所述2D图像(FU30)开始加大所述深度值,直到变为具有先前所述第二深度值的所述第二3D图像(FU10),
在判定为满足预设的3D条件的情形下,是在开始所述第二3D切换处理后,开始所述第一3D切换处理。
8.根据权利要求1所述的显示控制装置(30),其特征在于,
所述处理器(33)在判定为满足所述2D条件的情形下,在所述2D切换处理中,
将具有小于预设阈值的第一深度值的第一3D图像(FU10)、及具有大于所述预设阈值的第二深度值的第二3D图像(FU10),切换至不具有深度值的所述2D图像(FU30),
所述处理器(33)进一步执行第三3D切换处理及第四3D切换处理,
所述第三3D切换处理是从所述2D图像(FU30)瞬间切换至具有先前所述第一深度值的所述第一3D图像(FU10),
所述第四3D切换处理是从所述2D图像(FU30)开始,伴随时间经过而阶段性地或连续地逐渐加大所述深度值,直到变为具有先前所述第二深度值的所述第二3D图像(FU10)。
9.根据权利要求1所述的显示控制装置(30),其特征在于,
所述处理器(33)在判定为满足所述2D条件的情形下,在所述2D切换处理中,
不将具有小于预设阈值的第一深度值的第一3D图像(FU10)切换至不具有深度值的所述2D图像(FU30),而将具有大于所述预设阈值的第二深度值的第二3D图像(FU10)切换至不具有深度值的所述2D图像(FU30)。
10.一种平视显示装置(20),其特征在于,该平视显示装置(20)具备:
根据权利要求1至9中任一项所述的显示控制装置;
显示器,其射出显示光;以及
中继光学系统,其使来自所述显示器的所述显示光朝向被投影部。
11.一种显示控制方法,其是显示图像的显示器(40)及平视显示装置(20)中的显示控制方法,所述平视显示装置(20)通过将所述显示器(40)显示的所述图像的光投影至被投影部而使所述图像的虚像重叠至前方景象供车辆用户视觉观察,该显示控制方法的特征在于,
所述显示控制方法包括:
在所述平视显示装置(20)中显示2D图像(FU30)及可立体观测的3D图像(FU10);
获取与所述用户人眼位置、人脸位置及人脸朝向中的至少一项的变化速度相关的信息;
基于所述人眼位置相关信息,判定所述人眼位置相关信息或所述人眼位置相关信息的检测动作是否满足预设的2D条件;以及
在判定为满足所述2D条件的情形下,执行将所述3D图像(FU10)切换至所述2D图像(FU30)的2D切换处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-154939 | 2021-09-23 | ||
JP2021154939 | 2021-09-23 | ||
PCT/JP2022/035335 WO2023048213A1 (ja) | 2021-09-23 | 2022-09-22 | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117981297A true CN117981297A (zh) | 2024-05-03 |
Family
ID=85720793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280063490.2A Pending CN117981297A (zh) | 2021-09-23 | 2022-09-22 | 显示控制装置、平视显示装置及显示控制方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117981297A (zh) |
WO (1) | WO2023048213A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11798240B2 (en) * | 2022-03-24 | 2023-10-24 | GM Global Technology Operations LLC | System and method for social networking using an augmented reality display |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015215505A (ja) * | 2014-05-12 | 2015-12-03 | パナソニックIpマネジメント株式会社 | 表示装置、および表示方法 |
JP2019102936A (ja) * | 2017-11-30 | 2019-06-24 | シャープ株式会社 | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム |
JP2019102935A (ja) * | 2017-11-30 | 2019-06-24 | シャープ株式会社 | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム |
-
2022
- 2022-09-22 WO PCT/JP2022/035335 patent/WO2023048213A1/ja active Application Filing
- 2022-09-22 CN CN202280063490.2A patent/CN117981297A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023048213A1 (ja) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104883554B (zh) | 通过虚拟透视仪器群集显示直播视频的方法和系统 | |
JP6669019B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP5600256B2 (ja) | 情報表示装置 | |
JP4367212B2 (ja) | 虚像表示装置およびプログラム | |
CN117981297A (zh) | 显示控制装置、平视显示装置及显示控制方法 | |
JP7459883B2 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
US20210300183A1 (en) | In-vehicle display apparatus, method for controlling in-vehicle display apparatus, and computer program | |
WO2022230995A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP4929768B2 (ja) | 視覚情報呈示装置及び視覚情報呈示方法 | |
US20140049540A1 (en) | Image Processing Device, Method, Computer Program Product, and Stereoscopic Image Display Device | |
WO2021200914A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
JP7126115B2 (ja) | 表示システム、移動体、及び、設計方法 | |
JP2022072954A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2007218655A (ja) | ナビゲーション装置 | |
WO2023003045A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
WO2020158601A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2019083385A (ja) | ヘッドアップディスプレイ装置 | |
JP2023077857A (ja) | ヘッドアップディスプレイ装置 | |
JP6415968B2 (ja) | 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体 | |
JP2022190724A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2023093913A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2021056358A (ja) | ヘッドアップディスプレイ装置 | |
JP2023065856A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2020121704A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
JP2022113292A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |