CN112956188B - 三维显示装置、三维显示系统、平视显示器以及移动体 - Google Patents

三维显示装置、三维显示系统、平视显示器以及移动体 Download PDF

Info

Publication number
CN112956188B
CN112956188B CN202080005320.XA CN202080005320A CN112956188B CN 112956188 B CN112956188 B CN 112956188B CN 202080005320 A CN202080005320 A CN 202080005320A CN 112956188 B CN112956188 B CN 112956188B
Authority
CN
China
Prior art keywords
eye
image
controller
predicted position
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080005320.XA
Other languages
English (en)
Other versions
CN112956188A (zh
Inventor
佐藤昭典
草深薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN112956188A publication Critical patent/CN112956188A/zh
Application granted granted Critical
Publication of CN112956188B publication Critical patent/CN112956188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/32Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers characterised by the geometry of the parallax barriers, e.g. staggered barriers, slanted parallax arrays or parallax arrays of varying shape or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/10Road Vehicles
    • B60Y2200/11Passenger cars; Automobiles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/301Sensors for position or displacement
    • B60Y2400/3015Optical cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。显示面板构成为出射与视差图像对应的图像光。视差屏障具有构成为规定图像光的光线方向的面。获取部构成为从检测装置获取表示眼的位置的位置数据,检测装置构成为基于从构成为对利用者的眼进行拍摄的相机获取的拍摄图像,检测眼的位置。存储器构成为存储由获取部获取到的位置数据。控制器构成为基于存储在存储器的位置数据,输出眼的预测位置,并基于预测位置,使视差图像显示在显示面板。控制器构成为基于第1预测位置,生成左眼图像以及右眼图像,并基于与第1预测位置不同的第2预测位置,将左眼图像以及右眼图像合成以作为视差图像。

Description

三维显示装置、三维显示系统、平视显示器以及移动体
技术领域
本发明涉及三维显示装置、三维显示系统、平视显示器以及移动体。
背景技术
以往,三维显示装置获取表示眼的位置的位置数据,该眼的位置使用相机对利用者的眼进行拍摄而得到的拍摄图像来检测。三维显示装置基于显示位置数据的眼的位置,使图像显示在显示器,以使得对分别与利用者的左眼以及右眼对应的图像进行视觉辨认(例如,专利文献1)。
然而,在相机对利用者的眼进行拍摄的时间点和三维显示装置基于眼的位置而显示图像的时间点中存在时间差。因此,在相机对利用者的眼进行拍摄的时间点之后利用者的眼的位置变化了的情况下,有时利用者难以适当地通过由三维显示装置显示的图像来对三维图像进行视觉辨认。
在先技术文献
专利文献
专利文献1:日本特开2001-166259号公报
发明内容
本公开的三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。所述显示面板构成为显示视差图像,并出射对应于所述视差图像的图像光,所述视差屏障具有构成为规定所述图像光的光线方向的面。所述获取部构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述存储器构成为存储由所述获取部依次获取到的所述多个位置数据。所述控制器构成为基于存储在所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素。所述控制器构成为基于第1预测位置,执行生成要显示的左眼图像以及右眼图像的生成处理,并基于与所述第1预测位置不同的第2预测位置,执行将所述左眼图像以及所述右眼图像合成以作为视差图像的合成处理。
本公开的三维显示系统具备检测装置和三维显示装置。所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。所述显示面板构成显示视差图像,并出射对应于所述视差图像的图像光。所述视差屏障具有构成为规定所述图像光的光线方向的面。所述获取部构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述存储器构成为存储由所述获取部依次获取到的所述多个位置数据。所述控制器构成为基于存储在所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素。所述控制器构成为基于第1预测位置,执行生成要显示的左眼图像以及右眼图像的生成处理,并基于与所述第1预测位置不同的第2预测位置,执行将所述左眼图像以及所述右眼图像合成以作为视差图像的合成处理。
本公开的平视显示器具备三维显示系统和被投影构件。所述三维显示系统具备检测装置和三维显示装置。所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。所述显示面板构成为显示视差图像,并出射对应于所述视差图像的图像光。所述视差屏障具有构成为规定所述图像光的光线方向的面。所述获取部构成为从检测装置依次获取分别显示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述存储器构成为存储由所述获取部依次获取到的所述多个位置数据。所述控制器构成为基于存储在所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素。所述控制器构成为基于第1预测位置,执行生成要显示的左眼图像以及右眼图像的生成处理,并基于与所述第1预测位置不同的第2预测位置,执行将所述左眼图像以及所述右眼图像合成以作为视差图像的合成处理。所述被投影构件使从所述三维显示装置射出的所述图像光向利用者的眼的方向反射。
本公开的移动体具备平视显示器。所述平视显示器具备三维显示系统和被投影构件。所述三维显示系统具备检测装置和三维显示装置。所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。所述显示面板构成为显示视差图像,并且出射对应于所述视差图像的图像光。所述视差屏障具有构成为规定所述图像光的光线方向的面。所述获取部构成为从检测装置依次获取分别显示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述存储器构成为存储由所述获取部依次获取到的所述多个位置数据。所述控制器构成为基于存储在所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素。所述控制器构成为基于第1预测位置,执行生成要显示的左眼图像以及右眼图像的生成处理,并基于与所述第1预测位置不同的第2预测位置,执行将所述左眼图像以及所述右眼图像合成以作为视差图像的合成处理。所述被投影构件使从所述三维显示装置射出的所述图像光向利用者的眼的方向反射。
附图说明
本发明的目的、特点以及优点将根据下述的详细的说明和附图而变得更加清楚。
图1是示出本公开的一个实施方式所涉及的三维显示系统的概略结构的图。
图2是示出从进深方向观察图1所示的显示面板的例子的图。
图3是示出从进深方向观察图1所示的视差屏障的例子的图。
图4是示出由左眼从视差屏障侧观察图1所示的显示面板以及视差屏障的例子的图。
图5是示出由右眼从视差屏障侧观察图1所示的显示面板以及视差屏障的例子的图。
图6是用于说明眼的位置与可视区域的关系的图。
图7是用于说明针对眼的拍摄、位置数据的获取、基于预测位置的显示控制的开始以及显示面板中的图像的显示的时刻的关系的图。
图8是用于说明检测装置的处理的处理流程图。
图9是用于说明三维图像装置的预测函数生成处理的一个例子的处理流程图。
图10是用于说明三维图像装置的图像显示处理的一个例子的处理流程图。
图11是用于说明三维图像装置的预测函数生成处理以及图像显示处理的其他例子的处理流程图。
图12是用于说明用于识别左眼的位置以及右眼的位置的信息的图。
图13是示出表示眼间距离为标准距离的情况下的左眼以及右眼的位置与显示在各子像素的图像的对应的图像表格的例子的图。
图14是示出搭载有图1所示的三维显示系统的HUD的例子的图。
图15是示出搭载有图14所示的HUD的移动体的例子的图。
具体实施方式
参照附图对本公开的一个实施方式详细地进行说明。以下的说明中使用的图是示意性的图。因此,附图上的尺寸比率等不一定与现实的尺寸一致。
如图1所示,本公开的一个实施方式涉及的三维显示系统10包括检测装置1和三维显示装置2。
检测装置1能够构成为从相机获取拍摄图像,该相机构成为以一定的拍摄时间间隔(例如,20fps(frames per second,帧每秒))对期望存在利用者的眼的空间进行拍摄。检测装置1构成为根据从相机获取到的拍摄图像,依次检测左眼(第1眼)以及右眼(第2眼)的图像。检测装置1构成为基于图像空间中的左眼以及右眼的图像,检测真实空间中的左眼以及右眼各自的位置。检测装置1能够构成为根据1个相机的拍摄图像,检测左眼以及右眼的位置,以作为三维空间的坐标。检测装置1能够构成为根据2个以上的相机的拍摄图像,检测左眼以及右眼各自的位置,以作为三维空间的坐标。检测装置1可以具备相机。检测装置1构成为将显示真实空间中的左眼以及右眼的位置的位置数据依次发送到三维显示装置2。
三维显示装置2包括获取部3、照射器4、显示面板5、作为光学元件的视差屏障6、存储器7和控制器8。
获取部3构成为获取由检测装置1依次发送的表示眼的位置的位置数据。
照射器4构成为对显示面板5进行面照射。照射器4可以包括光源、导光板、扩散板、扩散片等。照射器4构成为通过光源来射出照射光,并通过导光板、扩散板、扩散片等在显示面板5的面方向上将照射光均匀化。照射器4构成为将被均匀化了的光出射到显示面板5侧。
作为显示面板5,例如可以采用透射型的液晶显示面板等显示面板。如图2所示,显示面板5在形成为面状的有效区域A上具有多个划分区域。有效区域A构成为显示视差图像。视差图像包括左眼图像(第1图像)和相对于左眼图像具有视差的右眼图像(第2图像)。多个划分区域是在第1方向和在有效区域A的面内与第1方向正交的方向上划分出的区域。第1方向例如可以是水平方向。与第1方向正交的方向例如可以是铅垂方向。与水平方向以及铅垂方向正交的方向可以称为进深方向。在附图中,水平方向被表示为x轴方向,铅垂方向被表示为y轴方向,进深方向被表示为z轴方向。
在多个划分区域的每一个对应1个子像素P。因此,有效区域A具备沿着水平方向以及铅垂方向格子状地排列的多个子像素P。
多个子像素P的每一个可以对应于R(Red,红)、G(Green,绿)、B(Blue,蓝)的任一颜色。R、G、B这3个子像素P能够作为一组而构成1个像素。1个像素可以称为1个像素点。构成1个像素的多个子像素P可以在水平方向上排列。相同颜色的多个子像素P可以在铅垂方向上排列。多个子像素P各自的水平方向的长度Hpx可以设为彼此相同。多个子像素P各自的铅垂方向的长度Hpy可以设为彼此相同。
作为显示面板5,不限于透射型的液晶面板,可以使用有机EL等其他显示面板。透射型的显示面板除液晶面板之外,还包括MEMS(Micro Electro Mechanical Systems,微机电系统)快门式的显示面板。自发光型的显示面板包括有机EL(Electro-Luminescence,电发光)以及无机EL的显示面板。在显示面板5是自发光型的显示面板的情况下,三维显示装置2可以不具备照射器4。
如上述那样,在有效区域A连续地排列的多个子像素P构成1个子像素组Pg。例如,1个子像素组Pg在水平方向以及铅垂方向上分别包括规定数量的多个子像素。1个子像素组Pg包括在铅垂方向上b个、在水平方向上n个、连续地排列的(2×n×b)个子像素P1~P(2×n×b)。多个子像素P构成多个子像素组Pg。多个子像素组Pg在水平方向上重复地排列。多个子像素组Pg在铅垂方向上,与沿水平方向偏离了j个子像素的量(j<n)的位置邻接而重复地排列。在本实施方式中,作为一个例子,对j=1、n=4、b=1的情况进行说明。在本例子中,如图2所示,在有效区域A,配置包括在铅垂方向上1行、在水平方向上8列、连续地排列的8个子像素P1~P8的多个子像素组Pg。将P1~P8称为多个子像素的识别信息。在图2中,对一部分的子像素组Pg标注了附图标记。
所有子像素组Pg中的处于对应的位置处的多个子像素P显示相同种类的图像,并以相同的定时对显示的图像的种类进行切换。图像的种类是表示是左眼图像以及右眼图像的哪一个的种类。构成1个子像素组Pg的多个子像素P能够对左眼图像和右眼图像进行切换而进行显示。例如,显示在所有子像素组Pg中的多个子像素P1的图像以相同的定时被切换。显示在所有子像素组Pg中的具有其他识别信息的多个子像素P的图像以相同的定时被切换。
显示构成1个子像素组Pg的多个子像素P的图像的种类互相独立。构成子像素组Pg的多个子像素P能够对左眼图像和右眼图像进行切换,从而进行显示。例如,多个子像素P1对左眼图像和右眼图像进行切换的定时可以与多个子像素P2对左眼图像和右眼图像进行切换的定时相同,也可以与其不同。具有互相不同的识别信息的其他2个多个子像素P对左眼图像和右眼图像进行切换的定时可以相同,也可以不同。
视差屏障6构成为规定从显示面板5出射的视差图像的图像光的光线方向。如图1所示,视差屏障6具有沿着有效区域A的平面。视差屏障6从有效区域A远离规定距离(间隔)g。视差屏障6可以相对于显示面板5而位于照射器4的相反侧。视差屏障6可以位于显示面板5的照射器4侧。
如图3所示,视差屏障6具备多个减光部61和多个透光部62。
多个减光部61构成减弱被投射的图像光。减光包括遮光。多个减光部61可以具有小于第1值的透射率。多个减光部61可以利用膜或板状构件构成。膜可以利用树脂构成,可以利用其他材料构成。板状构件可以利用树脂或金属等构成,可以利用其他材料构成。多个减光部61可以利用其他种类的构件构成,而不限于膜或板状构件。多个减光部61的基材可以具有减光性,多个在减光部61的基材中可以含有具有减光性的添加物。
多个透光部62以大于第1值的第2值以上的透射率使图像光透射。多个透光部62可以利用构成多个减光部61的材料的开口构成。多个透光部62可以利用具有第2值以上的透射率的膜或板状构件构成。膜可以利用树脂构成,可以利用其他材料构成,还可以利用其他材料构成。多个透光部62可以不使用任何构件而构成。在该情况下,多个透光部62的透射率成为大致100%。
像这样,视差屏障6具备多个减光部61以及多个透光部62。由此,从显示面板5的有效区域A射出的图像光的一部分经过视差屏障6透射而到达利用者的眼,图像光的剩余一部分被视差屏障6减光,从而难以到达利用者的眼。因此,利用者的眼变得容易对有效区域A的一部分的区域进行视觉辨认,而难以对剩余的一部分的区域进行视觉辨认。
1个透光部62的水平方向的长度Lb、屏障间距Bp、适视距离D、间隔g、要求的可视区域5a的水平方向的长度Lp、1个子像素P的水平方向的长度Hp、子像素组Pg所包括的子像素P的数量2×n、以及眼间距离E可以被决定为满足以下的式(1)以及式(2)的关系。适视距离D是利用者的眼与视差屏障6之间的距离。间隔g是视差屏障6与显示面板5之间的距离。可视区域5a是利用者的各眼所视觉辨认的有效区域上的区域。
E:D=(2×n×Hp):g (1)
D:Lb=(D+g):Lp (2)
适视距离D是利用者的右眼以及左眼各自与视差屏障6之间的距离。穿过右眼和左眼的直线的方向(眼间方向)为水平方向。眼间距离E是利用者的眼间距离E的标准。眼间距离E例如可以是通过工业技术综合研究所的研究计算出的值即61.1mm(millimeter,毫米)~64.4mm。Hp是1个子像素的水平方向的长度。
利用者的各眼所视觉辨认的有效区域A的区域取决于各眼的位置、多个透光部62的位置以及适视距离D。之后,射出向利用者的眼的位置传播的图像光的有效区域A内的区域被称为可视区域5a。射出向利用者的左眼的位置传播的图像光的有效区域A的区域被称为左可视区域5aL(第1可视区域)。射出向利用者的右眼的位置传播的图像光的有效区域A的区域被称为右可视区域5aR(第2可视区域)。射出向利用者的左眼侧传播且被多个减光部61减光的图像光的有效区域A内的区域被称为左减光区域5bL。射出向利用者的右眼侧传播且被多个减光部61减光的图像光的有效区域A内的区域被称为右减光区域5bR。
存储器7构成为存储由控制器8处理的各种信息。存储器7例如利用RAM(RandomAccess Memory,随机存取存储器)以及ROM(Read Only Memory,只读存储器)等任意的存储器件构成。
控制器8与三维显示系统10的各结构要素连接。控制器8能够构成为控制各结构要素。由控制器8控制的结构要素包括显示面板5。控制器8例如作为处理器而构成。控制器8可以包括1个以上的处理器。处理器可以包括读入特定的程序以执行特定的功能的通用的处理器、以及专用于特定的处理的专用的处理器。专用的处理器可以包括面向特定用途IC(ASIC:Application Specific Integrated Circuit,专用集成电路)。处理器可以包括可编程逻辑器件(PLD:Programmable Logic Device)。PLD可以包括FPGA(Field-Programmable Gate Array,现场可编程门阵列)。控制器8可以是1个或多个处理器协作的SoC(System-on-a-Chip,片上系统)以及SP(System In a Package,系统级封装)的任意者。控制器8具备存储部,可以在存储部保存各种信息、或用于使三维显示系统10的各结构要素动作的程序等。存储部例如可以利用半导体存储器等构成。存储部可以作为控制器8的工作存储器来起作用。
如图4所示,控制器8构成为使左眼图像显示在各个左可视区域5aL所包括的多个子像素P,使右眼图像显示在左减光区域5bL所包括的多个子像素P。由此,左眼变得容易对左眼图像进行视觉辨认,而难以对右眼图像进行视觉辨认。如图5所示,控制器8构成为使右眼图像显示在各个右可视区域5aR所包括的多个子像素P,并且使左眼图像显示在右减光区域5bR所包括的多个子像素P。由此,右眼变得容易对右眼图像进行视觉辨认,而难以对左眼图像进行视觉辨认。由此,利用者的眼能够对三维图像进行视觉辨认。在图4以及图5中,对控制器8使左眼图像显示的多个子像素P标注了附图标记“L”,对使右眼图像显示的多个子像素P标注了附图标记“R”。
左可视区域5aL基于左眼的位置而决定。例如,如图6所示,左眼处于左位移位置EL1时的左可视区域5aL1与左眼处于左基准位置EL0时的左可视区域5aL0不同。左基准位置EL0是成为可以适当设定的基准的左眼的位置。左位移位置EL1是从左基准位置EL0向水平方向偏离了的位置。
右可视区域5aR基于右眼的位置而决定。例如,如图6所示,右眼处于右位移位置ER1时的右可视区域5aR1与右眼处于右基准位置ER0时的右可视区域5aR0不同。右基准位置ER0是成为可以适当设定的基准的右眼的位置。右位移位置ER1是从右基准位置ER0向水平方向偏离了的位置。
因此,控制器8为了使三维图像适当地由利用者来视觉辨认,需要使左眼图像显示在左可视区域5aL所包括的多个子像素P,使右眼图像显示在右可视区域5aR所包括的多个子像素P。期望的是,控制器8基于显示图像的时间点的正确的眼的位置来进行处理。
检测装置1构成为根据拍摄到的拍摄图像来检测眼的图像,并基于图像空间中的眼的图像,检测真实空间中的眼的位置。检测装置1构成为向三维显示装置2发送包括真实空间中的眼的位置的位置数据。由检测装置1进行的眼的位置的检测、位置数据从检测装置1向三维显示装置2的发送、以及从基于接收到的位置数据变更显示图像起到反映出为止,需要时间。对基于该包括于脸中的眼的位置的图像进行显示的显示时刻和检测装置1对脸进行拍摄的拍摄时刻存在时间差。时间差包括检测时间、发送时间、反映时间。时间差取决于检测装置1的性能、和检测装置1以及三维显示装置间的通信速度等。如果利用者的眼的移动速度变得比用时间差来除以随着利用者的眼的移动而变更显示图像的控制单位长度得到的速度快,则利用者对不与眼的位置对应的图像进行视觉辨认。例如在控制单位长度为62.4mm,并且时间差为65ms的情况下,如果利用者的眼以0.24mm/ms(millimeter permillisecond,毫米每秒)(24cm/s(centimeter per second,厘米每秒))以上的速度移动,则存在利用者对三维图像感觉到不适的担忧。
为了减少这样的三维图像的视觉辨认困难,控制器8进行在之后说明的处理。在之后的说明中说明的“眼”可以表示“左眼以及右眼”。
(位置数据存储处理)
控制器8构成为将由获取部3获取到的表示眼的位置(实测位置)的位置数据和获取到该位置数据的顺序存储在存储器7。在存储器7中,依次存储分别基于以规定的拍摄时间间隔进行拍摄得到的多个拍摄图像的眼的实测位置。也可以在存储器7中,匹配于限位于该实测位置的顺序而进行存储。规定的拍摄时间间隔是可以根据相机的性能以及设计来适当设定的对一个拍摄图像和该一个拍摄图像进行拍摄的时间的间隔。
(过滤处理)
控制器8构成为例如使用低通滤波器来对存储在存储器7的位置数据进行过滤。控制器8可以对眼的位置的每单位时间的变化量较大的位置数据进行过滤。控制器8可以通过过滤,来从眼的位置的检测精度较低的位置数据中提取有效的位置数据。控制器8可以在对预测函数进行计算时,通过过滤来提高该预测函数的精度。控制器8可以进行过滤,使得仅提取相对于时刻的变化较小的、具体地位置的变化的频率低于规定值的位置数据。规定值是通过实验等决定的为了实现要求的精度而要求的位置的变化的频率的最大值。
(预测处理(预测函数的计算))
控制器8构成为使用存储在存储器7的多个位置数据,输出未来的位置以作为预想位置。在此所说的未来,是指相对于存储在该存储器7的多个位置数据的未来。控制器8可以使用利用低通滤波器来进行了过滤处理的多个位置数据。控制器8能够构成为使用新的多个位置信息来输出预测位置。控制器8能够构成为基于存储在存储器7的位置数据中的例如存储时期较新的多个位置数据和对显示的反映时间,来对预测函数进行计算。控制器8能够构成为基于拍摄时刻判断存储时期的新旧。控制器8能够构成为基于眼的实测位置、由获取部3获取到位置数据的获取时刻、和预先通过实验等预测的规定的反映时间,对预测函数进行计算。
预测函数能够设为对实测位置和该实测的拍摄定时的多个对进行拟合得到的函数。预测函数能够采用拍摄时刻以作为该拍摄定时。预测函数为了输出在当前时间点加上反映时间得到的时刻的预测位置而使用。进一步地,具体地,控制器8构成为设从获取时刻中减去反映时间得到的时刻是眼位于实测位置的时刻,并基于眼的实测位置和眼位于该实测位置的时刻,对表示比当前时间点靠后的时刻与在该时刻的眼的位置的关系的预测函数进行计算。
预测函数能够设为使按照拍摄率排列的多个实测位置拟合而得到的函数。预测函数可以基于反映时间,进行与当前时刻的对应。
在图7所示的例子中,控制器8构成为基于最新的实测位置Pm0以及该实测位置处的眼的拍摄时刻tm0、靠前一个的实测位置Pm1以及该实测位置处的眼的拍摄时刻tm1、和靠前二个的实测位置Pm2以及该实测位置处的眼的拍摄时刻tm2,对预测函数进行计算。最新的实测位置Pm0是拍摄时刻最新的位置数据表示的位置。靠前一个的实测位置Pm1是接着最新的实测位置Pm0的拍摄时刻的拍摄时刻较新的位置数据表示的位置。靠前两个的实测位置Pm2是接着靠前一个的实测位置Pm1的拍摄时刻的拍摄时刻较新的位置数据表示的位置。
控制器8可以不进行上述的过滤。在该情况下,构成为使用通过位置数据存储处理存储在存储器7且未进行过滤处理的多个位置数据,同样地输出预测位置。
(预测处理(预测位置的输出))
控制器8构成为以规定的输出时间间隔在预测函数中,输出与在当前时间点加上规定时间得到的时刻对应的眼的预测位置。规定时间是基于显示处理时间的时间,显示处理时间是预计从控制器8开始显示控制起,到在显示面板5显示图像为止所需要的时间。规定的输出时间间隔可以是比规定的拍摄时间间隔短的时间间隔。
(图像显示处理)
控制器8构成为以被决定以使得显示面板5以规定的频率更新图像的显示时间间隔,开始基于最近输出的预测位置的对应于可视区域5a而使图像显示在各子像素P的控制。在从分别开始由控制器8进行的显示的控制起经过显示处理时间后,在显示面板5对基于预测位置的图像进行显示并更新。
检测装置1例如可以采用以20fps进行拍摄的相机。该相机的拍摄时间间隔成为50ms。控制器8构成为以与拍摄时间间隔相同的输出时间间隔输出拍摄图像。控制器8能够构成为以与拍摄时间间隔不同的输出时间间隔进行输出。能够使输出时间间隔比拍摄时间间隔短。输出时间间隔可以是20ms。在该情况下,控制器8每20ms输出1次(即以50sps(samples per second,每秒采样数))预测位置。控制器8能够基于以比拍摄时间间隔短的时间间隔输出的眼的预测位置来显示图像。因此,三维显示装置2可以向利用者提供与眼的位置的更细微的变化对应的三维图像。
输出时间间隔可以比对显示在显示面板5的图像进行更新的显示时间间隔短。例如,在控制器8以60Hz(Hertz,赫兹)更新显示面板5的图像、即显示时间间隔为约16.7ms的情况下,输出时间间隔可以是2ms。在该情况下,控制器8每2ms输出1次(即500sps)预测位置。控制器8能够基于比前一次使图像显示的时间点接近显示时刻的时间点的左眼以及右眼的位置来显示图像。因此,三维显示装置2能够通过眼的位置的变化,进一步减少利用者变得难以适当地对三维图像进行视觉辨认的情形。
(评价处理)
控制器8可以对预测函数进行评价,并基于该评价进行修正。具体地,控制器8可以对基于预测函数输出的眼的预测位置、和与该预测位置对应的实际上根据拍摄到的拍摄图像检测出的眼的实测位置进行比较。控制器8可以基于存储的拍摄时刻,使预测位置和实测位置对应。控制器8可以基于拍摄时间间隔,使预测位置和实测位置对应。控制器8可以基于比较的结果对预测函数进行修正。控制器8可以在之后的预测处理中,使用修正了的预测函数输出眼的位置,并基于使用该修正后的预测函数的眼的预测位置来使图像显示在显示面板5。
接下来,参照图8至图10的流程图,对本实施方式的三维显示系统10的动作进行说明。首先,参照图8的流程图对本实施方式的检测装置1的动作进行说明。
首先,检测装置1获取由相机拍摄到的1个拍摄图像(步骤S11)。
在步骤S11中,如果获取到1个拍摄图像,则检测装置1基于获取到的1个拍摄图像,检测眼的1个位置(步骤S12)。
在步骤S12中,如果检测到眼的1个位置,则检测装置1向三维显示装置2发送表示该1个位置的位置数据(步骤S13)。
如果在步骤13中发送位置数据,则检测装置1判定是否输入了结束指示(步骤S14)。
如果在步骤S14中,判定为输入了结束指示,则检测装置1结束处理。如果在步骤S14中,判定为未输入结束指示,则检测装置1返回步骤S11,之后重复步骤S11~S13。
接着,参照图9以及图10的流程图对本实施方式的三维显示装置2的动作进行说明。首先,参照图9的流程图,对三维显示装置2的预测函数生成处理中的动作进行说明。
三维显示装置2的控制器8判定是否通过获取部3接收到了位置数据(步骤S21)。
如果在步骤S21中,判定为未接收到位置数据,则控制器8返回步骤S21。如果在步骤S21中,判定为接收到了位置数据,则控制器8使位置数据存储在存储器7(步骤S22)。
控制器8对存储在存储器7的位置数据进行过滤(步骤S23)。
控制器8基于过滤之后的位置数据,生成预测函数(步骤S24)。
控制器8再次判定是否通过获取部3接收到了位置数据(步骤S25)。
如果在步骤S25中,判定为未接收到位置数据,则控制器8返回步骤S25。如果在步骤S25中判定为接收到了位置数据,则控制器8将位置数据存储在存储器7中(步骤S26)。
控制器8对存储在存储器7的位置数据进行过滤(步骤S27)。
控制器8使用过滤了的位置数据所表示的实测位置中的如下那样的位置数据所表示的眼的实测位置,来对预测函数进行修正(步骤S28):在追加详细地说明的显示处理中显示图像的显示时刻拍摄到的表示眼的位置的位置数据。
控制器8判定是否输入了预测函数生成处理的结束指示(步骤S29)。
如果在步骤S29中,判定为输入了预测函数生成处理的结束指示,则控制器8结束预测函数生成处理。如果在步骤S29中,判定为未输入预测函数生成处理的结束指示,则控制器8返回步骤S21。
控制器8可以不进行步骤S23以及步骤S27的1个以上。控制器8在从处理的开始到结束为止的重复中,可以进行或不进行步骤S27。
接下来,参照图10的流程图对三维显示装置2的图像显示处理的动作进行说明。
控制器8以输出时间间隔,基于在前述的预测函数生成处理中最近预测或修正的预测函数输出预测位置(步骤S31)。
控制器8以显示时间间隔,基于最近输出的预测位置,变更显示图像,并使该变更后的图像显示在显示面板5(步骤S32)。
控制器8判定是否输入了图像显示处理的结束指示(步骤S33)。
如果在步骤S33中,判定为输入了图像显示处理的结束指示,则控制器8结束图像显示处理。如果在步骤S33中,判定为未输入图像显示处理的结束指示,则控制器8返回步骤S31。
如以上说明的那样,本实施方式的三维显示装置2基于存储在存储器7的位置数据,输出相比于当前时刻在未来的显示时刻的眼的预测位置,并基于所预测的眼的位置,使视差图像显示在显示面板的各子像素P。因此,相比于如以往那样,在获取到基于拍摄到的拍摄图像检测的眼的位置的时间点,开始基于该位置显示图像的控制,能够基于在接近显示时刻的时间点的眼的位置来显示图像。因此,三维显示装置2即使在利用者的眼的位置变化了的情况下,也能够减少利用者难以对三维图像进行视觉辨认的情形。
本实施方式的三维显示装置2基于存储在存储器7中的位置数据,对表示未来的显示时刻与眼的位置的关系的预测函数进行计算,并基于预测函数,输出眼的预测位置。三维显示装置2能够与相机的拍摄时刻无关地输出眼的预测位置。
本实施方式的三维显示装置2可以以与拍摄时间间隔不同的输出时间间隔,基于预测函数来输出眼的预测位置。三维显示装置2能够以与相机的拍摄时间间隔无关的输出时间间隔输出眼的预测位置。
本实施方式的三维显示装置2可以以比拍摄时间间隔短的输出时间间隔,基于预测函数输出眼的预测位置。三维显示装置2可以提供以比拍摄时间间隔短的时间间隔生成的与眼的位置的变化相应的三维图像。
本实施方式的三维显示装置2通过预测位置和实测位置的比较,来修正预测函数。三维显示装置2能够基于每次修正的预测函数适当地输出眼的预测位置。三维显示装置2能够基于适当的预测位置显示图像。三维显示装置2能够减少由于眼的位置的变化而导致利用者难以适当地对三维图像进行视觉辨认的情形。
检测装置1有时由于例如环境光的状态、或位于利用者的眼与相机之间的光路上的障害物的影响等而不能检测眼的位置。在检测装置1不能检测眼的位置的情况下,有时获取部3不能进行位置数据的获取。在本实施方式的三维显示装置2中,通过控制器8进行之后说明的处理,即使在获取部3未能进行位置数据的获取的情况下,也能够减少预测函数的精度的下降,从而能够减少利用者难以适当地对三维图像进行视觉辨认的情形。
(预测处理(当前时刻的预测位置的输出))
控制器8构成为如果获取部3未能进行位置数据的获取,则使用存储在存储器7的多个位置数据,输出当前时刻的预测位置。控制器8构成为使用存储在存储器7的多个位置数据,对用于预测当前时刻的眼的位置的预测函数进行计算。用于预测当前时刻的眼的位置的预测函数可以被称为第1预测函数。控制器8构成为基于第1预测函数,输出当前时刻的预测位置。
控制器8在对第1预测函数进行计算时,能够使用使用低通滤波器进行了过滤处理的多个位置数据。控制器8能够构成为使用新的多个位置信息输出预测位置。控制器8能够构成为基于存储在存储器7的位置数据中的例如存储时期较新的多个位置数据、和对显示的反映时间,对第1预测函数进行计算。控制器8能够构成为基于拍摄时刻来判断存储时期的新旧。控制器8能够构成为基于眼的实测位置、通过获取部3获取到位置数据的获取时刻、和预先通过实验等预测的规定的反映时间,对第1预测函数进行计算。
控制器8能够构成为在获取部3获取到了位置数据的情况下,对该位置数据、和存储在存储器7的多个位置数据中的存储时期最新的位置数据进行比较。控制器8能够在2个位置数据表示相同的值的位置数据的情况下,判定为获取部3未能进行位置数据的获取。换言之,控制器8能够构成为在获取部3连续地获取到表示相同的值的位置数据的情况下,判断为获取部3未能进行位置数据的获取。在此所说的表示相同的值的位置数据,可以是三维空间中的3个坐标值完全一致的2个位置数据。所谓表示相同的值的位置数据,可以是三维空间中的3个坐标值的差分之和小于阈值的2个位置数据,还可以是三维空间中的3个坐标值的差分的最大值小于阈值的2个位置数据。阈值可以根据预先的实验等来决定。
控制器8能够构成为在获取部3连续地获取到表示相同的值的位置数据的情况下,丢弃第2个位置数据、即连续地获取到的2个位置数据中的获取时刻较新的位置数据。控制器8能够构成为基于包括连续地获取到的2个位置数据中的获取时刻较旧的位置数据的多个位置数据,输出当前时刻的预测位置。
(预测处理(未来时刻的预测位置的输出))
控制器8构成为使用包括当前时刻的预测位置的多个位置数据,输出未来时刻的眼的预测位置。在此所说的未来时刻,是指比当前时刻靠后的时刻。控制器8能够构成为使用存储在存储器7的多个位置数据,对用于预测当前时刻的眼的位置的预测函数进行计算。用于预测未来时刻的眼的位置的预测函数也能够被称为第2预测函数。控制器8能够构成为基于第2预测函数,输出未来时刻的预测位置。
控制器8在对第2预测函数进行计算时,能够使用利用低通滤波器进行了过滤处理的多个位置数据。控制器8能够构成为使用新的多个位置信息来输出预测位置。控制器8能够构成为基于存储在存储器7的位置数据中的例如存储时期较新的多个位置数据、和对显示的反映时间,对第2预测函数进行计算。控制器8能够构成为基于拍摄时刻来判断存储时期的新旧。控制器8能够构成为基于眼的实测位置、通过获取部3获取到的位置数据的获取时刻、和预先通过实验等预测的规定的反映时间,对第2预测函数进行计算。第2预测函数可以是与第1预测函数相同的函数,还可以是与第1预测函数不同的函数。
(图像显示处理)
控制器8构成为以被决定以使得显示面板5以规定的频率更新图像的显示时间间隔,开始对应于基于最近输出的预测位置的可视区域5a而使图像显示在各子像素P的控制。在从分别开始由控制器8进行的显示的控制起经过显示处理时间后,在显示面板5显示并更新基于预测位置的图像。
(评价处理)
控制器8可以对第2预测函数进行评价,并基于该评价,对第2预测函数进行修正。控制器8可以对基于第2预测函数输出的眼的预测位置、和对应于该预测位置的实际上根据拍摄到的拍摄图像检测出的眼的实测位置进行比较。控制器8能够基于存储的拍摄时刻,使预测位置和实测位置对应。控制器8能够基于拍摄时间间隔,使预测位置和实测位置对应。控制器8能够基于比较的结果对第2预测函数进行修正。控制器8可以在之后的预测处理中,使用修正了的第2预测函数来输出眼的位置,并基于使用该修正后的第2预测函数的眼的预测位置,使图像显示在显示面板5。
接下来,参照图11的流程图对三维显示装置2进行的预测函数生成处理以及图像显示处理的其他例子进行说明。控制器8能够按照每个比检测装置1的相机的拍摄时间间隔短的时间间隔,来执行图11的流程图所示的处理。
三维显示装置2的控制器8判定是否通过获取部3接收到了位置数据(步骤S41)。
如果在步骤S41中,判定为接收到了位置数据,则控制器8使用存储在存储器7的多个位置数据,对第1预测函数进行计算,并基于第1预测函数,输出当前时刻的预测位置(步骤S42)。
控制器8基于包括当前时刻的预测位置的多个位置数据,对第2预测函数进行计算,并基于第2预测函数,输出未来时刻的预测位置(步骤S43)。
控制器8以显示时间间隔基于未来时刻的预测位置,变更显示图像,并使该变更后的图像显示在显示面板5(步骤S44)。
控制器8判定是否输入了图像显示处理的结束指示(步骤S45)。
如果在步骤S45中,判定为输入了图像显示处理的结束指示,则控制器8结束图像显示处理。如果在步骤S45中,判定为未输入图像显示处理的结束指示,则控制器8返回步骤S43。
如果在步骤S41中,判定为接收到了位置数据,则控制器8判定是否连续地获取到表示相同的值的位置数据(步骤S46)。在进行步骤S46的判定时,控制器8对接收到的位置数据和存储在存储器7的多个位置数据中的拍摄时刻最新的位置数据进行比较。
如果在步骤S46中,判定为连续地获取到表示相同的值的位置数据,则控制器8丢弃连续地获取的第2个位置数据(步骤S47),并前进到步骤S42。
如果在步骤S46,判定为未连续地获取表示相同的值的位置数据,则控制器8前进到图9所示的流程图的步骤S22。
如以上说明的那样,本实施方式的三维显示装置2在获取部3未能进行位置数据的获取的情况下,基于存储在存储器7的多个位置数据来计算当前时刻的眼的预测位置,并输出该预测位置以作为当前时刻的位置数据。因此,三维显示装置2在检测装置1未能检测出眼的位置的情况下,能够高精度地预测当前时刻的眼的位置。
三维显示装置2基于包括当前时刻的预测位置的多个位置数据,输出未来时刻的眼的预测位置,并基于该预测位置,使视差图像显示在显示面板5的各子像素。因此,三维显示装置2即使在检测装置1未能检测出眼的位置的情况下,也能够高精度地预测未来时刻的眼的位置。由于三维显示装置2能够基于未来时刻的眼的预测位置显示图像,因而能够减少利用者变得难以对三维图像进行视觉辨认的情况。
在本实施方式中,控制器8基于检测装置1从相机获取到的拍摄图像以及该拍摄图像的拍摄时刻,预测比该拍摄时刻靠后的时刻的眼的位置。因此,三维显示装置2能够构成为控制器8和检测装置1互相非同步地动作。换言之,三维显示装置2能够构成为控制器8以及检测装置1互相分离的系统。由此,三维显示装置2能够向检测装置1以及控制器8,供给适合分别进行的处理的频率的时钟信号,因而能够使检测装置1以及控制器8高速且正常地动作。控制器8和检测装置1可以基于相同的时钟信号非同步地动作,还可以基于单独的时钟信号而非同步地动作。关于控制器8以及检测装置1,可以是,一方与第1时钟信号同步地动作,另一方与将第1时钟信号分频得到的第2时钟信号同步地动作。
在本实施方式中,控制器8构成为执行生成处理以及合成处理。生成处理是生成显示在显示面板5的左眼图像以及右眼图像的处理。合成处理是将所生成的左眼图像以及右眼图像合成,以作为由利用者视觉辨认的视差图像的处理。
生成处理能够包括在有效区域A所包括的多个显示区域配置左眼图像以及右眼图像的配置处理。生成处理能够包括对利用者要视觉辨认的视差图像中的失真进行校正的校正处理。控制器8基于眼的第1预测位置,执行生成处理。第1预测位置可以是比开始预测处理的时刻更靠近未来的时刻的眼的预测位置。控制器8能够构成为基于存储在存储器7的位置数据,对第1预测位置进行计算,并基于计算出的第1预测位置,执行生成处理。
合成处理是基于眼的第2预测位置,使左眼图像显示在左可视区域5aL所包括的多个子像素P,并使右眼图像显示在左减光区域5bL所包括的多个子像素P的处理。控制器8基于眼的第2预测位置,执行合成处理。第2预测位置与第1预测位置不同。第2预测位置可以是比开始合成处理的时刻更靠未来的时刻的眼的预测位置。控制器8能够构成为基于存储在存储器7的位置数据对第2预测位置进行计算,并基于计算出的第2预测位置执行合成处理。
控制器8可以在对第1预测位置以及第2预测位置进行计算时,使用通过图9所示的预测函数生成处理生成的预测函数。由此,三维显示装置2能够与眼的位置的细微的变化对应地执行生成处理以及合成处理,其结果是,能够使视差图像适当地由利用者视觉辨认。控制器8可以在对第1预测位置以及第2预测位置进行计算时,使用通过图11的步骤S41~步骤S43所示的预测函数生成处理生成的预测函数。由此,三维显示装置2即使在获取部3未能进行位置数据的获取的情况下,也能够与眼的位置的细微的变化对应地执行生成处理以及合成处理,其结果是,能够使视差图像适当地由利用者视觉辨认。控制器8可以构成为以第1定时来获取第1预测位置,并以第2定时来获取第2预测位置。在该情况下,能够将第1预测位置设为适合生成处理的执行的预测位置,并将第2预测位置设为适合合成处理的执行的预测位置。因此,三维显示装置2能够与眼的位置的细微的变化对应地执行生成处理以及合成处理。其结果是,三维显示装置2能够使视差图像适当地由利用者视觉辨认。第1定时可以是控制器8开始生成处理的时刻。第2定时可以是控制器8开始合成处理的时刻。
第1预测位置可以相当于从第1定时到将视差图像显示在显示面板5为止的第1期间。换言之,第1预测位置可以是在第1期间内执行的生成处理中使用的预测位置。第1预测位置也可以说是被预测为在从第1定时起经过第1期间后的时刻,眼所位于的位置的位置。因为第1预测位置相当于第1期间的预测位置,所以三维显示装置2能够与眼的位置的细微的变化对应地生成左眼图像以及右眼图像。其结果是,三维显示装置2能够使视差图像适当地由利用者视觉辨认。
第1期间能够包括生成处理的执行所需要的第1时间、以及合成处理的执行所需要的第2时间。第1期间可以比控制器8输出眼的预测位置的输出时间间隔长。第1时间可以比第2时间长。
第2预测位置可以相当于从第2定时到将视差图像显示在显示面板为止的第2期间。换言之,第2预测位置可以是在第2期间内执行的合成处理中使用的预测位置。第2预测位置也可以说是被预测为在从第2定时起经过第2期间后的时刻,眼所位于的位置的位置。因为第2预测位置是相当于第2期间的预测位置,所以三维显示装置2能够与眼的位置的细微的变化对应地合成视差图像。其结果是,三维显示装置2能够使视差图像适当地由利用者视觉辨认。
第2期间能够包括合成处理的执行所需要的第2时间。第1期间和第2期间可以不同。第2期间可以比第1期间短。第2期间可以比控制器8输出眼的预测位置的输出时间间隔长。
控制器8获取第1预测位置的第1定时可以与控制器8获取第2预测位置的第2定时不同,也可以与其相同。在第1定时和第2定时不同的情况下,因为第1预测位置的输出所使用的预测函数和第2预测函数的输出所使用的预测函数不同,所以第1预测位置和第2预测位置互相不同。第在1定时和第2定时相同的情况下,因为第1期间和第2期间不同,所以第1预测位置和第2预测位置互相不同。
控制器8能够构成为通过不同的处理单位来执行生成处理和合成处理。控制器8可以构成为通过适合各自的处理的处理单位来执行生成处理以及合成处理。由此,三维显示装置2能够使视差图像适当地由利用者视觉辨认。控制器8能够构成为以帧单位来执行生成处理。控制器8能够构成为按照帧的多个区域的每一个来执行生成处理。控制器8能够构成为以线单位来执行合成处理。控制器8能够构成为按照1个或多个线(Line)来执行合成处理。
(失真的校正处理)
接下来,对可以包括在生成处理中的校正处理进行说明。在之后的说明中,存在将眼的预测位置简称为眼的位置的情况。
如图12所示,右眼以及左眼的水平方向上的位置分别通过信息0~11来识别。将在眼间距离E为标准的情况下的识别右眼的位置的信息标注为与识别左眼的位置的信息相同。
如图13所示,存储器存储有表示在眼间距离E为标准的情况下的左眼以及右眼的位置、与分别包括于左可视区域51aL以及右可视区域51aR的规定比例以上的左子像素以及右子像素的对应的表格。在图13所示的例子中,在列方向上示出了识别眼的位置的信息0~11,在行方向上示出了识别子像素的信息P1~P12。识别眼的位置的信息被称为索引或基准索引。在表格中,示出了在眼处于各位置时,各子像素是左子像素还是右子像素。在图13中,对于左子像素示出了“左”,对于右子像素示出了“右”。如参照图12说明的那样,眼间距离E为标准时,在左眼处于示为“0”的位置的情况下,右眼处于示为“0”的位置。在该情况下,在图13所示的例子中,表示子像素P1~P6为左子像素,并且子像素P7~P12为右子像素的情形。在左眼处于示为“1”的位置的情况下,右眼处于示为“1”的位置。在该情况下,表示子像素P2~P7为左子像素,并且P1以及P8~P12为右子像素的情形。控制器8选择索引0~11的任意者。控制器8基于与选择的索引对应的识别子像素的信息P~P12,来规定显示在显示面板5的显示面的左眼图像以及右眼图像的排列。
控制器8使视差图像显示在显示面板5。显示面板5在有效区域A内具有多个显示区域。多个显示区域的各个对应于多个基准索引的任意者。控制器8构成为以该显示区域的基准索引为基准,生成显示在该显示区域的左眼图像以及右眼图像。
存在将一个坐标固定为基准来进行视差图像的左眼图像以及右眼图像的切换的技术。然而,在三维显示装置2包括于平视显示器的情况下,利用者所视觉辨认的视差图像可能包括起因于用于使从显示面板射出的图像光朝向利用者的眼传播的反射装置所包括的风挡的失真。平视显示器也被称为HUD(Head Up Display)。关于风挡,为了减少空气阻力,如果沿铅垂方向从上方俯瞰则呈弧形,风挡的反射面成为自由曲面。HUD位于驾驶座侧,因而左右的曲率不同,在上下曲率电不同。因此,未成为均匀的面。如果从光学水平上看,则在左右、上下曲率的制造上的偏差均较大,个体差异也较大。能够使用位于三维显示装置2与利用者的眼之间的光路上的光学元件(凹面镜)来一定程度地减少失真,在但利用者要视觉辨认的视差图像残留有失真。残留于视差图像的失真还会对视差图像的分离产生影响。
生成处理可以包括减少利用者要视觉辨认的视差图像中的失真的校正处理。在校正处理中,使进行视差图像的切换的单位根据画面整体在画面的多个显示区域中独立。在各显示区域中原点不同意味着在对原点进行统一时,成为各显示区域的基准的索引不同。这是因为,由于因从个别地不同的原点到统一了的原点为止移动而导致索引变化,因而能够通过将在统一了的原点处的索引设为基准来对原点进行统一。总而言之,将画面划分为多个显示区域,在各个显示区域具有单独的基准索引,以该基准索引为基准而进行视差图像的变更处理,或将画面划分为多个显示区域,在各个显示区域具有单独的切换原点,通过从该原点偏离而进行切换,由此能够实现。
有效区域A例如包括第1显示区域以及第2显示区域。第1显示区域可以对应于第1基准索引。第2显示区域可以对应于第2基准索引。关于有效区域A,1个基准索引可以对应于多个显示区域。例如,第1基准索引可以对应于第1显示区域以及第2显示区域。换言之,多个基准索引各自对应于1个或多个显示区域。
基准索引例如成为图13所示的眼的位置,成为基准的基准索引成为0。在图13的例子中,第1显示区域以及第2显示区域各自具有12个索引0~11、6~11、0~5,因而例如设左眼为L、设右眼为R时,可生成如LLLRRRRRRLL那样的组合的合成图像。在本实施方式中,按照每个显示区域来变更基准索引,如在第1显示区域F1中设定“0”、在第2显示区域F2中设定“6”那样,按照每个显示区域设定独立的基准索引。在眼的位置移动时,将该移动作为基准索引的变化而检测出。例如,如果左眼的位置的移动量为3个子像素的量,则成为“+3”,如果右眼的位置的移动量为6个子像素的量,则成为“+6”。在“+3”的情况下,第1显示区域的基准索引F1从“0”变更为“3”,第2显示区域的基准索引F2从“6”变更为“9”。此外,在左眼的位置的移动量为“+6”的情况下,第1显示区域的基准索引F1从“0”变更为“6”,第2显示区域的基准索引F2从“6”变更为“0”(由于是12进制,所以循环为0)。此时,合成图像的基准索引“0”为LLLRRRRRRLL,基准索引“3”为RRRRRRLLLLLL,基准索引“6”为RRRLLLLLLRRR。
校正处理可以按照在显示面板5的有效区域A内划分的多个显示区域的每一个,基于多个基准索引的任意者、和左眼以及右眼的至少一方的预测位置,变更左眼图像以及右眼图像的排列的处理。多个基准索引各自可以对应于多个显示区域的任意者。
校正处理可以是在在显示面板5的有效区域A内划分的多个显示区域各自中,以多个切换原点的任意切换原点为基准来变更左眼图像以及右眼图像的排列的处理。多个切换原点各自可以对应于多个显示区域的任意者。
校正处理可以是基于左眼的预测位置决定第1可视区域,并基于右眼的预测位置决定第2可视区域的处理。
校正处理可以是基于与显示面板5的画面平行且在上下方向上的左眼的预测位置来决定第1可视区域,并基于上下方向的右眼的预测位置来决定第2可视区域的处理。
获取部3可以设为将使利用者的左眼的位置与显示面板5的画面平行并且从光学元件投影到处于适视距离的面的投影第1位置设为左眼的位置,并将利用者的右眼的位置投影到面的投影第2位置设为右眼的位置,从而进行获取的结构。
根据本实施方式的三维显示装置2,即使图像光的投影面是作为反射构件的1种的风挡等自由曲线的曲面,也能够基于眼的预测位置(第1预测位置),按照多个显示区域的每一个生成以基准索引为原点且与曲面对应地修正了的左眼图像以及右眼图像。其结果是,三维显示装置2能够使无失真的合适的三维图像由利用者视觉辨认。
在本实施方式中,控制器8能够使用表示左眼的预测位置以及从左眼起处于标准距离的情况下的右眼的预测位置、与要显示在子像素的图像的对应的表格,基于左眼的预测位置来判定左子像素。控制器8能够使用表格,基于右眼的预测位置来判定右子像素。因此,控制器8也可以不进行获取表示眼的预测位置的信息,并且基于眼的位置、和视差屏障6以及显示面板5的结构,对左可视区域51aL以及右可视区域51aR进行运算的处理。因此,可以减轻控制器8的处理负荷。
上述的实施方式作为代表性的例子进行了说明,但能够在本发明的主旨以及范围内进行许多变更以及置换,这对于本领域技术人员来说是显而易见的。因此,本发明不应解释为由上述的实施方式限制,而能够在不脱离专利权利要求书而进行各种变形以及变更。例如,能够将实施方式以及实施例所述的多个结构块组合成1个、或者对1个结构块进行分割。
如图14所示,三维显示系统10可以搭载于HUD100。HUD100具备三维显示系统10、光学构件110、具有被投影面130的被投影构件120。HUD100使从三维显示装置2射出的图像光经由光学构件110到达被投影构件120。HUD100使在被投影构件120反射的图像光,到达利用者的左眼以及右眼。即,HUD100使图像光沿着示为虚线的光路140从三维显示装置2行进到利用者的左眼以及右眼为止。利用者可以作为虚像150来对沿着光路140到达的图像光进行视觉辨认。HUD100可以通过根据利用者的左眼以及右眼的位置来控制显示,从而根据利用者移动提供立体观看。
如图15所示,HUD100可以搭载于移动体20。HUD100的结构的一部分可以与移动体20具备的其他装置或部件兼用。例如,移动体20可以将风挡兼用为被投影构件120。有时将兼用为HUD100的结构的一部分的该移动体20具备的其他装置或部件称为HUD模块。
作为显示面板5,不限于透射型的显示面板,能够使用自发光型的显示面板等其他显示面板。透射型的显示面板除液晶面板之外,还包括MEMS(Micro Electro MechanicalSystems,微机电系统)快门式的显示面板。自发光型的显示面板包括有机EL(Electro-luminescence,有机电发光)以及无机EL的显示面板。在使用自发光型的显示面板作为显示面板5的情况下,照射器4变为无用。在使用自发光型的显示面板作为显示面板5的情况下,视差屏障6位于显示面板5的图像光射出的一侧。
本公开中的“移动体”中包含车辆、船舶、航空器。本公开中的“车辆”中包含汽车以及工业车辆,但是并不局限于此,可以包含铁道车辆以及生活车辆、行驶滑行路的固定翼机。汽车包含乘用车、卡车、巴士、二轮车以及无轨电车等,但并不限于此,可以包含在道路上行驶的其他车辆。工业车辆包含面向农业以及建设的工业车辆。工业车辆中包含叉车以及高尔夫车,但并不限于此。面向农业的工业车辆中包含拖拉机、耕耘机、移植机、割捆机(binder)、联合收割机以及割草机,但并不限于此。面向建设的工业车辆中包含公牛推土机、铲土机(scraper)、挖土机、起重机车、翻斗车以及压路机,但并不限于此。车辆包含通过人力而行驶的车辆。另外,车辆的分类并不限于上述。例如,汽车中可以包含可在道路行驶的工业车辆,可以在多个分类中包含相同的车辆。本公开中的船舶中包含海上喷气机、船只、油轮。本公开中的航空机中,包含固定翼机和旋转翼机。
本公开中的“时刻”不限于可以设为协调世界时间(Coordinated UniversalTime;UTC)等时刻,可以采用在基于内部时钟等的器件内的独自的时间。独自的时间不限于多个结构同步的时刻,可以包括各结构的独自时刻。独自的时间可以在一部分的结构中包括共同的时刻。
符号说明
1:检测装置;
2:3维显示装置;
3:获取部;
4:照射器;
5:显示面板;
6:视差屏障;
7:存储器;
8:控制器;
10:3维显示系统;
20:移动体;
51a:可视区域;
51aL:左可视区域;
51aR:右可视区域;
51bL:左减光区域;
51bL:右减光区域;
61:减光部;
62:透光部;
100:平视显示器;
110:光学构件;
120:被投影构件;
130:被投影面;
140:光路;
150:虚像;
A:有效区域。

Claims (17)

1.一种三维显示装置,具备:
显示面板,构成为显示视差图像,出射与所述视差图像对应的图像光;
视差屏障,具有构成为规定所述图像光的光线方向的面;
获取部,构成为从检测装置依次获取分别表示眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置;
存储器,存储由所述获取部依次获取到的所述多个位置数据;和
控制器,构成为对存储在所述存储器的所述多个位置数据进行过滤,基于被过滤的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述控制器构成为:
基于第1预测位置,执行生成要显示的左眼图像以及右眼图像的生成处理,
基于与所述第1预测位置不同的第2预测位置,执行将所述左眼图像以及所述右眼图像合成以作为视差图像的合成处理,
以第1定时获取所述第1预测位置,
以第2定时获取所述第2预测位置,
所述第1定时设为基于所述控制器的所述生成处理的开始时刻,
所述第2定时设为基于所述控制器的合成处理的开始时刻。
2.根据权利要求1所述的三维显示装置,其中,
所述第1预测位置相当于从所述第1定时到显示所述视差图像为止的第1期间。
3.根据权利要求2所述的三维显示装置,其中,
所述第1期间包括所述生成处理的执行所需要的第1时间、以及所述合成处理的执行所需要的第2时间。
4.根据权利要求1或2所述的三维显示装置,其中,
所述第2预测位置相当于从所述第2定时到显示所述视差图像为止的第2期间。
5.根据权利要求4所述的三维显示装置,其中,
所述第2期间包括所述合成处理的执行所需要的第2时间。
6.根据权利要求1所述的三维显示装置,其中,
所述第1定时与所述第2定时不同。
7.根据权利要求1所述的三维显示装置,其中,
所述第1定时与所述第2定时相同。
8.根据权利要求1所述的三维显示装置,其中,
所述控制器构成为以不同的处理单位来执行所述生成处理以及所述合成处理。
9.根据权利要求8所述的三维显示装置,其中,
所述控制器以帧单位来执行所述生成处理,并以1个或多个线单位来执行所述合成处理。
10.根据权利要求1所述的三维显示装置,其中,
所述控制器构成为作为所述生成处理执行包括校正处理的处理,
所述校正处理是对显示所述视差图像时的失真进行校正的处理。
11.根据权利要求1所述的三维显示装置,其中,
所述控制器构成为基于存储在所述存储器的所述位置数据,对表示比当前时间点靠后的时刻与在该时刻的眼的位置的关系的预测函数进行计算,并基于所述预测函数,输出所述眼的预测位置。
12.根据权利要求11所述的三维显示装置,其中,
所述控制器构成为以比所述拍摄时间间隔短的输出时间间隔,基于所述预测函数输出所述眼的预测位置,并基于该预测位置,使视差图像显示在所述显示面板的各子像素。
13.根据权利要求11或12所述的三维显示装置,其中,
所述控制器构成为以比对显示在所述显示面板的图像进行更新的显示时间间隔短的输出时间间隔,基于所述预测函数,输出所述预测位置。
14.根据权利要求11或12所述的三维显示装置,其中,
所述控制器构成为,基于如下的眼的位置对所述预测函数进行修正:基于所述相机在对基于所述预测位置的图像进行显示的显示时刻对所述眼进行拍摄得到的拍摄图像而检测到的眼的位置。
15.一种三维显示系统,具备检测装置和三维显示装置,
所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置,
所述三维显示装置具备:
显示面板,构成为显示视差图像,出射与所述视差图像对应的图像光;
视差屏障,具有构成为规定所述图像光的光线方向的面;
获取部,构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置;
存储器,存储由所述获取部依次获取到的所述多个位置数据;和
控制器,构成为对存储在所述存储器的所述多个位置数据进行过滤,基于被过滤的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述控制器构成为:
基于第1预测位置,执行生成要显示的左眼图像以及右眼图像的生成处理,
基于与所述第1预测位置不同的第2预测位置,执行将所述左眼图像以及所述右眼图像合成以作为视差图像的合成处理,
以第1定时获取所述第1预测位置,
以第2定时获取所述第2预测位置,
所述第1定时设为基于所述控制器的所述生成处理的开始时刻,
所述第2定时设为基于所述控制器的合成处理的开始时刻。
16.一种平视显示器,具备三维显示系统和被投影构件,
所述三维显示系统包括检测装置和三维显示装置,
所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置,
所述三维显示装置具备:
显示面板,构成为显示视差图像,出射与所述视差图像对应的图像光;
视差屏障,具有构成为规定所述图像光的光线方向的面;
获取部,构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置;
存储器,存储由所述获取部依次获取到的所述多个位置数据;和
控制器,构成为对存储在所述存储器的所述多个位置数据进行过滤,基于被过滤的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述控制器构成为:
基于第1预测位置,执行生成要显示的左眼图像以及右眼图像的生成处理,
基于与所述第1预测位置不同的第2预测位置,执行将所述左眼图像以及所述右眼图像合成以作为视差图像的合成处理,
以第1定时获取所述第1预测位置,
以第2定时获取所述第2预测位置,
所述第1定时设为基于所述控制器的所述生成处理的开始时刻,
所述第2定时设为基于所述控制器的合成处理的开始时刻,
所述被投影构件使从所述三维显示装置射出的所述图像光向利用者的眼的方向反射。
17.一种移动体,具备包括三维显示系统和被投影构件的平视显示器,
所述三维显示系统包括检测装置和三维显示装置,
所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取的拍摄图像,检测所述眼的位置,
所述三维显示装置具备:
显示面板,构成为显示视差图像,出射与所述视差图像对应的图像光;
视差屏障,具有构成为规定所述图像光的光线方向的面;
获取部,构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置;
存储器,存储由所述获取部依次获取到的所述多个位置数据;和
控制器,构成为对存储在所述存储器的所述多个位置数据进行过滤,基于被过滤的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述控制器构成为:
基于第1预测位置,执行生成要显示的左眼图像以及右眼图像的生成处理,
基于与所述第1预测位置不同的第2预测位置,执行将所述左眼图像以及所述右眼图像合成以作为视差图像的合成处理,
以第1定时获取所述第1预测位置,
以第2定时获取所述第2预测位置,
所述第1定时设为基于所述控制器的所述生成处理的开始时刻,
所述第2定时设为基于所述控制器的合成处理的开始时刻,
所述被投影构件使从所述三维显示装置射出的所述图像光向利用者的眼的方向反射。
CN202080005320.XA 2019-09-30 2020-09-28 三维显示装置、三维显示系统、平视显示器以及移动体 Active CN112956188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-178949 2019-09-30
JP2019178949 2019-09-30
PCT/JP2020/036690 WO2021065826A1 (ja) 2019-09-30 2020-09-28 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体

Publications (2)

Publication Number Publication Date
CN112956188A CN112956188A (zh) 2021-06-11
CN112956188B true CN112956188B (zh) 2023-08-22

Family

ID=75336558

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080005320.XA Active CN112956188B (zh) 2019-09-30 2020-09-28 三维显示装置、三维显示系统、平视显示器以及移动体
CN202080005295.5A Active CN112889273B (zh) 2019-09-30 2020-09-28 三维显示装置、三维显示系统、平视显示器以及移动体

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080005295.5A Active CN112889273B (zh) 2019-09-30 2020-09-28 三维显示装置、三维显示系统、平视显示器以及移动体

Country Status (5)

Country Link
US (2) US20220295043A1 (zh)
EP (2) EP3840374B1 (zh)
JP (2) JP7325521B2 (zh)
CN (2) CN112956188B (zh)
WO (2) WO2021065825A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929640A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示装置、显示方法、显示屏校正方法
KR20230046566A (ko) * 2021-09-30 2023-04-06 삼성전자주식회사 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102378032A (zh) * 2010-08-09 2012-03-14 Lg电子株式会社 显示三维图像的系统、装置和方法以及位置跟踪设备
CN102447824A (zh) * 2010-10-05 2012-05-09 卡西欧计算机株式会社 摄影装置及摄影方法
CN102449534A (zh) * 2010-04-21 2012-05-09 松下电器产业株式会社 立体影像显示装置、立体影像显示方法
CN105704471A (zh) * 2014-12-10 2016-06-22 三星电子株式会社 用于预测眼睛位置的设备和方法
WO2018105533A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 画像投影装置、画像表示装置、および移動体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2758023B2 (ja) * 1989-05-17 1998-05-25 日本放送協会 画像表示装置
JP3668116B2 (ja) 1999-09-24 2005-07-06 三洋電機株式会社 眼鏡無し立体映像表示装置
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
JP5942130B2 (ja) * 2013-03-28 2016-06-29 株式会社ジャパンディスプレイ 表示装置
JP6168597B2 (ja) * 2013-06-25 2017-07-26 Kddi株式会社 情報端末装置
EP2990085B1 (en) * 2014-08-29 2022-08-10 Nintendo Co., Ltd. Method and apparatus for estimating the value of an input in presence of a perturbing factor
JP6681467B2 (ja) * 2016-06-08 2020-04-15 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2018105534A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 光源装置、ディスプレイ装置、移動体、3次元投影装置、3次元投影システム、画像投影装置、および画像表示装置
JP7120537B2 (ja) * 2017-10-31 2022-08-17 公立大学法人大阪 3次元表示装置、3次元表示システム、ヘッドアップディスプレイおよび3次元表示装置設計方法
KR102435614B1 (ko) * 2017-11-17 2022-08-24 삼성전자주식회사 카메라 모듈 내에서 이미지 센서를 위한 클럭 신호를 생성하기 위한 전자 장치 및 방법
US11425350B2 (en) * 2018-03-08 2022-08-23 Virtualwindow Co., Ltd. Image display system
US11222476B2 (en) * 2019-05-14 2022-01-11 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America System to add parallax to video for augmented reality head up display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102449534A (zh) * 2010-04-21 2012-05-09 松下电器产业株式会社 立体影像显示装置、立体影像显示方法
CN102378032A (zh) * 2010-08-09 2012-03-14 Lg电子株式会社 显示三维图像的系统、装置和方法以及位置跟踪设备
CN102447824A (zh) * 2010-10-05 2012-05-09 卡西欧计算机株式会社 摄影装置及摄影方法
CN105704471A (zh) * 2014-12-10 2016-06-22 三星电子株式会社 用于预测眼睛位置的设备和方法
WO2018105533A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 画像投影装置、画像表示装置、および移動体

Also Published As

Publication number Publication date
US20230067565A1 (en) 2023-03-02
WO2021065826A1 (ja) 2021-04-08
EP3840373A1 (en) 2021-06-23
JP7325520B2 (ja) 2023-08-14
JPWO2021065825A1 (zh) 2021-04-08
EP3840374B1 (en) 2023-07-19
CN112889273B (zh) 2023-06-20
JPWO2021065826A1 (zh) 2021-04-08
EP3840373A4 (en) 2021-09-29
EP3840373B1 (en) 2023-03-15
CN112956188A (zh) 2021-06-11
EP3840374A4 (en) 2021-10-20
US20220295043A1 (en) 2022-09-15
JP7325521B2 (ja) 2023-08-14
WO2021065825A1 (ja) 2021-04-08
EP3840374A1 (en) 2021-06-23
CN112889273A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN110308556B (zh) 图像形成、校正、显示系统或方法、移动体、非暂时性计算机可读介质
CN112956188B (zh) 三维显示装置、三维显示系统、平视显示器以及移动体
CN106054383A (zh) 抬头显示器以及用于产生自动立体观测的图像的方法
JP2020017935A (ja) 表示装置、表示システムおよび移動体
CN110915205A (zh) 显示控制装置、显示系统以及显示控制方法
US20230004002A1 (en) Head-up display, head-up display system, and movable body
JP2017081428A (ja) 車両用表示装置
US20220187618A1 (en) Stereoscopic virtual image display module, stereoscopic virtual image display system, and movable object
WO2020090629A1 (ja) 画像表示装置、画像表示システム、及び移動体
CN112889274B (zh) 三维显示装置、平视显示器、移动体以及程序
US11961429B2 (en) Head-up display, head-up display system, and movable body
WO2022019154A1 (ja) 3次元表示装置
JP7061943B2 (ja) 3次元表示装置、3次元表示システム、ヘッドアップディスプレイシステム、および移動体
CN114761857A (zh) 平视显示器、平视显示器系统以及移动体
CN113196142A (zh) 三维显示装置、三维显示系统、平视显示器以及移动体
JP2021085991A (ja) ヘッドアップディスプレイシステム及び移動体
WO2022131009A1 (ja) 立体表示用コントローラ
EP4067149A1 (en) Head-up display system and moving body
WO2020256154A1 (ja) 3次元表示装置、3次元表示システム、および移動体
CN112889275B (zh) 通信平视显示器系统、通信设备、移动体以及程序
WO2023120603A1 (ja) 撮像装置および画像処理方法
CN112997110B (zh) 图像显示装置、图像显示系统以及移动体
CN116685897A (zh) 三维显示装置
WO2020090714A1 (ja) 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム
JP2021056255A (ja) パララックスバリア、3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant