CN112889273B - 三维显示装置、三维显示系统、平视显示器以及移动体 - Google Patents

三维显示装置、三维显示系统、平视显示器以及移动体 Download PDF

Info

Publication number
CN112889273B
CN112889273B CN202080005295.5A CN202080005295A CN112889273B CN 112889273 B CN112889273 B CN 112889273B CN 202080005295 A CN202080005295 A CN 202080005295A CN 112889273 B CN112889273 B CN 112889273B
Authority
CN
China
Prior art keywords
eye
position data
image
controller
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080005295.5A
Other languages
English (en)
Other versions
CN112889273A (zh
Inventor
佐藤昭典
草深薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN112889273A publication Critical patent/CN112889273A/zh
Application granted granted Critical
Publication of CN112889273B publication Critical patent/CN112889273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/32Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers characterised by the geometry of the parallax barriers, e.g. staggered barriers, slanted parallax arrays or parallax arrays of varying shape or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • B60K2360/149
    • B60K35/10
    • B60K35/211
    • B60K35/23
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/10Road Vehicles
    • B60Y2200/11Passenger cars; Automobiles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/301Sensors for position or displacement
    • B60Y2400/3015Optical cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。显示面板构成为显示视差图像并出射与视差图像对应的图像光。视差屏障具有构成为规定图像光的光线方向的面。获取部构成为从检测装置依次获取分别表示眼的位置的多个位置数据,该检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测眼的位置。存储器构成为存储由获取部依次获取到的多个位置数据。控制器构成为基于存储在存储器的多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于预测位置,使视差图像显示在显示面板的各子像素。

Description

三维显示装置、三维显示系统、平视显示器以及移动体
技术领域
本发明涉及三维显示装置、三维显示系统、平视显示器以及移动体。
背景技术
以往,三维显示装置获取表示眼的位置的位置数据,该眼的位置使用相机对利用者的眼进行拍摄而得到的拍摄图像来检测。三维显示装置基于显示位置数据的眼的位置,使图像显示在显示器,以使得对分别与利用者的左眼以及右眼对应的图像进行视认(例如,专利文献1)。
然而,在相机对利用者的眼进行拍摄的时间点和三维显示装置基于眼的位置而显示图像的时间点中存在时间差。因此,在相机对利用者的眼进行拍摄的时间点之后利用者的眼的位置变化了的情况下,有时利用者难以适当地通过由三维显示装置显示的图像来对三维图像进行视认。
在先技术文献
专利文献
专利文献1:日本特开2001-166259号公报
发明内容
本公开的三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。所述显示面板构成为显示视差图像,并出射对应于所述视差图像的图像光,所述视差屏障具有构成为规定所述图像光的光线方向的面。所述获取部构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述存储器构成为存储由所述获取部依次获取到的所述多个位置数据。所述控制器构成为基于存储在所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素。
本公开的三维显示系统具备检测装置和三维显示装置。所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。所述显示面板构成显示视差图像,并出射对应于所述视差图像的图像光。所述视差屏障具有构成为规定所述图像光的光线方向的面。所述获取部构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述存储器构成为存储由所述获取部依次获取到的所述多个位置数据。所述控制器构成为基于存储在所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素。
本公开的平视显示器具备三维显示系统和被投影构件。所述三维显示系统具备检测装置和三维显示装置。所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。所述显示面板构成为显示视差图像,并出射对应于所述视差图像的图像光。所述视差屏障具有构成为规定所述图像光的光线方向的面。所述获取部构成为从检测装置依次获取分别显示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述存储器构成为存储由所述获取部依次获取到的所述多个位置数据。所述控制器构成为基于存储在所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素。所述被投影构件使从所述三维显示装置射出的所述图像光向利用者的眼的方向反射。
本公开的移动体具备平视显示器。所述平视显示器具备三维显示系统和被投影构件。所述三维显示系统具备检测装置和三维显示装置。所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述三维显示装置具备显示面板、视差屏障、获取部、存储器和控制器。所述显示面板构成为显示视差图像,并且出射对应于所述视差图像的图像光。所述视差屏障具有构成为规定所述图像光的光线方向的面。所述获取部构成为从检测装置依次获取分别显示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置。所述存储器构成为存储由所述获取部依次获取到的所述多个位置数据。所述控制器构成为基于存储在所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素。所述被投影构件使从所述三维显示装置射出的所述图像光向利用者的眼的方向反射。
附图说明
本发明的目的、特点以及优点将根据下述的详细的说明和附图而变得更加清楚。
图1是示出本公开的一个实施方式涉及的三维显示系统的概略结构的图。
图2是示出从进深方向观察图1所示的显示面板的例子的图。
图3是示出从进深方向观察图1所示的视差屏障的例子的图。
图4是示出由左眼从视差屏障侧观察图1所示的显示面板以及视差屏障的例子的图。
图5是示出由右眼从视差屏障侧观察例图1所示的显示面板以及视差屏障的图。
图6是用于说明眼的位置与可视区域的关系的图。
图7是用于说明针对眼的拍摄、位置数据的获取、基于预测位置的显示控制的开始以及显示面板中的图像的显示的时刻的关系的图。
图8是用于说明检测装置的处理的处理流程图。
图9是用于说明三维图像装置的预测函数生成处理的一个例子的处理流程图。
图10是用于说明三维图像装置的图像显示处理的一个例子的处理流程图。
图11是用于说明三维图像装置的预测函数生成处理以及图像显示处理的其他例子的处理流程图。
图12是示出搭载有图1所示的三维显示系统的HUD的例子的图。
图13是示出搭载有图12所示的HUD的移动体的例子的图。
具体实施方式
参照附图对本公开的一个实施方式详细地进行说明。以下的说明中使用的图是示意性的图。因此,附图上的尺寸比率等不一定与现实的尺寸一致。
如图1所示,本公开的一个实施方式涉及的三维显示系统10包括检测装置1和三维显示装置2。
检测装置1可以构成为从相机获取拍摄图像,该相机构成为以一定的拍摄时间间隔(例如,20fps(frames per second,帧每秒))对期望存在利用者的眼的空间进行拍摄。检测装置1构成为根据从相机获取到的拍摄图像,依次检测左眼(第1眼)以及右眼(第2眼)的图像。检测装置1构成为基于图像空间中的左眼以及右眼的图像,检测真实空间中的左眼以及右眼各自的位置。检测装置1可以构成为根据1个相机的拍摄图像,检测左眼以及右眼的位置,以作为三维空间的坐标。检测装置1可以构成为根据2个以上的相机的拍摄图像,检测左眼以及右眼各自的位置,以作为三维空间的坐标。检测装置1可以具备相机。检测装置1构成为将显示真实空间中的左眼以及右眼的位置的位置数据依次发送到三维显示装置2。
三维显示装置2包括获取部3、照射器4、显示面板5、作为光学元件的视差屏障6、存储器7和控制器8。
获取部3构成为获取由检测装置1依次发送的表示眼的位置的位置数据。
照射器4构成为对显示面板5进行面照射。照射器4可以包括光源、导光板、扩散板、扩散片等。照射器4构成为通过光源来射出照射光,并通过导光板、扩散板、扩散片等在显示面板5的面方向上将照射光均匀化。照射器4构成为将被均匀化了的光出射到显示面板5侧。
作为显示面板5,例如可以采用透射型的液晶显示面板等显示面板。如图2所示,显示面板5在形成在面状的有效区域A上具有多个划分区域。有效区域A构成为显示视差图像。视差图像包括左眼图像(第1图像)和相对于左眼图像具有视差的右眼图像(第2图像)。多个划分区域是在第1方向和在有效区域A的面内与第1方向正交的方向上划分出的区域。第1方向例如可以是水平方向。与第1方向正交的方向例如可以是铅垂方向。与水平方向以及铅垂方向正交的方向可以称为进深方向。在附图中,水平方向被显示为x轴方向,铅垂方向被显示为y轴方向,进深方向被显示为z轴方向。
在多个划分区域的每一个对应1个子像素P。因此,有效区域A具备沿着水平方向以及铅垂方向格子状地排列的多个子像素P。
多个子像素P的每一个可以对应于R(Red,红)、G(Green,绿)、B(Blue,蓝)的任一颜色。R、G、B这3个子像素P能够作为一组而构成1个像素。1个像素可以称为1个像素点。构成1个像素的多个子像素P可以在水平方向上排列。相同颜色的多个子像素P可以在铅垂方向上排列。多个子像素P各自的水平方向的长度Hpx可以设为彼此相同。多个子像素P各自的铅垂方向的长度Hpy可以设为彼此相同。
作为显示面板5,不限于透射型的液晶面板,可以使用有机EL等其他显示面板。透射型的显示面板除液晶面板之外,还包括MEMS(Micro Electro Mechanical Systems,微机电系统)快门式的显示面板。自发光型的显示面板包括有机EL(Electro-Luminescence,电发光)以及无机EL的显示面板。在显示面板5是自发光型的显示面板的情况下,三维显示装置2可以不具备照射器4。
如上述那样,在有效区域A连续地排列的多个子像素P构成1个子像素组Pg。例如,1个子像素组Pg在水平方向以及铅垂方向上分别包括给定数量的多个子像素。1个子像素组Pg包括在铅垂方向上b个、在水平方向上n个、连续地排列的(2×n×b)个子像素P1~P(2×n×b)。多个子像素P构成多个子像素组Pg。多个子像素组Pg在水平方向上重复地排列。多个子像素组Pg在铅垂方向上,与沿水平方向偏离了j个子像素的量(j<n)的位置邻接而重复地排列。在本实施方式中,作为一个例子,对j=1、n=4、b=1的情况进行说明。在本例子中,如图2所示,在有效区域A,配置包括在铅垂方向上1行、在水平方向上8列、连续地排列的8个子像素P1~P8的多个子像素组Pg。将P1~P8称为多个子像素的识别信息。在图2中,对一部分的子像素组Pg标注了符号。
所有子像素组Pg中的处于对应的位置处的多个子像素P显示相同种类的图像,并以相同的定时对显示的图像的种类进行切换。图像的种类是表示是左眼图像以及右眼图像的哪一个的种类。构成1个子像素组Pg的多个子像素P能够对左眼图像和右眼图像进行切换而进行显示。例如,显示在所有子像素组Pg中的多个子像素P1的图像以相同的定时被切换。显示在所有子像素组Pg中的具有其他识别信息的多个子像素P的图像以相同的定时被切换。
显示构成1个子像素组Pg的多个子像素P的图像的种类互相独立。构成子像素组Pg的多个子像素P能够对左眼图像和右眼图像进行切换,从而进行显示。例如,多个子像素P1对左眼图像和右眼图像进行切换的定时可以与多个子像素P2对左眼图像和右眼图像进行切换的定时相同,还可以与其不同。具有互相不同的识别信息的其他2个多个子像素P对左眼图像和右眼图像进行切换的定时可以相同,还可以不同。视差屏障6构成为规定从显示面板5出射的视差图像的图像光的光线方向。如图1所示,视差屏障6具有沿着有效区域A的平面。视差屏障6从有效区域A远离给定距离(间隔)g。视差屏障6可以相对于显示面板5而位于照射器4的相反侧。视差屏障6可以位于显示面板5的照射器4侧。
如图3所示,视差屏障6具备多个减光部61和多个透光部62。
多个减光部61构成减弱被投射的图像光。减光包括遮光。多个减光部61可以具有小于第1值的透射率。多个减光部61可以利用膜或板状构件构成。膜可以利用树脂构成,可以利用其他材料构成。板状构件可以利用树脂或金属等构成,可以利用其他材料构成。多个减光部61可以利用其他种类的构件构成,而不限于膜或板状构件。多个减光部61的基材可以具有减光性,多个在减光部61的基材中可以含有具有减光性的添加物。
多个透光部62以大于第1值的第2值以上的透射率使图像光透射。多个透光部62可以利用构成多个减光部61的材料的开口构成。多个透光部62可以利用具有第2值以上的透射率的膜或板状构件构成。膜可以利用树脂构成,可以利用其他材料构成,还可以利用其他材料构成。多个透光部62可以不使用任何构件而构成。在该情况下,多个透光部62的透射率成为大致100%。
像这样,视差屏障6具备多个减光部61以及多个透光部62。由此,从显示面板5的有效区域A射出的图像光的一部分经过视差屏障6透射而到达利用者的眼,图像光的剩余一部分被视差屏障6减光,从而难以到达利用者的眼。因此,利用者的眼变得容易对有效区域A的一部分的区域进行视认,而难以对剩余的一部分的区域进行视认。
1个透光部62的水平方向的长度Lb、屏障间距Bp、适视距离D、间隔g、要求的可视区域5a的水平方向的长度Lp、1个子像素P的水平方向的长度Hp、子像素组Pg所包括的子像素P的数量2×n、以及眼间距离E可以被决定为满足以下的式(1)以及式(2)的关系。适视距离D是利用者的眼与视差屏障6之间的距离。间隔g是视差屏障6与显示面板5之间的距离。可视区域5a是利用者的各眼所视认的有效区域上的区域。
E:D=(2×n×Hp):g (1)
D:Lb=(D+g):Lp (2)
适视距离D是利用者的右眼以及左眼各自与视差屏障6之间的距离。穿过右眼和左眼的直线的方向(眼间方向)为水平方向。眼间距离E是利用者的眼间距离E的标准。眼间距离E例如可以是通过工业技术综合研究所的研究计算出的值即61.1mm(millimeter,毫米)~64.4mm。Hp是1个子像素的水平方向的长度。
利用者的各眼所视认的有效区域A的区域取决于各眼的位置、多个透光部62的位置以及适视距离D。之后,射出向利用者的眼的位置传播的图像光的有效区域A内的区域被称为可视区域5a。射出向利用者的左眼的位置传播的图像光的有效区域A的区域被称为左可视区域5aL(第1可视区域)。射出向利用者的右眼的位置传播的图像光的有效区域A的区域被称为右可视区域5aR(第2可视区域)。射出向利用者的左眼侧传播且被多个减光部61减光的图像光的有效区域A内的区域被称为左减光区域5bL。射出向利用者的右眼侧传播且被多个减光部61减光的图像光的有效区域A内的区域被称为右减光区域5bR。
存储器7构成为存储由控制器8处理的各种信息。存储器7例如利用RAM(RandomAccess Memory,随机存取存储器)以及ROM(Read Only Memory,只读存储器)等任意的存储器件构成。
控制器8与三维显示系统10的各构成要素连接。控制器8可以构成为控制各构成要素。由控制器8控制的构成要素包括显示面板5。控制器8例如作为处理器而构成。控制器8可以包括1个以上的处理器。处理器可以包括读入特定的程序以执行特定的功能的通用的处理器、以及专用于特定的处理的专用的处理器。专用的处理器可以包括面向特定用途IC(ASIC:Application Specific Integrated Circuit,专用集成电路)。处理器可以包括可编程逻辑器件(PLD:Programmable Logic Device)。PLD可以包括FPGA(Field-Programmable Gate Array,现场可编程门阵列)。控制器8可以是1个或多个处理器协作的SoC(System-on-a-Chip,片上系统)以及SP(System In a Package,系统级封装)的任意者。控制器8具备存储部,可以在存储部保存各种信息、或用于使三维显示系统10的各构成要素动作的程序等。存储部例如可以利用半导体存储器等构成。存储部可以作为控制器8的工作存储器来起作用。
如图4所示,控制器8构成为使左眼图像显示在各个左可视区域5aL所包括的多个子像素P,使右眼图像显示在左减光区域5bL所包括的多个子像素P。由此,左眼变得容易对左眼图像进行视认,而难以对左眼图像进行视认。如图5所示,控制器8构成为使右眼图像显示在各个右可视区域5aR所包括的多个子像素P,并且使右眼图像显示在右减光区域5bR所包括的多个子像素P。由此,右眼变得容易对右眼图像进行视认,而难以对左眼图像进行视认。由此,利用者的眼能够对三维图像进行视认。在图4以及图5中,对控制器8使左眼图像显示的多个子像素P标注了符号“L”,对使右眼图像显示的多个子像素P标注了符号“R”。
左可视区域5aL基于左眼的位置而决定。例如,如图6所示,左眼处于左位移位置EL1时的左可视区域5aL与左眼处于左基准位置EL0时的左可视区域5aL0不同。左基准位置EL0是成为可以适当设定的基准的左眼的位置。左位移位置EL1是从左基准位置EL0向水平方向偏离了的位置。
右可视区域5aR基于右眼的位置而决定。例如,如图6所示,右眼处于右位移位置ER1时的右可视区域5aR1与右眼处于右基准位置ER0时的右可视区域5aR0不同。右基准位置ER0是成为可以适当设定的基准的右眼的位置。右位移位置ER1是从右基准位置ER0向水平方向偏离了的位置。
因此,控制器8为了使三维图像适当地由利用者来视认,需要使左眼图像显示在左可视区域5aL所包括的多个子像素P,使右眼图像显示在右可视区域5aR所包括的多个子像素P。期望的是,控制器8基于显示图像的时间点的正确的眼的位置来进行处理。
检测装置1构成为根据拍摄到的拍摄图像来检测眼的图像,并基于图像空间中的眼的图像,检测真实空间中的眼的位置。检测装置1构成为向三维显示装置2发送包括真实空间中的眼的位置的位置数据。由检测装置1进行的眼的位置的检测、位置数据从检测装置1向三维显示装置2的发送、以及从基于接收到的位置数据变更显示图像起到反映出为止,需要时间。对基于该包括于脸中的眼的位置的图像进行显示的显示时刻和检测装置1对脸进行拍摄的拍摄时刻存在时间差。时间差包括检测时间、发送时间、反映时间。时间差取决于检测装置1的性能、和检测装置1以及三维显示装置间的通信速度等。如果利用者的眼的移动速度变得比用时间差来除以随着利用者的眼的移动而变更显示图像的控制单位长度得到的速度快,则利用者对不与眼的位置对应的图像进行视认。例如在控制单位长度为62.4mm,并且时间差为65ms的情况下,如果利用者的眼以0.24mm/ms(millimeter permillisecond,毫米每秒)(24cm/s(centimeter per second,厘米每秒))以上的速度移动,则存在利用者对三维图像感觉到不适的担忧。
为了减少这样的三维图像的视认困难,控制器8进行在之后说明的处理。在之后的说明中说明的“眼”可以表示“左眼以及右眼”。
(位置数据存储处理)
控制器8构成为将由获取部3获取到的表示眼的位置(实测位置)的位置数据和获取到该位置数据的顺序存储在存储器7。在存储器7,依次存储分别基于以给定的拍摄时间间隔进行拍摄得到的多个拍摄图像的眼的实测位置。可以在存储器7,匹配于眼位于该实测位置的顺序而进行存储。给定的拍摄时间间隔是可以根据相机的性能以及设计来适当设定的对一个拍摄图像和该一个拍摄图像进行拍摄的时间的间隔。
(过滤处理)
控制器8构成为例如使用低通过滤器来对存储在存储器7的位置数据进行过滤。控制器8可以对眼的位置的每单位时间的变化量较大的位置数据进行过滤。控制器8可以通过过滤,来从眼的位置的检测精度较低的位置数据中提取有效的位置数据。控制器8可以在对预测函数进行计算时,通过过滤来提高该预测函数的精度。控制器8可以进行过滤,使得仅提取相对于时刻的变化较小的、具体地位置的变化的频率低于给定值的位置数据。给定值是通过实验等决定的为了实现要求的精度而要求的位置的变化的频率的最大值。
(预测处理(预测函数的计算))
控制器8构成为使用存储在存储器7的多个位置数据,输出未来的位置以作为预想位置。所谓在此所说的未来,是指相对于存储在该存储器7的多个位置数据的未来。控制器8可以使用利用低通过滤器来进行了过滤处理的多个位置数据。控制器8可以构成为使用新的多个位置信息来输出预测位置。控制器8可以构成为基于存储在存储器7的位置数据中的例如存储时期较新的多个位置数据和对显示的反映时间,来对预测函数进行计算。控制器8可以构成为基于拍摄时刻判断存储时期的新旧。控制器8可以构成为基于眼的实测位置、由获取部3获取到位置数据的获取时刻、和预先通过实验等预测的给定的反映时间,对预测函数进行计算。
预测函数可以设为对实测位置和该实测的拍摄定时的多个对进行拟合得到的函数。预测函数可以采用拍摄时刻以作为该拍摄定时。预测函数为了输出在当前时间点加上反映时间得到的时刻的预测位置而使用。进一步地,具体地,控制器8构成为设从获取时刻中减去反映时间得到的时刻是眼位于实测位置的时刻,并基于眼的实测位置和眼位于该实测位置的时刻,对表示比当前时间点靠后的时刻与在该时刻的眼的位置的关系的预测函数进行计算。预测函数可以设为使按照拍摄率排列的多个实测位置拟合而得到的函数。预测函数可以基于反映时间,进行与当前时刻的对应。
在图7所示的例子中,控制器8构成为基于最新的实测位置Pm0以及该实测位置处的眼的拍摄时刻tm0、靠前一个的实测位置Pm1以及该实测位置处的眼的拍摄时刻tm1、和靠前二个的实测位置Pm2以及该实测位置处的眼的拍摄时刻tm2,对预测函数进行计算。最新的实测位置Pm0是拍摄时刻最新的位置数据表示的位置。靠前一个的实测位置Pm1是接着最新的实测位置Pm0的拍摄时刻的拍摄时刻较新的位置数据表示的位置。靠前两个的实测位置Pm2是接着靠前一个的实测位置Pm1的拍摄时刻的拍摄时刻较新的位置数据表示的位置。
控制器8可以不进行上述的过滤。在该情况下,构成为使用通过位置数据存储处理存储在存储器7且未进行过滤处理的多个位置数据,同样地输出预测位置。
(预测处理(预测位置的输出))
控制器8构成为以给定的输出时间间隔在预测函数中,输出与在当前时间点加上给定时间得到的时刻对应的眼的预测位置。给定时间是基于显示处理时间的时间,显示处理时间是预计从控制器8开始显示控制起,到在显示面板5显示图像为止所需要的时间。给定的输出时间间隔可以是比给定的拍摄时间间隔短的时间间隔。
(图像显示处理)
控制器8构成为以被决定以使得显示面板5以给定的频率更新图像的显示时间间隔,开始对应于基于最近输出的预测位置的可视区域5a而使图像显示在各子像素P的控制。在从分别开始由控制器8进行的显示的控制起经过显示处理时间后,在显示面板5对基于预测位置的图像进行并更新。
检测装置1例如可以采用以20fps进行拍摄的相机。该相机的拍摄时间间隔成为50ms。控制器8构成为以与拍摄时间间隔相同的输出时间间隔输出拍摄图像。控制器8可以构成为以与拍摄时间间隔不同的输出时间间隔进行输出。可以使输出时间间隔比拍摄时间间隔短。输出时间间隔可以是20ms。在该情况下,控制器8每20ms输出1次(即以50sps(samples per second,每秒采样数))预测位置。控制器8能够基于以比拍摄时间间隔短的时间间隔输出的眼的预测位置来显示图像。因此,三维显示装置2可以向利用者提供与眼的位置的更细微的变化对应的三维图像。
输出时间间隔可以比对显示在显示面板5的图像进行更新的显示时间间隔短。例如,在控制器8以60Hz(Hertz,赫兹)更新显示面板5的图像、即显示时间间隔为约16.7ms的情况下,输出时间间隔可以是2ms。在该情况下,控制器8每2ms输出1次(即500sps)预测位置。控制器8能够基于比前一次使图像显示的时间点接近显示时刻的时间点的左眼以及右眼的位置来显示图像。因此,三维显示装置2能够通过眼的位置的变化,进一步减少利用者变得难以适当地对三维图像进行视认的情形。
(评价处理)
控制器8可以对预测函数进行评价,并基于该评价进行修正。具体地,控制器8可以对基于预测函数输出的眼的预测位置、和与该预测位置对应的实际上根据拍摄到的拍摄图像检测出的眼的实测位置进行比较。控制器8可以基于存储的拍摄时刻,使预测位置和实测位置对应。控制器8可以基于拍摄时间间隔,使预测位置和实测位置对应。控制器8可以基于比较的结果对预测函数进行修正。控制器8可以在之后的预测处理中,使用修正了的预测函数输出眼的位置,并基于使用该修正后的预测函数的眼的预测位置来使图像显示在显示面板5。
接下来,参照图8至图10的流程图,对本实施方式的三维显示系统10的动作进行说明。首先,参照图8的流程图对本实施方式的检测装置1的动作进行说明。
首先,检测装置1获取由相机拍摄到的1个拍摄图像(步骤S11)。
在步骤S11中,如果获取到1个拍摄图像,则检测装置1基于获取到的1个拍摄图像,检测眼的1个位置(步骤S12)。
在步骤S12中,如果检测到眼的1个位置,则检测装置1向三维显示装置2发送表示该1个位置的位置数据(步骤S13)。
如果在步骤13中发送位置数据,则检测装置1判定是否输入了结束指示(步骤S14)。
如果在步骤S14中,判定为输入了结束指示,则检测装置1结束处理。如果在步骤S14中,判定为未输入结束指示,则检测装置1返回步骤S11,之后重复步骤S11~S13。
接着,参照图9以及图10的流程图对本实施方式的三维显示装置2的动作进行说明。首先,参照图9的流程图,对三维显示装置2的预测函数生成处理中的动作进行说明。
三维显示装置2的控制器8判定是否通过获取部3接收到了位置数据(步骤S21)。
如果在步骤S21中,判定为未接收到位置数据,则控制器8返回步骤S21。如果在步骤S21中,判定为接收到了位置数据,则控制器8使位置数据存储在存储器7(步骤S22)。
控制器8对存储在存储器7的位置数据进行过滤(步骤S23)。
控制器8基于过滤之后的位置数据,生成预测函数(步骤S24)。
控制器8再次判定是否通过获取部3接收到了位置数据(步骤S25)。
如果在步骤S25中,判定为未接收到位置数据,则控制器8返回步骤S25。如果在步骤S25中判定为接收到了位置数据,则控制器8将位置数据存储在存储器7(步骤S26)。
控制器8对存储在存储器7的位置数据进行过滤(步骤S27)。
控制器8使用过滤了的位置数据表示的实测位置中的如下那样的位置数据所表示的眼的实测位置,来对预测函数进行修正(步骤S28):在追加详细地说明的显示处理中显示图像的显示时刻拍摄到的表示眼的位置的位置数据。
控制器8判定是否输入了预测函数生成处理的结束指示(步骤S29)。
如果在步骤S29中,判定为输入了预测函数生成处理的结束指示,则控制器8结束预测函数生成处理。如果在步骤S29中,判定为未输入预测函数生成处理的结束指示,则控制器8返回步骤S21。
控制器8可以不进行步骤S23以及步骤S27的1个以上。控制器8在从处理的开始到结束为止的重复中,可以进行或不进行步骤S27。
接下来,参照图10的流程图对三维显示装置2的图像显示处理的动作进行说明。
控制器8以输出时间间隔,基于在前述的预测函数生成处理中最近预测或修正的预测函数输出预测位置(步骤S31)。
控制器8以显示时间间隔,基于最近输出的预测位置,变更显示图像,并使该变更后的图像显示在显示面板5(步骤S32)。
控制器8判定是否输入了图像显示处理的结束指示(步骤S33)。
如果在步骤S33中,判定为输入了图像显示处理的结束指示,则控制器8结束图像显示处理。如果在步骤S33中,判定为未输入图像显示处理的结束指示,则控制器8返回步骤S31。
如以上说明的那样,本实施方式的三维显示装置2基于存储在存储器7的位置数据,输出相比于当前时刻在未来的显示时刻的眼的预测位置,并基于所预测的眼的位置,使视差图像显示在显示面板的各子像素P。因此,相比于如以往那样,在获取到基于拍摄到的拍摄图像检测的眼的位置的时间点,开始基于该位置显示图像的控制,能够基于在接近显示时刻的时间点的眼的位置来显示图像。因此,三维显示装置2即使在利用者的眼的位置变化了的情况下,也能够减少利用者难以对三维图像进行视认的情形。
本实施方式的三维显示装置2基于存储在存储器7的位置数据,对表示未来的显示时刻与眼的位置的关系的预测函数进行计算,并基于预测函数,输出眼的预测位置。三维显示装置2能够与相机的拍摄时刻无关地输出眼的预测位置。
本实施方式的三维显示装置2可以以与拍摄时间间隔不同的输出时间间隔,基于预测函数来输出眼的预测位置。三维显示装置2能够以与相机的拍摄时间间隔无关的输出时间间隔输出眼的预测位置。
本实施方式的三维显示装置2可以以比拍摄时间间隔短的输出时间间隔,基于预测函数输出眼的预测位置。三维显示装置2可以提供以比拍摄时间间隔短的时间间隔生成的与眼的位置的变化相应的三维图像。
本实施方式的三维显示装置2通过预测位置和实测位置的比较,来修正预测函数。三维显示装置2能够基于每次修正的预测函数适当地输出眼的预测位置。三维显示装置2能够基于适当的预测位置显示图像。三维显示装置2能够减少由于眼的位置的变化而导致利用者难以适当地对三维图像进行视认的情形。
检测装置1有时由于例如环境光的状态、或位于利用者的眼与相机之间的光路上的障害物的影响等而不能检测眼的位置。在检测装置1不能检测眼的位置的情况下,有时获取部3不能进行位置数据的获取。在本实施方式的三维显示装置2中,通过控制器8进行之后说明的处理,即使在获取部3未能进行位置数据的获取的情况下,也可减少预测函数的精度的下降。三维显示装置2通过控制器8对预测函数的精度进行维持,从而能够减少利用者难以适当地对三维图像进行视认的情形。
(预测处理(当前时刻的预测位置的输出))
控制器8构成为如果获取部3未能进行位置数据的获取,则使用存储在存储器7的多个位置数据,输出当前时刻的预测位置。控制器8构成为使用存储在存储器7的多个位置数据,对用于预测当前时刻的眼的位置的预测函数进行计算。用于预测当前时刻的眼的位置的预测函数可以被称为第1预测函数。控制器8构成为基于第1预测函数,输出当前时刻的预测位置。
控制器8在对第1预测函数进行计算时,可以使用利用低通过滤器进行了过滤处理的多个位置数据。控制器8可以构成为使用新的多个位置信息输出预测位置。控制器8可以构成为基于存储在存储器7的位置数据中的例如存储时期较新的多个位置数据、和对显示的反映时间,对第1预测函数进行计算。控制器8可以构成为基于拍摄时刻、存储顺序以及连续编号的任意一个或多个来判断存储时期的新旧。对于一个例子,可以是,存储器7构成为仅存储第1预测函数的计算所需要的位置信息,控制器8构成为基于存储在存储器7的所有位置信息,对第1预测函数进行计算。控制器8可以构成为基于眼的实测位置、通过获取部3获取到位置数据的获取时刻、和预先通过实验等预测的给定的反映时间,对第1预测函数进行计算。
控制器8可以构成为在获取部3获取到了位置数据的情况下,对该位置数据、和存储在存储器7的多个位置数据中的存储时期最新的位置数据进行比较。控制器8可以在2个位置数据是表示相同的值的位置数据的情况下,判定为获取部3未能进行位置数据的获取。换言之,控制器8可以构成为在获取部3连续地获取到表示相同的值的位置数据的情况下,判断为获取部3未能进行位置数据的获取。所谓在此所说的表示相同的值的位置数据,可以是三维空间中的3个坐标值完全一致的2个位置数据。所谓表示相同的值的位置数据,可以是三维空间中的3个坐标值的差值之和小于阈值的2个位置数据,还可以是三维空间中的3个坐标值的差值的最大值小于阈值的2个位置数据。阈值可以根据预先的实验等决定。
控制器8可以构成为在获取部3连续地获取到表示相同的值的位置数据的情况下,丢弃第2个位置数据、即连续地获取到的2个位置数据中的获取时刻较新的位置数据。控制器8可以构成为基于包括连续地获取到的2个位置数据中的获取时刻较旧的位置数据的多个位置数据,输出当前时刻的预测位置。
(预测处理(未来时刻的预测位置的输出))
控制器8构成为使用包括当前时刻的预测位置的多个位置数据,输出未来时刻的眼的预测位置。所谓在此所说的未来时刻,是指比当前时刻靠后的时刻。控制器8可以构成为使用存储在存储器7的多个位置数据,对用于预测当前时刻的眼的位置的预测函数进行计算。用于预测未来时刻的眼的位置的预测函数也可以被称为第2预测函数。控制器8可以构成为基于第2预测函数,输出未来时刻的预测位置。
控制器8在对第2预测函数进行计算时,可以使用利用低通过过滤器进行了过滤处理的多个位置数据。控制器8可以构成为使用新的多个位置信息来输出预测位置。控制器8可以构成为基于存储在存储器7的位置数据中的例如存储时期较新的多个位置数据、和对显示的反映时间,对第2预测函数进行计算。控制器8可以构成为基于拍摄时刻、存储顺序以及连续编号中任意一个或多个来判断存储时期的新旧。控制器8可以构成为基于眼的实测位置、通过获取部3获取到的位置数据的获取时刻、和预先通过实验等预测的给定的反映时间,对第2预测函数进行计算。第2预测函数可以是与第1预测函数相同的函数,还可以是与第1预测函数不同的函数。
(图像显示处理)
控制器8构成为以被决定以使得显示面板5以给定的频率更新图像的显示时间间隔,开始对应于基于最近输出的预测位置的可视区域5a而使图像显示在各子像素P的控制。在从分别开始由控制器8进行的显示的控制起经过显示处理时间后,在显示面板5显示并更新基于预测位置的图像。
(评价处理)
控制器8可以对第2预测函数进行评价,并基于该评价,对第2预测函数进行修正。控制器8可以对基于第2预测函数输出的眼的预测位置、和对应于该预测位置的实际上根据拍摄到的拍摄图像检测出的眼的实测位置进行比较。控制器8可以基于存储的拍摄时刻,使预测位置和实测位置对应。控制器8可以基于拍摄时间间隔,使预测位置和实测位置对应。控制器8可以基于比较的结果对第2预测函数进行修正。控制器8可以在之后的预测处理中,使用修正了的第2预测函数来输出眼的位置,并基于使用该修正后的第2预测函数的眼的预测位置,使图像显示在显示面板5。
接下来,参照图11的流程图对三维显示装置2进行的预测函数生成处理以及图像显示处理的其他例子进行说明。控制器8可以按照每个比检测装置1的相机的拍摄时间间隔短的时间间隔,来执行图11的流程图所示的处理。
三维显示装置2的控制器8判定是否通过获取部3接收到了位置数据(步骤S41)。
如果在步骤S41中,判定为接收到了位置数据,则控制器8使用存储在存储器7的多个位置数据,对第1预测函数进行计算,并基于第1预测函数,输出当前时刻的预测位置(步骤S42)。
控制器8基于包括当前时刻的预测位置的多个位置数据,对第2预测函数进行计算,并基于第2预测函数,输出未来时刻的预测位置(步骤S43)。
控制器8以显示时间间隔基于未来时刻的预测位置,变更显示图像,并该变更后的图像显示在显示面板5(步骤S44)。
控制器8判定是否输入了图像显示处理的结束指示(步骤S45)。
如果在步骤S45中,判定为输入了图像显示处理的结束指示,则控制器8结束图像显示处理。如果在步骤S45中,判定为未输入图像显示处理的结束指示,则控制器8返回步骤S43。
如果在步骤S41中,判定为接收到了位置数据,则控制器8判定是否连续地获取到表示相同的值的位置数据(步骤S46)。在进行步骤S46的判定时,控制器8对接收到的位胃数据和存储在存储器7的多个位胃数据中的拍摄时刻最新的位置数据进行比较。
如果在步骤S46中,判定为连续地获取到表示相同的值的位置数据,则控制器8丢弃连续地获取的第2个位置数据(步骤S47),并前进到步骤S42。
如果在步骤S46,判定为未连续地获取表示相同的值的位置数据,则控制器8前进到图9所示的流程图的步骤S22。
如以上说明的那样,本实施方式的三维显示装置2在获取部3未能进行位置数据的获取的情况下,基于存储在存储器7的多个位置数据来计算当前时刻的眼的预测位置,并输出该预测位置以作为当前时刻的位置数据。因此,三维显示装置2在检测装置1未能检测出眼的位置的情况下,能够高精度地预测当前时刻的眼的位置。
三维显示装置2基于包括当前时刻的预测位置的多个位置数据,输出未来时刻的眼的预测位置,并基于该预测位置,使视差图像显示在显示面板5的各子像素。因此,三维显示装置2即使在检测装置1未能检测出眼的位置的情况下,也能够高精度地预测未来时刻的眼的位置。由于三维显示装置2能够基于未来时刻的眼的预测位置显示图像,因而能够减少利用者变得难以对三维图像进行视认的情况。
在本实施方式中,控制器8基于检测装置1从相机获取到的拍摄图像以及该拍摄图像的拍摄时刻,预测比该拍摄时刻靠后的时刻的眼的位置。因此,三维显示装置2可以构成为控制器8和检测装置1互相非同步地动作。换言之,三维显示装置2可以构成为控制器8以及检测装置1互相分离的系统。由此,三维显示装置2能够向检测装置1以及控制器8,供给适合分别进行的处理的频率的时钟信号,因而能够使检测装置1以及控制器8高速且正常地动作。控制器8和检测装置1可以基于相同的时钟信号非同步地动作,还可以基于单独的时钟信号而非同步地动作。关于控制器8以及检测装置1,可以是,一者与第1时钟信号同步地动作,另一者与将第1时钟信号分频得到的第2时钟信号同步地动作。
上述的实施方式作为代表性的例进行了说明,能够在本发明的主旨以及范围内进行许多变更以及置换,这对于本领域技术人员来说是显而易见的。因此,本发明不应解释为由上述的实施方式限制,能够在不脱离专利权利要求书而进行各种变形以及变更。例如,能够将实施方式以及实施例所述的多个结构块组合成1个、或者对1个结构块进行分割。
如图12所示,三维显示系统10可以搭载于平视显示器100。平视显示器100也称为HUD(Head Up Display,平视显示器)100。HUD100具备三维显示系统10、光学构件110、具有被投影面130的被投影构件120。HUD100使从三维显示装置2射出的图像光经由光学构件110到达被投影构件120。HUD100使在被投影构件120反射的图像光,到达利用者的左眼以及右眼。即,HUD100使图像光沿着示为虚线的光路140从三维显示装置2行进到利用者的左眼以及右眼为止。利用者可以作为虚像150来对沿着光路140到达的图像光进行视认。HUD100可以通过根据利用者的左眼以及右眼的位置来控制显示,从而根据利用者移动提供立体观看。
如图13所示,图像显示装置1以及HUD100可以搭载于移动体20。HUD100的结构的一部分可以与移动体20具备的其他装置或部件兼用。例如,移动体20可以将风挡兼用为被投影构件120。有时将兼用为HUD100的结构的一部分的该移动体20具备的其他装置或部件称为HUD模块。
作为显示面板5,不限于透射型的显示面板,能够使用自发光型的显示面板等其他显示面板。透射型的显示面板除液晶面板之外,还包括MEMS(Micro Electro MechanicalSystems,微机电系统)快门式的显示面板。自发光型的显示面板包括有机EL(Electro-luminescence,有机电发光)以及无机EL的显示面板。在使用自发光型的显示面板作为显示面板5的情况下,照射器4变为无用。在使用自发光型的显示面板作为显示面板5的情况下,视差屏障6位于显示面板5的图像光射出的一侧。
本公开中的“移动体”中包含车辆、船舶、航空机。本公开中的“车辆”中包含汽车以及工业车辆,但是并不局限于此,可以包含铁道车辆以及生活车辆、行驶滑行路的固定翼机。汽车包含乘用车、卡车、巴士、二轮车以及无轨电车等,但并不限于此,可以包含在道路上行驶的其他车辆。工业车辆包含面向农业以及建设的工业车辆。工业车辆中包含叉车以及高尔夫车,但并不限于此。面向农业的工业车辆中包含拖拉机、耕耘机、移植机、割捆机(binder)、联合收割机以及割草机,但并不限于此。面向建设的工业车辆中包含公牛推土机、铲土机(scraper)、挖土机、起重机车、翻斗车以及压路机,但并不限于此。车辆包含通过人力而行驶的车辆。另外,车辆的分类并不限于上述。例如,汽车中可以包含可在道路行驶的工业车辆,可以在多个分类中包含相同的车辆。本公开中的船舶中包含海上喷气机、船只、油轮。本公开中的航空机中,包含固定翼机和旋转翼机。
本公开中的“时刻”不限于可以设为协调世界时间(Coordinated UniversalTime;UTC)等时刻,可以采用在基于内部时钟等的器件内的独自的时间。独自的时间不限于多个结构同步的时刻,可以包括各结构的独自时刻。独自的时间可以在一部分的结构中包括共同的时刻。
符号说明
1:检测装置;
23:维显示装置;
3:获取部;
4:照射器;
5:显示面板;
6:视差屏障;
7:存储器;
8:控制器;
103:维显示系统;
20:移动体;
51a:可视区域;
51aL:左可视区域;
51aR:右可视区域;
51bL:左减光区域;
51bL:右减光区域;
61:减光部;
62:透光部;
100:平视显示器;
110:光学构件;
120:被投影构件;
130:被投影面;
140:光路;
150:虚像;
A:有效区域。

Claims (10)

1.一种三维显示装置,其特征在于,具备:
显示面板,构成为显示视差图像,并出射与所述视差图像对应的图像光;
视差屏障,具有构成为规定所述图像光的光线方向的面;
获取部,构成为从检测装置依次获取分别表示眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取的拍摄图像,检测所述眼的位置;
存储器,构成为存储由所述获取部依次获取到的所述多个位置数据;和
控制器,构成为基于存储所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述控制器构成为:
如果所述获取部连续地获取到表示相同的值的所述位置数据,则丢弃连续地获取的所述位置数据中的第2个位置数据,并基于存储在所述存储器的所述多个位置数据,输出当前时刻的眼的预测位置以作为所述位置数据,
基于包括所述当前时刻的眼的预测位置的多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,
基于该预测位置,使所述视差图像显示在所述显示面板的各子像素。
2.根据权利要求1所述的三维显示装置,其中,
所述控制器构成为基于存储在所述存储器的所述位置数据,对表示比当前时间点靠后的时刻与该时刻下的眼的位置的关系的预测函数进行计算,并基于所述预测函数,输出所述眼的预测位置。
3.根据权利要求2所述的三维显示装置,其中,
所述控制器构成为以比所述拍摄时间间隔短的输出时间间隔,基于所述预测函数输出所述眼的预测位置,并基于该预测位置,使视差图像显示在所述显示面板的各子像素。
4.根据权利要求2或3所述的三维显示装置,其中,
所述控制器构成为以比对显示在所述显示面板的图像进行更新的显示时间间隔短的输出时间间隔,基于所述预测函数,输出所述预测位置。
5.根据权利要求2或3所述的三维显示装置,其中,
所述控制器构成为基于如下的眼的位置对所述预测函数进行修正:基于所述相机在对基于所述预测位置的图像进行显示的显示时刻对所述眼进行拍摄得到的拍摄图像而检测到的眼的位置。
6.根据权利要求1~3中任一项所述的三维显示装置,其中,
所述控制器构成为:
如果所述获取部进行所述位置数据的获取失败,则基于存储在所述存储器的所述多个位置数据,输出当前时刻的眼的预测位置以作为所述位置数据,
基于包括所述当前时刻的眼的预测位置的多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,
基于该预测位置,使所述视差图像显示在所述显示面板的各子像素。
7.根据权利要求1~3中任一项所述的三维显示装置,其中,
所述控制器和所述检测装置互相非同步地动作。
8.一种三维显示系统,其特征在于,具备:
检测装置和三维显示装置,
所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置,
所述三维显示装置具备:
显示面板,构成为显示视差图像,并出射与所述视差图像对应的图像光;
视差屏障,具有构成为规定所述图像光的光线方向的面;
获取部,构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取的拍摄图像,检测所述眼的位置;
存储器,构成为存储由所述获取部依次获取到的所述多个位置数据;和
控制器,构成为基于存储所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述控制器构成为:
如果所述获取部连续地获取到表示相同的值的所述位置数据,则丢弃连续地获取的所述位置数据中的第2个位置数据,并基于存储在所述存储器的所述多个位置数据,输出当前时刻的眼的预测位置以作为所述位置数据,
基于包括所述当前时刻的眼的预测位置的多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,
基于该预测位置,使所述视差图像显示在所述显示面板的各子像素。
9.一种平视显示器,其特征在于,具备:
三维显示系统和被投影构件,
所述三维显示系统包括检测装置和三维显示装置,
所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置,
所述三维显示装置具有:
显示面板,构成为显示视差图像,并出射与所述视差图像对应的图像光;
视差屏障,具有构成为规定所述图像光的光线方向的面;
获取部,构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取的拍摄图像,检测所述眼的位置;
存储器,构成为存储由所述获取部依次获取到的所述多个位置数据;和
控制器,构成为基于存储所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述控制器构成为:
如果所述获取部连续地获取到表示相同的值的所述位置数据,则丢弃连续地获取的所述位置数据中的第2个位置数据,并基于存储在所述存储器的所述多个位置数据,输出当前时刻的眼的预测位置以作为所述位置数据,
基于包括所述当前时刻的眼的预测位置的多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,
基于该预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述被投影构件使从所述三维显示装置射出的所述图像光向利用者的眼的方向反射。
10.一种移动体,其特征在于,具备:
包括三维显示系统和被投影构件的平视显示器,
所述三维显示系统包括检测装置和三维显示装置,
所述检测装置基于从以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取到的拍摄图像,检测所述眼的位置,
所述三维显示装置具有:
显示面板,构成为显示视差图像,并出射与所述视差图像对应的图像光;
视差屏障,具有构成为规定所述图像光的光线方向的面;
获取部,构成为从检测装置依次获取分别表示所述眼的位置的多个位置数据,所述检测装置构成为基于从构成为以拍摄时间间隔对利用者的眼进行拍摄的相机依次获取的拍摄图像,检测所述眼的位置;
存储器,构成为存储由所述获取部依次获取到的所述多个位置数据;和
控制器,构成为基于存储所述存储器的所述多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,并基于所述预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述控制器构成为:
如果所述获取部连续地获取到表示相同的值的所述位置数据,则丢弃连续地获取的所述位置数据中的第2个位置数据,并基于存储在所述存储器的所述多个位置数据,输出当前时刻的眼的预测位置以作为所述位置数据,
基于包括所述当前时刻的眼的预测位置的多个位置数据,输出比当前时刻靠后的时刻的眼的预测位置,
基于该预测位置,使所述视差图像显示在所述显示面板的各子像素,
所述被投影构件使从所述三维显示装置射出的所述图像光向利用者的眼的方向反射。
CN202080005295.5A 2019-09-30 2020-09-28 三维显示装置、三维显示系统、平视显示器以及移动体 Active CN112889273B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-178949 2019-09-30
JP2019178949 2019-09-30
PCT/JP2020/036689 WO2021065825A1 (ja) 2019-09-30 2020-09-28 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体

Publications (2)

Publication Number Publication Date
CN112889273A CN112889273A (zh) 2021-06-01
CN112889273B true CN112889273B (zh) 2023-06-20

Family

ID=75336558

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080005320.XA Active CN112956188B (zh) 2019-09-30 2020-09-28 三维显示装置、三维显示系统、平视显示器以及移动体
CN202080005295.5A Active CN112889273B (zh) 2019-09-30 2020-09-28 三维显示装置、三维显示系统、平视显示器以及移动体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080005320.XA Active CN112956188B (zh) 2019-09-30 2020-09-28 三维显示装置、三维显示系统、平视显示器以及移动体

Country Status (5)

Country Link
US (2) US20220295043A1 (zh)
EP (2) EP3840374B1 (zh)
JP (2) JP7325521B2 (zh)
CN (2) CN112956188B (zh)
WO (2) WO2021065826A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929640A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示装置、显示方法、显示屏校正方法
KR20230046566A (ko) 2021-09-30 2023-04-06 삼성전자주식회사 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102378032A (zh) * 2010-08-09 2012-03-14 Lg电子株式会社 显示三维图像的系统、装置和方法以及位置跟踪设备
CN102449534A (zh) * 2010-04-21 2012-05-09 松下电器产业株式会社 立体影像显示装置、立体影像显示方法
CN102447824A (zh) * 2010-10-05 2012-05-09 卡西欧计算机株式会社 摄影装置及摄影方法
CN105704471A (zh) * 2014-12-10 2016-06-22 三星电子株式会社 用于预测眼睛位置的设备和方法
WO2018105533A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 画像投影装置、画像表示装置、および移動体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2758023B2 (ja) * 1989-05-17 1998-05-25 日本放送協会 画像表示装置
JP3668116B2 (ja) 1999-09-24 2005-07-06 三洋電機株式会社 眼鏡無し立体映像表示装置
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
JP5942130B2 (ja) 2013-03-28 2016-06-29 株式会社ジャパンディスプレイ 表示装置
JP6168597B2 (ja) 2013-06-25 2017-07-26 Kddi株式会社 情報端末装置
EP2990085B1 (en) * 2014-08-29 2022-08-10 Nintendo Co., Ltd. Method and apparatus for estimating the value of an input in presence of a perturbing factor
US10607417B2 (en) * 2016-06-08 2020-03-31 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method
CN110073659B (zh) * 2016-12-07 2021-10-12 京瓷株式会社 图像投影装置
JP7120537B2 (ja) 2017-10-31 2022-08-17 公立大学法人大阪 3次元表示装置、3次元表示システム、ヘッドアップディスプレイおよび3次元表示装置設計方法
KR102435614B1 (ko) * 2017-11-17 2022-08-24 삼성전자주식회사 카메라 모듈 내에서 이미지 센서를 위한 클럭 신호를 생성하기 위한 전자 장치 및 방법
WO2019171557A1 (ja) 2018-03-08 2019-09-12 塁 佐藤 画像表示システム
US11222476B2 (en) * 2019-05-14 2022-01-11 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America System to add parallax to video for augmented reality head up display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102449534A (zh) * 2010-04-21 2012-05-09 松下电器产业株式会社 立体影像显示装置、立体影像显示方法
CN102378032A (zh) * 2010-08-09 2012-03-14 Lg电子株式会社 显示三维图像的系统、装置和方法以及位置跟踪设备
CN102447824A (zh) * 2010-10-05 2012-05-09 卡西欧计算机株式会社 摄影装置及摄影方法
CN105704471A (zh) * 2014-12-10 2016-06-22 三星电子株式会社 用于预测眼睛位置的设备和方法
WO2018105533A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 画像投影装置、画像表示装置、および移動体

Also Published As

Publication number Publication date
JPWO2021065826A1 (zh) 2021-04-08
EP3840374A4 (en) 2021-10-20
JP7325520B2 (ja) 2023-08-14
US20220295043A1 (en) 2022-09-15
US20230067565A1 (en) 2023-03-02
JPWO2021065825A1 (zh) 2021-04-08
WO2021065825A1 (ja) 2021-04-08
EP3840373A1 (en) 2021-06-23
EP3840373B1 (en) 2023-03-15
EP3840373A4 (en) 2021-09-29
CN112956188B (zh) 2023-08-22
EP3840374B1 (en) 2023-07-19
CN112889273A (zh) 2021-06-01
WO2021065826A1 (ja) 2021-04-08
JP7325521B2 (ja) 2023-08-14
EP3840374A1 (en) 2021-06-23
CN112956188A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
US9939637B2 (en) Virtual image display device, head-up display system, and vehicle
CN112889273B (zh) 三维显示装置、三维显示系统、平视显示器以及移动体
EP3650922B1 (en) Three-dimensional display device, three-dimensional display system, mobile body, and three-dimensional display method
US11343484B2 (en) Display device, display system, and movable vehicle
US20150070157A1 (en) Vehicle display apparatus
WO2019160160A1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体
US20200053352A1 (en) Three-dimensional display apparatus, three-dimensional display system, head-up display system, and mobile body
CN112888990A (zh) 图像显示装置、图像显示系统以及移动体
US11881130B2 (en) Head-up display system and moving body
US20230004002A1 (en) Head-up display, head-up display system, and movable body
CN113614613B (zh) 立体虚像显示模块、立体虚像显示系统以及移动体
CN112889274B (zh) 三维显示装置、平视显示器、移动体以及程序
WO2020130047A1 (ja) 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、及び移動体
EP4067149A1 (en) Head-up display system and moving body
US11961429B2 (en) Head-up display, head-up display system, and movable body
WO2020256154A1 (ja) 3次元表示装置、3次元表示システム、および移動体
CN112889275B (zh) 通信平视显示器系统、通信设备、移动体以及程序
WO2023120603A1 (ja) 撮像装置および画像処理方法
WO2022131009A1 (ja) 立体表示用コントローラ
CN116685897A (zh) 三维显示装置
JP2021056255A (ja) パララックスバリア、3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体
CN116134366A (zh) 三维显示装置
CN116235241A (zh) 三维显示装置、三维显示方法、三维显示系统以及移动体
CN114761857A (zh) 平视显示器、平视显示器系统以及移动体
CN117378198A (zh) 三维图像显示系统的设定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant