CN115668108A - 视点检测装置以及显示装置 - Google Patents

视点检测装置以及显示装置 Download PDF

Info

Publication number
CN115668108A
CN115668108A CN202180035774.6A CN202180035774A CN115668108A CN 115668108 A CN115668108 A CN 115668108A CN 202180035774 A CN202180035774 A CN 202180035774A CN 115668108 A CN115668108 A CN 115668108A
Authority
CN
China
Prior art keywords
image
user
eye
display
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180035774.6A
Other languages
English (en)
Inventor
草深薰
佐藤昭典
桥本直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN115668108A publication Critical patent/CN115668108A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/31Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/312Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being placed behind the display panel, e.g. between backlight and spatial light modulator [SLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0129Head-up displays characterised by optical features comprising devices for correcting parallax
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Position Input By Displaying (AREA)

Abstract

包含:摄像部,构成为对利用者的眼睛进行拍摄,并输出所拍摄的摄像图像;和控制部,构成为基于所拍摄的摄像图像来检测利用者的视点。控制部从摄像图像检测视点的位置,通过变换表格来将检测到的检测视点的位置修正为修正视点的位置。

Description

视点检测装置以及显示装置
技术领域
本公开涉及视点检测装置以及显示装置。
背景技术
现有技术的一例记载于专利文献1。
现有技术文献
专利文献
专利文献1:JP特开2019-15823号公报
发明内容
本公开的视点检测装置包含:摄像部,构成为对利用者的眼睛进行拍摄,并输出所拍摄的摄像图像;和控制部,构成为基于所拍摄的所述摄像图像来检测利用者的视点,所述控制部构成为从所述摄像图像检测所述视点的位置,通过变换表格来将所检测的检测视点的位置修正为修正视点的位置。
本公开的显示装置包含:所述视点检测装置;壳体,收容所述摄像部,构成用于所述利用者进行装备的眼盒(eye box);和显示部,收容于所述壳体,用于显示所述摄像图像,所述摄像部构成为对装备所述壳体的利用者的双眼的视点进行拍摄。
附图说明
本公开的目的、特色以及优点会根据下述的详细的说明和附图而变得更加明确。
图1是表示装备了具备本公开的一实施方式的视线检测装置的三维投影系统以及三维显示装置的移动体的图。
图2是表示图1的三维显示装置的示意性结构的图。
图3是表示显示面的结构例的俯视图。
图4是表示屏障的结构例的俯视图。
图5是示意性地表示利用者的眼睛、显示部与屏障部的关系的图。
图6是表示装备了具备本公开的其他实施方式的视线检测装置的三维投影系统以及三维显示装置的移动体的图。
具体实施方式
在成为本公开的视点检测装置以及显示装置的基础的结构中,通过控制部,取得与移动体的驾驶者等利用者的眼睛的位置相关的信息,根据基于控制部的眼睛的位置来动态地控制视差屏障,减少显示图像的畸变。
以下,参考附图来说明本公开的发光装置的实施方式。另外,示意性地示出以下的说明中所用的各图。
图1是表示装备了具备本公开的一实施方式的视线检测装置的三维投影系统以及三维显示装置的移动体的图。在本实施方式中,移动体10具备三维投影系统100和光学构件15。三维投影系统100可以包含三维显示装置12。移动体10搭载三维投影系统100以及三维显示装置12。
三维显示装置12的位置可以搭载于移动体10的内部以及外部的任意的位置,例如搭载于移动体10的仪表板内。这样的三维显示装置12向光学构件15射出图像光。
光学构件15反射从三维显示装置12射出的图像光。被光学构件15反射的图像光到达眼盒(eye box)16。眼盒16是例如考虑利用者13的体格、姿势、以及姿势的变化等而设想为利用者13的眼睛5能存在的真实空间上的区域。眼盒16的形状能平面或立体地设定为任意的形状的区域。图1所示的箭头L1表示从三维显示装置12射出的图像光的至少一部分到达眼盒16的路径。在利用者13的眼睛5位于眼盒16内的情况下,利用者13能通过到达眼盒16的图像光来视觉辨认后述的图2所示的虚像14。
图2是表示图1的三维显示装置的示意性结构的图。虚像14位于将从光学构件15的反射点到达眼睛5的路径向前方延长而得到的延长线L2上。三维显示装置12通过使利用者13视觉辨认虚像14,来作为平视显示器(Head Up Display;HUD)发挥功能。
光学构件15可以包含挡风玻璃或合束器(combiner)等。在本实施方式中,光学构件15是挡风玻璃。在图1以及图2中,利用者13的眼睛5所并排的方向对应于X轴方向,铅垂方向对应于Y轴方向,与X轴方向以及Y轴方向正交的方向对应于Z轴方向。
本公开中的“移动体”例如可以包含车辆、船舶以及航空器等。车辆例如可以包含汽车、产业车辆、铁道车辆、生活车辆以及在跑道行驶的固定翼机等。汽车例如可以包含乘用车、拖拉机、巴士、二轮车以及无轨电车等。产业车辆例如可以包含面向农业以及建筑的产业车辆等。产业车辆例如可以包含叉车以及高尔夫车等。面向农业的产业车辆例如可以包含拖拉机、耕耘机、移栽机、捆扎机、联合收割机以及割草机等。面向建筑的产业车辆例如可以包含推土机、铲土机、铲车、起重车、翻斗车以及压路机等。车辆可以包含凭借人力行驶的车辆。车辆的分类并不限于上述的示例,例如汽车可以包含能在道路行驶的产业车辆,可以在多个分类中包含相同车辆。作为船舶例如包含海上喷射器、小船以及油轮等,作为航空器,例如可以包含固定翼机以及旋转翼机等。
三维投影系统100可以还包含检测利用者13的眼睛5的位置的检测装置11。检测装置11检测利用者13的眼睛5的位置,将检测到的眼睛5的位置输出到三维显示装置12。包含这样的检测装置11来构成视线检测装置。三维显示装置12基于检测装置11检测到的利用者13的眼睛5的位置来控制投影的图像。检测装置11的位置在移动体10的内部以及外部是任意的。例如,检测装置11可以位于移动体10的仪表板内。检测装置11例如可以经由有线、无线以及CAN(Controller Area Network,控制器局域网)等将表示眼睛5的位置的信息向三维显示装置12输出。
检测装置11具备摄像装置11a。摄像装置11a例如可以通过CCD(Charge CoupledDevice,电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器来实现。摄像装置11a将利用者13的脸设定为能进行摄像的摄像范围。这样的摄像范围可以包含装备于利用者13的头部的眼盒16。利用者13例如可以是移动体10的驾驶者等。检测装置11构成为能基于由摄像装置11a拍摄的摄像图像来检测真实空间中的利用者13的双眼5的位置。这样的检测装置11可以不含摄像装置11a,与作为外部设备的摄像装置11a连接。检测装置11可以包含输入来自摄像装置的信号的输入端子。在该情况下,摄像装置可以与输入端子直接连接。检测装置11可以经由共享的网络而与输入端子间接连接。检测装置11可以根据输入到输入端子的影像信号来检测利用者13的眼睛5的位置。
检测装置11例如可以包含传感器。传感器例如可以是超声波传感器或光传感器等。检测装置11可以通过传感器来检测利用者13的头部的位置,基于头部的位置来检测利用者13的眼睛5的位置。检测装置11可以通过2个以上传感器,将利用者13的眼睛5的位置检测为三维空间的坐标。
如图2所示那样,三维显示装置12具备三维显示装置17和光学元件18。三维显示装置12也被称作图像显示模块。三维显示装置17具备背光灯19、具有显示面20a的显示部20、屏障部21和控制部24。三维显示装置17可以还具备通信部22。三维显示装置17可以还具备存储部23。
光学元件18可以包含第1镜18a和第2镜18b。第1镜18a以及第2镜18b的至少一者可以具有光焦度。在本实施方式中,第1镜18a设为是具有光焦度的凹面镜。第2镜18b设为是平面镜。光学元件18可以作为将显示于三维显示装置17的图像放大的放大光学系统而发挥功能。图2所示的一点划线的箭头表示从三维显示装置17射出的图像光的至少一部分被第1镜18a以及第2镜18b、并向三维显示装置12的外部射出的路径。射出到三维显示装置12的外部的图像光到达光学构件15,在光学构件15被反射从而到达利用者13的眼睛5。其结果,利用者13能视觉辨认显示于三维显示装置17的虚像14。
光学元件18和光学构件15使从三维显示装置17射出的图像光到达利用者13的眼睛5。光学元件18和光学构件15可以构成光学系统30。换言之,光学系统30可以包含光学元件18和光学构件15。光学系统30使从三维显示装置17射出的图像光沿着一点划线所示的光路到达利用者13的眼睛5。光学系统30可以控制图像光的行进方向,以使得使利用者13视觉辨认的图像放大或缩小。光学系统30可以控制图像光的行进方向,以使得使利用者13视觉辨认的图像的形状基于给定的矩阵进行变形。
光学元件18并不限于所例示的结构。镜可以是凹面镜,可以是凸面镜,也可以是平面镜。在镜是凹面镜或凸面镜的情况下,其形状可以在至少一部分包含球面形状,也可以在至少一部分包含非球面形状。构成光学元件18的要素的数量并不限于2个,也可以是1个,还可以是3个以上。光学元件18并不限于镜,可以包含透镜。透镜可以是凹面透镜,可以是凸面透镜。透镜的形状可以在至少一部分包含球面形状,也可以在至少一部分包含非球面形状。
从利用者13来看,背光灯19沿着光路位于比显示部20以及屏障部21更远的一侧。背光灯19向屏障部21和显示部20射出光。背光灯19所射出的光的至少一部分沿着一点划线所示的光路行进,到达利用者13的眼睛5。背光灯19可以包含LED(Light Emission Diode,发光二极管)、有机EL或无机EL等发光元件。背光灯19可以构成为能控制发光强度以及其分布。
显示部20可以包含显示面板。显示部20例如可以是LCD(Liquid CrystalDisplay,液晶显示器)等液晶设备。在本实施方式中,显示部20可以包含透射型的液晶显示面板。显示部20并不限于该示例,可以包含各种显示面板。
显示部20具有多个像素,在各像素中控制从背光灯19入射的光的透射率,作为到达利用者13的眼睛5的图像光而射出。利用者13视觉辨认由从显示部20的各像素射出的图像光构成的虚像14。
屏障部21规定入射过来的光的行进方向。在屏障部21位于比显示部20更靠近背光灯19的一侧的情况下,从背光灯19射出的光入射到屏障部21,进而入射到显示部20。在该情况下,屏障部21将从背光灯19射出的光的一部分遮挡或使其衰减,使另一部分向显示部20透射。显示部20将在由屏障部21规定的方向上行进的入射光作为在相同方向上行进的图像光而原样不变地射出。在显示部20位于比屏障部21更靠近背光灯19的一侧的情况下,从背光灯19射出的光入射到显示部20,进而入射到屏障部21。在该情况下,屏障部21将从显示部20射出的图像光的一部分遮挡或使其衰减,使另一部分向利用者13的眼睛5透射。
不管显示部20和屏障部21的哪一者位于利用者13的附近,屏障部21都能控制图像光的行进方向。屏障部21使从显示部20射出的图像光的一部分到达利用者13的左眼5L以及右眼5R(参考图5)的任一者,使图像光的另一部分到达利用者13的左眼5L以及右眼5R的另一者。因此,屏障部21将图像光的至少一部分的行进方向分成朝向利用者13的左眼5L的方向和朝向右眼5R的方向。左眼5L以及右眼5R分别也称作第1眼以及第2眼。在本实施方式中,屏障部21位于背光灯19与显示部20之间。因此,从背光灯19射出的光先入射到屏障部21,接下来入射到显示部20。
通过由屏障部21规定图像光的行进方向,能使不同的图像光分别到达利用者13的左眼5L以及右眼5R。其结果,利用者13能通过左眼5L以及右眼5R分别视觉辨认不同的虚像14。
如图3所示那样,显示部20在显示面20a上具有第1显示区域201和第2显示区域202。第1显示区域201可以包含通过利用者13的左眼5L视觉辨认的左眼视觉辨认区域201L和通过利用者13的右眼5R视觉辨认的右眼视觉辨认区域201R。显示部20显示包含使利用者13的左眼5L视觉辨认的左眼图像和使利用者13的右眼5R视觉辨认的右眼图像的视差图像。视差图像是分别投影到利用者13的左眼5L以及右眼5R的图像,是给利用者13的双眼带来视差的图像。
显示部20在左眼视觉辨认区域201L显示左眼图像,在右眼视觉辨认区域201R显示右眼图像。因此,显示部20在左眼视觉辨认区域201L和右眼视觉辨认区域201R显示视差图像。左眼视觉辨认区域201L和右眼视觉辨认区域201R在表示视差方向的u轴方向上并排。左眼视觉辨认区域201L以及右眼视觉辨认区域201R可以沿着与视差方向正交的v轴方向延伸,可以在相对于v轴方向以给定角度倾斜的方向上延伸。因此,左眼视觉辨认区域201L以及右眼视觉辨认区域201R可以沿着包含视差方向的分量的给定方向交替并排。左眼视觉辨认区域201L和右眼视觉辨认区域201R交替并排的间距也称作视差图像间距。左眼视觉辨认区域201L和右眼视觉辨认区域201R可以隔开间隔设置,可以相互相邻。显示部20在第2显示区域202显示平面图像。平面图像是不给利用者13的眼睛5带来视差、不呈现立体视觉的图像。
如图4所示那样,屏障部21具有第1屏障区域211和第2屏障区域212。在从利用者13来看屏障部21位于比显示部20更近的一侧的情况下,屏障部21控制从显示部20射出的图像光的透射率。第1屏障区域211与第1显示区域201对应,控制从第1显示区域201射出的视差图像所涉及的图像光的透射率。第1屏障区域211具有开口区域21b和遮光面21a。开口区域21b使从显示部20入射到屏障部21的光透射。开口区域21b可以以第1给定值以上的透射率使光透射。第1给定值例如可以是100%,也可以是接近于100%的值。遮光面21a将从显示部20入射到屏障部21的光遮挡。遮光面21a可以以第2给定值以下的透射率使光透射。第2给定值例如可以是0%,也可以是接近于0%的值。第1给定值比第2给定值大。
开口区域21b和遮光面21a在表示视差方向的u轴方向上交替并排。开口区域21b与遮光面21a的边界可以如图4例示那样沿着与视差方向正交的v轴方向,可以沿着相对于v轴方向以给定角度倾斜的方向。换言之,开口区域21b和遮光面21a可以沿着包含视差方向的分量的给定方向交替并排。
开口区域21b以及遮光面21a的形状可以基于左眼视觉辨认区域201L以及右眼视觉辨认区域201R的形状来确定。反过来说,左眼视觉辨认区域201L以及右眼视觉辨认区域201R的形状可以基于开口区域21b以及遮光面21a的形状来确定。
第2屏障区域212与第2显示区域202对应,控制从第2显示区域202射出的平面图像所涉及的图像光的透射率。
在本实施方式中,从利用者13来看,屏障部21位于比显示部20更远的一侧。屏障部21控制从背光灯19向显示部20入射的光的透射率。开口区域21b使从背光灯19向显示部20入射的光透射。遮光面21a将从背光灯19入射到显示部20的光遮挡。如此一来,入射到第1显示区域201的光的行进方向被限定为给定方向。其结果,图像光的一部分能被屏障部21控制为到达利用者13的左眼5L。图像光的另一部分能被屏障部21控制为到达利用者13的右眼5R。
屏障部21可以包含液晶快门。液晶快门能基于所施加的电压来控制光的透射率。液晶快门可以包含多个像素,控制各像素中的光的透射率。液晶快门能将光的透射率高的区域或光的透射率低的区域形成为任意的形状。在屏障部21包含液晶快门的情况下,开口区域21b可以具有第1给定值以上的透射率。在屏障部21包含液晶快门的情况下,遮光面21a可以具有第2给定值以下的透射率。
第1给定值可以被设定为比第2给定值高的值。第2给定值相对于第1给定值的比率在一例中可以被设定为1/100。第2给定值相对于第1给定值的比率在其他示例中可以被设定为1/1000。构成为开口区域21b和遮光面21a的形状能变更的屏障部21也被称作有源屏障。
控制部24控制显示部20。在屏障部21是有源屏障的情况下,控制部24可以控制屏障部21。控制部24可以控制背光灯19。控制部24可以从检测装置11取得与利用者13的眼睛5的位置相关的信息,基于该信息来控制显示部20、屏障部21或背光灯19。
控制部24例如构成为处理器。控制部24可以包含1个以上的处理器。处理器可以包含将特定的程序读入来执行特定的功能的通用的处理器、以及对特定的处理特化的专用的处理器。专用的处理器可以包含面向特定用途IC(ASIC:Application SpecificIntegrated Circuit)。处理器可以包含可编程逻辑器件(PLD:Programmable LogicDevice)。PLD可以包含FPGA(Field-Programmable Gate Array,现场可编程门阵列)。控制部24可以是1个或多个处理器共同工作的SoC(System-on-a-Chip,片上系统)以及SiP(System In a Package,系统级封装)的任一者。
通信部22可以包含能与外部装置通信的接口。外部装置例如可以包含检测装置11。通信部22可以从检测装置11取得信息,并输出到控制部24。本公开中的“通信接口”例如可以包含物理连接器以及无线通信机。物理连接器可以包含与基于电信号的传输对应的电连接器、与基于光信号的传输对应的光连接器以及与基于电磁波的传输对应的电磁连接器。电连接器可以包含遵循IEC60603的连接器、遵循USB标准的连接器或与RCA端子对应的连接器。电连接器可以包含与EIAJ CP-121aA中规定的S端子对应的连接器、或与EIAJ RC-5237中规定的D端子对应的连接器。电连接器可以包含遵循HDMI(注册商标)标准的连接器、或与包含BNC(British Naval Connector或Baby-series N Connector等)的同轴线缆对应的连接器。光连接器可以包含遵循IEC 61754的各种连接器。无线通信机可以包含遵循包括Bluetooth(注册商标)以及IEEE8021a在内的各标准的无线通信机。无线通信机可以包含至少1个天线。
存储部23可以存放各种信息或用于使三维显示装置17的各结构部动作的程序。存储部23例如可以包含半导体存储器等。存储部23可以作为控制部24的工作存储器而发挥功能。存储部23可以含在控制部24中。
如图5所示那样,从背光灯19射出的光透射屏障部21和显示部20而到达利用者13的眼睛5。从背光灯19射出的光到达眼睛5为止的路径以虚线表示。透射屏障部21的开口区域21b而到达右眼5R的光透射显示部20的右眼视觉辨认区域201R。因此,右眼5R能通过透射开口区域21b的光来视觉辨认右眼视觉辨认区域201R。透射屏障部21的开口区域21b而到达左眼5L光透射显示部20的左眼视觉辨认区域201L。因此,左眼5L能通过透射开口区域21b的光来视觉辨认左眼视觉辨认区域201L。
显示部20在右眼视觉辨认区域201R以及左眼视觉辨认区域201L分别显示右眼图像以及左眼图像。由此,屏障部21使左眼图像所涉及的图像光到达左眼5L,使右眼图像所涉及的图像光到达右眼5R。因此,开口区域21b构成为使左眼图像所涉及的图像光到达利用者13的左眼5L,使右眼图像所涉及的图像光到达利用者13的右眼5R。如此一来,三维显示装置17能对利用者13的双眼投影视差图像。利用者13能通过用左眼5L和右眼5R看视差图像,从而使图像呈现立体视觉。给利用者13的双眼带来视差的方向也称作视差方向。视差方向与利用者13的左眼5L以及右眼5R所并排的方向对应。
在利用者13呈现立体视觉的情况下,有时会由于右眼图像所涉及的图像光入射到左眼5L、或左眼图像所涉及的图像光入射到右眼5R,导致利用者13失去立体视觉。右眼图像所涉及的图像光入射到左眼5L、或左眼图像所涉及的图像光入射到右眼5R的现象也被称作串扰。串扰使提供给利用者13的立体视觉的画质变差。屏障部21使左眼图像所涉及的图像光不到达右眼5R,使右眼图像所涉及的图像光不到达左眼5L。因此,遮光面21a构成为使左眼图像所涉及的图像光不到达利用者13的右眼5R,使右眼图像所涉及的图像光不到达利用者13的左眼5L。如此一来,利用者13通过左眼5L仅视觉辨认左眼图像,通过右眼5R仅视觉辨认右眼图像。其结果,难以产生串扰。
从显示部20的显示面20a射出的图像光的至少一部分透射屏障部21的开口区域21b,经由光学元件18到达光学构件15。图像光被光学构件15反射并到达利用者13的眼睛5。由此,利用者13的眼睛5能视觉辨认位于比光学构件15更靠Z轴的负方向侧的第1虚像14a。第1虚像14a与显示面20a所显示的图像对应。屏障部21的开口区域21b和遮光面21a在光学构件15的前方即第1虚像14a的光学构件15侧做出第2虚像14b。如图5所示那样,利用者13能视觉辨认虚像14,以使得看上去显示部20存在于第1虚像14a的位置,屏障部21存在于第2虚像14b的位置。
显示于显示面20a的图像所涉及的图像光从三维显示装置17向由屏障部21规定的方向射出。光学元件18使图像光反射或折射,向光学构件15射出。光学构件15反射图像光,使其向利用者13的眼睛5行进。通过图像光入射到利用者13的眼睛5,利用者13将视差图像视觉辨认为虚像14。利用者13能通过视觉辨认虚像14来呈现立体视觉。虚像14当中的与视差图像对应的图像也被称作视差虚像。视差虚像也能说是经由光学系统30而投影的视差图像。虚像14当中的与平面图像对应的图像也被称作平面虚像。平面虚像也能说是经由光学系统30投影的平面图像。
利用者13所视觉辨认的视差虚像经由光学系统30投影到利用者13的眼睛5。光学系统30有时需要将通过图像光的入射而输入的图像保持维持相似的关系不变地进行放大或进行缩小地投影。但光学系统30有时不能维持所输入的图像与进行投影的图像之间的相似的关系。因此,有时在入射到光学系统30前的视差图像与经由光学系统30而投影的视差图像(视差虚像)之间产生畸变。例如如图6所示那样,显示于矩形的显示面20a的图像通过经由光学系统30而投影到利用者13的眼睛5,有时会成为畸变为越去往v轴的正的方向则在u轴方向上越放大的形状的虚像14。显示面20a的形状以实线表示。虚像14的形状以虚线表示。虚像14可以包含视差虚像和平面虚像。在视差虚像的畸变较大的情况下,易于产生串扰。另一方面,平面虚像的畸变与串扰没有关系。比起虚像14的畸变,利用者13更易于识别出串扰的产生。因此,视差虚像的畸变比平面虚像的畸变更易于使提供给利用者13的立体视觉的画质降低。
完全消除光学系统30的畸变是困难的。但变更光学系统30的畸变的分布比消除畸变更容易。为此,在本实施方式所涉及的三维显示装置12中,设计光学系统30,以使得经由光学系统30而投影的视差图像的畸变比经由光学系统30而投影的平面图像的畸变小。因此,光学系统30可以使畸变为给定值以上的范围分布在平面图像的图像光所通过的范围,使畸变小于给定值的范围分布在视差图像的图像光所通过的范围。例如,光学系统30可以被设计为减小与第1显示区域201对应的范围的畸变,并增大与第2显示区域202对应的范围的畸变。如此一来,即使存在光学系统30的畸变,也能提升提供给利用者13的立体视觉的画质。
视差图像可以包含沿着视差方向交替并排的右眼图像和左眼图像。显示部20在显示面20a中,在右眼视觉辨认区域201R显示右眼图像,在左眼视觉辨认区域201L显示左眼图像。在经由光学系统30投影的视差图像(视差虚像)在视差方向上畸变的情况下,在视差虚像中,右眼图像进入到左眼视觉辨认区域201L、或左眼图像进入到右眼视觉辨认区域201R的可能性提高。因此,视差方向的畸变易于使串扰产生。
光学系统30的畸变通过沿着视差方向畸变的分量与沿着与视差方向交叉的方向畸变的分量的合成来表示。控制光学系统30的畸变的方向比消除畸变更容易。为此,可以设计光学系统30,以使得光学系统30的畸变当中的沿着视差方向畸变的分量变得比沿着与视差方向交叉的方向畸变的分量小。如此一来,即使存在光学系统30的畸变,也能提升提供给利用者13的立体视觉的画质。
假定为光学系统30以1片凹面镜来表示。在该情况下,关于通过用凹面镜来对被投影物进行投影从而利用者13能够视觉辨认的虚像14的倍率,凹面镜的焦距以f表示。在被投影物与凹面镜的距离为0的情况下,即,在被投影物位于凹面镜上的情况下,虚像14的倍率成为1倍(等倍)。在被投影物与凹面镜的距离为f的情况下,即,在被投影物位于凹面镜的焦点上的情况下,虚像14的倍率发散到无线大。被投影物与凹面镜的距离越接近于f,虚像14的倍率越大,并且,相对于距离的变化的、虚像14的倍率的变化率也越大。
在本实施方式中,屏障部21相对于光学系统30位于比显示面20a更远的一侧。因此,屏障部21与光学系统30的距离比显示面20a与光学系统30的距离长。显示面20a与光学系统30的距离以D1表示。
屏障部21与光学系统30的距离以D2表示。因此,D2>D1成立。若被投影物与凹面镜的距离为D1以及D2的情况的倍率分别设为A1以及A2,则A2>A1成立。因此,与屏障部21对应的第2虚像14b的倍率比与显示面20a对应的第1虚像14a的倍率大。在屏障部21的面积和显示面20a的面积相同的情况下,第2虚像14b的面积变得比第1虚像14a的面积大。
由此,第2虚像14b能覆盖第1虚像14a。因此,在利用者13所视觉辨认的视差虚像中,屏障部21能覆盖显示于显示面20a的图像。假设在屏障部21不能覆盖显示于显示面20a的图像的一部分的情况下,不能覆盖的部分使串扰产生。通过屏障部21覆盖显示于显示面20a的图像,变得难以产生串扰。其结果,能提升提供给利用者13的立体视觉的画质。
在假定为光学系统30用1片凹面镜来表示的情况下,作为被投影物的三维显示装置17经由光学系统30而投影的虚像14的畸变根据从被投影物到光学系统30的距离而不同。例如,位于第1距离的被投影物的虚像14的畸变与位于第2距离的被投影物的虚像14的畸变不同。能设计光学系统30,以使得位于给定距离的被投影物的虚像14的畸变成为极小。
显示面20a和屏障部21隔着图5中通过参考标记g而表示的给定的间隙来设置。因此,从显示面20a到光学系统30的距离与从屏障部21到光学系统30的距离不同。在该情况下,与显示面20a对应的第1虚像14a的畸变和与屏障部21对应的第2虚像14b的畸变不同。第2虚像14b的畸变使第1虚像14a上的右眼视觉辨认区域201R以及左眼视觉辨认区域201L变形。由于右眼视觉辨认区域201R以及左眼视觉辨认区域201L变形,因此右眼图像进入左眼视觉辨认区域201L、或左眼图像进入右眼视觉辨认区域201R的可能性变高。另一方面,能通过使显示于显示部20的图像基于将表示光学系统30的畸变的矩阵逆变换而得到的矩阵进行畸变,从而修正第1虚像14a的畸变。因此,第2虚像14b的畸变比第1虚像14a的畸变更易于成为使串扰产生的原因。
可以设计光学系统30,以使得屏障部21的畸变变得比显示面20a的畸变小。可以确定三维显示装置17相对于光学系统30的位置,以使得屏障部21的畸变变得比显示面20a的畸变小。换言之,可以在光学系统30的畸变成为极小的位置配置屏障部21。如此一来,即使存在光学系统30的畸变,也能提升提供给利用者13的立体视觉的画质。控制部从摄像图像检测视点的位置,通过变换表格来将检测到的检测视点的位置修正为修正视点的位置。变换表格包含对摄像图像的畸变进行修正的畸变修正表格。变换表格包含对摄像图像的原点与该摄像图像所对应的显示图像的原点的偏差进行修正的原点修正表格。
本公开所涉及的结构并不仅限定于以上说明的实施方式,能进行许多变形或变更。例如,各结构部等中所含的功能等能在逻辑上不矛盾的情况下进行再配置,能将多个结构部等组合成一个或进行分割。
说明本公开所涉及的结构的附图是示意性的。附图上的尺寸比率等不一定与现实一致。
在本公开中,“第1”以及“第2”等记载是用于区别该结构的识别符。本公开中的以“第1”以及“第2”等记载区别的结构能交换该结构中的编号。例如,第1眼能与第2眼交换作为识别符的“第1”和“第2”。识别符的交换是同时进行的。识别符的交换后也可区别该结构。识别符可以删除。删除了识别符的结构以附图标记区别。不得仅基于本公开中的“第1”以及“第2”等识别符的记载,就利用于该结构的顺序的解释、存在较小编号的识别符的根据。
在本公开中,X轴、Y轴以及Z轴是为了说明的方便而设的,可以相互替换。本公开所涉及的结构使用由X轴、Y轴以及Z轴构成的正交坐标系来说明。本公开所涉及的各结构的位置关系并不限定为处于正交关系。
在本公开的其他实施方式中,如图6所示那样,检测装置11可以设于三维显示装置12的壳体内。即使这样的检测装置11的安装位置变更,也能够通过控制部24,根据从摄像装置11a向设置于光学构件15的背后的光反射部15a的光路径的入射角度,来控制光学构件15的动作,准确地检测利用者13的视点,基于该检测信息来控制投影图像,从而能投影高品位的三维图像。
本公开能设为如下的实施方式。
本公开的视点检测装置包含:摄像部,构成为对利用者的眼睛进行拍摄,并输出所拍摄的摄像图像;和控制部,构成为基于所拍摄的所述摄像图像来检测利用者的视点,所述控制部构成为从所述摄像图像检测所述视点的位置,通过变换表格来将所检测的检测视点的位置修正为修正视点的位置。
本公开的显示装置包含:所述视点检测装置;壳体,收容所述摄像部,构成用于所述利用者进行装备的眼盒;和显示部,收容于所述壳体,用于显示所述摄像图像,所述摄像部构成为对装备所述壳体的利用者的双眼的视点进行拍摄。
根据本公开的视点检测装置以及显示装置,能更进一步提升提供给利用者的立体图像的画质。
以上详细说明了本公开的实施方式,但本公开并不限定于上述的实施方式,能在不脱离本公开的要旨的范围内进行各种变更、改良等。能将分别构成上述各实施方式的全部或一部分适当地在不矛盾的范围组合,这点不言自明。
符号说明
5 眼睛
5L 左眼
5R 右眼
10 移动体
12 三维显示装置(图像显示模块)
13 利用者
14 虚像
14a 第1虚像
14b 第2虚像
15 光学构件
16 眼盒
17 三维显示装置
18 光学元件
18a 第1镜
18b 第2镜
19 背光灯
20 显示部
20a 显示面
21 屏障部
21a 遮光面
21b 开口区域
22 通信部
23 存储部
24 控制部
30 光学系统
100 三维投影系统
201 第1显示区域
201L 左眼视觉辨认区域
201R 右眼视觉辨认区域
202 第2显示区域
211 第1屏障区域
212 第2屏障区域。

Claims (4)

1.一种视点检测装置,包含:
摄像部,构成为对利用者的眼睛进行拍摄,并输出所拍摄的摄像图像;和
控制部,构成为基于所拍摄的所述摄像图像来检测利用者的视点,
所述控制部从所述摄像图像检测所述视点的位置,通过变换表格来将所检测的检测视点的位置修正为修正视点的位置。
2.根据权利要求1所述的视点检测装置,其中,
所述变换表格包含对所述摄像图像的畸变进行修正的畸变修正表格。
3.根据权利要求1所述的视点检测装置,其中,
所述视点检测装置还包含:显示部,能对显示图像进行显示,
所述变换表格包含对所述摄像图像的原点与该摄像图像所对应的显示图像的原点的偏差进行修正的原点修正表格。
4.一种显示装置,包含:
权利要求1~3中任一项所述的视点检测装置;和
壳体,收容所述摄像部,构成用于所述利用者进行装备的眼盒,
所述显示部收容于所述壳体,
所述摄像部构成为对装备所述壳体的利用者的双眼的视点进行拍摄。
CN202180035774.6A 2020-05-20 2021-05-12 视点检测装置以及显示装置 Pending CN115668108A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020088397A JP2021182344A (ja) 2020-05-20 2020-05-20 視点検出装置および表示装置
JP2020-088397 2020-05-20
PCT/JP2021/018011 WO2021235287A1 (ja) 2020-05-20 2021-05-12 視点検出装置および表示装置

Publications (1)

Publication Number Publication Date
CN115668108A true CN115668108A (zh) 2023-01-31

Family

ID=78606641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180035774.6A Pending CN115668108A (zh) 2020-05-20 2021-05-12 视点检测装置以及显示装置

Country Status (5)

Country Link
US (1) US20230199165A1 (zh)
EP (1) EP4155884A4 (zh)
JP (1) JP2021182344A (zh)
CN (1) CN115668108A (zh)
WO (1) WO2021235287A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3689285B2 (ja) * 1991-06-20 2005-08-31 富士ゼロックス株式会社 入力装置および入力装置用ヘッドマウントディスプレイ
JP2014150304A (ja) * 2013-01-31 2014-08-21 Nippon Seiki Co Ltd 表示装置及びその表示方法
JP6646361B2 (ja) * 2015-04-27 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6632443B2 (ja) * 2016-03-23 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6799507B2 (ja) 2017-07-05 2020-12-16 京セラ株式会社 3次元投影装置、3次元投影システム、および移動体
WO2019097918A1 (ja) * 2017-11-14 2019-05-23 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法

Also Published As

Publication number Publication date
WO2021235287A1 (ja) 2021-11-25
EP4155884A1 (en) 2023-03-29
JP2021182344A (ja) 2021-11-25
EP4155884A4 (en) 2024-04-17
US20230199165A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
JP7362518B2 (ja) カメラ装置、ウインドシールドおよび画像表示モジュール
JP7141975B2 (ja) 画像表示モジュール、画像表示システム、移動体、画像表示方法及び画像表示プログラム
CN113614618B (zh) 图像显示模块、移动体、以及凹面镜
CN115668108A (zh) 视点检测装置以及显示装置
JP7332764B2 (ja) 画像表示モジュール
JP7461215B2 (ja) 画像表示モジュール
EP4262198A1 (en) Three-dimensional display device, image display system, and moving body
WO2022024814A1 (ja) カメラシステムおよび運転支援システム
WO2022186189A1 (ja) 撮像装置および3次元表示装置
US20230171393A1 (en) Image display system
JP2022021866A (ja) カメラシステムおよび画像表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination