CN104704818A - 图像显示装置和图像显示方法 - Google Patents

图像显示装置和图像显示方法 Download PDF

Info

Publication number
CN104704818A
CN104704818A CN201480002549.2A CN201480002549A CN104704818A CN 104704818 A CN104704818 A CN 104704818A CN 201480002549 A CN201480002549 A CN 201480002549A CN 104704818 A CN104704818 A CN 104704818A
Authority
CN
China
Prior art keywords
image
user
information
visual field
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480002549.2A
Other languages
English (en)
Other versions
CN104704818B (zh
Inventor
登一生
丸山亚矢子
加藤弓子
井上刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN104704818A publication Critical patent/CN104704818A/zh
Application granted granted Critical
Publication of CN104704818B publication Critical patent/CN104704818B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Geometry (AREA)
  • Eyeglasses (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种图像显示装置，解决老花眼等眼睛的折射异常的矫正用的使用了多重焦点透镜的老花镜的视场内的物体被变形地看到的问题。本发明的图像显示装置(3)包括：计算视场图像内的被摄物的距离的距离计算部(101’)；预先存储使用者的视力信息的视力信息取得部(103)；基于根据视场图像、距离信息和视力信息生成的眼像与视场图像生成并输出矫正图像的矫正图像生成部(105)；和将矫正图像重叠显示到使用者的视场内的显示部(120)，所以通过不使用作为变形原因的透镜而重叠矫正图像，使用者能够看清楚近的物体。

Description

图像显示装置和图像显示方法
技术领域
本发明涉及图像显示装置，特别是涉及以由于老花眼或远视、近视等折射异常而不能看清楚物体的人为对象，通过将在安装于使用者的头部等的显示部中显示的图像与使用者的视场重叠，能够看清楚物体的头部安装型或眼镜型的图像显示装置。
背景技术
由于晶状体的折射率的异常或调整力下降、眼球形状的异常等，产生老花眼或远视、近视等眼睛的折射异常。其中，老花眼是因年龄增加，晶状体的调整力变弱，不能使焦点与近的物体一致的状态。老花眼的矫正中，主要使用由凸透镜形成的老花镜。当使用老花镜时，存在能够看清楚近的物体，但不易看见远的物体的课题。另外，为了避免该情况，看近的物体时戴上老花镜，看远的物体时必须摘下老花镜，而存在麻烦费劲的课题。
对于这种课题，作为矫正老花眼并能够看清楚远的物体的眼镜，具有在远方视用和近方视用中组合度数不同的透镜的所谓远近两用眼镜。例如，专利文献1中公开有一种双焦点眼镜，透镜整体设为远方视用的度数，并将透镜下方的一部分设为近方视用的度数。当使用该眼镜时，利用一个眼镜能够看清楚近的物体和远的物体。但是，远方视用和近方视用的边界部的度数不连续，所以存在边界附近的物体重影地被看到的课题。
与之相对，专利文献2中公开有一种随着朝向透镜下去而度数逐渐变化的多重渐进焦点的眼镜。该眼镜中，远方视用和近方视用的边界部的度数连续地变化，所以边界部不会不连续。
另外，专利文献3和专利文献4中公开有一种可变焦点的眼镜，其包括能够改变度数(折射率)的透镜和用于改变度数的控制部。当使用该眼镜时，利用一个眼镜能够看清楚近的物体和远的物体。
现有技术文献
专利文献
专利文献1：(日本)特公昭58-48885号(专利第1217078号)
专利文献2：(日本)特开昭62-90601号
专利文献3：(日本)特开2007-052116号
专利文献4：(日本)特开2009-098649号
发明内容
发明要解决的课题
但是，上述的远近两用眼镜中，由于透镜的度数在观看的方向上不同、或透镜度数随着时间而改变，所以存在变形地看到物体的课题。例如，双焦点眼镜中，重影地看到边界附近的物体。多重渐进焦点的眼镜中，例如直线根据地点不同而被看成曲率不同的曲线等，物体被不均匀变形地看到。另外，可变焦点的眼镜中，在改变度数时，以物体的大小、位置、形状随着时间而变化的方式看到变形。因此，存在使用者感到视场摇晃或感到眼睛易于疲劳等弊端。
本发明的目的在于，提供一种图像显示装置，当老花眼等眼睛的折射异常的人使用时，不论近的物体还是远的物体都能够看清楚、且不会变形地看到物体。
用于解决课题的方法
本发明是为了解决所述课题而研发的。
本申请的第1发明为以下发明。此外，本项中，发明是指申请时的说明书所记载的发明。
一种头部安装型或眼镜型的图像显示装置，其特征在于：
通过将图像重叠显示于使用者的视场，使上述使用者能够看清楚上述视场内的被摄物，
上述图像显示装置包括：
视场摄像部，其拍摄并输出作为上述使用者的上述视场的图像的视场图像；
距离计算部，其被输入上述视场图像，计算上述视场图像内的上述被摄物与上述视场摄像部的距离，作为距离信息输出；
视力信息取得部，其取得作为关于上述使用者的视力的信息的视力信息；
矫正图像生成部，其基于上述视场图像、上述距离信息和上述视力信息生成并输出上述矫正图像；和
显示部，其被输入上述矫正图像，将上述被摄物的矫正图像重叠显示到上述使用者的视场内。
根据该结构，使用者不通过透镜就能够看到物体，所以能够不变形地看到物体。而且，对于因老花眼而没有眼镜不能看清楚的近的物体，通过重叠矫正图像地进行观察，能够看清楚。
“视场”是指使用者通过自身的眼能够视认的范围。
“被摄物”是指使使用者的眼与焦点一致的对象物。
“能够看清楚”是指，与未安装图像显示装置的情况相比，使用者能够清晰地看到对象物。
“视力信息”是指关于使用者的视力的信息，包含在某个条件下的视力的信息和随着时间经过的关于视力变化的信息。
“基于视场图像、距离信息和视力信息生成矫正图像”不限于使用它们直接生成矫正图像的情况，还包含使用它们生成的其它图像并使用该其它图像生成矫正图像的情况。
“重叠显示”是指，在矫正图像与直接观察的被摄物的图像重叠的状态下显示，以使得使用者能够视认被摄物。由此，使用者能够将直接观察的被摄物的像和矫正图像的像重叠并投影于视网膜的像作为视网膜像识别。
本申请的第2发明为以下发明。
如第1发明中，包括裸眼像生成部，该裸眼像生成部被输入上述视场图像、上述距离信息和上述视力信息，生成并输出作为上述使用者看到上述被摄物时的像的裸眼像，
上述矫正图像生成部被输入上述视场图像和上述裸眼像，基于上述视场图像和上述裸眼像生成并输出上述矫正图像。
“裸眼像”是指使用者通过自身的眼观察到的被摄物的像(视网膜像)。
本申请的第3发明为以下发明。
如第2发明的图像显示装置，其特征在于：上述矫正图像生成部基于上述视场图像与上述裸眼像的差图像加上常数值而得的图像，生成并输出上述矫正图像。
本申请的第4发明为以下发明。
如第2发明的图像显示装置，其特征在于：包括眼位置计算部，该眼位置计算部计算上述使用者的包含视线的眼的位置、姿势，作为眼位置信息输出，
上述裸眼像生成部被输入上述视场图像、上述距离信息、上述视力信息和上述眼位置信息，计算作为上述使用者的上述视线上的上述被摄物的注视点与上述使用者的眼的距离的注视点距离，生成并输出上述使用者观察上述注视点时的上述裸眼像。
“注视点”是指使用者的视线与被摄物的交点。
本申请的第5发明为以下发明。
如第4发明的图像显示装置，其特征在于：上述显示部包括在上述使用者的上述视场的规定距离重叠显示图像的投射光学系统，
上述裸眼像生成部输出上述注视点距离，
上述矫正图像生成部基于上述视场图像、上述裸眼像和上述注视点距离生成并输出上述矫正图像，
上述投射光学系统控制光学系统，以使得上述矫正图像与处于上述注视点距离的上述被摄物重叠显示。
本申请的第6发明为以下发明。
如第1发明的图像显示装置，其特征在于：上述视场摄像部以其实际空间上的光轴与上述使用者朝向正面时的视线一致的方式配置。
本申请的第7发明为以下发明。
如第4发明的图像显示装置，其特征在于：上述视场摄像部为能够拍摄多视点图像并构成来自任意视点的图像的光场摄像机，且以与上述使用者朝向正面时的视线一致的方式配置，并且将上述眼位置计算部计算出的上述使用者的视线信息作为输入，再构成上述使用者的视线的图像，作为上述视场图像输出。
本申请的第8发明为以下发明。
如第1发明的图像显示装置，其特征在于：上述矫正图像生成部在上述使用者的上述视场较暗的情况下使上述矫正图像变亮。
本申请的第9发明为以下发明。
如第1发明的图像显示装置，其特征在于：上述视力信息包含关于上述使用者的视力的时间变化的信息。
本申请的第10发明为以下发明。
如第9发明的图像显示装置，其特征在于：上述视力信息包含上述使用者开始注视规定距离的上述被摄物起的经过时间与焦点模糊的程度的变化关系的信息，
上述裸眼像生成部基于上述视力信息和注视点距离的变化，生成上述裸眼像。
本申请的第11发明为以下发明。
如第9发明的图像显示装置，其特征在于：
上述视力信息包含上述使用者的上述视场从明亮的状态变化为较暗的状态起的经过时间与上述使用者视认的像的明亮度的变化关系的信息，
上述裸眼像生成部基于上述视力信息和上述视场内的上述像的明亮度的变化，生成上述裸眼像。
此外，本发明不仅能够作为具备这种特征性的处理部的图像显示装置进行实现，而且还能够作为以图像显示装置所包含的特征性的处理部为步骤的图像显示方法进行实现。
本申请的第12发明为以下发明。
一种图像显示方法，其特征在于：
通过将图像重叠显示于使用者的视场，使上述使用者能够看清楚上述视场内的被摄物，
上述图像显示方法包括：
拍摄并输出作为上述使用者的上述视场的图像的视场图像的视场摄像步骤；
输入上述视场图像，计算视场图像内的被摄物与上述摄像部的距离，作为距离信息输出的距离计算步骤；
取得作为关于上述使用者的视力的信息的视力信息的视力信息取得步骤；
基于上述视场图像、上述距离信息和上述视力信息生成并输出矫正图像的矫正图像生成步骤；和
输入上述矫正图像，将上述被摄物的上述矫正图像重叠显示到上述使用者的上述视场内的显示步骤。
另外，也能够作为使计算机执行图像显示方法所包含的特征性的步骤的程序进行实现。而且，当然也能够使这种程序经由CD-ROM(Compact Disc-Read Only Memory)等计算机能够读取的记录介质或因特网等通信网络流通。
本申请的第13发明为以下发明。
一种程序，用于使计算机执行第12发明的图像显示方法所包含的各步骤。
发明的效果
根据本发明，由于老花眼等眼睛的折射异常而不能看清楚的近的物体，通过将矫正老花眼引起的模糊的矫正像重叠地观察而能够看清楚。而且，使用者不通过透镜就能够看到物体，所以能够不变形地看到物体。其结果，老花眼的人不论近的物体还是远的物体都能够看清楚，且不会变形地看到物体。
附图说明
图1是表示实施方式1的图像显示装置的结构的框图。
图2是表示实施方式1的图像显示装置的光学系统的构造的示意图。
图3是表示包括由计算机构成的图像生成部的图像显示装置的结构的框图。
图4是表示实施方式1的图像生成部的动作顺序的流程图。
图5是表示实施方式1的(a)使用状况的例子的示意图，(b)是表示使用者的视场的示意图，(c)是表示由视场摄像部拍摄的视场图像的示意图。
图6是表示与实施方式1的视场图像对应的距离图像的例子的示意图。
图7是表示实施方式1的眼图像和眼位置信息的例子，(a)是左右的眼图像的示意图，(b)是光彩位置的推定结果的示意图，(c)是表示视场图像上的注视点位置的推定结果的示意图。
图8是表示使用者为老花眼时的视力信息的例子的图。
图9是表示视场图像和裸眼像的例子的图，(a)为视场图像(左)，(b)为裸眼像(左)。
图10是表示显示的图像的例子的图，(a)为差图像，(b)为矫正图像。
图11是表示使用者观测的图像的例子的图，(a)是从使用者观测的显示装置上的矫正图像，(b)是从使用者观测的合成像。
图12是表示实施方式2的图像显示装置的结构的框图。
图13是表示实施方式2的图像显示装置的光学系统的构造的示意图。
图14是表示实施方式2的图像生成部的动作顺序的流程图。
图15是表示实施方式3的图像显示装置的结构的框图。
图16是表示实施方式3的图像显示装置的光学系统的构造的示意图。
图17是表示实施方式3的图像生成部的动作顺序的流程图。
图18是表示实施方式4的使用者的视力信息的例子的图。
图19是表示使用者为近视时的视力信息的例子的图。
具体实施方式
(实施方式1)
以下，使用附图对本发明的实施方式1进行说明。
图1是表示实施方式1的图像显示装置1的结构的框图。如图1所示，实施方式1的图像显示装置1包括：摄像部110、图像生成部100、和显示部120。摄像部110包括左右2台视场摄像部111a、111b和左右2台眼摄像部112a、112b，图像生成部100包括：距离计算部101、眼位置计算部102、视力信息取得部103、裸眼像生成部104、矫正图像生成部105，显示部120包括左右2台图像显示部121a、121b和投射光学系统122a、122b。此外，为了区别同一部件，使用下标a～d，但以下中，在没有特别区别它们的情况下，除去下标而只使用部件编号。
图2是表示实施方式1的图像显示装置1的光学系统的配置的示意图。该图是使用者从上方观察安装有像眼镜形状的本装置的状态的图，表示使用者的眼200和图像显示装置1的光学系统的配置。2个视场摄像部111a、111b分别经由半反射镜(half mirror)123a、123b配置成，视场摄像部111拍摄的范围包含使用者的视场的一部分。另外，2个眼摄像部112a、112b分别经由半反射镜123c、123d以眼摄像部112a、112b的拍摄范围包含使用者的左右眼200a、200b的方式配置。另外，2个图像显示部121a、121b分别经由投射光学系统122a、122b和半反射镜123a、123c、123b、123d以使用者的视场中包含图像显示部121的方式配置。是视场摄像部111的光轴、眼摄像部112的光轴和投射显示系控制部122的光轴一致的方式配置各部的结构。
视场摄像部111a、111b以其实际空间上的光轴Ca、Cb与使用者朝向正面时的眼200a、200b的视线La、Lb一致的方式配置。在此，使用者朝向正面时的眼200的视线是指，观察处于正面方向的充分远的位置的被摄物时的视线。
摄像视场的视场摄像部111也能够使用拍摄多视点图像而能够再构成来自任意视点的图像的光场摄像机(light field camera)。在该情况下，光场摄像机以与使用者朝向正面时的视线一致的方式配置，能够以眼位置计算部102计算出的使用者的视线信息为输入，再构成使用者的视线的图像并作为视场图像输出。
图2中，左右的视场摄像部111a和111b分别与使用者的左眼和右眼配置于光学上同一的位置。在此，包括视场摄像部111和眼摄像部112的摄像部110(摄像机(camera)，参照图1)和眼200的光学位置或它们之间的距离是指，以各自的焦点位置为基准的位置或距离。换而言之，摄像部110和眼200配置于光学上同一位置是指，两者的焦点位置和光轴方向一致。另外，假定在使用者安装有图像摄像装置1的状态下注视某个被摄物的情况下，以使用者的视线和视场摄像部111的拍摄方向大致一致的方式配置。
实施方式1的图像显示装置1中，用摄像部110拍摄使用者的视场的图像，由图像生成部100根据拍摄的图像生成矫正图像，并由显示部120在使用者的视场中重叠显示矫正图像。
最开始，左右2台视场摄像部111经由半反射镜123以包含使用者的视场范围拍摄，并输出左右2个图像(以后，将该图像称为视场图像)。
左右2台眼摄像部112经由半反射镜123分别拍摄使用者的左右眼的周边，并输出左右2个图像(以后，将该图像称为眼图像)。
接着，距离计算部101输入从视场摄像部111输出的左右2个视场图像，推定视场图像间的视差。然后，基于该推定的视差和预先求得的2台视场摄像部111的位置信息(两者之间的距离等)，计算视场图像中的被摄物与视场摄像部111的距离，作为距离信息输出。
眼位置计算部102输入从眼摄像部112输出的左右2个眼图像，根据各自的眼图像推定使用者的左右眼的位置、姿势，作为眼位置信息输出。基于该输出，能够检测使用者的视线。视力信息取得部103预先存储有关于使用者的视力的信息即视力信息。此外，视力信息取得部103也可以采用不预先存储视力信息，而经由通信线路等取得视力信息的结构。
接着，裸眼像生成部104输入从视场摄像部111输出的视场图像、距离计算部101计算出的距离信息、从眼位置计算部102输出的眼位置信息、和视力信息取得部103所取得的视力信息，根据距离信息和眼位置信息计算使用者的注视点位置。进而，裸眼像生成部104基于计算出的注视点位置计算注视点与眼的距离即注视点距离。然后，根据注视点距离、视场图像、距离信息和视力信息，生成并输出使用者直接观察视场图像中的被摄物时投影于使用者的视网膜的像的预测值即裸眼像。由此，能够生成与注视点距离相应的裸眼像。
接着，矫正图像生成部105输入从裸眼像生成部104输出的裸眼像和注视点位置、以及从视场摄像部111输出的视场图像，根据视场图像和视力信息，基于以使用者能够看清楚注视点上的被摄物的方式矫正视力时投影于视网膜的像的预测值即明视像与裸眼像之差，生成矫正像。
本实施方式中，说明了矫正图像生成部105使用裸眼像生成部104中生成的裸眼像的情况。但是，矫正图像生成部105也可以采用使用视场图像、距离信息和视力信息创建图像数据，生成矫正图像的结构。
另外，矫正图像生成部105基于预先求得的投射光学系统122和图像显示部121的位置信息，计算并输出控制投射光学系统122以使得从使用者的眼200至注视点的被摄物的注视点距离与图像显示部121的投影距离一致的控制信息。
接着，投射光学系统122利用投射光学系统控制部(未图示)进行控制，以使得使用者的眼200与作为着眼点的注视点的距离即注视点距离跟使用者的眼200与图像显示部121的光学距离一致。这样，通过利用眼位置计算部102检测眼位置，能够根据注视点距离生成矫正图像，并控制投射光学系统122。
最后，左右2个图像显示部121显示从矫正图像生成部105输出的左右2个矫正图像。矫正图像生成部105在使用者的视场较暗的情况下，也可以使矫正图像变亮。由此，使用者在周围较暗的情况下也能够看清楚被摄物。
图1的构成图像生成部100的各构成要素可以由电子电路或集成电路等硬件实现，也可以由在计算机上执行的程序等软件实现。
图3是表示由计算机构成的本实施方式1的图像显示装置1的硬件结构的图。图3中，视场摄像部111拍摄并输出视场图像，眼摄像部112拍摄并输出眼图像，计算机300取得视场图像和眼图像，生成并输出计算矫正图像和控制信息。显示器120显示由计算机300生成的矫正图像。视场摄像部111和眼摄像部112可以使用摄像机。
计算机300包含：CPU301、ROM302、RAM303、HDD304、视频输入接口(I/F)305、显卡(video card)306和接口(I/F)307。使计算机300动作的程序预先保持在ROM302或HDD304中。程序利用作为处理器的CPU301，从ROM302或HDD304读出到RAM303并展开。CPU301执行在RAM303中展开的程序中的编码化后的各命令。视频输入I/F305根据程序的执行，将由摄像部110拍摄的图像输入至RAM303。显卡306输出根据程序的执行而生成的图像，显示部120显示器图像。CPU301经由I/F307，根据程序的执行，控制投射光学系统122。
此外，计算机程序不限于存储在作为半导体的ROM302或HDD304，例如也可以存储于CD-ROM。另外，也可以经由有线或无线网络、广播等进行传送，输入到计算机300的RAM303。
以下，使用图4说明本实施方式1的图像显示装置1的动作。
图4是表示本实施方式的图像显示装置的图像生成部100的动作的流程图。图4中，7个步骤S400～S406由图3的计算机300执行。
此外，图4的各步骤也可以由构成图1的图像生成部100的5个各处理部执行。即，视场摄像部111中执行视场摄像步骤S400，距离计算部101中执行距离计算步骤S401，眼位置计算部102中执行眼位置计算步骤S402，视力信息取得部103中执行视力信息取得步骤S403，裸眼像生成部104中执行裸眼像生成步骤S404，矫正图像生成部105中执行矫正图像生成步骤S405，显示部120中执行显示步骤S406的各动作。
摄像部110中，2个视场摄像部111分别将拍摄包含使用者的左右视场的区域的动态图像作为视场图像输出(S400)。2个眼摄像部112分别输出拍摄了包含使用者的左右眼200的区域的动态图像。本实施方式1中，视场摄像部111和眼摄像部112的各2个(合计4个)摄像部输出的动态图像同步而以一定间隔拍摄的图像构成。另外，各摄像部(视场摄像部111，眼摄像部112)输出的动态图像中，设为纵1080像素×横1920像素×60帧/秒，只要没有特别说明，图像是指构成动态图像的某1帧的图像。另外，由各处理部同时处理的多个图像同时拍摄。
本实施方式1中，以使用者为老花眼且利用图像显示装置1矫正老花眼的情况为例进行说明。图5(a)是表示本实施方式1的使用状况的例子的图。表示安装了像眼镜形状的本图像显示装置1的使用者坐在椅子上阅读书籍的例子。书籍与使用者的眼的距离约为0.5m，使用者为老花眼，所以裸眼时不能看清楚0.5m前的物体。
图5(b)是表示使用者的左右各自的眼的视场的图。朝向左侧表示左眼睛的视场，右侧表示右眼睛的视场。这些图表示包含书和桌子的广泛的范围进入使用者的视场。图5(c)是由左右2个视场摄像部111分别拍摄的视场图像的例子。左侧表示由视场摄像部111a拍摄的左视场图像，右侧表示由视场摄像部111b拍摄的右视场图像。视场图像是经由半反射镜123拍摄了视场的图像，所以实际上成为图5(b)所示的图像的镜像，但在此为了便于说明，表示将左右颠倒的正像。以后，只要没有特别说明，关于半反射镜123的影响而成为镜像的图像，假定为转换成正像进行图示。图5(c)的视场图像成为比图5(b)的视场图像狭窄的范围的图像。这表示，作为视场图像，拍摄图5(b)的使用者的视场范围的中央部分的一部分。
与摄像部110通过上述动作拍摄并输出图像并行地，计算机300执行预先确定的程序，由此进行图4的S400～S406的动作。
以后，使用图4～图10说明由计算机300执行的步骤S400～S406的详细的动作。
视场摄像步骤S400中，摄像部110的视场摄像部111拍摄并输出使用者的视场图像即视场图像。
距离计算步骤S401中，输入左右2个视场图像，通过双眼立体法计算被摄物的三维位置，作为距离图像输出。即，输入视场摄像部111所输出的左右2个视场图像Iel、Ier，通过双眼立体法计算视场图像中的被摄物的三维位置，作为与左右2个视场图像分别对应的2个距离图像Dl、Dr输出(参照图6)。
具体而言，以左视场图像的N个像素pln的像素坐标(uln,vln)为基准，检测右视场图像上的对应点的像素坐标(urn,vrn)。然后，使用预先求得的2个视场摄像部的三维位置和视场摄像部111a(摄像机)的内部参数，计算与像素pln对应的以左视场摄像部111a的焦点为坐标原点的三维位置(xln,yln,zln)。对于右视场图像也同样，计算与M个像素prm对应的、以右视场摄像111b的焦点为原点的三维位置(xrm,yrm,zrm)。然后，将计算出的至与各视场图像的像素坐标值(u,v)对应的三维位置的距离作为距离图像D＝{d(u,v)}输出。
计算2个图像间的对应的像素的对应点探索方法或运动推定方法详细记载在非专利文献1或非专利文献2等中，所以在此省略详细的说明。同样，根据2个图像间的对应点和2个摄像机位置计算三维位置的双眼立体方法详细记载在非专利文献3等中，所以在此省略详细的说明。
(非专利文献1)Vladimir Kolmogorov and Ramin Zabih，“Computing Visual Correspondence with Occlusions via Graph Cuts”，International Conference on Computer Vision，2001
(非专利文献2)P.Anandan，“A Computational Framework and anAlgorithm for the Measurement of Visual Motion”，International Journal ofComputer Vision，Vol.2，pp.283-310，1989
(非专利文献3)松山隆司等编，“计算机视觉(コンピュータビジョン)”，株式会社新技术通讯(株式会社新技術コミュニケーションズ)，pp123～137。
图6是表示与视场图像对应的距离图像的例子的示意图。左侧为与左视场图像对应的距离图像Dl，右侧为与右视场图像对应的距离图像Dr。该例子中，基于与像素pln的像素坐标(uln,vln)对应的三维位置(xln,yln,zln)，用(式1)计算来自左视场摄像部的距离d(uln,vln)，表示为距离越大、亮度值越大的图像。
d ( u ln , v ln ) = x ln 2 + y ln 2 + y ln 2     (式1)
例如，图6中，从视场摄像部111至被摄物的距离表示书籍为0.5[m]、桌子为0.8[m]。
此外，为了说明，图6以距离图像表示三维位置的信息，但不是将与像素对应的表示三维位置的信息的数据形式限定于距离图像，只要是能够表示三维位置的信息，可以是任意数据形式。
接着，眼位置计算步骤S402中，输入由2个眼摄像部112拍摄的左右2个眼图像，根据各自的眼图像推定使用者的眼的位置、姿势，作为眼位置信息输出。
具体而言，眼位置计算步骤S402中，根据左右各自的眼图像，利用图像中的边缘特征推定虹膜位置，且在推定的虹膜位置应用椭圆模型，由此计算椭圆参数。然后，对于左右各自的眼200，基于预先取得的、注视与某个视场图像的点(u,v)对应的实际空间上的点时的虹膜的与椭圆参数的关系，根据从眼图像计算出的椭圆参数，得到注视点的视场图像的像素坐标值(ue,ve)，将该坐标值作为眼位置信息输出。
根据上述的包含虹膜的眼图像推定视场图像上的注视点的方法详细记载在非专利文献4等中，所以在此省略详细的说明。
(非专利文献4)Takeo Kanade，and，Martial Hebert，“First-PersonVision”，Proceedings of THE IEEE，Vol.100，No.8，pp.2442-2453，Aug.2012
图7表示眼图像和眼位置信息的例子，更具体而言，表示眼图像和推定的虹膜位置(眼位置信息)以及视场图像中的注视点位置的例子。图7(a)是表示左右的眼图像的例子的示意图，朝向左侧表示左眼睛的眼图像，右侧表示右眼睛的眼图像。图7(b)是表示基于从眼图像提取的边缘特征推定虹膜位置，进而在推定的虹膜位置应用椭圆模型(实粗线)的结果的例子的示意图。图7(c)是表示视场图像上的注视点位置的推定结果的示意图，表示预先求得的虹膜的椭圆模型的参数与使用者的注视点的对应关系、以及根据从眼图像推定的虹膜位置求得的注视点位置。该例子中，表示处于左右的视场图像的像素坐标(ule,vle)、(ure,vre)的注视书籍的例子。
接着，视力信息取得步骤S403中，预先存储与使用者的视力相关的信息即视力信息，将该信息读出并输出。此外，也可以替代预先存储视力信息，而根据需要经由通信线路等取得视力信息。
本实施方式1中，以与至被摄物的距离d对应的表示模糊的点扩散函数的参数σ和用于看清楚距离d的被摄物的透镜的屈光度s的组表示使用者的视力信息。一般而言，将能够看清楚的最近的距离称为近点。老花眼是由于老化，眼睛的调整机能变弱，所以近点变远，模糊地看见近的物体的症状。在老花眼的人观察比近点近的被摄物的情况下，成像位置比视网膜更靠后方，而不会在视网膜上成像，所以模糊地看到被摄物。此时，眼和被摄物的距离d[m]越小，成像位置比视网膜更靠后方，模糊程度越大。由于该成像位置与投影面偏离而产生的模糊能够以点扩散函数(Point Spread Function：PSF)表示。于是，本实施方式1中，根据至被摄物的距离d[m]与以视场图像为基准的模糊程度即PSF的关系表示关于使用者的视力的信息。
本实施方式1中，用(式2)的二维正态分布函数表示模糊的PSF。
h ( du , dv ) = 1 2 π δ 2 exp ( - du 2 + dv 2 2 δ 2 )     (式2)
(式2)是平均(0,0)分散σ2的二维正态分布的函数。(du,dv)表示像上的二维坐标，δ表示模糊的扩散程度，δ越大，模糊越强。
其中，成像位置的偏离引起的模糊的PSF以(式2)表示，但不限定于此，只要是与使用者的眼的模糊相近的PSF可以使用任意PSF。例如，也可以使用(式3)的表示强度均匀的圆形开口的PSF。
h c ( du , dv ) = 1 2 πR 2 if du 2 + dv 2 ≤ R 2 0 else     (式3)
(式3)中，(u,v)表示像上的二维坐标，R表示模糊的扩散半径。(式2)的PSF中表示模糊程度的参数为σ，而(式3)的PSF中表示模糊程度的参数为R，R越大，模糊越强。
图8中表示使用者为老花眼时的视力信息的例子。本实施方式1中，为了容易说明，假定使用者的左右视力相同。该图表示来自使用者的眼的距离d[m]与(式2)的σ[pixel]和用于看清楚距离d的被摄物的矫正透镜的屈光度s[D]的关系。表示如下情况：例如，在观察d＝0.5[m]即0.5m前的被摄物的情况下，投影于使用者的眼中的图像成为对视场图像以σ＝2[pixel]使用(式2)进行卷积处理同等的模糊。在距离比0.7[m]大的情况下σ＝0，表示未产生模糊(PSF本身成为delta响应)。另外，SPH为球面透镜的屈光度，是以米表示焦点距离的值的倒数。是指使用者在观察0.5m前的被摄物时，若通过屈光度2.0即焦点距离0.5[m]的透镜观察就能够看清楚。
图8所示的来自使用者的眼的距离d与表示视场图像的模糊程度的σ的关系通过使用者进行的主观评价实验事先取得。例如，使用者安装本实施方式的图像显示装置1(图2)，以规定的距离di观察图5所示的包含大小不同的文字的书籍那样的被摄物，同时利用视场摄像部111取得视场图像。然后，在视场图像中生成添加了σ在1～10变化的(式2)的模糊的多个图像，将与眼睛看到的模糊最近的模糊图像的σi确定为与距离di对应的σi。通过在产生模糊的距离d的范围内执行多次(图8的例子中，0.3、0.4、0.5、0.6、0.7的5次)上述处理，能够得到视力信息。
其中，本实施方式1中，视力信息通过主观评价作为预先取得的信息进行了说明，但得到视力信息的方法并不限定于此，也可以是其它方法。例如，准备多个度数不同的老花镜，选择能够看清楚某个距离d的被摄物，且度数最低的凸透镜。然后，根据此时的凸透镜的度数(焦点距离的倒数)，求得使用者的眼的模糊程度和视场图像中的模糊的程度σ。通过以多个距离d重复进行该操作，能够得到图8的视力信息。
接着，裸眼像生成步骤S404基于使用者的眼的位置、眼的姿势和距离图像，推定使用者的注视点位置，基于推定的注视点位置和使用者的视力信息、视场图像，生成并输出使用者直接看注视点时的投影于视网膜的像即裸眼图像。即，基于使用者的注视点(ule,vle)、(ure,vre)和距离图像Dl、Dr，得到至注视点的距离del、der。然后，基于与注视点距离del、der对应的使用者的视力信息中包含的PSF的参数，生成并输出添加了使用者直接观测视场图像Iel、Ier时产生的模糊的影响的图像即裸眼像Inl、Inr。
(式4)中表示根据视场图像Ie和(式2)或(式3)的PSF生成裸眼像In的方法。
i n ( u , v ) = Σ du , dv h ( du , dv ) i e ( u , v )     (式4)
使用图6～图9说明裸眼像生成步骤S404的处理的例子。图7(c)表示使用者的注视点为书籍上的坐标(ule,vle)、(ure,vre)。另外，图6表示包含注视点的书籍的距离为0.5[m]。其结果，裸眼像生成步骤S404中，根据与注视点坐标对应的距离图像，推定为书籍(被摄物)上的至注视点的距离d左右均为0.5[m]。进而，根据图8的使用者的视力信息，得到距离d＝0.5[m]的、PSF的参数σ＝2[pixel]。然后，图7(c)的视场图像中，对与注视点的距离d＝0.5[m]相同的距离像素，用(式4)对PSF进行卷积运算，由此生成对视场图像添加了与使用者的视力同等的PSF的图像即裸眼像。
图9中表示视场图像和裸眼像生成步骤S404中生成的裸眼像的例子。图9(a)为由视场摄像部111a拍摄的左视场图像，图9(b)是与视场图像的各像素对应的距离图像中，对距离为0.5[m]的像素(构成0.5[m]的距离图像的像素)，对σ＝2的PSF(式2)进行卷积而生成的左裸眼像。该裸眼像成为对使用者注视的距离处于0.5[m]的书籍的距离图像，添加了与使用者的老花眼引起的模糊同等的模糊的图像。
最后，矫正图像生成步骤S405中，基于裸眼像与视场图像的差图像计算矫正图像。进而，基于使用者的视力信息，以在注视点位置看清楚显示部的图像的方式，输出控制投射光学系统122的信号，并且计算投射光学系统导致的变形，对矫正图像实施补偿该变形的变换并输出。即，基于裸眼像Inl、Inr与视场图像Iel、Ier之差，生成矫正图像Icl、Icr。然后，为了使用者以与注视点相同的位置、大小且能够看清楚显示于图像显示部121的矫正图像，基于使用者的视力信息向投射光学系统122输出控制信号。
矫正图像生成步骤S405中，差图像Id＝{id(u,v)}根据Ie＝{ie(u,v)}和裸眼像In＝{in(u,v)}用(式5)计算视场图像。
id(u，v)＝ie(u，v)-in(u，v)+Coff    (式5)
(式5)中，Coff是为了不使差图像成为负值而添加的常数，是预先确定的。
另外，矫正图像生成步骤S405中，矫正图像Ic＝{ic(u,v)}使用差图像Id和预先求得的几何变换F并根据(式6)生成。
ic(u，v)＝id(u′，v′)    (式6)
(u′，v′)＝F(d，s，u，v)
(式6)的F(d,s,u,v)是将像素坐标(u,v)变换成(u’,v’)的二维几何变换的函数，相当于投射光学系统中的图像变形的逆变换。d为至注视点的距离，s是与距离d对应的使用者的视力信息所包含的屈光度s。使用者通过投射光学系统122观测显示于图像显示部121的矫正图像。此时，图像显示部121的像发生位置、大小、歪曲等变形。于是，预先求得投射光学系统122产生的变形的逆变换即二维几何变换F，根据(式6)对差图像实施几何变换F，由此生成矫正图像。
另外，矫正图像生成步骤S405中，控制投射光学系统122，以使得显示于图像显示部121的矫正图像通过投射光学系统122显示在光学上与注视点距离d＝0.5[m]相同的距离，且使用者通过屈光度s＝2.0(焦点距离0.5m)的凸透镜能够看清楚。在此，当注视点的距离d＝0.5[m]时，输出屈光度s＝2.0[D]。
图10表示矫正图像生成步骤S405中计算的差图像和生成的矫正图像的例子。视场图像为图9(a)、裸眼像为图9(b)时，视场图像减去裸眼像的差的差图像为图10(a)。图像中不能处理负的亮度值，所以加上偏移值Coff，使视场图像与裸眼像的差不会成为负值。图10(a)的例子中，设为Ci＝128。而且，图10(b)表示将差图像根据(式6)进一步进行几何变换的矫正图像的例子。
如上所述，计算机300通过步骤S400～S405的动作，根据视场图像、距离信息和视力信息生成并输出矫正图像。
接着，显示步骤S406中，显示部120在左右2个图像显示部121a、121b显示从图像生成部100输出的矫正图像Icl、Icr。而且，投射光学系统122进行控制，以使得在相当于从使用者到距离d的位置观察显示于图像显示部的矫正图像Icl、Icr且能够看清楚矫正图像。
本实施方式1中，投射光学系统122为了使图像显示部121看起来好像离眼200距离d，以与放大镜相同的原理经由凸透镜观察图像显示部121，由此放大M倍进行显示。另外，为了根据距离d改变放大率M，采用使凸透镜和眼200的位置可变的结构。另外，为了使使用者能够看清楚图像显示部121，采用添加了与屈光度s相当的焦点距离1/s的透镜的结构。为了根据屈光度s改变焦点距离1/s，采用2个透镜和使其间隔可变的结构。这种使透镜的配置或放大率M、焦点距离f可变的方法公开在非专利文献5中，所以在此省略详细的说明。
(非专利文献5)永田信一，“图解透镜(図解レンズがわかる本)”，ISBN4-534-03491-1，日本实业出版社，pp.98-99,pp.120-129。
图11中表示使用者在显示部120观测的图像的例子。图像显示部121显示图10(b)的矫正图像，且图11(a)中表示观测者仅经由该矫正图像的投射光学系统122观察时的像。图11(a)成为与图10(a)的差图像相同的像。这是因为，对差图像实施投射光学系统的变形的逆变换的矫正图像(图11(b))在通过投射光学系统观察时变形，所以成为与最初的修正图像相同的像。另外，使用者经由半反射镜123，将显示于图像显示部121的图11(a)的矫正图像和直接看到被摄物的像(与图9(b)相同)重叠观察。图11(b)中表示此时的合成像的例子。图11(a)的矫正图像为老花眼引起的模糊，即视场图像与裸眼图像之差，将该差与被摄物的像重叠相当于老花眼的模糊的逆变换。因此，能够如图11(b)那样观测不模糊的像。
换而言之，在不使用本实施方式1的图像显示装置1的情况下，当使用者直接观察注视点距离d＝0.5[m]的书籍时，由于老花眼而如图9(b)那样模糊，不能看清楚。与之相对，当使用本实施方式1的图像显示装置1时，能够看清楚注视点距离d＝0.5[m]的书籍。
如上所述，摄像部110、图像生成部100和显示部120的动作的结果是，使用者能够看清楚处于距离d＝0.5[m]的书籍。
即使在使用者注视不同的被摄物的情况下，本实施方式1的图像显示装置1也反复进行相同的动作。即，通过使用与至注视点的距离d相应的PSF的参数σ和屈光度s，即使在距离d变化的情况下，也能够看清楚注视点的被摄物。另外，在距离d＞0.7[m]的情况下，不会产生PSF引起的模糊，所以裸眼像与视场图像相同，差图像和矫正图像仅显示一定的色Coff。此时，使用者能够看清楚d＞0.7[m]的被摄物，所以作为结果，也能够看清楚远方的被摄物。
如上所述，本实施方式1的图像显示装置1的摄像部110、由计算机300实现的图像生成部100和显示部120的动作的结果是，通过在从被摄物进入使用者的眼的像(图9(b))的基础上，将矫正图像(图11(a))重叠进行观察，使用者能够看清楚被摄物(图11(b))。其结果，不论是近的物体还是远的物体都能够看清楚。而且，本实施方式1的图像显示装置1由于在从使用者至被摄物之间没有透镜，所以能够得到被摄物的像不会空间性地会变形或变形时间性地变化这一本发明特有的效果。
此外，本实施方式1中，投射光学系统122为多个透镜和使透镜间的距离可变的结构，根据注视点的距离d和屈光度s的输入，控制透镜间的位置，由此，与距离d相当地放大且能够看清楚图像显示部121，但是投射光学系统122的结构不限定于此，也能够是其它结构。例如，也可以代替透镜，而使用凹面镜或凸面镜。另外，为了使放大率和焦点距离可变，也可以代替改变透镜间的位置，而使用能够使用液晶来改变折射率的透镜或通过向透镜内的液体的注入、排出来改变透镜厚度从而改变折射率的透镜。当使用这种折射率可变的透镜时，也可以不改变透镜间的位置，或者能够缩小位置变化的幅度，所以能够缩小投射光学系统122的体积，或者可动机构较少，所以具有提高耐久性等效果。
此外，本实施方式1中，显示部120由图像显示部121和投射光学系统122构成，投射光学系统122为了使使用者能够看清楚图像显示部121，采用具有与屈光度s相当的焦点距离1/s的透镜的结构，但是显示部120的结构并不限定于此，只要是眼睛的折射异常的使用者能够看清楚的结构可以是任意结构。
例如，也可以代替在投射光学系统122中具有用于看清楚图像显示部121的透镜，而使用视网膜扫描型的显示装置作为显示部120。视网膜扫描型的显示装置公开在专利文献5等中，所以在此省略详细的说明。
(专利文献5)专利第4057533号
视网膜扫描型的显示装置构成麦克斯韦视觉光学系统，由此，即使是具有老花眼或近视等眼睛的折射异常的使用者，也能够不使用与使用者的视力相应的透镜就看清楚图像。因此，通过显示部120使用这种视网膜扫描型的显示装置，具有不需要用于对应视力不同的使用者的光学系统或其调整机构、以及根据至被摄物的距离用于看清楚的光学系统的控制机构或处理的其它效果。
此外，本实施方式1中，假定左右的视场摄像部111a、111b与使用者的左眼和右眼分别配置于光学上同一位置的情况进行了说明，但视场摄像部111的位置和使用者的眼200的位置也可以不一定一致。
即使在视场摄像部111与使用者的眼200的位置偏离地设置的情况下，通过在裸眼像生成部104中生成修正了位置偏离的裸眼像，也能够得到与本实施方式1同等的效果。以下表示在视场摄像部111与使用者的眼200的位置偏离的情况下，生成修正位置偏离的裸眼像的方法。
事先测量使用者的眼200的位置与视场摄像部111的三维位置的偏离。接着，使用事先测量的三维位置的偏离、由视场摄像部111拍摄的视场图像、和由距离计算部101计算出的距离图像，并使用计算机绘图(computer graphic)的方法，虚拟地生成使视场摄像部111移动到使用者的眼200的位置时的图像即修正视场图像。根据图像和与图像对应的距离图像生成改变视点的图像的方法是作为计算机绘图的基本技术广为人知的方法，所以在此省略详细的说明。最后，裸眼像生成部104通过与本实施方式1相同的动作，根据生成的修正视场图像生成裸眼像。另外，其它处理部进行与本实施方式1相同的动作，由此能够得到与本实施方式1同等的效果。
作为视场摄像部111的位置与使用者的眼的位置偏离的另一例子，可以举出在使用者朝向正面的情况下，即使视场摄像部111与使用者的眼200的位置为相同的位置，在使用者注视正面以外的情况下，通过眼球旋转，瞳孔位置离开视场摄像部111的光轴，所以视场摄像部111与使用者的眼200的位置偏离。在这种情况下，通过事先测量使用者的注视点位置、使用者的眼200的位置和视场摄像部111的三维位置的偏离的关系，通过与上述同样的方法，也能够生成修正偏离的修正视场图像。其结果，在使用者注视正面以外的情况下，也能够得到与本实施方式1同等的效果。
在视场摄像部111与使用者的眼200的位置偏离的情况下，作为得到与使用者的眼200的位置一致的视场图像的其它方法，也可以使用光场摄像机代替在视场摄像部111使用通常的摄像机。光场摄像机能够使用多重成像光学系统同时拍摄多视点图像，能够根据得到的多视点图像生成移动视点的图像或改变了焦点位置的图像。因此，通过视场摄像部111使用光场摄像机，在视场摄像部111设置于与使用者的眼200的位置偏离的地点的情况或使用者注视正面以外的情况下，也能够生成从使用者的眼200的位置拍摄的修正视场图像，能够得到与本实施方式1同等的效果。
(实施方式2)
上述的本发明的实施方式1中，图像显示装置1为相对于左右两眼具有摄像部110和显示部120的结构。与之相对，本实施方式2中，对拆下左右任一个视场摄像部111、眼摄像部112、图像显示部121、投射光学系统122的结构的图像显示装置2进行说明。
图12表示本实施方式2的图像显示装置2的结构的框图，图13表示本实施方式2的图像显示装置2的光学系统的配置的示意图，图14表示图像生成部的动作顺序的流程图。
实施方式1的距离计算部101(进行距离计算步骤S401的部分)输入由左右1个视场摄像部111拍摄的2个视场图像，使用双眼立体法推定三维位置并计算距离图像(参照图1～图3)。与之相对，本实施方式2中，视场摄像部111拍摄改变焦点的多个图像(多重焦点图像)，距离图像计算部101’(距离图像计算步骤S401’)使用来自多重焦点图像的距离推定方法计算距离图像。
以下，使用图12～图14说明本实施方式2的图像显示装置2的动作。
本实施方式2的图像显示装置2的动作与实施方式1不同点在于，仅距离计算步骤S401’(或距离计算部101’)的动作不同(参照图12、图14)，其它处理步骤和处理部进行与实施方式1相同的动作。
如图13所示，图像显示装置2包括：视场摄像部111、眼摄像部112、图像显示部121和投射显示系控制部122，且安装于左右任一个眼200上。因此，图12的摄像部110中，视场摄像部111反复拍摄改变焦点摄像的多个视场图像(多重焦点视场图像)，并输出图像，且眼摄像部112拍摄输出眼图像。
本实施方式2中，构成图像生成部100的各构成要素由在计算机上执行的程序等软件实现。
距离图像计算步骤S401’使用来自多重焦点视场图像的距离推定方法计算距离图像。然后，根据多个多重焦点图像，将合焦的图像作为与实施方式1的视场图像相同的图像处理。即，输入多重焦点图像的视场图像，通过来自多重焦点图像的距离推定方法计算被摄物的三维位置，作为距离图像输出。来自多重焦点图像的距离推定方法公开在非专利文献7等中，所以在此省略详细的说明。
(非专利文献7)浅田尚纪，藤原久永，松山隆司，“使用多重焦点图像的边缘检测和距离测量(多重フォーカス画像を用いたエッジ検出と距離計測)”，电子信息通信学会论文杂志，D-II，Vol.J77-DII，No.6，pp1048-1058，1994年6月
图14所示的视场摄像步骤S400、眼位置计算步骤S402、视力信息取得步骤S403、裸眼像生成步骤S404、矫正图像生成步骤S405和显示步骤S406执行与实施方式1相同的动作。
显示部120中，与实施方式1同样，图像显示部121显示矫正图像，投射光学系统122与距离d、屈光度s一致，由此，使使用者能够看清楚矫正图像。
根据以上本实施方式2的动作，与实施方式1同样，使用者在从被摄物进入使用者的眼的像(图9(b))的基础上，将矫正图像(图11(a))重叠地观察，由此能够看清楚被摄物(图11(b))。其结果，不论是近的物体还是远的物体都能够看清楚。而且，本实施方式2的图像显示装置2由于在从使用者至被摄物之间没有透镜，所以能够得到被摄物的像不会空间性地会变形或变形时间性地变化这一本发明特有的效果。
作为距离图像计算的方法，当使用来自多重焦点图像的距离推定方法时，根据1台视场摄像部111拍摄的图像能够生成距离图像。其结果，即使视场摄像部111为1个，也能够进行与本实施方式1同样的动作，其结果，能够得到与本实施方式1同样的效果。
如上所述，本实施方式2与本实施方式1的图像显示装置同样，使用者不通过透镜就能够看到物体，所以能够不变形地看到物体。另外，对于因老花眼而没有眼镜不能看清楚的近的物体，通过重叠矫正图像地进行观察，能够看清楚近的物体。另外，也能够不变形地看清楚远的物体。
另外，本实施方式2的图像显示装置2，与本实施方式1的图像显示装置1相比，视场摄像部111、眼摄像部112、图像显示装置121和投射光学系统122成为一半，所以具有缩小装置且能够廉价地制作的效果。
(实施方式3)
上述的本实施方式1和2中，假定使用者的注视点变化，在图像生成部100中推定使用者的注视点，基于推定的值生成矫正图像，来控制投射光学系统的距离。
另一方面，作为现有的老花镜的利用方法，通常假定某个使用者阅读书籍时的距离或进行PC等作业时的至显示器的距离固定，使用与该距离一致的度数的眼镜的使用方法。因此，本实施方式3中，表示进行老花眼的修正的距离固定时的图像显示装置的结构。
实施方式1和2中，图像显示装置1、2具有眼摄像部112和眼位置计算部102，与之相对，本实施方式3的图像显示装置3中，是没有眼摄像部112和眼位置计算部102的结构。另外，投射光学系统122为如下结构，即，显示图像显示部121的距离d和屈光度s固定，所以没有来自图像生成部100的控制信号的输入。
以下，使用图15～图17说明本实施方式3的图像显示装置3的动作。在本实施方式3的动作说明中，注视点以视场的中心部(ulc,vlc)、与被摄物的距离d0＝0.5[m]设为固定。
摄像部110中，视场摄像部111拍摄并输出改变焦点摄像的多个视场图像(多重焦点视场图像)。
本实施方式3中，构成图像生成部100的各构成要素由在计算机上执行的程序等软件实现。
图17是表示实施方式3中的图像生成部的动作顺序的流程图。如该图所示，眼位置计算步骤S402’中，基于使用者观察预先确定的注视点、距离这一假定，计算眼位置。即，在假定注视点以距离d＝d0固定这一点上，与实施方式2中的眼位置计算步骤S402不同。眼位置计算步骤S402’以外的视场摄像步骤S400、距离计算步骤部S401’、视力信息取得步骤S403、裸眼像生成步骤S404、矫正图像生成步骤S405和显示步骤S406执行与实施方式2相同的动作。
显示部120中，与实施方式2同样，图像显示部121显示矫正图像，投射光学122在距离d＝d0和与使用者的视力信息的d0对应的屈光度s0一致的固定的配置下，使使用者能够看清楚矫正图像。
通过以上本实施方式3的动作，与实施方式1和2同样，使用者在从被摄物进入使用者的眼的像(图9(b))的基础上，重叠矫正图像(图11(a))地进行观察，由此能够看清楚处于距离d0的被摄物(图11(b))。其结果，不论是处于d0的物体还是远的物体都能够看清楚。另一方面，在以d0以外的距离d观察处于较近的被摄物的情况下，不能矫正被摄物的模糊。但是，与现有的老花镜的使用方法同样，例如，在读书、PC操作等能够期待在一定的距离d0以外的地点不存在被摄物的情况下，实用上没有问题。
而且，本实施方式3的图像显示装置3由于在从使用者至被摄物之间没有透镜，所以能够得到被摄物的像不会空间性地会变形或变形时间性地变化这一本发明特有的效果。
如上所述，本实施方式3的图像显示装置3与本实施方式1和2的图像显示装置1和2同样，使用者不通过透镜就能够看到物体，所以能够不变形地看到物体。而且，对于因老花眼而没有眼镜不能看清楚的近的物体，通过重叠矫正图像地进行观察，能够看清楚。另外，也能够不变形地看清楚远的物体。
而且，本实施方式3中，与本实施方式2相比，也可以不需要眼摄像部112、眼位置计算部102，且固定投射光学系统122。由此，具有缩小装置且能够廉价地制作的效果。
(实施方式4)
本发明的实施方式1～3中，如图8所示，使用者的视力信息以与至被摄物的距离d对应的、表示模糊的点扩散函数的参数σ和用于看清楚距离d的被摄物的透镜的屈光度s的组表示，但不限于此，也可以添加其它条件。
有时眼为了看清楚被摄物而调整焦点的力不固定而随着时间进行变化。例如，有时虽然刚开始阅读书籍时文字稍微模糊，但经过一段时间时能够清晰地看到。为了应对这种使用者的视力的时间性的变化，也可以使用根据时间而变化的视力信息，代替实施方式1～3中使用的与时间无关的设为固定的使用者的视力信息。
本实施方式4中，使用这种包含关于使用者的视力的时间变化的信息的视力信息。各处理部的动作与实施方式1相同。
图18中表示根据时间而变化的视力信息的例子。图18的视力信息表示，将使用者开始注视某个距离d的被摄物后的时间设为tf[秒]，根据时间tf变化PSF的参数σ和屈光度s。
例如，实施方式1中，在距离d＝0.5[m]的情况下，σ＝3.0，s＝2.0且固定。与之相对，本实施方式4中，由视力信息取得部103取得的使用者的视力信息，在开始注视d＝0.5[m]起的时间tf[秒]不足60秒的情况下，为σ＝3.0、s＝2.0，而当tf为60秒以上时，为σ＝2.0、s＝1.5，随着时间经过而变化。换而言之是指，使用者刚观察处于距离d＝0.5的物体时，用于看清楚的矫正所需要的度数即球面透镜的屈光度s[D]为2.0，在注视起60秒后，用于看清楚的矫正所需要的度数s[D]变化成1.5。于是，本实施方式4的图像显示装置通过使用包含时间变化的使用者的视力信息，能够进行与使用者的视力的时间变化相应的矫正。
通过该视力信息取得部103取得的视力信息，包含使用者开始注视规定距离的被摄物起的经过时间与焦点模糊程度的变化关系的信息。因此，裸眼像生成部104能够基于视力信息和注视点距离的变化生成裸眼像。
也能够使用包含使用者的视场从明亮的状态变化为较暗的状态起的经过时间与使用者视认的像的明亮度变化的关系的信息的视力信息。在使用这种视力信息的情况下，裸眼像生成部104能够基于视力信息和视场内的亮度变化，生成裸眼像，所以在明亮度变化的情况下，使用者也能够看清楚视场内的被摄物。
本实施方式4的图像显示装置中，从使用者至被摄物之间没有透镜，所以能够得到被摄物的像不会空间性地会变形或变形不会时间性地变化这一与本实施方式1～3同等的效果。也能够无变形地看清楚远的物体。
而且，本实施方式4具有如下特有的效果：即使在使用者的视力时间性地变化的情况下，也能够与其对应地进行与使用者的视力的时间变化相应的矫正。
此外，本发明的实施方式1～4中，矫正图像生成步骤S405中，根据视场图像Ie和裸眼像In并通过(式5)生成差图像Id，但生成差图像的式子并限定于此，只要是计算修正裸眼像中的模糊成分的像的式子即可，也可以是其它式子。(式7)中表示这种差图像的计算式的例子。
id(u，v)＝kie(u，v)-in(u，v)+Coff    (式7)
(式7)中，k为视场图像的增益系数，通过将k设为1以上，在实施方式1～4中表示的差图像加上视场图像Ie的成分。
此时，矫正图像生成步骤S405(参照图4、图14和图17)中，以视场图像Ie的注视点和其附近的平均亮度作为表示注视点的明亮度的代表值，注视点越暗，越增大k，由此，差图像和矫正图像变得更明亮。
通过以上的矫正图像生成步骤S405的动作，在注视的被摄物较暗的情况下，通过使被摄物变得地进行显示，具有使用者能够容易看到被摄物的效果。
此外，本发明的实施方式1中，为了容易说明，假定使用者的视力中左右眼相同进行了说明，但通常左右眼的视力不同。在该情况下，将视力信息取得步骤S403中取得的左右各自的视力信息存储于HDD304(参照图3)。然后，裸眼像生成步骤S404和矫正图像生成步骤S405中，使用左右2个视力信息，重复两次分别进行相同的处理，能够生成左右2个矫正图像。
此外，本发明的实施方式1中，对计算机300以视场摄像步骤S400、距离计算步骤S401、眼位置计算步骤S402、视力信息取得步骤S403的顺序执行4个步骤的进行了说明(参照图4)，但该4个步骤相互不是依赖关系，所以处理顺序并不限定于此。例如，4个步骤也可以以任意顺序执行，也可以并行地执行任意2个、3个或4个步骤。这对于实施方式2中的视场摄像步骤S400、距离计算步骤S401’、眼位置计算步骤S402和视力信息取得步骤S403(参照图14)、以及实施方式3中的视场摄像步骤S400、距离计算步骤S401’、眼位置计算步骤S402’和视力信息取得步骤S403(参照图17)也同样。
此外，本发明的实施方式1～2中，摄像部110和显示部120的光学系统的结构，采用使用2个半反射镜123，将从显示装置到使用者视线的光通过反射2次而导光的图2、图13的结构，实施方式3中，采用使用1个半反射镜123，将从显示装置到使用者视线的光反射1次而导光的图15的结构，但本发明并不将光学系统的结构限定于上述结构。
例如，也可以是代替使用2个半反射镜，而使用将从显示装置到使用者视线的光通过反射3次以上而导光的多重反射光学系统的结构。多重反射光学系统的结构公开在专利文献6等中，所以在此省略详细的说明。
(专利文献6)日本特开2012-163656号
如果在从显示装置到使用者视线的导光中使用多重反射光学系统，则能够得到与本发明的实施方式1～4同等的效果。另外，通过使用多重反射光学系统，能够缩小光学系统的体积。因此，在构成图像显示装置的情况下，具有能够缩小装置的效果。
此外，本实施方式1～4中，作为使用者为老花眼的情况进行了说明，但不限定于老花眼，只要是眼睛的折射异常即可，也可以是近视或远视。在使用者为近视的情况下，与使用者为老花眼的情况不同的点在于与使用者相对应的视力信息。图19表示使用者为近视时的视力信息的例子。在使用者为近视的情况下，在不戴眼镜的状态下，能够看清楚近的物体，但远的物体模糊。图19的例子中，至被摄物的距离d为0.5m以下时，点扩散函数的参数σ为“0”，即没有模糊。距离d越大，表示模糊越强。另外，在观察距离0.7m的被摄物的情况下，用于能够看清楚的透镜的屈光度s为-1.0。投射光学系统122为了使可使用者能够看清楚图像显示部121，而具有与屈光度s相当的焦点距离1/s的透镜的结构，不管老花眼和近视均相同。另一方面，在老花眼的情况下，s为正，在近视的情况下s成为负。因此，在老花眼的修正中使用凸透镜，与之相对，在近视的情况下，在使用凹透镜的方面上不同。
在使用者为近视的情况下，映入使用者的眼的像越是远的物体，越为模糊的像。与之相对，本实施方式1～4的图像显示装置的摄像部110、由计算机300实现的图像生成部100和显示部120的动作结果，使用者通过在从被摄物进入使用者的眼的像的基础上，通过重叠矫正图像地观察，也能够看清楚远的物体。其结果，不论是近的物体还是远的物体都能够看清楚。而且，在从使用者至被摄物之间没有透镜，所以能够得到被摄物的像不会空间性地会变形或变形时间性地变化这一本发明特有的效果。
产业上的可利用性
本发明是具有眼睛的折射异常的人能够看清楚物体的图像显示装置，能够广泛用于例如代替通常眼镜的头部安装型图像显示装置、夜视镜、扩张现实显示装置(虚拟现实显示装置)等。
附图标记的说明
1、2、3 图像显示装置
100 图像生成部
101 距离计算部
102 眼位置计算部
103 视力信息取得部
104 裸眼像生成部
105 矫正图像生成部
110 摄像部
111、111a、111b 视场摄像部(摄像机)
112、112a、112b 眼摄像部(摄像机)
120 显示部
121、121a、121b 图像显示部
122、122a、122b 投射光学系统
200、200a、200b 眼
300 计算机(图像生成部)
301 CPU(Central Processing Unit：中央处理器)
302 ROM(Read Only Memory：只读存储器)
303 RAM(Random Access Memory：随机访问存储器)
304 HDD(Hard disk drive：硬盘)
305 视频输入接口(I/F)
306 显卡
307 接口(I/F)

Claims (13)

1.一种头部安装型或眼镜型的图像显示装置，其特征在于：
通过将图像重叠显示于使用者的视场，使所述使用者能够看清楚所述视场内的被摄物，
所述图像显示装置包括：
视场摄像部，其拍摄并输出作为所述使用者的所述视场的图像的视场图像；
距离计算部，其被输入所述视场图像，计算所述视场图像内的所述被摄物与所述视场摄像部的距离，作为距离信息输出；
视力信息取得部，其取得作为关于所述使用者的视力的信息的视力信息；
矫正图像生成部，其基于所述视场图像、所述距离信息和所述视力信息生成并输出所述矫正图像；和
显示部，其被输入所述矫正图像，将所述被摄物的矫正图像重叠显示到所述使用者的视场内。
2.如权利要求1所述的图像显示装置，其特征在于：
包括裸眼像生成部，该裸眼像生成部被输入所述视场图像、所述距离信息和所述视力信息，生成并输出作为所述使用者看到所述被摄物时的像的裸眼像，
所述矫正图像生成部被输入所述视场图像和所述裸眼像，基于所述视场图像和所述裸眼像生成并输出所述矫正图像。
3.如权利要求2所述的图像显示装置，其特征在于：
所述矫正图像生成部基于所述视场图像与所述裸眼像的差图像加上常数值而得的图像，生成并输出所述矫正图像。
4.如权利要求2所述的图像显示装置，其特征在于：
包括眼位置计算部，该眼位置计算部计算所述使用者的包含视线的眼的位置、姿势，作为眼位置信息输出，
所述裸眼像生成部被输入所述视场图像、所述距离信息、所述视力信息和所述眼位置信息，计算作为所述使用者的所述视线上的所述被摄物的注视点与所述使用者的眼的距离的注视点距离，生成并输出所述使用者观察所述注视点时的所述裸眼像。
5.如权利要求4所述的图像显示装置，其特征在于：
所述显示部包括在所述使用者的所述视场的规定距离重叠显示图像的投射光学系统，
所述裸眼像生成部输出所述注视点距离，
所述矫正图像生成部基于所述视场图像、所述裸眼像和所述注视点距离生成并输出所述矫正图像，
所述投射光学系统控制光学系统，以使得所述矫正图像与处于所述注视点距离的所述被摄物重叠显示。
6.如权利要求1所述的图像显示装置，其特征在于：
所述视场摄像部以其实际空间上的光轴与所述使用者朝向正面时的视线一致的方式配置。
7.如权利要求4所述的图像显示装置，其特征在于：
所述视场摄像部为能够拍摄多视点图像并构成来自任意视点的图像的光场摄像机，且以与所述使用者朝向正面时的视线一致的方式配置，并且将所述眼位置计算部计算出的所述使用者的视线信息作为输入，再构成所述使用者的视线的图像，作为所述视场图像输出。
8.如权利要求1所述的图像显示装置，其特征在于：
所述矫正图像生成部在所述使用者的所述视场较暗的情况下使所述矫正图像变亮。
9.如权利要求1所述的图像显示装置，其特征在于：
所述视力信息包含关于所述使用者的视力的时间变化的信息。
10.如权利要求9所述的图像显示装置，其特征在于：
所述视力信息包含所述使用者开始注视规定距离的所述被摄物起的经过时间与焦点模糊的程度的变化关系的信息，
所述裸眼像生成部基于所述视力信息和注视点距离的变化，生成所述裸眼像。
11.如权利要求9所述的图像显示装置，其特征在于：
所述视力信息包含所述使用者的所述视场从明亮的状态变化为较暗的状态起的经过时间与所述使用者视认的像的明亮度的变化关系的信息，
所述裸眼像生成部基于所述视力信息和所述视场内的所述像的明亮度的变化，生成所述裸眼像。
12.一种图像显示方法，其特征在于：
通过将图像重叠显示于使用者的视场，使所述使用者能够看清楚所述视场内的被摄物，
所述图像显示方法包括：
拍摄并输出作为所述使用者的所述视场的图像的视场图像的视场摄像步骤；
输入所述视场图像，计算视场图像内的被摄物与所述摄像部的距离，作为距离信息输出的距离计算步骤；
取得作为关于所述使用者的视力的信息的视力信息的视力信息取得步骤；
基于所述视场图像、所述距离信息和所述视力信息生成并输出矫正图像的矫正图像生成步骤；和
输入所述矫正图像，将所述被摄物的所述矫正图像重叠显示到所述使用者的所述视场内的显示步骤。
13.一种程序，其特征在于：
用于使计算机执行权利要求12所述的图像显示方法所包含的各步骤。
CN201480002549.2A 2013-06-19 2014-04-15 图像显示装置和图像显示方法 Expired - Fee Related CN104704818B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-128681 2013-06-19
JP2013128681 2013-06-19
PCT/JP2014/002122 WO2014203440A1 (ja) 2013-06-19 2014-04-15 画像表示装置および画像表示方法

Publications (2)

Publication Number Publication Date
CN104704818A true CN104704818A (zh) 2015-06-10
CN104704818B CN104704818B (zh) 2018-08-31

Family

ID=52104196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002549.2A Expired - Fee Related CN104704818B (zh) 2013-06-19 2014-04-15 图像显示装置和图像显示方法

Country Status (5)

Country Link
US (1) US9916690B2 (zh)
EP (1) EP3013042A4 (zh)
JP (1) JP5967597B2 (zh)
CN (1) CN104704818B (zh)
WO (1) WO2014203440A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106501935A (zh) * 2015-09-03 2017-03-15 3M创新有限公司 头戴式显示器
CN109633906A (zh) * 2019-01-02 2019-04-16 京东方科技集团股份有限公司 虚拟现实设备及其图像校正方法
CN109669753A (zh) * 2018-12-21 2019-04-23 福建星网视易信息系统有限公司 数字视听系统界面显示方法及计算机可读存储介质
CN110050225A (zh) * 2016-11-30 2019-07-23 株式会社尼康依视路 眼镜镜片的设计方法、眼镜镜片的制造方法、眼镜镜片订购装置、眼镜镜片订购接受装置、眼镜镜片订购及订购接受系统、渐进屈光力镜片、单焦点镜片
WO2019192229A1 (zh) * 2018-04-02 2019-10-10 京东方科技集团股份有限公司 显示方法和显示装置
CN111095077A (zh) * 2017-08-29 2020-05-01 苹果公司 具有自适应显示器的电子设备
CN111784608A (zh) * 2020-07-01 2020-10-16 广州视源电子科技股份有限公司 显示数据处理方法、装置、显示设备以及存储介质
CN114040182A (zh) * 2021-11-03 2022-02-11 珠海格力电器股份有限公司 空调的投影显示方法、装置与空调

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353677B (zh) * 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
WO2015107817A1 (ja) * 2014-01-20 2015-07-23 ソニー株式会社 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN104767972B (zh) * 2015-04-02 2018-06-15 深圳市虚拟现实科技有限公司 一种视觉缺陷帮助系统及方法
CN106154549A (zh) * 2015-04-20 2016-11-23 陈台国 可影像强化的眼镜结构
KR102028088B1 (ko) * 2015-04-30 2019-10-02 구글 엘엘씨 눈과는 상이한 렌즈들의 위치를 교정하는 실제 장면을 보기 위한 가상 안경 세트
ES2592978B1 (es) * 2016-03-15 2017-09-05 Inconnectin, Srl Procedimiento para visualizar correctamente la pantalla de dispositivos electrónicos sin usar gafas u otros instrumentos de corrección visual por parte de usuarios que los necesiten.
CN109788901B (zh) 2016-07-25 2024-01-02 奇跃公司 光场处理器系统
JP6335237B2 (ja) * 2016-09-15 2018-05-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
EP3296792A1 (en) * 2016-09-19 2018-03-21 Essilor International Method for managing the display of an image to a user of an optical system
JP6463319B2 (ja) * 2016-10-19 2019-01-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
WO2018119938A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 图片处理方法和装置
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
WO2018136907A1 (en) * 2017-01-23 2018-07-26 Duke University Systems and methods for psycho-signal processing
US10607399B2 (en) * 2017-05-22 2020-03-31 Htc Corporation Head-mounted display system, method for adaptively adjusting hidden area mask, and computer readable medium
WO2018225518A1 (ja) * 2017-06-07 2018-12-13 ソニー株式会社 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
US11204491B2 (en) * 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
JP2021089351A (ja) * 2019-12-03 2021-06-10 キヤノン株式会社 頭部装着システム及び情報処理装置
JPWO2022162497A1 (zh) * 2021-01-28 2022-08-04
EP4321923A1 (en) 2021-08-05 2024-02-14 Samsung Electronics Co., Ltd. Augmented reality device and method for detecting gaze of user

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020101568A1 (en) * 2001-01-30 2002-08-01 Eberl Heinrich A. Interactive data view and command system
US20050106355A1 (en) * 2003-01-14 2005-05-19 Kohlman Randolph S. Patterned textile product
US20050128312A1 (en) * 2003-12-16 2005-06-16 Eastman Kodak Company Imaging method and system for determining camera operating parameter
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN102438157A (zh) * 2010-08-18 2012-05-02 索尼公司 图像处理装置、方法和程序
CN102473321A (zh) * 2010-05-28 2012-05-23 索尼公司 图像处理设备和方法以及程序
US20120262477A1 (en) * 2011-04-18 2012-10-18 Brian K. Buchheit Rendering adjustments to autocompensate for users with ocular abnormalities
US20130050258A1 (en) * 2011-08-25 2013-02-28 James Chia-Ming Liu Portals: Registered Objects As Virtualized, Personalized Displays

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5848885B2 (ja) 1975-12-16 1983-10-31 セイコーエプソン株式会社 タジユウシヨウテンレンチキユラ−レンズ
JPS6290601A (ja) 1985-10-17 1987-04-25 Nippon Sheet Glass Co Ltd 多焦点レンズ及びその製造方法
JPS6346953A (ja) 1986-04-11 1988-02-27 Fujitsu Ten Ltd 自動ワイパ駆動装置
JPH01217078A (ja) 1988-02-25 1989-08-30 Toyo Ink Mfg Co Ltd 顔料分散剤および顔料組成物
JP2007052116A (ja) 2005-08-16 2007-03-01 Fujifilm Corp 遠近両用メガネ
JP2007214964A (ja) * 2006-02-10 2007-08-23 Konica Minolta Photo Imaging Inc 映像表示装置
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP2009098649A (ja) 2007-09-26 2009-05-07 Panasonic Corp 電子眼鏡
US20120019703A1 (en) * 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8988463B2 (en) * 2010-12-08 2015-03-24 Microsoft Technology Licensing, Llc Sympathetic optic adaptation for see-through display
JP5316556B2 (ja) * 2011-02-02 2013-10-16 ブラザー工業株式会社 情報処理装置、情報処理プログラムおよび情報処理システム
JP2012163656A (ja) 2011-02-04 2012-08-30 Seiko Epson Corp 虚像表示装置
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
JP5573808B2 (ja) * 2011-09-30 2014-08-20 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9197864B1 (en) * 2012-01-06 2015-11-24 Google Inc. Zoom and image capture based on features of interest
US20130215147A1 (en) * 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
JP6051605B2 (ja) * 2012-06-13 2016-12-27 ソニー株式会社 表示装置、および表示制御方法、並びにプログラム
US20140137054A1 (en) * 2012-11-14 2014-05-15 Ebay Inc. Automatic adjustment of font on a visual display
US9319662B2 (en) * 2013-01-16 2016-04-19 Elwha Llc Systems and methods for differentiating between dominant and weak eyes in 3D display technology

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020101568A1 (en) * 2001-01-30 2002-08-01 Eberl Heinrich A. Interactive data view and command system
US20050106355A1 (en) * 2003-01-14 2005-05-19 Kohlman Randolph S. Patterned textile product
US20050128312A1 (en) * 2003-12-16 2005-06-16 Eastman Kodak Company Imaging method and system for determining camera operating parameter
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN102473321A (zh) * 2010-05-28 2012-05-23 索尼公司 图像处理设备和方法以及程序
CN102438157A (zh) * 2010-08-18 2012-05-02 索尼公司 图像处理装置、方法和程序
US20120262477A1 (en) * 2011-04-18 2012-10-18 Brian K. Buchheit Rendering adjustments to autocompensate for users with ocular abnormalities
US20130050258A1 (en) * 2011-08-25 2013-02-28 James Chia-Ming Liu Portals: Registered Objects As Virtualized, Personalized Displays

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106501935A (zh) * 2015-09-03 2017-03-15 3M创新有限公司 头戴式显示器
CN106501935B (zh) * 2015-09-03 2020-04-21 3M创新有限公司 头戴式显示器
CN110050225A (zh) * 2016-11-30 2019-07-23 株式会社尼康依视路 眼镜镜片的设计方法、眼镜镜片的制造方法、眼镜镜片订购装置、眼镜镜片订购接受装置、眼镜镜片订购及订购接受系统、渐进屈光力镜片、单焦点镜片
CN111095077A (zh) * 2017-08-29 2020-05-01 苹果公司 具有自适应显示器的电子设备
US11211030B2 (en) 2017-08-29 2021-12-28 Apple Inc. Electronic device with adaptive display
CN111095077B (zh) * 2017-08-29 2022-08-05 苹果公司 具有自适应显示器的电子设备
WO2019192229A1 (zh) * 2018-04-02 2019-10-10 京东方科技集团股份有限公司 显示方法和显示装置
US11113799B2 (en) 2018-04-02 2021-09-07 Beijing Boe Optoelectronics Technology Co., Ltd. Display method and display device
CN109669753A (zh) * 2018-12-21 2019-04-23 福建星网视易信息系统有限公司 数字视听系统界面显示方法及计算机可读存储介质
CN109669753B (zh) * 2018-12-21 2022-02-22 福建星网视易信息系统有限公司 数字视听系统界面显示方法及计算机可读存储介质
CN109633906A (zh) * 2019-01-02 2019-04-16 京东方科技集团股份有限公司 虚拟现实设备及其图像校正方法
CN111784608A (zh) * 2020-07-01 2020-10-16 广州视源电子科技股份有限公司 显示数据处理方法、装置、显示设备以及存储介质
CN114040182A (zh) * 2021-11-03 2022-02-11 珠海格力电器股份有限公司 空调的投影显示方法、装置与空调

Also Published As

Publication number Publication date
EP3013042A4 (en) 2016-08-17
EP3013042A1 (en) 2016-04-27
US9916690B2 (en) 2018-03-13
WO2014203440A1 (ja) 2014-12-24
JPWO2014203440A1 (ja) 2017-02-23
US20150235427A1 (en) 2015-08-20
CN104704818B (zh) 2018-08-31
JP5967597B2 (ja) 2016-08-10

Similar Documents

Publication Publication Date Title
CN104704818B (zh) 图像显示装置和图像显示方法
JP7078540B2 (ja) 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法
US10319154B1 (en) Methods, systems, and computer readable media for dynamic vision correction for in-focus viewing of real and virtual objects
KR102038379B1 (ko) 초점 조정 가상 현실 헤드셋
US7221863B2 (en) Image processing apparatus and method, and program and recording medium used therewith
CN105722452B (zh) 用于确定渐进式眼镜片的至少一个光学设计参数的方法
JP6276691B2 (ja) シミュレーション装置、シミュレーションシステム、シミュレーション方法及びシミュレーションプログラム
JP6332392B2 (ja) 眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズ選択装置および眼鏡レンズ選択方法
JP2023133506A (ja) 視認デバイスのコンポーネントの変形に起因する画像補正
JP5632245B2 (ja) 眼鏡の視野画像表示装置
Hu et al. Alignment-free offline calibration of commercial optical see-through head-mounted displays with simplified procedures
CN113613546A (zh) 评估用于视觉任务的视觉设备的性能的装置和方法
JP3347514B2 (ja) 眼光学系のシミュレーション装置
JP2002045336A (ja) 眼光学系のシミュレーション方法及び装置
JP7241702B2 (ja) 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
KR20220002280A (ko) 자연스럽게 바라보는 자세로 있는 대상자의 머리에 대한 유향 3d 표현을 구현하는 방법
US20240115126A1 (en) A device and method for automatically evaluating visual equipment
Padmanaban Enabling Gaze-Contingent Accommodation in Presbyopia Correction and Near-Eye Displays
JP7402660B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法
Świrski Gaze estimation on glasses-based stereoscopic displays
Zhdanov et al. Adaptive vergence reconstruction method for mixed reality systems
CN111757089A (zh) 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
Hori et al. Comparison of 2D and 3D vision gaze with simultaneous measurements of accommodation and convergence
KR20210150250A (ko) 증강 현실을 디스플레이하는 장치 및 방법
Barsky et al. Three-Dimensional Computer Graphics Rendering Algorithm for Simulation of Vision from Sparse Shack-Hartmann Sensor Output Data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180831

Termination date: 20190415

CF01 Termination of patent right due to non-payment of annual fee