CN103605208B - 内容投射系统及方法 - Google Patents

内容投射系统及方法 Download PDF

Info

Publication number
CN103605208B
CN103605208B CN201310390652.6A CN201310390652A CN103605208B CN 103605208 B CN103605208 B CN 103605208B CN 201310390652 A CN201310390652 A CN 201310390652A CN 103605208 B CN103605208 B CN 103605208B
Authority
CN
China
Prior art keywords
image
point
eyes
virtual image
fixation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310390652.6A
Other languages
English (en)
Other versions
CN103605208A (zh
Inventor
杜琳
张宏江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201310390652.6A priority Critical patent/CN103605208B/zh
Priority to US14/783,503 priority patent/US10048750B2/en
Priority to PCT/CN2013/088554 priority patent/WO2015027599A1/zh
Publication of CN103605208A publication Critical patent/CN103605208A/zh
Application granted granted Critical
Publication of CN103605208B publication Critical patent/CN103605208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Abstract

本发明公开了一种内容投射系统及内容投射方法，所述系统包括：注视点检测装置，用于检测当前眼睛的注视点位置；图像生成装置，用于根据可视化信息以及所述注视点位置，生成虚拟图像；虚拟图像投射装置，用于根据所述注视点位置将所述虚拟图像投射至眼底。本发明实施例的系统及方法通过实时检测用户注视点位置，并针对注视点位置得到对应可视化信息的成像参数，进而生成虚拟图像并投射至眼底，使得虚拟图形信息与真实信息能够更好的融合，进而使得用户获得更好的沉浸感。

Description

内容投射系统及方法
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种内容投射系统及方法。
背景技术
在混合现实环境中，系统经常会显示一些虚拟图形化信息，但目前虚拟图形信息和真实信息间的融合显示还没有得到很好解决。例如：当用户注视某处(实际物体或虚拟图形)时，由于虚拟图形的深度或位置放置不正确，导致用户无法看清需要看清的虚拟图形信息；或者，当用户注视某处时，位于其它深度和位置上的虚拟图形信息往往也被清晰显示，没有产生合适的焦外效果，影响用户的真实沉浸感。例如目前谷歌眼镜只能在特定距离的虚拟屏幕上显示虚拟内容，导致该内容不能很好的融入现实，因此只好将该虚拟屏幕放置在眼镜斜上方，用户需要查看虚拟图形信息时需要刻意向斜上方看，严重影响了用户的视觉体验。而在双目立体视觉的混合现实系统中，由于又增加了一个立体深度的信息，虚拟系统和现实系统的和谐一致变得更加困难，错误设置虚拟图形信息的位置还会导致用户视力下降、头昏头痛等问题。
发明内容
本发明要解决的技术问题是：提供一种内容投射系统及方法，使得虚拟图形信息与真实信息能够更好的融合，进而提高用户的视觉体验。
为实现上述目的，第一方面，本发明提供了一种内容投射系统，包括：
注视点检测装置，用于检测当前眼睛的注视点位置；
图像生成装置，用于根据可视化信息以及所述注视点位置，生成虚拟图像；
虚拟图像投射装置，用于根据所述注视点位置将所述虚拟图像投射至眼底。
结合第一方面，在第二种可能的实施方式中，所述图像生成装置包括：
可视化信息参数确定模块，用于根据所述注视点位置，确定所述可视化信息的成像参数。
结合第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述图像生成装置还包括：
图像渲染模块，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。
结合第一方面、第一方面的第二或第三种可能的实施方式，在第四种可能的实施方式中，所述可视化信息分别与用户的两只眼睛对应。
结合第一方面的第二、第三或第四种可能的实施方式中，在第五种可能的实施方式中，所述可视化信息的成像参数分别与用户的两只眼睛对应。
结合第一方面、第一方面的第二至第五种可能的实施方式中的任一种，在第六种可能的实施方式中，所述虚拟图像投射装置包括：
投射模块，用于向对应的眼底投射所述虚拟图像；
可调成像模块，位于所述投射模块与眼底之间的光路上，将所述投射的虚拟图像成像在所述眼底；
成像参数生成模块，用于根据所述注视点位置生成并调整所述可调成像模块的投射成像参数。
结合第一方面的第六种可能的实施方式，在第七种可能的实施方式中，所述可调成像模块还包括：
分光单元，用于进行所述投射模块与眼底之间的光路传递。
结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述分光单元包括曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，进行所述投射模块与眼底之间的光路传递。
结合第一方面的第八种可能的实现方式，在第九，所述虚拟图像投射装置包括：
反变形处理模块，用于对所述虚拟图像进行与所述曲面分光单元对应的反变形处理，使得眼底接收到需要呈现的虚拟图像。
结合第一方面、第一方面的第二至第九种可能的实现方式中的任一种，在第十种可能的实现方式中，所述注视点检测装置还包括：
瞳孔检测模块，用于检测当前眼睛瞳孔的大小。
结合第一方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述可视化信息的成像参数包括景深信息；
所述可视化信息参数确定模块，根据所述眼睛瞳孔的大小生成所述景深信息。
结合第一方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述图像渲染模块包括：
焦外处理单元，用于根据可视化信息的成像参数，对所述可视化信息进行对应的焦外成像处理。
结合第一方面、第一方面的第二至第十二种可能的实现方式中的任一种，在第十三种可能的实现方式中，所述注视点检测装置包括：
图像采集设备，用于采集眼睛眼底呈现的图像；
可调成像设备，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；
图像处理设备，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。
结合第一方面的第十三种可能的实现方式，在第十四种可能的实现方式中，所述可调成像设备包括：
可调透镜单元，位于眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。
结合第一方面的第十三或十四种可能的实现方式，在第十五种可能的实现方式中，所述可调成像设备包括：
曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。
结合第一方面的第十三、十四或十五种可能的实现方式，在第十六种可能的实现方式中，所述注视点检测装置还包括：
投射设备，用于向眼底投射光斑图案。
结合第一方面、第一方面的第二至第十六种可能的实现方式中的任一种，在第十七种可能的实现方式中，所述注视点检测装置和所述虚拟图像投射装置的功能由同一设备实现。
第二方面，本发明还提供了一种内容投射方法，包括：
注视点检测步骤，用于检测当前眼睛的注视点位置；
图像生成步骤，用于根据可视化信息以及所述注视点位置，生成虚拟图像；
虚拟图像投射步骤，用于根据所述注视点位置将所述虚拟图像投射至眼底。
结合第二方面，在第二种可能的实现方式中，所述可视化信息包括：图形信息和/或图像信息。
结合第二方面或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述图像生成步骤包括：
可视化信息参数确定步骤，用于根据所述注视点位置，确定所述可视化信息的成像参数。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述图像生成步骤还包括：
图像渲染步骤，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。
结合第二方面、第二方面的第二至第四种可能的实现方式中的任一种，在第五种可能的实现方式中，所述可视化信息分别与用户的两只眼睛对应。
结合第二方面、第二方面的第二至第五种可能的实现方式中的任一种，在第六种可能的实现方式中，所述可视化信息的成像参数分别与用户的两只眼睛对应。
结合第二方面、第二方面的第二至第六种可能的实现方式中的任一种，在第七种可能的实现方式中，所述虚拟图像投射步骤包括：
向对应的眼底投射所述虚拟图像；
根据所述注视点位置生成投射位置与眼底之间光路的投射成像参数；
将所述投射的虚拟图像成像在所述眼底。
结合第二方面的第七种可能的实现方式，在第八种可能的实现方式中，所述虚拟图像投射步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟图像成像在眼底。
结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，所述虚拟图像投射步骤包括：
对所述虚拟图像进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟图像。
结合第二方面、第二方面的第二至第九种可能的实现方式中的任一种，在第十种可能的实现方式中，所述方法还包括：
检测当前眼睛瞳孔的大小。
结合第二方面、第二方面的第二至第十种可能的实现方式中的任一种，在第十一种可能的实现方式中，所述可视化信息的成像参数包括景深信息。
结合第二方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述可视化信息参数确定步骤还包括，根据所述眼睛瞳孔的大小生成所述景深信息。
结合第二方面的第十二种可能的实现方式，在第十三种可能的实现方式中，所述图像渲染步骤包括：
根据可视化信息的成像参数，对所述可视化信息进行对应的焦外成像处理。
结合第二方面、第二方面的第二至第十三种可能的实现方式中的任一种，在第十四种可能的实现方式中，所述注视点检测步骤包括：
采集眼睛眼底呈现的图像；
进行图像采集位置与眼睛之间光路的成像参数的调节以采集到最清晰的图像；
对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。
结合第二方面的第十四种可能的实现方式，在第十五种可能的实现方式中，所述进行图像采集位置与眼睛之间光路的成像参数的调节包括：
调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。
结合第二方面的第十四或十五种可能的实现方式，在第十六种可能的实现方式中，所述注视点检测步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集设备。
结合第二方面的第十四、十五或十六种可能的实现方式，在第十七种可能的实现方式中，所述注视点检测步骤还包括：
向眼底投射光斑图案。
本发明实施例的系统及方法通过实时检测用户注视点位置，并针对注视点位置得到对应可视化信息的成像参数，进而生成虚拟图像并投射至眼底，使得虚拟图形信息与真实信息能够更好的融合，进而使得用户获得更好的沉浸感，提高用户视觉体验。
附图说明
图1为本发明实施例的一种内容投射系统的结构示意框图；
图2为本发明实施例的一种内容投射系统图像生成装置的结构示意框图；
图3为用户通过本发明实施例的一种内容投射系统得到的虚拟与现实混合场景图；
图4为本发明实施例的一种内容投射系统虚拟图像投射装置的结构示意框图；
图5a为本发明实施例的一种内容投射系统的注视点检测装置的结构框图；
图5b为本发明实施例的一种内容投射系统的另一种注视点检测装置的结构框图；
图5c为本发明实施例的一种内容投射系统的注视点检测装置使用的光斑图案示意图；
图5d为本发明实施例的一种内容投射系统的注视点检测装置拍摄到的具有光斑图案的眼底图像示意图；
图5e为本发明实施例的一种内容投射系统的注视点检测装置眼睛成像的光路示意图；
图5f为本发明实施例的一种内容投射系统的注视点检测装置根据系统已知成像参数和眼睛的光学参数得到眼睛注视点位置的示意图；
图6为本发明实施例的一种内容投射系统应用在眼镜上的示意图；
图7为本发明实施例的另一种内容投射系统应用在眼镜上的示意图；
图8为本发明实施例的又一种内容投射系统应用在眼镜上的示意图；
图9为本发明实施例的一种内容投射系统的信息处理部分的结构框图；
图10为本发明实施例的一种内容投射方法的流程图。
具体实施方式
本发明的方法及装置结合附图及实施例详细说明如下。
在虚拟现实、混合现实、增强现实以及增强虚拟等需要投射虚拟图像的场合，为了使得真实场景与虚拟场景之间、或者虚拟场景之间的融合效果更好，给用户带来更好的沉浸感，需要针对用户当前的注视点位置形成需要投射的虚拟图像。因此，如图1所示，本发明实施例提供了一种内容投射系统100，包括：
注视点检测装置110，用于检测当前眼睛的注视点位置；
图像生成装置120，用于根据可视化信息以及所述注视点位置，生成虚拟图像；
虚拟图像投射装置130，用于根据所述注视点位置将所述虚拟图像投射至眼底。
本发明实施例通过实时检测眼睛的注视点位置，并根据当前的注视点位置生成对应的虚拟图像，使得用户观看到的虚拟图像随着注视点的变化而变化，使得虚拟图像能够更好地融入当前真实场景或虚拟场景，并使得用户感觉更加真实，带来更好的沉浸感。
在本发明实施例的一种可能的实施方式中，所述内容投射系统100可以为具有注视点检测装置110以及虚拟图像投射装置130的眼镜(包括：框架眼镜、隐形眼镜、护目镜等)等易携带、使用方便的装置。尤其对于本来就有屈光不正等眼睛问题，需要佩戴如屈光矫正眼镜的用户来说，本发明的系统可以直接在所述屈光矫正眼镜上实现；或者对于在进行观影和游戏时需要呈现对应的虚拟场景的场合，还可以将该系统的功能集成在观影和游戏时使用的3D眼镜等设备上，不会给用户带来额外的负担。
当然，本发明实施例的其它可能的实施方式中，所述内容投射系统还可以为例如：头盔目镜、驾驶前挡风玻璃等与用户的眼睛配合使用的其它光学设备。
如图2所示，在本发明实施例的一种可能的实施方式中，所述图像生成装置120包括：
可视化信息参数确定模块121，用于根据所述注视点位置，确定所述可视化信息的成像参数。
图像渲染模块122，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。
这里所述的可视化信息可以为虚拟的图形信息(例如虚拟的对话框、虚拟的球等等)、图像信息(例如预先制作好的图片或视频信息)、或者同时包括所述图形信息与所述图像信息。
这里所述的可视化信息的成像参数包括：所述可视化信息应该呈现的位置、可视化信息的大小等可视化信息自身的参数；以及所述可视化信息的渲染参数，例如虚拟相机的参数(例如位置、朝向、视角)、光照、特效等参数。
用户通过眼睛在观看真实物体时，通常只能够看清注视点附近一定景深范围内的物体，而该范围外的物体则会因为失焦而在眼底成模糊的像。本发明实施例的一种可能的实施方式中，为了使得生成的虚拟图像更加符合人眼的视觉效果，给用户带来更加真实的感受，所述可视化信息的成像参数还包括景深信息。该景深信息可以作为所述虚拟相机的景深参数。
因此在本发明实施例的一种可能的实施方式中，所述注视点检测装置还包括：
瞳孔检测模块，用于检测当前眼睛瞳孔的大小。
通常可以通过一个可以拍摄到眼睛表面图像的图像采集模块(如微型摄像机)来获得所述瞳孔的图片，再通过图像处理计算得到所述眼睛瞳孔的大小。该检测眼睛瞳孔大小的技术为已有技术，本实施例不再赘述。
在本实施方式中，所述可视化信息参数确定模块，根据所述眼睛瞳孔的大小生成所述景深信息。
其中，根据眼睛瞳孔大小来或的景深信息是已有技术，本实施例不再过多描述。一般而言瞳孔越大，景深越小；瞳孔越小，景深越大。
在本发明实施例的一种可能的实施方式中，所述图像渲染模块包括：
焦外处理单元，用于根据可视化信息的成像参数(主要是上述的景深信息)，对所述可视化信息进行对应的焦外成像处理。
这里，根据所述景深信息对可视化信息进行焦外成像处理后，使得景深范围外的可视化信息被虚化，给用户带来更加真实的视觉体验。
如图3所示，在本发明实施例的一种可能的实施方式中，本发明实施例的系统需要在真实场景中显示与真实场景中的物体对应的虚拟信息。其中，当用户的注视点在近处的花盆310处时，其对应需要呈现的可视化信息(本实施方式中，所述可视化信息为虚拟图形信息)为第一虚拟信息320；当用户的注视点在稍远处的花瓶330时，其对应需要呈现的虚拟图形信息为第二虚拟信息340。
以用户的注视点在所述花盆310处为例，本发明实施例的内容投射系统的注视点检测装置检测到当前眼睛的注视点在所述花盆310处；
图形生成装置根据所述第一虚拟信息320和第二虚拟信息340、以及它们需要呈现的位置(分别在所述花盆310和所述花瓶330附近)，生成对应的虚拟图像。例如在本实施方式中，所述虚拟图像为包括位于特定位置、具有对应大小(例如近处大、远处小)的所述第一虚拟信息320、第二虚拟信息340的图像。如果需要虚拟图像还具有与眼睛对应的焦外成像效果，则还可以根据眼睛当前的景深信息，对所述第二虚拟信息340进行焦外虚化等处理之后，再与所述第一虚拟信息320一起形成所述虚拟图像；
最后，所述虚拟图像投射装置将所述虚拟图像投射在眼底，使得眼睛看到如图3所示的虚拟图像与现实场景混合的图像。
如图4所示，在本发明实施例的一种可能的实施方式中，所述虚拟图像投射装置130包括：
投射模块131，用于向对应的眼底投射所述虚拟图像；
可调成像模块132，位于所述投射模块与眼底之间的光路上，将所述投射的虚拟图像成像在所述眼底；
成像参数生成模块133，用于根据所述注视点位置生成并调整所述可调成像模块的投射成像参数。
在本实施方式中，所述投射模块131可以为微型投影仪；
所述成像参数生成模块133，根据所述注视点位置生成所述可调成像模块132的投射成像参数(这里的投射成像参数指的是所述可调成像模块132用于投射所述虚拟图像的成像参数)，并根据所述投射成像参数对所述可调成像模块132进行调整，使得所述投射的虚拟图像能够清晰地在眼底成像，进而使得用户可以看到需要被展示的虚拟图像。
这里所述可调成像模块132的投影成像参数包括：所述可调成像模块132的焦距、在光路中的位置等。所述可调成像模块132可以通过改变自身的结构或位置来改变光线的传播方式，其可以为由单片成像参数可调的透镜构成、也可以为由多片透镜构成的透镜组构成、或者可以为包括透镜和其它光学器件的光学系统。
优选地，在本发明实施例的一些可能的实施方式中，所述可调成像模块132可以包括电子可调透镜，如美国公开号为US20070211207A1和US4572616A的专利中公布的液体或液晶透镜，通过对透镜中的液体或液晶进行控制，从而快速改变透镜的形状、折射率等成像参数。如果将本发明的系统应用在眼镜等便携可穿戴设备上的话，采用单片的电子可调透镜作为所述可调透镜模块132可以使得系统的体积更小、重量更轻，便于携带；并且将所述电子可调透镜应用于眼镜上的方式已经有了商业上的应用，如Pixeloptics公司推出的Empower电子可调焦眼镜。
除了上述的电子可调透镜外，还可以采用多片透镜构成的透镜组来形成所述的可调透镜模块132。例如通过改变多片透镜之间的位置、透镜光轴角度以及将多个透镜的光轴偏心设置等方式来调节所述可调透镜模块132的成像参数，其中，所述多片透镜中也可以部分或全部为可调透镜。
在本发明实施例的一种可能的实施方式中，所述可调成像模块还包括：
分光单元，用于进行所述投射模块与眼底之间的光路传递。
通过所述分光单元，可以避免向用户的眼睛的眼底投射所述虚拟图像时影响用户观看眼前的真实物体或虚拟场景。
在本发明实施例中，所述注视点检测装置110可以为以下几种中的一种：
a)采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过一个深度传感器(如红外测距)得到眼睛注视场景的深度，得到眼睛视线的注视点位置，该技术为已有技术，本实施方式中不再赘述。
b)分别检测两眼的光轴方向，再得到两眼光轴方向的交点，进而得到眼睛视线的注视点位置，该技术也为已有技术，此处不再赘述。
c)根据采集到眼睛的成像面呈现的最清晰图像时图像采集设备与眼睛之间光路的光学参数，得到所述眼睛视线的注视点位置。在本实施方式中，所述注视点检测装置110可以为以下图5a-5f、图6、图7所示的注视点检测装置中的一种。
当然，本领域的技术人员可以知道，除了上述几种形式的注视点检测装置110外，其它可以用于检测用户眼睛注视点的装置也可以用于本发明实施例的系统中。
如图5a所示，在本发明实施例的一种可能的实施方式中，所述注视点检测装置500包括：
图像采集设备510，用于采集眼睛眼底呈现的图像；
可调成像设备520，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；
图像处理设备530，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。
本注视点检测装置500通过对眼睛眼底的图像进行分析处理，得到所述图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的注视点位置，为进一步实现眼睛自适应操作提供基础。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。这里的眼睛可以为人眼，也可以为其它动物的眼睛。
如图5b所示，本发明实施例的一种可能的实施方式中，所述图像采集设备510为微型摄像头，在本发明实施例的另一种可能的实施方式中，所述图像采集设备510还可以直接使用感光成像器件，如CCD或CMOS等器件。
在本发明实施例的一种可能的实施方式中，所述可调成像设备520包括：可调透镜单元521，位于眼睛与所述图像采集设备510之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜单元521，使得从眼睛到所述图像采集设备510之间的系统等效焦距可调，通过可调透镜单元521的调节，使得所述图像采集设备510在可调透镜单元521的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜单元521在检测过程中连续实时的调节。
优选地，在本发明实施例的一种可能的实施方式中，所述可调透镜单元521为：焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为：1)通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2)通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在本发明实施例的另一种可能的实施方式中，所述可调透镜单元521包括：多片透镜构成的透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。所述透镜组中也可以包括自身焦距等成像参数可调的透镜。
除了上述两种通过调节可调透镜单元521自身的特性来改变系统的光路参数以外，还可以通过调节所述可调透镜单元521在光路上的位置来改变系统的光路参数。
优选地，在本发明实施例的一种可能的实施方式中，为了不影响用户对观察对象的观看体验，并且为了使得系统可以便携应用在穿戴式设备上，所述可调成像设备520还包括：分光单元522，用于形成眼睛和观察对象之间、以及眼睛和图像采集设备510之间的光传递路径。这样可以对光路进行折叠，减小系统的体积，同时尽可能不影响用户的其它视觉体验。
优选地，在本实施方式中，所述分光单元包括：第一分光单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到图像采集设备的光。
所述第一分光单元可以为分光镜、分光光波导(包括光纤)或其它适合的分光设备。
在本发明实施例的一种可能的实施方式中，所述系统的图像处理设备530包括光路校准模块，用于对系统的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。
在本发明实施例的一种可能的实施方式中，所述图像处理设备530包括：
图像分析模块531，用于对所述图像采集设备得到的图像进行分析，找到最清晰的图像；
参数计算模块532，用于根据所述最清晰的图像、以及得到所述最清晰图像时系统已知的成像参数计算眼睛的光学参数。
在本实施方式中，通过可调成像设备520使得所述图像采集设备510可以得到最清晰的图像，但是需要通过所述图像分析模块531来找到该最清晰的图像，此时根据所述最清晰的图像以及系统已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。
在本发明实施例的一种可能的实施方式中，优选地，所述系统还包括：投射设备540，用于向眼底投射光斑。在一个可能的实施方式中，可以通过微型投影仪来视线该投射设备的功能。
这里投射的光斑可以没有特定图案仅用于照亮眼底。
在在本发明实施例优选的一种实施方式中，所述投射的光斑包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图5c所示为一个光斑图案550的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图5d所示为在有光斑图案550投射时拍摄到的眼底的图像。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。
此时，为了减小其它光谱的干扰：
所述投射设备的出射面可以设置有眼睛不可见光透射滤镜。
所述图像采集设备的入射面设置有眼睛不可见光透射滤镜。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：
投射控制模块534，用于根据图像分析模块得到的结果，控制所述投射设备的投射光斑亮度。
例如所述投射控制模块534可以根据图像采集设备510得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。
这里，控制所述投射设备的投射光斑亮度的一种特殊的情况为打开或关闭投射设备，例如用户持续注视一点时可以周期性关闭所述投射设备；用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线注视点到眼睛的距离。
此外，所述投射控制模块534还可以根据环境光来控制投射设备的投射光斑亮度。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：图像校准模块533，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。
所述图像分析模块531将图像采集设备530得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
优选地，在本发明实施例的一种可能的实施方式中，所述参数计算模块532包括：
眼睛光轴方向确定单元5321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。
这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。
优选地，在本发明实施例的一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第一确定子单元，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：
当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法(例如尺度不变特征转换(Scale Invariant FeatureTransform，SIFT)算法)通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向；
当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案(通过图像校准模块获得)的位置来确定眼睛光轴方向确定用户视线方向。
在本发明实施例的另一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第二确定子单元，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：眼睛光轴方向校准模块535，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。
在本实施方式中，所述系统已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述可调透镜单元的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以计算得到眼睛注视点到眼睛的距离，具体为：
图5e所示为眼睛成像示意图，结合经典光学理论中的透镜成像公式，由图5e可以得到公式(1)：
1 d o + 1 d e = 1 f e - - - ( 1 )
其中do和de分别为眼睛当前观察对象5010和视网膜上的实像5020到眼睛等效透镜5030的距离，fe为眼睛等效透镜5030的等效焦距，X为眼睛的光轴方向(即视线的光轴)。
图5f所示为根据系统已知光学参数和眼睛的光学参数得到眼睛注视点到眼睛的距离的示意图，图5f中光斑5040通过可调透镜单元521会成一个虚像(图5f中未示出)，假设该虚像距离透镜距离为x(图5f中未示出)，结合公式(1)可以得到如下方程组：
1 d p - 1 x = 1 f p 1 d i + x + 1 d e = 1 f e - - - ( 2 )
其中dp为光斑5040到可调透镜单元521的光学等效距离，di为可调透镜单元521到眼睛等效透镜5030的光学等效距离，fp为可调透镜单元521的焦距值，di为所述眼睛等效透镜5030到可调透镜单元521的距离。
由(1)和(2)可以得出当前观察对象5010(眼睛注视点)到眼睛等效透镜5030的距离do如公式(3)所示：
d o = d i + d p · f p f p - d p - - - ( 3 )
根据上述计算得到的观察对象5010到眼睛的距离，又由于之前的记载可以得到眼睛光轴方向，则可以轻易得到眼睛的注视点位置，为后续与眼睛相关的进一步交互提供了基础。
如图6所示为本发明实施例的一种可能的实施方式的眼睛注视点检测装置600应用在眼镜400上的实施例，其包括图5b所示实施方式的记载的内容，具体为：由图6可以看出，在本实施方式中，在眼镜400右侧(不局限于此)集成了本实施方式的系统600，其包括：
微型摄像头610，其作用与图5b实施方式中记载的图像采集设备相同，为了不影响用户正常观看对象的视线，其被设置于眼镜200右外侧；
第一分光镜620，其作用与图5b实施方式中记载的第一分光单元相同，以一定倾角设置于眼睛200注视方向和摄像头610入射方向的交点处，透射观察对象进入眼睛200的光以及反射眼睛到摄像头610的光；
焦距可调透镜630，其作用与图5b实施方式中记载的焦距可调透镜相同，位于所述第一分光镜620和摄像头610之间，实时进行焦距值的调整，使得在某个焦距值时，所述摄像头610能够拍到眼底最清晰的图像。
在本实施方式中，所述图像处理设备在图6中未表示出，其功能与图5b所示的图像处理设备相同。
由于一般情况下，眼底的亮度不够，因此，最好对眼底进行照明，在本实施方式中，通过一个发光源640来对眼底进行照明。为了不影响用户的体验，这里优选的发光源640为眼睛不可见光，优选对眼睛200影响不大并且摄像头610又比较敏感的近红外光发光源。
在本实施方式中，所述发光源640位于右侧的眼镜架外侧，因此需要通过一个第二分光镜650与所述第一分光镜620一起完成所述发光源640发出的光到眼底的传递。本实施方式中，所述第二分光镜650又位于摄像头610的入射面之前，因此其还需要透射眼底到第二分光镜650的光。
可以看出，在本实施方式中，为了提高用户体验和提高摄像头610的采集清晰度，所述第一分光镜620优选地可以具有对红外反射率高、对可见光透射率高的特性。例如可以在第一分光镜620朝向眼睛200的一侧设置红外反射膜实现上述特性。
由图6可以看出，由于在本实施方式中，所述眼睛注视点检测装置600位于眼镜400的镜片远离眼睛200的一侧，因此进行眼睛光学参数进行计算时，可以将镜片也看成是眼睛200的一部分，此时不需要知道镜片的光学特性。
在本发明实施例的其它实施方式中，所述眼睛注视点检测装置600可能位于眼镜400的镜片靠近眼睛200的一侧，此时，需要预先得到镜片的光学特性参数，并在计算注视点距离时，考虑镜片的影响因素。
发光源发出的光通过第二分光镜650的反射、焦距可调透镜630的投射、以及第一分光镜620的反射后再透过眼镜400的镜片进入用户眼睛，并最终到达眼底的视网膜上；摄像头610经过所述第一分光镜620、焦距可调透镜630以及第二分光镜650构成的光路透过眼睛200的瞳孔拍摄到眼底的图像。
在本发明实施例的一种可能的实施方式中，由于所述注视点检测装置和所述虚拟图像投射装置，有可能同时包括：具有投射功能的设备(如上面所述的虚拟图像投射装置的投射模块，以及所述注视点检测装置的投射设备)；以及成像参数可调的成像设备(如上面所述的虚拟图像投射装置的可调成像模块，以及所述注视点检测装置的可调成像设备)等，因此所述注视点检测装置和所述虚拟图像投射装置的功能由同一设备实现。
如图6所示，在本发明实施例的一种可能的实施方式中，所述发光源640除了可以用于所述注视点检测装置的照明外，还可以作为所述虚拟图像投射装置的投射设备的光源辅助投射所述虚拟图像。在一种可能的实施方式中，所述发光源640可以同时分别投射一个不可见的光用于所述注视点检测装置的照明；以及一个可见光，用于辅助投射所述虚拟图像；在另一种可能的实施方式中，所述发光源640还可以分时地切换投射所述不可见光与所述可见光；在又一种可能的实施方式中，所述注视点检测装置可以使用所述虚拟图像来完成照亮眼底的功能。
在本发明实施例的一种可能的实施方式中，所述第一分光镜620、第二分光镜650以及所述焦距可调透镜630除了可以作为所述的虚拟图像投射装置的可调成像模块外，还可以作为所述注视点检测装置的可调成像设备。这里，所述的焦距可调透镜630在一种可能的实施方式中，其焦距可以分区域的调节，不同的区域分别对应于所述注视点检测装置和所述虚拟图像投射装置，焦距也可能会不同。或者，所述焦距可调透镜630的焦距是整体调节的，但是所述注视点检测装置的微型摄像头610的感光单元(如CCD等)的前端还设置有其它光学器件，用于实现所述注视点检测装置的成像参数辅助调节。此外，在另一种可能的实施方式中，可以配置使得从所述发光源640的发光面(即虚拟图像投出位置)到眼睛的光程与所述眼睛到所述微型摄像头610的光程相同，则所述焦距可调透镜630调节至所述微型摄像头610接收到最清晰的眼底图像时，所述发光源640投射的虚拟图像正好在眼底清晰地成像。
由上述可以看出，本发明实施例的眼睛注视点检测装置与虚拟图像投射装置可以由一套设备实现，使得整个系统结构简单、体积小、更加便于携带。
如图7所示为本发明实施例的另一种实施方式眼睛注视点检测装置700的结构示意图。由图7可以看出，本实施方式与图6所示的实施方式相似，包括微型摄像头710、第二分光镜720、焦距可调透镜730，不同之处在于，在本实施方式中的投射设备740为投射光斑图案的投射设备740，并且通过一个曲面分光镜750作为曲面分光单元取代了图6实施方式中的第一分光镜。
这里采用了曲面分光镜750分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。这样摄像头可以拍摄到眼球各个角度混合叠加的成像，但由于只有通过瞳孔的眼底部分能够在摄像头上清晰成像，其它部分会失焦而无法清晰成像，因而不会对眼底部分的成像构成严重干扰，眼底部分的特征仍然可以检测出来。因此，与图6所示的实施方式相比，本实施方式可以在眼睛注视不同方向时都能很好的得到眼底的图像，使得本实施方式的眼睛注视点检测装置适用范围更广，检测精度更高。
在本发明实施例的一种可能的实施方式中，所述注视点检测装置和所述虚拟图像投射装置也可以复用。与图6所示的实施例类似地，此时所述投射设备740可以同时或者分时切换地投射光斑图案以及所述虚拟图像；或者所述注视点检测装置将投射的虚拟图像作为所述光斑图案，进行检测。与图6所示的实施例类似地，在本发明实施例的一种可能的实施方式中，所述第一分光镜720、第二分光镜750以及所述焦距可调透镜730除了可以作为所述的虚拟图像投射装置的可调成像模块外，还可以作为所述注视点检测装置的可调成像设备。
此时，所述第二分光镜750还用于分别对应眼睛光轴方向不同时瞳孔的位置，进行所述投射模块与眼底之间的光路传递。由于所述投射设备740投射的虚拟图像经过所述曲面的第二分光镜750之后会发生变形，因此在本实施方式中，所述虚拟图像投射装置包括：
反变形处理模块，用于对所述虚拟图像进行与所述曲面分光单元对应的反变形处理，使得眼底接收到需要呈现的虚拟图像。
在本发明实施例的一种可能的实施方式中，为了实现立体显示，所述可视化信息分别与用户的两只眼睛对应。
在一种可能的实现方式中，也可以与用户的两只眼睛对应的可视化信息是相同的，但是所述可视化信息的成像参数分别与用户的两只眼睛对应。例如分别与两只眼睛对应的同一可视化信息的需要呈现的位置略有不同、其大小也可能略有不同；此外，其渲染参数由于两只眼睛的位置不同，其对应的虚拟相机的参数也会略有不同。因此，根据上述分别与两只眼睛对应的可视化信息和/或可视化信息的成像参数生成的虚拟图像也会有两幅，分别与所述两只眼睛对应。
例如根据与左眼对应的可视化信息的成像参数，以及对应的可视化信息生成与左眼对应的虚拟图像；根据与右眼对应的可视化信息的成像参数，以及对应的可视化信息生成与右眼对应的虚拟图像。用户的两眼分别对应地得到所述两幅虚拟图像时，会产生立体的视觉效果。
除了通过上述方法来实现立体虚拟内容的投射外，在本发明实施例的一种可能的实施方式中，投射至用户两只眼睛的虚拟图像是相同地，但是通过具有一定偏差地将所述虚拟图像分别投射至两只眼睛也可以实现立体地投射(例如调节虚拟图像投射装置中可调成像模块的光轴参数)。
如图8所示，在需要进行立体显示的情况下，所述内容投射系统800需要分别与用户的两只眼睛对应的设置两套虚拟图像投射装置，包括：
与用户的左眼对应的第一虚拟图像投射装置；以及
与用户的右眼对应的第二虚拟图像投射装置。
其中，所述第二虚拟图像投射装置的结构与图6的实施例中记载的复合有注视点检测装置功能的结构类似，也为可以同时实现注视点检测装置功能以及虚拟图像投射装置功能的结构，包括与所述图6所示实施例功能相同的微型摄像头821、第二分光镜822、第二焦距可调透镜823，第一分光镜824(所述注视点检测装置的图像处理设备与所述虚拟图像投射装置的成像参数生成模块在图8中未示出)，不同之处在于，在本实施方式中的投射设备为可以投射右眼对应的虚拟图像的第二投射设备825。其同时可以用于检测用户眼睛的注视点位置，并且把与右眼对应的虚拟图像清晰投射至右眼眼底。
所述第一虚拟图像投射装置的结构与所述第二虚拟图像投射装置820的结构类似(所述虚拟图像投射装置的成像参数生成模块在图8中未示出)，但是其不具有微型摄像头，并且没有复合注视点检测装置的功能。如图8所示，所述第一虚拟图像投射装置包括：
第一投射设备811，用于将与左眼对应的虚拟图像向左眼眼底投射；
第一焦距可调透镜813，用于对所述第一投射设备811与眼底之间的成像参数进行调节，使得对应的虚拟图像可以清晰地呈现在左眼眼底；
第三分光镜812，用于在所述第一投射设备811与所述第一焦距可调透镜813之间进行光路传递；
第四分光镜814，用于在所述第一焦距可调透镜813与所述左眼眼底之间进行光路传递。
图9为本发明实施例提供的一种信息处理部分900的结构示意图，本发明具体实施例并不对信息处理部分900的具体实现做限定。如图9所示，该信息处理部分900可以包括：
处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930、以及通信总线940。其中：
处理器910、通信接口920、以及存储器930通过通信总线940完成相互间的通信。
通信接口920，用于与比如客户端等的网元通信。
处理器910，用于执行程序932，具体可以实现上述图1至图8所示的装置实施例中图像生成装置、注视点检测装置的，虚拟图像投射装置的成像参数生成模块和反变形处理模块图像处理设备的相关功能。
具体地，程序932可以包括程序代码，所述程序代码包括计算机操作指令。
处理器910可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器930，用于存放程序932。存储器930可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述装置实施例中的对应描述，在此不再赘述。
通过上述的本发明实施例的内容投射系统，可以自动实时检测用户注视点位置并且自适应的将需要投射的虚拟内容进行与所述注视点位置对应的处理，使得虚拟内容与用户正在观看到真实或虚拟场景进行效果更佳的融合，提高用户的视觉体验。
如图10所示，本发明实施例的一种可能的实施方式提供了一种内容投射方法，包括：
S110：注视点检测步骤，用于检测当前眼睛的注视点位置；
S120：图像生成步骤，用于根据可视化信息以及所述注视点位置，生成虚拟图像；
S130：虚拟图像投射步骤，用于根据所述注视点位置将所述虚拟图像投射至眼底。
本发明实施例通过实时检测眼睛的注视点位置，并根据当前的注视点位置生成对应的虚拟图像，使得用户观看到的虚拟图像随着注视点的变化而变化，使得虚拟图像能够更好地融入当前真实场景或虚拟场景，并使得用户感觉更加真实，带来更好的沉浸感。
优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息包括：图形信息和/或图像信息。
优选地，在本发明实施例的一种可能的实现方式中，所述图像生成步骤包括：
可视化信息参数确定步骤，用于根据所述注视点位置，确定所述可视化信息的成像参数。
优选地，在本发明实施例的一种可能的实现方式中，所述图像生成步骤还包括：
图像渲染步骤，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。
优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息分别与用户的两只眼睛对应。
优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息的成像参数分别与用户的两只眼睛对应。
优选地，在本发明实施例的一种可能的实现方式中，所述虚拟图像投射步骤包括：
向对应的眼底投射所述虚拟图像；
根据所述注视点位置生成投射位置与眼底之间光路的投射成像参数；
将所述投射的虚拟图像成像在所述眼底。
优选地，在本发明实施例的一种可能的实现方式中，所述虚拟图像投射步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟图像成像在眼底。
优选地，在本发明实施例的一种可能的实现方式中，所述虚拟图像投射步骤包括：
对所述虚拟图像进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟图像。
优选地，在本发明实施例的一种可能的实现方式中，所述方法还包括：
检测当前眼睛瞳孔的大小。
优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息的成像参数包括景深信息。
优选地，在本发明实施例的一种可能的实现方式中，所述可视化信息参数确定步骤还包括，根据所述眼睛瞳孔的大小生成所述景深信息。
优选地，在本发明实施例的一种可能的实现方式中，所述图像渲染步骤包括：
根据可视化信息的成像参数，对所述可视化信息进行对应的焦外成像处理。
优选地，在本发明实施例的一种可能的实现方式中，所述注视点检测步骤包括：
采集眼睛眼底呈现的图像；
进行图像采集位置与眼睛之间光路的成像参数的调节以采集到最清晰的图像；
对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。
优选地，在本发明实施例的一种可能的实现方式中，所述进行图像采集位置与眼睛之间光路的成像参数的调节包括：
调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。
优选地，在本发明实施例的一种可能的实现方式中，所述注视点检测步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集设备。
优选地，在本发明实施例的一种可能的实现方式中，所述注视点检测步骤还包括：
向眼底投射光斑图案。
上述各步骤的实施方式与上述装置实施例中对应模块或单元的功能的描述相同，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (34)

1.一种内容投射系统，其特征在于，包括：
注视点检测装置，用于检测当前眼睛的注视点位置；
图像生成装置，用于根据可视化信息以及所述注视点位置，生成虚拟图像；
虚拟图像投射装置，用于根据所述注视点位置将所述虚拟图像投射至眼底；
其中，所述注视点位置包括所述眼睛的注视点到眼睛的距离。
2.如权利要求1所述的系统，其特征在于，所述图像生成装置包括：
可视化信息参数确定模块，用于根据所述注视点位置，确定所述可视化信息的成像参数。
3.如权利要求2所述的系统，其特征在于，所述图像生成装置还包括：
图像渲染模块，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。
4.如权利要求3所述的系统，其特征在于，所述可视化信息分别与用户的两只眼睛对应。
5.如权利要求3或4所述的系统，其特征在于，所述可视化信息的成像参数分别与用户的两只眼睛对应。
6.如权利要求1所述的系统，其特征在于，所述虚拟图像投射装置包括：
投射模块，用于向对应的眼底投射所述虚拟图像；
可调成像模块，位于所述投射模块与眼底之间的光路上，将所述投射的虚拟图像成像在所述眼底；
成像参数生成模块，用于根据所述注视点位置生成并调整所述可调成像模块的投射成像参数。
7.如权利要求6所述的系统，其特征在于，所述可调成像模块还包括：
分光单元，用于进行所述投射模块与眼底之间的光路传递。
8.如权利要求7所述的系统，其特征在于，所述分光单元包括曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，进行所述投射模块与眼底之间的光路传递。
9.如权利要求8所述的系统，其特征在于，所述虚拟图像投射装置包括：
反变形处理模块，用于对所述虚拟图像进行与所述曲面分光单元对应的反变形处理，使得眼底接收到需要呈现的虚拟图像。
10.如权利要求3所述的系统，其特征在于，所述注视点检测装置还包括：
瞳孔检测模块，用于检测当前眼睛瞳孔的大小。
11.如权利要求10所述的系统，其特征在于，所述可视化信息的成像参数包括景深信息；
所述可视化信息参数确定模块，根据所述眼睛瞳孔的大小生成所述景深信息。
12.如权利要求11所述的系统，其特征在于，所述图像渲染模块包括：
焦外处理单元，用于根据可视化信息的成像参数，对所述可视化信息进行对应的焦外成像处理。
13.如权利要求1所述的系统，其特征在于，所述注视点检测装置包括：
图像采集设备，用于采集眼睛眼底呈现的图像；
可调成像设备，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；
图像处理设备，用于对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。
14.如权利要求13所述的系统，其特征在于，所述可调成像设备包括：
可调透镜单元，位于眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。
15.如权利要求13所述的系统，其特征在于，所述可调成像设备包括：
曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。
16.如权利要求13所述的系统，其特征在于，所述注视点检测装置还包括：
投射设备，用于向眼底投射光斑图案。
17.如权利要求13所述的系统，其特征在于，所述注视点检测装置和所述虚拟图像投射装置的功能由同一设备实现。
18.一种内容投射方法，其特征在于，包括：
注视点检测步骤，用于检测当前眼睛的注视点位置；
图像生成步骤，用于根据可视化信息以及所述注视点位置，生成虚拟图像；
虚拟图像投射步骤，用于根据所述注视点位置将所述虚拟图像投射至眼底；
其中，所述注视点位置包括所述眼睛的注视点到眼睛的距离。
19.如权利要求18所述的方法，其特征在于，所述可视化信息包括：图形信息和/或图像信息。
20.如权利要求19所述的方法，其特征在于，所述图像生成步骤包括：
可视化信息参数确定步骤，用于根据所述注视点位置，确定所述可视化信息的成像参数。
21.如权利要求20所述的方法，其特征在于，所述图像生成步骤还包括：
图像渲染步骤，用于根据所述可视化信息及所述可视化信息的成像参数，渲染生成所述虚拟图像。
22.如权利要求21所述的方法，其特征在于，所述可视化信息分别与用户的两只眼睛对应。
23.如权利要求21或22所述的方法，其特征在于，所述可视化信息的成像参数分别与用户的两只眼睛对应。
24.如权利要求18所述的方法，其特征在于，所述虚拟图像投射步骤包括：
向对应的眼底投射所述虚拟图像；
根据所述注视点位置生成投射位置与眼底之间光路的投射成像参数；
将所述投射的虚拟图像成像在所述眼底。
25.如权利要求24所述的方法，其特征在于，所述虚拟图像投射步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟图像成像在眼底。
26.如权利要求25所述的方法，其特征在于，所述虚拟图像投射步骤包括：
对所述虚拟图像进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟图像。
27.如权利要求21所述的方法，其特征在于，所述方法还包括：
检测当前眼睛瞳孔的大小。
28.如权利要求27所述的方法，其特征在于，所述可视化信息的成像参数包括景深信息。
29.如权利要求28所述的方法，其特征在于，所述可视化信息参数确定步骤还包括，根据所述眼睛瞳孔的大小生成所述景深信息。
30.如权利要求29所述的方法，其特征在于，所述图像渲染步骤包括：
根据可视化信息的成像参数，对所述可视化信息进行对应的焦外成像处理。
31.如权利要求18所述的方法，其特征在于，所述注视点检测步骤包括：
采集眼睛眼底呈现的图像；
进行图像采集位置与眼睛之间光路的成像参数的调节以采集到最清晰的图像；
对所述图像采集设备得到的图像进行处理，根据得到所述最清晰图像时所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的注视点位置。
32.如权利要求31所述的方法，其特征在于，所述进行图像采集位置与眼睛之间光路的成像参数的调节包括：
调节位于眼睛与图像采集位置之间光路上的透镜单元的焦距和/或在光路中的位置。
33.如权利要求31所述的方法，其特征在于，所述注视点检测步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到采集所述眼底呈现的图像的图像采集设备。
34.如权利要求31所述的方法，其特征在于，所述注视点检测步骤还包括：
向眼底投射光斑图案。
CN201310390652.6A 2013-08-30 2013-08-30 内容投射系统及方法 Active CN103605208B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310390652.6A CN103605208B (zh) 2013-08-30 2013-08-30 内容投射系统及方法
US14/783,503 US10048750B2 (en) 2013-08-30 2013-12-04 Content projection system and content projection method
PCT/CN2013/088554 WO2015027599A1 (zh) 2013-08-30 2013-12-04 内容投射系统及内容投射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310390652.6A CN103605208B (zh) 2013-08-30 2013-08-30 内容投射系统及方法

Publications (2)

Publication Number Publication Date
CN103605208A CN103605208A (zh) 2014-02-26
CN103605208B true CN103605208B (zh) 2016-09-28

Family

ID=50123448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310390652.6A Active CN103605208B (zh) 2013-08-30 2013-08-30 内容投射系统及方法

Country Status (3)

Country Link
US (1) US10048750B2 (zh)
CN (1) CN103605208B (zh)
WO (1) WO2015027599A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150084990A1 (en) * 2013-04-07 2015-03-26 Laor Consulting Llc Augmented reality medical procedure aid
JP2016036390A (ja) * 2014-08-05 2016-03-22 富士通株式会社 情報処理装置、焦点検出方法、および焦点検出プログラム
CN105446579B (zh) * 2014-08-13 2019-03-29 联想(北京)有限公司 一种控制方法及便携式电子设备
US10317992B2 (en) 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10284839B2 (en) * 2015-01-21 2019-05-07 Chengdu Idealsee Technology Co., Ltd. Binocular see-through AR head-mounted display device and information display method therefor
CN104656257A (zh) * 2015-01-23 2015-05-27 联想(北京)有限公司 信息处理方法及电子设备
US10284816B2 (en) * 2015-03-23 2019-05-07 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
JP6701587B2 (ja) 2015-03-31 2020-05-27 国立大学法人東北大学 画像表示装置、処理方法、及び、プログラム
TWI569040B (zh) * 2015-05-07 2017-02-01 尚立光電股份有限公司 自動調焦頭戴式顯示裝置
CN106303289B (zh) * 2015-06-05 2020-09-04 福建凯米网络科技有限公司 一种将真实对象与虚拟场景融合显示的方法、装置及系统
JP6330111B2 (ja) 2015-09-30 2018-05-23 富士フイルム株式会社 撮影装置及びその制御方法
US9709807B2 (en) * 2015-11-03 2017-07-18 Motorola Solutions, Inc. Out of focus notifications
KR101807159B1 (ko) * 2015-12-04 2017-12-11 카페24 주식회사 다수 개의 카메라를 기반으로 하는 영상 전송 방법, 장치 및 시스템
CN107272319A (zh) * 2016-04-07 2017-10-20 中强光电股份有限公司 投影装置以及影像投影方法
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
CN106484116B (zh) * 2016-10-19 2019-01-08 腾讯科技（深圳）有限公司 媒体文件的处理方法和装置
CN106101685B (zh) * 2016-07-14 2018-06-19 腾讯科技（深圳）有限公司 一种信息处理方法、穿戴式电子设备、处理装置及系统
WO2018010677A1 (zh) * 2016-07-14 2018-01-18 腾讯科技（深圳）有限公司 一种信息处理方法、穿戴式电子设备、处理装置及系统
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
KR102650215B1 (ko) * 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
CN108604015B (zh) * 2016-12-26 2020-07-14 华为技术有限公司 图像显示方法和头戴显示设备
EP3580604A4 (en) * 2017-02-12 2021-03-10 Lemnis Technologies Pte. Ltd. METHODS, DEVICES AND SYSTEMS FOR FOCUS ADJUSTMENT OF DISPLAYS
CN108572450B (zh) * 2017-03-09 2021-01-29 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示系统
CN107272200A (zh) * 2017-05-02 2017-10-20 北京奇艺世纪科技有限公司 一种焦距控制设备、方法及vr眼镜
CN107179611B (zh) * 2017-07-06 2018-09-28 惠科股份有限公司 一种佩戴装置、立体画面播放系统及方法
US10989921B2 (en) * 2017-12-29 2021-04-27 Letinar Co., Ltd. Augmented reality optics system with pinpoint mirror
WO2019173997A1 (en) * 2018-03-15 2019-09-19 Nokia Technologies Oy Near eye display and associated method
JP7093418B2 (ja) * 2018-09-20 2022-06-29 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN109541807B (zh) * 2018-12-25 2021-03-02 北京谷东网科技有限公司 增强现实立体显示装置及显示方法
CN110412765B (zh) * 2019-07-11 2021-11-16 Oppo广东移动通信有限公司 增强现实图像拍摄方法、装置、存储介质及增强现实设备
CN110927973A (zh) * 2019-12-16 2020-03-27 Oppo广东移动通信有限公司 显示装置
US11656688B2 (en) * 2020-12-03 2023-05-23 Dell Products L.P. System and method for gesture enablement and information provisioning
DE102020215284A1 (de) 2020-12-03 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Betrachtungsregelung, Datenbrille, Datenbrillensystem
CN113239754A (zh) * 2021-04-23 2021-08-10 泰山学院 一种应用于车联网的危险驾驶行为检测定位方法及系统
CN115793841A (zh) * 2021-09-09 2023-03-14 华为技术有限公司 一种显示方法与电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN102918444A (zh) * 2011-03-25 2013-02-06 松下电器产业株式会社 显示装置
CN103197757A (zh) * 2012-01-09 2013-07-10 癸水动力（北京）网络科技有限公司 一种沉浸式虚拟现实系统及其实现方法

Family Cites Families (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4264154A (en) 1979-06-05 1981-04-28 Polaroid Corporation Apparatus for automatically controlling transmission of light through a lens system
US4572616A (en) 1982-08-10 1986-02-25 Syracuse University Adaptive liquid crystal lens
JP2676870B2 (ja) 1989-01-17 1997-11-17 キヤノン株式会社 注視点検出手段を有した光学装置
JP2920940B2 (ja) 1989-06-20 1999-07-19 キヤノン株式会社 視線検出手段を有した機器
US5182585A (en) 1991-09-26 1993-01-26 The Arizona Carbon Foil Company, Inc. Eyeglasses with controllable refracting power
JPH08564A (ja) 1994-06-17 1996-01-09 Nikon Corp 眼科装置
US6072443A (en) 1996-03-29 2000-06-06 Texas Instruments Incorporated Adaptive ocular projection display
JPH1070742A (ja) 1996-08-29 1998-03-10 Olympus Optical Co Ltd 二眼式映像表示装置
JP3802630B2 (ja) 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
DE19704197A1 (de) 1997-02-05 1998-08-06 Zeiss Carl Jena Gmbh Anordnung zur subjektivem Refraktionsbestimmung und/oder zur Bestimmung anderer Sehfunktionen
JPH10289973A (ja) 1997-04-16 1998-10-27 Sony Corp リードフレームの表面処理方法
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP3383228B2 (ja) * 1998-11-09 2003-03-04 シャープ株式会社 ヘッドマウントディスプレイ装置
US6318857B1 (en) 1998-12-09 2001-11-20 Asahi Kogaku Kogyo Kabushiki Kaisha Variable power spectacles
US6619799B1 (en) 1999-07-02 2003-09-16 E-Vision, Llc Optical lens system with electro-active lens having alterably different focal lengths
US6835179B2 (en) 2000-11-22 2004-12-28 Carl Zeiss Jena Gmbh Optical stimulation of the human eye
US6478425B2 (en) 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
AU2002312676A1 (en) 2001-06-12 2002-12-23 Silicon Optix Inc. System and method for correcting keystone distortion
US7001020B2 (en) 2001-08-02 2006-02-21 Daphne Instruments, Inc. Complete autorefractor system in an ultra-compact package
CN1141602C (zh) 2001-08-14 2004-03-10 中国科学院长春光学精密机械与物理研究所 连续变焦菲涅耳微透镜阵列器件
JP4224260B2 (ja) 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
US20080106633A1 (en) 2002-03-13 2008-05-08 Blum Ronald D Electro-optic lens with integrated components for varying refractive properties
JP2005519684A (ja) 2002-03-13 2005-07-07 イー・ビジョン・エルエルシー 一体化構成部品を備えた電気光学レンズ
CN100553601C (zh) 2002-07-22 2009-10-28 林超群 动态式透镜视力训练装置
IL151592A (en) 2002-09-04 2008-06-05 Josef Bekerman Variable optical power spectacles for eyesight rehabilitation and methods for lens optical power control
DE112004000144T5 (de) 2003-01-16 2006-01-12 Horie, Hidenori, Yokohama Vorrichtung zur Verbesserung der Sehkraft
US7298414B2 (en) 2003-01-29 2007-11-20 Hewlett-Packard Development Company, L.P. Digital camera autofocus using eye focus measurement
JP3844076B2 (ja) 2003-03-07 2006-11-08 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US20050003043A1 (en) 2003-07-03 2005-01-06 Vincent Sewalt Composition and method for reducing caking and proteinaceous products
JP4085034B2 (ja) 2003-07-17 2008-04-30 信越化学工業株式会社 化合物、高分子化合物、レジスト材料及びパターン形成方法
JP2005092175A (ja) 2003-08-08 2005-04-07 Olympus Corp 光学特性可変光学素子
JP2005058399A (ja) 2003-08-11 2005-03-10 Nikon Corp ディスプレイ装置
CN100551325C (zh) 2004-01-02 2009-10-21 视觉仪器控股有限公司 促进眼底照相机校准和聚焦的设备
JP2005208092A (ja) 2004-01-20 2005-08-04 Seiko Epson Corp プロジェクタ及びそれにおけるズーム調整方法
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
US7535649B2 (en) 2004-03-09 2009-05-19 Tang Yin S Motionless lens systems and methods
JP2007531912A (ja) 2004-03-31 2007-11-08 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 流体適応レンズ
US20060016459A1 (en) 2004-05-12 2006-01-26 Mcfarlane Graham High rate etching using high pressure F2 plasma with argon dilution
US7461938B2 (en) 2004-06-30 2008-12-09 Ophthonix, Inc. Apparatus and method for determining sphere and cylinder components of subjective refraction using objective wavefront measurement
AU2005269254B2 (en) 2004-08-03 2009-06-18 Silverbrook Research Pty Ltd Electronic stylus
US7140730B2 (en) 2004-11-08 2006-11-28 Optovue, Inc. Optical apparatus and method for comprehensive eye diagnosis
US7486988B2 (en) 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
US7344244B2 (en) 2004-12-03 2008-03-18 Searete, Llc Adjustable lens system with neural-based control
US8104892B2 (en) 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
US7334892B2 (en) 2004-12-03 2008-02-26 Searete Llc Method and system for vision enhancement
CN100595620C (zh) 2005-01-21 2010-03-24 庄臣及庄臣视力保护公司 具有可变焦距的自适应电激活透镜
US8885139B2 (en) 2005-01-21 2014-11-11 Johnson & Johnson Vision Care Adaptive electro-active lens with variable focal length
JP4744973B2 (ja) 2005-08-05 2011-08-10 株式会社トプコン 眼底カメラ
JP4719553B2 (ja) 2005-11-04 2011-07-06 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
CN2868183Y (zh) 2006-01-19 2007-02-14 杨宏军 智能视力保护器
WO2007113975A1 (ja) 2006-03-31 2007-10-11 National University Corporation Shizuoka University 視点検出装置
US7764433B2 (en) 2006-05-18 2010-07-27 The Regents Of The University Of California Method and system for correcting optical aberrations, including widefield imaging applications
JP4822331B2 (ja) 2006-06-22 2011-11-24 株式会社トプコン 眼科装置
CN100485448C (zh) 2006-06-29 2009-05-06 贾怀昌 自由曲面全反射式的目视光学棱镜
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
CN201005945Y (zh) 2007-01-15 2008-01-16 陈清祥 可调整滤光片的视线导正辅助器
CA2694908A1 (en) 2007-08-02 2009-04-02 Ocular Optics, Inc. Multi-focal intraocular lens system and methods
CN101116609B (zh) 2007-08-30 2010-06-16 中国科学技术大学 扫描式自动变焦虹膜图像采集系统及采集方法
CN101149254B (zh) 2007-11-12 2012-06-27 北京航空航天大学 高精度视觉检测系统
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US8331006B2 (en) 2008-02-13 2012-12-11 Nokia Corporation Display device and a method for illuminating a light modulator array of a display device
KR20100114133A (ko) 2008-03-18 2010-10-22 픽셀옵틱스, 인크. 진보한 전기-활성 광학 장치
WO2009140255A2 (en) 2008-05-12 2009-11-19 Dreher Andreas W Adjustable eye glasses with a magnetic attachment
JP4518193B2 (ja) 2008-06-10 2010-08-04 ソニー株式会社 光学装置および虚像表示装置
CN101430429A (zh) 2008-06-17 2009-05-13 沈嘉琦 一种近视矫正眼镜
JP5310266B2 (ja) 2009-05-29 2013-10-09 セイコーエプソン株式会社 プロジェクターおよびその制御方法
CN101662696B (zh) 2008-08-28 2011-01-26 联想(北京)有限公司 调节摄像系统的方法和设备
CN102203850A (zh) 2008-09-12 2011-09-28 格斯图尔泰克公司 相对于用户而定向所显示的元素
TWI367748B (en) 2008-09-30 2012-07-11 Univ Ishou Apparatus for sight healthcare
US8884735B2 (en) 2008-11-17 2014-11-11 Roger Li-Chung Vision protection method and system thereof
CN201360319Y (zh) 2008-12-17 2009-12-09 胡超 眼镜式多功能立体图像装置
CN201352278Y (zh) 2008-12-23 2009-11-25 黄玲 一种自动变焦眼镜
CN102292017B (zh) 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
CN201464738U (zh) 2009-04-13 2010-05-12 段亚东 多功能保健眼镜
US8100532B2 (en) 2009-07-09 2012-01-24 Nike, Inc. Eye and body movement tracking for testing and/or training
JP2011043876A (ja) 2009-08-19 2011-03-03 Brother Industries Ltd 画像表示装置
JP5371638B2 (ja) 2009-09-01 2013-12-18 キヤノン株式会社 眼科撮影装置及びその方法
JP5388765B2 (ja) 2009-09-01 2014-01-15 キヤノン株式会社 眼底カメラ
CN101782685A (zh) 2009-09-04 2010-07-21 上海交通大学 实时多角度立体视觉系统
JP2011071898A (ja) 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法
US9122066B2 (en) 2009-10-30 2015-09-01 Hewlett-Packard Development Company, L.P. Stereo display systems
US20120212499A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20120242698A1 (en) 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20120206485A1 (en) 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN201637953U (zh) 2010-03-19 2010-11-17 熊火胜 智能变焦镜片
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
CN101819334B (zh) 2010-04-01 2013-04-17 夏翔 多功能电子眼镜
CN101819331B (zh) 2010-04-27 2012-03-07 中国计量学院 一种遥控变焦眼镜装置
CN201754203U (zh) 2010-05-06 2011-03-02 徐晗 动态视角液晶眼镜
CN104133299B (zh) 2010-05-29 2017-08-04 蒋文宇 用于制造和使用具有自适应透镜的眼镜的系统、方法和设备
CN101917638B (zh) 2010-07-07 2012-10-31 深圳超多维光电子有限公司 立体显示装置、移动终端及立体显示跟踪方法
KR20120005328A (ko) 2010-07-08 2012-01-16 삼성전자주식회사 입체 안경 및 이를 포함하는 디스플레이장치
US8324957B2 (en) 2010-07-16 2012-12-04 Linear Technology Corporation Capacitively coupled switched current source
WO2012057434A1 (en) 2010-10-29 2012-05-03 Lg Electronics Inc. Stereoscopic image processing system and device and glasses
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8628193B2 (en) 2010-11-20 2014-01-14 Yibin TIAN Automatic accommodative spectacles using a scene analyzer and focusing elements
CN102487393B (zh) 2010-12-01 2015-09-23 深圳市同洲软件有限公司 数字电视接收终端与移动终端交互方法、装置和系统
AU2011336538B2 (en) 2010-12-01 2015-11-12 Aldens Beacon, Inc. Variable binocular loupe utilizing fluid filled lens technology
US9161681B2 (en) 2010-12-06 2015-10-20 Lensvector, Inc. Motionless adaptive stereoscopic scene capture with tuneable liquid crystal lenses and stereoscopic auto-focusing methods
CN102008288B (zh) 2010-12-17 2012-02-01 中国科学院光电技术研究所 一种线扫描共焦检眼镜的系统和方法
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
WO2012122411A1 (en) 2011-03-08 2012-09-13 Pixeloptics, Inc. Advanced electro-active optic device
JP2012199621A (ja) 2011-03-18 2012-10-18 Jvc Kenwood Corp 複眼撮像装置
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
JP2012247449A (ja) 2011-05-25 2012-12-13 Canon Inc 投射型映像表示装置
US20120307208A1 (en) 2011-06-01 2012-12-06 Rogue Technologies, Inc. Apparatus and method for eye tracking
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US20130241927A1 (en) 2011-07-03 2013-09-19 Neorai Vardi Computer device in form of wearable glasses and user interface thereof
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
CN202267785U (zh) 2011-08-30 2012-06-06 福州瑞芯微电子有限公司 一种自动跟踪人眼位置的裸眼三维显示结构
JP5879826B2 (ja) 2011-08-31 2016-03-08 株式会社ニデック 眼底撮影装置
US20130072828A1 (en) 2011-09-15 2013-03-21 Jason Sweis Shutter glasses
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US20130107066A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
US20130182217A1 (en) 2011-11-18 2013-07-18 Optovue, Inc. Fundus camera
US9442517B2 (en) 2011-11-30 2016-09-13 Blackberry Limited Input gestures using device movement
CN102572483B (zh) 2011-12-02 2014-08-13 深圳超多维光电子有限公司 跟踪式裸眼立体显示控制方法、装置及显示设备、系统
US9182815B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
CN202383380U (zh) 2011-12-31 2012-08-15 张欣 多功能眼镜
US8384999B1 (en) 2012-01-09 2013-02-26 Cerr Limited Optical modules
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US9430055B2 (en) * 2012-06-15 2016-08-30 Microsoft Technology Licensing, Llc Depth of field control for see-thru display
US20130342572A1 (en) 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US9310611B2 (en) 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
CN103065605B (zh) 2012-12-10 2015-12-09 惠州Tcl移动通信有限公司 一种根据视力状况调节显示效果的方法和系统
US20140160157A1 (en) 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
CN103150013A (zh) 2012-12-20 2013-06-12 天津三星光电子有限公司 一种移动终端
CN103190883B (zh) 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法
CN102981270A (zh) 2012-12-25 2013-03-20 中国科学院长春光学精密机械与物理研究所 一种无遮拦自适应变焦距光学系统及其标定方法
CN103054695A (zh) 2013-01-09 2013-04-24 中山市目明视光视力科技有限公司 调整眼内光学焦点位置的镜片组合方法
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9507147B2 (en) 2013-02-14 2016-11-29 Blackberry Limited Wearable display system with detached projector
US20140232746A1 (en) 2013-02-21 2014-08-21 Hyundai Motor Company Three dimensional augmented reality display apparatus and method using eye tracking
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US20140282224A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
CN108427504B (zh) 2013-03-15 2021-06-11 奇跃公司 显示系统和方法
CN103280175A (zh) 2013-06-17 2013-09-04 苏州旭宇升电子有限公司 一种投影装置
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
US9965897B2 (en) 2013-07-08 2018-05-08 OPS Solutions, LLC Eyewear operational guide system and method
CN103297735A (zh) 2013-07-16 2013-09-11 苏州旭宇升电子有限公司 一种投影装置
US9619939B2 (en) 2013-07-31 2017-04-11 Microsoft Technology Licensing, Llc Mixed reality graduated information delivery
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US10620457B2 (en) 2013-12-17 2020-04-14 Intel Corporation Controlling vision correction using eye tracking and depth detection
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US10261579B2 (en) 2014-09-01 2019-04-16 Samsung Electronics Co., Ltd. Head-mounted display apparatus
WO2016164859A1 (en) 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
JP6548821B2 (ja) 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN102918444A (zh) * 2011-03-25 2013-02-06 松下电器产业株式会社 显示装置
CN103197757A (zh) * 2012-01-09 2013-07-10 癸水动力（北京）网络科技有限公司 一种沉浸式虚拟现实系统及其实现方法

Also Published As

Publication number Publication date
US20160179193A1 (en) 2016-06-23
CN103605208A (zh) 2014-02-26
US10048750B2 (en) 2018-08-14
WO2015027599A1 (zh) 2015-03-05

Similar Documents

Publication Publication Date Title
CN103605208B (zh) 内容投射系统及方法
CN103439801B (zh) 视力保护成像装置及方法
CN103558909B (zh) 交互投射显示方法及交互投射显示系统
US10194793B2 (en) Imaging for local scaling
US10271722B2 (en) Imaging to facilitate object observation
CN103500331B (zh) 提醒方法及装置
KR101260287B1 (ko) 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
JP5887026B2 (ja) ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
CN103501406B (zh) 图像采集系统及图像采集方法
CN103353663B (zh) 成像调整装置及方法
US9961257B2 (en) Imaging to facilitate object gaze
CN103424891B (zh) 成像装置及方法
CN103431840A (zh) 眼睛光学参数检测系统及方法
CN103605199B (zh) 成像装置及方法
CN108885359A (zh) 用于确定眼镜装配参数的方法和装置
WO2015035822A1 (en) Pickup of objects in three-dimensional display
CN105872526A (zh) 双目ar头戴显示设备及其信息显示方法
CN108398787B (zh) 增强现实显示设备、方法和增强现实眼镜
WO2015051605A1 (zh) 图像采集定位方法及图像采集定位装置
CN113419350A (zh) 虚拟现实显示设备、画面呈现方法、装置及存储介质
US11754856B2 (en) Method for designing eyeglass lens, method for manufacturing eyeglass lens, eyeglass lens, eyeglass lens ordering device, eyeglass lens order receiving device, and eyeglass lens ordering and order receiving system
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP3347514B2 (ja) 眼光学系のシミュレーション装置
CN111587397B (zh) 图像生成装置、眼镜片选择系统、图像生成方法以及程序
JPH0831126B2 (ja) 眼鏡装用シミュレーション装置における合成画像作成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant