CN110914786A - 用于在外部场景与虚拟图像之间配准的方法和系统 - Google Patents

用于在外部场景与虚拟图像之间配准的方法和系统 Download PDF

Info

Publication number
CN110914786A
CN110914786A CN201880034616.7A CN201880034616A CN110914786A CN 110914786 A CN110914786 A CN 110914786A CN 201880034616 A CN201880034616 A CN 201880034616A CN 110914786 A CN110914786 A CN 110914786A
Authority
CN
China
Prior art keywords
eye
image
external scene
retina
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880034616.7A
Other languages
English (en)
Inventor
B·格林伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Voxel Sensor Co ltd
Original Assignee
Avic Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avic Vision Co Ltd filed Critical Avic Vision Co Ltd
Publication of CN110914786A publication Critical patent/CN110914786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明提供用于扩增实境投影中以确定由眼睛成像于视网膜上的外部场景与虚拟图像/扩增数据之间的配准的技术。在某些实施例中，本发明涉及用于通过对视网膜成像并识别其上的外部场景的投影而确定视网膜上的扩增实境投影与视网膜所捕捉到的外部场景之间的配准的技术。

Description

用于在外部场景与虚拟图像之间配准的方法和系统
技术领域
本发明涉及眼投影领域，更具体而言，本发明涉及用于将纯扩增/虚拟现实图像投影至用户眼睛上的技术。
背景技术
用于将虚拟及/或扩增实境投影至用户眼睛上的头戴式或以其他方式配戴的图像投影系统变得越来越热门。在许多情况中此类系统系被配置为眼镜可配戴至用户头上且可操作用于将图像投影至用户眼睛上以将虚拟实镜图像/视频投影提供给用户。为达此目的，某些已知的系统致力于将纯虚拟实镜图像投影提供至用户眼睛且此类系统阻挡来自外部场景到达眼睛，但其他系统致力于提供扩增实境体验，且在此类系统允许来自外部场景的光通过眼中的同时被图像投影系统投影至眼上的图像/视频帧所扩增/迭加。
发明内容
本发明提供用于扩增实境投影中以确定由眼睛成像于视网膜上的外部场景与虚拟图像/扩增数据之间的配准的技术。在某些实施例中，本发明涉及用于通过对视网膜成像并识别其上的外部场景的投影而确定视网膜上的扩增实境投影与视网膜所捕捉到的外部场景之间的配准的技术。
在每个眼所感知的图像被投影至眼前的成像平面上的传统技术中，成像平面通常与参考帧相关，此参考帧相对于用户所在的外部场景/环境的参考帧固定(如真实图像被投影至电影院中的固定屏幕上的典型3D电影电影院的情况)、或相对于与用户头部相关联的参考帧固定(如被设计为用来投影扩增/虚拟现实至用户的飞行员或游戏者头盔的情况)。在这些情况的任一个中，被投影的图像并非固定至眼睛的参考帧(即眼球的视线)，这导致目标-视线对投影模块的对准的已知问题，需要特别校正。
图像直接投影至眼视网膜上的技术的原理例如更细详地在共同转让给本申请的受让人的同在审理中的PCT专利申请WO 2015/132775中描述，将其包括于此作为参考。此图像直接投影至眼视网膜上能在视网膜上产生具有改善的景深的图像，因此避免因眼睛试图在错误距离处对焦所造成的眼睛不适及疲劳。
本发明大致上涉及配准系统及方法以及用于利用虚拟信息(如计算机产生的物体的图像)而整合或扩增外部场景(如真实或捕捉到的真实世界图像)的真实信息的扩增实境(AR)技术。更具体而言，本发明涉及在AR系统中虚拟世界信息与真实世界信息的配准技术。
AR技术使人能见到或以其他方式感知到与真实世界整合的电脑生成的虚拟世界。“真实世界”是观察者可利用其自身感观所见、感觉、听、尝、或闻到的环境。“虚拟世界”被定义为储存在储存媒体中或利用处理器所计算得到的经生成的环境。AR技术中的配准系统使虚拟世界和真实世界配准，以观察者可用的方式整合虚拟信息与真实信息。
因此本发明的系统不仅是能非常精准地使经投影的信息与真实世界对准，还能产生最佳的实时遮挡地图，实时遮挡地图为近体互动的重要问题。
该技术使用来自视网膜的光的反射将外部场景的投影成像至视网膜上；配准相对于视网膜上的外部场景的图像投影的扩增视频/图的输入，由此能将扩增视频投影至视网膜上与外部场景配准。更具体而言，在特定的投影波长下，世界信息数据与现实世界图像数据卷积。对于光谱的其余部分(不包括投影波长)，由于可见光谱的其余部分的积分具有大量能量，因此将现实世界的信息数据保留在可见光谱中。
根据本发明的广义方面，提供一种要与扩增实境系统一起使用的配准系统，其包括：传感器，被配置为且可操作用于接收从用户眼睛的视网膜所反射的光束部分及对表示该用户眼睛所感知到的外部场景的图像的反射光束部分成像，由此产生再现图像；及控制单元，连接至该传感器且被配置为且可操作用于接收该外部场景的三维图像数据、比较该再现图像与该三维图像数据；及在该外部场景与该虚拟图像之间进行相对该眼的至少一个参数的配准，由此将该虚拟图像投影至该视网膜上与该外部场景配准。在此处应理解，如上所述，外部场景的三维图像数据由位于用户的眼睛上方的成像单元所产生，因此容易有和用户眼睛相关的视差效应。由于相机系统无法被置于眼睛上，因此存在视差(即沿着两不同视线(相机系统的视线与眼睛的视线)所看到的物体的明显位置的差异)。本发明的配准系统的目的在于在投影虚拟图像之前调整投影以补偿此视差偏差。旦在图像投影期间配准对准了目标视线，则配准系统可重复配准处理以补偿用户脸孔上的眼镜的任何位移。为达此目的，本发明的系统比较表示外部场景的图像数据与自用户眼睛所反射的图像数据以确定收集表示外部场景的图像数据的成像单元与用户眼睛之间的相对位置与位向、配准虚拟世界物体与真实世界物体、及通过在真实世界物体上显示或投影虚拟世界物体的图像或通过电子结合虚拟世界物体的图像与真实世界物体的经捕捉的图像而整合虚拟世界物体与真实世界物体。
在某些实施例中，本发明的配准系统被配置为在扩散实境(AR)系统内配准虚拟信息与真实世界信息。在AR系统中的适当配准能使用户正确地观看虚拟场景并引导用户恰当地放置或以其他方式与扩增视野中的真实物体互动。配准系统所进行的配准处理能确定些参数，这些参数包括了至少一个真实世界物体或目标与用户眼睛之间的相对位置与位向。
在某些实施例中，本发明的技术能在不校正的情况下提供虚拟信息与真实世界信息的配准。
在某些实施例中，该配准系统还包括图像生成器，该图像生成器用于获得表示该虚拟图像的数据、产生与该虚拟图像的像素对应的多个光束部分、以及引导该多个光束部分沿着总光学传播路径传播。
在某些实施例中，该配准系统还包括具有偏光器的眼投影光学模块，其用于使该多个光束部分的总光学传播路径偏向该用户眼睛的瞳孔由此将虚拟图像直接投影至眼睛的视网膜上。
在某些实施例中，该配准系统还包括成像单元，其用于使光朝向该外部场景传输、收集从该外部场景反射的光、及处理收集到的光以产生其捕捉到的三维图像。
根据本发明的另一广义方面，还提供一种要与感知外部场景的用户眼睛一起使用的眼投影系统。该系统包括传感器，该传感器位于从每个用户眼睛所反射的光的光学路径中且被配置为且可操作用于接收从用户视网膜所反射的光束部分并对表示该外部场景的图像的反射光束部分成像以由此产生该外部场景的再现图像；图像生成器，用于获得表示虚拟图像的数据、产生与该虚拟图像的像素对应的多个光束部分、以及引导该多个光束部分沿着总光学传播路径传播；眼投影光学模块，位于该总光学传播路径中且包括偏光器，该偏光器被配置为且可操作用于使该多个光束部分的该总光学传播路径偏向该用户眼睛，由此将该虚拟图像直接投影至该眼睛的视网膜上，其中该总光学传播路径受到偏移以使入射至该瞳孔上具有不同瞳孔入射角度的该多个光束部分针对不同注视方向，该不同注视方向相对于与特定注视方向相关的该眼睛的视线；及控制单元，用于接收该外部场景的三维图像数据，其中该控制单元连接至该传感器且被配置为且可操作用于接收表示该再现图像的数据、比较该数据与该三维图像数据、配准该外部场景与该虚拟图像之间相对于该眼睛的视线的光的至少一个参数由此将该虚拟图像投影至该视网膜上与该外部场景配准。
在某些实施例中，该外部场景与该虚拟图像的该至少一个参数包括相对于该用户脸孔的位置与位向中的至少一个。
在某些实施例中，该传感器集成于该眼投影光学模块内。
在某些实施例中，该系统还包括成像单元，该成像单元用于使光朝向该外部场景的至少一个受关注区域传送、收集从该外部场景反射的光、及处理收集到的光以产生该外部场景的三维图像数据。
在某些实施例中，该图像生成器包括至少一个光源，该至少一个光源被配置为且可操作用于产生在特定波长范围处的至少一个光束部分。
在某些实施例中，该眼投影光学模块包括图像扫描仪。该扫描器被配置为且可操作用于进行图像扫描以使与该视网膜上的诸多位置对应的多个反射光束部分依次被该传感器所接收。
在某些实施例中，该系统还包括分光器/组光器，该分光器/组光器用于使来自该眼投影光学模块的光朝向该用户眼睛的该瞳孔传输、及将从该视网膜所反射的该光束部分朝向该传感器反射。该分光器/组光器可被配置为缺口滤波器，其用于使一个或多个光谱带朝向该用户的该瞳孔或宽带反射器传输。
在某些实施例中，该传感器包括IR传感器，该IR传感器被配置为且可操作用于检测从该眼睛反射的至少一个IR光束的反射。
在某些实施例中，该偏光器配置为图像扫描仪，该图像扫描器被配置为且可操作用于在该多个光束部分偏向期间进行图像扫描，该多个光束部分偏向以使该多个光束部分以与该视网膜上的诸多位置对应的诸多瞳孔入射角度入射至该瞳孔上。
在某些实施例中，该系统还包括用于确定该用户眼睛的注视方向的眼追踪器。
在某些实施例中，该眼投影光学模块包括可调整的聚焦组件，该可调整的聚焦组件用于变化朝向该用户眼睛的该瞳孔的该多个光束部分的发散。该可调整的聚焦组件被配置为调整该配准系统的多个聚焦特性以感知与瞬间注视方向对应的图像的锐利“焦点对准”重建。
根据本发明的另一广义方面，提供一种用户眼睛所感知到的外部场景与虚拟图像之间的配准方法。该方法包括至少下列步骤：接收表示该外部场景的三维图像数据与表示该虚拟图像的数据；接收从视网膜所反射的光束部分及对表示该外部场景的图像的多个反射光束部分成像以产生再现图像；比较该再现图像与该三维图像数据；在该外部场景与该虚拟图像之间进行相对该用户眼睛的至少一个参数的配准，由此将该虚拟图像投影至该视网膜上与该外部场景配准；产生与该虚拟图像的多个像素对应的多个光束部分并引导该多个光束部分沿着总光学传播路径传播；及根据该配准使该多个光束部分的该总光学传播路径偏向每个用户眼睛的瞳孔。
在某些实施例中，该外部场景与该虚拟图像的该至少一个参数包括相对于该用户脸孔的位置与位向中的至少一个。
在某些实施例中，该方法还包括下列步骤：使光朝向该外部场景传输、收集从该外部场景反射的光、及处理收集到的光以产生该外部场景的三维图像数据。或者，该三维图像数据可从两个或多个设置在头戴式设备上的空间分散的相机所收集及/或来自能产生该三维图像数据的一对非固定的相机与惯性测量单元。
在某些实施例中，产生该多个光束部分的步骤包括产生在特定波长范围处的至少一个光束部分。
在某些实施例中，接收从该视网膜所反射的该光束部分的步骤包括进行图像扫描以依次收集与该视网膜上的诸多位置对应的多个反射光束部分。
在某些实施例中，使该多个光束部分的该总光学传播路径偏向该用户眼睛的该瞳孔的步骤包括在该多个光束部分偏向期间进行图像扫描，该多个光束部分偏向以使该多个光束部分以与该视网膜上的诸多位置对应的诸多瞳孔入射角度入射至该瞳孔上。使该多个光束部分的该总光学传播路径偏向该用户眼睛的该瞳孔的步骤可额外地或替代性地包括使该多个光束部分的一个或多个光谱带朝向该用户的该瞳孔传输。
在某些实施例中，接收从该视网膜所反射的该光束部分的步骤包括检测IR或可见光束部分的反射。
虽然本发明易于进行诸多修改及替代形式，但以已图示及文中详细说明的方式例示其特定实施例。然而，应当理解，其意不在将本发明限制至特定描述的形式，而是意在包涵落在由随附的申请专利范围所定义的本发明的精神与范围内的所有修改、等效物、及替代物。
附图说明
为了更明白文中所公开的目标并例示其如何实施，现将参考附图以非限制性的例示方式说明实施例，其中：
图1是示意性示出根据本发明的某些实施例的配准系统的某些组件的部分视图的框图；
图2A示出出现在用户的感知(脑中)的外部场景的图像；
图2B示出与出现在视网膜上相同的图像；
图2C示出特定目标的视网膜结构的图像；
图3A-3B示意性示出虚拟物体的遮挡及此类遮挡的处理；
图4A示意性示出根据本发明的某些实施例的扫描投影系统的某些组件的示意图，其中还示出虚拟物体投影至眼睛的视网膜上及用户的感知；
图4B示意性示出根据本发明的某些实施例的扫描投影系统的某些组件的示意图；
图5A-5C示意性示出光电二极管传感器的可用波长及传感器所进行的不同检测；
图6是示意性示出根据本发明的某些实施例的配准系统的框图；
图7是示意性示出根据本发明的某些实施例的技术的主要步骤的流程图；及
图8示意性示出根据本发明的某些实施例的配准系统的另一配置。
具体实施方式
应理解，下述的光学模块/组件指出了用于实施本发明的功能性光学组件/模块及其配置。因此，下面将根据其功能性操作来说明光学组件/模块。应注意，这些光学组件/模块可使用真实光学组件的诸多配置组合来加以实施。此外，在本发明的某些实施例中，下述功能性光学模块中的两个或更多个可在共同的光学模块/组件中整体实施及/或下述的单个功能性光学组件/模块可实际上利用多个分离的光学组件实施。为达此目的，具有本发明知识的本领域技术人员可轻易理解用于施行本发明的光学组件/模块的诸多配置及此类模块的诸多排列以及下述的功能性光学组件/模块的光学功能。
参考图1，以框图例示本发明的配准系统100的结构与功能部件的部分示意图。配准系统100被配置为用于外部场景与虚拟图像之间相对于眼睛的至少一个参数的配准，由此能将虚拟图像投影至视网膜上与外部场景配准。物体配准表示物体相对于眼睛的位置。配准系统100可特别包括诸如感测器102(即在眼内观相机中)的主要结构部件、透明的分光器/组光器BSC、及成像单元106(即世界观相机)。传感器102被配置为且可操作用于接收从用户眼睛的视网膜所反射的光束部分并对表示用户眼睛所感知到的外部场景的图像的反射光束部分成像，由此产生再现图像。成像单元106用于使光朝向外部场景的至少一个关注区域传送、收集从该外部场景反射的光、及处理收集到的光以产生该外部场景的三维图像数据。成像单元106可为可从真实世界捕捉图像并将图像送至控制单元(未示出)的相机。本发明的配准系统100通过眼睛内图像与真实世界图像的迭加而提供精准的目标对准。传感器102与相机系统106可同步化以捕捉实质上同步的图像。BSC可为弯曲的半反射镜，适用于使来自外部场景的光朝向用户眼睛的瞳孔传输并使从视网膜所反射的光束部分朝向传感器102反射。
如上所述，传感器102所接收到的图像表示眼睛所感知到的外部场景。图2A示出目标所感知到的图像。图2B示出出现在视网膜上并因此由图1的传感器102所捕捉到的相同图像。应理解，一般而言眼睛约略为球状，角膜与晶体在前方，而视网膜在后内表面上。将图像聚焦于视网膜上所需的折射的大部分都发生于空气-角膜的界面处。透镜通过调整其焦长而修改图像焦点。此处理称为调节。睫状肌将晶体拉成适当的形状。图像的最尖部聚焦于视网膜的中央窝上(在晶体后方的视轴上)。角膜-晶体系统中的大部分像差通过晶体中的非均折射系数而有效地最小化。某些色差仍存在。为了使眼睛将图像容纳于视网膜上，短波聚焦得太靠近晶体。如图清楚所示，由于图像聚焦于球形的视网膜上，因此其包括大视场/几何畸变，但如图2A中所示在脑中于所谓恒常的处理中会易地校正这些畸变。图2C示出表示特定目标的视网膜结构的图像。图1的传感器102所接收的图像表示与外部场景的图像迭加的视网膜的结构(如图2C中所示)且由于图像聚焦于球形视网膜上，因此传感器102所接收的图像包括眼睛所产生的大视场/几何畸变(如图2A中所示)。如下面针对图6所将更进一步说明的，本发明的配准系统用于补偿此类几何畸变并从传感器所接收的图像过滤掉表示视网膜结构的数据。
参考图3A-3B，其示出在投影虚拟图像期间常会发生的遮挡/阻挡问题。在此特定且非限制性的示例中，用户的手移动至用户的视野因此遮挡了方块(在此示例中的虚拟物体)的一部分。遮挡意指场景的部分因其前方有某物而不可见的情况。在扩增实镜的上下文中，这意味着某物介于相机与虚拟元素的3D位置之间。如图3B中所示，当此类遮挡发生时，控制单元产生屏蔽，该屏蔽切割从被生成的图像中减去的被遮挡物的精确形状，并且仅投影图像的未被遮挡的部分。因此，本发明产生以屏蔽形式实施的最佳实时遮挡地图。可以通过在3D场景从相机视点到眼睛视点时对3D场景应用平移和旋转数学运算来形成屏蔽。然后，可以将真实世界的3D地图与虚拟对象一起分层切片，以构建虚拟对象树，从用户的角度来看，该树指定哪个对象位于哪个对象的前面。此技术类似于利用纹理或光线跟踪的计算机渲染过程。
就此应理解，任何纯/扩增虚拟实镜系统的众多挑战中的一种挑战为使虚拟数据与环境对准。位于用户眼睛稍上方的玻璃框中的相机系统的视线(如下面的4A中所示)应确切与眼睛的视线相关联。为了对用户提供真实的感知体验，相机系统的视线应完全地与用户眼睛的视线协调。相机坐标与世界座标之间的转换由旋转向量和平移向量所构成。通常，匹配旋转向量相当简单，但需要提供相机坐标与世界坐标之间的确切平移转换。因此，为了避免遮挡感知，遮挡遮挡物体的屏蔽的位置应根据相机系统的视线与用户眼睛的视线之间的关联而平移。
还应注意，投影系统所需的配准精准度取决于环境以及被观看的物体的距离：针对视差偏差较不明显的大规模环境中的远方物体可接受较低精准度的配准，但邻近物体的精准扩增较难。应发生真实物体与虚拟物体之间的正确遮挡，因此，由于两个环境都可见，因此虚拟环境应切实地迭加在真实环境上。真实物体与虚拟物体之间的匹配和拼接位置及尺寸的差异可能会发生在真实环境的世界坐标与虚拟环境的坐标之间。此差异直接造成虚拟物体迭加的位置的位移。因此必须在虚拟物体与真实世界之间进行适当配准以使虚拟环境适当地迭加。眼睛在中央窝处的敏感度约为1/60°但周边的敏感度约为1/6°。因此，用户对出现在中央窝区域中的遮挡非常敏感。
参考图4A，其简化示意图示出本发明的配准系统400。本发明的配准系统400(通常被配置为头戴式的)可与用于将显示数据提供给用户的一眼显示单元或两眼显示单元一起使用。该系统通常被配置为通过显示具有相对较大视野的图像数据而对用户提供虚拟或扩增实境体验，且被配置为实质上实时地将用户前方的区域的真实视觉数据(真实场景)包括于显示数据中。如图1中所述，配准系统400尤其包括此类主要结构部件，诸如位于传感器102(即扫描相机)、成像单元106(即视野相机)、及透明分光器/组光器BSC，传感器102用于接收从用户眼睛的视网膜所反射的光束部分并对表示用户眼睛所感知到的外部场景(如此特定的非限制性示例中的花)的图像的反射光束部分成像，成像单元106收集从外部场景反射的光并产生其三维图像数据，透明分光器/组光器BSC用于使来自外部场景的光朝向用户眼睛的瞳孔传输并使从视网膜所反射的光束部分朝向传感器102反射。传感器102用于在视网膜的诸多位置上进行图像扫描(诸如光栅扫描)以使传感器102能依次收集与视网膜上的诸多位置对应的反射光束部分。
参考图4B，其示出本发明的配准系统的一部分的部分视图。从眼睛所反射的光被BSC收集并传输至图像扫描仪(例如中央窝扫描仪)，扫描仪为能进行二维图像扫描(诸如光栅扫描)的一个或多个快速扫描镜且被配置为接收(例如通过旋转扫描镜)从视网膜的诸多位置处的眼睛所反射的光束(与图像中的多个像素对应)，并使视网膜的诸多位置的光束朝向传感器102(例如光电二极管阵列)传输。扫描/光栅扫描镜可利用诸多适合的技术实施，诸如机械耦接至适合致动器(如压电致动器或其他类型致动器)的微电机系统(MEMS)镜、使镜在视网膜的一系列位置上进行光束的图像/光栅扫描。就此应理解，虽然在图中为了清晰的目的仅示出单个扫描镜(如快速扫描镜)(例如置于万向架上以进行二维/轴旋转)，但在本发明的其他实施例中可使用两个或更多个镜收集二维图像中的光束。传感器102可为在每个像素处收集外部场景的不同部分的光电二极管阵列。传感器102利用图像扫描仪随着时间建立2D图像而在期望的视野各处建立图像。为达此目的，传感器102具有短整合时间且可使用高敏感度组件，例如但不限于雪崩光电二极管。传感器102所输出的图像屏幕中的虚线为扫描图像的轨迹。
参考5A-5C示出传感器102所涵盖的波长范围，传感器102例如是基于硅或氮化镓的固态直接发光光电二极管。如图中所示，光电二极管具有对光谱的蓝(λp＝460nm)、绿(λp＝520nm)、红(λp＝640nm)区域敏感的3信道(RGB)光电二极管。曲线S表示传感器102所产生的眼睛所感知的外部场景的光学检测，R、G、B峰为虚拟图像的RGB投影的检测。应注意，本发明的配准方法可选择性地包括相机系统106的校正阶段，在校正阶段中图案被投影至用户的视网膜上。接着要求用户识别图案上的某些点，使控制单元104能针对每个用户识别畸变、像差与扩散。图5B示出传感器102通常在绿范围内进行的校正图案的检测。图5C示出选定关注的特定光谱区域并针对此选定区域确定已接收的辐射的强度以识别视网膜上的场景投射。
参考图6，以框图的方式例示本发明的配准系统600的结构和功能部件的部分示意图。配准系统600可与外部扩增实境系统一起使用或可为扩增实境系统的一部分。配准系统600包括此类主要结构部件，如传感器102与控制单元104。
控制单元104使用与用户所期望的视线对应的输入图像数据。控制单元104通常被配置为计算/电子设备尤其包括此类组件，如数据输入与输出设备104A、104B、内存104C、及数据处理器模块104D。控制单元104通过缆线或以无缆线的方式连接至传感器102。控制单元104被配置为且可操作用于接收外部场景的三维图像数据、比较传感器的再现图像与三维图像数据、及对外部场景与虚拟图像之间相对于眼睛的至少一个参数进行配准，由此将虚拟图像投影至视网膜上与外部场景配准。外部场景与虚拟图像的参数可为位置(如平移矩阵)及/或位向(如旋转矩阵)。
表示传感器102所捕捉到的图像的数据被传输至控制单元104，而数据处理器104D被配置为从该图像滤除(如去旋绕)表示视网膜结构的图像数据。这可以多个方式进行：在预校正阶段中将如图2C中所示的表示视网膜结构的图像数据储存在内存104C中，然后数据处理器104D从传感器102所接收到的图像滤除表示视网膜结构的预校正的图像数据。或者，数据处理器104D分析表示视网膜结构的图像数据以估计视网膜结构的反射特性，即不同亮度的几何区域之间的差异。如图2C中所示，负责锐利中央视力的称为中央窝的眼睛部分位于视网膜的中央。中央窝受到中央窝外围感受带及中央窝周围的外区域所包围。中央窝外围感受带及中央窝周围的外区域为比中央窝远远不亮的区域，因此在这些区域中有更多的血管。因此，通过差异化不同亮度的区域之间可估计视网膜的结构。或者，可通过局部识别图像的不同区域中的亮度变化而估计视网膜的结构。图像的扫描可由控制单元104进行以识别高反射率/亮度的区域。一般而言，如上所述，高反射率的区域表示靠近中央窝的视网膜区域，而低反射率的区域表示中央窝附近的视网膜区域。应理解，再现图像对应于从眼睛以特定视角/方向所反射的光。就此应注意，眼睛的注视方向在捕捉反射光的期间可能会改变及/或可能会发生眼睛的跳阅移动。在这些情况中，控制单元104分析图像的变化并滤除这些变化以仅保留稳定固定的图像数据。因此，控制单元104被配置为且可操作用于通过滤除与视网膜结构对应的图像数据并选择高亮度图像的区域而“平坦化”眼睛的弯曲形状的图像。
选择性地，配准系统可包括被配置为将图像直接投影至眼睛的视网膜上的眼投影光学模块。眼投影光学模块可例如是扩增或虚拟现实眼镜的一部分且可包括两个眼投影系统。为了清晰的目的，图中仅具体示出一个眼投影光学模组。应注意，虽然在图中只示出一个配准系统，但在眼镜中可设置多个此类系统以将图像分别投影至每个眼。在此类情况中，控制单元104还可用于操作图像投影模块110。此外，系统可操作以将立体图像/视频投影至用户眼睛而产生3D幻觉。在某些实施例中，该系统包括用于确定用户眼睛的注视方向的眼追踪器120。眼追踪器120可为设置在配准系统100上维持追踪用户头部的位置的位向传感器。眼追踪器120以三个自由度(翻滚、俯仰、偏摆)进行角度追踪。眼追踪器120可被配置为且可操作用于根据用于确定眼睛关注的视线/注视方向的任何适当技术操作配置。在此技术领域中已知有多个此类技术可包括于本发明的系统100中或与本发明的系统100一起使用。此类技术例如公开于国际专利申请公开案WO2013/117999、美国专利US 7,542,210和US6,943,754中。
选择性地，配准系统600可包括图像生成器108，图像生成器108用于获得表示虚拟图像的数据、产生与虚拟图像的多个像素对应的多个光束部分、以及引导多个光束部分沿着总光学传播路径传播。在此配置中可采用图1的分光器/组光器BSC，除了将从视网膜所反射的光束部分朝向传感器102反射并将来自外部场景的光朝向用户眼睛的瞳孔传输外，还使来自眼投影光学模块110的光朝向用户眼睛的瞳孔传输。通常，被收集到的图像数据传输至控制单元104以处理及产生显示数据，显示数据通过图像生成器108而提供给用户。虚拟图像或图像生成器108所产生的图像可为二维或更高维度的，且可为深度图像、彩色图像、医学图像、轮廓图像、或任何其他类型的数字图像。虚拟图像可包括一个图像或一系列的图像，诸如来自视频相机或深度相机的图像。在某些示例中，输入虚拟图像包括来自立体照相机或不同视点处的多个相机的立体图像。轮廓图像为二维的二进制图像，其可识别成像传感器所捕捉的深度及/或彩色RGB图像的前景区域与背景区域。
在某些实施例中，数据处理器104D可提供相机系统的位向的测量值，这些测量值可能是直接来自环境中及图像中所捕捉到的至少三个点的测量距离或根据该测量距离确定。计算再现图像与3D捕捉图像之间的对应点对(深度地图或估计的深度地图)。一对对应点为来自深度地图的点与来自另一深度地图的点且估计这些点由场景中的相同真实世界点所产生。术语“点”在本文中用于指代点云中或群或块相邻坐标中的坐标。由于过多的可能点组合，此类对应可能有问题。在每个图像中可识别形状如线、边缘、角落等，然后在图像对之间匹配这些形状。
参考图7，其示出在本发明的用户眼睛所感知到的外部场景与虚拟图像之间的配准技术中所用的流程图700的简化不同步骤。首先，相机与目标的眼睛之间的距离被测量/提供至控制单元。在步骤1中，接收在特定时间期间T处表示外部场景的三维图像数据(多个图像的一个或多个序列)及表示虚拟图像的数据。此三维图像数据可被设置于用户眼睛上方的成像单元所捕捉。在步骤2中，表示视网膜的诸多位置处的外部场景的图像的多个反射光束部分被依次扫描并由光电二极管所捕捉并随时间整合以提供再现图像。光电二极管可附接至可以高精准度追踪其位置与位向的坐标测量装置。接着将扫描结果整合至一个图像中。
在步骤3中，比较再现图像与三维图像数据。如上所述，识别出出现充分亮度并且几何畸变被减少的再现图像中的关注区域/关注物体。在两图像之间进行关联以识别具有较高关联峰的区域。接着选择此区域以确定虚拟图像与外部场景的图像之间的配准。输入数据包括相机的光学轴、眼睛注视方向、及传感器与两个图像的光学轴。必须找到能配准再现图像的至少一个部分与捕捉到的3D图像中的对应位置的直射翘曲函数。此函数提供关联两图像之间的平移向量。如上所述，3D相机捕捉点云中的一系列的点，这些点经计算可转译为世界地图。除其他技术外，这可以通过迭代最小化过程来完成，此处理中，将再现图像中的第一组点与捕获的3D图像中的一组计算出的点进行比较，并且用于比较的捕获的3D图像中的该组计算出的点在每次迭代时变化。为了解决立体对的两图像之间的点匹配问题，已有数种算法。这些算法可被分为两群，即产生稀疏输出者及产生致密结果者，而后者可被分类为局部(基于区域)及全局(基于能量)。立体匹配技术可包括诸如块匹配、基于梯度的优化或特征匹配的局部方法、及/或诸如动态程序化、本质曲线、图切、非线性扩散、置信度传播、或无对应(correspondence-less)方法的全局方法。块匹配算法还可用于针对动作估算目的在一系列的数字视频帧中找到匹配的微块。块匹配方法可包括正规化的交叉关联(normalized Cross-Correlation(NCC))、误差平方和(Sum of Squared Differences(SSD))、正规化的SSD、绝对误差和(Sum of Absolute Differences(SAD))、排名或普查。动作估算下的假设为：与视频序列的帧中的物体和背景对应的图案会在帧内移动而在接续帧上形成对应物体。这可用于通过参考最少不同的已知微块的内容而定义微块的内容，发现视频序列中的暂时冗余部分，增加帧间的视频压缩效率。配准处理提供角度，在此角度处成像单元的图像应被正规化以找到外部场景上的物体。比较步骤包括利用仿射平移转换矩阵的转移仿射性处理。然而，应考虑用户眼睛相对于传感器102与相对于成像单元106的平移以获得更精准的配准。为达此目的，可使用例如下列文献中所载的极线计算方法：MultipleView Geometry in Computer Vision,R.Hartley and A.Zisserman,CambridgeUniversity Press,2000。此类极线几何提供两画面之间的投影几何。
在步骤4中对外部场景与虚拟图像之间相对于用户眼睛的至少一个参数进行配准，由此将虚拟图像投影至视网膜上与外部场景配准。控制单元可使用关联函数利用2D/3D数据融合，将2D片段图像特征与稀疏3D点关联以导出物体结构以及物体上的一个或多个特性。
在步骤5中产生与虚拟图像的多个像素对应的多个光束部分，这些光束部分沿着总光学传播路径传播，该些光束部分的总光学传播路径根据配准而偏向每个用户眼睛的瞳孔。
参考图8，其示出本发明的另一配置，其中眼投影系统为共同转让给本申请的受让人的同在审理中的PCT专利申请WO17037708中所载的扫描投影系统，将此案包括于此作为参考。就此应注意，对于本发明的某些实施例而言，使用扫描投影系统可能有重大的优点。在此情况中，可将传感器102整合至眼投影系统内。使用此类针对轻巧应用的扫描投影系统如眼镜应用，可将比使用区域投影系统(如图6中所公开者)所能达到的图像具有更佳图像质量的图像投影至视网膜上。为达此目的，扫描投影系统可比对应的区域投影系统更轻巧。此外，使用扫描投影系统(其中利用一次投图像素的激光束将图像投影至眼睛)提供在相邻像素之间的无串音。此外，像素尺寸(即与每个特定像素投影相关的光束部分的宽度)可能比使用轻巧系统中的空中图像投影技术时所能获得的实质上更宽(通常大一个或多个数量级)。因此，眼投影光学模块130的光学模块可配置较少的数值孔径因此可与较少的的光学像差相关，进而以良好的调制转换函数(MTF)向眼睛提供高质量图像中继。这促进使用轻巧的图像投影系统投影具有改善的动态范围、高图像对比、及高分辨率与亮度的图像至眼睛视网膜。此外，在轻巧应用中使用扫描投影还可减少及/或完全消除轻巧空中投影系统因明显较小的像素尺寸质量恶化所产生的衍射缺陷。
因此，本发明的配准系统600具有充分大的F数以从传感器102传感器获得清楚的图像且减少上述眼睛的几何视野畸变。眼睛所反射并被感测器102所收集的图像的畸变可通过下列方式减少：将视野止件放置于传感器102的镜头孔径处以限制系统视野并收集较小的光束部分。
应注意，当在图像扫描模式中操作时，图像像素依次投影。例如，扫描可以高频率(每个像素10ns)以使传感器所捕捉到的光的功率约为3mWatt。为了放大功率检测，传感器102可以雪崩光电二极管配置以检测从眼睛所反射的光。雪崩光电二极管的高敏感度能产生外部场景的至少一个部分的再现图像。还可将放大器置于传感器102的输出处以增加所接收到的信号。
眼投影系统800用于获得表示要投影至眼睛上的图像的数据并产生与图像的多个像素对应的多个光束部分。眼投影系统800包括分光/结合表面BSC，BSC用于使来自场景的外部光朝向用户眼睛传输、使从眼睛所反射的反射光朝向传感器102传输并将来自眼投影模块130的光朝向用户眼睛反射。这可通过使用波长过滤的不同方法同时进行。例如，BSC的一部分可涂覆有用于过滤掉不同波长的光束的特定涂覆材料(如薄膜标准具(etalon))以分离从眼投影模块130所反射并朝向用户眼睛的光且来自场景并朝向用户眼睛的外部光。接着移置BSC以收集反射光与外部光。在另一示例中，BSC可包括电控制液晶(LC)组件的可调节液晶滤件(LCTF)或可调节声光滤件，两者都可用于传输可选择的波长的光并排除其他波长的光。例如，被选定的波长可为540nm与532nm。或者，吾人可通过以时间延迟控制相机系统106与眼投影模块130的时序加以进行，以时间分离从眼投影模块130反射并朝向用户眼睛的光的取得与来自场景朝向用户眼睛的外部光的取得。
在此特定的非限制性示例中，从眼睛所反射的光通过两个镜子M1与M2自BSC朝向投影模块130传输，两个镜子M1与M2被分别称为用于追踪眼睛的注视方向用的跳阅镜和瞳孔镜。接着由眼追踪器检测到眼睛的注视方向。此外或或者，该系统800可包括置于眼镜桥梁上用于检测至眼睛的IR光束的红外线(IR)光发射器，且位于眼镜框/臂上的传感器102(在此例中为IR传感器)用于检测来自眼睛(来自其瞳孔及/或角膜及/或视网膜)的IR光束的反射。控制单元104用于处理反射IR光束的图案以确定眼睛的注视方向。在此特定的非限制性示例中，可被整合至眼投影系统130中或可为外部模块的传感器102如图4A中所示位于眼镜的框及/或把手上。传感器102通过定义聚焦系统的BSC、可调节的跳阅镜与瞳孔镜M1与M2、及空间分离的中继透镜L1与L2接收从用户眼睛反射的光。一个或多个扫描镜SM 132设置于从眼睛所反射的光与传感器102之间的光学路径中以进行反射光束的扫描/光栅扫描(例如通过旋转镜子)，其间的每个扫描角度与视网膜上的图像的另一位置对应。扫描/光栅扫描镜SM 132可利用诸多适合的技术实施如电光偏光器及/或使用镜子如机械耦接至适合致动器如压电致动器或其他类型致动器的微电机系统(MEMS)镜、使多个扫描角度的范围各处进行反射光束的图像/光栅扫描。就此应理解，虽然在图中为了清晰的目的仅示出一个扫描镜(如快速扫描镜)SM 132(如被置于万向架上以进行二维/轴旋转)，但在本发明的其他实施例中可使用两个或更多个镜/偏光器以使反射光束在二维图像扫描角度中偏移。传感器102对表示外部场景的图像的从视网膜反射的扫描反射光成像并产生如用户所观看到的外部场景的再现图像。如上所述，自此图像滤除视网膜结构的图像以仅获得表示外部场景的图像。当传感器102集成至眼投影模块130中时，从眼睛所反射的图像的捕捉与虚拟图像的投影同时进行。在图8所示的实施例中，传感器102包括三个光电二极管R、G、B，其各自可为对红、绿、蓝波长范围敏感的光电二极管。因此，眼镜的分光器/结合器表面可被配置为缺口滤波器且可位于传感器102之前，缺口滤波器用于使一个或多个窄光谱带朝向用户眼睛反射并同时传输来自于场景的这些窄光谱带的外的光。以此方式，传感器可捕捉到特定波长的反射光。
用于检测从眼睛所反射的光且包括上述光学组件如BSC、镜M1与M2、中继透镜L1与L2、扫描镜132的光学路径还用于将与外部场景配准的虚拟图像朝向用户眼睛投影。眼投影系统800的光学配置以使以不同瞳孔入射角度入射于瞳孔上的光束部分相对于与特定注视方向相关的眼视线具有不同注视方向。此特殊配置能使用相同的系统对来自眼睛的反射光成像并将虚拟图像朝向视网膜投影。两种操作都使用相同的角规模。配准提供成像系统与投影系统之间角差异。接着使系统的光学畸变与光学系统的畸变而非眼睛的畸变相关联。SM 132还被配置为注视追踪偏光器，其被配置为且可操作用于直接将虚拟图像投影至眼睛的视网膜上。因此眼投影光学模块130用于接收从图像生成器108所输出的具有投影角度的光束(或光束的部分)并导引这些光束以使其以对应瞳孔入射角度入射至眼睛瞳孔上，进而使图像像素被直接投影至视网膜上的适当位置处。图像生成器108用于获得表示虚拟图像的数据、产生与虚拟图像的像素对应的多个光束部分、及导引该多个光束部分沿着总光学传播路径OP传播。注视追踪偏光器132包括进行光束的扫描/光栅扫描(例如通过旋转镜子)的一个或多个扫描镜SM，在扫描期间光束偏向以在图像投影角度αscn的范围内传播，其中每个投影角度通常与被投影至视网膜上的图像的像素对应。扫描/光栅扫描镜/偏光器SM使光束偏离投影模块130以在投影角度αscn的范围内进行光束的图像/光栅扫描。就此应理解，虽然在图中为了清晰的目的仅示出一个扫描镜(如快速扫描镜)SM(例如置于万向架上以进行二维/轴旋转)，但在本发明的其他实施例中可使用两个或更个多镜/偏光器使光束在二维影条投影角度αscn中(即{αX scnαY scn})偏移。图像生成器108可尤其包括具有可调节光学偏光器(如能操作进行二维图像扫描如光栅扫描的一个或多个快速扫描镜)的图像扫描仪。图像扫描仪被配置为且可操作用于接收输入光束并使光束偏移以调整光束相对于用户眼睛的瞳孔的入射角度。为达此目的，图像扫描仪的可调节光学偏光器进行图像扫描如光栅扫描，在扫描期间光束偏移以使光束以与眼睛的视网膜上的诸多位置对应的诸多瞳孔入射角度αin入射瞳孔。因此根据被投影至视网膜上的图像调制光束的强度及可能调制光束的光谱内容，以在像扫描期间将图像的各个像素投影至视网膜的诸多位置上。换言之，瞳孔入射角度αin与图像的像素对应且造成这些像素直接投影至视网膜上的相应位置上。如上所述，传统技术的重大不足中的一个为眼睛所捕捉到的投影图像并非固定至眼坐标(参考帧)而是固定至另一参考帧(眼睛外的场景的参考帧或用户头部的参考帧)。因此，当眼睛的注视方向变化时，眼睛视网膜上的图像的投影位置跟着改变。这是因为真实的瞳孔入射角度αin取决于注视方向。眼投影光学模块130包括位于用户的对应眼前方的注射追踪偏光器，其用于引导自用户前方的外部场景的至少一个关注区域所到达的光并引导自至少一个图像生成器108所到达的光朝向用户眼睛。在寻求将彩色图像投影至视网膜上的实施例中，图像生成器108包括光模组且可包括一个或多个光源，一个或多个光源(通常为红、绿、蓝三激光源)被配置为且可操作用于产生在特定波长范围处的至少一个光束部分。
应注意，眼睛会持续寻找外部场景上的聚焦点，这会造成眼睛疲劳。为了解决此问题，眼投影光学模块130可包括可调整的聚焦组件134，其用于变化朝向用户眼睛的瞳孔的光束部分的发散。发散的变异根据配准数值所选择。例如，这可以通过同时比较多个因素来实现，诸如，环境的3D图，视线会聚和眼睛适应，例如在转让给本发明的同一受让人的国际申请号PCT/IL2018/050578中描述的那样。该系统准确地将注视点与环境3D图进行比较，从而假定调节距离并校正该距离所需的光的发散。
中继透镜L1与L2沿着光学路径以串级方式设置以导引来自投影模块的后图像投影并将其组合(同时或非同时)投影至用户眼睛中。更具体而言，中继透镜L1与L2沿着自图像扫描仪SM传播至瞳孔的光的光学路径彼此以光学距离分离设置，此光学距离实质上等于第与第二焦长的总和。因此，中继透镜L1与L2被配置为角光束中继模块，其用于接收从图像扫描器SM传播且相对于光学轴具有特定输出图像投影角度αscn的光束并中继该光束以对应的瞳孔入射角度αin入射至瞳孔上。角中继光学件提供入射至瞳孔上的光束的角度与自图像投影系统发出的光束的输出角度对应因此还与图像的相应像素对应。操作包括此类中继的此类光学模块的组态与方法的示例例如记载于共同转让给本申请的受让人的PCT专利公开案WO 2015/132775与专利申请IL 241033中，此类中继被配置为且可操作用于导引图像投影至眼睛的视网膜上且其可被包括于本发明的光学模块中，将上述文献包括于此作为参考。
控制单元104可使用适合的模拟电路以模拟方式实施，或以数字方式实施，其可通过使用携带了能进行下列控制的适合软编码/硬编码的计算机可读/可执行指令的适合处理器(多个处理器)及内存/储存模块(多个模块)：控制SM 132的操作及控制图像生成器108的操作。为达此目的，控制单元104用于自图像生成器108接收表示要投影至眼睛视网膜上的图像的数据、表示眼睛的注视方向β的数据(例如由眼追踪器所获得)、相机系统106所获得的外部场景的三维图像数据、及来自传感器102表示再现图像的数据。控制单元的数据的取得(时间与速率)应与传感器102、与相机系统106、及与扫描镜同步，以收集所有的图像数据。控制单元104比较来自传感器102的表示再现图像的数据与相机系统106的三维图像数据、及对外部场景与虚拟图像之间针对相对于眼睛的视线的至少参数进行配准。控制单元104控制眼投影光学模块130，通过进行上述用于投影图像的每个像素的方法700的操作，使虚拟图像的像素被投影至视网膜上的对应位置处与外部场景配准。

Claims (25)

1.一种要与感知外部场景的用户眼睛一起使用的眼投影系统，所述系统包括：
传感器，所述传感器位于从每个用户眼睛所反射的光的光学路径中，且被配置为且可操作用于接收从所述用户的视网膜所反射的光束部分并对表示所述外部场景的图像的所反射光束部分成像，由此产生所述外部场景的再现图像；
图像生成器，用以获得表示虚拟图像的数据、产生与所述虚拟图像的像素对应的多个光束部分、以及引导所述多个光束部分沿着总光学传播路径传播；
眼投影光学模块，位于所述总光学传播路径中且包括偏光器，所述偏光器被配置为且可操作用于使所述多个光束部分的所述总光学传播路径偏向所述用户眼睛，由此将所述虚拟图像直接投影至所述眼睛的视网膜上，其中所述总光学传播路径受到偏移以使入射至瞳孔上具有不同瞳孔入射角度的所述多个光束部分相对于与特定注视方向相关的所述眼睛的视线朝向不同注视方向；及
控制单元，用于接收所述外部场景的三维图像数据，其中所述控制单元连接至所述传感器并且被配置为且可操作用于接收表示所述再现图像的数据、比较所述数据与所述三维图像数据、配准所述外部场景与所述虚拟图像之间相对于所述眼睛的视线的光的至少一个参数，由此使得能够将所述虚拟图像投影至所述视网膜上与所述外部场景配准。
2.根据权利要求1所述的眼投影系统，其中所述外部场景与所述虚拟图像的所述至少一个参数包括位置与位向中的至少一个。
3.根据权利要求1或2所述的眼投影系统，其中所述传感器集成于所述眼投影光学模块内。
4.根据权利要求1至3中任一项所述的眼投影系统，还包括成像单元，所述成像单元用于使光朝向所述外部场景的至少一个受关注区域传送、收集从所述外部场景反射的光、以及处理收集到的光以产生所述外部场景的三维图像数据。
5.根据权利要求1至4中任一项所述的眼投影系统，其中所述图像生成器包括至少一个光源，所述至少一个光源被配置为且可操作用于产生在特定波长范围处的至少一个光束部分。
6.根据权利要求1至5中任一项所述的眼投影系统，其中所述眼投影光学模块包括图像扫描仪，所述扫描器被配置为且可操作用于进行图像扫描，以使与所述视网膜上的诸多位置对应的多个反射光束部分依次被所述传感器所收集。
7.根据权利要求1至6中任一项所述的眼投影系统，还包括分光器/组光器，所述分光器/组光器用于使来自所述眼投影光学模块的光朝向所述用户眼睛的所述瞳孔传输、及将从所述视网膜所反射的所述光束部分朝向所述传感器反射。
8.根据权利要求7所述的眼投影系统，其中所述分光器/组光器配置为缺口或带通滤波器，其用于使一个或多个光谱带朝向所述用户的所述瞳孔传输。
9.根据权利要求1至8中任一项所述的眼投影系统，其中所述传感器包括IR传感器，所述IR传感器被配置为且可操作用于检测从所述眼睛反射的至少一个IR光束的反射。
10.根据权利要求1至9中任一项所述的眼投影系统，其中所述偏光器配置为图像扫描仪，所述图像扫描仪被配置为且可操作用于在所述多个光束部分偏向期间进行图像扫描，所述多个光束部分偏向以使所述多个光束部分以与所述视网膜上的诸多位置对应的诸多瞳孔入射角度入射至所述瞳孔上。
11.根据权利要求1至10中任一项所述的眼投影系统，还包括眼追踪器，所述眼追踪器用于确定所述用户眼睛的注视方向。
12.根据权利要求1至11中任一项所述的眼投影系统，其中所述眼投影光学模块包括可调整的聚焦元件，所述可调整的聚焦组件用于变化朝向所述用户眼睛的所述瞳孔的所述多个光束部分的发散。
13.一种用户眼睛所感知到的外部场景与虚拟图像之间的配准方法，包括：
接收表示所述外部场景的三维图像数据与表示所述虚拟图像的数据；
接收从视网膜所反射的光束部分及对表示所述外部场景的图像的多个反射光束部分成像以产生再现图像；
比较所述再现图像与所述三维图像数据；
在所述外部场景与所述虚拟图像之间进行相对所述用户眼睛的至少一个参数的配准，由此将所述虚拟图像投影至所述视网膜上与所述外部场景配准；
产生与所述虚拟图像的像素对应的多个光束部分并引导所述多个光束部分沿着总光学传播路径传播；及
根据所述配准使所述多个光束部分的所述总光学传播路径偏向每个用户眼睛的瞳孔。
14.根据权利要求13所述的方法，其中所述外部场景与所述虚拟图像的所述至少一个参数包括位置与位向中的至少一个。
15.根据权利要求13或14所述的方法，还包括使光朝向所述外部场景传输、收集从所述外部场景反射的光、及处理收集到的光以产生所述外部场景的三维图像数据。
16.根据权利要求13至15中任一项所述的方法，其中产生所述多个光束部分的步骤包括产生在特定波长范围处的至少一个光束部分。
17.根据权利要求13至16中任一项所述的方法，其中接收从所述视网膜所反射的所述光束部分的步骤包括进行图像扫描以依次收集与所述视网膜上的诸多位置对应的多个反射光束部分。
18.根据权利要求13至17中任一项所述的方法，其中使所述多个光束部分的所述总光学传播路径偏向用户眼睛的瞳孔的步骤包括在所述多个光束部分偏向期间进行图像扫描，所述多个光束部分偏向以使所述多个光束部分以与所述视网膜上的诸多位置对应的诸多瞳孔入射角度入射至所述瞳孔上。
19.根据权利要求13至18中任一项所述的方法，其中使所述多个光束部分的所述总光学传播路径偏向用户眼睛的瞳孔的步骤包括使所述多个光束部分的一个或多个光谱带朝向所述用户的所述瞳孔传输。
20.根据权利要求13至19中任一项所述的方法，其中接收从所述视网膜所反射的所述光束部分的步骤包括检测IR或可见光束部分的反射。
21.一种要与扩增实境系统一起使用的配准系统，包括：
传感器，被配置为且可操作用于接收从用户眼睛的视网膜所反射的光束部分、及对表示所述用户眼睛所感知到的外部场景的图像的反射光束部分成像，由此产生再现图像；及
控制单元，连接至所述传感器且被配置为且可操作用于接收所述外部场景的三维图像数据、比较所述再现图像与所述三维图像数据；及在所述外部场景与所述虚拟图像之间进行相对所述眼的至少一个参数的配准，由此将所述虚拟图像投影至所述视网膜上与所述外部场景配准。
22.根据权利要求21所述的配准系统，其中所述外部场景与所述虚拟图像的所述至少一个参数包括位置与位向中的至少一个。
23.根据权利要求21或22所述的配准系统，还包括图像生成器，所述图像生成器用于获得表示所述虚拟图像的数据、产生与所述虚拟图像的像素对应的多个光束部分、以及引导所述多个光束部分沿着总光学传播路径传播。
24.根据权利要求21至23中任一项所述的配准系统，还包括具有偏光器的眼投影光学模块，所述偏光器被配置为且可操作用于使所述多个光束部分的所述总光学传播路径偏向所述用户眼睛的瞳孔，由此将所述虚拟图像直接投影至眼睛的视网膜上。
25.根据权利要求21至24中任一项所述的配准系统，还包括成像单元，所述成像单元用于使光朝向所述外部场景传输、收集从所述外部场景反射的光、及处理收集到的光以产生其捕捉到的三维图像。
CN201880034616.7A 2017-05-29 2018-05-29 用于在外部场景与虚拟图像之间配准的方法和系统 Pending CN110914786A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL252582A IL252582A0 (en) 2017-05-29 2017-05-29 A method and system for registration between the outside world and a virtual image
IL252582 2017-05-29
PCT/IL2018/050589 WO2018220631A1 (en) 2017-05-29 2018-05-29 A method and system for registering between an external scene and a virtual image

Publications (1)

Publication Number Publication Date
CN110914786A true CN110914786A (zh) 2020-03-24

Family

ID=62452826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880034616.7A Pending CN110914786A (zh) 2017-05-29 2018-05-29 用于在外部场景与虚拟图像之间配准的方法和系统

Country Status (11)

Country Link
US (1) US20200081530A1 (zh)
EP (1) EP3631603A4 (zh)
JP (1) JP2020522738A (zh)
KR (1) KR20200023305A (zh)
CN (1) CN110914786A (zh)
AU (1) AU2018277268A1 (zh)
CA (1) CA3062558A1 (zh)
IL (1) IL252582A0 (zh)
RU (1) RU2019142857A (zh)
TW (1) TW201907204A (zh)
WO (1) WO2018220631A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077307A (zh) * 2020-08-12 2022-02-22 奇景光电股份有限公司 具有输入界面的模拟系统与方法
CN114624883A (zh) * 2022-03-08 2022-06-14 常山县亿思达电子有限公司 一种基于柔性曲面透明微显示屏的混合现实眼镜系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
CN111492405B (zh) 2017-12-19 2023-09-05 瑞典爱立信有限公司 头戴式显示设备及其方法
KR20200050689A (ko) * 2018-11-02 2020-05-12 삼성전자주식회사 광의 경로를 변경하는 광학부재들을 포함하는 전자 장치
US11189061B2 (en) * 2019-06-25 2021-11-30 Universal City Studios Llc Systems and methods for virtual feature development
IL271129B (en) * 2019-12-02 2021-12-01 Elbit Systems Ltd Method and system for optical vision through a head-mounted display of virtual objects precisely aligned with external objects
TWI790430B (zh) 2020-04-13 2023-01-21 宏碁股份有限公司 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
US11783550B2 (en) 2020-09-17 2023-10-10 Apple Inc. Image composition for extended reality systems
WO2022159912A1 (en) * 2021-01-25 2022-07-28 Quantum Radius Corporation Retinal foveation system and method
KR20220137428A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 전자 장치 및 그 동작 방법
WO2022229943A1 (en) * 2021-04-27 2022-11-03 Elbit Systems Ltd Optical see through (ost) head mounted display (hmd) system and method for precise alignment of virtual objects with outwardly viewed objects
CN113171913B (zh) * 2021-04-30 2022-04-22 哈尔滨工业大学 一种基于座椅类家具三维点云的喷涂路径生成方法
WO2023014667A1 (en) * 2021-08-02 2023-02-09 Hes Ip Holdings, Llc Augmented reality system for real space navigation and surgical system using the same
WO2023144189A1 (de) * 2022-01-25 2023-08-03 Ams-Osram International Gmbh Optische baugruppe zur detektion einer vom auge reflektierten strahlung eines retinaprojektors und verfahren

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020101568A1 (en) * 2001-01-30 2002-08-01 Eberl Heinrich A. Interactive data view and command system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425818B2 (ja) * 1995-01-23 2003-07-14 キンセキ株式会社 網膜直接表示装置及びそれを用いたテレビジョン受信機
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
DE19728890A1 (de) * 1997-07-07 1999-02-04 Daimler Benz Ag Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
WO1999031674A1 (de) * 1997-12-17 1999-06-24 Siemens Aktiengesellschaft Streustrahlenraster
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
JP2010139575A (ja) * 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
CA2888943C (en) * 2013-10-03 2015-08-18 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
CN104749777B (zh) * 2013-12-27 2017-09-26 中芯国际集成电路制造(上海)有限公司 可穿戴智能设备的互动方法
KR20200092424A (ko) * 2014-03-03 2020-08-03 아이웨이 비전 엘티디. 눈 투영 시스템
US9759918B2 (en) * 2014-05-01 2017-09-12 Microsoft Technology Licensing, Llc 3D mapping with flexible camera rig
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020101568A1 (en) * 2001-01-30 2002-08-01 Eberl Heinrich A. Interactive data view and command system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077307A (zh) * 2020-08-12 2022-02-22 奇景光电股份有限公司 具有输入界面的模拟系统与方法
CN114624883A (zh) * 2022-03-08 2022-06-14 常山县亿思达电子有限公司 一种基于柔性曲面透明微显示屏的混合现实眼镜系统
CN114624883B (zh) * 2022-03-08 2022-10-04 常山县亿思达电子有限公司 一种基于柔性曲面透明微显示屏的混合现实眼镜系统

Also Published As

Publication number Publication date
WO2018220631A1 (en) 2018-12-06
US20200081530A1 (en) 2020-03-12
IL252582A0 (en) 2017-08-31
RU2019142857A (ru) 2021-07-01
CA3062558A1 (en) 2018-12-06
JP2020522738A (ja) 2020-07-30
EP3631603A1 (en) 2020-04-08
AU2018277268A1 (en) 2020-01-23
EP3631603A4 (en) 2020-06-24
TW201907204A (zh) 2019-02-16
KR20200023305A (ko) 2020-03-04

Similar Documents

Publication Publication Date Title
CN110914786A (zh) 用于在外部场景与虚拟图像之间配准的方法和系统
AU2016314630B2 (en) Eye projection system and method
US10395111B2 (en) Gaze-tracking system and method
JP3787939B2 (ja) 立体映像表示装置
JP6415608B2 (ja) 目用投影システム
US10747314B1 (en) Tracking system with infrared camera
US10382699B2 (en) Imaging system and method of producing images for display apparatus
US11188175B1 (en) Display system with integrated depth detection
WO2018100241A1 (en) Gaze-tracking system and method of tracking user's gaze
CN109803133B (zh) 一种图像处理方法及装置、显示装置
CN110082914A (zh) 包括用于校正差分失真的光学组件的光投影系统
CN104407440A (zh) 具有视线跟踪功能的全息显示装置
US11889050B2 (en) Image display control method, image display control apparatus, and head-mounted display device
CN112055827A (zh) 具有数字校正像差的光学混合现实系统
US11841510B1 (en) Scene camera
WO2021105549A1 (en) Display apparatus and method of correcting image distortion therefor
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
US20210012531A1 (en) Imaging system and method for producing images using means for adjusting optical focus
JP3698582B2 (ja) 画像表示装置
WO2022111668A1 (zh) 实现虚实融合的显示设备
WO2023015024A1 (en) 3d mapping in 2d scanning display
JP2020021012A (ja) 画像処理装置、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026085

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240218

Address after: Brussels

Applicant after: Voxel Sensor Co.,Ltd.

Country or region after: Belgium

Address before: Israel Orr Yehuda

Applicant before: AVIC vision Co.,Ltd.

Country or region before: Israel