CN114365214A - 叠合虚拟影像于即时影像的系统与方法 - Google Patents

Abstract

本发明公开在即时影像上叠加虚拟影像的系统及方法。在即时影像上叠加虚拟影像的系统，包含即时影像模块及虚拟影像模块。该即时影像模块由放大组件组成，以预设的放大倍率在第一位置及第一深度产生物体的即时影像。该虚拟影像模块借由分别向观看者右眼投射右光信号及向观看者左眼投射相对应的左光信号产生虚拟影像。该右光信号及相对应的该左光信号由该观看者感知并在第二位置及第二深度显示该虚拟影像。该第二深度跟投射到该观看者眼睛的该右光信号及相对应的该左光信号之间的角度有关。该第二深度可以与该第一深度大致相同。

Description

叠合虚拟影像于即时影像的系统与方法

技术领域

本发明涉及在即时影像上叠加虚拟影像的系统及方法，特别是，该系统及方法通过将数条右光信号及相对应的数条左光信号投射在观看者眼睛，把带有深度的虚拟影像叠加在即时影像上。

背景技术

近年来，许多在医疗检查或手术(包括眼科手术)期间帮助医务人员的视觉化辅助系统及方法已经被开发出来。在医疗过程中，该视觉化辅助系统可以提供该病人的额外影像信息，像是医疗记录、手术参数，如照片、核磁共振(MRI)、X光、计算机断层(CT)或光学同调断层扫描(OCT)等等。在某些情况下，该额外影像信息为该病人处理过的影像，如带有一些标记的CT图。该视觉化辅助系统经常与可以提供病人即时影像的其他医疗设备一起使用。该医务人员可以接收到由该视觉化辅助系统提供，并与该即时影像分开的额外信息。举例来说，该额外信息可以由一显示器单独显示，而不是从观察病人即时影像的手术显微镜显示。该显示器通常只可以提供一平面影像。然而，在医疗过程中，该医务人员期望可以将额外影像信息(即该病人预先处理过的影像)叠加在该病人的即时影像上一起观察。此外，传统视觉化辅助系统只能以平面影像的方式提供额外影像信息。因此，产生与该病人的即时影像重叠并提供额外影像信息的立体影像成为医学界的主要目标。举例来说，在眼科检查或手术当中，医务人员通过一眼科显微镜的目镜看到该病人眼睛的即时光学影像。然而，外科医生在过程中无法通过该显微镜看到该病人眼睛的一处理过的视网膜影像，且该外科医生必须转头看另外一个显示器再转回显微镜。因此，仍然需要将视觉化辅助系统提供的该病人的额外影像信息与医务人员查看的即时影像结合。

发明内容

本发明的目的在于提供用于在即时影像上叠加虚拟影像的系统及方法。在即时影像上叠加虚拟影像的系统包括即时影像模块及虚拟影像模块。该即时影像模块由放大组件组成，以预设的放大倍率在第一位置及第一深度产生物体的即时影像。

该虚拟影像模块通过分别投射右光信号至观看者右眼并投射相对应的左光信号至观看者左眼以产生虚拟影像。该右光信号及该相对应的左光信号会由该观看者感知并在第二位置及第二深度显示该虚拟影像。该第二深度与投影到该观看者眼睛的该右光信号及相对应的该左光信号之间的角度有关。在一实施例中，该第二深度大致与该第一深度相同。该虚拟影像会叠加在该即时影像上以提供给该观看者更多信息。因此，在一实施例中，该虚拟影像为该物体处理过的影像。

该即时影像的放大倍率是可以调整的。在该即时影像被放大后，该虚拟影像可以手动或自动放大，以维持该虚拟影像与该即时影像的叠加。可以选择自动模式进行叠加。

为了在该即时影像上叠加该虚拟影像，该系统首先需要对该观看者进行校正。因为每位观察者的眼睛有不同的物理特征，包括瞳距，该系统需要特别为了该观看者进行校正以确保该右光信号及左光信号投射进该观看者眼睛，使该观看者可以感知到显示在该第二位置及该第二深度的该虚拟影像。

在即时影像叠加虚拟影像的过程包括：(a)在该即时影像选择第一点作为第一定位标记；(b)在第一位置及第一深度以预设放大倍率显示该即时影像；(c)分别投射右光信号至观看者右眼并投射左光信号至观看者左眼以投射虚拟影像，使该观看者在第二位置及第二深度感知到该虚拟影像，则在该虚拟影像上的该相对应第一定位标记重叠在该即时影像的该第一定位标记上。在一实施例中，在该即时影像上的该第一定位标记的深度与相对应的在该虚拟影像上的该第一定位标记的深度大致相同。为了更加精确的叠加，第二定位标记或第三定位标记也能以类似方式应用。

本发明的其他特征及优点将在后面描述，一部分可以从说明或是本发明的实例中得知。本发明的目标及其他优点将由说明书、权利要求书、以及附图所特别指出的结构及方法实现。可以这样理解，上述一般的说明和下面详细的说明都是示例性的和说明性的，其旨在对所要求保护的发明提供进一步的解释。

附图说明

图1A为一示意图，说明本发明中一系统的一实施例。

图1B为一示意图，说明本发明中一系统的另一实施例。

图1C为一示意图，说明本发明中一系统的虚拟影像模块中的准直仪。

图2为一方框图，说明本发明中带有各种模块的一系统的一实施例。

图3A及3B为示意图，说明本发明中一系统的可能实施例。

图4为一示意图，说明本发明中物体、即时影像及虚拟影像之间的关系。

图5为照片，说明本发明中在即时影像上叠加视网膜的虚拟影像。

图6为一流程图，说明本发明中在即时影像上叠加虚拟影像的过程的一实施例。

图7为一流程图，说明本发明中在一即时影像上叠加虚拟影像的过程的另一实施例。

图8为一示意图，说明本发明中虚拟影像模块的一实施例。

图9为一示意图，说明本发明中虚拟双眼像素及相对应的该右像素及左像素对之间的关系。

图10为一示意图，说明本发明中从光信号产生器至分光镜，再到观看者的视网膜的光线路径。

图11为一示意图，说明本发明中由右光信号及左光信号形成的该虚拟双眼像素。

图12为一表格，说明本发明中查询表的一实施例。

具体实施方式

本文中所使用的词汇用来描述本发明特定具体实施例中的细节，所有的词汇应以最大的范围做合理解读。某些词汇将在以下特别强调；任何限制性用语将由具体实施例定义。

本发明涉及在即时影像上叠加虚拟影像的系统及方法。带有深度的虚拟影像可以叠加在即时影像上，以提供观看者更多与该即时影像有关的信息，例如手术指导、指示、导航等等。该即时影像是一种以即时方式反映物体变化的影像。该即时影像可为平面影像或立体影像。在一实施例中，该即时影像是由该物体反射或发射的光产生，举例来说，从显微镜或望远镜观察到的该影像。在另一实施例中，该即时影像是由接收到物体影像的显示器所产生，该影像可能是由相机即时拍摄，例如内视镜显示器上的影像。此外，该即时影像可以为真实影像或虚拟影像。该带有深度的虚拟影像是由投射光信号至该观看者的双眼所产生。该虚拟影像的深度跟投影至该观看者眼睛的该右光信号及该相对应的左光信号之间的角度有关。该虚拟影像可以为平面影像或立体影像。当该虚拟影像叠加在该即时影像上时，一部分的该虚拟影像会重叠在该即时影像上。

在即时影像上叠加虚拟影像的系统，包括即时影像模块及虚拟影像模块。该即时影像模块包含放大组件，以预设放大倍率在第一位置及第一深度产生即时影像。放大为使物体表面尺寸变大的过程，而非物理尺寸。这种放大可借由一个经过计算的数字量化，该数字也称为“放大率”，为物体的表面(即时影像)尺寸及该物体不经放大所观察到的尺寸之间的比例。放大率是可调的，且可以为任何正数，例如0.5、1及10。当该放大率小于一时，代表尺寸缩小，有时称为缩小化或去放大化。

该虚拟影像模块分别投射右光信号至观看者右眼并投射相对应的左光信号至观看者左眼以产生虚拟影像。该右光信号及该相对应的左光信号会由该观看者感知，并在第二位置及第二深度显示该虚拟影像。该第二深度与投影到该观看者眼睛的该右光信号及相对应的左光信号之间的角度有关。在一实施例中，该第二深度跟该第一深度大致相同。

该虚拟影像叠加在该即时影像上以提供该观看者更多信息。因此，在一实施例中，该虚拟影像为该物体处理过的影像。举例来说，该物体可以为大脑且该即时影像为手术显微镜即时产生的大脑影像。该虚拟影像可以为手术前拍的大脑CT或MRI影像，且上面标记了手术中要移除的脑瘤的位置。该标记虚拟影像会在手术中叠加在大脑的即时影像上，以帮助外科医生辨认要移除的脑瘤的位置。在这情况下，为了使手术位置精确，该虚拟影像(有标记的CT或MRI影像)的该第二深度会与该即时影像(来自手术显微镜的大脑实际影像)的该第一深度大致相同。该虚拟影像可以进一步包括一些文字信息、标记、或指标，用于引导或解释，以协助诊断及治疗。此外，影像的叠加可以让该观看者比较由该虚拟影像表现的该物体的先前影像及由该即时影像表现的该物体的目前状态，进而预估疾病的发展及治疗结果。

该即时影像的放大率是可调的。在一实施例中，可以借由手动转动旋钮、换物镜、控制虚拟开关、或发出口头指令进行调整。在该即时影像被放大后，该虚拟影像可以手动或自动放大，以维持该虚拟影像与该即时影像的叠加。可以选择自动模式进行叠加。

为了在该即时影像上叠加该虚拟影像，该系统首先需要对该观看者进行校正。因为每位观察者的眼睛有不同的物理特征，包括瞳距，该系统需要特别为了该观看者进行校正以确保该右光信号及左光信号投射进该观看者眼睛，使该观看者可以感知到显示在该第二位置及该第二深度的该虚拟影像。举例来说，显微镜的左目镜及右目镜之间的距离需要配合该观看者的瞳距进行调整；该右光信号及相对应的左光信号之间的该角度需要调整，使该观看者可以正好在该第二深度感知到该虚拟影像。

在即时影像叠加虚拟影像的过程包括：(a)在该即时影像选择第一点作为第一定位标记；(b)在第一位置及第一深度以预设放大倍率显示该即时影像；(c)分别投射右光信号至观看者右眼并投射左光信号至观看者左眼以投射虚拟影像，使该观看者在第二位置及第二深度感知到该虚拟影像，则在该虚拟影像上该相对应的第一定位标记重叠在该即时影像的该第一定位标记上。如上所述，该第二深度与投射在该观看者眼睛的该右光信号及相对应的左光信号之间的角度有关。在一实施例中，在该即时影像上的该第一定位标记的深度与相对应的在该虚拟影像上的该第一定位标记的深度大致相同。为了更加精确的叠加，第二定位标记或第三定位标记也能以类似方式应用。

如图1A及1B所示，为了在即时影像115上叠加虚拟影像165的系统100包含即时影像模块110及虚拟影像模块160。该即时影像模块110可包含放大组件120，以产生物体105(如大脑)的放大即时影像给观看者的双眼。该放大组件120可以包含数个光学单元及组件，例如不同种类的镜片，包括物镜113。在另一实施例中，该放大组件120可以使用电子电路进行处理及放大该物体105的即时影像。该即时影像的放大率可以在观察前决定，也可以在观察时调整。放大率可以为1/2、3、10、100等等。可以通过与该即时影像模块连动的使用者界面调整放大率。该即时影像模块可以有一组光学单位及组件，以产生该即时影像给该观看者的双眼；或是有两组分开的光学单位及组件，分别产生该即时影像给该观看者的右眼与左眼。该即时影像模块110可以进一步包括棱镜组件130以重定向光线的方向、分光镜140，145以分光、观测管150以引导光线、以及目镜152，154以进一步放大该影像。同样地，该即时影像是由该物体105反射或发射的光产生，例如从显微镜(包括手术显微镜)产生的该即时影像。在另一实施例中，该即时影像是由影像撷取装置以及显示器装置所产生，例如内视镜及其相关的显示器。根据该影像的尺寸及解析度，该即时影像实际上或概念上可以包含921600个像素(1280x720矩阵)。每个像素与相邻像素在位置及深度上可能有些微不同。可以为该即时影像选择代表性的像素，如第一定位标记。定位标记，如该第一定位标记及该第二定位标记，通常为该即时影像中一特殊点，带有容易被该观看者辨识的特征，例如中点或是两条特定血管的交叉点。定位标记可能为像素或是由数个相邻的像素组成。在一实施例中，该代表性的像素的位置及深度会作为该即时影像的位置及深度，即该第一位置及该第一深度。

该虚拟影像模块160与该即时影像模块110相连接，包含右光信号产生器170及左光信号产生器175。该右光信号产生器170为虚拟影像产生数条右光信号，并可能紧靠在该即时影像模块的右侧部分。相同地，该左光信号产生器175为虚拟影像产生数条左光信号，并可能紧靠在该即时影像模块的左侧部分。该右光信号接着由右分光镜140重定向至该观看者的一眼。相同地，该左光信号接着由左方光镜145重定向至该观看者的另一眼。该重定向右光信号及相对应的该重定向左光信号由该观看者感知，并在第二深度显示该虚拟影像。根据该影像的尺寸及解析度，该虚拟影像可能时既包含921600个虚拟双眼像素(1280x720矩阵)。每个虚拟双眼像素与相邻像素在位置及深度上可能有些微不同。可以为该虚拟影像选择代表性的虚拟双眼像素，如第一定位标记。在一实施例中，该代表性的虚拟双眼像素的位置及深度会作为该虚拟影像的位置及深度，即该第二位置及该第二深度。在该观看者的眼睛接收到该代表性的虚拟双眼像素的重定向右光信号及相对应的重定向左光信号之后，该观看者在该第二深度感知到该代表性的虚拟双眼像素，而该第二深度与该重定向右光信号及该相对应的重定向左光信号之间的角度有关。

该即时影像的光束也可以经过该右分光镜140及左分光镜145通向该观看者的眼睛。因此，在一定程度上，该即时影像模块及该虚拟影像模块共享该右分光镜140及该左分光镜145。在一实施例中，原先安装在该即时影像模块中与其他观看者共享即时影像的该分光镜可以旋转适当的角度，以便将从该虚拟影样模块产生的光信号重定向至该观看者的眼睛。

如图1B及1C所示，该虚拟影像模块160可以进一步包括右焦点调整单元182，位于该右光信号产生器170(或右准直仪180，如果有的话)及右分光镜140之间；以及左焦点调整单元187，位于该左光信号产生器175(或左准直仪185，若有的话)及左分光镜145之间，以改善该虚拟影像对该观看者的清晰度。该右/左焦点调整单元可包含光学单元，如不同种类的镜片，包括凸透镜。在一实施例中，凸透镜作为焦点调整单元，可以调整它与该光信号产生器之间的距离以改变光束的焦点位置。假设该光信号产生器与该分光镜之间的距离不变，光束的焦点位置越接近视网膜，该观看者看见的虚拟影像就越清晰。由于观看者眼睛的眼轴长度可能不同，因此光束的最佳焦点位置，以及光信号产生器与焦点调节单元之间的距离也会随之变化。换句话说，若该观看者眼轴长度较长，该焦点调整单位需要距离该光信号产生器更远，使该光束的焦点位置更靠近该观看者的视网膜。若备有准直仪，则该焦点调整单元位于该准直仪与该分光镜之间。在通过该准直仪过后，来自该光信号产生器的光束会变得大致平行，接着在通过该焦点调整单元后汇聚在一起。此外，因为该焦点调整单元不会改变光束的入射角，所以该虚拟影像的深度并没有影响。

如图1C部分所示，该虚拟影像模块160可以进一步包括右准直仪180及左准直仪，以缩小数条光信号的光束，举例来说，使运动方向在特定方向上变得更加一致或是使光束的空间截面变小。该右准直仪180可以设置在该右光信号产生器170及该右分光镜140之间；该左准直仪180可以设置在该左光信号产生器175之间。该准直仪可以为弯曲的镜子或透镜。

此外，该虚拟影像模块160可以包含控制模块190，用于控制该右光信号产生器170及该左光信号产生器175的虚拟影像信号。该控制模块190与该虚拟影像模块160通信连接，以调整该右光信号及相对应的该左光信号，从而可以根据该即时影像的变动自动修改该虚拟影像，以在该即时影像上叠加该虚拟影像。该即时影像的变动包括视角、放大率或是位置的变动。举例来说，当该即时影像的放大率调整时(例如从三倍至十倍)，该控制模块190将处理该影像信号，将该虚拟影像放大到相同的尺寸，并用该第一定位标记使该虚拟影像可以继续叠加在该即时影像上。虽然该控制模块190包含一或多个处理器，但对于复杂信号处理，该控制模块190可以使用外部服务器250进行计算。

该虚拟影像模块可以储存在存储器模块195中。在一实施例中，该虚拟影像为该物体处理过的影像，例如该物体的X光图、超音波图、CT图或MRI图，在感兴趣的区域有一些标记或重点。该虚拟影像可以进一步包括一些文字信息及用于指导或解释的标记。举例来说，该虚拟影像可以为预先拍摄且处理过的病人的视网膜影像，上面有要用激光封住的出血血管的标记。该系统100可以将该虚拟影像叠加在来自裂隙灯显微镜的同一视网膜的即时影像上。该控制模块190可以检索储存在该存储器模块195的该虚拟影像，并在必要的时候让该右光信号产生器170及该左光信号产生器175产生虚拟影像信号。

如图2所示，除了该即时影像模块110及该虚拟影像模块160，该系统100可以进一步包含记录模块210，以记录该即时影像及该虚拟影像；物体测量模块220，用于测量该物体的位置及深度；手术模块230，用于在该物体上进行手术；以及使用者界面240，使该观看者可以与该系统100中的各种模块沟通并控制该系统100的各种功能。该系统100的所有模块之间可以通过有线或无线的方式进行沟通。无线的方法可以包括WiFi、蓝牙、近场通信(NFC)、网络、电信、无线电波等等。该即时影像模块110、该虚拟影像模块160及该记录模块210可以通过光束及光信号进行光学通信。该观看者可以通过该系统100观察该即时影像及该虚拟影像，并通过与该使用者界面240进行物理上的互动控制该系统100。该系统100可以与该物体105进行光学通信，例如接收从物体反射或发射的光束，并将该光束投射在物体上。该系统可以与该物体105进行物理上的互动，例如对该物体进行激光手术。

如上所述，该系统100可进一步包括记录模块210，以记录该即时影像和/或该虚拟影像。在一实施例中，该记录模块210可以放在该右分光镜140及该左分光镜145以记录该即时影像，即在手术中分别由该右分光镜与该左分光镜反射，来自该物体的光束。该记录模块210可以包括数字相机或光耦合装置(CCD)以撷取影像。在另一实施例，该记录模块210会位于目镜旁边以记录通过目镜但还未到达该观察者眼睛的光束，其中包括形成该即时影像与该虚拟影像的光束。该记录模块210可与该控制单元连接，以直接记录该虚拟影像信号及相关的信息及参数，以供往后显示。

如上所述，该系统100可以进一步包括物体测量模块220，以测量物体的位置或深度。与该系统连接的该物体测量模块220可以连续或定期测量该物体相对于该物体测量模块(或该观看者)的位置及深度，并将相关消息传送给该虚拟影像模块以调整该虚拟影像。根据接收到的信息，该控制模块190会根据更新后该物体相对于该物体测量模块及该观看者的位置处理该虚拟影像信号。因此，该虚拟影像可以维持叠加在该即时影像上。该物体105及该物体测量模块220(或观察者的眼睛)之间的距离或相对位置可能会随着时间改变。在一情况中，该物体105，例如人体的一部分—眼球，可能会在手术期间移动。在另一情况中，该系统100可能由观看者(如外科医生)穿戴，则该观看者在手术中可能会移动他的头。因此，为了维持该虚拟影像叠加在该即时影像上，需要测量并计算该物体105与该观看者眼睛之间的该相对位置及距离。该物体测量模块220可以包括陀螺仪、室内/室外全球定位系统(GPS)、以及距离测量元件(即发射器与感应器)以精确追踪该物体105的相对位置与深度变化。

如上所述，该系统100可以进一步包括手术模块230，在物理上对该物体105进行手术。该手术模块230可以包括激光，用于移除组织或封住出血的血管；和/或手术刀，用于切割组织。该手术模块230可以与该即时影像模块110配合，将该激光和/或手术刀定位在该观看者(即外科医生)在该即时影像中所感兴趣的点。

如上所述，该系统100可以进一步包括使用者界面，让该观看者可以控制该系统100的各种功能，例如该真实物体的放大率、该虚拟影像的该第二位置与该第二深度、该焦点调整单元、该记录模块210、该物体测量模块220等等。该使用者界面140可借由踏板、键盘、鼠标、旋钮、开关、手写笔、按钮、棍子、触控屏幕等形式，通过声音、手势、手指/脚的运动等方式操作。该使用者界面借由有线或无线的方式跟该系统100的其他模块(包括该即时影像模块110、该虚拟影像模块160、该记录模块210、该物体记录模块220、及该手术模块230)沟通。无线的方法可以包括WiFi、蓝牙、近场通信(NFC)、网络、电信、无线电波等等。该观看者可以使用该使用者界面240，如控制杆子，移动游标至该即时影像上感兴趣的点，接着使用该使用者界面240，如踩踏板，向对应到该物体105的感兴趣的点启动激光以移除该组织或封住出血的血管。

在一实施例中，该系统100可以为手术或诊断用的AR显微镜，例如AR检眼镜及AR裂隙灯。图3A说明包含使用者界面踏板320的固定AR手术显微镜310的案例。图3B说明可携式AR手术显微镜350的案例，头戴式装置，其中包含即时影像模块370及虚拟影像模块360。该即时影像模块与该虚拟影像模块360相连但可以分开。

如图4所示，该物体105、由该即时影像模块110所产生的该即时影像115、以及由该虚拟影像模块160产生的该虚拟影像165，可能有不同的位置及深度。在该实施例中，该虚拟影像165为该物体105处理过的部分影像。该虚拟影像模块160可以只产生该物体中感兴趣的部分作为该虚拟影像。该物体的影像可能会被截取并处里，例如由人工智能(AI)模块处理，以便在很短的时间内，例如一秒钟内产生该虚拟影像。

如上所述，根据解析度的不同，该物体105、该即时影像115、以及该虚拟影像165在概念上或实际上可以包括大量的像素，例如921600个像素(1280x720矩阵)。在本实施例中，该物体105、该即时影像115、以及该虚拟影像165的位置及深度分别由相对应第一定位标记的位置及深度来表示。深度是根据该目镜152与该物体105、或该即时影像115、或该虚拟影像165之间的距离来测量的。因此，如图4所示，该物体105位于物体位置L(o)及物体深度D(o)；该即时影像115，该物体105的放大影像，位于该第一位置L(r)及该第一深度D(r)；以及该虚拟影像165位于该第二位置L(v)及该第二深度D(v)。根据该即时影像模块的光学特性，该即时影像D(r)的深度可能更靠近或更远离该观看者的眼睛。在本实施例中，该即时影像的深度D(r)比该物体的深度D(o)更深。然而，在其他实施例中，该即时影像的深度D(r)可能比该物体的深度D(o)更小或大致相同，然后该虚拟影像模块160会在比该即时影像115更靠近该目镜的深度D(v)产生该虚拟影像165。

如图4所示，有了L(r)及D(r)的信息，该系统100的该虚拟影像模块160，通过重叠该虚拟影像中相对应第一定位标记LM1(v)与该即时影像上的第一定位标记LM1(r)，可以将该虚拟影像叠加在该即时影像上。为了更精确的叠加，该系统100的该虚拟影像模块160可以进一步通过重叠该虚拟影像中相对应第二定位标记LM2(v)与该即时影像上的第二定位标记LM2(r)。在另一实施例中，叠加并不仅止于重叠该定位标记的位置，在虚拟影像中相对应第一定位标记的深度可能与在该即时影像中该第一定位标记的深度大致相同。相同地，在虚拟影像中相对应第二定位标记的深度可能与在该即时影像中该第二定位标记的深度大致相同。为了精确并完整叠加立体虚拟影像在立体即时影像上，除了该第一定位标记及该第二定位标记，也要选择该即时影像上的该第三定位标记，接着该虚拟影像模块让在该虚拟影像中相对应第三定位标记的位置及深度与在即时影像中的该第三定位标记大致相同。

图5展示了三个影像，分别为病人的视网膜的即时影像、该视网膜处理过的虚拟影像、以及上述两个影像的叠加影像。在一实施例中，该病人视网膜的血管摄影影像可能由裂隙灯生物显微镜撷取并处理，然后该虚拟影像模块160可以在手术期间使用该处理过的影像作为叠加在该病人视网膜的即时影像上的虚拟影像，以协助辨认并看见脉络膜新生血管膜的边缘。该AR/MR显微镜可以大幅促进各种眼科疾病的诊断与治疗。

如图6所示，将虚拟影像叠加在即时影像的过程包含了四个步骤。在步骤610，由观看者、专家、计算机、或该系统100，选择即时影像上的第一点做为第一定位标记。举例来说，观看者可以鼠标或摇杆去移动可以从目镜中看见的游标或指标，以在该即时影像上选择该第一定位标记。如上所述，定位标记，包括第一定位标记、第二定位标记、以及第三定位标记，通常是具有辨识特征的特殊点，可由该观看者在该即时影像中轻易辨认，例如中点、两条特定血管的交叉点。定位标记可以由专家手动定义或是由计算机程序自动定义。有三个基本种类的定义标记：解剖学定位标记、数学定位标记和伪定位标记。解剖学定位标记为生物体内具有生物学意义的点。任何解剖学特征，皱褶、突起、管道、血管等等，会一直存在于组织中，可用来指示特定结构或位置。外科病理学家可利用解剖学定位标记来确认标本的方向。数学定位标记是形状内的点，根据一些数学上或地理特性所定位，例如，高曲率点或端点。计算机程序可以使用数学定位标记来进行自动图形识别。伪定位标记是介于解剖学定位标记及数学定位标记之间的点，典型的例子是在两个解剖学定位标记之间有一组等距离的点，以便从一个形状得到更多样本点。在形状配对过程中，当配对过程中需要大量的点时，伪定位标记很有用。定位标记可以为像素，也可以由相邻的数个像素组成。

在步骤620，该物体的即时影像以预设的放大率显示在第一位置及第一深度。如上所述，至少有两种即时影像。第一种即时影像是通过该物体反射或发射光而产生，例如从显微镜或望远镜看到的影像。在这种情况下，该第一位置及该第一深度可能由该即时影像模块的光学特性决定。该观看者可以通过目镜看到该即时影像。第二种即时影像是由显示器产生，该显示器接收由相机即时拍摄的该物体的影像，例如内视镜(包括胃镜、大肠镜或直肠镜)显示器上的影像。该内视镜可能有两个位在不同地方的影像撷取装置，用于拍摄并产生立体影像。该即时影像可以为平面影像或立体影像。步骤610及步骤620可以对调。

在步骤630，该虚拟影像模块可为特定观看者进行校正。如上所述，每个观看者的一些物理特征，如瞳距，会影响到该观看者感知相同的该右光信号及相对应的左光信号所显示的该虚拟影像的位置与深度。在一实施例中，该控制模块可以根据该观看者的瞳距调整该虚拟影像信号，使该右光信号产生器170与该左光信号产生器175可以投射该光信号至适当的位置与角度，以确保该观看者在该第二位置及该第二深度感知到该虚拟影像。

在步骤640，该虚拟影像模块借由分别投射右光信号至观看者右眼与相对应的左光信号至观看者左眼的方式投射虚拟影像，让观看者看到位于位置及第二深度的该虚拟影像，于是在该虚拟影像上的向对应第一定位标记会与在该即时影像上的该第一定位标记重叠。换句话说，该虚拟影像模块投射虚拟影像并叠加在该即时影像上。至少在该虚拟影像上的相对应第一定位标记的位置(第二位置)会与在该即时影像上的第一定位标记的位置(第一位置)大致相同。一般来说，根据其解析度，该虚拟影像会被分割为数个虚拟双眼像素，例如921600个像素(1280x720矩阵)。对于每个投射到该观看者视网膜的右光信号及相对应的左光信号，该观看者感知到位于特定位置及深度的虚拟双眼像素。该深度与该右光信号及相对应的左光信号之间的角度有关。当在该即时影像上的该第一定位标记位于该第一位置及该第一深度，在该虚拟影像上的相对应该第一定位标记的该虚拟双眼像素被投射并在该第二位置与及该第二深度被该观看者感知。为了初始叠加，该虚拟影像上的相对应第一定位标记的位置(第二位置)会设为与该即时影像上的该第一定位标记的位置(第一位置)大致相同，而他们的深度可能不同。这叠加可以由该观看者手动完成，也可以通过该系统100使用图形辨识技术完成，包括人工智能(AI)算法。为了进一步改善叠加品质，该第二深度会设为跟该第一深度大致相同。此外，若该即时影像从该物体的实际尺寸放大，该虚拟影像也需要放大到相同的程度以便叠加。此外，为了进一步提高叠加品质，该虚拟影像的视角需要与该即时影像的视角一致。下面将详细介绍该光信号产生器产生的光信号与该观看者感知到的深度之间的关系。

在步骤650，如果该即时影像的位置、放大率或视角发生变化，该虚拟影像模块修改该虚拟影像以维持该虚拟影像及该即时影像之间的叠加。该即时影像的位置、放大率及视角的变化可能是因为该观看者的操作或者是该物体或该观看者的移动所造成的。该系统100需要不断监测该即时影像的该第一位置及该第一深度，以及该虚拟影像的该第二位置及该第二深度。一旦该即时影像有甚么变动，该虚拟影像模块就要修改该虚拟影像以维持该虚拟影像及该即时影像之间的叠加。

如图7所示，在即时影像上叠加虚拟影像的另一过程包含六个步骤。有些步骤与图6所示的前实施例相同或类似。有些步骤是可选择且进一步修改的。在步骤710，第一点、第二点、第三点由观看者、专家、计算机或该系统100分别被选为第一定位标记、第二定位标记、第三定位标记。为了最精确的叠加，这里使用了三个定位标记。有些手术，像是脑神经手术，需要非常高的精确度，因此需要三个定位标记以确保该虚拟影像完全叠加在该即时影像上。然而，根据需求不同，该过程可能只包含两个定位标记。步骤720跟步骤620相同，且步骤730跟步骤630相同。步骤740跟步骤640所述的原则相同，然而，该虚拟影像上相对应的该第一定位标记、该第二定位标记及该第三定位标记的位置及深度分别与该即时影像上的该第一定位标记、该第二定位标记及该第三定位标记的位置及深度大致相同。在步骤750，该第一位置及该第一深度会被重复监控并测量，该第一位置及该第一深度会根据由该物体测量模块所测量，该物体相对该物体测量模块(或该观看者)的位置及深度进行计算。因此，该虚拟影像可以维持叠加在该即时影像上。在步骤760，该观看者，即外科医生，会使用激光或手术刀在该观看者确定的兴趣点上进行手术。

下面将详细讨论该虚拟影像模块160及在该第二位置及该第二深度产生该虚拟影像165的方法，以及依需求移动该虚拟影像的方法。于2020年11月6日提交的PCT国际申请PCT/US20/59317，标题为“SYSTEM AND METHOD FOR DISPLAYING AN OBJECT WITHDEPTHS”，其全部内容通过引用纳入本文。如图8所示，该虚拟影像模块160包括右光信号产生器170以产生数条右光信号如RLS_1，RLS_2，RLS_3分别为12，14，16；右分光镜140以接收并重定向该数条右光信号至观看者的右视网膜54；左光信号产生器175以产生数条左光信号如LLS_1，LLS_2，LLS_3分别为32，34，36；左分光镜145以接收并重定向该数条右光信号至该观看者的左视网膜64。该观看者有右眼50，包括右瞳孔52及右视网膜54，以及左眼60，包括左瞳孔62及左视网膜64。人类瞳孔的直径一般在2厘米至8厘米之间，其中部分取决于环境的光量。成年人正常瞳孔大小在明亮环境下约为2至4厘米，在阴暗环境下约为4至8厘米。该数条右光信号会由该右分光镜140重定向，通过该右瞳孔52，最后由该右视网膜52接收。该右光信号RLS_1是指在特定水平面上，该观看者的右眼可以看到的最右边光信号。该右光信号RLS_2是指在特定水平面上，该观看者的右眼可以看到的最左边光信号。在接收到该重定向右光信号后，该观看者在重定向后的右光信号RLS_1及RLS_2的延伸部分所包含的区域A中，感知到该物体105的数个右光像素。该区域A被称为该右眼50的视野(FOV)。同样的，该数条左光信号会由该左方光镜145重定向，通过该左瞳孔62，最后由该左视网膜64接收。该左光信号LLS_1是指在特定水平面上，该观看者的左眼可以看到的最右边光信号。该左光信号LLS_2是指在特定水平面上，该观看者的左眼可以看到的最左边光信号。在接收到该重定向左光信号后，该观看者在重定向后的左光信号LLS_1及LLS_2的延伸部分所包含的区域B中，感知到该物体105的数个左光像素。该区域B被称该左眼60的视野。当两边的数个右像素及数个左像素在区域A及区域B的重叠部分区域C中显示时，至少显示右像素的右光信号以及其相对应显示左像素的左光信号会融合，并在区域C的特定深度显示虚拟双眼像素。该深度与投射到观看者视网膜的重定向右光信号及重定向左光信号之间的角度有关，该角度也被称为辐辏角。

如图8及图9所示，该观看者在该观看者前方的区域C感知到带有数个深度的大脑物体105的虚拟影像。该大脑物体105的影像包括显示在第一深度D1的第一虚拟双眼像素72，以及显示在第二深度D2的第二虚拟双眼像素74。在该第一重定向右光信号16’与相对应的该第一重定向左光信号26’之间的该第一角度为θ1。该第一深度D1跟该第一角度θ1有关。特别是，该物体105的第一虚拟双眼像素的第一深度可以由该第一重定向右光信号及相对的该第一重定向左光信号光线延伸路径之间的第一角度θ1所决定。结果，该第一虚拟双眼像素72的该第一深度D1可以由下列公式算出近似值

该右瞳孔52与该左瞳孔62之间的距离为瞳距(IPD)。相同的，该第二重定向右光信号18’与相对应的该第二重定向左光信号38’之间的该第二角度为θ2。该第二深度D1跟该第二角度θ2有关。特别是，该物体105的第二虚拟双眼像素的第二深度D2可以通过相同公式，由该第二重定向右光信号及相对的该第一重定向左光信号光线延伸路径之间的第二角度θ2所决定。因为该第二虚拟双眼像素74跟该第一虚拟双眼像素72，在距离该观看者较远的地方被感知(深度较大)，该第二角度θ2会比该第一角度θ1小。

此外，虽然RLG_2的该重定向右光信号16’与LLS_2的该重定向左光信号36’共同在该第一深度D1显示第一虚拟双眼像素72，RLG_2的该重定向右光信号16’可能会和相对应的LLS_2的该重定向左光信号36’有相同或不同的视角。换句话说，虽然该第一角度θ1决定该第一虚拟双眼像素72的深度，但RLG_2的该重定向右光信号16’与相对应的LLS_2的该重定向左光信号36’可能有视差。因此，红绿蓝(RGB)色光的强度和/或该右光信号及该左光信号的亮度可以大致相同，也可以因为阴影、视角等等的关系而有些许不同，以达到更好的3D效果。

如上所述，该数条右光信号是由该右光信号产生器产出、由该右分光镜重定向、接着由该右视网膜扫描后，在该右视网膜上形成右视网膜影像。同样地，该数条左光信号是由该左光信号产生器产出、由该左分光镜重定向、接着由该左视网膜扫描后，在该左视网膜上形成左视网膜影像。如图9所示的一实施例，右视网膜影像80包含36个右像素(6x6矩阵)且一左视网膜影像90也包含36个左像素(6x6矩阵)。在另一实施例中，右视网膜80包含921600个右像素(1280x720矩阵)且左视网膜影像也包含921600个左像素(1280x720矩阵)。该虚拟影像模块160用来产生数条右光信号及相对应的数条左光信号，这些信号分别在右视网膜上形成该右视网膜影像，且在该左视网膜上形成左视网膜影像。结果，该观看者因为影像融合而在区域C感知到具有特定深度的虚拟物体。

参考图9，来自该右光信号产生器170的该第一右光信号16被该右分光镜140接收并反射。该第一重定向右光信号16’穿过该右瞳孔52到达该观看者的该右视网膜并显示该右像素R43。来自该左光信号产生器175的该相对应的左光信号36被该左分光镜145接收并反射。该第一重定向左光信号36’穿过该左瞳孔62到达该观看者的该左视网膜并显示该左像素L33。作为影像融合的结果，观看者感知到一个具有数个深度的该虚拟物体，其深度是由该数条重定向右光信号及相对应的该数条重定向左光信号之间的角度而决定。重定向右光信号与相对应左光信号之间的角度是由该右像素与该左像素之间的相对水平距离决定的。因此，虚拟双眼像素的深度跟形成该虚拟双眼像素的该右像素及相对应的该左像素之间的水平距离成反比。换句话说，该观看者感知到的虚拟双眼像素越深，形成该虚拟双眼像素的该右像素与左像素之间X轴的水平距离越小。举例来说，如图9所示，该观看者感知到的该第二虚拟双眼像素74比该第一虚拟双眼视觉像素72更深(也就是比该观看者更远)。因此，在视网膜影像上，该第二右像素与该第二左像素之间的水平距离会比该第一右像素与该第一左像素之间的水平距离更小。具体来说，形成该第二虚拟双眼像素的该第二右像素R41与该第二左像素L51之间的水平距离为四个像素长。然而，形成该第一虚拟双眼像素的该第一右像素R43与该第一左像素L33之间的水平距离为六个像素长。

如图10所示的一实施例，说明了来自光信号产生器的数条右光信号及数条左光信号的光线路径。该数条右光信号由该右光信号产生器170产生并向该右分光镜140投射并形成右分光镜影像(RSI)82。该数条右光信号由该右分光镜140重定向并汇聚为微小右瞳孔影像(RPI)84穿过该右瞳孔52，最终到达该右视网膜54并形成右视网膜影像(RRI)86。RSI,RPI,RRI皆由ixj个像素组成。每个右光信号RLS(i,j)都会经过相对应的像素，从RSI(i,j)到RPI(i,j)、接着到RRI(x,y)。举例来说，RLS(5,3)会从RSI(5,3)到RPI(5,3)，再到RRI(2,4)。相同地，该数条左光信号由该左光信号产生器175产生并向该左分光镜145投射并形成左分光镜影像(LSI)92。该数条左光信号由该左分光镜145重定向并汇聚为微小左瞳孔影像(LPI)94穿过该左瞳孔62，最终到达该左视网膜64并形成左视网膜影像(LRI)96。LSI，LPI，LRI皆由ixj个像素组成。每个左光信号LLS(i,j)都会经过相对应的像素，从LSI(i,j)到LPI(i,j)、接着到LRI(x,y)。举例来说，ALS(3,1)会从LSI(3,1)到LPI(3,1)，再到LRI(4,6)。(0,0)像素是每个影像最左上方的像素。视网膜影像中的像素跟分光镜影像中相对应的像素为左右相反且上下颠倒的。在该光信号产生器及分光镜的相对位置都已经安排好的情况下，每个光信号都有其自己从光信号产生器到视网膜的光线路径。在右视网膜上显示右像素的右光信号及相对应的在左视网膜上显示左像素的左光信号会共同形成带有特定深度的虚拟双眼像素，并由观看者感知。因此，在空间中的虚拟双眼像素可以由一对右视网膜像素及左视网膜像素或是一对右分光镜像素及左分光镜像素表示。

观看者在区域C中感知到虚拟物体可能包括数个虚拟双眼像素。为了可以精确地描述虚拟双眼像素在空间中的位置，每个空间中的位置都会有一个立体坐标，例如XYZ坐标，其他立体坐标系统可以用在其他实施例中。于是，每个虚拟双眼像素都有一个立体坐标：一水平方向、一垂直方向以及一深度方向。水平方向(或X轴方向)是沿着瞳孔间线的方向；垂直方向(或Y轴方向)沿着脸部中线的方向并垂直于水平方向；深度方向(或Z轴方向)是指正平面的法线并与水平方向及垂直方向皆垂直。水平方向坐标与垂直方向坐标在本发明中被统称为位置。

图11说明该右分光镜影像中的像素、该左分光镜影像中的像素、以及该虚拟双眼像素之间的关系。如上所述，该右分光镜影像中的像素每个都与该右视网膜影像中的像素(右像素)相对应。该左分光镜影像中的像素每个都与该左视网膜影像中的像素(左像素)相对应。然而，该视网膜影像中的像素与相对应在分光镜影像中的像素左右相反且上下颠倒。然而，如果该系统100有目镜152，154，该分光镜影像中的像素与相对应的该视网膜影像中的像素可以进一步因目镜的光学特性而修改。对于由36个(6x6)右像素组成的右视网膜影像与由36个(6x6)左像素组成的左视网膜影像，假设所有光信号都在该观看者两只眼睛的视野(FOV)内，则在区域C中有216个(6x6x6)虚拟双眼像素(显示为一点)。重定向右光信号的光线延伸路径会与该影像中同一排的所有重定向左光信号的光线延伸路径相交。同样地，重定向左光信号的光线延伸路径会与该影像中同一排的所有重定向右光信号的光线延伸路径相交。因此，一层会有36个(6x6)虚拟双眼视觉而空间中一共有六层。虽然在图11中看起来像是平行线，但是相邻两条光线延伸路径相交并形成虚拟双眼像素代表他们之间有一小角度。在视网膜中大约相同高度的右像素及相对应的左像素(即在右视网膜影像与左视网膜影像的同一行)通常会更早融合。因此，右像素与在视网膜影像同一行的左像素配对，并形成虚拟双眼像素。

如图12所示，创造了查询表以方便识别每一虚拟双眼像素的右像素及左像素对。举例来说，216个虚拟双眼像素由36个右像素及36个左像素组成，编号从1至216。该第一(1st)虚拟双眼像素VBP(1)代表右像素RRI(1,1)及左像素LRI(1,1)。该第二(2nd)虚拟双眼像素VBP(2)代表右像素RRI(2,1)及左像素LRI(1,1)。该第七(7th)虚拟双眼像素VBP(7)代表右像素RRI(1,1)及左像素LRI(2,1)。该第三十七(37th)虚拟双眼像素VBP(37)代表右像素RRI(1,2)及左像素LRI(1,2)。该第两百一十六(216th)虚拟双眼像素VBP(216)代表右像素RRI(6,6)及左像素LRI(6,6)。因此，为了向该观看者显示虚拟物体在空间中的特定虚拟双眼像素，需要确定那一对右像素及左像素可以用来产生相对应的右光信号及左光信号。此外，在查询表中虚拟双眼像素的每一行包括一指标，该指标导向储存该VBP的感知深度(z)及感知位置(x,y)的存储器地址。额外的消息也可以储存在VBP，例如尺寸比例、重叠物品的数量、以及序列深度。尺寸比例为特定VBP与标准VBP相比的相对大小信息。举例来说，该虚拟物体显示在该观看者面前一公尺处的该标准VBP时，尺寸比例可以设为1。因此，对于在该观看者前面90公分的该特定VBP，该尺寸比例可以设为1.2。同样地，对于在该观看者前面1.5公尺的特定VBP，该尺寸比例可以设为0.8。当该虚拟物体从第一深度移动到第二深度时，尺寸比例可以用来决定该虚拟物体显示的尺寸。尺寸比例在本发明中可以为放大率。重叠物品的数量为因重叠而部分或完全被其他物品覆盖的物品数量。序列深度包含各个重叠影像的深度排序。举例来说，有三个影像相互重叠。在最前面的该第一影像的序列深度设为1，而被该第一影像覆盖的该第二影像的序列深度设为2。重叠影像的数量与序列深度是用来决定当各种重叠物品移动时，该显示哪个影像及该影像的哪个部分。

该查询表由下列步骤创造。第一步骤：根据该观察者IPD获得一个人虚拟地图，该虚拟地图是由该虚拟影像模块在启动或校正时创建，它指定了区域C的边界，在该边界中该观察者可以因为右视网膜影像及左视网膜影像的融合而感知到一带有深度的虚拟物体。第二步骤：对于Z轴方向上的每个深度(Z轴上的每个点)计算辐辏角度，以确定该右视网膜影像及该左视网膜影像上的一对右像素及左像素，无论其X坐标与Y坐标。第三步骤：沿X轴方向移动该对右像素及左像素，以确定每对在特定深度的右像素及左像素的X坐标及Z坐标，无论其Y坐标。第四步骤：沿Y轴方向移动该对右像素及左像素，以确定每对右像素及左像素的Y坐标。因此，可以确定该右视网膜影像及该左视网膜影像上的每对右像素及左像素的三维坐标系，如XYZ，以建立该查询表。此外，第三步骤跟第四步骤可以互换。

该光信号产生器170及175可以为激光、发光二极管(LED)，包含mini LED及microLED、有机发光二极管(OLED)、或超辐射发光二极管(SLD)、硅基液晶(LCoS)、液晶显示器(LCD)，或其任何组合作为其光源。在一实施例中，该光信号产生器170及175为激光扫描投影器(LBS projector)，该投影器由光源(包括红光激光、绿光激光及蓝光激光)、色彩修饰物(例如双色合光镜及偏振合光镜)、以及二维可调式反光镜(例如二维微机电系统镜)。该二维可调式反射镜可以由两个一维反射镜取代，例如两个一维微机电系统(MEMS)镜。该LBS投影器依序产生并扫描光信号以在预设解析度下形成二维影像，例如每帧1280x720像素。因此，该投影器产生像素的光信号并一次性投射到该分光镜140及145上。为了让观看者的一眼能够看到该平面影像，该LBS投影器需要在视觉暂留时间内(例如1/18秒)依序产生每个像素的光信号(例如1280x720个光信号)。因此，每个光信号的持续时间约为60.28奈秒。

在另一实施例中，该光信号产生器170及175可为数字光处理投影器(DLPprojector)，该投影器可以一次产生一平面彩色影像。德州仪器的DLP技术为可以用来制造DLP投影器的数个技术之一。该完整平面彩色影像(可能由1280x720个像素所组成)会同时投射至该分光镜140及145上。

该分光镜140，145接收并重定向由该光信号产生器170，175所产生的数条光信号。在一实施例中，该分光镜20，40反射该数条光信号，所以该重定向光信号与该入射光信号在同一侧。在另一实施例中，该分光镜140，145折射该数条光信号，所以该重定向光信号与该入射光信号在该分光镜的不同侧。当该分光镜140，145作为一折射镜，其反射率变动很大，如20％至80％，部分取决于该光信号产生器的功率。本领域技术人员知道如何根据该光信号产生器及该分光镜的特性决定适当的反射率。此外，该分光镜140，145在入射光信号另一侧的环境光下为光学透明的，所以该观看者可以在同一时间看到该即时影像。根据其应用不同，透明度的变动范围很大。若是应用在AR/MR，其透明度最好大于50％，例如在一实施例中约为75％。除了重定向该光信号，该焦点左单元182，187可以汇聚该数条光信号，让其可以通过瞳孔并到达该观看者双眼的视网膜。

该分光镜140，145可以由眼镜或像透镜一样的塑胶材料制成，涂上特定材质(例如金属)让它部分透明且部分反射。使用反射分光镜将光信号导向该观看者眼睛，而非现有技术中的导波器的一个优点为消除不良的绕射效应，例如重影、色彩置换等等。

上述所提供的实施例的描述是为了使本领域技术人员得以制造并使用本发明。对该实施例的各种修改对于本领域技术人员是显而易见的，并且此处确定的基本原理不需要创造性劳动便可以应用于其他实施例。因此，本所要求的主题不仅限于此处展示的实施例，而是要符合与此处公开的原理及新颖特征一致的最广范围。可以预想其他的实施例也在本发明所公开的精神及范围内。因此，本发明意旨为涵盖属于所附的权利要求书及其等同物的范围内的修改及变化。

Claims (28)

1.在即时影像上叠加虚拟影像的系统，其特征在于，包括：

即时影像模块，包含放大组件，用于以预设放大率在第一位置及第一深度产生即时影像；以及

虚拟影像模块，通过分别投射右光信号至观看者右眼及投射相对应左光信号至观看者左眼，以产生虚拟影像，该右光信号及该相对应左光信号在第二位置及第二深度显示该虚拟影像，该虚拟影像叠加在该即时影像上；

其中该第二深度与投射到该观看者眼睛的该右光信号及该相对应左光信号之间的角度有关。

2.根据权利要求1所述的系统，其特征在于，该第二深度跟该第一深度大致相同。

3.根据权利要求1所述的系统，其特征在于，该即时影像是由该物体反射或发射光线而产生。

4.根据权利要求1所述的系统，其特征在于，该虚拟影像为该物体处理过的影像。

5.根据权利要求1所述的系统，其特征在于，该放大率是可调的。

6.根据权利要求1所述的系统，其特征在于，当该放大率被调整时，该虚拟影像的尺寸会随之调整。

7.根据权利要求1所述的系统，其特征在于，该即时影像中的第一点被选为第一定位标记，借由在该即时影像的该第一定位标记上重叠该虚拟影像的相对应第一定位标记，以达到在该即时影像上叠加该虚拟影像。

8.根据权利要求7所述的系统，其特征在于，该即时影像中的第二点被选为第二定位标记，借由在该即时影像的该第二定位标记上重叠该虚拟影像的相对应第二定位标记，以达到在该即时影像上叠加该虚拟影像。

9.根据权利要求1所述的系统，其特征在于，该虚拟影像模块为了该观看者进行校正，使该观看者可以感知到显示在该第二位置及该第二深度的该虚拟影像。

10.根据权利要求1所述的系统，其特征在于，该虚拟影像模块进一步包括控制模块，以处理该右光信号及该相对应左光信号，并根据该即时影像的变动修改该虚拟影像并将该虚拟影像叠加在该即时影像上。

11.根据权利要求10中所述的系统，其特征在于，该即时影像的变动包括视角、放大率以及位置的变动。

12.根据权利要求1中所述的系统，其特征在于，进一步包括：

使用者界面，用于让该观看者控制该虚拟影像的该第二位置及该第二深度。

13.根据权利要求1中所述的系统，其特征在于，进一步包括：

物体测量模块，用于测量该物体的位置及深度。

14.根据权利要求1中所述的系统，其特征在于，该虚拟影像模块进一步包括焦点调整单元，用于提高该观看者对该虚拟影像的清晰度。

15.根据权利要求1中所述的系统，其特征在于，进一步包括：

记录模块，用于记录该即时影像与该虚拟影像两者或其中之一。

16.根据权利要求1中所述的系统，其特征在于，进一步包括：

手术模块，用于对该物体进行手术。

17.根据权利要求1中所述的系统，其特征在于，该虚拟影像模块进一步包括右光信号产生器，以产生数条右光信号；以及左光信号产生器，以产生数条左光信号，使该观看者能感知到该虚拟影像。

18.根据权利要求17中所述的系统，其特征在于，该虚拟影像模块进一步包括右分光镜，以重定向数条该右光信号至该观看者一眼；以及左分光镜，以重定向数条该左光信号至该观看者另一眼。

19.根据权利要求18中所述的系统，其特征在于，该即时影像模块及该虚拟影像模块共用该右分光镜及该左分光镜。

20.根据权利要求1中所述的系统，其特征在于，该虚拟影像模块进一步包括可以戴在该观看者头上的支撑架构；

其中该右光信号产生器及该左光信号产生器由该支撑结构乘载；以及

其中该右分光镜及该左分光镜由该支撑架构乘载，并位于该观看者的视野中。

21.根据权利要求20中所述的系统，其特征在于，该即时影像模块与该虚拟影像模块相连但可以分开。

22.一种产生带有深度的虚拟影像的虚拟影像模块，其特征在于，包括：

右光信号产生器，紧靠在该即时影像模块的右部，用于产生数个右光信号，该信号由该即时影像模块的右分光镜重定向至观察者的一视网膜；以及

左光信号产生器，紧靠在该即时影像模块的左部，用于产生数个左光信号，该信号由该即时影像模块的左分光镜重定向至该观察者的另一视网膜；

其中第一重定向右光信号及相对应第一重定向左光信号由该观看者感知，并在深度显示该虚拟影像，该深度跟该第一重定向右光信号及该相对应第一左光信号之间的角度有关。

23.一种在即时影像上叠加虚拟影像的方法，其特征在于，包括：

在该即时影像中选择第一点为第一定位标记；

在第一位置及第一深度以预设放大率显示该即时影像；

通过分别投射右光信号至观看者的右眼并投射相对应左光信号至观看者左眼，以投射虚拟影像，该右光信号及该相对应左光信号由该观看者感知并在第二位置及第二深度显示该虚拟影像；

其中该虚拟影像为该物体处理过的影像；

其中该第二深度与投射到该观看者眼睛的该右光信号及该相对应左光信号之间的角度有关；以及

其中该虚拟影像通过将该虚拟影像的相对应第一定位标记重叠在该即时影像的第一定位标记上，使该虚拟影像叠加在该即时影像上。

24.根据权利要求23中所述的方法，其特征在于，该第二深度与该第一深度基本相同。

25.根据权利要求23中所述的方法，其特征在于，进一步包括：

在该即时影像中选择第二点为第二定位标记；

其中该虚拟影像通过将该虚拟影像的相对应第二定位标记重叠在该即时影像的第二标记定位上，使该虚拟影像叠加在该即时影像上。

26.根据权利要求23中所述的方法，其特征在于，进一步包括：

调整放大率，使该即时影像及该虚拟影像都被放大，且该虚拟影像的该相对应第一定位标记仍在同一深度叠加在该即时影像的该第一定位标记上。

27.根据权利要求23中所述的方法，其特征在于，进一步包括：

重复监控并测量该虚拟影像的该第一位置及该深度以维持该虚拟影像叠加在该即时影像上。

28.根据权利要求23中所述的方法，其特征在于，进一步包括：

在该物体上进行手术。

Images