CN116249576A - 动态处理影像的系统及方法 - Google Patents

Abstract

本发明公开一动态影像处理的系统，通过应用一虚拟影像显示技术改善一观看者与真实世界之间的互动。该动态影像处理系统包含一目标侦测模块，用于替一观看者确定一目标物体；一影像撷取模块，用于撷取该目标物体的一目标影像；一处理模块，用于接收该目标影像、根据一预设处理模式处理该目标影像、并且提供给一显示器模块与该目标影像有关的一虚拟影像的信息；以及该显示器模块，通过分别投射数条右光信号至一观看者的第一眼，且投射数条相对应左光信号至一观看者的第二眼，以显示该虚拟影像。

Description

动态处理影像的系统及方法

相关申请

本申请要求主张于2020年9月30日提交的美国临时案专利申请号63/085,161，其专利名称为“动态处理影像的系统及方法”(DYNAMIC IMAGE PROCESSING SYSTEMS ANDMETHODS FOR AUGMENTED REALITY DEVICES)的优先权，其申请的全部内容通过引用纳入本文中。

此外，于2020年11月6日提交的PCT国际专利申请号PCT/US20/59317，其专利名称为“显示一个具有景深的物体的系统与方法”(SYSTEM AND METHOD FOR DISPLAYING ANOBJECT WITH DEPTHS)，以及于2021年8月18日提交的PCT国际专利申请号PCT/US21/46078，其专利名称为“叠合虚拟影像于实时影像的系统与方法”(SYSTEMS AND METHODS FORSUPERIMPOSING VIRTUAL IMAGE ON REAL-TIME IMAGE)，其申请的全部内容通过引用纳入本文中。

技术领域

本发明一般涉及动态影像处理的方法及系统，特别是，涉及确定一目标物体、撷取该目标物体的一目标影像、以及替一观看者显示跟该目标物体有关的一虚拟影像的方法及系统。

背景技术

有视力障碍或残疾的人经常需要配戴助视器以提高他们日常生活的便利性。助视器通常包含镜片或复合式镜片装置，例如放大镜或双筒望远镜。近年来，可携式摄影机或行动装置也会应用在助视器上。然而，现有技术中的这些装置通常具有许多缺点。举例来说，放大镜或双筒望远镜的视野非常有限；可携式摄影机或行动装置在操作上可能太过复杂。此外，这些助视器可能太过于笨重而无法长期携带。此外，在该使用者观看移动目标时，例如一辆移动中的公交车上的公交车号码，这些助视器并不实用。另一方面，有视力障碍或残疾的人在旅行的过程中更容易受到环境的危害。这些环境危害可能会造成滑倒、绊倒以及跌倒，例如道路上出现的缝隙、不平整、或是突然的高低差，或是物体的碰撞，例如高速移动的车辆或玻璃门。现有技术中，没有任何一种助视器有能力警告有视力障碍或残疾的人关于这些环境危害。为了解决这个问题，本发明目标在于为现有技术的这些缺点提供解决方案。

发明内容

本发明涉及通过虚拟影像显示技术来改善一观看者与真实世界的互动的系统及方法。具体而言，该系统及方法确定一目标物体、撷取该目标物体的一目标影像、将该目标影像处理为一虚拟影像、接着以一预设大小、颜色、对比度、亮度、位置及/或深度向该观看者显示该虚拟影像。因此，该观看者，可能为视力受损的人，可以清楚的理解并舒适地与真实世界互动，例如阅读文本/语言、辨识人及物体、定位人及物体、追踪移动的物体、上下楼梯、移动而不与人及物体产生碰撞等。该目标物体及该虚拟影像分别可以为二维或三维的。

在本发明的一实施例中，用于动态影像处理的一系统包含一目标侦测模块、一影像撷取模块、一处理模块、以及一显示器模块。该目标侦测模块，用于替一观看者确定一目标物体；该影像撷取模块，用于撷取该目标物体的一目标影像；该处理模块，用于接收该目标影像、以一预设处理模式处理该目标影像、并提供给一显示器模块跟该目标影像的有关的一虚拟影像的信息；以及该显示器模块，通过分别向一观看者第一眼投射数条右光信号并向一观看者第二眼投射相对应的数条左光信号，以显示该虚拟影像。此外，一第一右光信号及一相对应的第一左光信号会由该观看者感知并在一第一深度显示该虚拟影像的一第一虚拟双眼像素，该第一深度与投射至该观看者眼睛的该第一右光信号及该相对应的第一左光信号之间的一第一角度有关。

该目标侦测模块可能包含数个侦测模式。在第一实施例中，该目标侦测模块可以包含一眼动追踪单元，用于追踪该观看者的眼睛以确定一目标物体。在第二实施例中，该目标侦测模块可能包含一手势辨认单元，用于辨认该观看者的手势以确定一目标物体。在第三实施例中，该目标侦测模块可能包含一声音辨认单元，用于辨认该观看者的声音以确定一目标物体。在第四实施例中，该目标侦测模块可能通过执行预设的算法确定一目标物体。

该影像撷取模块可以包含一相机，用于为了进一步的影像处理撷取该目标物体的一目标影像。该影像撷取模块可以包含一物体辨认单元，用于辨认该目标物体，例如一手机、皮夹、插座及公交车。该物体辨认单元也可以执行光学字符识别(optical characterrecognition,OCR)功能以辨认该目标物体上的文字。该影像撷取模块也可以用于扫描周遭环境，通过使用该物体辨认单元辨识及定位该目标物体。

该处理模块可以应用各种不同的方法，替一显示器模块根据一预设的操作模式处理该目标影像，以产生该虚拟影像的信息。

该显示器模块包括一右光信号产生器、一右合光元件、一左光信号产生器、以及一左合光元件。该右光信号产生器产生数条右光信号，并由该右合光元件重定向并投射至该观看者第一眼以形成一右影像。该左光信号产生器产生数条左光信号，并由该左合光元件重定向并投射至该观看者第二眼以形成一左影像。

在某些实施例中，该系统可以进一步包括一深度感测模块，一定位模块，一反馈模块，及/或一界面模块。该深度感测模块可以测量一物体与周遭环境之间的距离，包括该目标物体及该观看者。该定位模块可判定观看者在室外以及室内的位置与方向。当预设条件成立时，反馈模块提供观看者反馈。该界面模块使观看者控制该系统的各项功能。

本发明包含数种用于影像处理的系统操作模式包含阅读模式，寻找模式，追踪模式，无碰撞模式，步行引导模式。在阅读模式下，从该影像撷取模块接收该目标影像后，该处理模块可以将该目标物体中的文字/语言跟其他信息分开，并使用光学字符识别功能辨识文字/语言中的字母及单词。另外，该处理模块可以将符号、标记、图画、图表、草图、标志从背景信息中分离出来，供观看者使用。然后，根据每个观看者的视力特征设定该观看者的显示偏好，该特征来自该观看者的物理特征并在校正阶段测量。该处理模块根据显示偏好放大尺寸、替这两种信息(包括文字/语言及符号等等)采用特定颜色、调整对比度及亮度、并决定显示该虚拟影像的位置及深度。

在寻找模式下，该处理模块可以区分该目标物体的几何特征及其他信息，例如点、线、边、曲线、转角、轮廓、且/或表面。然后，根据该观看者的显示参考，该处理模块处理该虚拟影像，使其具有易于吸引观看者注意力的颜色、对比度及亮度。

在追踪模式下在目标侦测模块确定目标物体后，例如公交车，该影像撷取模块扫描周遭环境以找出并定位该目标物体。在该处理模块根据特定用途处理该目标影像，以替该虚拟影像产生信息。当目标物体定位后，通常该虚拟影像被显示以叠合于该目标物体上，且当该目标物体移动时，虚拟影像维持叠合于该目标物体上。

在无碰撞模式下，该处理模块持续扫描周遭环境、辨认周遭环境内的物体、侦测这些物体移向该观看者的速度、并辨识可能在一预设时间内碰撞到该观看者的一潜在碰撞物体。该处理模块可产生该虚拟影像的数据。接着显示模块显示给观看者该虚拟影像以警示可能产生的碰撞。

在步行引导模式下，该模块持续扫描周遭环境，特别是该观看者前方的走道、辨认周遭环境内的物体、侦测该观看者在预设时间内会走入的前方区域的地势变化、并辨识会造成滑倒、跌倒及绊倒的一物体。该处理模块可以处理该目标影像以获得该目标物体的表面，并产生该虚拟影像的信息。该显示模块接着显示该虚拟影像以叠合在该目标物体(例如楼梯)上。

在某些实施例中，该系统进一步包括一可戴在该观看者头上的支撑结构。该目标侦测模块、该影像撷取模块、该处理模块及该显示器模块由该支撑结构所乘载。在一实施例中，该系统为一头戴式装置，例如一虚拟现实护目镜及一扩增实境/混合实境眼镜。

附图说明

图1为一方块图，说明本发明中带有各种模块的系统的一实施例。

图2为一示意图，说明本发明中作为头戴式装置的动态影像处理系统的一实施例。

图3A-图3D为示意图，说明本发明中使用动态影像处理系统读取一文件的一实施例。

图4A-图4B为示意图，说明本发明中使用动态影像处理系统读取书架上的书的标题的一实施例。

图5A-图5B为示意图，说明本发明中使用动态影像处理系统读取一瓶上的标签的一实施例。

图6为一示意图，说明本发明中使用动态影像处理系统读取一板子上手写公式的一实施例。

图7A-图7B为示意图，说明本发明中使用动态影像处理系统读取一街道上商店的远程标志的一实施例。

图8A-图8B为示意图，说明本发明中使用动态影像处理系统寻找桌面上的一手机的一实施例。

图9A-图9B为示意图，说明本发明中使用动态影像处理系统寻找墙上的插座的一实施例。

图10为一示意图，说明本发明中使用动态影像处理系统寻找街上的商店的一实施例。

图11为一示意图，说明本发明中使用动态影像处理系统追踪一公交车及一虚拟双眼像素及相对应的该右影像像素与该左影像像素对之间关系的一实施例。

图12A-图12B为示意图，说明本发明中使用动态影像处理系统避免公交车擦撞的一实施例。

图13A-图13B为示意图，说明本发明中使用动态影像处理系统引导上下楼的一实施例。

图14为流程图，说明本发明中追踪一目标物体的过程的一实施例。

图15为流程图，说明本发明中扫描周遭环境以避开潜在碰撞物体的过程的一实施例。

图16为示意图，说明本发明中从一光信号产生器至一合光元件，再到一观看者视网膜的光线路径。

图17为示意图，说明本发明中由右光信号及左光信号形成的该虚拟双眼像素。

图18为一表格，说明本发明中一查询表的一实施例。

具体实施方式

本文中所使用的词汇是用来描述本发明特定具体实施例中的细节，所有的词汇应以最大的范畴做合理解读。某些词汇将在以下特别强调；任何限制性用语将由具体实施例定义。

本发明涉及通过虚拟影像显示技术来改善一观看者与真实世界的互动的系统及方法。具体而言，该系统及方法确定一目标物体、撷取该目标物体的一目标影像、将该目标影像处理为一虚拟影像、接着以一预设大小、颜色、对比度、亮度、位置及/或深度向该观看者显示该虚拟影像。因此，该观看者，可能为视力受损的人，可以清楚的理解并舒适地与真实世界互动，例如阅读文本/语言、辨识人及物体、定位人及物体、追踪移动的物体、上下楼梯、移动而不与人及物体产生碰撞等。该目标物体及该虚拟影像分别可以为二维或三维的。

一般而言，该虚拟影像跟该目标影像有关。具体来说，该第一类虚拟影像可以包括在该目标物体上的手写或印刷的文字/语言，这些文字/语言是从该目标影像中撷取并识别。这类虚拟影像会以较大的字体及更高对比度度显示，让观看者可以读取及理解文字/语言中的内容。第二类虚拟影像可以包括该目标物体的几何特征，这些几何特征是从该目标影像截取并识别，包括点、线、边、曲线、转角、轮廓或表面。这类虚拟影像通常会以一明亮或互补色显示，以强调该目标物体的形状及/或位置。除了该目标物体上的文字/语言或该目标物体的几何特征外，该虚拟影像可能包括额外的信息，这些额外信息是从其他资源中获得，例如程序库、电子数据库、运输管制中心、通过网络或通讯连接的网页、或该系统中的其他元件(例如由一深度感测模块提供的该目标物体及该观看者之间的距离)。此外，该虚拟影像可以包括各种标记，以将上述信息及该目标物体联系起来，例如跟该目标物体之间的距离。

如图1所示，一动态影像处理系统100包括一目标侦测模块110，用于为一观看者确定一目标物体；一影像撷取模块120，用于撷取该目标物体的一目标影像；一处理模块150，用于接收该目标影像、根据一预设处理模式处理该目标影像、并提供跟该目标影像有关的一虚拟影像的信息给一显示器模块160；该显示器模块160，通过分别投射数条右光信号至一观看者第一眼并投射数条左光信号至一观看者第二眼显示该虚拟影像。此外，一第一右光信号及一相对应的第一左光信号由该观看者所感知，以在一第一深度显示该虚拟影像的一第一虚拟双眼像素，且该第一深度与投射至该观看者眼睛的该第一右光信号及该相对应的第一左光信号之间的一第一角度有关。

该目标侦测模块110可以有数种侦测模式。在第一实施例中，该目标侦测模块110可以包括一眼动追踪单元112，用于追踪该观看者的眼睛以确定一目标物体。举例来说，该目标侦测模块110使用该眼动追踪模块112侦测该观看者的凝视位置及深度，接着确定位于凝视位置及深度的该物体为该目标物体。在第二实施例中，该目标侦测模块110可以包括一手势辨认单元114，用于辨识该观看者的手势以确定一目标物体。举例来说，该目标侦测模块110使用该手势辨认单元114侦测该观看者食指所指的方向及物体，并确定该观看者食指所指的物体为该目标物体。在第三实施例中，该目标侦测模块110可以包括一声音辨认单元116，用于辨认该观看者的声音以确定一目标物体。举例来说，该目标侦测模块110使用该声音辨认单元116辨认该观看者声音的意义，并确定该声音所提到的物体为该目标物体。在第四实施例中，该目标侦测模块110可以通过执行预设的算法自动确定一目标物体，不需要观看者任何动作。举例来说，该目标侦测模块110使用一相机或一雷达(光线检测及距离检测)持续扫描周遭环境、侦测该物体移向该观看者的速度、辨认在一预设时间内可能碰撞到该观看者的一潜在碰撞物体、并确定该潜在碰撞物体为该目标物体。

该影像撷取模块120可以为一相机，用于撷取该目标物体的一目标影像以进行进一步影像处理。该影像撷取模块120可以包括一物体辨认单元122以辨认该目标物体，例如手机、皮夹、插座及公交车。该物体辨认单元122也可以执行光学字符识别(OCR)功能，以辨认该目标物体上的文字。该影像撷取模块120也可以通过使用该物体辨认单元122扫描周遭环境，以辨识及定位该目标物体。

该处理模块150可以包括处理器，例如CPU、GPU、人工智能处理器及内存，例如SRAM、DRAM及闪存。该处理模块150可以根据该系统100的预设操作模式，使用各种不同的方式处理该目标影像以产生该虚拟影像的信息给一显示器模块160。此外，该影像模块可以使用以下方法改善该虚拟影像的质量：(1)取样及量化，将附加影像数据化，而量化阶级决定该数据化虚拟影像中的灰阶(或红/黄/蓝)。(2)直方图分析及/或直方图均衡化，以有效地分散最高的亮度值，即扩展虚拟影像的亮度范围。(3)伽马校正或对比度选择，以调整该虚拟影像。

该显示器模块160通过分别投射数条右光信号至一观看者第一眼并投射数条相对应的左光信号至一观看者第二眼，以显示该虚拟影像。此外，一第一右光信号及一相对应的左光信号会由该观看者所感知并在一第一深度显示该虚拟影像的一第一双眼虚拟像素，且该第一深度跟投射到该观看者眼睛的该第一右光信号及该第一左光信号之间的一第一角度有关。该显示器模块160包括一右光信号产生器10、一右合光元件20、一左光信号产生器30及一左合光元件40。该右光信号产生器10产生数条右光信号，并由一右合光元件20重定向至该观看者的第一眼，以形成一右影像。该左光信号产生器30产生数条左光信号，并由一左合光元件40重定向至该观看者的第二眼，以形成一左影像。

该系统100可以进一步包括一深度感测模块130。该深度感测模块130可以测量一物体跟周遭环境之间的距离，包括该目标物体及该观看者。该深度感测模块130可以为一深度感测相机、雷达或其他飞时测距(ToF)传感器。其他装置，例如结构光模块、超声波模块或红外光模块，也可以作为一深度感测模块以侦测周遭环境中物体的深度。该深度感测模块可以侦测该观看者手势的深度，并提供给该手势辨认单元该信息，以促进该观看者的手势辨认。该深度感测模块130可以单独或与一相机一起建立一周遭环境的深度图。该深度图可以用于追踪该目标物体、手、笔状手写笔的运动，并进一步用于侦测一观看者的手是否触碰到一特定物体或表面。

该系统100可以进一步包括一定位模块140，用于确定该观看者在市内及室外的位置及方向。该定位模块140可以应用下列元件及技术：GPS、陀螺仪、加速计、移动网络、WiFi、超宽频带(UWB)、蓝牙、其他无线网络、室内及室外定位的无线电信标。该定位模块140可以包括一整合式惯性传感器(IMU)，这是一个使用加速计、陀螺仪、有时还有磁力计的组合来测量及反映身体的比力、角速度及身体面向的电子装置。一使用包括一定位模块140的该系统100的观看者可以通过各种有线及/或无线的通讯方式向其他观看者分享其位置信息。该功能可以方便一观看者在远程定位另一位观看者。该系统也可以使用来自该定位模块140的该观看者位置，取得该位置周遭环境的信息，例如地图及附近商店、餐厅、银行、教堂等等。

该系统100可以进一步包括一反馈模块170。该反馈模块170在预设情况满足时提供反馈给该观看者，例如声音或震动。该反馈模块170可以包括一扬声器以提供声音，例如警报，以警告该观看者做出行动以避免碰撞或跌倒；及/或包含一震动产生器以提供各种不同的震动。这些类型的反馈可以由该观看者通过一界面模块180设定。

该系统100可以进一步包括一界面模块180，可以让该观看者控制该系统100的各种功能。该界面模块180可以通过声音、手势、手脚移动以及踏板、键盘、鼠标、旋钮、开关、触控笔、按钮、杆子、触控屏幕等形式进行操作。

一外部服务器190并不为该系统100的一部分，但是可以提供额外的运算效能以应付更复杂的计算。上述的每个模块及该外部服务器190皆可以通过有线或无线的方式进行通讯。无线的方式包括WiFi、蓝牙、近场通讯(NFC)、网络、电信、无线电波(RF)等等。

有数种用于影像处理的系统操作模式。第一操作模式可以为该观看者的阅读模式。在阅读模式下，从该影像撷取模块120接收该目标影像后，该处理模块150可以将该目标物体中的文字/语言(阅读模式中第一数据型态)跟其他信息分开，并使用光学字符识别功能辨识文字/语言中的字母及单词。除了文字及语言之外，该处理模块可以将符号、标记、图画、图表、草图、标志(阅读模式中第二数据型态)从背景信息中分离出来，供观看者使用。然后，根据每个观看者的视力特征设定该观看者的显示偏好，该特征来自该观看者的物理特征并在校正阶段测量。该处理模块150根据显示偏好放大尺寸、替这两种信息(包括文字/语言及符号等等)采用特定颜色、调整对比度、并决定显示该虚拟影像的位置及深度。举例来说，该虚拟影像可能需要在一个观看者的视觉灵敏度为0.5，但另一位观看者的视觉灵敏度为0.8的情况下显示。对应到视觉灵敏度为0.5的影像尺寸会对应到视觉灵敏度为0.8的影像尺寸更大。因此，当对应到视觉灵敏度为0.5的影像尺寸被使用时，在相同面积或空间就会显示比较少其他信息，例如文字。同样的，一观看者的眼睛可能对于绿光较敏感，而其他观看者的眼睛对红光较敏感。在校正的过程中，该系统可以替每位观看者设定尺寸、颜色、对比度、亮度、位置及深度偏好，客制化该虚拟影像。该最佳显示参数可以替该观看者降低视觉疲劳并提高可见度。为了方便该观看者读取这两种信息，可以根据周遭环境的颜色及光强度，进一步调整尺寸、颜色、对比度、位置及/或深度。举例来说，当周遭环境的光强度较低时，该虚拟影像需要以更高亮度或高对比度度显示。此外，该虚拟影像需要以周遭环境的互补色显示。

在阅读文章或书籍时，该带有放大字体及适当颜色/对比度的虚拟影像可以显示在该目标物体旁边(靠近但不重叠)的位置且与该目标物体的深度大致相同。于是，该观看者可以不用来回调整凝视深度，便轻易阅读该虚拟影像中的文字/语言。对于读取远处的标志或标记，该虚拟影像可以在离该观看者较近的地方显示并附上该观看者与该目标物体之间的预估距离，例如50米。

第二操作模式可以为该观看者的寻找模式。在一情境下，该观看者想找他的车钥匙、手机或皮夹。在另一情境下，该观看者想找到开关(例如电灯开关)或插座(例如电源插座)。在寻找模式下，该处理模块150可以区分该目标物体的几何特征及其他信息，例如点、线、边、曲线、转角、轮廓、及/或表面。该处理模块150可以使用数种已知的算法，例如边角检测、曲线拟合、边缘检测、全局结构提取、特征直方图、直线检测、连通元件标记法、影像结构、移动估测等，以提取这些几何特征。然后，根据该观看者的显示偏好，该处理模块150处理该虚拟影像，使其具有易于吸引观看者注意力的颜色、对比度及亮度。在一实施例中，该虚拟影像可能包括互补色，例如红色及绿色，交互并重复闪烁。为了方便该观看者寻找/定位该目标物体，该目标物体通常会重叠在该目标物体上并跟该目标物体位于大致相同的深度。除了该目标物体的几何特征外，该处理模块150可以进一步包括从该观看者凝视的位置到该目标物体所在位置的标记或标志，例如一箭头，以引导该观看者眼睛辨识该目标物体。同样地，可以根据周遭环境的颜色及光强度，进一步调整尺寸、颜色、对比度、位置及/或深度。

第三操作模式可以为该观看者的追踪模式。在一情境下，该观看者想搭乘交通工具，例如公交车，需要追踪该交通工具的移动直至它为乘客停下。在另一情境下，该观看者需要将其视线放在一移动物体上，例如跑步中的猫狗或飞行中的无人机或风筝。该处理模块150根据特定用途处理该目标影像，以替该虚拟影像产生信息。举例来说，在追踪一公交车时，该虚拟影像可以为公交车号码，包括数字及字母，并且公交车号码外有一圆圈。在追踪一跑动中的狗时，该虚拟影像可能为该狗的轮廓。在追踪模式下，该虚拟影像通常需要与该目标物体相重叠并与该目标物体在大致相同深度，使该观看者可以轻易的定位该目标物体。此外，为了追踪一移动中的目标物体，该虚拟影像必须在该目标物体移动时保持重叠。因此，根据由该影像撷取模块120连续撷取到该目标影像，该处理模块150需要计算出该虚拟影像的下个显示位置及深度，若可以的话，还需预测该目标物体的动作路径。这些用于显示一移动中虚拟影像的信息都会提供给该显示器模块160。

第四操作模式可以为无碰撞模式。无论是移动中或直立，该观看者都想避免与汽车、机车、脚踏车、人或是玻璃门产生碰撞。在无碰撞模式下，该处理模块150可以提供运算效能以支持该目标侦测模块110使用一相机或一雷达(光线测量及距离测量)持续扫描周遭环境、辨认周遭环境内的物体、侦测这些物体移向该观看者的速度、并辨识可能在一预设时间内(例如30秒)碰撞到该观看者的一潜在碰撞物体。一旦一潜在碰撞物体被确认为该目标物体，该处理模块150可以处理该目标影像以获得该目标物体的轮廓，并产生该虚拟影像的信息。为了警告该观看者立刻做出反应以避免碰撞意外，该虚拟影像需要马上吸引到该观看者的注意。为了达到这个目的，该虚拟影像可能包含互补色，例如红色及绿色，相互并重复闪烁。与追踪模式相同，该虚拟影像可以与该目标物体重叠并与该目标物体在大致相同深度。此外，该虚拟影像通常必须保持重叠在快速向该观看者移动的物体上。

第五操作模式可以为步行引导模式。该观看者想在走路时预防滑倒、跌倒及绊倒。在一情境下，当该观看者在上下楼时，他不想因为失足而跌倒。在另一情境下，该观看者想在走近之前先注意到路面不平整(例如路面与人行道之间的高低差)、坑洞及障碍(例如砖块或石头)。在步行引导模式下，该使用一相机(影像撷取模块120或一独立相机)或一雷达(光线侦测及距离侦测)的目标侦测模块110持续扫描周遭环境，特别是该观看者前方的走道、辨认周遭环境内的物体、侦测该观看者在预设时间内(例如五秒)会走入的前方区域的地势变化、并辨识会造成滑到、跌倒及绊倒的一物体(例如高度差超过十公分)。该处理模块150可以提供运算效能以支持该目标侦测模块110辨认该物体。一旦该物体被确定为该目标物体，该处理模块150便会处理该目标影像以获得该目标物体的表面，并产生该虚拟影像的信息。为了警告该观看者立即做出反应以避免滑倒、跌倒及摔倒，该虚拟影像可以进一步包括一醒目的标志，显示在该观看者那一刻所凝视的位置。

如图2所示，该系统100进一步包括一可戴在该观看者头上的支撑结构。该目标侦测模块110、该影像撷取模块120、该处理模块150及该显示器模块160(包括一右光信号产生器10、一右合光元件20、一左光信号产生器30、及一左合光元件40)皆由该支撑结构所乘载。在一实施例中，该系统为一头戴式装置，例如一虚拟现实护目镜及一扩增实境/混合实境眼镜。在该情况下，该支撑结构可以为一副带有镜片或不带镜片的眼镜。镜片可以为用于矫正近视或远视的处方镜。此外，该深度感测模块130及该定位模块140皆可以由该支撑结构所乘载。

图3A至图3D说明该观看者使用动态影像处理系统阅读文章。如图3A所示，该目标侦测模块110侦测该观看者凝视的位置及深度(虚线圆圈310)以确定该目标物体(在虚线圆圈320中的文字)。该影像撷取模块120撷取该目标物体的该目标影像给该处理模块150处理并产生该虚拟影像的信息。如图3B所示，该虚拟影像330包括该目标物体上的放大文字会显示在该文件的大致相同深度的空白区域。如图3C所示，该目标侦测模块110侦测该读者的食指所碰触到该文件的特定位置并确定该目标物体320。图3C也说明该显示器模块160用黑白反转格式显示该由该处理模块150处理的虚拟影像350。该背景及该文字可以为互补色，例如绿色与红色、黄色与紫色、橘色与蓝色、以及绿色与洋红色。如图3D所示，该目标侦测模块110通过手势辨认单元114侦测该读者食指所指的文件上特定位置，并确定该目标物体320。图3D也说明该显示器模块160以立体形式在更靠近观看者处显示该虚拟影像360。

图4A至图4B说明该观看者使用动态影像处理系统读取书架上的一本书的标题。如图4A所示，该目标侦测模块110侦测该观看者眼睛凝视的位置及深度(虚线圆圈410)以确定该目标物体—虚线方框420中的书的标题。该影像撷取模块120撷取该目标物体的一目标影像，让该处理模块150处理并产生该虚拟影像的信息。如图4B所示，该虚拟影像430位于该书(该目标物体)旁边并在大致相同深度，包括放大文字，以提供该书的标题、作者、出版社及价格等信息。该系统100从网络上获得关于该出版社及价格的信息。

图5A至图5B说明该观看者使用动态影像处理系统读取一瓶子上的成分标签。在没有该系统100辅助的情况下，该观看者因为字体太小且位于曲面瓶身上而有阅读标签上文字的困难。如图5A所示，该目标侦测模块110侦测该观看者食指所指位置及深度以确定该目标物体—虚线方块520中的瓶子的成分标签。该影像撷取模块120撷取该目标物体的一目标影像，让该处理模块150处理并产生该虚拟影像的信息。如图5B所示，该虚拟影像530包括该成分标签上的文字，以预设的颜色、对比度及亮度，在该瓶子的成分标签旁边并在距离该观看者较近处显示。

图6说明该观看者使用动态影像处理系统读取一板子上的手写公式。在没有该系统100辅助的情况下，该观看者因为手写字太潦草且太小而有阅读手写公式的困难。如图6所示，该目标侦测模块110侦测粉笔触碰板子的位置及深度以确定该目标物体—在虚线圆圈620中的公式。该影像撷取模块120撷取该目标物体的一目标影像，让该处理模块150处理并产生该虚拟影像的信息。如图6所示，该虚拟影像630包括该公式，以预设的颜色、对比度及亮度，在该公式旁边并在与板子大致相同深度处显示。

图7A至图7B说明该观看者使用动态影像处理系统读取一远处商店标志。在没有该系统100辅助的情况下，该观看者因为该标志太小且太远而无法读取该标志。如图7A所示，该目标侦测模块110侦测该观看者食指所指的位置及深度—虚线方框720中的该商店标志。该影像撷取模块120撷取该目标物体的一目标影像，让该处理模块150处理并产生该虚拟影像的信息。如图7B所示，该虚拟影像730包括放大标志，以预设的对比度及亮度，在更靠近该观看者处显示。该虚拟影像也包括该观看者跟该标志之间的距离(例如50米)，该距离由该深度感测模块130所提供。

图8A至图8B说明该观看者使用动态影样处理系统寻找桌上的手机。如图8A所示，该目标侦测模块110通过该声音辨认单元116侦测该观看者声音以确定该目标物体—在虚线方框820中的手机。该影像撷取模块120扫描周遭环境以辨识及定位该观看者的手机。该处理模块150接着处理该目标影像并产生该虚拟影像的信息。如图8B所示，该虚拟影像830包括该手机的表面，以预设的颜色、对比度及亮度叠加在该手机上并在大致相同的深度显示。通常会使用明亮的颜色吸引观看者的注意。该虚拟影像也包括一在该观看者眼睛原始凝视的位置与该手机的位置之间的箭头，以引导该观看者去定位该手机。

图9A至图9B说明该观看者使用动态影像处理系统寻找一电源插座。如图9A所示，该目标侦测模块110通过该声音辨认单元116侦测该观看者的声音以确定该目标物体—该电源插座910。该影像撷取模块120扫描周遭环境以确认并定位该电源插座。该处理模块150接着处理该目标影像并产生该虚拟影像的信息。如图9B所示，该虚拟影像930包括该电源插座的轮廓，以一预设的颜色、对比度及亮度叠加在该电源插座上，并在跟该电源插座大致相同深度处显示。

图10说明该观看者使用动态影像处理系统寻找街上的商店。如图10所示，该目标侦测模块110通过该声音辨认单元116侦测该观看者的声音以确定该目标物体—商店。该系统100使用该影像撷取模块120扫描周遭环境，并使用该位置模块140确认该观看者的位置，接着从地图及其他网络上的其他资源检索储存数据。该处理模块150接着处理该目标影像并产生该虚拟影像的信息。如图10所示，该虚拟影像1030包括商店的种类，例如餐厅、旅馆及商家，会以一预设的颜色、对比度及亮度叠加在商店上，并在与商店大致相同深度处显示。

图11说明该观看者使用动态影像处理系统追踪一公交车驶向一公车站。该目标侦测模块110通过该声音辨认单元116侦测该观看者的声音以获得该公交车号码，例如公交车路线号8，以此确认该目标物体—该公交车8。该系统100使用该影像撷取模块120扫描周遭环境以确认及定位该即将到站的公交车8。该处理模块150接着处理该目标影像并产生该虚拟影像的信息。如图11所示，该虚拟影像70包括该号码8及该圆圈，以一预设的尺寸、颜色、对比度及亮度叠加在该公交车8上，并在跟该公交车8大致相同深度处显示。此外，该虚拟影像70在该公交车从一第二目标位置T2向该公车站移动至一第一目标位置T1时会保持叠加在该公交车上。

如图11所示，该显示器模块160根据该观看者的眼睛信息，例如双眼瞳孔52,62的位置，通过投射数条右光信号至一观看者的第一眼50以形成一右影像122，并投射相对应数条左光信号至一观看者第二眼60以形成一左影像124，以显示该虚拟影像70，例如一圆圈里的数字8。该虚拟影像70显示在一第一目标位置及一第一目标深度(统称为第一目标地点或是T1)。该显示器模块160包括一右光信号产生器10以产生数条右光信号，如NLS_1、NLS_2、NLS_3，分别为12,14,16；一右合光元件20将该数条右光信号重定向至一观看者的右视网膜54上；一左光信号产生器30以产生数条左光信号，如ALS_1、ALS_2、ALS_3，分别为32,34,36；及一左合光元件将该数条左光信号重定向至该观看者的左视网膜上64上。该观看者有一右眼50，包含一右瞳孔52及一右视网膜54；以及一左眼60，包含一左瞳孔62及一左视网膜64。人类瞳孔的直径一般在2厘米至8厘米之间，其中部分取决于环境的光量。成年人右瞳孔大小在明亮环境下约为2至4厘米，在阴暗环境下约为4至8厘米。该数条右光信号会由该右合光元件20重定向，穿过该右瞳孔52并最终由该右视网膜54所接收。该右光信号NLS_1是指在一特定水平面上，该观看者的右眼可以看到的最右边光信号。该右光信号NLS_2是指在一特定水平面上，该观看者的右眼可以看到的最左边光信号。在接收到该重定向右光信号后，该观看者在重定向后的右光信号NLS_1及NLS_2的延伸部分所包含的区域A中，感知到位于第一目标地点T1的该虚拟影像70的数个右像素(形成右影像)。该区域A被称为右眼50的视野。同样的，该数条左光信号会由该左合光元件40重定向，穿过该左瞳孔62并最终由该左视网膜64所接收。该左光信号ALS_1是指在一特定水平面上，该观看者的左眼可以看到的最右边光信号。该左光信号ALS_2是指在一特定水平面上，该观看者的左眼可以看到的最左边光信号。在接收到该重定向左光信号后，该观看者在重定向后的左光信号ALS_1及ALS_2的延伸部分所包含的区域B中，感知到该虚拟影像70的数个左像素(形成左影像)。该区域B被称左眼60的视野。当两边的数个右像素及数个左像素在区域A及区域B的重叠部分区域C中显示时，至少一显示一右像素的右光信号以及相对应显示一左像素的左光信号会融合，并在区域C的一特定深度显示一虚拟双眼像素。该第一目标深度D1与投射到观看者视网膜的重定向右光信号16’及重定向左光信号36’之间的角度θ1有关，该角度也被称为辐辏角。

如上所述，该观看者第一眼50感知到该虚拟影像70的该右影像122，该观看者第二眼60感知到该虚拟影像70的该左影像124。对于有适当影像融合功能的观看者，因为他的大脑会将该右影像122及该左影像124融合为一双眼虚拟影像，所以会在该第一目标位置及该第一目标深度感知到一单一第一虚拟影像。然而，若一观看者有一具有视觉障碍的弱眼，他则没有适当的影像融合功能。在这种情况下，该观看者的第一眼50及第二眼60会分别在第一右影像位置及深度与第一左影像位置及深度感知到该右影像122及该左影像124(复视)。该第一右影像位置及深度跟该第一左影像位置及深度会接近但不一样。此外，该第一右影像及该第一左影像的位置及深度跟该第一目标位置及该第一目标深度接近。同样的，该第一目标深度D1与投射到观看者眼睛的该第一右光信号16’及相对应的该第一左光信号36’的间的该第一角度θ1有关。

该显示器模块160显示该虚拟影像70从该第二目标位置及该第二目标深度(统称第二目标地点或是T2)该移动至第一目标地点T1。该第一目标深度D1跟第二目标深度D2不同。该第二目标深度D2跟该第二右光信号16’及相对应第二左光信号38’之间的一第二角度θ2有关。

图12A至图12B说明该观看者使用动态影像处理系统的无碰撞模式以避免碰撞。如图12A所示，该系统100的该目标侦测模块110可以使用一相机或雷达持续扫描周遭环境、辨认周遭环境中的物体、侦测这些物体向观看者移动的速度、辨认在一预设时间内，例如30秒，可能会与该观看者碰撞的一潜在碰撞物体，并接着确定该潜在碰撞物体为该目标物体。该处理模块150接着处理该目标影像并产生该虚拟影像的信息。如图12A所示，为了警告该观看者，该虚拟影像1220包括一标志，以一预设颜色、对比度及亮度叠加在该即将到来的车上，并在跟该即将到来的车大致相同的深度处显示。此外，该虚拟影像在该车移动时可以保持叠加在该车上。

如图12B所示，当该观看者走向一玻璃门1250时，该系统100的该目标侦测模块110可以使用一相机或一雷达持续扫描周遭环境、辨认该玻璃门并预估该观看者在不改变方向的情况下，在预设时间内，例如30秒，会撞到该玻璃门，并接着确定该潜在碰撞物体1250为该目标物体。该处理模块150接着处理该目标影像并产生该虚拟影像的信息。如图12B所示，为了警告该观看者，该虚拟影像1260包括一标志，以一预设尺寸、亮度、对比度及亮度叠加在该玻璃门上，并在与该玻璃门大致相同的深度显示。

图13A至图13B说明该观看者使用动态影像处理系统引导该观看者上楼梯及下楼梯。如图13A所示，当该观看者走向往下的阶梯时，该系统100的该目标侦测模块110持续扫描周遭环境，以侦测不平的地面并确定为该目标物体—阶梯。该影像撷取模块120撷取阶梯的影像。该处理模块150接着处理该目标影像并产生该虚拟影像的信息。如图13A所示，为了引导该观看者，该虚拟影像1310包括下一阶的踏面部分的部分表面，以一预设的颜色、对比度及亮度叠加在踏面上，并在跟踏面部分大致相同的深度显示。该虚拟影像可以包括接下来的踏面部分1320，并以不同颜色显示

如图13B所示，当该观看者走向往上的阶梯时，该系统100的该目标侦测模块110侦测不平的地面并确定该目标物体—阶梯。该处理模块150接着处理该目标影像并产生该虚拟影像的信息。如图13B所示，为了引导该观看者，该虚拟影像1330包括下一阶的踏面部分的表面，以一预设的颜色、对比度及亮度叠加在踏面部分上，并在跟踏面部分大致相同的深度显示。该虚拟影像可以包括该阶梯的踢面部分的表面1340，并以不同颜色显示。

图14为一流程图，说明本发明中追踪一目标物体的过程的一实施例。在步骤1410，该物体侦测模块确定一目标物体(例如一交通工具)；在步骤1420，该显示器模块显示一警告虚拟影像，以通知该观看者该目标物体在预设时间内会到达；在步骤1430，该系统100扫描周遭环境以辨认该目标物体；在步骤1440，一影像撷取模块撷取该目标物体的一目标影像；在步骤1450，一显示器模块以一预设尺寸、颜色、对比度、亮度、位置或深度，通过分别投射数条右光信号至一观看者第一眼并投射相对应数条左光信号至一观看者第二眼，为一观看者显示一虚拟影像(例如交通工具识别号码)。

图15为一流程图，说明本发明中扫描周遭环境中该避开的物体的过程的一实施例。在步骤1510，该系统100扫描周遭环境以辨认一潜在碰撞物体(例如一玻璃门)；在步骤1520，一目标物体模块确定该潜在碰撞物体是否为该目标物体；在步骤1530，如果该潜在碰撞物体为该目标物体，则一影像撷取模块撷取该目标物体的一目标影像；步骤1540，一显示器模块以一预设尺寸、颜色、对比度、亮度、位置或深度，通过分别投射数条右光信号至一观看者第一眼并投射相对应数条左光信号至一观看者第二眼，为一观看者显示一虚拟影像。在步骤1550，一反馈模块提供一声音(例如一警报)或震动反馈给该观看者。

下面将详细讨论该显示器模块160在预设位置及深度产生虚拟影像的方法、以及依照需求移动该虚拟影像的方法。于2020年11月6日提交的PCT国际申请PCT/US20/59317，标题为“SYSTEM AND METHOD FOR DISPLAYING AN OBJECT WITH DEPTHS”，其全部内容通过引用纳入本文。

如图11所示，该观看者在该观看者前方的区域C感知到该虚拟影像70，该数字8及该圆圈。该虚拟影像70跟现实世界中的该公交车8重叠。在一第一目标地点T1(深度为D1)显示的虚拟物体的影像70由其影像的中点表示，即一第一双眼像素72；当该虚拟物体70前段时间在一第二目标地点T2(深度为D2)时，由一第二双眼像素74表示。该第一重定向右光信号16’(该第一右光信号)与相对应的该第一重定向左光信号36’(该第一左光信号)之间的该第一角度为θ1。该第一深度D1跟该第一角度θ1有关。特别是，该虚拟影像70的第一虚拟双眼像素的第一深度可以由该第一重定向右光信号及相对应该第一重定向左光信号光线延伸路径的间的第一角度θ1所决定。结果，该第一虚拟双眼像素70的该第一深度D1可以由下列公式算出近似值：

该右瞳孔52与该左瞳孔62之间的距离为瞳距(IPD)。相同的，该第二重定向右光信号18’(该第二位置右光信号)与相对应该第二重定向左光信号36’(该第二位置左光信号)之间的该第二角度为θ2。该第二深度D1跟该第二角度θ2有关。特别是，该虚拟物体70在T2的第二虚拟双眼像素74的第二深度D2可以通过相同公式，由该第二重定向右光信号及相对应该第一重定向左光信号光线延伸路径之间的第二角度θ2所决定。因为该第二虚拟双眼像素74跟该第一虚拟双眼像素72，在距离该观看者较远的地方被感知(深度较大)，该第二角度θ2会比该第一角度θ1小。

此外，虽然NLS_2的该重定向右光信号16’与ALS_2的该重定向左光信号72共同在该第一深度D1显示一第一虚拟双眼像素72。NLS_2的该重定向右光信号16’可能会和相对应的ALS_2的该重定向左光信号36’有相同或不同的视角。换句话说，虽然该第一角度θ1决定该第一虚拟双眼像素72的深度，但NLS_2的该重定向右光信号16’与相对应的ALS_2的该重定向左光信号36’可能有视差。因此，红绿蓝(RGB)色光的强度及/或该右光信号及该左光信号的亮度可以大致相同，也可以因为阴影、视角等等的关系而有些许不同，以达到更好的3D效果。

如上所述，该数条右光信号是由该右光信号产生器产出、由该右合光元件重定向、接着由该右视网膜扫描后，在该右视网膜上形成一右影像122(图16中右视网膜影像86)。同样地，该数条左光信号是由该左光信号产生器产出、由该左合光元件重定向、接着由该左视网膜扫描后，在该左视网膜上形成一左影像124(图16中左视网膜影像96)。如图17所示的一实施例，一右影像122包含36个右像素(6x6矩阵)且一左影像124也包含36个调整像素(6x6矩阵)。在另一实施例中，一右影像122包含921600个右像素(1280x720矩阵)且一左影像124也包含921600个调整像素(1280x720矩阵)。该显示器模块160用来产生数条右光信号及相对应的数条左光信号，这些信号分别在右视网膜上形成该右影像122，且在该左视网膜上形成左影像124。结果，该观看者因为影像融合而在区域C中感知到一具有特定深度的虚拟物体。

参考图11，来自该右光信号产生器10的该第一右光信号16被该右合光元件20接收并反射。该第一重定向右光信号16’穿过该右瞳孔52到达该观看者的该右视网膜并显示该右像素R43。来自该左光信号产生器30的该相对应左光信号36被该左合光元件40接收并反射。该第一重定向左光信号36’穿过该左瞳孔62到达该观看者的该左视网膜并显示该左像素L33。作为影像融合的结果，一观看者感知到一个在该第一深度D1的该虚拟物体70，其深度是由该该第一重定向右光信号及相对应该第一重定向左光信号之间的该第一角度而决定。一重定向右光信号与一相对应左光信号之间的角度是由该右像素与该左像素之间的相对水平距离决定的。因此，一虚拟双眼像素的深度跟形成该虚拟双眼像素的该右像素及相对应该左像素之间的水平距离成反比。换句话说，该观看者感知到的一虚拟双眼像素越深，形成该虚拟双眼像素的该右像素与左像素之间的在X轴上的相对水平距离越小。举例来说，如图11所示，该观看者感知到的该第二虚拟双眼像素74比该第一虚拟双眼视觉像素72更深(也就是比该观看者更远)。因此，在视网膜影像122,124上，该第二右像素与该第二左像素之间的水平距离会比该第一右像素与该第一左像素之间的水平距离更小。具体来说，形成该第二虚拟双眼像素74的该第二右像素R41与该第二左像素L51之间的水平距离为四个像素长。然而，形成该第一虚拟双眼像素72的该第一右像素R43与该第一左像素L33之间的水平距离为六个像素长。

如图16所示的一实施例，说明了来自光信号产生器的数条右光信号及数条左光信号的光线路径。该数条右光信号由该右光信号产生器10产生并向该右合光元件20投射并形成一右合光元件影像(RSI)82。该数条右光信号由该右合光元件20重定向并汇聚至一微小右瞳孔影像(RPI)84穿过该右瞳孔52，最终到达该右视网膜54并形成一右视网膜影像(RRI)86(右影像122)。RSI,RPI,RRI皆由ixj个像素组成。每个右光信号NLS(i,j)都会经过相对应的像素，从RSI(i,j)到RPI(i,j)、接着到RRI(x,y)。举例来说，NLS(5,3)会从RSI(5,3)到RPI(5,3)，再到RRI(2,4)。相同地，该数条左光信号由该左光信号产生器30产生并向该左合光元件40投射并形成一左合光元件影像(LSI)92。该数条左光信号由该左合光元件40重定向并汇聚为一微小左瞳孔影像(LPI)94穿过该左瞳孔62，最终到达该左视网膜64并形成一左视网膜影像(LRI)96(左影像124)。LSI,LPI,LRI皆由ixj个像素组成。每个左光信号LLS(i,j)都会经过相对应的像素，从LSI(i,j)到LPI(i,j)、接着到LRI(x,y)。举例来说，LLS(3,1)会从LSI(3,1)到LPI(3,1)，再到LRI(4,6)。(0,0)像素是每个影像最左上方的像素。视网膜影像中的像素跟合光元件影像中相对应的像素为左右相反且上下颠倒的。在该光信号产生器及合光元件的相对位置都已经安排好的情况下，每个光信号都有其自己从一光信号产生器到一视网膜的光线路径。在右视网膜上显示一右像素的一右光信号及相对应在左视网膜上显示一左像素的一左光信号会共同形成一带有特定深度的虚拟双眼像素，并由一观看者感知。因此，一在空间中的虚拟双眼像素可以由一对右视网膜像素及左视网膜像素或是一对右合光元件像素及左合光元件像素表示。

一观看者在区域C中感知到一虚拟物体可以包括数个虚拟双眼像素，但在本发明中仅由一虚拟双眼像素表示。为了可以精确地描述一虚拟双眼像素在空间中的位置，每个空间中的位置都会有一个立体坐标，例如XYZ坐标，其他立体坐标系统可以用在其他实施例中。于是，每个虚拟双眼像素都有一个立体坐标：一水平方向、一垂直方向以及一深度方向。水平方向(或X轴方向)是沿着瞳孔间线的方向；垂直方向(或Y轴方向)沿着脸部中线的方向并垂直于水平方向；深度方向(或Z轴方向)是指正平面的法线并与水平方向及垂直方向皆垂直。水平方向坐标与垂直方向坐标在本发明中被统称为位置。

图17说明该右合光元件影像中的像素、该左合光元件影像中的像素、以及该虚拟双眼像素之间的关系。如上所述，该右合光元件影像中的像素每个都与该右视网膜影像中的像素(右像素)相对应。该左合光元件影像中的像素每个都与该左视网膜影像中的像素(左像素)相对应。然而，该视网膜影像中的像素与相对应在合光元件影像中的像素左右相反且上下颠倒。对于一由36个(6x6)右像素组成的右视网膜影像与一由36个(6x6)左像素组成的左视网膜影像，假设所有光信号都在该观看者两只眼睛的视野(FOV)内，则在区域C中有216个(6x6x6)虚拟双眼像素(显示为一点)。一重定向右光信号的光线延伸路径会与该影像中同一排的所有重定向左光信号的光线延伸路径相交。同样地，一重定向左光信号的光线延伸路径会与该影像中同一排的所有重定向右光信号的光线延伸路径相交。因此，一层会有36个(6x6)虚拟双眼视觉而空间中一共有六层。虽然在图17中看起来像是并行线，但是相邻两条光线延伸路径相交并形成虚拟双眼像素代表他们之间有一小角度。在视网膜中大约相同高度的一右像素及相对应的一左像素(即在右视网膜影像与左视网膜影像的同一行)通常会更早融合。因此，右像素与在视网膜影像同一行的左像素配对，并形成虚拟双眼像素。

如图18所示，创造了一查询表以方便识别每一虚拟双眼像素的右像素及左像素对。举例来说，216个虚拟双眼像素由36个右像素及36个左像素组成，编号从1至216。该第一(1^st)虚拟双眼像素VBP(1)代表右像素RRI(1,1)及左像素LRI(1,1)对。该第二(2^nd)虚拟双眼像素VBP(2)代表右像素RRI(2,1)及左像素LRI(1,1)对。该第七(7^th)虚拟双眼像素VBP(7)代表右像素RRI(1,1)及左像素LRI(2,1)对。该第三十七(37^th)虚拟双眼像素VBP(37)代表右像素RRI(1,2)及左像素LRI(1,2)对。该第两百一十六(216^th)虚拟双眼像素VBP(216)代表右像素RRI(6,6)及左像素LRI(6,6)对。因此，为了向该观看者显示一虚拟物体在空间中的一特定虚拟双眼像素，需要确定那一对右像素及左像素可以用来产生相对应的右光信号及左光信号。此外，在查询表中一虚拟双眼像素的每一行包括一指标，该指标导向储存该VBP的感知深度(z)及感知位置(x,y)的内存地址。额外的信息也可以储存在VBP，例如尺寸比例、重叠物品的数量、以及序列深度。尺寸比例为特定VBP与标准VBP相比的相对大小信息。举例来说，该虚拟物体显示在该观看者面前一米处的该标准VBP时，尺寸比例可以设为1。因此，对于在该观看者前面90公分的该特定VBP，该尺寸比例可以设为1.2。同样地，对于在该观看者前面1.5米的特定VBP，该尺寸比例可以设为0.8。当该虚拟物体从一第一深度移动到第二深度时，尺寸比例可以用来决定该虚拟物体显示的尺寸。尺寸比例在本发明中可以为放大率。重叠物品的数量为因重叠而部分或完全被其他物品覆盖的物品数量。序列深度包含各个重叠影像的深度排序。举例来说，有三个影像相互重叠。在最前面的该第一影像的序列深度设为1，而被该第一影像覆盖的该第二影像的序列深度设为2。重叠影像的数量与序列深度是用来决定当各种重叠物品移动时，该显示哪个影像及该影像的哪个部分。

该查询表由下列步骤创造。第一步骤：根据该观察者IPD获得一个人虚拟地图，该虚拟地图是由该虚拟影像模块在启动或校正时创建，它指定了区域C的边界，在该边界中该观察者可以因为右视网膜影像及左视网膜影像的融合而感知到一带有深度的虚拟物体。第二步骤：对于Z轴方向上的每个深度(Z轴上的每个点)计算辐辏角度，以确定该右视网膜影像及该左视网膜影像上的一对右像素及左像素，无论其X坐标与Y坐标。第三步骤：沿X轴方向移动该对右像素及左像素，以确定每对在一特定深度的右像素及左像素的X坐标及Z坐标，无论其Y坐标。第四步骤：沿Y轴方向移动该对右像素及左像素，以确定每对右像素及左像素的Y坐标。因此，可以确定该右视网膜影像及该左视网膜影像上的每对右像素及左像素的三维坐标系，如XYZ，以建立该查询表。此外，第三步骤跟第四步骤可以互换。

该光信号产生器10及30可以为激光、发光二极管(LED)，包含mini LED及microLED、有机发光二极管(OLED)、或超辐射发光二极管(SLD)、硅基液晶(LCoS)、液晶显示器(LCD)，或其任何组合作为其光源。在一实施例中，该光信号产生器10及30为一激光扫描投影器(LBS projector)，该投影器由一光源(包括一红光激光、一绿光激光及一蓝光激光)、一色彩修饰物(例如双色合光镜及偏振合光镜)、以及一二维可调式反光镜(例如一二维微机电系统镜)。该二维可调式反射镜可以由两个一维反射镜取代，例如两个一维微机电系统(MEMS)镜。该LBS投影器依序产生并扫描光信号以在一预设分辨率下形成一二维影像，例如每帧1280x720像素。因此，该投影器产生一像素的一光信号并一次性投射到该合光元件20及40上。为了让一观看者的一眼能够看到该平面影像，该LBS投影器需要在视觉暂留时间内(例如1/18秒)依序产生每个像素的光信号(例如1280x720个光信号)。因此，每个光信号的持续时间约为60.28纳秒。

在另一实施例中，该光信号产生器10及30可为一数字光处理投影器(DLPprojector)，该投影器可以一次产生一平面彩色影像。德州仪器的DLP技术为可以用来制造DLP投影器的数个技术之一。该完整平面彩色影像(可能由1280x720个像素所组成)会同时投射至该合光元件20及40上。

该合光元件20,40接收并重定向由该光信号产生器10,30所产生的数条光信号。在一实施例中，该合光元件20,40反射该数条光信号，所以该重定向光信号与该入射光信号在同一侧。在另一实施例中，该合光元件20,40折射该数条光信号，所以该重定向光信号与该入射光信号在不同侧。当该合光元件20,40作为一折射镜，其反射率变动很大，如20％至80％，部分取决于该光信号产生器的功率。在该领域有通常知识者知道如何根据该光信号产生器及该合光元件的特性决定适当的反射率。此外，该合光元件20,40在入射光信号另一侧的环境光下为光学透明的，所以该观看者可以在同一时间看到该实时影像。根据其应用不同，透明度的变动范围很大。若是应用在AR/MR，其透明度最好大于50％，例如在一实施例中约为75％。

该合光元件20,40可以由眼镜或像透镜一样的塑料材料制成，涂上特定材质(例如金属)让它部分透明且部分反射。使用一反射合光元件将光信号导向该观看者眼睛，而非现有技术中的导波器的一个优点为消除不良的绕射效应，例如重影、色彩置换等等。

上述所提供的实施例的描述是为了使所属领域具有通常技术者得以制造并使用本发明。对该实施例的各种修改对于所属领域具有通常技术者是显而易见的，并且此处确定的基本原理不需要创造性劳动便可以应用于其他实施例。因此，本发明所要求的主题不仅限于此处展示的实施例，而是要符合与此处公开的原理及新颖特征一致的最广范围。可以预想其他的实施例也在本发明所提供的精神及范围内。因此，本发明意旨为涵盖属于所附的权利要求权利要求书及其等同物的范围内的修改及变化。

Claims (41)

1.一种用于动态影像处理的一系统，包括：

一目标侦测模块，用于确定一观看者的一目标物体；

一影像撷取模块，用于撷取该目标物体的一目标影像；

一处理模块，用于接收该目标影像、根据一预设处理模式处理该目标影像、并提供给一显示器模块跟该目标影像有关的一虚拟影像的信息；

该显示器模块，通过分别投射数条右光信号至一观看者第一眼并投射相对应数条左光信号至一观看者第二眼显示该虚拟影像；以及

其中一第一右光信号及一相对应第一左光信号由该观看者感知并在一第一深度显示该虚拟影像的一第一虚拟双眼像素，该第一深度跟投射到该观看者眼睛的该第一右光信号及该相对应第一左光信号之间的一第一角度有关。

2.如权利要求1中所述的该系统，其中该目标侦测模块包括一眼动追踪单元，通过追踪该观看者的眼睛确定该目标物体。

3.如权利要求1中所述的该系统，其中该目标侦测模块包括一手势辨认单元，通过侦测该观看者的手势确定该目标物体。

4.如权利要求1中所述的该系统，其中该目标侦测模块包括一声音辨认单元，通过侦测该观看者的声音确定该目标物体。

5.如权利要求1中所述的该系统，其中该目标侦测模块通过侦测周遭环境中一潜在碰撞物体确定该目标物体。

6.如权利要求1中所述的该系统，进一步包括一深度感测模块以侦测该目标物体的深度。

7.如权利要求1中所述的该系统，进一步包括一定位模块以确定该观看者的位置及面向。

8.如权利要求1中所述的该系统，其中该显示器模块为该观看者进行校准，使该虚拟影像以一预设尺寸、颜色、对比度、亮度、位置或深度显示。

9.如权利要求8中所述的该系统，其中该预设尺寸、颜色、对比度、亮度、位置或深度跟周遭环境的颜色或亮度有关。

10.如权利要求1中所述的该系统，其中该虚拟影像以跟该目标物体大致相同的深度显示。

11.如权利要求1中所述的该系统，其中该虚拟影像叠加在该目标物体上。

12.如权利要求1中所述的该系统，其中该虚拟影像包括一标记，以表明跟该目标物体之间的关系。

13.如权利要求1中所述的该系统，其中该虚拟影像包括从该目标物体辨识的文字语言，并以比该目标影像更大的尺寸或更高对比度度显示。

14.如权利要求13中所述的该系统，其中该虚拟影像在该目标物体旁边的位置，并在跟目标物体大致相同的深度显示。

15.如权利要求1中所述的该系统，其中该虚拟影像包括从该目标影像辨识出的几何特征，并显示以突出该目标物体。

16.如权利要求15中所述的该系统，其中该虚拟影像在跟该目标物体大致相同的深度显示，并叠加在该目标物体上。

17.如权利要求15中所述的该系统，其中该虚拟影像包括该目标物体的点、线、边、曲线、转角、轮廓或表面。

18.如权利要求1中所述的该系统，在该目标影像中的该目标物体被辨识出来，并且显示该虚拟影像，该虚拟影像包括跟该目标物体有关但不在该目标影像内的信息。

19.如权利要求1中所述的该系统，其中该目标侦测模块包括一声音辨认单元，通过侦测该观看者的声音确定该目标影像；该影像撷取模块，扫描周遭环境以定位该目标物体；以及该显示器模块，以显示叠加在该目标物体上的一虚拟影像。

20.如权利要求1中所述的该系统，进一步包括：

一深度感测模块，在该影像撷取模块扫描周遭环境后，持续侦测周遭环境中物体的深度；以及

一定位模块，确定该观看者的位置及面向；

其中该目标侦测模块，在从该深度感测模块接收周遭环境物体的深度及从该定位模块接收该观看者的位置及面向后，确定周遭环境中的一潜在碰撞物体为该目标物体，并且在跟该目标物体大致相同深度显示一虚拟影像并叠加在该目标物体上。

21.如权利要求20中所述的该系统，其中该虚拟影像包括持续闪烁的互补色。

22.如权利要求1中所述的该系统，其中该目标物体为一交通工具，该目标侦测模块确定该目标物体的标志，该影像撷取模块扫描周遭环境以定位具有标志的该目标物体，显示该虚拟物体并叠加在该目标物体上。

23.如权利要求22中所述的该系统，其中该交通工具为一公交车且该虚拟影像包括该公交车的辨识号码。

24.如权利要求22中所述的该系统，其中该虚拟影像在该目标物体移动时维持叠加在该目标物体上。

25.如权利要求22中所述的该系统，其中在该目标侦测模块确定该目标物体的标志后，该显示器模块在该目标物体到达之前的一预设时间内显示一警告虚拟影像。

26.如权利要求1中所述的该系统，其中该目标物体为一包括至少一阶的阶梯，并且该虚拟影像，包括下一阶的踏面，在与该目标物体大致相同深度显示，并叠加在该目标物体上。

27.如权利要求26中所述的该系统，其中当该虚拟影像包括两阶或多阶的踏面时，下一阶的踏面以不同于其他阶的踏面的颜色显示。

28.如权利要求26中所述的该系统，其中当该虚拟影像包括阶梯的踏面部分及踢面部分时，踏面部分以不同于踢面部分的颜色显示。

29.如权利要求1中所述的该系统，进一步包括：

一反馈模块，用于当一预设情况满足时，提供一反馈给该观看者。

30.如权利要求29中所述的该系统，其中该反馈包括声音或震动。

31.如权利要求1中所述的该系统，进一步包括：

一界面模块，用于让该观看者能够跟该目标侦测模块、该影像撷取模块或该显示器模块沟通。

32.如权利要求1中所述的该系统，其中该显示器模块进一步包括：

一右光信号产生器，产生数条右光信号以形成一右影像；

一右合光元件，重定向该数条右光信号至一观看者第一眼的视网膜；

一左光信号产生器，产生数条左光信号以形成一左影像；以及

一左合光元件，重定向该数条左光信号至一观看者第二眼的视网膜。

33.如权利要求1中所述的该系统，进一步包括：

一支撑结构，能够戴在该观看者的头上；

其中该目标侦测模块、该影像撷取模块以及该显示器模块皆由该支撑结构乘载。

34.一种用于动态影像处理一目标物体的一目标影像的一方法，包括：

确定：由一目标侦测模块确定一目标物体；

撷取：由一影像撷取模块撷取该目标物体的一目标影像；

显示：由一显示器模块通过分别投射数条右光信号至一观看者第一眼并投射数条数条左光信号至一观看者第二眼，以一预设尺寸、颜色、对比度、亮度、位置或深度为一观看者显示一虚拟影像。

35.如权利要求34中所述的该方法，其中一第一右光信号及一相对应第一左光信号由该观看者感知并在一第一深度显示该虚拟影像的一第一虚拟双眼像素，该第一深度跟投射到该观看者眼睛的该第一右光信号及该相对应第一左侧信号之间的一第一角度有关。

36.如权利要求34中所述的该方法，其中该目标侦测模块通过追踪该观看者眼睛、侦测该观看者的手势、侦测该观看者的声音或侦测周遭环境中的一潜在碰撞物体确定该目标物体。

37.如权利要求34中所述的该方法，进一步包括：

在确定该目标物体后，显示一警告虚拟影像以告知该观看者该目标物体预计在一预设时间内抵达。

38.如权利要求34中所述的该方法，进一步包括：

在确定该目标物体后，扫描周遭环境以辨识该目标物体。

39.如权利要求34中所述的该方法，其中当该目标物体移动时，该虚拟影像维持叠加在该目标物体上。

40.一种用于动态影像处理一目标物体的一目标影像的一方法，包括：

扫描：扫描周遭环境以辨识一潜在碰撞物体；

确定：由一目标侦测模块确定该潜在碰撞物体是否为该目标物体；

撷取：如果该潜在碰撞物体为该目标物体，由一影像撷取模块撷取该目标物体的一目标影像；以及

显示：由一显示器模块通过分别投射数条右光信号至一观看者第一眼并投射数条左光信号至一观看者第二眼，以一预设尺寸、颜色、对比度、亮度、位置或深度为一观看者显示一虚拟影像。

41.如权利要求40中所述的该方法，进一步包括：

提供：由一反馈模块提供一声音或震动给该观看者。

Images