CN107105215B - 呈现图像的方法和显示系统 - Google Patents

Abstract

本公开提供了一种呈现图像的方法和显示系统。所述呈现图像的方法包括：采集场景的图像并呈现；确定图像上观察者所关注的目标对象，所述目标对象是场景中的物体；以及在所述目标对象移动时，在显示单元上呈现所述场景的图像，同时维持所述场景中所述目标对象对于观察者而言的视觉印象。

Description

呈现图像的方法和显示系统

技术领域

本公开涉及一种呈现图像的方法和显示系统，具体地，涉及能够维持图像中的对象的呈现视角的方法和显示系统。

背景技术

随着通信和计算机技术的快速发展，电子设备被越来越多地应用于人们的日常生活。也出现了各种技术以改善用户体验。

增强现实AR是一种将虚拟图像与现实世界的物理环境或空间结合以呈现给用户的技术。通过AR技术，识别视频中出现的对象，并补充与视频中的对象相关的信息，即增强信息，并且通过将对象与其增强信息结合在一起呈现给用户。补充信息可以包括覆盖在视频的帧上的图形或文本信息，使得可向用户识别、界定或以其他方式描述对象。这样，AR技术可向用户提供相对于被实时捕获和显示的视频的增强实时体验。

但是，在当前的AR技术中，当通过捕获真实场景的图像并对该图像进行补充以呈现给用户时，如果真实场景中的对象移动，则其在显示设备上的呈现也随之移动。如果用户持续关注该对象，则需要用户不断地随着对象的移动而移动其眼睛、脖子或身体，以便能够持续地注视该对象。这对于用户而言是不便的。

发明内容

本公开的一个方面提供了一种用于增强现实设备呈现图像的方法，包括：采集场景的图像并呈现；确定图像上观察者所关注的目标对象，所述目标对象是场景中的物体；以及在所述目标对象移动时，在显示单元上呈现所述场景的图像，通过调整所述场景的图像维持所述场景中所述目标对象对于观察者而言的视觉印象。

根据本公开的一个实施例，所述视觉印象包括：观察者关于所述目标对象的视角；和/或观察者关于所述目标对象的视距。

根据本公开的一个实施例，所述确定所关注的目标对象包括：获得观察者的眼睛的瞳孔图像；以及根据所述瞳孔图像来确定所关注的目标对象；或者接收所述观察者的输入；以及根据所述输入来确定所关注的目标对象。

根据本公开的一个实施例，在所述目标对象发生移动时，调整采集场景图像的图像采集单元，以维持所述视觉印象。

本公开的另一方面提供了一种用于增强现实设备的显示系统，包括：显示单元，用于呈现图像；存储器，存储有计算机可读指令；以及处理器，被配置为行所述存储器中的计算机可读指令，以执行以下操作：在显示单元上呈现所采集的场景的图像；确定图像上观察者所关注的目标对象，所述目标对象是场景中的物体；以及在所述目标对象移动时，在所述显示单元上呈现所述场景的图像，通过调整所述场景的图像维持所述场景中所述目标对象对于观察者而言的视觉印象。

本公开的另一方面提供了一种计算机存储介质，存储有计算机程序，所述计算机程序在由处理器执行时使得处理器执行根据本公开所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开的实施例的呈现图像的方法的应用场景；

图2示意性示出了根据本公开的实施例的呈现图像的方法的流程图；

图3示出了根据本公开的实施例的呈现图像的方法的效果的示意图；

图4示出了根据本公开的一个实施例的确定所关注的目标对象的方法的流程图；

图5示出了根据本公开的另一实施例的确定所关注的目标对象的方法的流程图；以及

图6示意性示出了根据本公开的实施例的显示系统的结构的框图。

具体实施方式

根据结合附图对本公开示例性实施例的以下详细描述，本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。

在本公开中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。

在本说明书中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不背离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同参考数字用于相似功能和操作。

本公开的实施例提供了一种呈现图像的方法和显示设备。该方法包括采集场景的图像并呈现。观察者查看所呈现的图像。这时，确定图像上观察者所关注的目标对象。目标对象是场景中的物体。在所述目标对象移动时，继续呈现场景的图像，同时维持目标对象对于观察者而言的视觉印象。换言之，如果目标对象在用户的正前方时，确定用户正在关注场景图像中的该目标对象；如果目标对象移动到用户的右边，则在采集场景的图像之后，对采集的场景的图像进行调整，以使得目标对象仍然显示在用户的正前方。例如，将场景的图像整体向左移动。这样，用户可以持续地关注该目标对象而无需进行任何身体动作。同时，由于将场景的图像整体向左移动，用户也能够获知当前的场景是目标对象正在移动而不是场景中的其他物体正在移动，这样也不会使用户造成任何混淆。这改善了用户体验。

图1示意性示出了根据本公开的实施例的呈现图像的方法的应用场景。

如图1所示，当前用户正在观看演出。用户可以利用辅助显示设备进行观看。例如，用户可以佩戴近眼显示器、头戴式显示器或抬头显示器。图1中示出了用户佩戴近眼显示器，例如眼镜进行观看的结果。如图1(a)所示，当前在台上有一个人正在表演舞蹈，一个人在骑行进行演出，以及一辆车。图1(b)示出了针对当前台上的演出，用户在其所佩戴的眼镜上看到的图像，该图像除了演出台上的人和车之外，还示出了人和车的简介，以给用户提供关于所看到的场景更多的信息。

在图1所示的场景中，比如骑行者会移动。在图1所示的场景中，进行舞蹈表演的人在其所处位置进行表演，即这个人在活动，但是并未改变位置。车是静止的，即停在所处位置。

此时，用户看到的图像也随着骑行者的活动而变化。即，在眼镜上所呈现的图像是实时变化的。

如果用户对骑行者表示出关注，则用户需要随着骑行者的远去而转动眼睛或者头部。

图2示意性示出了根据本公开的实施例的呈现图像的方法2000的流程图。

如图2所示，根据本公开实施例的呈现图像的方法2000开始，转入步骤S2100，采集场景的图像并呈现。在图1所示的情形中，采集的是用户所观看的演出台上的场景的图像并在用户所佩戴的眼镜上进行呈现。在步骤S2200，确定图像上观察者所关注的目标对象，所述目标对象是场景中的物体。例如，在图1所示的情形中，确定图像上观察者所关注的目标对象是骑行者。例如，观察者转动眼睛并持续注视图像上的骑行者数秒。最后，在步骤S2300，在目标对象移动时，在显示单元上呈现场景的图像，同时维持目标对象对于观察者而言的视觉印象。在图1所示的情形中，在骑行者移动时，在眼镜上呈现场景的图像时移动场景的图像，以保持骑行者的图像始终位于用户的右前方。这样，用户无需转动眼睛就可以持续地关注骑行者。

根据本公开的实施例，视觉印象包括观察者关于目标对象的视角和/或观察者关于目标对象的视距。

图3示出了根据本公开的实施例的呈现图像的方法2000的效果的示意图。

例如，当骑行者以相对于用户向右方向远去时，图3(a)示出了在时刻1的真实场景的图像和呈现在用户所佩戴的眼镜上的图像。图3(b)示出了在时刻2的真实场景的图像和呈现在用户所佩戴的眼镜上的图像。图3中的基准线可以例如是眼镜的中线，以示意地示出在眼镜上示出的图像的位置。

根据本公开的一个实施例，在所关注的目标对象移动时，可以持续采集场景的图像并在呈现场景的图像时调整场景图像在显示单元上的显示以维持场景中目标对象的视觉印象。例如，调整场景图像以使得目标对象始终呈现在显示单元的预定位置处，即，维持观察者关于目标对象的视角。根据本公开的另一实施例，可以调整采集场景图像的图像采集单元，以使得采集的场景图像在呈现在显示单元上时目标对象的视觉印象不变。例如，可以采用360°摄像机或可移动/转动摄像机，在确定了所关注的目标对象时，摄像机跟踪目标对象进行采集。在目标对象移动时，摄像机也随之移动/转动，使得目标对象始终位于摄像机的例如中线，这样目标对象在所采集的场景图像中始终位于中间位置，在呈现场景图像时，目标对象的位置在显示单元上保持不变。

又例如，当骑行者以相对于用户向前远去时，在图3(a)所示的时刻1之后，图3(c)示出了在时刻3的真实场景的图像和呈现在用户所佩戴的眼镜上的图像。

根据本公开的实施例，在确定了所关注的目标对象之后，可以持续采集场景的图像并在呈现场景的图像时调整场景图像在显示单元上的显示以维持场景中目标对象的视觉印象。例如，调整场景图像以维持目标对象在显示单元上呈现的大小，即，维持观察者关于目标对象的视距。根据本公开的另一实施例，可以调整采集场景图像的图像采集单元，以使得采集的场景图像在呈现在显示单元上时目标对象的视觉印象不变。例如，可以采用变焦摄像机，在确定了所关注的目标对象时，摄像机跟踪目标对象进行采集。在目标对象远去/靠近时，调整焦距，以使得目标对象在所采集的场景图像中的大小不变，这样在呈现场景图像时，目标对象的大小在显示单元上保持不变。

又例如，在观察者在观看飞机表演时，在观察者关注的目标对象是飞行中的飞机时，可以调整摄像机的俯仰角，以使得飞机的图像始终在显示单元的中间高度位置。

图4示出了根据本公开的一个实施例的确定所关注的目标对象的方法4000的流程图。

如图4所示，在步骤S4100处，获得观察者的眼睛的瞳孔图像。然后在步骤S4200，根据瞳孔图像和呈现在显示设备上的图像确定所述眼睛注视所述图像上的对象。在步骤S4300，在确定所述眼睛注视所述图像上的对象达到预定持续时间时，确定所注视的对象是所关注的目标对象。

根据本公开的一个实施例，可以由安装在显示设备上的摄像头来捕获观察者的眼睛的瞳孔图像。

当然，可以通过其他方式来确定所关注的目标对象。图5示出了根据本公开的另一实施例的确定所关注的目标对象的方法5000的流程图。

如图5所示，在步骤S5100处，在显示单元上持续地呈现所采集的场景的图像。然后，在步骤S5200处，观察者触控显示单元上的输入设备，例如按下按钮。在步骤S5300中，响应于按钮的按下，在显示单元上显示可以进行的操作的各个选项，例如“跟踪目标对象？”。在步骤S5400中，观察者确定对该选项的选中。在步骤S5500中，识别所呈现的图像中的对象，例如图1中所示的舞蹈者、骑行者和车，并呈现在显示设备上。在步骤S5600中，识别观察者对对象的选择。这样，可以由观察者手动地确定其所关注的目标对象。

根据本公开的实施例，方法5000中显示的选项等可以叠加在当前显示在显示单元上的图像上，或者显示在显示单元的一部分上。

当然，根据本公开的确定所关注的目标对象的方法不局限于上述方法。可以采用任何其他适用的方法来确定目标对象。例如，观察者可以注视目标对象并以预定间隔眨眼数次，以确定对目标对象的关注。

根据本公开的实施例，观察者可以取消对目标对象的关注。例如，观察者可以通过图5所示的方法确定新的目标对象，或者取消对目标对象的关注。又例如，可以周期性地执行图4所示的方法，从而可以在观察者不再关注目标对象时取消对目标对象的锁定。

图6示意性示出了根据本公开的实施例的显示系统6000的结构的框图。

如图6所示，显示系统6000包括处理器610、计算机可读存储介质620、信号发送器630、信号接收器640、显示单元650和图像采集单元660。该显示系统可以执行上面参考图2～图5描述的方法，以在确定观察者关注显示单元上显示的目标对象时，在呈现场景的图像的同时维持目标对象对于观察者而言的视觉印象。

具体地，处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行参考图2～图5描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质620例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

计算机可读存储介质620可以包括计算机程序621，该计算机程序621可以包括代码/计算机可执行指令，其在由处理器610执行时使得处理器610执行例如上面结合图2～图5所描述的方法流程及其任何变形。

计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括模块621A、模块621B、模块621C。其中，当处理器执行模块621A时，处理器进行控制以采集场景的图像，并控制显示单元650进行显示。当处理器执行模块621B时，处理器确定图像上观察者所关注的目标对象。当处理器执行模块621C时，处理器进行控制以在显示单元650上呈现所采集的场景的图像，同时维持目标对象对于观察者而言的视觉印象。

应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行例如上面结合图2～5所描述的方法流程及其任何变形。例如，计算机程序621中的代码还可以包括其他程序模块，例如在由处理器执行时使处理器执行方法4000和方法5000等的模块。

根据本公开的实施例，处理器610可以使用信号发送器630和信号接收器640来执行上面结合图2～5所描述的方法流程及其任何变形。

根据本公开的实施例，显示系统6000还可以包括图像采集单元660，对场景的图像进行采集，并由处理器对采集的图像进行处理以呈现在显示单元650上。根据本公开的一个实施例，可以由处理器控制图像采集单元660，以调整图像单元单元660，使得所采集的图像中目标对象的大小/位置保持不变，从而维持其对于观察者而言的视觉印象。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (7)

1.一种用于增强现实设备呈现图像的方法，包括：

采集场景的图像并呈现；

确定图像上观察者所关注的目标对象，所述目标对象包括场景中的物体；以及

在所述目标对象移动时，在显示单元上呈现所述场景的图像，至少通过调整所述场景的图像中除所述目标对象之外的图像，以维持所述场景中所述目标对象对于观察者而言的视觉印象。

2.根据权利要求1所述的方法，其中，所述视觉印象包括：

观察者关于所述目标对象的视角；和/或

观察者关于所述目标对象的视距。

3.根据权利要求1所述的方法，其中，所述确定所关注的目标对象包括：

获得观察者的眼睛的瞳孔图像；以及

根据所述瞳孔图像来确定所关注的目标对象；或者

接收所述观察者的输入；以及

根据所述输入来确定所关注的目标对象。

4.一种用于增强现实设备的显示系统，包括：

显示单元，用于呈现图像；

存储器，存储有计算机可读指令；以及

处理器，被配置为执行所述存储器中的计算机可读指令，以执行以下操作：

在显示单元上呈现所采集的场景的图像；

确定图像上观察者所关注的目标对象，所述目标对象包括场景中的物体；以及

在所述目标对象移动时，在所述显示单元上呈现所述场景的图像，至少通过调整所述场景的图像中除所述目标对象之外的图像，以维持所述场景中所述目标对象对于观察者而言的视觉印象。

5.根据权利要求4所述的显示系统，其中，所述视觉印象包括：

观察者关于所述目标对象的视角；和/或

观察者关于所述目标对象的视距。

6.根据权利要求4所述的显示系统，其中，所述处理器还被配置为执行所述存储器中的计算机可读指令，以：

获得观察者的眼睛的瞳孔图像；以及

根据所述瞳孔图像来确定所关注的目标对象；或者

接收所述观察者的输入；以及

根据所述输入来确定所关注的目标对象。

7.一种计算机存储介质，存储有计算机程序，所述计算机程序在由处理器执行时使得处理器执行根据权利要求1-3之一所述的方法。

Images