CN108924533A - 增强现实显示方法和装置、存储介质、增强现实设备 - Google Patents

Abstract

本申请涉及一种增强现实显示方法和装置、增强现实设备、存储介质，通过声波获取真实场景中的物体实际距离，根据物体实际距离实时调整摄像设备的焦距。获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像，对摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。当用户佩戴增加现实设备处于运动或旋转状态时，因为真实场景是会发生变化的，获取真实场景中的物体实际距离，这样就可以借助所获取的真实场景中的物体实际距离实时调整摄像设备的焦距，实现摄像设备快速变焦以实时拍摄出清晰的图像，避免了摄像设置自动变焦所导致的时延问题，也降低了用户使用过程中产生的眩晕感。

Description

增强现实显示方法和装置、存储介质、增强现实设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种增强现实显示方法和装置、存储介质、增强现实设备。

背景技术

增强现实(Augmented Reality，AR)，把原本在现实世界的一定时间空间范围内很难体验到的实体信息例如，视觉信息、声音、味道或触觉等，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验，这种技术叫做增强现实技术，简称AR技术。传统的AR设备因为摄像头拍摄图像具有一定的反应延迟，导致当用户佩戴AR设备时，显示器上所呈现的画面会让用户产生眩晕感。

发明内容

本申请实施例提供一种增强现实显示方法和装置、存储介质、增强现实设备，可以改善增强现实显示过程中的延迟和眩晕感。

一种增强现实显示方法，所述方法包括：

通过声波获取真实场景中的物体实际距离；

根据所述物体实际距离实时调整摄像设备的焦距；

获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像；

对所述摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

一种增强现实设备，包括：

测距设备，用于探测真实场景中的物体实际距离；

控制设备，与所述测距设备连接，用于获取所述测距设备所探测的真实场景中的物体实际距离，根据所述测距设备所探测到的物体实际距离实时调整摄像设备的焦距；

摄像设备，与所述控制设备连接，用于根据实时调整后的焦距采集真实场景的实时图像；

所述控制设备还用于获取所述摄像设备所采集的真实场景的实时图像，对所述摄像设备所采集的真实场景的实时图像进行增强现实AR处理生成AR图像；

显示设备，与所述控制设备连接，用于将所述AR图像实时进行显示。

一种增强现实显示装置，所述装置包括：

距离获取模块，用于通过声波获取真实场景中的物体实际距离；

摄像设备焦距调整模块，用于根据所述物体实际距离实时调整所述摄像设备的焦距；

实时图像获取模块，用于获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像；

增强现实处理及显示模块，用于对所述摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的增强现实显示方法的步骤。

一种电子设备，包括存储器和处理器，所述存储器上存储有能在处理器上运行的计算机程序，处理器执行计算机程序时执行如上所述的增强现实显示方法的步骤。

上述增强现实显示方法和装置、存储介质、增强现实设备，通过声波获取真实场景中的物体实际距离，根据物体实际距离实时调整摄像设备的焦距。获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像，对摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。当用户佩戴增加现实设备处于运动或旋转状态时，因为真实场景是会发生变化的，获取真实场景中的物体实际距离，这样就可以借助所获取的真实场景中的物体实际距离实时调整摄像设备的焦距，实现摄像设备快速变焦以实时拍摄出清晰的图像，避免了摄像设置自动变焦所导致的时延问题。通过实时调整焦距之后的摄像设备采集真实场景的实时图像，得到真实场景的实时图像。再对摄像设备所采集的真实场景的实时图像进行AR处理，将经过AR处理之后得到的图像进行显示。降低了增强现实设备上显示画面的时延问题，也降低了用户使用过程中产生的眩晕感。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中增强现实设备的内部结构图；

图2为一个实施例中增强现实显示方法的流程图；

图3为获取声呐设备对真实场景进行探测所得的真实场景中的物体实际距离方法的流程图；

图4为一个实施例中增强现实设备中的一部分的结构示意图；

图5为图2中对摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示方法的流程图；

图6为另一个实施例中增强现实显示方法的流程图；

图7为一个实施例中增强现实显示装置的结构示意图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中增强现实设备的内部结构示意图。如图1所示，该增强现实设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个增强现实设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于增强现实设备的增强现实显示方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种增强现实显示方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该增强现实设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等增强现实设备。

在一个实施例中，如图2所示，提供了一种增强现实显示方法，应用于增强现实设备，以该方法应用于图1中的增强现实设备为例进行说明，包括：

步骤220，通过声波获取真实场景中的物体实际距离。

增强现实(Augmented Reality，AR)，把原本在现实世界的一定时间空间范围内很难体验到的实体信息例如，视觉信息、声音、味道或触觉等，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验，这种技术叫做增强现实技术，简称AR技术。

可以通过测距设备来获取真实场景中的物体实际距离，例如，测距设备包括激光测距仪等。当然，也可以通过声波获取真实场景中的物体实际距离。

步骤240，根据物体实际距离实时调整摄像设备的焦距。

一般情况下，摄像设备是根据所拍摄的实时画面自动进行调整焦距以拍摄出清晰的图像。具体地，摄像设备采用LED屏幕取景时，使用对比检测自动对焦，也叫反差对焦，原理是根据焦点处画面的对比度变化，寻找对比度最大时的镜头位置，也就是准确对焦的位置。在检测到最大对比度之前对焦镜片组会不断调整移动，因而速度较慢。因为自动调焦的时间一般较长，使得所拍摄出的图像出现延迟。通过测距设备来获取真实场景中的物体实际距离，速度快且结果非常准确。所以采用根据物体实际距离实时调整摄像设备的焦距的方法，可以在非常短的时间内实时调整摄像设备的焦距，而且也保证了所调整的焦距的准确性，使得实时拍摄出的图像的清晰度满足用户的使用需求。降低了用户在佩戴AR设备时的眩晕感。

步骤260，获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像。

在对摄像设备进行实时调整焦距之后，使用实时调整焦距之后的摄像设备拍摄真实场景的实时图像。

步骤280，对摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

增强现实设备对摄像设置所采集到的真实场景的实时图像进行AR处理，也可以从实时图像缓存区中获取到实时图像进而对所获取到的实时图像进行AR处理。

AR处理的过程包括获取增强现实信息，将摄像设备所采集的真实场景的实时图像与增强现实信息叠加生成叠加图像，即为经过增强现实AR处理之后得到的图像。最后，将经过AR处理之后得到的图像连续地一帧一帧的显示在显示设备上，以供用户观看。此时呈现在用户面前的就是视频图像。举例一个简单的使用到AR的例子，在进行虚拟试衣服的时候，所拍摄到的实时图像中的人即为AR目标，增强现实信息为AR内容(如虚拟3D对象等)。在这个例子中AR内容为虚拟的衣服，对实时图像中的AR目标进行AR处理之后，生成的AR图像即为人试穿衣服的图像。用户可以通过增强现实设备的显示屏上看到人试穿衣服的效果。AR内容可以存储在增强现实设备本地的存储单元中，也可以存储在AR服务器端，当AR内容存储在AR服务器端时，增强现实设备可以从AR服务器端获取到AR内容。

本申请实施例中，通过声波获取真实场景中的物体实际距离，根据物体实际距离实时调整摄像设备的焦距。获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像，对摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。当用户佩戴增加现实设备处于运动或旋转状态时，因为真实场景是会发生变化的，获取真实场景中的物体实际距离，这样就可以借助所获取的真实场景中的物体实际距离实时调整摄像设备的焦距，实现摄像设备快速变焦以实时拍摄出清晰的图像，避免了摄像设置自动变焦所导致的时延问题。通过实时调整焦距之后的摄像设备采集真实场景的实时图像，得到真实场景的实时图像。再对摄像设备所采集的真实场景的实时图像进行AR处理，将经过AR处理之后得到的图像进行显示。降低了增强现实设备上显示画面的时延问题，也降低了用户使用过程中产生的眩晕感。

在一个实施例中，获取真实场景中的物体实际距离，包括：获取声呐设备对真实场景进行探测所得的真实场景中的物体实际距离。

可以通过测距设备来获取真实场景中的物体实际距离，例如，测距设备包括激光测距仪等。当然，还可以采用声呐设备对真实场景进行探测所得的真实场景中的物体实际距离。声呐设备是利用声波对目标进行探测、定位和通信的电子设备，是声学中应用最广泛、最重要的一种装置。本申请实施例中主要使用到了主动声呐技术，主动声呐技术是指声呐主动发射声波“照射”目标，而后接收目标反射的回波时间，以及回波参数以测定目标的参数。通过声呐设备可以探测到真实场景中的物体实际距离。具体地，用户佩戴者着AR设备，处于一个真实场景中，AR设备中的声呐设备就可以探测到真实场景中的物体实际距离。例如，距离用户正前方0.5m有一个人物。

本申请实施例中，采用声呐设备对真实场景进行探测所得的真实场景中的物体实际距离。声呐设备所采用的超声波在传播时，方向性强，能量易于集中；超声波不仅能在各种不同媒质中传播，且可传播足够远的距离。因此，采用声呐设备的超声波辅助进行对焦，能够快速准确地实现对焦。

在一个实施例中，如图3所示，获取声呐设备对真实场景进行探测所得的真实场景中的物体实际距离，包括：

步骤320，通过声呐设备发射超声波；

超声波是一种频率高于20000赫兹的声波，它的方向性好，穿透能力强，易于获得较集中的声能，在水中传播距离远，可用于测距、测速、清洗、焊接、碎石、杀菌消毒等。由声呐设备向真实场景发射超声波。

步骤340，接收与超声波对应的回波信号数据；

声呐设备向真实场景所发射的超声波，在遇到真实场景中的目标(即障碍物)时就会产生回波。回波中携带了很多信号数据，包括回波时间、回波参数等，声呐设备接收回波所携带的信号数据。

步骤360，对回波信号数据进行分析得到真实场景中的物体实际距离。

增强现实设备可以对声呐设备所接收的回波信号数据进行分析得到真实场景中的物体实际距离。

本申请实施例中，通过声呐设备发射超声波，接收与超声波对应的回波信号数据，对回波信号数据进行分析得到真实场景中的物体实际距离。采用声呐设备的超声波辅助进行对焦，能够快速准确地实现对焦。

在一个实施例中，摄像设备包括左摄像头和右摄像头，声呐设备包括第一声呐，第一声呐与左摄像头和右摄像头连接；

根据物体实际距离实时调整摄像设备的焦距，包括：

根据第一声呐所采集到的物体实际距离实时调整左摄像头和右摄像头的焦距。

具体地，声呐设备的数目可以是一个，即左右摄像设备都共同使用一个声呐设备(第一声呐)。因为左右摄像设备之间的距离非常近，所以可以仅采用一个声呐设备来采集真实场景中的物体实际距离，具体地可以将第一声呐设置在左右摄像设备的中间位置。由第一声呐发射超声波，接收与所发出超声波对应的回波信号数据，对回波信号数据进行分析得到图像中真实场景中的物体距离第一声呐的实际距离。根据该实际距离去实时调整左右摄像设备的焦距，从而使得实时拍摄出的图像更加清晰。

本申请实施例中，因为左右摄像设备之间的距离非常近，所以可以仅采用一个声呐设备来采集真实场景中的物体实际距离，然后根据该实际距离去实时调整左右摄像设备的焦距，从而使得实时拍摄出的图像更加清晰。

在一个实施例中，摄像设备包括左摄像头和右摄像头，声呐设备包括第二声呐和第三声呐，第二声呐与左摄像头连接，第三声呐与右摄像头连接；

根据物体实际距离实时调整摄像设备的焦距，包括：

根据第二声呐所采集到的物体实际距离实时调整左摄像头的焦距；

根据第三声呐所采集到的物体实际距离实时调整右摄像头的焦距。

具体地，如图4所示，为本实施例中的增强现实设备中的一部分结构示意图。增强现实设备包括摄像设备420和声呐设备440，其中摄像设备420包括左摄像头422和右摄像头424，声呐设备440包括第二声呐442和第三声呐444。第二声呐442与左摄像头422连接，第三声呐444与右摄像头424连接。第二声呐442发射超声波，接收与发射的超声波对应的回波信号数据，对回波信号数据进行分析得到左摄像头422所拍摄的图像中真实场景中的物体实际距离。具体的得出物体实际距离的过程如下：超声波发射器向某一方向发射超声波，在发射时刻的同时开始计时，超声波在空气中传播，途中碰到障碍物就立即返回来，超声波接收器收到反射波就立即停止计时。超声波在空气中的传播速度为340m/s，根据计时器记录的时间t，就可以计算出发射点距障碍物的距离(s)，即：s＝340t/2。同理第三声呐444发射超声波，接收与所发出超声波对应的回波信号数据，对回波信号数据进行分析得到右摄像头424所拍摄的图像中真实场景中的物体实际距离。

本申请实施例中，因为左摄像头和右摄像头所拍摄的图像是从不同的角度进行的，所以分别为左摄像头和右摄像头配备了声呐设备，以测量两个摄像头所拍摄场景中物体的实际距离。对每个摄像头都配备一个声呐设备，从而使得声呐设备所获得的物体的实际距离更加精确，进而再根据第二声呐所获得的物体的实际距离去调整左摄像头，根据第三声呐所获得的物体的实际距离去调整右摄像头，最大限度地减小误差。从而分别根据声呐设备所得到的物体的实际距离来对相应的摄像头的焦距进行调整，提高拍摄所得的图像的清晰度。

在一个实施例中，如图5所示，步骤280，对摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示，包括：

步骤282，获取增强现实信息。

增强现实信息可以是一些虚拟的3D对象，可以将这些虚拟的3D对象与真实图像进行合成。例如，一些虚拟的人物图像、物体图像等。

步骤284，将摄像设备所采集的真实场景的实时图像与增强现实信息叠加生成叠加图像。

将上述通过摄像设备所采集的真实场景的实时图像与一些虚拟的3D对象叠加生成叠加图像。例如，将一些虚拟的人物图像、物体图像等与所采集的真实场景的实时图像进行叠加生成叠加图像。叠加图像中就具有了虚拟的3D图像。

步骤286，将叠加图像进行显示。

将得到的叠加图像在增强现实设备的显示屏上进行显示，一帧一帧连续的图像就可以构成视频，以供用户观看连续的视频内容。举例一个简单的使用到AR的例子，在进行虚拟试衣服的时候，所拍摄到的实时图像中的人即为AR目标，增强现实信息为AR内容(如虚拟3D对象等)。在这个例子中AR内容为虚拟的衣服，对实时图像中的AR目标进行AR处理，即为将虚拟的衣服与实时图像中的人进行合成，生成的AR图像即为人试穿衣服的图像。用户可以通过增强现实设备的显示屏上看到人试穿衣服的效果。AR内容可以存储在增强现实设备本地的存储单元中，也可以存储在AR服务器端，当AR内容存储在AR服务器端时，增强现实设备可以从AR服务器端获取到AR内容。

本申请实施例中，获取增强现实信息，将摄像设备所采集的真实场景的实时图像与增强现实信息叠加生成叠加图像。将叠加图像进行显示。从而实现了将现实世界中没有的虚拟内容与真实世界进行叠加融合，使用户可以观看到叠加融合后的图像或视频，从而达到超越现实的感官体验。

在一个实施例中，如图6所示，提供了一种增强现实显示方法，应用于增强现实设备，以该方法应用于图1中的增强现实设备为例进行说明，包括：

步骤620，通过声波获取真实场景中的物体实际距离；

步骤640，根据物体实际距离对真实场景进行3D重建，得到3D重建结果；

步骤660，对3D重建结果进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

具体地，可以采用声呐设备对真实场景进行探测所得的真实场景中的物体实际距离。声呐设备可以通过发出声波，所发出的声波“照射”到所能覆盖的整个探测面上进行探测。探测得到物体实际距离，进而得到了每个物体的点阵，该点阵包含深度信息，从而根据每个物体的点阵就可以进行3D重建。然后再根据探测所得的真实场景中的物体实际距离对真实场景进行3D重建。3D重建即为三维重建，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

进行3D重建后就得到了可以直观展示真实场景的3D图像，即3D重建结果。然后对3D重建结果进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。AR处理的过程包括获取增强现实信息，将摄像设备所采集的真实场景的3D图像与增强现实信息叠加生成叠加图像，即为经过增强现实AR处理之后得到的3D图像。

本申请实施例中，通过声波获取真实场景中的物体实际距离，进而得到了每个物体的点阵，该点阵包含深度信息，根据真实场景中的每个物体的点阵对真实场景进行3D重建。因为通过声波可以更快更准确地获取到真实场景中的物体实际距离，且真实场景中的物体实际距离在3D重建的过程中起到了辅助作用，使得可以更快更准确地进行3D重建得到3D图像。然后对3D重建结果进行增强现实AR处理，增强现实AR处理具体为将增强现实信息例如可以是一些虚拟的3D对象，将这些虚拟的3D对象与3D重建得到3D图像进行合成。两者都是3D图像，这样经过增强现实AR处理之后得到的图像也为3D图像，使得用户最终通过增强现实显示设备所观看到的场景更加真实、逼真且实时，减轻了用户的眩晕感。

在一个实施例中，在根据物体实际距离对真实场景进行3D重建，得到3D重建结果之后，包括：

根据物体实际距离实时调整摄像设备的焦距，获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像；

根据真实场景的实时图像对3D重建结果进行校正；

对校正之后的3D重建结果进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

本申请实施例中，在根据物体实际距离对真实场景进行3D重建，得到3D重建结果之后，同时根据物体实际距离实时调整摄像设备的焦距，获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像。进行3D重建和拍摄实时图像是从两个不同的角度对真实场景中包含的信息进行采集，因此，通过两种角度所采集的真实场景的信息就会更加全面。再根据真实场景的实时图像对3D重建结果进行校正，对3D重建过程中可能出现的误差或错误进行校正，提高校正之后的3D重建结果的准确性。最后，对校正之后的3D重建结果进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。如此使得进行增强现实AR处理之后得到的图像的准确性更高，例如用户在游戏中就能够更加准确地判断障碍物的距离。

在一个实施例中，一种增强现实设备，其特征在于，包括：

测距设备，用于探测真实场景中的物体实际距离。

控制设备，与测距设备连接，用于获取测距设备所探测的真实场景中的物体实际距离，根据测距设备所探测到的物体实际距离实时调整摄像设备的焦距。

摄像设备，与控制设备连接，用于根据实时调整后的焦距采集真实场景的实时图像。

控制设备还用于获取摄像设备所采集的真实场景的实时图像，对摄像设备所采集的真实场景的实时图像进行增强现实AR处理生成AR图像。

显示设备，与控制设备连接，用于将AR图像实时进行显示。

具体地，测距设备包括激光测距仪等，在本实施例中也可以是用声呐设备。在测距设备探测到了真实场景中的物体实际距离之后，控制设备获取测距设备所探测的真实场景中的物体实际距离，并根据测距设备所探测到的物体实际距离实时调整摄像设备的焦距。摄像设备根据实时调整后的焦距采集真实场景的实时图像。控制设备再获取摄像设备所采集的真实场景的实时图像，对摄像设备所采集的真实场景的实时图像进行增强现实AR处理生成AR图像。最后，显示设备将AR图像实时进行显示。

本申请实施例中，提供了一种增强现实设备，当用户佩戴增加现实设备处于运动或旋转状态时，因为真实场景是会发生变化的，获取真实场景中的物体实际距离，这样就可以借助所获取的真实场景中的物体实际距离实时调整摄像设备的焦距，实现摄像设备快速变焦以实时拍摄出清晰的图像，避免了摄像设备自动变焦所导致的时延问题。通过实时调整焦距之后的摄像设备采集真实场景的实时图像，得到真实场景的实时图像。再对摄像设备所采集的真实场景的实时图像进行AR处理，将经过AR处理之后得到的图像进行显示。降低了增强现实设备上显示画面的时延问题，也降低了用户使用过程中产生的眩晕感。

在一个实施例中，摄像设备包括左摄像头和右摄像头，测距设备为声呐设备，声呐设备包括第二声呐和第三声呐，第二声呐与左摄像头连接，第三声呐与右摄像头连接。

在一个实施例中，如图7所示，一种增强现实显示装置700，该装置包括：

距离获取模块720，用于通过声波获取真实场景中的物体实际距离；

摄像设备焦距调整模块740，用于根据物体实际距离实时调整摄像设备的焦距；

实时图像获取模块760，用于获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像；

增强现实处理及显示模块780，用于对摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

在一个实施例中，距离获取模块720，还用于获取声呐设备对真实场景进行探测所得的真实场景中的物体实际距离。

在一个实施例中，摄像设备焦距调整模块740，还用于根据第一声呐所采集到的物体实际距离实时调整左摄像头和右摄像头的焦距。

在一个实施例中，摄像设备焦距调整模块740，还用于根据第二声呐所采集到的物体实际距离实时调整左摄像头的焦距；根据第三声呐所采集到的物体实际距离实时调整右摄像头的焦距。

在一个实施例中，增强现实处理及显示模块780，还用于获取增强现实信息；将摄像设备所采集的真实场景的实时图像与增强现实信息叠加生成叠加图像；将叠加图像进行显示。

在一个实施例中，还提供了一种增强现实显示装置，该装置包括：

距离获取模块模块，用于通过声波获取真实场景中的物体实际距离；

3D重建模块，用于根据物体实际距离对真实场景进行3D重建，得到3D重建结果；

AR处理模块，用于对3D重建结果进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

在一个实施例中，还提供了一种增强现实显示装置，该装置还包括：

摄像设备焦距调整模块，用于根据物体实际距离实时调整摄像设备的焦距，获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像；

3D重建校正模块，用于根据真实场景的实时图像对3D重建结果进行校正；

AR处理模块，用于对校正之后的3D重建结果进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

上述增强现实显示装置中各个模块的划分仅用于举例说明，在其他实施例中，可将增强现实显示装置按照需要划分为不同的模块，以完成上述增强现实显示装置的全部或部分功能。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所提供的增强现实显示方法的步骤。

在一个实施例中，提供了一种增强现实设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例所提供的增强现实显示方法的步骤。

本申请实施例还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例所提供的增强现实显示方法的步骤。

本申请实施例还提供一种增强现实设备。该增强现实设备可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备，以增强现实设备为手机为例：上述增强现实设备中包括增强现实显示电路，增强现实显示电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。

图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括第一ISP处理器830、第二ISP处理器840和控制逻辑器850。第一摄像头810包括一个或多个第一透镜812和第一图像传感器814。第一图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器814可获取用第一图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器830处理的一组图像数据。第二摄像头820包括一个或多个第二透镜822和第二图像传感器824。第二图像传感器824可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器824可获取用第二图像传感器824的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器840处理的一组图像数据。

第一摄像头810采集的第一图像传输给第一ISP处理器830进行处理，第一ISP处理器830处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器850，控制逻辑器850可根据统计数据确定第一摄像头810的控制参数，从而第一摄像头810可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器830进行处理后可存储至图像存储器860中，第一ISP处理器830也可以读取图像存储器860中存储的图像以对进行处理。另外，第一图像经过ISP处理器830进行处理后可直接发送至显示器870进行显示，显示器870也可以读取图像存储器860中的图像以进行显示。

其中，第一ISP处理器830按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器830可对图像数据进行一个或多个增强现实显示操作、收集关于图像数据的统计信息。其中，增强现实显示操作可按相同或不同的位深度计算精度进行。

图像存储器860可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器814接口时，第一ISP处理器830可进行一个或多个增强现实显示操作，如时域滤波。处理后的图像数据可发送给图像存储器860，以便在被显示之前进行另外的处理。第一ISP处理器830从图像存储器860接收处理数据，并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器830处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器830的输出还可发送给图像存储器860，且显示器870可从图像存储器860读取图像数据。在一个实施例中，图像存储器860可被配置为实现一个或多个帧缓冲器。测距设备880可以用于获取所要拍摄图像或场景中物体实际距离，根据物体实际距离实时调整摄像设备的焦距或根据物体实际距离对真实场景进行3D重建。

第一ISP处理器830确定的统计数据可发送给控制逻辑器850。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜812阴影校正等第一图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头810的控制参数及第一ISP处理器830的控制参数。例如，第一摄像头810的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜812阴影校正参数。

同样地，第二摄像头820采集的第二图像传输给第二ISP处理器840进行处理，第二ISP处理器840处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器850，控制逻辑器850可根据统计数据确定第二摄像头820的控制参数，从而第二摄像头820可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器840进行处理后可存储至图像存储器860中，第二ISP处理器840也可以读取图像存储器860中存储的图像以对进行处理。另外，第二图像经过ISP处理器840进行处理后可直接发送至显示器870进行显示，显示器870也可以读取图像存储器860中的图像以进行显示。第二摄像头820和第二ISP处理器840也可以实现如第一摄像头810和第一ISP处理器830所描述的处理过程。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种增强现实显示方法，其特征在于，所述方法包括：

通过声波获取真实场景中的物体实际距离；

根据所述物体实际距离实时调整摄像设备的焦距；

获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像；

对所述摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

2.根据权利要求1所述的方法，其特征在于，获取真实场景中的物体实际距离，包括：通过声纳设备发出声波对真实场景进行探测得到所得的真实场景中的物体实际距离。

3.根据权利要求2所述的方法，其特征在于，所述摄像设备包括左摄像头和右摄像头，所述声呐设备包括第一声呐，所述第一声呐与所述左摄像头和所述右摄像头连接；

根据所述物体实际距离实时调整所述摄像设备的焦距，包括：

根据所述第一声呐所采集到的物体实际距离实时调整所述左摄像头和所述右摄像头的焦距。

4.根据权利要求2所述的方法，其特征在于，所述摄像设备包括左摄像头和右摄像头，所述声呐设备包括第二声呐和第三声呐，所述第二声呐与所述左摄像头连接，所述第三声呐与所述右摄像头连接；

根据所述物体实际距离实时调整所述摄像设备的焦距，包括：

根据所述第二声呐所采集到的物体实际距离实时调整所述左摄像头的焦距；

根据所述第三声呐所采集到的物体实际距离实时调整所述右摄像头的焦距。

5.根据权利要求1所述的方法，其特征在于，对所述摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示，包括：

获取增强现实信息；

将所述摄像设备所采集的真实场景的实时图像与所述增强现实信息叠加生成叠加图像；

将所述叠加图像进行显示。

6.一种增强现实显示方法，其特征在于，所述方法包括：

通过声波获取真实场景中的物体实际距离；

根据所述物体实际距离对所述真实场景进行3D重建，得到3D重建结果；

对所述3D重建结果进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

7.根据权利要求1所述的方法，其特征在于，在根据所述物体实际距离对所述真实场景进行3D重建，得到3D重建结果之后，包括：

根据所述物体实际距离实时调整摄像设备的焦距，获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像；

根据所述真实场景的实时图像对所述3D重建结果进行校正；

对校正之后的3D重建结果进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

8.一种增强现实显示装置，其特征在于，所述装置包括：

距离获取模块，用于通过声波获取真实场景中的物体实际距离；

摄像设备焦距调整模块，用于根据所述物体实际距离实时调整所述摄像设备的焦距；

实时图像获取模块，用于获取实时调整焦距之后的摄像设备所采集的真实场景的实时图像；

增强现实处理及显示模块，用于对所述摄像设备所采集的真实场景的实时图像进行增强现实AR处理，将经过增强现实AR处理之后得到的图像进行显示。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的增强现实显示方法的步骤。

10.一种增强现实设备，其特征在于，包括：

测距设备，用于探测真实场景中的物体实际距离；

摄像设备，用于采集真实场景的实时图像；

显示设备，用于显示增强现实图像；

控制设备，与所述测距设备、摄像设备和显示设备分别连接，包括存储器和处理器，所述存储器上存储有能在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的增强现实显示方法的步骤。