CN111860252A - 图像处理方法、设备及存储介质 - Google Patents

图像处理方法、设备及存储介质 Download PDF

Info

Publication number
CN111860252A
CN111860252A CN202010658911.9A CN202010658911A CN111860252A CN 111860252 A CN111860252 A CN 111860252A CN 202010658911 A CN202010658911 A CN 202010658911A CN 111860252 A CN111860252 A CN 111860252A
Authority
CN
China
Prior art keywords
virtual
target object
image
display
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010658911.9A
Other languages
English (en)
Inventor
侯欣如
栾青
许亲亲
李园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010658911.9A priority Critical patent/CN111860252A/zh
Publication of CN111860252A publication Critical patent/CN111860252A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Abstract

本申请实施例公开了一种图像处理方法、设备及存储介质，其中所述方法包括：获取现实场景图像；识别所述现实场景图像中出现目标对象的情况下，根据所述现实场景图像确定所述目标对象在真实世界中的位置；根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的待呈现的虚拟显示数据；控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现。

Description

图像处理方法、设备及存储介质
技术领域
本申请涉及图像处理技术，具体涉及一种图像处理方法、设备及存储介质。
背景技术
增强现实(AR，Augmented Reality)技术可将真实环境中的实体信息(如视觉信息、声音信息等)进行系统模拟和仿真后得到虚拟环境，并将虚拟环境和真实环境进行叠加，在同一画面或空间中进行显示。由于AR技术可带来令人身临其境的感受，越来越多的人倾向于使用AR设备。AR技术中，相关学者一直在致力于研究如何对AR设备呈现的增强现实效果的优化，使得用户得到更好的使用体验。
发明内容
本申请实施例提供一种图像处理方法、设备及存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，包括：
获取现实场景图像；
识别所述现实场景图像中出现目标对象的情况下，根据所述现实场景图像确定所述目标对象在真实世界中的位置；
根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的待呈现的虚拟显示数据；
控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现。
前述方案中，所述根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的虚拟显示数据，包括：
根据所述目标对象在真实世界中的位置，确定所述虚拟对象待呈现的位姿；
控制所述虚拟对象在所述显示设备上呈现所述虚拟显示数据，包括：
控制所述虚拟对象在所述显示设备上呈现所述位姿。
前述方案中，所述根据所述目标对象在真实世界中的位置，确定所述虚拟对象待呈现的位姿，包括：
根据所述目标对象在真实世界中的位置，确定所述目标对象在图像坐标系中所处的位置；
根据所述目标对象在图像坐标系中所处的位置，确定所述虚拟对象在所述显示设备的屏幕中待呈现的位置以及姿态。
前述方案中，所述方法还包括：
控制在所述显示设备上呈现的所述虚拟对象输出所述目标对象的描述数据，所述目标对象的描述数据包括语音数据和/或图像数据。
前述方案中，所述虚拟显示数据包括所述虚拟对象的姿态，所述方法包括：
在控制所述虚拟对象输出所述目标对象的描述数据的过程中，识别所述描述数据中的目标语音数据和/或目标图像数据；
基于所述目标语音数据和/或目标图像数据，调整所述虚拟对象在所述显示设备上当前呈现的姿态。
前述方案中，所述虚拟对象为三维虚拟人物；所述虚拟对象的姿态包括以下至少一种：肢体动作、手势、手势的指示方向、面部表情。
前述方案中，所述显示设备沿预设轨道滑动，所述显示设备包括图像采集模块；
所述获取现实场景图像，包括：
在所述显示设备沿所述预设轨道滑动过程中通过所述图像采集模块采集所述现实场景图像。
前述方案中，所述显示设备的显示屏为非透明屏；
所述控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现，包括：
在所述显示设备的显示屏上呈现所述现实场景图像以及按照所述虚拟显示数据呈现的所述虚拟对象，所述虚拟对象呈现在所述目标对象的呈现位置的一侧或者所述虚拟对象呈现在与所述目标对象的呈现位置之间存在部分遮挡的位置处。
前述方案中，所述显示设备的显示屏为透明屏；
所述控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现，包括：
在所述显示设备的显示屏上按照所述虚拟显示数据呈现的所述虚拟对象，所述虚拟对象呈现在透过所述透明屏显示的所述目标对象的一侧或者所述虚拟对象呈现在与透过所述透明屏显示的所述目标对象之间存在部分遮挡的位置处。
本申请实施例提供一种图像处理设备，包括：
第一获取单元，用于获取现实场景图像；
确定单元，用于识别所述现实场景图像中出现目标对象的情况下，根据所述现实场景图像确定所述目标对象在真实世界中的位置；
第二获取单元，用于根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的待呈现的虚拟显示数据；
控制单元，用于控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述图像处理方法的步骤。
本申请实施例还提供一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时前述图像处理方法的步骤。
本申请实施例中，获取现实场景图像，在现实场景图像中出现有目标对象的情况下，根据现实场景图像进行目标对象在真实世界中的位置的识别，进而根据目标对象在真实世界中的位置进行虚拟对象的待呈现的虚拟显示数据的获得，并控制虚拟对象按照获得的虚拟显示数据在显示设备上进行呈现。其中，虚拟对象按照获得的虚拟显示数据进行显示，实现了对现实场景的增强显示。使得增强现实场景的显示更加逼真、AR设备的显示功能更加多样化，可大大提升用户对AR设备的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例的图像处理方法的实现流程示意图一；
图2为本申请实施例的图像处理方法的实现流程示意图二；
图3为本申请实施例的图像处理方法的实现流程示意图三；
图4为本申请实施例的应用场景示意图一；
图5为本申请实施例的应用场景示意图二；
图6为本申请实施例的三维虚拟人物的位姿示意图一；
图7为本申请实施例的三维虚拟人物的位姿示意图二；
图8为本申请实施例的三维虚拟人物的位姿示意图三；
图9为本申请实施例的本申请实施例的图像处理设备的组成结构示意图；
图10为本申请实施例的本申请实施例的图像处理设备的硬件构成示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
以下本申请的图像处理方法的各实施例，由显示设备来执行。其中，显示设备可以是终端，还可以是服务器。在执行方法实施例的显示设备为终端的情况下，终端可以为任何能够支持AR功能的设备。如终端可以为支持AR设备的固定终端，还可以为支持AR设备的移动终端。例如，终端为AR设备，支持AR功能的手机、平板电脑、台式机、一体机及车载终端等。在执行方法实施例的显示设备为服务器的情况下，服务器可以为云服务器，还可以为普通服务器。服务器可以是支持AR功能的服务器，通过自身支持的AR功能控制虚拟对象按照虚拟显示数据进行呈现也即进行三维虚拟特效的呈现。服务器还可以控制支持AR功能的终端控制虚拟对象按照虚拟显示数据进行呈现，例如，进行三维虚拟特效的呈现。在显示设备为终端或者为服务器的情况下，可控制虚拟对象按照虚拟显示数据呈现在自带的显示屏或外接显示屏中。可以理解，本申请实施例中显示设备为一种支持AR特效呈现的设备，如前述的终端或服务器。显示设备的显示屏可以为终端或服务器自带的显示屏或外接的显示屏。
本申请实施例中，涉及到真实或现实世界场景，也涉及到虚拟世界场景。真实或现实世界场景，可以是在实际应用中的场景或环境，如参观车展的场景、用户参观楼盘的场景、或开会场景等。虚拟世界场景，指的是利用AR技术对用户实际所处的现实场景或环境进行模拟或仿真得到的虚拟场景或环境，以令用户得到身临其境的感受。
本申请实施例中，在终端或服务器支持AR功能的情况下，通过终端或服务器可观看到叠加在现实场景中的虚拟对象，比如在天空中看到虚拟出的彩虹，比如在参观展厅或会议中虚拟出来的讲解员或会议主持者等，这些虚拟对象能够更好地与现实场景相融合，实现增强现实场景中对虚拟对象的呈现效果。
本申请实施例中的目标对象和虚拟对象为不同的对象，目标对象为现实场景中的物体如位于展厅中的花瓶、飞机模型或机器人。虚拟对象是虚拟出来的二维虚拟对象或三维虚拟对象，该虚拟对象可以是人物，还可以是机器人等，本申请对此并不限定。
本申请实施例提供的图像处理方法的第一实施例，应用于显示设备中。如图1所示，所述方法包括：
S101：获取现实场景图像；
本步骤中，显示设备拍摄现实场景图像，或者读取已经拍摄完的现实场景图像，或者接收其它设备拍摄到的现实场景图像。在显示设备拍摄现实场景图像或者读取已经拍摄完的现实场景图像的方案中，显示设备具有图像采集模块如摄像头，由摄像头对当前的现实场景进行图像拍摄，得到现实场景图像。摄像头可以是前置摄像头，还可以是后置摄像头。摄像头可以是单目摄像头，也可以是双目摄像头，对此不做具体限定。
S102：识别所述现实场景图像中出现目标对象的情况下，根据所述现实场景图像确定所述目标对象在真实世界中的位置；
本步骤中，识别获取的现实场景图像中是否出现有目标对象。如果没有出现有目标对象，则流程结束或者返回至S101直至现实场景图像中出现有目标对象。如果现实场景图像出现有目标对象，则根据对目标对象进行拍摄而得到的现实场景图像对目标对象在真实世界中的位置进行识别。其中，现实场景中出现的各个对象，例如在展厅的应用场景中，展厅中的幕布、需要展示的物品如桌子、花瓶等对象，哪些可以作为目标对象，可以预先设置好。示例性地，如果将花瓶设置为目标对象，识别现实场景图像中是否出现有目标对象，可以识别现实场景图像是否包括花瓶所在的图像区域。
S103：根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的待呈现的虚拟显示数据；
本步骤中，虚拟对象的待呈现的虚拟显示数据例如可以包括虚拟对象的位置和姿态。为方便描述，称虚拟对象的位置和姿态为位姿。如此，本步骤就可以根据目标对象在真实世界中的位置，确定虚拟对象的待呈现位姿。示例性的，虚拟对象为三维或二维虚拟人物；虚拟对象的姿态包括以下至少一种：肢体动作、手势、手势的指示方向、面部表情。肢体动作可以是虚拟人物的站立、蹲下、双手抱在胸前、两手自然下垂、以及其它能够想到的人能够摆出的姿势。手势可以是单只手的姿势，还可以是两只手的姿势，如其中一只手抬起做出向别人进行展品介绍的姿势。
S104：控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现。
示例性的，在虚拟显示数据包括虚拟对象的位姿的情况下，可以控制虚拟对象在显示设备上呈现所确定出的位姿。
在S101～S104中，先获取现实场景图像，在现实场景图像中出现有目标对象的情况下，根据现实场景图像进行目标对象在真实世界中的位置的识别。为一种定位目标对象的位置的方案，可使得位置定位得更加准确。根据目标对象在真实世界中的位置进行虚拟对象的待呈现的虚拟显示数据的获得，并控制虚拟对象按照获得的虚拟显示数据在显示设备上进行呈现。其中，虚拟对象按照获得的虚拟显示数据进行显示，实现了对现实场景的增强显示。使得增强现实场景的显示更加逼真、AR设备的显示功能更加多样化，可大大提升用户对AR设备的使用体验。
前述方案为S101～S104的执行主体为显示设备。显示设备可以为终端，还可以为服务器。在为终端的情况下，可控制虚拟对象按照虚拟显示数据在终端的自带显示屏或外接显示屏上进行呈现。如果显示设备为服务器，则S101的方案除了通过服务器对现实场景图像进行拍摄或者读取已经拍摄完的现实场景图像之外，服务器还可以接收能够向其发送现实场景图像的设备发送来的现实场景图像而获得现实场景图像。示例性地，假定向服务器发送现实场景图像的设备为终端，终端将拍摄或读取的现实场景图像发送至服务器，服务器接收终端发送的现实场景图像。此外，在显示设备为服务器的情况下，服务器可控制虚拟对象按照虚拟显示数据在服务器的自带显示屏或外接显示屏上进行呈现。服务器还可以控制虚拟对象按照虚拟显示数据在向其发送现实场景图像的终端的自带显示屏或外接显示屏上进行呈现。
在一些可选的实施例中，根据现实场景图像确定目标对象在真实世界中的位置的实现过程可通过如下至少其中一个方案来实现。
第一种识别目标对象在真实世界中的位置的方案：根据现实场景图像，确定显示设备在拍摄现实场景图像时在真实世界中所处的位置；获得显示设备在拍摄或采集现实场景图像时目标对象与显示设备之间的景深距离，依据显示设备拍摄现实场景图像时在真实世界中所处的位置信息和景深距离，识别目标对象在真实世界中所处的位置。
其中，根据现实场景图像对显示设备在拍摄现实场景图像时在真实世界中所处的位置的识别方案，可以为：预先采用不同的拍摄位置将现实场景中各个被设置为目标对象的对象进行图像的拍摄。将拍摄的图像以及拍摄该图像时在真实世界中所处的位置这两个信息进行对应记录，以便后续使用。将从不同位置拍摄到的图像进行存储，形成图像数据库。从现实场景图像中提取图像特征，从图像特征角度查找出图像数据库中与现实场景图像的图像特征相匹配的图像。显示设备拍摄查找出的图像时所处的位置即为显示设备拍摄现实场景图像时显示设备在现实或真实世界所处的位置。示例性地，提取现实场景图像中目标对象所在的像素点，视这些像素点的集合为目标对象所在的像素区域，识别像素区域在现实场景图像中所处的位置，视该位置为第一位置。从图像数据库中查找表征为目标对象的像素区域在图像中所处的位置与第一位置相同的图像，或者相似度高于预定的第一阈值如98％的图像，视查找出的这样的图像为图像数据库中与现实场景图像的特征相匹配的图像，为期望图像。读取记录的拍摄图像以及拍摄该图像时在真实世界中所处的位置这两个信息之间的对应关系，从对应关系中确定拍摄期望图像时显示设备所处的位置，将拍摄期望图像时显示设备所处的位置视为显示设备在拍摄现实场景图像时在真实世界中所处的位置。
在第一种识别目标对象在真实世界中的位置的方案中，显示设备拍摄到的现实场景图像是通过摄像头进行采集的。示例性的，该摄像头为景深摄像头。景深摄像头在进行现实场景的拍摄时，还能够得到景深距离。景深距离可以理解为在现实或真实世界中拍摄目标对象时景深摄像头(或显示设备)与被拍摄物体如目标对象之间距离。在已知拍摄目标对象(采集或拍摄到现实场景图像)时显示设备与被拍摄的目标对象之间的距离以及显示设备在拍摄现实场景图像时在真实世界中所处的位置，即可计算出目标对象在真实世界中所处的位置。通过对显示设备在拍摄现实场景图像时在真实世界中所处的位置进行识别，进而依据显示设备拍摄现实场景图像时在真实世界中所处的位置信息和显示设备拍摄现实场景图像时显示设备与目标对象之间的景深距离，可以实现目标对象在真实世界中所处的位置的识别，可提高目标对象在真实世界中所处位置的识别准确性。
第二种识别目标对象在真实世界中的位置的方案：获得现实场景图像的特征信息；从预先设定的图像集中，确定出与现实场景图像的特征信息匹配的目标图像；依据目标图像中目标对象在真实世界中的位置，确定目标对象在真实世界中的位置。
预先采集现实场景中各个被设置为目标对象的对象的图像。采集图像过程中可以对目标对象进行多角度及多方位的拍摄。将拍摄的图像以及拍摄该图像时目标对象在真实世界中所处的位置进行对应记录。将从不同拍摄位置拍摄到目标对象的图像进行存储，形成图像集。从现实场景图像中提取图像特征，从图像特征角度查找出图像集中与现实场景图像的图像特征相匹配的图像。拍摄查找出的图像时目标对象在真实世界中所处的位置即为依据现实场景图像确定出的目标对象在真实世界中的位置。示例性地，提取现实场景图像中目标对象所在的像素点，视这些像素点的集合为目标对象所在的像素区域，识别像素区域在现实场景图像中所处的位置，视该位置为第一位置。从图像集中查找表征为目标对象的像素区域在图像中所处的位置与第一位置相同的图像，或者相似度高于预定的第二阈值如97％的图像，视查找出的这样的图像为图像集中与现实场景图像的特征相匹配的图像，为目标图像。显示设备读取记录的目标图像以及拍摄该目标图像时目标对象在真实世界中所处的位置之间的对应关系，拍摄目标图像时目标对象在真实世界中所处的位置即为本申请实施例中依据现实场景图像识别出的目标对象在真实世界中的位置。这种识别方案，可以依据现实场景图像的图像特征，进行目标对象在真实世界所处位置的识别，可提高识别准确性，进而使得虚拟对象的在显示设备上呈现的位姿更为准确。
在一些可选的实施例中，如图2所示，所述根据所述目标对象在真实世界中的位置，确定所述虚拟对象待呈现的位姿，包括：
S1031：根据所述目标对象在真实世界中的位置，确定所述目标对象在图像坐标系中所处的位置；
可以理解，显示设备的屏幕显示的通常是图像，为了实现屏幕对图像的显示，可以建立图像坐标系。本步骤中确定目标对象在图像坐标系中所处的位置，可以理解为确定目标对象在屏幕显示的图像中所处的位置。
S1032：根据所述目标对象在图像坐标系中所处的位置，确定所述虚拟对象在所述显示设备的屏幕中待呈现的位置以及姿态。
在S1031中可明确目标对象在在图像坐标系中所处的位置。示例性的，可选取不同于目标对象在图像坐标系中的位置作为虚拟对象在屏幕中待呈现的位置。考虑到目标对象和虚拟对象是具有一定体积的物体，则为虚拟对象选取的位置可以与目标对象在图像坐标系中的位置不完全重叠，也即可以有部分重叠。在呈现的显示效果上来看，部分重叠即为虚拟对象显示在对目标对象存在有部分遮挡的位置。
一种可能的实现方式中，如上方案可通过以下过程来实现。真实世界对应有真实空间坐标系。屏幕显示的图像对应有图像坐标系。假定目标对象A在真实世界中的位置也即在真实空间坐标系下的位置为(fx，fy，fz)。应该理解，真实空间坐标系包括X、Y和Z三个维度。fx为目标对象A在真实空间坐标系下X方向的取值；fy为目标对象A在真实空间坐标系下Y方向的取值；fy为目标对象A在真实空间坐标系下Z方向的取值。通过前述的两种识别目标对象在真实世界中的位置的方案可知，(fx，fy，fz)为已知量。假定目标对象A映射到屏幕显示图像中在图像坐标系中的位置为(rx，ry)。应该理解，图像坐标系包括X和Y两个维度。rx为目标对象A在图像坐标系下X方向的取值；ry为目标对象A在图像坐标系下Y方向的取值。本申请实施例在于实现通过已知量(fx，fy，fz)求得未知量(rx，ry)。设屏幕显示的图像的单位像素距离与真实空间单位距离之间的比例关系为n1。因为屏幕显示是图像，显示设备针对目标对象拍摄的现实场景图像也是图像，在一定程度上n1也可视为现实场景图像的单位像素距离与真实空间单位距离之间的比例。如此，n1可根据显示设备对目标对象拍摄到的现实场景图像的一些参数而得到，具体如公式(1)所示。
Figure BDA0002577760520000111
在公式(1)中，d表示在拍摄现实场景图像时目标对象A与显示设备、具体是显示设备的摄像头之间的距离。a表示现实场景图像的宽度；b表示现实场景图像的高度；c＝b/2/tan((FOV1/2)*con)；FOV1表示显示设备、具体是摄像头在真实环境中竖直方向的视觉角度；con为视觉角度到弧度的转变量，为一常量。
Figure BDA0002577760520000112
根据公式(2)可得到目标对象A在图像坐标系中的位置，也即目标对象A在屏幕显示的图像中所处的位置。在获知目标对象A在屏幕显示的图像中所处的位置，选取不与目标对象A存在重叠的位置作为虚拟对象在显示设备的屏幕中待显示的位置。或者，选取与目标对象A仅存在部分重叠位置作为虚拟对象在显示设备的屏幕中待显示的位置。从屏幕的显示效果上来看，部分重叠即为虚拟对象显示在对目标对象存在有部分遮挡的位置。
前述方案为直接进行真实空间坐标系到图像坐标系的转换而确定出虚拟对象在显示设备的屏幕中待呈现的位置。此外，还可以通过利用虚拟(空间)坐标系进行从真实空间坐标系到图像坐标系的转换。例如，依据目标对象在真实空间坐标系下的位置，对三维虚拟画面进行构建。三维虚拟画面对应于虚拟坐标系，三维虚拟画面即是在虚拟坐标系中将真实世界中的目标对象和虚拟对象以及各自的位置构建出。其中，在三维虚拟画面中构建出的虚拟对象的位置可与目标对象的位置不同，或者仅部分重叠。如果视在三维虚拟画面中构建出的目标对象为三维虚拟目标对象，则构建出三维虚拟画面之后，再按照三维虚拟目标对象以及虚拟对象在三维虚拟画面中的位置、姿态等，将三维虚拟目标对象以及虚拟对象从虚拟坐标系下映射到图像坐标系下。由此实现从真实空间坐标系到虚拟空间坐标系的转换、以及从虚拟坐标系到图像坐标系的转换。也即借助于虚拟坐标系实现从真实空间坐标系到图像坐标系的转换。这种借助于虚拟坐标系实现从真实空间坐标系到图像坐标系的转换，也可保证虚拟对象在显示设备的屏幕中待呈现的位置的确定准确性。
前述的方案为实现对虚拟对象在显示设备的屏幕中待呈现的位置的确定的方案。虚拟对象在显示设备的屏幕中待呈现的姿态可以预先设定好，还可以根据虚拟对象在显示设备的屏幕中待呈现的位置而定。以预先设定好为例，可以预先设定为三维虚拟人物的站立姿态。或者，预先设定三维虚拟人物为半蹲姿态。采用预先设定的姿态进行三维虚拟人物的呈现，相当于将虚拟对象呈现在确定出的待呈现位置上，并以站立姿态或以半蹲姿态进行呈现。此外，三维虚拟人物在屏幕中待呈现的姿态还可以根据虚拟对象在屏幕中呈现的位置而定。如果三维虚拟人物在屏幕中呈现的位置与目标对象的呈现位置不存在重叠，则可以以预先设定的姿态如站立姿态或半蹲姿态进行呈现，在站立姿态或半蹲姿态下还可以将三维虚拟人物的双手打开做向别人介绍目标对象的姿势。如果三维虚拟人物在屏幕中呈现的位置与目标对象存在部分重叠，为避免加深由于部分重叠而对目标对象造成更多的遮挡，则三维虚拟人物的双手不应该打开做向别人介绍目标对象的姿势，而是双手放在腹部前做礼仪姿势。如此，便可避免对目标对象的遮挡。使得观看者通过屏幕的显示效果，既能够看到三维虚拟人物又能够看到目标对象。
从前述的方案中，虚拟对象如三维虚拟人物是预先构建好的，待到使用时，直接读取即可。本申请实施例的前述方案在于确定将构建好的虚拟对象显示在何种位置和以何种姿态进行显示。控制虚拟对象按照确定出的位置和姿态进行显示，实现了对现实场景的增强显示，使得增强现实场景的显示更加逼真，提高用户的使用体验。
如图3所示，在一些可选实施例中，所述方法还包括：
S105：控制在所述显示设备上呈现的所述虚拟对象输出所述目标对象的描述数据，所述目标对象的描述数据包括语音数据和/或图像数据。
在S105中，在控制虚拟对象按照虚拟显示数据在显示设备的屏幕上进行呈现的情况下，还可以将目标对象呈现在屏幕上。和/或，控制虚拟对象对目标对象的属性(如大小、形状、色彩等)功能、用途或使用方法进行音频输出。在目标对象和虚拟对象一同在显示设备的屏幕上进行呈现的情况下，可针对当前屏幕上呈现的目标对象，控制虚拟对象输出该目标对象的属性功能、用途或使用等数据。如此，便呈现出虚拟对象以获得的位姿对屏幕呈现的目标对象进行属性、功能或用途进行说明的场景。在视觉上给观看者一种真人对目标对象进行属性、功能等说明的场景。
在一些实施例中，本申请实施例中的虚拟对象可以将目标对象的属性、功能、用途或使用方法等数据以语音的方式进行输出，也即使用语音对目标对象的属性、功能、用途或使用方法进行讲解。需要对目标对象讲解的数据可预先录入至显示设备。虚拟对象可按照讲解内容的录入顺序进行讲解内容的依次进行音频输出，以实现对目标对象的属性的介绍。示例性地，假定录入的讲解数据是针对花瓶这一目标对象的大小、形状、年代、色彩等属性，则虚拟对象将按照这些属性的录入顺序进行各个属性内容的依次音频输出。如此给观看者带来一种真人对目标对象进行讲解的感受。
在虚拟对象对目标对象进行讲解的过程中，虚拟对象可以以手指向目标对象的姿态进行呈现，也可以以礼仪姿态进行呈现。这种姿态的呈现方式实现了对虚拟对象的逼真、生动显示，实现了AR现实场景的增强显示，给用户一种全新的视觉体验。可以理解，本申请实施例中的虚拟对象在显示设备上进行呈现的姿态，可以是固定好的，也可以是根据描述数据中的内容进行及时调整或更新的。
在一种可能的实施方式中，本申请实施例中的图像处理方法还包括：在控制所述虚拟对象输出所述目标对象的描述数据的过程中，识别所述描述数据中的目标语音数据和/或目标图像数据；基于所述目标语音数据和/或目标图像数据，调整所述虚拟对象在所述显示设备上当前呈现的姿态。目标语音数据可以是预先录入至显示设备中的目标对象的属性、功能、用途或使用方法等数据中的任意一种数据。还可以任意一种数据中的任意一个关键字、词或句子如属性中的“年代”一词。目标图像数据可以是显示设备的屏幕上呈现的目标对象的部分或全部。示例性地，假定目标对象包括至少两个部分，A部分和B部分。在显示设备的屏幕上，从目标对象的高度这一维度来看，A部分位于B部分的上方。假定预先录入至显示设备的音频数据包括对A部分的讲解内容和对B部分的讲解内容。显示设备先是控制虚拟对象以站立姿态进行A部分的说明或介绍。显示设备识别虚拟对象输出的讲解数据，当针对A部分的讲解数据输出完成如识别到针对A部分的最后一句话或者检测到针对B部分的最先一句话“好，现在我们来看B部分”，则显示设备控制虚拟对象从站立姿态调整为半蹲姿态，以方便对处于下方的B部分进行说明。前述方案可视为基于对目标对象的讲解内容对目标对象的姿态进行调整的方案。本申请实施例中的虚拟对象的姿态可根据其需要说明或介绍的目标对象的哪部分内容进行适时地调整，以方便对目标对象的各部分的介绍或说明。
在一些实施例中，显示设备能够沿预设轨道进行滑动。显示设备上设置图像采集模块如摄像头(前置和/或后置)。这种情况下，S101还可以通过如下方式来实现：在显示设备沿预设轨道滑动过程中通过所述图像采集模块采集所述现实场景图像。显示设备能够沿着预设轨道进行滑动以及在滑动过程中能够利用图像采集模块进行现实场景图像的采集，对显示设备的这种设计方式，可大大丰富显示设备的功能，提高显示设备的易用性。
在一些实施例中，显示设备的显示屏可以为非透明屏。在显示屏为非透明屏的情况下，S104即可视为：在所述显示设备的显示屏上呈现所述现实场景图像以及按照所述虚拟显示数据呈现的所述虚拟对象，所述虚拟对象呈现在所述目标对象的呈现位置的一侧或者所述虚拟对象呈现在与所述目标对象的呈现位置之间存在部分遮挡的位置处。
在一些实施例中，显示设备的显示屏可以为透明屏。在显示屏为透明屏的情况下，S104即可视为：在所述显示设备的显示屏上按照所述虚拟显示数据呈现的所述虚拟对象，所述虚拟对象呈现在透过所述透明屏显示的所述目标对象的一侧或者所述虚拟对象呈现在与透过所述透明屏显示的所述目标对象之间存在部分遮挡的位置处。
可以理解，从显示效果上来看，在为透明屏的情况下目标对象不显示在透明屏上。观看者对目标对象的观看效果等同于观看者不需要利用屏幕、处在现实世界中对目标对象进行观看的观看效果。在为非透明屏的情况下相当于利用图像(现实场景图像)将真实世界中的目标对象进行显示。不论是透明屏还是非透明屏的显示，从观看者观看的显示效果来看，可以是虚拟对象显示在目标对象的一侧、不存在对目标对象的遮挡。或是显示在与目标对象存在有部分遮挡的位置。如此显示，可实现对AR现实场景的增强显示，提升了观看者的观看体验。
下面结合附图4-图8及具体实施例对本申请作进一步详细的说明。
在本应用场景中，以AR场景、虚拟对象为三维虚拟人物为例对本申请实施例的技术方案进行说明。在图4-图8所示的AR展厅场景中，存在有几个需要展出的展品如飞机模型、花瓶、机器人等。目标对象即为这些展品中的其中一个展品。
图4-图8中，将显示设备12设置于支架11上，支架11上具有滑动轨道，位于支架11上的显示设备12在滑动轨道上围绕着几个展品进行滑动，滑动过程中显示设备12的摄像头如后置摄像头实时采集现实场景图像，当移动至某个展品处时，采集到的现实场景图像中可出现展品。如图4所示，假定在滑动至花瓶的情况下，对花瓶进行图像的拍摄，得到针对花瓶的现实场景图像。
显示设备12在得到针对花瓶的现实场景图像的情况下，先判断现实场景图像中是否存在有目标对象即花瓶。如果存在有花瓶，则继续后续流程。如果没有流程结束。判断现实场景图像中是否存在有花瓶，就是提取现实场景图像中所存在的各个对象的轮廓特征，如果存在有一个对象的轮廓特征与花瓶的轮廓特征相同或相近，则认为现实场景图像包括有花瓶所在的图像区域，现实场景图像存在有目标对象-花瓶。在显示设备12确认现实场景图像存在有目标对象-花瓶的情况下，采用前述的根据现实场景图像确定目标对象在真实世界中所处的位置的两种方案中的至少一种方案进行花瓶在真实世界如展厅中所处的位置的计算。计算过程请参见前述的具体说明，将前述说明中的目标对象换成花瓶即可，重复之处不赘述。需要说明的是，如果同时采用前述的两种方案进行花瓶在真实世界如展厅中所处位置的计算，则在利用两种方案计算出的各自结果(花瓶在真实世界如展厅中所处位置)一致的情况下，方可将一致的结果作为最终的花瓶在展厅中所处的位置。如果不一致，则继续进行计算直至一致、或者显示设备12针对花瓶重新进行图像的拍摄，以令显示设备12根据重新拍摄后的现实场景图像进行计算。将在利用两种方案进行计算的一致结果作为花瓶在展厅中所处的位置，可大大保证花瓶在真实世界中所处位置的计算准确性。
在准确地计算出花瓶在真实世界中所处位置的情况下，显示设备12根据花瓶在真实世界中的位置，确定花瓶在屏幕显示图像的图像坐标系中所处的位置；根据花瓶在屏幕显示图像的图像坐标系中所处的位置，三维虚拟人物在显示设备12的屏幕中待呈现的位置以及姿态。三维虚拟人物在显示设备12的屏幕中待呈现的位置以及姿态的实现过程请参见前述的相关具体说明，将前述相关说明中的目标对象换成花瓶即可，重复之处不赘述。
在对三维虚拟人物在图像坐标系中的位置的确定的方案中，还可以结合目标对象的实际高度进行三维虚拟人物的姿态的呈现。其中，在拍摄现实场景图像时采用的摄像头为3D(三维)摄像头，则3D摄像头还可获知目标对象的实际高度。在目标对象的实际高度高于预定的高度阈值的情况下，可确定三维虚拟人物是以站立的姿态进行呈现；如果小于或等于高度阈值，则确定三维虚拟人物是以半蹲的姿态进行呈现。以使得三维虚拟人物的呈现姿态能够方便对相应高度的目标对象进行介绍。其中，对目标对象的实际高度的计算除了采用以上方式，还可以依据拍摄的现实场景图像中目标对象在该图像的像素区域占整个现实场景图像的大小进行目标对象的实际高度的计算。
示例性的，如果经过前述的方案获知花瓶显示在屏幕的右侧，则可将三维虚拟人物显示在屏幕的左侧，如图5-8任一图所示。三维虚拟人物在屏幕中的显示位置可以与花瓶的显示位置分离，不与花瓶靠近，如图6所示。三维虚拟人物在屏幕中的显示位置也可以与花瓶的显示位置部分重叠，如图7和图8所示，在显示效果上三维虚拟人物会对花瓶的一部分进行遮挡，使得观察者无法看到花瓶的被遮挡部分。
如图5-图8所示为虚拟对象在显示设备12的显示屏中进行几种呈现的示意图。显示设备12控制虚拟对象在显示屏以确定出的位置以及姿态进行呈现，显示设备12可以按照图5-图8任一所示，将虚拟对象以确定出的位置以及姿态进行呈现。同时，花瓶也显示在显示屏上。假定显示设备12的显示屏为透明屏，则呈现效果如图5所示，观看者可透过透明显示屏观看到花瓶，三维虚拟人物显示透明屏上，且在透明屏中的显示效果是在在花瓶的一侧。图7和图8中，三维虚拟人物的显示位置对花瓶存在有部分遮挡，如图7中对花瓶的瓶口以及中部存在遮挡。如图8中对花瓶的中部存在遮挡。
在图5-图8中，三维虚拟人物均是以站立姿态进行的呈现。且在图5-图7中，三维虚拟人物在站立姿态下时双手处于放于腹部的姿态。而在图8中三维虚拟人物在站立姿态下时其左手处于指向花瓶的姿态。示例性地，假定三维虚拟人物是以站立姿态下时双手处于放于腹部的姿态进行花瓶的描述数据如花瓶的大小、形状、年代、容积等进行语音介绍的过程中，如果识别到三维虚拟人物对花瓶的形状进行介绍的情况下，如检测到三维虚拟人物输出的语音数据中存在有“形状”(目标语音数据)一词，则保持三维虚拟人物的站立姿态，将其双手从原来的放于腹部的姿态调整到其左手指向花瓶的姿态。观看者观看到的显示效果是从图5-图7中的任一图切换到图8所示。
本应用场景中，是将三维虚拟人物和花瓶一同呈现在显示屏上为例，此外，还可以在显示屏上仅呈现三维虚拟人物不呈现花瓶。在三维虚拟人物和花瓶一同呈现在显示屏上的情况下，在识别出呈现在显示屏上的目标对象为花瓶的情况下，显示设备12将预先录入的花瓶讲解数据进行调用，控制三维虚拟人物进行花瓶讲解数据的音频输出。三维虚拟人物可采用同一姿态对花瓶进行讲解，显示设备12还可以在三维虚拟人物对花瓶进行讲解的过程中，对三维虚拟人物输出的数据进行目标语音数据的识别，如识别出讲解数据中的“年代”一词，则可对三维虚拟人物的姿态进行调整。如三维虚拟人物依次对花瓶的大小、形状、年代、色彩等属性进行讲解，在对花瓶的大小、形状进行讲解时三维虚拟人物采用的站立且双手贴于腹部的姿态。在显示设备12识别出讲解数据中的“年代”一词，将三维虚拟人物的姿态调整到一只手指向花瓶的姿态。三维虚拟人物的姿态可根据其输出的语音数据中的目标语音数据进行及时调整，这样的三维虚拟人物给人一种生动、逼真的感觉，视觉体验被提升。
假定花瓶包括瓶口和瓶身两大部分。显示设备12在屏幕上对花瓶进行显示时，先对花瓶的瓶口部分进行特效显示如标识出花瓶瓶口的轮廓并进行高亮显示，以突出花瓶的瓶口部分。三维虚拟人物针对花瓶的突出显示部分进行讲解，即花瓶的哪部分进行突出显示，则讲解哪部分的内容。以花瓶中先进行高亮显示的部分为瓶口部分，瓶口部分为花瓶的上部分、瓶口部分在现实场景中的高度大于设定的高度阈值，控制三维虚拟人物以站立姿态进行花瓶瓶口数据的讲解。显示设备12对花瓶的高亮显示部分进行识别，如果识别到花瓶的瓶身部分变成高亮显示(瓶口部分变成非高亮显示)，认为识别到目标图像数据，瓶身部分在现实场景中的高度不大于设定的高度阈值，那么调整三维虚拟人物的姿态，从站立姿态调整为半蹲姿态。三维虚拟人物的姿态可根据目标图像数据进行及时调整，这样的三维虚拟人物给人一种生动、逼真的感觉，视觉体验被提升。
此外，还可以在识别到目标语言数据如“好，下面来看花瓶的瓶身”以及识别到目标图像数据如花瓶的瓶身部分变成高亮显示，调整三维虚拟人物的姿态，如从站立姿态调整为半蹲姿态、且从双手贴于腹部的姿态调整到一只手指向花瓶瓶身的姿态。
前述方案说的是三维虚拟人物的身体姿态(站立或半蹲)、手部发生姿势的改变。此外，三维虚拟人物的面部表情也可随着输出的数据内容进行变化。示例性地，假定三维虚拟人物按照花瓶的大小、形状、年代、容积进行依次介绍，且在花瓶的大小、形状的情况下采用表情A进行介绍。云端服务器对三维虚拟人物输出的数据进行文字识别，当识别出其进行“年代”(目标语音数据)一词的输出时，调整三维虚拟人物的面部表情，如从表情A调整到表情B，如从无表情状态调整到微笑状态。
前述方案是以显示设备12的屏幕为透明屏为例，其屏幕还可以是非透明屏。在为非透明屏的情况下，在显示设备12的呈现效果上，在屏幕上呈现了针对花瓶而拍摄的现实场景图像以及按照确定出的位姿呈现的三维虚拟人物。从视觉上来看，相当于将以确定出的位姿呈现的三维虚拟人物映射到现实场景图像中，以实现三维虚拟人物和花瓶的在同一图像中的呈现。
在具体实现上，显示设备12可以是终端，还可以是服务器。在为终端或服务器的情况下，以上需要屏幕显示的内容(虚拟对象及其位姿)可以显示在终端或服务器自带的显示屏上，还可以显示在外接显示屏上。如果显示设备12为服务器，则服务器除了可以通过对现实场景图像进行拍摄或者读取已经拍摄完的现实场景图像的方式获得现实场景图像，服务器还可以接收能够向其发送现实场景图像的设备发送来的现实场景图像而获得现实场景图像。示例性地，假定向服务器发送现实场景图像的设备为终端，终端将拍摄或读取的现实场景图像发送至服务器，服务器接收终端发送的现实场景图像。此外，在显示设备12为服务器的情况下，服务器还可以控制虚拟对象按照虚拟显示数据在向其发送现实场景图像的终端的自带显示屏或外接显示屏上进行呈现。以上方案均可实现对AR场景的增强显示。如此，便可使AR设备的功能多样化，提升用户对AR设备的体验。
在实际应用中，如果将三维虚拟人物视为在展厅中出现或虚拟出的虚拟讲解员，则对目标对象的属性、功能、用途或使用方法等数据可以预先录入至显示设备12中。在虚拟讲解员讲解目标对象的描述数据时，还可以通过图像进行描述数据的呈现，对讲解数据中的关键字进行识别和/或对呈现图像中的关键字进行识别，从而进行虚拟讲解员的讲解姿态的调整，从将原本的双手放于腹部的姿态调整为胳膊和手需要指向展品的姿态。其中，讲解数据中的关键字即可视为前述的目标语音数据。输出图像中的关键字即为前述的目标图像数据。此外，虚拟讲解员可根据展品的高度，确定是需要采用站立姿态进行讲解还是采用半蹲姿态进行讲解。再有，虚拟讲解员的表情可随着讲解内容而发生变化，在讲解到虚拟讲解员输出关键字时，虚拟讲解员的面部表情发生从表情A到表情B的变化，采用表情B继续进行讲解。由此可见，本应用场景提供的技术方案，实用性强，可利于有效推广，可实施性高。
本申请实施例的技术方案至少存在如下有益效果：
在现实场景图像中出现有目标对象的情况下，能够根据现实场景图像进行目标对象在真实世界中的位置的识别。为一种定位出目标对象在真实世界所处位置的方案。这种定位方案可使得位置定位得更加准确。从而更准确地实现对AR现实场景的增强显示，提高用户的使用体验。
根据目标对象在真实世界中的位置进行虚拟对象的待呈现的虚拟显示数据的获得，并控制虚拟对象按照获得的虚拟显示数据在显示设备上进行呈现。实现了对AR现实场景的增强显示，使得增强现实场景的显示更加逼真、AR设备的显示功能更加多样化，可大大提升用户对AR设备的使用体验。
采用前述的方案实现根据目标对象在真实世界中的位置进行虚拟对象的待呈现的位姿的确定，可保证虚拟对象的待呈现的位姿的确定准确性，由此可实现AR现实场景的逼真显示。
虚拟对象在显示设备上呈现的姿态可随着输出的描述数据的内容进行及时的调整，可使得虚拟对象更加生动、逼真，显示效果的多样化，显示趣味性足，用户的观看体验被得到很好的提升。
本申请实施例提供一种图像处理设备，如图9所示，包括：第一获取单元1001、确定单元1002、第二获取单元1003和控制单元1004。其中，
第一获取单元1001，用于获取现实场景图像；
确定单元1002，用于识别所述现实场景图像中出现目标对象的情况下，根据所述现实场景图像确定所述目标对象在真实世界中的位置；
第二获取单元1003，用于根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的待呈现的虚拟显示数据；
控制单元1004，用于控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现。
在一些可选的实施例中，第二获取单元1003，用于根据所述目标对象在真实世界中的位置，确定所述虚拟对象待呈现的位姿；
相应的，控制单元1004，用于控制所述虚拟对象在所述显示设备上呈现所述位姿。
在一些可选的实施例中，第二获取单元1003，用于根据所述目标对象在真实世界中的位置，确定所述目标对象在图像坐标系中所处的位置；
根据所述目标对象在图像坐标系中所处的位置，确定所述虚拟对象在所述显示设备的屏幕中待呈现的位置以及姿态。
在一些可选的实施例中，控制单元1004，用于控制在所述显示设备上呈现的所述虚拟对象输出所述目标对象的描述数据，所述目标对象的描述数据包括语音数据和/或图像数据。
在一些可选的实施例中，所述虚拟显示数据包括所述虚拟对象的姿态；
控制单元1004，用于在控制所述虚拟对象输出所述目标对象的描述数据的过程中，识别所述描述数据中的目标语音数据和/或目标图像数据；
基于所述目标语音数据和/或目标图像数据，调整所述虚拟对象在所述显示设备上当前呈现的姿态。
在一些可选的实施例中，所述虚拟对象为三维虚拟人物；所述虚拟对象的姿态包括以下至少一种：肢体动作、手势、肢体动作或手势的指示方向、面部表情。
在一些可选的实施例中，所述显示设备沿预设轨道滑动，所述显示设备包括图像采集模块；
第一获取单元1001，用于在所述显示设备沿所述预设轨道滑动过程中通过所述图像采集模块采集所述现实场景图像。
在一些可选的实施例中，所述显示设备的显示屏为非透明屏；控制单元1004，用于控制在所述显示设备的显示屏上呈现所述现实场景图像以及按照所述虚拟显示数据呈现的所述虚拟对象，控制所述虚拟对象呈现在所述目标对象的呈现位置的一侧或者所述虚拟对象呈现在与所述目标对象的呈现位置之间存在部分遮挡的位置处。
在一些可选的实施例中，所述显示设备的显示屏为非透明屏；控制单元1004，用于控制在所述显示设备的显示屏上按照所述虚拟显示数据呈现的所述虚拟对象，所述虚拟对象呈现在透过所述透明屏显示的所述目标对象的一侧或者所述虚拟对象呈现在与透过所述透明屏显示的所述目标对象之间存在部分遮挡的位置处。
可以理解，所述设备中的第一获取单元1001、确定单元1002、第二获取单元1003和控制单元1004在实际应用中均可由识别设备的中央处理器(CPU，Central ProcessingUnit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。第一获取单元1001还可以通过图像采集模块如摄像头(前置或后置)来实现。
需要说明的是，本申请实施例的图像处理设备，由于该图像处理设备解决问题的原理与前述的图像处理方法相似，因此，图像处理设备的实施过程及实施原理均可以参见前述方法的实施过程及实施原理描述，重复之处不再赘述。本申请实施例中的图像处理设备即可为方法实施例中的显示设备。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时至少用于执行图1至图8任一所示方法的步骤。所述计算机可读存储介质具体可以为存储器。所述存储器可以为如图10所示的存储器62。
图10为本申请实施例的图像处理设备的硬件结构示意图，如图10所示，图像处理设备包括：用于进行数据传输的通信组件63、至少一个处理器61和用于存储能够在处理器61上运行的计算机程序的存储器62。图像处理设备中的各个组件通过总线系统64耦合在一起。可理解，总线系统64用于实现这些组件之间的连接通信。总线系统64除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统64。
其中，所述处理器61执行所述计算机程序时至少执行图1至图8任一所示方法的步骤。
可以理解，存储器62可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器61中，或者由处理器61实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器61可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，图像处理设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取现实场景图像；
识别所述现实场景图像中出现目标对象的情况下，根据所述现实场景图像确定所述目标对象在真实世界中的位置；
根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的待呈现的虚拟显示数据；
控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的虚拟显示数据，包括：
根据所述目标对象在真实世界中的位置，确定所述虚拟对象待呈现的位姿；
控制所述虚拟对象在所述显示设备上呈现所述虚拟显示数据，包括：
控制所述虚拟对象在所述显示设备上呈现所述位姿。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象在真实世界中的位置，确定所述虚拟对象待呈现的位姿，包括：
根据所述目标对象在真实世界中的位置，确定所述目标对象在图像坐标系中所处的位置；
根据所述目标对象在图像坐标系中所处的位置，确定所述虚拟对象在所述显示设备的屏幕中待呈现的位置以及姿态。
4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
控制在所述显示设备上呈现的所述虚拟对象输出所述目标对象的描述数据，所述目标对象的描述数据包括语音数据和/或图像数据。
5.根据权利要求4所述的方法，其特征在于，所述虚拟显示数据包括所述虚拟对象的姿态，所述方法包括：
在控制所述虚拟对象输出所述目标对象的描述数据的过程中，识别所述描述数据中的目标语音数据和/或目标图像数据；
基于所述目标语音数据和/或目标图像数据，调整所述虚拟对象在所述显示设备上当前呈现的姿态。
6.根据权利要求5所述的方法，其特征在于，所述虚拟对象为三维虚拟人物；所述虚拟对象的姿态包括以下至少一种：肢体动作、手势、手势的指示方向、面部表情。
7.根据权利要求1至6任一所述的方法，其特征在于，所述显示设备沿预设轨道滑动，所述显示设备包括图像采集模块；
所述获取现实场景图像，包括：
在所述显示设备沿所述预设轨道滑动过程中通过所述图像采集模块采集所述现实场景图像。
8.根据权利要求1至7任一所述的方法，其特征在于，所述显示设备的显示屏为非透明屏；
所述控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现，包括：
在所述显示设备的显示屏上呈现所述现实场景图像以及按照所述虚拟显示数据呈现的所述虚拟对象，所述虚拟对象呈现在所述目标对象的呈现位置的一侧或者所述虚拟对象呈现在与所述目标对象的呈现位置之间存在部分遮挡的位置处。
9.根据权利要求1至8任一所述的方法，其特征在于，所述显示设备的显示屏为透明屏；
所述控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现，包括：
在所述显示设备的显示屏上按照所述虚拟显示数据呈现的所述虚拟对象，所述虚拟对象呈现在透过所述透明屏显示的所述目标对象的一侧或者所述虚拟对象呈现在与透过所述透明屏显示的所述目标对象之间存在部分遮挡的位置处。
10.一种图像处理设备，其特征在于，包括：
第一获取单元，用于获取现实场景图像；
确定单元，用于识别所述现实场景图像中出现目标对象的情况下，根据所述现实场景图像确定所述目标对象在真实世界中的位置；
第二获取单元，用于根据所述目标对象在真实世界中的位置，获得所述显示设备上显示的虚拟对象的待呈现的虚拟显示数据；
控制单元，用于控制所述虚拟对象按照所述虚拟显示数据在所述显示设备上进行呈现。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9任一所述方法的步骤。
12.一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一所述方法的步骤。
CN202010658911.9A 2020-07-09 2020-07-09 图像处理方法、设备及存储介质 Withdrawn CN111860252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010658911.9A CN111860252A (zh) 2020-07-09 2020-07-09 图像处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010658911.9A CN111860252A (zh) 2020-07-09 2020-07-09 图像处理方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111860252A true CN111860252A (zh) 2020-10-30

Family

ID=73153567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010658911.9A Withdrawn CN111860252A (zh) 2020-07-09 2020-07-09 图像处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111860252A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584045A (zh) * 2020-12-07 2021-03-30 Oppo广东移动通信有限公司 一种定位显示方法、终端和计算机可读存储介质
CN112684885A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 一种显示控制方法及装置
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质
CN112991551A (zh) * 2021-02-10 2021-06-18 深圳市慧鲤科技有限公司 图像处理方法、装置、电子设备和存储介质
CN114332416A (zh) * 2021-11-30 2022-04-12 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
WO2022151686A1 (zh) * 2021-01-15 2022-07-21 深圳市慧鲤科技有限公司 场景图像展示方法、装置、设备、存储介质、程序及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215230A1 (en) * 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
CN108519816A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN110401810A (zh) * 2019-06-28 2019-11-01 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215230A1 (en) * 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN108519816A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN110401810A (zh) * 2019-06-28 2019-11-01 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584045A (zh) * 2020-12-07 2021-03-30 Oppo广东移动通信有限公司 一种定位显示方法、终端和计算机可读存储介质
CN112584045B (zh) * 2020-12-07 2022-07-12 Oppo广东移动通信有限公司 一种定位显示方法、终端和计算机可读存储介质
CN112684885A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 一种显示控制方法及装置
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
US11721074B2 (en) 2020-12-25 2023-08-08 Lenovo (Beijing) Limited Display control method and device
CN112906467A (zh) * 2021-01-15 2021-06-04 深圳市慧鲤科技有限公司 合影图像生成方法及装置、电子设备和存储介质
WO2022151687A1 (zh) * 2021-01-15 2022-07-21 深圳市慧鲤科技有限公司 合影图像生成方法、装置、设备、存储介质、计算机程序及产品
WO2022151686A1 (zh) * 2021-01-15 2022-07-21 深圳市慧鲤科技有限公司 场景图像展示方法、装置、设备、存储介质、程序及产品
CN112991551A (zh) * 2021-02-10 2021-06-18 深圳市慧鲤科技有限公司 图像处理方法、装置、电子设备和存储介质
CN114332416A (zh) * 2021-11-30 2022-04-12 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN111860252A (zh) 图像处理方法、设备及存储介质
US9651782B2 (en) Wearable tracking device
CN113238650B (zh) 手势识别和控制的方法、装置及虚拟现实设备
US9886102B2 (en) Three dimensional display system and use
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN103793060B (zh) 一种用户交互系统和方法
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
US20170287218A1 (en) Virtual object manipulation within physical environment
Collins et al. Visual coherence in mixed reality: A systematic enquiry
JP7026825B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
US20220237812A1 (en) Item display method, apparatus, and device, and storage medium
Mohr et al. Mixed reality light fields for interactive remote assistance
CN110473293A (zh) 虚拟对象处理方法及装置、存储介质和电子设备
KR20110104686A (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
CN108594999A (zh) 用于全景图像展示系统的控制方法和装置
CN106293099A (zh) 手势识别方法及系统
CN115439171A (zh) 商品信息展示方法、装置及电子设备
CN107145822A (zh) 偏离深度相机的用户体感交互标定的方法和系统
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
WO2019085519A1 (zh) 面部跟踪方法及装置
WO2006097722A2 (en) Interface control
CN109426336A (zh) 一种虚拟现实辅助选型设备
Bellarbi et al. A 3d interaction technique for selection and manipulation distant objects in augmented reality
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN111258413A (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication