CN111897431B - 展示方法及装置、显示设备、计算机可读存储介质 - Google Patents

展示方法及装置、显示设备、计算机可读存储介质 Download PDF

Info

Publication number
CN111897431B
CN111897431B CN202010761973.2A CN202010761973A CN111897431B CN 111897431 B CN111897431 B CN 111897431B CN 202010761973 A CN202010761973 A CN 202010761973A CN 111897431 B CN111897431 B CN 111897431B
Authority
CN
China
Prior art keywords
display
virtual
action
effect data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010761973.2A
Other languages
English (en)
Other versions
CN111897431A (zh
Inventor
侯欣如
栾青
许亲亲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010761973.2A priority Critical patent/CN111897431B/zh
Publication of CN111897431A publication Critical patent/CN111897431A/zh
Application granted granted Critical
Publication of CN111897431B publication Critical patent/CN111897431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本公开实施例公开了一种展示方法及装置、显示设备、计算机可读存储介质。该方法包括：分别采集真实场景中交互对象的多帧交互图像和真实场景的展示图像；基于展示图像中陈列的展示对象，确定虚拟对象对应的动作效果数据与展示对象的虚拟效果数据；基于多帧交互图像，确定虚拟对象的响应效果数据；基于动作效果数据与响应效果数据对虚拟对象进行渲染，并根据虚拟效果数据对展示对象进行渲染，得到虚拟效果图像；在显示设备上展示包括虚拟效果图像的增强现实效果。通过本公开，能够提高展示的互动性，丰富展示效果。

Description

展示方法及装置、显示设备、计算机可读存储介质
技术领域
本公开涉及图像处理技术，尤其涉及一种展示方法及装置、显示设备、计算机可读存储介质。
背景技术
目前，对于一些大型展会，如历史文物展示、汽车展示、工地楼体展示或建筑规划沙盘展示等场景，经常需要展示展品，并对展品等其他物品进行讲解。目前，已有的讲解方式中讲解方式单一，很难吸引参照者，导致展示的互动性不高，展示效果不佳。
发明内容
本公开实施例提供一种展示方法及装置、显示设备、计算机可读存储介质，能够提高展示的互动性，丰富展示效果。
本公开实施例的技术方案是这样实现的：
本公开实施例提供一种展示方法，包括：分别采集真实场景中交互对象的多帧交互图像和所述真实场景的展示图像；基于所述展示图像中陈列的展示对象，确定虚拟对象对应的动作效果数据与所述展示对象的虚拟效果数据；基于所述多帧交互图像，确定所述虚拟对象的响应效果数据；基于所述动作效果数据与所述响应效果数据对所述虚拟对象进行渲染，并根据所述虚拟效果数据对所述展示对象进行渲染，得到虚拟效果图像；在显示设备上展示包括所述虚拟效果图像的增强现实效果。
上述方案中，所述基于所述展示图像中陈列的展示对象，确定虚拟对象对应的动作效果数据与所述展示对象的虚拟效果数据，包括：
获取所述展示对象的展示信息；
根据所述展示信息，确定出对应的展示动作；所述展示动作用于控制所述虚拟对象执行针对所述展示信息的预设介绍动作序列；
将所述展示动作对应的预设渲染数据，确定为所述动作效果数据；
将所述展示对象对应的预设渲染数据，确定为所述虚拟效果数据。
上述方案中，所述基于所述多帧交互图像，确定所述虚拟对象的响应效果数据，包括：
对所述多帧交互图像的图像内容进行识别处理，确定所述交互对象的姿态信息；
根据所述交互对象的姿态信息，确定所述虚拟对象对应的响应动作；
将所述响应动作对应的预设渲染数据作为所述响应效果数据。
上述方案中，所述基于所述动作效果数据与所述响应效果数据对所述虚拟对象进行渲染，并根据所述虚拟效果数据对所述展示对象进行渲染，得到虚拟效果图像，包括：
获取所述展示对象在所述显示设备上对应的第一显示区域；
根据所述第一显示区域与所述虚拟对象的预设尺寸，在所述展示图像中确定出所述虚拟对象的目标显示区域；
在所述目标显示区域中，使用所述动作效果数据与所述响应效果数据对所述虚拟对象进行渲染；在所述第一显示区域中，使用所述虚拟效果数据对所述展示对象进行渲染，从而得到虚拟效果图像。
上述方案中，所述根据所述显示区域与所述虚拟对象的预设尺寸，在所述展示图像中确定出所述虚拟对象的目标显示区域，包括：
将所述虚拟对象执行预设第一显示姿态时所占用尺寸作为所述虚拟对象的预设尺寸；
在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域；
当所述第二显示区域大于所述虚拟对象的预设尺寸时，将所述第二显示区域作为所述目标显示区域。
上述方案中，所述在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域之后，所述方法还包括：
当所述第二显示区域的尺寸小于所述虚拟对象的预设尺寸时，调整所述第一显示区域与所述第二显示区域的比例，使所述第二显示区域大于所述虚拟对象的预设尺寸。
上述方案中，所述在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域之后，所述方法还包括：
当所述第一显示区域的高度小于预设高度阈值时，调整所述虚拟对象的显示姿态为预设第二显示姿态，将所述预设第二显示姿态的尺寸作为所述虚拟对象的预设尺寸；所述第二显示姿态的高度低于第一显示姿态的高度。
上述方案中，所述根据所述展示信息，确定出对应的目标动作序列，包括：
从所述预设展示信息与介绍动作序列之间的对应关系中，确定出所述展示信息对应的目标介绍动作序列；
将所述目标介绍动作序列作为所述展示动作。
上述方案中，所述姿态信息包括移动姿态信息，所述根据所述交互对象的姿态信息，确定所述虚拟对象对应的响应动作，包括：
获取所述移动姿态信息的移动方向和移动速度；
根据所述移动方向与移动速度，生成所述虚拟对象的目标移动方向与目标移动速度；
根据所述目标移动方向与所述目标移动速度，控制虚拟对象执行以所述目标移动速度，向所述目标移动方向进行移动的动作，作为所述虚拟对象对应的响应动作。
上述方案中，所述姿态信息包括肢体动作信息，所述根据所述交互对象的姿态信息，确定所述虚拟对象对应的响应动作，包括：
将所述肢体动作信息与至少一个预设互动姿态进行匹配；
当所述肢体动作信息匹配到所述至少一个预设互动姿态中的目标互动姿态时，将所述目标互动姿态对应的预设动作序列作为所述响应动作；所述响应动作用于控制所述虚拟对象对所述目标互动姿态进行响应。
上述方案中，所述在所述目标显示区域中，使用所述动作效果数据与所述响应效果数据对所述虚拟对象进行渲染，包括：
在所述目标显示区域中，使用所述动作效果数据对所述虚拟对象进行渲染；
当接收到对所述虚拟对象的控制指令时，基于所述控制指令对应的响应效果数据，对所述虚拟对象进行渲染。
上述方案中，所述分别采集真实场景中交互对象的多帧交互图像和所述真实场景的展示图像，包括：
采用所述显示设备的第一图像采集装置，采集真实场景中的交互对象的所述多帧交互图像；
采用所述显示设备的第二图像采集装置，采集所述真实场景中的所述展示图像。
上述方案中，所述第一图像采集装置与所述第二图像采集装置位于所述显示设备的同一侧面；或者所述第一图像采集装置与所述第二图像采集装置分别位于所述显示设备的两个相对或相邻的侧面。
上述方案中，所述显示设备的显示屏幕在预设滑动轨道上移动。
上述方案中，所述显示设备的显示屏幕为透明显示屏或者非透明显示屏。
本公开实施例提供一种展示装置，包括：采集单元，用于分别采集真实场景中的交互对象的多帧交互图像和所述真实场景的展示图像；确定单元，用于基于所述展示图像中陈列的展示对象，确定虚拟对象对应的动作效果数据与所述展示对象的虚拟效果数据；基于所述多帧交互图像，确定所述虚拟对象的响应效果数据；渲染单元，用于基于所述动作效果数据与所述响应效果数据对所述虚拟对象进行渲染，并根据所述虚拟效果数据对所述展示对象进行渲染，得到虚拟效果图像；显示单元，用于在显示设备上展示包括所述虚拟效果图像的增强现实效果。
上述装置中，所述确定单元，还用于获取所述展示对象的展示信息；根据所述展示信息，确定出对应的展示动作；所述展示动作用于控制所述虚拟对象执行针对所述展示信息的预设介绍动作序列；将所述展示动作对应的预设渲染数据，确定为所述动作效果数据；将所述展示对象对应的预设渲染数据，确定为所述虚拟效果数据。
上述装置中，确定单元，还用于对所述多帧交互图像的图像内容进行识别处理，确定所述交互对象的姿态信息；根据所述交互对象的姿态信息，确定所述虚拟对象对应的响应动作；将所述响应动作对应的预设渲染数据作为所述响应效果数据。
上述装置中，所述渲染单元，还用于获取所述展示对象在所述显示设备上对应的第一显示区域；根据所述第一显示区域与所述虚拟对象的预设尺寸，在所述展示图像中确定出所述虚拟对象的目标显示区域；在所述目标显示区域中，使用所述动作效果数据与所述响应效果数据对所述虚拟对象进行渲染；在所述第一显示区域中，使用所述虚拟效果数据对所述展示对象进行渲染，从而得到虚拟效果图像。
上述装置中，所述确定单元，还用于将所述虚拟对象执行预设第一显示姿态时所占用尺寸作为所述虚拟对象的预设尺寸；在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域；当所述第二显示区域大于所述虚拟对象的预设尺寸时，将所述第二显示区域作为所述目标显示区域。
上述装置中，所述确定单元，还用于所述在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域之后，当所述第二显示区域的尺寸小于所述虚拟对象的预设尺寸时，调整所述第一显示区域与所述第二显示区域的比例，使所述第二显示区域大于所述虚拟对象的预设尺寸。
上述装置中，所述确定单元，还用于所述在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域之后，当所述第一显示区域的高度小于预设高度阈值时，调整所述虚拟对象的显示姿态为预设第二显示姿态，将所述预设第二显示姿态的尺寸作为所述虚拟对象的预设尺寸；所述第二显示姿态的高度低于第一显示姿态的高度。
上述装置中，所述确定单元，还用于从所述预设展示信息与介绍动作序列之间的对应关系中，确定出所述展示信息对应的目标介绍动作序列；将所述目标介绍动作序列作为所述展示动作。
上述装置中，所述姿态信息包括移动姿态信息，所述确定单元，还用于获取所述移动姿态信息的移动方向和移动速度；根据所述移动方向与移动速度，生成所述虚拟对象的目标移动方向与目标移动速度；根据所述目标移动方向与所述目标移动速度，控制虚拟对象执行以所述目标移动速度，向所述目标移动方向进行移动的动作，作为所述虚拟对象对应的响应动作。
上述装置中，所述姿态信息包括肢体动作信息，所述确定单元，还用于将所述肢体动作信息与至少一个预设互动姿态进行匹配；当所述肢体动作信息匹配到所述至少一个预设互动姿态中的目标互动姿态时，将所述目标互动姿态对应的预设动作序列作为所述响应动作；所述响应动作用于控制所述虚拟对象对所述目标互动姿态进行响应。
上述装置中，所述渲染单元，用于在所述目标显示区域中，使用所述动作效果数据对所述虚拟对象进行渲染；当接收到对所述虚拟对象的控制指令时，基于所述控制指令对应的响应效果数据，对所述虚拟对象进行渲染。
上述装置中，所述采集单元，用于采用所述显示设备的第一图像采集装置，采集真实场景中的交互对象的所述多帧交互图像；采用所述显示设备的第二图像采集装置，采集所述真实场景中的展示对象的所述展示图像。
上述装置中，所述第一图像采集装置与所述第二图像采集装置位于所述显示设备的同一侧面；或者所述第一图像采集装置与所述第二图像采集装置分别位于所述显示设备的两个相对或相邻的侧面。
上述装置中，所述显示设备的显示屏幕在预设滑动轨道上移动。
上述装置中，所述显示设备的显示屏幕为透明显示屏或者非透明显示屏。
本公开实施例提供一种显示设备，所述显示设备包括：摄像头、显示器，处理器和用于存储能够在处理器上运行的计算机程序的存储器；
所述摄像头、所述显示器、所述处理器和所述存储器通过通信总线连接；
其中，所述处理器结合所述摄像头和所述显示器，运行所述存储器中存储的计算机程序时，执行上述任一种展示方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器执行时，实现上述任一种展示方法。
本公开实施例提供的展示方法及装置、显示设备、计算机可读存储介质，分别采集真实场景中交互对象的多帧交互图像和真实场景的展示图像；基于展示图像中陈列的展示对象，确定虚拟对象对应的动作效果数据与展示对象的虚拟效果数据；基于多帧交互图像，确定虚拟对象的响应效果数据；基于动作效果数据与响应效果数据对虚拟对象进行渲染，并根据虚拟效果数据对展示对象进行渲染，得到虚拟效果图像；在显示设备上展示包括虚拟效果图像的增强现实效果。采用上述技术实现方案，显示设备可以从真实场景中实时获取展示图像，通过展示图像中的展示对象，确定出虚拟对象的动作效果数据。显示设备通过动作效果数据对虚拟对象进行渲染，使得虚拟对象能够针对展示对象呈现出对应的动作效果，从而实现了虚拟对象与展示对象之间的互动；并且，显示设备可以通过采集的多帧交互图像，确定出对虚拟对象的响应效果数据，并通过响应效果数据对虚拟对象进行渲染，使得虚拟对象能够针对外部交互呈现出对应的响应效果，从而实现了虚拟对象与交互对象之间的互动；进一步的，显示设备还可通过虚拟效果数据对展示对象的渲染，呈现出展示对象的增强现实效果，从而提高了展示的互动性，丰富了展示效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例提供的展示系统的一个可选的架构示意图；
图2是本公开实施例提供的一种应用场景的示意图；
图3是本公开实施例提供的一种显示设备的示意图一；
图4是本公开实施例提供的一种显示设备的示意图二；
图5是本公开实施例提供的展示方法的一个可选的流程示意图；
图6是本公开实施例提供的一种示例性的显示设备的显示界面示意图；
图7是本公开实施例提供的另一种示例性的显示设备的显示界面示意图；
图8是本公开实施例提供的展示方法的另一个可选的流程示意图；
图9是本公开实施例提供的展示方法的又一个可选的流程示意图；
图10是本公开实施例提供的一种示例性的显示设备展示的虚拟对象的效果示意图；
图11是本公开实施例提供的一种示例性的显示设备的显示界面示意图；
图12是本公开实施例提供的展示方法的又一个可选的流程示意图；
图13是本公开实施例提供的展示装置的结构示意图；
图14是本公开实施例提供的显示设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，用户可以通过AR设备可以观看到叠加在真实场景中的虚拟对象，比如可以看到叠加在真实的校园操场上的虚拟大树，看到叠加在天空中的虚拟飞翔小鸟，如何使得这些虚拟大树和虚拟飞翔小鸟这些虚拟对象能够更好地与现实场景相融合，实现增强现实场景中对虚拟对象的呈现效果，为本公开实施例所要讨论的内容，下面将结合以下具体实施例进行阐述。
本公开实施例提供一种展示方法及装置、显示设备、计算机可读存储介质，能够提高展示的互动性，丰富展示效果。本公开实施例提供的展示方法应用于显示设备。
下面说明本公开实施例提供的显示设备的示例性应用，本公开实施例提供的显示设备可以实施为AR眼镜、笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端(以下简称终端)，也可以实施为服务器。下面，将说明显示设备实施为终端时的示例性应用。
参见图1，图1是本公开实施例提供的展示系统的一个可选的架构示意图，展示系统中的终端400(显示设备，示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。在真实的展示场景中，如文物展示、沙盘展示和工地楼宇展示等，终端400用于分别采集真实场景中交互对象的多帧交互图像和真实场景的展示图像；基于展示图像中陈列的展示对象，确定虚拟对象对应的动作效果数据与展示对象的虚拟效果数据；基于多帧交互图像，确定虚拟对象的响应效果数据；基于动作效果数据与响应效果数据对虚拟对象进行渲染，并根据虚拟效果数据对展示对象进行渲染，得到虚拟效果图像；并在图形界面401(图中示例性示出了图形界面401-1和图形界面401-2)展示包括虚拟效果图像的增强现实效果。
示例性的，当终端400实施为手机时，可以启动手机上的预设展示应用，通过预设展示应用调用摄像头分别采集真实场景中的交互对象的多帧交互图像和真实场景中的展示对象的展示图像；终端400基于展示图像中陈列的展示对象，向服务器200发起数据请求。服务器200接收到数据请求后，基于展示对象，从预存在数据库500中的动作效果数据集中确定与虚拟对象对应的动作效果数据；从预存在数据库500中的虚拟效果数据集中确定与展示对象对应的虚拟效果数据；基于多帧交互图像，从预存在数据库500中的响应效果数据集中确定出响应效果数据；并将确定出的动作效果数据、响应效果数据和虚拟效果数据发回给终端400。终端400得到服务器反馈的动作效果数据、响应效果数据和虚拟效果数据之后，利用动作效果数据与响应效果数据对虚拟对象进行渲染，并利用虚拟效果数据对展示对象进行渲染，从而得到虚拟效果图像，并在终端400的图形界面401上展示包括虚拟效果图像的增强现实效果。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开实施例中不做限制。
示例性的，下面对本公开实施例可适用的应用场景进行示例性说明。
图2为本公开实施例提供的一种应用场景的示意图，如图2所示，显示设备包括显示器，显示器可以为可移动的显示屏101，该可移动的显示屏101可以设置在展会的多个展品的周围，可移动的显示屏101上配置有后置摄像头，可以用于拍摄展品，可移动的显示屏101上可以显示展品、关于展品的虚拟效果，以及虚拟人物等。展品的虚拟效果可以是展品的介绍信息、展品的内部细节展示信息、展品的轮廓线、展品虚拟模型，与展品的作用相关的物体，以及展品上原本存在的信息或部件中的至少一种。例如，在展品是一个为酒杯的文物的情况下，与该展品对应的虚拟效果可以是与酒杯的作用相关的物体，如，酒杯中的美酒；在展品是一个为鼎的文物的情况下，与该展品对应的虚拟效果可以是展品上原本存在的信息，如，鼎的外壁上原有的文字信息。可移动的显示屏101上还配置有前置摄像头，用于拍摄位于可移动的显示屏101前的交互对象(例如参展者)，进而，可移动的显示屏101能够识别拍摄图像中交互对象发出的指令(例如，交互对象的移动动作，以及交互对象的手势动作等等)，从而实现对虚拟人物的控制以及对展品的虚拟效果的显示和调整。
在本公开的一些实施例中，显示设备的显示屏幕为可移动屏幕。其中，显示设备的显示屏幕可以如图3所示，在预设滑动轨道上移动，也可以如图4所示，通过固定在可移动的滑动支架上实现滑动。在显示屏幕的移动过程中，屏幕可以显示不同的内容以供用户阅览和/或点击；显示屏幕可以是触摸屏或非触摸屏。
基于上述的展示系统以及应用场景，以下对本公开实施例提供的展示方法进行描述。
图5是本公开实施例提供的展示方法的一个可选的流程示意图，将结合图5示出的步骤进行说明。
S101、分别采集真实场景中的交互对象的多帧交互图像和真实场景的展示图像。
在本公开实施例中，真实场景可以是包含多个待展示物品或展品的真实环境，如博物馆或展览馆等。显示设备可以采用第一图像采集装置采集真实场景中的交互对象的多帧交互图像，采用第二图像采集装置采集真实场景下的展示图像。交互对象可以是真实场景中可与显示设备发起互动的对象，可以是真实的人物，如参展者等。真实场景中可以包括多个展品，如博物馆中的展示的文物，科技馆中展示的高科技产品等，显示设备对在当前位置上采集到真实场景的展示图像时，可从展示图像中识别出当前位置对应的图像采集范围内的展品对应的图像，作为展示对象。
在本公开的一些实施例中，第一图像采集装置与第二图像采集装置位于显示设备的同一侧面；或者第一图像采集装置与第二图像采集装置分别位于显示设备的两个相对或相邻的侧面。示例性的，第一图像采集装置可以是显示设备的前置摄像头，第二图像采集装置可以是显示设备的后置摄像头。
S102、基于展示图像中陈列的展示对象，确定虚拟对象对应的动作效果数据与展示对象的虚拟效果数据。
在本公开实施例中，显示设备在采集到展示图像之后，可以从展示图像识别出陈列的展示对象，并根据展示对象对应的虚拟对象模型确定出目标展示对象的虚拟效果数据。其中，虚拟效果数据可以是展示对象的虚拟模型对应的渲染数据，也可以是与展示对象对应的虚拟展示内容数据，本公开实施例对此不作限定。示例性的，虚拟模型可以是虚拟细节模型、虚拟展示对象模型、与展示对象的作用相关的物体模型和/或展品上原本存在的部件模型等。示例性的，虚拟展示内容可以是该展示对象的虚拟介绍内容和/或该展示对象的虚拟轮廓线等(例如，图6所示的位于展示对象403周围的404)。例如，当展示对象为一个“鼎”时，虚拟展示内容可以是“鼎”表面所雕刻的文字放大后的效果，还可以是鼎的口径尺寸，以及鼎壁的厚度等等内容。
在本公开实施例中，显示设备还可以通过展示对象所对应的展示信息，确定出虚拟对象对应的动作效果数据。其中，虚拟对象可以是预先建模的图像模型，包括具体的形象参数和动作逻辑。通过对虚拟对象的渲染在显示设备上显示出如虚拟讲解员，虚拟机器人等效果。例如，图6是本公开实施例提供的一种示例性的显示设备的显示界面示意图；如图6所示，虚拟对象可以是显示设备400上显示的虚拟讲解员402。
在一些实施例中，当需要通过虚拟对象对不同的展品如雕塑、古董进行展示时，可以预设好虚拟对象如数字人对不同展品对应的不同介绍动作逻辑，包括数字人在对雕塑或古董进行介绍时分别会用到的不同手势，体态等，并将介绍动作逻辑与能够在屏幕上体现可视化的渲染数据相关联。这样在显示设备识别出展示对象的展示信息时，可以根据展示信息确定出对应的介绍动作逻辑，再根据介绍动作逻辑对应的渲染数据对数字人进行渲染，实现数字人对不同展示对象的介绍等互动。
S103、基于多帧交互图像，确定虚拟对象的响应效果数据。
在本公开实施例中，显示设备可以通过对采集的交互对象的多帧交互图像进行图像识别与分析，获得真实场景中的交互对象的姿态信息。在本公开的一些实施例中，交互对象的姿态信息包括以下至少一种：交互对象的运动姿态信息、肢体动作信息和视线信息。
在本公开实施例中，显示设备根据交互图像确定出交互对象的姿态信息之后，可以再根据姿态信息确定出虚拟对象对应的响应动作，进而根据响应动作的预设渲染数据确定出响应效果数据。其中，响应效果数据可以用来对虚拟对象进行渲染，从而在显示设备上展现出虚拟对象对于姿态信息的响应动作，实现虚拟对象与交互对象之间的交流和互动。
在本公开的一些实施例中，交互对象也可以通过语音、遥控等方式发出互动指令。显示设备对语音、遥控等方式发出互动指令进行分析，确定出虚拟对象对应的响应效果数据，以控制显示设备上的虚拟对象对交互指令进行响应。
S104、基于动作效果数据与响应效果数据对虚拟对象进行渲染，并根据虚拟效果数据对展示对象进行渲染，得到虚拟效果图像。
在本公开实施例中，显示设备在获得动作效果数据、响应效果数据和展示对象的虚拟效果数据之后，基于动作效果数据与响应效果数据对虚拟对象进行渲染，并根据虚拟效果数据对展示对象进行渲染，得到包含虚拟对象和展示对象的虚拟展示效果的虚拟效果图像。
本公开实施例中，显示设备可以通过展示图像中展示对象的显示区域，确定出虚拟效果图像中虚拟对象的显示区域，在展示对象与虚拟对象各自对应的显示区域中分别对两者进行渲染。示例性的，为了使得虚拟对象在屏幕上显示时，不对展示对象或展示对象对应的展品造成遮挡，当展示对象处于展示图像中的右侧时，将虚拟对象的显示区域限定在展示图像的左侧，从而实现通过展示对象对虚拟对象位置的影响，体现出虚拟对象可以智能灵活的根据展示对象的位置调整自身位置的展示效果。
示例性的，图7是本公开实施例提供的另一种示例性的显示设备的显示界面示意图；如图7所示，显示设备400上显示的虚拟效果图像中包括虚拟对象402，以及展示对象403对应的虚拟标签404和虚拟AR效果405的图像，其中，虚拟标签404与虚拟AR效果405是通过虚拟效果数据对展示对象对应的虚拟模型进行渲染得到的，虚拟标签404可以表现为介绍性文字如“口径75.6厘米”，虚拟AR效果405可以表现为叠加在展示对象上的展品的虚拟内部细节效果图。
S105、在显示设备上展示包括虚拟效果图像的增强现实效果。
在本公开实施例中，显示设备的显示屏幕为透明显示屏或者非透明显示屏。显示设备在得到虚拟效果图像之后，可以在显示屏幕上展示包括虚拟效果图像的AR效果；例如，在显示设备的显示屏幕为透明显示屏，且透过该透明显示屏可以看到展品的情况下，显示设备可以在显示屏幕上以预设的透明度显示虚拟效果图像，交互对象可以透过显示屏幕上预设透明度的虚拟效果图像虚拟效果图像看到展品，体验到展品与虚拟效果图像相叠加的AR效果；当显示设备为非透明显示屏，或透过该透明显示屏无法看到该目标展示对象的情况下，显示设备可以将虚拟效果图像叠加在展示图像上，通过显示屏幕上显示虚拟效果图像与该展品的展示图像相叠加的AR效果。
可以理解的是，本公开实施例中，显示设备可以从真实场景中实时获取展示图像，通过展示图像中的展示对象，确定出虚拟对象的动作效果数据。显示设备通过动作效果数据对虚拟对象进行渲染，使得虚拟对象能够针对展示对象呈现出对应的动作效果，从而实现了虚拟对象与展示对象之间的互动；并且，显示设备可以通过采集的多帧交互图像，确定出对虚拟对象的响应效果数据，并通过响应效果数据对虚拟对象进行渲染，使得虚拟对象能够针对外部交互呈现出对应的响应效果，从而实现了虚拟对象与交互对象之间的互动；进一步的，显示设备还可通过虚拟效果数据对展示对象的渲染，呈现出展示对象的增强现实效果，从而提高了展示的互动性，丰富了展示效果。
图8是本公开实施例提供的展示方法的另一个可选的流程示意图；上述S102可以通过S1021-S1024实现，将结合图8示出的步骤进行说明。
S1021、获取展示对象的展示信息。
本公开实施例中，显示设备可以从展示图像中识别出的展示对象中，获取其对应的展示信息。其中，展示信息可以是展示对象的标识信息，用于表征展示对象对应的真实物品，如展品。
S1022、根据展示信息，确定出对应的展示动作；所述展示动作用于控制虚拟对象执行针对展示信息的预设介绍动作序列。
本公开实施例中，显示设备的本地存储中或网络服务器中可以保存有每种不同的展示信息对应的预设介绍动作序列，其中，预设介绍动作序列用于控制虚拟对象执行与展示信息对应的介绍动作序列。因而，显示设备可以根据展示信息，从预设展示信息与介绍动作序列之间的对应关系中，确定出展示信息对应的目标介绍动作序列，并将目标介绍动作序列作为展示动作。
本公开实施例中，介绍动作序列可以是预先设计的与展示信息一一对应的虚拟对象的一系列动作逻辑。示例性的，介绍动作序列可以包括虚拟对象在对展示对象进行讲解时，所需要呈现的一系列的引导手势，身体朝向，面部表情和肢体动作等等，具体的根据实际情况进行选择，本公开实施例不做限定。
本公开实施例中，显示设备将目标介绍动作序列作为展示动作，从而可以通过展示动作对虚拟对象进行模型重建，以控制虚拟对象执行对应的目标介绍动作序列。
S1023、将展示动作对应的预设渲染数据，确定为动作效果数据。
本公开实施例中，对于不同的预设介绍动作序列，可以通过其对应的预设渲染数据对虚拟对象进行渲染，可视化的将虚拟对象的动作效果呈现在显示设备上。显示设备将展示动作对应的预设渲染数据作为动作效果数据，用于在后续步骤中通过动作效果数据对虚拟对象进行渲染，以在显示设备上展示出虚拟对象根据不同展示对象的展示信息，执行不同介绍动作以对展示对象进行讲解的效果。
S1024、将展示对象对应的预设渲染数据，确定为虚拟效果数据。
本公开实施例中，显示设备可以在虚拟场景坐标系下，为展示对象建立对应的虚拟模型，并在虚拟模型中关联预设渲染数据，以呈现出虚拟效果。这样，在显示设备从展示图像中识别出展示对象之后，可以根据展示对象对应的虚拟模型中的预设渲染数据，作为虚拟效果数据，以通过虚拟效果数据的渲染呈现展示对象对应的增强现实效果。
图9是本公开实施例提供的展示方法的另一个可选的流程示意图；上述S103可以通过S1031-S1033实现，将结合图9示出的步骤进行说明。
S1031、对多帧交互图像的图像内容进行识别处理，确定交互对象的姿态信息。
本公开实施例中，显示设备可以对多帧交互图像的图像内容进行识别处理，从中识别并提取出交互对象的姿态信息。
在一些实施例中，显示设备通过第一图像采集装置，连续采集真实场景如展馆中参展者的多帧图像作为多帧交互图像，从每帧交互图像中识别出参展者，并对多帧交互图像的图像内容进行结合分析，识别出参展者的移动方向、视线方向、身体姿势、肢体动作等，作为交互对象的姿态信息。
S1032、根据交互对象的姿态信息，确定虚拟对象对应的响应动作。
本公开实施例中，为了实现交互对象与虚拟对象之间的互动，显示设备可以通过确定出的交互对象的姿态信息，根据姿态信息所表征的交互对象的交互意图，确定虚拟对象对应的响应动作。
在本公开的一些实施例中，姿态信息包括移动姿态信息，S1032可以通过S301-S303来实现，将结合各步骤进行说明：
S301、获取移动姿态信息的移动方向和移动速度。
在本公开的实施例中，移动姿态信息包括显示设备从多帧交互图像中识别出的交互对象所在的位置和身体朝向等姿态信息。显示设备可以通过比对连续的多帧交互图像中交互对象的移动姿态信息，确定并获取到移动姿态信息中交互对象的移动方向和移动速度。
在本公开的另一些实施例中，显示设备还可以预先建立真实场景坐标系，通过分析采集的交互对象的多帧交互图像，确定出真实场景坐标系下每一帧交互图像中交互对象的位置坐标，进而结合每一帧交互图像的采集时刻，确定出交互对象的移动方向和移动速度。
S302、根据移动方向与移动速度，生成虚拟对象的目标移动方向与目标移动速度。
本公开实施例中，显示设备可以将交互对象的移动方向作为虚拟对象的目标移动方向，将交互对象的移动速度通过坐标系映射换算为虚拟场景坐标系下虚拟对象的目标移动速度。
在一些实施例中，当显示设备为展馆的滑轨屏，交互对象为参展者，虚拟对象为滑轨屏上显示的数字人时，显示设备可以将参展者的移动方向作为数字人的移动方向。示例性的，当参展者向左走，准备开始参观下一件展品时，滑轨屏上的数字人也同步转身向左移动；并且，数字人的移动速度与参展者的移动速度相对应，参展者移动速度加快时，数字人移动速度随之加快，参展者速度放慢时，数字人移动速度也随之放慢，在参展者在下一个展品处停止移动时，数字人也在下一个展品处停止移动，并开始对下一个展品的自动识别和讲解。
S303、根据目标移动方向与目标移动速度，控制虚拟对象执行以目标移动速度，向目标移动方向进行移动的动作，作为虚拟对象对应的响应动作。
本公开实施例中，显示设备通过目标移动方向与目标移动速度，对应控制虚拟对象在显示设备上以目标移动方向与目标移动速度进行移动，作为虚拟对象对应的响应动作，以实现虚拟对象与真实的交互对象可以同步移动，呈现虚拟对象对交互对象进行伴随讲解的效果。
在本公开的一些实施例中，在检测到真实场景中存在多个交互对象的情况下，通过识别多帧交互图像中交互对象的画面内容，确定多个交互对象中每个交互对象的移动方向。并且在预设数量的交互对象的移动方向属于同一方向的情况下，将预设数量的交互对象的移动方向确定为目标移动方向，以实现根据人群的移动方向而控制虚拟对象的姿态和展示对象的展示。需要说明的是，本公开所述的“多个”是指两个或两个以上。
进一步的，在本公开的一些实施例中，移动姿态信息还可以是交互对象的移动距离。在一些实施例中，当交互对象的移动距离小于或等于预设距离时，显示设备可以根据交互对象的移动距离，控制虚拟对象做出头部、眼部和/或身体转动的动作，作为响应动作。示例性的，如图10所示，在显示设备检测到交互对象向左侧移动了1米并停止的情况下，当1米小于或等于预设距离时，显示设备可以确定出交互对象当前位于显示设备的左前方35°，并对应确定出可使虚拟对象的头部、眼部和身体朝向对应向左旋转35°的响应动作，以使控制虚拟对象的头部、眼部和身体朝向自然地追随交互对象，呈现虚拟对象始终面向交互对象进行讲解的展示效果。
在本公开的一些实施例中，姿态信息包括肢体动作信息，S1032可以通过S304-S305来实现，将结合各步骤进行说明。
S304、将肢体动作信息与至少一个预设互动姿态进行匹配。
本公开实施例中，显示设备可以通过分析采集到的多帧交互图像，获得交互对象的肢体动作图像，从中识别出交互对象的肢体工作信息。进而，显示设备可以将肢体动作信息与至少一个预设互动姿态进行匹配，判断交互对象的肢体动作是否为预设动作。
S305、当肢体动作信息匹配到至少一个预设互动姿态中的目标互动姿态时，将目标互动姿态对应的预设动作序列作为虚拟对象对应的响应动作；响应动作用于控制虚拟对象对目标互动姿态进行响应。
本公开实施例中，至少一个预设互动姿态中包括了虚拟对象可响应的交互对象的多种肢体动作信息。当肢体动作信息匹配到至少一个预设互动姿态中的目标互动姿态时，说明交互对象的肢体动作信息可以对应触发虚拟对象对应执行用于响应目标互动姿态的预设动作序列。显示设备可以根据预设互动姿态与预设动作序列之间的预设对应关系，确定出目标互动姿态所对应的预设动作序列作为虚拟对象的响应动作，以通过响应动作控制虚拟对象对目标互动姿态进行响应。示例性的，当显示设备确定出交互对象的目标互动姿态为从站立变为下蹲时，显示设备可以确定出虚拟对象与下蹲动作对应的预设动作序列是低头，此时，显示设备可以将低头确定为虚拟对象的响应动作，以通过响应动作控制虚拟对象进行低头讲解。
在本公开的一些实施例中，响应动作可以包括以下至少一种：虚拟对象的肢体动作和视线方向。
在一些实施例中，肢体动作信息还可以是交互对象发出的伸臂前指，挥手示意，鼓掌等肢体动作，显示设备可以根据上述肢体动作信息在预设互动姿态中对应的目标互动姿势，确定出对应的预设动作序列，如伸臂前指可以匹配到手势指示的目标互动姿势，其对应的预设动作序列为虚拟对象头部和眼部转向手势指示所指向的展示对象部分，并配合手部动作对手势指示所指向的展示对象进行引导讲解。类似地，显示设备还可通过识别出的交互对象的挥手示意，鼓掌等肢体动作信息确定出虚拟对象点头或挥手示意、鞠躬致谢等对应的响应动作。
在本公开的一些实施例中，肢体动作信息还可以是眼部视线方向。显示设备可以通过对多帧交互图像的人脸识别，确定交互对象的眼部视线方向；或者进一步的，当真实场景中存在多个真实人物时，显示设备可以通过人脸识别先识别出关键人物，再确定关键人物如VIP客户、导游和老师等的眼部视线方向作为肢体动作信息。显示设备可以根据眼部视线方向确定交互对象或关键人物在显示设备上的注视位置，从而获知交互对象或关键人物感兴趣的展品部分，并对应确定主虚拟对象的响应动作，以控制虚拟对象展示与注视位置相对应的肢体动作。示例性的，如图11所示，在显示设备确定出真实人物注视显示屏幕的左下方，且显示屏幕的左下方显示的是“鼎”的一个鼎脚的情况下，显示设备可以确定虚拟对象的响应动作为指向该鼎脚所在的位置，以控制虚拟对象的手指指向该鼎脚所在的位置，对该鼎脚进行讲解。
需要说明的是，S301-S303与S304-S305是不同类型的姿态信息对应的不同方法流程，具体的可以根据实际需要选择执行其中任一个或两个方法进行执行，本公开实施例不做限定。
S1033、将响应动作对应的预设渲染数据作为响应效果数据。
本公开实施例中，显示设备将响应动作对应的预设渲染数据作为响应效果数据，以通过响应效果数据的渲染将虚拟对象的响应动作可视化地呈现在显示设备上。
可以理解的是，本公开实施例中，显示设备可以根据真实场景中的真实人物的肢体动作，控制虚拟对象的肢体动作，从而可以实现显示设备上展示的虚拟对象与真实场景中的真实人物之间的互动。
图12是本公开实施例提供的展示方法的另一个可选的流程示意图；上述S104可以通过S1041-S1043实现，将结合图12示出的步骤进行说明。
S1041、获取展示对象在显示设备上对应的第一显示区域。
本公开实施例中，显示设备可以从在展示图像中识别出展示对象，并根据展示对象在展示图像中所处的位置和占据的显示区域，通过真实场景坐标系到屏幕坐标系的映射，计算出展示对象在显示设备上对应的第一显示区域。
S1042、根据第一显示区域与虚拟对象的预设尺寸，在显示设备中确定出虚拟对象的目标显示区域。
本公开实施例中，第一显示区域表征了展示对象在显示设备上所需要占据的显示范围，为了减少展示对象与虚拟对象之间的互相遮挡，显示设备可以根据第一显示区域与虚拟对象的预设尺寸，在显示设备中确定出可用于虚拟对象的目标显示区域。
本公开实施例中，S1042可以通过S401-S403来实现，将结合各步骤进行说明。
S401、将虚拟对象执行预设第一显示姿态时所占用尺寸作为虚拟对象的预设尺寸。
本公开实施例中，预设第一显示姿态可以是虚拟对象的默认显示姿态，在一些实施例中，预设第一显示姿态可以是站立姿态。显示设备将虚拟对象执行预设第一显示姿态时所占用尺寸作为虚拟对象的预设尺寸，以预设第一显示姿态对虚拟对象进行屏幕展示。
S402、在显示设备中，将第一显示区域之外的部分确定为第二显示区域。
S403、当第二显示区域大于虚拟对象的预设尺寸时，将第二显示区域作为目标显示区域。
本公开实施例中，显示设备将第一显示区域之外的部分确定为第二显示区域；当第二显示区域大于虚拟对象的预设尺寸时，说明第二显示区域的范围足够对虚拟对象进行展示，且不会造成虚拟对象和展示对象的相互遮挡，因此显示设备将第二显示区域作为目标显示区域。
在本公开的一些实施例中，S402之后，还可以包括S404或S405，将结合各步骤进行说明。
S404、当第一显示区域的高度小于预设高度阈值时，调整虚拟对象的显示姿态为预设第二显示姿态，将预设第二显示姿态的尺寸作为虚拟对象的预设尺寸；第二显示姿态的高度低于第一显示姿态的高度。
本公开实施例中，第二显示姿态的高度低于第一显示姿态的高度。当第一显示区域的高度小于预设高度阈值时，说明展示对象较矮，需要虚拟对象降低体态高度以与展示对象进行更好的互动。因此显示设备调整虚拟对象的显示姿态为预设第二显示姿态，示例性的，预设第二显示姿态可以为半蹲的姿态，并将预设第二显示姿态的尺寸作为虚拟对象的预设尺寸，以通过预设第二显示姿态的尺寸计算虚拟对象的目标显示区域。
S405、当第二显示区域的尺寸小于虚拟对象的预设尺寸时，调整第一显示区域与第二显示区域的比例，使第二显示区域大于虚拟对象的预设尺寸。
本公开实施例中，当第二显示区域小于虚拟对象的预设尺寸时，说明第二显示区域的范围不足以对虚拟对象进行展示，为了避免虚拟对象和展示对象的相互遮挡，因此显示设备会适当调整第一显示区域与第二显示区域的比例，使第二显示区域大于虚拟对象的预设尺寸，以满足将第二显示区域作为目标显示区域的条件，为虚拟对象让出显示空间。
S1043、在目标显示区域中，使用动作效果数据与响应效果数据对虚拟对象进行渲染；在第一显示区域中，使用虚拟效果数据对展示对象进行渲染，从而得到虚拟效果图像。
本公开实施例中，显示设备在确定出目标显示区域时，在目标显示区域中，使用动作效果数据与响应效果数据对虚拟对象进行渲染；在第一显示区域中，使用虚拟效果数据对展示对象进行渲染，从而得到虚拟效果图像。
进一步的，对于在目标显示区域中，使用动作效果数据与响应效果数据对虚拟对象进行渲染的情况，显示设备可以在目标显示区域中，使用动作效果数据对虚拟对象进行渲染；当接收到对虚拟对象的控制指令时，基于控制指令对应的响应效果数据，对虚拟对象进行渲染，以体现虚拟对象对展示动作与响应动作的执行优先级。在一些实施例中，也可以根据不同的需要，为虚拟对象与交互对象之间、以及虚拟对象与展示对象之间的互动设置其他优先级，具体的根据实际情况进行选择，本公开实施例不做限定。
本公开实施例中，控制指令可以是由交互对象向虚拟对象发起互动指令。其中，控制指令可以是交互对象通过肢体动作发出的，显示设备对交互对象肢体动作的识别和虚拟对象响应动作的确定与S1032中的过程一致；控制指令也可以包含在由交互对象通过遥控设备或其他交互设备发出的控制消息中，在这种情况下，显示设备可以从控制消息中解析出控制指令，并根据控制指令确定出虚拟对象的响应动作；显示设备确定出虚拟对象对应控制指令的响应动作之后，可以进一步确认出响应动作对应的响应效果数据，通过响应效果数据对虚拟对象的渲染效果进行更新，使的虚拟对象及时呈现出对控制指令的响应。
可以理解的是，本公开实施例中，展示对象的位置可以影响虚拟对象的显示位置和不同展示动作的执行，交互对象的姿态信息也可以影响虚拟对象的响应动作，显示设备通过展示动作对应的动作效果数据与响应动作对应的动作效果数据对虚拟对象进行渲染，可以在显示设备上呈现出虚拟对象与交互对象和展示对象三者之间进行互动，提高了展示的互动性。并且，显示设备还可以在第一显示区域中使用虚拟效果数据对展示对象进行渲染，以对展示对象的增强现实效果进行呈现，从而进一步丰富了展示效果。
本公开实施例还提供一种展示装置，图13是本公开实施例提供的展示装置的结构示意图，如图13所示，展示装置1包括：采集单元11，用于分别采集真实场景中的交互对象的多帧交互图像和所述真实场景的展示图像；确定单元12，用于基于所述展示图像中陈列的展示对象，确定虚拟对象对应的动作效果数据与所述展示对象的虚拟效果数据；基于所述多帧交互图像，确定所述虚拟对象的响应效果数据；渲染单元13，用于基于所述动作效果数据与所述响应效果数据对所述虚拟对象进行渲染，并根据所述虚拟效果数据对所述展示对象进行渲染，得到虚拟效果图像；显示单元14，用于在显示设备上展示包括所述虚拟效果图像的增强现实效果。
在一些实施例中，所述确定单元12，用于获取所述展示对象的展示信息；根据所述展示信息，确定出对应的展示动作；所述展示动作用于控制所述虚拟对象执行针对所述展示信息的预设介绍动作序列；将所述展示动作对应的预设渲染数据，确定为所述动作效果数据；将所述展示对象对应的预设渲染数据，确定为所述虚拟效果数据。
在一些实施例中，所述确定单元12，还用于对所述多帧交互图像的图像内容进行识别处理，确定所述交互对象的姿态信息；根据所述交互对象的姿态信息，确定所述虚拟对象对应的响应动作；将所述响应动作对应的预设渲染数据作为所述响应效果数据。
在一些实施例中，所述渲染单元13，还用于获取所述展示对象在所述显示设备上对应的第一显示区域；根据所述第一显示区域与所述虚拟对象的预设尺寸，在所述展示图像中确定出所述虚拟对象的目标显示区域；在所述目标显示区域中，使用所述动作效果数据与所述响应效果数据对所述虚拟对象进行渲染；在所述第一显示区域中，使用所述虚拟效果数据对所述展示对象进行渲染，从而得到虚拟效果图像。
在一些实施例中，所述确定单元12，还用于将所述虚拟对象执行预设第一显示姿态时所占用尺寸作为所述虚拟对象的预设尺寸；在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域；当所述第二显示区域大于所述虚拟对象的预设尺寸时，将所述第二显示区域作为所述目标显示区域。
在一些实施例中，所述确定单元12，还用于所述在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域之后，当所述第二显示区域的尺寸小于所述虚拟对象的预设尺寸时，调整所述第一显示区域与所述第二显示区域的比例，使所述第二显示区域大于所述虚拟对象的预设尺寸。
在一些实施例中，所述确定单元12，还用于所述在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域之后，当所述第一显示区域的高度小于预设高度阈值时，调整所述虚拟对象的显示姿态为预设第二显示姿态，将所述预设第二显示姿态的尺寸作为所述虚拟对象的预设尺寸；所述第二显示姿态的高度低于第一显示姿态的高度。
在一些实施例中，所述确定单元12，还用于从所述预设展示信息与介绍动作序列之间的对应关系中，确定出所述展示信息对应的目标介绍动作序列；将所述目标介绍动作序列作为所述展示动作。
在一些实施例中，所述姿态信息包括移动姿态信息，所述确定单元12，还用于获取所述移动姿态信息的移动方向和移动速度；根据所述移动方向与移动速度，生成所述虚拟对象的目标移动方向与目标移动速度；根据所述目标移动方向与所述目标移动速度，控制虚拟对象执行以所述目标移动速度，向所述目标移动方向进行移动的动作，作为所述虚拟对象对应的响应动作。
在一些实施例中，所述姿态信息包括肢体动作信息，所述确定单元12，还用于将所述肢体动作信息与至少一个预设互动姿态进行匹配；当所述肢体动作信息匹配到所述至少一个预设互动姿态中的目标互动姿态时，将所述目标互动姿态对应的预设动作序列作为所述响应动作；所述响应动作用于控制所述虚拟对象对所述目标互动姿态进行响应。
在一些实施例中，所述渲染单元13，还用于在所述目标显示区域中，使用所述动作效果数据对所述虚拟对象进行渲染；当接收到对所述虚拟对象的控制指令时，基于所述控制指令对应的响应效果数据，对所述虚拟对象进行渲染。
在一些实施例中，所述采集单元11，还用于采用所述显示设备的第一图像采集装置，采集真实场景中的交互对象的所述多帧交互图像；采用所述显示设备的第二图像采集装置，采集所述真实场景中的展示对象的所述展示图像。
在一些实施例中，所述第一图像采集装置与所述第二图像采集装置位于所述显示设备的同一侧面；或者所述第一图像采集装置与所述第二图像采集装置分别位于所述显示设备的两个相对或相邻的侧面。
在一些实施例中，所述显示设备的显示屏幕在预设滑动轨道上移动。
在一些实施例中，所述显示设备的显示屏幕为透明显示屏或者非透明显示屏。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
本公开实施例还提供一种显示设备，图14是本公开实施例提供的显示设备的结构示意图，如图14所示，显示设备2包括：显示屏21、摄像头22、存储器23和处理器24，其中，显示屏21、摄像头22、存储器23和处理器24通过通信总线25连接；存储器23，用于存储可执行计算机程序；处理器24，用于执行存储器23中存储的可执行计算机程序时，结合显示屏21和摄像头22，实现本公开实施例提供的方法，例如，本公开实施例提供的展示方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器24执行时，实现本公开实施例提供的方法，例如，本公开实施例提供的展示方法。
在本公开的一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在本公开的一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，采用本技术实现方案，由于根据真实场景中的交互对象的姿态信息确定动作效果数据，所以，动作效果数据可以随着交互对象的姿态信息的变化而改变，可以实现虚拟对象与交互对象之间的互动，从而提高虚拟对象的展示灵活性，丰富了虚拟对象的展示效果；同时，由于根据目标展示对象的展示图像获得目标展示对象的虚拟效果数据，并根据虚拟效果数据渲染得到了虚拟效果图像，所以，可以展示出与真实场景中的展示对象对应的虚拟效果，从而增加了展示对象的展示方式，提高了展示的互动性，丰富了展示效果。
以上所述，仅为本公开的实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本公开的保护范围之内。

Claims (17)

1.一种展示方法，其特征在于，包括：
分别采集真实场景中交互对象的多帧交互图像和所述真实场景的展示图像；
基于所述展示图像中陈列的展示对象，确定虚拟人物对应的动作效果数据与所述展示对象的虚拟效果数据；其中，所述虚拟人物是预先建模的图像模型，包括形象参数和动作逻辑；
基于所述多帧交互图像，确定所述虚拟人物的响应效果数据；
基于所述动作效果数据与所述响应效果数据对所述虚拟人物进行渲染，并根据所述虚拟效果数据对所述展示对象进行渲染，得到虚拟效果图像；
在显示设备上展示包括所述虚拟效果图像的增强现实效果；
所述基于所述展示图像中陈列的展示对象，确定虚拟人物对应的动作效果数据与所述展示对象的虚拟效果数据，包括：
获取所述展示对象的展示信息；根据所述展示信息，确定出对应的展示动作；所述展示动作用于控制所述虚拟人物执行针对所述展示信息的预设介绍动作序列；将所述展示动作对应的预设渲染数据，确定为所述动作效果数据；将所述展示对象对应的预设渲染数据，确定为所述虚拟效果数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多帧交互图像，确定所述虚拟人物的响应效果数据，包括：
对所述多帧交互图像的图像内容进行识别处理，确定所述交互对象的姿态信息；
根据所述交互对象的姿态信息，确定所述虚拟人物对应的响应动作；
将所述响应动作对应的预设渲染数据作为所述响应效果数据。
3.根据权利要求1所述的方法，其特征在于，所述基于所述动作效果数据与所述响应效果数据对所述虚拟人物进行渲染，并根据所述虚拟效果数据对所述展示对象进行渲染，得到虚拟效果图像，包括：
获取所述展示对象在所述显示设备上对应的第一显示区域；
根据所述第一显示区域与所述虚拟人物的预设尺寸，在所述显示设备中确定出所述虚拟人物的目标显示区域；
在所述目标显示区域中，使用所述动作效果数据与所述响应效果数据对所述虚拟人物进行渲染；在所述第一显示区域中，使用所述虚拟效果数据对所述展示对象进行渲染，从而得到虚拟效果图像。
4.根据权利要求3所述的方法，其特征在于，根据所述第一显示区域与所述虚拟人物的预设尺寸，在所述显示设备中确定出所述虚拟人物的目标显示区域，包括：
将所述虚拟人物执行预设第一显示姿态时所占用尺寸作为所述虚拟人物的预设尺寸；
在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域；
当所述第二显示区域大于所述虚拟人物的预设尺寸时，将所述第二显示区域作为所述目标显示区域。
5.根据权利要求4所述的方法，其特征在于，所述在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域之后，所述方法还包括：
当所述第二显示区域的尺寸小于所述虚拟人物的预设尺寸时，调整所述第一显示区域与所述第二显示区域的比例，使所述第二显示区域大于所述虚拟人物的预设尺寸。
6.根据权利要求4所述的方法，其特征在于，所述在所述显示设备中，将所述第一显示区域之外的部分确定为第二显示区域之后，所述方法还包括：
当所述第一显示区域的高度小于预设高度阈值时，调整所述虚拟人物的显示姿态为预设第二显示姿态，将所述预设第二显示姿态的尺寸作为所述虚拟人物的预设尺寸；所述第二显示姿态的高度低于第一显示姿态的高度。
7.根据权利要求1所述的方法，其特征在于，根据所述展示信息，确定出对应的展示动作，包括：
从预设展示信息与所述预设介绍动作序列之间的对应关系中，确定出所述展示信息对应的目标介绍动作序列；
将所述目标介绍动作序列作为所述展示动作。
8.根据权利要求2所述的方法，其特征在于，所述姿态信息包括移动姿态信息，所述根据所述交互对象的姿态信息，确定所述虚拟人物对应的响应动作，包括：
获取所述移动姿态信息的移动方向和移动速度；
根据所述移动方向与移动速度，生成所述虚拟人物的目标移动方向与目标移动速度；
根据所述目标移动方向与所述目标移动速度，控制所述虚拟人物执行以所述目标移动速度，向所述目标移动方向进行移动的动作，作为所述虚拟人物对应的响应动作。
9.根据权利要求2所述的方法，其特征在于，所述姿态信息包括肢体动作信息，所述根据所述交互对象的姿态信息，确定所述虚拟人物对应的响应动作，包括：
将所述肢体动作信息与至少一个预设互动姿态进行匹配；
当所述肢体动作信息匹配到所述至少一个预设互动姿态中的目标互动姿态时，将所述目标互动姿态对应的预设动作序列作为所述响应动作；所述响应动作用于控制所述虚拟人物对所述目标互动姿态进行响应。
10.根据权利要求3所述的方法，其特征在于，所述在所述目标显示区域中，使用所述动作效果数据与所述响应效果数据对所述虚拟人物进行渲染，包括：
在所述目标显示区域中，使用所述动作效果数据对所述虚拟人物进行渲染；
当接收到对所述虚拟人物的控制指令时，基于所述控制指令对应的响应效果数据，对所述虚拟人物进行渲染。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述分别采集真实场景中交互对象的多帧交互图像和所述真实场景的展示图像，包括：
采用所述显示设备的第一图像采集装置，采集真实场景中的交互对象的所述多帧交互图像；
采用所述显示设备的第二图像采集装置，采集所述真实场景中的所述展示图像。
12.根据权利要求11所述的方法，其特征在于，所述第一图像采集装置与所述第二图像采集装置位于所述显示设备的同一侧面；或者所述第一图像采集装置与所述第二图像采集装置分别位于所述显示设备的两个相对或相邻的侧面。
13.根据权利要求1-10任一项所述的方法，其特征在于，所述显示设备的显示屏幕在预设滑动轨道上移动。
14.根据权利要求1-10任一项所述的方法，其特征在于，所述显示设备的显示屏幕为透明显示屏或者非透明显示屏。
15.一种展示装置，其特征在于，包括：
采集单元，用于分别采集真实场景中的交互对象的多帧交互图像和所述真实场景的展示图像；
确定单元，用于基于所述展示图像中陈列的展示对象，确定虚拟人物对应的动作效果数据与所述展示对象的虚拟效果数据；其中，所述虚拟人物是预先建模的图像模型，包括形象参数和动作逻辑；基于所述多帧交互图像，确定所述虚拟人物的响应效果数据；
渲染单元，用于基于所述动作效果数据与所述响应效果数据对所述虚拟人物进行渲染，并根据所述虚拟效果数据对所述展示对象进行渲染，得到虚拟效果图像；
显示单元，用于在显示设备上展示包括所述虚拟效果图像的增强现实效果；
所述确定单元，用于获取所述展示对象的展示信息；根据所述展示信息，确定出对应的展示动作；所述展示动作用于控制所述虚拟人物执行针对所述展示信息的预设介绍动作序列；将所述展示动作对应的预设渲染数据，确定为所述动作效果数据；将所述展示对象对应的预设渲染数据，确定为所述虚拟效果数据。
16.一种显示设备，其特征在于，包括：
摄像头、显示器，处理器和用于存储能够在处理器上运行的计算机程序的存储器；
所述摄像头、所述显示器、所述处理器和所述存储器通过通信总线连接；
其中，所述处理器结合所述摄像头和所述显示器，运行所述存储器中存储的计算机程序时，执行权利要求1至14任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于引起处理器执行时，实现权利要求1至14任一项所述的方法。
CN202010761973.2A 2020-07-31 2020-07-31 展示方法及装置、显示设备、计算机可读存储介质 Active CN111897431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010761973.2A CN111897431B (zh) 2020-07-31 2020-07-31 展示方法及装置、显示设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010761973.2A CN111897431B (zh) 2020-07-31 2020-07-31 展示方法及装置、显示设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111897431A CN111897431A (zh) 2020-11-06
CN111897431B true CN111897431B (zh) 2023-07-25

Family

ID=73183937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010761973.2A Active CN111897431B (zh) 2020-07-31 2020-07-31 展示方法及装置、显示设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111897431B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714305A (zh) * 2020-12-25 2021-04-27 北京市商汤科技开发有限公司 展示方法、装置、设备和计算机可读存储介质
CN112634773B (zh) * 2020-12-25 2022-11-22 北京市商汤科技开发有限公司 增强现实的呈现方法、装置、展示设备及存储介质
CN112632349B (zh) * 2020-12-31 2023-10-20 北京市商汤科技开发有限公司 展区指示方法、装置、电子设备及存储介质
CN114693890A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 一种增强现实交互方法及电子设备
CN113625872A (zh) * 2021-07-30 2021-11-09 深圳盈天下视觉科技有限公司 一种展示方法、系统、终端及存储介质
CN113721804A (zh) * 2021-08-20 2021-11-30 北京市商汤科技开发有限公司 一种显示方法、装置、电子设备及计算机可读存储介质
CN114401415B (zh) * 2022-01-14 2024-04-12 北京字跳网络技术有限公司 直播控制方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491534A (zh) * 2018-03-29 2018-09-04 腾讯科技（深圳）有限公司 虚拟环境中的信息展示方法、装置及计算机设备
CN109903129A (zh) * 2019-02-18 2019-06-18 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110991327A (zh) * 2019-11-29 2020-04-10 深圳市商汤科技有限公司 交互方法及装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600111B2 (en) * 2016-11-30 2020-03-24 Bank Of America Corporation Geolocation notifications using augmented reality user devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491534A (zh) * 2018-03-29 2018-09-04 腾讯科技（深圳）有限公司 虚拟环境中的信息展示方法、装置及计算机设备
CN109903129A (zh) * 2019-02-18 2019-06-18 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110991327A (zh) * 2019-11-29 2020-04-10 深圳市商汤科技有限公司 交互方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111897431A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111897431B (zh) 展示方法及装置、显示设备、计算机可读存储介质
US11557075B2 (en) Body pose estimation
US11238644B2 (en) Image processing method and apparatus, storage medium, and computer device
US10474336B2 (en) Providing a user experience with virtual reality content and user-selected, real world objects
WO2022022028A1 (zh) 虚拟对象控制方法及装置、设备、计算机可读存储介质
CN105339867B (zh) 使用视觉逼真的对象显示
TW202205059A (zh) 虛擬對象的控制方法、電子設備及電腦可讀儲存介質
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20130010071A1 (en) Methods and systems for mapping pointing device on depth map
CN110457414A (zh) 离线地图处理、虚拟对象显示方法、装置、介质和设备
WO2016122973A1 (en) Real time texture mapping
EP3036719A1 (en) Simulating three-dimensional views using planes of content
WO2022022029A1 (zh) 虚拟显示方法、装置、设备和计算机可读存储介质
CN112198959A (zh) 虚拟现实交互方法、装置及系统
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
JP2019012526A (ja) 映像処理方法、コンピュータプログラムおよび記録媒体
CN114786786A (zh) 使用先前帧进行骨骼跟踪
CN113867531A (zh) 交互方法、装置、设备及计算机可读存储介质
WO2018004776A1 (en) Virtual manipulator rendering
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN114120448B (zh) 图像处理方法和装置
CN106125937B (zh) 一种信息处理方法和处理器
CN114299263A (zh) 增强现实ar场景的展示方法及装置
CN114489337A (zh) 一种ar互动方法、装置、设备及存储介质
CN114979789A (zh) 一种视频展示方法、装置以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant