CN111651049B - 交互方法、装置、计算机设备及存储介质 - Google Patents

交互方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111651049B
CN111651049B CN202010512542.2A CN202010512542A CN111651049B CN 111651049 B CN111651049 B CN 111651049B CN 202010512542 A CN202010512542 A CN 202010512542A CN 111651049 B CN111651049 B CN 111651049B
Authority
CN
China
Prior art keywords
virtual object
preset
text
object information
input instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010512542.2A
Other languages
English (en)
Other versions
CN111651049A (zh
Inventor
潘思霁
李炳泽
武明飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202010512542.2A priority Critical patent/CN111651049B/zh
Publication of CN111651049A publication Critical patent/CN111651049A/zh
Application granted granted Critical
Publication of CN111651049B publication Critical patent/CN111651049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本公开提供了一种交互方法、装置、计算机设备及存储介质,其中,该方法包括:接收对增强现实AR设备的输入指令;识别所述输入指令中指示的关键文本;基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息;基于所述目标虚拟对象信息,在所述AR设备中呈现现实场景画面与所述目标虚拟对象信息对应的虚拟画面相结合的AR效果。

Description

交互方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种交互方法、装置、计算机设备及存储介质。
背景技术
近年来,随着文化旅游行业的快速发展,越来越多的用户群体参观各类展会或者博物馆或者风景区等。目前,对于展会中的各个展示项目,通常都采用静态呈现的方式,比如,展示一个静态的画作,然后在展示栏对中对该画作进行文字介绍。这种静态呈现的方式很难吸引参观者的注意力,缺乏与参观者之间的互动,导致展示项目达到的展示效果不佳。
发明内容
本公开实施例至少提供一种交互方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供一种交互方法,包括:
接收对增强现实AR设备的输入指令;
识别所述输入指令中指示的关键文本;
基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息;
基于所述目标虚拟对象信息,在所述AR设备中呈现现实场景画面与所述目标虚拟对象信息对应的虚拟画面相结合的AR效果。
本公开实施例中,可以对用户在AR设备中输入的输入指令进行响应,通过获取与输入指令中指示的关键文本关联的目标虚拟对象信息,进而实现在AR设备呈现现实场景画面与目标虚拟对象的虚拟画面相结合的AR效果。这种基于用户输入内容来呈现对应的AR效果的方式,可以加强用户与展示项目之间的互动性,用户可以按照自身参展需求触发感兴趣的展示项目对应的AR效果,通过AR效果的呈现来响应不同用户的不同观看需求,增强了参观展示项目过程的趣味性,也给用户带来更好的视觉体验,优化了展示项目的展示效果。
本公开的一些实施例中,所述基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息,包括:
从预设文本库中查找所述关键文本对应的第一预设标识;
基于所述第一预设标识,检测预设虚拟对象库中是否包括与所述第一预设标识对应的第一虚拟对象信息;
在检测到所述预设虚拟对象库中包括与所述第一预设标识对应的第一虚拟对象信息的情况下,将所述第一虚拟对象信息确定为所述目标虚拟对象信息。
上述实施例,在预设文本库中设置好不同用户在参观展示项目过程中可能感兴趣的内容相关的文本数据,以及在预设虚拟对象库中设置好不同文本数据对应的虚拟对象信息,这样,可以基于输入指令中指示的内容,直接获取对应的目标虚拟对象信息,以便后续呈现用户感兴趣的AR效果。
本公开的一些实施例中,所述方法还包括:
在检测到所述预设虚拟对象库中不包括与所述第一预设标识对应的第一虚拟对象信息的情况下,从预设文本库中查找与所述关键文本具有关联关系的预设关联文本的第二预设标识;
检测所述预设虚拟对象库中是否包括与所述第二预设标识对应的第二虚拟对象信息;
在检测到所述预设虚拟对象库中包括与所述第二预设标识对应的第二虚拟对象信息的情况下,将所述第二虚拟对象信息确定为所述目标虚拟对象信息。
上述实施例中,即使预设虚拟对象库中并不包括当前用户输入的关键文本对应的虚拟对象信息,也可以进一步查找到关联文本关联的预设关联文本,进而获取到关联的虚拟对象信息,以便后续呈现与用户感兴趣的内容相关联的AR效果,以提升用户的观看体验。
本公开的一些实施例中,所述接收对AR设备的输入指令,包括:
接收通过所述AR设备的内容编辑界面采集到的文本输入指令,或者,接收通过所述AR设备的预设语音输入接口采集到的语音输入指令。
本公开的一些实施例中,所述识别所述输入指令中指示的关键文本,包括:
在所述输入指令为文本输入指令的情况下,基于所述文本输入指令中输入的文本数据,识别所述文本数据中的关键文本;
在所述输入指令为语音输入指令的情况下,将所述语音输入指令中输入的语音数据转换为文本数据并识别所述文本数据中的关键文本。
上述实施例中,提供了多种用户交互方式,比如文本输入或语音输入的方式,用户可以按照自身需求来选择交互方式,并请求触发呈现的对应的AR效果,增强了参观展示项目过程的趣味性。
第二方面,本公开实施例提供一种交互装置,包括:
接收模块,用于接收对增强现实AR设备的输入指令;
识别模块,用于识别所述输入指令中指示的关键文本;
获取模块,用于基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息;
呈现模块,用于基于所述目标虚拟对象信息,在所述AR设备中呈现现实场景画面与所述目标虚拟对象信息对应的虚拟画面相结合的AR效果。
本公开的一些实施例中,所述获取模块,在基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息时,具体用于:
从预设文本库中查找所述关键文本对应的第一预设标识;
基于所述第一预设标识,检测预设虚拟对象库中是否包括与所述第一预设标识对应的第一虚拟对象信息;
在检测到所述预设虚拟对象库中包括与所述第一预设标识对应的第一虚拟对象信息的情况下,将所述第一虚拟对象信息确定为所述目标虚拟对象信息。
本公开的一些实施例中,所述获取模块,还用于:
在检测到所述预设虚拟对象库中不包括与所述第一预设标识对应的第一虚拟对象信息的情况下,从预设文本库中查找与所述关键文本具有关联关系的预设关联文本的第二预设标识;
检测所述预设虚拟对象库中是否包括与所述第二预设标识对应的第二虚拟对象信息;
在检测到所述预设虚拟对象库中包括与所述第二预设标识对应的第二虚拟对象信息的情况下,将所述第二虚拟对象信息确定为所述目标虚拟对象信息。
本公开的一些实施例中,所述接收模块,在接收对AR设备的输入指令时,具体用于:
接收通过所述AR设备的内容编辑界面采集到的文本输入指令,或者,接收通过所述AR设备的预设语音输入接口采集到的语音输入指令。
本公开的一些实施例中,所述识别模块,具体用于:
在所述输入指令为文本输入指令的情况下,基于所述文本输入指令中输入的文本数据,识别所述文本数据中的关键文本;
在所述输入指令为语音输入指令的情况下,将所述语音输入指令中输入的语音数据转换为文本数据并识别所述文本数据中的关键文本。
第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的上述方法、装置、计算机设备及存储介质,可以对用户在AR设备中输入的输入指令进行响应,通过获取与输入指令中指示的关键文本关联的目标虚拟对象信息,进而实现在AR设备呈现现实场景画面与目标虚拟对象的虚拟画面相结合的AR效果。这种基于用户输入内容来呈现对应的AR效果的方式,可以加强用户与展示项目之间的互动性,用户可以按照自身参展需求触发感兴趣的展示项目对应的AR效果,通过AR效果的呈现来响应不同用户的不同观看需求,增强了参观展示项目过程的趣味性,也给用户带来更好的视觉体验,优化了展示项目的展示效果。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种交互方法的流程图;
图2示出了本公开实施例所提供的一种交互方法的示例的流程示意图;
图3示出了本公开实施例所提供的一种交互装置的示意图;
图4示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
增强现实(Augmented Reality,AR)技术,通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。
本公开实施例可适用于任意支持AR技术的计算机设备(如手机、平板、AR眼镜等)或服务器,或者其组合,在本公开应用于服务器的情况下,该服务器可以与其他具有通信功能且具有摄像头的计算机设备连接,其连接方式可以是有线连接或无线连接,无线连接例如可以为蓝牙连接、无线宽带(Wireless Fidelity,WIFI)连接等。
下面对本公开实施例所涉及的一种交互方法进行详细介绍。
参见图1所示,为本公开实施例所提供的一种交互方法的流程示意图,包括以下几个步骤:
S101、接收对AR设备的输入指令。
本公开实施例中,该交互方法可应用在AR设备或者服务器中。当上述交互方法应用于AR设备中时,可以利用AR设备中的用户输入接口(如触摸屏或者话筒等)采集用户输入的内容,比如通过检测用户在AR设备的触摸屏上的触摸操作,来采集输入指令,或者,通过检测AR设备的话筒是否采集到用户的语音数据,来采集输入指令。当上述交互方法应用于服务器时,可以由AR设备或者其它具备用户输入接口的计算机设备将采集到的输入指令发送至服务器中。
其中,输入指令用于指示请求呈现的AR效果的描述内容,示例性的,输入指令中可以包括关键文本,关键文本用于标识请求呈现的AR效果相关的描述内容,通过识别关键文本,可以明确用户的交互意图,进而可以对用户的交互意图进行响应。
示例性的,输入指令可以通过AR设备的触摸屏输入的,具体可以接收通过AR设备的内容编辑界面采集到的文本输入指令。
其中,AR设备的触摸屏中可展示内容编辑界面,内容编辑页面中可提供用户可选择的多种选项,其中,多种选项既可以是用于指示描述属于同一主题的不同虚拟对象的文本数据,也可以是用于指示描述属于不同主题的相同或不同虚拟对象的文本数据。通过在内容编辑界面中提供多种选项,以便用户可以按照自身需求来选择想要触发的选项,在检测到用户触发了某个选项后,可接收到上述输入指令,输入指令中可携带该选项所指示的文本数据。
此外,在内容编辑页面中未提供用户感兴趣的选项的情况下,还可以提供内容输入区域,由用户在内容输入区域中输入想要触发的文本数据,AR设备采集到的输入的文本数据也可以作为输入指令。
示例性的,输入指令也可以是通过AR设备的话筒输入的。具体可以接收通过AR设备的预设语音输入接口采集到的语音输入指令。比如,可以在内容编辑页面中有一个用于触发语音输入的触发选项,点击该触发选项,AR设备可以采集语音数据,将采集到的语音数据作为输入指令。这种方式用户可以根据自身需求输入想要触发的内容。
当然,还可以有其它输入方式,比如通过采集图像的方式来获取输入指令,本公开对用户输入指令的具体方式并不限定。
S102、识别输入指令中指示的关键文本。
本公开实施例中,提供了多种用户交互方式,比如文本输入或语音输入等方式,用户可以按照自身需求来选择交互方式,并请求触发呈现的对应的AR效果,以增强参观展示项目过程的趣味性。
考虑到不同用户交互方式下,获取输入指令的方式也不同,相应的,识别输入指令中指示的文本数据的形式也有所区别。
一示例中,可以在输入指令为文本输入指令的情况下,基于文本输入指令中输入的文本数据,识别文本数据中的关键文本。
另一示例中,可以在输入指令为语音输入指令的情况下,将所述语音输入指令中输入的语音数据转换为文本数据并识别所述文本数据中的关键文本。
其中,语音数据转为文本数据的方式有多种,比如,可以对输入的语音数据进行预处理,然后提取语音数据的特征,在此基础上建立语音识别所需的文本数据模板,将文本数据模板与输入的语音数据的特征进行比较,进而查找到与输入的语音数据匹配的文本数据模板,基于文本数据模板确定语音数据转换后的文本数据。
其中,关键文本是指能反映文本数据的主题或者主要内容的词语。提取文本数据中的关键文本的方式也有多种,示例性的,可以通过词库匹配的方式来确定关键文本,也可以通过已有的关键字提取算法来提取关键文本。
在该交互方法应用于AR设备中的情况下,AR设备可以在本地完成关键文本的识别过程,也可以由AR设备将输入指令的内容上传至云端的服务器中,然后由服务器完成关键文本的识别过程,并接收服务器反馈的关键文本的识别结果。在该交互方法应用于服务器的情况下,服务器可以在接收到AR设备的输入指令的内容后直接进行关键文本的识别。
S103、基于关键文本,获取与关键文本关联的目标虚拟对象信息。
示例性的,可以预先设置预设文本库以及预设虚拟对象库,其中,预设文本库中可包括多种预设文本,可以为每个预设文本配置对应的预设标识,用以标识不同的预设文本所描述的虚拟对象。相应的,预设虚拟对象库中可以包括多种虚拟对象信息,每种虚拟对象信息也可以与预设标识相对应。通过这种方式,可以通过预设标识将预设文本与虚拟对象信息建立起关联,在获取到关键文本后,通过查找到与关键文本匹配的预设文本,便可以从预设虚拟对象库中查找到对应的虚拟对象信息,作为目标虚拟对象信息。
本公开实施例中,考虑到不同用户想要触发的内容不同,为了满足不同用户的观看需求,还可以在预设文本库中配置与预设文本具有一定关联关系的预设关联文本,并在预设虚拟对象库中配置与预设关联文本对应的虚拟对象信息,这样,即使在预设虚拟对象库中没有找到与用户输入的关键文本对应的虚拟对象信息,还可以进一步在预设文本库中获取到与关键文本关联的预设关联文本,进而从预设虚拟对象库中获取与预设关联文本对应的虚拟对象信息,作为目标虚拟对象信息。
其中,虚拟对象信息可以是经渲染工具渲染而成的虚拟对象的虚拟画面,也可以是用于生成虚拟对象的虚拟画面所需的渲染参数,还可以是虚拟对象在多种姿态下的二维或三维模型参数,利用二维或者三维模型参数可以渲染出虚拟对象呈现不同姿态时的虚拟画面。示例性的,虚拟对象在多种姿态下的二维或三维模型参数可以包括虚拟对象的面部关键点参数以及肢体关键点参数等。面部及肢体关键点参数例如包括关键点的坐标值、深度值等。示例性的,虚拟对象可基于展示项目待展示的内容来设置,本公开对虚拟对象的形式并不具体限定。
在获取到的虚拟对象信息为渲染参数,或者,为虚拟对象在多种姿态下的二维或三维模型参数的情况下,还可以利用渲染工具,对渲染参数或者模型参数进行图像渲染处理,生成虚拟对象的至少一帧虚拟画面。
本公开实施例,对于虚拟对象信息所呈现的虚拟画面的内容并不限定。示例性的,可以呈现虚拟对象的不同姿态的动画效果,也可以呈现包含有虚拟对象的图文展示效果。虚拟对象可以是二维虚拟对象,也可以是三维虚拟对象。虚拟对象可以是符合特定主题的人物,比如某一个历史朝代的人物,或者,某一个神话故事中的人物等。实际应用中,可以结合实际展览项目的展出内容的特定主题来配置虚拟对象信息,本公开对此并不限定。
S104、基于目标虚拟对象信息,在AR设备中呈现现实场景画面与目标虚拟对象信息对应的虚拟画面相结合的AR效果。
示例性的,AR设备中呈现AR效果,可以理解为在AR设备中展示融入到现实场景的虚拟动画,可以是直接将虚拟对象的呈现内容渲染出来,呈现在现实场景画面中,或者,将虚拟对象的呈现内容与现实场景画面融合后,展示融合后的显示画面。具体选择何种呈现方式取决于AR设备的设备类型和采用的画面呈现技术,比如,一般地,由于从AR眼镜中可以直接看到现实场景(并非成像后的现实场景画面),因此AR眼镜可以采用直接将虚拟对象的呈现画面渲染出来的呈现方式;对于手机、平板电脑等移动终端设备,由于在移动终端设备中展示的是对现实场景成像后的画面,因此可以采用将现实场景画面与虚拟对象的呈现内容进行融合处理的方式,来展示AR效果。
其中,在该呈现方法应用于AR设备的情况下,可以在本地完成虚拟对象信息的虚拟画面的生成操作,也可以直接从云端服务器获取已生成的虚拟对象信息对应的虚拟画面,然后将生成的虚拟画面与AR设备采集到的现实场景画面相叠加,以呈现AR效果。或者,在该呈现方法应用于服务器的情况下,服务器可以直接生成虚拟对象信息对应的虚拟画面或者从本地或其它网络设备中查找到虚拟对象信息对应的虚拟画面,然后可以将虚拟画面发送给AR设备,并指示AR设备将虚拟画面与采集到的现实场景画面相叠加,以呈现AR效果。
本公开实施例中,可以对用户在AR设备中输入的输入指令进行响应,通过获取与输入指令中指示的关键文本关联的目标虚拟对象信息,进而实现在AR设备呈现现实场景画面与目标虚拟对象的虚拟画面相结合的AR效果。这种基于用户输入内容来呈现对应的AR效果的方式,可以加强用户与展示项目之间的互动性,用户可以按照自身参展需求触发感兴趣的展示项目对应的AR效果,通过AR效果的呈现来响应不同用户的不同观看需求,增强了参观展示项目过程的趣味性,也给用户带来更好的视觉体验,优化了展示项目的展示效果。
基于上述实施例的内容,本公开实施例还提供了一种交互方法的示例性说明,参照图2所示,为该示例性说明的具体执行流程图,包括以下步骤:
S201、接收对AR设备的输入指令。
S202、识别输入指令中指示的关键文本。
S203、从预设文本库中查找关键文本对应的第一预设标识。
其中,预设文本库中可以预先设置多种预设文本。比如,可以根据不同展示项目的展示主题,分别设置不同主题的预设文本,用于表征不同主题下的虚拟对象。示例性的,多种预设文本中每种预设文本对应有一种预设标识。在获取与目标预设文本对应的虚拟对象信息时,可以首先确定关键文本对应的第一预设标识。
通过在预设文本库中预先设置好与展示项目相关的多种预设文本,这样,在用户手持AR设备观看展览项目时,可以通过在AR设备上输入输入指令,便可以触发后续的交互流程,加强了展示过程中与用户之间的互动,提升用户体验度。
S204、基于第一预设标识,检测预设虚拟对象库中是否包括与第一预设标识对应的第一虚拟对象信息。
S205、在检测到预设虚拟对象库中包括与第一预设标识对应的第一虚拟对象信息的情况下,将第一虚拟对象信息确定为目标虚拟对象信息。
本公开实施例中,每一个预设文本都可以有对应的预设标识,用来标识该预设文本所表征的虚拟对象,其中,该预设标识的表现形式,既可以是文字,也可以用数字,还可以用字母等任意一种字符来表示。预设标识相当于是预设文本的索引号,通过该索引号可以进一步从预设虚拟对象库中查找到与该索引号对应的目标虚拟对象信息。
其中,预设的虚拟对象库中包括多种虚拟对象信息,每种虚拟对象动画也与一种预设标识相对应。该预设标识也可以理解为预设文本库中预设文本的预设标识,即索引号。通过预设标识,可以将虚拟对象信息与预设文本库中的预设文本建立起关联,以便查找到与预设标识对应的虚拟对象信息。
示例性的,预设标识与对应的虚拟对象信息以及预设文本可以属于同一展示主题。具体实施中,建立关联的虚拟对象信息与预设文本可以属于同一种展示主题,其中,预设文本可以与多种虚拟对象信息建立关联,即,符合某一个展示主题的预设文本,可对应符合该展示主题的多种虚拟对象信息,多种虚拟对象信息的多种虚拟对象画面可以按照次序依次进行呈现,也可以随机进行呈现,还可以通过预设的呈现规则来设定多种虚拟对象信息对应的虚拟对象画面的呈现方式。
该实施例中,可以将虚拟对象信息与预设文本的预设标识建立绑定关系,这样可以结合实际展示项目的展示需求来配置预设文本的预设标识以及对应的虚拟对象信息,比如,按照不同展示项目的不同展示主题,分别配置预设标识以及对应的预设文本和虚拟对象信息,后续可以基于输入指令中指示的关键文本与预设文本的匹配情况,来获取对应的虚拟对象信息,从而能够使得交互形式更为多样化,进一步提升用户体验度。
S206、在检测到预设虚拟对象库中不包括与第一预设标识对应的第一虚拟对象信息的情况下,从预设文本库中查找与关键文本具有关联关系的预设关联文本的第二预设标识。
S207、检测预设虚拟对象库中是否包括与第二预设标识对应的第二虚拟对象信息。
S208、在检测到预设虚拟对象库中包括与第二预设标识对应的第二虚拟对象信息的情况下,将第二虚拟对象信息确定为目标虚拟对象信息。
本公开实施例中,考虑到不同用户想要触发的内容不同,为了满足不同用户的观看需求,还可以在预设文本库中配置与预设文本具有一定关联关系的预设关联文本,每个预设文本可以配置至少一个具有关联关系的预设关联文本。
其中,预设文本和预设关联文本之间的关联关系,既可以是上下位的关系,也可以是属于同一展示主题的关系,还可以是分别属于具有关联关系的两个展示主题的关系,具体关联关系的配置可以基于实际展示需求来设置,本公开对此并不限定。
通过在预设虚拟对象库中配置与预设关联文本对应的虚拟对象信息,这样,即使在预设虚拟对象库中没有找到与用户输入的关键文本对应的虚拟对象信息,还可以进一步在预设文本库中获取到与关键文本关联的预设关联文本,进而基于预设关联文本的第二预设标识,从预设虚拟对象库中获取与预设关联文本对应的虚拟对象信息,作为目标虚拟对象信息。通过这种方式,可以呈现与用户感兴趣的内容相关联的AR效果,以提升用户的观看体验。
需要说明的是,上述步骤中涉及的“第一”、“第二”仅用于区分所指代的内容,比如,“第一预设标识”和“第二预设标识”同为上述预设文本库中为预设文本或预设关联文本设置的预设标识,“第一虚拟对象信息”和“第二虚拟对象信息”同为上述虚拟对象库中预先配置的虚拟对象信息。
S209、基于目标虚拟对象信息,在AR设备中呈现现实场景画面与目标虚拟对象信息对应的虚拟画面相结合的AR效果。
其中,上述示例性说明中,涉及到与在先实施例相关的特征可以参考在先实施例中对相关的特征的解释说明,本公开中不再重复介绍。
以下为本公开实施例的具体应用场景的举例说明。
首先,可以在云端或者本地建立预设文本库,预设文本库中记录有多种预设文本,预设文本例如为关键字,每种预设文本可以对应的预设标识,另外,每种预设文本还可以配置对应的预设关联文本。比如,预设文本为“西游记”,配置的预设关联文本例如为“孙悟空”和/或“唐僧”等。
之后,AR设备在接收到用户的输入指令后,可以对输入指令中的内容进行关键字的提取,以得到关键文本。然后基于关键文本,从云端的预设文本库中查找关键文本对应的第一预设标识。
查找到第一预设标识之后,若可以从云端下载或者本地的预设虚拟对象库中读取第一预设标识对应的虚拟对象信息,并利用虚拟对象信息,显示叠加有对应的虚拟对象的AR效果。
若从预设虚拟对象库中读取不到第一预设标识对应的虚拟对象信息,那么可以进一步从预设文本库中查找关键文本的预设关联文本的第二预设标识,进而从云端下载或者本地的预设虚拟对象库中读取第二预设标识对应的虚拟对象信息,并利用虚拟对象信息,显示叠加有对应的虚拟对象的AR效果。
例如,如用户的输入指令中输入的关键文本为“变形记”,但是虚拟对象库中并未包含“变形记”对应的虚拟对象信息,但是预设文本库中包含了“变形金刚”的预设关联文本以及虚拟对象库中包括了“变形金刚”对应的虚拟对象信息,此时可以获取“变形金刚”对应的虚拟对象信息,之后在AR设备上展示“变形金刚”叠加现实场景画面的AR效果。
通过对用户输入的指令内容进行识别,确定用户想要观看的虚拟对象,然后可以在AR设备中展示现实场景画面叠加虚拟对象对应的虚拟画面之后的AR效果,突破了传统的二维与封闭的三维显示限制,给用户带来一种在现实场景中演绎虚拟对象的AR视觉效果,极大的提升了用户体验,增加了展览过程中的趣味性及互动性。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与交互方法对应的交互装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述交互方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图3所示,为本公开实施例提供的一种交互装置的示意图,所述装置包括:接收模块31、识别模块32、获取模块33、呈现模块34。
接收模块31,用于接收对增强现实AR设备的输入指令;
识别模块32,用于识别所述输入指令中指示的关键文本;
获取模块33,用于基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息;
呈现模块34,用于基于所述目标虚拟对象信息,在所述AR设备中呈现现实场景画面与所述目标虚拟对象信息对应的虚拟画面相结合的AR效果。
本公开的一些实施例中,所述获取模块33,在基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息时,具体用于:
从预设文本库中查找所述关键文本对应的第一预设标识;
基于所述第一预设标识,检测预设虚拟对象库中是否包括与所述第一预设标识对应的第一虚拟对象信息;
在检测到所述预设虚拟对象库中包括与所述第一预设标识对应的第一虚拟对象信息的情况下,将所述第一虚拟对象信息确定为所述目标虚拟对象信息。
本公开的一些实施例中,所述获取模块33,还用于:
在检测到所述预设虚拟对象库中不包括与所述第一预设标识对应的第一虚拟对象信息的情况下,从预设文本库中查找与所述关键文本具有关联关系的预设关联文本的第二预设标识;
检测所述预设虚拟对象库中是否包括与所述第二预设标识对应的第二虚拟对象信息;
在检测到所述预设虚拟对象库中包括与所述第二预设标识对应的第二虚拟对象信息的情况下,将所述第二虚拟对象信息确定为所述目标虚拟对象信息。
本公开的一些实施例中,所述接收模块31,在接收对AR设备的输入指令时,具体用于:
接收通过所述AR设备的内容编辑界面采集到的文本输入指令,或者,接收通过所述AR设备的预设语音输入接口采集到的语音输入指令。
本公开的一些实施例中,所述识别模块32,具体用于:
在所述输入指令为文本输入指令的情况下,基于所述文本输入指令中输入的文本数据,识别所述文本数据中的关键文本;
在所述输入指令为语音输入指令的情况下,将所述语音输入指令中输入的语音数据转换为文本数据并识别所述文本数据中的关键文本。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图4所示,为本公开实施例提供的计算机设备的结构示意图,包括:处理器11和存储器12;所述存储器12存储有所述处理器11可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器11执行以实现下述步骤:
接收对增强现实AR设备的输入指令;识别所述输入指令中指示的关键文本;基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息;基于所述目标虚拟对象信息,在所述AR设备中呈现现实场景画面与所述目标虚拟对象信息对应的虚拟画面相结合的AR效果。
上述指令的具体执行过程可以参考本公开实施例中所述的交互方法的步骤,此处不再赘述。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的交互方法的步骤。
本公开实施例所提供的交互方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实数据交互方法的步骤,具体可参见上述方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种交互方法,其特征在于,包括:
接收对增强现实AR设备的输入指令;
识别所述输入指令中指示的关键文本;
基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息;其中,所述基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息包括:从预设文本库中查找所述关键文本对应的第一预设标识;基于所述第一预设标识,检测预设虚拟对象库中是否包括与所述第一预设标识对应的第一虚拟对象信息;在检测到所述预设虚拟对象库中包括与所述第一预设标识对应的第一虚拟对象信息的情况下,将所述第一虚拟对象信息确定为所述目标虚拟对象信息;在检测到所述预设虚拟对象库中不包括与所述第一预设标识对应的第一虚拟对象信息的情况下,从预设文本库中查找与所述关键文本具有关联关系的预设关联文本的第二预设标识;检测所述预设虚拟对象库中是否包括与所述第二预设标识对应的第二虚拟对象信息;在检测到所述预设虚拟对象库中包括与所述第二预设标识对应的第二虚拟对象信息的情况下,将所述第二虚拟对象信息确定为所述目标虚拟对象信息;所述关键文本与所述预设关联文本的关联关系包括至少一种:上下位、同一展示主题、具有关联关系的不同展示主题;
基于所述目标虚拟对象信息,在所述AR设备中呈现现实场景画面与所述目标虚拟对象信息对应的虚拟画面相结合的AR效果。
2.根据权利要求1所述的方法,其特征在于,所述接收对AR设备的输入指令,包括:
接收通过所述AR设备的内容编辑界面采集到的文本输入指令,或者,接收通过所述AR设备的预设语音输入接口采集到的语音输入指令。
3.根据权利要求2所述的方法,其特征在于,所述识别所述输入指令中指示的关键文本,包括:
在所述输入指令为文本输入指令的情况下,基于所述文本输入指令中输入的文本数据,识别所述文本数据中的关键文本;
在所述输入指令为语音输入指令的情况下,将所述语音输入指令中输入的语音数据转换为文本数据并识别所述文本数据中的关键文本。
4.一种交互装置,其特征在于,包括:
接收模块,用于接收对增强现实AR设备的输入指令;
识别模块,用于识别所述输入指令中指示的关键文本;
获取模块,用于基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息;所述基于所述关键文本,获取与所述关键文本关联的目标虚拟对象信息包括:从预设文本库中查找所述关键文本对应的第一预设标识;基于所述第一预设标识,检测预设虚拟对象库中是否包括与所述第一预设标识对应的第一虚拟对象信息;在检测到所述预设虚拟对象库中包括与所述第一预设标识对应的第一虚拟对象信息的情况下,将所述第一虚拟对象信息确定为所述目标虚拟对象信息;在检测到所述预设虚拟对象库中不包括与所述第一预设标识对应的第一虚拟对象信息的情况下,从预设文本库中查找与所述关键文本具有关联关系的预设关联文本的第二预设标识;检测所述预设虚拟对象库中是否包括与所述第二预设标识对应的第二虚拟对象信息;在检测到所述预设虚拟对象库中包括与所述第二预设标识对应的第二虚拟对象信息的情况下,将所述第二虚拟对象信息确定为所述目标虚拟对象信息;所述关键文本与所述预设关联文本的关联关系包括至少一种:上下位、同一展示主题、具有关联关系的不同展示主题;
呈现模块,用于基于所述目标虚拟对象信息,在所述AR设备中呈现现实场景画面与所述目标虚拟对象信息对应的虚拟画面相结合的AR效果。
5.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至3任意一项所述的交互方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至3任意一项所述的交互方法的步骤。
CN202010512542.2A 2020-06-08 2020-06-08 交互方法、装置、计算机设备及存储介质 Active CN111651049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010512542.2A CN111651049B (zh) 2020-06-08 2020-06-08 交互方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010512542.2A CN111651049B (zh) 2020-06-08 2020-06-08 交互方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111651049A CN111651049A (zh) 2020-09-11
CN111651049B true CN111651049B (zh) 2024-01-09

Family

ID=72344966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010512542.2A Active CN111651049B (zh) 2020-06-08 2020-06-08 交互方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111651049B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012300A (zh) * 2021-04-02 2021-06-22 北京隐虚等贤科技有限公司 沉浸式互动内容的创建方法、装置以及存储介质
CN113791750B (zh) * 2021-09-24 2023-12-26 腾讯科技(深圳)有限公司 一种虚拟内容显示方法、装置和计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122717A1 (ko) * 2010-03-30 2011-10-06 Hyun Min-Ho 휴대 단말기를 이용한 문자 관련 정보 제공 방법 및 휴대 단말기
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
JP2014209290A (ja) * 2013-04-16 2014-11-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム
CN106682012A (zh) * 2015-11-06 2017-05-17 阿里巴巴集团控股有限公司 商品对象信息搜索方法及装置
CN107194828A (zh) * 2017-05-25 2017-09-22 广东电网有限责任公司教育培训评价中心 电力行业应急演练方法、应急演练平台及应急演练系统
CN108615260A (zh) * 2018-03-26 2018-10-02 湖北大学 一种异常现实环境下进行增强现实数字文化内容显示的方法及装置
CN108961396A (zh) * 2018-07-03 2018-12-07 百度在线网络技术(北京)有限公司 三维场景的生成方法、装置及终端设备
KR20180133123A (ko) * 2017-06-05 2018-12-13 에스케이플래닛 주식회사 자동 완성 기능을 지원하는 쇼핑몰 서비스 제공 장치 및 이를 포함하는 쇼핑몰 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체
CN109213728A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及系统
JP2019144981A (ja) * 2018-02-23 2019-08-29 富士通株式会社 情報処理プログラム、情報処理装置及び情報処理方法
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110858134A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122717A1 (ko) * 2010-03-30 2011-10-06 Hyun Min-Ho 휴대 단말기를 이용한 문자 관련 정보 제공 방법 및 휴대 단말기
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
JP2014209290A (ja) * 2013-04-16 2014-11-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム
CN106682012A (zh) * 2015-11-06 2017-05-17 阿里巴巴集团控股有限公司 商品对象信息搜索方法及装置
CN107194828A (zh) * 2017-05-25 2017-09-22 广东电网有限责任公司教育培训评价中心 电力行业应急演练方法、应急演练平台及应急演练系统
KR20180133123A (ko) * 2017-06-05 2018-12-13 에스케이플래닛 주식회사 자동 완성 기능을 지원하는 쇼핑몰 서비스 제공 장치 및 이를 포함하는 쇼핑몰 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체
CN109213728A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及系统
JP2019144981A (ja) * 2018-02-23 2019-08-29 富士通株式会社 情報処理プログラム、情報処理装置及び情報処理方法
CN108615260A (zh) * 2018-03-26 2018-10-02 湖北大学 一种异常现实环境下进行增强现实数字文化内容显示的方法及装置
CN108961396A (zh) * 2018-07-03 2018-12-07 百度在线网络技术(北京)有限公司 三维场景的生成方法、装置及终端设备
CN110858134A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111651049A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111638796A (zh) 虚拟对象的展示方法、装置、计算机设备及存储介质
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN109952610B (zh) 图像修改器的选择性识别和排序
CN110865708B (zh) 虚拟内容载体的交互方法、介质、装置和计算设备
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
CN112684894A (zh) 增强现实场景的交互方法、装置、电子设备及存储介质
EP2665006A1 (en) Method for support in such a way as to allow collection of objects comprised in an input image, and a recording medium able to be read by terminal devices and computers
CN104603719A (zh) 扩增实境表面显示
KR20160112898A (ko) 증강현실 기반 동적 서비스 제공 방법 및 장치
CN102681870B (zh) 在登录时自动执行动作
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN111651049B (zh) 交互方法、装置、计算机设备及存储介质
KR20170125618A (ko) 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치
CN111640193A (zh) 文字处理方法、装置、计算机设备及存储介质
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN106527695A (zh) 一种信息输出方法及装置
JPWO2018135246A1 (ja) 情報処理システム及び情報処理装置
EP2634690A1 (en) Method and apparatus for setting user interface
JP2022507502A (ja) 拡張現実(ar)のインプリント方法とシステム
WO2022151667A1 (zh) 资源处理方法、装置、电子设备、存储介质及程序产品
CN114153548A (zh) 一种展示方法、装置、计算机设备及存储介质
KR102234172B1 (ko) 디지털 트윈 책장 제공 장치 및 방법
US20170034586A1 (en) System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof
CN110036356B (zh) Vr系统中的图像处理
CN113359985A (zh) 数据展示方法、装置、计算机设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant