CN115437730A - 一种主动式人机交互方法、装置、屏端设备及存储介质 - Google Patents

一种主动式人机交互方法、装置、屏端设备及存储介质 Download PDF

Info

Publication number
CN115437730A
CN115437730A CN202210921761.5A CN202210921761A CN115437730A CN 115437730 A CN115437730 A CN 115437730A CN 202210921761 A CN202210921761 A CN 202210921761A CN 115437730 A CN115437730 A CN 115437730A
Authority
CN
China
Prior art keywords
screen
information
virtual character
scene
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210921761.5A
Other languages
English (en)
Inventor
李奇文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coocaa Network Technology Co Ltd
Original Assignee
Shenzhen Coocaa Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coocaa Network Technology Co Ltd filed Critical Shenzhen Coocaa Network Technology Co Ltd
Priority to CN202210921761.5A priority Critical patent/CN115437730A/zh
Publication of CN115437730A publication Critical patent/CN115437730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/04—Animation description language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/12—Rule based animation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及人机交互领域，尤其涉及一种主动式人机交互方法、装置、屏端设备及存储介质，获取屏端设备接收下一时刻的交互信息，根据交互信息确定下一时刻的场景信息，若在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，则解析与下一时刻的场景信息匹配的策略数据，得到对应的执行数据，根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作，根据屏端设备的场景信息，自动生成场景信息对应的交互方式，使用虚拟人物进行主动提醒与内容推荐，实现了人机交互过程中的主动式交互。

Description

一种主动式人机交互方法、装置、屏端设备及存储介质
技术领域
本发明涉及人机交互领域，尤其涉及一种主动式人机交互方法、装置、屏端设备及存储介质。
背景技术
随着现在的智能大屏，特别是智能电视越来越普及，在交互的过程中，通常都是用户主动发起交互，智能大屏端根据用户操作行为进行反馈，一般致力于以拟人助手的形象通过自然语言交互的方式为用户提供服务与信息，人机交互客户端的交互体验倾向于简单快速满足为主，拟人话术为辅，且传统的弹框式交互方式显得越来越单调，不仅让用户产生了审美疲劳，而且这些弹窗作用也非常有限，无法起到主动提醒及推荐作用，可见，现有人机交互技术存在交互较被动的问题，因此，在人机交互的过程中，如何提高人机交互的主动性成为亟待解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种主动式人机交互方法、装置、屏端设备及存储介质，以解决现有人机交互技术交互较被动的问题。
第一方面，提供一种主动式人机交互方法，所述主动式人机交互方法应用于屏端设备，所述主动式人机交互方法包括：
获取所述屏端设备接收下一时刻的交互信息，根据所述交互信息确定所述下一时刻的场景信息；
若在预设的策略数据集中检测到与所述下一时刻的场景信息匹配的策略数据，则解析与所述下一时刻的场景信息匹配的策略数据，得到对应的执行数据；
根据所述执行数据，在所述屏端设备中展示虚拟人物并控制所述虚拟人物动作。
第二方面，提供一种主动式人机交互装置，所述主动式人机交互装置应用于屏端设备，所述主动式人机交互装置包括：
获取模块，用于获取所述屏端设备接收下一时刻的交互信息，根据所述交互信息确定所述下一时刻的场景信息；
执行数据确定模块，用于若在预设的策略数据集中检测到与所述下一时刻的场景信息匹配的策略数据，则解析与所述下一时刻的场景信息匹配的策略数据，得到对应的执行数据；
展示与控制模块，用于根据所述执行数据，在所述屏端设备中展示虚拟人物并控制所述虚拟人物动作。
第三方面，本发明实施例提供一种屏端设备，所述屏端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的主动式人机交互方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的主动式人机交互方法。
本发明与现有技术相比存在的有益效果是：
获取屏端设备接收下一时刻的交互信息，根据交互信息确定下一时刻的场景信息，若在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，则解析与下一时刻的场景信息匹配的策略数据，得到对应的执行数据，根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作，根据屏端设备的场景信息，自动生成场景信息对应的交互方式，使用虚拟人物进行主动提醒与内容推荐，实现了人机交互过程中的主动式交互。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种主动式人机交互方法的一应用环境示意图；
图2是本发明一实施例提供的一种主动式人机交互方法的流程示意图；
图3是本发明一实施例提供的一种主动式人机交互方法的流程示意图；
图4是本发明一实施例提供的一种主动式人机交互方法的流程示意图；
图5是本发明一实施例提供的一种主动式人机交互装置的结构示意图；
图6是本发明一实施例提供的一种屏端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
本发明一实施例提供的一种主动式人机交互方法，主动式人机交互方法应用于屏端设备，可应用在如图1的应用环境中，其中，屏端设备与服务端进行通信。其中，屏端设备包括但不限于智能电视，智能屏等显示屏幕和相应处理功能的设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参见图2，是本发明一实施例提供的一种主动式人机交互方法的流程示意图，上述主动式人机交互方法可以应用于图1中的屏端设备。如图2所示，该主动式人机交互方法可以包括以下步骤。
S201：获取屏端设备接收下一时刻的交互信息，根据交互信息确定下一时刻的场景信息。
在步骤S201中，获取屏端设备接收下一时刻的交互信息，其中，交互信息为在屏端设备采集到音频或影像信息等，根据交互信息中的音频或影像，得到对应场景信息，其中场景信息为屏端设备对应的业务的状态。接收下一时刻场景信息为新的场景，例如，当屏端设备上一时刻在播放某个视频时，电量不足，屏端设备将关机，则下一时刻的场景信息为关机场景。
本实施例中，根据采集到的屏端设备的下一时刻的交互信息，将交互信息通过信息通道发送至场景控制器，场景控制器检测屏端设备的场景变化情况，其中，信息通道是指屏端设备与场景控制器之间进行数据传输，数据存储、数据处理等的交互进程的数据通道，信息通道内具有多个功能模块，可以使得指屏端设备与场景控制器之间进行多种形式的交互。信息通道用于向屏端设备与场景控制器提供至少一个交互功能模块，根据在屏端设备采集到的交互信息，将交互信息通过信息通道发送至场景控制器中，通过屏端设备与场景控制器之间建立信息通道，便于屏端设备通过远程通信连接，提高了场景控制器对屏端设备的检测效率，节约大量人力、时间成本。
需要说明的是，场景控制器根据接收到的屏端设备的交互信息，判断交互信息对应的场景信息，当出现新的场景时，则认为屏端设备界面中的场景信息发生了变化。
根据交互信息确定下一时刻的场景信息，通过信息通道，将交互信息传输到场景控制器时，场景控制器检测对应的场景信息是否发生变化，检测对应的场景信息时，基于对获取的屏端数据进行检测得到，当获取屏端数据时，通过预先提供的大量的接口函数，监听屏端的各种数据信息，将实时获得的屏端数据封装为标准输入数据结构，将标准输入数据通过信息通道输入到场景控制器中。
例如，当屏端设备中正播放视频影像时，通过接口函数实时检测屏端设备中的视频影像的播放状态，检测屏端设备的播放状态时，可以对屏端设备的界面可进行截图，获取播放视频的每一帧中的影像信息，当获取连续相同的影像信息时，则认为屏端设备中的视频处于暂停状态，场景控制器获取对应的场景信息。当屏端设备将播放的视频影像内替换时，接口函数可以检测到播放的视频的来源不同，场景控制器根据播放视频来源的转变，得到对应场景信息。
当屏端设备在播放视频影像时，接收到用户输入的语音信息，屏端设备从视频播放界面转化为语音搜索界面，接口函数检测到屏端设备中界面的访问地址的不同，场景控制器检测到场景信息的变化，获取对应语音搜索界面的场景信息。
可选地，获取屏端设备接收下一时刻的交互信息，根据交互信息确定下一时刻的场景信息，包括：
根据屏端设备接收下一时刻的交互信息，确定屏端设备的业务信息；
根据屏端设备展示的业务信息的状态，确定下一时刻的场景信息。
本实施例中，根据交互信息确定下一时刻的场景信息，场景信息包括屏端设备对应业务的不同状态，例如，屏端设备中的业务可以是视频播放业务，场景信息可以是视频播放的开始场景，中断场景或者是结束场景，当屏端设备中的业务为搜索业务时，搜索业务对应的场景信息可以是开始搜索时输入的关键字场景，搜索结果出来时搜索结果为空时的场景等，当屏端设备中的业务为开机业务时，对应的场景信息可以是开始开机的场景或者是开机过程中的场景，或者是开机完成中的场景。
例如，当屏端设备进行的业务为视频播放时，可以通过与屏端设备连接的预设的函数接口，检测屏端设备的场景信息，视频播放的场景信息可以包括视频开始播放的场景信息，视频暂停播放的场景信息，视频转换的场景信息等。
S202：若在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，则解析与下一时刻的场景信息匹配的策略数据，得到对应的执行数据。
在步骤S202中，在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，其中策略数据与场景信息是一一对应的关系，根据检测到策略数据，得到对应的执行数据，其中，执行数据为在屏端进行主动交互的交互结果。
本实施例中，对于不同的场景信息，在预设的策略数据集中都有与之对应的策略数据，通过解析后的场景信息与策略数据的匹配，得到与场景信息对应的匹配策略数据，将匹配的策略数据作为执行数据。
需要说明的是，在预设的策略数据集中检测与下一时刻的场景信息匹配的策略数据时，首先构建策略数据集，在策略数据集中场景信息与策略数据是成对出现的，场景信息与策略数据构成组合对，其中，每个组合对中的场景信息可以使用场景标识表示，场景标识实质上是一个标识信息，与策略数据一一对应，例如，屏端设备开机为场景一，屏端设备开机为场景信息，场景一为场景标识，检测下一时刻场景信息，当屏端设备开机完成后，屏端设备开机完后才能为场景二，场景二为场景标识，屏端设备开机完成为另一场景信息，与上一时刻中的开机场景不同，此时就是发生了场景的切换，也即当前场景属于新的场景。
每个场景信息对应唯一的场景标识信息，场景标识信息与对应的策略数据构成对应的组合对，当确定下一时刻对应的场景信息时，首先匹配对应场景信息对应的场景标识，根据场景标识匹配对应的策略数据。
当场景信息匹配到对应的策略数据后，对策略数据进行解析，得到执行数据，本实施例中，策略数据为json格式的数据，json数据指的是可以在字符串格式以及json对象格式之间进行转换的数据，json数据需要在字符串格式以及json对象格式之间进行转换是因为，将json对象格式表示的json数据转换为字符串格式表示的json数据才能便于机器识别，也即该字符串格式表示的json数据才可以在函数之间传递，在本实施例中，需要对json数据进行解析，解析是把字符串格式表示的json数据转换为json对象格式，以便json对象格式表示的json数据便于对json数据中各种类型的对象作处理操作。
需要说明的是，本实施例中通过场景控制器解析匹配的策略数据，首先将策略数据解析得到初始解析结果，其中，该初始解析结果可能为全部正确的解析结果，或者该初始解析结果为部分错误的解析结果，对json数据进行解析即是将字符串格式表示的json数据转换为json对象格式表示的json数据的具体过程，在此不作具体说明。得到初始解析结果后，判断初始解析结果是否包含错误解析内容，该错误解析内容可以是极值类型错误解析内容、逻辑紊乱类型错误解析内容或者是程序错乱类型错误解析内容等，在确定初始解析结果中包含错误解析内容后，需要确定错误解析内容的类型，本实施例中，场景控制器需预先设置程序段，该程序段表示确定错误解析内容的类型的处理逻辑，该处理逻辑用于在检测到初始解析结果中包含错误解析内容时，触发处理器以基于该含错误解析内容确定错误解析内容的类型。根据错误解析内容的类型，对错误解析结果进行对应的第二次解析，得到最终正确的解析结果。
根据正确的解析结果，得到对应的执行数据，执行数据为需在屏端设备中展示的交互结果，得到执行数据后，将执行数据发送至人物控制器中，以便于虚拟人物根据执行数据进行执行对应的动作。
可选地，若在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，包括：
获取屏端设备中缓存的所有策略数据，将所有策略数据组成预设的策略数据集；
根据述下一时刻的场景信息，确定场景信息对应的场景标识，基于场景标识，在预设的策略数据集中检测与场景标识匹配的策略数据。
本实施例中，获取屏端设备中缓存的所有策略数据，将所有策略数据组成预设的策略数据集，其中，屏端设备中缓存的所有策略数据可以是策略控制器中存在的所有策略数据。例如，策略数据集中的策略数据可以包括屏端设备交互的提示数据，推荐数据，或者开关机提醒数据等。将所有缓存的数据组成对应的预设策略数据集。
为了使场景信息与策略数据可以进行快速匹配，对屏端设备中的场景信息进行标识，每个场景信息确定唯一的标识，首先，获取屏端设备中的所有的场景信息，场景信息的个数根据屏端设备的功能进行确定，例如，屏端设备只能进行视频播放时，则屏端设备的场景信息可能包括视频开始播放的场景，视频中断的场景，视频播放结束的场景，视频播放转换的场景等，当屏端设备还具备语音识别功能时，则屏端设备的场景信息可以还可以包括语音输入场景信息，以及语音识别场景信息等。根据屏端设备的有功能，获取屏端设备对应的所有场景信息，对每一个场景信息进行依次标注，得到对应的场景标识。基于场景标识，在预设的策略数据集中检测与场景标识匹配的策略数据。
需要说明的是，在对场景信息进行标识时，可以以数组的形式进行标识，例如，首先根据屏端设备的功能信息，将屏端设备中的功能划分为不同的业务，具体地，包括影像播放业务，语音播放业务，查询业务等，再根据不同的业务，确定不同业务中的场景信息，将业务信息作为第一标识，将业务中的不同场景信息作为第二标识，同一业务中第一标识为相同的标识，同一业务中的不同场景信息为不同的第二标识。策略数据中绑定对应的场景标识，当检测场景信息与策略数据的匹配时，首先确定对应业务标识，在确定的业务标识中检测对应的场景信息标识，提高了场景信息与策略数据的匹配效率。
S203：根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作。
在步骤S203中，根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作，执行数据作为控制虚拟人物动作的指令，以便于虚拟人物在屏端设备中展示把不同的动作。
本实施例中，虚拟人物通过三维技术获得的三维虚拟人物，三维技术可以使用三维高模，高模是高细节高精度的三维模型，高模看上去十分逼真、细节非常丰富，模型的面数也相当的高，以三维头像为例，在构建的过程中，获取人脸图像，提取人脸图像中的人脸特征点和真实皮肤及毛发素材进行模型调整和个性特征构建，最后对与人脸图像匹配的人脸模型进行纹理贴图，生成虚拟人物头像。事先通过三维技术将虚拟人三维影像构造出来以应用程序或可执行文件的方式存储在人物控制器中，通过系统调用的方式来生成虚拟人，这样能够极大降低处理器的处理负担。另外，也可以利用三维低模来构造虚拟人，虽然效果上没有3D高模构建的虚拟人更加逼真，但能够减轻处理器负担且满足本发明实施例的基本需求。
当场景控制器检测到屏端设备的场景变化信息时，即检测到的下一时刻场景信息与上一时刻的场景信息不同时，从策略控制器中获取下一时刻场景信息对应的策略数据，并通过场景控制器解析对应的策略数据，得到策略数据对应的执行数据，执行数据用于在屏端设备中展示与控制对应虚拟人物的动作，其中，首先，需要根据执行数据确定虚拟人物的位置信息，即虚拟人物在屏端设备中的坐标信息，可以根据不同场景信息对对应的虚拟人物设置不同定位置信息，例如，当屏端设备中视频播放中断时，可以将虚拟人物的位置信息设置在屏端设备的界面中间位置，当需要在屏端设备中输入语音信息时，可以将带有虚拟人物的搜索框设置在屏端设备中界面上方的位置。设置虚拟人物的位置信息时，可以基于虚拟人物中的某一点设置对应的坐标，例如，基于虚拟人物中人脸中某一点的坐标进行设置，或者将虚拟人物的中间点位置作为设置的坐标等。
当虚拟人物根据执行数据中的位置坐标展现在屏端设备中的界面时，虚拟人物在对应位置展现执行数据中对应的动作，虚拟人物的动作可以包括打招呼的动作，旋转动作，点头动作或者摇头动作等。例如，当屏端设备为开机的场景信息时，虚拟人物可以是打招呼的动作。
可选地，根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作，包括：
根据执行数据生成控制虚拟人物的控制指令；
根据控制指令，在预设执行清单中确定与控制指令对应的动作集合，得到虚拟人物对应的待执行动作；
根据虚拟人物对应的待执行动作，虚拟人物在屏端设备中执行对应的待执行动作。
本实施例中，根据执行数据生成控制虚拟人物的控制指令，其中，控制指令控制虚拟人物进行相应的动作，可以将不同的指令与预设设置的虚拟人物的动作构建预设执行清单，在预设执行清单中确定与控制指令对应的动作集合，得到虚拟人物对应的待执行动作，并进行存储，加快虚拟人物获取指令的速度，根据虚拟人物对应的待执行动作，虚拟人物在屏端设备中执行对应的待执行动作。
其中，控制虚拟人物的动作时，将指令与虚拟人物的动作构建成预设执行清单，在预设执行清单中，每个指令对应一个动作，例如，当指令为1时，可以对应虚拟人物的点头动作，当指令为2时，可以对应虚拟人物的摇头动作等。
需要说明的是，当虚拟人物做对应的动作时，可以对虚拟人物增加对应的虚拟语音信息，与虚拟人物的动作进行合成，以增加屏端设备交互的灵活性。其中虚拟语音信息为根据场景信息，设置与虚拟人物动作对应的语音信息，将虚拟语音信息与虚拟任务动作叠加，可以理解为发音动作的虚拟人物形象的虚拟视频信息，并将虚拟语音信息与虚拟视频信息叠加在一起。发音动作可以包括面部表情等。
获取屏端设备接收下一时刻的交互信息，根据交互信息确定下一时刻的场景信息，若在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，则解析与下一时刻的场景信息匹配的策略数据，得到对应的执行数据，根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作，根据屏端设备的场景信息，自动生成场景信息对应的交互方式，使用虚拟人物进行主动提醒与内容推荐，实现了人机交互过程中的主动式交互。
参见图3，是本发明一实施例提供的一种主动式人机交互方法的流程示意图，如图3，该主动式人机交互方法可以包括以下步骤：
S301：获取屏端设备接收下一时刻的交互信息，根据交互信息确定下一时刻的场景信息；
其中，上述步骤S301与上述步骤S201的内容相同，可参考上述步骤S201的描述，在此不再赘述。
S302：将当前时刻的交互信息与下一时刻的交互信息进行比较，若比较结果为不一致，则对在屏端设备内存储的策略数据进行检测；
S303：若在预设的策略数据集中未检测到与下一时刻的场景信息匹配的策略数据，则从服务端下载更新的策略数据，使用更新的策略数据更新预设的策略数据集。
本实施例中，将当前时刻的交互信息与下一时刻的交互信息进行比较，若比较结果为不一致，则对在屏端设备内存储的策略数据进行检测，根据信息通道接收到的屏端设备中的信息，当屏端设备中下一时刻中的场景信息与上一时刻的场景信息不同时，在屏端设备中的策略控制器检测策略数据，策略数据在对应的策略数据表中，策略数据表包括策略，主要策略，推荐策略，场景策略等。在策略控制器中，检测接收到的下一时刻中屏端设备的场景信息对应的策略数据，若在屏端设备中，存在下一时刻场景信息对应的策略数据，则提取对应的策略数据，若在屏端设备中没检测不到下一时刻场景信息对应的策略数据，在服务端处下载对应的策略数据，其中，服务端保存有屏端设备所有场景信息对应的策略数据。
可选地，若在预设的策略数据集中未检测到与下一时刻的场景信息匹配的策略数据，则从服务端下载更新的策略数据，包括：
若在预设的策略数据集中未检测到与下一时刻的场景信息匹配的策略数据，根据述屏端设备的登录信息，获取屏端设备的用户信息；
将带有所述用户信息的下载更新策略数据的请求信息，发送至所述服务端，在所述服务端下载更新所述用户信息对应的策略数据。
本实施例中，屏端设备在服务端获取策略数据时，根据用户信息获取对应的策略数据，所以，首先根据在屏端设备中的登录信息确定频段设备中的用户信息，策略控制器根据获取到的用户信息，与向服务端发送的获取策略数据的请求信息一起封装，发送至服务端，服务端首先根据用户信息确定屏端设备中对应的以开通的业务信息，在已开通业务的情况下，服务端根据请求信息中的需要下载的策略数据下载对应的策略数据，并将下载的策略数据保存至屏端设备中，更新屏端设备中的策略数据，以便后续中出现同样场景信息时，可以在屏端设备中，直接获取到对应的策略数据。
S304：若在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，则解析与下一时刻的场景信息匹配的策略数据，得到对应的执行数据；
S305：根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作。
其中，上述步骤S304至步骤S305与上述步骤S202至步骤S203的内容相同，可参考上述步骤S202至步骤S203的描述，在此不再赘述。
参见图4，是本发明一实施例提供的一种主动式人机交互方法的流程示意图，如图4，该主动式人机交互方法可以包括以下步骤：
S401：获取屏端设备接收下一时刻的交互信息，根据交互信息确定下一时刻的场景信息；
S402：若在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，则解析与下一时刻的场景信息匹配的策略数据，得到对应的执行数据；
其中，上述步骤S401至步骤S402与上述步骤S201至步骤S202的内容相同，可参考上述步骤S201至步骤S202的描述，在此不再赘述。
S403：根据在预设虚拟人物数据集中选取的虚拟装备，确定屏端设备对应的虚拟人物，关联虚拟人物与屏端设备。
本实施例中，虚拟人物可以根据用户预先获取到，用户可以在虚拟人物数据集中选取对应的虚拟人物，其中，虚拟人物数据集利用三维建模软件，设计3D人物模型，将设计好的3D人物模型以.fbx格式，导入到Unity3D游戏引擎中，转换为虚拟人物模型，使用Unity3D游戏引擎的动画控制模块，为虚拟人物模型添加提供运动动画播放功能的Animator Controller组件并添加C#动画控制脚本，使用Unity3D引擎的导航控制模块，为虚拟人物模型添加提供自动寻路功能的NavMeshAgent组件，得到设置好的虚拟人物模型添加C#寻路控制脚本，将设置好的虚拟人物模型存储到虚拟人物数据集中。根据在预设虚拟人物数据集中选取的虚拟装备，确定屏端设备对应的虚拟人物，关联虚拟人物与屏端设备。当进行主动式交互时，屏端设备根据预先关联的虚拟人物进行展示。
需要说明的是，Unity3D引擎编辑器里可以随意调整场景的灯光、地形、动画、材质、模型、音频、物理等参数。可以根据编写的C#或者Java Script脚本中的公有变量在可视化的面板中进行参数调整，运行之后就可以看到调整之后的运行效果。如果对编辑器有更多的个性化要求，也可以通过编写编辑器脚本来创建自定义的编辑器界面和功能，还可以使用第三方提供的插件来定制。
S404：根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作。
其中，上述步骤S404与上述步骤S203的内容相同，可参考上述步骤S203的描述，在此不再赘述。
请参阅图5，图5是本发明实施例提供的一种主动式人机交互装置的结构示意图。本实施例中该终端包括的各单元用于执行图2至图4对应的实施例中的各步骤。具体请参阅图2至图4以及图2至图4所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图5，交互装置50包括：获取模块51，执行数据确定模块52，展示与控制模块53。
获取模块51，用于获取屏端设备接收下一时刻的交互信息，根据交互信息确定下一时刻的场景信息；
执行数据确定模块52，用于若在预设的策略数据集中检测到与下一时刻的场景信息匹配的策略数据，则解析与下一时刻的场景信息匹配的策略数据，得到对应的执行数据；
展示与控制模块53，用于根据执行数据，在屏端设备中展示虚拟人物并控制虚拟人物动作。
可选的是，上述交互装置50还包括：
检测模块，用于将当前时刻的交互信息与下一时刻的交互信息进行比较，若比较结果为不一致，则对在屏端设备内存储的策略数据进行检测；
下载更新模块，用于若在预设的策略数据集中未检测到与下一时刻的场景信息匹配的策略数据，则从服务端下载更新的策略数据，使用更新的策略数据更新预设的策略数据集。
可选的是，上述下载更新模块包括：
用户信息获取单元，用于若在预设的策略数据集中未检测到与下一时刻的场景信息匹配的策略数据，根据述屏端设备的登录信息，获取屏端设备的用户信息；
发送请求单元，用于将带有用户信息的下载更新策略数据的请求信息，发送至服务端，在服务端下载更新用户信息对应的策略数据。
可选的是，上述交互装置50还包括：
虚拟人物关联模块，用于根据在预设虚拟人物数据集中选取的虚拟装备，确定屏端设备对应的虚拟人物，关联虚拟人物与屏端设备。
可选的是，上述获取模块51包括：
业务信息确定单元，永远忽根据屏端设备接收下一时刻的交互信息，确定屏端设备的业务信息。
下一时刻场景信息确定单元，用于根据屏端设备展示的业务信息的状态，确定下一时刻的场景信息。
可选的是，上述执行数据确定模块52包括：
预设策略集确定单元，用于获取屏端设备中缓存的所有策略数据，将所有策略数据组成预设的策略数据集。
解析单元，用于在预设的策略数据集中检测与下一时刻的场景信息匹配的策略数据，根据预设策略结构对匹配的策略数据进行解析，得到对应的执行数据。
可选的是，上述展示与控制模块53包括：
控制指令生成单元，用于根据执行数据生成控制虚拟人物的控制指令；
待执行动作确定单元，用于根据控制指令，在预设执行清单中确定与控制指令对应的动作集合，得到虚拟人物对应的待执行动作。
执行单元，用于根据虚拟人物对应的待执行动作，虚拟人物在屏端设备中执行对应的待执行动作。
需要说明的是，上述单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图6是本发明实施例提供的一种屏端设备的结构示意图。如图6所示，该实施例的屏端设备包括：至少一个处理器(图6中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个的主动式人机交互方法实施例中的步骤。
该屏端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图6仅仅是屏端设备的举例，并不构成对屏端设备的限定，屏端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是屏端设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是屏端设备的硬盘，在另一些实施例中也可以是屏端设备的外部存储设备，例如，屏端设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括屏端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本发明实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在屏端设备上运行时，使得屏端设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/屏端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/屏端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种主动式人机交互方法，其特征在于，所述主动式人机交互方法应用于屏端设备，所述主动式人机交互方法包括：
获取所述屏端设备接收下一时刻的交互信息，根据所述交互信息确定所述下一时刻的场景信息；
若在预设的策略数据集中检测到与所述下一时刻的场景信息匹配的策略数据，则解析与所述下一时刻的场景信息匹配的策略数据，得到对应的执行数据；
根据所述执行数据，在所述屏端设备中展示虚拟人物并控制所述虚拟人物动作。
2.如权利要求1所述的主动式人机交互方法，其特征在于，所述获取所述屏端设备接收下一时刻的交互信息之后，还包括：
将当前时刻的交互信息与所述下一时刻的交互信息进行比较，若比较结果为不一致，则对在所述屏端设备内存储的策略数据进行检测；
若在预设的策略数据集中未检测到与所述下一时刻的场景信息匹配的策略数据，则从服务端下载更新的策略数据，使用所述更新的策略数据更新所述预设的策略数据集。
3.如权利要求2所述的主动式人机交互方法，其特征在于，所述若在预设的策略数据集中未检测到与所述下一时刻的场景信息匹配的策略数据，则从服务端下载更新的策略数据，包括：
若在预设的策略数据集中未检测到与所述下一时刻的场景信息匹配的策略数据，根据所述述屏端设备的登录信息，获取所述屏端设备的用户信息；
将带有所述用户信息的下载更新策略数据的请求信息，发送至所述服务端，根据所述用户信息，在所述服务端下载更新所述用户信息对应的策略数据。
4.如权利要求1所述的主动式人机交互方法，其特征在于，所述获取所述屏端设备接收下一时刻的交互信息，根据所述交互信息确定所述下一时刻的场景信息，包括：
根据所述屏端设备接收下一时刻的交互信息，确定所述屏端设备的业务信息；
根据所述屏端设备展示的所述业务信息的状态，确定所述下一时刻的场景信息。
5.如权利要求1所述的主动式人机交互方法，其特征在于，所述若在预设的策略数据集中检测到与所述下一时刻的场景信息匹配的策略数据，包括：
获取所述屏端设备中缓存的所有策略数据，将所述所有策略数据组成预设的策略数据集；
根据所述述下一时刻的场景信息，确定所述场景信息对应的场景标识，基于所述场景标识，在所述预设的策略数据集中检测与所述场景标识匹配的策略数据。
6.如权利要求1所述的主动式人机交互方法，其特征在于，所述根据所述执行数据，在所述屏端设备中展示虚拟人物并控制所述虚拟人物动作之前，还包括：
根据在预设虚拟人物数据集中选取的虚拟装备，确定所述屏端设备对应的虚拟人物，关联所述虚拟人物与所述屏端设备。
7.如权利要求1所述的主动式人机交互方法，其特征在于，所述根据所述执行数据，在所述屏端设备中展示虚拟人物并控制所述虚拟人物动作，包括：
根据所述执行数据生成控制所述虚拟人物的控制指令；
根据所述控制指令，在预设执行清单中确定与所述控制指令对应的动作集合，得到所述虚拟人物对应的待执行动作；
根据所述虚拟人物对应的待执行动作，所述虚拟人物在所述屏端设备中执行对应的待执行动作。
8.一种主动式人机交互装置，其特征在于，所述主动式人机交互装置应用于屏端设备，所述主动式人机交互装置包括：
获取模块，用于获取所述屏端设备接收下一时刻的交互信息，根据所述交互信息确定所述下一时刻的场景信息；
执行数据确定模块，用于若在预设的策略数据集中检测到与所述下一时刻的场景信息匹配的策略数据，则解析与所述下一时刻的场景信息匹配的策略数据，得到对应的执行数据；
展示与控制模块，用于根据所述执行数据，在所述屏端设备中展示虚拟人物并控制所述虚拟人物动作。
9.一种屏端设备，其特征在于，所述屏端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的主动式人机交互方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的主动式人机交互方法。
CN202210921761.5A 2022-08-02 2022-08-02 一种主动式人机交互方法、装置、屏端设备及存储介质 Pending CN115437730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210921761.5A CN115437730A (zh) 2022-08-02 2022-08-02 一种主动式人机交互方法、装置、屏端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210921761.5A CN115437730A (zh) 2022-08-02 2022-08-02 一种主动式人机交互方法、装置、屏端设备及存储介质

Publications (1)

Publication Number Publication Date
CN115437730A true CN115437730A (zh) 2022-12-06

Family

ID=84241670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210921761.5A Pending CN115437730A (zh) 2022-08-02 2022-08-02 一种主动式人机交互方法、装置、屏端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115437730A (zh)

Similar Documents

Publication Publication Date Title
EP3382993A1 (en) Method, device and system for generating ar application and presenting ar instance
CN110780789B (zh) 游戏应用启动方法和装置、存储介质及电子装置
US20180213077A1 (en) Method and apparatus for controlling smart device, and computer storage medium
AU2021314277B2 (en) Interaction method and apparatus, and electronic device and computer-readable storage medium
CN113099298B (zh) 虚拟形象的改变方法、装置和终端设备
CN111966275B (zh) 程序试用方法、系统、装置、设备及介质
US20230306694A1 (en) Ranking list information display method and apparatus, and electronic device and storage medium
CN111367407B (zh) 智能眼镜交互方法、智能眼镜交互装置及智能眼镜
CN113630557B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN110909439A (zh) 一种基于ar的装配方法、装置及终端
CN113923515A (zh) 视频制作方法、装置、电子设备及存储介质
CN114296853A (zh) 动态桌面的控制方法及装置、存储介质、电子装置
WO2023227045A1 (zh) 显示对象的确定方法、装置、电子设备及存储介质
CN112306450A (zh) 信息处理方法、装置
CN115437730A (zh) 一种主动式人机交互方法、装置、屏端设备及存储介质
CN110955332A (zh) 人机交互方法、装置、移动终端与计算机可读存储介质
CN113655933B (zh) 文本标注方法及装置、存储介质及电子设备
CN116030185A (zh) 三维发丝生成方法和模型的训练方法
CN113282268B (zh) 音效配置方法和装置、存储介质及电子设备
CN115756165A (zh) 一种用于虚拟场景的交互方法、系统及介质
CN115687816A (zh) 资源处理方法及装置
CN115040866A (zh) 云游戏图像处理方法、装置、设备及计算机可读存储介质
CN112135152B (zh) 信息处理方法及装置
CN109542312B (zh) 信号处理方法、装置及应用其的触控设备
CN110460719B (zh) 一种语音通话方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination