CN115129163A - 一种虚拟人行为交互系统 - Google Patents

Abstract

本发明涉及提供一种虚拟人行为交互系统；所述交互系统通过对作为虚拟人交互对象的目标对象进行信息采集，包括目标对象的人数，两个或以上目标对象的相互关系以及目标对象的预计停留时间，从而决定虚拟人的形象、行为，所述交互系统包括向虚拟人提供相关的展示内容以及基于该展示内容需要的行为表现；进一步的，包括获取多个目标对象在交互过程中的注意力水平，从而决定目标对象当中的主目标对象，并以所述主目标对象作为虚拟人交互的主要对象，并且根据主目标对象的注意力水平变化，决定虚拟人的进一步行为的具体表现以及后续的交互内容。

Description

一种虚拟人行为交互系统

技术领域

本发明涉及电子数字数据处理技术领域。具体而言，涉及一种虚拟人行为交互系统。

背景技术

随着虚拟人智能化以及图像实体化的技术发展，目前虚拟人展示使用的场景越加广泛；包括将虚拟人设置于多个特定的、具有固定范围的人类生活场景中进行销售内容推广、市场营锁、活动主持等领域，例如商场、电梯、银行，甚至是街道边的橱窗处；目前相关领域的演示实体，例如机器人等，能够实现以一定的程序化流程与人类进行有限的交互行为，然而基于机器人的外型难以改变，并且其交互流程较为公式化，表现生硬，使得整体的交互效果较差；而虚拟人的形象可以随时调整，而且由于使用了三维图形技术，其表现、动作可以配合展示交互内容作为灵活变化，因此使用虚拟人作为以上提及场景的交互主体，将具有良好的效果。

查阅相关已公开的技术方案，公开号为CN107340865A的技术方案提出一种多模态虚拟机器人交互方法，根据用户设定的故事以及性格属性的可以设定虚拟机器人的性格以及行为特点，从而实现更为近似于人类的表现效果；公开号为US10058773B2通过对用户在控制平台出实施的多个微动作进行捕捉，从而使系统内的虚拟人角色能够与用户保持一致的行为动作；公开号为JP2013167941A的技术方案提出一种动作指导系统，通过由一位演员作出的标准动作从而在一个虚拟人物上生成相对应的动作同，用于指导另一位演员的动作。以上技术方案均涉及了通过真实人类的动作从而生成虚拟角色的动作的相关技术，然而尚未提出一种能够支持虚拟人与人类产生真实互动的技术方案。

背景技术的前述论述仅意图便于理解本发明。此论述并不认可或承认提及的材料中的任一种公共常识的一部分。

发明内容

本发明的目的在于，提供一种虚拟人行为交互系统；所述交互系统通过对作为虚拟人交互对象的目标对象进行信息采集，包括目标对象的人数，两个或以上目标对象的相互关系以及目标对象的预计停留时间，从而决定虚拟人的形象、行为，所述交互系统包括向虚拟人提供相关的展示内容以及基于该展示内容需要的行为表现；进一步的，包括获取多个目标对象在交互过程中的注意力水平，从而决定目标对象当中的主目标对象，并以所述主目标对象作为虚拟人交互的主要对象，并且根据主目标对象的注意力水平变化，决定虚拟人的进一步行为的具体表现以及后续的交互内容。

本发明采用如下技术方案：

一种虚拟人行为交互系统，所述交互系统包括采集单元、分析单元、驱动单元；上述各单元通讯连接以进行数据传输；其中

所述采集单元，所述采集单元，用于采集与虚拟人进行交互的目标对象的信息，包括个体信息以及行为信息，并且包括采集用于指示目标对象的注意力水平的生物特征数据；

所述分析单元，用于处理所述采集单元所获取的目标对象信息，并输出分析结果；

所述驱动单元，根据所述分析单元对目标对象的分析结果，被配置为：

对虚拟人进行信息和参数设置；

向虚拟人提供交互逻辑和行为控制操作；

向虚拟人提供由虚拟人实施的，面向目标对象的展示内容；

提供其他不由虚拟人实施的，面向目标对象的展示内容；

控制以上展示内容的开始、切换以及停止的操作；

其中，所述分析单元包括生物特征分析模块，用于分析从所述采集单元获取到的目标对象的注意力水平的生物特征数据；所述分析单元还包括注意力分析模块；通过所述注意力分析模块对目标对象进行注意力水平分析，包括

根据生物特征数据确定目标对象的注意力水平；

将目标对象的注意力水平与注意力水平阈值进行比较；以及

确定目标对象的注意力水平是否与预设的注意力水平随时间的变化曲线具有预定关系；

可选地，对目标对象的分析结果还包括：

目标对象的预计停留时间；

目标对象的关注话题的领域；

可选地，对虚拟人进行信息设置，包括设定虚拟人的外貌特征、声音特征、年龄特征、性格特征、情绪特征；

可选地，对目标对象的个体信息进行采集，包括采集目标对象的人数、年龄；

可选地，所述交互系统还包括显示单元；所述显示单元用于向目标对象显示以下内容的一项或多项的组合：（1）虚拟人的形象以及行为；（2）目标对象的实际形象以及实时行为；（3）目标对象附加虚拟效果后的虚拟形象；（4）所述展示内容和/或所述交互内容中的非虚拟人演示部分；

可选地，所述分析单元包括根据目标对象的注意力水平，从多个目标对象划分出一个或一个以上的主目标对象，以及将所述主目标对象之外的其余目对标对象划分为次目标对象；

可选地，所述驱动单元包括在交互过程中根据展示内容的设置，以所述主目标对象为交互目标实施以下工作：

对虚拟人进行参数设置；

向虚拟人提供交互逻辑和行为控制操作；

向虚拟人提供由虚拟人实施的，面向所述主目标对象的展示内容；

提供其他不由虚拟人实施的，面向所述主目标对象的展示内容；

将虚拟形象附加到在所述显示单元显示的所述主目标对象的形象上；

控制以上展示内容的开始、切换以及停止的操作；

可选地，所述展示内容包括仅由虚拟人面向目标对象的单向的展示内容，以及虚拟人与目标对象产生交互的双向的互动内容；

优选地，包括一种虚拟人行为交互方法；所述交互方法运行于所述一种虚拟人行为交互系统上；所述交互方法包括：

S1：获取目标对象的信息，包括个体信息以及行为信息，并且包括采集用于指示目标对象的注意力水平的生物特征数据，获得第一分析结果；以所述第一分析结果，设置虚拟人的第一参数，并向虚拟人提供第一展示内容；

S2：随着第一展示内容的推进，获取多个目标对象的注意力水平，并确定其中至少一个主目标对象；

S3：以所述主目标对象为交互目标，重新设置虚拟人的参数为第二参数；并将第一展示内容更新为第二展示内容；

S4：持续获取所述主目标对象的注意力水平，根据所述主目标对象的注意力水平控制第二展示内容的推进进度；直到所述主目标对象的注意力水平低于注意力水平阈值后，停止第二展示内容的展示；

重复步骤S1到S4，用于在虚拟人与目标对象交互过程中，更新所述主目标对象以及与所述主目标对象相应的展示内容。

本发明所取得的有益效果是：

1. 本发明的交互系统基于交互目标对象的人数、预计停留时间以及兴趣领域等，初步确定虚拟人的各项参数以及展示内容；并且通过持续采集目标对象的注意力水平，动态调节虚拟人的各项参数以及展示内容，以增加的整体效果；

2. 本发明的交互系统持续通过采集目标对象的注意力水平，确定其中作为主要参考对象的主目标对象，并以主目标对象为交互目标，进一步调节虚拟人的各项参数以及展示内容，通过主目标对象的交互效果，引起群体效应；

3. 本发明的交互方法对比以往流程化的虚拟人交互方法增加了更多的交互响应调节效果，将虚拟人的拟人化交互效果进一步提高；

本发明的交互系统其硬件模块以及装置采用模块化设计和配合，后期可通过软件、硬件进行灵活优化和变更，节省了大量后期维护升级成本。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1为本发明所述交互方法的步骤示意图；

图2为本发明实施例中所述交互系统的示意图；

图3为本发明实施例中所述服务器的示意图；

图4为本发明实施例中所述采集单元的示意图；

图5为本发明实施例中虚拟人的形象参数的设置示意图。

附图图例说明：10-目标对象；20-虚拟人；100-交互系统；102-采集单元；103-服务器；104-显示单元；110-通信电路；120-处理器；122-I/O子系统；124-存储器；126-数据存储设备；131-图像传感器；132-生物特征传感器；134-麦克风；135-眼球追踪传感器。

具体实施方式

为了使得本发明的目的技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统.方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内.包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位.以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例一：

随着虚拟现实技术、图形技术以及人工智能技术的发展，各种虚拟人动画技术正在数字内容领域得到发展；加上第三产业经济的兴起，与消费相关的产业，例如商业直播、推广、购物咨询等领域需要大量的工作人员；而虚拟人作为一种可以长期运行，并且具有高度定制化、智能化的虚拟形象技术，目前在各类应用场景的使用将大量普及；而提高虚拟人面对用户时的交互效率，将可以明显促进人们对商品、服务的了解和体验感，以此提高商品、服务的销售；

故提出一种虚拟人行为交互系统，所述交互系统包括采集单元、分析单元、驱动单元；上述各单元通讯连接以进行数据传输；其中

所述采集单元，所述采集单元，用于采集与虚拟人进行交互的目标对象的信息，包括个体信息以及行为信息，并且包括采集用于指示目标对象的注意力水平的生物特征数据；

所述分析单元，用于处理所述采集单元所获取的目标对象信息，并输出分析结果；

所述驱动单元，根据所述分析单元对目标对象的分析结果，被配置为:

对虚拟人进行信息和参数设置；

向虚拟人提供交互逻辑和行为控制操作；

向虚拟人提供由虚拟人实施的，面向目标对象的展示内容；

提供其他不由虚拟人实施的，面向目标对象的展示内容；

控制以上展示内容的开始、切换以及停止的操作；

其中，所述分析单元包括生物特征分析模块，用于分析从所述采集单元获取到的目标对象的注意力水平的生物特征数据；所述分析单元还包括注意力分析模块；对目标对象的分析结果包括通过所述注意力分析模块对目标对象进行注意力水平分析而获得的结果；通过所述注意力分析模块对目标对象进行注意力水平分析，包括

根据生物特征数据确定目标对象的注意力水平；

将目标对象的注意力水平与注意力水平阈值进行比较；以及

确定目标对象的注意力水平是否与预设的注意力水平随时间的变化曲线具有预定关系；

可选地，对目标对象的分析结果还包括：

目标对象的预计停留时间；

目标对象的关注话题的领域；

可选地，对虚拟人进行信息设置，包括设定虚拟人的外貌特征、声音特征、年龄特征、性格特征、情绪特征；

可选地，对目标对象的个体信息进行采集，包括采集目标对象的人数、年龄；

可选地，所述交互系统还包括显示单元；所述显示单元用于向目标对象显示以下内容的一项或多项的组合：（1）虚拟人的形象以及行为；（2）目标对象的实际形象以及实时行为；（3）目标对象附加虚拟效果后的虚拟形象；（4）所述展示内容和/或所述交互内容中的非虚拟人演示部分；

可选地，所述分析单元包括根据目标对象的注意力水平，从多个目标对象划分出一个或以上的主目标对象，以及将所述主目标对象之外的其余目对标对象划分为次目标对象；

可选地，所述驱动单元包括在交互过程中根据展示内容的设置，以所述主目标对象为交互目标实施以下工作：

对虚拟人进行信息和参数设置；

向虚拟人提供交互逻辑和行为控制操作；

向虚拟人提供由虚拟人实施的，面向所述主目标对象的展示内容；

提供其他不由虚拟人实施的，面向所述主目标对象的展示内容；

将虚拟形象附加到在所述显示单元显示的所述主目标对象的形象上；

控制以上展示内容的开始、切换以及停止的操作；

可选地，所述展示内容包括仅由虚拟人面向目标对象的单向的展示内容，以及虚拟人与目标对象产生交互的双向的互动内容；

优选地，包括一种虚拟人行为交互方法；所述交互方法运行于所述一种虚拟人行为交互系统上；所述交互方法包括：

S1：获取目标对象的信息，包括个体信息以及行为信息，并且包括采集用于指示目标对象的注意力水平的生物特征数据，获得第一分析结果；以所述第一分析结果，设置虚拟人的第一参数，并向虚拟人提供第一展示内容；

S2：随着第一展示内容的推进，获取多个目标对象的注意力水平，并确定其中至少一个主目标对象；

S3：以所述主目标对象为交互目标，重新设置虚拟人的参数为第二参数；并将第一展示内容更新为第二展示内容；

S4：持续获取所述主目标对象的注意力水平，根据所述主目标对象的注意力水平控制第二展示内容的推进进度；直到所述主目标对象的注意力水平低于注意力水平阈值后，停止第二展示内容的展示；

重复步骤S1到S4，用于在虚拟人与目标对象交互过程中，更新所述主目标对象以及与所述主目标对象相应的展示内容；

如附图2所示为其中所述交互系统的一种实施方式；运行有虚拟人的交互系统100包括通过网络通信的所述采集单元102、服务器103以及所述显示单元104；其中服务器103包括所述处理单元以及所述驱动单元；

所述交互系统100使用虚拟人20演示相关展示内容；在虚拟人20演示相关展示内容时，所述交互系统100包括通过所述采集单元102采集目标对象10的个体信息以及行为信息，包括监测目标对象10的注意力水平；当目标对象的注意力水平超过注意力水平阈值时，执行对应的交互策略；更多的实施方式将在下面更详细进行陈述；

所公开的交互系统以及交互方法允许用户在虚拟人的展示现场或关注所显示的虚拟人时，与用户进行交互以及交互接触；相对地，当没有用户作为目标对象在虚拟人的展示现场时，所述交互系统可能停止显示相关展示内容，包括停止显示所述虚拟人，或者所述交互系统驱动虚拟人仅以一些默认的或者重复的展示内容进行行为展示；

所公开的交互方法可以提高人类与虚拟人在交互活动时，虚拟人的交互效率和交互的持续性；通过提高这些效果，相关的商业服务和产品可能得到更为高效的推广、销售或者反馈；

其中，服务器103可以体现为包括数据处理、分析并且输出分析结果功能的任何类型的计算机设备；在一些实施例中，服务器103可以体现为移动设备，例如智能手机、平板电脑、移动互联网设备(MID)、笔记本电脑、膝上型电脑、台式计算机或其他静止或基本静止的计算机设备；如附图3所示，说明性地描述服务器103包括处理器120、存储器124、I/O子系统122、通信电路110、数据存储设备126；当然，在其他实施例中，服务器103可以包括其他更多附加组件，例如在计算机中常见的那些各种输入、输出设备等；此外，在一些实施例中，一个或多个示例性组件可以结合到另一个组件中，或者以其他方式从另一个组件的一部分中结合；例如，在一些实施例中，存储器124或其部分可以并入处理器120中；

处理器120可以体现为当前已知的或将来开发的并且能够执行本文描述的功能的任何类型的处理器；例如，处理器120可以体现为单核或多核处理器、数字信号处理器、微控制器或其他处理器或处理/控制电路；类似地，存储器124可以体现为能够执行本文描述的功能的任何类型的易失性或非易失性存储器或数据存储；在操作中，存储器124可以存储在服务器103的操作期间使用的各种数据和软件，例如操作系统、应用程序、程序、库和驱动程序；存储器124通过I/O子系统122通信地耦合到处理器120，其可以体现为电路和/或组件以促进与处理器120、存储器124和服务器103的其他组件的输入/输出操作；例如，I/O子系统122可以体现为包括存储器控制器集线器、输入/输出控制集线器、固件设备、通信链路（例如点对点链路、总线链路、电线、电缆、光导、印刷电路板迹线等）和/或其他组件和子系统，以促进输入/输出操作；在一些实施例中，I/O子系统122可以形成片上系统（SoC）的一部分并且与处理器120、存储器124和视频设备的其他组件一起被并入在单个集成电路芯片；例如，I/O子系统122可以体现为或以其他方式包括存储器控制器集线器、输入/输出控制集线器、固件设备、通信链路（即，点对点链路、总线链路、电线、电缆、光导、印刷电路板迹线等）和/或其他组件和子系统，以促进输入/输出操作；

在一些实施方式中，I/O子系统122可以形成片上系统（SoC）的一部分并且与处理器120、存储器124和服务器103的其他组件一起被并入在单个集成电路芯片；例如，I/O子系统122可以体现为或以其他方式包括存储器控制器集线器、输入/输出控制集线器、固件设备、通信链路（例如点对点链路、总线链路、电线、电缆、光导、印刷电路板迹线等）和/或其他组件和子系统，以促进输入/输出操作；

服务器103的通信电路110可以体现为能够实现服务器103与所述采集单元102以及所述显示单元104和/或其他远程设备之间的通信的任何通信电路、设备或其集合； 通信电路110可以被配置为使用任何一种或多种通信技术（例如，无线或有线通信）和相关协议（例如以太网、蓝牙、Wi- Fi、WiMAX等）来实现这种通信；

进一步的，所述显示单元104可以体现为任何一个或多个显示器，信息可以在其上显示给与虚拟人进行交互的一个或多个目标对象；显示器可以体现为或以其他方式使用任何合适的显示器包括例如液晶显示器(LCD)、发光二极管(LED)显示器、投影显示器、等离子显示器和/或其他显示技术的技术；如图1所示，应当理解，所述显示单元104可以包括多个显示器或显示屏，在这些显示器或显示屏上可以同时或顺序地显示相同或不同的内容，包括重复地显示一个虚拟人，或者独立地显示多个虚拟人；

进一步的，数据存储设备 126 可以体现为任何类型的设备或配置用于短期或长期数据存储的设备，例如存储设备和电路、存储卡、硬盘驱动器、固态状态驱动器或其他数据存储设备；在一些实施例中，采集单元102可以将预设的所述交互系统的相关算法、程序，或者所述展示内容存储在数据存储设备126中；

通过以上各组件的配合工作，服务器103进行虚拟人形象以及行为的生成，并且具体地生成可被目标对象10观看到的图像；其中虚拟人的生成中，包括设置用于描述虚拟人形象的多个形象参数的步骤；虚拟人的形象可以从过去的真实人物、当前的真实人物和虚拟人物中作为参考，生成描述虚拟人的基本形状信息、三维图像信息和运动图像信息；并且这些形象参数作为数字信息被存储、运行在服务器103中；进一步的，虚拟人包括更多的参数用于指示虚拟人的行为特征信息、语言特征信息和反应特征信息；

其中，虚拟人的形象可以包括已经在诸如神话、宗教、文学和电影等文化内容中再现的虚拟角色，并且可以选择其他各种虚拟角色作为虚拟人；即，用于选择虚拟人的角色池可以包括过去的真人、现在的真人、通过神话、文学、电影等文化内容再现的虚拟角色，或者更多领域上的其他虚拟角色；

这里，根据本发明实施例的虚拟人形象参数设置允许从前述角色池中选择多个虚拟人20的形象，并且基于每个虚拟人形象进行多样化的具体参数的设置，使得虚拟人20的形象允许具有更广泛的效果；

优选地，根据本发明实施例的虚拟人参数设置步骤中，每个虚拟人的形象信息、三维图像信息、运动图像信息以及其他特征信息均可以基于年龄和情绪状态进行单独设置的；

其中，包括基于所述通过所述分析单元的对目标对象10的分析结果，决定更容易与目标对象10产生更好交互效果的形象；例如可以针对儿童、少年为目标对象的交互场景，设置虚拟人20的形象以低龄段的动画、漫画或者文学作品的角色；包括基于目标对象的年龄段为20岁、30岁、40岁、50岁或更细分的年龄组别，实施特定的虚拟人的形象参数的设置；

如附图5所示，虚拟人可以具有多种形象、身高、衣着等的设定参数，以尽可能配合展示内容，以及与目标对象产生良好交互；

进一步的，所述驱动单元包括可以针对特定的交互场影下，设置虚拟人20的情绪状态，其中在购物区设置虚拟人20的情绪为快乐情绪状态，在深夜时段设置虚拟人的情绪为平和的情绪状态；其他包括设置虚拟人20的情绪为中性的情绪状态、快乐情绪状态、悲伤情绪状态、疲倦情绪状态、痛苦情绪状态等；

此外，所述驱动单元包括根据目标对象10在交互过程中的语言特片的分析结果，设置虚拟人信息的性格特征，例如直率性格、内向性格、慵懒性格等；进一步包括根据目标对象10的肤色特征、国籍特征等等特征，设置具有不同特征的虚拟人的形象；

进一步的，为获取目标对象的有关信息，需要利用所述采集单元102对目标对象10的多项信息进行采集；在一些实施方式中如附图4所示，所述采集单元102包括一个或多个图像传感器131以及一个或多个生物特征传感器132；所述生物特征传感器132可以体现为能够提供指示目标对象注意力水平的生物测定数据的任何传感器；

其中，图像传感器131可以体现为数码相机或集成的其他数字成像设备；例如图像传感器131可以包括IR光组件、三维相机和RGB相机，其可以用于捕捉场景的深度图像；在一些实施方式中，使用时差法分析中，图像传感器131的IR光组件可以将红外光发射到场景上，然后可以使用传感器（未示出）来检测来自一个或多个表面的反向散射光使用例如三维相机和/或RGB相机在场景中的目标和对象；在一些实施例中，可以使用脉冲红外光，从而可以测量出射光脉冲和对应的入射光脉冲之间的时间，并用于确定从图像传感器131到场景中目标或物体上的特定位置的物理距离；此外，在其他示例实施例中，可以将出射光波的相位与入射光波的相位进行比较以确定相移；然后可以使用相移来确定从图像传感器131到目标或物体上的特定位置的物理距离；

在一些实施方式上，图像传感器131可以使用结构光来捕捉深度信息；结构光的实现原理为，将具有一定图案样式的光（例如网格图案或条纹图案）通过IR光组件投射到目标对象10上；随着目标对象10表现各种动作或运动，具有图案样式会随之变形；图案样式的这种变形可以由例如三维相机和/或RGB相机采集，然后可以被分析以确定从图像传感器131到目标对象10的特定部位的物理距离；

基于以上设置，可以采集获得目标对象10的以下多项信息：

当前位于虚拟人展示场景的目标对象的人数；

每个目标对象的外部形象、表情和动作；

进一步的，包括根据当前虚拟人的展示场景，计算目标对象可能停留的时间；

例如，当虚拟人的展示场景为电梯等候位置时，可以根据目标对象所选择的楼层号码以及当前电梯的运作位置，计算目标对象可能停留在电梯等候位置的时间；当虚拟人的展示场景为车站的候车厅时，可以根据乘客的车次和当前时间，计算乘客可能逗留的时间；

通过分析以上基于目标对象以及展示场景的信息，所述驱动单元可以准备适合的展示内容作为第一展示内容；适合的展示内容包括考虑以下因素：内容时长、内容主题、互动间隔；并且虚拟人的参数亦需要与展示内容作出配合；

例如，当目标对象为一家三口时，虚拟人的形象适合为卡动人物形象，并且展示内容为亲子内容、教育内容、旅游内容等；当目标对象为一对情侣时，则虚拟人形象可以为成年人，并且展示内容可以为两性话题、爱情话题或者休闲话题等；

进一步的，包括在展示第一展示内容时，与目标对象产生若干活动，提供一项或多项选择性的问题以了解目标对象的兴趣话题的领域；或者，第一展示内容中进行不同领域内容的轮播或者同时展示，通过采集目标对象的注意力情况表现，分析目标对象的兴趣话题的领域。

实施例二：

本实施例应当理解为至少包含前述任意一个实施例的全部特征，并在其基础上进一步改进；

在与虚拟人以及其展示内容的交互过程中，目标对象包括通过使用肢体动作、手指动作进行意义表达，以回应虚拟人及其展示内容中的交互部分；另外亦包括通过触摸屏幕、语音或者通过与所述交互系统通信连接的电子控制器与虚拟人及其展示内容进行互动；而在交互的过程中，目标对象的注意力水平可以作为该交互过程的有效性的重要参考指标；

为采集目标对象的注意力水平，所述生物特征传感器132具有更多的功能性部件，用于优化该方面的使用需要；如附图4所示，

生物特征传感器132可以包括麦克风134和/或眼球追踪传感器135；麦克风134可以体现为能够捕获音频信号的任何传感器；眼球追踪传感器135可以体现为能够确定观看所述显示单元104的目标对象的眼睛聚焦的区域的任何一个或多个传感器；例如，在一些实施例中，眼球追踪传感器135可以使用有源红外发射器和红外检测器来随时间追踪目标对象的眼动；眼球追踪传感器135可以捕捉从目标对象眼睛的各种内部和外部特征反射的红外光，从而计算目标对象注视的方向；在一些实施例中，眼球追踪传感器135可以捕捉与目标对象的眼睛有关的附加信息，例如瞳孔扩张或眨眼；应当理解，在其他实施例中，生物特征传感器132以包括附加的或其他的测定生物特征的传感器，例如脑电图传感器、脉搏传感器或其他生命体征传感器；

其中，所述生物特征数据分析模块可以对源自不同生物特征传感器的生物特征数据执行不同的分析；例如，给定来自麦克风134的音频数据，所述生物特征数据分析模块可以执行语音识别分析以确定目标对象说出的单词的内容；所述生物特征数据分析模块还可以分析音频数据以确定目标对象语音的音高、音色或其他音频特性；所述生物特征数据分析模块可以进一步分析目标对象语音的音频特征以确定目标对象的相关情绪状态；

在另一个实施方式中，给定来自眼球追踪传感器135的眼动追踪数据，生物特征数据分析模块可以确定目标对象眼睛的运动、目标对象瞳孔的扩张或眨眼次数；生物特征数据分析模块可以进一步分析眼睛跟踪数据以确定目标对象的情绪状态；

进一步的，所述注意力分析模块使用由所述生物特征数据分析模块产生的目标对象的生物特征数据来确定目标对象的注意力水平；所述注意力分析模块可以通过考虑多种类型的生物特征数据来确定目标对象注意力水平，并且每种类型的生物特征数据可能以不同的方式影响目标对象的注意力水平；目标对象注意力水平可以表示为二进制值（例如，注意或不注意）、来自一组注意力水平（例如，高、中和低注意力水平）的值，或目标对象注意力的数字表示；例如，注意力分析模块可以基于指示目标对象长时间不间断地观看视频内容的眼睛跟踪数据、基于表示感兴趣的用户的面部表情或基于语音来确定注意力识别数据，从而表明目标对象具有相对高水平的注意力水平；

相反，注意力分析模块可以基于指示目标对象没有观看视频内容的眼睛跟踪数据、指示目标对象表现出无聊的面部表情或指示目标对象没有观看显示器的面部识别数据来确定相对低水平的关注度；

在一些实施例中，可以通过组合各种类型的生物特征数据来确定目标对象的注意力水平；基于表示感兴趣的用户的面部表情的持续时长，或基于指示目标对象正在谈论视频内容的语音识别数据的持续时长；相反，所述注意力分析模块可以基于指示目标对象没有观看视频内容的眼睛跟踪数据、指示无聊的用户的面部表情或指示目标对象没有观看的面部识别数据来确定相对目标对象对虚拟人以及相关展示内容低水平的关注度；

进一步的，所述注意力确定模块包括确定目标对象的注意力水平是否超过注意力水平阈值或以其他方式与注意力水平阈值具有某种预定关系；注意力水平阈值可以设置为展示内容的所需的任何数值水平；在一些实施例中，阈值可以设置得相对较低；例如，如果目标对象只是出现在显示单元104处，则可以超过阈值；在其他实施例中，可以将阈值设置得相对较高；例如，仅当目标对象正在观看显示单元104并且指示目标对象情绪状态的生物特征数据显示目标对象对虚拟人或者展示内容感兴趣时，才可能超过阈值；

当目标对象的注意力水平超过注意力水平阈值，则可以说明虚拟人与目标对象交互对于目标对象产生良好的反馈，目标对象正在关注于与虚拟人的交互过程；而相对的，当目标对象的注意力水平没有达到注意力水平阈值时，则说明虚拟人与目标对象的交互过程效果没有达到预期，所述驱动单元需要对虚拟人相关参数以及展示内容作出适当调整。

实施例三：

本实施例应当理解为至少包含前述任意一个实施例的全部特征，并在其基础上进一步改进；

在一些实施情况中，虚拟人的运行场景中包括有多个目标对象正在观看虚拟人以及其展示内容；然而根据现实情况，在同一时间无法同时与多个目标对象产生足够高效的交互过程；这种情况包括由于各个目标对象的实际交互兴趣不同，部分目标对象仅作出消极的交互动作，或者各个目标对象的价值感或者兴趣话题不同，导致交互的回应具有较大的差异性；

基于以上原因，所述交互系统包括采用一种交互方法，用于确定主要进行交互的主目标对象，并一定程度上忽略除所述主目标对象以外的其他目标对象，并由此提高与所述主目标对象的交互效果；

所述交互方法包括以下步骤：

S1：获取目标对象的信息，包括个体信息以及行为信息，并且包括采集用于指示目标对象的注意力水平的生物特征数据，获得第一分析结果；以所述第一分析结果，设置虚拟人的第一参数，并向虚拟人提供第一展示内容；

S2：随着第一展示内容的推进，获取多个目标对象的注意力水平，并确定其中至少一个主目标对象；

S3：以所述主目标对象为交互目标，重新设置虚拟人的参数为第二参数；并将第一展示内容更新为第二展示内容；

S4：持续获取所述主目标对象的注意力水平，根据所述主目标对象的注意力水平控制第二展示内容的推进进度；直到所述主目标对象的注意力水平低于注意力水平阈值后，停止第二展示内容的展示；

在一些实施方式中，步骤S1是当目标对象与虚拟人的交互过程刚发生时，所述交互系统并未获得一个或多个目标对象的交互中的注意力水平，而仅以目标对象的人数、外形或其他表面特征进行虚拟人的初始化设置，并采用大概率适用于当前目标对象的基准用于确定适合的虚拟人参数以及确定展示内容；

例如目标对象为多位青少年男性，则可以设置虚拟人的形象为运动员，展示内容的主题为体育运动；而当目标对象为多位青少年女性时，则可以设置虚拟人的形象为青年女性，配合美妆类内容；

在步骤S2中，在展示第一展示内容的同时，持续获取多个目标对象的注意力水平以及注意力水平的差异；在该步骤中，包括根据展示内容的设定，从多个目标对象中，选出n个所述主目标对象，优选地n的取值可以为1、2，最多不超过3；

而在一些实施方式中，确定一个注意力水平最高的所述主目标对象后，通过以下公式计算其余的每个目标对象的主属性值p，从而确定多个目标对象中最有可能成为额外一个或以上的所述主目标对象的人：

，式1；

其中，Δd为该目标对象与选定的一个所述主目标对象的空间距离；Δf为该目标对象与选定的一个所述主目标对象的注意力水平差异；Δa为该目标对象与当前展示的所述第一展示内容的匹配度；k₁、k₂、k₃为计算权重值，由相关技术人员进行设定；

其中，Δa的计算方式为：

，式2；

上式中，设定所述第一展示内容中预设了k个目标对象的特征条件，例如目标对象的年龄、身高、面部特征、肥胖程度等特征条件，其中E_i为特征条件i的参考值，e_i为通过所述采集单元获取到的目标对象关于特征条件i的实测值；通过式2,计算一个目标对象与所述第一展示内容的预设特征条件的匹配程度，从而找出与所述第一展示内容以及下一步骤中的展示内容更为适合的目标对象；

通过上述计算，主属性值p越小的目标对象，越倾向于与选定的一个所述主目标对象的交互属性相近，因此可以作为额外的主目标对象；

在步骤S3中，根据确定好的一个或以上的所述主目标对象，进一步更新虚拟人的参数以及展示内容；将目标对象的范围缩小后，能够更为准确地找到与一个或以上所述主目标对象适合的展示内容，因此将取得更为有效的交互效果；

步骤S4中，基于注意力水平将不可避免地出现递减效应，因此，可以在所述主目标对象的注意力水平低于注意力水平阈值时，将可以适当地转换、暂停所述第二展示内容，从而可以选择其他新的目标对象进行下一个交互过程的循环。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种虚拟人行为交互系统，其特征在于，所述交互系统包括采集单元、分析单元、驱动单元；上述各单元通讯连接以进行数据传输；其中

所述采集单元，用于采集与虚拟人进行交互的目标对象的信息，包括个体信息以及行为信息，并且包括采集用于指示目标对象的注意力水平的生物特征数据；

所述分析单元，用于处理所述采集单元所获取的目标对象信息，并输出分析结果；

所述驱动单元，根据所述分析单元对目标对象的分析结果，被配置为:

对虚拟人进行参数设置；

向虚拟人提供交互逻辑和行为控制操作；

向虚拟人提供由虚拟人实施的，面向目标对象的展示内容；

提供其他不由虚拟人实施的，面向目标对象的展示内容；

控制以上展示内容的开始、切换以及停止的操作；

其中，所述分析单元包括生物特征分析模块，用于分析从所述采集单元获取到的目标对象的注意力水平的生物特征数据；所述分析单元还包括注意力分析模块；通过所述注意力分析模块对目标对象进行注意力水平分析，包括

根据生物特征数据确定目标对象的注意力水平；

将目标对象的注意力水平与注意力水平阈值进行比较；以及

确定目标对象的注意力水平是否与预设的注意力水平随时间的变化曲线具有预定关系。

2.如权利要求1所述一种虚拟人行为交互系统，其特征在于，对目标对象的分析结果还包括：

目标对象的预计停留时间；

目标对象的关注话题的领域。

3.如权利要求2所述一种虚拟人行为交互系统，其特征在于，对虚拟人进行参数设置，包括设定虚拟人的外貌特征、声音特征、年龄特征、性格特征、情绪特征。

4.如权利要求3所述一种虚拟人行为交互系统，其特征在于，对目标对象的个体信息进行采集，包括采集目标对象的人数、年龄。

5.如权利要求4所述一种虚拟人行为交互系统，其特征在于，所述交互系统还包括显示单元；所述显示单元用于向目标对象显示以下内容的一项或多项的组合：（1）虚拟人的形象以及行为；（2）目标对象的实际形象以及实时行为；（3）目标对象附加虚拟效果后的形象；（4）展示内容和/或交互内容中的非虚拟人演示部分。

6.如权利要求5所述一种虚拟人行为交互系统，其特征在于，所述分析单元包括根据目标对象的注意力水平，从多个目标对象划分出一个或一个以上的主目标对象，以及将所述主目标对象之外的其余目标对象划分为次目标对象。

7.如权利要求6所述一种虚拟人行为交互系统，其特征在于，所述驱动单元包括在交互过程中根据展示内容的设置，以所述主目标对象为交互目标实施以下工作：

对虚拟人进行参数设置；

向虚拟人提供交互逻辑和行为控制操作；

向虚拟人提供由虚拟人实施的，面向所述主目标对象的展示内容；

提供其他不由虚拟人实施的，面向所述主目标对象的展示内容；

将虚拟形象附加到在所述显示单元显示的所述主目标对象的形象上；

控制以上展示内容的开始、切换以及停止的操作。

8.如权利要求7所述一种虚拟人行为交互系统，其特征在于，所述展示内容包括仅由虚拟人面向目标对象的单向的展示内容，以及虚拟人与目标对象产生交互的双向的互动内容。

9.一种虚拟人行为交互方法，其应用于如权利要求1-8之一所述的一种虚拟人行为交互系统，其特征在于，所述交互方法包括：

S1：获取目标对象的信息，包括个体信息以及行为信息，并且包括采集用于指示目标对象的注意力水平的生物特征数据，获得第一分析结果；以所述第一分析结果，设置虚拟人的第一参数，并向虚拟人提供第一展示内容；

S2：随着第一展示内容的推进，获取多个目标对象的注意力水平，并确定其中至少一个主目标对象；

S3：以所述主目标对象为交互目标，重新设置虚拟人的参数为第二参数；并将第一展示内容更新为第二展示内容；

S4：持续获取所述主目标对象的注意力水平，根据所述主目标对象的注意力水平控制第二展示内容的推进进度；直到所述主目标对象的注意力水平低于注意力水平阈值后，停止第二展示内容的展示；

重复步骤S1到S4，用于在虚拟人与目标对象交互过程中，更新所述主目标对象以及与所述主目标对象相应的展示内容。

Images