CN116931731A - 基于显示设备的互动方法、装置和显示设备 - Google Patents

Abstract

本申请提供一种基于显示设备的互动方法、装置和显示设备。其中，基于显示设备的互动方法应用于显示设备，所述显示设备设置于车辆的乘员舱的乘客区域内，所述基于显示设备的互动方法包括：获取所述乘客区域内座椅周围用户输入的动作信息；解析所述动作信息，得到所述动作信息相应的行为动作；在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色。

Description

基于显示设备的互动方法、装置和显示设备

技术领域

本发明涉及信息交互技术领域，尤其涉及一种基于显示设备的互动方法、装置和显示设备。

背景技术

一般车辆的中控屏在前排，车辆乘员区域的其余排的乘员无法对前排的中控屏控制。比如对于后排乘员来说，后排乘员无法对前排的中控屏控制。这样，其余排的乘员很难与前排的中控屏进行互动。

发明内容

本申请提供一种基于显示设备的互动方法、装置和显示设备，实现其余排乘员与显示设备的互动，增加其余排乘员的娱乐性。

本申请提供一种基于显示设备的互动方法，应用于显示设备，所述显示设备设置于车辆的乘员舱的乘客区域内，所述基于显示设备的互动方法包括：

获取所述乘客区域内座椅周围用户输入的动作信息；

解析所述动作信息，得到所述动作信息相应的行为动作；

在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色。

进一步的，在所述解析所述动作信息，得到所述动作信息相应的行为动作之后，所述基于显示设备的互动方法还包括：

确定所述行为动作是否是动作库中预存的用于控制车载设备的控制动作；

在所述行为动作为是所述控制动作的情况下，确定与所述控制动作预先建立的车载设备对应的功能控制命令；

所述在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色，包括：

在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色，并且控制所述车载设备执行所述功能控制命令。

进一步的，所述动作信息包括面部表情信息及肢体信息；

所述解析所述动作信息，得到所述动作信息相应的行为动作，包括：

根据所述面部表情信息及肢体信息，基于动作信息与虚拟角色的身体部位动作的对应关系，获得所述虚拟角色相应的身体部位动作；

所述确定所述行为动作是否是动作库中预存的用于控制车载设备的控制动作，包括：

确定所述虚拟角色相应的身体部位动作是否为动作库中预存的所述控制动作。

进一步的，在所述解析所述动作信息，得到所述动作信息相应的行为动作之后，所述基于显示设备的互动方法还包括：

确定所述行为动作的用户特征；

所述在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色，包括：

确定所述用户特征是否被授权虚拟角色预置的账号；所述虚拟角色预置的账号与被授权使用的用户特征对应；所述虚拟角色预置的账号中包含所述虚拟角色的形象及状态；

在所述用户特征被授权虚拟角色预置的账号的情况下，在所述座椅周围就近的显示设备上，切换登录所述虚拟角色预置的账号以及以所述虚拟角色的形象及状态，显示所述用户特征对应的虚拟角色，并且所述虚拟角色执行所述行为动作。

进一步的，所述行为动作包括手势动作；

所述确定所述行为动作的用户特征，包括：

识别手势动作的手部特征信息；

所述确定所述用户特征是否被授权虚拟角色预置的账号，包括：

根据虚拟角色预置的账号与被授权使用的用户特征的对应关系，确定所述手部特征信息是否被授权虚拟角色预置的账号。

进一步的，在所述确定所述用户特征是否被授权虚拟角色预置的账号之后，所述基于显示设备的互动方法还包括：

在所述确定所述用户特征未被授权虚拟角色预置的账号的情况下，在所述座椅周围就近的显示设备上，显示用于需要建立与所述用户特征对应的虚拟角色的新账号的提示信息；

在获取到针对所述提示信息用户返回的用于建立新账户的注册信息的情况下，响应所述用于建立新账户的注册信息，在所述座椅周围就近的显示设备上，生成并登录所述新账号以及使用所述用户特征调整所述新账户预置的初始虚拟角色，显示与所述用户特征对应的虚拟角色，并且所述虚拟角色执行所述行为动作。

进一步的，所述获取所述乘客区域内座椅周围用户输入的动作信息，包括：

获取所述乘客区域内座椅周围数据采集系统采集的所述用户输入的动作信息；

所述在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色，包括：

根据采集到所述动作信息的数据采集系统的设置位置，依据所述数据采集系统的设置位置与所述座椅的位置预先设置的对应关系，确定用户所在座椅；

在用户所在座椅周围就近的手扶屏和/或用户所在座椅的前一排座椅靠背背面的显示屏上，显示用于响应所述行为动作的虚拟角色。

进一步的，所述数据采集系统包括摄像头和雷达，或者带有雷达的摄像头；所述动作信息包括手部动作信息；所述手部动作信息包括手部的空间位置变化、手部的形状和手部的形状变化；所述获取所述乘客区域内座椅周围数据采集系统采集的所述用户输入的动作信息，包括：

获取所述雷达采集的表示手部轮廓的多个点位；

获取所述摄像头采集的表示手部轮廓的图像信息；

所述解析所述动作信息，包括：

根据所述表示手部轮廓的多个点位，确定所述手部的空间位置变化；

根据所述表示手部轮廓的图像信息，确定所述手部的形状及所述手部的形状变化。

本申请的提供一种基于显示设备的互动装置，应用于显示设备，所述显示设备设置于车辆的乘员舱的乘客区域内，所述基于显示设备的互动装置，包括：

获取动作信息模块，用于获取所述乘客区域内座椅周围用户输入的动作信息；

解析处理模块，用于解析所述动作信息，得到所述动作信息相应的行为动作；

虚拟角色显示模块，用于在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色。

本申请的提供一种显示设备，包括如上述的基于显示设备的互动装置。

本申请的提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现如上任一项所述的方法。

在一些实施例中，本申请的基于显示设备的互动方法，获取乘客区域内座椅周围用户输入的动作信息；解析动作信息，得到动作信息相应的行为动作；在座椅周围就近的显示设备上，显示用于响应行为动作的虚拟角色。如此，在座椅周围就近的显示设备显示用于响应行为动作的虚拟角色。如此，通过获取并解析用户输入的动作信息，在显示设备显示用于响应行为动作的虚拟角色，可以实现乘客区域内座椅周围用户与显示设备的互动，提高乘员区域内座椅周围用户的娱乐性。

附图说明

图1所示为本申请实施例的基于显示设备的互动方法应用于车辆的结构示意图；

图2所示为本申请实施例的基于显示设备的互动方法的流程示意图；

图3所示为图2所示的基于显示设备的互动方法的一具体流程示意图；

图4所示为图2所示的基于显示设备的互动方法的另一具体流程示意图；

图5所示为本申请实施例的基于显示设备的互动装置的结构示意图；

图6所示为本申请实施例提供的电子设备的模块框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

一般车辆的中控屏在前排，车辆其余排的乘员无法对前排的中控屏控制。比如对于后排乘员来说，距离比较远，后排乘员无法对前排的中控屏控制，而且，前排座椅也遮挡后排乘员，也不方便后排乘员互动。这样其余排的乘员很难与前排的中控屏进行互动。

为了解决上述其余排的乘员很难与前排的中控屏进行互动的技术问题，本申请实施例提供一种基于显示设备的互动方法。获取乘客区域内座椅周围用户输入的动作信息；解析动作信息，得到动作信息相应的行为动作；在座椅周围就近的显示设备上，显示用于响应行为动作的虚拟角色。

在本申请实施例中，在座椅周围就近的显示设备显示用于响应行为动作的虚拟角色。如此，实现乘员区域内座椅周围用户使用座椅周围就近的显示设备，并且方便用户就近对显示设备的控制，实现其余排乘员与显示设备的互动，增加其余排乘员的娱乐性。同时，通过获取并解析用户输入的动作信息，在显示设备显示用于响应行为动作的虚拟角色，可以实现乘客区域内座椅周围用户与显示设备的互动，提高乘员区域内座椅周围用户的娱乐性和趣味性。

图1所示为本申请实施例的基于显示设备的互动方法应用于车辆的结构示意图。

如图1所示，基于显示设备的互动方法可以应用于车辆。该车辆可以为汽车。该车辆可以包括多排以上的座椅。比如，前排座椅和其余排座椅。前排座椅可以称为第一排座椅。其余排座椅可以包括第二排座椅、第三排座椅、第四排座椅等等，在此不再一一举例。具体的，该车辆可以包括2排的座椅，比如前排座椅和后排座椅。继续图1所示，该车辆10可以包括3排的座椅，比如前排座椅11、中排座椅12和后排座椅13等。在此不再一一举例。

上述车辆包括乘员舱以及设置于乘员舱内的中控屏及显示设备。车辆的乘员舱可以划分为驾驶区域21和乘客区域22，其中驾驶区域21包括副驾驶区域和主驾驶区域。乘客区域22为上述乘员舱中除驾驶区域以外前排座椅背面以后的区域。

图2所示为本申请实施例的基于显示设备的互动方法的流程示意图。

如图2所示，该基于显示设备的互动方法，包括如下步骤110至步骤130：

步骤110，获取乘客区域内座椅周围用户输入的动作信息。

在本步骤110中的乘客区域内座椅周围用于反映用户方便跟座椅所在排的显示设备就近互动的区域。比如，乘客区域内座椅周围包括当前座椅所在排的区域和/或前一排座椅靠背的区域。继续结合图1所示，上述显示设备设置于车辆的乘员舱的乘客区域22内。在一实施例中，上述显示设备可以设置于本排多个座椅之间。继续图1的示例二，该显示设备可以为手扶屏31。在另一些实施例中，上述显示设备可以设置于前一排座椅靠背的背面。示例一，该上述显示设备可以为前一排座椅靠背背面的显示屏(图中未示意)上。本申请上述显示设备的两个实施例也可以结合实现。如此，在本排座椅上的用户周围设置的显示设备，方便用户就近操作。

其中，可以通过摄像头采集用户的该动作信息。在一些实施例中，可以通过设置于前一排座椅顶部或本排座椅侧部的摄像头采集该动作信息，以使这些摄像头的视场均可以拍摄到本排的座椅上用户的动作信息。在另一实施例中，可以通过设置于前一排座椅顶部或本排座椅侧部的摄像头，均结合雷达，使用这两者采集用户的动作信息。

上述步骤110获取动作信息可以实现用户互动信息的输入，以便后续座椅周围就近的显示设备进行交互。

步骤120，解析动作信息，得到动作信息相应的行为动作。

上述动作信息用于反映用户输入的动作。该动作信息可以但不限于包括用户肢体动作和/或用户头部动作。

上述步骤120解析出行为动作，可以确定后续座椅周围就近的显示设备具体所互动显示的信息。

步骤130，在座椅周围就近的显示设备上，显示用于响应行为动作的虚拟角色。

虚拟角色可以包括卡通式的虚拟角色，一种是仿真人的虚拟角色。示例性的，比如一个三维的人物图像。这样三维的人物图像为呈现在显示设备的画面。

在本步骤130中用于响应行为动作的虚拟角色可以包括按照行为动，虚拟角色直接模仿行为动作；或者，按照行为动作与预定反应动作之间的对应关系，虚拟角色对该行为动作做出相应的预定反应动作。示例性的，行为动作比如为用于表示“谢谢”的抱拳动作，该行为动作做出相应的预定反应动作比如为用于表示“不用谢”的开心摆手的动作。

在本申请实施例中，显示用于响应行为动作的虚拟角色，用户可以和虚拟角色完成互动，提高娱乐性和趣味性。

相较于相关技术中的被动式的控制，比如中控屏输入目的地，按照目的地导航。比如，通过语音系统用户表达目的地，按照目的地导航。如此交互被动机械。本申请实施例中，显示用于响应行为动作的虚拟角色，可以实现行为动作的交互，交互方式更为主动灵活。

图3所示为图2所示的基于显示设备的互动方法的一具体流程示意图。

如图3所示，结合图2所示，在上述步骤120之后，基于显示设备的互动方法还包括如下步骤1211和步骤1212：

步骤1211，确定行为动作是否是动作库中预存的用于控制车载设备的控制动作。

动作库可以预先存储一些控制动作。这些控制动作用于反映不影响驾驶员驾驶且方便其余排座椅的用户操作的动作。这些控制动作可以但不限于包括手势动作和/或肢体动作，具体可以根据用户需求进行设置。在一些实施例中，针对每个用户，可以建立一个用户对应动作库，后续可以根据登录各个用户的账号，找到对应其设置的动作库。在另一些实施例中，针对所有用户建立一个动作库，只要满足此库里面的控制动作，均视为有效的动作，可以分别用于控制车载设备。

示例性的，控制动作可以但不限于包括氛围灯的控制动作、车窗的控制动作、车座调节的控制动作、空调调节的控制动作及音乐播放的控制动作等，在此不再一一举例。

继续结合图3和图2所示上述步骤1211的具体实现如下：

上述动作信息包括面部表情信息及肢体信息；其中，该肢体动作信息可以但不限于包括手势动作。上述步骤120包括根据面部表情信息及肢体信息，基于动作信息与虚拟角色的身体部位动作的对应关系，获得虚拟角色相应的身体部位动作。上述面部表情信息可以表示为面部五官动作。上述步骤1211包括确定虚拟角色相应的身体部位动作是否为动作库中预存的控制动作。

其中，上述身体部位动作可以与面部表情信息及肢体信息对应，比如，身体部位动作包括虚拟角色的面部动作和虚拟角色的肢体动作。如此面部的五官动作，虚拟角色可以实现不同的行为动作，使得交互更加丰富。

在本步骤1211中，通过识别出该控制动作具体是哪个动作，具体是否需要控制车载设备等，后续在需要控制车载设备的时候，以便确定出该控制动作的功能控制命令，从而实现对车载设备的控制。

步骤1212，在行为动作为是控制动作的情况下，确定与控制动作预先建立的车载设备对应的功能控制命令。

上述确定与控制动作预先建立的车载设备对应的功能控制命令，可以采用如下多种实现方式：

在第一实现方式中，直接从预先设置的控制动作与车载设备对应的功能控制命令对应的关系中，确定该控制动作控制对应的车载设备对应的功能控制命令，后续直接执行该功能控制命令。如此，用户可以输入一次控制动作，自动完成对车载设备的控制，从而提高控制效率，减少用户记忆控制动作的数量。

对应于上述控制动作的示例，比如氛围灯的控制动作包括氛围灯的开启关命令、关闭命令、颜色调整命令。通过控制动作可以直接确定该控制动作对应的开启命令，则执行氛围灯的开启命令。

在第二实现方式中，先从预先设置控制动作与车载设备对应的关系中，确定预先设置与控制动作对应的车载设备。然后，通过执行步骤110、步骤120、步骤1211及步骤1212重新进一步识别是控制动作的情况下，从预先设置的控制动作与车载设备对应的功能控制命令对应的关系中，确定该控制动作控制该车载设备对应的功能控制命令，后续执行该功能控制命令。

结合上述图2所示，上述步骤130进一步可以包括步骤1311，在座椅周围就近的显示设备上，显示用于响应行为动作的虚拟角色，并且控制车载设备执行功能控制命令。在本步骤1311中的功能控制命令可以用于实现对车载设备的控制。如此，控制车载设备执行功能控制命令，行为动作为既可以实现与虚拟角色的互动，又可以实现对车载设备的功能控制命令的选择，丰富了与虚拟角色的互动、且使得车辆的控制更加便捷和智能。

上述方法还包括在行为动作为不是控制动作的情况下，在座椅周围就近的显示设备上，显示用于响应行为动作的虚拟角色。如此，若不是控制动作，则在座椅周围就近的显示设备上显示。如是控制动作，则不仅可以在座椅周围就近的显示设备上显示，还可以实现车载设备的控制。

图4所示为图2所示的基于显示设备的互动方法的另一具体流程示意图。

如图4所示，结合图2所示，在上述步骤120之后，基于显示设备的互动方法还包括如下步骤1221：

步骤1221，确定行为动作的用户特征。

用户特征用于反映用户唯一性的特征。用户特征包括用户脸部特征，或者用户手部特征。

结合步骤110通过对当前用户的手部信息点打标记，一个区域一次识别标记的一个用户，然后获得用户输入的动作信息。后续，如果需要切换在显示设备上选择切换被授权虚拟角色预置的账号，一个被授权虚拟角色预置的账号对应一个虚拟人和一个动作行为的打包标记。这个标记用于确定当前用户的唯一性，比如是方框作为检测框。通过这个标记确定用户特征。

结合上述图2所示，上述步骤130进一步可以包括步骤1321及步骤1322：

步骤1321，确定用户特征是否被授权虚拟角色预置的账号；虚拟角色预置的账号与被授权使用的用户特征对应；虚拟角色预置的账号中包含虚拟角色的形象及状态。

被授权虚拟角色预置的账号可以包括用户名和密码，其与用户相关。本申请实施例可以在每个座椅的对应区域内设置一组数据采集系统。如此可以通过数据采集系统采集在对应区域内的用户的动作信息，并仅向对应区域内的投影设备输出与动作信息相应的行为动作。如此可以在每个对应区域内实现与虚拟角色的互动，便于实现与虚拟角色的互动。

其中，行为动作包括手势动作；上述步骤1221包括识别手势动作的手部特征信息；手部特征信息包括手部轮廓和手部掌纹。当然手部特征信息还包括手部手背，再此并不做限定。步骤1321包括根据虚拟角色预置的账号与被授权使用的用户特征的对应关系，确定与手部特征信息是否被授权虚拟角色预置的账号。如此，可以根据手部轮廓和手部掌纹确定用户的权限，确定权限的方式简单，易于实现。同时，通过被授权虚拟角色预置的账号设置权限，提高了车辆的安全性。

需要说明的是，在虚拟角色预置的账号与被授权使用的用户特征的对应关系中，存在行为动作的用户特征被授权虚拟角色预置的账号，则确定手部特征信息被授权虚拟角色预置的账号。在虚拟角色预置的账号与被授权使用的用户特征的对应关系中，不存在行为动作的用户特征被授权虚拟角色预置的账号，则确定手部特征信息未被授权虚拟角色预置的账号。

步骤1322，在用户特征被授权虚拟角色预置的账号的情况下，在座椅周围就近的显示设备上，切换登录虚拟角色预置的账号以及以虚拟角色的形象及状态，显示用户特征对应的虚拟角色，并且虚拟角色执行行为动作。

虚拟角色的形象及状态用于反映用户的个性化设置信息。其中，虚拟角色形象用于反映用户所需的用户外貌特征。其中，虚拟角色形象可以但不限于包括自定义对发型、眼睛、眉毛、耳朵、嘴巴、脸型及肤色。

虚拟角色的状态用于反映用户的情绪、大小、位置、朝向。如此可以通过显示设备控制虚拟角色的大小、位置和朝向。如此可以调整虚拟角色的大小、位置和朝向，以适应于用户不同的需求。

在本申请实施例中，可以通过该用户的被授权虚拟角色预置的账号，登录其预先设定的虚拟角色，进行使用，从而直接使用用户已经配置过的虚拟角色，不需要重新再配置虚拟角色，提高用户体验效果。

上述方法还包括采用如下方式，获得预先设置被授权虚拟角色预置的账号内的虚拟角色：①、生成用户的初始虚拟角色。②、获取用户对初始虚拟角色的个性化设置信息的虚拟形象。③、按照个性化设置信息，设置初始虚拟角色的形象及状态。

在一些实施例中，在上述步骤1321之后，基于显示设备的互动方法还包括：(1)、在确定用户特征未被授权虚拟角色预置的账号的情况下，在座椅周围就近的显示设备上，显示用于需要建立与用户特征对应的虚拟角色的新账号的提示信息。上述建立与用户特征对应的虚拟角色的新账号的提示信息是为了能够让用户及时发现自己是否注册。

(2)、在获取到针对提示信息用户返回的用于建立新账户的注册信息的情况下，响应用于建立新账户的注册信息，在座椅周围就近的显示设备上，生成并登录新账号以及使用用户特征调整新账户预置的初始虚拟角色，显示与用户特征对应的虚拟角色，并且虚拟角色执行行为动作。如此，可以使得新用户及时地使用虚拟角色，及时地定义其完成新用户与显示设备的互动。

其中，使用用户特征调整新账户预置的初始虚拟角色用于使用用户特征确定与用户特征对应的个性化设置信息，将个性化设置信息配置在新账户预置的初始虚拟角色上。

结合图2所示，在本申请实施例的显示设备可以但不限于包括手扶屏和/或车载座椅靠背后的显示屏。上述含有显示设备的后排扶手都是相对独立的区域，单个座位的扶手屏上一般可以使用一个虚拟人。上述步骤110进一步可以包括第1个步骤，上述步骤130进一步可以包括第2个步骤及第3个步骤。

第1个步骤，获取乘客区域内座椅周围数据采集系统采集的用户输入的动作信息。

在数据采集系统的一些实施例中，上述数据采集系统可以包括摄像头、或者，单独的摄像头和单独的雷达的组合，或者带有雷达的摄像头。动作信息包括手部动作信息；手部动作信息包括手部的空间位置变化、手部的形状和手部的形状变化。

其中，摄像头可以包括两个摄像头，利用每个摄像头两边加装的两个雷达。如此，通过两个摄像头捕捉手部的动作，利用摄像头带有的两个雷达，利用两个雷达的反射波对摄像头捕捉到的信息做校验。利用两个雷达的反射波对摄像头捕捉到的信息做校验进一步的比如，第1步，获取雷达和摄像头的数据。第2步，对雷达的反射波数据和摄像头的图像数据进行对齐，确保它们在时间和空间上是一致的。第3步，通过信号处理算法提取出反射波数据的特征，如距离、角度、强度等，以及使用计算机视觉算法提取摄像头的图像数据中的特征。第4步，将雷达和摄像头提取到的特征进行匹配。第5步，根据匹配结果，可以对雷达和摄像头的数据进行校验和决策。例如，比较雷达和摄像头测量到的用户的位置和动作信息是否一致，如果存在差异，则可能需要进行进一步的处理或纠正。

在数据采集系统的另一些实施例中，上述数据采集系统可以包括手势传感器，该手势传感器可以布置在后排座椅的前座椅靠背后背面后方。和/或，该手势传感器可以布置在后排座椅的上方。如此，手势传感器是利用摄像头通过软件的逻辑分析来捕捉动作，通过摄像头去获得手部关键的20个信息点位置的移动数据去分析手部的动作。其中，手部关键的20个信息点，每个关节位置为一个点，一共19个手掌最底部有1个点。传感器识别点分配座椅就近的显示设备。如果切换账号，重新识别用户，重新分配座椅就近的显示设备，显示信息。

第1个步骤进一步可以包括获取雷达采集的表示手部轮廓的多个点位；获取摄像头采集的表示手部轮廓的图像信息。上述步骤120解析动作信息进一步可以包括根据表示手部轮廓的多个点位，确定手部的空间位置变化；根据表示手部轮廓的图像信息，确定手部的形状及手部的形状变化。如此，雷达和摄像头结合，摄像头可以区分手部和遮挡物，雷达可以准确确定手部的位置，使得获取的用户的手部动作信息更加精确。

第2个步骤，根据采集到动作信息的数据采集系统的设置位置，依据数据采集系统的设置位置与座椅的位置预先设置的对应关系，确定用户所在的座椅。

在一些实施例中，数据采集系统的设置位置与座椅的位置预先设置的对应关系包括前一排座椅对应的车辆顶部设置的一个数据采集系统与本排座椅的位置的一对多的对应关系。如此，可以实现本排座椅位置共用一个数据采集系统，节约资源。可选的，公用的一个数据采集系统设置于前一排座椅对应的车辆顶部的中间，这样更有利于后面本排多个座椅的位置的数据采集。

在另一些实施例中，数据采集系统的设置位置与座椅的位置预先设置的对应关系包括前一排座椅对应的车辆顶部设置的多个数据采集系统，与本排多个座椅的位置一对一的对应关系。如此，可以直接确定出本排多个座椅的具体位置。

第3个步骤，在用户所在的座椅周围就近的手扶屏和/或用户所在座椅的前一排座椅靠背背面的显示屏上，显示用于响应行为动作的虚拟角色。如此，哪个数据采集系统采集到动作信息，该数据采集系统对应的座椅的位置是当前用户所坐的位置，然后控制在该座椅周围的显示设备上显示用于响应行为动作的虚拟角色。这样可以及时地确定就近显示行为动作的虚拟角色。

图5所示为本申请实施例的基于显示设备的互动装置的结构示意图。

如图5所示，该基于显示设备的互动装置应用于显示设备，显示设备设置于车辆的乘员舱的乘客区域内。该基于显示设备的互动装置可以但不限于包括如下模块：

获取动作信息模块41，用于获取乘客区域内座椅周围用户输入的动作信息；

解析处理模块42，用于解析动作信息，得到动作信息相应的行为动作；

虚拟角色显示模块43，用于在座椅周围就近的显示设备上，显示用于响应行为动作的虚拟角色。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，可以达到相同的技术效果，在此不再赘述。

在一些实施例中，该显示设备，包括如上述的基于显示设备的互动装置。如此直接通过显示设备的算力处理，减少车辆控制系统的算力负担。

图6所示为本申请实施例提供的电子设备的模块框图。

如图6所示，电子设备50包括一个或多个处理器51，用于实现如上所述的基于显示设备的互动方法。该电子设备50包括上述的显示设备，当然也是其他带有显示设备的其他设备。

在一些实施例中，电子设备50可以包括计算机可读存储介质59，计算机可读存储介质59可以存储有可被处理器51调用的程序，可以包括非易失性存储介质。在一些实施例中，电子设备50可以包括内存58和接口57。在一些实施例中，电子设备50还可以根据实际应用包括其他硬件。

本申请实施例的计算机可读存储介质59，其上存储有程序，该程序被处理器51执行时，用于实现如上描述的基于显示设备的互动方法。

本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质59(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质59包括永久性和非永久性、可移动和非可移动媒体，可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质59的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

需要说明的是，当元件被称为“固定于”、“设置于”、“固设于”或“安设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。进一步地，当一个元件被认为是“固定连接”另一个元件，二者可以是可拆卸连接方式的固定，也可以不可拆卸连接的固定，如套接、卡接、一体成型固定、焊接等，在传统技术中可以实现，在此不再累赘。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于显示设备的互动方法，其特征在于，应用于显示设备，所述显示设备设置于车辆的乘员舱的乘客区域内，所述基于显示设备的互动方法包括：

获取所述乘客区域内座椅周围用户输入的动作信息；

解析所述动作信息，得到所述动作信息相应的行为动作；

在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色。

2.如权利要求1所述的基于显示设备的互动方法，其特征在于，在所述解析所述动作信息，得到所述动作信息相应的行为动作之后，所述基于显示设备的互动方法还包括：

确定所述行为动作是否是动作库中预存的用于控制车载设备的控制动作；

在所述行为动作为是所述控制动作的情况下，确定与所述控制动作预先建立的车载设备对应的功能控制命令；

所述在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色，包括：

在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色，并且控制所述车载设备执行所述功能控制命令。

3.根据权利要求2所述的基于显示设备的互动方法，其特征在于，所述动作信息包括面部表情信息及肢体信息；

所述解析所述动作信息，得到所述动作信息相应的行为动作，包括：

根据所述面部表情信息及肢体信息，基于动作信息与虚拟角色的身体部位动作的对应关系，获得所述虚拟角色相应的身体部位动作；

所述确定所述行为动作是否是动作库中预存的用于控制车载设备的控制动作，包括：

确定所述虚拟角色相应的身体部位动作是否为动作库中预存的所述控制动作。

4.如权利要求1所述的基于显示设备的互动方法，其特征在于，在所述解析所述动作信息，得到所述动作信息相应的行为动作之后，所述基于显示设备的互动方法还包括：

确定所述行为动作的用户特征；

所述在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色，包括：

确定所述用户特征是否被授权虚拟角色预置的账号；所述虚拟角色预置的账号与被授权使用的用户特征对应；所述虚拟角色预置的账号中包含所述虚拟角色的形象及状态；

在所述用户特征被授权虚拟角色预置的账号的情况下，在所述座椅周围就近的显示设备上，切换登录所述虚拟角色预置的账号以及以所述虚拟角色的形象及状态，显示所述用户特征对应的虚拟角色，并且所述虚拟角色执行所述行为动作。

5.如权利要求4所述的基于显示设备的互动方法，其特征在于，所述行为动作包括手势动作；

所述确定所述行为动作的用户特征，包括：

识别手势动作的手部特征信息；

所述确定所述用户特征是否被授权虚拟角色预置的账号，包括：

根据虚拟角色预置的账号与被授权使用的用户特征的对应关系，确定所述手部特征信息是否被授权虚拟角色预置的账号。

6.如权利要求4所述的基于显示设备的互动方法，其特征在于，在所述确定所述用户特征是否被授权虚拟角色预置的账号之后，所述基于显示设备的互动方法还包括：

在所述确定所述用户特征未被授权虚拟角色预置的账号的情况下，在所述座椅周围就近的显示设备上，显示用于需要建立与所述用户特征对应的虚拟角色的新账号的提示信息；

在获取到针对所述提示信息用户返回的用于建立新账户的注册信息的情况下，响应所述用于建立新账户的注册信息，在所述座椅周围就近的显示设备上，生成并登录所述新账号以及使用所述用户特征调整所述新账户预置的初始虚拟角色，显示与所述用户特征对应的虚拟角色，并且所述虚拟角色执行所述行为动作。

7.如权利要求1至4任一项所述的基于显示设备的互动方法，其特征在于，所述获取所述乘客区域内座椅周围用户输入的动作信息，包括：

获取所述乘客区域内座椅周围数据采集系统采集的所述用户输入的动作信息；

所述在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色，包括：

根据采集到所述动作信息的数据采集系统的设置位置，依据所述数据采集系统的设置位置与所述座椅的位置预先设置的对应关系，确定用户所在座椅；

在用户所在座椅周围就近的手扶屏和/或用户所在座椅的前一排座椅靠背背面的显示屏上，显示用于响应所述行为动作的虚拟角色。

8.如权利要求7所述的基于显示设备的互动方法，其特征在于，所述数据采集系统包括摄像头和雷达，或者带有雷达的摄像头；所述动作信息包括手部动作信息；所述手部动作信息包括手部的空间位置变化、手部的形状和手部的形状变化；所述获取所述乘客区域内座椅周围数据采集系统采集的所述用户输入的动作信息，包括：

获取所述雷达采集的表示手部轮廓的多个点位；

获取所述摄像头采集的表示手部轮廓的图像信息；

所述解析所述动作信息，包括：

根据所述表示手部轮廓的多个点位，确定所述手部的空间位置变化；

根据所述表示手部轮廓的图像信息，确定所述手部的形状及所述手部的形状变化。

9.一种基于显示设备的互动装置，其特征在于，应用于显示设备，所述显示设备设置于车辆的乘员舱的乘客区域内，所述基于显示设备的互动装置，包括：

获取动作信息模块，用于获取所述乘客区域内座椅周围用户输入的动作信息；

解析处理模块，用于解析所述动作信息，得到所述动作信息相应的行为动作；

虚拟角色显示模块，用于在所述座椅周围就近的显示设备上，显示用于响应所述行为动作的虚拟角色。

10.一种显示设备，其特征在于，包括如权利要求9所述的基于显示设备的互动装置。