CN108536510B - 基于人机交互应用程序的实现方法和装置 - Google Patents

Abstract

本公开实施例提供了一种基于人机交互应用程序的实现方法和装置，该装置包括读取模块，对音视频文件中包含的多个数据进行读取；显示模块，用于根据多个数据中的人机交互场景数据进行加载与显示成像；其中，显示模块中的显示成像包括界面布局的生成过程，生成过程为通过预设系统提供的预设组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整与成像。

Description

基于人机交互应用程序的实现方法和装置

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种基于人机交互应用程序的实现方法和装置。

背景技术

人机交互技术应用非常广泛，可以说有计算机系统的地方就有人机交互。人机交互(Human-Computer Interaction,HCI)是研究人与计算机之间通过相互理解的交流与通信，在最大程度上为人们完成信息管理、服务、娱乐以及处理等功能，使计算机真正成为人们工作学习以及娱乐的一门技术科学。

人与人的交流可以通过语言、手势、眼神、动作等，人机交互的发展方向就是通过人的这些最自然习惯来实现人机交互。因此，语音识别技术、手势识别技术、人脸识别技术、视线跟踪技术、人体动作识别技术等成为当前人机交互技术的重要研究内容。人体动作识别技术就是通过人体骨骼关键点的获取与数据分析进行人机交互。但现有的人体动作识别技术在人机交互上的实现，对人体动作运动速度、变换的识别与处理的精度与速度不高，同时，人体动作在各种不同背景、环境下也大大的增加了识别的难度。降低了交互的易用性与体验性。

发明内容

本公开实施例提供了一种基于人机交互应用程序的实现方法和装置。

第一方面，本公开实施例提供了一种基于人机交互应用程序的实现方法，包括以下步骤：对音视频文件中包含的多个数据进行读取；根据所述多个数据中的人机交互场景数据进行加载与显示成像；其中，显示成像包括界面布局的生成过程，所述生成过程为通过预设系统提供的预设组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对所述显示界面布局进行调整与成像。

第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。

第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。

第四方面，本公开实施例提供了一种基于人机交互应用程序的实现装置，包括：读取模块，用于对音视频文件中包含的多个数据进行读取；显示模块，用于根据所述多个数据中的人机交互场景数据进行加载与显示成像；其中，所述显示模块中的显示成像包括界面布局的生成过程，所述生成过程为通过预设系统提供的预设组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对所述显示界面布局进行调整与成像。

要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：

图1为本公开实施例的终端设备的硬件结构示意图；

图2为本公开实施例一的基于人机交互应用程序的实现装置的结构示意图；

图3为图2所示的基于人机交互应用程序的实现装置的工作流程图；

图4为本公开实施例二的基于人机交互应用程序的实现装置的结构示意图；

图5为图4所示的基于人机交互应用程序的实现装置的工作流程图；

图6为本公开实施例四的基于人机交互应用程序的实现装置的结构示意图；

图7为图6所示的基于人机交互应用程序的实现装置的工作流程图；

图8为本公开实施例的基于人机交互应用程序的实现装置的硬件框图；

图9为本公开实施例的计算机可读存储介质的示意图。

具体实施方式

下面结合附图和实施例对本申请进行进一步的详细介绍。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/ 或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D 的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

如图1所示，终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、 PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

在本公开的一个实施例中，终端设备可以包括无线通信单元1、A/V(音频/视频)输入单元2、用户输入单元3、感测单元4、输出单元5、存储器6、接口单元7、控制器8和电源单元9等等。其中，A/V(音频/视频)输入单元2 包括但不限于，摄像头、前置摄像头，后置摄像头，各类音视频输入设备。本领域的技术人员应该理解，上述实施例列出的终端设备所包括的组件，不止上述所述的种类，可以包括更少或者更多的组件。本领域的技术人员应该理解，这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。

具体的，本公开实施例提供了一种基于人机交互应用程序的实现装置，包括：读取模块，显示模块。其中，读取模块，用于对音视频文件中包含的多个数据进行读取；显示模块，用于根据多个数据中的人机交互场景数据进行加载与显示成像；其中，显示模块中的显示成像包括界面布局的生成过程，生成过程为通过预设系统提供的预设组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整与成像。

需要说明的是，预设系统可以为Android系统；预设组件可以为 Fragment组件。即相应的，可以理解，对音视频文件中包含的多个数据进行读取；根据多个数据中的人机交互场景数据进行加载与显示成像；其中，对移动终端的显示成像包括界面布局的生成过程，生成过程为通过Android 系统提供的Fragment组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整与成像。本公开实施例达到了提升人机交互应用程序的易用性、灵活性与多选择性，同时，提高了该人机交互应用程序的互动性与体验性。

且由于接收用户处理请求后，启动遍历用户处理请求中包括的策略规则中的逻辑表规则，并依据每个逻辑表规则对用户处理请求中的原始电子表格文件中的人机交互场景数据进行处理。由此，提高了对人机交互应用程序数据处理的速度。

本公开实施例的显示模块使得显示过程大幅度优化了人机交互应用程序显示的美观与速度。

实施例一

如图2所示，本实施例的基于人机交互应用程序的实现装置10 包括：读取模块200和显示模块400。具体的，读取模块200用于对音视频文件中包含的多个数据进行读取；显示模块400用于根据多个数据中的人机交互场景数据进行加载与显示成像；其中，显示成像包括界面布局的生成过程，生成过程为通过预设系统提供的预设组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整与成像。

需要说明的是，预设系统可以为Android系统；预设组件可以为 Fragment组件。即相应的，可以理解，对音视频文件中包含的多个数据进行读取；根据多个数据中的人机交互场景数据进行加载与显示成像；其中，对移动终端的显示成像包括界面布局的生成过程，生成过程为通过Android 系统提供的Fragment组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整与成像。本公开实施例达到了提升人机交互应用程序的易用性、灵活性与多选择性，同时，提高了该人机交互应用程序的互动性与体验性。

在本公开的一个实施例中，读取模块200对音视频文件中包含的多个数据进行实时读取，以提高获取音视频文件的完整性。当出现音视频文件中的多个数据无法读取或者读取到的音视频文件出现丢包状态，在读取模块200 中加入了读取文件完整性判定机制。

具体的，对读取的音视频文件的数据完整性进行判定，当确定读取的音视频文件为完整的，即可进行后续操作；若读取的音视频文件为不完整，则进行重新读取操作。需要说明的是，当重新读取操作在预设时间段内执行无法完成时，则进入到中断操作。由此，保证了读取音视频文件的准确性与易用性。

在一个实施例中，读取模块200还用于读取本地移动终端中预存的音视频文件或从服务器读取预存的音视频文件。需要说明的是，当从本地移动终端内置的存储模块中读取音视频文件，能有效提高读取音视频的速度；当从云端服务器中的数据库中读取音视频文件，能有效扩大读取音视频的数据量。此外，读取模块对音视频文件的读取具有多选择性。

在一个实施例中，显示模块400用于根据多个数据中的人机交互场景数据进行加载与显示成像。具体的，显示模块400使得移动终端上同时显示第一层画面以及第二层画面。可以认为移动终端中的显示模块保护两层显示区块，在第一层画面的预设显示时间段中，根据第一层充电顺序、加载顺序、渲染顺序以及成像顺序完成该层显示区块的展示；在第二层画面的预设显示时间段中，根据第二层充电顺序、加载顺序、渲染顺序以及成像顺序完成该层显示区块的展示。

需要说明的是，本公开的基于人机交互应用程序的实现装置中的显示模块400中第一层画面以及第二层画面在预设显示时间段为相同显示时间段进行显示，从而达到第一层画面与第二层画面的充电、加载、渲染与显示同步的效果。此外，还包括：显示模块400中第一层画面以及第二层画面在预设显示时间段为不相同显示时间段进行显示时，第一层画面与第二层画面也可以进行分时间段进行显示，由此，达到了显示的多选择性与灵活性。当然，基于第一层画面以及第二层画面若在预设显示时间段为不相同显示时间段进行显示时，具体的显示顺序还可以通过在第一层画面的预设显示时间段内最后被充电、加载、渲染以及成像的显示区块，在第二层画面的预设显示时间段内会被调整为最先被充电，且该显示区块的其余显示区块，在第二层画面的预设显示时间段内被充电的顺位为在第一层画面的预设显示时间段内被充电的顺位向后增加一个顺位。由此，提高了第一层画面与第二层画面即便不同时显示的交替性与层次性。

此外，还需要说明的是，本公开的基于人机交互应用程序的实现装置中显示模块400的应用，还大幅度优化了人机交互应用程序显示的美观与速度。

如图3所示，本实施例的基于人机交互应用程序的实现装置的工作流程为：

步骤202：对音视频文件中包含的多个数据进行读取。

本实施例中，对音视频文件中包含的多个数据进行读取，包括：读取本地移动终端中预存的音视频文件或从服务器读取预存的音视频文件。当从本地移动终端内置的存储模块中读取音视频文件，能有效提高读取音视频的速度；当从云端服务器中的数据库中读取音视频文件，能有效扩大读取音视频的数据量。同时，该操作提高了读取音视频文件的多选择性。

步骤204，根据多个数据中的人机交互场景数据进行加载与显示成像。其中，显示成像包括界面布局的生成过程，生成过程为通过预设系统提供的预设组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整与成像。

需要说明的是，预设系统可以为Android系统；预设组件可以为 Fragment组件。即相应的，可以理解，对音视频文件中包含的多个数据进行读取；根据多个数据中的人机交互场景数据进行加载与显示成像；其中，对移动终端的显示成像包括界面布局的生成过程，生成过程为通过Android 系统提供的Fragment组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整与成像。

本实施例中，对人机交互场景数据进行同步加载，并在移动终端的应用程序界面对加载的人机交互场景数据进行成像。需要说明的是，随着人机交互场景数据的调取创建子线程，按照预设时间片交错运行子线程对多个数据的描述信息进行的路径读取，以及移动终端的应用程序主线程根据路径和多个数据中的数据类型分批对数据进行载入内存操作。具体的，子线程对多个数据的描述信息进行的路径读取的操作为在子线程中处理多个数据的描述信息，以得到多个数据中每一数据对应的路径，并按照数据类型将路径存入相应的路径集合；移动终端的应用程序主线程根据路径和多个数据中的数据类型分批对数据进行载入内存操作的具体过程为通过主线程分别根据与数据类型对应的路径集合按照帧为单位循环执行多个数据中单一数据的载入内存操作，直至多个数据中所有数据加载操作完成。

此外，将移动终端的加载界面的背景画面设置为非黑屏成像画面，根据预设时间移除非黑屏成像画面，以避免加载过程中出现显示成像黑屏的状态。其中，非黑屏成像画面的获取可以为多种方式，其一为：在检测到移动终端存储有新的成像画面时，解析成像画面获取第一帧成像画面数据，作为非黑屏成像画面；其二为获取待成像画面的历史记录，将历史记录中最后一帧成像画面作为非黑屏成像画面。

需要说明的是，根据预设时间移除非黑屏成像画面，可以根据具体算法获取移除加载画面和背景显示的成像画面的时机。其中，该时机，即延迟时间为在预设时间的上限值与持续时间两个数值之间选取的最大值。持续时间的计算为常规操作系数与第一算式的成绩。第一算式为解析待加载画面中第一帧播放画面所需的时间和渲染第一帧播放画面所需的时间的相加和求根号的数值。

在根据延迟时间移除加载画面和背景显示的成像画面，具体包括：在检测到处理器完成第一帧要播放的画面数据的渲染工作时发出消息通知后，等待延迟时间后再移除加载画面和背景显示的成像画面。

本公开实施例公开的基于人机交互应用程序的实现方法通过对音视频文件中包含的多个数据进行读取；根据多个数据中的人机交互场景数据进行加载与显示成像。上述方法达到了提升人机交互应用程序的易用性、灵活性与多选择性，同时，提高了该人机交互应用程序的互动性与体验性。

且由于接收用户处理请求后，启动遍历用户处理请求中包括的策略规则中的逻辑表规则，并依据每个逻辑表规则对用户处理请求中的原始电子表格文件中的人机交互场景数据进行处理。由此，提高了对人机交互应用程序数据处理的速度。

本公开实施例的显示过程大幅度优化了人机交互应用程序显示的美观与速度。

实施例二

如图4所示，本实施例的基于人机交互应用程序的实现装置与实施例一不同的是，还包括：判断模块100和布局生成模块500。具体的，本实施例的基于人机交互应用程序的实现装置包括：判断模块100、读取模块200、显示模块400和布局 生成模块500。

在本公开的一个实施例中，判断模块100用于判断是否满足应用程序的启动条件，如果满足，则启动并运行应用程序，其中，启动指令为语音指令、动态手势指令、按键信号输入指令。读取模块200对音视频文件中包含的多个数据进行实时读取，以提高获取音视频文件的完整性。当出现音视频文件中的多个数据无法读取或者读取到的音视频文件出现丢包状态，在读取模块 200中加入了读取文件完整性判定机制。显示模块400用于根据多个数据中的人机交互场景数据进行加载与显示成像。布局生成模块500用于对通过预设系统，例如Android系统提供的预设组件，例如Fragment组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整。

需要说明的是，对读取的音视频文件的数据完整性进行判定，当确定读取的音视频文件为完整的，即可进行后续操作；若读取的音视频文件为不完整，则进行重新读取操作。需要说明的是，当重新读取操作在预设时间段内执行无法完成时，则进入到中断操作。由此，保证了读取音视频文件的准确性与易用性。

此外，判断模块100的添加增强了使用者使用本公开的基于人机交互应用程序的实现装置的主动性、便捷性以及启动的多样性。布局生成模块5 00 的添加提高了人机交互应用程序显示的视觉性与体验性。

图5为图4所示的基于人机交互应用程序的实现装置的工作流程图。具体步骤如下：

步骤401，判断是否满足应用程序的启动条件，如果满足，则启动并运行应用程序。其中，启动指令为语音指令、动态手势指令、按键信号输入指令。

步骤402，对音视频文件中包含的多个数据进行读取。

本实施例中，对音视频文件中包含的多个数据进行读取，包括：读取本地移动终端中预存的音视频文件或从服务器读取预存的音视频文件。当从本地移动终端内置的存储模块中读取音视频文件，能有效提高读取音视频的速度；当从云端服务器中的数据库中读取音视频文件，能有效扩大读取音视频的数据量。同时，该操作提高了读取音视频文件中包含的多个数据的多选择性。

步骤403，根据多个数据中的人机交互场景数据进行加载与显示成像。

步骤404，对移动终端的显示界面布局的生成过程，生成过程为通过预设系统，例如Android系统提供的预设组件，例如Fragment组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整。

本实施例，在对音视频文件中包含的多个数据进行读取之前增加了应用程序启动判断过程，增强了使用者使用本公开的基于人机交互应用程序的实现装置的主动性、便捷性以及启动的多样性。此外，当根据多个数据中的人机交互场景数据进行加载与显示成像的过程之后，优选增加了对显示界面布局进行调整的操作，由此，提高了人机交互应用程序显示的视觉性与体验性。

实施例三

如图6所示，本实施例的基于人机交互应用程序的实现装置与实施例一不同的是，除了包括判断模块100和布局生成模块500之外，在显示模块400 中还包括：加载单元401、渲染单元402、成像单元403和接口调用单元404。

在本公开的一个实施例中，判断模块100用于判断是否满足应用程序的启动条件，如果满足，则启动并运行应用程序，其中，启动指令为语音指令、动态手势指令、按键信号输入指令。读取模块200对音视频文件中包含的多个数据进行实时读取，以提高获取音视频文件的完整性。当出现音视频文件中的多个数据无法读取或者读取到的音视频文件出现丢包状态，在读取模块 200中加入了读取文件完整性判定机制。显示模块400用于根据多个数据中的人机交互场景数据进行加载与显示成像。布局生成模块500用于对通过预设系统，例如Android系统提供的预设组件，例如Fragment组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整。

本公开的一个实施例中，显示模块400包括：加载单元401用于根据加载指令所指示的音视频文件中的画面内容在立体空间的姿态位置，对画面内容进行加载；渲染单元402用于根据加载指令所指示的音视频文件中的画面内容在立体空间的姿态位置，对画面内容进行渲染；成像单元403用于根据成像指令所指示的音视频文件中的画面内容在立体空间的姿态位置，对画面内容进行显示成像。

此外，显示模块400还包括：接口调用单元404，用于通过调用预设编程接口对画面内容进行加载、渲染与显示成像。

需要说明的是，对画面内容进行渲染可以为真实感图像渲染也可以为非真实感图像渲染。关于对画面内容进行真实感图像渲染，具体的，对于场景中的物体，要得到它的真实感图像，就要对它进行透视投影，并作隐藏面的消隐，然后计算可见面的光照明暗效果，得到场景的真实感图像显示。但是，仅仅对场景进行隐藏面消除所得到的图像真实感是不够的，如何处理物体表面的光照明暗效果，通过使用不同的色彩灰度，来增加图形图像的真实感，这也是场景图像真实感的主要来源。

计算机真实感图像是一种光栅图像，由像素构成。生成一幅真实感图像时，必须逐个像素地计算画面上相应内容表面区域的颜色。显然在计算可见景物表面区域的颜色时，不但要考虑光源对该区域入射光及光亮度和光谱组成，而且还要考虑该表面区域对光源的朝向，表面的材料和反射性质等。这种计算必须基于一定的光学物理模型，即光照明模型。基于场景几何和光照模型生成一幅真实感图像的过程称之为绘制。常用的真实感图像绘制算法包括扫描线算法，光线跟踪算法，光能辐射度方法等。此外，关于对画面内容进行非真实感图像渲染，具体的，在非真实感图像渲染中，需要对渲染内容和方式做出主动的选择。非真实感图像渲染经常由一个预设应用程序实现，这个预设应用程序以一幅图像或三维实体为输入，而输出特定多个属性的图像。

可以理解的是，对画面内容进行渲染与显示成像，包括：通过调用预设编程接口对画面内容进行渲染与显示成像。其中，预设编程接口可以为 opencv(Open SourceComputer Vision Library，开源计算机视觉库)接口。通过使用该接口，提高成像文件的兼容性与成像的高效性。

本实施例，在显示模块中包括的加载单元、渲染单元、成像单元和接口调用单元，大幅度优化了人机交互应用程序显示视觉性与时效性。

图7为图6所示的基于人机交互应用程序的实现装置的工作流程图。

步骤601，判断是否满足应用程序的启动条件，如果满足，则启动并运行应用程序。其中，启动指令为语音指令、动态手势指令、按键信号输入指令。

步骤602，对音视频文件中包含的多个数据进行读取。

本实施例中，对音视频文件中包含的多个数据进行读取，包括：读取本地移动终端中预存的音视频文件或从服务器读取预存的音视频文件。当音视频文件通过移动终端内置存储模块进行读取，可以有效地提高读取速率；当音视频文件通过云端服务器中的数据库进行读取，可以有效地提高可读取音视频文件数量，有助于支持大数据音视频文件的读取操作。该操作有效地提高了读取音视频文件的多选择性。

步骤603，接收用户处理请求，用户处理请求中包括一个原始电子表格文件和对应的策略规则，原始电子表格文件中包括人机交互场景数据，策略规则中包括逻辑表规则。

步骤604，通过遍历获取策略规则中的逻辑表规则，并依据每个逻辑表规则对原始电子表格文件中的人机交互场景数据进行处理。

步骤605，根据多个指令所指示的音视频文件中的画面内容在立体空间的姿态位置，对画面内容进行加载、渲染与显示成像，其中，多个指令包括加载指令、渲染指令以及成像指令。

需要说明的是，对画面内容进行渲染可以为真实感图像渲染也可以为非真实感图像渲染。关于对画面内容进行真实感图像渲染，具体的，对于场景中的物体，要得到它的真实感图像，就要对它进行透视投影，并作隐藏面的消隐，然后计算可见面的光照明暗效果，得到场景的真实感图像显示。但是，仅仅对场景进行隐藏面消除所得到的图像真实感是不够的，如何处理物体表面的光照明暗效果，通过使用不同的色彩灰度，来增加图形图像的真实感，这也是场景图像真实感的主要来源。

计算机真实感图像是一种光栅图像，由像素构成。生成一幅真实感图像时，必须逐个像素地计算画面上相应内容表面区域的颜色。显然在计算可见景物表面区域的颜色时，不但要考虑光源对该区域入射光及光亮度和光谱组成，而且还要考虑该表面区域对光源的朝向，表面的材料和反射性质等。这种计算必须基于一定的光学物理模型，即光照明模型。基于场景几何和光照模型生成一幅真实感图像的过程称之为绘制。常用的真实感图像绘制算法包括扫描线算法，光线跟踪算法，光能辐射度方法等。此外，关于对画面内容进行非真实感图像渲染，具体的，在非真实感图像渲染中，需要对渲染内容和方式做出主动的选择。非真实感图像渲染经常由一个预设应用程序实现，这个预设应用程序以一幅图像或三维实体为输入，而输出特定多个属性的图像。

步骤606，对移动终端的显示界面布局的生成过程，生成过程为通过预设系统，例如Android系统提供的预设组件，例如Fragment组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对显示界面布局进行调整。

本公开实施例公开的基于人机交互应用程序的实现方法通过对音视频文件中包含的多个数据进行读取；根据多个数据中的人机交互场景数据进行加载与显示成像。上述方法达到了提升人机交互应用程序的易用性、灵活性与多选择性，同时，提高了该人机交互应用程序的互动性与体验性。

且由于接收用户处理请求后，启动遍历用户处理请求中包括的策略规则中的逻辑表规则，并依据每个逻辑表规则对用户处理请求中的原始电子表格文件中的人机交互场景数据进行处理。由此，提高了对人机交互应用程序数据处理的速度。

本公开实施例的显示过程大幅度优化了人机交互应用程序显示的美观与速度。

图8是图示根据本公开的实施例的基于人机交互应用程序的实现装置的硬件框图。如图8所示，根据本公开实施例的基于人机交互应用程序的实现装置80包括存储器801和处理器802。基于人机交互应用程序的实现装置 80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

存储器801用于存储非暂时性计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制基于人机交互应用程序的实现装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器802用于运行存储器801中存储的计算机可读指令，使得基于人机交互应用程序的实现装置80执行上述基于人机交互应用程序的实现方法。基于人机交互应用程序的实现装置与上述基于人机交互应用程序的实现方法描述的实施例相同，在此将省略其重复描述。

图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图 9所示，根据本公开实施例的计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当所述非暂时性计算机可读指令901由处理器运行时，执行参照上述描述的根据本公开实施例的基于人机交互应用程序的实现方法。

以上，根据本公开实施例的基于人机交互应用程序的实现方法和装置，以及计算机可读存储介质。提升人机交互应用程序的易用性、灵活性与多选择性，同时，提高了该人机交互应用程序的互动性与体验性。且由于接收用户处理请求后，启动遍历用户处理请求中包括的策略规则中的逻辑表规则，并依据每个逻辑表规则对用户处理请求中的原始电子表格文件中的人机交互场景数据进行处理。由此，提高了对人机交互应用程序数据处理的速度。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种基于人机交互应用程序的实现方法，其特征在于，包括以下步骤：

对音视频文件中包含的多个数据进行读取；

根据所述多个数据中的人机交互场景数据进行加载与显示成像；

其中，所述根据所述多个数据中的人机交互场景数据进行加载包括：随着所述人机交互场景数据的调取创建子线程，按照预设时间片交错运行子线程对所述多个数据的描述信息进行的路径读取，以及本地终端的应用程序主线程根据路径和所述多个数据中的数据类型分批对数据进行载入内存操作；

其中，显示成像包括界面布局的生成过程，所述生成过程为通过预设系统提供的预设组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对所述显示界面布局进行调整与成像；

其中，显示成像还包括显示区块的展示过程，所述展示过程为在第一层画面的预设显示时间段中，根据第一层充电顺序、加载顺序、渲染顺序以及成像顺序完成该层显示区块的展示，在第二层画面的预设显示时间段中，根据第二层充电顺序、加载顺序、渲染顺序以及成像顺序完成该层显示区块的展示，所述第一层画面以及所述第二层画面在相同的预设显示时间段进行显示。

2.根据权利要求1所述的基于人机交互应用程序的实现方法，其特征在于，所述对音视频文件中包含的多个数据进行读取，包括：读取本地终端中预存的所述音视频文件或从服务器读取预存的所述音视频文件。

3.根据权利要求2所述的基于人机交互应用程序的实现方法，其特征在于，还包括：判断是否满足所述应用程序的启动条件，如果满足，则启动并运行所述应用程序，其中，启动指令为语音指令、动态手势指令、按键信号输入指令。

4.根据权利要求1所述的基于人机交互应用程序的实现方法，其特征在于，根据所述多个数据中的人机交互场景数据进行加载与显示成像，包括：接收用户处理请求，所述用户处理请求中包括一个原始电子表格文件和对应的策略规则，所述原始电子表格文件中包括所述人机交互场景数据，所述策略规则中包括逻辑表规则；

通过遍历获取所述策略规则中的逻辑表规则，并依据每个逻辑表规则对所述原始电子表格文件中的所述人机交互场景数据进行处理。

5.根据权利要求1所述的基于人机交互应用程序的实现方法，其特征在于，根据所述多个数据中的人机交互场景数据进行加载与显示成像，还包括：根据多个指令所指示的所述音视频文件中的画面内容在立体空间的姿态位置，对所述画面内容进行加载、渲染与显示成像，其中，所述多个指令包括加载指令、渲染指令以及成像指令。

6.根据权利要求5所述的基于人机交互应用程序的实现方法，其特征在于，还包括：通过调用预设编程接口对所述画面内容进行加载、渲染与显示成像。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-6中任一项所述方法的步骤。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-6中任一项所述方法的步骤。

9.一种基于人机交互应用程序的实现装置，其特征在于，包括：

读取模块，用于对音视频文件中包含的多个数据进行读取；

显示模块，用于根据所述多个数据中的人机交互场景数据进行加载与显示成像；

其中，显示模块用于随着所述人机交互场景数据的调取创建子线程，按照预设时间片交错运行子线程对所述多个数据的描述信息进行的路径读取，以及本地终端的应用程序主线程根据路径和所述多个数据中的数据类型分批对数据进行载入内存操作；

其中，所述显示模块中的显示成像包括界面布局的生成过程，所述生成过程为通过预设系统提供的预设组件动态地添加、移除和/或替换框架，在不同分辨率的屏幕上针对不同区域的显示界面布局生成相适配的布局文件，以对所述显示界面布局进行调整与成像；

所述显示模块还用于在第一层画面的预设显示时间段中，根据第一层充电顺序、加载顺序、渲染顺序以及成像顺序完成该层显示区块的展示，在第二层画面的预设显示时间段中，根据第二层充电顺序、加载顺序、渲染顺序以及成像顺序完成该层显示区块的展示，所述第一层画面以及所述第二层画面在相同的预设显示时间段进行显示。

10.根据权利要求9所述的基于人机交互应用程序的实现装置，其特征在于，所述读取模块，还用于读取本地终端中预存的所述音视频文件或从服务器读取预存的所述音视频文件。

11.根据权利要求10所述的基于人机交互应用程序的实现装置，其特征在于，所述装置还包括：判断模块，用于判断是否满足所述应用程序的启动条件，如果满足，则启动并运行所述应用程序，其中，启动指令为语音指令、动态手势指令、按键信号输入指令。

12.根据权利要求9所述的基于人机交互应用程序的实现装置，其特征在于，所述显示模块，包括：接收单元，用于接收用户处理请求，所述用户处理请求中包括一个原始电子表格文件和对应的策略规则，所述原始电子表格文件中包括所述人机交互场景数据，所述策略规则中包括逻辑表规则；

遍历处理单元，用于通过遍历获取所述策略规则中的逻辑表规则，并依据每个逻辑表规则对所述原始电子表格文件中的所述人机交互场景数据进行处理。

13.根据权利要求9所述的基于人机交互应用程序的实现装置，其特征在于，所述显示模块，还包括：加载单元，用于根据加载指令所指示的所述音视频文件中的画面内容在立体空间的姿态位置，对所述画面内容进行加载；

渲染单元，用于根据加载指令所指示的所述音视频文件中的画面内容在立体空间的姿态位置，对所述画面内容进行渲染；

成像单元，用于根据成像指令所指示的所述音视频文件中的画面内容在立体空间的姿态位置，对所述画面内容进行显示成像。

14.根据权利要求13所述的基于人机交互应用程序的实现装置，其特征在于，所述显示模块，还包括：接口调用单元，用于通过调用预设编程接口对所述画面内容进行加载、渲染与显示成像。