CN117170604A - 车载终端的同步方法及系统 - Google Patents
车载终端的同步方法及系统 Download PDFInfo
- Publication number
- CN117170604A CN117170604A CN202311033321.7A CN202311033321A CN117170604A CN 117170604 A CN117170604 A CN 117170604A CN 202311033321 A CN202311033321 A CN 202311033321A CN 117170604 A CN117170604 A CN 117170604A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- terminal
- data
- mounted display
- sequence data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000009471 action Effects 0.000 claims abstract description 144
- 230000014509 gene expression Effects 0.000 claims abstract description 100
- 230000033001 locomotion Effects 0.000 claims abstract description 79
- 238000004891 communication Methods 0.000 claims abstract description 55
- 230000006854 communication Effects 0.000 claims abstract description 55
- 230000002452 interceptive effect Effects 0.000 claims abstract description 54
- 230000003993 interaction Effects 0.000 claims description 29
- 230000008921 facial expression Effects 0.000 claims description 18
- 238000009877 rendering Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 42
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000013461 design Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种车载终端的同步方法及系统,属于动作同步技术领域。本发明通过获取导入的虚拟初始模型,根据所述虚拟初始模型得到动作序列数据和表情动画数据;响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息;将所述目标数据信息通过所述通信模块发送至所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情。实现了车载展示终端的动作的实时同步对比。
Description
技术领域
本发明涉及动作同步领域,尤其涉及一种车载终端的同步方法及系统。
背景技术
目前车载机器人的运用场景越来越普多,车载机器人的表情和动作也越来越丰富。车载机器人头部的动作设计的过程,一般是先在PC上计算出一套完整的动作序列,然后将动作序列的数据传输到机器人的存储芯片中,机器人再加载动作参数并控制头部转动,还原动作序列,设计师再进行观察和检验。
目前,车载机器人头部动作设计流程,比较繁琐。设计师在PC上设计动作时,无法实时同步对比车载机器人实物的动作效果。
发明内容
本发明的主要目的在于提供一种车载终端的同步系统及方法,旨在解决如何实现同步对比车载展示终端的动作。
为实现上述目的,本发明提供一种车载终端的同步方法,所述车载终端的同步方法应用于车载终端的同步系统,所述车载终端的同步系统包括交互终端、通信模块以及车载展示终端,所述交互终端上运行有动作设计程序,通过所述通信模块使所述交互终端与所述车载展示终端进行信息交互,所述车载终端的同步方法包括:
获取导入的虚拟初始模型,根据所述虚拟初始模型得到动作序列数据和表情动画数据;
响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息;
将所述目标数据信息通过所述通信模块发送至所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情。
可选地,所述响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息,包括:
在所述操作指令为拖动指令时,对所述拖动指令进行解析,得到所述虚拟初始模型的操作信息;
根据所述操作信息调整所述动作序列数据和/或表情动画数据,得到目标数据信息。
可选地,根据所述操作指令调整所述动作序列数据,得到目标数据信息,包括:
根据所述操作指令调整所述动作序列数据,得到调整后的动作序列数据;
根据动作序列数据-表情动画数据对应关系,确定调整后的动作序列数据对应的第一表情动画数据;
根据所述调整后的动作序列数据和所述第一表情动画数据,得到目标数据信息。
可选地,所述确定调整后的动作序列数据对应的第一表情动画数据之前,包括:
将所述调整后的动作序列数据与标准动作序列数据进行匹配;
若所述调整后的动作序列数据与标准动作序列数据匹配,则执行调整后的动作序列数据对应的第一表情动画数据的步骤;
若所述调整后的动作序列数据与标准动作序列数据不匹配,则通过所述交互终端进行异常提示。
可选地,根据所述目标数据信息通过所述通信模块发送至所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情之后,还包括:
将所述动作和/或表情进行渲染,当同步展示渲染后的动作和/或表情时,停止交互。
可选地,所述数据信息传递采用数据流缓存策略,包括:
接收所述数据信息,将所述数据信息转换成数据流,实施相应的缓存策略并进行传递。
此外,为实现上述目的,本发明提供了一种车载终端的同步系统,所述车载终端的同步系统包括交互终端、通信模块以及车载展示终端,所述交互终端上运行有动作设计程序,通过所述通信模块使所述交互终端与所述车载展示终端进行信息交互,包括:
交互终端、通信模块以及车载展示终端,所述交互终端上运行有动作设计程序,通过所述通信模块使所述交互终端与所述车载展示终端进行信息交互;
所述交互终端,用于获取导入的虚拟初始模型,根据所述虚拟初始模型得到动作序列数据和表情动画数据;
所述交互终端,用于响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息;
所述交互终端,用于将所述目标数据信息通过所述通信模块发送至给所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情。
可选地,所述交互终端,还用于存储头部动作序列和面部表情动画,调用动作设计程序,通过动作设计程序调用头部动作序列和面部表情动画,并将所述头部动作序列和面部表情动画发送至所述车载显示终端进行播放。
可选地,所述交互终端与所述通信模块通过串口连接,所述通信模块与所述车载展示终端通过CAN总线连接;
所述通信模块,用于将所述目标数据信息透传至所述车载展示终端。
可选地,所述通信模块,还用于将所述目标数据信息转换为所述车载展示终端支持的数据格式,并将转换后的目标数据信息发送至所述车载展示终端。
本发明通过获取导入的虚拟初始模型,根据所述虚拟初始模型得到动作序列数据和表情动画数据;响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息;将所述目标数据信息通过所述通信模块发送至所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情。从而根据操作指令作用于虚拟初始模型,同时,数据信息传递给车载展示终端,实现实时同步对比车载展示终端的动作。
附图说明
图1为本发明车载终端的同步方法第一实施例的流程示意图;
图2为本发明车载终端的同步方法第一实施例的结构示意图;
图3为本发明车载终端的同步方法第二实施例的流程示意图;
图4为本发明车载终端的同步方法第三实施例的流程示意图;
图5为本发明车载终端的同步方法第四实施例的流程示意图;
图6为本发明车载终端的同步方法第五实施例的流程示意图;
图7为本发明车载终端的同步方法数据分层定义框架示意图;
图8为本发明车载终端的同步方法第六实施例的流程示意图;
图9为本发明车载终端的同步方法操作方法定义框架示意图;
图10为本发明车载终端的同步系统第一实施例的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供了一种车载终端的同步方法,参照图1,图1为本发明一种车载终端的同步方法第一实施例的流程示意图。
需要说明的是,本实施例应用场景为设计师通过使用车载终端的同步方法,进行实体车载机器人与虚拟初始模型之间动作同步展示。
本实施例中,所述车载终端的同步方法包括:
步骤S10:获取导入的虚拟初始模型,根据所述虚拟初始模型得到动作序列数据和表情动画数据。
需要说明的是,本实施例的执行主体可为车载终端的同步设备,还可为其他可实现相同或相似的设备,本实施例对此不作限制,本实施例以车载终端的同步设备为例进行说明。
车载终端的同步设备由硬件和软件组成。硬件部分包括计算机主机、3D传感器、摄像头以及适用的输入设备(如键盘、鼠标),以及用于数据处理和传输的Simbox(通信盒子,是一种嵌入式设备,可以与PC串口设备进行数据通信,也可以与车载CAN网络接口设备进行数据通信,支持PC串口报文数据和车载CAN报文数据之间的格式转换。)。软件部分包括运行在计算机主机上的3D设计工具(如Unity3D、Unreal Engine)和设计工具插件以及用于解析操作指令的算法。
应当理解的是,虚拟初始模型是一款高度智能化的三维模型,它不仅包含车载机器人的外部造型,还包括丰富的动作和表情信息,动作数据包括头部的灵活转动和眼睛的注视动作,表情动画数据包括笑容、微笑、惊讶等。
动作序列数据是一种记录了一系列连续动作或事件的数据形式。这些动作或事件可以涉及各种领域,例如运动分析、行为识别、工业自动化等。在动作序列数据中,每个动作或事件通常由时间戳、动作类型和可能的附加信息组成。表情动画数据是一种记录了人脸表情变化的数据形式。它包含了在一段时间内人脸的各种表情状态和变化,通常通过收集人的面部运动或者用3D模型模拟出来。这种数据可以用于分析和表示情感、情绪、交流和社交互动等方面的信息。
通过车载终端的同步设备之间的交互进而控制数据,使车载机器人虚拟初始模型与交互终端实现紧密连接,从而根据虚拟初始模型的导入得到动作序列数据和表情动画数据。
步骤S20:响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息。
需要说明的是,交互终端通常指的是计算机系统中的一个用户界面,用户可以在其中通过输入文本命令与计算机进行交互,而不必使用图形用户界面(GUI)。在类Unix系统(如Linux)中,这种交互终端通常被称为"终端"、"控制台"或"命令行界面"。操作指令是一种通过在计算机终端或命令行界面中输入特定的文本字符串来告诉计算机执行特定任务或操作的方式。操作指令是计算机操作系统和应用程序的一种交互方式,它们用于控制计算机系统的各种功能,从文件管理到系统配置,再到网络连接等等。操作指令通常由一个命令关键字(command)组成,有时还会带有一些参数(arguments)和选项(options),这些参数和选项告诉计算机执行命令的具体方式。命令关键字是要执行的操作的名称,而参数和选项则用于指定操作的具体对象、设置或方式。操作指令可以包括鼠标拖动、触摸屏滑动、按钮点击等多种形式,每种形式的指令都会被映射到相应的动作序列数据和表情动画数据的调整规则,针对动作序列数据的调整,如果设计师要求车载机器人转向某个方向或执行特定动作,程序会根据指令修改虚拟初始模型中车载机器人的运动轨迹和转动角度。
应当理解的是,车载机器人是一种智能机器人,具有仿真人类头部的外观和动作能力。它采用高级传感器和计算技术,可以感知和解释来自外部世界的信息,并根据这些信息做出适当的动作和表情。此外,车载机器人的动作涵盖多个方面,包括但不限于头部的转动、眼睛的移动、嘴唇的表情、面部肌肉的收缩等。这些动作可以单独或组合使用,使机器人能够模拟出丰富多样的表情和交流方式,例如微笑、眨眼、点头、摇头、皱眉等。
设计师通过操作指令实时调整车载机器人头部的动作序列数据和/或表情动画数据,动作设计程序首先对收到的操作指令进行解析和处理,识别设计师的意图和要求。例如,如果设计师做出了向左的头部转动,动作设计程序会相应地将车载机器人的转向角度调整为左转,然后生成新的动作序列数据。此时,动作设计程序会调整车载机器人的嘴巴形状和眼睛状态,使其表现出向左的头部转动的表情,并生成对应的表情动画数据。得到调整后的车载机器人头部的动作序列数据和/或表情动画数据,也就是目标数据信息。
步骤S30:将所述目标数据信息通过所述通信模块发送至所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情。
需要说明的是,通信模块是一种设备、组件或系统,用于在不同设备之间传输信息、数据或信号,以实现信息交流和数据传递。通信模块可以采用各种不同的技术和协议,根据应用的需求,它们可以用于有线通信或无线通信。通信模块的作用是将数据从一个设备传输到另一个设备,可以是计算机、传感器、控制器、移动设备等。通信模块在现代技术中扮演着关键的角色,使得各种设备能够互相沟通和协调工作。车载展示终端是指安装在车辆内部的一个设备或系统,用于向车内乘客或驾驶员提供各种信息、娱乐内容或功能。这些终端通常具有显示屏幕(屏幕可能是触摸屏)、音频输出、用户界面等特性,以便用户可以与其进行交互。
应当理解的是,在数据传输过程中,通信模块将经过调整的目标数据信息以高效可靠的方式传送给车载展示终端。这通常涉及到数据的编码、压缩和加密等技术,以确保数据传输的安全性和可靠性。一旦车载展示终端接收到目标数据信息,它将立即根据这些数据实现对车载机器人的动作和表情的同步展示。车载展示终端可能配备有高分辨率的显示屏,以及灵活的动作控制系统和表情展示装置。这些硬件设备允许车载机器人在车载展示终端上以细致生动的方式展现出各种动作和表情。
通过与通信模块实时交互,车载展示终端能够准确地捕捉目标数据信息中的动作序列和表情动画,然后根据数据进行车载机器人的动态调整。这意味着,当设计师在交互终端上发出操作指令后,车载展示终端能够在瞬间做出相应的反应,将车载机器人的动作和表情同步展示出来。
本实施例通过上述方案,具体通过获取导入的虚拟初始模型,根据虚拟初始模型得到动作序列数据和表情动画数据;响应交互终端的操作指令,根据操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息;
将目标数据信息通过通信模块发送至所述车载展示终端,以使车载展示终端根据所述目标数据信息同步展示动作和/或表情。从而根据操作指令作用于虚拟初始模型,同时,数据信息传递给车载机器人,达到快速检验动作设计的效果,实现实时同步对比车载机器人实物的动作,提高设计效率。
参照图2,基于上述实施例,需要说明的是,首先,需要将车载机器人头部的精确3D模型导入至专用的设计工具和插件中,这些工具和插件通常嵌套在个人电脑(PC)的环境中。一旦成功导入,这些工具和插件将开始处理这一虚拟初始模型,即3D模型。在处理过程中,插件将会分析动作序列数据以及表情动画数据,这些数据描述了车载机器人头部在不同情境下的应对动作和表情变化。这些插件将借助串口技术与Simbox建立连接,确保数据的流畅传输。Simbox充当了数据传输的桥梁,负责将从设计工具和插件获取的数据进行整理和打包。随后,通过控制器局域网(Controller Area Network,CAN)协议,数据将从Simbox传递到车载机器人头部系统(一种搭载在汽车内部的,可与汽车车身CAN网络通信,外观为头部造型的嵌入式产品)。CAN协议作为一种高效可靠的通信协议,能够确保数据在车载系统内部迅速传播,从而驱使车载机器人头部做出相应的动作和表情变化。
参照图3,基于上述实施例,在第二实施例中,所述步骤S20,包括:
步骤S210:在所述操作指令为拖动指令时,对所述拖动指令进行解析,得到所述虚拟初始模型的操作信息。
应当理解的是,拖动指令通常指的是在计算机界面中,通过鼠标或触摸屏等输入设备,将某个元素从一个位置拖动到另一个位置的操作。这种操作通常用于图形用户界面(GUI)中,用于移动、复制、重新排列或操作界面上的对象、文件、图标等。设计师可以通过交互终端进行手势拖动操作,例如在交互终端上用手指拖动车载机器人的虚拟模型。通过解析拖动指令,动作设计程序能够准确捕捉设计师的操作意图,实现车载机器人在交互终端上的精准控制,从而展示虚拟初始模型。
步骤S220:根据所述操作信息调整所述动作序列数据和/或表情动画数据,得到目标数据信息。
当交互终端接收到拖动指令后,运行的动作设计程序会对指令进行解析和处理,以获得拖动的相关信息。首先,交互终端会捕捉设计师手势在屏幕上的拖动轨迹和速度。然后,动作设计程序根据这些信息对虚拟初始模型的操作进行解析,包括车载机器人的旋转方向、角度以及拖动的距离。在解析拖动指令的过程中,动作设计程序还可能结合车辆的运动状态和环境信息进行动态调整。
通过这种拖动指令的解析和操作信息的获取,交互终端能够实现与车载机器人的实时交互控制。设计师通过简单直观的手势拖动操作,就能够在交互终端上自由控制车载机器人的动作,从而得到目标数据信息。
本实施例通过上述方案,具体通过在操作指令为拖动指令时,对拖动指令进行解析,得到虚拟初始模型的操作信息,根据操作信息调整所述动作序列数据和/或表情动画数据,得到目标数据信息。从而通过对指令的解析,快速得到虚拟初始模型。
参照图4,基于上述实施例,在第三实施例中,所述根据所述操作指令调整所述动作序列数据,得到目标数据信息,包括:
步骤S310:根据所述操作指令调整所述动作序列数据,得到调整后的动作序列数据。
应理解的是,动作设计程序根据虚拟初始模型中车载机器人的运动范围和可行动作序列,对动作序列数据进行调整,到调整后的动作序列数据。
步骤S320:根据动作序列数据-表情动画数据对应关系,确定调整后的动作序列数据对应的第一表情动画数据。
需要说明的是,分析初始模型数据,了解动作序列和表情动画之间的关系,使用机器学习算法或统计方法,构建动作序列数据和表情动画数据之间的映射模型,将目标动作序列数据输入映射模型,获取对应的表情动画数据。如果目标动作序列数据存在多个样本,需要逐个进行映射。根据映射模型获得的结果,生成对应的第一表情动画数据。这个表情动画数据可以是一系列关键帧或连续的动画序列,具体取决于映射模型和原始数据的特点。
步骤S330:根据所述调整后的动作序列数据和所述第一表情动画数据,得到目标数据信息。
应理解的是,当调整后的动作序列数据和所述第一表情动画数据都存在时,就得到了目标数据信息。
本实施例通过上述方案,具体通过在根据操作指令调整动作序列数据,得到调整后的动作序列数据;根据动作序列数据-表情动画数据对应关系,确定调整后的动作序列数据对应的第一表情动画数据;根据调整后的动作序列数据和第一表情动画数据,得到目标数据信息。从而更加便捷的通过动作序列,进而调整表情。
参照图5,基于上述实施例,在第四实施例中,所述根据其确定调整后的动作序列数据对应的第一表情动画数据之前,包括:
步骤S410:将所述调整后的动作序列数据与标准动作序列数据进行匹配。
需要说明的是,标准动作序列数据通常指的是在某个领域或任务中,预定义的一系列操作步骤的集合,用于执行特定的任务或实现特定的目标。这些序列被视为在特定上下文中完成某项工作的标准方式,可以用于培训、自动化、流程优化等目的。对调整后的动作序列数据和标准动作序列数据进行预处理,以保证数据的质量和一致性。可能的预处理步骤包括数据清洗、填充缺失值和数据归一化。从调整后的动作序列数据和标准动作序列数据中提取特征。特征提取是为了将数据表示为更具信息含量的形式,以便进行后续的匹配计算。
使用合适的相似性度量方法来比较特征表示的数据之间的相似性。常见的相似性度量方法包括欧氏距离、余弦相似度、相关系数等。根据相似性度量的结果,应用匹配算法来判断调整后的动作序列数据是否与标准动作序列数据匹配。匹配算法可以是基于规则的方法,也可以是基于机器学习的方法,如k-最近邻算法、支持向量机等。
设置相似性阈值来判断两个序列数据是否匹配。根据匹配算法和相似性阈值的结果,确定调整后的动作序列数据是否与标准动作序列数据匹配。如果相似性度量超过预先设定的阈值,则认为两个序列匹配成功,否则认为匹配失败。
步骤S420:若所述调整后的动作序列数据与标准动作序列数据匹配,则执行步骤S330。
如果匹配成功,则可以继续进行后续步骤,根据匹配到的标准动作序列数据,从预先定义的表情动画模板库中选择最合适的模板。模板库中的每个模板代表不同的表情和情感状态,因此选择与动作序列数据匹配程度最高的模板可以更好地表现动作和情感的一致性。也即会生成第一表情动画数据。
可选地,将生成的第一表情动画数据进行可视化呈现,使用户或操作者能够实时观察动画效果。在这个阶段,用户可以提供反馈,如调整参数、修改模板选择等,以进一步优化动画质量。并且对生成的第一表情动画数据进行仔细检查和验证。确保动画与原始动作序列数据之间的一致性,并评估表情动画的质量和符合度。
步骤S430:若所述调整后的动作序列数据与标准动作序列数据不匹配,则通过所述交互终端进行异常提示。
如果匹配失败,则需要进行异常处理。在匹配过程中,如果发现调整后的动作序列数据与标准动作序列数据不匹配,系统将自动触发异常检测机制。系统将通过交互终端,如图形界面或命令行界面,向用户或操作者发出异常提示信息。这包括明确指示匹配失败,并可能提供一些相关的提示信息,例如哪些部分不匹配,可能的原因等。
需要说明的是,用户或操作者收到异常提示后,需要确认是否理解了异常信息。在某些情况下,可能需要用户进一步提供反馈或选择是否继续处理。根据异常提示信息,用户或操作者可能需要检查和修正调整后的动作序列数据。这包括可能的数据清理、校正或重新调整参数等操作。在数据修正后,系统可能会重新进行匹配过程,以验证是否成功解决了异常情况。如果匹配问题得到解决,则可以继续执行生成第一表情动画数据的步骤。如果匹配问题仍然存在,系统会再次触发异常提示,进入反馈循环,直到匹配成功为止。在某些情况下,匹配问题可能较为复杂,需要人工干预来解决。在这种情况下,系统可能提供相应的界面或指导,让用户或操作者参与到匹配过程中,并提供手动调整或标注数据的选项。
本实施例通过上述方案,具体通过在对调整后的动作序列数据与标准动作序列数据进行匹配;若调整后的动作序列数据与标准动作序列数据匹配,则执行调整后的动作序列数据对应的第一表情动画数据的步骤;若调整后的动作序列数据与标准动作序列数据未匹配,则通过交互终端进行异常提示。从而根据上述操作匹配的判断,确保了用户或操作者动作设计的合理性。
参照图6,基于上述实施例,在第五实施例中,所述步骤S30之后,步骤包括:
步骤S510:将所述动作和/或表情进行渲染,当同步展示渲染后的动作和/或表情时,停止交互。
应当理解的是,将生成的动作和/或表情进行渲染,包括将动作序列转换成连续的动画帧,应用表情数据和情感状态,将模型进行姿态和表情的变换,以及添加场景和光影效果等。这些步骤将最终产生逼真的表情动画效果。将渲染后的动作和/或表情在交互终端上进行同步展示。这可以是一个图形界面或视频播放器,用于展示生成的表情动画。当同步展示动作和/或表情时,停止交互功能。
本实施例通过上述方案,具体通过在将动作和/或表情进行渲染,当同步展示渲染后的动作和/或表情时,停止交互。从而使交互可以结束,保证了功能的连贯性。
参照图7,基于上述实施例,需要说明的是,数据分层分为数据层,业务层和设备层,其中数据层包括Resources资源、json文件、h264文件。业务层包括资源加载、动画编辑、动画预览、串口通信、动画保存、图片渲染、视频合成,设备层包括Simbox、Nomi Mate。数据层的Resources资源传递给业务层,业务层再传递给设备层的Simbox,Simbox传递给NomiMate,同时也回传给业务层,业务层再回传给数据层的json文件、h264文件。
参照图8,基于上述实施例,在第六实施例中,还包括:
步骤S610:接收所述数据信息,将所述数据信息转换成数据流,实施相应的缓存策略并进行传递。
需要说明的是,数据流缓存策略是指在计算机系统中管理数据流时所采用的一组规则和方法。数据流缓存策略旨在优化数据的读取和写入,以提高系统性能、减少延迟以及有效地利用内存和存储资源。而数据流是数据在计算机系统中流动传输的概念,可以是在内部组件之间、网络中的通信、存储介质上的读写操作等。
应当理解的是,将数据信息转换成数据流是指将数据从其原始表示或形式转化为可以在计算机系统中流动传输的形式,以便在系统中进行处理、存储、分析或传递。这种转换通常涉及将数据编码成适合传输的格式,并可能包括数据的压缩、加密或其他处理步骤。然后实施适当的缓存策略。缓存策略决定哪些数据流将被缓存,以及缓存的大小、替换策略等。这有助于提高访问速度和系统性能。将经过缓存策略管理的数据流通过网络或系统内部进行传递。这可能涉及数据包的分割、传输协议的选择以及传输控制等。在目标位置(例如另一台计算机、设备或系统组件)接收传输的数据流。如果接收端也有缓存,那么在接收端也需要实施缓存管理策略,以确保数据在接收端得到适当的处理和存储。
可选地,设计工具插件与Simbox的数据交互时序描述如下:开始交互时,经过理论延迟时间(40ms)后,第一次缓存头部旋转信息,并缓存相机流数据,持续一段时间(比如1s)后,使用ffmpeg命令,保存流数据为h264文件,并实现第一次发送播放视频消息,第一次发送头部旋转消息,经过理论延迟时间(40ms)的间隔后,间断性发送头部旋转消息,并缓存头部旋转信息,缓存相机流数据,再持续一段时间(比如1s)后,使用ffmpeg命令,保存流数据为h264文件,发送播放视频消息,开始发送头部旋转信息等,与前面所述步骤一致。直到交互停止,最后一次发送播放视频消息,最后一次发送头部旋转消息。
本实施例通过上述方案,具体通过在接收所述数据信息,将所述数据信息转换成数据流,实施相应的缓存策略并进行传递。从而确保了数据在传输过程中得到适当的处理和存储。
参照图9,基于上述实施例,需要说明的是,设计师在进行第一次操作后会选择是否导入设计工具插件加载机器人头部模型场景,紧接着会进行是否选择实时交互的判断。
如果选择是,则进行实时交互,然后通过连接Simbox开始交互,鼠标左键滑动,实时发送头部旋转信息消息,根据鼠标滑动过程,保存为动作序列,机器人实时展示头部动作。开始交互同步播放配套的面部表情动画,每帧缓存相机实时渲染数据合成h264文件,实时发送播放h264指令消息,机器人同步展示表情。开始交互同步使用插件控制头部模型,设计工具插件同步展示动作及动画。
如果选择否,则进行动作序列回放,加载已设计完成的头部动作序列及配套的面部表情动画,然后同步播放动作序列和动画,插件连接Simbox,根据顿率,实时传输头部动作序列和表情,机器人实时展示头部动作和表情动画。同步播放动作序列和动画,同步使用插件控制头部模型,设计工具插件同步展示动作及动画。
参照图10,基于上述实施例,在第七实施例中,所述一种车载终端的同步系统,是车载终端的同步系统包括交互终端10、通信模块20以及车载展示终端30,交互终端10上运行有动作设计程序,通过通信模块20使交互终端10与车载展示终端30进行信息交互。
需要说明的是,交互终端10,用于获取导入的虚拟初始模型,根据虚拟初始模型得到动作序列数据和表情动画数据;用于响应交互终端10的操作指令,根据操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息;用于将目标数据信息通过所述通信模块20发送至给车载展示终端30,以使车载展示终端根据所述目标数据信息同步展示动作和/或表情。
应当理解的是,交互终端10,还用于存储头部动作序列和面部表情动画,调用动作设计程序,通过动作设计程序调用头部动作序列和面部表情动画,并将头部动作序列和面部表情动画发送至所述车载显示终端30进行播放。
在本实施例中,交互终端10与通信模块20通过串口连接,通信模块20与车载展示终端30通过CAN总线连接。通信模块20,用于将目标数据信息透传至车载展示终端30。
本实施例通过一种车载终端的同步系统,车载终端的同步系统包括交互终端10、通信模块20以及车载展示终端30,可简单快速的实时同步对比车载机器人实物的动作效果。
在一实施例中,所述交互终端10,还用于存储头部动作序列和面部表情动画,调用动作设计程序,通过动作设计程序调用头部动作序列和面部表情动画,并将所述头部动作序列和面部表情动画发送至所述车载显示终端30进行播放。
在一实施例中,所述交互终端与所述通信模块20通过串口连接,所述通信模块20与所述车载展示终端30通过CAN总线连接;
所述通信模块20,用于将所述目标数据信息透传至所述车载展示终端。
在一实施例中,所述通信模块20,还用于将所述目标数据信息转换为所述车载展示终端30支持的数据格式,并将转换后的目标数据信息发送至所述车载展示终端30。
此外,为实现上述目的,本发明还提出一种交互终端,还用于存储头部动作序列和面部表情动画,调用动作设计程序,通过动作设计程序调用头部动作序列和面部表情动画,并将头部动作序列和面部表情动画发送至所述车载显示终端进行播放。
由于本发明采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还 包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、 方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光 盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种车载终端的同步方法,其特征在于,所述车载终端的同步方法应用于车载终端的同步系统,所述车载终端的同步系统包括交互终端、通信模块以及车载展示终端,所述交互终端上运行有动作设计程序,通过所述通信模块使所述交互终端与所述车载展示终端进行信息交互,所述车载终端的同步方法包括:
获取导入的虚拟初始模型,根据所述虚拟初始模型得到动作序列数据和表情动画数据;
响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息;
将所述目标数据信息通过所述通信模块发送至所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情。
2.如权利要求1所述的车载终端的同步方法,其特征在于,所述响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息,包括:
在所述操作指令为拖动指令时,对所述拖动指令进行解析,得到所述虚拟初始模型的操作信息;
根据所述操作信息调整所述动作序列数据和/或表情动画数据,得到目标数据信息。
3.如权利要求2所述的车载终端的同步方法,其特征在于,根据所述操作指令调整所述动作序列数据,得到目标数据信息,包括:
根据所述操作指令调整所述动作序列数据,得到调整后的动作序列数据;
根据动作序列数据-表情动画数据对应关系,确定调整后的动作序列数据对应的第一表情动画数据;
根据所述调整后的动作序列数据和所述第一表情动画数据,得到目标数据信息。
4.如权利要求3所述的车载终端的同步方法,其特征在于,所述确定调整后的动作序列数据对应的第一表情动画数据之前,包括:
将所述调整后的动作序列数据与标准动作序列数据进行匹配;
若所述调整后的动作序列数据与标准动作序列数据匹配,则执行根据所述调整后的动作序列数据对应的第一表情动画数据的步骤;
若所述调整后的动作序列数据与标准动作序列数据不匹配,则通过所述交互终端进行异常提示。
5.如权利要求1所述的车载终端的同步方法,其特征在于,所述根据所述目标数据信息通过所述通信模块发送至所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情之后,还包括:
将所述动作和/或表情进行渲染,当同步展示渲染后的动作和/或表情时,停止交互。
6.如权利要求1~5中任一项所述的车载终端的同步方法,其特征在于,还包括:还包括:
接收所述数据信息,将所述数据信息转换成数据流,实施相应的缓存策略并进行传递。
7.一种车载终端的同步系统,其特征在于,所述车载终端的同步系统包括交互终端、通信模块以及车载展示终端,所述交互终端上运行有动作设计程序,通过所述通信模块使所述交互终端与所述车载展示终端进行信息交互;
所述交互终端,用于获取导入的虚拟初始模型,根据所述虚拟初始模型得到动作序列数据和表情动画数据;
所述交互终端,用于响应所述交互终端的操作指令,根据所述操作指令调整所述动作序列数据和/或表情动画数据,得到目标数据信息;
所述交互终端,用于将所述目标数据信息通过所述通信模块发送至给所述车载展示终端,以使所述车载展示终端根据所述目标数据信息同步展示动作和/或表情。
8.如权利要求7所述的车载终端的同步系统,其特征在于,所述交互终端,还用于存储头部动作序列和面部表情动画,调用动作设计程序,通过动作设计程序调用头部动作序列和面部表情动画,并将所述头部动作序列和面部表情动画发送至所述车载显示终端进行播放。
9.如权利要求7所述的车载终端的同步系统,其特征在于,所述交互终端与所述通信模块通过串口连接,所述通信模块与所述车载展示终端通过CAN总线连接;
所述通信模块,用于将所述目标数据信息透传至所述车载展示终端。
10.如权利要求9所述的车载终端的同步系统,其特征在于,所述通信模块,还用于将所述目标数据信息转换为所述车载展示终端支持的数据格式,并将转换后的目标数据信息发送至所述车载展示终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311033321.7A CN117170604A (zh) | 2023-08-16 | 2023-08-16 | 车载终端的同步方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311033321.7A CN117170604A (zh) | 2023-08-16 | 2023-08-16 | 车载终端的同步方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117170604A true CN117170604A (zh) | 2023-12-05 |
Family
ID=88938577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311033321.7A Pending CN117170604A (zh) | 2023-08-16 | 2023-08-16 | 车载终端的同步方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117170604A (zh) |
-
2023
- 2023-08-16 CN CN202311033321.7A patent/CN117170604A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7482242B2 (ja) | 表情トランスファーモデルの訓練方法、表情トランスファー方法及び装置並びにコンピュータ装置及びプログラム | |
JP7286684B2 (ja) | 顔に基づく特殊効果発生方法、装置および電子機器 | |
US10860838B1 (en) | Universal facial expression translation and character rendering system | |
US20180088663A1 (en) | Method and system for gesture-based interactions | |
KR102225802B1 (ko) | 반응형 영상 생성방법 및 생성프로그램 | |
US20180089880A1 (en) | Transmission of avatar data | |
US9431027B2 (en) | Synchronized gesture and speech production for humanoid robots using random numbers | |
US20210146255A1 (en) | Emoji-based communications derived from facial features during game play | |
CN107831902B (zh) | 一种运动控制方法及其设备、存储介质、终端 | |
JP2021192222A (ja) | 動画インタラクティブ方法と装置、電子デバイス、コンピュータ可読記憶媒体、及び、コンピュータプログラム | |
JP7268071B2 (ja) | バーチャルアバターの生成方法及び生成装置 | |
JPH06214711A (ja) | 対話システムの管理システム | |
JP7395070B1 (ja) | ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体 | |
Mourtzis et al. | A framework for automatic generation of augmented reality maintenance & repair instructions based on convolutional neural networks | |
CN107862387B (zh) | 训练有监督机器学习的模型的方法和装置 | |
Kowalski et al. | Holoface: Augmenting human-to-human interactions on hololens | |
CN114967937B (zh) | 一种虚拟人运动生成方法与系统 | |
CN117170604A (zh) | 车载终端的同步方法及系统 | |
CN117075726A (zh) | 一种视觉手势与肌电传感混合交互的协同控制方法及系统 | |
KR101525011B1 (ko) | Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법 | |
JP2017531226A (ja) | 動作認識方法及び動作認識装置 | |
CN112233208B (zh) | 机器人状态处理方法、装置、计算设备和存储介质 | |
CN112686990A (zh) | 一种三维模型显示方法、装置、存储介质和计算机设备 | |
Li et al. | Gesture-based robot's long-range navigation | |
JP2019179502A (ja) | 動画を作成するためのシステム、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |