CN117215416B - 移动终端全息交流方法、装置、计算机设备和存储介质 - Google Patents
移动终端全息交流方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117215416B CN117215416B CN202311475641.8A CN202311475641A CN117215416B CN 117215416 B CN117215416 B CN 117215416B CN 202311475641 A CN202311475641 A CN 202311475641A CN 117215416 B CN117215416 B CN 117215416B
- Authority
- CN
- China
- Prior art keywords
- holographic
- communication
- video
- module
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 545
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004044 response Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 21
- 238000009877 rendering Methods 0.000 claims description 20
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 20
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Landscapes
- Telephone Function (AREA)
Abstract
本申请实施例涉及人工智能技术领域,具体地,涉及一种移动终端全息交流方法、装置、计算机设备和存储介质。该移动终端全息交流方法包括:响应于全息交流应用程序的全息交流操控指令,并将全息交流操控指令发送至全息视频交流服务平台;接收全息视频交流服务平台发送的全息交流响应信息,并调用全息投影模块对全息交流响应信息对应的内容进行全息投影;其中,全息交流响应信息是指其他移动终端针对交流操控指令响应并发送至全息视频交流服务平台的全息交流信息。通过全息投影的方式实现处于不同移动终端侧用户的全息交流,便捷性更优,且可以实现真人全息投影交流互动,解决了人因远程距离远而无法做到面对面交流的问题等。
Description
技术领域
本申请涉及人工智能技术领域,具体地,涉及一种移动终端全息交流方法、装置、计算机设备和存储介质。
背景技术
在当前信息通信领域中,随着数字人的逐步被人认知,数字人技术的发展也日新月异,但是数字人的技术发展仍然处于起步阶段。数字人的技术主要集中在数字人生成以及在手机或电脑中播放数字人,移动终端因其便捷的优势发展迅速,而数字人的投影主要还是依靠大型投影设备与电脑的结合来实现,其便捷性较差,且无法实现处于远距离用户之间的全息交流互动。
因此,目前亟需一种便捷性较高的用户自己全息交流互动的方法。
在背景技术中公开的上述信息仅用于加强对本申请的背景的理解,因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。
发明内容
本申请实施例中提供了一种移动终端全息交流方法、装置、计算机设备和存储介质。
本申请实施例的第一个方面,提供了一种移动终端全息交流方法,应用于全息交流系统中的任一移动终端,所述全息交流系统至少包括:多个移动终端和全息视频交流服务平台;其中,各所述移动终端至少配置有全息投影模块和全息交流应用程序;该方法包括:
响应于所述全息交流应用程序的全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台;
接收所述全息视频交流服务平台发送的全息交流响应信息,并调用所述全息投影模块对所述全息交流响应信息对应的内容进行全息投影;其中,所述全息交流响应信息是指其他移动终端针对所述交流操控指令响应并发送至所述全息视频交流服务平台的全息交流信息。
在本申请一个可选的实施例中,所述响应于所述全息交流应用程序的全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,包括:
在当前用户界面显示多个全息交流对象;其中,各所述全息交流对象对应的移动终端至少配置有所述全息投影模块和所述全息交流应用程序;
响应于交流选择指令,根据所述交流选择指令从所述多个全息交流对象中确定目标全息交流对象;
响应于针对所述目标全息交流对象的所述全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台构建与所述目标全息交流对象对应的目标移动终端的通信通道。
在本申请一个可选的实施例中,所述移动终端还包括:视频维度转换模块;
对应的,所述响应于所述全息交流应用程序的全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,包括:
响应于所述全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频;
将所述二维视频发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台将所述二维视频发送至对应的移动终端进行全息投影。
在本申请一个可选的实施例中,所述移动终端还配置有辅助信息模块;
对应的,所述响应于所述全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频,包括:
响应于所述全息交流应用程序的所述全息交流操控指令,并调用所述全息应用程序启动所述辅助信息模块;其中,所述辅助信息模块至少包括:图像采集设备;
从所述辅助信息模块中获取所述第一全息交流视频,并将所述第一全息交流视频转换为所述二维视频。
在本申请一个可选的实施例中,所述移动终端还配置有辅助信息模块;对应的,所述方法还包括:
调用所述辅助信息模块接收用户语音,将所述用户语音发送至所述全息交流应用程序进行格式转换,得到用户语音数据;
所述全息交流应用程序将所述用户语音数据发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台将所述用户语音数据发送至对应的移动终端进行播放。
在本申请一个可选的实施例中,所述移动终端还包括:视频维度转换模块;
对应的,所述接收所述全息视频交流服务平台发送的全息交流响应信息,并调用所述全息投影模块对所述全息交流响应信息对应的内容进行全息投影,包括:
调用所述视频维度转换模块将所述全息交流响应信息中的第二全息交流视频转换为三维视频;
调用所述全息投影模块对所述三维视频进行全息投影。
在本申请一个可选的实施例中,所述第二全息交流视频是经过所述全息视频交流服务平台中视频数字渲染管理模块进行背景抠除后的视频。
本申请实施例的第二个方面,提供了一种移动终端全息交流装置,应用于全息交流系统中的任一移动终端,所述全息交流系统至少包括:多个移动终端和全息视频交流服务平台;其中,各所述移动终端至少配置有全息投影模块和全息交流应用程序;所述装置包括:
响应单元,用户响应于所述全息交流应用程序的全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台;
发送单元,用于接收所述全息视频交流服务平台发送的全息交流响应信息,并调用所述全息投影模块对所述全息交流响应信息对应的内容进行全息投影;其中,所述全息交流响应信息是指其他移动终端针对所述交流操控指令响应并发送至所述全息视频交流服务平台的全息交流信息。
本申请实施例的第三个方面,提供了一种计算机设备,包括:包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现如上任一项方法的步骤。
本申请实施例的第四个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现如上任一项的方法的步骤。
本申请实施例提供的移动终端全息交流方法应用于全息交流系统,该全息交流系统至少包括:多个移动终端和全息视频交流服务平台;其中,各发送单元移动终端至少配置有全息投影模块和全息交流应用程序;该方法先响应于发送单元全息交流应用程序的全息交流操控指令,并将发送单元全息交流操控指令发送至发送单元全息视频交流服务平台,然后接收发送单元全息视频交流服务平台发送的全息交流响应信息,并调用发送单元全息投影模块对发送单元全息交流响应信息对应的内容进行全息投影,即通过全息投影的方式实现处于不同移动终端侧用户的全息交流,便捷性更优,且可以实现真人全息投影交流互动,解决了人因远程距离远而无法做到面对面交流的问题等。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一个实施例提供的全息交流系统结构示意图;
图2为本申请一个实施例提供的全息交流系统中移动终端(以手机终端为例)的结构示意图;
图3为本申请一个实施例提供的全息交流系统中全息视频交流服务平台的结构示意图;
图4为本申请一个实施例提供的移动终端全息交流方法中不同移动终端中的用户进行全息交流示意图;
图5为本申请一个实施例提供的移动终端全息交流方法中任一移动终端中的用户进行全息交流示意图;
图6为本申请一个实施例提供的移动终端全息交流方法的流程图;
图7为本申请一个实施例提供的移动终端全息交流方法中将全息交流操控指令发送至全息视频交流服务平台的流程图;
图8为本申请一个实施例提供的移动终端全息交流方法中将全息交流操控指令发送至全息视频交流服务平台中视频维度转换的流程图;
图9为本申请一个实施例提供的移动终端全息交流方法中语音交互的流程图;
图10为本申请一个实施例提供的移动终端全息交流方法中语音交互的交互示意图;
图11为本申请一个实施例提供的移动终端全息交流方法中对全息交流响应信息对应的内容进行全息投影的流程图;
图12为本申请一个实施例提供的移动终端全息交流方法中任一移动终端1发起全息交流的流程图;
图13为本申请一个实施例提供的移动终端全息交流方法中任一移动终端2接受全息交流的流程图;
图14为本申请一个实施例提供的移动终端全息交流装置结构示意图;
图15为本申请一个实施例提供的计算机设备结构示意图。
具体实施方式
在实现本申请的过程中,发明人发现,目前亟需一种便捷性较高的用户自己全息交流互动的方法。
针对上述问题,本申请实施例中提供了一种移动终端全息交流方法、装置、计算机设备和存储介质。
本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
以下对本申请实施例提供的移动终端全息交流方法的应用环境作简要说明:
请参见图1,本申请实施例提供的移动终端全息交流方法应用于全息交流系统,该全息交流系统至少包括:多个移动终端和全息视频交流服务平台;其中,各移动终端至少配置有全息投影模块和全息交流应用程序(如图1中的全息交流服务);
请一并参见图2,该移动终端是指用户操作终端,包括硬件设备与软件系统等,本申请实施例对移动终端的硬件及软件均作出了对应改进,以具有对数字人全息投影的服务与处理能力。硬件部分的改进包括:在移动终端的主板部分增加全息投影模块,例如高性能图像/视频处理芯片,高亮度和高分辨率光源、精密投影光栅和镜头等;当然,该移动终端对应的壳体、主板电路布局等也会进行相应的调整,在此不作赘述,可根据实际情况灵活调整。软件模块的改进包括:对手机操作系统的改进,例如增设与全息视频交流服务平台的通信接口,以及与其他辅助信息模块之间的通信接口,实现与全息投影模块和辅助信息模块之间的通信等。该移动终端至少包括全息投影模块和辅助信息模块等,全息投影模块用于接收用户操作指令,例如打开或关闭数字人的全息投影,并根据操作指令控制数字人在空间的投影;在本申请一个可选实施例中,全息投影模块至少包括:多媒体处理芯片、光源模块和镜头模块,其中:
该多媒体处理芯片设置于移动终端的主板,用于提供数字人的图像、视频、语音计算和处理中的至少一种;实现全息图像/视频复杂的计算和处理,能够将全息视频交流服务平台中的数字人以全息图像/视频的方式呈现。该多媒体处理芯片可以包括:语音处理模块、图像处理模块、视频处理模块以及动作捕获与处理模块等,在此不作穷举,可根据实际情况灵活设定。当全息投影模块收到操作系统的打开指令,并且建立数字人投放通道之后,高性能图像/视频处理芯片处理来自全息视频交流服务平台传过来的数字人视频信息,并调用光源模块产生高亮度和高分辨率光源。
该光源模块设置于移动终端的镜头模块,可以产生一个亮度高、色域广且分辨率高的光源,即用于为数字人的成像提供光源。
该镜头模块设置于移动终端的镜头模块,用于对光源模块发射出的光学进行控制和调整,例如能够对光线进行精细化控制和调整,实现光线的分化和重定向,从而以实现数字人的投影成像。该镜头模块通过光源产生的光,将数字人投放至相应的投影空间。该投影空间可以是空间的一个区域,也可以是有全息投影屏所在的一个区域。
本申请实施例通过在全息投影模块中设置多媒体处理芯片、光源模块和镜头模块等,从而硬件上支持数字人的全息成像,增加数字人的交互信息的丰富性,同时提高数字人交互信息的处理全面性,以实现为用户提供更为真实的感官体验效果。
在本申请一个可选实施例中,镜头模块至少包括:光栅和镜头。光栅的参数例如可以为:小尺寸(例如25.4 毫米外径,3 毫米厚)的光栅(光谱范围:350nm—2400nm,波前畸变:典型值1/5 wave,更高精度可定制,波前均匀性:<1/40 wave RMS,空间频率:125 lp/mm—-3600lp/mm),镜头的参数,例如可以为:分辨率:19201080、可视角度:168/178°、亮度:400cd/㎡、色彩:167.7m。通过该参数的光栅和镜头可以实现对数字人的较高亮度和较高分辨率的呈现,数字人成像更为真实,提高用户的感官体验。
辅助信息模块用于提供数字人与用户之间的信息交互通道,例如可以包括图1中的摄像头、麦克风、扬声器等。该移动终端可以为如图1中的手机终端,也可以为其他例如PAD等其他具有光学投影功能的可穿戴设备,本申请实施例不作具体限定,可根据实际情况灵活设定。
在本申请一个可选实施例中,辅助信息模块至少包括:麦克风以及麦克风处理模块、扬声器以及扬声器处理模块。例如通过麦克风捕获用户的声音,然后将该声音信息通过全息交流应用程序发送至全息视频交流服务平台,全息视频交流服务平台进行响应,并将对应移动终端发送的全息交流信息下发至当前移动终端进行全息投影。本申请实施例从语音的输入、输出以及语音信息的处理三个维度提高对用户声音和数字人之间的交互效果,进而为用户提供更为真实的感官体验效果。
在本申请一个可选实施例中,全息交流应用程序在运行时在图形用户界面提供数字人的交互界面,其中,交互界面至少包括:全息投影的控制触控按钮,用于响应用户控制操作,并基于用户操控控制全息投影的数字人的投放或关闭。该全息交流应用程序为上层的全息交流应用,当用户需要投放全息交流的时候,可以通过该全息交流应用程序(可以是APP,或Web,或任何类型的可以与用户进行交互的应用)点击“全息交流”按钮,选择具有全息投影功能的用户设备(任一处于全息交流联系列表中的移动设备)。当需要关闭全息交流时,可以点击该应用内的“关闭”按钮,实现全息交流的关闭;该全息交流应用程序还可以管理各种类型的全息交流移动终端,可以以列表的形式展现各种全息交流移动终端,方便用户选择某一个移动终端进行互动交流。
在本申请一个可选实施例中,全息视频交流服务平台至少包括:数字人生产服务系统、人工智能模块和用户管理模块,其中:
该数字人生产服务系统与移动终端的全息投影模块通信连接,数字人生产服务系统用于构建或存储数字人系统,并根据移动终端通过全息交流应用程序发送的交互信息确定用于响应交互信息的交互内容;其中,交互内容包括但不限于:动作内容、语音内容和图像内容。该数字人生产服务系统:包括建模系统、动作捕捉系统、渲染平台、解决方案平台等,用于生产出满足各行业需求的数字人。该建模系统用于根据移动终端或者第三方平台的数字人需求,可以实时构建与该需求匹配的数字人,例如针对文旅行业的数字人或者在不同场景中提供不同皮肤等,在此不作具体限定,可根据实际情况灵活调整;该动作捕捉系统可以用于通过传感器等外设捕获用户的动作,也可以根据移动终端采集的数字人位置信息捕获数字人的动作信息等均可;该渲染平台用于对数字人的光影、色彩等进行渲染,以提高数字人的成像效果。该解决平台可以配置有多套预警方案,针对预设的意外情况配置对应的预警方案,一旦该意外情况被触发,则直接启动匹配的预警方案,从而实现闭环的方案自动处理,稳定更高;同时,还可以将该解决平台设定为开源的,一旦意外情况被触发,可以发出报警信号,以供工作人员根据报警信号确定对应的意外情况,从而及时高效的进行排查,以快速的进行问题解决。
该人工智能模块与数字人生产服务系统通信连接,人工智能模块用于对数字人生产服务系统发送的交互信息进行解析,并根据解析内容生成与交互信息对应的语音内容和/动作内容。该人工智能模块为AI能力平台,可以包括:计算机视觉、智能语音、自然语言处理等,生成数字人的语音和动作,识别用户回复的语音和语言,并且根据识别的内容,生成数字人回复给用户的语音和动作(音视频)等,提高数字人与用户的交互智能程度,提高用户的感官体验。
该用户管理模块用于实现各移动终端对应的用户的接入与管控,对各行业客户(商户)进行管理,方便行业客户系统(第三方平台)接入全息视频交流服务平台,方便对各用户以及各数字人进行统筹管理与控制。
全息视频交流服务平台用于接收各移动终端上传的全息交流信息,并将全息交流信息转换为预设格式的交互内容并发送至对应移动终端的全息交流应用程序,以供全息交流应用程序基于全息交流信息进行全息投影。该全息交流信息是指另一移动设备中用户产生并转换为可传输的动作信息、语音信息、图像或视频信息等,该信息均通过移动终端进行采集并通过该全息交流应用程序发送至全息视频交流服务平台。
请参见图3,该全息视频交流服务平台至少包括:业务管理模块和业务逻辑模块,其中:
业务管理模块包括:用户管理模块、终端管理模块,其中:用户管理模块用于实现注册用户、具备全息视频交流能力终端用户及其通讯录的管理,包括用户ID、终端ID、用户基本信息及其通讯录等的管理;终端管理模块用于实现具备全息视频交流能力终端信息及型号的管理,以及用户相应终端信息的管理,包括终端ID、终端型号、版本信息等;
业务逻辑模块用于实现用户之间全息视频交流的业务逻辑,包括:
用于实现用户之间全息视频通道的建立的视频通道管理模块、用于实现用户之间全息交流音频通道的建立的音频通道管理、用于实现用户人体图像的提取的视频数字渲染管理,当用户选择渲染时,该视频数字渲染管理能够去除用户交流时的背景信息,只保留用户当前人体图像相关信息,以保证用户的隐私信息以及环境、用于实现用户之间全息视频交流的业务逻辑,包括启动、停止,用户状态的判断(是否在线、是否接听、是否挂断等等)的交互逻辑模块。
在本申请实施例中,通过在移动终端设置全息投影模块与辅助信息模块打通移动终端与全息视频交流服务平台之间的通信接口,在移动终端提供全息投影支持,以一种新型的通信协议和开放接口实现通过上层全息交流应用程序对全息投影模块的打开、投放、关闭等重要操作。同时,相较于传统的大型投影设备需要外接设备外壳、电源、通信线路与设备,本申请实施例全息投影模块只提取最核心的全息投影部分,以较小的功率投影较低像素的方式,实现了移动终端主板驱动并调用全息投影模块,适配于小型的移动终端,且在保障投影效果的前提下更为节能。
本申请实施例将传统以投影机主板等相关硬件驱动的方式来打开投影、投放全息、关闭投影等重要投影操作的能力改造成一种以移动终端上层的应用软件(即全息交流应用程序)和移动终端相结合的全新的软硬一体的方式来实现,本申请实施例一方面摒弃了大型投影设备多余的设备空间、大型投影设备主板、硬件驱动投影的方式以及传统全息投影模块占用较大空间的弊端,从而实现全息投影模块的小型化,另一方面又实现了移动终端主板以较低功率驱动并调用全息模块的能力,从而使得在一个较小的移动终端内部实现了全息投影的功能,这样可以以一种更便捷、小型的方式实现了全息的投影。
在本申请一个可选实施例中,本申请实施例中的移动终端内部,操作系统与主板、全息模块、扬声器等相关模块进行交互通信协议可以如下:
全息交流应用程序与操作系统之间:改造操作系统,使其具备解码播放数字人视频以及根据数字人视频的实际情况调用全息模块以及扬声器的能力,全息交流应用程序与操作系统之间的协议格式如下表格(1):
表格(1)
其中:
会话ID为某个数字人的标识ID,或者全息交流应用程序为了标识具体播放的数字人,专门分配的与某个数字人一一对应的ID;
消息序列为同一个会话ID下,需要多个消息传输数字人视频时,标识不同消息的序列ID;
命令类型为数字人投影相关的命令类型,例如可以为以下三种命令:打开全息投影模块(Open)、投影(Projection)、关闭全息模块(Close);当为打开全息投影模块(Open)和关闭全息投影模块(Close)命令时,视频数据、音频数据为0;
消息标记主要两种:取1时表明还有后续消息,取0时表明本消息是最后一条消息,如果没有收到关闭的命令,全息投影模块可以自行关闭;
消息体为数字人具体的多媒体数据,包括视频流数据和音频数据流。
操作系统收到以上协议格式的命令时,执行相应的命令:
收到打开全息模块(Open)命令时,通过移动终端中的主板。操控系统等驱动打开全息投影模块;
收到投影(Projection)命令时,将视频数据通过主板发送给全息投影模块,通过辅助信息模块进行投影,将音频数据通过主板发送给辅助信息模块通过扬声器进行播放;
收到关闭全息模块(Close)命令时,通过主板驱动关闭全息投影模块。
操作系统与主板/全息投影模块之间的协议格式可以采用上述全息交流应用程序程序与操作系统之间的协议格式,在此不再赘述。
改造后的操作系统具有音视频同步的能力,一方面将视频数据通过主板发送给全息投影模块进行投影,另一方面将音频数据通过主板发送给扬声器进行播放,让双方不至于失步。
操作系统调用扬声器的协议可以采用移动终端现有通用的协议,只需要可以实现信息交互的目的即可。
综上,本申请实施例中的全息交流应用程序用于响应用户的全息交流操控指令,并基于全息交流操控指令控制全息投影模块确定并执行操控指令对应的第一全息交流内容;全息视频交流服务平台,用于与各移动终端通信,并对各移动终端发送的全息交流信息进行交互和控制。
请参见图6,以下实施例以上述全息交流系统中的任一移动终端1为执行主体,以另一移动终端2为全息交流对象,对本申请实施例提供的移动终端全息交流方法进行详细阐述。本申请实施例提供的移动终端全息交流方法包括如下步骤601-步骤602:
步骤601、响应于全息交流应用程序的全息交流操控指令,并将全息交流操控指令发送至全息视频交流服务平台;
该全息交流应用程序是指图1中的配置于移动终端的一种全息交流服务。请参见图4,用户甲可以通过在移动终端1中的该应用程序中发起与移动终端2的全息交流。
步骤602、接收全息视频交流服务平台发送的全息交流响应信息,并调用全息投影模块对全息交流响应信息对应的内容进行全息投影;
其中,全息交流响应信息是指其他移动终端针对交流操控指令响应并发送至全息视频交流服务平台的全息交流信息。例如图5中,用户甲在移动终端1中接收到全息视频交流服务平台发送的全息交流响应信息,并通过调用全息投影模块对全息交流响应信息对应的内容进行全息投影,即形成了如图5中的全息投影的人。需要解释的是,该全息投影的人即为用户乙的全息投影数字人。
本申请实施例提供的移动终端全息交流方法应用于全息交流系统,该全息交流系统至少包括:多个移动终端和全息视频交流服务平台;其中,各移动终端至少配置有全息投影模块和全息交流应用程序;该方法先响应于全息交流应用程序的全息交流操控指令,并将全息交流操控指令发送至全息视频交流服务平台,然后接收全息视频交流服务平台发送的全息交流响应信息,并调用全息投影模块对全息交流响应信息对应的内容进行全息投影,即通过全息投影的方式实现处于不同移动终端侧用户的全息交流,便捷性更优,且可以实现真人全息投影交流互动,解决了人因远程距离远而无法做到面对面交流的问题等。
请参见图7,在本申请一个可选实施例中,上述步骤601、响应于全息交流应用程序的全息交流操控指令,并将全息交流操控指令发送至全息视频交流服务平台,包括如下步骤701-步骤703:
步骤701、在当前用户界面显示多个全息交流对象;
其中,各全息交流对象对应的移动终端至少配置有全息投影模块和全息交流应用程序,即均具有全息投影能力。
步骤702、响应于交流选择指令,根据交流选择指令从多个全息交流对象中确定目标全息交流对象;
步骤703、响应于针对目标全息交流对象的全息交流操控指令,并将全息交流操控指令发送至全息视频交流服务平台,以指示全息视频交流服务平台构建与目标全息交流对象对应的目标移动终端的通信通道。
该当前用户界面是指交流应用程序的显示界面,该全息交流操控指令是指用户在全息交流应用程序界面中的触控操作等,例如点击、滑动等。构建通信通道的方式在上述实施例中已经详细阐述,在此不再赘述,只需要构建全息视频交流服务平台与各全息交流移动终端之间的上行通道以及下行通道即可。
本申请实施例在交流应用程序的显示界面提供多个全息交流对象,且各全息交流对象对应的移动终端至少配置有全息投影模块和全息交流应用程序,即均具有全息投影能力,用户可以方便的通过该界面选择需要进行全息交流的目标全息交流对象,操作方便,且易于管理。
在本申请一个可选实施例中,移动终端还包括:视频维度转换模块;对应的,请一并参见图8和图2,上述步骤601、响应于全息交流应用程序的全息交流操控指令,并将全息交流操控指令发送至全息视频交流服务平台,包括如下步骤801-步骤802:
步骤801、响应于全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频;
步骤802、将二维视频发送至全息视频交流服务平台,以指示全息视频交流服务平台将二维视频发送至对应的移动终端进行全息投影。
在本申请一个可选实施例中,移动终端还配置有辅助信息模块;对应的,步骤801、响应于全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频,包括如下步骤:
响应于全息交流应用程序的全息交流操控指令,并调用全息应用程序启动辅助信息模块;其中,辅助信息模块至少包括:图像采集设备;
从辅助信息模块中获取第一全息交流视频,并将第一全息交流视频转换为二维视频。
该第一全息交流视频是指通过摄像机等图像采集设备获取的用户视频,即在进行全息交流时的实时互动视频。该第一全息交流视频可以为三维的,也可以为二维的,具有可以根据摄像头的类型确定,只需要在该第一全息交流视频为三维视频(即3D视频)的情况下,将其转换为二维视频(即2D视频),然后将该二维视频通过全息交流应用程序发送至全息视频交流服务平台,再由全息视频交流服务平台发送至目的端(即与该移动终端构建全息交流的其他移动终端)。通过这种视频维度转换的方式可以确保全息视频投射的效果,以及降低视频网上传输的带宽流量,节省网络资源。当然,该视频维度转换还可以开放给用户进行自由配置,本申请实施例不作具体限定。
请参见图9,在本申请一个可选实施例中,移动终端还配置有辅助信息模块;对应的,该移动终端全息交流方法还包括如下步骤901-步骤902:
步骤901、调用辅助信息模块接收用户语音,将用户语音发送至全息交流应用程序进行格式转换,得到用户语音数据;
步骤902、全息交流应用程序将用户语音数据发送至全息视频交流服务平台,以指示全息视频交流服务平台将用户语音数据发送至对应的移动终端进行播放。
即可以参见图10,移动终端之间(如图10中的手机终端1和手机终端2)在建立相应的音视频连接之后,手机终端1的用户向麦克风发出交流的语音;麦克风将该语音发送至操作系统/主板,操作系统/主板对该语音进行格式转换,形成用户语音数据,并发送至全息交流应用程序(如图10中的全息交流服务);全息交流应用程序将该用户语音数据发送至全息视频交流服务平台,平台将其发送至手机终端2,手机终端2播放语音;手机终端2接收并反馈用户语音数据,并将其发送至全息视频交流服务平台,平台将其发送至手机终端1的全息交流应用程序;手机终端1的全息交流应用程序通过操作系统/主板将该语音发送至扬声器;手机终端1的扬声器播放该语音。
通过这种方式可以实现用户在全息交流的同时实现语音交流的目的,交流形式更为丰富,交流更为真实。
在本申请一个可选实施例中,移动终端还包括:视频维度转换模块;对应的,请参见图11,上述步骤602、接收全息视频交流服务平台发送的全息交流响应信息,并调用全息投影模块对全息交流响应信息对应的内容进行全息投影,包括如下步骤1101-步骤1102:
步骤1101、调用视频维度转换模块将全息交流响应信息中的第二全息交流视频转换为三维视频;
步骤1102、调用全息投影模块对三维视频进行全息投影。
本申请实施例在接收到全息视频交流服务平台发送的全息交流响应信息后经由移动终端的操作系统和主板调用全息投影模块,以3D全息的形式投影出去。即本申请实施例除了可以实现及3D视频至2D视频的转换,还可以实现2D视频至3D视频的转换,即当视频需要全息投影模块投放时,视频维度转换模块会判断当前视频是否为3D视频,如果不是,则将2D视频转换成3D视频,通过这种方式移动终端可以采用现有摄像头获取真人的视频图像,无需升级为3D摄像头或多个3D摄像头以抓取3D视频,在保障全息投影效果的前提下成本更低。
在本申请一个可选实施例中,第二全息交流视频是经过全息视频交流服务平台中视频数字渲染管理模块进行背景抠除后的视频。
即本申请实施例对远程真人以远程数字真人呈现时可以通过调用该视频数字渲染管理模块去掉不必要的背景信息,既可以提高真人交互的效果,也可以去掉远程真人的隐私信息,隐私安全性更优。
在本申请一个可选实施例中,请参见图12和图13,以下将结合图12和图13对上述所有实施例进行具体阐述:
请参见图12,为移动终端1发起全息交流的流程图:
用户(手机终端1)在手机全息交流应用程序中选择要交流的目标全息交流对象,并发起交流;
全息交流应用程序通过手机终端1的操作系统/主板向全息视频交流服务平台发起交流请求;
全息视频交流服务平台找到目标交流对象ID并向目标交流对象的手机终端(手机终端2)发起交流请求;
目标交流对象的手机终端收到交流请求后,如果用户同意交流,则在该终端的全息交流应用程序上点击“接听”,否则可以挂断;
手机终端2的全息交流应用程序返回“同意”交流的响应;
全息视频交流服务平台向手机终端1的全息交流应用程序返回“同意”交流的响应;
手机终端1的全息交流应用程序向全息视频交流服务平台发起建立上行通道的请求;
全息视频交流服务平台检查用户状态、手机终端以及平台环境等信息后,返回同意建立上行通道的请求;
手机终端1的全息交流应用程序调用操作系统/主板模块打开摄像头(若摄像头没有打开);
手机终端1的全息交流应用程序在手机终端1的摄像头、麦克风、操作系统/主板、2D3D转换模块、全息交流应用程序以及全息视频交流服务平台之间建立起上行的视频、音频交流的通道;
全息视频交流服务平台通知手机终端2的全息交流应用程序应建立下行通道;
手机终端2的全息交流应用程序判断该终端的全息投影模块是否打开,如果没有打开,则通过调用操作系统/主板模块打开全息投影模块(具体交互流程参见下一个流程);
全息视频交流服务平台、手机终端2的全息交流应用程序、2D3D转换模块、操作系统/主板、全息投影模块、扬声器之间建立下行视频、音频交流通道;
全息视频交流服务平台将手机终端1的上行通道和手机终端2的下行通道合并;
手机终端2的全息投影模块全息投影手机终端1的视频。
请参见图13,为移动终端2接受全息交流的流程图:
手机终端2的用户同意接收手机终端1的全息交流之后,手机终端2的全息交流服务应用向全息视频交流服务平台发起建立上行通道的请求,并打开摄像头;
手机终端2的全息交流服务应用在手机终端2的摄像头、麦克风、操作系统/主板、2D3D转换模块、全息交流服务应用以及全息视频交流服务平台之间建立起上行的视频、音频交流的通道;
全息视频交流服务平台通知手机终端1的全息交流服务应用应建立下行通道;
手机终端1的全息交流服务应用判断该终端的全息投影模块是否打开,如果没有打开,则通过调用操作系统/主板模块打开全息投影模块;
全息视频交流服务平台、手机终端1的全息交流服务应用、2D3D转换模块、操作系统/主板、全息投影模块、扬声器之间建立下行视频、音频交流通道;
全息视频交流服务平台将手机终端2的上行通道和手机终端1的下行通道合并;
手机终端1的全息投影模块全息投影手机终端2的视频。
应该理解的是,虽然流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参见图14,本申请一个实施例提供了一种移动终端全息交流装置1400,应用于全息交流系统中的任一移动终端,全息交流系统至少包括:多个移动终端和全息视频交流服务平台;其中,各移动终端至少配置有全息投影模块和全息交流应用程序;该移动终端全息交流装置1400至少包括:响应单元1410和发送单元1420,其中:
该响应单元1410,用户响应于全息交流应用程序的全息交流操控指令,并将全息交流操控指令发送至全息视频交流服务平台;
该发送单元1420,用于接收全息视频交流服务平台发送的全息交流响应信息,并调用全息投影模块对全息交流响应信息对应的内容进行全息投影;其中,全息交流响应信息是指其他移动终端针对交流操控指令响应并发送至全息视频交流服务平台的全息交流信息。
在本申请一个可选实施例中,该响应单元1410具体用于,在当前用户界面显示多个全息交流对象;其中,各全息交流对象对应的移动终端至少配置有全息投影模块和全息交流应用程序;响应于交流选择指令,根据交流选择指令从多个全息交流对象中确定目标全息交流对象;响应于针对目标全息交流对象的全息交流操控指令,并将全息交流操控指令发送至全息视频交流服务平台,以指示全息视频交流服务平台构建与目标全息交流对象对应的目标移动终端的通信通道。
在本申请一个可选实施例中,移动终端还包括:视频维度转换模块;该响应单元1410具体用于,响应于全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频;将二维视频发送至全息视频交流服务平台,以指示全息视频交流服务平台将二维视频发送至对应的移动终端进行全息投影。
在本申请一个可选实施例中,移动终端还配置有辅助信息模块;该响应单元1410具体用于,响应于全息交流应用程序的全息交流操控指令,并调用全息应用程序启动辅助信息模块;其中,辅助信息模块至少包括:图像采集设备;从辅助信息模块中获取第一全息交流视频,并将第一全息交流视频转换为二维视频。
在本申请一个可选实施例中,移动终端还配置有辅助信息模块;该发送单元1420还用于,调用辅助信息模块接收用户语音,将用户语音发送至全息交流应用程序进行格式转换,得到用户语音数据;全息交流应用程序将用户语音数据发送至全息视频交流服务平台,以指示全息视频交流服务平台将用户语音数据发送至对应的移动终端进行播放。
在本申请一个可选实施例中,移动终端还包括:视频维度转换模块;该发送单元1420还用于,调用视频维度转换模块将全息交流响应信息中的第二全息交流视频转换为三维视频;调用全息投影模块对三维视频进行全息投影。
在本申请一个可选实施例中,第二全息交流视频是经过全息视频交流服务平台中视频数字渲染管理模块进行背景抠除后的视频。
关于上述移动终端全息交流装置1400的具体限定可以参见上文中对于移动终端全息交流方法的限定,在此不再赘述。上述移动终端全息交流装置1400中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备的内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现如上的一种移动终端全息交流方法。包括:包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现如上移动终端全息交流方法中的任一步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时可以实现如上移动终端全息交流方法中的任一步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (4)
1.一种移动终端全息交流方法,其特征在于,应用于全息交流系统中的任一移动终端,所述全息交流系统至少包括:多个移动终端和全息视频交流服务平台;其中,各所述移动终端至少配置有全息投影模块和全息交流应用程序,以及用于收发语音信息的辅助信息模块;所述移动终端还包括:视频维度转换模块;所述全息投影模块至少包括:多媒体处理芯片、光源模块和镜头模块,其中:该多媒体处理芯片设置于所述移动终端的主板,用于提供数字人的图像、视频、语音计算和处理中的至少一种;该光源模块设置于所述移动终端的镜头模块,用于为所述数字人的成像提供光源;该镜头模块设置于所述移动终端的镜头模块,用于对所述光源模块发射出的光学进行控制和调整,实现光线的分化和重定向,以实现数字人的投影成像;所述镜头模块至少包括:光栅和镜头;光栅为25.4 毫米外径,3 毫米厚,光谱范围:350nm—2400nm,波前畸变:1/5 wave,波前均匀性:<1/40 wave RMS,空间频率:125 lp/mm —-3600lp/mm;镜头的参数为:分辨率:19201080、可视角度:168/178°、亮度:400cd/㎡、色彩:167.7m;所述移动终端的操作系统用于解码播放数字人视频以及根据数字人视频的实际情况调用全息模块以及扬声器;所述全息交流系统还包括:建模系统、动作捕捉系统、渲染平台,所述建模系统用于根据移动终端或者第三方平台的数字人需求,实时构建与该需求匹配的数字人;所述数字人应用程序与所述移动终端操作系统之间,所述移动终端操作系统与所述全息投影模块之间的协议至少包含:会话ID、消息序、命令类型、消息标记、视频数据和音频数据;其中:所述会话ID为某个数字人的标识ID,或者全息交流应用程序用于标识播放的数字人分配的与某个数字人一一对应的ID;消息序列为同一个会话ID下,需要多个消息传输数字人视频时,标识不同消息的序列ID;命令类型为数字人投影相关的命令类型,至少包括三种命令:打开全息投影模块、投影、关闭全息模块;当为打开全息投影模块和关闭全息投影模块命令时,视频数据、音频数据为0;消息标记主要两种:取1时表明还有后续消息,取0时表明本消息是最后一条消息,如果没有收到关闭的命令,全息投影模块自行关闭;消息体为数字人具体的多媒体数据,包括视频流数据和音频数据流;操作系统收到协议格式的命令时,执行相应的命令:收到打开全息模块命令时,通过移动终端中的主板;操控系统驱动打开全息投影模块;收到投影命令时,将视频数据通过主板发送给全息投影模块,通过辅助信息模块进行投影,将音频数据通过主板发送给辅助信息模块通过扬声器进行播放;收到关闭全息模块命令时,通过主板驱动关闭全息投影模块;所述数字人服务平台还包括:用户管理模块,用于实现各移动终端对应的用户的接入与管控;所述数字人服务平台用于语音信息处理与回复,所述方法包括:
响应于所述全息交流应用程序的全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,包括:响应于所述全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频;将所述二维视频发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台将所述二维视频发送至对应的移动终端进行全息投影;其中,
所述响应于所述全息交流应用程序的全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,包括:在当前用户界面显示多个全息交流对象;其中,各所述全息交流对象对应的移动终端至少配置有所述全息投影模块和所述全息交流应用程序;响应于交流选择指令,根据所述交流选择指令从所述多个全息交流对象中确定目标全息交流对象;响应于针对所述目标全息交流对象的所述全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台构建与所述目标全息交流对象对应的目标移动终端的通信通道;所述响应于所述全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频,包括:响应于所述全息交流应用程序的所述全息交流操控指令,并调用所述全息交流应用程序启动所述辅助信息模块;其中,所述辅助信息模块至少包括:图像采集设备;从所述辅助信息模块中获取所述第一全息交流视频,并将所述第一全息交流视频转换为所述二维视频;
接收所述全息视频交流服务平台发送的全息交流响应信息,并调用所述全息投影模块对所述全息交流响应信息对应的内容进行全息投影,包括:调用所述视频维度转换模块将所述全息交流响应信息中的第二全息交流视频转换为三维视频;调用所述全息投影模块对所述三维视频进行全息投影;所述第二全息交流视频是经过所述全息视频交流服务平台中视频数字渲染管理模块进行背景抠除后的视频;
其中,所述全息交流响应信息是指其他移动终端针对所述交流操控指令响应并发送至所述全息视频交流服务平台的全息交流信息;其中,所述全息交流信息是指另一移动设备中用户产生并转换为可传输的动作信息、语音信息、图像或视频信息,所述全息交流信息通过移动终端进行采集并通过所述全息交流应用程序发送至所述全息视频交流服务平台;
调用所述辅助信息模块接收用户语音,将所述用户语音发送至所述全息交流应用程序进行格式转换,得到用户语音数据;
所述全息交流应用程序将所述用户语音数据发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台将所述用户语音数据发送至对应的移动终端进行播放;其中,所述全息视频交流服务平台至少包括:业务管理模块和业务逻辑模块,其中:
所述业务管理模块包括:用户管理模块、终端管理模块,其中:用户管理模块用于实现注册用户、具备全息视频交流能力终端用户及其通讯录的管理,包括用户ID、终端ID、用户基本信息及其通讯录的管理;所述终端管理模块用于实现具备全息视频交流能力终端信息及型号的管理,以及用户相应终端信息的管理,包括终端ID、终端型号、版本信息;
所述业务逻辑模块用于实现用户之间全息视频交流的业务逻辑,包括:
用于实现用户之间全息视频通道的建立的视频通道管理模块、用于实现用户之间全息交流音频通道的建立的音频通道管理、用于实现用户人体图像的提取的视频数字渲染管理,当用户选择渲染时,所述视频数字渲染管理能够去除用户交流时的背景信息,只保留用户当前人体图像相关信息,以保证用户的隐私信息以及环境、用于实现用户之间全息视频交流的业务逻辑,包括启动、停止,用户状态的判断的交互逻辑模块其中,所述用户状态的判断至少包括是否在线、是否接听、是否挂断。
2.一种移动终端全息交流装置,其特征在于,应用于全息交流系统中的任一移动终端,所述全息交流系统至少包括:多个移动终端和全息视频交流服务平台;其中,各所述移动终端至少配置有全息投影模块和全息交流应用程序,以及用于收发语音信息的辅助信息模块;所述移动终端还包括:视频维度转换模块;所述全息投影模块至少包括:多媒体处理芯片、光源模块和镜头模块,其中:该多媒体处理芯片设置于所述移动终端的主板,用于提供数字人的图像、视频、语音计算和处理中的至少一种;该光源模块设置于所述移动终端的镜头模块,用于为所述数字人的成像提供光源;该镜头模块设置于所述移动终端的镜头模块,用于对所述光源模块发射出的光学进行控制和调整,实现光线的分化和重定向,以实现数字人的投影成像;所述镜头模块至少包括:光栅和镜头;光栅为25.4 毫米外径,3 毫米厚,光谱范围:350nm—2400nm,波前畸变:1/5 wave,波前均匀性:<1/40 wave RMS,空间频率:125 lp/mm —-3600lp/mm;镜头的参数为:分辨率:19201080、可视角度:168/178°、亮度:400cd/㎡、色彩:167.7m;所述移动终端的操作系统用于解码播放数字人视频以及根据数字人视频的实际情况调用全息模块以及扬声器;所述全息交流系统还包括:建模系统、动作捕捉系统、渲染平台,所述建模系统用于根据移动终端或者第三方平台的数字人需求,实时构建与该需求匹配的数字人;所述数字人应用程序与所述移动终端操作系统之间,所述移动终端操作系统与所述全息投影模块之间的协议至少包含:会话ID、消息序、命令类型、消息标记、视频数据和音频数据;其中:所述会话ID为某个数字人的标识ID,或者全息交流应用程序用于标识播放的数字人分配的与某个数字人一一对应的ID;消息序列为同一个会话ID下,需要多个消息传输数字人视频时,标识不同消息的序列ID;命令类型为数字人投影相关的命令类型,至少包括三种命令:打开全息投影模块、投影、关闭全息模块;当为打开全息投影模块和关闭全息投影模块命令时,视频数据、音频数据为0;消息标记主要两种:取1时表明还有后续消息,取0时表明本消息是最后一条消息,如果没有收到关闭的命令,全息投影模块自行关闭;消息体为数字人具体的多媒体数据,包括视频流数据和音频数据流;操作系统收到协议格式的命令时,执行相应的命令:收到打开全息模块命令时,通过移动终端中的主板;操控系统驱动打开全息投影模块;收到投影命令时,将视频数据通过主板发送给全息投影模块,通过辅助信息模块进行投影,将音频数据通过主板发送给辅助信息模块通过扬声器进行播放;收到关闭全息模块命令时,通过主板驱动关闭全息投影模块;所述数字人服务平台还包括:用户管理模块,用于实现各移动终端对应的用户的接入与管控;所述数字人服务平台用于语音信息处理与回复,所述装置包括:
响应单元,用户响应于所述全息交流应用程序的全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,包括:响应于所述全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频;将所述二维视频发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台将所述二维视频发送至对应的移动终端进行全息投影;其中,
所述响应于所述全息交流应用程序的全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,包括:在当前用户界面显示多个全息交流对象;其中,各所述全息交流对象对应的移动终端至少配置有所述全息投影模块和所述全息交流应用程序;响应于交流选择指令,根据所述交流选择指令从所述多个全息交流对象中确定目标全息交流对象;响应于针对所述目标全息交流对象的所述全息交流操控指令,并将所述全息交流操控指令发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台构建与所述目标全息交流对象对应的目标移动终端的通信通道;所述响应于所述全息交流应用程序的全息交流操控指令,将获取的第一全息交流视频转换为二维视频,包括:响应于所述全息交流应用程序的所述全息交流操控指令,并调用所述全息交流应用程序启动所述辅助信息模块;其中,所述辅助信息模块至少包括:图像采集设备;从所述辅助信息模块中获取所述第一全息交流视频,并将所述第一全息交流视频转换为所述二维视频;
接收所述全息视频交流服务平台发送的全息交流响应信息,并调用所述全息投影模块对所述全息交流响应信息对应的内容进行全息投影,包括:调用所述视频维度转换模块将所述全息交流响应信息中的第二全息交流视频转换为三维视频;调用所述全息投影模块对所述三维视频进行全息投影;所述第二全息交流视频是经过所述全息视频交流服务平台中视频数字渲染管理模块进行背景抠除后的视频;
其中,所述全息交流响应信息是指其他移动终端针对所述交流操控指令响应并发送至所述全息视频交流服务平台的全息交流信息;其中,所述全息交流信息是指另一移动设备中用户产生并转换为可传输的动作信息、语音信息、图像或视频信息,所述全息交流信息通过移动终端进行采集并通过所述全息交流应用程序发送至所述全息视频交流服务平台;
调用所述辅助信息模块接收用户语音,将所述用户语音发送至所述全息交流应用程序进行格式转换,得到用户语音数据;
所述全息交流应用程序将所述用户语音数据发送至所述全息视频交流服务平台,以指示所述全息视频交流服务平台将所述用户语音数据发送至对应的移动终端进行播放;其中,所述全息视频交流服务平台至少包括:业务管理模块和业务逻辑模块,其中:
所述业务管理模块包括:用户管理模块、终端管理模块,其中:用户管理模块用于实现注册用户、具备全息视频交流能力终端用户及其通讯录的管理,包括用户ID、终端ID、用户基本信息及其通讯录的管理;所述终端管理模块用于实现具备全息视频交流能力终端信息及型号的管理,以及用户相应终端信息的管理,包括终端ID、终端型号、版本信息;
所述业务逻辑模块用于实现用户之间全息视频交流的业务逻辑,包括:
用于实现用户之间全息视频通道的建立的视频通道管理模块、用于实现用户之间全息交流音频通道的建立的音频通道管理、用于实现用户人体图像的提取的视频数字渲染管理,当用户选择渲染时,所述视频数字渲染管理能够去除用户交流时的背景信息,只保留用户当前人体图像相关信息,以保证用户的隐私信息以及环境、用于实现用户之间全息视频交流的业务逻辑,包括启动、停止,用户状态的判断的交互逻辑模块其中,所述用户状态的判断至少包括是否在线、是否接听、是否挂断。
3.一种计算机设备,包括:包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1所述方法的步骤。
4.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311475641.8A CN117215416B (zh) | 2023-11-08 | 2023-11-08 | 移动终端全息交流方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311475641.8A CN117215416B (zh) | 2023-11-08 | 2023-11-08 | 移动终端全息交流方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117215416A CN117215416A (zh) | 2023-12-12 |
CN117215416B true CN117215416B (zh) | 2024-05-07 |
Family
ID=89046596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311475641.8A Active CN117215416B (zh) | 2023-11-08 | 2023-11-08 | 移动终端全息交流方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117215416B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297501A (zh) * | 2013-05-07 | 2013-09-11 | 杭州玄鸟数字技术有限公司 | 全息投影实时交互系统 |
CN106951085A (zh) * | 2017-03-22 | 2017-07-14 | 青岛中鉴高科信息有限公司 | 一种基于多模态生物识别技术的远程实时交互系统 |
CN108037829A (zh) * | 2017-12-13 | 2018-05-15 | 北京光年无限科技有限公司 | 基于全息设备的多模态交互方法及系统 |
CN207408933U (zh) * | 2017-07-19 | 2018-05-25 | 讯飞幻境(北京)科技有限公司 | 多媒体全息投影装置及多媒体全息投影设备 |
CN109241924A (zh) * | 2018-09-18 | 2019-01-18 | 宁波众鑫网络科技股份有限公司 | 基于互联网的多平台信息交互系统 |
CN109688402A (zh) * | 2017-10-18 | 2019-04-26 | 上海幻电信息科技有限公司 | 一种基于全息影像的交互方法、客户端及系统 |
CN112669422A (zh) * | 2021-01-07 | 2021-04-16 | 深圳追一科技有限公司 | 仿真3d数字人生成方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112562433B (zh) * | 2020-12-30 | 2021-09-07 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统的工作方法 |
-
2023
- 2023-11-08 CN CN202311475641.8A patent/CN117215416B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297501A (zh) * | 2013-05-07 | 2013-09-11 | 杭州玄鸟数字技术有限公司 | 全息投影实时交互系统 |
CN106951085A (zh) * | 2017-03-22 | 2017-07-14 | 青岛中鉴高科信息有限公司 | 一种基于多模态生物识别技术的远程实时交互系统 |
CN207408933U (zh) * | 2017-07-19 | 2018-05-25 | 讯飞幻境(北京)科技有限公司 | 多媒体全息投影装置及多媒体全息投影设备 |
CN109688402A (zh) * | 2017-10-18 | 2019-04-26 | 上海幻电信息科技有限公司 | 一种基于全息影像的交互方法、客户端及系统 |
CN108037829A (zh) * | 2017-12-13 | 2018-05-15 | 北京光年无限科技有限公司 | 基于全息设备的多模态交互方法及系统 |
CN109241924A (zh) * | 2018-09-18 | 2019-01-18 | 宁波众鑫网络科技股份有限公司 | 基于互联网的多平台信息交互系统 |
CN112669422A (zh) * | 2021-01-07 | 2021-04-16 | 深圳追一科技有限公司 | 仿真3d数字人生成方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117215416A (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220163932A1 (en) | Device control page display method, related apparatus, and system | |
CN112988102B (zh) | 投屏方法和装置 | |
WO2018095173A1 (zh) | 人脸交换方法、装置、主播终端及观众终端 | |
KR20170091913A (ko) | 영상 서비스 제공 방법 및 장치 | |
CN114040242B (zh) | 投屏方法、电子设备和存储介质 | |
CN108632633A (zh) | 一种网络直播的数据处理方法和装置 | |
CN113687803A (zh) | 投屏方法、投屏源端、投屏目的端、投屏系统及存储介质 | |
CN105493501A (zh) | 虚拟视觉相机 | |
US20220239718A1 (en) | Communication Protocol Switching Method, Apparatus, and System | |
CN112527174B (zh) | 一种信息处理方法及电子设备 | |
CN108632632A (zh) | 一种网络直播的数据处理方法和装置 | |
CN103870434B (zh) | 集成音频和视频会议能力 | |
CN112799891B (zh) | iOS设备测试方法、装置、系统、存储介质及计算机设备 | |
CN108635863A (zh) | 一种网络直播的数据处理方法和装置 | |
CN110475126A (zh) | 一种用于媒体内容共享过程的界面适配方法 | |
JP2018515979A (ja) | 通信処理方法及び電子装置 | |
CN104698728A (zh) | 微型投影装置及其操作方法和操作装置 | |
US20240094972A1 (en) | Page Display Method and Apparatus, Electronic Device, and Readable Storage Medium | |
WO2022160985A1 (zh) | 一种分布式拍摄方法,电子设备及介质 | |
CN117221503A (zh) | 数字人移动终端全息投影系统 | |
CN117215416B (zh) | 移动终端全息交流方法、装置、计算机设备和存储介质 | |
CN114640747A (zh) | 一种通话方法、相关设备和系统 | |
CN115242994B (zh) | 视频通话系统、方法和装置 | |
CN115550559B (zh) | 视频画面显示方法、装置、设备和存储介质 | |
WO2022267640A1 (zh) | 视频共享方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |