CN113010133B - 一种数据显示方法 - Google Patents

一种数据显示方法 Download PDF

Info

Publication number
CN113010133B
CN113010133B CN202110379300.5A CN202110379300A CN113010133B CN 113010133 B CN113010133 B CN 113010133B CN 202110379300 A CN202110379300 A CN 202110379300A CN 113010133 B CN113010133 B CN 113010133B
Authority
CN
China
Prior art keywords
projection
terminal
multimedia data
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110379300.5A
Other languages
English (en)
Other versions
CN113010133A (zh
Inventor
滕彩峰
郭亮
蒙诗尧
黎琦
唐伟为
毛锴
余妮婷
林雨
陈新铭
冯超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110379300.5A priority Critical patent/CN113010133B/zh
Publication of CN113010133A publication Critical patent/CN113010133A/zh
Application granted granted Critical
Publication of CN113010133B publication Critical patent/CN113010133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

本申请实施例公开了一种数据显示方法,该方法包括:投影客户端获取多媒体数据以及动态显示方式;投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。采用本申请,可以提高数据显示的效果,提高投影客户端与用户之间进行交互的便捷性,减少投影客户端与用户交互所耗费的资源。

Description

一种数据显示方法
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据显示方法。
背景技术
随着互联网科技的发展,越来越多的设备实现了与用户之间的人机交互,能与用户进行互动的互动式投影机也越来越普及,该互动式投影机可以捕捉用户的动作,使得用户可以与互动式投影机所投影的虚拟场景进行互动。目前,一般是使用互动式投影机产生虚拟图面,使用深度摄影机检测虚拟图面上的物件,将该物件投影出虚拟场景,检测对应于虚拟图面的绘图操作,在虚拟图面上产生区块,这样就造成当用户需要在虚拟图面上显示某个物件时,需要将该物件或该物件的模型放置于虚拟图面上,使得用户与互动式投影机的交互较为复杂,而且对于虚拟图面上增加的内容的显示效果较为简单。
发明内容
本申请实施例提供了一种数据显示方法,可以提高对数据显示的效果,提高投影客户端与用户之间进行交互的便捷性,减少投影客户端与用户交互所耗费的资源。
本申请实施例一方面提供了一种数据显示方法,该方法包括:
投影客户端获取多媒体数据以及动态显示方式;
投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。
其中,投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端获取绘画终端发送的多媒体数据以及动态显示方式;或者,
投影客户端响应针对目标标签组件的触发操作,获取目标标签组件对应的目标标签视频流,基于目标标签视频流确定多媒体数据及动态显示方式,将多媒体数据发送至绘画终端,以使绘画终端基于多媒体数据生成终端显示内容;目标标签组件是指与投影客户端关联的组件,用于触发目标标签视频流的获取及显示。
其中,投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端响应针对目标容器的物品添加操作,基于物品添加操作获取在目标容器中添加的目标物品,获取目标物品对应的物品展示视频流,基于物品展示视频流确定多媒体数据及动态显示方式;目标容器为放置于平面区域中的容器。
其中,动态显示方式包括动态显示方向,终端显示内容是指多媒体数据在绘画终端的终端显示区域中,沿动态显示方向进行移动直至消失的内容;投影画面内容是指多媒体数据在终端显示区域中消失时,多媒体数据在目标投影区域中开始显示的内容。
其中,投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域,包括:
投影客户端获取绘画终端与投影客户端之间的终端相对位置,基于终端相对位置在投影客户端中添加遮罩层;
投影客户端按照动态显示方式,透过遮罩层将多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;目标投影区域是基于遮罩层所形成的区域。
其中,投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端显示动态背景视频流,监测至少一个标签组件;至少一个标签组件与投影客户端相关联,用于触发对应的标签视频流的获取及显示;
当投影客户端监测到针对至少一个标签组件中的目标标签组件的触发操作时,响应针对目标标签组件的触发操作,向目标服务器发送目标标签组件对应的目标功能标签,以使目标服务器获取目标功能标签对应的目标标签视频流;
获取目标服务器发送的目标标签视频流,基于目标标签视频流确定多媒体数据及动态显示方式。
其中,投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端监测至少一个标签组件;至少一个标签组件与投影客户端相关联,用于触发对应的标签视频流的获取及显示;
当投影客户端监测到针对至少一个标签组件中的确认标签组件的触发操作时,响应针对确认标签组件的触发操作,向绘画终端发送数据获取请求;
投影客户端获取绘画终端基于数据获取请求发送的多媒体数据及动态显示方式。
其中,投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端获取绘画终端发送的多媒体数据及终端切换速度;
投影客户端获取多媒体数据的数据显示时间,根据终端切换速度及数据显示时间确定动态显示方式。
其中,根据终端切换速度及数据显示时间确定动态显示方式,包括:
将终端切换速度确定为投影显示速度,根据投影显示速度及数据显示时间确定动态显示方式;或者,
获取平面区域的尺寸,基于平面区域的尺寸确定数据移动距离,将终端切换速度确定为初始速度,根据初始速度、数据移动距离及数据显示时间确定投影显示加速度,根据初始速度、投影显示加速度及数据显示时间确定动态显示方式。
其中,该方法还包括:
当投影客户端启动时,投影客户端向目标服务器发送投影启动请求,以使目标服务器基于投影启动请求启动投影服务端口;
基于投影服务端口建立投影客户端与目标服务器之间的网络连接,网络连接用于为目标服务器与投影客户端之间提供数据交互;
投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端基于投影服务端口从目标服务器中获取多媒体数据以及动态显示方式;多媒体数据以及动态显示方式存储于目标服务器,或者是由目标服务器从绘画终端中获取的。
其中,投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端采集手势移动轨迹,基于手势移动轨迹确定对多媒体数据的动态显示方向;
基于动态显示方向获取绘画终端发送的多媒体数据及动态显示方式。
其中,投影客户端采集手势移动轨迹,基于手势移动轨迹确定对多媒体数据的动态显示方向,包括:
投影客户端采集第i个图像帧数据,对第i个图像帧数据进行识别,得到第i个手势位置信息;i为正整数;
基于第i个图像帧数据的采集时间戳及第i个手势位置信息,得到手势移动数组中的第i个数组参数,直至得到手势移动数组;手势移动数组包括N个数组参数,每个数组参数包括图像帧数据及手势位置信息,N为正整数,i小于或等于N;手势移动数组用于表示手势移动轨迹;
获取手势移动数组中每相邻两个采集时间戳之间的时间间隔;
若时间间隔均小于或等于手势连续阈值,则获取手势移动数组中第1个手势位置信息与第N个手势位置信息之间的手势位置差值,基于手势位置差值确定对终端绘制数据的动态显示方向。
本申请实施例一方面提供了一种数据显示方法,该方法包括:
绘画终端获取多媒体数据及动态显示方式;
绘画终端按照动态显示方式,对与多媒体数据相关联的终端显示内容进行动态显示;绘画终端放置于用于投影客户端进行投影的平面区域中,平面区域属于投影客户端的可投影范围区域;终端显示内容与投影画面内容,共同完成动态显示方式所指示的动态显示效果;投影画面内容是投影客户端投影至平面区域中的目标投影区域的内容,目标投影区域为平面区域中除绘画终端所在的区域之外的区域。
其中,绘画终端获取多媒体数据及动态显示方式,包括:
绘画终端调用画布功能对绘画终端中显示的数据进行绘制处理,生成多媒体数据,获取动态显示方式;
该方法还包括:
基于画布功能对多媒体数据进行编码处理,得到多媒体数据的数据编码,以数据编码的形式将多媒体数据发送至投影客户端,以使投影客户端将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域。
其中,动态显示方式包括终端切换速度及动态显示方向;
绘画终端按照动态显示方式,对与多媒体数据相关联的终端显示内容进行动态显示,包括:
绘画终端进行第j次清屏处理,对多媒体数据进行第j次重绘处理;j为正整数;
绘画终端进行第(j+1)次清屏处理,基于终端切换速度对多媒体数据进行第(j+1)次重绘处理;第(j+1)次重绘处理的多媒体数据在绘画终端中的显示位置是基于在第j次重绘处理的终端绘制数据在绘画终端中的显示位置以及动态显示方向所确定的;
当多媒体数据的显示位置位于绘画终端的终端显示区域外时,绘画终端结束对多媒体数据的显示;多媒体数据从开始显示到消失的内容组成终端显示内容。
本申请实施例一方面提供了一种数据显示装置,该装置包括:
投影数据获取模块,用于投影客户端获取多媒体数据以及动态显示方式;
数据投影模块,用于投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。
其中,该投影数据获取模块包括:
绘画获取单元,用于投影客户端获取绘画终端发送的多媒体数据以及动态显示方式;或者,
组件触发单元,用于投影客户端响应针对目标标签组件的触发操作,获取目标标签组件对应的目标标签视频流,基于目标标签视频流确定多媒体数据及动态显示方式,将多媒体数据发送至绘画终端,以使绘画终端基于多媒体数据生成终端显示内容;目标标签组件是指与投影客户端关联的组件,用于触发目标标签视频流的获取及显示。
其中,该投影数据获取模块,包括:
物品添加单元,用于投影客户端响应针对目标容器的物品添加操作,基于物品添加操作获取在目标容器中添加的目标物品,获取目标物品对应的物品展示视频流,基于物品展示视频流确定多媒体数据及动态显示方式;目标容器为放置于平面区域中的容器。
其中,动态显示方式包括动态显示方向,终端显示内容是指多媒体数据在绘画终端的终端显示区域中,沿动态显示方向进行移动直至消失的内容;投影画面内容是指多媒体数据在终端显示区域中消失时,多媒体数据在目标投影区域中开始显示的内容。
其中,该数据投影模块,包括:
遮罩添加单元,用于投影客户端获取绘画终端与投影客户端之间的终端相对位置,基于终端相对位置在投影客户端中添加遮罩层;
遮罩投影单元,用于投影客户端按照动态显示方式,透过遮罩层将多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;目标投影区域是基于遮罩层所形成的区域。
其中,该投影数据获取模块,包括:
组件监测单元,用于投影客户端显示动态背景视频流,监测至少一个标签组件;至少一个标签组件与投影客户端相关联,用于触发对应的标签视频流的获取及显示;
标签获取单元,用于当投影客户端监测到针对至少一个标签组件中的目标标签组件的触发操作时,响应针对目标标签组件的触发操作,向目标服务器发送目标标签组件对应的目标功能标签,以使目标服务器获取目标功能标签对应的目标标签视频流;
视频获取单元,用于获取目标服务器发送的目标标签视频流,基于目标标签视频流确定多媒体数据及动态显示方式。
其中,该投影数据获取模块,包括:
该组件监测单元,还用于投影客户端监测至少一个标签组件;至少一个标签组件与投影客户端相关联,用于触发对应的标签视频流的获取及显示;
数据请求单元,用于当投影客户端监测到针对至少一个标签组件中的确认标签组件的触发操作时,响应针对确认标签组件的触发操作,向绘画终端发送数据获取请求;
该绘画获取单元,还用于投影客户端获取绘画终端基于数据获取请求发送的多媒体数据及动态显示方式。
其中,该投影数据获取模块,包括:
参数获取单元,用于投影客户端获取绘画终端发送的多媒体数据及终端切换速度;
方式确定单元,用于投影客户端获取多媒体数据的数据显示时间,根据终端切换速度及数据显示时间确定动态显示方式。
其中,该方式确定单元用于根据终端切换速度及数据显示时间确定动态显示方式时,包括:
速度确定子单元,用于将终端切换速度确定为投影显示速度,根据投影显示速度及数据显示时间确定动态显示方式;或者,
加速度确定子单元,用于获取平面区域的尺寸,基于平面区域的尺寸确定数据移动距离,将终端切换速度确定为初始速度,根据初始速度、数据移动距离及数据显示时间确定投影显示加速度,根据初始速度、投影显示加速度及数据显示时间确定动态显示方式。
其中,该装置还包括:
投影启动模块,用于当投影客户端启动时,投影客户端向目标服务器发送投影启动请求,以使目标服务器基于投影启动请求启动投影服务端口;
连接建立模块,用于基于投影服务端口建立投影客户端与目标服务器之间的网络连接,网络连接用于为目标服务器与投影客户端之间提供数据交互;
该投影数据获取模块,包括:
端口传输单元,用于投影客户端基于投影服务端口从目标服务器中获取多媒体数据以及动态显示方式;多媒体数据以及动态显示方式存储于目标服务器,或者是由目标服务器从绘画终端中获取的。
其中,该投影数据获取模块,包括:
手势采集单元,用于投影客户端采集手势移动轨迹,基于手势移动轨迹确定对多媒体数据的动态显示方向;
手势确定单元,用于基于动态显示方向获取绘画终端发送的多媒体数据及动态显示方式。
其中,该手势采集单元,包括:
图像识别子单元,用于投影客户端采集第i个图像帧数据,对第i个图像帧数据进行识别,得到第i个手势位置信息;i为正整数;
数组生成子单元,用于基于第i个图像帧数据的采集时间戳及第i个手势位置信息,得到手势移动数组中的第i个数组参数,直至得到手势移动数组;手势移动数组包括N个数组参数,每个数组参数包括图像帧数据及手势位置信息,N为正整数,i小于或等于N;手势移动数组用于表示手势移动轨迹;
时间获取子单元,用于获取手势移动数组中每相邻两个采集时间戳之间的时间间隔;
方向确定子单元,用于若时间间隔均小于或等于手势连续阈值,则获取手势移动数组中第1个手势位置信息与第N个手势位置信息之间的手势位置差值,基于手势位置差值确定对终端绘制数据的动态显示方向。
本申请实施例一方面提供了一种数据显示装置,该装置包括:
绘画数据获取模块,用于绘画终端获取多媒体数据及动态显示方式;
数据显示模块,用于绘画终端按照动态显示方式,对与多媒体数据相关联的终端显示内容进行动态显示;绘画终端放置于用于投影客户端进行投影的平面区域中,平面区域属于投影客户端的可投影范围区域;终端显示内容与投影画面内容,共同完成动态显示方式所指示的动态显示效果;投影画面内容是投影客户端投影至平面区域中的目标投影区域的内容,目标投影区域为平面区域中除绘画终端所在的区域之外的区域。
其中,该绘画数据获取模块,具体用于:
绘画终端调用画布功能对绘画终端中显示的数据进行绘制处理,生成多媒体数据,获取动态显示方式;
该装置还包括:
数据编码模块,用于基于画布功能对多媒体数据进行编码处理,得到多媒体数据的数据编码,以数据编码的形式将多媒体数据发送至投影客户端,以使投影客户端将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域。
其中,动态显示方式包括终端切换速度及动态显示方向;
该数据显示模块,包括:
动态显示单元,用于绘画终端进行第j次清屏处理,对多媒体数据进行第j次重绘处理;j为正整数;
该动态显示单元,还用于绘画终端进行第(j+1)次清屏处理,基于终端切换速度对多媒体数据进行第(j+1)次重绘处理;第(j+1)次重绘处理的多媒体数据在绘画终端中的显示位置是基于在第j次重绘处理的终端绘制数据在绘画终端中的显示位置以及动态显示方向所确定的;
显示结束单元,用于当多媒体数据的显示位置位于绘画终端的终端显示区域外时,绘画终端结束对多媒体数据的显示;多媒体数据从开始显示到消失的内容组成终端显示内容。
本申请实施例一方面提供了一种计算机设备,包括处理器、存储器、输入输出接口;
处理器分别与存储器和输入输出接口相连,其中,输入输出接口用于接收数据及输出数据,存储器用于存储计算机程序,处理器用于调用该计算机程序,以使包含该处理器的计算机设备执行本申请实施例一方面中的数据显示方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例一方面中的数据显示方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例一方面中的各种可选方式中提供的方法。
实施本申请实施例,将具有如下有益效果:
在本申请实施例中,投影客户端获取多媒体数据以及动态显示方式;投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。通过该方式,用户无需获取需要显示的物件或该物件的模型,也可以实现对物件的显示,提高投影客户端与用户之间交互的便捷性,减少投影客户端与用户交互所耗费的资源,而且可以实现在绘画终端及投影客户端均显示多媒体数据,且绘画终端中所显示的内容与投影客户端中所显示的内容可以完成动态显示方式所指示的动态显示效果,使得用户可以更为直观地查看到多媒体数据的动态显示效果,使得多媒体数据在绘画终端与投影客户端中的显示效果更为流畅。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种数据显示的网络交互架构图;
图1b是本申请实施例提供的另一种数据显示的网络交互架构图;
图2是本申请实施例提供的一种数据显示场景示意图;
图3是本申请实施例提供的一种数据显示的方法流程图;
图4a是本申请实施例提供的一种多媒体数据确定场景示意图;
图4b是本申请实施例提供的另一种多媒体数据确定场景示意图;
图5是本申请实施例提供了一种物品添加场景的数据显示示意图;
图6是本申请实施例提供的一种多媒体数据投影场景示意图;
图7是本申请实施例提供的另一种数据显示的方法流程图;
图8是本申请实施例提供的一种多媒体数据显示场景示意图;
图9是本申请实施例提供的一种数据显示交互流程示意图;
图10是本申请实施例提供的一种终端交互场景示意图;
图11是本申请实施例提供的一种数据显示装置示意图;
图12是本申请实施例提供的一种数据显示装置示意图;
图13是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中,本申请实施例可以是由绘画终端及投影客户端等组成,也可以是由绘画终端、投影客户端及目标服务器等组成。其中,绘画终端(Ipad Client)可以通过在该绘画终端中访问目标服务器的绘画服务端口打开绘画页面,该绘画页面可用于用户进行写字或绘画等;投影客户端(Screen Client)可以调用投影服务端口,将多媒体数据投影到平面区域呈现特定动效,如动态背景视频流或按照动态显示方式确定的多媒体数据相关联的投影画面内容等;目标服务器(Server)用于处理绘画终端传入的图片或文字等,响应投影客户端的请求等。具体的,请参见图1a,图1a是本申请实施例提供的一种数据显示的网络交互架构图,该数据显示系统包括目标服务器101及终端设备等,如终端设备102a、终端设备102b及终端设备102c等,该终端设备可以包括绘画终端及投影客户端,其中,目标服务器101可以与终端设备之间进行数据交互,投影客户端与绘画终端可以基于目标服务器101进行数据交互。可选的,该目标服务器101可以与一个绘画终端及一个投影客户端之间进行数据交互,也可以与至少两个绘画终端及一个投影客户端之间进行数据交互,还可以与至少两个绘画终端及至少两个投影客户端之间进行数据交互,在此不做限制。如图1a中所示,该终端设备102a为投影客户端,该终端设备102b及终端设备102c为绘画终端,则用户可以基于终端设备102b或终端设备102c进行控制,实现对多媒体数据在绘画终端(终端设备102b及终端设备102c等)与投影客户端之间的动态显示,例如,用户可以在终端设备102b及终端设备102c中进行绘制,终端设备102a可以将终端设备102b中所绘制的内容及终端设备102c中所绘制的内容进行投影显示;或者,终端设备102a为绘画终端,该终端设备102b及终端设备102c为投影客户端,则用户可以基于终端设备102a同时控制终端设备102b及终端设备102c,或者,基于终端设备102a控制终端设备102b及终端设备102c中的任意一个等,例如,各个投影客户端可以携带投影标识,用户可以基于该投影标识选择将多媒体数据投影至哪个投影客户端对应的平面区域。
举例来说,以一个投影客户端及一个绘画终端为例,假定终端设备102a为投影客户端,终端设备102b为绘画终端,则用户可以在绘画终端中进行绘制,绘画终端可以根据绘制的内容生成多媒体数据,将多媒体数据发送至目标服务器101,目标服务器101可以向绘画终端及投影客户端发送指令,以使绘画终端及投影客户端可以对多媒体数据进行动态显示,并且该多媒体数据在绘画终端中的动态显示过程与在投影客户端的平面区域中的动态显示过程,可以组成一个视频流。
其中,请参图1b,图1b是本申请实施例提供的另一种数据显示的网络交互架构图。如图1b所示,该数据显示系统可以包括绘画终端及投影客户端等,即绘画终端可以与投影客户端之间直接进行数据交互。可选的,一个投影客户端可以连接一个绘画终端,或者一个投影客户端同时连接至少两个绘画终端,或者至少两个投影客户端连接一个绘画终端,或者至少两个投影客户端与至少两个绘画终端之间进行数据交互等。如图1b中的终端设备103a为绘画终端,终端设备103b及终端设备103c为投影客户端,用户可以基于终端设备103a同时控制终端设备103b及终端设备103c,或者控制终端设备103b或终端设备103c中的任意一个;假定终端设备103a为投影客户端,终端设备103b及终端设备103c为绘画终端,用户可以在终端设备103b或终端设备103c中绘制内容,终端设备103a可以获取并显示终端设备103b或终端设备103c中所绘制的内容。
具体的,请参见图2,图2是本申请实施例提供的一种数据显示场景示意图。如图2所示,该数据显示系统可以包括绘画终端201、目标服务器202及投影客户端203等,可选的,该数据显示系统还可以包括数据雕刻终端206。其中,该投影客户端203所关联的平面区域204可以是与该投影客户端203为一体的,换句话说,该平面区域204为投影客户端203的显示平面;该平面区域204也可以是独立于投影客户端203的一个显示平面,该平面区域204位于投影客户端203的可投影范围区域内,该平面区域204可以是任意一种可以显示或者用于投影的平面,例如,该平面区域204可以是显示屏、家具表面(如桌面及床面等)、墙壁或地板等,在此不做限制。其中,图2是以平面区域204也可以是独立于投影客户端203的一个显示平面为例。
其中,用户可以在绘画终端201中绘制数据,记作终端绘制数据,绘画终端201可以对该终端绘制数据进行绘制处理,生成多媒体数据,通过目标服务器202向投影客户端203发送多媒体数据。投影客户端203获取多媒体数据及动态显示方式,按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域204中的目标投影区域,该目标投影区域是指平面区域204中除绘画终端201所在区域之外的区域,同时,绘画终端201也会在该绘画终端201的终端显示区域中显示与多媒体数据相关联的终端显示内容。其中,该终端显示内容与投影画面内容共同完成动态显示方式所指示的动态显示效果,实现将多媒体数据由绘画终端201中流入平面区域204的动态显示效果,以提高数据显示的效果,提高与用户交互的灵活性。
其中,投影客户端203也可以监测与投影客户端203相关联的至少一个标签组件,获取被触发的标签组件对应的标签视频流,将被触发的标签组件对应的标签视频流记作多媒体数据,并获取动态显示方式,将多媒体数据投影至平面区域204中的目标投影区域。可选的,投影客户端203可以通过目标服务器202向绘画终端201发送该被触发的标签组件对应的标签视频流(即多媒体数据),该绘画终端201可显示该标签视频流。
其中,投影客户端203、目标服务器202及绘画终端201等之间可以是通过建立各个设备之间的网络连接实现数据交互的。其中,在投影客户端203与目标服务器202之间建立有线网络连接,在目标服务器202与绘画终端201之间建立有线网络连接,在目标服务器202与数据雕刻终端206之间建立有线网络连接,其中,各个设备之间所建立的有线网络连接对应的连接线路可以置于用户的视野盲区,例如,该平面区域204为桌面,可以将该连接线路置于桌面下方或在桌子内部铺设线路等,使得该连接线路不会影响用户的使用,不会遮挡用户的视线;或者,可以在投影客户端203与目标服务器202之间建立无线互联网连接,在目标服务器202与绘画终端201之间建立无线互联网连接,在目标服务器202与数据雕刻终端206之间建立无线互联网连接,该无线互联网连接由于在互联网中传播数据,可能会存在数据延迟,因此可选的,可以在无线互联网的网络质量较好的情况下,建立各个设备(即目标服务器、投影客户端及绘画终端等)之间的无线互联网连接,以提高绘画终端与投影客户端之间数据显示的同步性;或者,可以在投影客户端203与目标服务器202之间建立无线局域网连接,在目标服务器202与绘画终端201之间建立无线局域网连接,在目标服务器202与数据雕刻终端206之间建立无线局域网连接,该无线局域网连接可以有效降低网络延迟,减少数据传输慢及传输不稳定等的问题,同时无需有线的连接线路,提高用户体验,如图2中所示,可以基于路由器205建立各个设备之间的无线局域网连接,实现各个设备之间的数据交互。
可选的,投影客户端203可以与绘画终端201之间直接进行数据交互,即建立投影客户端203与绘画终端201之间的有线网络连接、无线互联网连接或无线局域网连接等。进一步可选的,目标服务器202可以将多媒体数据发送至数据雕刻终端206,数据雕刻终端206可以在数据载体中雕刻该多媒体数据,生成数据雕刻实体,该数据雕刻实体可以作为用户的纪念品;若不存在目标服务器202,则生成或存储多媒体数据的设备可以将该多媒体数据发送至数据雕刻终端206,数据雕刻终端206可以在数据载体中雕刻该多媒体数据,生成数据雕刻实体。
可以理解的是,本申请实施例中所提及的绘画终端可以是一种计算机设备,本申请实施例中的计算机设备包括但不限于终端设备或服务器。换句话说,计算机设备可以是服务器或终端设备,也可以是服务器和终端设备组成的系统。其中,以上所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(Augmented Reality/Virtual Reality,AR/VR)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device,MID),或者火车、轮船、飞行等场景下的终端设备等。其中,以上所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
可选的,本申请实施例中所涉及的数据可以存储在目标服务器中,或者可以基于云存储技术对该数据进行存储;若不存在目标服务器,则本申请实施例中所涉及的数据还可以基于该数据的生成方式存储于对应的设备中,例如,该数据是由绘画终端生成的,则该数据可以存储于绘画终端中,该数据是标签组件对应的数据,则该数据可以存储于投影客户端中等,在此不做限制。
进一步地,请参见图3,图3是本申请实施例提供的一种数据显示的方法流程图。如图3所示,以投影客户端为执行主体,该投影客户端进行数据显示的过程包括如下步骤:
步骤S301,投影客户端获取多媒体数据及动态显示方式。
在本申请实施例中,投影客户端可以获取绘画终端发送的多媒体数据以及动态显示方式,其中,绘画终端可以获取该绘画终端中所绘制的终端绘制数据,根据该终端绘制数据生成多媒体数据,将该多媒体数据发送至投影客户端;或者,投影客户端可以响应针对目标标签组件的触发操作,获取目标标签组件对应的目标标签视频流,基于该目标标签视频流确定多媒体数据及动态显示方式,进一步地,投影客户端可以将该多媒体数据发送至绘画终端,以使绘画终端基于该多媒体数据生成终端显示内容,其中,该目标标签组件是指与投影客户端关联的组件,用于触发目标标签视频流的获取及显示。其中,该投影客户端可以关联至少一个标签组件,每个标签组件对应一个功能标签,不同的功能标签用于触发不同的标签视频流的获取过程或触发从绘画终端中获取多媒体数据的过程等,其中,该至少一个标签组件可以是集成于平面区域中的键盘按键,也可以是集成于平面区域中的控制面板等,在此不做限制。其中,该目标标签组件属于至少一个标签组件。
其中,动态显示方式可以包括动态显示方向,终端显示内容是指多媒体数据在绘画终端的终端显示区域中,沿动态显示方向进行移动直至消失的内容;投影画面内容是指多媒体数据在终端显示区域中消失时,多媒体数据在目标投影区域中开始显示的内容。
举例来说,参见图4a,图4a是本申请实施例提供的一种多媒体数据确定场景示意图。如图4a所示,投影客户端所关联的平面区域401中集成有控制器402,该控制器402包括至少一个标签组件,如标签组件40a、标签组件40b及标签组件40c等,该标签组件可以为键盘按键,其中,假定该标签组件40a对应确认标签这一功能标签,标签组件40b及标签组件40c等对应关联标签视频流的功能标签,则投影客户端响应针对标签组件40a(即确认标签组件)的触发操作,从绘画终端403中获取多媒体数据及动态显示方式;投影客户端响应针对目标标签组件的触发操作,获取该目标标签组件对应的目标标签视频流,基于该目标标签视频流确定多媒体数据及动态显示方式,该目标标签组件为标签组件40b及标签组件40c等中的任意一个标签组件。
参见图4b,图4b是本申请实施例提供的另一种多媒体数据确定场景示意图。如图4b所示,该投影客户端所关联的平面区域404中集成有控制面板405,该控制面板405中包括多个触发控件,一个或至少两个触发控件可以组成一个标签组件。例如,该触发控件可以是标签组件,假定存在红豆标签、茶叶标签及鲤鱼标签等,每个触发控件对应一个功能标签,当该触发控件被触发时,可以认为该触发控件所指示的标签组件被触发。或者,一个或至少两个触发控件可以组成一个标签组件,例如,不同的功能标签通过不同的标签标识进行区分,通过触发的一个或至少两个触发控件组成的标签标识,确定该标签标识所指示的目标标签组件,获取该目标标签组件对应的目标标签视频流,基于该目标标签视频流确定多媒体数据及动态显示方式。举例来说,参见图4b,该控制面板405包括“0至9”分别对应的触发控件、确认控件及提交控件等,其中,提交控件用于确定目标标签组件,主要是由于当标签标识的位数大于或等于2位时,例如,用户依次触发了“1”对应的触发控件及“2”对应的触发控件,如果不设置触发机制,则无法确定触发的目标标签组件是标签标识“1”对应的标签组件,还是标签标识“12”对应的标签组件,可选的,该触发机制也可以是基于触发时间阈值所确定的机制等,在此不做限制。例如,投影客户端依次监测到“1”对应的触发控件及提交控件被触发,则确定针对标签标识“1”所对应的目标标签组件被触发;或者,投影客户端监测到“1”对应的触发控件被触发,经过触发时间阈值对应的时长后,仍未监测到其他触发控件被触发,则确定针对标签标识“1”所对应的目标标签组件被触发等。进一步地,投影客户端可以响应针对确认控件的触发操作,即针对该确认控件对应的确认标签组件的触发操作,从绘画终端406中获取多媒体数据及动态显示方式。
具体的,该投影客户端可以主动从绘画终端中获取多媒体数据,也可以是由绘画终端主动向投影客户端所发送的。该投影客户端在满足数据获取条件时,获取多媒体数据及动态显示方式。
一种数据获取条件对应的数据获取方式下,投影客户端响应针对目标容器的物品添加操作,基于物品添加操作获取在目标容器中添加的目标物品,获取目标物品对应的物品展示视频流,基于物品展示视频流确定多媒体数据及动态显示方式;目标容器为放置于平面区域中的容器。举例来说,请参见图5,图5是本申请实施例提供的一种物品添加场景的数据显示示意图。如图5所示,与投影客户端501相关联的平面区域505中,放置有目标容器502,当用户向目标容器502中添加目标物品503时,投影客户端501可以响应针对该目标容器502的物品添加操作,识别该物品添加操作对应的物品,确定在目标容器502中所添加的目标物品503。其中,该投影客户端501可以通过图像采集工具504采集目标容器502中所添加的目标物品503,该图像采集工具504可以是摄像头等,在此不做限制;或者,该投影客户端501可以直接基于目标容器502确定物品添加操作对应的目标物品503,例如,该目标容器502中集成有识别工具,当用户向目标容器502中添加目标物品503时,目标容器502可以通过识别工具识别该目标物品503,投影客户端501获取目标容器502所识别的目标物品503;或者,用户在向目标容器502中添加目标物品503时,可以触发该目标物品503对应的物品标签组件,投影客户端501可以响应针对该物品标签组件的触发操作,获取该目标物品503对应的物品展示视频流,该物品标签组件属于至少一个标签组件。可选的,本申请也可以通过其他可以识别目标物品503的方式,实现对目标物品503的识别,在此不做限制。其中,该目标容器502可以是任意一种可以用于放置物品的容器,如碗、杯子或瓶子等,该目标物品503是指可以加入目标容器502的任意一种物品,如银杏叶、红豆、金银花或鲤鱼等,如图5所示,该目标容器502为杯子,目标物品503为茶叶。可选的,投影客户端501可以将物品展示视频流发送至绘画终端,以使绘画终端可以显示该物品展示视频流。
进一步地,投影客户端501可以获取该目标物品503对应的物品展示视频流,基于物品展示视频流确定该多媒体数据及动态显示方式。其中,该物品展示视频流可以是一个视频,该动态显示方式可以包括但不限于数据显示位置、视频播放次数、视频播放频率及视频铺设方式等,其中,数据显示位置用于表示该物品展示视频流需要投影到平面区域505中的位置,视频铺设方式包括但不限于填充方式(即将物品展示视频流投影至平面区域505,以使该物品展示视频流占据平面区域505的全部可显示区域)、自适应方式、平铺方式及居中方式等。其中,该物品展示视频流可以是由至少两个物品展示视频帧组成的,该至少两个物品展示视频帧用于表示该目标物品503的变化情况,该动态显示方式可以包括但不限于帧切换频率等。可选的,投影客户端501可以在平面区域505中投影动态背景视频流,可以在该动态背景视频流的基础上,对物品展示视频流进行投影显示。可选的,若未获取到目标物品503对应的物品展示视频流,则投影客户端可以基于采集到的目标物品503的物品图片生成多媒体数据,获取动态显示方式。如图5所示,假定该目标物品503为茶叶,则该目标物品503对应的物品展示视频流可以用于表示开始冲泡茶叶到茶叶可以饮用这一过程中茶叶的变化情况。
一种数据获取条件对应的数据获取方式下,投影客户端显示动态背景视频流,监测至少一个标签组件,该至少一个标签组件与投影客户端相关联,用于触发对应的标签视频流的获取及显示。当投影客户端监测到针对至少一个标签组件中的目标标签组件的触发操作时,响应针对目标标签组件的触发操作,向目标服务器发送目标标签组件对应的目标功能标签,以使目标服务器获取目标功能标签对应的目标标签视频流,其中,功能标签可以是物品名称、视频名称或视频标识等,在此不做限制,以功能标签为视频标识为例,当功能标签“0”对应目标标签组件被触发时,投影客户端可以获取该功能标签“0”所对应的目标标签视频流。获取目标服务器发送的目标标签视频流,基于目标标签视频流确定多媒体数据及动态显示方式。可选的,该至少一个标签组件分别对应的标签视频流也可以存储于投影客户端中,该投影客户端响应针对目标标签组件的触发操作,可以直接获取该目标标签组件对应的目标标签视频流;或者,该至少一个标签组件分别对应的标签视频流也可以基于云存储技术进行存储,该投影客户端响应针对目标标签组件的触发操作,可以基于云存储技术获取该目标标签组件对应的目标标签视频流。
一种数据获取条件对应的数据获取方式下,投影客户端监测至少一个标签组件,其中,至少一个标签组件与投影客户端相关联,用于触发对应的标签视频流的获取及显示;当投影客户端监测到针对至少一个标签组件中的确认标签组件的触发操作时,响应针对确认标签组件的触发操作,向绘画终端发送数据获取请求;投影客户端获取绘画终端基于数据获取请求发送的多媒体数据及动态显示方式。可选的,该投影客户端可以通过目标服务器向绘画终端发送数据获取请求,通过目标服务器获取绘画终端所发送的多媒体数据及动态显示方式,其中,该数据获取请求可以是基于绘画终端、目标服务器及投影客户端之间的指令所生成的。
进一步地,投影客户端获取绘画终端发送的多媒体数据及终端切换速度,该终端切换速度用于表示该绘画终端在显示多媒体数据时,对多媒体数据显示更新的速度,该终端切换速度可以是指绘画终端中显示多媒体数据的帧与帧之间的切换速度,例如,终端切换速度为5cm/帧,则表示绘画终端每对多媒体数据的显示内容进行一次更新,会将多媒体数据移动5厘米(centimetre,cm);投影客户端获取多媒体数据的数据显示时间,根据终端切换速度及数据显示时间确定动态显示方式。
具体的,投影客户端可以将终端切换速度确定为投影显示速度,根据投影显示速度及数据显示时间确定动态显示方式;或者,获取平面区域的尺寸,基于平面区域的尺寸确定数据移动距离,将终端切换速度确定为初始速度,根据初始速度、数据移动距离及数据显示时间确定投影显示加速度,根据初始速度、投影显示加速度及数据显示时间确定动态显示方式。
可选的,该投影客户端可以直接与绘画终端进行数据交互,也可以通过目标服务器与绘画终端进行数据交互。其中,在投影客户端通过目标服务器与绘画终端进行数据交互的情况下,当投影客户端启动时,投影客户端可以向目标服务器发送投影启动请求,以使目标服务器基于投影启动请求启动投影服务端口;基于投影服务端口建立投影客户端与目标服务器之间的网络连接,网络连接用于为目标服务器与投影客户端之间提供数据交互。此时,投影客户端在获取多媒体数据以及动态显示方式时,可以基于投影服务端口从目标服务器中获取多媒体数据以及动态显示方式;多媒体数据以及动态显示方式存储于目标服务器,或者是由目标服务器从绘画终端中获取的。
进一步可选的,投影客户端采集手势移动轨迹,基于手势移动轨迹确定对多媒体数据的动态显示方向;基于动态显示方向获取绘画终端发送的多媒体数据及动态显示方式。
在投影客户端采集手势移动轨迹,基于手势移动轨迹确定对多媒体数据的动态显示方向时,投影客户端采集第i个图像帧数据,对第i个图像帧数据进行识别,得到第i个手势位置信息;i为正整数。该手势位置信息可以是相对于采集到的图像帧数据的位置信息,其中,可以部署一个手势采集工具(如摄像头等),用户在该手势采集工具的采集区域中进行手势移动,该手势采集工具可以实时捕获用户的手势移动所产生的图像帧数据,对该图像帧数据进行识别,得到采集到的图像帧数据对应的手势位置信息,该识别过程也可以是由投影客户端实现的。其中,投影客户端可以获取第i个图像帧数据,将第i个图像帧数据上传数据流编程算法,并调用姿态追踪检测模型对第i个图像帧数据进行识别,得到第i个手势位置信息,其中,该数据流编程算法可以是用于将第i个图像帧数据转换成模型可识别的数据流的算法,如tensorflow.js算法,该姿态追踪检测模型用于对第i个图像帧数据进行特征识别处理,得到第i个图像帧数据中的手势特征,基于手势特征确定第i个图像帧数据对应的第i个手势位置信息。
基于第i个图像帧数据的采集时间戳及第i个手势位置信息,得到手势移动数组中的第i个数组参数,直至得到手势移动数组;手势移动数组包括N个数组参数,每个数组参数包括图像帧数据及手势位置信息,N为正整数,i小于或等于N;手势移动数组用于表示手势移动轨迹。换句话说,将第i个图像帧数据的采集时间戳及第i个手势位置信息确定为第i个数组参数,将第i个数组参数添加至初始移动数组中,重复上述手势采集、识别及生成数据参数的过程,直至得到手势移动数组。例如,初始移动数组为PoseList[(0,0,0),(0,0,0),…(0,0,0)],投影客户端获取第1个数组参数(x1,y1,t1),(x1,y1)为第1个手势位置信息,t1为第1个图像帧数据的采集时间戳,将第1个数组参数添加至初始移动数组,得到PoseList[(x1,y1,t1),(0,0,0),…(0,0,0)];获取第2个数组参数(x2,y2,t2),(x2,y2)为第2个手势位置信息,t2为第2个图像帧数据的采集时间戳,将第2个数组参数添加至第一次更新后的初始移动数组,得到PoseList[(x1,y1,t1),(x2,y2,t2),…(0,0,0)];…;获取第N个数组参数(xN,yN,tN),(xN,yN)为第N个手势位置信息,tN为第N个图像帧数据的采集时间戳,将第N个数组参数添加至第(N-1)次更新后的初始移动数组,得到PoseList[(x1,y1,t1),(x2,y2,t2),…(xN,yN,tN)]。该PoseList[(x1,y1,t1),(x2,y2,t2),…(xN,yN,tN)]为手势移动数组。
进一步地,投影客户端可以获取手势移动数组中每相邻两个采集时间戳之间的时间间隔。若存在大于手势连续阈值的时间间隔,则认为该手势移动数组所指示的手势移动轨迹不是连续的轨迹,不能构成连续的动作,投影客户端可以清空该手势移动数组,基于重新采集到的图像帧数据更新该清空后的手势移动数组。若时间间隔均小于或等于手势连续阈值,则表示该手势移动数组所指示的手势移动轨迹是连续的轨迹,可以构成连续的动作,获取手势移动数组中第1个手势位置信息与第N个手势位置信息之间的手势位置差值,基于手势位置差值确定对终端绘制数据的动态显示方向。其中,该图像帧数据中的图像位置坐标与平面区域中的区域位置坐标的坐标方向是相同的,使得基于手势位置差值所确定的终端绘制数据的动态显示方向可以直接对应于平面区域中的方向。可选的,该手势移动轨迹可以用于触发“确认标签组件”对应的功能,当时间间隔均小于或等于手势连续阈值时,可以检测该手势移动数组所指示的手势移动轨迹是否为“确认标签组件”的手势触发轨迹,若是,则调用“确认标签组件”被触发时所执行的过程,从绘画终端中获取多媒体数据及动态显示方式。例如,该手势触发轨迹为“沿x轴的挥手动作”,则可以获取第1个手势位置信息中的x1与第N个手势位置信息中的xN之间的差值,若该差值大于挥手阈值,或小于挥手阈值的相反数,则可以认为该手势移动数组所指示的手势移动轨迹为“确认标签组件”的手势触发轨迹,调用“确认标签组件”被触发时所执行的过程,从绘画终端中获取多媒体数据及动态显示方式。
步骤S302,投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域。
在本申请实施例中,绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。投影客户端获取绘画终端与投影客户端之间的终端相对位置,基于终端相对位置在投影客户端中添加遮罩层;投影客户端按照动态显示方式,透过遮罩层将多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;目标投影区域是基于遮罩层所形成的区域。举例来说,请参见图6,图6是本申请实施例提供的一种多媒体数据投影场景示意图。如图6所示,该数据显示系统中存在投影客户端601、与投影客户端601相关联的平面区域602及绘画终端603等,可选的,该数据显示系统中还可以包括与投影客户端601相关联的控制器605,该控制器605可以参见图4a中所示的相关说明。其中,为了使得多媒体数据在绘画终端603及平面区域602中呈现出多媒体数据由绘画终端603中流入平面区域602中的效果,可以使平面区域602与绘画终端603同步显示该多媒体数据,投影客户端601将与多媒体数据相关联的投影画面内容投影至平面区域602中时,投影的区域包括绘画终端603在平面区域602中所在的区域,因此,可能会出现平面区域602中显示的多媒体数据与绘画终端603中显示的多媒体数据可能会存在重叠的情况,两者出现交叉显示,使得数据显示效果较差,因此,可以基于绘画终端603与投影客户端601所关联的平面区域602之间的终端相对位置,在投影客户端中添加遮罩层606,例如,获取与绘画终端中的终端背景相同的图片,根据该与绘画终端中的终端背景相同的图片生成遮罩层606,使得用户在平面区域602中可以看到绘画终端中的终端显示内容及平面区域中的目标投影区域中的投影画面内容,该目标投影区域是指平面区域602中除绘画终端603所在的区域之外的区域,该终端显示内容是指多媒体数据在绘画终端603中所显示的内容投影画面内容是指多媒体数据在目标显示区域中所显示的内容。如图6所示,用户在绘画终端603中写了一个“忘”字,绘画终端603基于该“忘”字生成多媒体数据,将该多媒体数据发送至投影客户端601,投影客户端601若直接将该“忘”字投影到平面区域602中,会出现投影的“忘”字604,该绘画终端603中的“忘”字与投影的“忘”字604之间可能会出现交叉重叠的部分,使得显示效果较差,在投影客户端601中添加遮罩层606,该遮罩层用于遮挡投影客户端601投影至平面区域602中绘画终端603所在的区域的内容,使得在平面区域602中不会显示该投影的“忘”字604,使得绘画终端603与平面区域602所组成的画面内容为一体的,提高了投影的显示效果。
其中,该动态显示方式包括投影显示速度及数据显示时间,则投影客户端可以将多媒体数据投影至平面区域中,并以投影显示速度在平面区域中移动该多媒体数据,当该多媒体数据在平面区域中显示的时长达到数据显示时间时,取消对多媒体数据的投影显示。可选的,还可以对多媒体数据添加渐变效果等,例如,对多媒体数据添加逐渐淡出效果,则该多媒体数据在移动的同时,多媒体数据也会逐渐变透明,使得该多媒体数据在平面区域中呈现出逐渐淡出屏幕的效果。对该多媒体数据所添加的显示效果并不仅限于上述渐变效果,也可以添加其他的显示效果,如旋转效果等,在此不做限制。其中,该多媒体数据从开始在平面区域中显示到在平面区域中消失所呈现的内容,为与多媒体数据相关联的投影画面内容。
其中,该动态显示方式包括初始速度、投影显示加速度及数据显示时间,则投影客户端可以将多媒体数据投影至平面区域中,并以初始速度在平面区域中开始移动该多媒体数据,基于投影显示加速度继续移动该多媒体数据,当该多媒体数据在平面区域中显示的时长达到数据显示时间时,取消对多媒体数据的投影显示。其中,该多媒体数据从开始在平面区域中显示到在平面区域中消失所呈现的内容,为与多媒体数据相关联的投影画面内容。例如,该初始速度为5cm/帧,投影显示加速度为1cm/帧2,假定动态显示方向为沿x轴的方向,则投影客户端将多媒体数据投影至平面区域中,沿x轴方向将多媒体数据移动5cm进行显示(即x=x+5),下一帧则是将多媒体数据再移动6cm进行显示,直至该多媒体数据在平面区域中显示的时长达到数据显示时间。
可选的,当该多媒体数据为标签视频流或物品展示视频流等(即视频流格式的数据)时,投影客户端可以直接将该多媒体数据作为与该多媒体数据相关联的投影画面内容,将该投影画面内容投影至平面区域中。当该多媒体数据为图片格式的数据时,如根据绘画终端中所绘制的终端绘制内容生成的数据,投影客户端可以在平面区域中投影显示动态背景视频流,基于该动态背景视频流投影显示多媒体数据的动态显示效果。
进一步地,请参见图7,图7是本申请实施例提供的另一种数据显示的方法流程图。如图7所示,以绘画终端为执行主体,该绘画终端进行数据显示的过程包括如下步骤:
步骤S701,绘画终端获取多媒体数据及动态显示方式。
在本申请实施例中,绘画终端调用画布功能(canvas)对绘画终端中显示的数据进行绘制处理,生成多媒体数据,获取动态显示方式;基于画布功能对多媒体数据进行编码处理,得到多媒体数据的数据编码,以数据编码的形式将多媒体数据发送至投影客户端,以使投影客户端对该数据编码进行解码,得到多媒体数据,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域。可选的,绘画终端对绘画终端中显示的数据进行绘制处理,生成多媒体数据时,可以对绘画终端中显示的数据进行去背景绘制处理,生成多媒体数据,即该多媒体数据中只包括用户在绘画终端中所绘制的内容,而不包括背景,该多媒体数据可以是png等格式的图像,使得投影客户端在将该多媒体数据投影至平面区域中的目标投影区域时,该多媒体数据可以与在平面区域中显示的动态背景视频流相融合,提高显示效果。
步骤S702,绘画终端按照动态显示方式,将与多媒体数据相关联的终端显示内容进行动态显示。
在本申请实施例中,绘画终端按照动态显示方式,对与多媒体数据相关联的终端显示内容进行动态显示;绘画终端放置于用于投影客户端进行投影的平面区域中,平面区域属于投影客户端的可投影范围区域;终端显示内容与投影画面内容,共同完成动态显示方式所指示的动态显示效果;投影画面内容是投影客户端投影至平面区域中的目标投影区域的内容,目标投影区域为平面区域中除绘画终端所在的区域之外的区域。
其中,该动态显示方式包括终端切换速度及动态显示方向;绘画终端进行第j次清屏处理,对多媒体数据进行第j次重绘处理;j为正整数;绘画终端进行第(j+1)次清屏处理,基于终端切换速度对多媒体数据进行第(j+1)次重绘处理;第(j+1)次重绘处理的多媒体数据在绘画终端中的显示位置是基于在第j次重绘处理的终端绘制数据在绘画终端中的显示位置以及动态显示方向所确定的;当多媒体数据的显示位置位于绘画终端的终端显示区域外时,绘画终端结束对多媒体数据的显示;多媒体数据从开始显示到消失的内容组成终端显示内容。可选的,绘画终端可以基于清屏算法对绘画终端的终端显示区域进行清屏处理,该清屏算法可以是将显示内容清空的算法,如画布功能中的clearRect算法等;绘画终端可以基于重绘算法对多媒体数据进行重绘处理,该重绘算法可以是对图像的绘制算法,例如,画布功能中的drawImage算法等。
可选的,若该多媒体数据为投影客户端发送至绘画终端的数据,则绘画终端可以基于绘画终端与平面区域之间的终端相对位置,从多媒体数据中获取该终端相对位置对应的待显示数据,并在终端显示区域中显示该待显示数据,使得该待显示数据与目标投影区域中所显示的投影画面内容可以组成完整的多媒体数据。其中,绘画终端与投影客户端之间的终端相对位置,即为绘画终端与投影客户端相关联的平面区域之间的终端相对位置。
其中,投影客户端在对多媒体数据相关联的投影画面内容进行显示时,也可以是基于该清屏、重绘的循环操作实现,可选的,若该投影客户端是基于动态背景视频流投影显示多媒体数据,则将该动态背景视频流与多媒体数据确定为两个显示层,投影客户端对多媒体数据所在的显示层进行清屏及重绘等。
在本申请实施例中,投影客户端获取多媒体数据以及动态显示方式;投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。通过该方式,用户无需获取需要显示的物件或该物件的模型,也可以实现对物件的显示,提高投影客户端与用户之间交互的便捷性,减少投影客户端与用户交互所耗费的资源,而且可以实现在绘画终端及投影客户端均显示多媒体数据,且绘画终端中所显示的内容与投影客户端中所显示的内容可以完成动态显示方式所指示的动态显示效果,使得用户可以更为直观地查看到多媒体数据的动态显示效果,使得多媒体数据在绘画终端与投影客户端中的显示效果更为流畅。本申请在提高用户体验、增强互动游戏的可玩性的同时,给予用户沉浸式体验。
具体的,请参见图8,图8是本申请实施例提供的一种多媒体数据显示场景示意图。如图8所示,该多媒体数据为基于“忘”字生成的数据,该“忘”字基于上述步骤S702在绘画终端中进行移动,显示效果如区域801至区域803所示,当该“忘”字位于绘画终端的终端显示区域之外时,投影客户端在平面区域中所投影的多媒体数据,开始在平面区域中的目标投影区域中进行显示,如区域804所指示的显示效果,该“忘”字会基于动态显示方式在目标投影区域中进行动态显示,使得最终呈现给用户的效果为“忘”字从绘画终端中进行移动,逐渐飘入平面区域中,再在平面区域中飘动直至消失,提高了多媒体数据的显示效果。
进一步地,请参见图9,图9是本申请实施例提供的一种数据显示交互流程示意图。如图9所示,该方法是以绘画终端、目标服务器及投影客户端等之间的数据交互过程为例,即绘画终端与投影客户端之间基于目标服务器进行数据交互。
其中,该绘画终端所执行的过程包括如下步骤:
步骤S9011,绘画终端访问绘画服务端口。
在本申请实施例中,绘画终端可以访问绘画服务端口,该绘画服务端口为目标服务器为绘画终端提供服务的端口,例如,目标服务器为绘画终端提供了8080端口,以为绘画终端提供绘画服务,则绘画终端可以访问该8080端口。绘画终端可以显示数据绘制页面,用户在该数据绘制页面中可以进行绘制内容,如写字、画画或其他等。其中,绘画终端会等待目标服务器的指令,当绘画终端接收到目标服务器的服务指令时,会对该服务指令进行检测,该服务指令可以是以键值对的形式进行表示,如“Type:XX,data:XX”,或直接是以指令名称进行表示,获取该服务指令的指令类型,确定所接收到的指令。其中,若接收到数据绘制指令(如drawing指令等),如接收到“Type:drawing,data:Enter”的指令等,则执行步骤S9012;若接收到清屏指令(如clear指令等),则执行步骤S9014。
步骤S9012,绘制内容,生成多媒体数据。
在本申请实施例中,绘画终端可以调用画布功能,对该绘画终端中所绘制的内容进行绘制处理,生成多媒体数据。可选的,可以对绘画终端中所绘制的内容进行去背景绘制处理,生成多媒体数据。具体的,绘画终端可以调用画布功能(canvas)中的drawImage方法,将绘画终端中所绘制的内容进行绘制处理,生成多媒体数据,此时,该多媒体数据为图像格式的数据。可选的,绘画终端可以对该多媒体数据进行编码处理,得到多媒体数据的数据编码,例如,调用画布功能中的数据转化方法(如toDataURL方法),将多媒体数据转换成数据编码,此时的数据编码可以是base64编码的数据编码等,在此不做限制。
步骤S9013,绘画终端将多媒体数据发送至目标服务器。
在本申请实施例中,绘画终端可以以数据编码的形式将多媒体数据发送至目标服务器,以使目标服务器执行步骤S9024。
步骤S9014,向目标服务器发送终端移动指令。
在本申请实施例中,绘画终端接收到清屏指令,可以向目标服务器发送终端移动指令(如iPadMoveStart指令),该终端移动指令用于通知目标服务器,绘画终端即将对多媒体数据进行动态显示,以使目标服务器执行步骤S9027,通知投影客户端对多媒体数据进行动态显示。
步骤S9015,对多媒体数据进行动态显示。
在本申请实施例中,绘画终端可以调用动态显示管理方法(如requestAnimationFrame方法等),循环执行canvas中的清屏算法(如clearRect算法)对终端显示区域进行清屏,以及调用重绘算法(如drawImage算法)对多媒体数据进行重绘,每次重绘时会基于动态显示方式中的动态显示方向及终端切换速度等,对多媒体数据在绘画终端中的显示位置进行更新,从视觉上实现多媒体数据沿动态显示方向不断移动的动态效果。例如,该动态显示方向为沿x轴的正方向,假定动态显示方式用于表示多媒体数据要以终端切换速度进行移动,该终端切换速度为5cm/帧,则每次对多媒体数据进行重绘时,该多媒体数据在绘画终端中的显示位置会发生变化,具体的,该多媒体数据在绘画终端中的位置变化为“x=x+5”,从而实现按照动态显示方式,对多媒体数据的动态显示。
其中,该目标服务器所执行的过程包括如下步骤:
步骤S9021,启动绘画服务端口。
在本申请实施例中,目标服务器启动绘画服务端口(假定8080端口),为绘画终端提供绘画服务。
步骤S9022,启动后端服务端口。
在本申请实施例中,目标服务器启动后端服务端口(假定3000端口),用于处理接收到的数据,包括绘画终端及投影客户端所发送的数据。
步骤S9023,启动投影服务端口。
在本申请实施例中,目标服务器启动投影服务端口(假定8081端口),为投影客户端提供投影服务。
其中,上述步骤S9021至步骤S9023之间在执行时不存在先后顺序。其中,步骤S9021及步骤S9023是用于为绘画终端及投影客户端提供服务,步骤S9022用于处理数据,即,在步骤S9022的基础上执行步骤S9024。
步骤S9024,基于逻辑处理接口,根据不同的指令调用条件发送指令。
在本申请实施例中,目标服务器可以基于逻辑处理接口,根据不同的指令调用条件发送指令,具体的,目标服务器可以执行步骤S9025至步骤S9027,检测指令调用条件,以向绘画终端或投影客户端发送指令。其中,若接收到确认标签,则目标服务器基于步骤S9025,向绘画终端发送数据绘制指令;若接收到多媒体数据并对多媒体数据存储完成,则目标服务器基于步骤S9026,向绘画终端发送清屏指令;若接收到终端移动指令,则目标服务器基于步骤S9027,向投影客户端发送投影移动指令,以使投影客户端基于该投影移动指令,对多媒体数据进行动态显示。其中,步骤S9025至步骤S9027为不同的指令调用条件的检测过程,可以认为是对步骤S9024的具体说明,即,根据不同的指令调用条件发送指令,具体是基于步骤S9025至步骤S9027所示的指令调用条件进行检测并发送指令的。
步骤S9025,接收到确认标签。
在本申请实施例中,目标服务器检测指令调用条件是否接收到确认标签,若接收到确认标签,则向绘画终端发送数据绘制指令。其中,当投影客户端监测到针对确认标签组件的触发操作时,会向绘画终端发送数据获取请求,可选的,投影客户端可以基于该针对确认标签组件的触发操作,向目标服务器发送该确认标签组件的组件信息,如该确认标签组件的键值和编码等,假定该组件信息由键值对进行表示,如“keyCode:XX,key:XX”,假定该确认标签组件的确认标签为“Enter”,则目标服务器接收到组件信息“keyCode:13,key:Enter”,该keyCode用于表示组件信息中的编码,可以是对应的标签组件的组件标识等,key用于表示该组件信息中的键值,可以是该组件信息对应的标签组件的标签,目标认标签组件的组件信息,则确定接收到确认标签,向绘画终端发送数据绘制指令,以使绘画终端对该绘画终端中所绘制的内容进行绘制处理,生成多媒体数据。
步骤S9026,接收多媒体数据并存储完成。
在本申请实施例中,目标服务器可以接收到绘画终端以数据编码的形式发送的多媒体数据,该数据编码可以是对多媒体数据进行编码处理后得到的,可以是该多媒体数据转换后的数据,如该多媒体数据的二进制数据属性等。目标服务器可以对该多媒体数据进行缓存,并将缓存的数据写入本地磁盘,实现对多媒体数据的存储。例如,可以调用接口服务中的缓存(Buffer)对多媒体数据的数据编码进行存储,该调用接口服务可以是node.js等;目标服务器可以调用数据写入方法将缓存的数据写入本地磁盘,该数据写入方法是一种存储数据的方法,如node.js中的fs.writeFileSync方法等,在此不做限制。当目标服务器将多媒体数据存储完成时,向绘画终端发送清屏指令,以使绘画终端基于该清屏指令执行步骤S9014。
步骤S9027,接收到终端移动指令。
在本申请实施例中,目标服务器接收到绘画终端发送的终端移动指令(如ipadMoveStart等),向投影客户端发送投影移动指令(如screenMoveStart等),该投影移动指令还可以携带多媒体数据等。
其中,该投影客户端所执行的过程包括如下步骤:
步骤S9031,投影客户端访问投影服务端口。
在本申请实施例中,投影客户端可以访问投影服务端口,该投影服务端口为目标服务器为投影客户端提供服务的端口,例如,目标服务器为投影客户端提供了8081端口,以为投影客户端提供投影服务,则投影客户端可以访问该8081端口。其中,投影客户端会等待目标服务器的指令,当投影客户端接收到目标服务器的服务指令时,会对该服务指令进行检测,该服务指令可以是以键值对的形式进行表示,如“Type:XX,data:XX”,或直接是以指令名称进行表示,获取该服务指令的指令类型,确定所接收到的指令。其中,若接收到投影移动指令(如screenMoveStart指令等),则执行步骤S9036。
步骤S9032,显示动态背景视频流。
在本申请实施例中,投影客户端在未接收到指令时,可以显示动态背景视频流。
步骤S9033,监测至少一个标签组件。
步骤S9034,是否存在标签组件被触发。
在本申请实施例中,投影客户端检测是否存在标签组件被触发,若存在标签组件被触发,则执行步骤S9035,向目标服务器发送被触发的标签组件的标签事件;若不存在标签组件被触发,则返回执行步骤S9033,继续监测至少一个标签组件。
步骤S9035,发送标签事件。
在本申请实施例中,投影客户端向目标服务器发送被触发的标签组件的标签事件。例如,投影客户端监测到至少一个标签组件中的确认标签组件被触发,则向目标服务器发送确认标签事件,目标服务器基于该确认标签事件,确定接收到确认标签(步骤S9025),向绘画终端发送数据绘制指令。可选的,若投影客户端监测到至少一个标签组件中的目标标签组件的触发操作,则向目标服务器发送目标标签事件,目标服务器基于该目标标签事件,获取目标标签组件对应的目标标签视频流,目标服务器可以将该目标标签视频流发送至绘画终端及投影客户端,以使绘画终端可以显示该目标标签视频流,投影客户端可以将该目标标签视频流投影至平面区域。
步骤S9036,确定与多媒体数据相关联的投影画面内容。
在本申请实施例中,投影客户端接收到投影移动指令,基于多媒体数据及动态显示方式,确定与多媒体数据相关联的投影画面内容。
步骤S9037,投影该投影画面内容。
其中,步骤S9036与步骤S9037本质上是一体的,投影客户端可以按照动态显示方式,将多媒体数据动态投影至平面区域中,该多媒体数据在平面区域中从显示到消失所产生的内容即为与多媒体数据相关联的投影画面内容。其中,呈现给用户的动态显示效果,是由多媒体数据在绘画终端中所显示的终端显示内容及在目标投影区域中所显示的投影画面内容组成的。
具体的,对于图9所示各个步骤来说,绘画终端会执行步骤S9011,建立与目标服务器之间的网络连接;目标服务器会执行步骤S9021至步骤S9023,启动服务;投影客户端会执行步骤S9031,建立与目标服务器之间的网络连接。投影客户端在没有接收到指令时,执行步骤S9032至步骤S9034,直至监测到针对至少一个标签组件中的标签组件的触发操作,则执行步骤S9035,向目标服务器发送标签事件。若该被触发的标签组件为确认标签组件,则目标服务器可以执行步骤S9025,向绘画终端发送数据绘制指令。绘画终端接收到数据绘制指令,执行步骤S9012至步骤S9013。目标服务器接收到该绘画终端所发送的多媒体数据,并存储完成,则执行步骤S9026,向绘画终端发送清屏指令。绘画终端基于该清屏指令确定需要对该多媒体数据进行动态显示,执行步骤S9014至步骤S9015,向目标服务器发送终端移动指令,并对多媒体数据进行动态显示。目标服务器接收到终端移动指令,执行步骤S9027,向投影客户端发送投影移动指令,投影客户端接收到投影移动指令,执行步骤S9036至步骤S9037,将多媒体数据投影至平面区域。
若该被触发的标签组件为目标标签组件,则目标服务器可以获取该目标标签组件对应的目标标签视频流,将该目标标签视频流发送至投影客户端,以使投影客户端将该目标标签视频流投影至平面区域,可选的,还可以将该目标标签视频流发送至绘画终端,以使绘画终端显示该目标标签视频流。其中,目标标签组件是指存在对应的标签视频流的组件。
其中,投影客户端与绘画终端之间可以基于无线局域网进行网络连接;或者投影客户端与目标服务器,目标服务器与绘画终端之间可以基于无线局域网进行网络连接。该无线局域网可以是websocket等用于在局域网中连接设备的网络,其中,websocket是一种在单个传输控制协议(Transmission Control Protocol,TCP)连接上进行全双工通信的协议。websocket允许服务端主动向客户端推送数据,浏览器和服务器只需要完成一次握手,两者之间就直接可以创建持久性的连接,并进行双向数据传输。
进一步地,目标服务器可以将该多媒体数据发送至数据雕刻终端(如激光雕刻机等),数据雕刻终端可以对该多媒体数据进行雕刻,生成数据雕刻实体。可选的,该数据雕刻终端与目标服务器之间还可以连接一个目标终端设备,该目标终端设备用于确认是否对多媒体数据进行雕刻,具体的,目标服务器将多媒体数据发送至目标终端设备,该目标终端设备可以显示多媒体数据及雕刻确认消息,该多媒体数据用于向用户展示多媒体数据的雕刻效果,雕刻确认消息用于向用户确认是否对多媒体数据进行雕刻,目标终端设备响应针对雕刻确认消息的确认操作,将多媒体数据发送至数据雕刻终端,以使数据雕刻终端对多媒体数据进行雕刻,生成数据雕刻实体。
可选的,该数据显示系统可以包括一个绘画终端及至少两个投影客户端。绘画终端可以基于接收到的数据获取请求的请求投影客户端,将根据绘画终端中绘制的内容所生成的多媒体数据发送至请求投影客户端,以使请求投影客户端将多媒体数据投影至该请求投影客户端对应的平面区域中。其中,该过程可以参见图3至图9中所示的具体描述,即绘画终端分别与至少两个投影客户端之间的数据交互过程与上述图3至图9所示实施例中的数据交互过程相同。可选的,绘画终端可以主动向投影客户端发送多媒体数据,绘画终端可以获取数据接收方,向该数据接收方发送多媒体数据,其中,绘画终端可以响应针对目标客户端标识的触发操作,将该目标客户端标识对应的投影客户端确定为数据接收方;绘画终端可以采集用户的手势移动轨迹,将位于该手势移动轨迹所指示的方向的投影客户端确定为数据接收方,例如,该绘画终端采集到手势移动轨迹指向北方,则位于绘画终端的北方的投影客户端为数据接收方;或者,绘画终端可以基于随机算法,从至少两个投影客户端中确定数据接收方等,在此不做限制。进一步地,用户可以基于该绘画终端及至少两个投影客户端进行互动游戏,例如,由绘画终端出题,并将题目信息(如题目说明、题目名称等)发送至投影客户端,该发送过程参见上述图3至图9中所示的具体描述,该数据接收方所投影的投影画面内容与绘画终端中的终端显示内容共同完成动态显示方式所指示的动态显示效果。
举例来说,请参见图10,图10是本申请实施例提供的一种终端交互场景示意图。如图10所示,是本申请应用于“曲水流觞”这一传统游戏的场景,用户需要在预设时间内说出与关键词相关的诗词,假定存在四个用户,分别记作用户A、用户B、用户C及用户D,该用户A位于客户端标识为①的投影客户端处,该用户B位于客户端标识为②的投影客户端处,该用户C位于客户端标识为③的投影客户端处,该用户D位于客户端标识为④的投影客户端处。绘画终端选取出关键词1,确定与关键词1相关联的投影客户端,假定该关键词1为“梅”,确定与“梅”相关联的投影客户端为投影客户端①,绘画终端基于“梅”生成多媒体数据,将多媒体数据发送至投影客户端①,以使投影客户端①对“梅”进行动态显示,使得呈现出“梅”从绘画终端中开始沿图10中虚线箭头所指示的路径移动至投影客户端①的指定位置处,可选的,将该“梅”字投影至投影客户端①的指定位置处,投影客户端①保持该投影画面,可选的,该“梅”字从绘画终端开始移动到投影客户端①的指定位置处所用的时间(即数据显示时间)可以是为用户A提供的解题时间,即,“梅”字在投影客户端①关联的平面区域中停住后,用户A需要说出与“梅”相关的诗词。可选的,该绘画终端可以采集用户A的语音信息,对该用户A的语音信息进行语音转换,生成文本内容,再根据该文本内容生成多媒体数据,投影客户端①接收多媒体数据,并对该多媒体数据进行投影显示。其中,当该多媒体数据是由字符等生成的时,绘画终端可以生成无背景的多媒体数据。可选的,投影客户端或绘画终端还可以基于该关键词1确定背景数据,将该背景数据作为多媒体数据的背景。
例如,绘画终端获取到“梅”字,获取与“梅”相关的背景数据,在绘画终端中显示以背景数据为背景,以“梅”字为内容的画面,将根据“梅”生成的多媒体数据发送至投影客户端,投影客户端可以基于背景数据及根据“梅”生成的多媒体数据生成两个投影层,两个投影层之间的投影互不影响,投影客户端对根据“梅”生成的多媒体数据进行位置更新投影,以使“梅”字可以沿图10中虚线箭头所指示的路径(即动态显示方向)进行移动,而背景数据所在的投影层则直接投影背景数据。当投影客户端接收到文本内容时,可以将背景数据、根据“梅”生成的多媒体数据及根据文本内容生成的多媒体数据确定为三个投影层,相当于在背景数据所在的投影层直接投影该背景数据,此时,“梅”字已经停止移动,即在“梅”字所在的投影层直接投影该“梅”字,在文本内容所在的投影层,对根据该文本内容生成的多媒体数据进行动态显示。其中,该背景数据可以是图像,也可以是视频等,在此不做限制。在该方式下,根据“梅”生成的多媒体数据及根据文本内容生成的多媒体数据均可以认为是无背景的图像。通过以上过程,呈现给用户的动态显示效果为,在投影客户端①关联的平面区域中的目标投影区域与绘画终端均显示关键词1对应的背景数据,该关键词1由绘画终端逐渐移动至投影客户端①关联的平面区域中的目标投影区域,并在目标投影区域中移动,移动至投影客户端①(具体是投影客户端①的平面区域)的指定位置处停住,接着,文本内容从绘画终端中逐渐移动至投影客户端①关联的平面区域中的目标投影区域,在目标投影区域中动态移动显示。同理,绘画终端可以与其他投影客户端之间进行数据交互。
可选的,该数据显示系统也可以包括至少两个绘画终端及一个投影客户端;或者包括至少两个绘画终端及至少两个投影客户端等,在此不做限制。
进一步地,请参见图11,图11是本申请实施例提供的一种数据显示装置示意图。该数据显示装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等),例如该数据显示装置可以为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图11所示,该数据显示装置1100可以用于图3所对应实施例中的计算机设备,具体的,该装置可以包括:投影数据获取模块11及数据投影模块12。
投影数据获取模块11,用于投影客户端获取多媒体数据以及动态显示方式;
数据投影模块12,用于投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。
其中,该投影数据获取模块11包括:
绘画获取单元11a,用于投影客户端获取绘画终端发送的多媒体数据以及动态显示方式;或者,
组件触发单元11b,用于投影客户端响应针对目标标签组件的触发操作,获取目标标签组件对应的目标标签视频流,基于目标标签视频流确定多媒体数据及动态显示方式,将多媒体数据发送至绘画终端,以使绘画终端基于多媒体数据生成终端显示内容;目标标签组件是指与投影客户端关联的组件,用于触发目标标签视频流的获取及显示。
其中,该投影数据获取模块11,包括:
物品添加单元11c,用于投影客户端响应针对目标容器的物品添加操作,基于物品添加操作获取在目标容器中添加的目标物品,获取目标物品对应的物品展示视频流,基于物品展示视频流确定多媒体数据及动态显示方式;目标容器为放置于平面区域中的容器。
其中,动态显示方式包括动态显示方向,终端显示内容是指多媒体数据在绘画终端的终端显示区域中,沿动态显示方向进行移动直至消失的内容;投影画面内容是指多媒体数据在终端显示区域中消失时,多媒体数据在目标投影区域中开始显示的内容。
其中,该数据投影模块12,包括:
遮罩添加单元12a,用于投影客户端获取绘画终端与投影客户端之间的终端相对位置,基于终端相对位置在投影客户端中添加遮罩层;
遮罩投影单元12b,用于投影客户端按照动态显示方式,透过遮罩层将多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;目标投影区域是基于遮罩层所形成的区域。
其中,该投影数据获取模块11,包括:
组件监测单元11d,用于投影客户端显示动态背景视频流,监测至少一个标签组件;至少一个标签组件与投影客户端相关联,用于触发对应的标签视频流的获取及显示;
标签获取单元11e,用于当投影客户端监测到针对至少一个标签组件中的目标标签组件的触发操作时,响应针对目标标签组件的触发操作,向目标服务器发送目标标签组件对应的目标功能标签,以使目标服务器获取目标功能标签对应的目标标签视频流;
视频获取单元11f,用于获取目标服务器发送的目标标签视频流,基于目标标签视频流确定多媒体数据及动态显示方式。
其中,该投影数据获取模块11,包括:
该组件监测单元11d,还用于投影客户端监测至少一个标签组件;至少一个标签组件与投影客户端相关联,用于触发对应的标签视频流的获取及显示;
数据请求单元11g,用于当投影客户端监测到针对至少一个标签组件中的确认标签组件的触发操作时,响应针对确认标签组件的触发操作,向绘画终端发送数据获取请求;
该绘画获取单元11a,还用于投影客户端获取绘画终端基于数据获取请求发送的多媒体数据及动态显示方式。
其中,该投影数据获取模块11,包括:
参数获取单元11h,用于投影客户端获取绘画终端发送的多媒体数据及终端切换速度;
方式确定单元11i,用于投影客户端获取多媒体数据的数据显示时间,根据终端切换速度及数据显示时间确定动态显示方式。
其中,该方式确定单元11i用于根据终端切换速度及数据显示时间确定动态显示方式时,包括:
速度确定子单元1101,用于将终端切换速度确定为投影显示速度,根据投影显示速度及数据显示时间确定动态显示方式;或者,
加速度确定子单元1102,用于获取平面区域的尺寸,基于平面区域的尺寸确定数据移动距离,将终端切换速度确定为初始速度,根据初始速度、数据移动距离及数据显示时间确定投影显示加速度,根据初始速度、投影显示加速度及数据显示时间确定动态显示方式。
其中,该装置1100还包括:
投影启动模块13,用于当投影客户端启动时,投影客户端向目标服务器发送投影启动请求,以使目标服务器基于投影启动请求启动投影服务端口;
连接建立模块14,用于基于投影服务端口建立投影客户端与目标服务器之间的网络连接,网络连接用于为目标服务器与投影客户端之间提供数据交互;
该投影数据获取模块11,包括:
端口传输单元11j,用于投影客户端基于投影服务端口从目标服务器中获取多媒体数据以及动态显示方式;多媒体数据以及动态显示方式存储于目标服务器,或者是由目标服务器从绘画终端中获取的。
其中,该投影数据获取模块11,包括:
手势采集单元11k,用于投影客户端采集手势移动轨迹,基于手势移动轨迹确定对多媒体数据的动态显示方向;
手势确定单元11l,用于基于动态显示方向获取绘画终端发送的多媒体数据及动态显示方式。
其中,该手势采集单元11k,包括:
图像识别子单元1103,用于投影客户端采集第i个图像帧数据,对第i个图像帧数据进行识别,得到第i个手势位置信息;i为正整数;
数组生成子单元1104,用于基于第i个图像帧数据的采集时间戳及第i个手势位置信息,得到手势移动数组中的第i个数组参数,直至得到手势移动数组;手势移动数组包括N个数组参数,每个数组参数包括图像帧数据及手势位置信息,N为正整数,i小于或等于N;手势移动数组用于表示手势移动轨迹;
时间获取子单元1105,用于获取手势移动数组中每相邻两个采集时间戳之间的时间间隔;
方向确定子单元1106,用于若时间间隔均小于或等于手势连续阈值,则获取手势移动数组中第1个手势位置信息与第N个手势位置信息之间的手势位置差值,基于手势位置差值确定对终端绘制数据的动态显示方向。
进一步地,请参见图12,图12是本申请实施例提供的一种数据显示装置示意图。该数据显示装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等),例如该数据显示装置可以为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图12所示,该数据显示装置1200可以用于图3所对应实施例中的计算机设备,具体的,该装置可以包括:绘画数据获取模块15及数据显示模块16。
绘画数据获取模块15,用于绘画终端获取多媒体数据及动态显示方式;
数据显示模块16,用于绘画终端按照动态显示方式,对与多媒体数据相关联的终端显示内容进行动态显示;绘画终端放置于用于投影客户端进行投影的平面区域中,平面区域属于投影客户端的可投影范围区域;终端显示内容与投影画面内容,共同完成动态显示方式所指示的动态显示效果;投影画面内容是投影客户端投影至平面区域中的目标投影区域的内容,目标投影区域为平面区域中除绘画终端所在的区域之外的区域。
其中,该绘画数据获取模块15,具体用于:
绘画终端调用画布功能对绘画终端中显示的数据进行绘制处理,生成多媒体数据,获取动态显示方式;
该装置还包括:
数据编码模块17,用于基于画布功能对多媒体数据进行编码处理,得到多媒体数据的数据编码,以数据编码的形式将多媒体数据发送至投影客户端,以使投影客户端将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域。
其中,动态显示方式包括终端切换速度及动态显示方向;
该数据显示模块16,包括:
动态显示单元161,用于绘画终端进行第j次清屏处理,对多媒体数据进行第j次重绘处理;j为正整数;
该动态显示单元161,还用于绘画终端进行第(j+1)次清屏处理,基于终端切换速度对多媒体数据进行第(j+1)次重绘处理;第(j+1)次重绘处理的多媒体数据在绘画终端中的显示位置是基于在第j次重绘处理的终端绘制数据在绘画终端中的显示位置以及动态显示方向所确定的;
显示结束单元162,用于当多媒体数据的显示位置位于绘画终端的终端显示区域外时,绘画终端结束对多媒体数据的显示;多媒体数据从开始显示到消失的内容组成终端显示内容。
本申请实施例提供了一种数据显示装置,图11所示装置可以运行于投影客户端中,图12所示装置可以运行于绘画终端中,投影客户端获取多媒体数据以及动态显示方式;投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。通过该方式,用户无需获取需要显示的物件或该物件的模型,也可以实现对物件的显示,提高投影客户端与用户之间交互的便捷性,减少投影客户端与用户交互所耗费的资源,而且可以实现在绘画终端及投影客户端均显示多媒体数据,且绘画终端中所显示的内容与投影客户端中所显示的内容可以完成动态显示方式所指示的动态显示效果,使得用户可以更为直观地查看到多媒体数据的动态显示效果,使得多媒体数据在绘画终端与投影客户端中的显示效果更为流畅。
参见图13,图13是本申请实施例提供的一种计算机设备的结构示意图。如图13所示,本申请实施例中的计算机设备可以包括:一个或多个处理器1301、存储器1302和输入输出接口1303。该处理器1301、存储器1302和输入输出接口1303通过总线1304连接。存储器1302用于存储计算机程序,该计算机程序包括程序指令,输入输出接口1303用于接收数据及输出数据,如用于宿主机与计算机设备之间进行数据交互,或者用于在宿主机中的各个虚拟机之间进行数据交互;处理器1301用于执行存储器1302存储的程序指令。
其中,该处理器1301运行于投影客户端中,可以执行如下操作:
投影客户端获取多媒体数据以及动态显示方式;
投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。
其中,该处理器1301运行于绘画终端中,可以执行如下操作:
绘画终端获取多媒体数据及动态显示方式;
绘画终端按照动态显示方式,对与多媒体数据相关联的终端显示内容进行动态显示;绘画终端放置于用于投影客户端进行投影的平面区域中,平面区域属于投影客户端的可投影范围区域;终端显示内容与投影画面内容,共同完成动态显示方式所指示的动态显示效果;投影画面内容是投影客户端投影至平面区域中的目标投影区域的内容,目标投影区域为平面区域中除绘画终端所在的区域之外的区域。
在一些可行的实施方式中,该处理器1301可以是中央处理单元(centralprocessing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1302可以包括只读存储器和随机存取存储器,并向处理器1301和输入输出接口1303提供指令和数据。存储器1302的一部分还可以包括非易失性随机存取存储器。例如,存储器1302还可以存储设备类型的信息。
具体实现中,该计算机设备可通过其内置的各个功能模块执行如该图3或图7中各个步骤所提供的实现方式,具体可参见该图3或图7中各个步骤所提供的实现方式,在此不再赘述。
本申请实施例通过提供一种计算机设备,包括:处理器、输入输出接口、存储器,通过处理器获取存储器中的计算机程序,执行该图3中所示方法的各个步骤,进行数据显示操作。本申请实施例实现了投影客户端获取多媒体数据以及动态显示方式;投影客户端按照动态显示方式,将与多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于平面区域中,平面区域属于投影客户端的可投影范围区域;目标投影区域为平面区域中除绘画终端所在的区域之外的区域;目标投影区域中的投影画面内容与终端显示内容,共同完成动态显示方式所指示的动态显示效果;终端显示内容是指绘画终端中与多媒体数据相关联的显示内容。通过该方式,用户无需获取需要显示的物件或该物件的模型,也可以实现对物件的显示,提高投影客户端与用户之间交互的便捷性,减少投影客户端与用户交互所耗费的资源,而且可以实现在绘画终端及投影客户端均显示多媒体数据,且绘画终端中所显示的内容与投影客户端中所显示的内容可以完成动态显示方式所指示的动态显示效果,使得用户可以更为直观地查看到多媒体数据的动态显示效果,使得多媒体数据在绘画终端与投影客户端中的显示效果更为流畅。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序适于由该处理器加载并执行图3或图7中各个步骤所提供的数据显示方法,具体可参见该图3或图7中各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,计算机程序可被部署为在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
该计算机可读存储介质可以是前述任一实施例提供的数据显示装置或者该计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图3或图7中的各种可选方式中所提供的方法,实现了用户无需获取需要显示的物件或该物件的模型,也可以实现对物件的显示,提高投影客户端与用户之间交互的便捷性,减少投影客户端与用户交互所耗费的资源,而且可以实现在绘画终端及投影客户端均显示多媒体数据,且绘画终端中所显示的内容与投影客户端中所显示的内容可以完成动态显示方式所指示的动态显示效果,使得用户可以更为直观地查看到多媒体数据的动态显示效果,使得多媒体数据在绘画终端与投影客户端中的显示效果更为流畅。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据显示设备的处理器以产生一个机器,使得通过计算机或其他可编程数据显示设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据显示设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据显示设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (17)

1.一种数据显示方法,其特征在于,所述方法包括:
投影客户端获取多媒体数据以及动态显示方式;所述动态显示方式包括终端切换速度及动态显示方向;
所述投影客户端按照所述动态显示方式,将与所述多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;绘画终端放置于所述平面区域中,所述平面区域属于所述投影客户端的可投影范围区域;所述目标投影区域为所述平面区域中除所述绘画终端所在的区域之外的区域;所述目标投影区域中的所述投影画面内容与终端显示内容,共同完成所述动态显示方式所指示的动态显示效果;
所述终端显示内容是指所述绘画终端中与所述多媒体数据相关联的显示内容,是由所述多媒体数据从开始显示到消失的内容所组成的;所述多媒体数据从开始显示到消失是指所述绘画终端进行第j次清屏处理,对所述多媒体数据进行第j次重绘处理,进行第(j+1)次清屏处理,基于所述终端切换速度对所述多媒体数据进行第(j+1)次重绘处理,直至所述多媒体数据的显示位置位于所述绘画终端的终端显示区域外;所述第(j+1)次重绘处理的多媒体数据在所述绘画终端中的显示位置是基于在所述第j次重绘处理的终端绘制数据在所述绘画终端中的显示位置以及所述动态显示方向所确定的;j为正整数。
2.如权利要求1所述的方法,其特征在于,所述投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端获取绘画终端发送的多媒体数据以及动态显示方式;或者,
投影客户端响应针对目标标签组件的触发操作,获取所述目标标签组件对应的目标标签视频流,基于所述目标标签视频流确定所述多媒体数据及所述动态显示方式,将所述多媒体数据发送至所述绘画终端,以使所述绘画终端基于所述多媒体数据生成所述终端显示内容;所述目标标签组件是指与所述投影客户端关联的组件,用于触发目标标签视频流的获取及显示。
3.如权利要求1所述的方法,其特征在于,所述投影客户端获取多媒体数据以及动态显示方式,包括:
投影客户端响应针对目标容器的物品添加操作,基于所述物品添加操作获取在所述目标容器中添加的目标物品,获取所述目标物品对应的物品展示视频流,基于所述物品展示视频流确定所述多媒体数据及所述动态显示方式;所述目标容器为放置于所述平面区域中的容器。
4.如权利要求1所述的方法,其特征在于,所述动态显示方式包括动态显示方向,所述终端显示内容是指所述多媒体数据在所述绘画终端的终端显示区域中,沿所述动态显示方向进行移动直至消失的内容;所述投影画面内容是指所述多媒体数据在所述终端显示区域中消失时,所述多媒体数据在所述目标投影区域中开始显示的内容。
5.如权利要求1所述的方法,其特征在于,所述投影客户端按照所述动态显示方式,将与所述多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域,包括:
所述投影客户端获取所述绘画终端与所述投影客户端之间的终端相对位置,基于所述终端相对位置在所述投影客户端中添加遮罩层;
所述投影客户端按照所述动态显示方式,透过所述遮罩层将所述多媒体数据相关联的投影画面内容投影至平面区域中的目标投影区域;所述目标投影区域是基于遮罩层所形成的区域。
6.如权利要求1所述的方法,其特征在于,所述投影客户端获取多媒体数据以及动态显示方式,包括:
所述投影客户端显示动态背景视频流,监测至少一个标签组件;所述至少一个标签组件与所述投影客户端相关联,用于触发对应的标签视频流的获取及显示;
当所述投影客户端监测到针对所述至少一个标签组件中的目标标签组件的触发操作时,响应针对所述目标标签组件的触发操作,向目标服务器发送所述目标标签组件对应的目标功能标签,以使所述目标服务器获取所述目标功能标签对应的目标标签视频流;
获取所述目标服务器发送的所述目标标签视频流,基于所述目标标签视频流确定所述多媒体数据及所述动态显示方式。
7.如权利要求1所述的方法,其特征在于,所述投影客户端获取多媒体数据以及动态显示方式,包括:
所述投影客户端监测至少一个标签组件;所述至少一个标签组件与所述投影客户端相关联,用于触发对应的标签视频流的获取及显示;
当所述投影客户端监测到针对所述至少一个标签组件中的确认标签组件的触发操作时,响应针对所述确认标签组件的触发操作,向所述绘画终端发送数据获取请求;
所述投影客户端获取所述绘画终端基于所述数据获取请求发送的多媒体数据及动态显示方式。
8.如权利要求1所述的方法,其特征在于,所述投影客户端获取多媒体数据以及动态显示方式,包括:
所述投影客户端获取所述绘画终端发送的多媒体数据及终端切换速度;
所述投影客户端获取所述多媒体数据的数据显示时间,根据所述终端切换速度及所述数据显示时间确定动态显示方式。
9.如权利要求8所述的方法,其特征在于,所述根据所述终端切换速度及所述数据显示时间确定动态显示方式,包括:
将所述终端切换速度确定为投影显示速度,根据所述投影显示速度及所述数据显示时间确定动态显示方式;或者,
获取所述平面区域的尺寸,基于所述平面区域的尺寸确定数据移动距离,将所述终端切换速度确定为初始速度,根据所述初始速度、所述数据移动距离及所述数据显示时间确定投影显示加速度,根据所述初始速度、所述投影显示加速度及所述数据显示时间确定所述动态显示方式。
10.如权利要求1所述的方法,其特征在于,所述方法还包括:
当所述投影客户端启动时,所述投影客户端向目标服务器发送投影启动请求,以使所述目标服务器基于所述投影启动请求启动投影服务端口;
基于所述投影服务端口建立所述投影客户端与所述目标服务器之间的网络连接,所述网络连接用于为所述目标服务器与所述投影客户端之间提供数据交互;
所述投影客户端获取多媒体数据以及动态显示方式,包括:
所述投影客户端基于所述投影服务端口从所述目标服务器中获取所述多媒体数据以及所述动态显示方式;所述多媒体数据以及所述动态显示方式存储于所述目标服务器,或者是由所述目标服务器从所述绘画终端中获取的。
11.如权利要求1所述的方法,其特征在于,所述投影客户端获取多媒体数据以及动态显示方式,包括:
所述投影客户端采集手势移动轨迹,基于所述手势移动轨迹确定对所述多媒体数据的动态显示方向;
基于所述动态显示方向获取所述绘画终端发送的多媒体数据及动态显示方式。
12.如权利要求11所述的方法,其特征在于,所述投影客户端采集手势移动轨迹,基于所述手势移动轨迹确定对所述多媒体数据的动态显示方向,包括:
所述投影客户端采集第i个图像帧数据,对所述第i个图像帧数据进行识别,得到第i个手势位置信息;i为正整数;
基于所述第i个图像帧数据的采集时间戳及所述第i个手势位置信息,得到手势移动数组中的第i个数组参数,直至得到所述手势移动数组;所述手势移动数组包括N个数组参数,每个数组参数包括图像帧数据及手势位置信息,N为正整数,i小于或等于N;所述手势移动数组用于表示手势移动轨迹;
获取所述手势移动数组中每相邻两个采集时间戳之间的时间间隔;
若所述时间间隔均小于或等于手势连续阈值,则获取所述手势移动数组中第1个手势位置信息与第N个手势位置信息之间的手势位置差值,基于所述手势位置差值确定对所述终端绘制数据的动态显示方向。
13.一种数据显示方法,其特征在于,所述方法包括:
绘画终端获取多媒体数据及动态显示方式;所述动态显示方式包括终端切换速度及动态显示方向;
所述绘画终端按照所述动态显示方式,对与所述多媒体数据相关联的终端显示内容进行动态显示;所述绘画终端放置于用于投影客户端进行投影的平面区域中,所述平面区域属于所述投影客户端的可投影范围区域;所述终端显示内容与投影画面内容,共同完成所述动态显示方式所指示的动态显示效果;所述投影画面内容是所述投影客户端投影至所述平面区域中的目标投影区域的内容,所述目标投影区域为所述平面区域中除所述绘画终端所在的区域之外的区域;
所述绘画终端按照所述动态显示方式,对与所述多媒体数据相关联的终端显示内容进行动态显示,包括:
所述绘画终端进行第j次清屏处理,对所述多媒体数据进行第j次重绘处理;j为正整数;
所述绘画终端进行第(j+1)次清屏处理,基于所述终端切换速度对所述多媒体数据进行第(j+1)次重绘处理;第(j+1)次重绘处理的多媒体数据在所述绘画终端中的显示位置是基于在所述第j次重绘处理的终端绘制数据在所述绘画终端中的显示位置以及所述动态显示方向所确定的;
当所述多媒体数据的显示位置位于所述绘画终端的终端显示区域外时,所述绘画终端结束对所述多媒体数据的显示;所述多媒体数据从开始显示到消失的内容组成所述终端显示内容。
14.如权利要求13所述的方法,其特征在于,所述绘画终端获取多媒体数据及动态显示方式,包括:
所述绘画终端调用画布功能对所述绘画终端中显示的数据进行绘制处理,生成多媒体数据,获取动态显示方式;
所述方法还包括:
基于所述画布功能对所述多媒体数据进行编码处理,得到所述多媒体数据的数据编码,以所述数据编码的形式将所述多媒体数据发送至所述投影客户端,以使所述投影客户端将与所述多媒体数据相关联的投影画面内容投影至所述平面区域中的目标投影区域。
15.一种计算机设备,其特征在于,包括处理器、存储器、输入输出接口;
所述处理器分别与所述存储器和所述输入输出接口相连,其中,所述输入输出接口用于接收数据及输出数据,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使包含所述处理器的计算机设备执行权利要求1-12任一项所述的方法,或者执行权利要求13-14任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,执行权利要求1-12任一项所述的方法,或者执行权利要求13-14任一项所述的方法。
17.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时,实现权利要求1-12任一项所述的方法,或者权利要求13-14任一项所述的方法。
CN202110379300.5A 2021-04-08 2021-04-08 一种数据显示方法 Active CN113010133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110379300.5A CN113010133B (zh) 2021-04-08 2021-04-08 一种数据显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110379300.5A CN113010133B (zh) 2021-04-08 2021-04-08 一种数据显示方法

Publications (2)

Publication Number Publication Date
CN113010133A CN113010133A (zh) 2021-06-22
CN113010133B true CN113010133B (zh) 2023-04-07

Family

ID=76388093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110379300.5A Active CN113010133B (zh) 2021-04-08 2021-04-08 一种数据显示方法

Country Status (1)

Country Link
CN (1) CN113010133B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009218883A (ja) * 2008-03-11 2009-09-24 Fuji Xerox Co Ltd 指示システム、指示プログラム及び指示装置
JP2011043876A (ja) * 2009-08-19 2011-03-03 Brother Industries Ltd 画像表示装置
JP2016021228A (ja) * 2014-06-17 2016-02-04 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
CN105359546A (zh) * 2013-05-01 2016-02-24 乐盟普雷公司 用于交互式视频投影系统的内容产生
CN105700803A (zh) * 2014-12-10 2016-06-22 卡西欧计算机株式会社 信息输出控制装置
WO2016157920A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN106687887A (zh) * 2014-10-21 2017-05-17 国际商业机器公司 投影的交互式虚拟桌面
CN107562316A (zh) * 2017-08-29 2018-01-09 广东欧珀移动通信有限公司 界面展示方法、装置及终端
CN114240469A (zh) * 2020-09-09 2022-03-25 腾讯科技(深圳)有限公司 一种数据展示方法、装置以及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160329006A1 (en) * 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
US10990226B2 (en) * 2018-03-08 2021-04-27 International Business Machines Corporation Inputting information using a virtual canvas

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009218883A (ja) * 2008-03-11 2009-09-24 Fuji Xerox Co Ltd 指示システム、指示プログラム及び指示装置
JP2011043876A (ja) * 2009-08-19 2011-03-03 Brother Industries Ltd 画像表示装置
CN105359546A (zh) * 2013-05-01 2016-02-24 乐盟普雷公司 用于交互式视频投影系统的内容产生
JP2016021228A (ja) * 2014-06-17 2016-02-04 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
CN106687887A (zh) * 2014-10-21 2017-05-17 国际商业机器公司 投影的交互式虚拟桌面
CN105700803A (zh) * 2014-12-10 2016-06-22 卡西欧计算机株式会社 信息输出控制装置
WO2016157920A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107562316A (zh) * 2017-08-29 2018-01-09 广东欧珀移动通信有限公司 界面展示方法、装置及终端
CN114240469A (zh) * 2020-09-09 2022-03-25 腾讯科技(深圳)有限公司 一种数据展示方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN113010133A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
US20230108680A1 (en) Screen Projection Method and Terminal Device
US11895426B2 (en) Method and apparatus for capturing video, electronic device and computer-readable storage medium
US9894115B2 (en) Collaborative data editing and processing system
WO2022100237A1 (zh) 投屏显示方法及相关产品
CN104509127B (zh) 发送查询消息的方法和用于该方法的显示装置、共享信息的方法和移动终端
WO2019037515A1 (zh) 一种基于虚拟空间场景的信息交互方法、计算机设备及计算机可读存储介质
US20140340344A1 (en) Display processor and display processing method
US20080252716A1 (en) Communication Control Device and Communication Terminal
WO2016197590A1 (zh) 用于在终端设备上提供截屏服务的方法、装置、存储介质及设备
KR20150079640A (ko) 실시간 통신 및 경험 공유 세션 동안 서비스를 업데이트하는 기법
AU2018251560B2 (en) Live ink presence for real-time collaboration
CN113485626A (zh) 一种智能显示设备、移动终端和显示控制方法
WO2022088974A1 (zh) 一种遥控方法、电子设备及系统
US20160345003A1 (en) Extensible Authoring and Playback Platform for Complex Virtual Reality Interactions and Immersive Applications
US8937635B2 (en) Device, method and system for real-time screen interaction in video communication
CN113010133B (zh) 一种数据显示方法
JP2001216527A (ja) マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体
US20230052877A1 (en) Screen projection control method, storage medium and communication apparatus
JP6224465B2 (ja) 映像配信システム、映像配信方法及び映像配信プログラム
WO2022242628A1 (zh) 投屏方法、装置、设备及存储介质
CN113473215B (zh) 录屏方法、装置、终端及存储介质
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
WO2024082901A1 (zh) 云游戏的数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN116069433B (zh) 基于虚拟桌面基础架构和动作识别的图像漂移方法及系统
CN116055708B (zh) 一种感知可视交互式球幕三维立体成像方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046850

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant