CN103945165A - 终端设备远程视频传输的处理方法和装置 - Google Patents

终端设备远程视频传输的处理方法和装置 Download PDF

Info

Publication number
CN103945165A
CN103945165A CN201410186953.1A CN201410186953A CN103945165A CN 103945165 A CN103945165 A CN 103945165A CN 201410186953 A CN201410186953 A CN 201410186953A CN 103945165 A CN103945165 A CN 103945165A
Authority
CN
China
Prior art keywords
image
video image
processing
image block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410186953.1A
Other languages
English (en)
Inventor
郭子华
刘明明
刘晓鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING CUTECOMM TECHNOLOGY Co Ltd
Original Assignee
BEIJING CUTECOMM TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING CUTECOMM TECHNOLOGY Co Ltd filed Critical BEIJING CUTECOMM TECHNOLOGY Co Ltd
Priority to CN201410186953.1A priority Critical patent/CN103945165A/zh
Publication of CN103945165A publication Critical patent/CN103945165A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供了终端设备远程视频传输的处理方法和装置,包括:连续获取完整的多帧视频图像;对每帧视频图像进行处理以生成多个图像块;其中,对视频图像进行处理至少包括:对视频图像进行分割处理;将图像块进行单独压缩编码处理,生成数据包;向远程服务端发送数据包。本发明通过对终端的图像进行处理(分割),并将分割后得到的图像块进行传输,由于分割后的图像块较完整的视频图像容量小,故使得传输速度快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的看到与自己的操控对应终端的视频图像,给双方均带来了更好的用户体验。

Description

终端设备远程视频传输的处理方法和装置
技术领域
本发明涉及终端的远程视频传输领域,具体而言,涉及终端设备远程视频传输的处理方法和装置。
背景技术
很多情况下通信的两端需要进行交互,例如一端控制另一端进行操作,例如我们Windows上的Netmeeting软件,此时终端需要响应对端的操作并将自己本地实时的视频图像传输给对端。同样,在移动终端上也有类似的应用和需求。在这样的系统中,当服务端操控终端时,其需要实时看到终端的桌面的变化的视频图像,以便了解自己的操作;具体的,终端里的软件实时获取终端桌面的视频图像,并将获取的桌面的视频图像进行压缩和编码,然后发送给远程服务端,远程服务端接收该桌面的视频图像后,对该桌面的视频图像进行解压缩和解码并进行显示,以便实时了解与操控对应视频图像。
但是,上述过程,终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利。
发明内容
本发明的目的在于提供终端设备远程视频传输的处理方法和装置,以解决上述的问题。
在本发明的实施例中提供了一种终端设备远程视频传输的处理方法,包括:
连续获取完整的多帧视频图像;
对每帧视频图像进行处理以生成多个图像块;其中,对视频图像进行处理至少包括:对视频图像进行分割处理;
将图像块进行单独压缩编码处理,生成数据包;
向远程服务端发送数据包。
进一步的,该方法中,对视频图像进行处理,还包括:
对于视频图像的每个图像块,将其与上一帧视频图像中对应的图像块进行比较并仅保留不同的部分以作为更新后的图像块。
进一步的,该方法中,对视频图像进行处理,还包括:对更新后的图像块进行缩放。
进一步的,该方法中,将图像块进行压缩编码处理,生成数据包之后,还包括:
数据包包括压缩头和数据信息;
对于每个数据包,将压缩头与上一个生成的数据包的压缩头进行比较并仅保留不同的部分以作为更新后的压缩头;
向远程服务端发送更新后的压缩头和数据信息。
进一步的,该方法中,对视频图像进行处理,包括:将视频图像进行缩放;
将缩放后的视频图像进行分割处理,得到多个图像块。
进一步的,该方法中,对视频图像进行处理,包括:
对视频图像进行分割处理,生成多个图像块;
将每个图像块的图像进行缩放处理。
在本发明的实施例中提供了一种终端设备远程视频传输的处理装置,包括:
获取单元,用于连续获取完整的多帧视频图像;
处理单元,用于对获取单元获取的每帧视频图像进行处理以生成多个图像块;其中,处理单元至少包括:分割子单元,用于对获取单元获取的视频图像进行分割处理;
生成单元,用于将处理单元处理后的图像块进行单独压缩编码处理,生成数据包;
第一发送单元,用于向远程服务端发送生成单元生成的数据包。
进一步的,该装置中,处理单元包括:
分割子单元,用于对获取单元获取的视频图像进行分割处理,生成多个图像块;
比较子单元,用于将分割子单元分割的每个图像块,与上一帧视频图像中对应的图像块进行比较;
保留子单元,用于保留比较子单元比较得到的不同的部分以作为更新后的图像块。
进一步的,该装置中,处理单元还包括:
缩放子单元,用于对保留子单元保留的更新后的图像块进行缩放。
进一步的,该装置还包括:
数据包包括压缩头和数据信息;
比较单元,用于将生成单元生成的数据包的压缩头与上一个生成的数据包的压缩头进行比较;
保留单元,用于保留比较单元比较得到的不同的部分以作为更新后的压缩头;
第二发送单元,用于向远程服务端发送保留单元保留的更新的压缩头和数据信息。
进一步的,该装置中,处理单元还包括:
缩放子单元,用于将获取单元获取的视频图像进行缩放;
分割子单元,用于将缩放子单元缩放后的视频图像进行分割处理,得到多个图像块。
本发明实施例提供的终端设备远程视频传输的处理方法和装置,与现有技术中的终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利的方案相比,其包括:连续获取完整的多帧视频图像;对每帧视频图像进行处理以生成多个图像块;其中,对视频图像进行处理至少包括:对视频图像进行分割处理;将图像块进行单独压缩编码处理,生成数据包;向远程服务端发送数据包。本发明通过对移动终端的整个屏幕的图像进行处理(分割),并将分割后得到的图像块进行传输,由于分割后的图像块较整个屏幕的视频图像容量小,故使得传输速度快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的了看到与自己的操控对应移动终端的桌面的视频图像,给双方均带来了更好的用户体验。
附图说明
图1示出了本发明实施例提供的一种终端设备远程视频传输的处理系统的结构示意图;
图2示出了本发明实施例提供的一种终端设备远程视频传输的处理方法的流程图;
图3示出了本发明实施例提供的另一种终端设备远程视频传输的处理方法的流程图;
图4示出了本发明实施例提供的另一种终端设备远程视频传输的处理方法的流程图;
图5示出了本发明实施例提供的另一种终端设备远程视频传输的处理方法的流程图;
图6示出了本发明实施例提供的另一种终端设备远程视频传输的处理方法的流程图;
图7示出了本发明实施例提供的另一种终端设备远程视频传输的处理方法的流程图;
图8示出了本发明实施例提供的一种终端设备远程视频传输的处理装置的结构示意图;
图9示出了本发明实施例提供的一种终端设备远程视频传输的处理装置中处理单元的结构示意图;
图10示出了本发明实施例提供的另一种终端设备远程视频传输的处理装置的结构示意图;
图11示出了本发明实施例提供的另一种终端设备远程视频传输的处理装置中处理单元的结构示意图;
图12示出了本发明实施例提供的另一种终端设备远程视频传
输的处理装置中处理单元的结构示意图。
具体实施方式
为便于对本实施例进行理解,首先对本实施例所基于的远程通信系统进行简要说明。如图1所示,本发明所涉及的远程通信系统包括:至少一个终端设备11和远程服务端13;可选的,也可以包括:后台服务器12;终端设备11、后台服务器12和远程服务端13之间可以两两建立数据通信关系。而在本发明实施例中,上述终端设备11可以为具有通信功能的终端设备可以为移动的电子终端,例如智能手机、平板电脑或者其他通信电子产品,也可以为固定的电子终端,例如台式电脑等。并且,这些终端设备中需要预先安装远程控制单元14,并通过远程控制单元14与后台服务器12和/或远程服务端13建立数据通信关系。
实施例1
本实施例提供了一种终端设备远程视频传输的处理方法,如图2所示,该方法包括:
101、连续获取完整的多帧视频图像。
本实施例中终端设备以移动终端为例进行具体说明。具体的,移动终端与远程服务端建立远程连接以后,当厂商客服对移动终端进行操作时,移动终端处会有连续变化的多帧视频图像,此时,厂商客服希望实时看到该连续的多帧视频图像,以便确认自己对移动终端的操作。
本实施例中,视频图像为连续变化的移动终端的桌面的视频图像;远程控制单元连续(即实时)获取移动终端整个屏幕的桌面视频图像,以便后续对整个屏幕的桌面视频图像进行处理。
102、对视频图像进行分割处理,生成多个图像块。
具体的,在视频处理(移动终端的整个屏幕的视频图像处理)的过程中,移动终端中3G网络的上行带宽是非常低的,如果服务人员进行了一个操作(即远程服务端对移动终端发起了一个操作,该操作用于控制移动终端的桌面),通常会期望尽快看到在远程服务端显示的不断变化的移动终端的桌面视频图像。但是由于3G网络的带宽限制,将一个完整的不断变化的视频图像从移动终端传输到远程服务端通常要花费很长时间,甚至还会因为网络原因而造成播放较卡,故我们将整个屏幕的图像进行分割处理,用以加速客服人员操作之后的响应速度。
具体的,首先整个屏幕的图像进行分割,分成多个图像块,比如分割成4块甚至更多(如6块)(本实施例中以分割成4块为例进行说明),以便对分割后的每一个图像块进行单独的处理。
103、将图像块进行单独压缩编码处理,生成数据包。
本实施例中,根据预设的传输协议,将分割得到的每一图像块分别进行压缩编码处理,生成数据包;具体的,压缩编码处理的方法为现有技术,本发明对比不做具体解释。
104、向远程服务端发送数据包。
具体的,远程控制单元将压缩编码处理后的数据包发送给远程服务端。
其中,当移动终端和远程服务端可以P2P通信时,远程控制单元直接将生成的数据包向远程服务端发送;当移动终端和远程服务端不能P2P通信时,远程控制单元将生成的数据包发送给后台服务器,以便通过后台服务器将该数据包转发给远程服务端。
在本实施例中,移动终端桌面的图像视频的传输是经过服务器转发的。需要说明是,若移动终端和远程服务端可以P2P通信,用户可以根据需要选择使用任意一种通信方式。
本发明实施例提供的终端设备远程视频传输的处理方法,与现有技术中的终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利的方案相比,其包括:连续获取完整的多帧视频图像;对每帧视频图像进行处理以生成多个图像块;其中,对视频图像进行处理至少包括:对视频图像进行分割处理;将图像块进行单独压缩编码处理,生成数据包;向远程服务端发送数据包。本发明通过对终端设备的整个屏幕的图像进行处理(分割),并将分割后得到的图像块进行传输,由于分割后的图像块较整个屏幕的视频图像容量小,故使得传输速度快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的看到与自己的操控对应终端设备的桌面的视频图像,给双方均带来了更好的用户体验。
实施例2
本实施例提供了一种终端设备远程视频传输的处理方法,如图3所示,该方法包括:
201、连续获取完整的多帧视频图像。
202、对视频图像进行分割处理,生成多个图像块。
203、对于视频图像的每个图像块,将其与上一帧视频图像中对应的图像块进行比较并仅保留不同的部分以作为更新后的图像块。
具体的,将分割后的每一个图像块进行差分处理,即将分割后的每一个图像块与自身的上一帧视频图像中分割后的相对应的图像块进行比较,从中获取更新的图像块;这样,在传输的过程中,只需要传输更新的图像块,而不需要传输与上一帧视频图中对应的图像块的相同的部分,从而进一步提高了传输速度,更加迅速的实时反馈与厂商客服的操作对应的信息,给用户和厂商客服均带来了更好的用户体验。
其中,终端设备和远程服务端之间(如果是经过后台服务器转发的通信方式,即终端设备、后台服务器和远程服务端之间)提前使用一种特定的协议,用以及时通知远程服务端远程控制单元发送的图像块的信息。例如,远程控制单元将终端设备桌面的整个屏幕视频图像进行分割,然后对分割后的每个图像块依次向远程服务端进行传送,当发送第一个图像块后,该协议会自动通知远程服务端远程控制单元发送的图像块为整个终端设备桌面视频图像的哪一部分(例如A部分);同理,当发送后续图像块时,该协议同样会自动通知远程服务端远程控制单元发送的图像块为整个终端设备桌面视频图像的哪一部分(例如B部分),以使得远程服务端根据该协议,将接收到的图像块进行拼凑整合,形成完整的视频图像。
当用户操作以后,远程控制单元第二次对动终端桌面的整个屏幕的视频图像进行分割,然后将分割的每一个图像块,与上一帧图像中的相对应的图像块进行比较(例如第二次发送的A1部分的图像块与第一次发送的A部分的图像块进行比较),得到更新的图像块,并传送给远程服务端;此时,该协议同样会自动通知远程服务端远程控制单元发送的更新后的图像块(例如为a)为终端设备桌面的整个屏幕视频图像的哪一部分(例如,告知远程服务端a与第一次发送的A属于同一部分),并且通知远程服务端该更新后的图像块(a)与上一个图像块的哪一部分的数据信息不同,其他部分的数据信息均相同,以便远程服务端根据该通知将该图像块拼凑整合起来,形成完整的图像块。(例如,A1部分的前四个像素为a,第一次发送的A部分的前四个像素为b,则协议会通知远程服务端a为A1部分与A部分的前四个像素不同的信息,其他信息均与A部分相同);若更新的图像块的占用的字节为0,则说明该图像块与上一帧图像中相对应的图像块完全相同(即A1部分与第一次发送的A部分的图像块完全相同),远程控制单元则不再进行发送,此时,该协议会自动通知远程服务端远程控制单元发送的终端设备桌面整个屏幕视频图像的哪一部分同上一帧图像中的相对应的部分完全相同(即通知远程服务端A1部分与A部分完全相同);同理,其他第二次分割的图像块的通知方式均相类似,当远程服务端接收到全部图像块后,将这些图像块拼凑整合起来形成完整的图像。
另外,比较的步骤也可以在分割之前,例如,首先将视频图像与其上一帧视频图像进行比较并仅保留不同的部分以作为更新后的视频图像;然后对更新后的视频图像进行分割处理,得到多个图像块。
204、对更新后的图像块进行缩放。
具体的,更新后的图像块的图像可能太大,不便远程控制单元对其进行发送,故可以首先将图像块的图像进行缩放。例如,将图像块的图像在其长度和宽度方向各缩放1/2,此时,图像块的整个图像共缩放了1/4,方便了远程控制单元对其进行发送。
205、将更新后的图像块进行压缩编码处理,生成数据包。
206、向远程服务端发送数据包。
本发明实施例提供的终端设备远程视频传输的处理方法,与现有技术中的终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利的方案相比,其包括:连续获取完整的多帧视频图像;对每帧视频图像进行处理以生成多个图像块;其中,对视频图像进行处理至少包括:对于视频图像的每个图像块,将其与上一帧视频图像中对应的图像块进行比较并仅保留不同的部分以作为更新后的图像块;将更新后的图像块进行压缩编码处理,生成数据包;向远程服务端发送数据包。本发明通过对终端设备的整个屏幕的图像进行处理(分割),并将分割后得到的图像块与上一帧图像中相对应的图像块进行比较,传输更新的图像块,故使得需传输的内容更小,传输速度更快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的看到与自己的操控对应终端的图像,给双方均带来了更好的用户体验。
实施例3
本实施例提供了一种终端设备远程视频传输的处理方法,如图4所示,该方法包括:
301、连续获取完整的多帧视频图像。
302、对视频图像进行分割处理,生成多个图像块。
303、将图像块进行单独压缩编码处理,生成数据包;数据包包括压缩头和数据信息。
本实施例中,压缩头可以为JPEG或PNG等文件头,其中文件头也可以是报文头。数据包删除压缩头后的内容即为数据信息;具体的,获取数据包的压缩头和数据信息,以便后续对其进行处理。
304、对于每个数据包,将压缩头与上一个生成的数据包的压缩头进行比较并仅保留不同的部分以作为更新后的压缩头。
本实施例中,压缩头为JPEG或PNG等文件头,其中文件头也可以是报文头。具体的,由于多个图像块单独编码传输可能造成要多次传输压缩包的报文头(如JPEG或PNG等文件头)中,但是,这些报文头除了图像大小信息等很有限的内容不同外,其他内容均相同,从而产生占用传输带宽资源大的问题,而使用本实施例提供的传送更新的压缩头的方法,避免了在网络在传输中占用传输带宽资源大,从而使得传输速度快,且节省了传输的带宽资源。
具体的,我们采取只传输第一次的完整报文头(即在传输第一个图像块时,发送完整的报文头),在报文头的编码参数不变时,获取后续需要传输的其他图像块的报文头中与第一次的完整报文头的不同的部分,然后将不同的部分以其它方式传输到远程服务端。
因为远程服务端与终端设备之间使用报文传输的特定的协议(具体过程在上述实施例中已详细说明),当远程服务端收到每一个更新的报文头时,特定的协议会告知远程服务端该更新的报文头与上一帧传输的报文头的哪部分的哪些信息不同,远程服务端根据协议告知的信息,将该更新的报文头与第一次的完整报文头的其他部分重新组成一个完整的报文头,并与其他数据信息进行组合,形成完整的数据包,然后对该数据包解码并显示(其中,数据包解码后的显示信息即图像块的图像信息)。
其中,若报文头的编码参数变化时,远程控制单元需重新传送完整的报文头,当后续报文头的编码参数不变时,与上述的方法一样只传输更新的报文头。
305、向远程服务端发送更新后的压缩头和数据信息。
具体的,发送方式可以使用如下方法:例如,不包括报文头的数据信息占用1000个字节,然后在该数据信息的前面(也可以是后面或者其他位置)另加4字节(该数据可以根据更新的压缩头的大小而设置),增加的4字节用于传输更新更新的压缩头,然后将这1004个字节的数据信息向远程服务端发送。
本发明实施例提供的终端设备远程视频传输的处理方法,与现有技术中的终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利的方案相比,其包括:连续获取完整的多帧视频图像;对每帧视频图像进行处理以生成多个图像块;其中,对视频图像进行处理至少包括:对于视频图像的每个图像块;将图像块进行压缩编码处理,生成数据包;数据包包括压缩头和数据信息;对于每个数据包,将压缩头与上一个生成的数据包的压缩头进行比较并仅保留不同的部分以作为更新后的压缩头;向远程服务端发送更新后的压缩头和数据信息。本发明通过对终端设备的整个屏幕的视频图像进行处理(分割),并将分割后得到的图像块生成的数据包与上一个生成的数据包进行比较,传输数据信息和更新的压缩头信息,故使得需传输的内容更小,传输速度更快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的看到与自己的操控对应终端的图像,给双方均带来了更好的用户体验。
实施例4
本实施例提供了一种终端设备远程视频传输的处理方法,如图5所示,该方法包括:
401、连续获取完整的多帧视频图像。
402、将视频图像进行缩放。
具体的,整个屏幕的图像可能太大,从而不便远程控制单元对其进行分割,故可以首先将终端设备的整个屏幕的图像进行缩放。例如,将整个屏幕的图像在其长度和宽度方向各缩放1/2,此时,整个屏幕的图像缩放了1/4,然后在对其进行分割处理,给远程控制单元的缩放提供了较大的方便。
403、将缩放后的视频图像进行分割处理,得到多个图像块。
具体的,分割的方法在上述实施例中已详细说明,本实施例对此不在赘述。
404、将图像块进行单独压缩编码处理,生成数据包。
405、向远程服务端发送生成的数据包。
本发明实施例提供的终端设备远程视频传输的处理方法,与现有技术中的终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利的方案相比,其包括:连续获取完整的多帧视频图像;将视频图像进行缩放;将缩放后的视频图像进行分割处理,得到多个图像块;将图像块进行压缩编码处理,生成数据包;向远程服务端发送生成的数据包。本发明通过对终端设备的整个屏幕的视频图像进行缩放和分割,传输缩放和分割后的视频图像信息,故使得传输的内容更小,传输速度更快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的看到与自己的操控对应终端的图像,给双方均带来了更好的用户体验。
实施例5
本实施例提供了一种终端设备远程视频传输的处理方法,如图6所示,该方法包括:
501、连续获取完整的多帧视频图像。
502、对视频图像进行分割处理,生成多个图像块。
503、将每个图像块的图像进行缩放处理作为更新后的图像块。
本实施例中,本实施例中对图像块进行缩放处理与实施例4中对整个屏幕的图像进行缩放的方法相类似,本实施例不在赘述。
504、将更新后的图像块进行压缩编码处理,生成数据包。
505、向远程服务端发送数据包。
本发明实施例提供的终端设备远程视频传输的处理方法,与现有技术中的终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利的方案相比,其包括:连续获取完整的多帧视频图像;对视频图像进行分割处理,生成多个图像块;将每个图像块的图像进行缩放处理作为更新后的图像块;将更新后的图像块进行压缩编码处理,生成数据包;向远程服务端发送生成的数据包。本发明通过对终端设备的整个屏幕的视频图像进行分割和缩放,传输分割和缩放后的视频图像信息,故使得传输的内容容量更小,传输速度更快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的看到与自己的操控对应终端的图像,给双方均带来了更好的用户体验。
实施例6
本实施例提供了一种终端设备远程视频传输的处理方法,如图7所示,该方法包括:
601、连续获取完整的多帧视频图像。
602、将视频图像进行缩放。
603、将缩放后的视频图像进行分割处理,得到多个图像块。
604、对于视频图像的每个图像块,将其与上一帧视频图像中对应的图像块进行比较并仅保留不同的部分以作为更新后的图像块。
605、将更新后的图像块进行压缩编码处理,生成数据包;数据包包括压缩头和数据信息。
606、对于每个数据包,将压缩头与上一个生成的数据包的压缩头进行比较并仅保留不同的部分以作为更新后的压缩头。
607、向远程服务端发送更新后的压缩头和数据信息。
本发明实施例提供的终端设备远程视频传输的处理方法,与现有技术中的终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利的方案相比,其包括:连续获取完整的多帧视频图像,并将视频图像进行缩放和分割处理,得到多个图像块;将每个图像块与上一帧视频图像中对应的图像块进行比较并仅保留不同的部分以作为更新后的图像块;将更新后的图像块进行压缩编码处理,生成数据包;数据包包括压缩头和数据信息;将每个数据包的压缩头与上一个生成的数据包的压缩头进行比较并仅保留不同的部分以作为更新后的压缩头,向远程服务端发送更新后的压缩头和数据信息。本发明通过对终端设备的整个屏幕的视频图像进行分割和缩放,传输更新后的图像块和更新后的压缩头信息,故使得传输的内容更小,传输速度更快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的看到与自己的操控对应终端的图像,给双方均带来了更好的用户体验。
需要说明的是,上述实施例1到实施例6中的步骤的任意组合所组成的技术方案都属于本发明的保护范围,并且,在上述实施例中,终端设备和远程服务端之间的通信连接模式包括:P2P通信连接模式和通过后台服务器转发通信数据的通信连接模式。
上述实施例为本发明中的优选实施例。其中,本发明中对每帧视频图像进行处理的处理方法包括分割、比较和缩放三个步骤。需要重点说明的是,上述三种处理步骤是可以任意排列次序的,其组合的6种方式都是本发明的保护范围,本发明中只是优选的列举了其中几种任意的组合的方式,另外,本发明中没有列举出来的方案也在本发明的保护范围内。
实施例7
在本发明的实施例中提供了一种终端设备远程视频传输的处理装置,如图8所示,包括:
获取单元21,用于连续获取完整的多帧视频图像。
处理单元22,用于对获取单元21获取的每帧视频图像进行处理以生成多个图像块;其中,处理单元22至少包括:分割子单元221,用于对获取单元21获取的视频图像进行分割处理。
生成单元23,用于将处理单元22处理(分割)后的图像块进行单独压缩编码处理,生成数据包。
第一发送单元24,用于向远程服务端发送生成单元23生成的数据包。
进一步的,如图9所示,该装置中,处理单元22包括:
分割子单元221,用于对获取单元21获取的视频图像进行分割处理,生成多个图像块。
比较子单元222,用于将分割子单元221分割的每个图像块,与上一帧视频图像中对应的图像块进行比较。
保留子单元223,用于保留比较子单元222比较得到的不同的部分以作为更新后的图像块。
进一步的,如图9所示,该装置还包括:
缩放子单元224,用于对所述保留子单元223保留的更新后的图像块进行缩放。
进一步的,如图10所示,该装置还包括:
比较单元25,用于将生成单元23生成的数据包的压缩头与上一个生成的数据包的压缩头进行比较。
保留单元26,用于保留比较单元25比较得到的不同的部分以作为更新后的压缩头。
第二发送单元27,用于向远程服务端发送保留单元26保留的更新的压缩头和数据信息。
进一步的,如图11所示,该装置中,处理单元22还包括:
缩放子单元224,用于将获取单元21获取的视频图像进行缩放。
分割子单元221,用于将缩放子单元224缩放后的视频图像进行分割处理,得到多个图像块。
进一步的,如图12所示,该装置中,处理单元22还包括:
分割子单元221,用于对获取单元21获取的视频图像进行分割处理,生成多个图像块。
缩放子单元224,用于将分割子单元221分割得到的每个图像块的图像进行缩放处理作为更新后的图像块。
本发明实施例提供的终端设备远程视频传输的处理装置,与现有技术中的终端的整个屏幕图像容量较大,服务端很久才能看到与自己的操控对应终端的桌面的视频图像,即反馈信息耗费时间长,故使得用户体验非常不好,操作非常不便利的方案相比,其包括:连续获取完整的多帧视频图像;对每帧视频图像进行处理以生成多个图像块;其中,对视频图像进行处理至少包括:对视频图像进行分割处理;将图像块进行单独压缩编码处理,生成数据包;向远程服务端发送数据包。本发明通过对移动终端的整个屏幕的图像进行处理(分割),并将分割后得到的图像块进行传输,由于分割后的图像块较整个屏幕的视频图像容量小,故使得传输速度快,从而能够实时反馈与远程服务端的操作对应的信息,使远程服务端能够及时的看到与自己的操控对应移动终端的桌面的视频图像,给双方均带来了更好的用户体验。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种终端设备远程视频传输的处理方法,其特征在于,包括:
连续获取完整的多帧视频图像;
对每帧所述视频图像进行处理以生成多个图像块;其中,对所述视频图像进行处理至少包括:对所述视频图像进行分割处理;
将所述图像块进行单独压缩编码处理,生成数据包;
向远程服务端发送所述数据包。
2.根据权利要求1所述的方法,其特征在于,所述对所述视频图像进行处理,还包括:
对于所述视频图像的每个所述图像块,将其与上一帧视频图像中对应的图像块进行比较并仅保留不同的部分以作为更新后的图像块。
3.根据权利要求2所述的方法,所述对所述视频图像进行处理,还包括:对所述更新后的图像块进行缩放。
4.根据权利要求1所述的方法,其特征在于,将所述图像块进行压缩编码处理,生成数据包之后,还包括:
所述数据包包括压缩头和数据信息;
对于每个所述数据包,将所述压缩头与上一个生成的所述数据包的压缩头进行比较并仅保留不同的部分以作为更新后的压缩头;
向远程服务端发送所述更新后的压缩头和所述数据信息。
5.根据权利要求1所述的方法,其特征在于,对所述视频图像进行处理,包括:将所述视频图像进行缩放;
将缩放后的所述视频图像进行分割处理,得到多个图像块。
6.根据权利要求1所述的方法,其特征在于,对所述视频图像进行处理,包括:
对所述视频图像进行分割处理,生成多个图像块;
将每个所述图像块的图像进行缩放处理。
7.一种终端设备远程视频传输的处理装置,其特征在于,包括:
获取单元,用于连续获取完整的多帧视频图像;
处理单元,用于对所述获取单元获取的每帧所述视频图像进行处理以生成多个图像块;其中,所述处理单元至少包括:分割子单元,用于对所述获取单元获取的所述视频图像进行分割处理;
生成单元,用于将所述处理单元处理后的所述图像块进行单独压缩编码处理,生成数据包;
第一发送单元,用于向远程服务端发送所述生成单元生成的所述数据包。
8.根据权利要求7所述的装置,其特征在于,所述处理单元包括:
分割子单元,用于对所述获取单元获取的所述视频图像进行分割处理,生成多个图像块;
比较子单元,用于将所述分割子单元分割的每个所述图像块,与上一帧视频图像中对应的图像块进行比较;
保留子单元,用于保留所述比较子单元比较得到的不同的部分以作为更新后的图像块。
9.根据权利要求8所述的装置,其特征在于,所述处理单元还包括:
缩放子单元,用于对所述保留子单元保留的所述更新后的图像块进行缩放。
10.根据权利要求7所述的装置,其特征在于,还包括:
所述数据包包括压缩头和数据信息;
比较单元,用于将所述生成单元生成的所述数据包的压缩头与上一个生成的所述数据包的压缩头进行比较;
保留单元,用于保留所述比较单元比较得到的不同的部分以作为更新后的压缩头;
第二发送单元,用于向远程服务端发送所述保留单元保留的所述更新的压缩头和所述数据信息。
CN201410186953.1A 2014-05-05 2014-05-05 终端设备远程视频传输的处理方法和装置 Pending CN103945165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410186953.1A CN103945165A (zh) 2014-05-05 2014-05-05 终端设备远程视频传输的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410186953.1A CN103945165A (zh) 2014-05-05 2014-05-05 终端设备远程视频传输的处理方法和装置

Publications (1)

Publication Number Publication Date
CN103945165A true CN103945165A (zh) 2014-07-23

Family

ID=51192617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410186953.1A Pending CN103945165A (zh) 2014-05-05 2014-05-05 终端设备远程视频传输的处理方法和装置

Country Status (1)

Country Link
CN (1) CN103945165A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504350A (zh) * 2015-01-04 2015-04-08 京东方科技集团股份有限公司 显示装置、观看装置、显示方法及观看方法
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子(中国)研发中心 全景视频交互传输的方法和系统
WO2018176303A1 (zh) * 2017-03-30 2018-10-04 深圳市大疆创新科技有限公司 视频传输、接收方法、系统、设备及无人飞行器
CN111405071A (zh) * 2020-06-02 2020-07-10 广东睿江云计算股份有限公司 一种基于云桌面的画面传输方法及系统
CN112929590A (zh) * 2021-02-05 2021-06-08 广东欧谱曼迪科技有限公司 开机动画播放系统、压缩方法、装置及解压方法、装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411664A (zh) * 1999-12-22 2003-04-16 爱慕特尔有限公司 采用无线通讯的移动图像传送/接收系统及其方法
CN101217658A (zh) * 2008-01-09 2008-07-09 杭州华三通信技术有限公司 一种媒体传输的方法、系统和装置
CN101557490A (zh) * 2008-04-11 2009-10-14 索尼株式会社 信息处理装置和信息处理方法
CN201846440U (zh) * 2010-11-16 2011-05-25 重庆瑞斯凯特科技有限责任公司 移动终端视频发布系统
CN102402697A (zh) * 2010-09-07 2012-04-04 国民技术股份有限公司 一种射频通讯系统和射频通讯方法
CN102547215A (zh) * 2010-12-07 2012-07-04 河南省电力公司焦作供电公司 防误操作智能视觉识别系统
CN102843431A (zh) * 2012-08-29 2012-12-26 广东好帮手电子科技股份有限公司 一种车载在线音乐系统及其控制方法
CN102891890A (zh) * 2012-09-26 2013-01-23 腾讯科技(深圳)有限公司 一种终端之间的交互方法及相关设备、系统
US20130167031A1 (en) * 2011-12-27 2013-06-27 Sony Computer Entertainment Inc. Image processing system, image provider server, information processing device, and image processing method, adapted to change in resolution
CN103294438A (zh) * 2013-06-21 2013-09-11 镇江冈山电子有限公司 虚拟桌面图像的控制传输方法及系统
CN103716648A (zh) * 2012-10-08 2014-04-09 深圳市子元技术有限公司 远程教学系统的数据传输方法及远程教学系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411664A (zh) * 1999-12-22 2003-04-16 爱慕特尔有限公司 采用无线通讯的移动图像传送/接收系统及其方法
CN101217658A (zh) * 2008-01-09 2008-07-09 杭州华三通信技术有限公司 一种媒体传输的方法、系统和装置
CN101557490A (zh) * 2008-04-11 2009-10-14 索尼株式会社 信息处理装置和信息处理方法
CN102402697A (zh) * 2010-09-07 2012-04-04 国民技术股份有限公司 一种射频通讯系统和射频通讯方法
CN201846440U (zh) * 2010-11-16 2011-05-25 重庆瑞斯凯特科技有限责任公司 移动终端视频发布系统
CN102547215A (zh) * 2010-12-07 2012-07-04 河南省电力公司焦作供电公司 防误操作智能视觉识别系统
US20130167031A1 (en) * 2011-12-27 2013-06-27 Sony Computer Entertainment Inc. Image processing system, image provider server, information processing device, and image processing method, adapted to change in resolution
CN102843431A (zh) * 2012-08-29 2012-12-26 广东好帮手电子科技股份有限公司 一种车载在线音乐系统及其控制方法
CN102891890A (zh) * 2012-09-26 2013-01-23 腾讯科技(深圳)有限公司 一种终端之间的交互方法及相关设备、系统
CN103716648A (zh) * 2012-10-08 2014-04-09 深圳市子元技术有限公司 远程教学系统的数据传输方法及远程教学系统
CN103294438A (zh) * 2013-06-21 2013-09-11 镇江冈山电子有限公司 虚拟桌面图像的控制传输方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴红权: "如何设计与实现远程控制中的视频传输", 《中国科技信息》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504350A (zh) * 2015-01-04 2015-04-08 京东方科技集团股份有限公司 显示装置、观看装置、显示方法及观看方法
CN104504350B (zh) * 2015-01-04 2018-01-05 京东方科技集团股份有限公司 显示装置、观看装置、显示方法及观看方法
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子(中国)研发中心 全景视频交互传输的方法和系统
US10693938B2 (en) 2016-07-12 2020-06-23 Samsung Electronics Co., Ltd Method and system for interactive transmission of panoramic video
WO2018176303A1 (zh) * 2017-03-30 2018-10-04 深圳市大疆创新科技有限公司 视频传输、接收方法、系统、设备及无人飞行器
CN111405071A (zh) * 2020-06-02 2020-07-10 广东睿江云计算股份有限公司 一种基于云桌面的画面传输方法及系统
CN112929590A (zh) * 2021-02-05 2021-06-08 广东欧谱曼迪科技有限公司 开机动画播放系统、压缩方法、装置及解压方法、装置
CN112929590B (zh) * 2021-02-05 2022-10-04 广东欧谱曼迪科技有限公司 开机动画播放系统、压缩方法、装置及解压方法、装置

Similar Documents

Publication Publication Date Title
CN103945165A (zh) 终端设备远程视频传输的处理方法和装置
CN102883135B (zh) 屏幕共享及控制方法
CN104735279B (zh) 图像形成装置、系统及图像形成装置和系统的控制方法
CN104253856A (zh) 可缩放Web实时通信媒体引擎以及相关的方法、系统
CN103092552A (zh) 一种实现多屏显示的方法及系统
KR20090007220A (ko) 화상 송신 장치, 화상 송신 방법, 수신 장치 및 화상 송신시스템
CN103796013A (zh) 一种移动端即时通讯中的图片压缩方法
CN101888519A (zh) 共享桌面内容的方法和智能设备
CN109327493A (zh) 一种基于云的远程医疗监控系统及监控方法
EP3941021A1 (en) Processing method, apparatus, and system
CN100574414C (zh) 一种手机通过蓝牙向电脑传输视频图像的方法
EP3217596B1 (en) Communication terminal, communication system, and data transmission method
CN104601715A (zh) 一种基于二维码的文件共享方法、系统及移动终端
CN107835445B (zh) 基于mqtt协议的电视控制方法、移动终端及电视
CN113286190A (zh) 一种跨网络同屏控制方法、装置和跨网络同屏系统
CN205105347U (zh) 视频的无线传输设备、视频播放设备及系统
CN110798651A (zh) 视频会议方法、装置、设备及存储介质
CN115567518B (zh) 一种用于云桌面的摄像头重定向的装置、系统和方法
WO2018010469A1 (zh) 一种数据传输方法及装置、存储介质
CN104994333A (zh) 医学影像中转装置、客户端、传输系统及其传输方法
CN105323461A (zh) 图像处理设备及其控制方法
KR100989660B1 (ko) 원격 비디오 체인의 제어 방법 및 시스템
CN113141352B (zh) 多媒体数据的传输方法、装置、计算机设备和存储介质
CN102685415A (zh) 一种视频画面处理方法、系统、设备及终端
Bell et al. Holostream: High-accuracy, high-speed 3d range video encoding and streaming across standard wireless networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140723

RJ01 Rejection of invention patent application after publication