CN111901630A - 一种数据传输方法、装置、终端设备和存储介质 - Google Patents
一种数据传输方法、装置、终端设备和存储介质 Download PDFInfo
- Publication number
- CN111901630A CN111901630A CN202010556595.4A CN202010556595A CN111901630A CN 111901630 A CN111901630 A CN 111901630A CN 202010556595 A CN202010556595 A CN 202010556595A CN 111901630 A CN111901630 A CN 111901630A
- Authority
- CN
- China
- Prior art keywords
- video
- format
- canvas
- picture
- picture set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005540 biological transmission Effects 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 230000003993 interaction Effects 0.000 claims abstract description 25
- 230000006855 networking Effects 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 10
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000011664 signaling Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000019642 color hue Nutrition 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种数据传输方法、装置、终端设备和存储介质，所述方法包括：流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。
Description
技术领域
本发明涉及通信技术领域，特别是涉及一种数据传输方法、装置、终端设备和存储介质。
背景技术
现有技术中，在WebRTC协议基础上网页客户端与视联网终端进行业务时，网页客户端支持VP8、VP9或H264等多种编码格式，在将VP8/VP9转换成H264编码格式时，由于通过VP8/VP9编码格式编码的数据都是封装好的，需要专业技术人员在网页客户端上进行系统参数配置，进而对数据进行解码，而参数配置的过程是复杂和繁琐的，转换效率慢，在此过程中，不仅需要对技术人员进行专业培训，还需要花费很长时间，浪费人力和时间。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据传输方法、装置、终端设备和存储介质。
第一个方面，本发明实施例提供一种数据传输方法，所述方法应用于流媒体服务器，所述流媒体服务器分别与网页客户端、视联网终端通信连接，该方法包括：
接收所述网页客户端发送的第一编码格式的视频数据；
根据所述第一编码格式的视频数据，确定图片集；
根据所述图片集和预先建立的画布，确定与所述视频数据对应的YUV格式图片；
将所述YUV格式图片转换成第二编码格式的视频流；
将所述第二编码格式的视频流发送到视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
可选地，所述根据所述第一编码格式的视频数据，确定图片集，包括：
通过WebRTC解码接口，将所述第一编码格式的视频数据每隔第一预设时间段进行截取，获得图片集，其中，所述图片集中的图片格式至少包括BMP、JPG、JPEG或PNG中的一种。
可选地，所述根据所述图片集和预先建立的画布，确定与所述视频数据对应的YUV格式图片，包括：
将所述图片集中的图片插入到预先建立的画布中，生成画布图片集；
对所述画布图片集中的画布图片进行抓屏，获得YUV格式图片。
可选地，所述对所述画布图片集中的画布图片进行抓屏，获得YUV格式图片，包括：
每隔第二预设时间段，对所述画布图片集中的画布图片进行抓屏，获得所述YUV格式图片。
可选地，所述将所述YUV格式图片转换成第二编码格式的视频流，包括：
根据预设编码参数对所述YUV格式图片进行编码，获得所述第二编码格式的视频流，其中，所述预设编码参数至少包括帧率、码率、分辨率、I帧或P帧中的一种。
可选地，所述将所述第二编码格式的视频流发送到视联网终端，以使所述网页客户端和所述视联网终端进行业务交互，包括：
将所述第二编码格式的视频流封装成视联网协议的视频流；
将所述视联网协议的视频流发送到所述视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
第二个方面，本发明实施例提供一种数据传输装置，所述装置应用于流媒体服务器，所述流媒体服务器分别与网页客户端、视联网终端通信连接，所述装置包括：
接收模块，用于接收所述网页客户端发送的第一编码格式的视频数据；
截取模块，用于根据所述第一编码格式的视频数据，确定图片集；
抓屏模块，用于根据所述图片集和预先建立的画布，确定与所述视频数据对应的YUV格式图片；
转换模块，用于将所述YUV格式图片转换成第二编码格式的视频流；
发送模块，用于将所述第二编码格式的视频流发送到视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
可选地，所述截取模块用于：
通过WebRTC解码接口，将所述第一编码格式的视频数据每隔第一预设时间段进行截取，获得图片集，其中，所述图片集中的图片格式至少包括BMP、JPG、JPEG或PNG中的一种。
可选地，所述抓屏模块用于：
将所述图片集中的图片插入到预先建立的画布中，生成画布图片集；
对所述画布图片集中的画布图片进行抓屏，获得YUV格式图片。
可选地，所述抓屏模块具体用于：
每隔第二预设时间段，对所述画布图片集中的画布图片进行抓屏，获得所述YUV格式图片。
可选地，所述转换模块用于：
根据预设编码参数对所述YUV格式图片进行编码，获得所述第二编码格式的视频流，其中，所述预设编码参数至少包括帧率、码率、分辨率、I帧或P帧中的一种。
可选地，所述发送模块用于：
将所述第二编码格式的视频流封装成视联网协议的视频流；
将所述视联网协议的视频流发送到所述视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的数据传输方法。
第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的数据传输方法。
本发明实施例包括以下优点：
本发明实施例应用视联网的特性，流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。
附图说明
图1是本发明的一种数据传输方法实施例的步骤流程图；
图2是本发明的另一种数据传输方法实施例的步骤流程图；
图3是本发明的又一种数据传输方法实施例的步骤流程图；
图4是本发明的一种数据传输装置实施例的结构框图；
图5是本发明的一种终端设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
视联网是网络发展的重要里程碑，是一个实时网络，能够实现高清视频实时传输，将众多互联网应用推向高清视频化，高清面对面。
视联网采用实时高清视频交换技术，可以在一个网络平台上将所需的服务，如高清视频会议、视频监控、智能化监控分析、应急指挥、数字广播电视、延时电视、网络教学、现场直播、VOD点播、电视邮件、个性录制(PVR)、内网(自办)频道、智能化视频播控、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过电视或电脑实现高清品质视频播放。
基于视联网的上述特性，提出了本发明实施例的核心构思之一，流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。。
名词解释如下：
WebRTC，Web Real-Time Communication，网页即时通信，是一个支持网页浏览器进行实时语音对话或视频对话的API。
VP8或VP9：开放的图像压缩格式，能以更少的数据提供更高质量的视频，而且只需较小的处理能力即可播放视频，为致力于实现产品及服务差异化的网络电视、IPTV和视频会议公司提供理想的解决方案。
YUV：颜色编码方法，被欧洲电视系统所采用的一种颜色编码方法(属于PAL)，是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号B-Y(即U)、R-Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。
采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。其中"Y"表示明亮度(Luminance或Luma)，也就是灰阶值；而"U"和"V"表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。"亮度"是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起。"色度"则定义了颜色的两个方面─色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
H264：一种高性能的视频编解码技术，具有很高的数据压缩比率。
本发明一实施例提供一种数据传输方法，用于基于WebRTC协议的网页客户端与视联网终端进行业务时进行数据格式转换。本实施例的执行主体为数据传输装置，设置在流媒体服务器上。
参照图1，示出了本发明的一种数据传输方法实施例的步骤流程图，该方法可以应用于流媒体服务器，所述流媒体服务器分别与网页客户端、视联网终端通信连接，具体可以包括如下步骤：
S101、接收所述网页客户端发送的第一编码格式的视频数据；
具体地，本发明实施例应用于视联网与万维网之间的即时通信，例如，实时语音对话或实时视频对话，例如，进行实时的可视电话或进行直播。
其中，流媒体服务器为视联网中对媒体流进行处理的服务器，为视联网的核心服务器，主要功能是对视联网中传送的音频、视频等视频数据进行采集、缓存、调度和传输、播放。
网页客户端具体为万维网客户端，万维网是基于互联网传输协议，用户可在万维网客户端上登录目标网页，并发起可视电话业务或者直播业务，通过互联网协议与流媒体服务器进行通信。
在进行可视电话业务或直播业务时，网页客户端和视联网终端可以处理的视频数据的编码格式不同，在本发明实施例中采用第一编码格式的视频数据和第二编码格式的视频数据进行区分，网页客户端向流媒体服务器发送第一编码格式的视频数据，例如VP8或VP9编码格式的视频数据。
视联网终端为视联网中的实体终端，与流媒体服务器通过视联网协议进行通信。
S102、根据所述第一编码格式的视频数据，确定图片集；
可以理解，在实际应用中，第一编码格式的视频数据还可以携带视频数据的条件，例如，起始位置、结束位置等，从而仅获取在起始位置、结束位置之间的视频数据。
例如，VP8或VP9为万维网的视频编码标准，基于WebRTC的网页客户端中的视频数据以VP8或VP9编码格式存储。
流媒体服务器在接收到网页客户端发送的VP8或VP9编码格式的视频数据后每隔第一预设时间对视频数据中的视频帧进行抽取，获得至少一种的图片，这些图片构成图片集。
示例性地，对于网页客户端发送的VP8或VP9编码格式的视频数据，1秒内抽取30张视频帧，这些视频帧构成图片集。
S103、根据所述图片集和预先建立的画布，确定与所述视频数据对应的YUV格式图片；
具体地，流媒体服务器根据网页客户端发送的第一编码格式的视频数据，建立空白画布，并将图片集中的图片放入空白画布中，对放入图片的空白画布进行抓屏处理，获得多张YUV格式图片。
在同一时刻，空白画布中只放入一张图片，抓屏后的YUV格式图片也只包括这一张图片，并且，在空白画布中不停的刷新新的图片，不停的进行抓屏，获取多张YUV格式图片。
S104、将所述YUV格式图片转换成第二编码格式的视频流；
具体地，流媒体服务器根据预设编码参数对YUV格式图片进行编码，获得所述第二编码格式的视频流，也就是将像素层的YUV格式，编码出编码层的第二编码格式的视频数据，例如H264编码格式的视频数据。
流媒体服务器获取YUV格式图片的参数信息，包括像素信息、坐标信息和RGB信息等，并在编码器中设置要生成的视频的封装格式、字幕封装格式、帧率、码率、分辨率、I帧、P帧、编码类型，像素格式，视频宽高，fps(每秒帧数)等,用于编码层使用。H264当中有片组的概念，其中编码片分为5种，I片、P片、B片、SP片和SI片。在编码器的编码过程中，需要按照编码头、编码数据和编码的尾部的顺序进行编码，就完成了整个的编码过程，生成H264编码格式的视频流。
S105、将所述第二编码格式的视频流发送到视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
具体地，H264为视联网的视频编码标准，视联网终端以H264编码格式的视频数据进行播放。
流媒体服务器将第二编码格式的视频流也就是编码后的H264编码格式的视频流通过视联网协议至视联网终端，进而实现网页客户端和视联网终端之间的业务交互，例如进行可视电话业务或直播业务。
本发明实施例提供的数据传输方法，通过流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。
本发明又一实施例对上述实施例提供的数据传输方法做进一步补充说明。
如图2所示，示出了本发明的另一种数据传输方法实施例的步骤流程图，该数据传输方法包括：
S201、接收所述网页客户端发送的第一编码格式的视频数据；
具体地，，所述第一编码格式的视频数据为VP8或VP9编码格式的视频数据。
在流媒体服务器上建立与网页客户端对应的虚拟终端，通过该虚拟终端接收网页客户端发送的VP8或VP9编码格式的视频数据，或者通过该虚拟终端，向网页客户端发送VP8或VP9编码格式的视频数据。
其中，虚拟终端在所述流媒体服务器上对应一块缓存或内存，从而可以暂时保存视频数据。在实际应用中，视频数据可以分实时存储，从而可以提高存储速度。例如，以预设周期将当前周期与上一周期之间的视频数据存储，从而当视频数据量较大时，分时段对视频数据进行处理，有助于提高存储速度，以及提高语音通话、视频通话的实时性。
具体地，响应于接收到的视频数据，在流媒体服务器上动态创建基于网页即时通信的虚拟终端，并为虚拟终端分配存储空间。
具体地，可以调用API(Application Programming Interface，应用程序编程接口)建立虚拟终端，在本发明实施例中，采用WebRTC(WEB Real-Time Communication，网页实时通信)接口建立虚拟终端。
存储空间可以为预设大小，根据流媒体服务器的存储配置大小、剩余大小、以及经验值分配。当存储配置大小越大，剩余存储越大，经验值越大，分配的存储空间越大:当存储配置大小越小，剩余存储越小，经验值越小，分配的存储空间越小。
本发明实施例可以动态、实时创建虚拟终端，可以在保证实时通话的同时，还可以尽量减少流媒体服务器空间的非必要占用，有助于提高流媒体服务器的性能。
本发明实施例既可以保证虚拟终端与网页客户端之间的一一对应，从而提高网页客户端的数据获取速度，还可以从在创建虚拟终端时向其写入已经生成的视频数据，节约了视频数据的格式转换引入的时间消耗。
具体地，可以周期性的释放和删除，也可以在每次通话结束之后释放和删除，有助于提高流媒体服务器的性能。
S202、通过WebRTC解码接口，将所述第一编码格式的视频数据每隔第一预设时间段进行截取，获得图片集，其中，所述图片集中的图片格式至少包括BMP(Bitmap，图像文件格式)、JPG、JPEG(Joint Photo graphic Experts Group)或PNG(Portable NetworkGraphic Format，图像文件存储格式)中的一种
具体地，由于第一编码格式的视频数据中可能存在多张视频帧上有相同的视频内容，所以流媒体服务器通过WebRTC解码接口，按照第一预设时间段对第一编码格式的视频数据进行抽取，获取图片集，不仅可以节省时间，还可以减少存储空间。
S203、将所述图片集中的图片插入到预先建立的画布中，生成画布图片集；
具体地，流媒体服务器根据网页客户端发送的VP8或VP9编码格式的视频数据，建立空白画布，并将图片集中的图片放入空白画布中，对放入图片的空白画布进行抓屏处理，获得多张YUV格式图片。
S204、每隔第二预设时间段，对所述画布图片集中的画布图片进行抓屏，获得YUV格式图片。
具体地，由于连续的多张YUV格式图片可能有相同的图片内容，所以，流媒体服务器每隔第二预设时间段，对画布图片集中的画布图片进行抓屏，生成YUV格式图片。
示例性地，流媒体服务器每隔10ms对画布图片集中的画布图片进行抓屏。
其中，第一预设时间段和第二预设时间段可以根据需要自行设定，在本发明实施例中不做具体限定。
S205、根据预设编码参数对所述YUV格式图片进行编码，获得第二编码格式的视频流，其中，所述第二编码格式为H264编码格式，所述预设编码参数至少包括帧率、码率、分辨率、I帧或P帧中的一种。
由于步骤S205与图1所示实施例中的步骤S104相同。在图1中已经对步骤S104进行了详细描述，因此，在此不再对步骤S205进行赘述。
S206、将所述第二编码格式的视频流封装成视联网协议的视频流；
S207、将所述视联网协议的视频流发送到所述视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
具体地，流媒体服务器将H264编码格式的视频流封装成视联网协议的视频流，并将将所述视联网协议的视频流发送到所述视联网终端，以使所述网页客户端和所述视联网终端进行业务交互，例如进行可视电话业务或直播业务。
图3是本发明的又一种数据传输方法实施例的步骤流程图，如图3所示，在本发明实施例中，基于WebRTC协议在流媒体服务上建立虚拟WebRTC端，在网页客户端上安装有Chromium浏览器，使网页客户端与流媒体服务器进行端对端的WebRTC可视电话或直播业务，同时以流媒体服务器充当WebRTC信令服务器，当网页客户端通过信令服务器发出请求呼叫视联网终端时，信令服务器接收网页客户端发送的请求，动态创建一个虚拟WebRTC端与真实网页端(网页客户端)进行交互，同时信令服务器通过虚拟终端与视联网终端进行视联网业务；
在获得网页客户端的VP8视频数据后，进行截取，转换成图片集，并保存在虚拟终端的本地，根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流即H264编码格式的视频流；将H264编码格式的视频流发送到视联网终端，以使网页客户端和所述视联网终端进行业务交互，本案例通过建立抓屏模式策略对VP8或VP9编码格式的视频数据进行H264转换，不对VP8或VP9编码格式的视频数据详细进行内部的解码，而是对其呈现的图片(图像)进行二次编码后与视联网终端进行交互。
从网页获取的VP8或VP9编码格式的视频数据通过WebRTC内部提供的解码接口转换成bitmap buffer数据，在一个隐藏的画布上呈现出来，之后对这个画布画面进行抓屏出来，抓到YUV数据后转换编码成H264 buffer，把H264视频流封装成v2v视联网协议的数据包发送到视联网终端中。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供的数据传输方法，通过流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。
本发明另一实施例提供一种数据传输装置，用于执行上述实施例提供的数据传输方法。
参照图4，示出了本发明的一种数据传输装置实施例的结构框图，该装置可以应用于流媒体服务器，所述流媒体服务器分别与网页客户端、视联网终端通信连接，所述装置具体可以包括如下模块：接收模块401、截取模块402、抓屏模块403、转换模块404和发送模块405，其中：
接收模块401用于接收所述网页客户端发送的第一编码格式的视频数据；
截取模块402用于根据所述第一编码格式的视频数据，确定图片集；
抓屏模块403用于根据所述图片集和预先建立的画布，确定与所述视频数据对应的YUV格式图片；
转换模块404用于将所述YUV格式图片转换成第二编码格式的视频流；
发送模块405用于将所述第二编码格式的视频流发送到视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
本发明实施例提供的数据传输装置，通过流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。
本发明又一实施例对上述实施例提供的数据传输装置做进一步补充说明。
可选地，所述截取模块402用于：
通过WebRTC解码接口，将所述第一编码格式的视频数据每隔第一预设时间段进行截取，获得图片集，其中，所述图片集中的图片格式至少包括BMP、JPG、JPEG或PNG中的一种
可选地，所述抓屏模块403用于：
将所述图片集中的图片插入到预先建立的画布中，生成画布图片集；
对所述画布图片集中的画布图片进行抓屏，获得YUV格式图片。
可选地，所述抓屏模块403具体用于：
每隔第二预设时间段，对所述画布图片集中的画布图片进行抓屏，获得所述YUV格式图片。
可选地，所述转换模块404用于：
根据预设编码参数对所述YUV格式图片进行编码，获得所述第二编码格式的视频流，其中，所述预设编码参数至少包括帧率、码率、分辨率、I帧或P帧中的一种。
可选地，所述发送模块405用于：
将所述第二编码格式的视频流封装成视联网协议的视频流；
将所述视联网协议的视频流发送到所述视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的数据传输装置，通过流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。
本发明再一实施例提供一种终端设备，用于执行上述实施例提供的数据传输方法。
图5是本发明的一种终端设备的结构示意图，如图5所示，该终端设备包括：至少一个处理器501和存储器502；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现上述实施例提供的数据传输方法。
本实施例提供的终端设备，通过流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。
本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述任一实施例提供的数据传输方法。
根据本实施例的计算机可读存储介质，通过流媒体服务器接收网页客户端发送的第一编码格式的视频数据；根据第一编码格式的视频数据，确定图片集；根据图片集和预先建立的画布，确定与视频数据对应的YUV格式图片；将YUV格式图片转换成第二编码格式的视频流；将第二编码格式的视频流发送到视联网终端，以使网页客户端和视联网终端进行业务交互，利用本发明实施例不需要对VP8或VP9编码格式的视频数据的进行解码，简化了转换步骤，提高了转换效率。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
以上对本发明所提供的一种数据传输方法和一种数据传输装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据传输方法，其特征在于，所述方法应用于流媒体服务器，所述流媒体服务器分别与网页客户端、视联网终端通信连接，所述方法包括：
接收所述网页客户端发送的第一编码格式的视频数据；
根据所述第一编码格式的视频数据，确定图片集；
根据所述图片集和预先建立的画布，确定与所述视频数据对应的YUV格式图片；
将所述YUV格式图片转换成第二编码格式的视频流；
将所述第二编码格式的视频流发送到视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一编码格式的视频数据，确定图片集，包括：
通过WebRTC解码接口，将所述第一编码格式的视频数据每隔第一预设时间段进行截取，获得图片集，其中，所述图片集中的图片格式至少包括BMP、JPG、JPEG或PNG中的一种。
3.根据权利要求1所述的方法，其特征在于，所述根据所述图片集和预先建立的画布，确定与所述视频数据对应的YUV格式图片，包括：
将所述图片集中的图片插入到预先建立的画布中，生成画布图片集；
对所述画布图片集中的画布图片进行抓屏，获得YUV格式图片。
4.根据权利要求3所述的方法，其特征在于，所述对所述画布图片集中的画布图片进行抓屏，获得YUV格式图片，包括：
每隔第二预设时间段，对所述画布图片集中的画布图片进行抓屏，获得所述YUV格式图片。
5.根据权利要求1所述的方法，其特征在于，所述将所述YUV格式图片转换成第二编码格式的视频流，包括：
根据预设编码参数对所述YUV格式图片进行编码，获得所述第二编码格式的视频流，其中，所述预设编码参数至少包括帧率、码率、分辨率、I帧或P帧中的一种。
6.根据权利要求1所述的方法，其特征在于，所述将所述第二编码格式的视频流发送到视联网终端，以使所述网页客户端和所述视联网终端进行业务交互，包括：
将所述第二编码格式的视频流封装成视联网协议的视频流；
将所述视联网协议的视频流发送到所述视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
7.一种数据传输装置，其特征在于，所述装置应用于流媒体服务器，所述流媒体服务器分别与网页客户端、视联网终端通信连接，所述装置包括：
接收模块，用于接收所述网页客户端发送的第一编码格式的视频数据；
截取模块，用于根据所述第一编码格式的视频数据，确定图片集；
抓屏模块，用于根据所述图片集和预先建立的画布，确定与所述视频数据对应的YUV格式图片；
转换模块，用于将所述YUV格式图片转换成第二编码格式的视频流；
发送模块，用于将所述第二编码格式的视频流发送到视联网终端，以使所述网页客户端和所述视联网终端进行业务交互。
8.根据权利要求7所述的装置，其特征在于，所述抓屏模块用于：
将所述图片集中的图片插入到预先建立的画布中，生成画布图片集；
对所述画布图片集中的画布图片进行抓屏，获得YUV格式图片。
9.一种终端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-6中任一项所述的数据传输方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-6中任一项所述的数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010556595.4A CN111901630A (zh) | 2020-06-17 | 2020-06-17 | 一种数据传输方法、装置、终端设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010556595.4A CN111901630A (zh) | 2020-06-17 | 2020-06-17 | 一种数据传输方法、装置、终端设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111901630A true CN111901630A (zh) | 2020-11-06 |
Family
ID=73206788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010556595.4A Pending CN111901630A (zh) | 2020-06-17 | 2020-06-17 | 一种数据传输方法、装置、终端设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111901630A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112738637A (zh) * | 2020-12-29 | 2021-04-30 | 南京金智视讯技术有限公司 | web页面实时视频播放方法、装置和计算机设备 |
| CN112788024A (zh) * | 2020-12-31 | 2021-05-11 | 上海网达软件股份有限公司 | 一种用于8k超高清视频的实时编码的方法及系统 |
| CN113207030A (zh) * | 2021-04-02 | 2021-08-03 | 苏州开心盒子软件有限公司 | 一种屏幕录制方法及装置、存储介质 |
| CN113747191A (zh) * | 2021-09-10 | 2021-12-03 | 深圳市道通智能航空技术股份有限公司 | 基于无人机的视频直播方法、系统、设备及存储介质 |
| WO2023185856A1 (zh) * | 2022-04-01 | 2023-10-05 | 中国移动通信有限公司研究院 | 数据传输方法、装置、电子设备及可读存储介质 |
| CN117459792A (zh) * | 2023-12-20 | 2024-01-26 | 深圳市奔迈科技有限公司 | 基于视觉算法的视频处理方法和ai盒子 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104954812A (zh) * | 2014-03-27 | 2015-09-30 | 腾讯科技（深圳）有限公司 | 一种视频同步播放的方法、装置及系统 |
| CN106330926A (zh) * | 2016-08-29 | 2017-01-11 | 广州视睿电子科技有限公司 | 屏幕界面共享方法和系统 |
| US20170264929A1 (en) * | 2016-03-08 | 2017-09-14 | Acrovision Co., Ltd. | Video and audio transmission method and system thereof |
| CN110113631A (zh) * | 2019-03-28 | 2019-08-09 | 视联动力信息技术股份有限公司 | 一种视频流共享方法和系统 |
| CN110166832A (zh) * | 2019-04-15 | 2019-08-23 | 视联动力信息技术股份有限公司 | 一种基于媒体数据的通信方法和视联网系统 |
| CN110267095A (zh) * | 2019-05-05 | 2019-09-20 | 平安科技（深圳）有限公司 | 视频流截取方法、装置及存储介质 |
| CN110636337A (zh) * | 2019-08-20 | 2019-12-31 | 腾讯科技（深圳）有限公司 | 视频图像的截取方法、装置及系统 |
-
2020
- 2020-06-17 CN CN202010556595.4A patent/CN111901630A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104954812A (zh) * | 2014-03-27 | 2015-09-30 | 腾讯科技（深圳）有限公司 | 一种视频同步播放的方法、装置及系统 |
| US20170264929A1 (en) * | 2016-03-08 | 2017-09-14 | Acrovision Co., Ltd. | Video and audio transmission method and system thereof |
| CN106330926A (zh) * | 2016-08-29 | 2017-01-11 | 广州视睿电子科技有限公司 | 屏幕界面共享方法和系统 |
| CN110113631A (zh) * | 2019-03-28 | 2019-08-09 | 视联动力信息技术股份有限公司 | 一种视频流共享方法和系统 |
| CN110166832A (zh) * | 2019-04-15 | 2019-08-23 | 视联动力信息技术股份有限公司 | 一种基于媒体数据的通信方法和视联网系统 |
| CN110267095A (zh) * | 2019-05-05 | 2019-09-20 | 平安科技（深圳）有限公司 | 视频流截取方法、装置及存储介质 |
| CN110636337A (zh) * | 2019-08-20 | 2019-12-31 | 腾讯科技（深圳）有限公司 | 视频图像的截取方法、装置及系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112738637A (zh) * | 2020-12-29 | 2021-04-30 | 南京金智视讯技术有限公司 | web页面实时视频播放方法、装置和计算机设备 |
| CN112788024A (zh) * | 2020-12-31 | 2021-05-11 | 上海网达软件股份有限公司 | 一种用于8k超高清视频的实时编码的方法及系统 |
| CN112788024B (zh) * | 2020-12-31 | 2023-04-07 | 上海网达软件股份有限公司 | 一种用于8k超高清视频的实时编码的方法及系统 |
| CN113207030A (zh) * | 2021-04-02 | 2021-08-03 | 苏州开心盒子软件有限公司 | 一种屏幕录制方法及装置、存储介质 |
| CN113747191A (zh) * | 2021-09-10 | 2021-12-03 | 深圳市道通智能航空技术股份有限公司 | 基于无人机的视频直播方法、系统、设备及存储介质 |
| WO2023185856A1 (zh) * | 2022-04-01 | 2023-10-05 | 中国移动通信有限公司研究院 | 数据传输方法、装置、电子设备及可读存储介质 |
| CN117459792A (zh) * | 2023-12-20 | 2024-01-26 | 深圳市奔迈科技有限公司 | 基于视觉算法的视频处理方法和ai盒子 |
| CN117459792B (zh) * | 2023-12-20 | 2024-04-26 | 深圳市奔迈科技有限公司 | 基于视觉算法的视频处理方法和ai盒子 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111901630A (zh) | 一种数据传输方法、装置、终端设备和存储介质 | |
| CA2737728C (en) | Low latency video encoder | |
| WO2019210822A1 (zh) | 视频编解码方法、装置、系统及存储介质 | |
| US8184142B2 (en) | Method and system for composing video images from a plurality of endpoints | |
| CN101047838A (zh) | 一种减少直播频道切换响应时间的方法 | |
| CN111147860B (zh) | 一种视频数据的解码方法及装置 | |
| CN106454186A (zh) | 基于安卓系统的多路视频录制及平台交互的方法及装置 | |
| WO2020135357A1 (zh) | 数据压缩方法及装置、数据编码/解码方法及装置 | |
| CN112235606A (zh) | 一种多层视频处理方法、系统和可读存储介质 | |
| CN111147801A (zh) | 一种视联网终端的视频数据处理方法和装置 | |
| US8477918B2 (en) | Multimedia providing service | |
| FI105634B (fi) | Menetelmä videokuvien siirtämiseksi, tiedonsiirtojärjestelmä ja multimediapäätelaite | |
| KR100311354B1 (ko) | 통신시스템에서 멀티미디어 컨텐츠의 삽입을 통한 통화 서비스방법 | |
| CN110324667B (zh) | 一种新型视频流的播放方法和系统 | |
| CN101188765A (zh) | 用于对rgb图像编码和解码的方法和设备 | |
| JPH07203434A (ja) | 画像送信装置 | |
| US8588379B2 (en) | Multimedia communication system, multimedia communication device and terminal | |
| US8564639B2 (en) | Multimedia communication system, multimedia communication device and terminal | |
| JPH08102908A (ja) | 再生装置 | |
| TW201313019A (zh) | 在連續呈現會議中之視訊串流之間切換之方法及系統 | |
| US9118747B2 (en) | Multimedia providing service | |
| JP3927606B2 (ja) | 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 | |
| CN102256119A (zh) | 视频录制的方法及装置 | |
| JP6045051B1 (ja) | 動画像伝送装置及び動画像伝送方法 | |
| JPH0846928A (ja) | 画像符号化前処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |