CN109104635A - 即时传送屏幕图像的方法及系统 - Google Patents

即时传送屏幕图像的方法及系统 Download PDF

Info

Publication number
CN109104635A
CN109104635A CN201811011722.1A CN201811011722A CN109104635A CN 109104635 A CN109104635 A CN 109104635A CN 201811011722 A CN201811011722 A CN 201811011722A CN 109104635 A CN109104635 A CN 109104635A
Authority
CN
China
Prior art keywords
screen
data
stream
module
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811011722.1A
Other languages
English (en)
Inventor
蒋智斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201811011722.1A priority Critical patent/CN109104635A/zh
Publication of CN109104635A publication Critical patent/CN109104635A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像处理领域，公开了一种即时传送屏幕图像的方法及系统，解决单纯传递截屏图片所出现的帧率低、图像卡顿、碎片化问题。本发明的系统包括：屏幕数据获取模块，用于获取屏幕的参数以及当前显示的帧数据，并将获取的帧数据保存在内存中；视频数据编码模块，用于根据屏幕的参数对内存中相邻的帧数据进行图像编码；码流合成模块，按照设置的传输流格式，对编码后的数据进行合成，生成适合网络传输的流媒体数据；网络发送模块，用于按照需要传输的直播流地址和传输协议，将合成后的流媒体数据封成网络包，并发送到直播流地址以供终端流媒体播放器下载和播放。本发明适用于电视屏幕图像的计时传送。

Description

即时传送屏幕图像的方法及系统
技术领域
本发明涉及图像处理领域，特别涉及即时传送屏幕图像的方法及系统。
背景技术
即时传送当前设备的屏幕图像的功能是消费类电子设备比较重要的功能，比如智能电视、智能手机、机顶盒设备等等，其核心功能就是把当前正在显示的屏幕图像传输给远程设备进行显示，也就是屏幕共享。屏幕共享的使用场景很多，广泛使用于视频会议，远程协助，在线服务等场景中。要进行屏幕共享，首先得获取共享设备的屏幕，然后进行编码，再音视频合成为需要传输的码流格式，最后选择合适的传输方式通过网络发送到各媒体终端，媒体终端负责从网络上下载获取到媒体流数据，并进行解码播放，并呈现在屏幕设备上。
由于主流的安卓电视系统一般只提供截取屏幕的一幅图像的接口，而且获取图像耗时和效率不高，而且不同平台的效果差别很大，导致了如果基于系统的截屏接口实现的传屏效果很差，具体表现在帧率很低，图像卡顿，碎片化严重，经常出现花屏和图像不连贯现象，这种非流畅的传屏方式，严重影响了用户观影过程的整体化的观影体验。
发明内容
本发明要解决的技术问题是：提供一种即时传送屏幕图像的方法及系统，解决单纯传递截屏图片所出现的帧率低、图像卡顿、碎片化问题。
为解决上述问题，本发明采用的技术方案是：
即时传送屏幕图像的方法，其特征在于，包括以下步骤：
步骤1：获取屏幕的参数以及当前显示的帧数据，并将获取的帧数据保存在内存中；
步骤2：根据屏幕的参数对内存中相邻的帧数据进行图像编码；
步骤3：对编码后的数据进行流媒体格式的统一合成处理，生成相应的流媒体数据；
步骤4：将步骤3生成的流媒体数据进行分片封包处理，生成需要发送的网络包，然后发送到直播流地址上；
步骤5：终端流媒体播放器从直播流地址下载直播流媒体数据，并对流媒体数据进行解码播放与呈现。
进一步的，所述屏幕为智能电视、智能手机或智能机顶盒的屏幕。
进一步的，屏幕的参数包括分辨率和数据格式。
进一步的，步骤2采用的编码格式为h264格式。
进一步的，步骤3所生成的流媒体数据为flv数据。
进一步的，步骤4和5中，流媒体数据按照rtmp协议进行传输。
对应于上述方法，本发明所提供的即时传送屏幕图像的系统，包括屏幕数据获取模块、视频数据编码模块、码流合成模块和网络发送模块；
屏幕数据获取模块用于获取屏幕的参数以及当前显示的帧数据，并将获取的帧数据保存在内存中；
视频数据编码模块用于根据屏幕的参数对内存中相邻的帧数据进行图像编码；
码流合成模块按照设置的传输流格式，对编码后的数据进行合成，生成适合网络传输的流媒体数据；
网络发送模块按照需要传输的直播流地址和传输协议，将合成后的流媒体数据封成网络包，并发送到直播流地址以供终端流媒体播放器下载和播放。
进一步的，所述包括屏显数据拷贝和屏幕信息获取模块；
屏显数据拷贝模块负责把当前即将显示在屏幕的framebuffer拷贝出来，以供数据编码使用；屏幕信息获取模块负责获取当前屏幕的参数。
本发明的有益效果是：本发明通过流媒体合成和网络发送，规避了每次传递图片带来的卡顿和碎片化观看体验，实现了把屏幕作为媒体源的连续播放，带给用户完整、流畅、统一化的观看体验，形成整体化流畅的播放效果，进而可以实现远距离电子设备的无缝连接。
附图说明
图1为实施例即时传送屏幕图像的流程图。
具体实施方式
由于在远程服务或者电视同屏的场景中，需要远程即时查看电视当前的屏幕显示，但是电视开发系统一般都只会提供截取当前屏幕的接口用于保存当前电视屏幕到一幅图片中。如果在电视正在播放视频或者进行操作的时候，想要在PC或者手机等其他设备远程流畅的观看当前电视屏幕，仅仅靠截取当前屏幕的图片是完全不够满足要求的。为了实现上述这种即时流畅的观看要求，本发明提出了一种即时传送屏幕图像的方法及系统，通过本发明的方法，可以实现远程流畅的观看电视屏幕图像，从而克服了单纯传递截屏图片的碎片化的观看体验，形成整体化流畅的播放效果，进而实现远距离电子设备的无缝连接。
本发明所提供的即时传送屏幕图像的系统，包括屏幕数据获取模块、视频数据编码模块、码流合成模块和网络发送模块；其中,
屏幕数据获取模块所述屏幕数据获取模块包括屏显数据拷贝和屏幕信息获取模块；
屏显数据拷贝模块负责把当前即将显示在屏幕的framebuffer拷贝出来，以供数据编码使用；屏幕信息获取模块负责获取当前屏幕的分辨率、数据格式等参数；
视频数据编码模块用于根据屏幕的参数对内存中相邻的帧数据进行图像编码；
码流合成模块按照设置的传输流格式，对编码后的数据进行合成，生成适合网络传输的流媒体数据；
网络发送模块按照需要传输的直播流地址和传输协议，将合成后的流媒体数据封成网络包，并发送到直播流地址以供终端流媒体播放器下载和播放。
基于上述系统，本发明提供了一种即时传送屏幕图像的方法，包括以下步骤：
步骤1：参数初始化，包括源数据地址，源数据格式，视频编码格式，音频编码格式，采样率，分辨率，合成的文件格式，数据输出地址，数据输出网络协议等参数；
步骤2：屏幕数据获取模块获取智能电视、智能手机或智能机顶盒屏幕的参数以及当前显示的帧数据，并将获取的帧数据保存在内存中；
步骤3：视频数据编码模块根据屏幕的参数对内存中相邻的帧数据进行图像编码；
步骤4：码流合成模块对编码后的数据进行流媒体格式的统一合成处理，生成相应的流媒体数据；
步骤5：网络发送模块将步骤4生成的流媒体数据进行分片封包处理，生成需要发送的网络包，然后发送到直播流地址上；
步骤6：终端流媒体播放器从直播流地址下载直播流媒体数据，并对流媒体数据进行解码播放与呈现。
单纯传递截屏图片的传统方法是通过系统接口，获取当前屏幕的一帧数据之后进行帧内压缩，生成jpg或者其他类型压缩图片格式，然后一张张传递到目的地址进行逐张显示。对比本发明的方法，传统方法有几个的缺陷：a.此方法采用的是帧内压缩，压缩效率远低于步骤4中采用的帧内和帧间压缩方法，编码生成的图像质量要差很多。b.因为是抓屏压缩编码后以单张图片为单位发送和显示，而不是基于流媒体的处理方式，导致编码帧率，传输码率和显示帧率要远低于本发明的方式，甚至会漏掉一些屏幕场景，导致观众看起来会有卡顿和不连续感觉，产生碎片化的观看体验。
下面通过实施例对本发明进行进一步说明。
实施例提供一种即时传送电视屏幕图像的系统及方法，通过设定流媒体处理中间件运行在智能电视终端上，以实现即时传送电视屏幕图像。其中，流媒体处理中间件包括：屏幕数据获取模块、视频数据编码模块、码流合成模块和网络发送模块；
所述屏幕数据获取模块包括屏显数据拷贝和屏幕信息获取模块；
屏显数据拷贝模块负责把当前即将显示在屏幕的framebuffer拷贝出来，以供数据编码使用；屏幕信息获取模块负责获取当前屏幕的分辨率、数据格式等参数；
视频数据编码模块用于根据屏幕的参数对内存中相邻的帧数据进行图像编码；
码流合成模块按照设置的传输流格式，对编码后的数据进行合成，生成适合网络传输的流媒体数据；
网络发送模块按照需要传输的直播流地址和传输协议，将合成后的流媒体数据封成网络包，并发送到直播流地址以供终端流媒体播放器下载和播放。
利用上述系统,实施例传送电视屏幕图像的流程如图1所示，包括：
步骤1：参数初始化，在参数配置列表中初始化设置分辨率为“640*480”，编码格式为“h264”，编码参数“main profile”，码率为“440k”，帧率为“15”，设置流媒体处理中间件合成目标流媒体格式为flv格式，设置流媒体处理中间件流化模块流媒体协议为直播rtmp协议，比如设置流媒体推送地址为“rtmp://10.9.44.116:1935/live/test”；
步骤2：获取电视屏幕当前显示的帧数据，通过创建一个数据获取线程，线程不断通过截屏程序获取屏幕的数据，然后把获取到的数据传递给编码模块；
步骤3：获取当前电视屏幕的分辨率，保存在数据结构中，这些参数的获得是通过屏幕显示管理程序获得的；
步骤4：根据屏幕的参数对内存中相邻的帧数据进行图像编码，按照步骤1的参数配置的编码相关参数，设定width，height，mime，color-format，bitrate，frame-rate，i-frame-interval等参数值，然后创建一个编码线程，通过编码程序来进行编码；
步骤5：流媒体格式合成，码流合成模块按照步骤1的参数，将编码后的h264的媒体数据进行封装，并生成flv数据；
步骤6：网络发送，网络发送模块按照rtmp直播流协议的规范，对步骤5中的flv数据进行分片封包处理，并通过网络发送到直播流地址“rtmp://10.9.44.116:1935/live/test”；
步骤7：rtmp直播流播放，目的端媒体播放器获取到步骤1初始化的直播流地址，即“rtmp://10.9.44.116:1935/live/test”，并按照rtmp流协议方式解析flv，在目的端上进行解码播放与显示。
通过以上步骤的处理，实施例实现了远程流畅的观看电视屏幕图像，从而克服了单纯传递截屏图片的碎片化的观看体验，形成整体化流畅的播放效果，进而可以实现远距离电子设备的无缝连接。

Claims (8)

1.即时传送屏幕图像的方法，其特征在于，包括以下步骤：
步骤1：获取屏幕的参数以及当前显示的帧数据，并将获取的帧数据保存在内存中；
步骤2：根据屏幕的参数对内存中相邻的帧数据进行图像编码；
步骤3：对编码后的数据进行流媒体格式的合成处理，生成相应的流媒体数据；
步骤4：将步骤3生成的流媒体数据进行分片封包处理，生成需要发送的网络包，然后发送到直播流地址上；
步骤5：终端流媒体播放器从直播流地址下载直播流媒体数据，并对流媒体数据进行解码播放与呈现。
2.如权利要求1所述的即时传送屏幕图像的方法，其特征在于，所述屏幕为智能电视、智能手机或智能机顶盒的屏幕。
3.如权利要求1所述的即时传送屏幕图像的方法，其特征在于，屏幕的参数包括分辨率和数据格式。
4.如权利要求1所述的即时传送屏幕图像的方法，其特征在于，步骤2采用的编码格式为h264格式。
5.如权利要求1所述的即时传送屏幕图像的方法，其特征在于，步骤3所生成的流媒体数据为flv数据。
6.如权利要求1所述的即时传送屏幕图像的方法，其特征在于，步骤4和5中，流媒体数据按照rtmp协议进行传输。
7.即时传送屏幕图像的系统，其特征在于，包括屏幕数据获取模块、视频数据编码模块、码流合成模块和网络发送模块；
屏幕数据获取模块用于获取屏幕的参数以及当前显示的帧数据，并将获取的帧数据保存在内存中；
视频数据编码模块用于根据屏幕的参数对内存中相邻的帧数据进行图像编码；
码流合成模块按照设置的传输流格式，对编码后的数据进行合成，生成适合网络传输的流媒体数据；
网络发送模块按照需要传输的直播流地址和传输协议，将合成后的流媒体数据封成网络包，并发送到直播流地址以供终端流媒体播放器下载和播放。
8.如权利要求7所述的即时传送屏幕图像的系统，其特征在于，所述屏幕数据获取模块包括屏显数据拷贝和屏幕信息获取模块；
屏显数据拷贝模块负责把当前即将显示在屏幕的framebuffer拷贝出来，以供数据编码使用；屏幕信息获取模块负责获取当前屏幕的参数。
CN201811011722.1A 2018-08-31 2018-08-31 即时传送屏幕图像的方法及系统 Pending CN109104635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811011722.1A CN109104635A (zh) 2018-08-31 2018-08-31 即时传送屏幕图像的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811011722.1A CN109104635A (zh) 2018-08-31 2018-08-31 即时传送屏幕图像的方法及系统

Publications (1)

Publication Number Publication Date
CN109104635A true CN109104635A (zh) 2018-12-28

Family

ID=64864598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811011722.1A Pending CN109104635A (zh) 2018-08-31 2018-08-31 即时传送屏幕图像的方法及系统

Country Status (1)

Country Link
CN (1) CN109104635A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413280A (zh) * 2019-07-25 2019-11-05 四川长虹电器股份有限公司 一种android系统图形显示方法
CN113485780A (zh) * 2021-07-22 2021-10-08 辽宁向日葵教育科技有限公司 一种基于web服务器的桌面传输方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414751A (zh) * 2013-07-16 2013-11-27 广东工业大学 一种pc屏幕内容分享互动控制方法
CN103414890A (zh) * 2013-07-08 2013-11-27 宇龙计算机通信科技(深圳)有限公司 远程桌面的实现方法及装置
CN103699538A (zh) * 2012-09-27 2014-04-02 汉王科技股份有限公司 一种文件共享的方法及装置
CN106303329A (zh) * 2016-08-11 2017-01-04 广州爱九游信息技术有限公司 录屏直播方法和装置、移动设备及直播系统
CN108170277A (zh) * 2018-01-08 2018-06-15 杭州赛鲁班网络科技有限公司 一种智能可视化交互的装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699538A (zh) * 2012-09-27 2014-04-02 汉王科技股份有限公司 一种文件共享的方法及装置
CN103414890A (zh) * 2013-07-08 2013-11-27 宇龙计算机通信科技(深圳)有限公司 远程桌面的实现方法及装置
CN103414751A (zh) * 2013-07-16 2013-11-27 广东工业大学 一种pc屏幕内容分享互动控制方法
CN106303329A (zh) * 2016-08-11 2017-01-04 广州爱九游信息技术有限公司 录屏直播方法和装置、移动设备及直播系统
CN108170277A (zh) * 2018-01-08 2018-06-15 杭州赛鲁班网络科技有限公司 一种智能可视化交互的装置和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413280A (zh) * 2019-07-25 2019-11-05 四川长虹电器股份有限公司 一种android系统图形显示方法
CN110413280B (zh) * 2019-07-25 2022-02-22 四川长虹电器股份有限公司 一种android系统图形显示方法
CN113485780A (zh) * 2021-07-22 2021-10-08 辽宁向日葵教育科技有限公司 一种基于web服务器的桌面传输方法
CN113485780B (zh) * 2021-07-22 2022-04-29 辽宁向日葵教育科技有限公司 一种基于web服务器的桌面传输方法

Similar Documents

Publication Publication Date Title
US11303826B2 (en) Method and device for transmitting/receiving metadata of image in wireless communication system
US11025940B2 (en) Method for signalling caption asset information and device for signalling caption asset information
US7436454B2 (en) Method and apparatus for transmitting encoded information based upon piority data in the encoded information
CN110266912A (zh) 发送装置、接收装置、及显示装置
CN114503599A (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
CN107147916B (zh) 一种在传输层上传输h.265编码视频数据的方法
CN105900445A (zh) Dash的稳健实况操作
CN101686391A (zh) 视频编码/解码方法、装置与视频播放方法、装置及系统
CN1998240B (zh) 用于传送预测和非预测数据帧的方法和设备
CN110418189A (zh) 一种可用于传输游戏的低延迟、高帧率音视频传输方法
CN101778285A (zh) 一种音视频信号无线传输系统及其方法
US20200162767A1 (en) Systems and methods for signaling of video parameters
CN104320716A (zh) 一种基于多终端协同的视频上行链路传输方法
CN108494792A (zh) 一种flash播放器播放hls视频流的转换系统及其工作方法
CN109104635A (zh) 即时传送屏幕图像的方法及系统
CN103024441A (zh) 一种移动终端播放电视节目的方法
CN105049955A (zh) 一种实时传屏的方法和系统
CN1998239B (zh) 向解码器提供数据的方法和设备
WO2020137766A1 (ja) 送信装置、送信方法、符号化装置、符号化方法、受信装置および受信方法
CN102638726B (zh) 一种基于太赫兹无线通信的多媒体流传输方法及系统
CN104780424A (zh) 一种基于机顶盒的局域网直播视频分发方法
CN108924088A (zh) 一种4k网络摄像机传输实现方法
CN201528404U (zh) 视频编解码系统及其视频编码器、视频解码器
CN112272316B (zh) 一种基于视频显示时间戳的多传输码流同步udp分发方法和系统
CN114339146A (zh) 音视频监控方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181228