CN116456138A - 一种镜像投屏系统及方法 - Google Patents

一种镜像投屏系统及方法 Download PDF

Info

Publication number
CN116456138A
CN116456138A CN202310495532.6A CN202310495532A CN116456138A CN 116456138 A CN116456138 A CN 116456138A CN 202310495532 A CN202310495532 A CN 202310495532A CN 116456138 A CN116456138 A CN 116456138A
Authority
CN
China
Prior art keywords
screen
throwing
channel
mirror image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310495532.6A
Other languages
English (en)
Inventor
梁应龙
周沙金
梁敏
孟振国
陈茜
蒋智斌
潘柳全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN202310495532.6A priority Critical patent/CN116456138A/zh
Publication of CN116456138A publication Critical patent/CN116456138A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6408—Unicasting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种镜像投屏系统及方法，由投屏源端设备和投屏收端设备两类终端设备组成，投屏源端设备用于对投屏源端设备屏幕图像的捕获、编码和流化处理及对投屏源端设备的声音进行同步处理和传输；投屏收端设备用于完成对镜像投屏源端流媒体数据的接收处理及对视频数据和音频数据进行解码和同步播放渲染处理；且投屏源端设备和投屏收端设备均包含通道检测收集模块、通道能力发布模块和通道能力交互协商模块。本发明基于通道能力检测、能力协商和能力虚拟技术，完成镜像投屏之间的通道选择，以完成视频数据和音频数据的传输实现解码以及同步播出，以提升了镜像投屏技术的用户体验。

Description

一种镜像投屏系统及方法
技术领域
本发明涉及多设备协同技术领域，具体的说，是一种镜像投屏系统及方法。
背景技术
在消费电子技术领域，多屏协同技术是实现不同设备间互联互通的核心技术。多屏协同技术根据应用方向不同又可以分为资源共享技术与镜像投屏技术。
其中，资源共享技术主要实现不同设备间的资源共享，这里的资源共享主要涉及多媒体资源，比如图片、音乐、视频、word文档等，实现资源共享的主流技术协议以DLNA为代表。
镜像投屏技术主要实现不同设备间的屏幕共享，并实现设备间的交互控制，主流的镜像投屏技术以Miracast、AirPlay-Mirror为代表。镜像投屏系统由投屏源端和投屏收端两部分组成，投屏源端负责对源端设备屏幕图像和系统声音的捕获、编码、流化等步骤，投屏收端负责基于网络通道接收源端流化发出来的音视频媒体流，并实时对流媒体数据进行解码、渲染播放等处理流程。出于镜像投屏系统安全、隐私保护、版权保护等多重因素，镜像投屏系统在投屏源端设备上面临着无法捕获镜像投屏系统声音数据和无法捕获屏幕图像数据的难题，并进而导致整个镜像投屏系统出现只见其人不闻其声或者只闻其声不见其人的场景，严重影响了镜像投屏系统的用户体验，满足不了用户镜像投屏的实际场景需求。
发明内容
本发明的目的在于提供一种镜像投屏系统及方法，通过对通道的选择，用于解决现有技术中目前镜像投屏系统可能出现的有图无声或者有声无图的技术问题。
本发明通过下述技术方案解决上述问题：
一种镜像投屏系统，由投屏源端设备和投屏收端设备两类终端设备组成，
投屏源端设备上运行投屏源端程序，用于对投屏源端设备屏幕图像的捕获、编码和流化处理，并用于对投屏源端设备的声音进行同步处理和传输；
投屏收端设备上运行投屏收端程序，用于完成对镜像投屏源端流媒体数据的接收处理，并用于对视频数据和音频数据进行解码和同步播放渲染处理；
其中，投屏源端设备和投屏收端设备均包含通道检测收集模块、通道能力发布模块和通道能力交互协商模块；通道检测收集模块用于对当前终端设备所支持的所有通道能力进行检测，并对所有通道进行记录；通道能力发布模块用于对当前终端设备所支持的所有通道能力在当前终端设备所处的局域网中进行定期发布；通道能力交互协商模块用于将投屏源端设备的通道能力与投屏收端设备进行交互和协商，发送投屏源端设备的通道所支持的能力，获取投屏收端设备的通道所具备的能力，并基于通道能力匹配模式进行握手协商，从而确定镜像投屏系统中投屏双方最终采用的传输通道。
作为对其进一步的改进，所述通道指代的是设备视频流的输出通道和设备音频流的输出通道。
作为对其进一步的改进，所述设备视频流的输出通道至少包括HDMI通道、DP通道、LVDS通道和直通通道中的一种；
所述设备音频流的输出通道至少包括HDMI通道、DP通道、蓝牙通道和直通通道中的一种。
同时，本发明还通过下述技术方案解决上述问题：
一种镜像投屏方法，具体步骤包括：
步骤A、终端设备通道能力检测与收集；
在投屏源端程序启动后，对投屏源端设备所支持的通道能力进行检测和收集，并对所收集到投屏源端设备的通道能力进行汇总和记录；
在投屏收端程序启动后，对投屏收端设备所支持的通道能力进行检测和收集，并对收集到投屏收端设备的通道能力进行汇总和记录，然后，对投屏收端设备所支持的通道能力进行动态检测和更新；
步骤B、终端设备通道能力发布，以建立投屏会话通道；
由投屏源端程序通过网络发布投屏源端设备的通道能力信息；
步骤C、投屏通道能力交换与协商；
投屏源端设备与投屏收端设备在镜像投屏交互过程的握手阶段，通过投屏握手通道交换彼此的通道能力，并基于对彼此通道能力的获取，采取最优通道匹配策略协商完成最终的镜像投屏流媒体通道；
步骤D、投屏通道建立与媒体流同步处理传输；
投屏源端设备与投屏收端设备基于协商好的通道，建立起完整的镜像投屏流媒体通道，以传输流媒体数据；
步骤E、媒体流同步渲染处理；
投屏收端设备基于已经建立的镜像投屏流媒体通道进行媒资的接收与后处理；并对视频通道的视频数据和音频通道的音频数据进行统一的同步控制处理，实现视频与音频同步渲染输出。
作为对其进一步的改进，所述述步骤A中，终端设备通道能力检测为动态检测极机制。
作为对其进一步的改进，所述步骤B中，终端设备通道能力的发布方式采用定时发布模式或不定时发布模式。
作为对其进一步的改进，所述步骤B中，终端设备通道能力信息的发布通道采用局域网组播方式、局域网广播方式或点对点通信方式。
作为对其进一步的改进，所述步骤D中，建立起完整的镜像投屏流媒体通道，以传输流媒体数据；具体方法为：投屏源端设备基于协商好的流媒体输出通道，对所处通道的图像和声音进行捕获、编码和封装，并对音视频数据进行同步化处理，最终流化传送到投屏收端设备；收端设备基于协商好的流媒体输入通道，将接收到投屏流媒体视频数据、音频数据分别送入设定好的输入通道，并在对应的流媒体输入通道内部对视频数据和声音数据进行解码和处理。
作为对其进一步的改进，所述后处理包括对音视频数据的解码、音画同步和渲染处理。
本发明与现有技术相比，具有以下优点及有益效果：
本发明基于通道能力检测、能力协商和能力虚拟技术，完成镜像投屏之间的通道选择，以通过能够同时满足投屏源端设备和投屏收端设备的视频数据和音频数据的传输，实现解码以及同步播出，实现镜像投屏有声有色的完整投屏体验，克服了现有镜像投屏技术的使用局限性与投屏场景适用的局限性；且满足了用户各类镜像投屏场景的诉求，提升了镜像投屏技术的用户体验。
附图说明
图1为本发明的一种镜像投屏系统示意图。
图2为本发明的一种镜像投屏方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，一种镜像投屏系统，由投屏源端设备和投屏收端设备两类终端设备组成，其中，投屏源端设备上运行投屏源端程序，投屏源端程序主要完成两方面的工作，一方面负责对投屏源端设备屏幕图像的捕获、编码、流化等处理，另一方面负责对投屏源端设备的声音进行同步处理和传输；投屏收端设备上运行投屏收端程序，投屏收端程序主要完成两方面的工作，一方面负责完成对镜像投屏源端流媒体数据的接收处理，另外一方面负责对视频数据和音频数据进行解码和同步播放渲染处理。
具体的，投屏源端程序和投屏收端程序均包含通道检测收集模块、通道能力发布模块和通道能力交互协商模块三大模块；在本发明中，通道指代的是设备视频流的输出通道和设备音频流的输出通道，目前主流的消费电子设备视频流输出通道有HDMI通道、DP通道、LVDS通道、直通通道等，设备音频流的输出通道有HDMI通道、DP通道、蓝牙通道、直通通道等；
进一步的，通道检测收集模块负责对当前终端设备所支持的所有通道能力进行检测，包括视频流输出通道、音频流输出通道，并对所有通道进行记录；通道能力发布模块负责将当前终端设备所支持的所有通道能力以适当的方式在当前终端设备所处的局域网中进行定期发布；通道能力交互协商模块负责将投屏源端设备的通道能力与投屏收端设备进行交互和协商，发送自己支持的能力，获取对方具备的能力，并基于通道能力匹配模式进行握手协商，从而确定投屏系统中投屏双方的最终采用的传输通道。
本发明提出了通过选择合适的通道保证图像与音频是能够及时的进行同步传输的前提，通过通道检测收集模块、通道能力发布模块和通道能力交互协商模块之间的交互，选择合适的通道，以保证图像与音频传输，以到达音图同步的效果。
如图2所示，一种镜像投屏方法，镜像投屏系统投屏的具体交互步骤如下：
步骤一、终端设备通道能力检测与收集；
镜像投屏系统的投屏源端设备在投屏源端程序启动后，对本投屏源端设备支持的通道能力进行检测和收集，并对收集到的通道能力进行汇总和记录；
镜像投屏系统的投屏收端设备在投屏收端程序启动后，对本投屏收端设备支持的通道能力进行检测和收集，并对收集到的通道能力进行汇总和记录，并定时对本投屏收端设备所支持的通道能力进行动态检测和更新；
进一步的，终端设备通道能力的动态检测机制由具体软件实现人员自行定义，可以采取定时检测更新机制，也可以采取不定时检测更新机制，还可以采用变动通知更新机制；
步骤二、终端设备通道能力发布，以建立投屏会话通道；
镜像投屏系统的投屏源端设备由投屏源端程序通过网络发布自身的通道能力信息；
进一步的，终端通道能力信息的发布方式由具体软件实现人员自行定义，可以采取定时发布模式，也可以采取不定时发布模式；终端通道能力信息的发布通道由具体软件实现人员自行定义，可以采用局域网组播方式，也可以采用局域网广播方式，还可以采用点对点通信的方式；
步骤三、投屏通道能力交换与协商；
投屏系统的投屏源端设备与投屏收端设备在镜像投屏交互过程的握手阶段，通过投屏握手通道交换彼此的通道能力，并基于对彼此通道能力的获取，采取最优通道匹配策略协商完成最终的镜像投屏流媒体通道；
进一步的，最优通道匹配策略由具体软件实现人员自行定义和实现；
步骤四、投屏通道建立与媒体流同步处理传输；
投屏系统的投屏源端设备与投屏收端设备基于协商好的能力通道，建立起完整的镜像投屏流媒体通道，并基于相应的通道传输流媒体数据；
进一步的，投屏系统的投屏源端设备基于协商好的媒体输出通道，对所处通道的图像和声音进行捕获、编码、封装、并对音视频数据进行同步化处理，并最终流化传送到收端；投屏系统的收端设备基于协商好的媒体输入通道，将接收到投屏流媒体视频数据、音频数据分别送入设定好的输入通道，并在对应的输入通道内部对视频数据和声音数据进行解码和进一步的处理。
步骤五：媒体流同步渲染处理；
投屏系统的投屏收端设备基于已经建立的传输通道进行媒资的接收与后处理，包括但不限于音视频数据的解码、音画同步、渲染处理；
投屏系统的投屏收端设备对视频通道的视频数据和音频通道的音频数据进行统一的同步控制处理，实现视频与音频同步渲染输出的效果；
进一步的，根据通道的不同，投屏系统软件的实现人员可以采取不同的同步控制策略。
下面结合具体的实施案例对本发明的镜像投屏系统进行进一步的说明：
实施例2
wifi通道传输图像与wifi通道传输声音结合镜像投屏场景；
本实施例的前提假设条件如下：
a1、投屏源端设备支持投屏源端程序捕获基于系统音频直通输出通道的音频数据；
b1、投屏源端设备支持投屏源端程序通过镜像投屏系统图像直通通道捕获屏幕图像数据；
c1、投屏源端设备支持通过wifi通道传输视频数据和音频数据；
e1、投屏收端设备支持通过wifi通道接收投屏源端设备的视频数据和音频数据；
本实施例中，镜像投屏系统的源端设备与收端设备整体运行及交互流程如下：
101、镜像投屏系统的投屏源端设备启动镜像投屏源端程序；
102、镜像投屏源端程序检测本设备的系统图像直通通道，并检测得出结论：本设备支持系统图像通过直通通道输出和渲染，本设备支持捕获系统图像直通通道的图像数据；
103、镜像投屏源端程序检测本设备的系统声音直通通道，并检测得出结论：本设备支持系统音频数据通过系统音频直通通道输出，本设备支持通过系统音频直通通道捕获系统音频数据；
104、镜像投屏源端程序检测本设备的流媒体传输通道，并检测得出结论：本设备支持流媒体数据通过wifi网络通道进行传送；
105、镜像投屏收端设备启动镜像投屏收端程序；
106、镜像投屏收端程序检测本设备的流媒体数据传输通道，并检测得出结论：本设备支持通过wifi网络通道接收流媒体视频和音频数据；
107、镜像投屏系统的投屏源端程序与投屏收端程序建立投屏会话通道；
108、镜像投屏系统的投屏源端程序与投屏收端程序基于投屏会话通道，交换彼此的通道能力信息；
109、镜像投屏系统的投屏源端程序与投屏收端程序协商并确认本次投屏所采用的通道信息：基于wifi网络通道，建立视频和音频数据传送通道；
110、镜像投屏系统的投屏源端程序基于本设备的系统图像直通通道捕获本设备的屏幕图像数据，并采用H264格式对视频数据进行编码，并以本系统的时钟为基准时钟，生成每个视频帧的DTS和PTS值；
111、镜像投屏系统的投屏源端程序基于本设备的系统音频直通输出通道捕获到本系统的音频数据，并以本系统的时钟为基准时钟，生成每个音频帧的DTS与PTS值，然后将步骤110所生成的视频数据一道，以MP4的格式封装为流媒体数据，最后将封装后的流媒体数据通过wifi传输通道，传送到投屏收端；
112、镜像投屏系统的投屏收端程序以投屏源端程序的系统时钟为基准，对自身的时钟进行校准；
113、镜像投屏系统的投屏收端程序通过wifi通道接收到镜像投屏的视频和音频数据后，以校准后的本系统时钟为基准时钟，解码并渲染视频图像数据和输出音频数据；
114、镜像投屏系统的投屏收端程序和投屏源端程序之间采用定制时钟校准机制，即每隔10秒，投屏源端程序与投屏收端程序完成一次系统时钟的校准。
实施例3
wifi通道传输图像与蓝牙通道传输声音相结合的镜像投屏场景；
本实施案例的前提假设条件如下：
a2、投屏源端设备由于系统基于用户隐私保护诉求，禁止投屏源端程序捕获基于系统音频直通输出通道的音频数据；
b2、投屏源端设备支持投屏源端程序通过图像渲染直通通道捕获屏幕图像数据；
c2、投屏源端设备支持通过蓝牙通道传输声音数据；
d2、投屏收端设备支持通过wifi通道独立接收投屏源端的视频图像数据；
e2、投屏收端设备支持通过蓝牙通道独立接收投屏源端的音频数据；
本实施例中，镜像投屏系统的源端设备与收端设备整体运行及交互流程如下：
201、镜像投屏源端设备启动镜像投屏源端程序；
202、镜像投屏源端程序检测本设备的系统图像直通通道，并检测得出结论：本设备支持系统图像通过直通通道输出和渲染，本设备支持捕获系统图像直通通道的图像数据；
203、镜像投屏源端程序检测本设备的系统声音直通通道，并检测得出结论：本设备支持将系统音频数据加密后通过系统音频直通通道输出，本设备不支持通过系统音频直通通道捕获系统音频数据；
204、镜像投屏源端程序检测本设备的系统声音蓝牙通道，并检测得出结论：本设备支持系统声音通过蓝牙通道输出，本设备支持捕获蓝牙通道输出的音频数据；
205、镜像投屏源端程序检测本设备的流媒体传输通道，并检测得出结论：本设备支持流媒体数据通过wifi网络通道进行传送；
206、镜像投屏收端设备启动镜像投屏收端程序；
207、镜像投屏收端程序检测本设备的流媒体视频传输通道，并检测得出结论：本设备支持通过wifi网络通道接收流媒体视频数据；
208、镜像投屏收端程序检测本设备的流媒体声音传输通道，并检测得出结论：本设备支持通过蓝牙通道接收流媒体音频数据；
209、镜像投屏系统的投屏源端程序与投屏收端程序建立投屏会话通道；
210、镜像投屏系统的投屏源端程序与投屏收端程序基于投屏会话通道，交换彼此的通道能力信息；
211、镜像投屏系统的投屏源端程序与投屏收端程序协商并确认本次投屏所采用的通道信息：基于wifi网络通道，建立纯视频数据传送通道；基于蓝牙传输通道，建立纯音频数据传送通道；
212镜像投屏系统的投屏源端程序基于本设备的系统图像直通通道捕获本设备的屏幕图像数据，并采用H264格式对视频数据进行编码，并以本系统的时钟为基准时钟，生成每个视频帧的DTS和PTS值，并以MP4的格式对编码后的视频数据进行封装，并基于步骤211所建立的wifi网络视频数据传送通道，将视频数据传送到投屏收端；
213、镜像投屏系统的投屏源端程序基于本设备的蓝牙音频输出通道捕获到本系统的音频数据，并以本系统的时钟为基准时钟，生成每个音频帧的DTS与PTS值，并以适当的格式对音频数据进行封装，然后将封装后的音频数据通过蓝牙音频传输通道，传送到投屏收端；
214、镜像投屏系统的投屏收端程序以投屏源端程序的系统时钟为基准，对自身的时钟进行校准；
215、镜像投屏系统的投屏收端程序通过wifi通道接收到镜像投屏的视频数据后，以校准后的本系统时钟为基准时钟，解码并渲染视频图像数据；
216、镜像投屏系统的投屏收端程序通过蓝牙通道接收到镜像投屏的音频数据后，以校准后的本系统时钟为基准时钟，解码并渲染音频图像数据；
217、镜像投屏系统的投屏收端程序和投屏源端程序之间采用定制时钟校准机制，即每隔10秒，投屏源端程序与投屏收端程序完成一次系统时钟的校准；
实施例4
有线通道传输图像与蓝牙通道传输声音相结合的镜像投屏场景；
本实施例的前提假设条件如下：
a3、投屏源端设备由于系统基于视频内容版权保护的诉求，禁止投屏源端程序通过系统直通图像渲染通道捕获系统图像数据；
b3、投屏源端设备由于系统基于用户隐私保护诉求，禁止投屏源端程序捕获基于系统音频直通输出通道的音频数据；
c3、投屏源端设备支持通过系统的有线通道传输图像数据；
d3、投屏源端设备支持通过蓝牙通道传输声音数据；
e3、投屏收端设备支持通过有线通道独立接收投屏源端的视频图像数据；
f3、投屏收端设备支持通过蓝牙通道独立接收投屏源端的音频数据；
本实施例中，镜像投屏系统的源端设备与收端设备整体运行及交互流程如下：
301、镜像投屏源端设备启动镜像投屏源端程序；
302、镜像投屏源端程序检测本设备的系统图像直通通道，并检测得出结论：本设备支持系统图像数据经过加密后通过系统图像直通通道输出和渲染，本设备不支持基于系统图像直通通道捕获图像数据；
303、镜像投屏源端程序检测本设备的系统图像有线输出通道，并检测得出结论：本设备支持系统图像数据通过系统图像有线输出通道输出和渲染，本设备支持基于系统图像有线输出通道捕获图像数据；
304、镜像投屏源端程序检测本设备的系统声音直通通道，并检测得出结论：本设备支持系统声音经过加密后通过系统音频直通通道输出，本设备不支持通过系统音频直通通道捕获系统音频数据；
305、镜像投屏源端程序检测本设备的系统声音蓝牙输出通道，并检测得出结论：本设备支持系统音频通过蓝牙通道输出，本设备支持捕获蓝牙通道输出的音频数据；
306、镜像投屏源端程序检测本设备的流媒体传输通道，并检测得出结论：本设备已经接入有线传输硬件通道，支持流媒体数据通过有线传输硬件通道进行传送；
307、镜像投屏收端设备启动镜像投屏收端程序；
308、镜像投屏收端程序检测本设备的流媒体视频传输通道，并检测得出结论：本设备已经接入有线传输硬件通道，支持通过有线传输硬件通道接收流媒体视频数据；
309、镜像投屏收端程序检测本设备的流媒体声音传输通道，并检测得出结论：本设备支持通过蓝牙通道接收流媒体音频数据；
310、镜像投屏系统的投屏源端程序与投屏收端程序建立投屏会话通道；
311、镜像投屏系统的投屏源端程序与投屏收端程序基于投屏会话通道，交换彼此的通道能力信息；
312、镜像投屏系统的投屏源端程序与投屏收端程序协商并确认本次投屏所采用的通道信息：基于有线硬件传输通道，建立纯视频数据传送通道；基于蓝牙传输通道，建立纯音频数据传送通道；
313、镜像投屏系统的投屏源端程序基于本设备的系统图像有线硬件传输通道捕获本设备的屏幕图像数据，并采用H264格式对视频数据进行编码，并以本系统的时钟为基准时钟，生成每个视频帧的DTS和PTS值，并以MP4的格式对编码后的视频数据进行封装，并基于步骤312所建立的有线硬件传输通道，将视频数据传送到投屏收端；
314、镜像投屏系统的投屏源端程序基于本设备的蓝牙音频输出通道捕获到本系统的音频数据，并以本系统的时钟为基准时钟，生成每个音频帧的DTS与PTS值，并以适当的格式对音频数据进行封装，然后将封装后的音频数据通过蓝牙音频传输通道，传送到投屏收端；
315、镜像投屏系统的投屏收端程序以投屏源端程序的系统时钟为基准，对自身的时钟进行校准；
316、镜像投屏系统的投屏收端程序通过有线硬件通道接收到镜像投屏的视频数据后，以校准后的本系统时钟为基准时钟，解码并渲染视频图像数据；
317、镜像投屏系统的投屏收端程序通过蓝牙通道接收到镜像投屏的音频数据后，以校准后的本系统时钟为基准时钟，解码并渲染音频图像数据；
318、镜像投屏系统的投屏收端程序和投屏源端程序之间采用定制时钟校准机制，即每隔10秒，投屏源端程序与投屏收端程序完成一次系统时钟的校准。
实施例5
wifi通道传输图像与有线通道传输声音相结合的镜像投屏场景；
本实施案例的前提假设条件如下：
a4、投屏源端设备由于系统基于用户隐私保护诉求，禁止投屏源端程序捕获基于系统音频直通输出通道的音频数据；
b4、投屏源端设备支持投屏源端程序通过图像渲染直通通道捕获屏幕图像数据；
c4、投屏源端设备支持通过有线硬件通道传输音频数据；
d4、投屏收端设备支持通过wifi通道独立接收投屏源端的视频图像数据；
e4、投屏收端设备支持通过有线硬件通道独立接收投屏源端的音频数据；
本实施例中，镜像投屏系统的源端设备与收端设备整体运行及交互流程如下：
401、镜像投屏源端设备启动镜像投屏源端程序；
402、镜像投屏源端程序检测本设备的系统图像直通通道，并检测得出结论：本设备支持系统图像通过直通通道输出和渲染，本设备支持捕获系统图像直通通道的图像数据；
403、镜像投屏源端程序检测本设备的系统声音直通通道，并检测得出结论：本设备支持将系统音频数据加密后通过系统音频直通通道输出，本设备不支持通过系统音频直通通道捕获系统音频数据；
404、镜像投屏源端程序检测本设备的系统声音其他输出通道，并检测得出结论：本设备已经接入有线硬件通道设备，支持系统声音通过有线硬件通道输出，本设备支持捕获有线硬件通道输出的音频数据；
405、镜像投屏源端程序检测本设备的流媒体传输通道，并检测得出结论：本设备支持视频媒体数据通过wifi网络通道进行独立传送；
406、镜像投屏收端设备启动镜像投屏收端程序；
407、镜像投屏收端程序检测本设备的流媒体视频传输通道，并检测得出结论：本设备支持通过wifi网络通道独立接收流媒体视频数据；
408、镜像投屏收端程序检测本设备的流媒体声音传输通道，并检测得出结论：本设备已经接入有线硬件传输设备，支持通过有线硬件通道独立接收流媒体音频数据；
409、镜像投屏系统的投屏源端程序与投屏收端程序建立投屏会话通道；
410、镜像投屏系统的投屏源端程序与投屏收端程序基于投屏会话通道，交换彼此的通道能力信息；
411、镜像投屏系统的投屏源端程序与投屏收端程序协商并确认本次投屏所采用的通道信息：基于wifi网络通道，建立纯视频数据传送通道；基于有线硬件通道，建立纯音频数据传送通道；
412、镜像投屏系统的投屏源端程序基于本设备的系统图像直通通道捕获本设备的屏幕图像数据，并采用H264格式对视频数据进行编码，并以本系统的时钟为基准时钟，生成每个视频帧的DTS和PTS值，并以MP4的格式对编码后的视频数据进行封装，并基于步骤411所建立的wifi网络视频数据传送通道，将视频数据传送到投屏收端；
413、镜像投屏系统的投屏源端程序基于本设备的硬件传输通道捕获到本系统的音频数据，并以本系统的时钟为基准时钟，生成每个音频帧的DTS与PTS值，并以适当的格式对音频数据进行封装，然后将封装后的音频数据通过有线硬件传输通道，传送音频数据到投屏收端；
414、镜像投屏系统的投屏收端程序以投屏源端程序的系统时钟为基准，对自身的时钟进行校准；
415、镜像投屏系统的投屏收端程序通过wifi通道接收到镜像投屏的视频数据后，以校准后的本系统时钟为基准时钟，解码并渲染视频图像数据；
416、镜像投屏系统的投屏收端程序通过有线硬件通道接收到镜像投屏的音频数据后，以校准后的本系统时钟为基准时钟，解码并渲染音频图像数据；
417、镜像投屏系统的投屏收端程序和投屏源端程序之间采用定制时钟校准机制，即每隔10秒，投屏源端程序与投屏收端程序完成一次系统时钟的校准。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (10)

1.一种镜像投屏系统，其特征在于，由投屏源端设备和投屏收端设备两类终端设备组成，
投屏源端设备上运行投屏源端程序，用于对投屏源端设备屏幕图像的捕获、编码和流化处理，并用于对投屏源端设备的声音进行同步处理和传输；
投屏收端设备上运行投屏收端程序，用于完成对镜像投屏源端流媒体数据的接收处理，并用于对视频数据和音频数据进行解码和同步播放渲染处理；
其中，投屏源端设备和投屏收端设备均包含通道检测收集模块、通道能力发布模块和通道能力交互协商模块；通道检测收集模块用于对当前终端设备所支持的所有通道能力进行检测，并对所有通道进行记录；通道能力发布模块用于对当前终端设备所支持的所有通道能力在当前终端设备所处的局域网中进行定期发布；通道能力交互协商模块用于将投屏源端设备的通道能力与投屏收端设备进行交互和协商，发送投屏源端设备的通道所支持的能力，获取投屏收端设备的通道所具备的能力，并基于通道能力匹配模式进行握手协商，从而确定镜像投屏系统中投屏双方最终采用的传输通道。
2.根据权利要求1所述一种镜像投屏系统，其特征在于，所述通道指代的是设备视频流的输出通道和设备音频流的输出通道。
3.根据权利要求2所述一种镜像投屏系统，其特征在于，所述设备视频流的输出通道至少包括HDMI通道、DP通道、LVDS通道和直通通道中的一种；
所述设备音频流的输出通道至少包括HDMI通道、DP通道、蓝牙通道和直通通道中的一种。
4.一种镜像投屏方法，其特征在于，具体步骤包括：
步骤A、终端设备通道能力检测与收集；
步骤B、终端设备通道能力发布，以建立投屏会话通道；
由投屏源端程序通过网络发布投屏源端设备的通道能力信息；
步骤C、投屏通道能力交换与协商；
投屏源端设备与投屏收端设备在镜像投屏交互过程的握手阶段，通过投屏握手通道交换彼此的通道能力，并基于对彼此通道能力的获取，采取最优通道匹配策略协商完成最终的镜像投屏流媒体通道；
步骤D、投屏通道建立与媒体流同步处理传输；
投屏源端设备与投屏收端设备基于协商好的通道，建立起完整的镜像投屏流媒体通道，以传输流媒体数据；
步骤E、媒体流同步渲染处理；
投屏收端设备基于已经建立的镜像投屏流媒体通道进行媒资的接收与后处理；并对视频通道的视频数据和音频通道的音频数据进行统一的同步控制处理，实现视频与音频同步渲染输出。
5.根据权利要求4所述一种镜像投屏方法，其特征在于，所述步骤A中，终端设备通道能力检测与收集，具体为：
在投屏源端程序启动后，对投屏源端设备所支持的通道能力进行检测和收集，并对所收集到投屏源端设备的通道能力进行汇总和记录；
在投屏收端程序启动后，对投屏收端设备所支持的通道能力进行检测和收集，并对收集到投屏收端设备的通道能力进行汇总和记录，然后，对投屏收端设备所支持的通道能力进行动态检测和更新。
6.根据权利要求5所述一种镜像投屏方法，其特征在于，所述述步骤A中，终端设备通道能力检测为动态检测极机制。
7.根据权利要求4所述一种镜像投屏方法，其特征在于，所述步骤B中，终端设备通道能力的发布方式采用定时发布模式或不定时发布模式。
8.根据权利要求4所述一种镜像投屏方法，其特征在于，所述步骤B中，终端设备通道能力信息的发布通道采用局域网组播方式、局域网广播方式或点对点通信方式。
9.根据权利要求4所述一种镜像投屏方法，其特征在于，
所述步骤D中，建立起完整的镜像投屏流媒体通道，以传输流媒体数据；具体方法为：投屏源端设备基于协商好的流媒体输出通道，对所处通道的图像和声音进行捕获、编码和封装，并对音视频数据进行同步化处理，最终流化传送到投屏收端设备；收端设备基于协商好的流媒体输入通道，将接收到投屏流媒体视频数据、音频数据分别送入设定好的输入通道，并在对应的流媒体输入通道内部对视频数据和声音数据进行解码和处理。
10.根据权利要求4所述一种镜像投屏方法，其特征在于，所述后处理包括对音视频数据的解码、音画同步和渲染处理。
CN202310495532.6A 2023-05-05 2023-05-05 一种镜像投屏系统及方法 Pending CN116456138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310495532.6A CN116456138A (zh) 2023-05-05 2023-05-05 一种镜像投屏系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310495532.6A CN116456138A (zh) 2023-05-05 2023-05-05 一种镜像投屏系统及方法

Publications (1)

Publication Number Publication Date
CN116456138A true CN116456138A (zh) 2023-07-18

Family

ID=87127430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310495532.6A Pending CN116456138A (zh) 2023-05-05 2023-05-05 一种镜像投屏系统及方法

Country Status (1)

Country Link
CN (1) CN116456138A (zh)

Similar Documents

Publication Publication Date Title
CN107846633B (zh) 一种直播方法及系统
US9948994B2 (en) Transmission of digital audio signals using an internet protocol
JP4702397B2 (ja) コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム
WO2011050690A1 (zh) 用于录制和回播多媒体会议的方法和系統
CN108134916B (zh) 一种4k终端和4k终端的数据处理方法
US9497390B2 (en) Video processing method, apparatus, and system
TWI528827B (zh) 於複製模式中作無線多播的方法與設備及電腦可讀取媒體
KR101999180B1 (ko) 디스플레이 장치, 그의 제어 방법, 안경 장치 및 그의 제어 방법
WO2013077525A1 (ko) 제어 방법 및 그를 이용한 장치
JP2014511621A (ja) 表示切換えのための方法および装置
US8749611B2 (en) Video conference system
JP2008507898A (ja) デジタルメディアシステムにおける高速チャンネル切換
JP6377784B2 (ja) オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法
US20110090970A1 (en) Terminal and relay node for video conference system
CN108124158B (zh) 多媒体终端及多媒体终端的数据处理方法
WO2018068481A1 (zh) 一种双目 720 度全景采集系统
TW201332357A (zh) 電視畫面重現的方法、系統及電視設備
CN112866725A (zh) 一种直播控制方法及装置
CN113194278A (zh) 一种会议控制方法、装置及计算机可读存储介质
Tang et al. Audio and video mixing method to enhance WebRTC
CN107147887B (zh) 无线投影方法及装置
US20110088069A1 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
CN103430568A (zh) 互联网协议网络视频分发系统及方法
CN101141615B (zh) 会议电视终端支持双流的外置实现方法
CN116456138A (zh) 一种镜像投屏系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination