CN112019877A - 基于vr设备的投屏方法、装置、设备及存储介质 - Google Patents

基于vr设备的投屏方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112019877A
CN112019877A CN202011119482.4A CN202011119482A CN112019877A CN 112019877 A CN112019877 A CN 112019877A CN 202011119482 A CN202011119482 A CN 202011119482A CN 112019877 A CN112019877 A CN 112019877A
Authority
CN
China
Prior art keywords
video data
data
audio data
equipment
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011119482.4A
Other languages
English (en)
Inventor
曹佳新
李凌
陈锡华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Happycast Technology Co Ltd
Original Assignee
Shenzhen Happycast Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Happycast Technology Co Ltd filed Critical Shenzhen Happycast Technology Co Ltd
Priority to CN202011119482.4A priority Critical patent/CN112019877A/zh
Publication of CN112019877A publication Critical patent/CN112019877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明涉及投屏技术领域，公开了一种基于VR设备的投屏方法、装置、设备及存储介质。所述投屏方法包括：建立发送端设备和VR设备之间的投屏连接；获取所述发送端设备的录屏数据，所述录屏数据包括视频数据和与所述视频数据匹配的音频数据；对所述视频数据进行编码，并为所述视频数据分配第一时间戳；对所述音频数据进行编码，并为所述音频数据分配第二时间戳；将编码后的所述音频数据和所述视频数据发送给所述VR设备；在所述VR设备上解码并播放所述音频数据和所述视频数据。本发明的投屏方法实现了发送端设备将自己的屏幕内容显示到VR设备上，使得VR设备不仅可以观看视频，同时还可以玩各种游戏，提高了VR设备的可玩性，用户体验更佳。

Description

基于VR设备的投屏方法、装置、设备及存储介质
技术领域
本发明涉及投屏技术领域，尤其涉及一种基于VR设备的投屏方法、装置、设备及存储介质。
背景技术
目前VR技术相对成熟，已经开始应用在各个领域，包括娱乐，医疗，交通等，未来随着硬件的迭代更新VR技术将会变得越来越普及。
目前基于智能手机配合VR眼镜的产品非常的多，对于非直接将手机插入到VR眼镜中使用的产品而言，VR眼镜就只能观看手机发送的电影，并不将手机的屏幕画面显示到VR眼镜中，这就大大制约了VR眼镜的可玩性和操作性。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于解决现有的VR设备无法实现显示手机屏幕画面，可玩性差，用户体验不佳的技术问题。
本发明第一方面提供了一种基于VR设备的投屏方法，其中，所述基于VR设备的投屏方法包括：
建立发送端设备和VR设备之间的投屏连接；
获取所述发送端设备的录屏数据，所述录屏数据包括视频数据和与所述视频数据匹配的音频数据；
对所述视频数据进行编码，并为所述视频数据分配第一时间戳；
对所述音频数据进行编码，并为所述音频数据分配第二时间戳；
将编码后的所述音频数据和所述视频数据发送给所述VR设备；
在所述VR设备上解码并播放所述音频数据和所述视频数据。
可选的，在本发明第一方面的第一种实现方式中，所述在所述VR设备上解码并播放所述音频数据和所述视频数据具体包括：
解码所述视频数据并进行渲染；
解码所述音频数据并与所述视频数据进行同步播放。
可选的，在本发明第一方面的第二种实现方式中，所述解码所述视频数据并进行渲染具体包括：
根据编码规则对所述视频数据进行解码；
获取所述VR设备的性能参数；
根据所述性能参数对解码后的所述视频数据进行渲染。
可选的，在本发明第一方面的第三种实现方式中，所述解码所述音频数据并与所述视频数据进行同步播放具体包括：
根据编码规则对所述音频数据进行解码；
获取所述音频数据的所述第二时间戳；
获取所述视频数据的所述第一时间戳；
当所述第二时间戳和所述第一时间戳匹配，将所述音频数据和所述视频数据进行同步播放。
可选的，在本发明第一方面的第四种实现方式中，所述获取所述发送端设备的录屏数据具体包括：
预先在所述发送端设备的系统设置录屏数据获取线程；
当所述发送端设备接收到录屏指令后，触发所述录屏数据获取线程获取所述发送端设备的录屏数据。
可选的，在本发明第一方面的第五种实现方式中，所述录屏数据获取线程包括用于获取所述视频数据的第一子线程和用于获取所述音频数据的第二子线程。
可选的，在本发明第一方面的第六种实现方式中，所述对所述视频数据进行编码和所述对所述音频数据进行编码采用相同的编码标准。
本发明第二方面提供了一种投屏装置，包括：
连接模块，用于建立发送端设备和VR设备之间的投屏连接；
获取模块，用于获取所述发送端设备的录屏数据，所述录屏数据包括视频数据和与所述视频数据匹配的音频数据；
第一编码模块，用于对所述视频数据进行编码，并为所述视频数据分配第一时间戳；
第二编码模块，用于对所述音频数据进行编码，并为所述音频数据分配第二时间戳。
传输模块，用于将编码后的所述音频数据和所述视频数据发送给所述VR设备；
播放模块，用于在所述VR设备上解码并播放所述音频数据和所述视频数据。
本发明第三方面提供了一种投屏设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述投屏设备执行上述的基于VR设备的投屏方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于VR设备的投屏方法。
附图说明
图1为本发明基于VR设备的投屏方法的第一个实施例示意图；
图2为本发明基于VR设备的投屏方法的第二个实施例示意图；
图3为本发明基于VR设备的投屏方法的一个示例性的通信过程图；
图4为本发明实施例中投屏装置的一个实施例示意图；
图5为本发明实施例中投屏设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于VR设备的投屏方法、装置、设备及存储介质。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于VR设备的投屏方法的一个实施例包括：
101、建立发送端设备和VR设备之间的投屏连接；
在本实施例中，发送端设备和VR设备之间的投屏连接可以是公网连接或局域网连接，如果是公网连接，发送端设备和VR设备通过公网服务器从公网服务器传输投屏数据，如果是局域网连接，发送端设备和VR设备直接进行数据的相互传输，本发明在此不作限定。
示例性的，一种发送端设备和VR设备建立连接的过程如下：发送端设备可以通过搜索接收端设备的IP地址，寻找接收端，当搜索到接收端时，发送端设备就可以向接收端设备发起IP连接。接收端设备开启IP端口并周期性或持续监听是否有来自网络的请求，当接收端设备监听到来自发送端设备的IP连接建立请求时，接收并响应IP连接建立请求，建立与发送端的IP连接。
102、获取所述发送端设备的录屏数据，所述录屏数据包括视频数据和与所述视频数据匹配的音频数据；
在本实施例中，录屏，也称为屏幕录像或屏幕录制，是指采集屏幕的整个区域或部分指定区域的图像数据，将图像数据编码得到视频文件的技术，用户可以通过点击、滑动等触摸操作对发送端设备的显示界面进行操作，在录屏过程中，发送端设备按照预设采样频率采集录制区域所显示的屏幕画面，预设采样频率可以由发送端设备默认设置，也可以由用户自定义设置，本发明对此不作限定，比如，预设采样频率为25帧每秒、30帧每秒或者60帧每秒。
103、对所述视频数据进行编码，并为所述视频数据分配第一时间戳；
在本实施例中， 视频数据编码可以采用H264标准或者H265标准，H264标准和H265标准与其它现有的视频编码标准相比，在相同的带宽下提供更加优秀的图像质量，具有码率低，传输图像质量高和网络适应性强的特点。
104、对所述音频数据进行编码，并为所述音频数据分配第二时间戳。
在本实施例中，音频数据编码的过程可以为将音频数据转为单位时间里强弱不同的音频电流，并记录下音频电流的电流强度，并根据单位时间的电流强度绘制竖线段，单位时间内声音越大，竖线就越长，单位时间内的声音越小，竖线就越短，长短不同的竖线按时间顺序排列，构成波形，将音频编码转换成带有播放时间的波形图，从而便于后期将音频数据和视频数据进行同步。
发送端设备向VR设备发送的视频数据由多个视频数据包组成，每一个视频数据包均携带一个时间戳，用于记录当前视频数据包的发送时间，同样，发送端向VR设备发送的音频数据由多个音频数据包组成，每一个音频数据包也均携带一个时间戳，用于记录当前音频数据包的发送时间。
105、将编码后的所述音频数据和所述视频数据发送给所述VR设备；
在本实施例中，录屏数据可以通过UDP协议传输给VR设备，UDP协议是一个无连接协议，传输数据之前源端和终端不建立连接，当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上，UDP 具有较好的实时性，且UDP协议的段结构简单，网络开销小。
106、在所述VR设备上解码并播放所述音频数据和所述视频数据。
在本实施例中，VR设备上播放录屏数据指的是VR设备在其显示屏上显示录屏数据中视频数据以及播放视频数据对应的音频数据。
本发明的核心在于将手机屏幕显示内容进行压缩传输到VR设备，然后再渲染成VR设备能够直接观看的左右屏视频，这样就突破了VR设备只能观看视频和经过特殊处理的游戏内容的限制，使得VR设备能够观看手机上的所有内容，用户在购买VR设备后不光能够看电影还能体验VR场景下的各类非3D类的游戏，让用户有完全沉浸式的电影游戏体验，让VR眼镜更具可玩性。
参见图2，在本发明一种可选的实施方式中，所述步骤106具体包括：
601、解码所述视频数据并进行渲染；
在本实施例中，根据先前对视频数据进行编码的规则对视频数据进行解码，解码之后对视频数据进行渲染，示例性的，渲染过程可以通过MediaProjection创建VirtualDisplay，通过MediaCodec创建一个Surface；VirtualDisplay实时地将屏幕视频数据渲染到Surface中，以获得更好的视频图像输出效果。
602、解码所述音频数据并与所述视频数据进行同步播放。
在本实施例中，音频数据和视频数据的同步时，可以选择将视频同步到音频上：就是以音频的播放速度为基准来同步视频，也可以将音频同步到视频上：就是以视频的播放速度为基准来同步音频，还可以将视频和音频同步一个外部的时钟上：就是选择一个外部时钟为基准，视频和音频的播放速度都以该时钟为标准。
在本发明一种可选的实施方式中，所述步骤601具体包括：
根据编码规则对所述视频数据进行解码；
获取所述VR设备的性能参数；
在本实施例中，所述性能参数包括VR设备的图像处理能力和VR设备显示屏的显示参数。
根据所述性能参数对解码后的所述视频数据进行渲染。
在本实施例中，渲染的过程可以是先获取视频数据中的图像帧，图像帧包括多个关键帧，关键帧为具体的场景光学信息，确定待渲染图像的最邻近关键帧，采集特定视角的多个关键帧，在多个关键帧中确定一个与这个特定视角的图像最邻近的关键帧，获取最邻近关键帧与其他关键帧之间的方向与距离差异，根据方向与距离差异对关键帧进行渲染。
在基于VR设备的图像处理能力和VR设备的显示屏的显示参数的基础上对视频数据进行渲染，不仅可以使得视频数据与VR设备更加适配，还能更好的提升视频数据在VR设备上的投屏效果。
在本发明一种可选的实施方式中，所述步骤602具体包括：
根据编码规则对所述音频数据进行解码；
获取所述音频数据的所述第二时间戳；
获取所述视频数据的所述第一时间戳；
当所述第二时间戳和所述第一时间戳匹配，将所述音频数据和所述视频数据进行同步播放。
在本实施例中，VR设备接收到视频数据和音频数据之后，根据第一时间戳对各个视频数据包进行排序，以得到正确顺序的输出视频数据流，同样，根据第二时间戳对各个音频数据包进行排序，以得到正确顺序的输出音频数据流，最后，在整合视频数据流和音频数据流时，根据各自携带的时间戳来实现视频和音频的同步。
在本发明一种可选的实施方式中，所述步骤102具体包括：
预先在所述发送端设备的系统设置录屏数据获取线程；
在本实施例中，通过设置专门的录屏数据线程来获取录屏数据，这样可以提高录屏数据的获取效率，获取的录屏数据也可以更加的精确。
当所述发送端设备接收到录屏指令后，触发所述录屏数据获取线程获取所述发送端设备的录屏数据。
在本实施例中，录屏指令输入的一种场景是在发送端设备中预装有投屏软件，投屏软件中内置有录屏按钮，投屏软件获取有发送端设备的录屏权限，通过点击投屏软件中的录屏按钮输入录屏指令。
在本发明一种可选的实施方式中，所述录屏数据获取线程包括用于获取所述视频数据的第一子线程和用于获取所述音频数据的第二子线程。
在本实施例中，视频数据的获取线程和音频数据的获取线程为不同的子线程，这样可以有效的避免视频数据和音频数据之间的干扰，同时也可以提高视频数据和音频数据的获取效率，从而提高发送端设备的录屏数据在VR设备上的显示效果。
在本发明一种可选的实施方式中，所述对所述视频数据进行编码和所述对所述音频数据进行编码采用相同的编码标准。
在本实施例中，比如，视频数据的编码和音频数据的编码可以均采用H264标准或者H265标准进行编码，这样做的好处是，解码以后的视频数据和音频数据能够具有更好的兼容性，从而使得投屏在VR设备上视频和音频更加同步。
在本发明一种可选的实施方式中，视频数据编码和音频数据编码的过程中，通过至少一个第一编码模块（视频编码器）对视频数据进行编码压缩，和/或，通过至少一个第二编码模块（音频编码器）对音频数据进行编码压缩。比如，通过一个视频编码器对一个或多个视频画面进行同时编码压缩，通过一个音频编码器对一个或多个音频进行同时编码压缩；为了提高对影音数据的编码效率，在另一种实施方式中，也可以通过多个视频编码器分别对多个视频数据进行解码压缩，同时启动多个音频编码器同时对多个音频数据进行编码压缩。
参见图3，本发明基于VR设备的投屏方法一种示例性通过过程如下：首先，在发送端设备（包括手机）和VR设备（包括VR眼镜）上安装投屏软件，之后开启发送端设备和VR设备上的投屏软件建立投屏连接，接着建立镜像投屏，然后对发送端设备的屏幕进行录屏，获得发送端设备的实时屏幕数据，再之后将发送端设备的实时屏幕数据传输给VR设备，VR设备接收实时屏幕数据后，解码屏幕数据获得视频数据并进行左右屏渲染，获得音频数据并与视频数据同步播放。
上面对本发明实施例中基于VR设备的投屏方法进行了描述，下面对本发明实施例中投屏装置进行描述，请参阅图4，本发明实施例中投屏装置一个实施例包括：
连接模块10，用于建立发送端设备和VR设备之间的投屏连接；
获取模块20，用于获取所述发送端设备的录屏数据，所述录屏数据包括视频数据和与所述视频数据匹配的音频数据；
第一编码模块30，用于对所述视频数据进行编码，并为所述视频数据分配第一时间戳；
第二编码模块40，用于对所述音频数据进行编码，并为所述音频数据分配第二时间戳。
传输模块50，用于将编码后的所述音频数据和所述视频数据发送给所述VR设备；
播放模块60，用于在所述VR设备上解码并播放所述音频数据和所述视频数据。
在本发明一种可选的实施方式中，所述投屏装置还包括：
第一解码模块，用于解码所述视频数据并进行渲染；
第二解码模块，用于解码所述音频数据并与所述视频数据进行同步播放。
在本发明一种可选的实施方式中，所述第一解码模块还用于：
根据编码规则对所述视频数据进行解码；
获取所述VR设备的性能参数；
根据所述性能参数对解码后的所述视频数据进行渲染。
在本发明一种可选的实施方式中，所述第二解码模块还用于：
根据编码规则对所述音频数据进行解码；
获取所述音频数据的所述第二时间戳；
获取所述视频数据的所述第一时间戳；
当所述第二时间戳和所述第一时间戳匹配，将所述音频数据和所述视频数据进行同步播放。
在本发明一种可选的实施方式中，所述投屏装置还包括：
线程设置模块，用于预先在所述发送端设备的系统设置录屏数据获取线程；
录屏模块，用于当所述发送端设备接收到录屏指令后，触发所述录屏数据获取线程获取所述发送端设备的录屏数据。
在本发明一种可选的实施方式中，所述对所述视频数据进行编码和所述对所述音频数据进行编码采用相同的编码标准。
上面从模块化功能实体的角度对本发明实施例中的投屏装置进行详细描述，下面从硬件处理的角度对本发明实施例中投屏设备进行详细描述。
图5是本发明实施例提供的一种投屏设备的结构示意图，该投屏设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器50（central processingunits，CPU）（例如，一个或一个以上处理器）和存储器60，一个或一个以上存储应用程序或数据的存储介质70（例如一个或一个以上海量存储设备）。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对投屏设备中的一系列指令操作。更进一步地，处理器可以设置为与存储介质通信，在投屏设备上执行存储介质中的一系列指令操作。
基于投屏设备还可以包括一个或一个以上电源80，一个或一个以上有线或无线网络接口90，一个或一个以上输入输出接口100，和/或，一个或一个以上操作系统，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的投屏设备结构并不构成对基于投屏设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述投屏方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于VR设备的投屏方法，其特征在于，所述基于VR设备的投屏方法包括：
建立发送端设备和VR设备之间的投屏连接；
获取所述发送端设备的录屏数据，所述录屏数据包括视频数据和与所述视频数据匹配的音频数据；
对所述视频数据进行编码，并为所述视频数据分配第一时间戳；
对所述音频数据进行编码，并为所述音频数据分配第二时间戳；
将编码后的所述音频数据和所述视频数据发送给所述VR设备；
在所述VR设备上解码并播放所述音频数据和所述视频数据。
2.根据权利要求1所述的基于VR设备的投屏方法，其特征在于，所述在所述VR设备上解码并播放所述音频数据和所述视频数据具体包括：
解码所述视频数据并进行渲染；
解码所述音频数据并与所述视频数据进行同步播放。
3.根据权利要求2所述的基于VR设备的投屏方法，其特征在于，所述解码所述视频数据并进行渲染具体包括：
根据编码规则对所述视频数据进行解码；
获取所述VR设备的性能参数；
根据所述性能参数对解码后的所述视频数据进行渲染。
4.根据权利要求2所述的基于VR设备的投屏方法，其特征在于，所述解码所述音频数据并与所述视频数据进行同步播放具体包括：
根据编码规则对所述音频数据进行解码；
获取所述音频数据的所述第二时间戳；
获取所述视频数据的所述第一时间戳；
当所述第二时间戳和所述第一时间戳匹配，将所述音频数据和所述视频数据进行同步播放。
5.根据权利要求1所述的基于VR设备的投屏方法，其特征在于，所述获取所述发送端设备的录屏数据具体包括：
预先在所述发送端设备的系统设置录屏数据获取线程；
当所述发送端设备接收到录屏指令后，触发所述录屏数据获取线程获取所述发送端设备的录屏数据。
6.根据权利要求5所述的基于VR设备的投屏方法，其特征在于，所述录屏数据获取线程包括用于获取所述视频数据的第一子线程和用于获取所述音频数据的第二子线程。
7.根据权利要求1所述的基于VR设备的投屏方法，其特征在于，所述对所述视频数据进行编码和所述对所述音频数据进行编码采用相同的编码标准。
8.一种投屏装置，其特征在于，所述投屏装置包括：
连接模块，用于建立发送端设备和VR设备之间的投屏连接；
获取模块，用于获取所述发送端设备的录屏数据，所述录屏数据包括视频数据和与所述视频数据匹配的音频数据；
第一编码模块，用于对所述视频数据进行编码，并为所述视频数据分配第一时间戳；
第二编码模块，用于对所述音频数据进行编码，并为所述音频数据分配第二时间戳；
传输模块，用于将编码后的所述音频数据和所述视频数据发送给所述VR设备；
播放模块，用于在所述VR设备上解码并播放所述音频数据和所述视频数据。
9.一种投屏设备，其特征在于，所述投屏设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述投屏设备执行如权利要求1-7中任一项所述的基于VR设备的投屏方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于VR设备的投屏方法。
CN202011119482.4A 2020-10-19 2020-10-19 基于vr设备的投屏方法、装置、设备及存储介质 Pending CN112019877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011119482.4A CN112019877A (zh) 2020-10-19 2020-10-19 基于vr设备的投屏方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011119482.4A CN112019877A (zh) 2020-10-19 2020-10-19 基于vr设备的投屏方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112019877A true CN112019877A (zh) 2020-12-01

Family

ID=73528370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011119482.4A Pending CN112019877A (zh) 2020-10-19 2020-10-19 基于vr设备的投屏方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112019877A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672147A (zh) * 2020-12-15 2021-04-16 深圳乐播科技有限公司 一种基于投屏的解码方法、设备及系统
CN113542706A (zh) * 2021-06-25 2021-10-22 深圳乐播科技有限公司 跑步机的投屏方法、装置、设备及存储介质
CN113556595A (zh) * 2021-06-16 2021-10-26 珠海全志科技股份有限公司 基于Miracast的回放方法及装置
CN114785887A (zh) * 2022-02-28 2022-07-22 Oppo广东移动通信有限公司 投屏控制方法、装置、电子设备和计算机可读存储介质
WO2022252842A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 一种媒体文件传输方法及装置
CN116055613A (zh) * 2022-08-26 2023-05-02 荣耀终端有限公司 一种投屏方法和设备
CN117130471A (zh) * 2023-03-31 2023-11-28 荣耀终端有限公司 人机交互方法、电子设备及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103039051A (zh) * 2010-06-04 2013-04-10 斯凯普爱尔兰科技控股公司 服务器辅助的视频会话
CN106658133A (zh) * 2016-10-26 2017-05-10 广州市百果园网络科技有限公司 一种音视频同步播放的方法及终端
CN106686424A (zh) * 2017-01-06 2017-05-17 广州四三九九信息科技有限公司 基于移动端录屏直播方法
CN107071539A (zh) * 2017-05-08 2017-08-18 深圳小辣椒虚拟现实技术有限责任公司 基于vr设备的终端上信息资源同步显示方法及系统
CN107396172A (zh) * 2017-08-29 2017-11-24 四川长虹电器股份有限公司 低延迟投屏的方法
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
CN108683934A (zh) * 2018-06-08 2018-10-19 四川乐望崇智科技有限公司 同步附带音频的手机投屏方法
CN110691275A (zh) * 2019-09-10 2020-01-14 上海明我信息技术有限公司 无线传屏设备、方法及计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103039051A (zh) * 2010-06-04 2013-04-10 斯凯普爱尔兰科技控股公司 服务器辅助的视频会话
CN106658133A (zh) * 2016-10-26 2017-05-10 广州市百果园网络科技有限公司 一种音视频同步播放的方法及终端
CN106686424A (zh) * 2017-01-06 2017-05-17 广州四三九九信息科技有限公司 基于移动端录屏直播方法
CN107071539A (zh) * 2017-05-08 2017-08-18 深圳小辣椒虚拟现实技术有限责任公司 基于vr设备的终端上信息资源同步显示方法及系统
CN107396172A (zh) * 2017-08-29 2017-11-24 四川长虹电器股份有限公司 低延迟投屏的方法
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
CN108683934A (zh) * 2018-06-08 2018-10-19 四川乐望崇智科技有限公司 同步附带音频的手机投屏方法
CN110691275A (zh) * 2019-09-10 2020-01-14 上海明我信息技术有限公司 无线传屏设备、方法及计算机存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672147A (zh) * 2020-12-15 2021-04-16 深圳乐播科技有限公司 一种基于投屏的解码方法、设备及系统
WO2022252842A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 一种媒体文件传输方法及装置
CN113556595A (zh) * 2021-06-16 2021-10-26 珠海全志科技股份有限公司 基于Miracast的回放方法及装置
CN113556595B (zh) * 2021-06-16 2023-06-06 珠海全志科技股份有限公司 基于Miracast的回放方法及装置
CN113542706A (zh) * 2021-06-25 2021-10-22 深圳乐播科技有限公司 跑步机的投屏方法、装置、设备及存储介质
CN113542706B (zh) * 2021-06-25 2023-06-13 深圳乐播科技有限公司 跑步机的投屏方法、装置、设备及存储介质
CN114785887A (zh) * 2022-02-28 2022-07-22 Oppo广东移动通信有限公司 投屏控制方法、装置、电子设备和计算机可读存储介质
CN116055613A (zh) * 2022-08-26 2023-05-02 荣耀终端有限公司 一种投屏方法和设备
CN116055613B (zh) * 2022-08-26 2023-09-29 荣耀终端有限公司 一种投屏方法和设备
CN117130471A (zh) * 2023-03-31 2023-11-28 荣耀终端有限公司 人机交互方法、电子设备及系统

Similar Documents

Publication Publication Date Title
CN112019877A (zh) 基于vr设备的投屏方法、装置、设备及存储介质
EP2469853B1 (en) Method and device for processing video image data, system and terminal for video conference
KR102157634B1 (ko) 영상 획득 방법 및 로컬 엔드포인트 호스트 장치
US6580756B1 (en) Data transmission method, data transmission system, data receiving method, and data receiving apparatus
EP2732633A1 (en) Wireless 3d streaming server
CN112073543B (zh) 一种云视频录制方法、系统和可读存储介质
EP4192020A1 (en) Channel change method and apparatus
WO2022111554A1 (zh) 一种视角切换方法及装置
EP4135312A1 (en) Video playing method, apparatus and system, and computer storage medium
CN101778285A (zh) 一种音视频信号无线传输系统及其方法
KR20060003651A (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
CN109756744B (zh) 数据处理方法、电子设备及计算机存储介质
Tang et al. Audio and video mixing method to enhance WebRTC
CN113473106A (zh) 图像传输方法、图像显示及处理设备、及图像传输系统
CN108882010A (zh) 一种多屏播放的方法及系统
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
CN112153401B (zh) 视频处理方法、通信设备及可读存储介质
CN103918258A (zh) 减少视频编码中的数据量
CN111970522A (zh) 虚拟直播数据的处理方法、装置及存储介质
CN112565799B (zh) 视频数据处理方法和装置
CN114554277B (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
CN115904281A (zh) 云桌面会议共享方法、服务器和计算机可读存储介质
CN114470745A (zh) 一种基于srt的云游戏实现方法、装置及系统
CN111447458A (zh) 基于内容解说的直播系统、方法、装置和直播服务器
CN114503569A (zh) 用于实时视频通信的av1编解码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201201