CN116320366A - 视频流数据推送方法、装置、设备和存储介质 - Google Patents
视频流数据推送方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116320366A CN116320366A CN202310567284.1A CN202310567284A CN116320366A CN 116320366 A CN116320366 A CN 116320366A CN 202310567284 A CN202310567284 A CN 202310567284A CN 116320366 A CN116320366 A CN 116320366A
- Authority
- CN
- China
- Prior art keywords
- stream data
- video stream
- video
- video frame
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 16
- 238000007667 floating Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 11
- 238000006467 substitution reaction Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供一种视频流数据推送方法、装置、设备和存储介质,该方法包括:获取第一摄像头拍摄的第一视频流数据以及第二摄像头拍摄的第二视频流数据;基于第一视频流数据和第二视频流数据中相应的视频帧,合成本地三维视频流数据;将本地三维视频流数据上传到云端,以使得云端将本地三维视频流数据推送至其他MR可穿戴设备。采用本发明,可以通过双目摄像头采集两路视频流数据,两路视频流数据之间存在视差,可以基于两路视频流数据合成具有立体感的本地三维视频流数据。通过其他MR可穿戴设备播放该本地三维视频流数据以让用户进行观看,可以给用户更强的代入感,让用户具有身临其境的体验感受。
Description
技术领域
本发明涉及智能终端技术领域,尤其涉及一种视频流数据推送方法、装置、设备和存储介质。
背景技术
随着科技的发展,智能终端设备的智能化程度越来越高,而人们的生活越来越离不开这些智能终端。其中,智能终端例如包括手机、平板电脑、智能手表、智能电视、可穿戴设备等等。
实际应用中,可以通过智能终端将一个用户所处的场景画面传送给其他用户进行观看。比如说,用户A可以通过手机进行直播,将自己表演才艺的场景画面传送给加入直播间的用户B进行观看。
一般来说,在与上述情况相似的情景中,用户通过智能终端中的单一摄像头拍摄二维的视频流数据,并将该视频流数据通过云端分享给其他用户。由于二维的视频流数据很难真实地复刻出实际的场景环境,导致代入感较差。
发明内容
本发明实施例提供一种视频流数据推送方法、装置、设备和存储介质,用以实现真实地复刻实际的环境场景的视频,提高用户代入感。
第一方面,本发明实施例提供一种视频流数据推送方法,应用于混合现实(MixedReality,简写为MR)可穿戴设备,所述MR可穿戴设备中设置有第一摄像头和第二摄像头,所述方法包括:
获取所述第一摄像头拍摄的第一视频流数据以及所述第二摄像头拍摄的第二视频流数据;
基于所述第一视频流数据和所述第二视频流数据中相应的视频帧,合成本地三维视频流数据;
将所述本地三维视频流数据上传到云端,以使得所述云端将所述本地三维视频流数据推送至其他MR可穿戴设备。
可选地,所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。
可选地,所述方法还包括:
响应于预设视频流接收事件,接收所述云端推送的目标三维视频流数据;
通过VST模式,播放所述目标三维视频流数据。
可选地,所述通过视频透视VST模式,播放所述目标三维视频流数据,包括:
响应于悬浮窗播放指令,在操作系统界面中创建目标悬浮窗口;
通过VST模式,在所述目标悬浮窗口中播放所述目标三维视频流数据。
可选地,所述基于所述第一视频流数据和所述第二视频流数据中相应的视频帧,合成本地三维视频流数据,包括:
对于所述第一视频流数据和所述第二视频流数据中相对应的任一组视频帧,将所述任一组视频帧拼接为第一视频帧,并确定所述第一视频帧中的重合区域,其中,所述重合区域包括属于所述任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分;
对所述重合区域进行剪裁,以仅保留所述第一重合部分和所述第二重合部分中的任一个,得到本地三维视频流数据中的第二视频帧;
所述将所述本地三维视频流数据上传到云端,包括:
获取剪裁后的重合区域在所述第二视频帧中的位置信息;
将所述第二视频帧以及所述位置信息上传到云端,以使得所述云端将所述第二视频帧以及所述位置信息推送至所述其他MR可穿戴设备,所述位置信息用于触发所述其他MR可穿戴设备将所述第二视频帧还原为所述第一视频帧。
第二方面,本发明实施例提供一种视频流数据推送装置,应用于MR可穿戴设备,所述MR可穿戴设备中设置有第一摄像头和第二摄像头,所述装置包括:
获取模块,用于获取所述第一摄像头拍摄的第一视频流数据以及所述第二摄像头拍摄的第二视频流数据;
合成模块,用于基于所述第一视频流数据和所述第二视频流数据中相应的视频帧,合成本地三维视频流数据;
上传模块,用于将所述本地三维视频流数据上传到云端,以使得所述云端将所述本地三维视频流数据推送至其他MR可穿戴设备。
可选地,所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。
可选地,所述装置还包括播放模块,所述播放模块,用于:
响应于预设视频流接收事件 ,接收所述云端推送的目标三维视频流数据 ;
通过VST模式,播放所述目标三维视频流数据。
可选地,所述播放模块,用于:
响应于悬浮窗播放指令,在操作系统界面中创建目标悬浮窗口;
通过VST模式,在所述目标悬浮窗口中播放所述目标三维视频流数据。
可选地,所述合成模块52,用于:
对于所述第一视频流数据和所述第二视频流数据中相对应的任一组视频帧,将所述任一组视频帧拼接为第一视频帧,并确定所述第一视频帧中的重合区域,其中,所述重合区域包括属于所述任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分;
对所述重合区域进行剪裁,以仅保留所述第一重合部分和所述第二重合部分中的任一个,得到本地三维视频流数据中的第二视频帧;
所述将所述本地三维视频流数据上传到云端,包括:
获取剪裁后的重合区域在所述第二视频帧中的位置信息;
将所述第二视频帧以及所述位置信息上传到云端,以使得所述云端将所述第二视频帧以及所述位置信息推送至所述其他MR可穿戴设备,所述位置信息用于触发所述其他MR可穿戴设备将所述第二视频帧还原为所述第一视频帧。
第三方面,本发明实施例提供一种MR可穿戴设备,其中包括处理器和存储器,其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器至少可以实现第一方面中的视频流数据推送方法。
第四方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被MR可穿戴设备的处理器执行时,使所述处理器至少可以实现第一方面中的视频流数据推送方法。
采用本发明,可以通过双目摄像头采集两路视频流数据,由于双目摄像头的安装位置不同,导致采集到的两路视频流数据之间存在视差,可以基于两路视频流数据合成具有立体感的本地三维视频流数据。通过其他MR可穿戴设备播放该本地三维视频流数据以让佩戴该其他MR可穿戴设备的用户进行观看,可以给用户更强的代入感,让用户具有身临其境的体验感受。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频流数据推送方法的流程示意图;
图2为本发明实施例提供的一种通过悬浮窗播放目标三维视频流数据的场景示意图;
图3为本发明实施例提供的一种合成本地三维视频流数据的流程示意图;
图4为本发明实施例提供的一种第一视频帧的结构示意图;
图5为本发明实施例提供的一种视频流数据推送装置的结构示意图;
图6为本发明实施例提供的一种MR可穿戴设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图1为本发明实施例提供的一种视频流数据推送方法的流程图,该方法可以应用于MR可穿戴设备。其中,MR可穿戴设备中可以设置有第一摄像头和第二摄像头,即MR可穿戴设备中可以设置双目摄像头。如图1所示,该方法包括如下步骤:
101、获取第一摄像头拍摄的第一视频流数据以及第二摄像头拍摄的第二视频流数据。
102、基于第一视频流数据和第二视频流数据中相应的视频帧,合成本地三维视频流数据。
103、将本地三维视频流数据上传到云端,以使得云端将本地三维视频流数据推送至其他MR可穿戴设备。
实际应用中,MR可穿戴设备中可以设置有双目摄像头,包括第一摄像头和第二摄像头。双目摄像头可以分别拍摄两路视频流数据,包括第一摄像头拍摄的第一视频流数据以及第二摄像头拍摄的第二视频流数据。
视频流数据中包括多个视频帧,第一视频流数据和第二视频流数据中包括相对应的视频帧,可以基于这样的视频帧,合成三维图像,多个三维图像可以构成本地三维视频流数据。
其中,相对应的视频帧可以理解为是第一视频流数据和第二视频流数据中拍摄时刻最接近的视频帧,或者,如果预先对第一视频流数据和第二视频流数据进行了对齐操作,那么相对应的视频帧则可以理解为是第一摄像头和第二摄像头进行同步拍摄得到的视频帧。
需要说明的是,具体合成本地三维视频流数据的方式将会在后面的实施例中进行介绍,在此暂不展示叙述。
在得到本地三维视频流数据之后,可以将本地三维视频流数据上传到云端,以使得云端将本地三维视频流数据推送至其他MR可穿戴设备。
值得注意的是,在本发明实施例中,可以通过双目摄像头采集两路视频流数据,由于双目摄像头的安装位置不同,导致采集到的两路视频流数据之间存在视差,可以基于视差确定环境场景的深度信息,进而可以合成具有立体感的本地三维视频流数据。通过其他MR可穿戴设备播放该本地三维视频流数据以让用户进行观看,可以给用户更强的代入感,让用户具有身临其境的体验感受。即使观看从云端拉取的本地三维视频流数据的用户没有在拍摄本地三维视频流数据的环境场景的现场,也能通过观看本地三维视频流数据所呈现的立体画面让用户感受到好像亲身来到了上述环境场景中一样。
可选地,上述视频流数据可以包括但不限于:直播视频流数据、视频通话视频流数据或者视频会议视频流数据等等。
可以理解的是,本发明实施例提供的方法可以应用于直播场景、视频通话场景、视频会议场景等等需要呈现某处真实的环境场景的场景中。
当本发明实施例提供的方法应用在直播场景时,观众用户可以通过观看主播用户的本地三维视频流数据,好似来到了直播现场一样。当本发明实施例提供的方法应用在视频通话场景时,通话另一端的用户通过观看通话这一端的用户的本地三维视频流数据,能够体验到类似进入了这一端的用户所在的环境场景的感受。当本发明实施例提供的方法应用在视频会议场景时,多个不在会议现场的用户通过观看会议现场的本地三维视频流数据,能够体验到类似亲身来到会议现场开会的感受。
由上述举例可见,通过其他MR可穿戴设备播放该本地三维视频流数据以让用户进行观看,可以给用户更强的代入感,让用户具有身临其境的体验感受。
在另外的应用场景中,本地的MR可穿戴设备不仅仅可以当作拍摄三维视频流数据的设备,还可以当作接收其他MR可穿戴设备上传到云端的目标三维视频流数据的设备。在接收到该目标三维视频流之后,可以通过本地的MR可穿戴设备进行播放。其中,需要说明的是,目标三维视频流数据可以是由三维图像构成的视频流数据,其他MR可穿戴设备中合成目标三维视频流数据的方式可以采用与本地的MR可穿戴设备合成本地三维视频流相同的合成方式。
可选地,本发明实施例提供的方法还可以包括:响应于预设视频流接收事件,接收云端推送的目标三维视频流数据;通过VST模式,播放目标三维视频流数据。
其中,预设视频流接收事件例如可以是用户通过本地的MR可穿戴设备中的直播应用,加入了某个该用户感兴趣的直播间,当该用户在直播应用中点击加入了该感兴趣的直播间,相应可以产生一个视频流接收事件,进而可以让本地的MR可穿戴设备从云端拉取该感兴趣的直播间对应的目标视频流数据。或者,用户通过本地的MR可穿戴设备中的视频通话应用,发起了与其他用户之间的视频通话请求,当该其他用户接受了该视频通话请求时,相应可以产生一个视频流接收事件,进而可以让本地的MR可穿戴设备采集当前的用户的本地三维视频流数据并上传云端,同时从云端拉取其他用户上传的目标视频流数据。再例如,用户通过本地的MR可穿戴设备中的视频会议应用,加入了目标视频会议,当该用户在视频会议应用中点击加入了该目标视频会议,相应可以产生一个视频流接收事件,进而可以让本地的MR可穿戴设备从云端拉取该目标视频会议对应的目标视频流数据。
实际应用中,在检测到预设视频流接收事件后,响应于预设视频流接收事件,可以接收云端推送的目标三维视频流数据。然后,可以通过视频透视(Video See-Through,简写为VST)模式,播放目标三维视频流数据。通过VST模式,可以更好地呈现目标三维视频流数据的播放效果,给用户更强的代入感,让用户具有身临其境的体验感受。
可选地,通过视频透视VST模式,播放目标三维视频流数据的过程可以实现为:响应于悬浮窗播放指令,在操作系统界面中创建目标悬浮窗口;通过VST模式,在目标悬浮窗口中播放目标三维视频流数据。
实际应用中,MR可穿戴设备中可以装载操作系统,如安卓操作系统。可以在安卓操作系统中安装各种用户所需的应用,安卓操作系统还提供一个桌面界面(操作系统界面),当用户不打开任何应用时,可以直接显示该桌面界面,该桌面界面可以投影到MR可穿戴设备如MR眼镜的两个镜片,用户通过该镜片可以观看到桌面界面。用户可以通过手势进行操作,MR可穿戴设备中设置有检测手势的传感器,用户可以通过手势向MR可穿戴设备输入指令,如打开某个应用的指令等。
目标三维视频流数据可以以全屏的方式进行播放,或者也可以以悬浮窗的方式进行播放。如前文所述,用户可以通过手势点击在悬浮窗中进行播放的控件,相应地会生成一个悬浮窗播放指令。响应于悬浮窗播放指令,在操作系统界面中创建目标悬浮窗口。接着,可以通过VST模式,在目标悬浮窗口中播放目标三维视频流数据。如图2所示,是在目标悬浮窗口中播放目标三维视频流数据的场景示意图,在该示例中,可以以悬浮窗的方式播放目标三维视频流数据,这样操作系统界面中还会剩余一些空间用于显示其他内容,比如某个应用的主界面。
采用上述方式,用户可以边观看目标三维视频流数据,同时还能在操作系统界面剩余的空间中打开其他应用娱乐、办公等等,实现了高效的显示空间的利用。
下面将介绍合成本地三维视频流数据的具体方式。
本发明实施例提供了一种合成本地三维视频流数据的方式,如图3所示,该合成方式可以包括:
301、对于第一视频流数据和第二视频流数据中相对应的任一组视频帧,将任一组视频帧拼接为第一视频帧,并确定第一视频帧中的重合区域,其中,重合区域包括属于任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分。
302、对重合区域进行剪裁,以仅保留第一重合部分和第二重合部分中的任一个,得到本地三维视频流数据中的第二视频帧。
303、获取剪裁后的重合区域在第二视频帧中的位置信息。
304、将第二视频帧以及位置信息上传到云端,以使得云端将第二视频帧以及位置信息推送至其他MR可穿戴设备,位置信息用于触发其他MR可穿戴设备将第二视频帧还原为第一视频帧。
实际应用中,如前一个实施例中所介绍的那样,视频流数据中包括多个视频帧,第一视频流数据和第二视频流数据中包括相对应的视频帧,可以基于这样的视频帧,合成三维图像,多个三维图像可以构成本地三维视频流数据。
其中,相对应的视频帧可以是第一视频流数据和第二视频流数据中拍摄时刻最接近的视频帧,或者,如果预先对第一视频流数据和第二视频流数据进行了对齐操作,那么相对应的视频帧则可以是第一摄像头和第二摄像头进行同步拍摄得到的视频帧。
可以确定第一视频流数据和第二视频流数据中相对应的视频帧,将两个相对应的视频帧确定为一组视频帧。这样可以得到多组视频帧。
对于多组视频帧中的任一组视频帧Pi(xi,yi),可以对视频帧Pi中的视频帧xi和yi进行左右拼接,得到第一视频帧。其中,xi和yi依次为第一视频流数据和第二视频流数据中相对应的两个视频帧。其中,左右拼接的过程可以理解为是将对应于左眼的视频帧xi和对应于右眼的视频帧yi相对应的边缘拼接在一起。
在得到第一视频帧之后,由于视频帧Pi中的视频帧xi和视频帧yi对应的视差较小,因此拼接后的第一视频帧中有很大一部分区域是重合的。如图4所示,重合区域是在第一视频帧的中间位置的,除重合区域之外的非重合区域分布在第一视频帧的左右两侧,非重合区域具有视差。
由于第一视频帧包括了重合区域,重合区域由属于任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分构成,重合区域中包括了冗余的数据,为了避免将冗余的重复的数据上传到云端而占用大量的计算资源、网络资源等,可以对第一视频帧中冗余的数据进行裁剪。
具体来说,可以通过裁剪,保留第一重合部分和第二重合部分中的任一个,得到第二视频帧,第二视频帧为本地三维视频流数据中的视频帧。通过这样的方式,让原本包括两份重复的数据的第一视频帧,变为仅包括一份没有重复的数据的第二视频帧。由于重复的数据在第一视频帧中的数据量占比较高,通过这样的操作方式,可以大大降低第一视频帧的数据量,实现了数据压缩,进而使得在向云端传输裁剪得到的第二视频帧时,能够大大节约网络带宽,缩短数据上传时间,减少数据延迟。
值得注意的是,由于在其他MR可穿戴设备中最终还是要将第二视频帧还原为第一视频帧以正常地进行本地三维视频流数据的播放,因此本地的MR可穿戴设备除了需要向云端上传第二视频帧之外,还可以获取剪裁后的重合区域在第二视频帧中的位置信息,然后将该位置信息也上传到云端。其中,位置信息可以是剪裁后的重合区域在第二视频帧中的位置坐标。
其他MR可穿戴设备在从云端获取到第二视频帧之后,可以基于位置信息将第二视频帧恢复为第一视频帧。可以理解的是,在获知剪裁后的重合区域在第二视频帧中的位置坐标之后,可以在第二视频帧中定位剪裁后的重合区域。然后对剪裁后的重合区域进行复制,最后将复制得到的重合区域拼接到第二视频帧中相应的位置上,进而可以恢复出第一视频帧,第一视频帧为可以正常播放观看的视频帧。
采用本发明,可以通过双目摄像头采集两路视频流数据,由于双目摄像头的安装位置不同,导致采集到的两路视频流数据之间存在视差,可以基于两路视频流数据合成具有立体感的本地三维视频流数据。通过其他MR可穿戴设备播放该本地三维视频流数据以让佩戴该其他MR可穿戴设备的用户进行观看,可以给用户更强的代入感,让用户具有身临其境的体验感受。
以下将详细描述本发明的一个或多个实施例的视频流数据推送装置。本领域技术人员可以理解,这些视频流数据推送装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图5为本发明实施例提供的一种视频流数据推送装置的结构示意图,该装置可以应用于MR可穿戴设备,所述MR可穿戴设备中设置有第一摄像头和第二摄像头。如图5所示,该装置包括:
获取模块51,用于获取所述第一摄像头拍摄的第一视频流数据以及所述第二摄像头拍摄的第二视频流数据;
合成模块52,用于基于所述第一视频流数据和所述第二视频流数据中相应的视频帧,合成本地三维视频流数据;
上传模块53,用于将所述本地三维视频流数据上传到云端,以使得所述云端将所述本地三维视频流数据推送至其他MR可穿戴设备。
可选地,所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。
可选地,所述装置还包括播放模块,所述播放模块,用于:
响应于预设视频流接收事件,接收所述云端推送的目标三维视频流数据;
通过VST模式,播放所述目标三维视频流数据。
可选地,所述播放模块,用于:
响应于悬浮窗播放指令,在操作系统界面中创建目标悬浮窗口;
通过VST模式,在所述目标悬浮窗口中播放所述目标三维视频流数据。
可选地,所述合成模块52,用于:
对于所述第一视频流数据和所述第二视频流数据中相对应的任一组视频帧,将所述任一组视频帧拼接为第一视频帧,并确定所述第一视频帧中的重合区域,其中,所述重合区域包括属于所述任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分;
对所述重合区域进行剪裁,以仅保留所述第一重合部分和所述第二重合部分中的任一个,得到本地三维视频流数据中的第二视频帧;
所述将所述本地三维视频流数据上传到云端,包括:
获取剪裁后的重合区域在所述第二视频帧中的位置信息;
将所述第二视频帧以及所述位置信息上传到云端,以使得所述云端将所述第二视频帧以及所述位置信息推送至所述其他MR可穿戴设备,所述位置信息用于触发所述其他MR可穿戴设备将所述第二视频帧还原为所述第一视频帧。
图5所示装置可以执行前述图1至图4所示实施例中提供的视频流数据推送方法,详细的执行过程和技术效果参见前述实施例中的描述,在此不再赘述。
在一个可能的设计中,上述图5所示视频流数据推送装置的结构可实现为一MR可穿戴设备,如图6所示,该MR可穿戴设备可以包括:处理器91、存储器92。其中,所述存储器92上存储有可执行代码,当所述可执行代码被所述处理器91执行时,使所述处理器91至少可以实现如前述图1至图4所示实施例中提供的视频流数据推送方法。
可选地,该MR可穿戴设备中还可以包括通信接口93,用于与其他设备进行通信。
另外,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被MR可穿戴设备的处理器执行时,使所述处理器至少可以实现如前述图1至图4所示实施例中提供的视频流数据推送方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例提供的视频流数据推送方法可以由某种程序/软件来执行,该程序/软件可以由网络侧提供,前述实施例中提及的MR可穿戴设备可以将该程序/软件下载到本地的非易失性存储介质中,并在其需要执行前述视频流数据推送方法时,通过CPU将该程序/软件读取到内存中,进而由CPU执行该程序/软件以实现前述实施例中所提供的视频流数据推送方法,执行过程可以参见前述图1至图4中的示意。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种视频流数据推送方法,其特征在于,应用于混合现实MR可穿戴设备,所述MR可穿戴设备中设置有第一摄像头和第二摄像头,所述方法包括:
获取所述第一摄像头拍摄的第一视频流数据以及所述第二摄像头拍摄的第二视频流数据;
对于所述第一视频流数据和所述第二视频流数据中相对应的任一组视频帧,将所述任一组视频帧拼接为第一视频帧,并确定所述第一视频帧中的重合区域;其中,所述重合区域包括所述任一组视频帧中不同视频帧间的重合部分;
对所述第一视频帧中的重合区域进行去重处理,以得到本地三维视频流数据中的第二视频帧;
将所述第二视频帧上传云端。
2.根据权利要求1所述的方法,其特征在于,所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于预设视频流接收事件,接收所述云端推送的目标三维视频流数据;
通过VST模式,播放所述目标三维视频流数据。
4.根据权利要求3所述的方法,其特征在于,所述通过视频透视VST模式,播放所述目标三维视频流数据,包括:
响应于悬浮窗播放指令,在操作系统界面中创建目标悬浮窗口;
通过VST模式,在所述目标悬浮窗口中播放所述目标三维视频流数据。
5.根据权利要求1所述的方法,其特征在于,所述重合区域包括属于所述任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分;
所述对所述第一视频帧中的重合区域进行去重处理,包括:
对所述重合区域进行剪裁,以仅保留所述第一重合部分和所述第二重合部分中的任一个,得到本地三维视频流数据中的第二视频帧。
6.根据权利要求1所述的方法,其特征在于,所述将所述第二视频帧上传云端,包括:
获取剪裁后的重合区域在所述第二视频帧中的位置信息;
将所述第二视频帧以及所述位置信息上传到云端,以使得所述云端将所述第二视频帧以及所述位置信息推送至其他MR可穿戴设备,所述位置信息用于触发所述其他MR可穿戴设备将所述第二视频帧还原为所述第一视频帧。
7.一种视频流数据推送装置,其特征在于,应用于混合现实MR可穿戴设备,所述MR可穿戴设备中设置有第一摄像头和第二摄像头,所述装置包括:
获取模块,用于获取所述第一摄像头拍摄的第一视频流数据以及所述第二摄像头拍摄的第二视频流数据;
合成模块,用于对于所述第一视频流数据和所述第二视频流数据中相对应的任一组视频帧,将所述任一组视频帧拼接为第一视频帧,并确定所述第一视频帧中的重合区域;其中,所述重合区域包括所述任一组视频帧中不同视频帧间的重合部分;对所述第一视频帧中的重合区域进行去重处理,以得到本地三维视频流数据中的第二视频帧;
上传模块,用于将所述第二视频帧上传云端。
8.根据权利要求7所述的装置,其特征在于,所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括播放模块,所述播放模块,用于:
响应于预设视频流接收事件 ,接收所述云端推送的目标三维视频流数据 ;
通过VST模式,播放所述目标三维视频流数据。
10.一种混合现实MR可穿戴设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-6中任一项所述的视频流数据推送方法。
11.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被混合现实MR可穿戴设备的处理器执行时,使所述处理器执行如权利要求1-6中任一项所述的视频流数据推送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310567284.1A CN116320366A (zh) | 2023-05-18 | 2023-05-18 | 视频流数据推送方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310567284.1A CN116320366A (zh) | 2023-05-18 | 2023-05-18 | 视频流数据推送方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116320366A true CN116320366A (zh) | 2023-06-23 |
Family
ID=86781908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310567284.1A Pending CN116320366A (zh) | 2023-05-18 | 2023-05-18 | 视频流数据推送方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116320366A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106878764A (zh) * | 2015-12-01 | 2017-06-20 | 幸福在线(北京)网络技术有限公司 | 一种虚拟现实的直播方法、系统及其用途 |
CN107343177A (zh) * | 2017-08-07 | 2017-11-10 | 深圳市华琥技术有限公司 | 一种无人机全景视频的拍摄控制方法 |
CN109076165A (zh) * | 2016-05-02 | 2018-12-21 | 华为技术有限公司 | 头戴式显示器内容捕获和共享 |
CN112533002A (zh) * | 2020-11-17 | 2021-03-19 | 南京邮电大学 | 一种用于vr全景直播的动态图像融合方法及系统 |
CN113473165A (zh) * | 2021-06-30 | 2021-10-01 | 中国电信股份有限公司 | 直播控制系统、直播控制方法、装置、介质与设备 |
CN114089784A (zh) * | 2021-11-23 | 2022-02-25 | 广东工业大学 | 一种基于mr眼镜的无人机控制方法及系统 |
WO2022211476A1 (en) * | 2021-03-30 | 2022-10-06 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos |
CN115661418A (zh) * | 2022-12-22 | 2023-01-31 | 灯影科技有限公司 | 混合现实显示装置、方法、设备及存储介质 |
-
2023
- 2023-05-18 CN CN202310567284.1A patent/CN116320366A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106878764A (zh) * | 2015-12-01 | 2017-06-20 | 幸福在线(北京)网络技术有限公司 | 一种虚拟现实的直播方法、系统及其用途 |
CN109076165A (zh) * | 2016-05-02 | 2018-12-21 | 华为技术有限公司 | 头戴式显示器内容捕获和共享 |
CN107343177A (zh) * | 2017-08-07 | 2017-11-10 | 深圳市华琥技术有限公司 | 一种无人机全景视频的拍摄控制方法 |
CN112533002A (zh) * | 2020-11-17 | 2021-03-19 | 南京邮电大学 | 一种用于vr全景直播的动态图像融合方法及系统 |
WO2022211476A1 (en) * | 2021-03-30 | 2022-10-06 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos |
CN113473165A (zh) * | 2021-06-30 | 2021-10-01 | 中国电信股份有限公司 | 直播控制系统、直播控制方法、装置、介质与设备 |
CN114089784A (zh) * | 2021-11-23 | 2022-02-25 | 广东工业大学 | 一种基于mr眼镜的无人机控制方法及系统 |
CN115661418A (zh) * | 2022-12-22 | 2023-01-31 | 灯影科技有限公司 | 混合现实显示装置、方法、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111698390B (zh) | 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统 | |
US9485493B2 (en) | Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof | |
US8970704B2 (en) | Network synchronized camera settings | |
CN111970532B (zh) | 视频播放方法、装置及设备 | |
CN113099245B (zh) | 全景视频直播方法、系统和计算机可读存储介质 | |
CN113891060B (zh) | 自由视点视频重建方法及播放处理方法、设备及存储介质 | |
KR20090120492A (ko) | 3차원 콘텐츠와 텍스트를 조합하기 위한 시스템 및 방법 | |
CN113115110B (zh) | 视频合成方法、装置、存储介质与电子设备 | |
CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 | |
KR20200005591A (ko) | 몰입형 비디오 컨텐츠를 생성 및 렌더링하기 위한 방법들, 시스템들 및 매체들 | |
CN109872400B (zh) | 一种全景虚拟现实场景的生成方法 | |
WO2018234622A1 (en) | METHOD OF DETECTING EVENTS OF INTEREST | |
CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
CN110198457B (zh) | 视频播放方法及其设备、系统、存储介质、终端、服务器 | |
CN113542721A (zh) | 深度图处理方法、视频重建方法及相关装置 | |
CN116320366A (zh) | 视频流数据推送方法、装置、设备和存储介质 | |
KR101922970B1 (ko) | Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템 | |
CN112995692B (zh) | 互动数据处理方法、装置、设备及介质 | |
WO2019004073A1 (ja) | 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム | |
CN116962743A (zh) | 视频图像编码、抠图方法和装置及直播系统 | |
CN116939231A (zh) | 基于虚拟现实的直播方法、装置、设备及存储介质 | |
CN113938617A (zh) | 一种多路视频显示方法、设备、网络摄像机及存储介质 | |
CN114915798A (zh) | 实时视频生成方法、多摄像头直播方法及装置 | |
CN115665461B (zh) | 一种视频录制方法及虚拟现实设备 | |
CN116546182B (zh) | 视频处理方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230623 |