CN115065842B - 基于虚拟现实的全景视频串流交互方法及系统 - Google Patents
基于虚拟现实的全景视频串流交互方法及系统 Download PDFInfo
- Publication number
- CN115065842B CN115065842B CN202210940462.6A CN202210940462A CN115065842B CN 115065842 B CN115065842 B CN 115065842B CN 202210940462 A CN202210940462 A CN 202210940462A CN 115065842 B CN115065842 B CN 115065842B
- Authority
- CN
- China
- Prior art keywords
- video
- processed
- target
- panoramic
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 293
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 109
- 238000004364 calculation method Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 20
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供的基于虚拟现实的全景视频串流交互方法及系统，涉及虚拟现实技术领域。在本发明中，对第一视频交互终端设备进行全景视频的获取处理，以输出对应的第一待处理全景视频。按照获取到的历史全景视频，对第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于第一目标场景。将第一目标全景视频推送给第二视频交互终端设备，使得第一视频交互终端设备和第二视频交互终端设备之间形成视频交互。基于前述内容，可以提高视频交互的安全性。
Description
技术领域
本发明涉及虚拟现实技术领域，具体而言，涉及一种基于虚拟现实的全景视频串流交互方法及系统。
背景技术
视频交互的应用，使得用户之间的交流的便利性得到了较大的提升。其中，全景视频的视频交互，使得用户之间在进行交互的同时，还可以相互获取到更为丰富的场景信息，使得交互体验更佳。但是，由于是全景视频的交互，在能够获取到丰富的场景信息的同时，对于自身的隐私信息也会出现过度暴露的风险，使得视频交互的安全性不高。
发明内容
有鉴于此，本发明的目的在于提供一种基于虚拟现实的全景视频串流交互方法及系统，以提高视频交互的安全性。
为实现上述目的，本发明实施例采用如下技术方案：
一种基于虚拟现实的全景视频串流交互方法，应用于视频交互服务器，所述基于虚拟现实的全景视频串流交互方法包括：
对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频，所述第一待处理全景视频包括至少一帧第一待处理全景视频帧，每一帧第一待处理全景视频帧包括多帧第一待处理全景子视频帧，所述多帧第一待处理全景子视频帧分别通过对第一目标场景进行多个不同角度且同步的视频帧采集处理以形成；
按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，所述第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于所述第一目标场景；
将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
在一些优选的实施例中，在上述基于虚拟现实的全景视频串流交互方法中，所述对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频的步骤，包括：
在接收到任意一个视频交互终端设备发起的视频交互请求的情况下，对所述视频交互请求进行解析处理，以依据所述视频交互请求标记出所述视频交互终端设备对应的视频交互终端对象设备；
在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备；
对所述第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频。
在一些优选的实施例中，在上述基于虚拟现实的全景视频串流交互方法中，所述在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备的步骤，包括：
在标记出所述视频交互终端设备对应的视频交互终端对象设备的情况下，依据所述视频交互终端设备对应的第一视频交互用户的用户身份信息，对所述视频交互终端对象设备进行视频交互的确认处理；
在接收到所述视频交互终端对象设备响应所述视频交互的确认处理而反馈的视频交互确定信息的情况下，确定所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互，以及，在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备。
在一些优选的实施例中，在上述基于虚拟现实的全景视频串流交互方法中，所述按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频的步骤，包括：
从获取到的历史全景视频中，选择出至少一个第一历史全景视频，每一个所述第一历史全景视频为所述第一视频交互终端设备在历史上对对应的第一历史场景进行视频帧采集处理以形成；
依据所述至少一个第一历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频。
在一些优选的实施例中，在上述基于虚拟现实的全景视频串流交互方法中，所述依据所述至少一个第一历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频的步骤，包括：
对于所述至少一个第一历史全景视频中的每一个第一历史全景视频，分别对该第一历史全景视频包括的每一帧第一历史全景视频帧进行场景对象的识别处理，以输出该第一历史全景视频对应的多个历史场景对象；
依据所述至少一个第一历史全景视频中的每一个第一历史全景视频对应的多个历史场景对象，构建形成历史场景对象集合；
分别对所述第一待处理全景视频包括的每一帧第一待处理全景视频帧进行场景对象的识别处理，以输出所述第一待处理全景视频对应的待处理场景对象集合，所述待处理场景对象集合包括多个第一待处理场景对象，所述待处理场景对象集合和所述历史场景对象集合都不包括所述第一视频交互终端对应的第一视频交互用户；
依据所述待处理场景对象集合包括的多个第一待处理场景对象，从所述历史场景对象集合包括的多个历史场景对象中，筛查出每一个第一历史场景对象，以形成第一历史场景对象集合，每一个所述第一历史场景对象与任意一个所述第一待处理场景对象不一样；
对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度；
依据所述待处理场景对象集合包括的每一个第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象之间的对象匹配度，分别为每一个所述第一待处理场景对象进行相关历史场景对象的配对处理，以形成每一个所述第一待处理场景对象对应的相关历史场景对象，任意两个所述第一待处理场景对象对应的相关历史场景对象不一样；
依据每一个第一待处理场景对象和对应的相关历史场景对象之间的对象匹配度，标记出至少一个目标第一待处理场景对象，再分别依据每一个所述目标第一待处理场景对象对应的相关历史场景对象，对所述第一待处理全景视频包括的每一帧第一待处理全景视频帧中的所述目标第一待处理场景对象进行替换处理，以形成第一目标全景视频。
在一些优选的实施例中，在上述基于虚拟现实的全景视频串流交互方法中，所述对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度的步骤，包括：
从所述第一待处理全景视频中，筛查出具有所述第一待处理场景对象的每一帧目标第一待处理全景子视频帧，对于每一帧目标第一待处理全景子视频帧，依据所述第一待处理场景对象，对该目标第一待处理全景子视频帧进行截取处理，以形成对应的第一截取视频帧，所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域相邻，在进行截取处理的过程中，依据预先配置的目标规则进行截取，使得所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积之间的比值属于预设比值区间；
从所述至少一个第一历史全景视频中，筛查出具有所述第一历史场景对象的每一帧目标第一历史全景子视频帧，对于每一帧目标第一历史全景子视频帧，依据所述第一历史场景对象，对该目标第一历史全景子视频帧进行截取处理，以形成对应的第二截取视频帧，所述第二截取视频帧在所述目标第一历史全景子视频帧中对应的图像区域与所述第一历史场景对象在所述目标第一历史全景子视频帧中对应的图像区域相邻；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，对该第一截取视频帧对应的视频帧采集角度和该第二截取视频帧对应的视频帧采集角度进行角度匹配性的确定处理，以输出该第一截取视频帧和该第二截取视频帧之间的角度匹配系数，再从该第一截取视频帧包括的每一个第一像素点中，筛查出与所述第一待处理场景对象邻接的每一个邻接第一像素点，再从该第二截取视频帧包括的每一个第二像素点中，筛查出与所述第一历史场景对象邻接的每一个邻接第二像素点，再依据每两个邻接第一像素点之间的相关关系和每两个邻接第二像素点之间的相关关系，确定出匹配度最大的一组邻接第一像素点和邻接第二像素点，再将该邻接第一像素点标记为该第一截取视频帧对应的第一特征像素点，以及，将该邻接第二像素点标记为该第二截取视频帧对应的第二特征像素点；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，依据该第一截取视频帧对应的第一特征像素点，分别对该第一截取视频帧包括的每一个第一像素点进行序列化处理，以形成该第一截取视频帧对应的第一像素点序列，再依据该第二截取视频帧对应的第二特征像素点，分别对该第二截取视频帧包括的每一个第二像素点进行序列化处理，以形成该第二截取视频帧对应的第二像素点序列，在所述第一像素点序列中，每一个序列位置对应的数值为对应的第一像素点与所述第一特征像素点之间的像素差值，每一个序列位置对应的像素差值对应的第一像素点依据该第一像素点与所述第一特征像素点之间的位置距离确定，在所述第二像素点序列中，每一个序列位置对应的数值为对应的第二像素点与所述第二特征像素点之间的像素差值，每一个序列位置对应的像素差值对应的第二像素点依据该第二像素点与所述第二特征像素点之间的位置距离确定；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，对该第一截取视频帧对应的第一像素点序列和该第二截取视频帧对应的第二像素点序列进行序列相似性的计算处理，以输出该第一截取视频帧和该第二截取视频帧之间的序列相似系数，再依据该第一截取视频帧和该第二截取视频帧之间的角度匹配系数，对该序列相似系数进行更新处理，以输出该第一截取视频帧和该第二截取视频帧之间的更新序列相似系数，再依据每一帧第一截取视频帧和每一帧第二截取视频帧之间的更新序列相似系数，计算形成所述第一待处理场景对象和所述第一历史场景对象之间的对象匹配度。
在一些优选的实施例中，在上述基于虚拟现实的全景视频串流交互方法中，所述将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互的步骤，包括：
对所述第一目标全景视频包括的第一目标全景视频帧的数量进行统计处理，以输出所述第一目标全景视频对应的第一视频帧数量；
在所述第一视频帧数量大于预先配置的视频帧数量对比值的情况下，对所述第一目标全景视频进行分段处理，以形成所述第一目标全景视频对应的至少两个第一目标全景视频片段，每一个所述第一目标全景视频片段包括的第一目标全景视频帧的数量小于所述视频帧数量对比值；
依次按照一定的时间间隔，将所述至少两个第一目标全景视频片段中的每一个第一目标全景视频片段推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
在一些优选的实施例中，在上述基于虚拟现实的全景视频串流交互方法中，所述基于虚拟现实的全景视频串流交互方法还包括：
对第二视频交互终端设备进行全景视频的获取处理，以输出所述第二视频交互终端设备对应的第二待处理全景视频，所述第二待处理全景视频包括至少一帧第二待处理全景视频帧，每一帧第二待处理全景视频帧包括多帧第二待处理全景子视频帧，所述多帧第二待处理全景子视频帧分别通过对第二目标场景进行多个不同角度且同步的视频帧采集处理以形成；
按照获取到的历史全景视频，对所述第二待处理全景视频进行场景对象的更新处理，以形成第二目标全景视频，所述第二目标全景视频包括的各第二场景对象中至少具有一个第二场景对象不属于所述第二目标场景；
将所述第二目标全景视频推送给第一视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
在一些优选的实施例中，在上述基于虚拟现实的全景视频串流交互方法中，所述基于虚拟现实的全景视频串流交互方法还包括：
对所述第一待处理全景视频进行标记处理，以形成新的历史全景视频；
对所述第二待处理全景视频进行标记处理，以形成新的历史全景视频；
对所述新的历史全景视频进行存储处理，再对当前存储的历史全景视频进行数据量统计，以输出历史视频数据量，所述当前存储的历史全景视频包括在历史上存储的历史全景视频和当前存储的新的历史全景视频；
按照所述历史视频数据量和存储数据量参考值之间的大小关系，对当前存储的历史全景视频进行存储管控处理，所述存储管控处理至少包括，在所述历史视频数据量大于所述存储数据量参考值的情况下，对当前存储的历史全景视频进行部分历史全景视频的删除处理。
本发明实施例还提供一种基于虚拟现实的全景视频串流交互系统，应用于视频交互服务器，所述基于虚拟现实的全景视频串流交互系统包括：
全景视频获取模块，用于对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频，所述第一待处理全景视频包括至少一帧第一待处理全景视频帧，每一帧第一待处理全景视频帧包括多帧第一待处理全景子视频帧，所述多帧第一待处理全景子视频帧分别通过对第一目标场景进行多个不同角度且同步的视频帧采集处理以形成；
场景对象更新模块，用于按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，所述第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于所述第一目标场景；
全景视频推送模块，用于将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
本发明实施例提供的一种基于虚拟现实的全景视频串流交互方法及系统，可以对第一视频交互终端设备进行全景视频的获取处理，以输出对应的第一待处理全景视频。按照获取到的历史全景视频，对第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于第一目标场景。将第一目标全景视频推送给第二视频交互终端设备，使得第一视频交互终端设备和第二视频交互终端设备之间形成视频交互。由于第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于第一目标场景，即实现了对第一目标场景的虚拟现实处理，使得第一目标场景的至少部分信息被隐藏，因而，可以提高视频交互的安全性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的基于虚拟现实的全景视频串流交互方法包括的各步骤的流程示意图。
图2为本发明实施例提供的基于虚拟现实的全景视频串流交互系统包括的各模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明实施例还提供一种基于虚拟现实的全景视频串流交互方法，可应用于上述视频交互服务器。其中，所述基于虚拟现实的全景视频串流交互方法有关的流程所定义的方法步骤，可以由所述视频交互服务器实现。下面将对图1所示的具体流程，进行详细阐述。
步骤S110，对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频。
在本发明实施例中，所述视频交互服务器可以对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频。所述第一待处理全景视频包括至少一帧第一待处理全景视频帧，每一帧第一待处理全景视频帧包括多帧第一待处理全景子视频帧，所述多帧第一待处理全景子视频帧分别通过对第一目标场景进行多个不同角度且同步的视频帧采集处理以形成。所述第一目标场景可以是所述第一视频交互终端设备对应的第一视频交互用户所在的环境。
步骤S120，按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频。
在本发明实施例中，所述视频交互服务器可以按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频。所述第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于所述第一目标场景。其中，在执行步骤S120时，还可以基于虚拟现实的技术，在所述第一目标全景视频中增加其它图像信息，如增加一些虚拟形象或用虚拟形象替代部分第一场景对象等。
步骤S130，将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
在本发明实施例中，所述视频交互服务器可以将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。所述第二视频交互终端设备用于对接收到的所述第一目标全景视频包括的每一帧第一目标全景视频帧进行依次的显示。通过持续性的依次执行步骤S110、步骤S120和步骤S130，可以实现视频流形成、传输和显示，在所述第一视频交互终端设备和所述第二视频交互终端设备之间实现基于虚拟现实的全景视频串流交互。
基于上述步骤包括的具体内容的实现，由于第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于第一目标场景，即实现了对第一目标场景的虚拟现实处理，使得第一目标场景的至少部分信息被隐藏，因而，可以提高视频交互的安全性。
进一步地，在一些具体的应用示例中，上述内容中包括的步骤S110，可以包括以下更为详细的内容：
在接收到任意一个视频交互终端设备发起的视频交互请求的情况下，对所述视频交互请求进行解析处理，以依据所述视频交互请求标记出所述视频交互终端设备对应的视频交互终端对象设备；
在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备；
对所述第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频。
进一步地，在一些具体的应用示例中，上述内容中包括的所述在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备的步骤，可以包括以下更为详细的内容：
在标记出所述视频交互终端设备对应的视频交互终端对象设备的情况下，依据所述视频交互终端设备对应的第一视频交互用户的用户身份信息，对所述视频交互终端对象设备进行视频交互的确认处理；
在接收到所述视频交互终端对象设备响应所述视频交互的确认处理而反馈的视频交互确定信息的情况下，确定所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互，以及，在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备。
进一步地，在一些具体的应用示例中，上述内容中包括的步骤S120，可以包括以下更为详细的内容：
从获取到的历史全景视频中，选择出至少一个第一历史全景视频，每一个所述第一历史全景视频为所述第一视频交互终端设备在历史上对对应的第一历史场景进行视频帧采集处理以形成；
依据所述至少一个第一历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频。
进一步地，在一些具体的应用示例中，上述内容中包括的所述依据所述至少一个第一历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频的步骤，包括以下更为详细的内容：
对于所述至少一个第一历史全景视频中的每一个第一历史全景视频，分别对该第一历史全景视频包括的每一帧第一历史全景视频帧进行场景对象的识别处理，以输出该第一历史全景视频对应的多个历史场景对象（所述历史场景对象可以包括人、其它动物、植物、建筑物、车辆等）；
依据所述至少一个第一历史全景视频中的每一个第一历史全景视频对应的多个历史场景对象，构建形成历史场景对象集合；
分别对所述第一待处理全景视频包括的每一帧第一待处理全景视频帧进行场景对象的识别处理，以输出所述第一待处理全景视频对应的待处理场景对象集合，所述待处理场景对象集合包括多个第一待处理场景对象，所述待处理场景对象集合和所述历史场景对象集合都不包括所述第一视频交互终端对应的第一视频交互用户；
依据所述待处理场景对象集合包括的多个第一待处理场景对象，从所述历史场景对象集合包括的多个历史场景对象中，筛查出每一个第一历史场景对象，以形成第一历史场景对象集合，每一个所述第一历史场景对象与任意一个所述第一待处理场景对象不一样；
对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度；
依据所述待处理场景对象集合包括的每一个第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象之间的对象匹配度，分别为每一个所述第一待处理场景对象进行相关历史场景对象的配对处理，以形成每一个所述第一待处理场景对象对应的相关历史场景对象（配对处理的原则可以是，使得形成的每一个所述第一待处理场景对象和对应的相关历史场景对象之间的对象匹配度的均值最大），任意两个所述第一待处理场景对象对应的相关历史场景对象不一样；
依据每一个第一待处理场景对象和对应的相关历史场景对象之间的对象匹配度，标记出至少一个目标第一待处理场景对象（例如，可以将大于预先配置的匹配度参考阈值的每一个对象匹配度对应的第一待处理场景对象，都标记为目标第一待处理场景对象），再分别依据每一个所述目标第一待处理场景对象对应的相关历史场景对象，对所述第一待处理全景视频包括的每一帧第一待处理全景视频帧中的所述目标第一待处理场景对象进行替换处理，以形成第一目标全景视频。
进一步地，在一些具体的应用示例中，上述内容中包括的所述对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度的步骤，包括以下更为详细的内容（以下内容是针对一个第一待处理场景对象和一个第一历史场景对象）：
从所述第一待处理全景视频中，筛查出具有所述第一待处理场景对象的每一帧目标第一待处理全景子视频帧，对于每一帧目标第一待处理全景子视频帧，依据所述第一待处理场景对象，对该目标第一待处理全景子视频帧进行截取处理，以形成对应的第一截取视频帧，所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域相邻，在进行截取处理的过程中，依据预先配置的目标规则进行截取，使得所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积之间的比值属于预设比值区间（所述预设比值区间可以根据实际需求进行配置，且所述图像区域可以具有目标形状）；
从所述至少一个第一历史全景视频中，筛查出具有所述第一历史场景对象的每一帧目标第一历史全景子视频帧，对于每一帧目标第一历史全景子视频帧，依据所述第一历史场景对象，对该目标第一历史全景子视频帧进行截取处理，以形成对应的第二截取视频帧，所述第二截取视频帧在所述目标第一历史全景子视频帧中对应的图像区域与所述第一历史场景对象在所述目标第一历史全景子视频帧中对应的图像区域相邻；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，对该第一截取视频帧对应的视频帧采集角度和该第二截取视频帧对应的视频帧采集角度进行角度匹配性的确定处理，以输出该第一截取视频帧和该第二截取视频帧之间的角度匹配系数（例如，对应的视频帧采集角度之间的差值越小，角度匹配系数可以越大），再从该第一截取视频帧包括的每一个第一像素点中，筛查出与所述第一待处理场景对象邻接的每一个邻接第一像素点（所述第一截取视频帧的内轮廓与所述第一待处理场景对象的对象轮廓重合），再从该第二截取视频帧包括的每一个第二像素点中，筛查出与所述第一历史场景对象邻接的每一个邻接第二像素点，再依据每两个邻接第一像素点之间的相关关系和每两个邻接第二像素点之间的相关关系（该相关关系可以是指，对应的两个像素点之间在像素位置和像素值两个维度的相似性），确定出匹配度最大的一组邻接第一像素点和邻接第二像素点，再将该邻接第一像素点标记为该第一截取视频帧对应的第一特征像素点，以及，将该邻接第二像素点标记为该第二截取视频帧对应的第二特征像素点；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，依据该第一截取视频帧对应的第一特征像素点，分别对该第一截取视频帧包括的每一个第一像素点进行序列化处理，以形成该第一截取视频帧对应的第一像素点序列，再依据该第二截取视频帧对应的第二特征像素点，分别对该第二截取视频帧包括的每一个第二像素点进行序列化处理，以形成该第二截取视频帧对应的第二像素点序列，在所述第一像素点序列中，每一个序列位置对应的数值为对应的第一像素点与所述第一特征像素点之间的像素差值，每一个序列位置对应的像素差值对应的第一像素点依据该第一像素点与所述第一特征像素点之间的位置距离确定（例如，位置距离较小的第一像素点对应的像素位置可以越靠后或越靠前），在所述第二像素点序列中，每一个序列位置对应的数值为对应的第二像素点与所述第二特征像素点之间的像素差值，每一个序列位置对应的像素差值对应的第二像素点依据该第二像素点与所述第二特征像素点之间的位置距离确定；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，对该第一截取视频帧对应的第一像素点序列和该第二截取视频帧对应的第二像素点序列进行序列相似性的计算处理（可以先依据对应的序列长度，进行滑窗处理，使得滑窗后的子序列的长度相同，然后，针对每两个子序列，既可以是对对应像素位置的像素差值进行比较，以确定具有相同的像素差值的像素位置的数量占比，以作为子序列之间的相似度，也可以是对对应像素位置的像素值进行差值计算，再依据差值的平均值确定出负相关的系数，从而得到子序列之间的相似度，再对子序列之间的相似度进行均值计算，以得到序列相似度），以输出该第一截取视频帧和该第二截取视频帧之间的序列相似系数，再依据该第一截取视频帧和该第二截取视频帧之间的角度匹配系数，对该序列相似系数进行更新处理（例如，可以计算角度匹配系数和序列相似系数之间的乘积），以输出该第一截取视频帧和该第二截取视频帧之间的更新序列相似系数，再依据每一帧第一截取视频帧和每一帧第二截取视频帧之间的更新序列相似系数（如计算均值等），计算形成所述第一待处理场景对象和所述第一历史场景对象之间的对象匹配度。
进一步地，在另一些具体的应用示例中，上述内容中包括的所述对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度的步骤，包括以下更为详细的内容（以下内容是针对一个第一待处理场景对象和一个第一历史场景对象）：
从所述第一待处理全景视频中，筛查出具有所述第一待处理场景对象的每一帧目标第一待处理全景子视频帧，对于每一帧目标第一待处理全景子视频帧，依据所述第一待处理场景对象，对该目标第一待处理全景子视频帧进行截取处理，以形成对应的第一截取视频帧，所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域相邻，在进行截取处理的过程中，依据预先配置的目标规则进行截取，使得所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积之间的比值属于预设比值区间；
从所述至少一个第一历史全景视频中，筛查出具有所述第一历史场景对象的每一帧目标第一历史全景子视频帧，对于每一帧目标第一历史全景子视频帧，依据所述第一历史场景对象，对该目标第一历史全景子视频帧进行截取处理，以形成对应的第二截取视频帧，所述第二截取视频帧在所述目标第一历史全景子视频帧中对应的图像区域与所述第一历史场景对象在所述目标第一历史全景子视频帧中对应的图像区域相邻；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，将该第一截取视频帧包括的第一像素点投射至目标空间，以形成第一像素分布图（在所述第一像素分布图中每两个第一像素点之间的位置关系，与该两个第一像素点在所述第一截取视频帧中的位置关系一样），再按照该第二截取视频帧中的最随机选择出的任意一个第二像素点与任意一个第一像素点进行重合的原则，将该第二截取视频帧包括的第二像素点投射至所述目标空间，以形成第二像素分布图，再在所述目标空间中，对该第一像素分布图和该第二像素分布图进行重合图形边缘的长度计算处理，以输出该第一截取视频帧和该第二截取视频帧之间的重合图形边缘长度；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，在执行上一个步骤的次数大于预先配置的次数参考值的情况下，从每一次执行上一个步骤（即所述对于每一帧第一截取视频帧和每一帧第二截取视频帧，将该第一截取视频帧包括的第一像素点投射至目标空间，以形成第一像素分布图，再按照该第二截取视频帧中的最随机选择出的任意一个第二像素点与任意一个第一像素点进行重合的原则，将该第二截取视频帧包括的第二像素点投射至所述目标空间，以形成第二像素分布图，再在所述目标空间中，对该第一像素分布图和该第二像素分布图进行重合图形边缘的长度计算处理，以输出该第一截取视频帧和该第二截取视频帧之间的重合图形边缘长度的步骤）输出的重合图形边缘长度中，筛查出具有最大值的重合图形边缘长度，再将该重合图形边缘长度对应的重合图形边缘在该第一截取视频帧中对应的每一个第一像素点，标记为目标第一像素点，以及，将该重合图形边缘长度对应的重合图形边缘在该第二截取视频帧中对应的每一个第二像素点，标记为目标第二像素点，以及，再依据该重合图形边缘，在该目标第一像素点和该目标第二像素点之间形成一一对应的关系；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，分别依据该第一截取视频帧包括的每一个第一像素点和该第一截取视频帧对应的每一个目标第一像素点之间的相关关系（该相关关系，可以如所述），对该第一截取视频帧包括的每一个第一像素点进行分类处理，以分别形成每一个所述目标第一像素点对应的第一像素点集合（即将每一个第一像素点分配至与该第一像素点之间的相关关系最紧密的一个目标第一像素点对应的第一像素点集合中），再分别依据该第二截取视频帧包括的每一个第二像素点和该第二截取视频帧对应的每一个目标第二像素点之间的相关关系，对该第二截取视频帧包括的每一个第二像素点进行分类处理，以分别形成每一个所述目标第二像素点对应的第二像素点集合；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，分别依据该第一截取视频帧对应的目标第一像素点对应的第一像素点集合，对每一个目标第一像素点进行特征向量的构建处理，以输出每一个目标第一像素点对应的第一特征向量（在所述第一特征向量中，所述第一像素点集合包括的每一个第一像素点的像素值可以作为一个维度的特征，即所述第一特征向量为多维向量），再分别依据该第二截取视频帧对应的目标第二像素点对应的第二像素点集合，对每一个目标第二像素点进行特征向量的构建处理，以输出每一个目标第二像素点对应的第二特征向量，再分别对每一个目标第一像素点和该目标第一像素点对应的目标第二像素点进行特征向量之间的外积计算处理，以及，再依据每一个目标第一像素点和该目标第一像素点对应的目标第二像素点对应的特征向量之间的外积，融合计算（如均值计算）输出该第一截取视频帧和该第二截取视频帧之间的视频帧相似系数；
依据每一帧第一截取视频帧和每一帧第二截取视频帧之间的视频帧相似系数，计算（如均值计算）形成所述第一待处理场景对象和所述第一历史场景对象之间的对象匹配度（还可以对所述第一待处理场景对象和所述第一历史场景对象进行对象轮廓的相似性计算处理，以输出第一相似性系数，再依据该第一相似性系数对该对象匹配度进行更新处理，该更新处理可以是计算乘积，以输出最终的对象匹配度，其中，在对每一帧第一截取视频帧和每一帧第二截取视频帧之间的视频帧相似系数进行融合计算以输出对象匹配度时，可以将对应的第一截取视频帧和第二截取视频帧之间的角度匹配系数，作为融合计算的加权系数，即进行加权均值计算）。
进一步地，在一些具体的应用示例中，上述内容中包括的步骤S130，可以包括以下更为详细的内容：
对所述第一目标全景视频包括的第一目标全景视频帧的数量进行统计处理，以输出所述第一目标全景视频对应的第一视频帧数量；
在所述第一视频帧数量大于预先配置的视频帧数量对比值的情况下，对所述第一目标全景视频进行分段处理，以形成所述第一目标全景视频对应的至少两个第一目标全景视频片段，每一个所述第一目标全景视频片段包括的第一目标全景视频帧的数量小于所述视频帧数量对比值；
依次按照一定的时间间隔，将所述至少两个第一目标全景视频片段中的每一个第一目标全景视频片段推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
进一步地，在一些具体的应用示例中，在上述内容的基础上，所述基于虚拟现实的全景视频串流交互方法还可以包括以下步骤：
对第二视频交互终端设备进行全景视频的获取处理，以输出所述第二视频交互终端设备对应的第二待处理全景视频，所述第二待处理全景视频包括至少一帧第二待处理全景视频帧，每一帧第二待处理全景视频帧包括多帧第二待处理全景子视频帧，所述多帧第二待处理全景子视频帧分别通过对第二目标场景进行多个不同角度且同步的视频帧采集处理以形成；
按照获取到的历史全景视频，对所述第二待处理全景视频进行场景对象的更新处理，以形成第二目标全景视频，所述第二目标全景视频包括的各第二场景对象中至少具有一个第二场景对象不属于所述第二目标场景；
将所述第二目标全景视频推送给第一视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互（基于此，可以实现第一视频交互用户和第二视频交互用户之间的对应交互）。
进一步地，在一些具体的应用示例中，在上述内容的基础上，所述基于虚拟现实的全景视频串流交互方法还可以包括以下步骤：
对所述第一待处理全景视频进行标记处理，以形成新的历史全景视频；
对所述第二待处理全景视频进行标记处理，以形成新的历史全景视频；
对所述新的历史全景视频进行存储处理，再对当前存储的历史全景视频进行数据量统计，以输出历史视频数据量，所述当前存储的历史全景视频包括在历史上存储的历史全景视频和当前存储的新的历史全景视频；
按照所述历史视频数据量和存储数据量参考值之间的大小关系，对当前存储的历史全景视频进行存储管控处理，所述存储管控处理至少包括，在所述历史视频数据量大于所述存储数据量参考值的情况下，对当前存储的历史全景视频进行部分历史全景视频（例如，时间最早）的删除处理。
参照图2所示，本发明实施例还提供一种基于虚拟现实的全景视频串流交互系统，可应用于上述视频交互服务器。其中，所述基于虚拟现实的全景视频串流交互系统可以包括以下软件功能模块，如全景视频获取模块、场景对象更新模块和全景视频推送模块。
进一步地，在一些具体的应用示例中，所述全景视频获取模块，用于对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频，所述第一待处理全景视频包括至少一帧第一待处理全景视频帧，每一帧第一待处理全景视频帧包括多帧第一待处理全景子视频帧，所述多帧第一待处理全景子视频帧分别通过对第一目标场景进行多个不同角度且同步的视频帧采集处理以形成。所述场景对象更新模块，用于按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，所述第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于所述第一目标场景。所述全景视频推送模块，用于将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
综上所述，本发明提供的一种基于虚拟现实的全景视频串流交互方法及系统，可以对第一视频交互终端设备进行全景视频的获取处理，以输出对应的第一待处理全景视频。按照获取到的历史全景视频，对第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于第一目标场景。将第一目标全景视频推送给第二视频交互终端设备，使得第一视频交互终端设备和第二视频交互终端设备之间形成视频交互。由于第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于第一目标场景，即实现了对第一目标场景的虚拟现实处理，使得第一目标场景的至少部分信息被隐藏，因而，可以提高视频交互的安全性。
本发明实施例提供了一种视频交互服务器。在一些具体的应用示例中，所述视频交互服务器可以包括存储器和处理器。详细地，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件（firmware）的形式，存在的软件功能模块（计算机程序）。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的基于虚拟现实的全景视频串流交互方法。
进一步地，在一些具体的应用示例中，所述存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（ErasableProgrammable Read-Only Memory，EPROM），电可擦除只读存储器（Electric ErasableProgrammable Read-Only Memory，EEPROM）等。所述处理器可以是一种通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）、片上系统(System on Chip，SoC)等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
进一步地，在一些具体的应用示例中，所述视频交互服务器还可包括更多或者更少的组件，例如，可以包括用于与其它设备（如各视频交互终端设备等）进行信息交互的通信单元。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于虚拟现实的全景视频串流交互方法，其特征在于，应用于视频交互服务器，所述基于虚拟现实的全景视频串流交互方法包括：
对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频，所述第一待处理全景视频包括至少一帧第一待处理全景视频帧，每一帧第一待处理全景视频帧包括多帧第一待处理全景子视频帧，所述多帧第一待处理全景子视频帧分别通过对第一目标场景进行多个不同角度且同步的视频帧采集处理以形成；
按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，所述第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于所述第一目标场景；
将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互；
其中，所述按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频的步骤，包括：
从获取到的历史全景视频中，选择出至少一个第一历史全景视频，每一个所述第一历史全景视频为所述第一视频交互终端设备在历史上对对应的第一历史场景进行视频帧采集处理以形成；
依据所述至少一个第一历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频；
其中，所述依据所述至少一个第一历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频的步骤，包括：
对于所述至少一个第一历史全景视频中的每一个第一历史全景视频，分别对该第一历史全景视频包括的每一帧第一历史全景视频帧进行场景对象的识别处理，以输出该第一历史全景视频对应的多个历史场景对象；
依据所述至少一个第一历史全景视频中的每一个第一历史全景视频对应的多个历史场景对象，构建形成历史场景对象集合；
分别对所述第一待处理全景视频包括的每一帧第一待处理全景视频帧进行场景对象的识别处理，以输出所述第一待处理全景视频对应的待处理场景对象集合，所述待处理场景对象集合包括多个第一待处理场景对象，所述待处理场景对象集合和所述历史场景对象集合都不包括所述第一视频交互终端对应的第一视频交互用户；
依据所述待处理场景对象集合包括的多个第一待处理场景对象，从所述历史场景对象集合包括的多个历史场景对象中，筛查出每一个第一历史场景对象，以形成第一历史场景对象集合，每一个所述第一历史场景对象与任意一个所述第一待处理场景对象不一样；
对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度；
依据所述待处理场景对象集合包括的每一个第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象之间的对象匹配度，分别为每一个所述第一待处理场景对象进行相关历史场景对象的配对处理，以形成每一个所述第一待处理场景对象对应的相关历史场景对象，任意两个所述第一待处理场景对象对应的相关历史场景对象不一样；
依据每一个第一待处理场景对象和对应的相关历史场景对象之间的对象匹配度，标记出至少一个目标第一待处理场景对象，再分别依据每一个所述目标第一待处理场景对象对应的相关历史场景对象，对所述第一待处理全景视频包括的每一帧第一待处理全景视频帧中的所述目标第一待处理场景对象进行替换处理，以形成第一目标全景视频；
其中，所述对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度的步骤，包括：
从所述第一待处理全景视频中，筛查出具有所述第一待处理场景对象的每一帧目标第一待处理全景子视频帧，对于每一帧目标第一待处理全景子视频帧，依据所述第一待处理场景对象，对该目标第一待处理全景子视频帧进行截取处理，以形成对应的第一截取视频帧，所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域相邻，在进行截取处理的过程中，依据预先配置的目标规则进行截取，使得所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积之间的比值属于预设比值区间；
从所述至少一个第一历史全景视频中，筛查出具有所述第一历史场景对象的每一帧目标第一历史全景子视频帧，对于每一帧目标第一历史全景子视频帧，依据所述第一历史场景对象，对该目标第一历史全景子视频帧进行截取处理，以形成对应的第二截取视频帧，所述第二截取视频帧在所述目标第一历史全景子视频帧中对应的图像区域与所述第一历史场景对象在所述目标第一历史全景子视频帧中对应的图像区域相邻；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，将该第一截取视频帧包括的第一像素点投射至目标空间，以形成第一像素分布图，再按照该第二截取视频帧中的随机选择出的任意一个第二像素点与任意一个第一像素点进行重合的原则，将该第二截取视频帧包括的第二像素点投射至所述目标空间，以形成第二像素分布图，再在所述目标空间中，对该第一像素分布图和该第二像素分布图进行重合图形边缘的长度计算处理，以输出该第一截取视频帧和该第二截取视频帧之间的重合图形边缘长度；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，在执行上一个步骤的次数大于预先配置的次数参考值的情况下，从每一次执行上一个步骤输出的重合图形边缘长度中，筛查出具有最大值的重合图形边缘长度，再将该重合图形边缘长度对应的重合图形边缘在该第一截取视频帧中对应的每一个第一像素点，标记为目标第一像素点，以及，将该重合图形边缘长度对应的重合图形边缘在该第二截取视频帧中对应的每一个第二像素点，标记为目标第二像素点，以及，再依据该重合图形边缘，在该目标第一像素点和该目标第二像素点之间形成一一对应的关系；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，分别依据该第一截取视频帧包括的每一个第一像素点和该第一截取视频帧对应的每一个目标第一像素点之间的相关关系，对该第一截取视频帧包括的每一个第一像素点进行分类处理，以分别形成每一个所述目标第一像素点对应的第一像素点集合，再分别依据该第二截取视频帧包括的每一个第二像素点和该第二截取视频帧对应的每一个目标第二像素点之间的相关关系，对该第二截取视频帧包括的每一个第二像素点进行分类处理，以分别形成每一个所述目标第二像素点对应的第二像素点集合；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，分别依据该第一截取视频帧对应的目标第一像素点对应的第一像素点集合，对每一个目标第一像素点进行特征向量的构建处理，以输出每一个目标第一像素点对应的第一特征向量，再分别依据该第二截取视频帧对应的目标第二像素点对应的第二像素点集合，对每一个目标第二像素点进行特征向量的构建处理，以输出每一个目标第二像素点对应的第二特征向量，再分别对每一个目标第一像素点和该目标第一像素点对应的目标第二像素点进行特征向量之间的外积计算处理，以及，再依据每一个目标第一像素点和该目标第一像素点对应的目标第二像素点对应的特征向量之间的外积，融合计算输出该第一截取视频帧和该第二截取视频帧之间的视频帧相似系数；
依据每一帧第一截取视频帧和每一帧第二截取视频帧之间的视频帧相似系数，计算形成所述第一待处理场景对象和所述第一历史场景对象之间的对象匹配度。
2.如权利要求1所述的基于虚拟现实的全景视频串流交互方法，其特征在于，所述对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频的步骤，包括：
在接收到任意一个视频交互终端设备发起的视频交互请求的情况下，对所述视频交互请求进行解析处理，以依据所述视频交互请求标记出所述视频交互终端设备对应的视频交互终端对象设备；
在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备；
对所述第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频。
3.如权利要求2所述的基于虚拟现实的全景视频串流交互方法，其特征在于，所述在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备的步骤，包括：
在标记出所述视频交互终端设备对应的视频交互终端对象设备的情况下，依据所述视频交互终端设备对应的第一视频交互用户的用户身份信息，对所述视频交互终端对象设备进行视频交互的确认处理；
在接收到所述视频交互终端对象设备响应所述视频交互的确认处理而反馈的视频交互确定信息的情况下，确定所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互，以及，在所述视频交互终端对象设备同意与所述视频交互终端设备进行视频交互的情况下，将所述视频交互终端设备标记为第一视频交互终端设备，再将所述视频交互终端对象设备标记为第二视频交互终端设备。
4.如权利要求1所述的基于虚拟现实的全景视频串流交互方法，其特征在于，所述将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互的步骤，包括：
对所述第一目标全景视频包括的第一目标全景视频帧的数量进行统计处理，以输出所述第一目标全景视频对应的第一视频帧数量；
在所述第一视频帧数量大于预先配置的视频帧数量对比值的情况下，对所述第一目标全景视频进行分段处理，以形成所述第一目标全景视频对应的至少两个第一目标全景视频片段，每一个所述第一目标全景视频片段包括的第一目标全景视频帧的数量小于所述视频帧数量对比值；
依次按照一定的时间间隔，将所述至少两个第一目标全景视频片段中的每一个第一目标全景视频片段推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
5.如权利要求1-4任意一项所述的基于虚拟现实的全景视频串流交互方法，其特征在于，所述基于虚拟现实的全景视频串流交互方法还包括：
对第二视频交互终端设备进行全景视频的获取处理，以输出所述第二视频交互终端设备对应的第二待处理全景视频，所述第二待处理全景视频包括至少一帧第二待处理全景视频帧，每一帧第二待处理全景视频帧包括多帧第二待处理全景子视频帧，所述多帧第二待处理全景子视频帧分别通过对第二目标场景进行多个不同角度且同步的视频帧采集处理以形成；
按照获取到的历史全景视频，对所述第二待处理全景视频进行场景对象的更新处理，以形成第二目标全景视频，所述第二目标全景视频包括的各第二场景对象中至少具有一个第二场景对象不属于所述第二目标场景；
将所述第二目标全景视频推送给第一视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互。
6.如权利要求5所述的基于虚拟现实的全景视频串流交互方法，其特征在于，所述基于虚拟现实的全景视频串流交互方法还包括：
对所述第一待处理全景视频进行标记处理，以形成新的历史全景视频；
对所述第二待处理全景视频进行标记处理，以形成新的历史全景视频；
对所述新的历史全景视频进行存储处理，再对当前存储的历史全景视频进行数据量统计，以输出历史视频数据量，所述当前存储的历史全景视频包括在历史上存储的历史全景视频和当前存储的新的历史全景视频；
按照所述历史视频数据量和存储数据量参考值之间的大小关系，对当前存储的历史全景视频进行存储管控处理，所述存储管控处理至少包括，在所述历史视频数据量大于所述存储数据量参考值的情况下，对当前存储的历史全景视频进行部分历史全景视频的删除处理。
7.一种基于虚拟现实的全景视频串流交互系统，其特征在于，应用于视频交互服务器，所述基于虚拟现实的全景视频串流交互系统包括：
全景视频获取模块，用于对第一视频交互终端设备进行全景视频的获取处理，以输出所述第一视频交互终端设备对应的第一待处理全景视频，所述第一待处理全景视频包括至少一帧第一待处理全景视频帧，每一帧第一待处理全景视频帧包括多帧第一待处理全景子视频帧，所述多帧第一待处理全景子视频帧分别通过对第一目标场景进行多个不同角度且同步的视频帧采集处理以形成；
场景对象更新模块，用于按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，所述第一目标全景视频包括的各第一场景对象中至少具有一个第一场景对象不属于所述第一目标场景；
全景视频推送模块，用于将所述第一目标全景视频推送给第二视频交互终端设备，使得所述第一视频交互终端设备和所述第二视频交互终端设备之间形成视频交互；
其中，所述按照获取到的历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，包括：
从获取到的历史全景视频中，选择出至少一个第一历史全景视频，每一个所述第一历史全景视频为所述第一视频交互终端设备在历史上对对应的第一历史场景进行视频帧采集处理以形成；
依据所述至少一个第一历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频；
其中，所述依据所述至少一个第一历史全景视频，对所述第一待处理全景视频进行场景对象的更新处理，以形成第一目标全景视频，包括：
对于所述至少一个第一历史全景视频中的每一个第一历史全景视频，分别对该第一历史全景视频包括的每一帧第一历史全景视频帧进行场景对象的识别处理，以输出该第一历史全景视频对应的多个历史场景对象；
依据所述至少一个第一历史全景视频中的每一个第一历史全景视频对应的多个历史场景对象，构建形成历史场景对象集合；
分别对所述第一待处理全景视频包括的每一帧第一待处理全景视频帧进行场景对象的识别处理，以输出所述第一待处理全景视频对应的待处理场景对象集合，所述待处理场景对象集合包括多个第一待处理场景对象，所述待处理场景对象集合和所述历史场景对象集合都不包括所述第一视频交互终端对应的第一视频交互用户；
依据所述待处理场景对象集合包括的多个第一待处理场景对象，从所述历史场景对象集合包括的多个历史场景对象中，筛查出每一个第一历史场景对象，以形成第一历史场景对象集合，每一个所述第一历史场景对象与任意一个所述第一待处理场景对象不一样；
对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度；
依据所述待处理场景对象集合包括的每一个第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象之间的对象匹配度，分别为每一个所述第一待处理场景对象进行相关历史场景对象的配对处理，以形成每一个所述第一待处理场景对象对应的相关历史场景对象，任意两个所述第一待处理场景对象对应的相关历史场景对象不一样；
依据每一个第一待处理场景对象和对应的相关历史场景对象之间的对象匹配度，标记出至少一个目标第一待处理场景对象，再分别依据每一个所述目标第一待处理场景对象对应的相关历史场景对象，对所述第一待处理全景视频包括的每一帧第一待处理全景视频帧中的所述目标第一待处理场景对象进行替换处理，以形成第一目标全景视频；
其中，所述对于所述待处理场景对象集合包括每一个第一待处理场景对象，分别对该第一待处理场景对象和所述第一历史场景对象集合包括的每一个第一历史场景对象进行对象匹配度的计算处理，以分别输出该第一待处理场景对象和每一个第一历史场景对象之间的对象匹配度，包括：
从所述第一待处理全景视频中，筛查出具有所述第一待处理场景对象的每一帧目标第一待处理全景子视频帧，对于每一帧目标第一待处理全景子视频帧，依据所述第一待处理场景对象，对该目标第一待处理全景子视频帧进行截取处理，以形成对应的第一截取视频帧，所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域相邻，在进行截取处理的过程中，依据预先配置的目标规则进行截取，使得所述第一截取视频帧在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积与所述第一待处理场景对象在所述目标第一待处理全景子视频帧中对应的图像区域的区域面积之间的比值属于预设比值区间；
从所述至少一个第一历史全景视频中，筛查出具有所述第一历史场景对象的每一帧目标第一历史全景子视频帧，对于每一帧目标第一历史全景子视频帧，依据所述第一历史场景对象，对该目标第一历史全景子视频帧进行截取处理，以形成对应的第二截取视频帧，所述第二截取视频帧在所述目标第一历史全景子视频帧中对应的图像区域与所述第一历史场景对象在所述目标第一历史全景子视频帧中对应的图像区域相邻；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，将该第一截取视频帧包括的第一像素点投射至目标空间，以形成第一像素分布图，再按照该第二截取视频帧中的随机选择出的任意一个第二像素点与任意一个第一像素点进行重合的原则，将该第二截取视频帧包括的第二像素点投射至所述目标空间，以形成第二像素分布图，再在所述目标空间中，对该第一像素分布图和该第二像素分布图进行重合图形边缘的长度计算处理，以输出该第一截取视频帧和该第二截取视频帧之间的重合图形边缘长度；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，在执行上一个步骤的次数大于预先配置的次数参考值的情况下，从每一次执行上一个步骤输出的重合图形边缘长度中，筛查出具有最大值的重合图形边缘长度，再将该重合图形边缘长度对应的重合图形边缘在该第一截取视频帧中对应的每一个第一像素点，标记为目标第一像素点，以及，将该重合图形边缘长度对应的重合图形边缘在该第二截取视频帧中对应的每一个第二像素点，标记为目标第二像素点，以及，再依据该重合图形边缘，在该目标第一像素点和该目标第二像素点之间形成一一对应的关系；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，分别依据该第一截取视频帧包括的每一个第一像素点和该第一截取视频帧对应的每一个目标第一像素点之间的相关关系，对该第一截取视频帧包括的每一个第一像素点进行分类处理，以分别形成每一个所述目标第一像素点对应的第一像素点集合，再分别依据该第二截取视频帧包括的每一个第二像素点和该第二截取视频帧对应的每一个目标第二像素点之间的相关关系，对该第二截取视频帧包括的每一个第二像素点进行分类处理，以分别形成每一个所述目标第二像素点对应的第二像素点集合；
对于每一帧第一截取视频帧和每一帧第二截取视频帧，分别依据该第一截取视频帧对应的目标第一像素点对应的第一像素点集合，对每一个目标第一像素点进行特征向量的构建处理，以输出每一个目标第一像素点对应的第一特征向量，再分别依据该第二截取视频帧对应的目标第二像素点对应的第二像素点集合，对每一个目标第二像素点进行特征向量的构建处理，以输出每一个目标第二像素点对应的第二特征向量，再分别对每一个目标第一像素点和该目标第一像素点对应的目标第二像素点进行特征向量之间的外积计算处理，以及，再依据每一个目标第一像素点和该目标第一像素点对应的目标第二像素点对应的特征向量之间的外积，融合计算输出该第一截取视频帧和该第二截取视频帧之间的视频帧相似系数；
依据每一帧第一截取视频帧和每一帧第二截取视频帧之间的视频帧相似系数，计算形成所述第一待处理场景对象和所述第一历史场景对象之间的对象匹配度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210940462.6A CN115065842B (zh) | 2022-08-03 | 2022-08-03 | 基于虚拟现实的全景视频串流交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210940462.6A CN115065842B (zh) | 2022-08-03 | 2022-08-03 | 基于虚拟现实的全景视频串流交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115065842A CN115065842A (zh) | 2022-09-16 |
| CN115065842B true CN115065842B (zh) | 2022-11-18 |
Family
ID=83207778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210940462.6A Active CN115065842B (zh) | 2022-08-03 | 2022-08-03 | 基于虚拟现实的全景视频串流交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115065842B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116567350B (zh) * | 2023-05-19 | 2024-04-19 | 上海国威互娱文化科技有限公司 | 全景视频数据处理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109743584A (zh) * | 2018-11-13 | 2019-05-10 | 百度在线网络技术（北京）有限公司 | 全景视频合成方法、服务器、终端设备及存储介质 |
| CN113411537A (zh) * | 2021-06-25 | 2021-09-17 | Oppo广东移动通信有限公司 | 视频通话方法、装置、终端及存储介质 |
| CN113973190A (zh) * | 2021-10-28 | 2022-01-25 | 联想(北京)有限公司 | 视频虚拟背景图像处理方法、装置及计算机设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11558562B2 (en) * | 2019-09-06 | 2023-01-17 | LINE Plus Corporation | Apparatus and method for providing 360-degree panoramic background during video call |
-
2022
- 2022-08-03 CN CN202210940462.6A patent/CN115065842B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109743584A (zh) * | 2018-11-13 | 2019-05-10 | 百度在线网络技术（北京）有限公司 | 全景视频合成方法、服务器、终端设备及存储介质 |
| CN113411537A (zh) * | 2021-06-25 | 2021-09-17 | Oppo广东移动通信有限公司 | 视频通话方法、装置、终端及存储介质 |
| CN113973190A (zh) * | 2021-10-28 | 2022-01-25 | 联想(北京)有限公司 | 视频虚拟背景图像处理方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115065842A (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109116129B (zh) | 终端检测方法、检测设备、系统及存储介质 | |
| CN108229232B (zh) | 批量扫描二维码的方法和批量扫描二维码的装置 | |
| EP3073443A1 (en) | 3D Saliency map | |
| CN115065842B (zh) | 基于虚拟现实的全景视频串流交互方法及系统 | |
| CN111091106A (zh) | 图像聚类方法及装置、存储介质、电子装置 | |
| CN111667504A (zh) | 一种人脸追踪方法、装置及设备 | |
| CN113949881B (zh) | 一种基于智慧城市数据的业务处理方法及系统 | |
| CN114925348A (zh) | 一种基于指纹识别的安全验证方法及系统 | |
| CN111445487A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN116821777B (zh) | 一种新型基础测绘数据整合方法及系统 | |
| CN113868471A (zh) | 一种基于监控设备关系的数据匹配方法及系统 | |
| CN114173088A (zh) | 一种基于智慧城市监控的业务调整方法及系统 | |
| CN115601564B (zh) | 基于图像识别的胶体轮廓检测方法及系统 | |
| CN115588157A (zh) | 交联低烟低卤聚烯烃材料的性能数据处理方法及系统 | |
| CN115375886A (zh) | 一种基于云计算服务的数据采集方法及系统 | |
| CN115147134A (zh) | 基于工业互联网的产品防伪追溯方法、系统及云平台 | |
| CN115272972A (zh) | 一种基于遥感的人居环境监控方法及系统 | |
| CN114416786A (zh) | 流数据的处理方法、装置、存储介质及计算机设备 | |
| CN114095734A (zh) | 一种基于数据处理的用户数据压缩方法及系统 | |
| CN115100541A (zh) | 一种卫星遥感数据的处理方法、系统及云平台 | |
| CN114896653A (zh) | 一种基于bim的建筑物数据监测方法及其系统 | |
| CN109947803B (zh) | 一种数据处理方法、系统及存储介质 | |
| CN111860261A (zh) | 一种客流值的统计方法、装置、设备及介质 | |
| CN112399236B (zh) | 一种视频查重方法、装置及电子设备 | |
| CN113111934B (zh) | 一种图像分组方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |