CN112752032B - 一种全景视频生成方法、视频采集方法与相关装置 - Google Patents

一种全景视频生成方法、视频采集方法与相关装置 Download PDF

Info

Publication number
CN112752032B
CN112752032B CN201911054357.7A CN201911054357A CN112752032B CN 112752032 B CN112752032 B CN 112752032B CN 201911054357 A CN201911054357 A CN 201911054357A CN 112752032 B CN112752032 B CN 112752032B
Authority
CN
China
Prior art keywords
video
content
video acquisition
compression rate
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911054357.7A
Other languages
English (en)
Other versions
CN112752032A (zh
Inventor
马利
折小强
苏敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911054357.7A priority Critical patent/CN112752032B/zh
Priority to EP20883200.6A priority patent/EP4044584A4/en
Priority to PCT/CN2020/124929 priority patent/WO2021083293A1/zh
Publication of CN112752032A publication Critical patent/CN112752032A/zh
Priority to US17/732,017 priority patent/US20220256191A1/en
Application granted granted Critical
Publication of CN112752032B publication Critical patent/CN112752032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Astronomy & Astrophysics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种全景视频生成方法、视频采集方法与相关装置，用于提升上行传输视频流的质量，以提高用户观看直播的体验。其中，用于生成全景视频的平台接收部署在拍摄现场的多个视频采集端中每个视频采集端分别发送的、采用第一压缩率压缩后的第一视频流；对第一视频流解压，根据多个解压后的第一视频流确定拍摄现场中用户感兴趣区域；然后该平台通知能够采集到用户感兴趣区域的至少一个第一视频采集端使用低于第一压缩率的第二压缩率对采集到的视频流压缩，以提升户感兴趣区域的视频流的质量，当平台接收至少一个第一视频采集端分别发送的、采用第二压缩率压缩后的第二视频流后，对第二视频流解压后，根据多个解压后的第二视频流，生成第一全景视频。

Description

一种全景视频生成方法、视频采集方法与相关装置
技术领域
本申请涉及视频处理技术领域，尤其涉及一种全景视频生成方法、视频采集方法与相关装置。
背景技术
传统的直播技术是单个图像采集设备采集视频流，上传到社交平台，然后用户在社交平台观看视频。
随着直播技术的迅猛发展，出现虚拟现实(virtual reality，VR)全景视频直播，例如，演唱会、球赛等的VR全景直播等等，VR全景直播可以提升用户的观看体验，给用户带来身临其境的感受。
目前，VR全景视频直播过程主要包括：在拍摄现场部署多个摄像机，每个摄像机可以采集拍摄现场不同角度的视频流，然后将采集的视频流上行传输到VR内容生成平台，VR内容生成平台将多路视频流拼接得到VR全景视频，用户通过VR头盔观看VR全景视频。
现有机制中，受限于无线网络的上行传输带宽的限制，多路视频流上行传输之前需要使用较高的压缩率将视频流压缩，但压缩率较高会导致视频质量下降，影响用户观看体验。
发明内容
本申请的目的在于提供了一种全景视频生成方法、视频采集方法与相关装置，用于提升上行传输视频流的质量，以提高用户观看直播的体验。
上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。
第一方面，提供一种全景视频生成方法，应用于能够生成全景视频的平台，该平台可以是服务器、终端等计算机设备。该方法包括：平台接收部署在拍摄现场的多个视频采集端中每个视频采集端分别发送的、采用第一压缩率压缩后的第一视频流；基于所述第一压缩率对所述每个视频采集端分别发送的第一视频流解压，根据多个解压后的所述第一视频流，确定所述拍摄现场中用户感兴趣区域；向所述多个视频采集端中能够采集到所述用户感兴趣区域的至少一个第一视频采集端分别发送第一指令，所述第一指令用于指示所述第一视频采集端使用第二压缩率对采集到的视频流压缩，所述第二压缩率小于所述第一压缩率；接收所述至少一个第一视频采集端分别发送的、采用所述第二压缩率压缩后的第二视频流；基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频。
可以理解的是，平台基于每个视频采集端发送的第一视频流确定出拍摄场景中用户感兴趣区域之后，可以指示用户感兴趣区域对应的视频采集端使用较低的压缩率压缩并上行传输视频流，以尽量保证用户感兴趣区域的视频质量，提升观看体验。
在一种可能的设计中，平台还可以接收所述多个视频采集端中除所述至少一个第一视频采集端之外的至少一个第二视频采集端分别发送的、采用所述第一压缩率压缩后的第二视频流；这样，则所述平台可以基于所述第一压缩率对所述至少一个第二视频采集端分别发送的第二视频流解压，以及基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频。
需要说明的是，在本申请实施例中，平台基于每个视频采集端发送的第一视频流确定出拍摄场景中用户感兴趣区域之后，可以指示用户感兴趣区域对应的视频采集端使用较低的压缩率压缩并上行传输视频流，指示非用户感兴趣区域对应的视频采集端使用较高压缩率压缩并上行传输视频流，一方面尽量保证用户感兴趣区域的视频质量，提升用户观看体验，另一方面，节省上行传输带宽。
在一种可能的设计中，平台根据多个解压后的所述第一视频流，确定所述拍摄现场中用户感兴趣区域之后，还可以向所述多个视频采集端中除去所述能够采集到所述用户感兴趣区域的至少一个第一视频采集之外的其它视频采集端发送第二指令，所述第二指令用于指示所述其它视频采集端停止采集视频流，或，停止向所述平台发送视频流。
需要说明的是，在本申请实施例中，平台基于每个视频采集端发送的第一视频流确定出拍摄场景中用户感兴趣区域之后，可以指示用户感兴趣区域对应的视频采集端使用较低的压缩率压缩并上行传输视频流，指示非用户感兴趣区域对应的视频采集端停止采集视频流或停止上行传输视频流，一方面可以尽量保证用户感兴趣区域的视频质量，提升用户观看体验，另一方面，还可以节省上行传输带宽。
在一种可能的设计中，所述用户感兴趣区域可以为所述拍摄现场内的预设拍摄区域。示例性的，拍摄现场是演唱会现场时，预设拍摄区域可以是舞台所在区域，拍摄现场是足球赛场时，预设拍摄区域可以是球场所在区域等等。或者，所述用户感兴趣区域还可以在视频流中选择区域，该区域为用户感兴趣区域。可以理解的是，上述仅是举例两种确定用户感兴趣区域的方式，其他的确定用户感兴趣区域的方式也是可以的。
在一种可能的设计中，平台还可以识别所述多个解压后的第二视频流内的关键内容，所述关键内容可以包括所述第二视频流内的一个或多个对象；根据所述关键内容，确定与所述关键内容相关的附加内容；在所述第一全景视频内添加所述附加内容，则可以得到第二全景视频。
在本申请实施例中，平台还可以在全景视频中添加附加内容，附加内容可以是视频流中的关键内容相关的内容。例如，视频流是球赛视频，关键内容是某个球星，则附加内容可以是与该球星相关的内容，例如简介等等，以提升用户观看体验。
在一种可能的设计中，所述附加内容可以为所述多个解压后的第二视频流内与所述关键内容相关的一帧或多帧图像，或为在所述多个解压后的第二视频流之外与所述关键内容相关联的内容。
示例性的，视频流是球赛视频时，关键内容例如是某个球星，则附加内容可以是与该球星相关的内容，例如，该视频流中该球星的进球视频截图，该球星的简介等等，再例如，还可以是该球星相关的服饰、足球品牌等等。因此，在全景视频中添加附加内容，可以提升全景视频的丰富性。
在一种可能的设计中，根据所述关键内容，确定与所述关键内容相关的附加内容，包括：向第三方内容源发送内容请求，所述内容请求中携带用于描述所述附加内容的属性信息，或者携带所述关键内容；所述附加内容的属性信息为根据所述关键内容确定的；接收所述第三方内容源发送的附加内容。
需要说明的是，平台可以向第三内容源请求附加内容，例如，前述与球星相关的服饰、足球品牌等等。因此，平台在全景视频中添加附加内容，可以提升全景视频的丰富性。
第二方面，还提供一种视频采集方法。该方法包括：部署在拍摄现场的视频采集端接收第一指令，所述第一指令用于指示所述视频采集端使用第一压缩率对采集到的视频流进行压缩；所述视频采集端采集第一视频流，并采用所述第一压缩率对所述第一视频流压缩；所述视频采集端将压缩后的所述第一视频流发送到用于生成全景视频的平台。所述视频采集端接收所述平台发送的第二指令，所述第二指令用于指示所述视频采集端使用第二压缩率对采集到的视频流压缩，所述第二压缩率小于所述第一压缩率；所述视频采集端采集第二视频流，并采用所述第二压缩率对所述第二视频流进行压缩；所述视频采集端将压缩后的第二视频流发送所述平台。
相应的，还提供一种视频采集方法，该方法包括：部署在拍摄现场的视频采集端接收第一指令，所述第一指令用于指示所述视频采集端使用第一压缩率对采集到的视频流进行压缩；所述视频采集端采集第一视频流，并采用所述第一压缩率对所述第一视频流压缩；所述视频采集端将压缩后的所述第一视频流发送到用于生成全景视频的平台；所述视频采集端接收所述平台发送的第三指令，所述第三指令用于指示所述视频采集端继续使用所述第一压缩率对采集到的视频流压缩；所述视频采集端采集第二视频流，并使用所述第一压缩率对所述第二视频流压缩；所述视频采集端将压缩后的所述第二视频流发送到所述平台。
相应的，还提供一种视频采集方法，该方法包括：部署在拍摄现场的视频采集端接收第一指令，所述第一指令用于指示所述视频采集端使用第一压缩率对采集到的视频流进行压缩；所述视频采集端采集第一视频流，并采用所述第一压缩率对所述第一视频流压缩；所述视频采集端将压缩后的所述第一视频流发送到用于生成全景视频的平台；所述视频采集端接收所述平台发送的第四指令，所述第四指令用于指示所述视频采集端停止采集视频流，或，停止向所述平台发送视频流；所述视频采集端基于所述第四指令，停止采集视频流或停止向所述平台发送视频流。
可以理解的是，为了对拍摄现场(例如演唱会现场、球赛现场等)各个角度的拍摄，可以在拍摄现场的不同位置分别部署视频采集端。其中，部分视频采集端能够采集到用户感兴趣区域(例如舞台，球场等)，所以，能够采集到用户感兴趣区域的视频采集端可以使用较低压缩率压缩并上行传输视频流，以保证视频质量。而无法采集到用户感兴趣区域的视频采集端可以继续使用较高压缩率(比如第一压缩率)压缩并上行传输，或者可以停止采集视频流，或者停止上行传输视频流，以节省上行传输带宽。
在一种可能的设计中，所述每个视频采集端分别采集的第一视频流内包括的图像帧数小于阈值。
可以理解的是，如前文所述，平台使用第一视频流确定用户感兴趣区域，通常一帧图像，或者较少帧图像即可识别图像中的场景，判断出拍摄现场例如是演唱会现场还是球赛现场，进而确定出拍摄现场内的用户感兴趣区域(例如舞台或球场等)，所以为了提升效率，第一视频流可以是较短的视频流。
第三方面，还提供一种全景视频生成装置，包括执行第一方面或者第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
第四方面，还提供一种视频采集端，包括执行第二方面或者第二方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
第五方面，还提供一种全景视频生成装置，包括：一个或多个处理器；一个或多个存储器；通信接口，用于与其他设备通信；其中，所述存储器存储有计算机程序，当所述计算机程序被所述一个或多个处理器执行时，使得所述全景视频生成装置可以通过通信接口来实现如上述第一方面提供的方法。
第六方面，还提供一种视频采集端，包括：一个或多个处理器；一个或多个存储器；通信接口，用于与其他设备通信；其中，所述存储器存储有计算机程序，当所述计算机程序被所述一个或多个处理器执行时，使得所述视频采集端可以通过通信接口实现如上述第二方面提供的方法。
第七方面，还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当计算机程序在全景视频生成装置上运行时，可以使得所述全景视频生成装置实现上述第一方面提供的方法。
第八方面，还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当计算机程序在视频采集端上运行时，可以使得所述视频采集端实现如上述第二方面提供的方法。
第九方面，还提供一种芯片，所述芯片用于读取存储器中存储的计算机程序，实现如上述第一方面提供的方法。
第十方面，还提供一种芯片，所述芯片用于读取存储器中存储的计算机程序，实现如上述第二方面提供的方法。
第十一方面，还提供一种程序产品，所述程序产品存储有计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述第一方面提供的方法。
第十二方面，还提供一种程序产品，所述程序产品存储有计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述第二方面提供的方法。
附图说明
图1为本申请一实施例提供的一种应用场景的示意图；
图2为本申请一实施例提供的另一种应用场景的示意图；
图3为本申请一实施例提供的全景视频生成方法的流程示意图；
图4为本申请一实施例提供的分析决策模块的逻辑结构示意图；
图5为本申请一实施例提供的执行处理模块的逻辑结构示意图；
图6为本申请一实施例提供的全景视频生成装置的逻辑结构示意图；
图7为本申请一实施例提供的全景视频生成装置的结构示意图；
图8为本申请一实施例提供的视频采集端的逻辑结构示意图；
图9为本申请一实施例提供的视频采集端的结构示意图。
具体实施方式
下面将结合本申请以下实施例中的附图，对本申请实施例中的技术方案进行详尽描述。
参见图1所示，为本申请实施例提供的应用场景的示意图。如图1所示，该场景包括视频采集模块、附加内容生成平台、VR内容生成平台。其中，视频采集模块包括部署在拍摄现场的一个或多个摄像机(图1中以均匀分布的8个摄像机为例)。
以下，先对本申请实施例中涉及的部分用语进行解释说明，以便于本领域技术人员容易理解。
1)本申请实施例涉及的视频采集模块(或称视频采集终端、视频采集端等)，包括部署在拍摄现场的一个或多个摄像机，拍摄现场例如为演唱会现场、球赛现场等等。部署在不同位置的摄像机可以采集到拍摄现场中不同角度的视频流。以演唱会为例，有些摄像机可以采集演唱会的舞台，有些摄像机可以采集到观众席等。应理解，这里提到的摄像机可以是标清摄像机、高清摄像机等，本申请实施例不作限定。
2)本申请实施例涉及的全景视频，即使用视频拼接技术将多路视频流拼接而成的视频，可以称之为普通全景视频。
3)本申请实施例涉及的VR全景视频，利用VR技术将普通全景视频转换为VR全景视频，并传输到VR观看设备(例如VR头盔、VR眼镜)上，用户通过VR观看设备通过 VR全景视频。VR全景视频相对于普通全景视频可以给用户提供身临其境的感受。
需要说明的是，本申请实施例提供的全景视频的生成方法可以适用于普通全景视频的生成，也可以适用于VR全景视频的生成，下文中以VR全景视频为例介绍。
4)本申请实施例涉及的VR内容生成平台(或称VR内容生成模块)，用于将视频采集模块采集的多路视频流拼接成VR全景视频；或者，用于将视频采集模块采集的多路视频流以及附加内容拼接成VR全景视频；其中，附件内容可以是图片、文字等等。VR内容生成平台/模块可以是服务器、终端等计算机设备，只要能够实现将视频采集模块采集的多路视频流拼接成VR全景视频的功能即可。
5)本申请实施例涉及的第三方内容源(或称第三方内容提供平台)，可以提供各类广告，包括图片、文字、标识(logo)等。本申请实施例中，VR内容生成平台可以将第三内容源提供的广告添加到VR全景视频中。
在图1所示的应用场景中，现有每个摄像机分别采集视频流，然后将多路视频流上行传输到VR内容生成平台。VR内容生成平台将多路视频流拼接得到VR全景视频。但是，受限于上行传输带宽，多路视频流的上行传输需要使用较高的压缩率，高压缩率会导致视频质量降低。
基于上述技术问题，本申请实施例提供一种全景视频生成方法。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
以图1所示的场景为例，本申请实施例提供的全景视频生成方法中，无需8个摄像机中每个摄像机均上行传输视频流，例如，仅5个摄像机(图1矩形框中的5个摄像机)将各自采集的视频流上行传输到附加内容提供平台即可。其中，所述5个摄像机是能够采集到拍摄现场中用户感兴趣区域(region of interest，ROI)的摄像机；假设拍摄现场是演唱会现场，则ROI可以是舞台所在区域；假设拍摄现场是球赛现场，则ROI可以是球场所在区域。或者，8个摄像机中用于采集拍摄现场中ROI的一个或多个摄像机采集的视频流使用低压缩率压缩并上行传输，以保证用户感兴趣区域对应的视频流的质量损失不严重；8个摄像机中用于采集拍摄现场中非ROI的一个或多个摄像机采集的视频流使用高压缩率压缩并上行传输，以节省上行传输带宽。
进一步的，继续如图1所示，附加内容生成平台可以基于多路视频流确定附加内容。其中，附加内容例如包括某路视频流中的一帧图像或多帧图像，或者，某帧图像中的某个图像块，或者广告信息等等。附加内容生成平台将附加内容发送VR内容生成平台。VR内容生成平台可以将附加内容添加到VR全景视频中。
下面结合图2和图3介绍本申请实施例提供的全景视频生成方法的实现过程。如图2 所示，包括视频采集模块、分析决策模块、执行处理模块、VR内容生成模块、内容源。其中，视频采集模块可以是图1所示的视频采集模块；分析决策模块、执行处理模块，VR内容生成模块集成在图1所示的VR内容生成平台，内容源是图1所示的附加内容生成平台，其中，内容源可以是第三方内容源，用于提供广告等附加内容。下文以第三方内容源为例进行介绍。
可以理解的是，图2中分析决策模块、执行处理模块和VR内容生成模块各自可以是单独的终端、服务器等计算机设备，分析决策模块、执行处理模块和VR内容生成模块相互之间可以通信；或者，分析决策模块、执行处理模块或VR内容生成模块中至少两个模块可以集成在一个单独的计算机设备中，本申请实施例不作限定。
需要说明的是，VR内容生成模块生成VR全景视频之后，可以将VR全景视频发送VR观看设备例如VR头盔、VR眼镜等，用户通过VR观看设备观看VR全景视频。
如图3所示，为本申请实施例提供的全景视频生成方法的流程示意图。如图3所示，该方法的流程可以包括：
300、视频采集模块采集多路视频流。
如前所述，视频采集模块中包括部署在拍摄现场的不同位置的一个或多个摄像机；每个摄像机采集拍摄现场中不同场景(或称不同角度)的视频流。
301，视频采集模块向分析决策模块发送多路视频流。
可以理解的是，300中每个摄像机采集到视频流之后，可以使用第一压缩率对视频流进行压缩，然后将压缩后的视频流发送给分析决策模块，分析决策模块解压之后得到视频流。
302，视频采集模块向VR内容生成模块发送多路视频流。
应理解，301和302可以同时执行，或者不同时执行。
可以理解的是，302中每个摄像机采集到视频流之后，可以使用所述第一压缩率对视频流进行压缩，然后将压缩后的视频流发送给VR内容生成模块，VR内容生成模块解压之后得到视频流。
303，VR内容生成模块根据多路视频流生成VR全景视频母版。
假设视频采集模块中包括8个摄像机，每个摄像机采集一路视频流，VR内容生成模块可以将8路视频流拼接生成VR全景视频母版。也就是说，VR全景视频母版是所有摄像机采集的视频流拼接而成的视频。
304，VR内容生成模块向分析决策模块发送VR全景视频母版。
应理解，VR全景视频母版中包括拍摄现场的全局信息，例如，拍摄现场包括舞台、观众席以及其分布情况等等。
305，分析决策模块根据301接收的多路视频、304接收的VR全景视频母版识别场景信息。
应理解，301中分析决策模块接收视频采集模块发送的多路视频流，每路视频流可以反映拍摄现场内的局部信息，例如1号摄像机采集的视频流可以反映1号摄像机的取景范围的细节信息。304中分析决策模块接收VR内容生成模块发送的VR全景视频母版可以反映拍摄现场的全局信息。因此，305中分析决策模块可以根据所述局部信息和所述全局信息，确定场景信息，所述场景信息可以是演唱会场景、或球赛场景等。
306，分析决策模块根据场景信息确定ROI区域。
需要说明的是，ROI区域可以是拍摄现场内预设拍摄区域，例如，假设305中，分析决策模块确定场景信息是演唱会场景，则ROI区域为舞台所在区域。假设305中，分析决策模块确定场景信息是球赛场景，则ROI区域为球场所在区域。或者，ROI区域是用户设置的区域，例如，用户在全景视频母版中选择一个区域，则该区域即ROI区域。
需要说明的是，通过较少的图像即可识别拍摄现场的场景。因此，300之后，视频采集模块采集到视频流之后，可以将视频流中的前几帧图像(例如，第1到第10帧图像)分别发送给分析决策模块和VR内容生成模块，也就是说，301和302中传输的视频流中包括的图像帧数可以小于预设帧数(例如10帧)。这样的话，一定程度上可以缓解视频流上行传输压力。
307，分析决策模块确定能够采集到ROI区域的一个或多个摄像机(为了方便描述，将所述一个或多个摄像机称为第一摄像机)。
可以理解的是，拍摄现场部署的摄像机位于不同的位置，其中，某几个摄像机可以采集到ROI区域的视频流。因此，分析决策模块确定ROI区域之后，可以确定能够采集到该ROI区域的一个或多个摄像机。具体的，分析决策模块确定能够采集到ROI区域的一个或多个摄像机的方式可以包括：摄像机部署人员在部署摄像机时，可以记录每个摄像机的编号，录入到分析决策模块中。因此，分析决策模块中存储每个摄像机的编号。301中分析决策模块获得每个摄像机采集的视频流。因此，分析决策模块可以根据每个摄像机采集的视频流，确定每个摄像机的视频采集范围，然后确定视频采集范围中包括ROI区域内的全部或部分区域的一个或多个摄像机。
308，分析决策模块向能够采集到ROI区域的第一摄像机发送第一指令，该第一指令用于指示所述第一摄像机使用第二压缩率对视频流压缩然后上行传输到VR内容生成模块，第二压缩率小于第一压缩率。
其中，第一压缩率和第二压缩率的具体取值可以是默认设置的，也可以是用户自定义的。
需要说明的是，308可以通过多种方式实现，例如如下方式1或方式2。
方式1，分析决策模块可以与视频采集模块中的每个摄像机通信，那么分析决策模块确定能够采集到ROI区域的一个或多个摄像机之后，分别向所述一个或多个摄像机分别发送第一指令即可。
方式2，分析决策模块无法与视频采集模块中的每个摄像机通信，那么分析决策模块确定能够采集到ROI区域的一个或多个摄像机之后，可以向用于管控摄像机的设备发送第一指令，该第一指令中可以携带所述一个或多个摄像机的编号。该用于管控摄像机的设备根据所述编号分别向所述一个或多个摄像机转发第一指令即可。
309，所述第一摄像机使用第二压缩率将采集的视频流压缩后上行传输到VR内容生成模块。
需要说明的是，分析决策模块确定ROI区域之后，第一摄像机可以使用较低的压缩率对视频流压缩，尽可能保证视频质量。
309可以包括多种实现方式，例如如下方式A或方式B。
方式A：309中仅至少一个第一摄像机使用第二压缩率上行传输视频流，其它摄像机无需上行传输视频流。例如，其它摄像机停止采集视频流，或者采集视频流之后停止上行传输，或者，以一定的周期间歇性的采集并上行传输视频流等等。可以理解的是，其它摄像机即除去所述第一摄像机之外的其它摄像机。
方式A中，由于其它摄像机不上行传输视频流，所以，在有限的上行传输带宽下，用于采集ROI区域的第一摄像机可以以较低压缩率上行传输，以保证ROI区域对应的视频质量。
方式B：309中第一摄像机采集视频流，使用第二压缩率进行视频流压缩并上行传输；其它摄像机也采集视频流，使用高于第二压缩率的压缩率(比如继续使用第一压缩率，当然也可以采用高于第二压缩率的其他压缩率)进行视频流压缩并上行传输。
举例来说，拍摄现场是演唱会现场，部署8个摄像机，分析决策模块确定能够采集到 ROI区域的摄像机编号为1至5，则编号为1至5的5个摄像机使用较低压缩率上行传输视频流，编号为6至8的3个摄像机使用较高压缩率上行传输视频流。
方式B中，由于其它摄像机使用较高压缩率上行传输视频流，所以，在有限的上行传输带宽下，用于采集ROI区域的第一摄像机可以以较低压缩率上行传输，以保证ROI区域对应的视频流质量。
310，VR内容生成平台生成VR全景视频。
情况1，309中使用方式A实现，即在309中并非所有摄像机均上行传输了视频流。
这种情况下，310中，VR内容生成平台可以根据304中得到的VR全景视频母版生成VR全局视频。具体而言，以总共8个摄像机为例，304中得到VR全景视频母版是所有摄像机采集的视频流拼接而成，所以VR全景视频母版中包括8个区域，区域1对应摄像机1 采集的视频流，区域2对应摄像机2采集的视频流，以此类推。假设309中仅编号为1至5 的摄像机上行传输视频流，VR内容生成模块可以将所述VR全景视频母版中编号6至8的摄像机对应的区域6-区域8删除，将编号1至5对应的摄像机采集的视频流填充到所述VR 全景视频母版中区域1-区域5内，然后拼接得到VR全景视频。
情况2，309中使用方式B实现，即在309中所有摄像机均上行传输了视频流。
这种情况下，VR内容生成平台可以将每个摄像机采集的视频流填充到所述VR全景视频母版中对应的区域内即可。
以下实施例介绍在VR全景视频中添加附加内容的过程。
311，分析决策模块接收第三方内容源发送的内容类型可选信息。
示例性的，内容类型可选信息中包括第三方内容源中能够提供的内容的类型标签信息。假设第三方内容源中包括两种类型：演唱会广告、球赛广告，每种类型下还可以包括子类型，例如演唱会广告中具体可以包括门票购买(例如购买链接等)；球赛广告具体包括足球赛、篮球赛、乒乓球赛等等的相关广告，例如足球品牌、服饰广告等等。
第三方内容源将内容类型可选信息发送分析决策模块，以使分析决策模块确定当前第三方内容源中存在哪些类型的广告。
可以理解的是，第三方内容源可以主动向分析决策模块发送内容类型可选信息，或者，分析决策模块可以向第三内容源发送请求，第三方内容源基于该请求向分析决策模块下发内容类型可选信息。
312，分析决策模块根据多路视频流确定关键内容信息，所述关键内容信息为所述多路视频流中包括的对象的信息，例如球赛中包括的球员、演唱会中包括的演唱明星等。
可选的，312之前，分析决策模块还可以确定模式，例如模式1或模式0，其中，模式1用于指示添加附加内容的模式，模式0用于指示无需添加内容的模式。若分析决策模块选择模式0，则无需执行312-317。分析决策模块设置模式1或模式0可以由用户决定，例如，默认设置模式0，在用户触发下，可以调整为模式1。
313，分析决策模块根据所述关键内容信息和内容类型可选信息，确定附加内容属性信息，附加内容属性信息包括形式和内容的属性，所述形式包括但不限于文字、图像、视频等，所述内容包括但不限于与所述关键内容信息相关的广告、周边、电影信息回放等。
方式1，如前文所述，内容类型可选信息中包括第三方内容源中能够提供的内容类型的标签/目录。当分析决策模块确定出关键内容信息之后，可以在内容类型可选信息中查找与所述关键内容信息相关的内容类型，若查找到，则根据查找到的内容类型确定附加内容。方式1中，附加内容可以是第三方内容源提供的内容。
例如，内容可选信息中包括王菲演唱会的门票信息，当分析决策模块确定视频流中关键内容信息包括王菲时，可以确定附加内容为王菲演唱会的门票信息，例如门票链接，演唱会时间、地点等等。
方式2，分析决策模块确定出关键内容信息之后，可以在多路视频流中确定与所述关键内容信息相关的附加内容。例如，视频流是足球比赛的视频，分析决策模块识别出关键内容信息为某个球员，则将视频流中所述球员进球的一帧或多帧图像作为附加内容。方式2中，附加内容是多路视频中的一帧或多帧图像或某帧图像中的某个图像块等等。
方式3，附加内容还是用户设置的，例如，用户根据自身需求将附件内容输入到分析决策模块中。
上述方式1-方式3可以结合使用，例如，在方式1中在内容类型可选信息中未查找与所述关键内容信息相关的内容类型时，可以使用方式2。
314、分析决策模块向执行处理模块发送附加内容属性信息。
315，执行处理模块根据附加内容属性信息，确定附加内容。
假设313通过上述方式1实现，那么315中执行处理模块可以通过315a-315b实现。
315a，执行处理模块向第三方内容源发送内容请求，该内容请求用于向第三方内容请求附加内容。例如，内容请求中携带附加内容属性信息，或者携带所述关键内容信息。
315b，执行处理模块接收第三方内容源发送的附加内容。
如前文所述，313中分析决策模块确定附加内容之后，可以通过执行处理模块向第三方内容源请求附加内容。
需要说明的是，315b之后，执行处理模块还可以将第三方内容源发送的附加内容进行形式转换，转换成适合添加到VR全景视频中的内容，例如，如果第三方内容源发送的附加内容是二维图像，执行处理模块可以将该图像进行尺度变换、投影、填充等一系列处理过程，处理为适合在VR全景视频中添加的图像。
对于上述方式2，由于附加内容是视频流中的一帧或多帧图像，所以，执行处理模块也可以将附件内容处理为适合添加到VR全景视频中的附加内容。
316，执行处理模块将附加内容发送VR内容生成模块。
317，VR内容生成模块在310生成的VR全景视频中添加附加内容。
需要说明的是，现有机制中，若得到添加有附加内容的VR全景视频的过程可以包括，视频采集、视频处理和加工(例如多路视频流拼接过程)、编码、传输、播放端解密、播放等。现有机制中，在编码过程中进行附加内容的添加，即在码流中添加附加内容，但是编码过程中无法根据视频内容确定附加内容。但是，本申请实施例中，VR内容生成模块可以在视频处理和加工环节进行附加内容的添加过程，在该过程中可以根据视频内容确定附加内容(即312-316)。
如前文所述，图2中视频采集模块、分析决策模块、执行处理模块、VR内容生成模块可以是相互独立的服务器、终端等计算机设备。下面分别介绍分析决策模块、执行处理模块的结构。
参见图4，为本申请实施例提供的分析决策模块的结构示意图。如图4所示，分析决策模块包括分析模块、决策模块、人机交互模块。其中，分析模块可以用于提取ROI区域、提取关键内容、提取场景信息等。其中，提取场景信息的过程可以参见图3所示实施例中的305，提取ROI区域的过程可以参见图3所示的实施例中的306。提取关键内容信息的过程可以参见图3所示的实施例中312。
其中，决策模块可以用于决策上行传输的压缩率、附加内容属性信息等。其中，上行传输的压缩率的决策过程可以参见图3所示的实施例中308的相关描述。附加内容属性信息的决策过程可以参见图3所示的实施例中313。模式决策过程可以参见图3所示的实施例中312的相关描述。
其中，人机交互模块，可以用于接收用户输入的指令，该指令可以用于确定压缩率，例如前述第一压缩率或第二压缩率；或者，用于确定模式，例如模式0，模式1等。
图5示出了执行处理模块的结构示意图。如图5所示，执行处理模块包括内容请求模块、内容获取模块、内容执行模块、内容发送模块。其中，内容请求模块用于执行图3所示实施例中的315a，内容获取模块用于执行图3所示实施例中的315b，内容执行模块用于执行图3所示实施例中对附加内容进行处理得到适合添加到VR全景视频的附加内容的过程。内容发送模块用于执行图3所示实施例中的316。其中，内容请求模块和内容发送模块可以是同一模块，用于发送数据，内容获取模块可以用于接收数据。
上文描述了本申请实施例提供的全景视频生成方法，下文将描述本申请实施例提供的相关装置。
图6为本申请实施例提供的全景视频生成装置600的示意性框图，该全景视频生成装置600可以是上文中VR内容生成平台。全景视频生成装置600包括：处理模块610和通信模块620。应理解，本申请实施例中的处理模块610可以由处理器或处理器相关电路组件实现，可选的，通信模块620可以包括收发模块，具体可以包括接收模块和发送模块，接收模块用于接收数据，发送模块用于发送数据。收发模块可以由收发器或收发器相关电路组件实现。
通信模块620，用于接收部署在拍摄现场的多个视频采集端中每个视频采集端分别发送的、采用第一压缩率压缩后的第一视频流；处理模块610，用于基于所述第一压缩率对所述每个视频采集端分别发送的第一视频流解压，根据多个解压后的所述第一视频流，确定所述拍摄现场中用户感兴趣区域；通信模块620，还用于向所述多个视频采集端中能够采集到所述用户感兴趣区域的至少一个第一视频采集端分别发送第一指令，所述第一指令用于指示所述第一视频采集端使用第二压缩率对采集到的视频流压缩，所述第二压缩率小于所述第一压缩率；通信模块620，还用于接收所述至少一个第一视频采集端分别发送的、采用所述第二压缩率压缩后的第二视频流；处理模块610，还用于基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频。
可选的，通信模块620还可以接收所述多个视频采集端中除所述至少一个第一视频采集端之外的至少一个第二视频采集端分别发送的、采用所述第一压缩率压缩后的第二视频流；处理模块610可以具体基于所述第一压缩率对所述至少一个第二视频采集端分别发送的第二视频流解压，以及基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频。
可选的，通信模块620还可以向所述多个视频采集端中除去所述能够采集到所述用户感兴趣区域的至少一个第一视频采集之外的其它视频采集端发送第二指令，所述第二指令用于指示所述其它视频采集端停止采集视频流，或，停止向所述平台发送视频流。
示例性的，用户感兴趣区域可以但不限于为所述拍摄现场内的预设拍摄区域，或者，为用户在所述多个解压后的第一视频流中选择的区域。
处理模块610还可以识别所述多个解压后的第二视频流内的关键内容，所述关键内容包括所述第二视频流内的一个或多个对象；根据所述关键内容，确定与所述关键内容相关的附加内容；在所述第一全景视频内添加所述附加内容，得到第二全景视频。示例性的，所述附加内容可以为所述多个解压后的第二视频流内与所述关键内容相关的一帧或多帧图像，或为在所述多个解压后的第二视频流之外与所述关键内容相关联的内容。
通信模块620还可以向第三方内容源发送内容请求，所述内容请求中携带用于描述所述附加内容的属性信息，或者携带所述关键内容；所述附加内容的属性信息为根据所述关键内容确定的；接收所述第三方内容源发送的附加内容。
如图7所示，本申请实施例还提供一种全景视频生成装置700，该全景视频生成装置 700可以是上文中VR内容生成平台。全景视频生成装置700包括处理器710，存储器720与收发器730，其中，存储器720中存储指令或程序，处理器710用于执行存储器720中存储的指令或程序。存储器720中存储的指令或程序被执行时，该处理器710用于执行上述实施例中处理模块610执行的操作，收发器730用于执行上述实施例中通信模块620执行的操作。
应理解，根据本申请实施例的全景视频生成装置600或全景视频生成装置700可实现本申请实施例图3所示的全景视频生成方法中VR内容生成平台的功能，例如，全景视频生成装置600或全景视频生成装置700中的各个模块的操作和/或功能分别可以实现图3所示的VR内容生成平台的相应流程，为了简洁，在此不再赘述。
图8为本申请实施例提供的视频采集端800的示意性框图，该视频采集端800可以是上文中视频采集模块，例如视频采集模块包括8个摄像机时，视频采集端80可以是其中一个摄像机。视频采集端800包括：处理模块810、通信模块820以及视频采集模块830。应理解，本申请实施例中的处理模块810可以由处理器或处理器相关电路组件实现，可选的，通信模块820可以包括收发模块，具体可以包括接收模块和发送模块，接收模块用于接收数据，发送模块用于发送数据。通信模块可以由收发器或收发器相关电路组件实现。
从上述方法实施例描述可知，图1所示的8个视频采集端中，有可能不同视频采集端完成的工作不一样，比如有的视频采集端先是使用第一压缩率对采集的视频流压缩并上传，然后按照VR内容生成平台的指示，后续变为采用第二压缩率对采集的视频流压缩并上传，其中第一压缩率大于第二压缩率，完成这种工作原理的视频采集端通常为能够采集到用户感兴趣区域的采集端。
再比如，有的视频采集端先是使用第一压缩率对采集的视频流压缩并上传，然后按照 VR内容生成平台的指示，后续继续采用第一压缩率对采集的视频流压缩并上传，或采用大于第二压缩率的其他压缩率对采集的视频流压缩并上传，或停止采集视频流，再或者采集视频流后不上传给VR内容生成平台；完成这种工作原理的视频采集端通常为无法采集到用户感兴趣区域的采集端。
基于此，视频采集模块830用于采集第一视频流；通信模块820，用于接收第一指令，所述第一指令用于指示所述视频采集端使用第一压缩率对所述第一视频流压缩；处理模块 810，用于采用所述第一压缩率对所述第一视频流进行压缩；通信模块820，还用于将压缩后的第一视频流发送用于生成全景视频的平台。
接下来，一种情况下，当通信模块820接收到用于指示所述视频采集端使用第二压缩率压缩视频流的第二指令时，处理模块810还用于使用所述第二压缩率对所述视频采集端采集的第二视频流进行压缩，通信模块820还用于将通过第二压缩率压缩后的所述第二视频流发送所述平台。另一种情况下，当通信模块820接收到用于指示所述视频采集端继续使用所述第一压缩率压缩视频流的第三指令时，处理模块810还用于继续使用所述第一压缩率对所述视频采集模块采集的第二视频流进行压缩，通信模块820还用于将通过第一压缩率压缩后的所述第二视频流发送所述平台；或者当通信模块820接收到用于指示所述视频采集端停止采集视频流的第四指令时，处理模块810控制所述视频采集模块830停止采集视频流；或者，当通信模块820接收到用于指示所述视频采集端停止传输视频流的第五指令时，处理模块810控制通信模块820停止向所述平台发送视频流。
可选的，视频采集模块830采集的第一视频流内包括的图像帧数可以小于阈值。
如图9所示，本申请实施例还提供一种视频采集端900，该视频采集端900可以是上文中视频采集模块，例如视频采集模块包括8个摄像机时，视频采集端900可以是其中一个摄像机。视频采集端900包括处理器910，存储器920、收发器930以及视频采集模块940，其中，存储器920中存储指令或程序，处理器910用于执行存储器920中存储的指令或程序。存储器920中存储的指令或程序被执行时，该处理器910用于执行上述实施例中处理模块810执行的操作，收发器930用于执行上述实施例中通信模块820执行的操作。视频采集模块940在处理器910的控制下进行视频采集。
应理解，根据本申请实施例的视频采集端800或视频采集端900可实现本申请实施例图3所示的全景视频生成方法中视频采集模块的功能，例如，视频采集端800或视频采集端900中的各个模块的操作和/或功能分别可以实现图3所示的流程中视频采集模块的所执行的相应流程，为了简洁，在此不再赘述。
应理解，本申请实施例中提及的处理器可以是中央处理单元(centralprocessing unit， CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器 (enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM， SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种全景视频生成方法，应用于能够生成全景视频的平台，其特征在于，包括：
接收部署在拍摄现场的多个视频采集端中每个视频采集端分别发送的、采用第一压缩率压缩后的第一视频流；
基于所述第一压缩率对所述每个视频采集端分别发送的第一视频流解压，根据多个解压后的所述第一视频流，确定所述拍摄现场中用户感兴趣区域；
向所述多个视频采集端中能够采集到所述用户感兴趣区域的至少一个第一视频采集端分别发送第一指令，所述第一指令用于指示所述第一视频采集端使用第二压缩率对采集到的视频流压缩，所述第二压缩率小于所述第一压缩率；
向所述多个视频采集端中所述至少一个第一视频采集端以外的其它视频采集端发送第二指令，所述第二指令用于指示所述其它视频采集端停止采集视频流，或者使用第三压缩率对采集的视频压缩，所述第三压缩率大于所述第二压缩率；
接收所述至少一个第一视频采集端分别发送的、采用所述第二压缩率压缩后的第二视频流；
基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频；
识别所述多个解压后的第二视频流内的关键内容，所述关键内容包括所述第二视频流内的一个或多个对象；
根据所述关键内容，确定与所述关键内容相关的附加内容；所述关键内容包括特定人物时，所述附加内容包括与所述特定人物相关的广告品购买链接和/或历史精彩回顾；
在所述第一全景视频内添加所述附加内容，得到第二全景视频。
2.如权利要求1所述的方法，其特征在于，还包括：
接收所述多个视频采集端中除所述至少一个第一视频采集端之外的至少一个第二视频采集端分别发送的、采用所述第一压缩率压缩后的第二视频流；
基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频，包括：
基于所述第一压缩率对所述至少一个第二视频采集端分别发送的第二视频流解压，以及基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频。
3.如权利要求1所述的方法，其特征在于，根据多个解压后的所述第一视频流，确定所述拍摄现场中用户感兴趣区域之后，所述方法还包括：
向所述多个视频采集端中除去所述能够采集到所述用户感兴趣区域的至少一个第一视频采集端之外的其它视频采集端发送第二指令，所述第二指令用于指示所述其它视频采集端停止采集视频流，或，停止向所述平台发送视频流。
4.如权利要求1-3任一所述的方法，其特征在于，所述用户感兴趣区域为所述拍摄现场内的预设拍摄区域，或者，为用户在所述多个解压后的第一视频流中选择的区域。
5.如权利要求1所述的方法，其特征在于，所述附加内容为所述多个解压后的第二视频流内与所述关键内容相关的一帧或多帧图像，或为在所述多个解压后的第二视频流之外与所述关键内容相关联的内容。
6.如权利要求1所述的方法，其特征在于，根据所述关键内容，确定与所述关键内容相关的附加内容，包括：
向第三方内容源发送内容请求，所述内容请求中携带用于描述所述附加内容的属性信息，或者携带所述关键内容；所述附加内容的属性信息为根据所述关键内容确定的；
接收所述第三方内容源发送的附加内容。
7.一种全景视频生成装置，其特征在于，包括：
通信模块，用于接收部署在拍摄现场的多个视频采集端中每个视频采集端分别发送的、采用第一压缩率压缩后的第一视频流；
处理模块，用于基于所述第一压缩率对所述每个视频采集端分别发送的第一视频流解压，根据多个解压后的所述第一视频流，确定所述拍摄现场中用户感兴趣区域；
所述通信模块，还用于向所述多个视频采集端中能够采集到所述用户感兴趣区域的至少一个第一视频采集端分别发送第一指令，所述第一指令用于指示所述第一视频采集端使用第二压缩率对采集到的视频流压缩，所述第二压缩率小于所述第一压缩率；
所述通信模块，还用于向所述多个视频采集端中所述至少一个第一视频采集端以外的其它视频采集端发送第二指令，所述第二指令用于指示所述其它视频采集端停止采集视频流，或者使用第三压缩率对采集的视频压缩，所述第三压缩率大于所述第二压缩率；
所述通信模块，还用于接收所述至少一个第一视频采集端分别发送的、采用所述第二压缩率压缩后的第二视频流；
所述处理模块，还用于基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频；
所述处理模块还用于：识别所述多个解压后的第二视频流内的关键内容，所述关键内容包括所述第二视频流内的一个或多个对象；根据所述关键内容，确定与所述关键内容相关的附加内容；所述关键内容包括特定人物时，所述附加内容包括与所述特定人物相关的广告品购买链接和/或历史精彩回顾；在所述第一全景视频内添加所述附加内容，得到第二全景视频。
8.如权利要求7所述的装置，其特征在于，所述通信模块还用于：接收所述多个视频采集端中除所述至少一个第一视频采集端之外的至少一个第二视频采集端分别发送的、采用所述第一压缩率压缩后的第二视频流；
所述处理模块在用于基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频时，具体用于：
基于所述第一压缩率对所述至少一个第二视频采集端分别发送的第二视频流解压，以及基于所述第二压缩率对所述至少一个第一视频采集端分别发送的第二视频流解压，根据多个解压后的所述第二视频流，生成第一全景视频。
9.如权利要求7所述的装置，其特征在于，所述通信模块还用于：
向所述多个视频采集端中除去所述能够采集到所述用户感兴趣区域的至少一个第一视频采集端之外的其它视频采集端发送第二指令，所述第二指令用于指示所述其它视频采集端停止采集视频流，或，停止向所述全景视频生成装置发送视频流。
10.如权利要求7-9任一所述的装置，其特征在于，所述用户感兴趣区域为所述拍摄现场内的预设拍摄区域，或者，为用户在所述多个解压后的第一视频流中选择的区域。
11.如权利要求7所述的装置，其特征在于，所述附加内容为所述多个解压后的第二视频流内与所述关键内容相关的一帧或多帧图像，或为在所述多个解压后的第二视频流之外与所述关键内容相关联的内容。
12.如权利要求7所述的装置，其特征在于，所述通信模块还用于：
向第三方内容源发送内容请求，所述内容请求中携带用于描述所述附加内容的属性信息，或者携带所述关键内容；所述附加内容的属性信息为根据所述关键内容确定的；
接收所述第三方内容源发送的附加内容。
13.一种全景视频生成装置，其特征在于，包括：
一个或多个处理器；
一个或多个存储器；
通信接口，用于与其他设备通信；
其中，所述存储器存储有计算机程序，当所述计算机程序被所述一个或多个处理器执行时，使得所述全景视频生成装置通过所述通信接口实现如权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当计算机程序在全景视频生成装置的处理器上运行时，使得所述全景视频生成装置实现如权利要求1-6任一项所述的方法。
CN201911054357.7A 2019-10-31 2019-10-31 一种全景视频生成方法、视频采集方法与相关装置 Active CN112752032B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911054357.7A CN112752032B (zh) 2019-10-31 2019-10-31 一种全景视频生成方法、视频采集方法与相关装置
EP20883200.6A EP4044584A4 (en) 2019-10-31 2020-10-29 PANORAMIC VIDEO GENERATION PROCESS, VIDEO CAPTURE PROCESS AND RELATED EQUIPMENT
PCT/CN2020/124929 WO2021083293A1 (zh) 2019-10-31 2020-10-29 一种全景视频生成方法、视频采集方法与相关装置
US17/732,017 US20220256191A1 (en) 2019-10-31 2022-04-28 Panoramic video generation method, video collection method, and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911054357.7A CN112752032B (zh) 2019-10-31 2019-10-31 一种全景视频生成方法、视频采集方法与相关装置

Publications (2)

Publication Number Publication Date
CN112752032A CN112752032A (zh) 2021-05-04
CN112752032B true CN112752032B (zh) 2023-01-06

Family

ID=75644745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911054357.7A Active CN112752032B (zh) 2019-10-31 2019-10-31 一种全景视频生成方法、视频采集方法与相关装置

Country Status (4)

Country Link
US (1) US20220256191A1 (zh)
EP (1) EP4044584A4 (zh)
CN (1) CN112752032B (zh)
WO (1) WO2021083293A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185078A (zh) * 2013-05-20 2014-12-03 华为技术有限公司 视频监控处理方法、装置及系统
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统
CN107529064A (zh) * 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US9978183B2 (en) * 2015-09-18 2018-05-22 Fove, Inc. Video system, video generating method, video distribution method, video generating program, and video distribution program
US20170200315A1 (en) * 2016-01-07 2017-07-13 Brendan Lockhart Live stereoscopic panoramic virtual reality streaming system
JP6429829B2 (ja) * 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185078A (zh) * 2013-05-20 2014-12-03 华为技术有限公司 视频监控处理方法、装置及系统
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统
CN107529064A (zh) * 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法

Also Published As

Publication number Publication date
EP4044584A1 (en) 2022-08-17
CN112752032A (zh) 2021-05-04
US20220256191A1 (en) 2022-08-11
WO2021083293A1 (zh) 2021-05-06
EP4044584A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
US11381739B2 (en) Panoramic virtual reality framework providing a dynamic user experience
US10701448B2 (en) Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
US10271082B2 (en) Video distribution method, video reception method, server, terminal apparatus, and video distribution system
CN109565605B (zh) 拍摄技术生成方法以及影像处理装置
US11653065B2 (en) Content based stream splitting of video data
CN111937397B (zh) 媒体数据处理方法及装置
US9363542B2 (en) Techniques to provide an enhanced video replay
KR102099357B1 (ko) 스크린 샷을 제공하는 장치 및 시스템, 그리고 방법
CN108632676B (zh) 图像的显示方法、装置、存储介质及电子装置
JP2019159950A (ja) 情報処理装置および情報処理方法
CN110035316B (zh) 处理媒体数据的方法和装置
CN112423110A (zh) 直播视频数据生成方法、装置及直播视频播放方法、装置
US20170225077A1 (en) Special video generation system for game play situation
CN111542862A (zh) 用于处理和分发直播虚拟现实内容的方法和设备
EP3429706B1 (en) Shared experiences in panoramic video
US10284907B2 (en) Device, system, and method for game enhancement using cross-augmentation
CN107707830B (zh) 基于单向通信的全景视频播放拍照系统
CN112752032B (zh) 一种全景视频生成方法、视频采集方法与相关装置
CN116939231A (zh) 基于虚拟现实的直播方法、装置、设备及存储介质
WO2021018223A1 (zh) 视频的缓存方法和装置
CN108574881A (zh) 一种投影类型推荐方法、服务器及客户端
CN117440128A (zh) 视频处理方法、播放方法及相关系统、存储介质
CN118283277A (zh) 媒体数据处理方法及装置
CN116016961A (zh) 一种vr内容直播方法、装置及存储介质
JP2004320092A (ja) デジタルコンテンツ要約再生方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant