CN106131581A - 混合图像的全景视频制作技术 - Google Patents

混合图像的全景视频制作技术 Download PDF

Info

Publication number
CN106131581A
CN106131581A CN201610541814.5A CN201610541814A CN106131581A CN 106131581 A CN106131581 A CN 106131581A CN 201610541814 A CN201610541814 A CN 201610541814A CN 106131581 A CN106131581 A CN 106131581A
Authority
CN
China
Prior art keywords
video
panoramic
panoramic video
manufacturing technology
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610541814.5A
Other languages
English (en)
Inventor
李树欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Friction Network Technology Co Ltd
Original Assignee
Shanghai Friction Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Friction Network Technology Co Ltd filed Critical Shanghai Friction Network Technology Co Ltd
Priority to CN201610541814.5A priority Critical patent/CN106131581A/zh
Publication of CN106131581A publication Critical patent/CN106131581A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明涉及全景视频技术领域，具体涉及混合图像的全景视频制作技术；该技术为:在一个360度全景拍摄的场景中，将需要拍摄区域规划为静止区域和动态区域，采用具有多个镜头的全景成像系统拍摄全景内容，动态区域采用视频拍摄和编码的方式表示，静态区域用拍摄静止图片的方式记录，将拍摄的静态图像和视频混合编码到同一路码流中，就可以完整记录一个场景；本发明混合图像的全景视频制作技术，它可以在保持高视觉体验的前提下大幅降低全景视频的数据量，降低内容存储和传输的成本。

Description

混合图像的全景视频制作技术
技术领域
本发明涉及全景视频技术领域，具体涉及混合图像的全景视频制作技术。
背景技术
全景视频是一种通过两个以上的摄像头同时连续拍摄360度全视角图像，并经过编码产生的的视频内容。多个摄像头拍摄的图像通过算法拼接在一起以后成为一路包含所有视角信息的视频流，全景视频可以记录完整的现场图像信息，在虚拟现实头盔等新型显示设备上可以很好地再现完整现场场景，给用户身临其境的感觉，具有非常广泛的实用价值。
由于全景视频同时记录了多个视角的信息，在同等清晰度条件下，全景视频的画面尺寸就要比普通相机产生的视频大很多倍，这将给视频的存储和传输带来很大压力。
为了解决全景相机的带宽需求，部分现有产品采用了广角的相机拍摄部分画面，通过鱼眼镜头获得较大的视场角(Field of View)，来获得近似于全景相机的效果。鱼眼镜头可以提供一个很大的视场角，但不能覆盖全部视野范围，对用户拍摄的图像来说仍然存在较大的视觉盲区，用户无法看到相机背面的场景。
用鱼眼镜头产生的视频在播放时由于场景不完整，现有方案通常将没有拍摄到的区域用固定的黑色填充，在虚拟现实等新型显示设备中，这种处理方式会显著降低用户的临场感，当用户转动观看视角时会看到不连贯的黑色区域，对临场感和视觉体验带来明显影响。
发明内容
本发明的目的在于针对现有技术的缺陷和不足，提供一种混合图像的全景视频制作技术，该技术为:在一个360度全景拍摄的场景中，将需要拍摄区域规划为静止区域和动态区域，动态区域采用视频拍摄和编码的方式表示，静态区域用拍摄静止图片的方式记录，将拍摄的静态图像和视频混合编码到同一路码流中，就可以完整记录一个场景。
采用上述技术后，本发明有益效果为：本发明所述的混合图像的全景视频制作技术，它可以在保持高视觉体验的前提下大幅降低全景视频的数据量，降低内容存储和传输的成本。
附图说明
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是具体实施方式中混合拍摄系统说明图；
图2是具体实施方式中视频图像混合渲染说明图。
具体实施方式
本具体实施方式所述的混合图像的全景视频制作技术，该技术为:在一个360度全景拍摄的场景中，拍摄系统采用多镜头成像系统，通过多个镜头模组覆盖360度的全景视角，部分镜头模组拍摄镜头图像，部分镜头模组拍摄视频。拍摄时将需要拍摄区域规划为静止区域和动态区域，动态区域采用视频拍摄和编码的方式表示，静态区域用拍摄静止图片的方式记录，将拍摄的静态图像和视频混合编码到同一路码流中，就可以完整记录一个场景。
在全景视频拍摄的许多实际应用场景中，不同视角的内容对于节目的重要性往往非常不同，例如在直播节目中，节目制作者需要用户关注的是节目现场的信息，而背面的信息往往只是作为背景，这些背景在很多场景下是可以设计成静止不动的；静止的场景可以用静态图片表示，而具有活动目标的区域可以采用视频拍摄来表示。
具体实现中，本发明的拍摄系统由多个独立的成像系统组成，如图1所示的实例中，拍摄系统包含一个视频摄像头和三个静态图片摄像头，所有摄像头的输出信息都同时输入到一个用于拼接多路输入的计算机系统中。负责处理图像的计算机系统以固定频率从视频摄像机采集图像，并将视频摄像机采集的连续图像通过视频编码算法，如MPEG或H.264，编码成视频码流，在由软件指定的特定时刻，视频摄像机可以从一个或多个静态图像摄像头获取一幅静态图像，并将与视频流关联的时间戳附加到该静态图像中，静态图像可采用常规的图像压缩算法，如JPEG算法，进行编码。
在混合静态图片和视频的码流(以下称为混合视频流)中，静态图片数据包可以与音频、视频等标准视频流数据交织保存，并可以利用PTS(Presentation Time Stamp)等标准时间戳来表示图片和视频在渲染时的时间同步关系。除压缩图像数据外，静态图片数据包还需要包含用于渲染时与视频流叠加的几何信息。
如图2所示：混合视频流在播放时在空间中渲染的位置可以用等效的立方体表示；实际渲染不局限于立方体，也可用球体等任意几何形状，但立方体渲染时的数学处理较简单，是最常用的表达方法之一。如以立方体描述渲染过程，在多视角的视频渲染时，其在空间中的位置相当于一个立方体面上某一个或多个几何区域，技术实现上较常采用矩形区域描述，图2中立方体表面白色区域用静态图片表示，而其中若干区域可以指向视频流，通过分割不同渲染区域对应的视频或图片纹理，静态图片和视频内容就可在立方体表面无缝拼接起来，当静态图片所描述区域场景没有发生变化时，其视觉效果等效于用仅用全景视频记录的方法。
通过制作节目时仔细规划静态和动态区域，视频制作者可以采用本技术用静态图片代替一定比例的视频流，从而大幅降低视频的码率，达到节省带宽的目的，或者在相同带宽条件下提供更好质量的视觉效果。
本发明所述的混合图像的全景视频制作技术，它可以在保持高视觉体验的前提下大幅降低全景视频的数据量，降低内容存储和传输的成本。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (9)

1.混合图像的全景视频制作技术，其特征在于它的具体技术为：在一个360度全景拍摄的场景中，将需要拍摄区域规划为静止区域和动态区域，动态区域采用视频拍摄和编码的方式表示，静态区域用拍摄静止图片的方式记录，将拍摄的静态图像和视频混合编码到同一路码流中，就可以完整记录一个场景。
2.根据权利要求1所述的混合图像的全景视频制作技术，其特征在于：采用多个镜头组成的全景成像系统拍摄全景视频，其中部分镜头拍摄全景图像，部分镜头拍摄视频，所有镜头拍摄的内容合并起来组成完整的全景视觉内容信息。
3.根据权利要求1所述的混合图像的全景视频制作技术，其特征在于：由多个镜头组成的全景拍摄系统中，各个镜头之间的相对位置和角度是固定的且对于计算机系统已知的。
4.根据权利要求1所述的混合图像的全景视频制作技术，其特征在于：在全景成像系统产生的视频流中插入静态图像数据包，视频渲染时部分视角由静态图像表示，部分视角由视频表示。
5.根据权利要求1所述的混合图像的全景视频制作技术，其特征在于：在视频流中打包静态图片时加入时间戳信息，以在正确的时间点结合视频和图片同时渲染。
6.根据权利要求1所述的混合图像的全景视频制作技术，其特征在于：在混合图片和视频构成的全景视频流中，可以有多路图片和多路视频，在三维空间中渲染全景视频的几何体上可以同时渲染多路视频和多张图片。
7.根据权利要求1所述的混合图像的全景视频制作技术，其特征在于：拍摄混合图片和视频的全景视频流时，图片和视频应采用相同或相近参数的光学系统进行拍摄以便进行拼接处理。
8.根据根据权利要求1所述的混合图像的全景视频制作技术，其特征在于：在混合图片和视频构成的全景视频流中包含描述不同渲染区域相关图像和视频的详细几何信息，以描述渲染时具体区域关联的图像或视频。
9.根据根据权利要求1所述的混合图像的全景视频制作技术，其特征在于：拍摄或渲染混合静态图像的视频流时需根据拍摄系统的光学参数对静态图像和视频进行拼接以还原完整的全景场景。
CN201610541814.5A 2016-07-12 2016-07-12 混合图像的全景视频制作技术 Pending CN106131581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610541814.5A CN106131581A (zh) 2016-07-12 2016-07-12 混合图像的全景视频制作技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610541814.5A CN106131581A (zh) 2016-07-12 2016-07-12 混合图像的全景视频制作技术

Publications (1)

Publication Number Publication Date
CN106131581A true CN106131581A (zh) 2016-11-16

Family

ID=57283033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610541814.5A Pending CN106131581A (zh) 2016-07-12 2016-07-12 混合图像的全景视频制作技术

Country Status (1)

Country Link
CN (1) CN106131581A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222794A (zh) * 2017-06-27 2017-09-29 苏州蜗牛数字科技股份有限公司 一种在全景视频播放器中添加水印和背景的方法
CN107547786A (zh) * 2017-08-29 2018-01-05 南京电狐网络科技有限公司 一种基于物联网的带自清洁功能的监控摄像头
CN107968949A (zh) * 2018-01-22 2018-04-27 盎锐（上海）信息科技有限公司 基于全景影像的动态数据处理方法及全景拍摄系统
CN108200343A (zh) * 2018-01-22 2018-06-22 盎锐（上海）信息科技有限公司 基于全景影像的图像处理方法及全景拍摄系统
CN108391048A (zh) * 2018-02-07 2018-08-10 盎锐（上海）信息科技有限公司 具有说明功能的数据生成方法及全景拍摄系统
CN109842740A (zh) * 2017-11-24 2019-06-04 富泰华工业（深圳）有限公司 全景摄像机、图像处理系统及图像处理方法
CN115103174A (zh) * 2022-05-27 2022-09-23 南昌威爱信息科技有限公司 用于递送体积视频内容的方法和装置
WO2022206168A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种视频制作方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559846B1 (en) * 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2006345400A (ja) * 2005-06-10 2006-12-21 Matsushita Electric Ind Co Ltd ビデオカメラ装置
CN101689293A (zh) * 2007-06-29 2010-03-31 微软公司 扩充用于全景显示的图像
CN101877767A (zh) * 2009-04-30 2010-11-03 爱国者全景(北京)网络科技发展有限公司 一种六通道视频源生成三维全景连续视频的方法和系统
CN102760303A (zh) * 2012-07-24 2012-10-31 南京仕坤文化传媒有限公司 一种虚拟现实动态场景视频的拍摄技术与嵌入方法
US20130141523A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Panoramic Video Hosting
US20150244944A1 (en) * 2014-02-27 2015-08-27 Sony Corporation Device and method for panoramic image processing
CN105340281A (zh) * 2013-07-05 2016-02-17 索尼公司 发送装置、发送方法、接收装置和接收方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559846B1 (en) * 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2006345400A (ja) * 2005-06-10 2006-12-21 Matsushita Electric Ind Co Ltd ビデオカメラ装置
CN101689293A (zh) * 2007-06-29 2010-03-31 微软公司 扩充用于全景显示的图像
CN101877767A (zh) * 2009-04-30 2010-11-03 爱国者全景(北京)网络科技发展有限公司 一种六通道视频源生成三维全景连续视频的方法和系统
US20130141523A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Panoramic Video Hosting
CN102760303A (zh) * 2012-07-24 2012-10-31 南京仕坤文化传媒有限公司 一种虚拟现实动态场景视频的拍摄技术与嵌入方法
CN105340281A (zh) * 2013-07-05 2016-02-17 索尼公司 发送装置、发送方法、接收装置和接收方法
US20150244944A1 (en) * 2014-02-27 2015-08-27 Sony Corporation Device and method for panoramic image processing

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222794A (zh) * 2017-06-27 2017-09-29 苏州蜗牛数字科技股份有限公司 一种在全景视频播放器中添加水印和背景的方法
CN107547786A (zh) * 2017-08-29 2018-01-05 南京电狐网络科技有限公司 一种基于物联网的带自清洁功能的监控摄像头
CN107547786B (zh) * 2017-08-29 2020-08-21 汤在英 一种基于物联网的带自清洁功能的监控摄像头
CN109842740A (zh) * 2017-11-24 2019-06-04 富泰华工业（深圳）有限公司 全景摄像机、图像处理系统及图像处理方法
CN107968949A (zh) * 2018-01-22 2018-04-27 盎锐（上海）信息科技有限公司 基于全景影像的动态数据处理方法及全景拍摄系统
CN108200343A (zh) * 2018-01-22 2018-06-22 盎锐（上海）信息科技有限公司 基于全景影像的图像处理方法及全景拍摄系统
CN108391048A (zh) * 2018-02-07 2018-08-10 盎锐（上海）信息科技有限公司 具有说明功能的数据生成方法及全景拍摄系统
WO2022206168A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种视频制作方法及系统
CN115103174A (zh) * 2022-05-27 2022-09-23 南昌威爱信息科技有限公司 用于递送体积视频内容的方法和装置

Similar Documents

Publication Publication Date Title
CN106131581A (zh) 混合图像的全景视频制作技术
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US10694102B2 (en) Method to capture, store, distribute, share, stream and display panoramic image or video
CN101689292B (zh) Banana多媒体数字信号编解码器
US9544498B2 (en) Method for forming images
US20080158345A1 (en) 3d augmentation of traditional photography
CN108886611A (zh) 全景立体视频系统的拼接方法和装置
CN107426491B (zh) 一种360度全景视频的实现方法
US20060165310A1 (en) Method and apparatus for a virtual scene previewing system
CA2927046A1 (en) Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
CN106296589B (zh) 全景图像的处理方法及装置
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN107240147B (zh) 图像渲染方法及系统
US10390007B1 (en) Method and system for panoramic 3D video capture and display
CN105898139A (zh) 全景视频制作方法及装置、全景视频播放方法及装置
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN108614636A (zh) 一种3d实景vr制作方法
CN202721763U (zh) 一种全景视频采集装置
CN205792915U (zh) 球型全景摄像装置
US20100164952A1 (en) Stereoscopic image production method and system
CN114885147B (zh) 融合制播系统及方法
EP3185560A1 (en) System and method for encoding and decoding information representative of a bokeh model to be applied to an all-in-focus light-field content
US11889220B2 (en) Method for coding space information in continuous dynamic images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161116

RJ01 Rejection of invention patent application after publication