CN105959579B - 一种360度全景视频局部内容更换装置 - Google Patents

一种360度全景视频局部内容更换装置 Download PDF

Info

Publication number
CN105959579B
CN105959579B CN201610568977.2A CN201610568977A CN105959579B CN 105959579 B CN105959579 B CN 105959579B CN 201610568977 A CN201610568977 A CN 201610568977A CN 105959579 B CN105959579 B CN 105959579B
Authority
CN
China
Prior art keywords
video
south
north pole
selection module
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610568977.2A
Other languages
English (en)
Other versions
CN105959579A (zh
Inventor
陈勇
孙波
谢亚光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201610568977.2A priority Critical patent/CN105959579B/zh
Publication of CN105959579A publication Critical patent/CN105959579A/zh
Application granted granted Critical
Publication of CN105959579B publication Critical patent/CN105959579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种360度全景视频局部内容更换装置，包括素材选择模块、智能选择模块、视频编辑模块和视频合成模块，素材选择模块用于获取视频及素材，智能选择模块用于提供选择视频的处理方式，视频编辑模块用于对视频的局部内容的精加工，视频合成模块用于对素材进行解码、用素材对视频进行叠加或替换合成处理、并对处理后的视频进行交织编码，这种360度全景视频局部内容更换装置，通过统一化地将视频与素材进行获取及加工，且在此基础上改善视频加工进程，极大提高了对360全景视频内容再加工的处理效率。

Description

一种360度全景视频局部内容更换装置
技术领域
本发明涉及一种360度全景视频局部内容更换装置。
背景技术
目前的360全景视频，由于多目摄像采集设备的限制，在拍摄期间，全景采集设备的底部通常是没有相机的，导致了视频的南北极(因为全景视频在采集缝合时会形成一个球体，球的顶部和底部在这里称为北极和南极)可能存在黑洞效应。
目前大多数厂家在应用时将这种黑洞用一张图片或一段视频来替换，从而达到较好的体验，甚至增值的目的。因为视频顶部(北极)的可视性相对较差，有些时候会在视频的北极也进行同样的处理。
基于上面的原因，当提供这样的成品内容给第三方使用时，第三方通常不愿意使用内部提供方已经合成在全景视频中的带有商业信息的南北极内容(图片或者运动视频)，而希望用自有的图片替换，但目前还没有应用能满足。
发明内容
本发明的目的在于克服现有技术中的不足而提供一种360度全景视频局部内容更换装置。
为实现上述目的，一方面，本发明提供的一种360度全景视频局部内容更换装置，包括素材选择模块、智能选择模块、视频编辑模块和视频合成模块，素材选择模块用于获取视频及素材，智能选择模块用于提供选择视频的处理方式，视频编辑模块用于对视频的局部内容的精加工，视频合成模块用于对素材进行解码、用素材对视频进行叠加或替换合成处理、并对处理后的视频进行交织编码。
优选地，素材选择模块通过上游系统或第三方提供的360度全景直播视频流的URL获取视频。
优选地，素材选择模块通过挂接第三方存储系统从素材库中获取视频。
优选地，素材选择模块通过挂接第三方存储系统从素材库中获取素材。
根据本发明提供的一种360度全景视频局部内容更换装置，通过统一化地将视频与素材进行获取及加工，且在此基础上改善视频加工进程，极大提高了对360全景视频内容再加工的处理效率。
附图说明
图1是本发明一实施例的一种360度全景视频局部内容更换装置的流程逻辑框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明一实施例的一种360度全景视频局部内容更换装置，包括素材选择模块、智能选择模块、视频编辑模块和视频合成模块。素材选择模块用于获取视频及素材，智能选择模块用于提供选择视频的处理方式，视频编辑模块用于对视频的局部内容的精加工，视频合成模块用于对素材进行解码、用素材对视频进行叠加或替换合成处理、并对处理后的视频进行交织编码。
请结合图1，图1为这种360度全景视频局部内容更换装置的一实施例的工作流程逻辑框图。
具体地，素材选择模块的内容来源支持主要为：
视频来源：
1、360全景视频文件A1：上游系统或者第三方提供的360度全景直播视频流，只需要将全景视频流通过URL的方式提供给本装置。
2、360全景视频文件A2：素材库里的360度全景视频文件
本装置挂接第三方存储系统(可以通过NFS、WebDav、CIFS等方式形成一个本地虚拟存储)，可以通过HTTP、FTP等方式将视频URL提供给本装置，从而实现远程访问素材，或将素材复制至本装置内，并在本机的UI界面上选取相应素材。
素材来源：
素材B：用于叠加的图片或视频文件，图片和视频均可能带有Alpha通道
此处素材B的获取方式与上文的“360全景视频文件A2”的获取方式相同。
在素材选取后，使用者可以按需自行决定是通过智能选择模块进行内容更换还是选择视频编辑模块进行局部的精加工。
本系统的内容加工任务除了可以在本装置的UI界面上进行操作，亦可通过本装置提供的API接口进行。其作用是将待加工的360全景视频文件A1或者360全景视频文件A2里的局部画面内容由素材B的画面来替换。
具体地，由于主要的待加工内容是对南北极区域进行处理，因此智能选择模块即针对南北极圈的区域、针对南北极圈的大小(以下称为南北极参数，在这里称为纬度)的处理，本装置定义了三种可由使用者决定的处理方式：
1、内置摄像装置的南北极参数，由于不同摄像装置的南北极圈的尺寸存在不一致的情况，本装置将会不断内置更多厂家的南北极参数，使用者选择此方式时，需要进一步指定厂家装置类型来进行针对的加工替换；
2、直接指定南北极参数进行加工替换；
3、智能识别方法，此方法将会对原始视频进行分析，通过前后视频帧内容自动对比发现南北极的区域大小，也就是发现Equirectanglar模式下的南北极画面不变区域的高度，从而达到让使用者无须提供参数就可以达到局部内容叠加或者替换的目的，使用此方法可以大大减小加工进程的人力和时间成本。
上述三种处理方法的选择由使用者决定，其可以通过本装置的UI系统进行选择，亦可在API中进行指定。
具体地，由于在某些情况下，使用者需要做到对精确的局部内容更换叠加，甚至不是南北极区域(这种情况也会真实存在，当内容生产方二次加工时想要加入更多的商业内容时)。
因此，在视频编辑模块中，提供对不限于南北极的视频局部进行编辑加工，且提供全景视频的Equirectanglar方式预览和球形全景方式预览。在球形全景方式预览时，用户可以自由将图片拖动到任何位置，并可以进行缩放调节。叠加的图片和视频内容画面将会自动贴合至球面相应位置。Equirectangle方式预览方便使用者查看叠加的内容在任何时刻是否完全精准贴合。
值得说明的是，在这里提供的两种预览方式是支持音视频实时播放的，即使用者会真实感受到将要生产出来的成品文件的最终效果。
具体地，视频编辑模块可以适用于直播流和视频文件。
具体地，视频合成模块通过以下三个步骤进行对视频的素材叠加替换加工：
步骤1、全景素材及叠加素材的视码步骤，此步骤需要将全景视频文件A1或全景视频文件A2和叠加的素材B解码成相应的图像。
步骤2、内容加工步骤，当使用者在素材选择模块时选择的是采用智能选择模块的方式，此时的合成方法是将素材B中叠加内容的画面的中心点与待加工视频文件的南极点或者北极点重叠，并根据南北极参数对叠加内容的画面进行相应的缩放从而填满南极圈区域或者北极圈区域；当使用者在素材选择模块时选择的是采用视频编辑模块的方式，则按照其在视频编辑系统中确定的参数进行局部图像替换合成。
步骤3、内容编码步骤，将合成好的图像与视频文件A1或视频文件A2中的音频进行交织后进行通用的编码过程，使用者可以在本装置中设定编码参数(不限于编码格式、分辨率、长宽比等)，本装置将按照使用者的要求编码成目标视频流或者视频文件。
综上，根据本发明提供的一种360度全景视频局部内容更换装置，通过统一化地将视频与素材进行获取及加工，且在此基础上改善视频加工进程，极大提高了对360全景视频内容再加工的处理效率。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种360度全景视频局部内容更换装置，其特征在于，包括素材选择模块、智能选择模块、视频编辑模块和视频合成模块，所述素材选择模块用于获取视频及素材，所述智能选择模块用于提供选择所述视频的针对南北极圈区域的处理方式，所述视频编辑模块用于对所述视频的局部内容的精加工，所述视频合成模块用于对所述素材进行解码、用所述素材对所述视频进行叠加或替换合成处理、并对处理后的所述视频进行交织编码，
所述视频的处理方式包括内置摄像装置的南北极参数替换方式、直接指定南北极参数替换方式、智能识别南北极参数替换方式，所述南北极参数包括南北极圈的区域、南北极圈的大小，所述智能识别南北极参数替换方式通过对前后视频帧内容自动对比发现南北极区域大小，
当采用所述智能选择模块的处理方式时，合成方法是将用于叠加的图片或视频文件中叠加内容的画面的中心点与待加工视频文件的南极点或者北极点重叠，并根据南北极参数对叠加内容的画面进行相应的缩放从而填满南极圈区域或者北极圈区域。
2.根据权利要求1所述的一种360度全景视频局部内容更换装置，其特征在于，所述素材选择模块通过上游系统或第三方提供的360度全景直播视频流的URL获取所述视频。
3.根据权利要求1所述的一种360度全景视频局部内容更换装置，其特征在于，所述素材选择模块通过挂接第三方存储系统从素材库中获取所述视频。
4.根据权利要求1所述的一种360度全景视频局部内容更换装置，其特征在于，所述素材选择模块通过挂接第三方存储系统从素材库中获取所述素材。
CN201610568977.2A 2016-07-18 2016-07-18 一种360度全景视频局部内容更换装置 Active CN105959579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610568977.2A CN105959579B (zh) 2016-07-18 2016-07-18 一种360度全景视频局部内容更换装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610568977.2A CN105959579B (zh) 2016-07-18 2016-07-18 一种360度全景视频局部内容更换装置

Publications (2)

Publication Number Publication Date
CN105959579A CN105959579A (zh) 2016-09-21
CN105959579B true CN105959579B (zh) 2020-04-17

Family

ID=56901363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610568977.2A Active CN105959579B (zh) 2016-07-18 2016-07-18 一种360度全景视频局部内容更换装置

Country Status (1)

Country Link
CN (1) CN105959579B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995493B (zh) * 2017-10-30 2021-03-19 河海大学 一种全景视频的多描述视频编码方法
CN107871313A (zh) * 2017-11-16 2018-04-03 深圳岚锋创视网络科技有限公司 全景照片局部区域替换方法、系统及便携式终端
CN112822541B (zh) 2019-11-18 2022-05-20 北京字节跳动网络技术有限公司 视频生成方法、装置、电子设备和计算机可读介质
CN111862936A (zh) * 2020-07-28 2020-10-30 游艺星际(北京)科技有限公司 生成及发布作品的方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938605A (zh) * 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成全景视频的方法
CN103258316A (zh) * 2013-03-29 2013-08-21 东莞宇龙通信科技有限公司 一种图片处理方法和装置
CN105205853A (zh) * 2014-06-20 2015-12-30 西安英诺视通信息技术有限公司 一种用于全景视图管理的3d图像拼接合成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140321771A1 (en) * 2013-04-24 2014-10-30 Qualcomm Incorporated Techniques for real-time clearing and replacement of objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938605A (zh) * 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成全景视频的方法
CN103258316A (zh) * 2013-03-29 2013-08-21 东莞宇龙通信科技有限公司 一种图片处理方法和装置
CN105205853A (zh) * 2014-06-20 2015-12-30 西安英诺视通信息技术有限公司 一种用于全景视图管理的3d图像拼接合成方法

Also Published As

Publication number Publication date
CN105959579A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
US10757392B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
CN108702528B (zh) 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
CN105959579B (zh) 一种360度全景视频局部内容更换装置
CN110730296B (zh) 图像处理装置、图像处理方法及计算机可读介质
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
KR102221301B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
US8953079B2 (en) System and method for generating 360 degree video recording using MVC
EP3804349B1 (en) Adaptive panoramic video streaming using composite pictures
US11694303B2 (en) Method and apparatus for providing 360 stitching workflow and parameter
US20130089301A1 (en) Method and apparatus for processing video frames image with image registration information involved therein
WO2019226369A1 (en) Adaptive panoramic video streaming using overlapping partitioned sections
WO2018093840A1 (en) Spherical rotation for encoding wide view video
RU2718118C2 (ru) Устройство для обработки информации и способ обработки информации
WO2018040577A1 (zh) 图像采集过程中实现自适应屏幕旋转的方法及系统
CN110401795A (zh) 图像处理装置、图像处理方法和程序
CN111669564B (zh) 图像重建方法、系统、设备及计算机可读存储介质
WO2019062613A1 (zh) 一种媒体信息的处理方法及装置
WO2020004593A1 (ja) データ生成装置およびデータ生成方法
CN111667438A (zh) 视频重建方法、系统、设备及计算机可读存储介质
JP2015080142A (ja) 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム
WO2018027067A1 (en) Methods and systems for panoramic video with collaborative live streaming
US20210133937A1 (en) Method and system for creating, storing, sharing, and displaying multiple perspectives of an image
KR20220045038A (ko) 코드 스트림의 처리 방법, 장치, 제1 단말, 제2 단말 및 저장 매체
KR102461032B1 (ko) 영상 스티칭 워크플로우 및 파라미터 제공 방법 및 장치
CN118283287A (zh) 亿级像素视频的直播方法、装置、介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310000 A Block, 16th Floor, E Building, Paradise Software Park, No. 3 Xidoumen Road, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Dang Hong Polytron Technologies Inc

Address before: 310000 B2010, two floor, North (two), six and 368 Road, Binjiang District, Hangzhou, Zhejiang.

Applicant before: HANGZHOU DANGHONG TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant