CN114245190A - 一种双视频流自由视点视频播放系统 - Google Patents

一种双视频流自由视点视频播放系统 Download PDF

Info

Publication number
CN114245190A
CN114245190A CN202111558406.8A CN202111558406A CN114245190A CN 114245190 A CN114245190 A CN 114245190A CN 202111558406 A CN202111558406 A CN 202111558406A CN 114245190 A CN114245190 A CN 114245190A
Authority
CN
China
Prior art keywords
view
visual
module
angle
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111558406.8A
Other languages
English (en)
Inventor
宫苏辉
肖伟
冯振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
E Surfing Video Media Co Ltd
Original Assignee
E Surfing Video Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by E Surfing Video Media Co Ltd filed Critical E Surfing Video Media Co Ltd
Priority to CN202111558406.8A priority Critical patent/CN114245190A/zh
Publication of CN114245190A publication Critical patent/CN114245190A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种双视频流自由视点视频播放系统，其特征在于，包括：多视角视频流生成单元；单视角视频流生成单元；多视角视频播放模块；单视角视频播放模块；视角切换触发模块；视角切换操作模块；显示模块。本发明使用双播放器同步播放多视角合成流和单视角高清流，通过多视角合成流来提升视角切换的流畅度，通过单视角高清流来保障视角的清晰度。与现有技术相比，本发明具有如下优点：结合使用多视角流和高清晰度单视角流，多视角流来保证视角切换流畅度，多条高清晰度单视角流来保证最终观看清晰度；同时，本发明使用双播放器同步播放技术，来实现无缝双流切换，提升用户体验。

Description

一种双视频流自由视点视频播放系统
技术领域
本发明涉及一种视频播放系统。
背景技术
视频播放作为典型的互联网应用，具有庞大的用户基础和巨额的市场空间。随着互联网和多媒体的发展，传统单视角的视频已无法很好满足用户对视频观看体验的追求，而自由视点视频可以多角度观看、实时切换视角来达到更好的观看体验。
现有自由视点技术要么使用单路多视角视频实现，要么使用多路单视角视频实现。对于单路多视角视频实现的自由视点技术，无法保证每个视角的清晰度。对于多路单视角视频实现的自由视点技术，无法保证视角切换的实时性。
发明内容
本发明要解决的技术问题：现有的自由视点技术无法同时确保每个视角的清晰度以及视角切换的实时性。
为了解决上述技术问题，本发明的技术方案是提供了一种双视频流自由视点视频播放系统，其特征在于，包括：
多视角视频流生成单元，用于将通过N2个不同机位采集的同一个被拍摄对象的N2个不同视角的影像封装成一路多视角视频流；
单视角视频流生成单元，用于将通过N2个不同机位采集的同一个被拍摄对象的N2个不同视角的影像生成N2路单视角视频流，其中，第n路单视角视频流对应于第n个机位采集的同一个被拍摄对象的第n个视角的影像，n＝1,2,……,N2；
多视角视频播放模块，用于读取、解码一路多视角视频流，将N2个不同视角的子画面拼接合成一个多视角画面，同一时刻，多视角视频播放模块只渲染多视角画面中的一个子画面，形成同一时刻只播放一个低清晰度子画面的多视角播放画面；初始化时，多视角视频播放模块渲染多视角画面中与初始视角相对应的子画面；
单视角视频播放模块，用于读取、解码、渲染一路单视角视频流，播放相应的高清晰度单视角播放画面；初始化时，单视角视频播放模块读取、解码、渲染与初始视角相对应的一路单视角视频流；当切换视角操作被触发后，单视角视频播放模块停止播放；当用户停止切换视角操作后，单视角视频播放模块重新被激活；
视角切换触发模块，用户通过视角切换触发模块触发切换视角操作；
视角切换操作模块，切换视角操作被触发后，用户通过视角切换操作模块使得多视角视频播放模块渲染不同视角所对应的子画面，从而实现视角切换操作；当用户停止对视角切换操作模块的切换时，视角切换操作模块记录此时所渲染的子画面对应的目标视角，将该目标视角发送至单视角视频播放模块，使停止播放的单视角视频播放模块被激活，单视角视频播放模块被激活后，选中目标视角所对应的一路单视角视频流进行读取、解码、渲染；
显示模块，初始化时，显示模块显示单视角视频播放模块播放的高清晰度单视角播放画面，并隐藏多视角视频播放模块播放的多视角播放画面；当切换视角操作被触发后，显示模块隐藏单视角视频播放模块播放的高清晰度单视角播放画面，并显示多视角视频播放模块播放的多视角播放画面；当用户进行视角切换操作时，显示模块保持显示多视角视频播放模块播放的多视角播放画面；当用户停止切换视角操作时，显示模块继续显示多视角视频播放模块播放的多视角播放画面，直至激活后的单视角视频播放模块进行第一帧播放画面的渲染时，显示模块隐藏多视角视频播放模块播放的多视角播放画面，显示单视角视频播放模块播放的高清晰度单视角播放画面。
优选地，多视角播放画面中N2个子画面以N×N的方阵形式排布、拼接。
优选地，还包括时钟同步模块，用于获取所述多视角视频播放模块的播放时钟作为主时钟，并使得所述单视角视频播放模块的播放时钟与主时钟同步。
优选地，单次视角切换的角度为360/N2度。
本发明使用双播放器同步播放多视角合成流和单视角高清流，通过多视角合成流来提升视角切换的流畅度，通过单视角高清流来保障视角的清晰度。与现有技术相比，本发明具有如下优点：结合使用多视角流和高清晰度单视角流，多视角流来保证视角切换流畅度，多条高清晰度单视角流来保证最终观看清晰度；同时，本发明使用双播放器同步播放技术，来实现无缝双流切换，提升用户体验。
附图说明
图1示意了实施例公开的系统架构；
图2示意了实施例公开方案的流程；
图3示意了多视角视频合成画面布局。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，本发明提供的一种双视频流自由视点视频播放系统包括：
多视角视频流生成单元，用于将通过N2个不同机位采集的同一个被拍摄对象的N2个不同视角的影像封装成一路多视角视频流；
单视角视频流生成单元，用于将通过N2个不同机位采集的同一个被拍摄对象的N2个不同视角的影像生成N2路单视角视频流，其中，第n路单视角视频流对应于第n个机位采集的同一个被拍摄对象的第n个视角的影像，n＝1,2,……,N2；
多视角视频播放模块，用于读取、解码一路多视角视频流，将N2个不同视角的子画面拼接合成一个多视角画面，同一时刻，多视角视频播放模块只渲染多视角画面中的一个子画面，形成同一时刻只播放一个低清晰度子画面的多视角播放画面；初始化时，多视角视频播放模块渲染多视角画面中与初始视角a相对应的子画面；
本实施例中，多视角播放画面中N2个子画面以N×N的方阵形式排布、拼接；
单视角视频播放模块，用于读取、解码、渲染一路单视角视频流，播放相应的高清晰度单视角播放画面；初始化时，单视角视频播放模块读取、解码、渲染与初始视角a相对应的一路单视角视频流；当切换视角操作被触发后，单视角视频播放模块停止播放；当用户停止切换视角操作后，单视角视频播放模块重新被激活；
时钟同步模块，获取多视角视频播放模块的播放时钟作为主时钟，并使得单视角视频播放模块的播放时钟与主时钟同步；
视角切换触发模块，用户通过视角切换触发模块触发切换视角操作，本实施例中，用户可以通过手势或者手动方式触发切换视角操作；
视角切换操作模块，切换视角操作被触发后，用户通过视角切换操作模块使得多视角视频播放模块渲染不同视角所对应的子画面，从而实现视角切换操作，单次视角切换的角度为360/N2度；当用户停止对视角切换操作模块的切换时，视角切换操作模块记录此时所渲染的子画面对应的目标视角，将该目标视角发送至单视角视频播放模块，使停止播放的单视角视频播放模块被激活，单视角视频播放模块被激活后，选中目标视角所对应的一路单视角视频流进行读取、解码、渲染；
显示模块，初始化时，显示模块显示单视角视频播放模块播放的高清晰度单视角播放画面，并隐藏多视角视频播放模块播放的多视角播放画面；当切换视角操作被触发后，显示模块隐藏单视角视频播放模块播放的高清晰度单视角播放画面，并显示多视角视频播放模块播放的多视角播放画面；当用户进行视角切换操作时，显示模块保持显示多视角视频播放模块播放的多视角播放画面；当用户停止切换视角操作时，显示模块继续显示多视角视频播放模块播放的多视角播放画面，直至激活后的单视角视频播放模块进行第一帧播放画面的渲染时，显示模块隐藏多视角视频播放模块播放的多视角播放画面，显示单视角视频播放模块播放的高清晰度单视角播放画面。
在上述技术方案中，将多个视角按顺序排列的拼接合成画面封装成一路多视角流，其中每个视角又单独提供一路高清晰的单视角流。用户切换视角时，使用多视角流，在多视角画面中每次选取一个视角来渲染，达到可以流畅切换视角的效果。当用户停止切换视角时，则播放高清晰度的单视角流，来保证清晰度体验。
假设N＝4，则可以获得由16个不同视角的影像封装成的一路多视角视频流，16个不同视角分别为视角1至视角16。同时，利用这16个不同视角的影像还可以得到16路单视角视频流。16路单视角视频流与一路多视角视频流在时间上是同步的。多视角视频播放模块可以提供一个由16个子画面组成的多视角播放画面，16个子画面呈4×4的方阵，多视角视频播放模块同一时刻仅渲染16个子画面中的一个子画面。本实施例中，假设多视角播放画面的分辨率为1080P，则一个子画面的分辨率仅为480×270P。本实施例中，单视角视频播放模块基于单视角视频流，可以提供分辨率为720P的单视角播放画面。
则上述系统的工作流程大致包括以下步骤：
步骤1、系统初始化时，多视角视频播放模块依据初始视角a渲染对应的一个子画面后开始播放多视角播放画面，同时，单视角视频播放模块开始播放与初始视角a相对应的单视角播放画面。此时，显示模块显示单视角视频播放模块播放的单视角播放画面，隐藏多视角视频播放模块播放的多视角播放画面。
步骤2、用户通过视角切换触发模块触发切换视角操作，比如，可以通过手势或者手动操作某个按钮的方式触发切换视角操作。切换视角操作被触发后，显示模块显示多视角视频播放模块播放的多视角播放画面，并隐藏单视角视频播放模块播放的单视角播放画面，同时，单视角视频播放模块停止播放。
步骤3、用户通过视角切换操作模块使得多视角视频播放模块渲染不同视角所对应的子画面，从而实现视角切换操作。假设步骤1中的初始视角a为图3中的视角1，则用户通过视角切换操作模块可以使得多视角视频播放模块依次渲染视角2至视角16所对应的子画面，也可以在几个视角间来回切换，或者循环渲染视角1至视角16，直至用户找到满意的视角为止。假设，此时用户停在了视角8上，则视角8即为目标视角。
应当注意的是，在用户切换视角的过程中，显示模块始终显示的是多视角视频播放模块播放的多视角播放画面。
步骤4、视角切换操作模块将视角8发送至单视角视频播放模块，使停止播放的单视角视频播放模块被激活。单视角视频播放模块被激活后，选中视角8所对应的一路单视角视频流进行读取、解码、渲染。
在此过程中，显示模块始终显示的是多视角视频播放模块播放的多视角播放画面，直至激活后的单视角视频播放模块进行第一帧播放画面的渲染时，显示模块隐藏多视角视频播放模块播放的多视角播放画面，并显示单视角视频播放模块播放的高清晰度单视角播放画面。

Claims (4)

1.一种双视频流自由视点视频播放系统，其特征在于，包括：
多视角视频流生成单元，用于将通过N2个不同机位采集的同一个被拍摄对象的N2个不同视角的影像封装成一路多视角视频流；
单视角视频流生成单元，用于将通过N2个不同机位采集的同一个被拍摄对象的N2个不同视角的影像生成N2路单视角视频流，其中，第n路单视角视频流对应于第n个机位采集的同一个被拍摄对象的第n个视角的影像，n＝1,2,……,N2；
多视角视频播放模块，用于读取、解码一路多视角视频流，将N2个不同视角的子画面拼接合成一个多视角画面，同一时刻，多视角视频播放模块只渲染多视角画面中的一个子画面，形成同一时刻只播放一个低清晰度子画面的多视角播放画面；初始化时，多视角视频播放模块渲染多视角画面中与初始视角相对应的子画面；
单视角视频播放模块，用于读取、解码、渲染一路单视角视频流，播放相应的高清晰度单视角播放画面；初始化时，单视角视频播放模块读取、解码、渲染与初始视角相对应的一路单视角视频流；当切换视角操作被触发后，单视角视频播放模块停止播放；当用户停止切换视角操作后，单视角视频播放模块重新被激活；
视角切换触发模块，用户通过视角切换触发模块触发切换视角操作；
视角切换操作模块，切换视角操作被触发后，用户通过视角切换操作模块使得多视角视频播放模块渲染不同视角所对应的子画面，从而实现视角切换操作；当用户停止对视角切换操作模块的切换时，视角切换操作模块记录此时所渲染的子画面对应的目标视角，将该目标视角发送至单视角视频播放模块，使停止播放的单视角视频播放模块被激活，单视角视频播放模块被激活后，选中目标视角所对应的一路单视角视频流进行读取、解码、渲染；
显示模块，初始化时，显示模块显示单视角视频播放模块播放的高清晰度单视角播放画面，并隐藏多视角视频播放模块播放的多视角播放画面；当切换视角操作被触发后，显示模块隐藏单视角视频播放模块播放的高清晰度单视角播放画面，并显示多视角视频播放模块播放的多视角播放画面；当用户进行视角切换操作时，显示模块保持显示多视角视频播放模块播放的多视角播放画面；当用户停止切换视角操作时，显示模块继续显示多视角视频播放模块播放的多视角播放画面，直至激活后的单视角视频播放模块进行第一帧播放画面的渲染时，显示模块隐藏多视角视频播放模块播放的多视角播放画面，显示单视角视频播放模块播放的高清晰度单视角播放画面。
2.如权利要求1所述的一种双视频流自由视点视频播放系统，其特征在于，多视角播放画面中N2个子画面以N×N的方阵形式排布、拼接。
3.如权利要求1所述的一种双视频流自由视点视频播放系统，其特征在于，还包括时钟同步模块，用于获取所述多视角视频播放模块的播放时钟作为主时钟，并使得所述单视角视频播放模块的播放时钟与主时钟同步。
4.如权利要求1所述的一种双视频流自由视点视频播放系统，其特征在于，单次视角切换的角度为360/N2度。
CN202111558406.8A 2021-12-17 2021-12-17 一种双视频流自由视点视频播放系统 Pending CN114245190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111558406.8A CN114245190A (zh) 2021-12-17 2021-12-17 一种双视频流自由视点视频播放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111558406.8A CN114245190A (zh) 2021-12-17 2021-12-17 一种双视频流自由视点视频播放系统

Publications (1)

Publication Number Publication Date
CN114245190A true CN114245190A (zh) 2022-03-25

Family

ID=80758746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111558406.8A Pending CN114245190A (zh) 2021-12-17 2021-12-17 一种双视频流自由视点视频播放系统

Country Status (1)

Country Link
CN (1) CN114245190A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114760483A (zh) * 2022-04-20 2022-07-15 东方明珠新媒体股份有限公司 一种多视角视频播放和切换的方法、系统及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355966A (zh) * 2020-03-05 2020-06-30 上海乐杉信息技术有限公司 环绕自由视角直播方法及系统
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
CN113256491A (zh) * 2021-05-11 2021-08-13 北京奇艺世纪科技有限公司 自由视角数据处理方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355966A (zh) * 2020-03-05 2020-06-30 上海乐杉信息技术有限公司 环绕自由视角直播方法及系统
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
CN113256491A (zh) * 2021-05-11 2021-08-13 北京奇艺世纪科技有限公司 自由视角数据处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114760483A (zh) * 2022-04-20 2022-07-15 东方明珠新媒体股份有限公司 一种多视角视频播放和切换的方法、系统及介质
CN114760483B (zh) * 2022-04-20 2023-12-19 东方明珠新媒体股份有限公司 一种多视角视频播放和切换的方法、系统及介质

Similar Documents

Publication Publication Date Title
US11006099B2 (en) Viewing of different full-screen television content by different viewers at the same time using a related display
WO2021179783A1 (zh) 基于自由视点的视频直播处理方法、设备、系统、芯片及介质
CN102905149B (zh) 立体视频序列编码系统和方法
US8291328B2 (en) System and method for synchronizing a real-time performance with a virtual object
US20070247477A1 (en) Method and apparatus for processing, displaying and viewing stereoscopic 3D images
US20070150612A1 (en) Method and system of providing multimedia content
WO2013021656A1 (ja) 再生装置、再生方法、集積回路、放送システム、及び放送方法
KR101659576B1 (ko) 영상 처리 방법 및 장치
CN108900857A (zh) 一种多视角视频流处理方法和装置
US20150040165A1 (en) Multi-source video navigation
CN114245190A (zh) 一种双视频流自由视点视频播放系统
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
KR102073230B1 (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
WO2012012936A1 (zh) 一种视频画面显示装置及方法
JP2007295573A (ja) 放送信号の送信装置及び送信方法、放送信号の再生方法、及び放送信号の受信装置
CN1367611A (zh) 三维视频图像数字编码方法
US11138794B2 (en) Apparatus, computer program and method
US11003256B2 (en) Apparatus, computer program and method
CN102413335A (zh) 一种手动调节节目音画同步的装置及方法
WO2001045411A1 (fr) Systeme et technique de transmission d'un produit audio/visuel par un serveur/client
US20100060785A1 (en) Image display unit
KR20200111408A (ko) 360 vr 인터랙티브 중계를 위한 사용자 인터페이스 및 방법
TW200427325A (en) Slow video display trick mode
McCormick et al. Implementation of Stereoscopic and Dualview Images on a Micro-Display High Definition Television
US20090060454A1 (en) Playback apparatus, playback method, and format

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220325