CN111246198A - 视频播放方法、头戴设备以及存储介质 - Google Patents

视频播放方法、头戴设备以及存储介质 Download PDF

Info

Publication number
CN111246198A
CN111246198A CN202010084463.6A CN202010084463A CN111246198A CN 111246198 A CN111246198 A CN 111246198A CN 202010084463 A CN202010084463 A CN 202010084463A CN 111246198 A CN111246198 A CN 111246198A
Authority
CN
China
Prior art keywords
image
eye
camera
resolution
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010084463.6A
Other languages
English (en)
Inventor
刘明根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010084463.6A priority Critical patent/CN111246198A/zh
Publication of CN111246198A publication Critical patent/CN111246198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

本申请公开一种视频播放方法、头戴设备以及存储介质。视频播放方法包括：通过3D相机的左右摄像头采集第一图像，按照拍摄时间对所述第一图像进行排列，获得视频序列；对所述视频序列进行解码，获得左眼第一图像与右眼第一图像；将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像，播放所述第二图像；所述第二图像的分辨率高于所述第一图像的分辨率。本申请实施例通过对视频序列解码，将相邻的左眼第一图像与右眼第一图像进行合成获得第二图像的方式，提高了图像的分辨率改善了视频播放体验，并且不需要更换硬件，节省了更换硬件带来的成本。

Description

视频播放方法、头戴设备以及存储介质
技术领域
本申请涉及虚拟现实技术领域，具体涉及一种视频播放方法、头戴设备以及存储介质。
背景技术
目前，视频播放设备比如虚拟现实(Virtual Reality，简称VR)头戴设备，通常支持3D视频播放，而受限于处理器的视频解码能力，VR头戴设备播放的视频图像的分辨率不高，有一种通过更换处理器等硬件的方式提升分辨率的方案，但这种方案会导致产品的成本上升，不适合大规模推广。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频播放方法、头戴设备以及存储介质。
根据本申请实施例的一个方面，提供了一种视频播放方法，该视频播放方法包括：
通过3D相机的左右摄像头采集第一图像，按照拍摄时间对所述第一图像进行排列，获得视频序列；
对所述视频序列进行解码，获得左眼第一图像与右眼第一图像；
将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像，播放所述第二图像；所述第二图像的分辨率高于所述第一图像的分辨率。
根据本申请实施例的另一个方面，提供了一种头戴设备，包括：3D相机，解码器和视频播放器；
所述3D相机，用于通过左右摄像头采集第一图像，按照拍摄时间对所述第一图像进行排列，获得视频序列；
所述解码器，用于对所述视频序列进行解码，获得左眼第一图像与右眼第一图像；
所述视频播放器，用于将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像，播放所述第二图像；所述第二图像的分辨率高于所述第一图像的分辨率。
根据本申请实施例的又一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现上述所述的视频播放方法。
本申请实施例的视频播放方法和头戴设备，通过对视频序列解码，将相邻的左眼第一图像与右眼第一图像进行合成获得第二图像的方式，提高了图像的分辨率，改善了视频播放体验，并且不需要更换硬件，节省了更换硬件带来的成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例示出的一种视频播放方法的流程示意图；
图2为本申请实施例示出的3D相机的视频图像采集的流程图；
图3为本申请实施例示出的视频播放的处理流程图；
图4为本申请实施例示出的头戴设备的硬件示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本申请实施例示出的一种视频播放方法的流程示意图，参见图1，本实施例的视频播放方法包括下列步骤：
步骤S101，通过3D相机的左右摄像头采集第一图像，按照拍摄时间对所述第一图像进行排列，获得视频序列；
本实施例的3D相机比如是支持4K分辨率，能够捕抓3D视频的VR(VirtualReality，虚拟现实)相机。
步骤S102，对所述视频序列进行解码，获得左眼第一图像与右眼第一图像；
步骤S103，将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像，播放所述第二图像；所述第二图像的分辨率高于所述第一图像的分辨率。比如第一图像是4K分辨率的图像，第二图像是8K分辨率的图像。
根据图1所示可知，本实施例的视频播放方法通过3D相机的左右摄像头采集第一图像，按照拍摄时间对第一图像进行排列获得视频序列，对视频序列进行解码，将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像，播放第二图像，由于第二图像的分辨率高于第一图像的分辨率，从而本实施例可以支持超高分辨率的3D视频播放，改善了用户体验，并避免了更换硬件带来的成本上升问题。
由于目前硬件的限制，视频播放设备普遍支持的最大分辨率一般为4K，而3D视频需要双眼的不同内容同时呈现在一幅图像上，4K分辨率的3D视频包含的内容理论上只有2K，这就需要更大的分辨率来尽量多的显示内容。本实施例实现了在视频播放设备上播放8K分辨率的3D视频且不会增加硬件成本的有益效果，这里的8K分辨率的图像是拥有7680×4320个像素的图像。
图2为本申请实施例示出的3D相机的视频图像采集的流程图，图3为本申请实施例示出的视频播放的处理流程图，下面结合图2和图3对本实施例的视频播放方法实现支持分辨率为8K的3D视频的过程进行重点说明。
本实施例通过3D相机的左右摄像头采集第一图像包括：通过3D相机的左右摄像头采集4K分辨率的第一图像，将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像包括：将相邻的4K分辨率的左眼第一图像以及4K分辨率的右眼第一图像进行合成，获得8K分辨率的第二图像。
也就是说，本实施例中先通过3D相机分别获取左眼图像和右眼图像形成4K视频，视频图像的排列方式如下：左眼+右眼+左眼+右眼+左眼+右眼+左眼+右眼……，以此类推。由于每一帧图像中都包含采集时间和左/右眼标识信息，这样将左眼图像和右眼图像按照采集时间顺序排列，即可形成4K视频序列。
参见图2，图2中3D相机301包括两个摄像头，分别是左眼摄像头和右眼摄像头，左眼摄像头和右眼摄像头分别对环境中的物体202进行同步拍摄，获得左眼对应的第一图像203以及右眼对应的第一图像204。在获得左眼对应的第一图像203以及右眼对应的第一图像204之后，将左眼对应的第一图像203以及右眼对应的第一图像204按照采集时间排序，即可得到视频序列，视频序列的局部如图2中的205所示，视频序列205示意了4K图像P1-P6，一个实施例中图像P1，图像P3，图像P5为左眼摄像头采集的图像，图像P2，图像P4，图像P6为右眼摄像头采集的图像。
在形成视频序列之后，视频播放之前，本实施例中利用解码器对视频序列进行解码，具体包括：按照预设帧速率对所述视频序列进行解码，所述预设帧速率是60FPS。FPS(Frames Per Second，每秒传输帧数)，是图像领域中画面每秒传输帧数，通俗来讲就是指视频的画面数。
参见图3，对于视频序列205，本实施例利用解码器对视频图像进行解码，将左眼第一图像和右眼第一图像识别出来，而后将左眼第一图像与右眼第一图像送入视频播放器，利用视频播放器进行图像合成，具体的，将相机形成的相邻两幅4K图像转换成第二图像，即8K分辨率的图像进行播放，转换后得到的8K分辨率的图像如图3中的206所示，图像206是由相邻的两个4K图像合成的，如此，使得目前仅支持4K播放的设备能够支持8K 3D视频播放，满足了应用需求并且避免了更换硬件带来的成本上升问题。
另外，对于支持4K图像，帧率为60FPS的视频解码器来说，通过将相邻两幅4K图像进行合成后进行播放，那么播放8K 3D视频的帧率可以达到30FPS，大于24FPS的预设阈值，从而也减少甚至消除了卡顿现象，人眼不会有任何卡顿的感觉。
需要说明的是，上述实施例是以3D相机采集4K图像，对相邻的2幅4K图像进行合成得到8K图像的视频播放步骤进行的示意性说明，但本申请的实施例不限于此，比如，本申请实施例还可以应用于对相邻的两幅2K图像(左眼一张加右眼一张)进行合成以得到4K分辨率的图像后进行播放，又或者，对两幅8K分辨率的图像进行合成以得到16K分辨率的图像进行播放，实际应用中，应当根据需求进行选择适用。
综上可知，本实施例的视频播放方法，针对目前播放的3D图像分辨率不高，更换解码处理器硬件导致成本上升等问题，提出采集图像生成视频序列，对视频序列解码，将相邻的左眼第一图像与右眼第一图像进行合成获得更高分辨率的第二图像的方式，提高播放的3D视频的分辨率，改善了用户体验，并且不需要更换硬件，节省了更换硬件带来的成本。
本申请实施例还提供了一种头戴设备，该头戴设备包括：3D相机，解码器和视频播放器；所述3D相机，用于通过左右摄像头采集第一图像，按照拍摄时间对所述第一图像进行排列，获得视频序列；所述解码器，用于对所述视频序列进行解码，获得左眼第一图像与右眼第一图像；所述视频播放器，用于将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像，播放所述第二图像；所述第二图像的分辨率高于所述第一图像的分辨率。
在本申请的一个实施例中，所述3D相机，具体用于通过3D相机的左右摄像头采集4K分辨率的第一图像；所述视频播放器，具体用于将相邻的4K分辨率的左眼第一图像以及4K分辨率的右眼第一图像进行合成，获得8K分辨率的第二图像。
在本申请的一个实施例中，所述解码器，具体用于按照预设帧速率对所述视频序列进行解码，所述预设帧速率是60FPS。
目前支持8K分辨率3D视频的硬件设备数量较少，价格昂贵，通过本申请实施例的视频播放方法，能够提供8K视频效果，应用范围广泛，包括几乎所有系统的视频播放设备，比如Windows系统，Linux系统，Android系统，Mac OS系统等，而且节省了更换硬件带来的成本问题。
图4为本申请实施例示出的头戴设备的硬件示意图，如图4所示，在硬件层面，该头戴设备包括处理器和3D相机，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该头戴设备还可能包括其他业务所需要的硬件，例如手柄。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。处理器从非易失性存储器中读取视频播放方法对应的计算机程序到内存中然后运行。处理器，执行存储器所存放的程序实现如上文描述的视频播放方法。
上述如本说明书图4所示实施例揭示的视频播放方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的视频播放方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述视频播放方法的步骤。
本申请还提供了一种计算机可读存储介质。该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被处理器执行时，能够实现上文描述的视频播放方法。
为了便于清楚描述本申请实施例的技术方案，在申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本申请的具体实施方式，在本申请的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本申请的目的，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种视频播放方法，其特征在于，该视频播放方法包括：
通过3D相机的左右摄像头采集第一图像，按照拍摄时间对所述第一图像进行排列，获得视频序列；
对所述视频序列进行解码，获得左眼第一图像与右眼第一图像；
将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像，播放所述第二图像；所述第二图像的分辨率高于所述第一图像的分辨率。
2.如权利要求1所述的方法，其特征在于，所述通过3D相机的左右摄像头采集第一图像包括：
通过3D相机的左右摄像头采集4K分辨率的第一图像；
所述将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像包括：
将相邻的4K分辨率的左眼第一图像以及4K分辨率的右眼第一图像进行合成，获得8K分辨率的第二图像。
3.如权利要求1或2所述的方法，其特征在于，所述对所述视频序列进行解码包括：
按照预设帧速率对所述视频序列进行解码，所述预设帧速率是60FPS。
4.一种头戴设备，其特征在于，包括：3D相机，解码器和视频播放器；
所述3D相机，用于通过左右摄像头采集第一图像，按照拍摄时间对所述第一图像进行排列，获得视频序列；
所述解码器，用于对所述视频序列进行解码，获得左眼第一图像与右眼第一图像；
所述视频播放器，用于将相邻的左眼第一图像与右眼第一图像进行合成，获得第二图像，播放所述第二图像；所述第二图像的分辨率高于所述第一图像的分辨率。
5.如权利要求4所述的头戴设备，其特征在于，所述3D相机，具体用于通过3D相机的左右摄像头采集4K分辨率的第一图像；
所述视频播放器，具体用于将相邻的4K分辨率的左眼第一图像以及4K分辨率的右眼第一图像进行合成，获得8K分辨率的第二图像。
6.如权利要求4或5所述的头戴设备，其特征在于，所述解码器，具体用于按照预设帧速率对所述视频序列进行解码，所述预设帧速率是60FPS。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被处理器执行时实现如权利要求1-3中任一项所述的方法。
CN202010084463.6A 2020-02-10 2020-02-10 视频播放方法、头戴设备以及存储介质 Pending CN111246198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010084463.6A CN111246198A (zh) 2020-02-10 2020-02-10 视频播放方法、头戴设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084463.6A CN111246198A (zh) 2020-02-10 2020-02-10 视频播放方法、头戴设备以及存储介质

Publications (1)

Publication Number Publication Date
CN111246198A true CN111246198A (zh) 2020-06-05

Family

ID=70877211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084463.6A Pending CN111246198A (zh) 2020-02-10 2020-02-10 视频播放方法、头戴设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111246198A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843566A (zh) * 2012-09-20 2012-12-26 歌尔声学股份有限公司 一种3d视频数据的通讯方法和设备
CN103428520A (zh) * 2013-08-16 2013-12-04 深圳市鑫航世电子科技有限公司 一种3d图像合成方法和系统
CN105100779A (zh) * 2015-09-18 2015-11-25 云南师范大学 一种头戴式立体视频播放方法
CN105516639A (zh) * 2015-12-09 2016-04-20 北京小鸟看看科技有限公司 头戴设备、三维视频通话系统和三维视频通话实现方法
WO2018106046A1 (en) * 2016-12-07 2018-06-14 Samsung Electronics Co., Ltd. Electronic device and method for displaying image
CN108337497A (zh) * 2018-02-07 2018-07-27 刘智勇 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843566A (zh) * 2012-09-20 2012-12-26 歌尔声学股份有限公司 一种3d视频数据的通讯方法和设备
CN103428520A (zh) * 2013-08-16 2013-12-04 深圳市鑫航世电子科技有限公司 一种3d图像合成方法和系统
CN105100779A (zh) * 2015-09-18 2015-11-25 云南师范大学 一种头戴式立体视频播放方法
CN105516639A (zh) * 2015-12-09 2016-04-20 北京小鸟看看科技有限公司 头戴设备、三维视频通话系统和三维视频通话实现方法
WO2018106046A1 (en) * 2016-12-07 2018-06-14 Samsung Electronics Co., Ltd. Electronic device and method for displaying image
CN108337497A (zh) * 2018-02-07 2018-07-27 刘智勇 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置

Similar Documents

Publication Publication Date Title
CN109120984B (zh) 弹幕显示方法、装置、终端及服务器
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
CN107888987B (zh) 一种全景视频播放方法及装置
CN107911737B (zh) 媒体内容的展示方法、装置、计算设备及存储介质
KR102081214B1 (ko) 멀티미디어 파일의 스티칭 방법 및 장치
US10863212B2 (en) Method and system for fusing user specific content into a video production
WO2019137313A1 (zh) 一种媒体信息的处理方法及装置
EP3741130B1 (en) Efficient association between dash objects
US9030571B2 (en) Abstract camera pipeline for uniform cross-device control of image capture and processing
CN110012336B (zh) 直播界面的图片配置方法、终端及装置
CN111919451A (zh) 一种直播方法、直播装置及终端
CN109981983B (zh) 增强现实图像处理方法、装置、电子设备和存储介质
US20200294209A1 (en) Camera feature removal from stereoscopic content
CN111246198A (zh) 视频播放方法、头戴设备以及存储介质
US20220303518A1 (en) Code stream processing method and device, first terminal, second terminal and storage medium
CN114363663A (zh) 一种直播观看方法、装置及云视频服务器
CN114205650A (zh) 一种三维全景视频画面同步方法及装置
CN112887515A (zh) 视频生成方法及装置
CN112887653A (zh) 一种信息处理方法和信息处理装置
CN112925492A (zh) 多媒体上墙方法、客户端及监控平台
CN107707930B (zh) 视频处理方法、装置及系统
TWI836141B (zh) 即時三維影像顯示的直播方法
CN112203101B (zh) 一种远程视频直播方法、装置及电子设备
WO2018120353A1 (zh) Vr拍摄方法、系统及移动终端
US10904536B2 (en) Frame processing method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication