CN108965859B - 投影方式识别方法、视频播放方法、装置及电子设备 - Google Patents

投影方式识别方法、视频播放方法、装置及电子设备 Download PDF

Info

Publication number
CN108965859B
CN108965859B CN201810745787.2A CN201810745787A CN108965859B CN 108965859 B CN108965859 B CN 108965859B CN 201810745787 A CN201810745787 A CN 201810745787A CN 108965859 B CN108965859 B CN 108965859B
Authority
CN
China
Prior art keywords
video
feature points
target
projection mode
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810745787.2A
Other languages
English (en)
Other versions
CN108965859A (zh
Inventor
刘文杰
姜滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201810745787.2A priority Critical patent/CN108965859B/zh
Publication of CN108965859A publication Critical patent/CN108965859A/zh
Application granted granted Critical
Publication of CN108965859B publication Critical patent/CN108965859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种投影方式识别方法、视频播放方法及电子设备。其中,从待处理视频中提取多帧图像帧;分别抽取所述多帧图像帧中的特征点;将所述多帧图像帧的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式。本申请实施例提供的技术方案提高了识别效率以及识别准确度。

Description

投影方式识别方法、视频播放方法、装置及电子设备
技术领域
本申请实施例涉及计算机应用技术领域,尤其涉及一种投影方式识别方法及装置、一种视频播放方法及装置,以及一种电子设备。
背景技术
随着虚拟现实(VR,Virtual Reality)技术的发展,虚拟现实设备推入市场,用户对虚拟现实技术全三维、沉浸式体验的需求不断增长,随之出现了大量的虚拟现实内容。
目前虚拟现实内容通常以视频体验为主,虚拟现实视频的一种实现形式是通过相机阵列拍摄自然场景而获得的全景视频。其中,通过相机陈列进行拍摄获得的不同角度的图像,首先按照投影方式进行投影变换、再拼接得到虚拟现实视频中的一帧图像帧,也即虚拟现实视频中的每一帧图像是2D(二维)画面,播放器播放时,需要根据该投影方式,将虚拟现实视频投影回全景视频之后进行播放,用户即可以体验虚拟现实效果。
由上述描述可知,播放器需要根据虚拟现实视频的投影方式,才能将其转换为全景视频进行播放,以带给用户虚拟现实效果。而投影方式有很多种,例如球面投影、立方体投影、八面体投影、二十面体投影、球面分割投影以及正方棱台投影等等,由于不同投影方式投影得到的画面2D布局方式不同,因此,现有技术中,通常是由播放器首先输出虚拟现实视频的2D画面,依靠人工经验根据2D画面的布局方式,确定其对应投影方式,再人工控制播放器按照该投影方式将虚拟现实视频投影回全景视频之后播放,操作繁琐,效率低且不够准确。
发明内容
本申请实施例提供一种投影方式识别方法、视频播放方法、装置及电子设备,用以解决现有技术投影方式识别效率低以及准确度低的技术问题。
第一方面,本申请实施例中提供了一种投影方式识别方法,包括:
从待处理视频中提取多帧图像帧;
分别抽取所述多帧图像帧中的特征点;
将所述多帧图像帧的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;
根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式。
可选地,所述根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式包括:
基于所述目标特征点的分布位置,利用预先训练的投影方式分类器确定所述待处理视频对应的目标投影方式;
其中,所述投影方式分类器根据不同投影方式对应的预设特征点的分布位置训练获得。
可选地,所述根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式包括:
根据不同投影方式分别对应的预设特征点的分布位置,确定与所述目标特征点的分布位置匹配的投影方式;
将与所述目标特征点的分布位置匹配的投影方式作为所述待处理视频对应的目标投影方式。
可选地,所述根据不同投影方式分别对应的预设特征点的分布位置,确定与所述目标特征点的分布位置匹配的投影方式包括:
将所述目标特征点的分布位置分别与不同投影方式各自对应的预设特征点的分布位置进行比较,确定所述目标特征点分别与不同投影方式各自对应的预设特征点的相同概率;
将相同概率超出预设概率值的投影方式作为与所述目标特征点匹配的投影方式。
可选地,所述从待处理视频中提取多帧图像帧包括:
每间隔预设提取时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧。
可选地,所述每间隔预设时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧包括:
结合所述待处理视频的视频时长,确定所述预设提取时长;
每间隔所述预设提取时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧。
可选地,所述分别抽取所述多帧图像帧中的特征点包括:
分别抽取所述多帧图像帧中的角点。
第二方面,本申请实施例中提供了一种视频播放方法,包括:
从虚拟现实VR视频中提取多帧图像帧;
分别抽取所述多帧图像帧中的特征点;
将所述多帧图像帧中的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;
根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述VR视频对应的目标投影方式;
按照所述目标投影方式,将所述VR视频转换为全景视频;
播放所述全景视频。
第三方面,本申请实施例中提供了一种电子设备,包括存储组件以及处理组件,所述存储组件存储一条或多条计算机程序指令;所述一条或多条计算机程序指令用以供所述处理组件调用并执行;
所述处理组件用于:
从待处理视频中提取多帧图像帧;
分别抽取所述多帧图像帧中的特征点;
将所述多帧图像帧的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;
根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式。
可选地,所述待处理视频为VR视频;
所述设备还包括显示组件;
所述处理组件还用于按照所述目标投影方式,将所述待处理视频转换为全景视频;
通过所述显示组件播放所述全景视频。
本申请实施例利用待处理视频中多帧图像帧中分布位置相同的目标特征点,与不同投影方式分别对应的预设特征点的分布位置,即可以确定待处理视频对应的目标投影方式,实现投影方式的自动识别,提高了识别效率,且无需人工进行判断,提高了识别准确度。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种投影方式识别方法一个实施例的流程图;
图2a以及图2b分别示出了立方体投影的两种布局方式;
图3示出了本申请提供的一种视频播放方法一个实施例的流程图;
图4示出了本申请提供的一种投影方式识别装置一个实施例的结构示意图;
图5示出了本申请提供的一种电子设备一个实施例的结构示意图;
图6示出了本申请提供的一种电子设备又一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本申请实施例的技术方案可以应用于视频投影方式识别的应用场景中,特别是VR视频投影方式识别。
目前VR视频一种是通过Unity或Unreal等游戏开发引擎创建的;另一种是通过相机阵列拍摄自然场景得到的全景视频,通常为360度视频。
由于目前播放器只能进行平面视频编解码,而VR视频需要给用户营造虚拟三维空间。对于通过相机阵列拍摄自然场景得到的VR视频,其图像帧是通过将不同角度拍摄获得的图像按照投影方式投影变换之后再拼接获得,是一个可以转换为三维画面的二维画面,且三维画面为全景画面。投影方式有很多,比如立方体投影、八面体投影、二十面体投影、球面分割投影、正方棱台投影。
正如背景技术中所述,目前只能人工根据视频的画面布局方式来识别对应的投影方式,效率低且需要依靠人工经验,准确度也不高。发明人在实现本发明的过程中发现,由于通过相机阵列采集获得的视频中的每一帧图像帧均是通过拼接获得的,那么在图像拼接位置处会出现亮度变化的不一致性,也即在拼接位置处会产生具备特定特性的特征点,而这些特征点会出现在视频中每一帧图像帧中。此外,每一个投影方式其对应的图像拼接位置是已知的,因此每一个投影方式对应的具备特定特效的特征点的分布位置也是可以预测的,因此,发明人想到,根据在每一帧图像帧中均出现的特征点的分布特性是否即可以识别其对应的投影方式。
据此提出了本申请的技术方案,本申请实施例利用待处理视频中多帧图像帧中分布位置相同的目标特征点,与不同投影方式分别对应的预设特征点的分布位置,即可以自动确定待处理视频对应的目标投影方式,效率高且准确度高。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种投影方式识别方法一个实施例的流程图,该方法可以包括以下几个步骤:
101:从待处理视频中提取多帧图像帧。
其中,该待处理视频的图像帧为将通过相机陈列采集获得的不同角度的图像投影并拼接获得。该相机阵列用于采集全景图像,如360度全景图像。
在一个实际应用中,该待处理视频可以为待播放的VR视频。
其中,该多帧图像帧可以是非连续的图像帧,相邻提取的两帧图像帧之间可以间隔一定帧数的图像帧或者间隔一定时长。
其中,相邻提取的任意两帧图像帧之间的间隔帧数或者间隔时长可以相同,也可以不同。
可选地,所述从待处理视频中提取多帧图像帧可以是:
每间隔预设提取时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧。
其中,该预设提取时长可以预先设定,例如可以为1分钟。
也可以结合待处理视频的视频时长确定,因此可选地,所述每间隔预设时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧可以包括:
结合所述待处理视频的视频时长,确定所述预设提取时长;
每间隔所述预设时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧。
作为一种可选方式,可以预先设置不同视频时长范围分别对应的提取时长,从而根据待处理视频的视频时长所在的视频时长范围,即可以确定对应的预设提取时长。
作为另一种可选方式,可以预先设置提取时长在视频时长中的比例关系,因此根据该比例关系,即可以计算预设提取时长,例如待处理视频的时长为10分钟,比例关系为提取时长为视频时长的1/10,则预设提取时长即可以为10*1/10=1分钟。
102:分别抽取所述多帧图像帧中的特征点。
其中,特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。
特征点抽取方式与现有技术相同,在此不再赘述。
103:将所述多帧图像帧的特征点进行比较,确定在所述多帧图像帧中分布位置相同的目标特征点。
由于待处理视频的图像帧通过将不同角度的图像投影并拼接获得,在图像拼接位置处会出现亮度变化不一致的特征点,由于这些特征点是由于拼接导致的,因此会出现在每一帧图像帧中,因此通过比较多帧图像帧的特征点,即可以确定在多帧图像帧均出现的特征点,也即在所述多帧图像帧中分布位置相同的特征点,为了方便描述上的区分,命名为“目标特征点”。
其中,目标特征点可以包括多个。
104:根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式。
由于不同投影方式的2D布局方式是已知,因此可以确定不同投影方式对应的图像拼接位置,因此可以预先设置进行图像拼接时,每个投影方式其对应的图像拼接位置处可能存在的预设特征点,预设特征点的分布位置也即可以获知。
其中,目标特征点可以认为是在每一帧图像帧均出现的特征点,因此根据不同投影方式分别对应的预设特征点的分布位置,可以确定与目标特征点的分布位置匹配的投影方式,将与所述目标特征点的分布位置匹配的投影方式即可以作为所述待处理视频对应的目标投影方式。
本实施例中,利用待处理视频中多帧图像帧中分布位置相同的目标特征点,与不同投影方式分别对应的预设特征点的分布位置,即可以确定待处理视频对应的目标投影方式,实现投影方式的自动识别,提高了识别效率,且无需人工进行判断,提高了识别准确度。
为了方便理解,以投影方式为立方体投影为例,由于每一个投影方式对应一个2D布局方式以及3D布局方式,对于立方体投影,其2D布局方式可以是4*3布局方式,如图2a中所示;3D布局方式如图2b中所示,为一个外接立方体形状。
可知,按照立方体投影方式投影获得的待处理视频的每一帧图像帧的形状即为图2a所示,为一个二维画面;图2a所示形状的拼接图像经过投影,可以投影回如图2b所示的立方体形状,球形外接立方体,形成三维画面。
图2a中,以“黑色阴影”的圆点标注了在图像拼接位置处,由于拼接产出的具有特定特性的部分特征点,可以理解的是,实际应用中,在图像拼接位置处由于拼接产出的具有特定特性的特征点可能包括很多,不仅仅包括图2a所示特征点。由于拼接产出的具有特定特性的特征点即可以为该立方体投影方式对应的预设特征点。
因此,基于目标特征点的分布位置以及该立方体投影方式对应的预设特征点的分布位置,如果该目标特征点包括所述预设特征点;或者所述预设特征点包括所述目标特征点;或者所述目标特征点与预设特征点的重合特征点的总数量超出预设数值,则可以认为该待处理视频的投影方式为该立方体投影方式。
作为一种可选方式,所述根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式可以包括:
基于所述目标特征点的分布位置,利用预先训练的投影方式分类器确定所述待处理视频对应的目标投影方式;
其中,所述投影方式分类器根据不同投影方式对应的预设特征点的分布位置训练获得。
也即可以将每一个投影方式对应的预设特征点的分布位置作为训练样本,训练投影方式分类器,从而基于目标特征点的分布位置,即可以确定其对应的投影方式,该目标特征点对应的投影方式即作为待处理视频的目标处理方式。
其中,分类器可以采用支持向量机(Support Vector Machine,SVM)、决策树(Decision Tree,DT)、逻辑回归(Logistic Regression,LR)、朴素贝叶斯(Naive Bayes,NB)等分类算法实现,本申请不对此进行限制。
作为另一种可选方式,所述根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式可以包括:
根据不同投影方式分别对应的预设特征点的分布位置,确定与所述目标特征点的分布位置匹配的投影方式;
将与所述目标特征点的分布位置匹配的投影方式作为所述待处理视频对应的目标投影方式。
其中,可选地,所述根据不同投影方式分别对应的预设特征点的分布位置,确定与所述目标特征点的分布位置匹配的投影方式可以包括:
将所述目标特征点的分布位置分别与不同投影方式各自对应的预设特征点的分布位置进行比较,确定所述目标特征点分别与不同投影方式各自对应的预设特征点的相同概率;
将相同概率超出预设概率数值的投影方式作为与目标特征点匹配的投影方式。
其中,目标特征点与任一投影方式对应的预设特征点的相同概率可以按照如下方式确定:
计算目标特征点与任一投影方式对应的预设特征点的相同特征点;
计算相同特征点的总数量与所述目标特征点的总数量的比值;
将该比值作为目标特征点与任一投影方式对应的预设特征点的相同概率。
相同概率越大,表明目标特征点与该任一投影方式对应的预设特征点存在越多的相同特征点,如果相同概率超出预设概率数值可以认为目标特征点为按照该任一投影方式投影之后进行拼接时由于拼接产出的具有特定特性的特征点,即可以该任一投影方式为待处理视频对应的目标投影方式。
当然,也可以是将所述目标特征点的分布位置分别与不同投影方式各自对应的预设特征点的分布位置进行比较,确定所述目标特征点分别与不同投影方式各自对应的预设特征点的相同特征点;
将相同特征点的总数量超出预设数值的投影方式作为与所述目标特征点匹配的投影方式。
此外,为了进一步识别准确度且降低计算量,在某些实施例中,所述分别抽取所述多帧图像帧中的特征点可以包括:
分别抽取所述多帧图像帧中的角点。
其中,角点可以是指图像边缘的特征点,由于图像拼接位置通常是位于每一帧图像帧的图像边缘处,由于图像拼接产生的特征点通常均为角点,因此仅抽取角点并进行比较,可以降低比较工作量且可以降低误差,提高识别准确度,保证获得的大部分的目标特征点均为图像拼接产出的。
其中,角点抽取可以采用多种角点检测算法,例如基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测等,本申请并不对此进行具体限制,可选地,可以采用基于灰度图像的角点检测算法,因此可以是从每一帧图像帧的灰度图像中提取角点。
在实际应用中,上述实施例中的待处理视频可以为待播放的VR视频。VR视频每次进行播放时,可以首先按照本申请提供的技术方案识别其对应的投影方式。
因此,本申请实施例还提供了一种视频播放方法,如图3中所示,该方法可以包括以下几个步骤:
301:从VR视频中提取多帧图像帧。
可选地,可以是接收到视频播放请求,确定请求播放的所述VR视频,并执行步骤301的操作。
302:分别抽取所述多帧图像帧中的特征点。
303:将所述多帧图像帧中的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点。
304:根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述VR视频对应的目标投影方式。
其中,步骤302~步骤304的具体操作可以参见上述实施例中所述,在此不再赘述。
305:按照所述目标投影方式,将所述VR视频转换为全景视频。
306:播放所述全景视频。
获知目标投影方式,即可以将VR视频投影回全景视频,从而可以播放该全景视频,以为用户营造虚拟现实效果。
在实际应用中,该全景视频可以具体是指360度视频,以更好实现虚拟现实效果。
图4为本申请实施例提供的一种投影方式识别装置一个实施例的结构示意图,该装置可以包括:
图像帧提取模块401,用于从待处理视频中提取多帧图像帧;
特征点抽取模块402,用于分别抽取所述多帧图像帧中的特征点;
特征点确定模块403,用于将所述多帧图像帧的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;
投影方式确定模块403,用于根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式。
图4所述的投影方式识别装置可以执行图1所示实施例所述的投影方式识别方法,其实现原理和技术效果不再赘述。对于上述实施例中的投影方式识别装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
其中,可选地,在实际应用中,该待处理视频可以具体是待播放的VR视频,该图像帧提取模块可以具体用于从虚拟现实VR视频中提取多帧图像帧;
该装置还可以包括:
投影转换模块,用于按照所述目标投影方式,将所述VR视频转换为全景视频;
视频播放模块,用于播放所述全景视频。
在一个可能的设计中,图4所示实施例的投影方式识别装置可以实现为一电子设备,如图5所示,该电子设备可以包括存储组件501以及处理组件502;
所述存储组件501存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理组件502调用执行。
所述处理组件502用于:
从待处理视频中提取多帧图像帧;
分别抽取所述多帧图像帧中的特征点;
将所述多帧图像帧的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;
根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式。
其中,处理组件502可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件501被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
在某些实施例中,所述处理组件所述从待处理视频中提取多帧图像帧可以是每间隔预设提取时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧。
在某些实施例中,所述处理组件每间隔预设时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧可以具体是:结合所述待处理视频的视频时长,确定所述预设提取时长;每间隔所述预设提取时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧。
在某些实施例中,所述处理组件分别抽取所述多帧图像帧中的特征点可以具体是分别抽取所述多帧图像帧中的角点。
在某些实施例中,所述处理组件根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式可以具体基于所述目标特征点的分布位置,利用预先训练的投影方式分类器确定所述待处理视频对应的目标投影方式;其中,所述投影方式分类器根据不同投影方式对应的预设特征点的分布位置训练获得。
在某些实施例中,所述处理组件根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式可以具体根据不同投影方式分别对应的预设特征点的分布位置,确定与所述目标特征点的分布位置匹配的投影方式;
将与所述目标特征点的分布位置匹配的投影方式作为所述待处理视频对应的目标投影方式。
在某些实施例中,所述处理组件根据不同投影方式分别对应的预设特征点的分布位置,确定与所述目标特征点的分布位置匹配的投影方式可以具体是将所述目标特征点的分布位置分别与不同投影方式各自对应的预设特征点的分布位置进行比较,确定所述目标特征点分别与不同投影方式各自对应的预设特征点的相同概率;将相同概率超出预设概率值的投影方式作为与所述目标特征点匹配的投影方式。
此外,作为又一个实施例,所述待处理视频可以为待播放的VR视频;该电子设备还可以包括显示组件503,
所述处理组件502还用于按照所述目标投影方式,将所述待处理视频转换为全景视频;
通过所述显示组件503播放所述全景视频。
其中,显示组件503可以包括显示面板,显示面板设置在头戴式设备面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
此外,在一个实际应用中,图5所示电子设备可以为一头戴式设备,该头戴式设备可以为外接式头戴式设备或者一体式头戴式设备,其中外接式头戴式设备需要与外部处理系统(例如计算机处理系统)配合使用。
因此,所述电子设备为头戴式设备时,如图6中所示:
在一些实施例中,该电子设备还可以包括:
虚拟图像光学组件504,用户通过该虚拟图像光学组件504观察显示组件503显示的图像,用户观察到的通常是放大后的图像。作为输出到显示组件503上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像或者使用外部相机拍摄的现实场景的图像。一些实施例中,虚拟图像光学组件504可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
在一些实施例中,该电子设备还可以包括:
输入操作组件505,其可以包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向处理组件502输出指令。
在一些实施例中,该电子设备还可以包括:
通信组件506,用于执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,处理组件502可以从通信组件506向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信组件506可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
在一些实施例中,该电子设备还可以包括:
图像处理组件507,用于执行信号处理,比如与从处理组件502输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示组件503的屏幕的分辨率;
显示驱动组件508,依次选择显示组件503的每行像素,并逐行依次扫描显示组件503的每行像素,因而提供基于经信号处理的图像信号的像素信号。
在一些实施例中,该电子设备还可以包括:
外部相机509,外部相机509可以设置在头戴式设备主体前表面,外部相机509可以为一个或者多个。外部相机509可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机509一起使用。
在一些实施例中,该电子设备还可以包括:
声音处理组件510,声音处理组件510可以执行从处理组件502输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。
声音输入/输出单元511,在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图6中虚线框示出的结构或部件可以独立于头戴式设备之外,例如可以设置在外部处理系统(例如计算机系统)中与头戴式设备配合使用;或者,虚线框示出的结构或部件可以设置在头戴式设备内部或者表面上。
在一些实施例中,该电子设备还可以包括:
检测组件512,可以获取用户的头部的位置信息和/或姿态信息。例如获取例如用户的操作状态(用户是否穿戴头戴式设备)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态等。检测组件512可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中等。其中,角速度传感器以及陀螺仪可以集成在一个硅片中形成硅微惯性测量组合,简称硅微惯组。
此外,本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图1所示实施例的投影方式识别方法。
此外,本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图2所示实施例的视频播放方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种投影方式识别方法,其特征在于,包括:
从待处理视频中提取多帧图像帧;
分别抽取所述多帧图像帧中的特征点;
将所述多帧图像帧的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;
根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式包括:
基于所述目标特征点的分布位置,利用预先训练的投影方式分类器确定所述待处理视频对应的目标投影方式;
其中,所述投影方式分类器根据不同投影方式对应的预设特征点的分布位置训练获得。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式包括:
根据不同投影方式分别对应的预设特征点的分布位置,确定与所述目标特征点的分布位置匹配的投影方式;
将与所述目标特征点的分布位置匹配的投影方式作为所述待处理视频对应的目标投影方式。
4.根据权利要求3所述的方法,其特征在于,所述根据不同投影方式分别对应的预设特征点的分布位置,确定与所述目标特征点的分布位置匹配的投影方式包括:
将所述目标特征点的分布位置分别与不同投影方式各自对应的预设特征点的分布位置进行比较,确定所述目标特征点分别与不同投影方式各自对应的预设特征点的相同概率;
将相同概率超出预设概率值的投影方式作为与所述目标特征点匹配的投影方式。
5.根据权利要求1所述的方法,其特征在于,所述从待处理视频中提取多帧图像帧包括:
每间隔预设提取时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧。
6.根据权利要求5所述的方法,其特征在于,所述每间隔预设提取时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧包括:
结合所述待处理视频的视频时长,确定预设提取时长;
每间隔所述预设提取时长从所述待处理视频中提取一帧图像帧,以获得多帧图像帧。
7.根据权利要求1所述的方法,其特征在于,所述分别抽取所述多帧图像帧中的特征点包括:
分别抽取所述多帧图像帧中的角点。
8.一种视频播放方法,其特征在于,包括:
从VR视频中提取多帧图像帧;
分别抽取所述多帧图像帧中的特征点;
将所述多帧图像帧中的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;
根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述VR视频对应的目标投影方式;
按照所述目标投影方式,将所述VR视频转换为全景视频;
播放所述全景视频。
9.一种电子设备,其特征在于,包括存储组件以及处理组件,所述存储组件存储一条或多条计算机程序指令;所述一条或多条计算机程序指令用以供所述处理组件调用并执行;
所述处理组件用于:
从待处理视频中提取多帧图像帧;
分别抽取所述多帧图像帧中的特征点;
将所述多帧图像帧的特征点进行比较,确定所述多帧图像帧中分布位置相同的目标特征点;
根据所述目标特征点的分布位置以及不同投影方式分别对应的预设特征点的分布位置,确定所述待处理视频对应的目标投影方式。
10.根据权利要求9所述的设备,其特征在于,所述待处理视频为VR视频;
所述设备还包括显示组件;
所述处理组件还用于按照所述目标投影方式,将所述待处理视频转换为全景视频;
通过所述显示组件播放所述全景视频。
CN201810745787.2A 2018-07-09 2018-07-09 投影方式识别方法、视频播放方法、装置及电子设备 Active CN108965859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810745787.2A CN108965859B (zh) 2018-07-09 2018-07-09 投影方式识别方法、视频播放方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810745787.2A CN108965859B (zh) 2018-07-09 2018-07-09 投影方式识别方法、视频播放方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108965859A CN108965859A (zh) 2018-12-07
CN108965859B true CN108965859B (zh) 2020-05-22

Family

ID=64482493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810745787.2A Active CN108965859B (zh) 2018-07-09 2018-07-09 投影方式识别方法、视频播放方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN108965859B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565736A (zh) * 2020-11-25 2021-03-26 聚好看科技股份有限公司 一种全景视频显示方法及显示设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
CN103839227B (zh) * 2012-11-23 2017-06-09 富士通株式会社 鱼眼图像校正方法和装置
CN103106641B (zh) * 2013-02-25 2016-09-14 深圳市繁维科技有限公司 应用于全景成像系统的投影变换方法以及装置
WO2016003340A1 (en) * 2014-07-03 2016-01-07 Telefonaktiebolaget L M Ericsson (Publ) Encoding and decoding of light fields
CN107851425B (zh) * 2015-08-05 2022-01-18 索尼公司 信息处理设备、信息处理方法和程序
CN108205797B (zh) * 2016-12-16 2021-05-11 杭州海康威视数字技术股份有限公司 一种全景视频融合方法及装置

Also Published As

Publication number Publication date
CN108965859A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
US11270455B2 (en) Method and apparatus for pose processing
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
WO2018107910A1 (zh) 一种全景视频融合方法及装置
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
KR101303877B1 (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
US20170163953A1 (en) Method and electronic device for processing image containing human face
CN109002248B (zh) Vr场景截图方法、设备及存储介质
CN114097248B (zh) 一种视频流处理方法、装置、设备及介质
WO2022139901A1 (en) Method and system of image processing with multi-object multi-view association
US11527014B2 (en) Methods and systems for calibrating surface data capture devices
JP2014520298A (ja) 拡張現実表現のための二次元画像取込み
US8400532B2 (en) Digital image capturing device providing photographing composition and method thereof
US11900529B2 (en) Image processing apparatus and method for generation of a three-dimensional model used for generating a virtual viewpoint image
US20210047036A1 (en) Controller and imaging method
EP4296947A1 (en) Calibration information determination method and apparatus, and electronic device
US10582125B1 (en) Panoramic image generation from video
CN112308977A (zh) 视频处理方法、视频处理装置和存储介质
CN110266955B (zh) 图像处理方法、装置、电子设备以及存储介质
CN117274383A (zh) 视点预测方法及装置、电子设备和存储介质
US11113379B2 (en) Unlocking method and virtual reality device
JP2020188448A (ja) 撮像装置及び撮像方法
CN110891168A (zh) 信息处理装置、信息处理方法和存储介质
CN108965859B (zh) 投影方式识别方法、视频播放方法、装置及电子设备
CN109842791B (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201015

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Patentee before: GOERTEK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221122

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right