CN110324640A - 一种智能全景视频播放方法及装置 - Google Patents

一种智能全景视频播放方法及装置 Download PDF

Info

Publication number
CN110324640A
CN110324640A CN201910628904.1A CN201910628904A CN110324640A CN 110324640 A CN110324640 A CN 110324640A CN 201910628904 A CN201910628904 A CN 201910628904A CN 110324640 A CN110324640 A CN 110324640A
Authority
CN
China
Prior art keywords
panoramic video
frame
scene
play
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910628904.1A
Other languages
English (en)
Other versions
CN110324640B (zh
Inventor
朱磊
杨晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Yishe Technology Co Ltd
Original Assignee
Qingdao Yishe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yishe Technology Co Ltd filed Critical Qingdao Yishe Technology Co Ltd
Priority to CN201910628904.1A priority Critical patent/CN110324640B/zh
Publication of CN110324640A publication Critical patent/CN110324640A/zh
Application granted granted Critical
Publication of CN110324640B publication Critical patent/CN110324640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Abstract

本发明提供了一种智能全景视频播放方法及装置。智能全景视频播放方法包括:获取全景视频数据;基于智能算法对全景视频数据进行分析,包括:从每个全景视频帧中提取n个场景样本,对场景样本提取特征信息,计算每个全景视频帧中n个场景对象与下一帧中n个场景样本的特征关联程度,若关联程度高于预设阈值,判定二者属同一场景,进行场景分类,以为全景视频序列分配不同的播放模式,不同的播放模式包括不同的视角参数和/或不同的帧率;以及当接收到指导播放指令时,基于分析结果对全景视频数据进行播放。本发明的上述技术,可以使用户观看全景视频的视角得到类似专业摄影师拍摄技巧或者全景视频后期处理技巧的改变。

Description

一种智能全景视频播放方法及装置
技术领域
本发明涉及视频处理技术,尤其涉及一种智能全景视频播放方法及装置。
背景技术
通常智能终端在播放全景视频时,播放装置播放的只是全景视频中某个朝向的部分画面。事实上全景视频是以观察者为中心,绕固定点旋转一周所观察到全方位360度的视野场景。在播放时,智能终端可以通过用户滑动屏幕或移动硬件设备来决定显示全景视频当前帧图像中的哪部分图像,该部分图像相当于用户作为观察者以一定观察视角观看全景视频时所看到的部分图像,此观察视角即为当前视频的播放视角。
然而,用户在观看全景视频时可以通过特定硬件设备与全景视频播放装置进行互动,实时输入视角控制信息从而实现视角的自由转换,这种观看模式存在以下不足,全景视频在拍摄或录制时并没有加入拍摄者或者制作者的艺术剪辑,用户在观看时缺乏对视频整体内容的掌握,容易错过精彩镜头,导致本来应该很精彩的一部视频作品却并没有给用户带来应有的精彩呈现;也可能用户并非任何时刻都有关注的场景,但是由于必须给出观看视角指令而不得不时刻做出动作;也可能用户需要慢慢观看一些精彩场景,但是由于必须手动回放和输入视角信息给用户观看全景视频带来了诸多不便。
发明内容
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不意图确定本发明的关键或重要部分,也不意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
鉴于此,本发明提供了一种智能全景视频播放方法及装置,以至少解决现有技术在播放全景视频时容易错过精彩镜头以及需要手动回放等问题。
本发明提供了一种智能全景视频播放方法,所述智能全景视频播放方法包括:获取全景视频数据,所述全景视频数据包括多个全景视频序列;基于智能算法对全景视频数据进行分析,所述分析包括:从每个全景视频帧中提取n个场景样本,n为正整数,对每个全景视频帧中的n个场景样本提取特征信息,计算每个全景视频帧中n个场景样本与下一帧中n个场景样本的特征关联程度,若该关联程度高于预设阈值时,判定该帧与其下一帧的场景样本属于同一场景,通过非监督学习过程按照时间顺序对多个全景视频序列中属于相同场景的场景样本进行场景分类,以及基于场景分类为全景视频序列分配不同的播放模式,不同的播放模式包括不同的视角参数和/或不同的帧率;以及当接收到指导播放指令时,基于分析结果对全景视频数据进行播放。
进一步地,在所述从每个全景视频帧中提取n个场景样本的步骤中,以显示窗口及视场角大小为检索窗口提取场景样本,并索引场景样本的观察视角。
进一步地,设置精彩画面对应的播放帧率为第一帧率,非精彩画面对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
进一步地,设置同一段连续视频帧中的部分精彩画面对应的播放帧率为第一帧率,该段连续视频帧中的其余部分对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
进一步地,设置不同视频帧序列的视角参数而使得:预定目标时刻显示。
进一步地,若用户超过预设时间未对播放装置操作,触发指导播放指令,以在对应全景视频帧的多个场景样本中匹配最接近的场景样本,并由此确定场景样本组的播放模式。
根据本发明的另一方面,还提供了一种智能全景视频播放装置,所述装置包括:视频获取单元,适于获取全景视频数据,所述全景视频数据包括多个全景视频序列;处理单元,适于基于智能算法对全景视频数据进行分析;所述处理单元包括:配置模块,适于从每个全景视频帧中提取n个场景样本,n为正整数,特征提取模块,适于对每个全景视频帧中的n个场景样本提取特征信息,计算模块,适于计算每个全景视频帧中n个场景样本与下一帧中n个场景样本的特征关联程度,若该关联程度高于预设阈值时,判定该帧与其下一帧的场景样本属于同一场景,分类模块,适于通过非监督学习过程按照时间顺序对多个全景视频序列中属于相同场景的场景样本进行场景分类,以及分配模块,适于基于场景分类为全景视频序列分配不同的播放模式,不同的播放模式包括不同的视角参数和/或不同的帧率;以及播放单元,适于当接收到指导播放指令时,基于分析结果对全景视频数据进行播放。
进一步地,所述配置模块适于以显示窗口及视场角大小为检索窗口提取场景样本,并索引场景样本的观察视角。
进一步地,所述分配模块适于设置精彩画面对应的播放帧率为第一帧率,非精彩画面对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
本发明的一种智能全景视频播放方法及装置,能够使用户观看全景视频的视角得到类似专业摄影师拍摄技巧或者全景视频后期处理技巧的改变。
通过以下结合附图对本发明的最佳实施例的详细说明,本发明的这些以及其他优点将更加明显。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。其中:
图1是示出本发明的一种智能全景视频播放方法的一种示例性处理的流程图;
图2是示出图1中的步骤S2的一种可能处理的流程图;
图3是示出本发明的一种智能全景视频播放装置的一个示例的结构框图;
图4是示出图3中的处理单元的一种可能结构的框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本发明实施例的理解。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本发明内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
本发明的实施例提供了一种智能全景视频播放方法,该方法包括:获取全景视频数据,所述全景视频数据包括多个全景视频序列;基于智能算法对全景视频数据进行分析,所述分析包括:从每个全景视频帧中提取n个场景样本,n为正整数,对每个全景视频帧中的n个场景样本提取特征信息,计算每个视频帧中n个场景样本与下一帧中n个场景样本的特征关联程度,若该关联程度高于预设阈值时,判定该视频帧Im与其下一帧的场景样本属于同一场景,通过非监督学习过程按照时间顺序对多个全景视频序列中属于相同场景的场景样本进行场景分类,以及基于场景分类为全景视频序列分配不同的播放模式,不同的播放模式包括不同的视角参数和/或不同的帧率;以及当接收到指导播放指令时,基于分析结果对全景视频数据进行播放。
在本发明的实施例中,场景样本例如是预先设定的某些场景,多个场景样本可以包含一个或多个场景类别。
场景类别例如可以是景观类型而进行的分类,例如分类可以包括人文场景类别、自然场景类别、高山场景类别、流水场景类别等等。
或者,场景类别也可以是更细致的分类,比如,风车场景、瀑布场景等等。
图1示出了上述一种智能全景视频播放方法的一种示例性处理。
如图1所示,在步骤S1中,获取全景视频数据,全景视频数据包括多个全景视频序列。然后,执行步骤S2。
在步骤S2中,基于智能算法对全景视频数据进行分析。然后,执行步骤S3。
作为示例,步骤S2例如可以包括如图2所示的步骤S21~S25。
如图2所示,在步骤S21中,从每个全景视频帧中提取n个场景样本,可以以显示窗口大小为检索窗口提取场景样本,并索引场景样本的观察视角;假设上述全景视频中共有S个视频帧序列,视频帧Im表示第m个全景视频序列中的某一帧,则m=1,2,…,S,其中,S例如为正整数。从视频帧Im中提取的场景样本为{Im1,Im2,……,Imn},Im1~Imn表示提取的n个场景样本,其对应的观察视角例如为球面姿态角{(αm1,βm1),(αm2,βm2),……,(αmn,βmn)}。也就是说,场景样本Im1对应于球面姿态角(αm1,βm1),场景样本Im2对应于面姿态角(αm2,βm2),等等。
更为优选地,可以不从每个全景视频帧中提取n个场景样本,而是从每个视频帧序列的一个或多个全景关键帧中提取场景样本,因为关键帧是角色或者物体运动或变化中的关键动作所处的那一帧,这样可以缩短对全景视频数据分析的时间。
接着,在步骤S22中,对每个全景视频帧中的n个场景样本提取特征信息。
作为示例,特征信息例如可以是颜色特征信息、形状特征信息、纹理特征信息等图像信息中的至少一种。
然后,在步骤S23中,计算视频帧Im中n个场景样本与视频帧I(m+1)中n个场景样本的特征关联程度,若关联程度高于预设阈值时则将两个场景样本划分为同一场景。
接着,在步骤S24中,通过非监督学习过程按照时间顺序对多个全景视频序列中相同场景的场景样本进行场景分类,使得相同场景的场景样本分为同一类。
这样,在步骤S25中,根据不同的场景分类为每组场景样本分配不同的播放模式,播放模式包括视角参数的不同和帧率的不同等,视角参数即为上述索引的观察视角。
例如,假设播放视角对应的视频序列x1对应场景一,另一播放视角对应的视频序列x2对应场景二,则可以设置成:视频序列x1配置的播放模式中的参数中的帧率高于视频序列x2配置的播放模式中的参数中的帧率。
作为示例,播放参数的各种不同组合序列可以使视频帧序列按照(但不限于)下面描述的方式一至方式三播放。
在方式一中,例如当播放视角对应的当前视频帧及之后若干帧的画面不精彩或没有明显变化时,可通过提高该播放视角所对应的视频帧率使该场景画面快速略过(如帧率为下文描述的第二帧率),相反当播放视角对应的当前视频帧及之后若干帧的画面很精彩或需要仔细赏析时,可通过降低该播放视角所对应的视频帧率使场景画面慢速播放(如帧率为下文描述的第一帧率)。
作为示例,设置精彩画面对应的播放帧率为第一帧率,非精彩画面对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
其中,精彩画面例如是包含有指定对象的画面,指定对象例如是某个景点、某个目标物(如雕像、建筑等)以及某个人等。此外,精彩画面中包含的指定对象的数量可以是一个,也可以是多个。
作为示例,设置同一段连续视频帧中的部分精彩画面对应的播放帧率为第一帧率,该段连续视频帧中的其余部分对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
例如,精彩画面可以预设帧率a,非精彩画面预设帧率b,a例如小于b。
又如,同一段连续视频帧中的部分精彩画面可以预设帧率a,该段连续视频帧中的其余部分预设帧率b,a例如小于b。
在方式二中,例如可以始终保持全景视频中一个或多个目标时刻显示。
例如,当播放视角对应的当前视频帧及之后n-1帧的画面始终包含高山和铁塔,则包含高山和铁塔的画面为其中一组场景,其对应的n个视角参数{(α1,β1),(α2,β2),……,(αn,βn)}.
在方式三中,例如可以通过视角的快速变换(如按照预定速度变换)以达到使某一播放视角的视频画面获得连续转动效果。
例如,当前视频帧及之后n-1帧的播放视角始终是从桥的上面向下俯瞰,可设置n个视角参数{(α1,β1),(α2,β2),……,(αn,βn)}中的每组视角参数进行细微的改变,以使播放画面为旋转俯瞰一座桥。
在执行完步骤S2之后,当接收到用户的指导播放指令时,可以在步骤S3中基于分析结果对全景视频数据进行播放。
作为示例,当接收到用户的指导播放指令时,可根据以下方法判断用户是否触发了指导播放指令,例如用户滑动屏幕观看全景视频时长时间没有与播放装置进行互动,则通过自由方式中设定的两次输入指令的间隔时间n秒(n例如为2秒、3秒、5秒或10秒等)来判断,若用户超过n秒没有对播放装置进行操作,则自动触发指导播放指令;又例如用户滑动屏幕观看全景视频时可点击按钮手动触发指导播放指令。
此时,播放装置首先确定触发时间点,由此确定起始全景视频帧;并确定触发时的用户视角,由此确定触发时的用户场景;根据智能分析结果为其分配播放模式。
需要说明的是,用户在全景视频进入指导模式播放时,可以随时通过与播放装置的互动进入全景视频自由方式(滑动屏幕或移动硬件设备)播放。
需要说明的是,视角参数可采用多种表现形式,例如坐标、姿态角、空间向量等。
例如,将用户视角向球面投影,全景视频第一分钟中球面姿态角(90°,80°)所对应的视角显示区域始终是一片天空,当用户触发指导模式播放时的球面姿态角为(80°,70°),接近于球面姿态角(90°,80°),通过对视频帧的智能分析,该角度下所对应的天空场景长时间没有发生变化,因此播放装置将该角度下的多帧视频帧的帧率参数由25设置为60,加快第一分钟内的全景视频帧贴图速度;
又例如,全景视频第二分钟中球面姿态角(120°,30°)所对应的视角显示区域始终包括不动目标高塔,当用户触发指导模式播放时的球面姿态角接近于该姿态角(120°,30°),通过对视频帧的智能分析,该角度下所对应的场景为始终围绕该不动目标高塔,因此播放装置使该高塔始终保持在之后的播放视角中;
又例如,全景视频第三分钟中球面姿态角(120°,-80°)所对应的视角显示区域始终包括不动目标某桥,当用户触发指导模式播放时的球面姿态角接近于该姿态角(120°,-80°),通过对视频帧的智能分析,该角度下所对应的场景为始终围绕该桥旋转,因此播放装置使之后的播放角度进行些微的旋转以使俯瞰该桥时有画面转动的效果。
由此可知,同一用户在观看同一全景视频在不同角度和不同时刻触发指导播放模式时所观看的场景画面也是不一样的;由于没有对视频源文件做任何的修改,而只是播放装置根据不同的触发模式相应的调整观看视角和/或观看方式,增强了用户观看全景视频的趣味性和体验感。
此外,本发明的实施例还提供了一种智能全景视频播放装置。
图3示出了上述智能全景视频播放装置的一个示例的结构框图。
如图3所示,智能全景视频播放装置包括视频获取单元310、处理单元320以及播放单元330。
视频获取单元310可以获取全景视频数据。
处理单元320可以基于智能算法对全景视频数据进行分析。
作为示例,处理单元320例如可以包括如图4所示的结构。
如图4所示,处理单元320可以包括配置模块410、特征提取模块420、计算模块430、分类模块440和分配模块450。
配置模块410,用于从每个全景视频帧中提取n个场景样本,可以以显示窗口大小为检索窗口提取场景样本,并索引场景样本的观察视角。
特征提取模块420,用于对每个全景视频帧中的n个场景样本提取特征信息。
计算模块430,用于计算视频帧Im中n个场景样本与其下一个视频帧I(m+1)中n个场景样本的特征关联程度,若关联程度高于预设阈值时则将两个场景样本划分为同一场景。
分类模块440,用于通过非监督学习过程按照时间顺序对多个全景视频序列中相同场景的场景样本进行场景分类,使得相同场景的场景样本分为同一类(即同一组)。
分配模块450,用于根据不同的场景为每组场景样本分配不同的播放模式,播放模式包括视角参数的不同和帧率的不同等。
作为示例,播放参数的组合序列可以使视频帧序列按照(但不限于)下面描述的方式一至方式三播放。
在方式一中,例如当播放视角对应的当前视频帧及之后若干帧的画面不精彩或没有明显变化时,可通过提高该播放视角所对应的视频帧率使该场景画面快速略过,相反当播放视角对应的当前视频帧及之后若干帧的画面很精彩或需要仔细赏析时,可通过降低该播放视角所对应的视频帧率使场景画面慢速播放。
作为示例,通过设置视角参数和帧率而使得:精彩画面对应的播放帧率为第一帧率,非精彩画面对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
作为示例,通过设置视角参数和帧率而使得:同一段连续视频帧中的部分精彩画面对应的播放帧率为第一帧率,该段连续视频帧中的其余部分对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
例如,精彩画面可以预设帧率a,非精彩画面预设帧率b,a例如小于b。
又如,同一段连续视频帧中的部分精彩画面可以预设帧率a,该段连续视频帧中的其余部分预设帧率b,a例如小于b。
在方式二中,例如可以始终保持全景视频中一个或多个目标时刻显示。
在方式三中,例如可以通过视角的快速变换以达到使某一播放视角的视频画面获得连续转动效果。
当接收到用户的指导播放指令时,播放单元330基于分析结果对全景视频数据进行播放。
作为示例,当接收到用户的指导播放指令时,可根据以下方法判断用户是否触发了指导播放指令,例如用户滑动屏幕观看全景视频时长时间没有与播放装置进行互动,则通过自由方式中设定的两次输入指令的间隔时间n秒(n例如为2秒、3秒、5秒或10秒等)来判断,若用户超过n秒没有对播放装置进行操作,则自动触发指导播放指令;又例如用户滑动屏幕观看全景视频时可点击按钮手动触发指导播放指令。
此时,播放装置首先确定触发时间点,由此确定起始全景视频帧;并确定触发时的用户视角,由此确定触发时的用户场景;根据智能分析结果为其分配播放模式。
需要说明的是,用户在全景视频进入指导模式播放时,可以随时通过与播放装置的互动进入全景视频自由方式(滑动屏幕或移动硬件设备)播放。
需要说明的是,视角参数可采用多种表现形式,例如坐标、姿态角、空间向量等。
例如,将用户视角向球面投影,全景视频第一分钟中球面姿态角(90°,80°)所对应的视角显示区域始终是一片天空,当用户触发指导模式播放时的球面姿态角为(80°,70°),接近于球面姿态角(90°,80°),通过对视频帧的智能分析,该角度下所对应的天空场景长时间没有发生变化,因此播放装置将该角度下的多帧视频帧的帧率参数由25设置为60,加快第一分钟内的全景视频帧贴图速度;
又例如,全景视频第二分钟中球面姿态角(120°,30°)所对应的视角显示区域始终包括不动目标高塔,当用户触发指导模式播放时的球面姿态角接近于该姿态角(120°,30°),通过对视频帧的智能分析,该角度下所对应的场景为始终围绕该不动目标高塔,因此播放装置使该高塔始终保持在之后的播放视角中;
又例如,全景视频第三分钟中球面姿态角(120°,-80°)所对应的视角显示区域始终包括不动目标某桥,当用户触发指导模式播放时的球面姿态角接近于该姿态角(120°,-80°),通过对视频帧的智能分析,该角度下所对应的场景为始终围绕该桥旋转,因此播放装置使之后的播放角度进行些微的旋转以使俯瞰该桥时有画面转动的效果。
由此可知,同一用户在观看同一全景视频在不同角度和不同时刻触发指导播放模式时所观看的场景画面也是不一样的;由于没有对视频源文件做任何的修改,而只是播放装置根据不同的触发模式相应的调整观看视角和/或观看方式,增强了用户观看全景视频的趣味性和体验感。
最后应说明的是:以上实施例仅用以示例性说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明及本发明带来的有益效果进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求的范围。

Claims (9)

1.一种智能全景视频播放方法,其特征在于,所述方法包括:
获取全景视频数据,所述全景视频数据包括多个全景视频序列;
基于智能算法对全景视频数据进行分析,所述分析包括:
从每个全景视频帧中提取n个场景样本,n为正整数,
对每个全景视频帧中的n个场景样本提取特征信息,
计算每个全景视频帧中n个场景样本与下一帧中n个场景样本的特征关联程度,若该关联程度高于预设阈值时,判定该帧与其下一帧的场景样本属于同一场景,
通过非监督学习过程按照时间顺序对多个全景视频序列中属于相同场景的场景样本进行场景分类,以及
基于场景分类为全景视频序列分配不同的播放模式,不同的播放模式包括不同的视角参数和/或不同的帧率;以及
当接收到指导播放指令时,基于分析结果对全景视频数据进行播放。
2.根据权利要求1所述的方法,其特征在于,在所述从每个全景视频帧中提取n个场景样本的步骤中,以显示窗口及视场角大小为检索窗口提取场景样本,并索引场景样本的观察视角。
3.根据权利要求1或2所述的方法,其特征在于,通过设置播放参数的各种不同组合序列以使视频帧序列按照方式一至方式三中至少一种方式播放:
在方式一中,假如当播放视角对应的当前视频帧及之后多帧的画面不精彩或没有明显变化时,通过提高该播放视角所对应的视频帧率使该场景画面快速略过,而当播放视角对应的当前视频帧及之后多帧的画面精彩或需要仔细赏析时,通过降低该播放视角所对应的视频帧率使场景画面慢速播放;
在方式二中,始终保持全景视频中一个或多个目标时刻显示;
在方式三中,通过视角的快速变换以达到使某一播放视角的视频画面获得连续转动效果。
4.根据权利要求1-3中任一项所述的方法,其特征在于,设置精彩画面对应的播放帧率为第一帧率,非精彩画面对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
5.根据权利要求1-4中任一项所述的方法,其特征在于,设置同一段连续视频帧中的部分精彩画面对应的播放帧率为第一帧率,该段连续视频帧中的其余部分对应的播放帧率为第二帧率,其中,第一帧率小于第二帧率。
6.根据权利要求1-5中任一项所述的全景视频播放方法,其特征在于,设置不同视频帧序列的视角参数而使得:预定目标时刻显示。
7.根据权利要求1-6中任一项所述的方法,其特征在于,若用户超过预设时间未对播放装置操作,触发指导播放指令,以在对应全景视频帧的多个场景样本中匹配最接近的场景样本,并由此确定场景样本组的播放模式。
8.一种智能全景视频播放装置,其特征在于,所述装置包括:
视频获取单元,适于获取全景视频数据,所述全景视频数据包括多个全景视频序列;
处理单元,适于基于智能算法对全景视频数据进行分析;
所述处理单元包括:
配置模块,适于从每个全景视频帧中提取n个场景样本,n为正整数,
特征提取模块,适于对每个全景视频帧中的n个场景样本提取特征信息,
计算模块,适于计算每个全景视频帧中n个场景样本与该帧的下一帧中n个场景样本的特征关联程度,若该关联程度高于预设阈值时,判定该帧与其下一帧的场景样本属于同一场景,
分类模块,适于通过非监督学习过程按照时间顺序对多个全景视频序列中属于相同场景的场景样本进行场景分类,以及
分配模块,适于基于场景分类为全景视频序列分配不同的播放模式,不同的播放模式包括不同的视角参数和/或不同的帧率;以及
播放单元,适于当接收到指导播放指令时,基于分析结果对全景视频数据进行播放。
9.根据权利要求8所述的装置,其特征在于,所述配置模块适于以显示窗口及视场角大小为检索窗口提取场景样本,并索引场景样本的观察视角;从每个全景视频序列中的每个全景视频帧中提取n个场景样本,其对应的观察视角表示为球面姿态角。
CN201910628904.1A 2019-07-12 2019-07-12 一种智能全景视频播放方法及装置 Active CN110324640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910628904.1A CN110324640B (zh) 2019-07-12 2019-07-12 一种智能全景视频播放方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910628904.1A CN110324640B (zh) 2019-07-12 2019-07-12 一种智能全景视频播放方法及装置

Publications (2)

Publication Number Publication Date
CN110324640A true CN110324640A (zh) 2019-10-11
CN110324640B CN110324640B (zh) 2021-09-03

Family

ID=68122037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910628904.1A Active CN110324640B (zh) 2019-07-12 2019-07-12 一种智能全景视频播放方法及装置

Country Status (1)

Country Link
CN (1) CN110324640B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733637A (zh) * 2020-12-29 2021-04-30 上海小零网络科技有限公司 一种超市的全景视频监控方法
CN112866778A (zh) * 2019-11-27 2021-05-28 西安诺瓦星云科技股份有限公司 流媒体显示方法及装置、流媒体显示系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812853A (zh) * 2016-03-16 2016-07-27 联想(北京)有限公司 一种图像处理方法及电子设备
CN106358036A (zh) * 2016-08-31 2017-01-25 杭州当虹科技有限公司 一种以预设视角观看虚拟现实视频的方法
CN107454437A (zh) * 2016-06-01 2017-12-08 深圳市维杰乐思科技有限公司 一种视频标注方法及其装置、服务器
CN107948206A (zh) * 2018-01-02 2018-04-20 联想(北京)有限公司 一种多媒体数据下载/或上传的方法及系统
US20190200097A1 (en) * 2017-12-05 2019-06-27 Fdn. for Res.&Bus., Seoul Nat. Univ. of Sci.&Tech. System and method for predicting user viewpoint using location information of sound source in 360 vr contents

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812853A (zh) * 2016-03-16 2016-07-27 联想(北京)有限公司 一种图像处理方法及电子设备
CN107454437A (zh) * 2016-06-01 2017-12-08 深圳市维杰乐思科技有限公司 一种视频标注方法及其装置、服务器
CN106358036A (zh) * 2016-08-31 2017-01-25 杭州当虹科技有限公司 一种以预设视角观看虚拟现实视频的方法
US20190200097A1 (en) * 2017-12-05 2019-06-27 Fdn. for Res.&Bus., Seoul Nat. Univ. of Sci.&Tech. System and method for predicting user viewpoint using location information of sound source in 360 vr contents
CN107948206A (zh) * 2018-01-02 2018-04-20 联想(北京)有限公司 一种多媒体数据下载/或上传的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD HOSSEINI等: "View-aware tile-based adaptations in 360 virtual reality video streaming", 《2017 IEEE VIRTUAL REALITY (VR)》 *
白瑞霞: "全景视频的自适应传输技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866778A (zh) * 2019-11-27 2021-05-28 西安诺瓦星云科技股份有限公司 流媒体显示方法及装置、流媒体显示系统
CN112866778B (zh) * 2019-11-27 2023-03-14 北京嗨动视觉科技有限公司 流媒体显示方法及装置、流媒体显示系统
CN112733637A (zh) * 2020-12-29 2021-04-30 上海小零网络科技有限公司 一种超市的全景视频监控方法

Also Published As

Publication number Publication date
CN110324640B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN105654471B (zh) 应用于互联网视频直播的增强现实ar系统及方法
CN111540055B (zh) 三维模型驱动方法、装置、电子设备及存储介质
CN104581380B (zh) 一种信息处理的方法及移动终端
US8717453B2 (en) Video processing apparatus, and control method and program therefor
TW200536389A (en) Intelligent key-frame extraction from a video
CN1425171A (zh) 以时空同步整合视频序列的方法及系统
CN106658032B (zh) 一种多摄像头直播方法及系统
US20190013047A1 (en) Identifying interesting portions of videos
CN110225402B (zh) 智能保持全景视频中兴趣目标时刻显示的方法及装置
JP2009505553A (ja) ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法
CN108282598A (zh) 一种软件导播系统及方法
CN114363689A (zh) 直播控制方法、装置、存储介质及电子设备
CN112637670B (zh) 视频生成方法及装置
US11335039B2 (en) Correlation of multiple-source image data
CN111757137A (zh) 一种基于单镜头直播视频的多路特写播放方法及装置
CN108900764A (zh) 拍摄方法和电子装置以及拍摄控制方法和服务器
CN110324640A (zh) 一种智能全景视频播放方法及装置
CN110324641A (zh) 全景视频中保持兴趣目标时刻显示的方法及装置
CN110225405A (zh) 一种全景视频播放方法及装置
CN110225401A (zh) 一种可调整视角的视频播放方法及装置
CN115175005A (zh) 视频处理方法、装置、电子设备及存储介质
CN110312170A (zh) 一种智能调整视角的视频播放方法及装置
Lin et al. Enhanced multi-view dancing videos synchronisation
Stoll et al. Automatic Camera Selection, Shot Size and Video Editing in Theater Multi-Camera Recordings
Yeh Selecting interesting image regions to automatically create cinemagraphs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant