CN113473244A - 一种自由视点视频播放控制方法及设备 - Google Patents

一种自由视点视频播放控制方法及设备 Download PDF

Info

Publication number
CN113473244A
CN113473244A CN202010582836.2A CN202010582836A CN113473244A CN 113473244 A CN113473244 A CN 113473244A CN 202010582836 A CN202010582836 A CN 202010582836A CN 113473244 A CN113473244 A CN 113473244A
Authority
CN
China
Prior art keywords
target
video sequence
virtual viewpoint
viewpoint video
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010582836.2A
Other languages
English (en)
Inventor
翟世平
高雪松
陈维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Electronic Industry Holdings Co Ltd
Original Assignee
Qingdao Hisense Electronic Industry Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronic Industry Holdings Co Ltd filed Critical Qingdao Hisense Electronic Industry Holdings Co Ltd
Priority to CN202010582836.2A priority Critical patent/CN113473244A/zh
Publication of CN113473244A publication Critical patent/CN113473244A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种自由视点视频播放控制方法及设备。本申请中，获取目标节目中用户指定的目标对象，在目标节目对应的单视点视频序列中，对目标对象进行视觉目标跟踪；当根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据目标对象的大小和/或位置，从目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；将目标虚拟视点视频序列发送给播放设备，使得播放设备播放所述目标虚拟视点视频序列。

Description

一种自由视点视频播放控制方法及设备
技术领域
本申请涉及自由视点视频技术领域，特别涉及一种自由视点视频播放控制方法及设备。
背景技术
自由视点视频是由多个单视点摄像机针对同一场景拍摄视频，将不同角度拍摄的视频进行合成得到的。基于自由视点的视频播放服务可使得用户观看任意角度视频。自由视点视频播放支持视频直播和视频录播。
在使用自由视点视频播放服务时，用户可以根据自己感兴趣的视角选取相应视角的视频进行观看。当用户需要切换到其他视角进行观看时，通过手动方式进行不同视角的视频切换，用户感受较差。
发明内容
本申请示例性的实施方式中提供一种自由视点视频播放控制方法及设备，用以基于视觉跟踪定位进行自由视点视角自动切换，以提高用户感受。
根据示例性的实施方式中的一方面，提供一种自由视点视频播放控制方法，包括：
获取目标节目中用户指定的目标对象；
在所述目标节目对应的单视点视频序列中，对所述目标对象进行视觉目标跟踪；
当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；其中，所述至少两个虚拟视点视频序列是根据所述目标节目对应的自由视点拼接视频序列生成的，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
在一些实施方式中，所述方法还包括：获取所述自由视点拼接视频序列；对所述自由视点拼接视频序列进行解码，得到所述自由视点拼接视频序列所包含的单视点视频序列；根据解码后得到的所有单视点视频序列，生成至少两个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。
在一些实施方式中，所述根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列，包括：根据所述目标对象的大小和/或位置，确定最佳视角；根据所述目标节目对应的至少两个虚拟视点视频序列各自对应的视角，从中选取与所述最佳视角匹配的一个虚拟视点视频序列作为目标虚拟视点视频序列。
根据示例性的实施方式中的一方面，提供一种流媒体服务器，包括：存储器和处理器，所述处理器与所述存储器耦接，所述处理器被配置为：
获取目标节目中用户指定的目标对象；
在所述目标节目对应的单视点视频序列中，对所述目标对象进行视觉目标跟踪；
当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；其中，所述至少两个虚拟视点视频序列是根据所述目标节目对应的自由视点拼接视频序列生成的，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
在一些实施方式中，所述处理器被进一步配置为：获取所述自由视点拼接视频序列；对所述自由视点拼接视频序列进行解码，得到所述自由视点拼接视频序列所包含的单视点视频序列；根据解码后得到的所有单视点视频序列，生成至少两个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。
根据示例性的实施方式中的一方面，提供一种视频处理终端，包括：存储器和处理器，所述处理器与所述存储器耦接，所述处理器被配置为：
获取目标节目中用户指定的目标对象；
接收所述目标节目对应的单视点视频序列以及自由视点拼接视频序列，其中，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
在所述单视点视频序列中对所述目标对象进行视觉目标跟踪；
当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；其中，所述至少两个虚拟视点视频序列是根据所述自由视点拼接视频序列生成的；
将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
在一些实施方式中，所述处理器被进一步配置为：获取所述自由视点拼接视频序列；对所述自由视点拼接视频序列进行解码，得到所述自由视点拼接视频序列所包含的单视点视频序列；根据解码后得到的所有单视点视频序列，生成至少两个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。
根据示例性的实施方式中的一方面，提供一种流媒体服务器，包括：
目标获取模块，用于获取目标节目中用户指定的目标对象；
目标跟踪模块，用于在所述目标节目对应的单视点视频序列中，对所述目标对象进行视觉目标跟踪；
视频切换模块，用于当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；其中，所述至少两个虚拟视点视频序列是根据所述目标节目对应的自由视点拼接视频序列生成的，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
发送模块，用于将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
根据示例性的实施方式中的一方面，提供一种视频处理终端，包括：
视频接收模块，用于从流媒体服务器接收目标节目对应的单视点视频序列以及自由视点拼接视频序列，其中，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
虚拟视点视频序列生成模块，用于根据所述自由视点拼接视频序列生成至少两个虚拟视点视频序列；
目标获取模块，用于获取所述目标节目中用户指定的目标对象；
目标跟踪模块，用于在所述单视点视频序列中对所述目标对象进行视觉目标跟踪；
视频切换模块，用于当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；
发送模块，用于将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
本申请的上述实施例中，通过在目标节目对应的单视点视频序列中对目标对象进行视觉目标跟踪，并当根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从该目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列进行播放，从而实现了基于视觉跟踪定位进行自由视点视角自动切换，可以提高用户感受。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1中示例性示出了本实施例中生成自由视点视频序列的示意图；
图2中示例性示出了本申请实施例中视频播放系统的示意图；
图3中示例性示出了本申请实施例中的流媒体服务器的结构示意图；
图4中示例性示出了本申请实施例中在流媒体服务器侧执行的视频播放控制流程示意图：
图5中示例性示出了本申请另外的实施例中的视频播放系统的示意图；
图6中示例性示出了本申请实施例中视频处理终端的结构示意图；
图7中示例性示出了本申请实施例中在视频处理终端侧实现的视频播放控制方法的流程示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解，本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
本申请实施例提出了一种自由视点视频播放控制方法及设备，通过对用户感兴趣的视频内容进行视觉跟踪定位，为用户自动选择相应视角的视频。本申请实施例可适用于视频直播场景，也可适用于视频点播场景。
下面结合附图对本申请实施例进行详细描述。
图1示例性示出了本申请实施例中生成自由视点视频序列的示意图。
如图1所示，在目标场景周围可设置多个摄像机，该多个摄像机形成摄像机阵列，不同摄像机从不同视角进行拍摄，以便从多维空间视角对该场景进行拍摄，形成多路单视点视频序列。该多路单视点视频序列被传输到视频合成服务器，由视频合成服务器进行拼接处理，得到自由视点拼接视频序列。
本申请实施例中，可采用多路视频实时全景拼接算法，将多路单视点视频序列拼接为自由视点拼接视频序列。需要说明的是，本申请实施例对自由视点拼接视频序列的生成方法不做限制。
图2示例性示出了本申请实施例中视频播放系统的架构示意图。
如图所示，多路单视点视频序列被传输到视频合成服务器201，由视频合成服务器201进行拼接处理，形成自由视点拼接视频序列后，该自由视点拼接视频序列被发送到流媒体服务器202进行存储。
流媒体服务器202对自由视点拼接视频序列进行处理，生成多个虚拟视点视频序列。不同的虚拟视点视频序列对应于同一场景的不同视角，用以满足用户对任意视角的视频观看要求。流媒体服务器在向用户提供媒体播放服务时，根据用户指定的目标对象，在一个摄像机拍摄的单视点视频序列中对该目标对象进行视觉跟踪定位，当根据视觉目标跟踪结果判定该目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从多个虚拟视点视频序列中选择目标虚拟视点视频序列，并将该目标虚拟视点视频序列通过网络203发送给播放设备，使得播放设备播放所述目标虚拟视点视频序列。
其中，播放设备是指具有视频播放功能的电子设备，如图所示，播放设备包括：智能手机204、平板电脑205、便携式电脑206、智能电视207等。
基于上述流媒体服务器的功能，图3示例性示出了一种流媒体服务器的结构。
如图所示，该流媒体服务器可包括：目标获取模块301、目标跟踪模块302、视频切换模块303、发送模块304。其中：
目标获取模块301，用于获取目标节目中用户指定的目标对象，该目标对象为视频中用户感兴趣的对象；
目标跟踪模块302，用于在该目标节目对应的单视点视频序列中，对所述目标对象进行视觉目标跟踪；
视频切换模块303，用于当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；
发送模块304，用于将目标虚拟视点视频序列发送给播放设备，使得播放设备播放该目标虚拟视点视频序列。
在一些实施例中，目标跟踪模块302可根据目标对象的大小和/或位置确定最佳视角，根据多个虚拟视点视频序列各自对应的视角，从中选取与该最佳视角匹配的一个虚拟视点视频序列作为目标虚拟视点视频序列。
在一些实施例中，上述流媒体服务器中还可包括虚拟视点视频序列生成模块305，用于：获取自由视点拼接视频序列，对该自由视点拼接视频序列进行解码，得到该自由视点拼接视频序列所包含的单视点视频序列，根据解码后得到的所有单视点视频序列，生成多个虚拟视点视频序列。
图4示例性示出了本申请实施例中由流媒体服务器实现的自由视点视频播放控制方法的流程示意图。
本申请实施例中，流媒体服务器可在获得自由视点拼接视频序列后，对自由视点拼接视频序列进行解码，得到自由视点拼接视频序列所包含的单视点视频序列，再根据解码后得到的所有单视点视频序列，生成多个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。该多个虚拟视点视频序列可存储为视频列表的形式，以便根据情况从中选取虚拟视点视频序列发送给用户侧的播放设备进行视频播放。
可以基于深度信息并采用卷积神经网络生成虚拟视点视频序列。需要说明的是，本申请实施例对虚拟视点视频序列生成算法不做限制。
参见图4，流媒体服务器进行视频播放控制的流程可包括以下步骤：
S401：流媒体服务器获取目标节目中用户指定的目标对象。
本申请实施例中，用户可通过终端或播放设备发送视频播放请求，比如，在视频点播场景下，用户通过终端或播放设备从视频资源列表中选取某个目标节目并请求播放；再比如，在视频直播场景下，用户通过终端或播放设备选择直播频道以请求观看直播的目标节目。用户在发起视频播放请求后，可基于系统提供的用户界面选取该用户所感兴趣的目标对象，并将该目标对象的信息发送给服务器。比如，针对所请求观看的篮球比赛直播节目，用户可选择参与比赛的某个篮球运动员作为目标对象。
S402：流媒体服务器在目标节目对应的单视点视频序列中，对该目标对象进行视觉目标跟踪。
本申请实施例中，一个目标节目可对应有一个自由视点拼接视频序列以及一个单视点视频序列，该单视点视频序列可以该自由视点拼接视频序列所包含的一路视频序列，也可以不在该自由视点拼接视频序列所包含的多路视频序列中。
该步骤中，流媒体服务器可根据用户请求观看的目标节目，从其视频资源库中获取该目标节目对应的单视点视频序列。可预先指定一个拍摄范围较大的视频采集设备所采集的单视点视频序列用于进行目标对象视觉目标跟踪。
视觉目标跟踪就是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。本申请实施例中，可采用以下方法对目标对象进行跟踪：
首先输入初始化目标框，该目标框中包含目标对象；然后在下一帧中产生多个候选框，提取这些候选框的特征(Feature Extractor)，对这些候选框进行评分(ObservationModel)，最后在这些评分中找一个得分最高的候选框作为预测的目标，或者对多个预测值进行融合(Ensemble)得到更优的预测目标。
为了实现较精确的目标跟踪，本申请实施例以基于相关滤波(CorrelationFilter)和卷积神经网络(CNN)的跟踪方法进行目标跟踪。需要说明的是，本申请实施例对所使用的视觉目标跟踪方法不做限制。
S403：若根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件，则转入S404，否则返回S402以继续进行目标跟踪。
该步骤中，可预先设置虚拟视点视频切换条件，比如，该条件可设置为：当目标对象的位置移动到视频帧的边缘区域(视频帧的边缘区域可预先定义)时，满足虚拟视点视频切换条件；该条件还可以设置为：当目标对象的大小小于其他对象的大小，或者小于设定的大小时(通常目标对象的大小与摄像机镜头之间的距离相关，距离越远，目标对象越小)，满足虚拟视点视频切换条件。该条件也可以结合目标对象的大小和位置来设置。
当基于对目标对象的视觉目标跟踪，判定满足虚拟视点视频切换条件后，则转入后续步骤以选择最佳视角的虚拟视点视频，否则可保持当前视角的虚拟视点视频不变，继续对目标对象进行视觉目标跟踪。
S404：流媒体服务器根据目标对象的大小和/或位置，从该目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列。
该步骤中，流媒体服务器可首先根据目标对象的大小和/或位置，计算得到最佳视角，例如距离最近且人物在视频画面中央的视角；再根据每个虚拟视点视频序列各自对应的视角，从中选取与该最佳视角匹配的一个虚拟视点视频序列作为目标虚拟视点视频序列。
S405：流媒体服务器将目标虚拟视点视频序列发送给播放设备，使得该播放设备播放目标虚拟视点视频序列。
当用户所请求观看的视频序列播放完成或者视频处理终端接收到用户的结束指令时，上述流程结束。
基于上述流程，以用户所请求观看的视频为篮球比赛节目为例，流媒体服务器可预先根据该节目的自由视点拼接视频流(即视频序列)生成N个(N为大于1的整数)虚拟视点的视频流。在为用户提供视频服务器的过程中，根据该节目的一个单视点视频流对用户指定的该用户感兴趣的篮球运动员进行视觉目标跟踪，根据目标跟踪结果确定最佳观影视角(如距离最近、人物在视频画面中央)，根据最佳观影视角选择匹配的虚拟视点视频流并下发至用户侧的播放设备进行播放。
以播放设备直播篮球比赛为例，本申请实施例在实际应用中，将能够拍摄到比赛场景全局画面的摄像机所拍摄的单视点视频序列作为用于进行视觉目标跟踪的单视点视频序列，以便能够跟踪比赛场地中的所有运动员。
在篮球比赛直播开始前，用户可在用户界面中的参赛运动员列表中选取需要跟踪的篮球运动员(比如篮球运动员A)。用户所选择的篮球运动员的名字或标识以及该用户的标识等信息被发送给流媒体服务器，流媒体服务器上存储有该比赛中各运动员的人脸等特征信息，以用于视觉目标跟踪。
在直播开始后，流媒体服务基于上述单视点视频序列，对该用户关注的运动员进行视频目标跟踪，并在此过程中，根据所跟踪的运动员A的位置、大小等，判断是否满足虚拟视点视频切换条件，如果满足，则根据目标对象的运动方向、位置等，从虚拟视点视频序列中选取一个目标虚拟视点视频序列，所选择的目标虚拟视点视频序列能够使得运动员A位于画面中心区域或者使得运动员A相比于其他运动员占据更多画面。流媒体服务器将该用户对应的虚拟视点视频序列切换到该目标虚拟视点视频序列，以便用户能够观看其所关注的运动员A的比赛过程。
本申请的一些实施例中，也可以允许用户在直播开始后，选取或重新选取需要跟踪的篮球运动员。比如，在使用智能手机观看直播比赛的过程中，用户可通过屏幕触控操作触发直播暂停功能选项，并在当前静止的图像中对当前需要关注的运动员进行框选(比如在触摸屏上将该静止图像中的目标运动员的轮廓圈出来，并触发″跟踪″功能选项，以选定跟踪目标)。播放设备可将该静止图像以及用户所圈选的区域相关信息发送给流媒体服务器。流媒体服务器获得该静止图像后，可对该区域内的对象进行识别，以获得用户所要跟踪的目标。后续流媒体服务器可根据对该目标的视觉跟踪进行虚拟视点视频序列的切换。
通过以上描述可以看出，本申请的上述实施例中，通过在目标节目对应的单视点视频序列中对目标对象进行视觉目标跟踪，并当根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从该目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列进行播放，从而实现了基于视觉跟踪定位进行自由视点视角自动切换，可以提高用户感受。
图5示例性示出了本申请另外的实施例中视频播放系统的架构示意图。
如图所示，多路单视点视频序列被传输到视频合成服务器，由视频合成服务器进行拼接处理，形成自由视点拼接视频序列后，该自由视点拼接视频序列被发送到流媒体服务器501进行存储。在流媒体服务器为用户提供视频播放服务的过程中，流媒体服务器501通过网络502将用户请求播放的节目所对应的自由视点拼接视频序列发送给用户侧的视频处理终端503。流媒体服务器501还可将该节目所对应的一个单视点视频序列发送给视频处理终端503以用于进行视觉目标跟踪。
视频处理终端503对自由视点拼接视频序列进行处理，生成多个虚拟视点视频序列。不同的虚拟视点视频序列对应于同一场景的不同视角，用以满足用户对任意视角的视频观看要求。流媒体服务器在向用户提供媒体播放服务时，根据用户指定的目标对象，在单视点视频序列中对该目标对象进行视觉跟踪定位，当根据视觉目标跟踪结果判定该目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从多个虚拟视点视频序列中选择目标虚拟视点视频序列，并将该目标虚拟视点视频序列发送给播放设备，使得播放设备播放所述目标虚拟视点视频序列。
其中，播放设备是指具有视频播放功能的电子设备，如图所示，播放设备包括：智能电视504、智能手机505、PC机506等。
上述架构中的视频处理终端503与各种播放设备可处于同一局域网中，该视频处理终端503可以是智能家居场景下用于进行视频处理相关的设备，比如具体可以是智能机顶盒。
基于上述视频处理终端的功能，图6示例性示出了一种视频处理终端的结构。
如图所示，该视频处理终端可包括：视频接收模块601、虚拟视点视频序列生成模块602、目标获取模块603、目标跟踪模块604、视频切换模块605、发送模块606。其中：
视频接收模块601，用于从流媒体服务器接收目标节目对应的单视点视频序列，以及自由视点拼接视频序列；
虚拟视点视频序列生成模块602，用于根据自由视点拼接视频序列生成多个虚拟视点视频序列；
目标获取模块603，用于获取目标节目中用户指定的目标对象；
目标跟踪模块604，用于在所述单视点视频序列中对目标对象进行视觉目标跟踪；
视频切换模块605，用于当根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据目标对象的大小和/或位置，从多个虚拟视点视频序列中选择目标虚拟视点视频序列；
发送模块606，用于将目标虚拟视点视频序列发送给播放设备，使得播放设备播放该目标虚拟视点视频序列。
在一些实施例中，目标跟踪模块604可根据目标对象的大小和/或位置确定最佳视角，根据多个虚拟视点视频序列各自对应的视角，从中选取与该最佳视角匹配的一个虚拟视点视频序列作为目标虚拟视点视频序列。
图7示例性示出了本申请实施例中由视频处理终端实现的自由视点视频播放控制方法的流程示意图。如图所示，视频处理终端进行视频播放控制的流程可包括以下步骤：
S701：视频处理终端从流媒体服务器接收用户请求的目标节目所对应的单视点视频序列以及自由视点拼接视频序列。
本申请实施例中，一个目标节目可对应有一个自由视点拼接视频序列以及一个单视点视频序列，该单视点视频序列可以该自由视点拼接视频序列所包含的一路视频序列，也可以不在该自由视点拼接视频序列所包含的多路视频序列中。
该步骤中，基于用户所请求观看的目标节目，视频处理终端可向流媒体服务器发送视频获取请求，流媒体服务器将用户所请求观看的目标节目所对应的单视点视频序列以及自由视点拼接视频序列发送给视频处理终端。
S702：视频处理终端根据自由视点拼接视频序列生成多个虚拟视点视频序列。
该步骤中，视频处理终端在接收到流媒体服务器发送的自由视点拼接视频序列后，对自由视点拼接视频序列进行解码，得到自由视点拼接视频序列所包含的单视点视频序列，再根据解码后得到的所有单视点视频序列，生成多个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。该多个虚拟视点视频序列可存储为视频列表的形式，以便根据情况从中选取虚拟视点视频序列发送给用户侧的播放设备进行视频播放。虚拟视点视频序列的生成算法可参见前述实施例的描述。需要说明的是，本申请实施例对虚拟视点视频序列生成算法不做限制。
S703：视频处理终端获取目标节目中用户指定的目标对象。
S704：视频处理终端在目标节目对应的单视点视频序列中，对该目标对象进行视觉目标跟踪。
S705：若根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件，则转入S706，否则返回S704以继续进行目标跟踪。
S706：视频处理终端根据目标对象的大小和/或位置，从目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列。
S707：视频处理终端将目标虚拟视点视频序列发送给播放设备，使得该播放设备播放目标虚拟视点视频序列。
上述流程中的一些步骤(比如上述S703至S707)的具体实现方式，基本与图4所示流程中相关步骤的具体实现方式相同，在此不再重复。
当用户所请求观看的目标节目的视频序列播放完成或者视频处理终端接收到用户的结束指令时，上述流程结束。
本申请的上述实施例中，通过在目标节目对应的单视点视频序列中对目标对象进行视觉目标跟踪，并当根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从该目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列进行播放，从而实现了基于视觉跟踪定位进行自由视点视角自动切换，可以提高用户感受。
根据示例性的实施方式中的一方面，本申请实施例还提供一种流媒体服务器，包括：存储器和处理器，所述处理器与所述存储器耦接，所述处理器被配置为执行本申请上述实施例描述的服务器所执行的方法。
根据示例性的实施方式中的一方面，本申请实施例还提供一种视频处理终端，包括：存储器和处理器，所述处理器与所述存储器耦接，所述处理器被配置为执行本申请上述实施例描述的视频处理终端所执行的方法。
根据示例性的实施方式中的一方面，本申请实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行上述的方法。
在符合本领域常识的基础上，上述各优选条件可任意组合，即得本申请各较佳实施例。
由于本申请实施例中的通信终端和计算机存储介质可以应用于上述处理方法，因此，其所能获得的技术效果也可参考上述方法实施例，本申请的实施例在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
虽然以上描述了本申请的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本申请的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本申请的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本申请的保护范围。

Claims (9)

1.一种自由视点视频播放控制方法，其特征在于，包括：
获取目标节目中用户指定的目标对象；
在所述目标节目对应的单视点视频序列中，对所述目标对象进行视觉目标跟踪；
当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；其中，所述至少两个虚拟视点视频序列是根据所述目标节目对应的自由视点拼接视频序列生成的，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述自由视点拼接视频序列；
对所述自由视点拼接视频序列进行解码，得到所述自由视点拼接视频序列所包含的单视点视频序列；
根据解码后得到的所有单视点视频序列，生成至少两个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。
3.如权利要求1所述的方法，其特征在于，所述根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列，包括：
根据所述目标对象的大小和/或位置，确定最佳视角；
根据所述目标节目对应的至少两个虚拟视点视频序列各自对应的视角，从中选取与所述最佳视角匹配的一个虚拟视点视频序列作为目标虚拟视点视频序列。
4.一种流媒体服务器，其特征在于，包括：存储器和处理器，所述处理器与所述存储器耦接，所述处理器被配置为：
获取目标节目中用户指定的目标对象；
在所述目标节目对应的单视点视频序列中，对所述目标对象进行视觉目标跟踪；
当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；其中，所述至少两个虚拟视点视频序列是根据所述目标节目对应的自由视点拼接视频序列生成的，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
5.如权利要求4所述的流媒体服务器，其特征在于，所述处理器被进一步配置为：
获取所述自由视点拼接视频序列；
对所述自由视点拼接视频序列进行解码，得到所述自由视点拼接视频序列所包含的单视点视频序列；
根据解码后得到的所有单视点视频序列，生成至少两个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。
6.一种视频处理终端，其特征在于，包括：存储器和处理器，所述处理器与所述存储器耦接，所述处理器被配置为：
获取目标节目中用户指定的目标对象；
接收所述目标节目对应的单视点视频序列以及自由视点拼接视频序列，其中，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
在所述单视点视频序列中对所述目标对象进行视觉目标跟踪；
当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；其中，所述至少两个虚拟视点视频序列是根据所述自由视点拼接视频序列生成的；
将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
7.如权利要求6所述的视频处理终端，其特征在于，所述处理器被进一步配置为：
获取所述自由视点拼接视频序列；
对所述自由视点拼接视频序列进行解码，得到所述自由视点拼接视频序列所包含的单视点视频序列；
根据解码后得到的所有单视点视频序列，生成至少两个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。
8.一种流媒体服务器，其特征在于，包括：
目标获取模块，用于获取目标节目中用户指定的目标对象；
目标跟踪模块，用于在所述目标节目对应的单视点视频序列中，对所述目标对象进行视觉目标跟踪；
视频切换模块，用于当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；其中，所述至少两个虚拟视点视频序列是根据所述目标节目对应的自由视点拼接视频序列生成的，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
发送模块，用于将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
9.一种视频处理终端，其特征在于，包括：
视频接收模块，用于从流媒体服务器接收目标节目对应的单视点视频序列以及自由视点拼接视频序列，其中，所述自由视点拼接视频序列是由至少两个视频采集设备针对同一场景分别采集的单视点视频序列拼接而成的；
虚拟视点视频序列生成模块，用于根据所述自由视点拼接视频序列生成至少两个虚拟视点视频序列；
目标获取模块，用于获取所述目标节目中用户指定的目标对象；
目标跟踪模块，用于在所述单视点视频序列中对所述目标对象进行视觉目标跟踪；
视频切换模块，用于当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从所述至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；
发送模块，用于将所述目标虚拟视点视频序列发送给播放设备，使得所述播放设备播放所述目标虚拟视点视频序列。
CN202010582836.2A 2020-06-23 2020-06-23 一种自由视点视频播放控制方法及设备 Pending CN113473244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010582836.2A CN113473244A (zh) 2020-06-23 2020-06-23 一种自由视点视频播放控制方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010582836.2A CN113473244A (zh) 2020-06-23 2020-06-23 一种自由视点视频播放控制方法及设备

Publications (1)

Publication Number Publication Date
CN113473244A true CN113473244A (zh) 2021-10-01

Family

ID=77868152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010582836.2A Pending CN113473244A (zh) 2020-06-23 2020-06-23 一种自由视点视频播放控制方法及设备

Country Status (1)

Country Link
CN (1) CN113473244A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115314750A (zh) * 2022-08-10 2022-11-08 润博全景文旅科技有限公司 一种视频播放方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104602129A (zh) * 2015-01-27 2015-05-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统
CN105828206A (zh) * 2016-03-22 2016-08-03 乐视网信息技术（北京）股份有限公司 多路视频点播方法和装置
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置
CN107396085A (zh) * 2017-08-24 2017-11-24 三星电子（中国）研发中心 一种全视点视频图像的处理方法及系统
WO2018163898A1 (ja) * 2017-03-09 2018-09-13 株式会社岩根研究所 自由視点移動表示装置
CN109361913A (zh) * 2015-05-18 2019-02-19 韩国电子通信研究院 用于对于头戴式显示器提供三维图像的方法和装置
JP2020021104A (ja) * 2018-07-30 2020-02-06 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理のシステム、およびそれらの制御方法、プログラム
CN110798673A (zh) * 2019-11-13 2020-02-14 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
CN111182218A (zh) * 2020-01-07 2020-05-19 影石创新科技股份有限公司 全景视频处理方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104602129A (zh) * 2015-01-27 2015-05-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统
CN109361913A (zh) * 2015-05-18 2019-02-19 韩国电子通信研究院 用于对于头戴式显示器提供三维图像的方法和装置
CN105828206A (zh) * 2016-03-22 2016-08-03 乐视网信息技术（北京）股份有限公司 多路视频点播方法和装置
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置
WO2018163898A1 (ja) * 2017-03-09 2018-09-13 株式会社岩根研究所 自由視点移動表示装置
CN107396085A (zh) * 2017-08-24 2017-11-24 三星电子（中国）研发中心 一种全视点视频图像的处理方法及系统
JP2020021104A (ja) * 2018-07-30 2020-02-06 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理のシステム、およびそれらの制御方法、プログラム
CN110798673A (zh) * 2019-11-13 2020-02-14 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
CN111182218A (zh) * 2020-01-07 2020-05-19 影石创新科技股份有限公司 全景视频处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115314750A (zh) * 2022-08-10 2022-11-08 润博全景文旅科技有限公司 一种视频播放方法、装置及设备
CN115314750B (zh) * 2022-08-10 2023-09-29 润博全景文旅科技有限公司 一种视频播放方法、装置及设备

Similar Documents

Publication Publication Date Title
US20210195212A1 (en) Predicting and verifying regions of interest selections
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
US8745258B2 (en) Method, apparatus and system for presenting content on a viewing device
JP7132730B2 (ja) 情報処理装置および情報処理方法
Chen et al. An autonomous framework to produce and distribute personalized team-sport video summaries: A basketball case study
US9313421B2 (en) Multiple-input configuration and playback video enhancement
Feng et al. Viewport prediction for live 360-degree mobile video streaming using user-content hybrid motion tracking
TWI818899B (zh) 影像處理設備及用於提供一影像之方法
US20120250980A1 (en) Method, apparatus and system
WO2017113577A1 (zh) 一种游戏场景的实时播放方法及相关装置和系统
CN113301351B (zh) 视频播放方法、装置、电子设备及计算机存储介质
CN112581627A (zh) 用于体积视频的用户控制的虚拟摄像机的系统和装置
CN101742096A (zh) 多视角互动电视系统与方法
JP2005159592A (ja) コンテンツ送信装置およびコンテンツ受信装置
KR102107055B1 (ko) 기계학습 기반의 스포츠 중계 영상 추천 방법 및 장치
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
TWI757455B (zh) 自視訊的影像產生
CN110798692A (zh) 一种视频直播方法、服务器及存储介质
CN113473244A (zh) 一种自由视点视频播放控制方法及设备
JP7423974B2 (ja) 情報処理システム、情報処理方法及びプログラム
WO2020017354A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Wang et al. Personal multi-view viewpoint recommendation based on trajectory distribution of the viewing target
JP2006174124A (ja) 映像配信再生システム、映像配信装置及び映像再生装置
KR101573676B1 (ko) 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체
JP7083361B2 (ja) 画像処理装置およびシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination