CN108076355A - 视频播放控制方法和装置 - Google Patents

视频播放控制方法和装置 Download PDF

Info

Publication number
CN108076355A
CN108076355A CN201711429957.8A CN201711429957A CN108076355A CN 108076355 A CN108076355 A CN 108076355A CN 201711429957 A CN201711429957 A CN 201711429957A CN 108076355 A CN108076355 A CN 108076355A
Authority
CN
China
Prior art keywords
video
visual angle
eye movement
user
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711429957.8A
Other languages
English (en)
Other versions
CN108076355B (zh
Inventor
李华冈
郭俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711429957.8A priority Critical patent/CN108076355B/zh
Publication of CN108076355A publication Critical patent/CN108076355A/zh
Application granted granted Critical
Publication of CN108076355B publication Critical patent/CN108076355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种视频播放控制方法和装置，其中，方法包括：通过在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，据此可以确定用户的预测视角，根据预测视角，对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。

Description

视频播放控制方法和装置
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种视频播放控制方法和装置。
背景技术
在虚拟现实(Virtual Reality，VR)技术中，为了对VR视频播放进行播放视角调整时，通常采用VR设备自身的传感器采集用户当前的眼球状态，以及身体的位置状态，根据这些信息，对VR视频进行播放视角调整。
但这种方式，由于需要在获取用户当前眼球状态和位置状态等信息之后，才能够进行播放视角调整，因此，存在滞后性，播放效果不佳。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的提出一种视频播放控制方法和装置，以实现减少播放视角调整的滞后性，改善播放效果。
本发明第一方面实施例提出了一种视频播放控制方法，包括：
在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹；所述眼动轨迹，用于指示用户的实际视角随时间变化关系；
根据所述眼动轨迹，确定用户的预测视角；
根据所述预测视角，对所述视频进行播放视角调整。
本发明实施例的视频播放控制方法，通过在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，据此可以确定用户的预测视角，根据预测视角，对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。
为达上述目的，本发明第二方面实施例提出了另一种视频播放控制方法，包括：
服务器获取终端发送的眼动轨迹；所述眼动轨迹，是所述终端在VR视频播放过程中，采集用户观看所述视频时实际视角随时间变化关系得到的；
所述服务器根据所述眼动轨迹，确定用户的预测视角；
所述服务器根据所述预测视角，生成用于对所述视频进行播放视角调整的控制参数；
所述服务器向所述终端发送所述控制参数。
本发明实施例的视频播放控制方法，通过在VR视频播放过程中，终端采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，服务器据此可以确定用户的预测视角，根据预测视角，服务器控制终端对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。
为达上述目的，本发明第三方面实施例提出了一种视频播放控制装置，包括：
采集模块，用于在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹；所述眼动轨迹，用于指示用户的实际视角随时间变化关系；
确定模块，用于根据所述眼动轨迹，确定用户的预测视角；
调整模块，用于根据所述预测视角，对所述视频进行播放视角调整。
为达上述目的，本发明第四方面实施例提出了另一种视频播放控制装置，包括：
获取模块，用于获取终端发送的眼动轨迹；所述眼动轨迹，是所述终端在VR视频播放过程中，采集用户观看所述视频时实际视角随时间变化关系得到的；
生成模块，用于根据所述眼动轨迹，确定用户的预测视角；根据所述预测视角，生成用于对所述视频进行播放视角调整的控制参数；
发送模块，用于向所述终端发送所述控制参数。
本发明实施例的视频播放控制装置，通过在VR视频播放过程中，终端采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，服务器据此可以确定用户的预测视角，根据预测视角，服务器控制终端对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。
为达上述目的，本发明第五方面实施例提出了一种视频播放控制系统，包括终端以及用于执行如第二方面所述视频播放控制方法的服务器。
为达上述目的，本发明第六方面实施例提出了一种计算机设备，存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求第一方面实施例所述的视频播放控制方法。
为达上述目的，本发明第七方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的视频播放控制方法。
为达上述目的，本发明第八方面实施例提出了一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如第一方面实施例所述的视频播放控制方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种视频播放控制方法的流程示意图；
图2为本发明实施例提供的另一种视频播放控制方法的流程示意图；
图3为本发明实施例提供的视频播放控制系统的结构示意图；
图4为视频段落所展示的虚拟现实场景的示意图；
图5为本发明实施例提供的一种视频播放控制装置的结构示意图；
图6为本发明实施例提供的另一种视频播放控制装置的结构示意图；以及
图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的视频播放控制方法和装置。
图1为本发明实施例所提供的一种视频播放控制方法的流程示意图。
现有技术中，为了达到用户对VR视频播放进行控制的目的，通常采用VR设备自身的传感器采集用户当前的眼球状态，以及身体的位置状态，根据这些信息，对VR视频进行播放视角调整。但这种方式，由于需要在获取用户当前眼球状态和位置状态等信息之后，才能够进行播放视角调整，因此，存在滞后性，播放效果不佳。
针对这一问题，本发明实施例提供了视频播放控制方法，以改善播放效果，作为一种可能的实现方式，视频播放控制方法由用于播放VR视频的终端本地实现，作为另一种可能的实现方式，视频播放控制方法由终端和服务器交互实现。
为了清楚说明视频播放控制方法由用于播放VR视频的终端本地实现过程，图1为本发明实施例提供的一种视频播放控制方法的流程示意图，如图1所示，该视频播放控制方法包括以下步骤：
步骤101，在VR视频播放过程中，采集用户观看视频时的眼动轨迹。
其中，眼动轨迹，用于指示用户的实际视角随时间变化关系。
步骤102，根据眼动轨迹，确定用户的预测视角。
其中，VR视频包括多个视频段落，每一视频段落展示对应的一个虚拟现实场景。
具体地，对眼动轨迹，进行特征提取，得到特征信息。具体来说，轨迹曲线中各段曲线视角取平均值，确定平均值相对基准视角的水平偏移量和纵向偏移量，将每段曲线视为一个特征点，提取各段曲线的曲率、斜率、极值、平均值相对基准视角的水平偏移量和纵向偏移量等等作为该特征点的特征信息。
并且，确定采集到眼动轨迹时，正在播放的视频段落。将眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角。其中，VR视频包括多个视频段落，每一个视频段落具有对应的一个模型，各视频段落对应的模型，用于指示用户观看该视频段落的过程中，前一时段的眼动轨迹与下一时段的初始视角之间的对应关系。
需要说明的是，这里的时段是根据周期性执行本实施例提供方法时，周期的长度确定的，终端计算能力越强，周期越短，时段划分越细致。
作为一种可能的实现方式，将眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角之前，需要采用大量样本对模型进行训练。
首先，获取多个用户在观看同一视频段落时，前一时段采集到的眼动轨迹与后一时段采集到的初始视角。
进而，针对每一个用户，根据所述前一时段采集到的眼动轨迹的特征信息，生成训练样本，并采用同一用户后一时段采集到的初始视角对所述训练样本进行标注。
最后，根据经过标注的训练样本，对该视频段落对应的模型进行训练。
步骤103，根据预测视角，对视频进行播放视角调整。
具体地，确定正在播放的视频段落所展现的虚拟现实场景，生成以该预测视角观看虚拟现实场景的视频画面，对所述视频画面进行播放。
作为一种可能的实现场景，终端配置有陀螺仪等用于测量用户位移或者头部转动角度的传感器。
在这种场景下，确定正在播放的视频段落所展现的虚拟现实场景之后，可以获取用户相对基准位置的位移量，以及头部角度相对基准角度的角度偏移量，根据确定出的位移量、角度偏移量和预测视角，估计用户的可视范围，根据用户可视范围生成虚拟显示场景的用户可视画面，作为待播放的视频画面。
本实施例中，通过在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，据此可以确定用户的预测视角，根据预测视角，对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。
为了清楚说明由服务器和终端交互实现视频播放控制方法的过程，本实施例提供了另一种视频播放控制方法，图2为本发明实施例提供的另一种视频播放控制方法的流程示意图，如图2所示，该方法由服务器执行，可以包括以下步骤：
步骤201，服务器获取终端发送的眼动轨迹。
其中，眼动轨迹，是所述终端在VR视频播放过程中，采集用户观看所述视频时实际视角随时间变化关系得到的。
步骤202，服务器根据眼动轨迹，确定用户的预测视角。
其中，VR视频包括多个视频段落，每一视频段落展示对应的一个虚拟现实场景。
具体地，服务器对眼动轨迹，进行特征提取，得到特征信息，服务器确定采集到该眼动轨迹时终端正在播放的视频段落，服务器将眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角。其中，视频段落对应的模型，用于指示用户观看视频段落的过程中，前一时段的眼动轨迹与下一时段的初始视角之间的对应关系。
进一步地，服务器将眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角之前，服务器以对预先架构的模型进行训练。训练过程如下：
服务器获取多个用户在观看同一视频段落时，前一时段采集到的眼动轨迹与后一时段采集到的初始视角。针对每一个用户，服务器根据前一时段采集到的眼动轨迹的特征信息，生成训练样本，并采用同一用户后一时段采集到的初始视角对所述训练样本进行标注。服务器根据经过标注的训练样本，对该视频段落对应的模型进行训练。
步骤203，服务器根据所述预测视角，生成用于对所述视频进行播放视角调整的控制参数。
作为一种可能的实现方式，控制参数包括预测视角。控制参数中仅包括预测视角，以使终端设备根据预测视角生成用户以所述预测视角所观看到的视频画面。进而对该视频画面进行展示。
作为又一种可能的实现方式，控制参数包括用于切换至所述视频画面的切换指令。服务器确定正在播放的视频段落所展现的虚拟现实场景。服务器生成以该预测视角观看所述虚拟现实场景的视频画面，服务器根据该视频画面，生成切换指令，该切换指令中携带切换后的视频画面信息。
作为另一种可能的实现方式，控制参数包括用于切换至所述视频画面的切换指令和预测视角。具体切换指令及预测视角的生成过程，参见前述步骤的相关描述，在此不再赘述。
步骤204，服务器向终端发送该控制参数。
具体地，服务器向终端发送该控制参数，以使终端根据控制参数中的预测视角对视频进行播放视角调整，或者根据控制参数中的切换指令，切换至所的视频画面。
本实施例中，通过在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，据此可以确定用户的预测视角，根据预测视角，对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。
为了清楚上述实施例，本发明还提出一种视频播放控制系统，图3为本发明实施例提供的视频播放控制系统的结构示意图，如图3所示，包括终端31和服务器32。
终端31，具体可以为VR设备，用于播放VR视频，以及采集用户眼动轨迹。并根据服务器32发送的控制参数进行VR视频的视角调整。
服务器32，用于根据终端31采集的眼动轨迹，生成控制参数。
在一种可能的应用场景中，为了避免终端31与服务器32相互传递的数据量较大，影响实时性，因此，对终端31采集到的用户的实际视角随时间变化关系进行了压缩，以减少眼动轨迹的数据量。
具体地，终端31启动后，运行终端31预先安装的VR播放器。VR播放器开始进行播放，终端31的传感器同步采集用户的实际视角随时间变化关系，在终端31本地对实际视角θ随时间t变化关系θ-t进行分析综合，将大量的θ-t进行去噪使得θ-t曲线更加平滑，及进行数据压缩进一步减少数据量，并最终得到用户观看视频时的眼动轨迹。眼动轨迹以及采集到眼动轨迹时，终端31正在播放的视频段落发给云端的服务器32。
从而服务器32，对眼动轨迹，进行特征提取，得到特征信息，服务器32确定采集到该眼动轨迹时终端31正在播放的视频段落，服务器32将眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角。其中，视频段落对应的模型，用于指示用户观看视频段落的过程中，前一时段的眼动轨迹与下一时段的初始视角之间的对应关系。
进一步地，服务器32将眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角之前，服务器32可以对预先架构的模型进行训练。训练过程如下：
服务器32通过多个终端31获取使用各终端31的用户在观看同一视频段落时，前一时段采集到的眼动轨迹与后一时段采集到的初始视角。针对每一个用户，服务器32根据前一时段采集到的眼动轨迹的特征信息，生成训练样本，并采用同一用户后一时段采集到的初始视角对所述训练样本进行标注。服务器32根据经过标注的训练样本，对该视频段落对应的模型进行训练。
图4为视频段落所展示的虚拟现实场景的示意图，如图4所示，在图4所示的虚拟现实场景中，不同用户有不同的眼动轨迹。根据用户实际眼动轨迹，预测用户下一时刻的预测视角。
例如：图4中包含多种物品，已探测到用户的视角从关注A物体移动至关注B物体过程中的眼动轨迹，将这种眼动轨迹输入该视频段落对应的模板，确定出很可能用户视角后续会变化为关注C物体，当用户关注C物体时，往往为仰视状态，因此，视角调整为仰视。可以对VR视频中的该视频段落预先根据仰视C物体进行播放视角调整，并在探测到用户视角与预测视角匹配时，对该视频段落视角调整后的视频画面进行展示，减少了画面延迟，改善了显示效果。
本实施例中，通过在VR视频播放过程中，终端采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，服务器据此可以确定用户的预测视角，根据预测视角，服务器控制终端对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。
图5为本发明实施例提供的一种视频播放控制装置的结构示意图，如图5所示，该装置包括：采集模块51、确定模块52和调整模块53。
采集模块51，用于在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹。
其中，眼动轨迹，用于指示用户的实际视角随时间变化关系。
确定模块52，用于根据所述眼动轨迹，确定用户的预测视角。
调整模块53，用于根据所述预测视角，对所述视频进行播放视角调整。
具体地，调整模块53，具体用于确定正在播放的视频段落所展现的虚拟现实场景；生成以所述预测视角观看所述虚拟现实场景的视频画面；对所述视频画面进行播放。
进一步地，VR视频包括多个视频段落，每一视频段落展示对应的一个虚拟现实场景。
基于此，确定模块52，具体用于对所述眼动轨迹，进行特征提取，得到特征信息；确定采集到所述眼动轨迹时，正在播放的视频段落；将所述眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角；其中，所述视频段落对应的模型，用于指示用户观看所述视频段落的过程中，前一时段的所述眼动轨迹与下一时段的初始视角之间的对应关系。
确定模块52，还用于将所述眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角之前，获取多个用户在观看同一视频段落时，前一时段采集到的眼动轨迹与后一时段采集到的初始视角；针对每一个用户，根据所述前一时段采集到的眼动轨迹的特征信息，生成训练样本，并采用同一用户后一时段采集到的初始视角对所述训练样本进行标注；根据经过标注的训练样本，对所述视频段落对应的模型进行训练。
本实施例提供的视频播放控制装置，通过在VR视频播放过程中，终端采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，服务器据此可以确定用户的预测视角，根据预测视角，服务器控制终端对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。
图6为本发明实施例提供的另一种视频播放控制装置的结构示意图，如图6所示，该装置包括：获取模块61、生成模块62和发送模块63。
获取模块61，用于获取终端发送的眼动轨迹。
其中，眼动轨迹，是所述终端在VR视频播放过程中，采集用户观看所述视频时实际视角随时间变化关系得到的。
生成模块62，用于根据所述眼动轨迹，确定用户的预测视角；根据所述预测视角，生成用于对所述视频进行播放视角调整的控制参数。
发送模块63，用于向所述终端发送所述控制参数。
进一步地，VR视频包括多个视频段落，每一视频段落展示对应的一个虚拟现实场景。
基于此，生成模块62，具体用于对所述眼动轨迹，进行特征提取，得到特征信息；确定终端采集到所述眼动轨迹时正在播放的视频段落；将所述眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角；确定正在播放的视频段落所展现的虚拟现实场景之后，生成以所述预测视角观看所述虚拟现实场景的视频画面；根据所述视频画面，生成所述控制参数，所述控制参数包括用于切换至所述视频画面的切换指令和/或所述预测视角。
其中，所述视频段落对应的模型，用于指示用户观看所述视频段落的过程中，前一时段的所述眼动轨迹与下一时段的初始视角之间的对应关系。
生成模块62还用于将所述眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角之前，获取多个用户在观看同一视频段落时，前一时段采集到的眼动轨迹与后一时段采集到的初始视角；针对每一个用户，根据所述前一时段采集到的眼动轨迹的特征信息，生成训练样本，并采用同一用户后一时段采集到的初始视角对所述训练样本进行标注；根据经过标注的训练样本，对所述视频段落对应的模型进行训练。
本实施例中的视频播放控制装置，通过在VR视频播放过程中，终端采集用户观看所述视频时的眼动轨迹，由于眼动轨迹指示用户的实际视角随时间变化关系，服务器据此可以确定用户的预测视角，根据预测视角，服务器控制终端对视频进行播放视角调整。由于采用了根据眼动轨迹，预测用户的预测视角的方式，提前对视频的播放视角进行调整，解决了现有技术中视角调整滞后性的技术问题。
需要说明的是，前述对方法实施例的解释说明也适用于对应实施例的装置，此处不再赘述。
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如图1对应实施例的视频播放控制方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1对应实施例的视频播放控制方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如图1对应实施例的视频播放控制方法。
图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图7显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种视频播放控制方法，其特征在于，包括以下步骤：
在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹；所述眼动轨迹，用于指示用户的实际视角随时间变化关系；
根据所述眼动轨迹，确定用户的预测视角；
根据所述预测视角，对所述视频进行播放视角调整。
2.根据权利要求1所述的视频播放控制方法，其特征在于，所述VR视频包括多个视频段落，每一视频段落展示对应的一个虚拟现实场景，所述根据所述眼动轨迹，确定用户的预测视角，包括：
对所述眼动轨迹，进行特征提取，得到特征信息；
确定采集到所述眼动轨迹时，正在播放的视频段落；
将所述眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角；
其中，所述视频段落对应的模型，用于指示用户观看所述视频段落的过程中，前一时段的所述眼动轨迹与下一时段的初始视角之间的对应关系。
3.根据权利要求2所述的视频播放控制方法，其特征在于，所述将所述眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角之前，还包括：
获取多个用户在观看同一视频段落时，前一时段采集到的眼动轨迹与后一时段采集到的初始视角；
针对每一个用户，根据所述前一时段采集到的眼动轨迹的特征信息，生成训练样本，并采用同一用户后一时段采集到的初始视角对所述训练样本进行标注；
根据经过标注的训练样本，对所述视频段落对应的模型进行训练。
4.根据权利要求2所述的视频播放控制方法，其特征在于，所述根据所述预测视角，对所述视频进行播放视角调整，包括：
确定正在播放的视频段落所展现的虚拟现实场景；
生成以所述预测视角观看所述虚拟现实场景的视频画面；
对所述视频画面进行播放。
5.一种视频播放控制方法，其特征在于，包括以下步骤：
服务器获取终端发送的眼动轨迹；所述眼动轨迹，是所述终端在VR视频播放过程中，采集用户观看所述视频时实际视角随时间变化关系得到的；
所述服务器根据所述眼动轨迹，确定用户的预测视角；
所述服务器根据所述预测视角，生成用于对所述视频进行播放视角调整的控制参数；
所述服务器向所述终端发送所述控制参数。
6.根据权利要求5所述的视频播放控制方法，其特征在于，所述VR视频包括多个视频段落，每一视频段落展示对应的一个虚拟现实场景，所述服务器根据所述眼动轨迹，确定用户的预测视角，包括：
所述服务器对所述眼动轨迹，进行特征提取，得到特征信息；
所述服务器确定终端采集到所述眼动轨迹时正在播放的视频段落；
所述服务器将所述眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角；
其中，所述视频段落对应的模型，用于指示用户观看所述视频段落的过程中，前一时段的所述眼动轨迹与下一时段的初始视角之间的对应关系。
7.根据权利要求6所述的视频播放控制方法，其特征在于，所述服务器将所述眼动轨迹的特征信息，输入正在播放的视频段落对应的模型，得到预测视角之前，还包括：
所述服务器获取多个用户在观看同一视频段落时，前一时段采集到的眼动轨迹与后一时段采集到的初始视角；
针对每一个用户，所述服务器根据所述前一时段采集到的眼动轨迹的特征信息，生成训练样本，并采用同一用户后一时段采集到的初始视角对所述训练样本进行标注；
所述服务器根据经过标注的训练样本，对所述视频段落对应的模型进行训练。
8.根据权利要求6所述的视频播放控制方法，其特征在于，所述服务器根据所述预测视角，生成用于对所述视频进行播放视角调整的控制参数，包括：
所述服务器确定正在播放的视频段落所展现的虚拟现实场景；
所述服务器生成以所述预测视角观看所述虚拟现实场景的视频画面；
所述服务器根据所述视频画面，生成所述控制参数，所述控制参数包括用于切换至所述视频画面的切换指令和/或所述预测视角。
9.一种视频播放控制装置，其特征在于，包括：
采集模块，用于在VR视频播放过程中，采集用户观看所述视频时的眼动轨迹；所述眼动轨迹，用于指示用户的实际视角随时间变化关系；
确定模块，用于根据所述眼动轨迹，确定用户的预测视角；
调整模块，用于根据所述预测视角，对所述视频进行播放视角调整。
10.一种视频播放控制装置，其特征在于，包括：
获取模块，用于获取终端发送的眼动轨迹；所述眼动轨迹，是所述终端在VR视频播放过程中，采集用户观看所述视频时实际视角随时间变化关系得到的；
生成模块，用于根据所述眼动轨迹，确定用户的预测视角；根据所述预测视角，生成用于对所述视频进行播放视角调整的控制参数；
发送模块，用于向所述终端发送所述控制参数。
11.一种视频播放控制系统，其特征在于，包括终端以及用于执行如权利要求5-8任一项所述视频播放控制方法的服务器。
12.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-4中任一项所述的视频播放控制方法。
13.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的视频播放控制方法。
14.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-4中任一项所述的视频播放控制方法。
CN201711429957.8A 2017-12-26 2017-12-26 视频播放控制方法和装置 Active CN108076355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711429957.8A CN108076355B (zh) 2017-12-26 2017-12-26 视频播放控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711429957.8A CN108076355B (zh) 2017-12-26 2017-12-26 视频播放控制方法和装置

Publications (2)

Publication Number Publication Date
CN108076355A true CN108076355A (zh) 2018-05-25
CN108076355B CN108076355B (zh) 2020-12-08

Family

ID=62155500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711429957.8A Active CN108076355B (zh) 2017-12-26 2017-12-26 视频播放控制方法和装置

Country Status (1)

Country Link
CN (1) CN108076355B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830521A (zh) * 2020-01-13 2020-02-21 南昌市小核桃科技有限公司 Vr多人同屏数据同步处理方法及装置
CN114449162A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 一种播放全景视频的方法、装置、计算机设备及存储介质
CN114827750A (zh) * 2022-05-31 2022-07-29 脸萌有限公司 视角的预测方法、装置、设备及存储介质
CN115334337A (zh) * 2022-10-13 2022-11-11 深圳市华曦达科技股份有限公司 一种vr视频传输方法、装置、终端及系统
CN116266868A (zh) * 2021-12-17 2023-06-20 聚好看科技股份有限公司 一种显示设备及切换视角方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060038880A1 (en) * 2004-08-19 2006-02-23 Microsoft Corporation Stereoscopic image display
CN103279942A (zh) * 2013-04-10 2013-09-04 北京航空航天大学 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法
CN103402106A (zh) * 2013-07-25 2013-11-20 青岛海信电器股份有限公司 三维图像显示方法及装置
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
US20150316982A1 (en) * 2014-04-18 2015-11-05 Magic Leap, Inc. Utilizing pseudo-random patterns for eye tracking in augmented or virtual reality systems
EP3051386A1 (en) * 2015-01-30 2016-08-03 4tiitoo GmbH Eye tracking system and method
CN106205273A (zh) * 2016-09-20 2016-12-07 山西省交通科学研究院 一种基于vr模拟技术的汽车驾驶模拟系统及方法
CN106303706A (zh) * 2016-08-31 2017-01-04 杭州当虹科技有限公司 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法
CN106341620A (zh) * 2016-10-20 2017-01-18 传线网络科技（上海）有限公司 全景视频的播放方法及装置
CN106406525A (zh) * 2016-09-07 2017-02-15 讯飞幻境(北京)科技有限公司 虚拟现实交互方法、装置及设备
CN106686368A (zh) * 2016-12-26 2017-05-17 华为软件技术有限公司 虚拟现实vr视频播放的设备和播放vr视频的方法
CN107247511A (zh) * 2017-05-05 2017-10-13 浙江大学 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060038880A1 (en) * 2004-08-19 2006-02-23 Microsoft Corporation Stereoscopic image display
CN103279942A (zh) * 2013-04-10 2013-09-04 北京航空航天大学 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法
CN103402106A (zh) * 2013-07-25 2013-11-20 青岛海信电器股份有限公司 三维图像显示方法及装置
US20150316982A1 (en) * 2014-04-18 2015-11-05 Magic Leap, Inc. Utilizing pseudo-random patterns for eye tracking in augmented or virtual reality systems
EP3051386A1 (en) * 2015-01-30 2016-08-03 4tiitoo GmbH Eye tracking system and method
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
CN106303706A (zh) * 2016-08-31 2017-01-04 杭州当虹科技有限公司 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法
CN106406525A (zh) * 2016-09-07 2017-02-15 讯飞幻境(北京)科技有限公司 虚拟现实交互方法、装置及设备
CN106205273A (zh) * 2016-09-20 2016-12-07 山西省交通科学研究院 一种基于vr模拟技术的汽车驾驶模拟系统及方法
CN106341620A (zh) * 2016-10-20 2017-01-18 传线网络科技（上海）有限公司 全景视频的播放方法及装置
CN106686368A (zh) * 2016-12-26 2017-05-17 华为软件技术有限公司 虚拟现实vr视频播放的设备和播放vr视频的方法
CN107247511A (zh) * 2017-05-05 2017-10-13 浙江大学 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830521A (zh) * 2020-01-13 2020-02-21 南昌市小核桃科技有限公司 Vr多人同屏数据同步处理方法及装置
CN116266868A (zh) * 2021-12-17 2023-06-20 聚好看科技股份有限公司 一种显示设备及切换视角方法
CN114449162A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 一种播放全景视频的方法、装置、计算机设备及存储介质
CN114449162B (zh) * 2021-12-22 2024-04-30 天翼云科技有限公司 一种播放全景视频的方法、装置、计算机设备及存储介质
CN114827750A (zh) * 2022-05-31 2022-07-29 脸萌有限公司 视角的预测方法、装置、设备及存储介质
CN114827750B (zh) * 2022-05-31 2023-12-22 脸萌有限公司 视角的预测方法、装置、设备及存储介质
CN115334337A (zh) * 2022-10-13 2022-11-11 深圳市华曦达科技股份有限公司 一种vr视频传输方法、装置、终端及系统

Also Published As

Publication number Publication date
CN108076355B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN108076355A (zh) 视频播放控制方法和装置
CN103797783A (zh) 评论信息生成装置及评论信息生成方法
DeCamp et al. An immersive system for browsing and visualizing surveillance video
US20170024893A1 (en) Scene analysis for improved eye tracking
CN107943291A (zh) 人体动作的识别方法、装置和电子设备
US9165404B2 (en) Method, apparatus, and system for processing virtual world
US20190287310A1 (en) Generating three-dimensional content from two-dimensional images
US20160118080A1 (en) Video playback method
CN108537867A (zh) 根据用户肢体运动的视频渲染方法和装置
US8254626B2 (en) Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images
CN102118596B (zh) 输出设备和输出方法
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和系统
Chen et al. Using real-time acceleration data for exercise movement training with a decision tree approach
CA2669409A1 (en) Method for scripting inter-scene transitions
AU5224001A (en) Generation of a sequence of stereoscopic images from a seque nce of 2D images
CN103985137A (zh) 应用于人机交互的运动物体跟踪方法及系统
CN102843617B (zh) 一种实现全景视频动态热点的方法
CN107505872A (zh) 家电控制方法、移动终端和家用电器
CN109241420A (zh) 应用首页内容推荐方法、装置、计算机设备和存储介质
CN109711285A (zh) 识别模型的训练、测试方法和装置
CN105074752A (zh) 3d移动联网电视广告交易系统
CN109089142A (zh) 播放控制方法、装置以及计算机设备
Höferlin et al. Video visualization for snooker skill training
JP3603629B2 (ja) 画像処理装置及び画像処理方法
CN109766006A (zh) 虚拟现实场景的显示方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant