CN111193938B - 视频数据处理方法、装置和计算机可读存储介质 - Google Patents

视频数据处理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111193938B
CN111193938B CN202010037658.5A CN202010037658A CN111193938B CN 111193938 B CN111193938 B CN 111193938B CN 202010037658 A CN202010037658 A CN 202010037658A CN 111193938 B CN111193938 B CN 111193938B
Authority
CN
China
Prior art keywords
watching
state
video frame
video
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010037658.5A
Other languages
English (en)
Other versions
CN111193938A (zh
Inventor
杨广煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010037658.5A priority Critical patent/CN111193938B/zh
Publication of CN111193938A publication Critical patent/CN111193938A/zh
Application granted granted Critical
Publication of CN111193938B publication Critical patent/CN111193938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种视频数据处理方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取目标视频对应的观看眼球轨迹；从所述目标视频的视频帧中获取所述观看眼球轨迹对应的热度区域；根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态；根据所述当前观看状态调整所述目标视频的播放状态。本申请提供的方案可以提高对视频播放状态进行调整时的操作便利性。

Description

视频数据处理方法、装置和计算机可读存储介质
技术领域
本申请涉及互联网技术领域，特别是涉及一种视频数据处理方法、装置和计算机可读存储介质。
背景技术
随着互联网技术的发展，越来越多的用户观看视频。用户在观看视频时，经常需要对视频的播放状态进行调整，例如，对于不感兴趣的情节上往往会进行快进跳过剧情，或者错过精彩剧情时会进行快退操作进行回看。
传统技术中，当用户需要对的播放状态进行调整时，通常需要手动进行控制，操作繁琐。
发明内容
基于此，有必要针对背景技术中引出的技术问题，提供一种视频数据处理方法、装置、计算机可读存储介质和计算机设备。
一种视频数据处理方法，包括：
获取目标视频对应的观看眼球轨迹；
从所述目标视频的视频帧中获取所述观看眼球轨迹对应的热度区域；
根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态；
根据所述当前观看状态调整所述目标视频的播放状态。
一种视频数据处理装置，其特征在于，所述装置包括：
眼球轨迹获取模块，用于获取目标视频对应的观看眼球轨迹；
热度区域获取模块，用于从所述目标视频的视频帧中获取所述观看眼球轨迹对应的热度区域；
观看状态确定模块，用于根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态；
播放状态调整模块，用于根据所述当前观看状态调整所述目标视频的播放状态。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取目标视频对应的观看眼球轨迹；
从所述目标视频的视频帧中获取所述观看眼球轨迹对应的热度区域；
根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态；
根据所述当前观看状态调整所述目标视频的播放状态。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取目标视频对应的观看眼球轨迹；
从所述目标视频的视频帧中获取所述观看眼球轨迹对应的热度区域；
根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态；
根据所述当前观看状态调整所述目标视频的播放状态。
上述视频数据处理方法、装置、计算机可读存储介质和计算机设备，通过获取目标视频对应的观看眼球轨迹，从目标视频的视频帧中获取观看轨迹对应的热度区域，根据观看眼球轨迹与所述热度区域的位置关系可以确定当前观看状态，根据该当前观看状态对目标视频的播放状态进行调整，从而实现了对视频播放状态的自动调整，由于可以对视频播放状态进行自动调整，避免了手动操作的繁琐步骤，提高了操作的便利性。
附图说明
图1为一个实施例中视频数据处理方法的应用环境图；
图2为一个实施例中视频数据处理方法的流程示意图；
图3为另一个实施例中视频数据处理方法的流程示意图；
图3A为一个实施例中观看眼球轨迹的界面示意图；
图3B为另一个实施例中观看眼球轨迹的界面示意图；
图4为又一个实施例中视频数据处理方法的流程示意图；
图5为一个实施例中步骤S208的流程示意图；
图5A为一个实施例中待调整视频帧集合的显示界面示意图；
图5B为一个实施例中调整提示单元的显示界面示意图；
图6为一个实施例中观看视频帧的热度区域的确定步骤的流程示意图；
图7为另一个实施例中观看视频帧的热度区域的确定步骤的流程示意图；
图7A为一个实施例中热度区域的界面示意图；
图8为一个实施例中视频数据处理装置的结构框图；
图9为另一个实施例中视频数据处理装置的结构框图；
图10为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中视频数据处理方法的应用环境图。参照图1，该视频数据处理方法应用于视频数据处理系统。该视频数据处理系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种,台式终端具体可以是台式电脑、智能电视、智能盒子以及其他有显示屏的台式机器。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端110和服务器120均可单独用于执行本申请实施例中提供的视频数据处理方法。终端110和服务器120也可协同用于执行本申请实施例中提供的视频数据处理方法。
可以理解的是，本申请实施例提供的视频数据处理方法可应用于视频播放场景中。计算机设备，例如图1中的终端或服务器，可通过多种形式播放视频，并在视频播放的过程中应用到本申请实施例提供的视频数据处理方法，计算机设备播放视频的方式包括但不限于通过网页播放、通过视频客户端播放、通过小程序播放。
如图2所示，在一个实施例中，提供了一种视频数据处理方法。本实施例主要以该方法应用于计算机设备来举例说明。该计算机设备可以是上述图1中的终端110或服务器120。参照图2，该视频数据处理方法具体包括如下步骤：
S202，获取目标视频对应的观看眼球轨迹。
其中，目标视频指的是用户当前正在观看的视频。目标视频对应的观看眼球轨迹包括至少一个轨迹点，其中的轨迹点指的是用户在观看目标视频时，用户眼球的注视焦点在目标视频对应的播放平面的位置点。
具体地，用户在观看目标视频时，计算机设备可通过摄像头采集用户的眼球图像，根据用户的眼球图像得到用户在观看目标视频时的轨迹点并记录轨迹点的时间，根据得到的轨迹点生成目标视频对应的观看眼球轨迹。
目标视频可对应多个不同的观看眼球轨迹。计算机设备可按照预设时间间隔获取用户的观看眼球轨迹，获取的观看眼球轨迹为用户在观看一个预设时间间隔对应的视频段的眼球轨迹。
在一个实施例中，在一个预设时间间隔内，用户可观看多个视频帧，因此，观看眼球轨迹可以由该预设时间间隔内的多个视频帧对应的轨迹点，按照各个轨迹点的时间先后顺序连线得到。
S204，从目标视频的视频帧中获取观看眼球轨迹对应的热度区域。
其中，热度区域用于表达视频帧内容的重点区域。由于是表达视频帧内容的重点区域，热度区域往往是视频帧中关注程度较高的区域。每一帧视频帧可对应一个或多个热度区域。
具体地，由于观看眼球轨迹为用户在观看目标视频时的眼球轨迹，观看眼球轨迹对应的热度区域必然在目标视频的视频帧内，因此，计算机设备可以从目标视频的视频帧中获取观看眼球轨迹对应的热度区域。
在一个实施例中，计算机设备在获取观看眼球轨迹对应的热度区域时，可先从目标视频的视频帧中获取观看眼球轨迹对应的观看视频帧，然后获取观看视频帧的热度区域作为观看眼球轨迹对应的热度区域。
S206，根据观看眼球轨迹与热度区域的位置关系确定当前观看状态。
其中，观看眼球轨迹与热度区域的位置关系指的是观看眼球轨迹相对于热度区域的位置关系，具体可以为观看眼球轨迹在热度区域之内或者观看眼球轨迹在热度区域之外。当前观看状态用于表征用户在观看目标视频时的当前注意力状态。
具体地，计算机设备可以根据观看眼球轨迹在视频帧屏幕的位置以及热度区域的位置，确定观看眼球轨迹与热度区域的位置关系，根据该位置关系对用户的当前观看状态进行判定。
在一个实施例中，当观看眼球轨迹在热度区域之外时，计算机设备可确定当前观看状态为第一观看状态；反之当观看眼球轨迹在热度区域之内时，计算机设备可确定当前观看状态为第二观看状态。其中，第一观看状态用于表征用户在观看目标视频时注意力异常，第二观看状态用于表征用户在观看目标视频时注意力正常。
S208，根据当前观看状态调整目标视频的播放状态。
其中，目标视频的播放状态包括正常播放状态及快速播放状态，在正常播放状态下，计算机设备按照目标视频的正常速度播放目标视频，在快速播放状态下，计算机设备对目标视频进行快速播放。快速播放状态可以为快进状态或者快退状态。
具体地，一般而言，当用户的注意力异常时，用户通常需要调整播放状态为快速播放状态，而当用户的注意力正常时，说明用户正集中精力观看视频，此时，用户通常希望保持当前播放状态不变，本申请中，由于当前观看状态表征了用户的当前注意力状态，因此，计算机设备确定了当前观看状态，也就是获知了用户的注意力状态，计算机设备可以根据当前观看状态对用户的视频调整需求进行预测，从而实现对目标视频的播放状态进行自动调整。
上述视频数据处理方法，通过获取目标视频对应的观看眼球轨迹，从目标视频的视频帧中获取观看轨迹对应的热度区域，根据观看眼球轨迹与热度区域的位置关系可以确定当前观看状态，根据该当前观看状态对目标视频的播放状态进行调整，从而实现了对视频播放状态的自动调整，由于可以对视频播放状态进行自动调整，避免了手动操作的繁琐步骤，提高了操作的便利性。
在一个实施例中，S204从目标视频的视频帧中获取观看眼球轨迹对应的热度区域包括：从目标视频的视频帧中获取观看眼球轨迹对应的观看视频帧；获取观看视频帧的热度区域作为观看眼球轨迹对应的热度区域。
其中，观看眼球轨迹对应的观看视频帧指的是观看眼球轨迹上的各个轨迹点形成时计算机设备播放的视频帧。
具体地，由于观看眼球轨迹为观看目标视频时形成的，因此，观看眼球轨迹对应的观看视频帧必然为目标视频中的视频帧，计算机设备可以从目标视频的所有视频帧中获取眼球轨迹对应的观看视频帧。在获取到观看眼球轨迹对应的观看视频帧后，计算机设备可以获取观看视频帧的热度区域作为观看眼球轨迹对应的热度区域。
在一个实施例中，计算机设备可以根据观看眼球轨迹对应的形成时间来获取观看眼球轨迹对应的观看视频帧，观看眼球轨迹对应的形成时间由该观看眼球轨迹对应的第一轨迹点和最后一个轨迹点确定。例如，观看眼球轨迹对应的形成时间为9:10：00到9:13：00，则可获取时间戳在9:10：00到9:13：00之内的视频帧作为观看眼球轨迹对应的观看视频帧。
在一个实施例中，观看眼球轨迹对应的观看视频帧有多帧，这些观看视频帧为同一场景对应的视频帧，由于是同一场景对应的视频帧，各帧视频帧对应的热度区域可以看作近似相同，计算机设备可以获取其中任意一帧视频帧对应的热度区域作为观看眼球轨迹对应的热度区域。
在另一个实施例中，观看眼球轨迹对应的观看视频帧有多帧，这些观看视频帧为不同场景对应的视频帧，由于发生了场景切换，这些视频帧对应的热度区域往往并不相同，计算机设备可以获取每一帧视频帧对应的热度区域，将获取所有热度区域都作为观看眼球轨迹对应的热度区域，此时，观看眼球轨迹会对应的多个观看视频帧的热度区域。
上述实施例中，计算机设备通过从目标视频的视频帧中获取观看眼球轨迹对应的观看视频帧，可以通过获取观看视频帧的热度区域作为观看眼球轨迹对应的热度区域，从而可以准确地获得观看眼球轨迹对应的热度区域。
在一个实施例中，如图3所示，提供了一种视频数据处理方法，本实施例主要以该方法应用于计算机设备来举例说明。该计算机设备可以是上述图1中的终端110或服务器120。参照图3，该视频数据处理方法包括：
S302，获取目标视频对应的观看眼球轨迹。
S304，从目标视频的视频帧中获取观看眼球轨迹对应的热度区域。
S306，判断观看眼球轨迹是否在热度区域之内，若否，则进入步骤S308；若是，则进入步骤S312。
具体地，计算机设备可以将眼球轨迹对应的位置与热度区域对应的位置进行比对，根据比对结果来判断眼球轨迹是否在热度区域之内。
在一个实施例中，当观看眼球轨迹对应一个热度区域时，则只要将该眼球轨迹与热度区域对应的位置进行比对，根据该比对结果判断眼球轨迹是否在热度区域之内。在另一个实施例中，当观看眼球轨迹对应多个热度区域时，分别将眼球轨迹的各个轨迹点的位置与其对应的热度区域的位置进行比对，根据各个轨迹点的比对结果来判断眼球轨迹是否在热度区域之内。
S308，确定当前观看状态为第一观看状态。
S310，当当前观看状态为第一观看状态时，将目标视频的播放状态确定为快速播放状态。
其中，第一观看状态为异常观看状态，用于表征用户在观看目标视频时注意力异常。快速播放状态可以为快进状态或者快退状态。
在一个实施例中，计算机设备可以通过以下方式将将目标视频的播放状态调整为快速播放状态：计算机设备显示待调整视频帧集合，该待调整视频帧集合中可以包括时间戳在当前视频帧之前的若干帧视频帧以及时间戳在当前视频帧之后的若干视频帧，然后进一步获取用户的选择眼球轨迹，根据选择眼球轨迹中各个轨迹点的停留时间判断用户的视线焦点停留在哪一帧视频帧上，则将该视频帧确定为目标视频帧，然后根据该目标视频帧进行快进或者快退。具体来说，当该目标视频帧的时间戳在当前视频帧之前，也就是早于当前视频帧的时间戳时，则将目标视频的播放状态调整为快退状态，直至快退至目标视频帧处；当该目标视频帧的时间戳在当前视频帧之后，也就是晚于当前视频帧的时间戳时，则将目标视频的播放状态调整为快进状态，直至快进至目标视频帧处。
在一个实施例中，计算机设备可以通过以下方式将目标视频的播放状态调整为快速播放状态：计算机设备可以通过界面显示调整提示单元，获取用户对调整单元的触发操作，根据触发操作将目标视频的播放状态调整为快速播放状态。具体来说，调整提示单元可以提示用户进行快进或者快退，并根据用户的触发操作来判定是快进还是快退，然后按照预设的时间进行快进或者快退，例如当根据用户的触发操作判定为快进时，计算机设备可以快进15S。
S312，确定当前观看状态为第二观看状态。
S314，当当前观看状态为第二观看状态时，保持目标视频的播放状态不变。
其中，第二观看状态为正常观看状态，用于表征用户在观看目标视频时注意力正常。当观看眼球轨迹在热度区域之内时，确定当前观看状态为第二观看状态，在第二观看状态下，计算机设备可以保持目标视频的播放状态不变。
如图3A所示，为一个实施例中，观看眼球轨迹的界面示意图。在该实施例中，观看眼球轨迹对应的观看视频帧为同一场景的视频帧，各视频帧的热度区域可看作近似相同，选取其中一帧观看视频帧的热度区域作为观看眼球轨迹对应的热度区域。如图3A中的302区域为热度区域，304为观看眼球轨迹，比对观看眼球轨迹与热度区域的位置可以看出，观看眼球轨迹304在热度区域302内。
如图3B所示，为另一个实施例中，观看眼球轨迹的界面示意图。在该实施例中，观看眼球轨迹对应的观看视频帧为同一场景的视频帧，各视频帧的热度区域可看作近似相同，选取其中一帧观看视频帧的热度区域作为观看眼球轨迹对应的热度区域。如图3B中的306区域为热度区域，308为观看眼球轨迹，比对观看眼球轨迹与热度区域的位置可以看出，观看眼球轨迹308在热度区域306之外。
上述实施例中，通过判断眼球轨迹是否在热度区域之外还是在热度区域之内，来确定当前观看状态，在不同的观看状态下，对目标视频的播放状态的进行不同的调整，从而可以更好地满足用户对视频调整的需求。
在一个实施例中，如图4所示，提供了一种视频数据处理方法，包括以下步骤：
S402，获取目标视频对应的观看眼球轨迹。
S404，从目标视频的视频帧中获取观看眼球轨迹对应的热度区域。
S406，判断观看眼球轨迹是否在热度区域之内，若否，则进入步骤S408。
S408，确定当前观看状态为第一观看状态。
S410，判断观看眼球轨迹是否在对应的观看视频帧区域之内，若是，则进入步骤S418；若否，则进入步骤S412。
其中，观看视频帧区域指的是观看视频帧在其所属平面所占的区域。
在一个实施例中，观看眼球轨迹对应多帧观看视频帧，计算机设备可以分别判断观看眼球轨迹对应的多个轨迹点是否分别在各自对应的观看视频帧区域内，计算多个轨迹点中在对应的观看视频帧区域内的轨迹点的占比，若计算得到的占比超过预设阈值，则判定观看眼球轨迹在对应的观看视频帧区域之内；若计算得到的占比不超过预设阈值，则判定观看眼球轨迹在对应的观看视频帧区域之外。
S412，获取观看视频帧的关注度。
其中，关注度指的是观看视频帧受关注的程度，关注度越高说明观看视频帧越受欢迎。关注度可通过大数据收集大量用户观看目标视频时的观看眼球轨迹得到。可以理解的是，当观看眼球轨迹对应多帧观看视频帧时，观看视频帧的关注度可以通过计算各帧观看视频帧的关注度的平均值得到。举个例子，若观看眼球轨迹对应3帧观看视频帧，关注度分别为A1、A2、A3，则观看视频帧的关注度为(A1+A2+A3)/3。
在一个实施例中，对于各帧观看视频帧，其关注度可以通过以下方式进行确定：获取该观看视频帧对应的观看用户集合，获取观看用户集合中每一个观看用户对应于该观看视频帧的观看眼球轨迹，判断该观看眼球轨迹是否在该观看视频帧的热度区域内，若是，则将该观看用户确定为目标观看用户，计算观看用户集合中目标观看用户的占比，将目标用户的占比确定为该观看视频帧的关注度。
举个例子，某一帧观看视频帧有1000个观看用户，其中有800个用户在观看该观看视频帧时，观看眼球轨迹在该观看视频帧的热度区域内，则这800个用户为目标观看用户，则该观看视频帧的关注度为800/1000＝80％。
S414，判断观看视频帧的关注度是否超过第一预设阈值，若是，则进入步骤S416；若否，则进入步骤S418。
S416，将目标视频的播放状态调整为快退状态。
在一个实施例中，在进行调整时，计算机设备可以将目标视频调整为快退预设时长，其中，预设时长可以根据需要进行设定，例如，可以调整目标视频快退10秒。
在另一个实施例中，计算机设备可以通过界面显示预设数量帧时间戳早于当前播放视频帧的时间戳的视频帧，然后获取用户的选择眼球轨迹，根据选择眼球轨迹的停留时间判断用户的视线最终落在哪一帧视频帧上，将该视频帧确定为目标视频帧，调整目标视频的播放状态为快退状态，直至快退至该目标视频帧。
S418，将目标视频的播放状态调整为快进状态。
在进行调整时，计算机设备可以将目标视频调整为快进预设时长，其中，预设时长可以根据需要进行设定。
在另一个实施例中，计算机设备可以通过界面显示预设数量帧时间戳晚于当前播放视频帧的时间戳的视频帧，然后获取用户的选择眼球轨迹，根据选择眼球轨迹的停留时间判断用户的视线最终落在哪一帧视频帧上，将该视频帧确定为目标视频帧，调整目标视频的播放状态为快进状态，直至快进至该目标视频帧。
上述实施例中，在当前观看状态为第一观看状态时，通过继续判断观看眼球轨迹是否在对应的观看视频帧区域之内，以及判断观看视频帧的关注度是否超过第一预设阈值来确定将目标视频的播放状态调整为快退状态还是快进状态，实现了快退快进状态的自动调整，进一步提高了操作的便利性。
在一个实施例中，观看眼球轨迹包括多个轨迹点；该视频数据处理方法还包括：从多个轨迹点中确定目标轨迹点；当目标轨迹点的占比超过第二预设阈值时，判定观看眼球轨迹在对应的热度区域之内；当目标轨迹点的占比不超过第二预设阈值时，判定观看眼球轨迹在对应的热度区域之外。
其中，目标轨迹点为在对应的热度区域内的轨迹点。第二预设阈值可根据需要进行事先设定，当需要较高的准确度时，可适当调高第二预设阈值。
具体地，可以将观看眼球轨迹的各个轨迹点的位置分别与各自对应的观看视频帧的热度区域进行比对，根据比对结果判断轨迹点是否在热度区域内，若是在热度区域内，则将该轨迹点确定为目标轨迹点。进一步，计算机设备统计目标轨迹点的数量，根据目标轨迹点的数量计算目标轨迹点在观看眼球轨迹对应的多个轨迹点中的占比，将该占比与第二预设阈值进行比较，若该占比超过第二预设阈值，则判定该观看眼球轨迹在对应的热度区域之内；若该占比不超过第二预设阈值，则判定该观看眼球轨迹在对应的热度区域之外。
举个例子，观看眼球轨迹对应20个轨迹点，其中，目标轨迹点为10个，则目标轨迹点的占比为50％，若第二预设阈值为80％，则目标轨迹点的占比小于第二预设阈值，则该观看眼球轨迹不在对应的热度区域内。
上述实施例中，通过从观看眼球轨迹对应的多个轨迹点中确定目标轨迹点，将目标轨迹点的占比与第二预设阈值进行比较来判断观看眼球轨迹与对应的热度区域之间的位置关系，由于考虑到了所有的轨迹点，可以使得判断结果更加准确。
在一个实施例中，如图5所示，S208根据当前观看状态调整目标视频的播放状态包括：
S502，显示待调整视频帧集合。
其中，待调整视频帧集合指的是由待调整视频帧组成的集合。待调整视频帧可以是对应的时间戳晚于当前播放视频帧对应的时间戳的视频帧、对应的时间戳早于当前播放视频帧对应的时间戳的视频帧中的至少一种。例如，当前播放视频帧对应的时间戳为9:10:05，早于当前播放视频帧对应的时间戳的视频帧可以是时间戳为9:09:01的视频帧，晚于当前播放视频帧对应的时间戳的视频帧可以是时间戳为9:11:01的视频帧。
在一个实施例中，计算机设备可以以缩略图的形式在当前播放视频帧的预设区域显示待调整视频帧集合。
S504，获取对应于待调整视频帧集合的选择眼球轨迹，根据选择眼球轨迹对应的各个轨迹点的停留时间，从待调整视频帧集合中确定目标待调整视频帧。
其中，选择眼球轨迹指的是用户在浏览待调整视频帧集合，以选择待调整视频帧时生成的眼球轨迹。轨迹点的停留时间用于表征该轨迹点对应的视线焦点的停留时长。
具体地，计算机设备在得到对应于待调整视频帧集合的选择眼球轨迹后，获取选择眼球轨迹对应的各个轨迹点的停留时间，将停留时间最长的轨迹点确定为目标轨迹点，将目标轨迹点所在的待调整视频帧确定为目标待调整视频帧。
S506，判断目标待调整视频帧对应的时间戳是否早于当前播放视频帧对应的时间戳，若是，则进入步骤S508；若否，则进入步骤S510。
其中，当前播放视频帧指的是当前正在播放的视频帧。
S508，将目标视频的播放状态调整为快退状态，直至快退至目标待调整视频帧。
具体地，计算机设备从当前播放视频帧开始进行快退，直到快退至目标待调整视频帧处，对目标待调整视频帧进行播放。
S510，将目标视频的播放状态调整为快进状态，直至快进至目标待调整视频帧。
具体地，计算机设备从当前播放视频帧开始进行快进，直到快进至目标待调整视频帧处，对目标待调整视频帧进行播放。
如图5A所示，为一个实施例中待调整视频帧集合的显示界面示意图，参照图5A，该实施例中，在观看视频帧的下方区域显示了待调整视频帧集合，以图中的虚线为分界线，左边视频帧1-视频帧5为时间戳早于当前播放视频帧对应的时间戳的视频帧，右边视频帧6-视频帧9为时间戳晚于当前播放视频帧对应的时间戳的视频帧，当用户的视线最终停留在视频帧2处时，将目标视频的播放状态调整为快退状态，直至快退至视频帧2进行播放；当用户的视线最终停留在待调整视频帧8处时，将目标视频的播放状态调整为快进状态，直至快进至待调整视频帧8进行播放。
上述实施例中，通过显示待调整视频帧集合，根据选择眼球轨迹对应的各个轨迹点的停留时间确定目标待调整视频帧，并通过判断目标待调整视频帧对应的时间戳是否早于当前播放视频帧对应的时间戳，根据判断结果来调整目标视频的播放状态，直至调整至目标待调整视频帧进行播放，实现了根据用户的眼球轨迹对目标视频进行精确地调整，避免了用户不断地手动调整地繁琐操作，进一步提升了操作地便利性。
在一个实施例中，S208根据当前观看状态调整目标视频的播放状态包括：显示调整提示单元；当接收到对调整提示单元的触发操作时，根据触发操作调整目标视频的播放状态。
其中，调整提示单元指的是计算机设备界面显示的用于提示用户对目标视频进行调整的调整提示信息或者调整提示控件。调整提示单元具体可以是调整提示按钮。对调整提示单元的触发操作指的是作用于调整提示单元的预设操作。触发操作具体可以是手部触发操作、头部触发操作或者语音触发操作。其中，手部触发操作包括触摸操作、光标操作、按键操作、手势操作，其中，触摸操作可以是触摸点击操作、触摸按压操作或者触摸滑动操作，触摸操作可以是单击触摸操作或者多点触摸操作，光标操作可以是控制光标进行点击的操作或者控制光标进行按压的操作，按键操作可以是虚拟按键或者实体按键操作等；头部触发操作例如可以是眨眼操作、摇头操作、点头操作等。
具体地，计算机设备可通过界面显示调整提示单元，并监测对调整提示单元的触发操作，当监测到触发操作时，根据触发操作调整目标视频的播放状态为快速播放状态，快速播放状态为快退状态或者快进状态。
在一个实施例中，当触发操作对应快进状态，计算机设备将目标视频的播放状态调整为快进预设时长，其中，预设时长可进行事先设定，例如，可设定预设时长为10秒。
在一个实施例中，当触发操作对应快退状态，计算机设备将目标视频的播放状态调整为快退预设时长。
如图5B，为一个实施例中，调整提示单元的显示界面示意图，参照图5B，该调整提示单元501包括第一调整提示子单元501A和第二调整提示子单元501B，当接收到的触发操作为对第一调整提示子单元501A的触发操作时，对应快退状态；当接收到的触发操作为对第二调整提示子单元501B的触发操作时，对应快进状态。
上述实施例中，计算机设备通过显示调整提示单元，根据对调整提示单元的触发操作自动调整目标视频的播放状态，提高了对播放状态进行调整的便利性。
在一个实施例中，该视频数据处理方法还包括观看视频帧的热度区域的确定步骤，如图6所示，该观看视频帧的热度区域的确定步骤包括：
S602，获取观看视频帧对应的参考眼球轨迹集合。
其中，参考眼球轨迹集合由不同用户对应于观看视频帧的观看眼球轨迹组成。不同用户对应于观看视频帧的观看眼球轨迹指的是不同的用户在观看视频帧时所形成的观看眼球轨迹。
在一个实施例中，各用户对应的终端在获取到对应于观看视频帧的观看眼球轨迹后，可以将观看眼球轨迹上传至服务器，当计算机设备需要观看视频帧的热度区域，可以从服务器获取不同用户对应于观看视频帧的观看眼球轨迹，得到参考眼球轨迹集合。可以理解的是，为使得得到的热力图更加准确，获取的观看眼球轨迹的数量越多越好。
S604，根据参考眼球轨迹集合，构建观看视频帧对应的热力图；热力图包括多个热力区域。
具体地，将参考眼球轨迹集合中各观看眼球轨迹对应的轨迹点以散点图的形式绘制到观看视频帧的对应的位置上，以构建观看视频帧对应的热力图。得到的热力图中，轨迹点在不同的区域聚集，根据轨迹点聚集的区域得到热力区域。
在一个实施例中，当多个轨迹点两两之间的距离小于预设阈值时，判定这些轨迹点聚集，根据轨迹点聚集区域确定热力区域。在一个实施例中，计算机设备可以将轨迹点聚集区域以及轨迹点聚集区域周围预设范围区域确定为热力区域。
在一个实施例中，当观看视频帧有多帧时，根据参考眼球轨迹集合，分别构建每一帧观看视频帧对应的热力图。具体而言，分别将参考眼球轨迹集合中每一条观看眼球轨迹对应的多个轨迹点分别以散点图的形式绘制到各自对应的观看视频帧的对应位置处，得到各观看视频帧对应的热力图。
S606，获取热力图的各个热力区域对应的热力度，根据热力度从热力图的多个热力区域中确定目标热力区域，根据目标热力区域确定观看视频帧对应的热度区域。
其中，热力度用于表征热力区域受关注的程度，热力度越大，表示该热力区域受关注的程度越高。
具体地，计算机设备在获取到热力图的各个热力区域对应的热力度后，可以根据热力度对各个热力区域进行排序，根据排序结果选取热力度较大的至少一个热力区域确定为目标热力区域。例如，可以根据热力度对各个热力区域进行降序排列，从排在第一位的热力区域开始选取预设数量的热力区域确定为目标热力区域。
进一步，计算机设备根据目标热力区域确定观看视频帧对应的热度区域。在一个实施例中，计算机设备可以将目标热力区域及目标热力区域周围预设范围区域确定为观看视频帧对应的热度区域。
在一个实施例中，计算机设备可以通过统计各个热力区域的轨迹点数量，将轨迹点数量确定为热力区域对应的热力度。
可以理解的是，当观看视频帧有多帧时，由于各帧观看视频帧可能对应的不同的热力图，因此需要分别获取每一帧观看视频帧对应的热力图。分别根据每一个热力图的各个热力区域对应的热力度，确定每一个热力图的目标热力区域，然后根据每一个热力图的目标热力区域分别确定每一帧观看视频帧对应的热度区域。
在另一个实施例中，该视频数据处理方法还包括观看视频帧的热度区域的确定步骤，如图7所示，该观看视频帧的热度区域的确定步骤包括：
S702，对观看视频帧进行图像检测，识别出观看视频帧中的特征物，得到观看视频帧对应的特征物集合。
其中，特征物可以包括视频画面中的有形物体，如：人脸、字幕、装饰道具、人的身体、动物、植物等。
具体地，计算机设备可以对观看视频帧进行图像检测，识别出观看视频帧中所有的特征物，得到观看视频帧对应的特征物集合。可以理解的是，当观看视频帧有多帧时，分别对每一帧观看视频帧进行图像检测，分别得到每一帧观看视频帧对应的特征物集合。其中，进行图像检测的方法可以根据实际需要进行选择，例如：可以使用AI(ArtificialIntelligence，人工智能)图像识别方法，或者其他图像识别算法，本申请在此不作具体限定。
S704，获取观看视频帧对应的参考眼球轨迹集合；参考眼球轨迹集合由不同用户对应于观看视频帧的观看眼球轨迹组成。
S706，根据参考眼球轨迹集合，确定特征物集合中各个特征物对应的关注度。
其中，特征物对应的关注度用于表征特征物受关注的程度，关注度越高表示特征物受关注的程度越高。
具体地，计算机设备可以根据参考眼球轨迹集合中各观看眼球轨迹对应的轨迹点的位置，确定各个特征物对应的轨迹点，统计各特征物对应的轨迹点总数量，得到各特征物对应的关注度。其中，特征物对应的轨迹点指的是位置在特征物区域内的轨迹点。
S708，根据各个特征物对应的关注度从特征物集合中确定目标特征物，根据目标特征物确定观看视频帧对应的热度区域。
具体地，计算机设备可以根据各个特征物对应的关注度从特征物集合中选取至少一个关注度较大的特征物确定为目标特征物。在一个实施例中，计算机设备可以根据关注度对特征物集合中的特征物进行排序，根据排序结果选取特征物。例如，计算机设备可以根据关注度对特征物集合中的特征物进行降序排列，从排在第一位的特征物开始选取预设数量的特征物。
在确定了目标特征物后，计算机设备可以根据目标特征物所在区域确定观看视频帧对应的热度区域。在一个实施例中，可以直接将目标特征物所在区域确定为观看视频帧对应的热度区域。在另一个实施例中，可以将目标特征物所在区域及目标特征物周围预设范围区域共同确定为观看视频帧对应的热度区域。
可以理解的是，当观看视频帧有多帧时，每一帧观看视频帧对应一个特征物集合，因此，需要分别从每一个特征物集合中确定每一帧观看视频帧对应的目标特征物，分别根据每一帧观看视频帧对应的目标特征物确定各帧观看视频帧对应的热度区域。
如图7A所示，为一个实施例中，热度区域的界面示意图，本实施例中，首先对观看视频帧进行图像检测，得到的特征物集合包括特征物A、特征物B和特征物C。通过获取观看视频帧对应的参考眼球轨迹集合，确定特征物A、特征物B和特征物C对应的关注度依次为A1、A2、A3，且A1<A2<A3，根据各个特征物对应的关注度从特征物集合中确定目标特征物为特征物C，将特征C及周围预设范围区域确定为观看视频帧对应的热度区域，即图7A中的虚线框区域。
上述实施例中，首先对观看视频帧进行图像检测，得到特征物集合，通过获取观看视频帧对应的参考眼球轨迹集合来确定各个特征物对应的关注度，根据关注度确定目标特征物，并最终根据目标特征物确定观看视频帧对应的热度区域，由于特征物集合为观看视频帧所有的有形物体组成的集合，根据关注度得到的目标特征物为关注度较高的有形物体，可以使得得到的热度区域更加准确。
在一个实施例中，提供了一种视频数据处理方法，包括：
一、确定观看视频帧的热度区域的步骤，包括：
1、对观看视频帧进行图像检测，识别出观看视频帧中的特征物，得到观看视频帧对应的特征物集合。
2、获取观看视频帧对应的参考眼球轨迹集合；参考眼球轨迹集合由预设数量用户对应于观看视频帧的观看眼球轨迹组成。
3、根据参考眼球轨迹集合，确定特征物集合中各个特征物对应的关注度。
4、根据各个特征物对应的关注度从特征物集合中确定目标特征物，根据目标特征物确定观看视频帧对应的热度区域。
二、调整目标视频的播放状态的步骤，包括：
1、获取目标视频对应的观看眼球轨迹。
2、从目标视频的视频帧中获取观看眼球轨迹对应的观看视频帧，获取观看视频帧的热度区域作为观看眼球轨迹对应的热度区域。
3、从观看眼球轨迹对应的多个轨迹点中确定目标轨迹点，判断目标轨迹点的占比是否超过第二预设阈值，若是，则进入步骤9，若否，则进入步骤4，其中，目标轨迹点为在对应的热度区域内的轨迹点。
4、当目标轨迹点的占比不超过第二预设阈值时，判定观看眼球轨迹在对应的热度区域之外，确定当前观看状态为第一观看状态。
5、判断观看眼球轨迹是否在对应的观看视频帧区域之内，若是，则进入步骤7；若否，则进入步骤6。
6、获取观看视频帧的关注度，判断关注度是否超过第一预设阈值，若是，则进入步骤8，若否，则进入步骤7。
7、显示快进状态对应的待调整视频帧集合，获取对应于待调整视频帧集合的选择眼球轨迹，根据选择眼球轨迹对应的各个轨迹点的停留时间，从待调整视频帧集合中确定目标待调整视频帧，将目标视频的播放状态调整为快进状态，直至快进至目标待调整视频帧。
8、显示快退状态对应的待调整视频帧集合，获取对应于待调整视频帧集合的选择眼球轨迹，根据选择眼球轨迹对应的各个轨迹点的停留时间，从待调整视频帧集合中确定目标待调整视频帧，将目标视频的播放状态调整为快退状态，直至快退至目标待调整视频帧。
9、当目标轨迹点的占比超过第二预设阈值时，判定观看眼球轨迹在对应的热度区域之内，确定当前观看状态为第二观看状态，保持目标视频的播放状态不变。
应该理解的是，虽然图2-图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种视频数据处理装置800，包括：
眼球轨迹获取模块802，用于获取目标视频对应的观看眼球轨迹；
热度区域获取模块804，用于从目标视频的视频帧中获取观看眼球轨迹对应的热度区域；
观看状态确定模块806，用于根据观看眼球轨迹与热度区域的位置关系确定当前观看状态；
播放状态调整模块808，用于根据当前观看状态调整目标视频的播放状态。
上述视频数据处理装置，通过获取目标视频对应的观看眼球轨迹，从目标视频的视频帧中获取观看轨迹对应的热度区域，根据观看眼球轨迹与热度区域的位置关系可以确定当前观看状态，根据该当前观看状态对目标视频的播放状态进行调整，从而实现了对视频播放状态的自动调整，由于可以对视频播放状态进行自动调整，避免了手动操作的繁琐步骤，提高了操作的便利性。
在一个实施例中，热度区域获取模块用于从目标视频的视频帧中获取观看眼球轨迹对应的观看视频帧；获取观看视频帧的热度区域作为观看眼球轨迹对应的热度区域。
在一个实施例中，如图9所示，观看状态确定模块806包括第一观看状态确定模块806A，用于当观看眼球轨迹在热度区域之外时，确定当前观看状态为第一观看状态；播放状态调整模块808包括快速播放状态调整模块808A，用于当当前观看状态为第一观看状态时，将目标视频的播放状态调整为快速播放状态。
在一个实施例中，观看状态确定模块806用于当观看眼球轨迹在热度区域之内时，确定当前观看状态为第二观看状态；播放状态调整模块808用于当当前观看状态为第二观看状态时，保持目标视频的播放状态不变。
在一个实施例中，观看状态确定模块806用于当观看眼球轨迹在热度区域之外时，确定当前观看状态为第一观看状态；播放状态调整模块808用于当当前观看状态为第一观看状态且观看眼球轨迹在对应的观看视频帧区域之内时；将目标视频的播放状态调整为快进状态。
在一个实施例中，观看状态确定模块806用于当观看眼球轨迹在热度区域之外时，确定当前观看状态为第一观看状态；播放状态调整模块808用于当当前观看状态为第一观看状态且观看眼球轨迹在对应的观看视频帧区域之外时，获取观看视频帧的关注度；当观看视频帧的关注度超过第一预设阈值时，将目标视频的播放状态调整为快退状态；当观看视频帧的关注度不超过第一预设阈值时，将目标视频的播放状态调整为快进状态。
在一个实施例中，观看眼球轨迹包括多个轨迹点；该装置还包括位置关系确定模块，用于从多个轨迹点中确定目标轨迹点；目标轨迹点为在对应的热度区域内的轨迹点；当目标轨迹点的占比超过第二预设阈值时，判定观看眼球轨迹在对应的热度区域之内；当目标轨迹点的占比不超过第二预设阈值时，判定观看眼球轨迹在对应的热度区域之外。
在一个实施例中，播放状态调整模块808用于显示待调整视频帧集合；获取对应于待调整视频帧集合的选择眼球轨迹，根据选择眼球轨迹对应的各个轨迹点的停留时间，从待调整视频帧集合中确定目标待调整视频帧；当目标待调整视频帧对应的时间戳早于当前播放视频帧对应的时间戳时，将目标视频的播放状态调整为快退状态，直至快退至目标待调整视频帧；当目标待调整视频帧对应的时间戳晚于当前播放视频帧对应的时间戳时，将目标视频的播放状态调整为快进状态，直至快进至目标待调整视频帧。
在一个实施例中，播放状态调整模块808用于显示调整提示单元；当接收到对调整提示单元的触发操作时，根据触发操作调整目标视频的播放状态。
在一个实施例中，该装置还包括：第一热度区域确定模块，用于获取观看视频帧对应的参考眼球轨迹集合；参考眼球轨迹集合由不同用户对应于观看视频帧的观看眼球轨迹组成；根据参考眼球轨迹集合，构建观看视频帧对应的热力图；热力图包括多个热力区域；获取热力图的各个热力区域对应的热力度，根据热力度从热力图的多个热力区域中确定目标热力区域，根据目标热力区域确定观看视频帧对应的热度区域。
在一个实施例中，该装置还包括：第二热度区域确定模块，用于对观看视频帧进行图像检测，识别出观看视频帧中的特征物，得到观看视频帧对应的特征物集合；获取观看视频帧对应的参考眼球轨迹集合；参考眼球轨迹集合由不同用户对应于观看视频帧的观看眼球轨迹组成；根据参考眼球轨迹集合，确定特征物集合中各个特征物对应的关注度；根据各个特征物对应的关注度从特征物集合中确定目标特征物，根据目标特征物确定观看视频帧对应的热度区域。
图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或服务器120。如图10所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置、显示屏、摄像头、声音采集装置和扬声器。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现视频数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行视频数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的视频数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图10所示的计算机设备上运行。计算机设备的存储器中可存储组成该视频数据处理装置的各个程序模块，比如，图8所示的眼球轨迹获取模块、热度区域获取模块、观看状态确定模块和播放状态调整模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的视频数据处理方法中的步骤。
例如，图10所示的计算机设备可以通过如图8所示的视频数据处理装置中的眼球轨迹获取模块执行步骤S202。计算机设备可通过热度区域获取模块执行步骤S204。计算机设备可通过观看状态确定模块执行步骤S206。计算机设备可通过播放状态调整模块执行步骤S208。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述视频数据处理方法的步骤。此处视频数据处理方法的步骤可以是上述各个实施例的视频数据处理方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述视频数据处理方法的步骤。此处视频数据处理方法的步骤可以是上述各个实施例的视频数据处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种视频数据处理方法，包括：
获取目标视频对应的观看眼球轨迹；目标视频为用户当前正在观看的视频；
从所述目标视频的视频帧中获取所述观看眼球轨迹对应的观看视频帧；
获取所述观看视频帧的热度区域，将获取的所述热度区域作为所述观看眼球轨迹对应的热度区域；热度区域用于表达视频帧内容的重点区域；
根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态；
根据所述当前观看状态调整所述目标视频的播放状态。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述观看视频帧对应的参考眼球轨迹集合；所述参考眼球轨迹集合由不同用户对应于所述观看视频帧的观看眼球轨迹组成；
根据所述参考眼球轨迹集合，构建所述观看视频帧对应的热力图；所述热力图包括多个热力区域；
获取所述热力图的各个热力区域对应的热力度，根据所述热力度从所述热力图的多个热力区域中确定目标热力区域，根据所述目标热力区域确定所述观看视频帧对应的热度区域。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述观看视频帧进行图像检测，识别出所述观看视频帧中的特征物，得到所述观看视频帧对应的特征物集合；
获取所述观看视频帧对应的参考眼球轨迹集合；所述参考眼球轨迹集合由不同用户对应于所述观看视频帧的观看眼球轨迹组成；
根据所述参考眼球轨迹集合，确定所述特征物集合中各个特征物对应的关注度；
根据各个特征物对应的关注度从所述特征物集合中确定目标特征物，根据所述目标特征物确定所述观看视频帧对应的热度区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态包括：
当所述观看眼球轨迹在所述热度区域之外时，确定所述当前观看状态为第一观看状态；
所述根据所述当前观看状态调整所述目标视频的播放状态包括：
当所述当前观看状态为第一观看状态时，将所述目标视频的播放状态调整为快速播放状态。
5.根据权利要求1所述的方法，其特征在于，所述根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态包括：
当所述观看眼球轨迹在所述热度区域之外时，确定所述当前观看状态为第一观看状态；
所述根据所述当前观看状态调整所述目标视频的播放状态包括：
当所述当前观看状态为第一观看状态且所述观看眼球轨迹在对应的观看视频帧区域之内时；
将所述目标视频的播放状态调整为快进状态。
6.根据权利要求1所述的方法，其特征在于，所述根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态包括：
当所述观看眼球轨迹在所述热度区域之外时，确定所述当前观看状态为第一观看状态；
所述根据所述当前观看状态调整所述目标视频的播放状态包括：
当所述当前观看状态为第一观看状态且所述观看眼球轨迹在对应的观看视频帧区域之外时，获取所述观看视频帧的关注度；
当所述观看视频帧的关注度超过第一预设阈值时，将所述目标视频的播放状态调整为快退状态；
当所述观看视频帧的关注度不超过第一预设阈值时，将所述目标视频的播放状态调整为快进状态。
7.根据权利要求1所述的方法，其特征在于，所述根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态包括：
当所述观看眼球轨迹在所述热度区域之内时，确定所述当前观看状态为第二观看状态；
所述根据所述当前观看状态调整所述目标视频的播放状态包括：
当所述当前观看状态为第二观看状态时，保持所述目标视频的播放状态不变。
8.根据权利要求1所述的方法，其特征在于，所述观看眼球轨迹包括多个轨迹点；所述方法还包括：
从多个轨迹点中确定目标轨迹点；所述目标轨迹点为在对应的热度区域内的轨迹点；
当所述目标轨迹点的占比超过第二预设阈值时，判定所述观看眼球轨迹在对应的热度区域之内；
当所述目标轨迹点的占比不超过第二预设阈值时，判定所述观看眼球轨迹在对应的热度区域之外。
9.根据权利要求1所述的方法，其特征在于，所述根据所述当前观看状态调整所述目标视频的播放状态包括：
显示待调整视频帧集合；
获取对应于所述待调整视频帧集合的选择眼球轨迹，根据所述选择眼球轨迹对应的各个轨迹点的停留时间，从所述待调整视频帧集合中确定目标待调整视频帧；
当所述目标待调整视频帧对应的时间戳早于当前播放视频帧对应的时间戳时，将所述目标视频的播放状态调整为快退状态，直至快退至所述目标待调整视频帧；
当所述目标待调整视频帧对应的时间戳晚于当前播放视频帧对应的时间戳时，将所述目标视频的播放状态调整为快进状态，直至快进至所述目标待调整视频帧。
10.根据权利要求1所述的方法，其特征在于，所述根据所述当前观看状态调整所述目标视频的播放状态包括：
显示调整提示单元；
当接收到对所述调整提示单元的触发操作时，根据所述触发操作调整所述目标视频的播放状态。
11.一种视频数据处理装置，其特征在于，所述装置包括：
眼球轨迹获取模块，用于获取目标视频对应的观看眼球轨迹；目标视频为用户当前正在观看的视频；
热度区域获取模块，用于从所述目标视频的视频帧中获取所述观看眼球轨迹对应的观看视频帧；获取所述观看视频帧的热度区域作为所述观看眼球轨迹对应的热度区域；热度区域用于表达视频帧内容的重点区域；
观看状态确定模块，用于根据所述观看眼球轨迹与所述热度区域的位置关系确定当前观看状态；
播放状态调整模块，用于根据所述当前观看状态调整所述目标视频的播放状态。
12.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
CN202010037658.5A 2020-01-14 2020-01-14 视频数据处理方法、装置和计算机可读存储介质 Active CN111193938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010037658.5A CN111193938B (zh) 2020-01-14 2020-01-14 视频数据处理方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010037658.5A CN111193938B (zh) 2020-01-14 2020-01-14 视频数据处理方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111193938A CN111193938A (zh) 2020-05-22
CN111193938B true CN111193938B (zh) 2021-07-13

Family

ID=70710040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010037658.5A Active CN111193938B (zh) 2020-01-14 2020-01-14 视频数据处理方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111193938B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578905B (zh) * 2020-11-17 2021-12-14 北京津发科技股份有限公司 一种针对移动终端的人机交互测试方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572217A (zh) * 2011-12-29 2012-07-11 华为技术有限公司 基于视觉关注的多媒体处理方法及装置
CN105493187A (zh) * 2013-10-04 2016-04-13 英特尔公司 用于动态调整视频回放速度的技术
CN105721939A (zh) * 2016-04-29 2016-06-29 乐视控股（北京）有限公司 视频播放方法和装置
US10049283B2 (en) * 2014-03-26 2018-08-14 Panasonic Intellectual Property Management Co., Ltd. Stay condition analyzing apparatus, stay condition analyzing system, and stay condition analyzing method
CN108647242A (zh) * 2018-04-10 2018-10-12 北京天正聚合科技有限公司 一种热力图的生成方法和系统
CN109902630A (zh) * 2019-03-01 2019-06-18 上海像我信息科技有限公司 一种注意力判断方法、装置、系统、设备和存储介质
CN110020363A (zh) * 2017-11-16 2019-07-16 北京国双科技有限公司 绘制热力图的方法及装置
CN110266881A (zh) * 2019-06-18 2019-09-20 Oppo广东移动通信有限公司 应用控制方法及相关产品
CN110324679A (zh) * 2018-03-29 2019-10-11 优酷网络技术（北京）有限公司 一种视频数据处理方法及装置
CN110337022A (zh) * 2019-06-11 2019-10-15 福建天泉教育科技有限公司 基于关注度的视频变速播放方法、存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534734A (zh) * 2015-09-11 2017-03-22 腾讯科技（深圳）有限公司 视频播放、地图展示的方法和装置、数据处理方法和系统
CN107295409B (zh) * 2017-08-08 2019-09-13 广东小天才科技有限公司 一种控制视频播放的方法、装置、终端设备和存储介质
JP2019047250A (ja) * 2017-08-31 2019-03-22 フォーブ インコーポレーテッド 映像表示システム、映像表示方法及び映像表示プログラム
CN107484021A (zh) * 2017-09-27 2017-12-15 广东小天才科技有限公司 一种视频播放方法、系统及终端设备
CN110062272B (zh) * 2019-04-30 2021-09-28 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
CN110113639A (zh) * 2019-05-14 2019-08-09 北京儒博科技有限公司 视频播放控制方法、装置、终端、服务器及存储介质
CN110221695A (zh) * 2019-05-31 2019-09-10 重庆爱奇艺智能科技有限公司 在虚拟现实设备中调整弹幕的显示属性的方法和装置
CN110337032A (zh) * 2019-06-11 2019-10-15 福建天泉教育科技有限公司 基于关注度的视频播放方法、存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572217A (zh) * 2011-12-29 2012-07-11 华为技术有限公司 基于视觉关注的多媒体处理方法及装置
CN105493187A (zh) * 2013-10-04 2016-04-13 英特尔公司 用于动态调整视频回放速度的技术
US10049283B2 (en) * 2014-03-26 2018-08-14 Panasonic Intellectual Property Management Co., Ltd. Stay condition analyzing apparatus, stay condition analyzing system, and stay condition analyzing method
CN105721939A (zh) * 2016-04-29 2016-06-29 乐视控股（北京）有限公司 视频播放方法和装置
CN110020363A (zh) * 2017-11-16 2019-07-16 北京国双科技有限公司 绘制热力图的方法及装置
CN110324679A (zh) * 2018-03-29 2019-10-11 优酷网络技术（北京）有限公司 一种视频数据处理方法及装置
CN108647242A (zh) * 2018-04-10 2018-10-12 北京天正聚合科技有限公司 一种热力图的生成方法和系统
CN109902630A (zh) * 2019-03-01 2019-06-18 上海像我信息科技有限公司 一种注意力判断方法、装置、系统、设备和存储介质
CN110337022A (zh) * 2019-06-11 2019-10-15 福建天泉教育科技有限公司 基于关注度的视频变速播放方法、存储介质
CN110266881A (zh) * 2019-06-18 2019-09-20 Oppo广东移动通信有限公司 应用控制方法及相关产品

Also Published As

Publication number Publication date
CN111193938A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
US10979761B2 (en) Intelligent video interaction method
CN111615003B (zh) 一种视频播放控制方法、装置、设备及存储介质
CN104620522B (zh) 通过所检测到的身体标记来确定用户兴趣
US10681393B2 (en) Systems and methods for displaying multiple videos
EP3384495B1 (en) Processing of multiple media streams
JP6211715B2 (ja) ビデオのブラウジング方法、その装置、プログラム及び記録媒体
US20140079290A1 (en) Image processing device for performing image processing on moving image
US20230269459A1 (en) Photographing processing method and apparatus, electronic device, and readable storage medium
CN109698949A (zh) 基于虚拟现实场景的视频处理方法、装置和系统
WO2023160496A1 (zh) 拍摄方法、拍摄装置、电子设备和可读存储介质
WO2020033612A1 (en) Event recording system and method
CN114520877A (zh) 视频录制方法、装置和电子设备
CN111193938B (zh) 视频数据处理方法、装置和计算机可读存储介质
KR102592904B1 (ko) 영상 요약 장치 및 방법
CN111818393A (zh) 一种视频进度调整方法、调整装置及电子设备
US10388323B2 (en) Method and apparatus for displaying light field video data
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
CN113852756A (zh) 图像获取方法、装置、设备和存储介质
CN113709566A (zh) 多媒体内容的播放方法、装置、设备以及计算机存储介质
JPWO2015178234A1 (ja) 画像検索システム、検索画面表示方法
CN116193049A (zh) 视频处理方法、装置、计算机设备和存储介质
US20200413002A1 (en) Method, apparatus, device and storage medium for controlling video playback speed
CN113989424A (zh) 三维虚拟形象的生成方法、装置及电子设备
US20190379920A1 (en) Method and system for creating a customized video associated with an advertisement
CN113254709B (zh) 内容数据的处理方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant