CN110324679A - 一种视频数据处理方法及装置 - Google Patents

一种视频数据处理方法及装置 Download PDF

Info

Publication number
CN110324679A
CN110324679A CN201810270643.6A CN201810270643A CN110324679A CN 110324679 A CN110324679 A CN 110324679A CN 201810270643 A CN201810270643 A CN 201810270643A CN 110324679 A CN110324679 A CN 110324679A
Authority
CN
China
Prior art keywords
video
focus
user
moving track
track data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810270643.6A
Other languages
English (en)
Other versions
CN110324679B (zh
Inventor
曾伟
王爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Youku Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youku Network Technology Beijing Co Ltd filed Critical Youku Network Technology Beijing Co Ltd
Priority to CN201810270643.6A priority Critical patent/CN110324679B/zh
Publication of CN110324679A publication Critical patent/CN110324679A/zh
Application granted granted Critical
Publication of CN110324679B publication Critical patent/CN110324679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供一种视频数据处理方法及装置。所述方法包括：接收用户的眼球运动轨迹数据，所述眼球运动轨迹数据包括在所述用户观看视频时，基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置；根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围；根据所述焦点范围对所述视频进行编码，所述对所述视频进行编码包括：增强所述视频画面中焦点范围内的图像质量和/或降低所述视频画面中焦点范围外的图像质量。利用本申请中各个实施例，实现了智能、动态的倾向性视频编码，使视频编码目标更具可视化和精准化，满足了不同用户对观看视频的需求。

Description

一种视频数据处理方法及装置
技术领域
本申请属于互联网技术领域，尤其涉及一种视频数据处理方法及装置。
背景技术
随着互联网技术的不断发展，视频在人们生活中的使用越来越多。不同的场合、不同的用户对视频的要求可能不同。如：有些要求视频的清晰度高；有些要求视频更小、更流畅；有些则要求视频在一定的清晰度下同时保证视频较小，以节省流量。因此，亟需一种能够保障用户观影清晰度体验的同时尽可能的满足视频服务方的视频数据处理需求的实施方案。
发明内容
本申请目的在于提供一种视频数据处理方法及装置，实现了在相同文件大小的情况下，让用户感观上获得更高的清晰度，或在合适的清晰度下节省更多的流量，保障用户观影清晰度体验的同时尽可能的满足视频服务方的视频数据处理需求。
第一方面本申请实施例提供了一种视频数据处理方法，包括：
接收用户的眼球运动轨迹数据，所述眼球运动轨迹数据包括在所述用户观看视频时，基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置；
根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围；
根据所述焦点范围对所述视频进行编码，所述对所述视频进行编码包括：增强所述视频画面中焦点范围内的图像质量和/或降低所述视频画面中焦点范围外的图像质量。
第二方面，本申请实施例提供了一种视频数据处理装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述第一方面所述的方法。
第三方面，本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现上述第一方面所述的方法。
第四方面，本申请实施例提供了视频数据处理服务器，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述第一方面所述的方法。
第五方面，本申请实施例提供了一种视频数据处理方法，包括：
采集用户观看视频时的眼球运动轨迹数据，并将所述眼球运动轨迹数据发送至服务器，以使得所述服务器根据所述眼球运动轨迹数据对所述视频进行编码，所述眼球运动轨迹数据包括在所述用户观看视频时基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置，所述服务器对所述视频进行编码包括：确定所述视频画面的焦点范围，根据所述焦点范围对所述视频进行编码；
接收所述服务器进行编码后的视频版本。
第六方面，本申请实施例提供了一种视频数据处理装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述第五方面所述的方法。
第七方面，本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现上述第五方面所述的方法。
第八方面，本申请实施例提供了视频数据处理终端设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述第五方面所述的方法。
本申请提供的视频数据的处理方法、装置、服务器、终端设备，通过对观看视频的用户的眼球运动轨迹数据的分析，获得用户对播放的视频画面中比较关注的区域，确定出视频画面中的焦点范围。根据确定出的焦点范围，对视频进行重新编码。实现了智能、动态的倾向性视频编码，使视频编码目标更具可视化和精准化。实现了在相同文件大小的情况下，让用户感观上获得更高的清晰度，或在合适的清晰度下节省更多的流量，满足了不同用户对观看视频的需求。可以不需要对视频画面进行整体画面质量的提升，针对性的对局部视频画面进行编码处理，降低了视频服务方的生产运营成本，同时有效提升了复杂网络环境下的用户观看视频的体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一个实施例中的视频数据处理方法的流程示意图；
图2是本申请一个实施例中视频画面中用户的视线焦点示意图；
图3是本申请一个实施例中视频画面的示意图；
图4是本申请一个实施例中焦点热区图的示意图；
图5是本申请一个实施例中确定焦点范围的示意图；
图6是本申请实施例中的一种视频数据处理的服务器的硬件结构框图；
图7是本申请一个实施例中视频数据处理终端设备的视频播放界面示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
观看视频时的情况不同，用户对视频的清晰度要求不同，例如：在使用家庭无线网络观看视频时，可能要求视频的清晰度较高，若使用手机流量观看视频时则需要节省流量，对视频的清晰度要求可以适当降低。还有对于不同的视频，清晰度的要求也不同，例如：观看电影时，可能要求整个画面都保证在比较高的清晰度，在来疯直播、天猫直播这类对图像非核心特征细节要求不高，追求感观上清晰，可能只对画面的局部的清晰度要求较高。
由于人眼焦点的局限性和大脑的认知惯性，用户在观看视频时，并不能聚焦于整个画面，视线往往聚焦于画面中的某一处关健特征上。观看动态图像时，为了快速获得关健信息，此特性会更加明显，例如：在观看电视剧或电影时，用户的视线焦点常集中于主角的人脸和字幕，视线焦点外通常都处于模糊状态。
本申请实施例提供一种视频数据处理方法，通过采集观看视频时用户的眼球运动轨迹数据，通过分析用户的眼球运动轨迹数据，获得用户观看视频时的焦点范围。即获得用户观看视频时对视频画面中哪些区域比较关注，再对视频画面中用户关注的区域进行画面质量的加强，或者对用户关注区域外的区域进行画面质量的降低。实现在相同文件大小的情况下，让用户感观上获得更高的“清晰度”，或在合适的“清晰度”下节省更多的流量，满足了不同用户对观看视频的需求。
具体地，图1是本申请提供的一个实施例中的视频数据处理方法的流程示意图，如图1所示，本申请实施例提供的视频数据处理方法，包括：
S1、接收用户的眼球运动轨迹数据，所述眼球运动轨迹数据包括在所述用户观看视频时，基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置。
用户在使用客户端观看视频时，客户端可以通过摄像头等图像采集设备，对观看视频的用户的眼球运行轨迹进行追踪，采集到用户观看视频时的眼球运动轨迹数据。眼球运动轨迹数据可以表示用户观看视频时，用户的视线焦点对应在视频画面中的相对位置的变化。例如：播放的视频画面中，主角从视频画面的中央位置移动到左下角的位置。若用户观看视频时，用户的视线焦点随主角的脸部移动，则客户端可以采集到用户的眼球运动轨迹是从视频画面的中央位置移动至左下角的位置。
本申请实施例中的客户端可以是用户使用的终端设备。具体地，客户端可以是智能手机、平板电脑、智能可穿戴设备(智能手表、虚拟现实眼镜、虚拟现实头盔等)等电子设备。此外，客户端还可以是运行于上述终端设备中的软件。例如，客户端可以是视频播放软件、即时通信软件等，也可以是以插件或者小程序形式存在的程序组件。客户端采集到的眼球运动轨迹数据可以是用户观看视频时视线焦点在视频画面中的相对位置的坐标变化，客户端可以将采集到的观看视频的用户的眼球运动轨迹数据发送至服务器，由服务器对眼球运动轨迹数据进行分析处理，确定用户观看视频时视线焦点的位置变化。
S2、根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围。
焦点范围可以表示视频画面中用户比较关注的区域。接收到客户端发送的观看视频的用户的眼球运动轨迹数据后，可以对眼球运动轨迹数据进行分析，可以获得用户观看视频时视线焦点在视频画面中的相对位置，进一步获得用户对视频画面中比较关注的区域，确定出用户观看视频画面时的焦点范围。例如：根据眼球运动轨迹数据，发现视频播放过程中，用户的视线焦点在视频画面中的坐标，则可以将该坐标附近预设范围内的区域作为视频画面的焦点范围。
图2是本申请一个实施例中视频画面中用户的视线焦点示意图，如图2所示，通过对观看视频的用户的眼球运动轨迹数据的分析，获得用户在观看视频时的视线焦点在视频画面中方框所在的位置移动，则可以将各个方框所在的一定范围内的区域作为视频画面的焦点范围。
本申请一个实施例中，还可以对多个观看视频的用户的眼球运动轨迹进行数据行分析，统计出用户关注比较多的区域，作为视频画面的焦点范围。
S3、根据所述焦点范围对所述视频进行编码，所述对所述视频进行编码包括：增强所述视频画面中焦点范围内的图像质量和/或降低所述视频画面中焦点范围外的图像质量。
获得视频中用户关注比较多的区域即焦点范围后，根据获得的焦点范围对视频进行重新编码，可以使得焦点范围内的图像质量高于焦点范围外的图像质量。例如：可以增强视频画面中焦点范围内的图像质量，或者降低视频画面中焦点范围外的图像质量，还可以既增强视频画面中焦点范围内的图像质量，又降低视频画面中焦点范围外的图像质量。具体对图像质量增强和降低多少，可以根据实际需要进行设置，本申请实施例不作具体限定。
增强视频画面中焦点范围内的图像质量可以避免因提高整个视频画面导致视频文件太大，又提高了视频的清晰度，保证了在相同文件大小的情况下，让用户观感上获得更高的清晰度。降低视频画面中焦点范围外的图像质量，可以保证视频在合适的清晰的下，缩小视频文件，节省播放视频时使用的网络流量。既增强视频画面中焦点范围内的图像质量，又降低视频画面中焦点范围外的图像质量，则可以平衡用户的观看体验，提高用户观看视频的体验。例如：用户在观看天猫直播时，可能只对视频画面中的商品比较感兴趣，对视频画面中其他的区域基本不关注，则可以增强视频画面中的商品所在区域的图像质量，将商品区域外的图像质量降低，既满足了用户对视频清晰度的要求，又不至于视频文件太大，占用网络流量，不方便保存等。
本申请一个实施例中，所述根据所述焦点范围对所述视频进行编码，可以包括：
对所述视频采用不同的编码方式，获得不同版本的视频，并将不同版本的视频进行存储。
可以针对焦点范围对视频采用不同的编码方式，不同的编码方式可以获得不同版本的视频，例如：增强视频画面中焦点范围内的图像质量，可以获得清晰度比较高的高清晰度版本的视频；降低视频画面中焦点范围外的图像质量，可以获得流畅度比较好的高流畅度版本的视频；既增强视频画面中焦点范围内的图像质量，又降低视频画面中焦点范围外的图像质量，可以获得观看体验比较好的平衡观看体验版本的视频。可以将不同版本的视频进行存储，或发送至客户端，用户可以根据自己的需要选择播放不同版本的视频。
需要说明的是，本申请实施例中的视频或视频画面是同一个视频，是待处理视频。对视频数据的处理可以在接收用户的眼球运动轨迹的同时进行，同步获得适合用户观看的视频。也可以在接收多个用户观看同一个视频时的眼球运动轨迹，进行统计分析后，对该视频数据进行重新的编码处理，获得不同版本的视频。
本申请实施例提供的视频数据的处理方法，通过对观看视频的用户的眼球运动轨迹数据的分析，获得播放的视频画面中用户比较关注的区域，确定出视频画面中的焦点范围。根据确定出的焦点范围，对视频进行重新编码。本申请实施例提供了一种智能、动态的倾向性视频编码，使视频编码目标更具可视化和精准化。实现了在相同文件大小的情况下，让用户感观上获得更高的清晰度，或在合适的清晰度下节省更多的网络流量，满足了不同用户观看视频的需求。可以不需要对视频画面进行整体画面质量的提升，针对性的对局部视频画面进行编码处理，降低了视频服务方的生产运营成本，同时有效提升了复杂网络环境下的用户观看视频的体验。
在上述实施例的基础上，本申请一个实施例中，所述根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围，包括：
根据不同用户对应的所述眼球运动轨迹数据，获得所述用户观看所述视频画面时的视线焦点变化，构建焦点热区图，所述焦点热区图包括用户对所述视频画面中不同区域的关注程度；
根据所述焦点热区图，对所述视频画面进行图像检测，提取所述焦点热区图中热点区域对应的目标特征物；
根据所述目标特征物对应的热点区域对所述目标特征物进行优先级排序，确定所述目标特征物的优先级；
根据所述目标特征物的优先级，确定所述焦点范围。
具体地，本申请实施例可以采集不同用户观看同一视频(待处理视频)时的眼球运动轨迹数据，根据获得的不同用户的眼球运动轨迹数据后，可以统计不同用户在观看视频时，视线焦点的变化，构建出焦点热区图。焦点热区图可以反映用户在观看视频时，对视频画面中不同区域的关注程度。图3是本申请一个实施例中视频画面的示意图，如图3所示，通过对多个观看该视频的用户的眼球运动轨迹数据进行分析，发现用户在观看该视频时，主焦点集中在手部的药剂处，次焦点位于左测金属罐体，右侧大片黑色部份为焦点边缘。
例如：若采集到1000个用户在观看视频时，有500个用户的视线焦点集中在视频画面的区域A，300个用户的视线焦点集中在视频画面的区域B，100个用户的视线焦点集中在视频画面的区域，还有100个用户的视线焦点集中在视频画面的其他区域，可以认为用户对视频画面中的区域A、B、C比较关注，A、B、C可以称为热点区域。可以使用不同的颜色或不同的标识区分用户对视频画面不同区域不同的关注程度，构建出焦点热区图。图4是本申请一个实施例中焦点热区图的示意图，如图4所示，颜色的深度的不同可以表示用户关注程度的不同。
构建出焦点热区图后，可以根据焦点热区图对视频画面进行图像检测，提取出焦点热区图中用户关注程度比较高的热点区域对应的目标特征物。例如：可以将焦点热区图与视频画面进行比对，获得焦点热区图中用户关注程度比较高的热点区域A、B、C在视频画面中的位置，并对视频画面中热点区域A、B、C所在的位置进行图像识别，提取出热点区域A、B、C中分别对应有目标特征物a、b、c。根据提取出的目标特征物对应的热点区域，对目标特征物进行优先级排序，关注程度高的热点区域，对应的目标特征物的优先级相对较高。
例如：根据用户的眼球运动轨迹数据构建出焦点热区图，焦点热区图中用户关注程度比较高的热点区域分别为A、B、C，其中热点区域的关注度从高到低排序为A、B、C。将视频画面与焦点热区图进行比对，并对视频画面中热点区域A、B、C对应的位置进行图像识别，提取出热点区域A、B、C中分别对应有目标特征物a、b、c。则目标特征物a的优先级最高，目标特征物b的优先级低于a，目标特征物c的优先级最低。
上述实施例中的目标特征物可以包括视频画面中用户关注的有形物体，如：人脸、字幕、装饰道具、人的身体、动物、植物等。
需要说明的是，焦点热区图的图像检测可以在构建焦点热区图时，实时进行，也可以在焦点热区图构建完成后一定时间后进行，也可以将焦点热区图构构建完成后进行保存，在需要重新进行视频编码时，再对焦点热区图的进行图像检测。
对焦点热区图进行图像检测的方法可以根据实际需要进行选择，例如：可以使用AI(Artificial Intelligence，人工智能)图像识别方法，或者其他图像识别算法，本申请实施例不作具体限定。
确定出目标特征物的优先级后，可以根据目标特征物的优先级确定出用户观看视频画面时的焦点范围。可以将优先级较高的目标特征物作为焦点范围，或者将优先级较高的目标特征物以及目标特征物周围预设区域作为焦点范围。
本申请一个实施例中，可以将优先级大于预设级别的目标特征物所在的区域作为所述焦点范围。目标特征物在视频画面中的区域可以理解为目标特征物在视频画面中所占的位置，或者目标特征物以及目标特征物周围预设范围。如：可以将优先级最高的目标特征物在视频画面中的区域作为焦点范围，或者将优先级别排在预设级别之前的目标特征物在视频画面中的区域作为焦点范围。
例如：图5是本申请一个实施例中确定焦点范围的示意图，如图5所示，经过对用户的眼球运动轨迹数据的分析，确定出视频画面中的主角的脸部为优先级最高的目标特征物，则可以将主角脸部附近一定区域内如：图中的实线矩形方框区域，作为用户观看视频时的焦点范围。确定出焦点范围后，在对视频进行重新编码时，可以将焦点范围内的图像质量增强，这样可以将主角的身体以及主角附近的画面质量都进行增强，提高用户观看视频时的观感体验。
本申请实施例提供的视频数据处理方法，通过分析不同用户观看视频时的眼球运动轨迹数据，构建出焦点热区图，再利用焦点热区图对视频画面进行图像识别，获得热点区域对应的目标特征物。同时，根据目标特征物对应的热点区域，对目标特征物进行优先级的排序，根据目标特征物的优先级确定出用户观看视频时的焦点范围，进一步根据焦点范围进行视频的重新编码。提高了焦点范围确定的准确性，在视频编码时，可以针对性的增强或降低指定区域的图像质量，提高了视频编码的目标性和针对性，提高了视频重新编码的质量，更好的满足了用户对观看视频的需求。
在上述实施例的基础上，本申请一个实施例中，所述方法还可以包括：
根据用户信息，获得不同用户群对应的所述眼球运动轨迹数据；
利用所述不同用户群对应的所述眼球运动轨迹数据，构建所述不同用户群对应的焦点热区图；
基于所述不同用户群对应的焦点热区图，确定所述不同用户群对应的焦点范围；
利用所述不同用户群对应的焦点范围，对所述视频画面进行编码，获得针对不同用户群的视频版本。
具体地，用户信息可以包括用户注册时提供的信息，例如：用户的年龄、性别、学历、收入、从事的行业等，根据用户信息可以将用户分为不同的用户群，例如：根据用户的年龄和性别可以分为老年用户群、中年用户群、年轻少女用户群等，根据用户的学历可以分为高知用户群、普通用户群等。不同用户群在观看视频时，视线焦点关注的区域可能会不同。本申请实施例可以获取不同用户群对应的眼球运动轨迹数据，根据不同用户群对应的眼球运动轨迹数据，构建不同用户群对应的焦点热区图。可以利用不同用户群对应的焦点热区图，获得不同用户群关注的目标特征物以及目标特征物的优先级，进一步可以确定出不同用户群观看视频时的焦点范围。针对不同用户群对应的焦点范围，对视频进行重新编码，可以获得针对不同用户群的视频版本。
例如：通过分析高知用户群的眼球运动轨迹数据，构建出高知用户群的焦点热区图，发现高知用户群在观看英文视频时，很少关注字幕，视线焦点集中在主角上。对普通用户群在观看英文视频时的眼球运动轨迹数据进行分析，构建出普通用户群的焦点热区图后，发现普通用户群在观看英文视频时，视线焦点集中在主角和字幕上。因此，对于英文电影等英文视频，可以根据高知用户群的眼球运动轨迹数据，将英文电影视频中的主角所在的区域的图像质量增强，字幕区不需要增强画面质量，以减小视频文件的大小，节省流量。根据普通用户群的眼球运动轨迹数据，可以将字幕区和主角所在的区域的图像质量同时增强，以满足用户观看视频时对字幕和主角所在区域的清晰度需求。
又如：根据年轻少女用户群的眼球运动轨迹数据的分析结果，构建出年轻少女用户群对应的焦点热区图，发现年轻少女用户群在观看视频时视线焦点集中在年轻漂亮的演员的脸部。根据老年用户群的眼球运动轨迹数据的分析结果，构建出老年用户群对应的焦点热区图，发现老年用户群在观看视频时视线焦点只集中在主角的脸部。可以针对年轻少女用户群将视频的年轻漂亮的演员所在的区域的图像质量进行增强，针对老年用户群可以只将主角所在的区域的图像质量增强。
此外，用户信息还可以包括通过终端设备获取的用户图像信息(视频可视为连续的图像)确定的用户信息。如：通过终端采集到的用户图像可以确定出的用户的性别、年龄范围等。可以将终端采集到的用户信息与用户注册的信息进行比对，若发现用户注册的信息与终端采集到的用户信息区别明显，可以选择终端采集到的用户信息作为确定用户群的标准。如：若用户注册的信息为28岁，男，终端采集到的图像信息可以确定当前使用该账户观看视频的用户为30岁左右的女性用户，可以说明当前观看视频的女性用户可能使用的是其他人的账户信息。可以根据客户端采集到的图像信息，为当前观看视频的女性用户推荐适合其所在用户群的视频版本。
当然，也可能存在观看视频的用户没有注册账户，或者没有登录账户，此时，也可以以终端采集到的用户信息作为确定用户所属用户群的标准。
随着用户样本的增加，可以不断更新用户群的数据，如：添加新的用户群以及针对新用户群的视频版本等。
此外，本申请一个实施例中，所述方法还可以包括：
获取当前观看所述视频的用户的用户信息；
根据所述用户信息，确定所述用户对应的用户群；
根据所述用户群，向所述用户推送目标版本的视频。
例如：用户打开某英文电影时，获取到当前用户的用户信息。用户信息中显示用户是海外留学博士，学历要求满足高知用户群的要求，可以将该用户作为高知用户群。可以优先向该用户推送增强了主角所在区域的视频版本，字幕区域的图像质量可以不进行增强，以节省视频播放时使用的网络流量，提升视频播放的流畅度。当然，用户还可以根据自己的需求，选择自己需要的视频版本，本申请实施例不作具体限定。
本申请实施例提供的视频数据处理方法，根据用户信息，对不同用户群的眼球运动轨迹进行分析，构建不同用户群观看视频时的焦点热区图。根据不同用户群对应的焦点热区图，可以分析出不同用户群在观看视频时，视线焦点在视频画面中集中的区域，进一步获得不同用户群对应的焦点范围。根据不同用户群对应的焦点范围，可以对视频数据进行相应的处理，获得满足不同用户群需求的视频版本。在用户观看视频时，还可以针对用户信息，主动向用户推送符合其所在用户群要求的视频版本。实现了结合用户信息对视频数据的灵活处理，满足不同用户的需求，提升了用户观看视频时的体验。
在上述实施例的基础上，本申请一个实施例中，所述根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围，可以包括：
利用人工智能图像检测技术对所述视频画面进行图像检测，识别出所述视频画面中的特征物，并确定所述特征物在所述视频画面中的位置；
根据所述眼球运动轨迹数据，确定用户的视线焦点在所述视频画面中的视线位置；
根据所述视线位置和所述特征物在所述视频画面中的位置，确定出目标特征物；
根据所述目标特征物，确定所述焦点范围。
具体地，可以预先使用人工智能图像检测技术(也可以称为人工智能图像识别技术)对待处理视频的视频画面进行图像检测，识别出视频画面中的特征物，并确定出特征物在视频画面的位置。特征物可以包括视频画面中的有形物体，如：人脸、字幕、装饰道具、人的身体、动物、植物等。可以利用人工智能图像检测技术对视频画面进行图像识别，建立特征物数据库，并且可以通过不断的学习，对特征物数据库进行更新。利用特征物数据库与视频画面进行匹配识别，确定视频画面中的特征物以及特征物在视频画面中的位置。可以将识别的特征物以及特征物在视频画面中的位置进行存储，方便后续的比对。
通过对观看视频的用户的眼球运动轨迹数据进行分析，可以确定出用户的视线焦点在视频画面中的视线位置，视线位置可以表示用户观看视频时，视线焦点在视频画面中的相对位置，可以采用坐标的形式表示。通过对比用户观看视频时的视线位置和获得的视频画面中特征物的位置，可以确定出用户观看视频时的目标特征物。将目标特征物所在的区域作为用户观看视频时的焦点范围，进一步根据焦点范围对视频进行重新编码。
例如：利用人工智能图像检测技术识别出当前用户观看的视频画面中包括特征物A、B、C，并确定出了特征物A、B、C在视频画面中位置。根据采集到的用户观看该视频时的眼球运动轨迹数据，确定出用户在观看该视频画面时，视线焦点集中在视频画面的位置a处。通过对比用户观看视频时的视线位置a和特征物A、B、C在视频画面中位置后，发现用户观看视频时的视线位置a与特征物A的位置重合，则可以将特征物A作为用户观看视频时的目标特征物。当然，若经过对比，视线位置a与任何特征物都不重合，也可以将距离视线位置a最近的特征物作为目标特征物，或将在视线位置a所在的预设区域内的特征物作为目标特征物，本申请实施例不作具体限定。确定出目标特征物A后，可以将目标特征物A或者目标特征物A及其周围预设范围内的区域作为焦点范围。可以通过增强焦点范围内的图像质量和/或降低焦点范围外的图像质量，对视频进行重新编码处理，获得满足不同用户需求的视频。
本申请实施例提供的视频数据处理方法，通过人工智能图像检测技术，对视频画面中的特征物进行识别检测，确定出特征物在视频画面中的位置。再对用户的眼球运动轨迹进行分析处理，获得用户观看视频时的视线位置。通过对比视线位置和视频画面中的特征物的位置，确定出用户观看视频时的目标特征物，进一步确定出用户观看视频时的焦点范围。根据焦点范围可以对视频进行重新处理，实现智能、动态的倾向性视频编码，使视频编码目标更具可视化和精准化。提升了用户观看视频时观感的清晰度，减小视频文件的大小，节省流量等，满足不同用户对视频的需求。
在上述实施例的基础上，本申请一个实施例中，所述方法还包括：
根据用户信息，获得不同用户群对应的所述眼球运动轨迹数据；
利用所述不同用户群对应的所述眼球运动轨迹数据和所述特征物在所述视频画面中的位置，确定不同用户群对应的焦点范围；
根据所述不同用户群对应的焦点范围，对所述视频画面进行编码，获得针对不同用户群的视频版本。
具体地，可以根据用户信息将用户分为不同的用户群，用户信息以及用户群的划分可以参考上述实施例的介绍，此处不再赘述。本申请实施例可以获取不同用户群对应的眼球运动轨迹数据，根据不同用户群对应的眼球运动轨迹数据，可以获得不同用户群观看视频时的视线位置集中在哪些位置。统计不同用户群观看视频时的视线位置，对比视线位置和特征物在视频画面中的位置，可以确定出不同用户群观看视频时对应的目标特征物，进一步确定出不同用户群观看视频时的焦点范围。针对不同用户群对应的焦点范围，对视频进行重新编码，可以获得针对不同用户群的视频版本。
例如：通过分析高知用户群的眼球运动轨迹数据，获得高知用户群在观看英文视频时，视线位置集中在位置A处。通过与预先获得的视频换面中特征物的位置进行对比，发现位置A与主角a的脸部重合，则可以将主角a作为高知用户群观看英文视频时的目标特征物。对普通用户群在观看英文视频时的眼球运动轨迹数据进行分析，获得普通用户群在观看英文视频时，视线位置集中在位置A和B处。通过与预先获得的视频换面中特征物的位置进行对比，发现位置A与主角a的脸部重合，位置B与字幕重合，则可以将主角a和字幕作为普通用户群观看英文视频时的目标特征物。因此，可以根据不同用户群的眼球运动轨迹数据，获得不同用户群的焦点范围，进一步获得不同版本的视频。如：对于英文电影，可以根据高知用户群的眼球运动轨迹数据，将英文电影视频中的主角所在的区域的图像质量增强，字幕区不需要增强画面质量，以减小视频文件的大小，节省流量。根据普通用户群的眼球运动轨迹数据，可以将字幕区和主角所在的区域的图像质量同时增强，以满足用户观看视频时的清晰度需求。
可以将不同用户群对应的视频版本进行保存，在用户打开视频时，可以根据用户的用户信息获得用户所在的用户群，为观看视频的用户推送适合该用户群的视频版本。具体推送方法，可以参考上述实施例的记载，此处不再赘述。
本申请实施例提供的视频数据处理方法，根据特征物在视频画面中的位置和不同用户群对应的眼球运动轨迹数据，可以获得不同用户群对应的焦点范围，可以对视频数据进行相应的处理，获得满足不同用户群需求的视频版本。在用户观看视频时，还可以针对用户信息，主动向用户推送符合其所在用户群的视频版本。实现了结合用户信息对视频数据的灵活处理，满足不同用户的需求，提升了用户观看视频时的体验。
在上述实施例的基础上，本申请一个实施例中，所述根据所述目标特征物，确定所述焦点范围，包括：
根据所述视线位置和所述特征物在所述视频画面中的位置，统计用户在观看视频时关注所述目标特征物的用户数量；
根据关注所述目标特征物的用户数量，对所述目标特征物进行优先级排序，确定所述目标特征物的优先级；
根据所述目标特征物的优先级，确定所述焦点范围。
具体地，本申请一个实施例中，可以根据用户观看视频时的眼球运动轨迹，获得多个用户在观看视频时的视线位置。通过对比各个用户在观看视频时的视线位置和特征物在视频画面中的位置，可以获得不同用户观看视频时关注的目标特征物。统计不同的目标特征物被关注的用户数量，对各个目标特征物进行优先级的排序，获得目标特征物的优先级。根据目标特征物的优先级，确定出用户在观看视频时的焦点范围。
例如：分析1000个用户的眼球运动轨迹数据，获得各个用户在观看视频时的视线位置，并将视线位置与获得的视频中特征物的位置，获得各个用户在观看视频时的关注的目标特征物。其中有500个用户关注目标特征物A，300个用户关注目标特征物B，150个用户关注目标特征物C，另外50个用户关注视频画面中的其他位置。则可以将目标特征物A、B、C进行优先级排序，获得目标特征物A、B、C的优先级分别是最高级、次高级、最低级。根据目标特征物A、B、C的优先级，可以将最高级的目标特征物A所在的区域作为用户观看视频时的焦点范围，在进行视频编码时，可以将焦点范围内的图像质量增强。
此外，本申请一个实施例，还可以根据用户信息将用户分为不同的用户群，用户信息以及用户群的划分可以参考上述实施例的介绍，此处不再赘述。可以获取不同用户群对应的眼球运动轨迹数据，根据不同用户群对应的眼球运动轨迹数据，可以获得不同用户群观看视频时的视线位置集中在哪些位置。统计不同用户群观看视频时的视线位置，对比视线位置和特征物在视频画面中的位置，可以确定出不同用户群观看视频时对应的目标特征物，进一步确定出不同用户群观看视频时的目标特征物的优先级。根据不同用户群观看视频时的目标特征物的优先级，可以确定不同用户群观看视频时的焦点范围。针对不同用户群对应的焦点范围，对视频进行重新编码，可以获得针对不同用户群的视频版本。
还可以将不同用户群对应的视频版本进行保存，在用户打开视频时，可以根据用户的用户信息获得用户所在的用户群，为观看视频的用户推送适合该用户群的视频版本。具体推送方法，可以参考上述实施例的记载，此处不再赘述。
本申请实施例通过统计分析用户观看视频时的眼球运动轨迹数据，统计获得不同用户观看视频时的视线位置，根据视线位置统计观看视频时关注不同的目标特征物的用户数量，对目标特征物进行排序，获得目标特征物的优先级。根据目标特征物的优先级，确定出视频画面的焦点范围，进一步对视频进行重新编码。方法简单，可以快速的确定出用户观看视频时的焦点范围，实现提升用户观看视频时观感的清晰度，减小视频文件的大小，节省流量等，满足不同用户对视频的需求。
在上述实施例的基础上，本申请一个实施例，所述方法还包括：
根据接收到的所述眼球运动轨迹数据，更新所述目标特征物的优先级；
根据更新后的所述目标特征物的优先级，确定所述视频画面的焦点范围；
根据所述焦点范围对所述视频进行重新编码。
具体地，本申请实施例可以根据新接收到的用户观看视频时的眼球运动轨迹数据，对目标特征物的优先级进行更新。根据新更新的目标特征物的优先级，更新用户观看视频画面时的焦点范围，并根据新更新的焦点范围对视频进行重新编码，如：增强新更新的焦点范围内的图像质量和/或降低新更新的焦点范围外的图像质量等。当然，还可以根据新接收到的用户观看视频时的眼球运动轨迹数据，对特征物以及特征物在视频画面中的位置进行更新，利用更新后的特征物以及特征物在视频画面中的位置，更新焦点范围。
通过不断的学习，更新特征物以及特征物在视频画面中的位置、目标特征物以及目标特征物的优先级等，以使得确定的焦点范围更加准确，提高视频数据处理的准确性和针对性，更好的满足不同用户对观看视频的需求。
在上述实施例的基础上，本申请一个实施例中，所述方法还包括：
接收到所述眼球运动轨迹数据后，对所述眼球运动轨迹数据进行过滤，删除无效数据，获得有效眼球运动轨迹数据，所述无效数据包括：用户在观看所述视频时出现指定动作时对应的眼球运动轨迹数据；
相应地，所述根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围，包括：
根据所述有效眼球运动轨迹数据，确定所述视频画面的焦点范围。
具体地，本申请一个实施例中，在接收到用户观看视频时的眼球运动轨迹数据后，可以对眼球运动轨迹数据进行过滤处理，删除无效数据，保留有效数据，获得有效眼球运动轨迹数据。无效数据可以包括用户在观看视频时出现指定动作如：摇头、转身，或者用户的视线位置不在视频画面中时眼球的运动轨迹数据。可以根据获得的有效眼球运动轨迹数据，确定视线位置或构建焦点热区图等，确定目标特征物和目标特征物的优先级等，进一步确定出视频画面的焦点范围。
本申请实施例在获得用户的眼球运动轨迹数据后，通过对用户眼球运动轨迹数据进行过滤处理，提高了眼球运动轨迹数据的准确性，降低了后续数据处理的工作量，避免错误数据对焦点范围确定的干扰，提高了焦点范围确定的准确性。进一步为后续视频数据的编码提供了准确的数据基础。
需要说明的是，在对视频进行处理时，采集的是用户观看待处理视频时的眼球运动轨迹数据，特征物以及特征物在视频画面中的位置的确定，也是基于同一个待处理视频进行的数据分析。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
在上述实施例的基础上，本申请一个实施例还提供一种视频数据处理装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例中视频数据的处理方法，例如可以实现如下方法：
接收用户的眼球运动轨迹数据，所述眼球运动轨迹数据包括在所述用户观看视频时，基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置；
根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围；
根据所述焦点范围对所述视频进行编码，所述对所述视频进行编码包括：增强所述视频画面中焦点范围内的图像质量和/或降低所述视频画面中焦点范围外的图像质量。
本申请一个实施例中，还可以提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现上述实施例中视频数据的处理方法，例如可以实现如下方法：
接收用户的眼球运动轨迹数据，所述眼球运动轨迹数据包括在所述用户观看视频时，基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置；
根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围；
根据所述焦点范围对所述视频进行编码，所述对所述视频进行编码包括：增强所述视频画面中焦点范围内的图像质量和/或降低所述视频画面中焦点范围外的图像质量。
本申请一个实施例中，还可以提供一种视频数据处理服务器，可以包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例中视频数据的处理方法，例如可以实现如下方法：
接收用户的眼球运动轨迹数据，所述眼球运动轨迹数据包括在所述用户观看视频时，基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置；
根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围；
根据所述焦点范围对所述视频进行编码，所述对所述视频进行编码包括：增强所述视频画面中焦点范围内的图像质量和/或降低所述视频画面中焦点范围外的图像质量。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图6是本申请实施例中的一种视频数据处理的服务器的硬件结构框图。如图6所示，服务器10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图6中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如GPU(Graphics Processing Unit，图像处理器)，或者具有与图6所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的视频处理方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述导航交互界面内容展示的处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输模块106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
需要说明的是说明书上述所述的装置、计算机存储介质、服务器根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。
此外，本申请一个实施例还提供了一种视频数据处理方法，包括：
采集用户观看视频时的眼球运动轨迹数据，并将所述眼球运动轨迹数据发送至服务器，以使得所述服务器根据所述眼球运动轨迹数据对所述视频进行编码，所述眼球运动轨迹数据包括在所述用户观看视频时基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置，所述服务器对所述视频进行编码包括：确定所述视频画面的焦点范围，根据所述焦点范围对所述视频进行编码；
接收所述服务器进行编码后的视频版本。
可以通过在客户端等播放视频的设备中安装摄像头等能够采集图像的装置，通过摄像头等装置采集观看视频的用户的眼球运动轨迹数据，将采集到的眼球运动轨迹数据发送至服务器，以便服务器根据接收到的眼球运动轨迹数据，对视频进行重新编码，获得满足不同用户需求的视频版本。服务器可以将重新编码的视频发送至客户端等播放视频的设备或平台中，也可以根据观看视频的用户的信息，为用户推送合适的视频版本。具体根据眼球运动轨迹数据进行视频编码的方法，可以参考上述实施例的记载，此处不再赘述。
本申请一个实施例中，所述方法还包括：采用下述中的至少一种方式确定视频的播放版本：
基于接收的播放版本选择指令，播放用户选择的视频版本；
根据获取到的用户信息，确定用户所属的用户群，播放所述用户群对应的视频版本。
用户可以根据自己的需要，通过客户端选择合适的视频版本进行播放，客户端根据用户下发的播放版本选择指令如：点击某个视频版本等的触发指令，为用户播放其选择的视频版本。客户端或者播放视频的平台等，也可以根据观看当前视频的用户信息，直接播放或向用户推送适合该用户所在用户群的视频版本。其中与，用户信息可以包括用户注册的账户信息或客户端采集到的图像信息显示的用户信息，具体内容可以参考上述实施例的记载，此处不再赘述。
例如：用户根据自己的需要通过视频播放平台，选择了高知用户群版本的视频，客户端接收到该视频版本选择指令后，为用户播放高知用户群版本的视频。或者，客户端根据获取到的用户信息，确定出用户所属的用户群，主动为用户推送或者直接播放适合该用户群的视频版本。当然，若为用户推送的视频版本与用户选择的视频版本不一致，可以以用户选择的视频版本为准。
采集到的眼球轨迹运动数据还可以包括当前视频信息，以便服务器根据当前视频信息，对对应的视频进行数据处理。
本申请实施例，通过对观看视频的用户的眼球运动轨迹进行采集，并将采集到的眼球运动轨迹发送至服务器，以供服务器对视频进行重新编码处理。可以实现可选择性的提高或牺牲某一特性的图像质量，来提升图像品质和降低视频大小节省流量，实现一种智能、动态的倾向性编码策略，满足了不同用户对观看视频的需求。
本申请实施例中，还提供了一种视频数据处理装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例中视频数据的处理方法，例如可以实现如下方法：
采集用户观看视频时的眼球运动轨迹数据，并将所述眼球运动轨迹数据发送至服务器，以使得所述服务器根据所述眼球运动轨迹数据对所述视频进行编码，所述眼球运动轨迹数据包括在所述用户观看视频时基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置，所述服务器对所述视频进行编码包括：确定所述视频画面的焦点范围，根据所述焦点范围对所述视频进行编码；
接收所述服务器进行编码后的视频版本。
本申请实施例中，还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现上述实施例中视频数据的处理方法，例如可以实现如下方法：
采集用户观看视频时的眼球运动轨迹数据，并将所述眼球运动轨迹数据发送至服务器，以使得所述服务器根据所述眼球运动轨迹数据对所述视频进行编码，所述眼球运动轨迹数据包括在所述用户观看视频时基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置，所述服务器对所述视频进行编码包括：确定所述视频画面的焦点范围，根据所述焦点范围对所述视频进行编码；
接收所述服务器进行编码后的视频版本。
服务器编码后的视频可以在终端设备上进行缓存，通过终端设备，如手机、平板来采集用户的眼球运动轨迹数据。终端设备上可以安装视频播放软件、应用程序APP等。本申请实施例中，还提供了一种视频数据处理终端设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例中视频数据的处理方法，例如可以实现如下方法：
采集用户观看视频时的眼球运动轨迹数据，并将所述眼球运动轨迹数据发送至服务器，以使得所述服务器根据所述眼球运动轨迹数据对所述视频进行编码，所述眼球运动轨迹数据包括在所述用户观看视频时基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置，所述服务器对所述视频进行编码包括：确定所述视频画面的焦点范围，根据所述焦点范围对所述视频进行编码；
接收所述服务器进行编码后的视频版本。
视频数据处理终端设备可以是智能手机、平板电脑、智能可穿戴设备(智能手表、虚拟现实眼镜、虚拟现实头盔等)等电子设备。此外，所述视频数据处理终端设备还可以是运行于上述终端设备中的软件。可以将不同版本的视频提供给用户，供用户进行选择，如720P，流畅，蓝光，热点版(增强焦点范围内图像质量的视频版本)、平衡观看体验版、高知用户群版、年轻少女用户群版等。
图7是本申请一个实施例中视频数据处理终端设备的视频播放界面示意图，如图7所示，视频数据处理终端设备中可以存储不同版本的视频，用户在观看视频时，可以根据自己的需要选择合适版本的视频进行播放。还可以获取当前观看视频的用户信息，主动为用户推荐适合当前用户所在用户群的视频版本。
需要说明的是说明书上述所述的装置、计算机存储介质、终端设备根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机数据处理和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。

Claims (19)

1.一种视频数据处理方法，其特征在于，包括：
接收用户的眼球运动轨迹数据，所述眼球运动轨迹数据包括在所述用户观看视频时，基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置；
根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围；
根据所述焦点范围对所述视频进行编码，所述对所述视频进行编码包括：增强所述视频画面中焦点范围内的图像质量和/或降低所述视频画面中焦点范围外的图像质量。
2.如权利要求1所述的方法，其特征在于，所述根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围，包括：
根据不同用户对应的所述眼球运动轨迹数据，获得所述用户观看所述视频画面时的视线焦点变化，构建焦点热区图，所述焦点热区图包括用户对所述视频画面中不同区域的关注程度；
根据所述焦点热区图，对所述视频画面进行图像检测，提取所述焦点热区图中热点区域对应的目标特征物；
根据所述目标特征物对应的热点区域对所述目标特征物进行优先级排序，确定所述目标特征物的优先级；
根据所述目标特征物的优先级，确定所述焦点范围。
3.如权利要求1所述的方法，其特征在于，所述根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围，包括：
利用人工智能图像检测技术对所述视频画面进行图像检测，识别出所述视频画面中的特征物，并确定所述特征物在所述视频画面中的位置；
根据所述眼球运动轨迹数据，确定用户的视线焦点在所述视频画面中的视线位置；
根据所述视线位置和所述特征物在所述视频画面中的位置，确定出目标特征物；
根据所述目标特征物，确定所述焦点范围。
4.如权利要求3所述的方法，其特征在于，所述根据所述目标特征物，确定所述焦点范围，包括：
根据所述视线位置和所述特征物在所述视频画面中的位置，统计用户在观看视频时关注所述目标特征物的用户数量；
根据关注所述目标特征物的用户数量，对所述目标特征物进行优先级排序，确定所述目标特征物的优先级；
根据所述目标特征物的优先级，确定所述焦点范围。
5.如权利要求2所述的方法，其特征在于，所述方法还包括：
根据用户信息，获得不同用户群对应的所述眼球运动轨迹数据；
利用所述不同用户群对应的所述眼球运动轨迹数据，构建所述不同用户群对应的焦点热区图；
基于所述不同用户群对应的焦点热区图，确定所述不同用户群对应的焦点范围；
利用所述不同用户群对应的焦点范围，对所述视频画面进行编码，获得针对不同用户群的视频版本。
6.如权利要求3或4所述的方法，其特征在于，所述方法还包括：
根据用户信息，获得不同用户群对应的所述眼球运动轨迹数据；
利用所述不同用户群对应的所述眼球运动轨迹数据和所述特征物在所述视频画面中的位置，确定不同用户群对应的焦点范围；
根据所述不同用户群对应的焦点范围，对所述视频画面进行编码，获得针对不同用户群的视频版本。
7.如权利要求5所述的方法，其特征在于，所述方法还包括：
获取当前观看所述视频的用户的用户信息；
根据所述用户信息，确定所述用户对应的用户群；
根据所述用户群，向所述用户推送目标版本的视频。
8.如权利要求2或4或5所述的方法，其特征在于，所述方法还包括：
根据接收到的所述眼球运动轨迹数据，更新所述目标特征物的优先级；
根据更新后的所述目标特征物的优先级，确定所述视频画面的焦点范围；
根据所述焦点范围对所述视频进行重新编码。
9.如权利要求1所述的方法，其特征在于，所述根据所述焦点范围对所述视频进行编码，包括：
对所述视频采用不同的编码方式，获得不同版本的视频，并将不同版本的视频进行存储。
10.如权利要求2或4所述的方法，其特征在于，所述根据所述目标特征物的优先级，确定所述焦点范围，包括：将优先级大于预设级别的目标特征物所在的区域作为所述焦点范围。
11.如权利要求1所述的方法，其特征在于，所述方法还包括：
接收到所述眼球运动轨迹数据后，对所述眼球运动轨迹数据进行过滤，删除无效数据，获得有效眼球运动轨迹数据，所述无效数据包括：用户在观看所述视频时出现指定动作时对应的眼球运动轨迹数据；
相应地，所述根据所述眼球运动轨迹数据，确定所述视频画面的焦点范围，包括：
根据所述有效眼球运动轨迹数据，确定所述视频画面的焦点范围。
12.一种视频数据处理装置，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-11任一项所述的方法。
13.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1-11任一项所述的方法。
14.一种视频数据处理服务器，其特征在于，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-11任一项所述的方法。
15.一种视频数据处理方法，其特征在于，包括：
采集用户观看视频时的眼球运动轨迹数据，并将所述眼球运动轨迹数据发送至服务器，以使得所述服务器根据所述眼球运动轨迹数据对所述视频进行编码，所述眼球运动轨迹数据包括在所述用户观看视频时基于用户的眼球运动轨迹确定出的视线焦点对应在视频画面中的相对位置，所述服务器对所述视频进行编码包括：确定所述视频画面的焦点范围，根据所述焦点范围对所述视频进行编码；
接收所述服务器进行编码后的视频版本。
16.如权利要求15所述的方法，其特征在于，所述方法还包括：采用下述中的至少一种方式确定视频的播放版本：
基于接收的播放版本选择指令，播放用户选择的视频版本；
根据获取到的用户信息，确定用户所属的用户群，播放所述用户群对应的视频版本。
17.一种视频数据处理装置，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求15-16任一项所述的方法。
18.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求15-16任一项所述的方法。
19.一种视频数据处理终端设备，其特征在于，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求15-16任一项所述的方法。
CN201810270643.6A 2018-03-29 2018-03-29 一种视频数据处理方法及装置 Active CN110324679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810270643.6A CN110324679B (zh) 2018-03-29 2018-03-29 一种视频数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810270643.6A CN110324679B (zh) 2018-03-29 2018-03-29 一种视频数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN110324679A true CN110324679A (zh) 2019-10-11
CN110324679B CN110324679B (zh) 2022-03-22

Family

ID=68110790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810270643.6A Active CN110324679B (zh) 2018-03-29 2018-03-29 一种视频数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110324679B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193938A (zh) * 2020-01-14 2020-05-22 腾讯科技（深圳）有限公司 视频数据处理方法、装置和计算机可读存储介质
CN112434789A (zh) * 2020-11-06 2021-03-02 中山大学 一种用于边缘视频分析的分布式神经网络模型划分方法
CN114244884A (zh) * 2021-12-21 2022-03-25 北京蔚领时代科技有限公司 应用于云游戏的基于眼球跟踪的视频编码方法
CN114567732A (zh) * 2022-02-23 2022-05-31 咪咕数字传媒有限公司 数据展示方法、装置、电子设备及计算机存储介质
WO2022127865A1 (zh) * 2020-12-18 2022-06-23 中兴通讯股份有限公司 视频处理方法、装置、电子设备及存储介质
CN115760891A (zh) * 2022-11-02 2023-03-07 中国人民解放军总医院第六医学中心 一种基于边缘检测算法的ct图像质量评估方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080090553A1 (en) * 2006-10-13 2008-04-17 Ping Sum Wan Dynamic video messaging
CN101854529A (zh) * 2010-04-30 2010-10-06 第一视频通信传媒有限公司 一种细分受众的多画面网络直播方法
CN103248918A (zh) * 2013-05-16 2013-08-14 无锡北斗星通信息科技有限公司 集成基本数据、正常数据加扰的dvb条件发送装置
CN103618918A (zh) * 2013-11-27 2014-03-05 青岛海信电器股份有限公司 一种智能电视的显示控制方法及装置
CN105979286A (zh) * 2016-07-05 2016-09-28 张程 一种复合分辨率的视频传输播放系统及方法
CN106162363A (zh) * 2015-03-03 2016-11-23 上海贝尔股份有限公司 传输视频的方法和装置
EP3104621A1 (en) * 2015-06-09 2016-12-14 Wipro Limited Method and device for dynamically controlling quality of a video
CN107852521A (zh) * 2015-08-07 2018-03-27 Smi创新传感技术有限公司 用于显示图像流的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080090553A1 (en) * 2006-10-13 2008-04-17 Ping Sum Wan Dynamic video messaging
CN101854529A (zh) * 2010-04-30 2010-10-06 第一视频通信传媒有限公司 一种细分受众的多画面网络直播方法
CN103248918A (zh) * 2013-05-16 2013-08-14 无锡北斗星通信息科技有限公司 集成基本数据、正常数据加扰的dvb条件发送装置
CN103618918A (zh) * 2013-11-27 2014-03-05 青岛海信电器股份有限公司 一种智能电视的显示控制方法及装置
CN106162363A (zh) * 2015-03-03 2016-11-23 上海贝尔股份有限公司 传输视频的方法和装置
EP3104621A1 (en) * 2015-06-09 2016-12-14 Wipro Limited Method and device for dynamically controlling quality of a video
CN107852521A (zh) * 2015-08-07 2018-03-27 Smi创新传感技术有限公司 用于显示图像流的系统和方法
CN105979286A (zh) * 2016-07-05 2016-09-28 张程 一种复合分辨率的视频传输播放系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193938A (zh) * 2020-01-14 2020-05-22 腾讯科技（深圳）有限公司 视频数据处理方法、装置和计算机可读存储介质
CN111193938B (zh) * 2020-01-14 2021-07-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置和计算机可读存储介质
CN112434789A (zh) * 2020-11-06 2021-03-02 中山大学 一种用于边缘视频分析的分布式神经网络模型划分方法
CN112434789B (zh) * 2020-11-06 2023-07-07 中山大学 一种用于边缘视频分析的分布式神经网络模型划分方法
WO2022127865A1 (zh) * 2020-12-18 2022-06-23 中兴通讯股份有限公司 视频处理方法、装置、电子设备及存储介质
CN114244884A (zh) * 2021-12-21 2022-03-25 北京蔚领时代科技有限公司 应用于云游戏的基于眼球跟踪的视频编码方法
CN114244884B (zh) * 2021-12-21 2024-01-30 北京蔚领时代科技有限公司 应用于云游戏的基于眼球跟踪的视频编码方法
CN114567732A (zh) * 2022-02-23 2022-05-31 咪咕数字传媒有限公司 数据展示方法、装置、电子设备及计算机存储介质
CN115760891A (zh) * 2022-11-02 2023-03-07 中国人民解放军总医院第六医学中心 一种基于边缘检测算法的ct图像质量评估方法及系统

Also Published As

Publication number Publication date
CN110324679B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN110324679A (zh) 一种视频数据处理方法及装置
EP3369038B1 (en) Tracking object of interest in an omnidirectional video
CN105472434B (zh) 植入内容到视频演示中的方法和系统
US8854457B2 (en) Systems and methods for the autonomous production of videos from multi-sensored data
JP6028351B2 (ja) 制御装置、電子機器、制御方法、及びプログラム
CN105027550B (zh) 用于处理视觉信息以检测事件的系统和方法
CN106982387A (zh) 弹幕的显示、推送方法及装置及弹幕应用系统
CN105519097A (zh) 用于显示画中画的系统、装置和方法
CN107836109A (zh) 电子设备自动聚焦于感兴趣区域的方法
CN105933665B (zh) 一种调阅摄像机视频的方法及装置
CN111241872B (zh) 视频图像遮挡方法及装置
JP2013196158A (ja) 制御装置、電子機器、制御方法、及びプログラム
CN111327917A (zh) 直播内容的预览方法、装置、设备及存储介质
XU et al. Fast and accurate whole-body pose estimation in the wild and its applications
CN103384311A (zh) 互动视频批量自动生成方法
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
CN110505406A (zh) 背景虚化方法、装置、存储介质及终端
CN109785228A (zh) 图像处理方法、装置、存储介质和服务器
CN114363689A (zh) 直播控制方法、装置、存储介质及电子设备
CN114359343A (zh) 运动轨迹管理方法、装置、设备及计算机可读存储介质
WO2013124923A1 (ja) 興味区間特定装置、興味区間特定方法、興味区間特定プログラム
Katti et al. Online estimation of evolving human visual interest
He Application of deep learning in video target tracking of soccer players
CN108960130A (zh) 视频文件智能处理方法和装置
CN113780051A (zh) 评估学生专注度的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200513

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Applicant before: Youku network technology (Beijing) Co., Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant