CN110809188B - 视频内容的识别方法、装置、存储介质及电子设备 - Google Patents

视频内容的识别方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110809188B
CN110809188B CN201911222301.8A CN201911222301A CN110809188B CN 110809188 B CN110809188 B CN 110809188B CN 201911222301 A CN201911222301 A CN 201911222301A CN 110809188 B CN110809188 B CN 110809188B
Authority
CN
China
Prior art keywords
video
concentration
content
value
eyeball tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911222301.8A
Other languages
English (en)
Other versions
CN110809188A (zh
Inventor
蔺烜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201911222301.8A priority Critical patent/CN110809188B/zh
Publication of CN110809188A publication Critical patent/CN110809188A/zh
Application granted granted Critical
Publication of CN110809188B publication Critical patent/CN110809188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及视频优化技术领域，具体涉及一种视频内容的识别方法、装置、装置及电子设备。方法包括：步骤S110：将视频划分为多个视频片段；步骤S120：在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据；步骤S130：根据视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；步骤S140：判断专注度值是否小于预设专注度阈值；步骤S150：当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容。解决了现有技术中不能通过用户对视频内容的专注度来识别出专注度低的视频片段，以便于优化视频内容，的问题。

Description

视频内容的识别方法、装置、存储介质及电子设备
技术领域
本申请涉及视频优化技术领域，特别地涉及一种视频内容的识别方法、装置、存储介质及电子设备。
背景技术
在当前生活中，学习的重要性深入人心，而各式各样的培训机构也应运而生，培训方通过网上授课也越来越普遍。其中，大多数用户是通过手机、平板这类移动智能设备播放视频来进行学习，在通过视频进行学习的过程中，用户可能只会对部分内容感兴趣，会对不感兴趣的内容进行跳过或者其他操作，或者在学习的过程中走神等等，降低了学习效率，而现有技术中并不能通过用户对视频内容的专注度来识别出专注度低的视频片段，以便于对该视频片段进行优化。
发明内容
针对上述问题，本申请提供一种视频内容的识别方法、装置、存储介质及电子设备，解决了现有技术中不能通过用户对视频内容的专注度来识别出专注度低的视频片段，以便于对该视频片段进行优化的问题。
第一方面，本申请提供了一种视频内容的识别方法，所述方法包括：
步骤S110：将视频划分为多个视频片段；
步骤S120：在视频播放时，获取与每个所述视频片段相关的眼球追踪专注度数据；
步骤S130：根据所述视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；
步骤S140：判断所述专注度值是否小于预设专注度阈值；
步骤S150：当所述专注度值小于预设专注度阈值时，识别出所述视频片段，以优化所述视频片段的内容。
根据本申请的实施例，可选的，上述视频内容的识别方法中，将视频划分为多个视频片段，包括：将所述视频等时间划分为多个视频片段。
根据本申请的实施例，可选的，上述视频内容的识别方法中，在视频播放时，获取与每个所述视频片段相关的眼球追踪专注度数据，包括：
对播放视频的显示屏的显示区域进行分区域处理，形成至少两个子区域；
在两个所述子区域中筛选出存在指定视频内容的区域作为有效子区域；
通过眼球追踪技术，获取在所述有效子区域内用户的眼球追踪信息；
根据所述眼球追踪信息，获取所述有效子区域内的眼球追踪专注度数据。
根据本申请的实施例，可选的，上述视频内容的识别方法中，根据所述视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值，包括：
对所述眼球追踪专注度数据进行可视化处理，得到对应所述视频片段的专注度值集，其中，该专注度值集中包括对应所述视频片段的每帧的专注度值；
计算所述专注度值集中所包含的各帧的专注度值的平均值，并将该平均值作为所述视频片段对应的专注度值。
根据本申请的实施例，可选的，上述视频内容的识别方法中，当所述专注度值小于预设专注度阈值时，识别出所述视频片段，以优化所述视频片段的内容之后，还包括：
获取优化后的视频片段相关的眼球追踪专注度数据；
返回执行步骤S130至步骤S150，直至所述专注度值大于等于预设专注度阈值时，输出视频内容。
根据本申请的实施例，可选的，上述视频内容的识别方法中，优化所述视频片段的内容，包括：更新所述视频中所述视频片段的内容。
第二方面，本申请提供了一种视频内容的识别装置，包括：
视频划分模块，被配置成将视频划分为多个视频片段；
数据搜集模块，被配置成在视频播放时，获取与每个所述视频片段相关的眼球追踪专注度数据；
处理模块，被配置成根据所述视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；
判断模块，被配置成判断所述专注度值是否小于预设专注度阈值；
识别模块，被配置成当所述专注度值小于预设专注度阈值时，识别出所述视频片段，以优化所述视频片段的内容。
根据本申请的实施例，可选的，上述视频内容的识别装置中，还包括优化模块，所述优化模块被配置成优化所述视频中所述视频片段。
第三方面，本申请提供了一种存储介质，该存储介质存储的计算机程序，可被一个或多个处理器执行，可用来实现如上述的视频内容的识别方法。
第四方面，本申请提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行上述的视频内容的识别方法。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本申请提供的一种视频内容的识别方法、装置、存储介质及电子设备，包括：将视频划分为多个视频片段；在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据；根据视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；判断专注度值是否小于预设专注度阈值；当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容。可根据用户对视频内容的专注度得到专注度低的视频片段，以便于对该视频片段进行优化，提升了通过该视频进行学习的学习效率。
附图说明
在下文中将基于实施例并参考附图来对本申请进行更详细的描述：
图1为本申请实施例提供的一种视频内容的识别方法的流程示意图；
图2为本申请实施例提供的一种视频内容的识别方法的另一流程示意图；
图3为本申请实施例提供的一种视频内容的识别方法的另一流程示意图；
图4为本申请实施例提供的一种视频内容的识别装置的连接框图。
在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
以下将结合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本申请的保护范围之内。
本申请提供一种视频内容的识别方法、装置、存储介质及电子设备，包括将视频划分为多个视频片段；在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据；根据视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；判断专注度值是否小于预设专注度阈值；当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容。解决了现有技术中不能通过用户对视频内容的专注度来识别出专注度低的视频片段，以便于对该视频片段进行优化的问题。
实施例一
图1为本申请实施例提供的一种视频内容的识别方法的流程示意图。如图1所示，本方法包括：
步骤S110：将视频划分为多个视频片段。
具体的，将视频等时间划分为多个视频片段。
其中，划分的时间是人为根据视频实际的时长来进行预设的。
步骤S120：在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据。
具体的，对播放视频的显示屏的显示区域进行分区域处理，形成至少两个子区域；在两个子区域中筛选出存在视频内容的区域作为有效子区域；通过眼球追踪技术，获取在有效子区域内用户的眼球追踪信息；根据眼球追踪信息，获取有效子区域内的眼球追踪专注度数据。
优选的，将显示屏的可显示区域分为m×n个子区域，筛选出显示屏上包括视频内容中的人形轮廓、文字、背景等特征的子区域，将这些子区域定义为有效子区域。其中，m×n不小于2，m、n为自然数。
优选的，用户的眼球追踪信息包括在观看视频内容时，用户眼球的特征变化，眼球的运动情况等。眼球追踪专注度数据包括眼球停留在有效子区域的时间与视频时长的比值。
进一步的，当用户的眼睛停留在有效子区域的时间与视频时长的比值大于预设比值时，则确定当前状态下，用户处于走神状态，可从总体的注释时间中去除走神状态下的注释时间，以提升优化结果的准确性。其中，预设比值为根据视频时长人为预设的。
步骤S130：根据视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值。
具体的，对眼球追踪专注度数据进行可视化处理，得到对应视频片段的专注度值集，其中，该专注度值集中包括对应视频片段的每帧的专注度值；取专注度值集中的平均值为视频片段对应的专注度值。
进一步的，对眼球追踪专注度数据进行可视化处理的具体过程包括：采用统计学处理方法，剔除眼球追踪专注度数据中一些过高或者过低的异常数据；将视频时间轴划分为若干个子区间，每个子区间对应一个视频片段，统计出每个视频片段对应的专注度数据；汇总每个视频片段对应的专注度数据，通过该专注度数据得到对应视频片段的专注度值集，其中，该专注度值集中包括对应视频片段的每帧的专注度值；估算出专注度值集中的平均值，将该平均值作为视频片段对应的专注度值。
优选的，剔除眼球追踪专注度数据中一些过高或者过低的异常数据，将专注度数据对应每个视频片段进行分组，将分组好的专注度数据进行整理，得到专注度数据在视频对应的时间轴上的平均数、频数、频率、频数分布、比例以及百分比等数据，统计出每个视频片段对应的专注度数据；根据每个视频片段对应的专注度数据得到对应视频片段的专注度值集，计算专注度值集中所包含的各帧的专注度的平均值，将该平均值作为视频片段对应的专注度值。
优选的，对专注度数据在视频对应的时间轴上的平均数、频数、频率、频数分布、比例以及百分比等数据进行整理，再根据整理后得到的数据绘制对应时间轴的专注度图表，其中，专注度图表包括条形图、直方图、饼状图以及折线图等等。
进一步的，视频制作方可根据专注度图表直观的得到用户对当前视频内容的对应时间轴的专注度数据的状态，或者根据需要对视频内容进行调整。
其中，视频制作方可以是培训机构、视频制作人、视频录制达人等。
步骤S140：判断专注度值是否小于预设专注度阈值。
具体的，将专注度值集中的平均值作为该视频片段的专注度值，将该专注度值与预设的专注度阈值进行比较，从而判断专注度值是否小于预设专注度阈值。
其中，专注度阈值是人为根据实际视频内容包含的知识点的等级以及数量进行预设的。
步骤S150：当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容。
具体的，当专注度值小于预设专注度阈值时；获取该专注度值对应的视频片段，并对视频片段进行更新。
具体的，并对视频片段进行更新，包括将视频制作方重新编排的专注度值对应的视频片段替换视频中原来的视频片段，从而完成视频片段的更新。
优选的，视频制作方调整识别出的视频片段视频中对应的时间轴的位置；在识别出的视频片段中设置提醒方式，其中，提醒方式包括灯光明暗的变化，音效的提醒等等；以及在识别出的视频片段中预设一定的休息时间段，其中休息时间段是根据视频内容的总时长进行预设的。
在步骤S150：专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容之后，还包括：获取优化后的视频片段相关的眼球追踪专注度数据；返回执行步骤S130至步骤S150，直至专注度值大于等于预设专注度阈值时，输出视频内容。
举例说明，如图2所示，将视频划分为多个视频段，在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据，根据对视频片段的眼球追踪专注度数据进行可视化处理，估算该视频片段对应的专注度值，判断专注度值是否小于预设专注度阈值，识别出视频片段，以优化视频片段的内容，获取优化后的视频片段相关的眼球追踪专注度数据，再次根据对优化后的视频片段的眼球追踪专注度数据进行可视化处理，估算该视频片段对应的专注度值，再次判断专注度值是否小于预设专注度阈值，直至专注度值大于等于预设专注度阈值时，输出视频内容。
本实施例提供了一种视频内容的识别方法，包括将视频划分为多个视频片段；在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据；根据对视频片段的眼球追踪专注度数据进行可视化处理，估算该视频片段对应的专注度值；判断专注度值是否小于预设专注度阈值；当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容，通过用户对视频内容的专注度得到专注度低的视频片段，获取优化后的视频片段相关的眼球追踪专注度数据，再次根据对优化后的视频片段的眼球追踪专注度数据进行可视化处理，估算该视频片段对应的专注度值，再次判断专注度值是否小于预设专注度阈值，直至专注度值大于等于预设专注度阈值时，输出视频内容。以对视频片段进行优化，使得视频内容中的所有视频片段满足要求，从而提高了通过视频内容进行学习的学习效率。
实施例二
图3为本申请实施例提供的一种视频内容的识别方法的另一流程示意图。
如图3所示，用户打开电子设备播放视频，电子设备的前置摄像头开启眼球追踪模式，将播放培训视频的显示屏的显示区域进行分区域处理，形成12个子区域，筛选出存在培训视频内容的6个有效子区域，将视频划分为多个视频段，在培训视频播放时，通过眼球追踪技术获取这6个有效子区域内每个视频片段的专注度数据。
根据对视频片段的眼球追踪专注度数据进行可视化处理，估算该视频片段对应的专注度值。
具体的，可视化处理，即剔除眼球追踪专注度数据中一些过高或者过低的异常数据，将专注度数据对应每个视频片段进行分组，将分组好的专注度数据进行整理，得到专注度数据在视频对应的时间轴上的平均数、频数、频率、频数分布、比例以及百分比等数据，统计出每个视频片段对应的专注度数据；根据每个视频片段对应的专注度数据得到对应视频片段的专注度值集，取专注度值集中的平均值为视频片段对应的专注度值。
将专注度值集中的平均值作为该视频片段的专注度值，将该专注度值与预设的专注度阈值进行比较，从而判断专注度值是否小于预设专注度阈值，当专注度值小于预设专注度阈值时；获取该专注度值对应的视频片段，并对视频片段进行更新，获取优化后的视频片段相关的眼球追踪专注度数据，再次根据对优化后的视频片段的眼球追踪专注度数据进行可视化处理，估算该视频片段对应的专注度值，再次判断专注度值是否小于预设专注度阈值，直至专注度值大于等于预设专注度阈值时，输出视频内容。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
实施例三
图4为本申请实施例提供的一种视频内容的识别装置20的连接框图。如图4所示，本装置包括：
视频划分模块21，被配置成将视频划分为多个视频片段；
数据搜集模块22，被配置成在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据；
处理模块23，被配置成根据视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；
判断模块24，被配置成判断专注度值是否小于预设专注度阈值；
识别模块25，被配置成当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容。
进一步的，视频内容识别装置20还包括优化模块26，优化模块26被配置成优化视频中视频片段。
视频划分模块21将视频划分为多个视频片段，数据搜集模块22在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据，处理模块23根据视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值，判断模块24判断专注度值是否小于预设专注度阈值，识别模块25当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容，优化模块26优化视频中视频片段。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，该计算机程序被处理器执行时可以实现如下方法步骤：
步骤S110：将视频划分为多个视频片段；
步骤S120：在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据；
步骤S130：根据视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；
步骤S140：判断专注度值是否小于预设专注度阈值；
步骤S150：当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
实施例五
本申请实施例提供了一种电子设备，该电子设备可以是手机、电脑或平板电脑等，包括存储器和处理器，存储器上存储有计算器程序，该计算机程序被处理器执行时实现如实施例一中的视频内容的识别方法。可以理解，电子设备还可以包括，多媒体组件，输入/输出(I/O)接口，以及通信组件。
其中，处理器用于执行如实施例一中的视频内容的识别方法中的全部或部分步骤。存储器用于存储各种类型的数据，这些数据例如可以包括电子设备中的任何应用程序或方法的指令，以及应用程序相关的数据。
处理器可以是专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable LogicDevice，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例一中的视频内容的识别方法。
存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
综上，本申请提供的一种视频内容的识别方法、装置、存储介质及电子设备，包括将视频划分为多个视频片段；在视频播放时，获取与每个视频片段相关的眼球追踪专注度数据；根据视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；判断专注度值是否小于预设专注度阈值；当专注度值小于预设专注度阈值时，识别出视频片段，以优化视频片段的内容，获取优化后的视频片段相关的眼球追踪专注度数据，再次根据对优化后的视频片段的眼球追踪专注度数据进行可视化处理，估算该视频片段对应的专注度值，再次判断专注度值是否小于预设专注度阈值，直至专注度值大于等于预设专注度阈值时，输出视频内容。可根据专注度值的判断结果反馈用户通过视频内容进行学习的学习情况，对视频内容进行优化，提升了用户通过视频内容进行学习的学习效率，培训机构采用本方法进行培训，可使得培训更加高效，同时弥补了培训质量评价体系过于单一的问题，解决了现有技术中，不能通过用户对视频内容的专注度来识别出视频中专注度低的视频片段，从而优化视频内容，提高学习效率的问题。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本申请所揭露的实施方式如上，但上述的内容只是为了便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种视频内容的识别方法，其特征在于，所述方法包括：
步骤S110：将视频划分为多个视频片段；
步骤S120：在视频播放时，获取与每个所述视频片段相关的眼球追踪专注度数据；
步骤S130：根据所述视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；
步骤S140：判断所述专注度值是否小于预设专注度阈值；
步骤S150：当所述专注度值小于预设专注度阈值时，识别出所述视频片段，以优化所述视频片段的内容，其中，根据所述视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值，包括：
对所述眼球追踪专注度数据进行可视化处理，得到对应所述视频片段的专注度值集，其中，该专注度值集中包括对应所述视频片段的每帧的专注度值；
计算所述专注度值集中所包含的各帧的专注度值的平均值，并将该平均值作为所述视频片段对应的专注度值。
2.根据权利要求1所述的方法，其特征在于，将视频划分为多个视频片段，包括：将所述视频等时间划分为多个视频片段。
3.根据权利要求1所述的方法，其特征在于，在视频播放时，获取与每个所述视频片段相关的眼球追踪专注度数据，包括：
对播放视频的显示屏的显示区域进行分区域处理，形成至少两个子区域；
在两个所述子区域中筛选出存在指定视频内容的区域作为有效子区域；
通过眼球追踪技术，获取在所述有效子区域内用户的眼球追踪信息；
根据所述眼球追踪信息，获取所述有效子区域内的眼球追踪专注度数据。
4.根据权利要求1所述的方法，其特征在于，当所述专注度值小于预设专注度阈值时，识别出所述视频片段，以优化所述视频片段的内容之后，还包括：
获取优化后的视频片段相关的眼球追踪专注度数据；
返回执行步骤S130至步骤S150，直至所述专注度值大于等于预设专注度阈值时，输出视频内容。
5.根据权利要求1所述的方法，其特征在于，优化所述视频片段的内容，包括：更新所述视频中所述视频片段的内容。
6.一种视频内容的识别装置，其特征在于，包括：
视频划分模块，被配置成将视频划分为多个视频片段；
数据搜集模块，被配置成在视频播放时，获取与每个所述视频片段相关的眼球追踪专注度数据；
处理模块，被配置成根据所述视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值；
判断模块，被配置成判断所述专注度值是否小于预设专注度阈值；
识别模块，被配置成当所述专注度值小于预设专注度阈值时，识别出所述视频片段，以优化所述视频片段的内容，其中，根据所述视频片段的眼球追踪专注度数据，估算该视频片段对应的专注度值，包括：
对所述眼球追踪专注度数据进行可视化处理，得到对应所述视频片段的专注度值集，其中，该专注度值集中包括对应所述视频片段的每帧的专注度值；
计算所述专注度值集中所包含的各帧的专注度值的平均值，并将该平均值作为所述视频片段对应的专注度值。
7.根据权利要求6所述的装置，其特征在于，还包括优化模块，所述优化模块被配置成优化所述视频中所述视频片段。
8.一种存储介质，其特征在于，该存储介质存储的计算机程序，可被一个或多个处理器执行，可用来实现如权利要求1-5任意一项中所述的视频内容的识别方法。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如权利要求1-5任意一项所述的视频内容的识别方法。
CN201911222301.8A 2019-12-03 2019-12-03 视频内容的识别方法、装置、存储介质及电子设备 Active CN110809188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911222301.8A CN110809188B (zh) 2019-12-03 2019-12-03 视频内容的识别方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911222301.8A CN110809188B (zh) 2019-12-03 2019-12-03 视频内容的识别方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110809188A CN110809188A (zh) 2020-02-18
CN110809188B true CN110809188B (zh) 2020-12-25

Family

ID=69492320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911222301.8A Active CN110809188B (zh) 2019-12-03 2019-12-03 视频内容的识别方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110809188B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591515B (zh) * 2020-04-30 2024-04-05 百度在线网络技术（北京）有限公司 专注度处理方法、装置及存储介质
CN111918112B (zh) * 2020-06-29 2021-07-20 北京大学 一种视频优化的方法、装置、存储介质及终端
CN112040338B (zh) * 2020-07-31 2022-08-09 中国建设银行股份有限公司 视频播放作弊检测方法、装置及电子设备
CN115250379B (zh) * 2021-04-25 2024-04-09 花瓣云科技有限公司 视频显示方法、终端、系统及计算机可读存储介质
CN113709566B (zh) * 2021-08-11 2024-03-22 咪咕数字传媒有限公司 多媒体内容的播放方法、装置、设备以及计算机存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914141A (zh) * 2013-01-07 2014-07-09 索尼公司 眼睛跟踪用户界面
CN104320688A (zh) * 2014-10-15 2015-01-28 小米科技有限责任公司 视频播放操控方法及装置
CN107247733A (zh) * 2017-05-05 2017-10-13 中广热点云科技有限公司 一种视频片段观看热度分析方法及系统
CN107454465A (zh) * 2017-07-31 2017-12-08 北京小米移动软件有限公司 视频播放进度展示方法及装置、电子设备
CN108491781A (zh) * 2018-03-16 2018-09-04 福州外语外贸学院 一种课堂专注度评估方法及终端
CN109085917A (zh) * 2018-06-20 2018-12-25 新华网股份有限公司 提示信息播放方法和系统
CN109257631A (zh) * 2018-09-30 2019-01-22 武汉斗鱼网络科技有限公司 视频轮播播放方法、装置、计算机设备及存储介质
CN110213630A (zh) * 2019-07-04 2019-09-06 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备及介质
CN110248241A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 视频处理方法及相关装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
JP5361618B2 (ja) * 2009-09-04 2013-12-04 キヤノン株式会社 画像処理装置及びその制御方法
JP5678643B2 (ja) * 2010-12-21 2015-03-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US20170316463A1 (en) * 2016-04-29 2017-11-02 Telefonica Digital Espana, S.L.U. Method, Apparatus and System for Monitoring Attention Level of a User of a Communications Device
US10593118B2 (en) * 2018-05-04 2020-03-17 International Business Machines Corporation Learning opportunity based display generation and presentation
CN109087225A (zh) * 2018-08-30 2018-12-25 广东小天才科技有限公司 一种基于家教设备的学习控制方法及家教设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914141A (zh) * 2013-01-07 2014-07-09 索尼公司 眼睛跟踪用户界面
CN104320688A (zh) * 2014-10-15 2015-01-28 小米科技有限责任公司 视频播放操控方法及装置
CN107247733A (zh) * 2017-05-05 2017-10-13 中广热点云科技有限公司 一种视频片段观看热度分析方法及系统
CN107454465A (zh) * 2017-07-31 2017-12-08 北京小米移动软件有限公司 视频播放进度展示方法及装置、电子设备
CN108491781A (zh) * 2018-03-16 2018-09-04 福州外语外贸学院 一种课堂专注度评估方法及终端
CN109085917A (zh) * 2018-06-20 2018-12-25 新华网股份有限公司 提示信息播放方法和系统
CN109257631A (zh) * 2018-09-30 2019-01-22 武汉斗鱼网络科技有限公司 视频轮播播放方法、装置、计算机设备及存储介质
CN110248241A (zh) * 2019-06-11 2019-09-17 Oppo广东移动通信有限公司 视频处理方法及相关装置
CN110213630A (zh) * 2019-07-04 2019-09-06 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN110809188A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110809188B (zh) 视频内容的识别方法、装置、存储介质及电子设备
JP6547070B2 (ja) プッシュ情報粗選択ソーティングの方法、デバイス、およびコンピュータ記憶媒体
CN109996091A (zh) 生成视频封面的方法、装置、电子设备和计算机可读存储介质
CN112860943A (zh) 一种教学视频审核方法、装置、设备及介质
CN110909205A (zh) 一种视频封面确定方法、装置、电子设备及可读存储介质
CN109445884B (zh) 一种功能标签展示方法及终端设备
CN105243105B (zh) 内容排序方法及装置
CN110198491B (zh) 一种视频分享方法及装置
CN110047513B (zh) 一种视频监测方法、装置、电子设备和存储介质
CN109922334A (zh) 一种视频质量的识别方法及系统
CN113192468A (zh) 显示调节方法、装置、设备及存储介质
CN112199582B (zh) 一种内容推荐方法、装置、设备及介质
US11567987B2 (en) Methods, systems, and media for identifying abusive user accounts based on playlists
CN111061895A (zh) 图像推荐的方法、装置、电子设备及存储介质
CN112749327A (zh) 内容推送方法和装置
CN109908590B (zh) 一种游戏推荐方法、装置、设备及介质
CN112055258A (zh) 加载直播画面的时延测试方法、装置及电子设备
CN112381151B (zh) 相似视频的确定方法及装置
CN113032278B (zh) 应用程序的运行方式、终端设备的等级确认方法及装置
CN114841955A (zh) 一种生物物种的识别方法、装置、设备及存储介质
CN113923516A (zh) 基于深度学习模型的视频处理方法、装置、设备以及存储介质
CN114842382A (zh) 一种生成视频的语义向量的方法、装置、设备及介质
CN110139134B (zh) 一种个性化弹幕智能推送方法与系统
CN108664497B (zh) 数据匹配的方法和装置
CN114143571B (zh) 一种用户处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant