CN115002550A - 基于图像识别的视频播放控制方法、终端设备及存储介质 - Google Patents

基于图像识别的视频播放控制方法、终端设备及存储介质 Download PDF

Info

Publication number
CN115002550A
CN115002550A CN202210546774.9A CN202210546774A CN115002550A CN 115002550 A CN115002550 A CN 115002550A CN 202210546774 A CN202210546774 A CN 202210546774A CN 115002550 A CN115002550 A CN 115002550A
Authority
CN
China
Prior art keywords
playing
video
image
image information
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210546774.9A
Other languages
English (en)
Other versions
CN115002550B (zh
Inventor
周胜杰
赵家宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Konka Electronic Technology Co Ltd
Original Assignee
Shenzhen Konka Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Konka Electronic Technology Co Ltd filed Critical Shenzhen Konka Electronic Technology Co Ltd
Priority to CN202210546774.9A priority Critical patent/CN115002550B/zh
Priority claimed from CN202210546774.9A external-priority patent/CN115002550B/zh
Publication of CN115002550A publication Critical patent/CN115002550A/zh
Application granted granted Critical
Publication of CN115002550B publication Critical patent/CN115002550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了基于图像识别的视频播放控制方法、终端设备及存储介质，方法包括：获取目标视频应用，并提取目标视频应用所对应的播放图像信息；对播放图像信息进行图像识别，确定播放图像信息所对应的视频播放进度；若视频播放进度满足视频切换要求，则向目标视频应用输出切换指令，以控制目标视频应用根据切换指令对播放内容进行切换。本发明可对目标视频应用对应的播放图像信息进行图像识别，确定此时播放图像信息所对应的视频播放播放进度，该视频播放进度反映的是此时播放的视频是否满足视频切换要求，则就可以向目标视频应用输出切换指令，从而控制播放内容自动切换，无需手动操作，给用户的使用提供了方便。

Description

基于图像识别的视频播放控制方法、终端设备及存储介质
技术领域
本发明涉及视频播放控制技术领域，尤其涉及一种基于图像识别的视频播放控制方法、终端设备及存储介质。
背景技术
当前随着视频平台的用户越来越多，用户已经不满足在手机上刷视频，用户对于大屏(比如电视)刷视频的需求越来越旺盛，目前大屏刷视频的两种方法，一种是将视频的App安装在电视，一种是通过手机投屏到电视。用户使用手机刷视频只需要手指拨动，但在电视上刷视频在操作上很不方便，用遥控器操控电视刷视频非常不方便，并且电视交互上并没有手指上、下、左、右拨动的按键，而大部分视频应用不能自动切换，只能手动切换，因此非常影响用户的使用。
因此，现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于图像识别的视频播放控制方法、终端设备及存储介质，旨在解决现有技术中低端性能产品在基于显示窗口的视频录制时会出现严重的卡顿、视频录制质量低等严重问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
第一方面，本发明提供一种基于图像识别的视频播放控制方法，其中，方法包括：
获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息；
对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度；
若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。
在一种实现方式中，所述获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息，包括：
获取处于运行状态中的应用程序，并获取处于运行状态中的应用程序对应的功能信息；
若所述功能信息为视频播放功能时，则确定处于运行状态中的应用程序为所述目标视频应用；
获取所述目标视频应用的若干显示画面，将若干所述显示画面作为所述播放图像信息。
在一种实现方式中，所述对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度，包括：
从所述播放图像信息中提取播放进度条；
根据所述播放进度条，确定播放进度条的焦点位置，所述焦点位置用于反映所述目标视频应用正在播放的视频的已播放时长；
若所述焦点位置为播放进度条的末尾区域，则确定所述视频播放进度为播放结束。
在一种实现方式中，所述对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度，包括：
从所述播放图像信息中提取起播帧图像，所述起播帧图像为所述目标视频应用开始播放视频时的第一帧图像，所述起播帧包括首帧图像和随机帧图像；
将所述首帧图像和随机帧图像分别与缓存图像进行图像匹配，其中，所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息；
若所述首帧图像和随机帧图像均与缓存图像成功匹配，则确定所述视频播放进度为同一个视频重播。
在一种实现方式中，所述将所述首帧图像和随机帧图像分别与缓存图像进行图像匹配，包括：
获取所述首帧图像对应的第一时间戳以及所述随机帧图像对应的第二时间戳；
从所述缓存图像中获取与所述第一时间戳对应的第一缓存图像以及与所述第二时间戳对应的第二缓存图像；
将所述首帧图像与所述第一缓存图像进行图像匹配，以及将所述随机帧图像与所述第二缓存图像进行图像匹配。
在一种实现方式中，所述对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度，包括：
根据所述播放图像信息，确定所述显示画面中文字简介显示区域；
从所述文字简介显示区域中提取文字内容，并将所述文字内容与缓存图像中的文字内容进行对比，确定文字重复率，其中，所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息；
若所述文字重复率超过预设阈值，则确定所述视频播放进度为同一个视频重播。
在一种实现方式中，所述若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换，包括：
若所述视频播放进度为播放结束或者同一个视频重播，则确定所述视频播放进度满足所述视频切换要求；
向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换，其中，所述切换指令为用于实现手指拨动的指令。
第二方面，本发明实施例还可以提供一种基于图像识别的视频播放控制装置，其中，所述装置包括：
图像获取模块，应用获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息；
进度确定模块，应用对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度；
播放控制模块，应用若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。
第三方面，本发明实施例还提供一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于图像识别的视频播放控制程序，处理器执行基于图像识别的视频播放控制程序时，实现如上述方案中任一项的基于图像识别的视频播放控制方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有基于图像识别的视频播放控制程序，基于图像识别的视频播放控制程序被处理器执行时，实现如上述方案中任一项的基于图像识别的视频播放控制方法的步骤。
有益效果：与现有技术相比，本发明提供了一种基于图像识别的视频播放控制方法，本发明首先获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息。然后，对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度。最后，若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。本发明可对目标视频应用对应的播放图像信息进行图像识别，确定此时播放图像信息所对应的视频播放播放进度，该视频播放进度反映的是此时播放的视频是否播放结束或者重播，如果视频播放进度满足视频切换要求，则就可以向目标视频应用输出切换指令，从而控制播放内容自动切换，无需手动操作，给用户的使用提供了方便。
附图说明
图1为本发明实施例提供的基于图像识别的视频播放控制方法的具体实施方式的流程图。
图2为本发明实施例提供的基于图像识别的视频播放控制装置的原理框图。
图3为本发明实施例提供的终端设备的原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于图像识别的视频播放控制方法，基于本实施例的方法，可自动切换目标视频应用的播放内容，无需手动操作，给用户的使用提供方便。具体地，本实施例首先获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息。然后，对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度。最后，若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。本实施例可对目标视频应用对应的播放图像信息进行图像识别，确定此时播放图像信息所对应的视频播放播放进度，该视频播放进度反映的是此时播放的视频是否播放结束或者重播，如果视频播放进度满足视频切换要求，则就可以向目标视频应用输出切换指令，从而控制播放内容自动切换。
举例说明，本例中的目标视频应用为抖音，且在电视机上使用抖音播放视频内容。电视机可提取抖音对应的播放图像信息，该播放图像信息即是基于抖音正在播放的视频的显示画面得到的。当获取到播放图像信息后，电视机就可以对该播放图像信息进行图像识别，图像识别的目的是为了确定出该播放图像信息对应的视频播放进度。如果视频播放进度满足视频切换要求，也就是确定此时该视频是否播放结束或者是否为同一个视频的重播，如果满足视频切换条件，则电视机就会向抖音发送的切换指令，控制抖音自动切换播放内容。
示例性方法
本实施例的基于图像识别的视频播放控制方法可应用于终端设备，所述终端设备可为电视、电脑等大屏设备。具体地，如图1中所示，所述基于图像识别的视频播放控制方法包括如下步骤：
步骤S100、获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息。
在本实施例中，本实施例的终端设备首先获取目标视频应用，由于用户在终端设备上运行或者使用的应用程序有很多，本实施例主要是针对视频播放进行控制的，因此首先需要确定目标视频应用。当确定目标视频应用后，本实施例提取该目标视频应用对应的播放图像信息，所述播放图像信息为终端设备在运行该目标视频应用时播放的视频的显示画面。
在一种实现方式中，本实施例在提取播放图像信息时包括如下步骤：
步骤S101、获取处于运行状态中的应用程序，并获取处于运行状态中的应用程序对应的功能信息；
步骤S102、若所述功能信息为视频播放功能时，则确定处于运行状态中的应用程序为所述目标视频应用；
步骤S103、获取所述目标视频应用的若干显示画面，将若干所述显示画面作为所述播放图像信息。
在本实施例中，终端设备首先获取此时处于运行状态下的应用程序，然后从处于运行状态下的应用程序中筛选出目标视频应用。具体地，本实施例获取处于运行状态中的应用程序对应的功能信息；若所述功能信息为视频播放功能时，则确定该处于运行状态中的应用程序为所述目标视频应用。比如，如果获取到的处于运行状态下的应用程序包括：抖音，则获取抖音的功能信息，该功能信息为视频功能，则就确定抖音为目标视频应用。又比如，如果获取到的处于运行状态下的应用程序包括：微信，则获取抖音的功能信息，该功能信息为社交功能，则就确定微信不是目标视频应用。当确定出目标视频应用后，本实施例获取目标视频应用的若干显示画面，然后将若干所述显示画面作为所述播放图像信息。具体地，本实施例可在目标视频应用在播放视频的过程中，通过截屏的方式截取若干显示画面，然后将这些显示画面作为播放图像信息。本实施例获取播放图像信息，有利于后续步骤中对于视频播放进度的确定，有助于分析是否需要进行播放内容的切换。
步骤S200、对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度。
当终端设备获取到播放图像信息后，本实施例开始对该播放图像信息进行图像识别。由于该播放图像信息是目标视频应用在播放视频的过程中截取的若干显示画面，因此通过对这些显示画面进行识别，可确定此时这些显示画面对应的视频播放进度，该视频播放进度反映的是该目标视频应用在播放视频时，播放到哪一个阶段。
在一种实现方式中，本实施例在确定视频播放进度时，包括如下步骤：
步骤S201、从所述播放图像信息中提取播放进度条；
步骤S202、根据所述播放进度条，确定播放进度条的焦点位置，所述焦点位置用于反映所述目标视频应用正在播放的视频的已播放时长；
步骤S203、若所述焦点位置为播放进度条的末尾区域，则确定所述视频播放进度为播放结束。
具体地，由于该播放图像信息是目标视频应用在播放视频的过程中截取的若干显示画面，每一个显示画面的下方都会自带播放进度条，随着视频的播放，播放进度条的焦点慢慢往前移动。因此，本实施例可从所述播放图像信息中提取播放进度条，并确定播放进度条的焦点位置，所述焦点位置用于反映所述目标视频应用正在播放的视频的已播放时长。本实施例在从播放图像信息中提取播放进度条时，可通过预先训练好的识别模型来对播放图像信息中的播放进度条进行识别，该识别模型是基于大量的播放画面进行训练得到的。该识别模型首先判断播放图像信息是否存在播放进度条，如果存在，则提取出播放进度条以及确定该播放进度条的焦点位置，若所述焦点位置为播放进度条的末尾区域，则确定所述视频播放进度为播放结束。
在另一种实现方式中，本实施例在确定视频播放进度时，包括如下步骤：
步骤S21、从所述播放图像信息中提取起播帧图像，所述起播帧图像为所述目标视频应用开始播放视频时的第一帧图像，所述起播帧包括首帧图像和随机帧图像；
步骤S22、将所述首帧图像和随机帧图像分别与缓存图像进行图像匹配，其中，所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息；
步骤S23、若所述首帧图像和随机帧图像均与缓存图像成功匹配，则确定所述视频播放进度为同一个视频重播。
具体地，本实施例首先从所述播放图像信息的若干显示画面中提取起播帧图像，所述起播帧图像为所述目标视频应用开始播放视频时的第一帧图像，所述起播帧包括首帧图像和随机帧图像。然后本实施例获取所述首帧图像对应的第一时间戳以及所述随机帧图像对应的第二时间戳。接着从所述缓存图像中获取与所述第一时间戳对应的第一缓存图像以及与所述第二时间戳对应的第二缓存图像。然后将所述首帧图像与所述第一缓存图像进行图像匹配，以及将所述随机帧图像与所述第二缓存图像进行图像匹配。由于本实施例中的所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息，因此如果首帧图像与所述第一缓存图像匹配成功，并所述随机帧图像与所述第二缓存图像也匹配成功，则就可以说明此时目标视频应用正在播放的视频是之前已经播放完成的视频，因此此时的视频播放进度为同一个视频重播。
举例说明，本实施例在进行图像匹配时，可通过提取图像特征来进行图像匹配。比如，首帧图像的图像特征可表示为：A-第一时间戳-特征值1，随机帧图像的图像特征可表示为：B-第二时间戳-特征值2。对应地，在预设存储空间中存储的第一缓存图像可表示为：A-第一时间戳-特征值a，第二缓存图像可表示为：B-第二时间戳-特征值b。这样在进行图像匹配时，可直接通过比对特征值来确定图像是否匹配成功。如果特征值相同，则就可以确定两张图像匹配成功，这样就可以确定目标视频应用此时播放的视频是否是同一个视频的重播。在本实施例中，如果确定此时的视频播放进度为同一个视频重播，则可将此时获取到的首帧图像和随机帧图像去替换缓存图像中的第一缓存图像和第二缓存图像，以保证在后续判断视频播放进度可以使用最新的首帧图像和随机帧图像。
在另一种实现方式中，本实施例还可以通过文字识别的方式来确定视频播放进度。具体地，本实施例根据所述播放图像信息，确定所述显示画面中文字简介显示区域。由于每个播放图像信息的文字简介显示区域不一样，本实施例可基于OCR(OpticalCharacter Recognition，光学字符识别)识别技术，确定显示画面中的文字简介显示区域，或者也可以基于预先设置的文字识别模型自动从显示画面中确定文字简介显示区域。当确定文字简介显示区域后，本实施例从所述文字简介显示区域中提取文字内容，并将所述文字内容与缓存图像中的文字内容进行对比，确定文字重复率，其中，所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息。若所述文字重复率超过预设阈值(比如文字重复率超过95％)，则就说明，此时播放的视频是之前已经播放结束的视频，因此就可以确定所述视频播放进度为同一个视频重播。比如，当识别出文字显示区域中的文字内容为：山水田园风光-这处世外桃源千万别错过，而缓存图像中对应的文字内容为：山水田园风光-这处世外桃源千万别错过，则说明此时的播放图像信息与缓存图像是相同的，则就说明此时的视频播放进度为同一个视频重播。
步骤S300、若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。
当确定视频播放进度后，本实施例判断此时的视频播放进度是否满足视频切换要求，如果此时的视频播放进度满足视频切换要求，则就说明此时播放的视频是用户已经看过的视频或者该视频已经播放结束，因此，此时需要对该目标视频应用的播放内容进行切换。本实施例向所述目标视频应用输出切换指令，然后控制所述目标视频应用根据所述切换指令对播放内容进行切换。
在一种实现方式中，本实施例在对播放内容进行切换时，包括如下步骤：
步骤S301、若所述视频播放进度为播放结束或者同一个视频重播，则确定所述视频播放进度满足所述视频切换要求；
步骤S302、向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换，其中，所述切换指令为用于实现手指拨动的指令。
在本实施例中，若所述视频播放进度为播放结束或者同一个视频重播，则确定所述视频播放进度满足所述视频切换要求，则终端设备向所述目标视频应用输出切换指令，所述切换指令为用于实现手指拨动的指令(比如，下滑、下滑、左滑、右滑)，该切换指令通过Android原生的指令发送机制(Android原生的指令集就有这些手指拨动指令)自动向目标视频应用发送。在具体应用时，无需用户手动操作，当目标视频应用在接收到该切换指令之后，就可以根据该切换指令自动实现上滑、下滑、左滑、右滑等效果，从而实现对播放内容进行切换。在本实施例中，当用户使用手机将手机上安装的目标视频应用的播放内容投屏至终端设备(比如电视机)时，此时的切换指令可由终端设备向手机下发，控制手机上的目标视频应用的播放内容进行切换，这样终端设备中投屏显示的播放内容也就完成了切换。可见，本申请完全不需要用户手动操作，给用户的使用提供了方便。
综上，本实施例首先获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息。然后，对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度。最后，若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。本实施例可对目标视频应用对应的播放图像信息进行图像识别，确定此时播放图像信息所对应的视频播放播放进度，该视频播放进度反映的是此时播放的视频是否播放结束或者重播，如果视频播放进度满足视频切换要求，则就可以向目标视频应用输出切换指令，从而控制播放内容自动切换，无需手动操作，给用户的使用提供了方便。
示例性装置
基于上述实施例，本发明还可以提供一种基于图像识别的视频播放控制装置，如图2中所示，所述装置包括：图像获取模块10、进度确定模块20以及播放控制模块30。具体地，本实施例中的所述图像获取模块10，应用获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息。所述进度确定模块20，应用对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度。所述播放控制模块30，应用若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。
在一种实现方式中，所述图像获取模块10，包括：
功能信息获取单元，用于获取处于运行状态中的应用程序，并获取处于运行状态中的应用程序对应的功能信息；
目标应用确定单元，用于若所述功能信息为视频播放功能时，则确定处于运行状态中的应用程序为所述目标视频应用；
图像信息获取单元，用于获取所述目标视频应用的若干显示画面，将若干所述显示画面作为所述播放图像信息。
在一种实现方式中，所述进度确定模块20，包括：
进度条确定单元，用于从所述播放图像信息中提取播放进度条；
焦点位置确定单元，应用根据所述播放进度条，确定播放进度条的焦点位置，所述焦点位置用于反映所述目标视频应用正在播放的视频的已播放时长；
第一播放进度确定单元，用于若所述焦点位置为播放进度条的末尾区域，则确定所述视频播放进度为播放结束。
在一种实现方式中，所述进度确定模块20，包括：
图像提取单元，用于从所述播放图像信息中提取起播帧图像，所述起播帧图像为所述目标视频应用开始播放视频时的第一帧图像，所述起播帧包括首帧图像和随机帧图像；
图像匹配单元，用于将所述首帧图像和随机帧图像分别与缓存图像进行图像匹配，其中，所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息；
第二播放进度确定单元，用于若所述首帧图像和随机帧图像均与缓存图像成功匹配，则确定所述视频播放进度为同一个视频重播。
在一种实现方式中，所述图像匹配单元，包括：
时间戳确定子单元，用于获取所述首帧图像对应的第一时间戳以及所述随机帧图像对应的第二时间戳；
缓存图像确定子单元，用于从所述缓存图像中获取与所述第一时间戳对应的第一缓存图像以及与所述第二时间戳对应的第二缓存图像；
图像匹配子单元，用于将所述首帧图像与所述第一缓存图像进行图像匹配，以及将所述随机帧图像与所述第二缓存图像进行图像匹配。
在一种实现方式中，所述进度确定模块20，包括：
区域确定单元，用于根据所述播放图像信息，确定所述显示画面中文字简介显示区域；
文字对比单元，用于从所述文字简介显示区域中提取文字内容，并将所述文字内容与缓存图像中的文字内容进行对比，确定文字重复率，其中，所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息；
第三播放进度确定单元，用于若所述文字重复率超过预设阈值，则确定所述视频播放进度为同一个视频重播。
在一种实现方式中，所述播放控制模块30，包括：
切换要求判断单元，用于若所述视频播放进度为播放结束或者同一个视频重播，则确定所述视频播放进度满足所述视频切换要求；
内容切换单元，用于向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换，其中，所述切换指令为用于实现手指拨动的指令。
本实施例的基于图像识别的视频播放控制装置中各个模块的工作原理与上述方法实施例中各个步骤的原理相同，此处不再赘述。
基于上述实施例，本发明还提供了一种终端设备，该终端设备的原理框图可以如图3所示。该终端设备包括通过系统总线连接的处理器、存储器，处理器与存储器设置在主机中。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络通讯连接通信。该计算机程序被处理器执行时以实现一种基于图像识别的视频播放控制方法。
本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于图像识别的视频播放控制方法程序，处理器执行基于图像识别的视频播放控制方法程序时，实现如下操作指令：
获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息；
对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度；
若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了基于图像识别的视频播放控制方法、终端设备及存储介质，方法包括：获取目标视频应用，并提取目标视频应用所对应的播放图像信息；对播放图像信息进行图像识别，确定播放图像信息所对应的视频播放进度；若视频播放进度满足视频切换要求，则向目标视频应用输出切换指令，以控制目标视频应用根据切换指令对播放内容进行切换。本发明可对目标视频应用对应的播放图像信息进行图像识别，确定此时播放图像信息所对应的视频播放播放进度，该视频播放进度反映的是此时播放的视频是否满足视频切换要求，则就可以向目标视频应用输出切换指令，从而控制播放内容自动切换，无需手动操作，给用户的使用提供了方便。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像识别的视频播放控制方法，其特征在于，所述方法包括：
获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息；
对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度；
若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。
2.根据权利要求1所述的基于图像识别的视频播放控制方法，其特征在于，所述获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息，包括：
获取处于运行状态中的应用程序，并获取处于运行状态中的应用程序对应的功能信息；
若所述功能信息为视频播放功能时，则确定处于运行状态中的应用程序为所述目标视频应用；
获取所述目标视频应用的若干显示画面，将若干所述显示画面作为所述播放图像信息。
3.根据权利要求1所述的基于图像识别的视频播放控制方法，其特征在于，所述对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度，包括：
从所述播放图像信息中提取播放进度条；
根据所述播放进度条，确定播放进度条的焦点位置，所述焦点位置用于反映所述目标视频应用正在播放的视频的已播放时长；
若所述焦点位置为播放进度条的末尾区域，则确定所述视频播放进度为播放结束。
4.根据权利要求1所述的基于图像识别的视频播放控制方法，其特征在于，所述对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度，包括：
从所述播放图像信息中提取起播帧图像，所述起播帧图像为所述目标视频应用开始播放视频时的第一帧图像，所述起播帧包括首帧图像和随机帧图像；
将所述首帧图像和随机帧图像分别与缓存图像进行图像匹配，其中，所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息；
若所述首帧图像和随机帧图像均与缓存图像成功匹配，则确定所述视频播放进度为同一个视频重播。
5.根据权利要求4所述的基于图像识别的视频播放控制方法，其特征在于，所述将所述首帧图像和随机帧图像分别与缓存图像进行图像匹配，包括：
获取所述首帧图像对应的第一时间戳以及所述随机帧图像对应的第二时间戳；
从所述缓存图像中获取与所述第一时间戳对应的第一缓存图像以及与所述第二时间戳对应的第二缓存图像；
将所述首帧图像与所述第一缓存图像进行图像匹配，以及将所述随机帧图像与所述第二缓存图像进行图像匹配。
6.根据权利要求2所述的基于图像识别的视频播放控制方法，其特征在于，所述对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度，包括：
根据所述播放图像信息，确定所述显示画面中文字简介显示区域；
从所述文字简介显示区域中提取文字内容，并将所述文字内容与缓存图像中的文字内容进行对比，确定文字重复率，其中，所述缓存图像为视频在播放过程中缓存在预设存储空间内的图像信息；
若所述文字重复率超过预设阈值，则确定所述视频播放进度为同一个视频重播。
7.根据权利要求1所述的基于图像识别的视频播放控制方法，其特征在于，所述若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换，包括：
若所述视频播放进度为播放结束或者同一个视频重播，则确定所述视频播放进度满足所述视频切换要求；
向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换，其中，所述切换指令为用于实现手指拨动的指令。
8.一种基于图像识别的视频播放控制装置，其特征在于，所述装置包括：
图像获取模块，应用获取目标视频应用，并提取所述目标视频应用所对应的播放图像信息；
进度确定模块，应用对所述播放图像信息进行图像识别，确定所述播放图像信息所对应的视频播放进度；
播放控制模块，应用若所述视频播放进度满足视频切换要求，则向所述目标视频应用输出切换指令，以控制所述目标视频应用根据所述切换指令对播放内容进行切换。
9.一种终端设备，其特征在于，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于图像识别的视频播放控制程序，处理器执行基于图像识别的视频播放控制程序时，实现如权利要求1-7任一项的基于图像识别的视频播放控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有基于图像识别的视频播放控制程序，基于图像识别的视频播放控制程序被处理器执行时，实现如权利要求1-7任一项的基于图像识别的视频播放控制方法的步骤。
CN202210546774.9A 2022-05-19 基于图像识别的视频播放控制方法、终端设备及存储介质 Active CN115002550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210546774.9A CN115002550B (zh) 2022-05-19 基于图像识别的视频播放控制方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210546774.9A CN115002550B (zh) 2022-05-19 基于图像识别的视频播放控制方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN115002550A true CN115002550A (zh) 2022-09-02
CN115002550B CN115002550B (zh) 2024-07-02

Family

ID=

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070277214A1 (en) * 2006-02-23 2007-11-29 Samsung Electronics Co., Ltd. Digital broadcast receiver and broadcast data display method for simultaneous display of multi-channel visual images
CN101198022A (zh) * 2007-12-26 2008-06-11 青岛海信移动通信技术股份有限公司 在流媒体播放或者缓冲过程中插播视频信息的方法
CN103155581A (zh) * 2010-10-14 2013-06-12 索尼电脑娱乐公司 动图像再现装置、信息处理装置及动图像再现方法
US20140293129A1 (en) * 2013-03-26 2014-10-02 Panasonic Corporation Video reception device and image recognition method for received video
CN104837051A (zh) * 2015-05-26 2015-08-12 腾讯科技（北京）有限公司 视频播放方法及客户端
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
CN108419136A (zh) * 2018-03-09 2018-08-17 青岛海信电器股份有限公司 一种网络直播流的seek实现方法及装置
CN111787392A (zh) * 2020-08-06 2020-10-16 北京字节跳动网络技术有限公司 一种视频投屏方法、装置、电子设备和存储介质
CN113301425A (zh) * 2020-07-28 2021-08-24 阿里巴巴集团控股有限公司 视频播放方法、视频播放装置及电子设备
CN113449824A (zh) * 2021-09-01 2021-09-28 腾讯科技（深圳）有限公司 视频处理方法、装置及计算机可读存储介质
CN113507637A (zh) * 2021-07-13 2021-10-15 北京字跳网络技术有限公司 媒体文件处理方法、装置、设备、可读存储介质及产品

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070277214A1 (en) * 2006-02-23 2007-11-29 Samsung Electronics Co., Ltd. Digital broadcast receiver and broadcast data display method for simultaneous display of multi-channel visual images
CN101198022A (zh) * 2007-12-26 2008-06-11 青岛海信移动通信技术股份有限公司 在流媒体播放或者缓冲过程中插播视频信息的方法
CN103155581A (zh) * 2010-10-14 2013-06-12 索尼电脑娱乐公司 动图像再现装置、信息处理装置及动图像再现方法
US20140293129A1 (en) * 2013-03-26 2014-10-02 Panasonic Corporation Video reception device and image recognition method for received video
CN104837051A (zh) * 2015-05-26 2015-08-12 腾讯科技（北京）有限公司 视频播放方法及客户端
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
CN108419136A (zh) * 2018-03-09 2018-08-17 青岛海信电器股份有限公司 一种网络直播流的seek实现方法及装置
CN113301425A (zh) * 2020-07-28 2021-08-24 阿里巴巴集团控股有限公司 视频播放方法、视频播放装置及电子设备
CN111787392A (zh) * 2020-08-06 2020-10-16 北京字节跳动网络技术有限公司 一种视频投屏方法、装置、电子设备和存储介质
WO2022028561A1 (zh) * 2020-08-06 2022-02-10 北京字节跳动网络技术有限公司 一种视频投屏方法、装置、电子设备和存储介质
CN113507637A (zh) * 2021-07-13 2021-10-15 北京字跳网络技术有限公司 媒体文件处理方法、装置、设备、可读存储介质及产品
CN113449824A (zh) * 2021-09-01 2021-09-28 腾讯科技（深圳）有限公司 视频处理方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11778032B2 (en) Using voice commands from a mobile device to remotely access and control a computer
CN110417992B (zh) 一种输入方法、电子设备和投屏系统
US9774776B2 (en) Video recording device and camera function control program
CN111432143B (zh) 摄像头模组切换的控制方法、系统、介质及电子设备
JP5192462B2 (ja) リモートサポート方法、システム、プログラム
CN112261218B (zh) 视频控制方法、视频控制装置、电子设备和可读存储介质
CN111405339B (zh) 一种分屏显示方法、电子设备及存储介质
CN113035205A (zh) 音频丢包补偿处理方法、装置及电子设备
WO2021057957A1 (zh) 视频通话方法、装置、计算机设备和存储介质
CN111010598A (zh) 一种截屏应用方法及智能电视
WO2019149066A1 (zh) 视频播放方法、终端设备及存储介质
CN111369990A (zh) 音频播放方法、装置、终端、服务器及存储介质
CN113225585A (zh) 一种视频清晰度的切换方法、装置、电子设备以及存储介质
CN113453022B (zh) 一种图像显示方法、装置、电视机及存储介质
CN110992960A (zh) 控制方法、装置、电子设备和存储介质
CN115002550B (zh) 基于图像识别的视频播放控制方法、终端设备及存储介质
CN115002550A (zh) 基于图像识别的视频播放控制方法、终端设备及存储介质
US8120636B2 (en) Method for performing recording operation in video communication mode of wireless terminal and wireless terminal implementing the same
CN115495307B (zh) 一种传屏数据的处理方法、装置、计算机可读存储介质及系统
CN113438535A (zh) 一种多窗口显示方法、装置、终端设备及存储介质
CN113938742B (zh) 自动投屏内容播放的控制方法、系统、设备及存储介质
EP1870897A2 (en) Method and apparatus for setting playlist for content files in mobile terminal
CN113556500B (zh) 一种视频叠加方法、装置及系统
US8751548B2 (en) Data processing apparatus and method thereof, and information processing apparatus and method thereof
CN106851380A (zh) 一种基于智能电视的信息处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant