CN108600779A - 一种基于视频内容的目标对象操作方法及装置 - Google Patents

一种基于视频内容的目标对象操作方法及装置 Download PDF

Info

Publication number
CN108600779A
CN108600779A CN201810480261.6A CN201810480261A CN108600779A CN 108600779 A CN108600779 A CN 108600779A CN 201810480261 A CN201810480261 A CN 201810480261A CN 108600779 A CN108600779 A CN 108600779A
Authority
CN
China
Prior art keywords
video
image
target
information
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810480261.6A
Other languages
English (en)
Other versions
CN108600779B (zh
Inventor
张�杰
莫洪强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Information Technologies Co Ltd
Original Assignee
Unis Huashan Information Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unis Huashan Information Technologies Co Ltd filed Critical Unis Huashan Information Technologies Co Ltd
Priority to CN201810480261.6A priority Critical patent/CN108600779B/zh
Publication of CN108600779A publication Critical patent/CN108600779A/zh
Application granted granted Critical
Publication of CN108600779B publication Critical patent/CN108600779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Abstract

本公开提供了一种基于视频内容的目标对象操作方法及装置，涉及远程控制技术领域，应用于终端设备或者服务器，所述方法包括：接收用户发送的操作请求，所述操作请求中携带有视频标识信息以及目标对象标识信息；获取与所述操作请求中的所述视频标识信息对应的目标视频片段；根据所述目标视频片段的内容信息，从预设的操作指令库中查找与所述内容信息相匹配的目标操作指令；向所述目标对象标识信息对应的目标对象发送所述目标操作指令，用以对目标对象进行配置操作。上述操作目标对象的自动化实现方法，节省了人工成本，并且能够重复批量执行目标视频片段中的配置操作，提高了配置操作效率，同时也提升了用户体验。

Description

一种基于视频内容的目标对象操作方法及装置
技术领域
本公开涉及远程控制技术领域，具体而言，涉及一种基于视频内容的目标对象操作方法及装置。
背景技术
目前，用户均是通过个人电脑(Personal Computer，PC)远程对服务器进行操作。具体过程中，用户通过PC端中的键盘、视频和鼠标(Keyboard Video Mouse，KVM)控制台访问服务器中的基板管理控制器(Baseboard Management Controller，BMC)，在访问成功之后，服务器通过BMC将视频信号传输给PC端的KVM控制台进行实时显示，这样，用户即可在KVM控制台上看到服务器的界面并对服务器进行操作。
发明内容
有鉴于此，本公开实施例的目的在于提供一种基于视频内容的目标对象操作方法及装置，能够基于目标视频片段的内容信息自动对目标对象进行操作，节省了人工成本且提高了操作效率。
第一方面，本发明实施例提供了一种基于视频内容的目标对象操作方法，应用于终端设备或者服务器，所述方法包括：
接收用户发送的操作请求，所述操作请求中携带有视频标识信息以及目标对象标识信息；
从已存储的视频片段中，获取与所述操作请求中的所述视频标识信息对应的目标视频片段；
根据所述目标视频片段的内容信息，从预设的操作指令库中查找与所述内容信息相匹配的目标操作指令；
向所述目标对象标识信息对应的目标对象发送所述目标操作指令。
第二方面，本发明实施例还提供了一种基于视频内容的目标对象操作装置，包括：
第一接收模块，用于接收用户发送的操作请求，所述操作请求中携带有视频标识信息以及目标对象标识信息；
获取模块，用于从已存储的视频片段中，获取与所述操作请求中的所述视频标识信息对应的目标视频片段；
第一查找模块，用于根据所述目标视频片段的内容信息，从预设的操作指令库中查找与所述内容信息相匹配的目标操作指令；
发送模块，用于向所述目标对象标识信息对应的目标对象发送所述目标操作指令。
本公开实施例提供的基于视频内容的目标对象操作方法及装置，能够基于用户发送的针对目标对象的操作请求，自动获取用户请求执行的操作所依据的目标视频片段，之后基于目标视频片段的内容信息查找用户请求执行的操作的目标操作指令，并向所述目标对象发送所述目标操作指令，用以对目标对象进行配置操作。上述操作目标对象的自动化实现方法，节省了人工成本，并且能够重复批量执行目标视频片段中的配置操作，提高了配置操作效率，同时也提升了用户体验。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的基于视频内容的目标对象操作方法的应用场景的结构示意图。
图2示出了本公开实施例所提供的服务器端的视频信号的传输方向的结构示意图。
图3示出了本公开实施例所提供的一种基于视频内容的目标对象操作方法的流程图。
图4示出了本公开实施例所提供的另一种基于视频内容的目标对象操作方法的流程图。
图5示出了本公开实施例所提供的另一种基于视频内容的目标对象操作方法的流程图。
图6示出了本公开实施例所提供的另一种基于视频内容的目标对象操作方法的流程图。
图7示出了本公开实施例所提供的另一种基于视频内容的目标对象操作方法的流程图。
图8示出了本公开实施例所提供的一种基于视频内容的目标对象操作装置的结构示意图。
图9示出了本公开实施例所提供的另一种基于视频内容的目标对象操作装置的结构示意图。
图10示出了本公开一实施例所提供的计算机设备40的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1示出了本公开实施例提供的一种基于视频内容的目标对象操作系统的结构示意图，上述系统包括终端设备10、基板管理控制器(Baseboard Management Controller，BMC)20和服务器30。其中，上述终端设备10中预先嵌入键盘、视频和鼠标(Keyboard VideoMouse，KVM)控制台，上述BMC20预装在服务器中。
图2示出了服务器30端的视频信号的传输方向，服务器30将视频信号传输给BMC20，BMC20再将视频信号传输给终端设备10端的KVM控制台。这样用户就可以在终端设备10的KVM控制台上看到服务器30的界面了。
为了保证操作用户对服务器30操作能够被其他操作用户获知，在操作用户基于KVM控制台上对服务器30进行操作的过程中，通常是通过KVM控制台的视频录制功能实时的录制KVM界面显示的服务器30端的视频图像，这样，其他用户可以通过浏览KVM录制的视频图像回看操作用户在KVM上进行的操作，比如，KVM在录制了操作用户向服务器30安装操作系统的整个过程的视频图像，在录制完成之后，其他用户就可以通过浏览录制的视频图像确定在安装操作过程中的各种设置项。然后其他用户可以基于回看的操作对其他服务器30进行相同的操作。
但是，其他用户对其他服务器30进行相关配置时，首先需要观看KVM录制的视频图像，然后记录视频图像中的关键操作，最后根据记录的操作对其他服务器30进行同样的操作，在上述过程中人工操作过程复杂，人工成本高且操作效率低。
如图3所示，本公开实施例提供了一种基于视频内容的目标对象操作方法，所述方法可以由终端设备(如PC端)执行，也可以由服务器执行(具体可以由服务器中的BMC执行)，下面均以终端设备执行上述操作方法为例进行说明，所述方法包括：
S101、接收用户发送的操作请求，所述操作请求中携带有视频标识信息以及目标对象标识信息。
本公开实施例中，用户发送的操作请求用于请求对目标对象执行目标视频片段中的操作。这里的目标对象可以是服务器，这里的操作请求所请求的具体操作可以是安装数据库(如MYSQL)、安装系统等。
其中，上述视频标识信息可以是指示某一视频片段的标识信息，也可以指示某一视频片段中包括某一个功能的子视频片段的标识信息。
S102、从已存储的视频片段中，获取与所述操作请求中的所述视频标识信息对应的目标视频片段。
本公开实施例中，终端设备在接收到来自用户的操作请求之后，首先根据操作请求中携带的视频标识信息，从已存储的视频片段中查找与所述视频标识信息对应的目标视频片段。
S103、根据所述目标视频片段的内容信息，从预设的操作指令库中查找与所述内容信息相匹配的目标操作指令。
本公开实施例中，在从已存储的视频片段中查找到与所述视频标识信息对应的目标视频片段之后，提取所述目标视频片段中的内容信息。这里的内容信息可以为图像特征。
本公开实施例中，预先建立有内容信息库，上述内容信息库中存储有与需要执行的目标操作对应的标准内容信息，在获取到目标视频片段的内容信息之后，从建立好的内容信息库中搜索与获取的内容信息相匹配的标准内容信息，以便后续根据该标准内容信息查找需要执行的目标操作指令。
作为一种具体实施方式，上述标准内容信息为标准图像特征信息，在获取到目标视频片段之后，提取该目标视频片段的图像特征，然后，将提取的图像特征分别与内容信息库中的标准图像特征进行匹配，若匹配成功，在根据标准图像特征查找需要执行的目标操作指令。
本公开实施例中，预先建立有操作指令库，上述操作指令库中存储有至少一种功能的操作指令，比如安装MYSQL数据库的操作指令、安装系统的操作指令等。在操作指令库和内容信息库建好之后，建立内容信息库中标准内容信息与操作指令库中操作指令的映射关系，这样，终端设备在搜索到与获取的内容信息相匹配的标准内容信息之后，根据标准内容信息与操作指令的映射关系，从操作指令库中查找与搜索到的标准内容信息对应的目标操作指令。
S104、向所述目标对象标识信息对应的目标对象发送所述目标操作指令。
本公开实施例中，当所述目标对象为多个时，如果用户预先配置了目标对象的优先级信息，那么所述操作请求中还会携带有所述目标对象的优先级信息，此时，终端设备在向目标对象发送所述目标操作指令时，按照所述目标对象的优先级信息从高到低的顺序，依次向多个所述目标对象发送所述目标操作指令，以优先对优先级高的目标对象进行操作。
这里，针对任一需要执行的操作，可以在查找到该操作对应的任一目标操作指令之后向目标对象发送该目标操作指令，也可以在查找到该操作对应的目标操作指令集时统一向目标对象发送目标操作指令集。需要说明的是，目标操作指令集还携带有多个目标操作指令的优先级信息，目标对象在接收到目标操作指令集之后，会按照目标操作指令的优先级信息从到低的顺序，依次响应所述目标操作指令。
本公开实施例提供的基于视频内容的目标对象操作方法及装置，能够基于用户发送的针对目标对象的操作请求，自动获取用户请求执行的操作所依据的目标视频片段，之后基于目标视频片段的内容信息查找用户请求执行的操作的目标操作指令，并向所述目标对象发送所述目标操作指令，用以对目标对象进行配置操作。上述操作目标对象的自动化实现方法，节省了人工成本，并且能够重复批量执行目标视频片段中的配置操作，提高了配置操作效率，同时也提升了用户体验。
在本公开实施例中，已存储的视频片段为录制的用户对服务器端进行操作的视频文件。实际中，当KVM录制的视频文件的录制时间较长，且所述视频文件还包括一些与配置操作无关的内容时，若上述视频片段作为用户请求执行的操作的所依据的目标视频片段时，还需要从目标视频片段中筛选出有效内容信息，并基于提取的有效内容信息查找目标操作指令，这样会导致耗费大量的处理资源，并且搜索效率低。基于此，本公开实施例中预先对录制好的视频文件进行处理，使处理得到的视频片段只包括有效内容信息，如图4所示，具体处理方法包括：
S201、接收用户发送的搜索指令，所述搜索指令中携带有目标帧视频图像的搜索信息。
本公开实施例中，搜索信息可以是用户输入或者选择的语义信息，也可以是样例图像。这里的样例图像包括目标帧视频图像的图像特征，其可以是用户在对服务器的操作过程中通过KVM截图工具截取的。
S202、根据预设的搜索信息与视频帧图像的映射关系，从录制的视频文件中查找与所述搜索信息对应的目标帧视频图像。
本公开实施例中，在PC端的KVM控制台通过录制视频功能录制了用户对服务器端的操作的视频图像之后，首先将该视频图像按照“搜索信息和视频帧图像”存储格式进行存储。这样，当接收到用户发送的搜索指令后，可直接根据搜索指令携带的搜索信息，查找上述搜索信息对应的目标帧视频图像。
本公开实施例中，上述搜索信息包括：搜索语义信息和搜索图像。对应的，上述存储格式包括以下两种：第一种格式：语义信息、图像特征和视频帧图像；第二种：图像特征和视频帧图像。
本公开实施例中，第一种存储格式的具体存储方法包括：本公开实施例中预先建立有语义信息库，上述语义库中存储有与每个图像特征对应的语义信息；对于录制的任一帧视频图像，提取该帧视频图像的图像特征，然后将该图像特征存储到预先建立的图像特征库中，并建立图像特征、语义信息和视频帧图像的映射关系。第二种存储格式的具体存储方法包括：对于录制的任一帧视频图像，提取该帧视频图像的图像特征，然后将该图像特征存储到预先建立的图像特征库中，并建立图像特征和视频帧图像的映射关系。
S203、从所述目标帧视频图像所属的视频文件中，截取预设时间信息对应的视频片段。
本公开实施例中，用户来根据查找到的目标帧视频图像，确定预设时间信息。这里的预设时间信息包括开始时间信息(比如将视频播放的进度条前移，对应的时间为3分04秒)和结束时间信息(比如将视频播放的进度条后移，对应的时间6分04秒)。在用户选择了预设时间信息后，截取该预设时间信息对应的视频片段，在截取了视频片段后，可以将截取的视频片段保存在本地，或者保存到指定链接区域，比如保存到URL路径下，方便后续基于所述视频片段对目标对象进行使用学习。
通过上述对录制的视频文件进行处理的方法，能够基于只包括有效内容信息的目标视频片段搜索目标操作指令，这样，节省了处理资源，并且提高了搜索效率。
在本公开实施例提供的基于视频内容的目标对象操作方法中，上述搜索信息包括搜索语义信息；如图5所示，步骤202，根据预设的搜索信息与视频帧图像的映射关系，从录制的视频文件中查找与所述搜索信息对应的目标帧视频图像，包括：
S301、从预设的语义库中查找与所述搜索语义信息相似度最高的目标语义信息。
在本公开实施中，通过语义搜索用户想要查看的目标帧视频图像的方法包括：预先构建KVM视频录制搜索模型，该KVM视频录制搜索模型包括：底层特征提取模块、底层特征向高层语义映射模块和视频语义查询模块。对于录制的每一帧视频图像，通过底层特征提取模块提取该帧视频图像的图像特征，并建立图像特征与视频帧图像的映射关系，然后将该图像特征存储到预先建立的图像特征库中；同时预先建立语义信息库，该语义库中存储有与每个图像特征对应的语义信息；同时，通过底层特征向高层语义映射模块建立图像特征和语义信息的映射关系。其中，上述语义库可以是第三方的语义库，也可以是自己的语义库。这样，用户就可以输入搜索语义信息，视频语义查询模块根据该搜索语义信息查询到相应的图像帧视频。
具体的，用户通过输入语义场景，比如，输入安装linux redhat6.7的过程，通过语义解析成视频中的场景，就可以在KVM录制的大量视频中通过解析成的场景搜索视频。搜索到的视频可能刚好是一段完整的视频，也可能是一段视频当中每段视频片段。如果结果是某段视频片段就要把这段视频截取出现，形成一个新的视频片段。同时可以设置特定场景前后视频段的时间。附加信息为设置搜索结果中的视频的命名等。
这里，将搜索语义信息分别与预设的语义库中的每一个语义信息进行相似度匹配，从相似度匹配结果中找到与所述搜索语义信息相似度最高的目标语义信息。
S302、根据预设的语义信息与图像特征的映射关系，从预设的图像特征库中查找与所述目标语义信息对应的目标图像特征；其中，所述图像特征库中存储有录制的视频文件中各帧视频图像的图像特征。
S303、根据预设的图像特征与视频帧图像的映射关系，从录制的视频文件中查找与所述目标图像特征对应的目标帧视频图像。
在本公开实施例中，还提供一种样例图搜索目标帧视频图像的方法，其中，上述搜索信息还包括搜索图像；如图6所示，步骤202，所述根据预设的搜索信息与视频帧图像的映射关系，从录制的视频文件中查找与所述搜索信息对应的目标帧视频图像，包括：
S401、将所述搜索图像的搜索图像特征分别与所述视频文件中各帧视频图像的图像特征进行匹配，得到多个相似度信息。
S402、根据多个所述相似度信息的比较结果，从所述视频文件对应的图像特征中，选取与所述搜索图像特征相似度最高的目标图像特征。
S403、根据预设的图像特征与视频帧图像的映射关系，从录制的视频文件中查找与所述目标图像特征对应的目标帧视频图像。
结合步骤401～步骤403，在本公开实施中，通过内容搜索用户想要查看的目标帧视频图像的方法包括：预先构建KVM视频录制搜索模型，该KVM视频录制搜索模型包括底层特征提取模块。对于录制的每一帧视频图像，通过底层特征提取模块提取该帧视频图像的图像特征，并建立图像特征与视频帧图像的映射关系，然后将该图像特征存储到预先建立的图像特征库中；这样，用户就可以输入KVM截图工具等截取特定环境下一帧图像，比如用户通过输入一帧安装MYSQL数据库的一帧图像。通过计算图像的特征值(均值方差等)把得到的特征值与视频数据库中的图像的特征值进行相似度匹配，对匹配成功的图像进行标记起来，就可以在大量的视频中搜索到安装MYSQL整个过程的图像视频。同时也可以设置搜索到特定一帧图像的前后视频端的时间。附加信息为设置搜索结果中的视频的命名等。
考虑到截取的预设时间信息的视频片段中，其包括的视频图像是连续保存的，这样会存在包括相同内容的视频图像，从而导致存储的视频文件相对较大，对此，本公开实施例种可以截取预设时间信息对应的包括有效内容的视频帧图像形式进行保存，只保存一段完整操作视频中的关键帧图像，这种截取的视频文件会比较小，更便于用户节省浏览时间。对应的，如图7所示，步骤204，所述从所述目标帧视频图像所属的视频文件中，截取预设时间信息对应的视频片段，包括：
S501、从所述目标帧视频图像所属的视频文件中，获取所述预设时间信息对应的目标视频图像。
S502、从所述目标视频图像中，选取包括所述目标操作指令对应的内容信息的关键帧视频图像。
这里，提取预设时间信息长度内每一帧目标视频图像的图像特征，从这些图像特征中，选取与关键帧视频图像对应的标准图像特征相匹配的目标图像特征，将目标图像特征对应的视频帧图像作为关键帧视频图像；其中，这些关键帧视频图像即为截取的视频片段。
S503、将所述关键帧视频图像存储在本地或者指定链接区域。
这里，将所述关键帧视频图像组成的视频片段存储到指定链接区域可以是URL路径下，方便后续其他工作人员使用学习。
本公开实施例还提供了一种基于视频内容的目标对象操作装置，所述装置用于执行上述基于视频内容的目标对象操作方法，如图8所示，所述装置包括：
第一接收模块11，用于接收用户发送的操作请求，所述操作请求中携带有视频标识信息以及目标对象标识信息；
获取模块12，用于获取与所述操作请求中的所述视频标识信息对应的目标视频片段；
第一查找模块13，用于根据所述目标视频片段的内容信息，从预设的操作指令库中查找与所述内容信息相匹配的目标操作指令；
发送模块14，用于向所述目标对象标识信息对应的目标对象发送所述目标操作指令。
可选的，所述操作请求中还携带有所述目标对象的优先级信息；
所述发送模块14，具体用于按照所述目标对象的优先级信息从高到低的顺序，依次向所述目标对象发送所述目标操作指令。
可选的，如图9所示，所述的基于视频内容的目标对象操作装置，还包括：
第二接收模块15，还用于接收用户发送的搜索指令，所述搜索指令中携带有目标帧视频图像的搜索信息；
第二查找模块16，用于根据预设的搜索信息与视频帧图像的映射关系，从录制的视频文件中查找与所述搜索信息对应的目标帧视频图像；
截取模块17，用于从所述目标帧视频图像所属的视频文件中，截取预设时间信息对应的视频片段。
可选的，所述搜索信息包括搜索语义信息；所述第二查找模块16具体用于：
从预设的语义库中查找与所述搜索语义信息相似度最高的目标语义信息；
根据预设的语义信息与图像特征的映射关系，从预设的图像特征库中查找与所述目标语义信息对应的目标图像特征；其中，所述图像特征库中存储有录制的视频文件中各帧视频图像的图像特征；
根据预设的图像特征与视频帧图像的映射关系，从录制的视频文件中查找与所述目标图像特征对应的目标帧视频图像。
可选的，所述搜索信息包括搜索语义信息；所述第二查找模块16，具体用于：
将所述搜索图像的搜索图像特征分别与所述视频文件中各帧视频图像的图像特征进行匹配，得到多个相似度信息；
根据多个所述相似度信息的比较结果，从所述视频文件对应的图像特征中，选取与所述搜索图像特征相似度最高的目标图像特征；
根据预设的图像特征与视频帧图像的映射关系，从录制的视频文件中查找与所述目标图像特征对应的目标帧视频图像。
可选的，所述截取模块18，具体用于：
从所述目标帧视频图像所属的视频文件中，获取所述预设时间信息对应的目标视频图像；
从所述目标视频图像中，选取包括所述目标操作指令对应的内容信息的关键帧视频图像；
将所述关键帧视频图像存储在本地或者指定链接区域。
本公开实施例提供的基于视频内容的目标对象操作装置，能够基于用户发送的针对目标对象的操作请求，自动获取用户请求执行的操作所依据的目标视频片段，之后基于目标视频片段的内容信息查找用户请求执行的操作的目标操作指令，并向所述目标对象发送所述目标操作指令，用以对目标对象进行配置操作。上述操作目标对象的自动化实现方法，节省了人工成本，并且能够重复批量执行目标视频片段中的配置操作，提高了配置操作效率，同时也提升了用户体验。
图10为本公开一实施例提供的计算机设备40的结构示意图，如图10所示，用于执行图3中的基于视频内容的目标对象操作方法，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述基于视频内容的目标对象操作方法的步骤。
具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述基于视频内容的目标对象操作方法。
对应于图3中的基于视频内容的目标对象操作方法，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述基于视频内容的目标对象操作方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述基于视频内容的目标对象操作方法。
本公开实施例所提供的基于视频内容的目标对象操作装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本公开实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本公开所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围。都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种基于视频内容的目标对象操作方法，其特征在于，应用于终端设备或者服务器，所述方法包括：
接收用户发送的操作请求，所述操作请求中携带有视频标识信息以及目标对象标识信息；
获取与所述操作请求中的所述视频标识信息对应的目标视频片段；
根据所述目标视频片段的内容信息，从预设的操作指令库中查找与所述内容信息相匹配的目标操作指令；
向所述目标对象标识信息对应的目标对象发送所述目标操作指令。
2.根据权利要求1所述的基于视频内容的目标对象操作方法，其特征在于，所述操作请求中还携带有所述目标对象的优先级信息；所述向所述目标对象标识信息对应的目标对象发送所述目标操作指令，包括：
按照所述目标对象的优先级信息从高到低的顺序，依次向所述目标对象发送所述目标操作指令。
3.根据权利要求1或2所述的基于视频内容的目标对象操作方法，其特征在于，通过以下方法获取已存储的视频片段：
接收用户发送的搜索指令，所述搜索指令中携带有目标帧视频图像的搜索信息；
根据预设的搜索信息与视频帧图像的映射关系，从录制的视频文件中查找与所述搜索信息对应的目标帧视频图像；
从所述目标帧视频图像所属的视频文件中，截取预设时间信息对应的视频片段。
4.根据权利要求3所述的基于视频内容的目标对象操作方法，其特征在于，所述搜索信息包括搜索语义信息；所述根据预设的搜索信息与视频帧图像的映射关系，从录制的视频文件中查找与所述搜索信息对应的目标帧视频图像，包括：
从预设的语义库中查找与所述搜索语义信息相似度最高的目标语义信息；
根据预设的语义信息与图像特征的映射关系，从预设的图像特征库中查找与所述目标语义信息对应的目标图像特征；其中，所述图像特征库中存储有录制的视频文件中各帧视频图像的图像特征；
根据预设的图像特征与视频帧图像的映射关系，从录制的视频文件中查找与所述目标图像特征对应的目标帧视频图像。
5.根据权利要求3所述的基于视频内容的目标对象操作方法，其特征在于，所述搜索信息包括搜索图像；所述根据预设的搜索信息与视频帧图像的映射关系，从录制的视频文件中查找与所述搜索信息对应的目标帧视频图像，包括：
将所述搜索图像的搜索图像特征分别与所述视频文件中各帧视频图像的图像特征进行匹配，得到多个相似度信息；
根据多个所述相似度信息的比较结果，从所述视频文件对应的图像特征中，选取与所述搜索图像特征相似度最高的目标图像特征；
根据预设的图像特征与视频帧图像的映射关系，从录制的视频文件中查找与所述目标图像特征对应的目标帧视频图像。
6.根据权利要求3所述的基于视频内容的目标对象操作方法，其特征在于，所述从所述目标帧视频图像所属的视频文件中，截取预设时间信息对应的视频片段，包括：
从所述目标帧视频图像所属的视频文件中，获取所述预设时间信息对应的目标视频图像；
从所述目标视频图像中，选取包括所述目标操作指令对应的内容信息的关键帧视频图像；
将所述关键帧视频图像存储在本地或者指定链接区域。
7.一种基于视频内容的目标对象操作装置，其特征在于，包括：
第一接收模块，用于接收用户发送的操作请求，所述操作请求中携带有视频标识信息以及目标对象标识信息；
获取模块，用于获取与所述操作请求中的所述视频标识信息对应的目标视频片段；
第一查找模块，用于根据所述目标视频片段的内容信息，从预设的操作指令库中查找与所述内容信息相匹配的目标操作指令；
发送模块，用于向所述目标对象标识信息对应的目标对象发送所述目标操作指令。
8.根据权利要求7所述的基于视频内容的目标对象操作装置，其特征在于，所述操作请求中还携带有所述目标对象的优先级信息；
所述发送模块，具体用于按照所述目标对象的优先级信息从高到低的顺序，依次向所述目标对象发送所述目标操作指令。
9.根据权利要求7或8所述的基于视频内容的目标对象操作装置，其特征在于，还包括：
第二接收模块，还用于接收用户发送的搜索指令，所述搜索指令中携带有目标帧视频图像的搜索信息；
第二查找模块，用于根据预设的搜索信息与视频帧图像的映射关系，从录制的视频文件中查找与所述搜索信息对应的目标帧视频图像；
截取模块，用于从所述目标帧视频图像所属的视频文件中，截取预设时间信息对应的视频片段。
10.根据权利要求9所述的基于视频内容的目标对象操作装置，其特征在于，所述搜索信息包括搜索语义信息；所述第二查找模块具体用于：
从预设的语义库中查找与所述搜索语义信息相似度最高的目标语义信息；
根据预设的语义信息与图像特征的映射关系，从预设的图像特征库中查找与所述目标语义信息对应的目标图像特征；其中，所述图像特征库中存储有录制的视频文件中各帧视频图像的图像特征；
根据预设的图像特征与视频帧图像的映射关系，从录制的视频文件中查找与所述目标图像特征对应的目标帧视频图像。
11.根据权利要求9所述的基于视频内容的目标对象操作装置，其特征在于，所述搜索信息包括搜索图像；所述第二查找模块具体用于：
将所述搜索图像的搜索图像特征分别与所述视频文件中各帧视频图像的图像特征进行匹配，得到多个相似度信息；
根据多个所述相似度信息的比较结果，从所述视频文件对应的图像特征中，选取与所述搜索图像特征相似度最高的目标图像特征；
根据预设的图像特征与视频帧图像的映射关系，从录制的视频文件中查找与所述目标图像特征对应的目标帧视频图像。
12.根据权利要求9所述的基于视频内容的目标对象操作装置，其特征在于，所述截取模块具体用于：
从所述目标帧视频图像所属的视频文件中，获取所述预设时间信息对应的目标视频图像；
从所述目标视频图像中，选取包括所述目标操作指令对应的内容信息的关键帧视频图像；
将所述关键帧视频图像存储在本地或者指定链接区域。
CN201810480261.6A 2018-05-18 2018-05-18 一种基于视频内容的目标对象操作方法及装置 Active CN108600779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810480261.6A CN108600779B (zh) 2018-05-18 2018-05-18 一种基于视频内容的目标对象操作方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810480261.6A CN108600779B (zh) 2018-05-18 2018-05-18 一种基于视频内容的目标对象操作方法及装置

Publications (2)

Publication Number Publication Date
CN108600779A true CN108600779A (zh) 2018-09-28
CN108600779B CN108600779B (zh) 2021-04-06

Family

ID=63632141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810480261.6A Active CN108600779B (zh) 2018-05-18 2018-05-18 一种基于视频内容的目标对象操作方法及装置

Country Status (1)

Country Link
CN (1) CN108600779B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913241A (zh) * 2019-11-01 2020-03-24 北京奇艺世纪科技有限公司 一种视频检索方法、装置、电子设备及存储介质
CN111385612A (zh) * 2018-12-28 2020-07-07 深圳Tcl数字技术有限公司 基于听力障碍人群的电视播放方法、智能电视及存储介质
CN111382306A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 查询视频帧的方法和装置
CN111596772A (zh) * 2020-05-20 2020-08-28 威创集团股份有限公司 一种kvm的分布式系统、操控方法及介质
CN115348470A (zh) * 2021-05-14 2022-11-15 上海擎感智能科技有限公司 视频查找方法、系统、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365124A (zh) * 2008-10-09 2009-02-11 中国电信股份有限公司 控制网络电视视频播放的方法、系统和机顶盒
US20100275123A1 (en) * 2009-04-22 2010-10-28 Microsoft Corporation Media Timeline Interaction
CN102609548A (zh) * 2012-04-19 2012-07-25 李俊 一种基于运动目标的视频内容检索方法及系统
CN103235781A (zh) * 2013-03-27 2013-08-07 深圳市爱渡飞科技有限公司 一种信息显示方法及装置
US20140026051A1 (en) * 2012-07-23 2014-01-23 Lg Electronics Mobile terminal and method for controlling of the same
CN103853463A (zh) * 2014-02-27 2014-06-11 珠海多玩信息技术有限公司 语音操控方法及装置
CN103888799A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 控制方法和控制装置
CN105357475A (zh) * 2015-10-28 2016-02-24 小米科技有限责任公司 用于视频播放的方法及装置
CN105787062A (zh) * 2016-02-29 2016-07-20 北京时代云英科技有限公司 一种基于视频平台对目标对象进行搜索的方法和设备
KR101656519B1 (ko) * 2016-07-13 2016-09-09 아이디어주식회사 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기
CN106657871A (zh) * 2015-10-30 2017-05-10 中国电信股份有限公司 基于视频拼接的多角度动态视频监控方法及装置
CN107027060A (zh) * 2017-04-18 2017-08-08 腾讯科技（深圳）有限公司 视频片段的确定方法和装置
CN107249123A (zh) * 2017-08-04 2017-10-13 江苏云光智慧信息科技有限公司 一种基于视频拼接技术的视频监控方法
CN107690081A (zh) * 2017-05-25 2018-02-13 腾讯科技（北京）有限公司 视频播放方法和装置以及存储介质、电子装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365124A (zh) * 2008-10-09 2009-02-11 中国电信股份有限公司 控制网络电视视频播放的方法、系统和机顶盒
US20100275123A1 (en) * 2009-04-22 2010-10-28 Microsoft Corporation Media Timeline Interaction
CN102609548A (zh) * 2012-04-19 2012-07-25 李俊 一种基于运动目标的视频内容检索方法及系统
US20140026051A1 (en) * 2012-07-23 2014-01-23 Lg Electronics Mobile terminal and method for controlling of the same
CN103888799A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 控制方法和控制装置
CN103235781A (zh) * 2013-03-27 2013-08-07 深圳市爱渡飞科技有限公司 一种信息显示方法及装置
CN103853463A (zh) * 2014-02-27 2014-06-11 珠海多玩信息技术有限公司 语音操控方法及装置
CN105357475A (zh) * 2015-10-28 2016-02-24 小米科技有限责任公司 用于视频播放的方法及装置
CN106657871A (zh) * 2015-10-30 2017-05-10 中国电信股份有限公司 基于视频拼接的多角度动态视频监控方法及装置
CN105787062A (zh) * 2016-02-29 2016-07-20 北京时代云英科技有限公司 一种基于视频平台对目标对象进行搜索的方法和设备
KR101656519B1 (ko) * 2016-07-13 2016-09-09 아이디어주식회사 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기
CN107027060A (zh) * 2017-04-18 2017-08-08 腾讯科技（深圳）有限公司 视频片段的确定方法和装置
CN107690081A (zh) * 2017-05-25 2018-02-13 腾讯科技（北京）有限公司 视频播放方法和装置以及存储介质、电子装置
CN107249123A (zh) * 2017-08-04 2017-10-13 江苏云光智慧信息科技有限公司 一种基于视频拼接技术的视频监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐铭谦: "《基于对象的监控视频摘要算法研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385612A (zh) * 2018-12-28 2020-07-07 深圳Tcl数字技术有限公司 基于听力障碍人群的电视播放方法、智能电视及存储介质
CN111382306A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 查询视频帧的方法和装置
CN111382306B (zh) * 2018-12-28 2023-12-01 杭州海康威视数字技术股份有限公司 查询视频帧的方法和装置
CN110913241A (zh) * 2019-11-01 2020-03-24 北京奇艺世纪科技有限公司 一种视频检索方法、装置、电子设备及存储介质
CN111596772A (zh) * 2020-05-20 2020-08-28 威创集团股份有限公司 一种kvm的分布式系统、操控方法及介质
CN111596772B (zh) * 2020-05-20 2022-05-03 威创集团股份有限公司 一种kvm的分布式系统、操控方法及介质
CN115348470A (zh) * 2021-05-14 2022-11-15 上海擎感智能科技有限公司 视频查找方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN108600779B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN108600779A (zh) 一种基于视频内容的目标对象操作方法及装置
CN105550252B (zh) 一种文件定位方法、装置及电子设备
CN111491173B (zh) 一种直播封面确定方法、装置、计算机设备及存储介质
WO2019144850A1 (zh) 一种基于视频内容的视频搜索方法和视频搜索装置
US10275122B2 (en) Semantic card view
CN110390054A (zh) 兴趣点召回方法、装置、服务器和存储介质
JP6489005B2 (ja) 情報処理システム、情報処理方法、プログラム
JP2011530772A (ja) 画像中のオブジェクトの識別
CN110365721A (zh) 一种基于用户场景感知触发服务的方法、终端设备及系统
CN104951466B (zh) 一种poi信息搜索方法、装置、系统及相关设备
CN110109607B (zh) 信息处理方法及装置、电子设备和存储介质
US20200410240A1 (en) Identifying cable ends using augmented reality
US20230004411A1 (en) Method, apparatus and device for generating bare metal server linux system
US20180276997A1 (en) Flight tag obtaining method, terminal, and server
US20120093395A1 (en) Method and system for hierarchically matching images of buildings, and computer-readable recording medium
CN112785714A (zh) 点云实例标注方法及装置、电子设备和介质
CN109344592A (zh) 基于生物识别的项目看板管理方法和装置
CN205156927U (zh) 一种巡检用移动终端
CN110209780A (zh) 一种问题模板生成方法、装置、服务器及存储介质
CN110609879A (zh) 兴趣点判重方法、装置、计算机设备及存储介质
CN112433650A (zh) 项目管理方法、装置、设备和存储介质
WO2012146273A1 (en) Method and system for video marker insertion
CN109819271A (zh) 游戏直播间展示的方法及装置、存储介质、电子设备
CN106375455B (zh) 一种数据传输方法及装置
CN115471495A (zh) 模型鲁棒性检测方法、相关装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310000 11/F, 466 Changhe Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Xinhua Sanxin Information Technology Co., Ltd.

Address before: 310000 11/F, 466 Changhe Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: Huashan Information Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant