CN109040774A - 一种节目信息提取方法、终端设备及服务器 - Google Patents
一种节目信息提取方法、终端设备及服务器 Download PDFInfo
- Publication number
- CN109040774A CN109040774A CN201810819132.5A CN201810819132A CN109040774A CN 109040774 A CN109040774 A CN 109040774A CN 201810819132 A CN201810819132 A CN 201810819132A CN 109040774 A CN109040774 A CN 109040774A
- Authority
- CN
- China
- Prior art keywords
- task
- programme information
- learning model
- deep learning
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013136 deep learning model Methods 0.000 claims abstract description 93
- 238000000605 extraction Methods 0.000 claims abstract description 68
- 238000004590 computer program Methods 0.000 claims description 27
- 230000000977 initiatory effect Effects 0.000 claims description 19
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 25
- 230000008569 process Effects 0.000 abstract description 23
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明适用于数字电视技术领域，提供了一种节目信息提取方法、终端设备及服务器，包括：本发明首先向服务器发送目标节目的提取策略请求，提取策略请求用于指示服务器在数据库中查询目标节目的第一任务表；然后接收服务器发送的第一任务表，并获取第一任务表中各个任务对应的深度学习模型；最后获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。本发明通过在终端发送提取策略请求，利用终端在节目播放过程中提取节目信息，分散了节目信息提取任务，缩短了节目信息的提取时间，增强了节目信息的时效性。
Description
技术领域
本发明属于数字电视技术领域，尤其涉及一种节目信息提取方法、终端设备及服务器。
背景技术
在IPTV(Interact Protocol Television，交互式网络电视)系统中，影片通常具备影片名、导演、演员、年代、标签等节目信息。
现有的IPTV系统通常是通过在影片发布前对影片截取关键帧，进行图像信息分析，集中处理，以此提取分类信息,但由于一方面一部影片涉及的待分类关键帧多，以人类眼睛能接受得最低标准16FPS计算，一部2小时的影片，共有16*60*60*2＝115200帧。按照现有的图像归类算法，处理一幅图片的时间t约为100ms<t<20s，处理一部影片耗时约需3.2h～6400h。面对此规模的计算量，集中式的影片处理将影响信息提取时效。
发明内容
有鉴于此，本发明实施例提供了一种节目信息提取方法、终端设备及服务器，以解决现有技术中影片信息提取速度慢、影片信息处理时效性差的问题。
本发明实施例的第一方面提供了一种节目信息提取方法，应用于终端，包括：
向服务器发送目标节目的提取策略请求，提取策略请求用于指示服务器在数据库中查询目标节目的第一任务表；
接收服务器发送的第一任务表，并获取第一任务表中各个任务对应的深度学习模型；
获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。
本发明实施例的第二方面提供了一种节目信息提取方法，应用于服务器，包括：
接收终端发送的提取策略请求；
根据提取策略请求在数据库中查询目标节目的第一任务表；
将查询到的第一任务表发送至终端，第一任务表用于指示终端获取第一任务表中各个任务对应的深度学习模型，获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现如上第一方面中的节目信息提取方法的步骤。
本发明实施例的第四方面提供了一种服务器，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上第二方面中的节目信息提取方法的步骤。
本发明实施例的第五方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上第一方面或第二方面的节目信息提取方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例首先向服务器发送目标节目的提取策略请求，提取策略请求用于指示服务器在数据库中查询目标节目的第一任务表；然后接收服务器发送的第一任务表，并获取第一任务表中各个任务对应的深度学习模型；最后获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。本发明实施例通过在终端发送提取策略请求，利用终端在播放节目的过程中提取节目信息，分散了节目信息提取任务，缩短了节目信息的提取时间，增强了节目信息的时效性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种节目信息提取方法的实现流程示意图；
图2是本发明实施例提供的图1中S102的实现流程示意图；
图3是本发明实施例提供的图1中S103的实现流程示意图；
图4是本发明实施例提供的一种节目信息提取方法实现流程示意图；
图5是本发明实施例提供的图4中S402的实现流程示意图；
图6是本发明实施例提供的图5中S502的实现流程示意图；
图7是本发明实施例提供的一种节目信息提取方法的交互流程图；
图8是本发明实施例提供的一种节目信息提取装置的结构示意图；
图9是本发明实施例提供的一种节目信息提取装置的结构示意图；
图10是本发明实施例提供的终端设备的示意图；
图11是本发明实施例提供的服务器的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
实施例1：
图1示出了本发明的一个实施例提供的一种节目信息提取方法的实现流程，本实施例的流程执行主体可以是终端设备，其过程详述如下：
在S101中，向服务器发送目标节目的提取策略请求，提取策略请求用于指示所述服务器在数据库中查询所述目标节目的第一任务表。
在本实施例中，节目信息提取方法应用于终端，终端可以为机顶盒、电脑、手机等设备，其中，相对于集中服务器，机顶盒是一种小规模、数量庞大的计算设备。以下以机顶盒为例对本方法进行详述。
在本实施例中，机顶盒为采用arm(Advanced RISC Machines)架构的Android OS(Android operating system，安卓操作系统)的机顶盒。其可以通过网络链路与负责任务统计的服务器相连接。
在本实施例中，为了避免服务器中集中提取节目信息造成节目信息提取效率差的问题，可以将需要提取的任务类型发送至机顶盒，在机顶盒中完成信息提取的过程。当用户向机顶盒输入目标节目的观看指令时，机顶盒生成提取策略请求，并将提取策略请求发送至服务器，提取策略请求包括用户指定的目标节目的节目标识，通过节目标识指示服务器在数据库中查询与节目标识对应的第一任务表。
在本实施例中，服务器中包括有数据库，数据库中存储着节目标识、任务表，以及节目标识与任务标的对应关系。第一任务表为包括多个按照一定顺序排列的任务的表。为了更多的提取节目的节目信息，第一任务表的任务类型可以包括但不限于人脸(表情和年龄)、名人识别、人脸归类、标签、字幕、中文字幕、英文字幕、印刷体文本识别、手写体文本识别、地理位置、等级检测、色情检测、暴恐检测和涉政检测中的一个或多个。
在S102中，接收服务器发送的第一任务表，并获取第一任务表中各个任务对应的深度学习模型。
在本实施例中，当服务器查找到目标节目的第一任务表后，终端接收目标节目的第一任务表，并根据第一任务表中的任务顺序依次获取各个任务的深度学习模型。
在本实施例中，服务器还可以根据第一任务表中任务的顺序依次发送任务至终端，终端依次接收第一任务表中的各个任务，并按照任务接收的顺序获取各个任务对应的深度学习模型。
在S103中，获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。
在本实施例中，在目标节目的播放过程中，可以提取目标节目的关键帧图像从而获取节目信息。关键帧图像为从目标节目的视频中提取的图像，其提取过程如下：
1)根据执行帧率提取目标节目中关键帧的第一处理图像；
2)将第一处理图像的图像格式转换为RGB565格式，得到第二处理图像；
3)对第二处理图像进行缩放，得到关键帧图像。
在本实施例中，执行帧率能够控制终端的数据运算量，通过控制执行帧率从而在不影响节目播放的前提下控制节目信息提取的数量。
在本实施例中，当得到目标节目的关键帧图像后，将所有的关键帧图像依次输入各个任务的深度学习模型，在深度学习模型中通过对关键帧图像做运算，得到各个关键帧图像的节目信息。
在本实施例中，不同的任务匹配有不同的深度学习模型，深度学习模型可以为卷积神经网络模型。深度学习模型前期通过大量样本集对模型中的参数进行训练，然后通过测试集测试得到符合要求的模型。关键帧图像通过卷积神经网络模型得到目标节目的节目信息。
在本实施例中，节目信息可以包括影片名称、导演，演员、年代以及其他的标签信息。通过深度学习模型得到节目信息，使获取到的节目信息更加丰富。
从上述实施例可知，本发明实施例首先向服务器发送目标节目的提取策略请求，提取策略请求用于指示服务器在数据库中查询目标节目的第一任务表；然后接收服务器发送的第一任务表，并获取第一任务表中各个任务对应的深度学习模型；最后获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。本发明实施例通过在终端发送提取策略请求，利用终端在播放节目的过程中提取节目信息，分散了节目信息提取任务，缩短了节目信息的提取时间，增强了节目信息的时效性。
如图2所示，在本发明的一个实施例中，图2示出了图1中S102的具体实现流程，其过程详述如下：
在S201中，检测第一任务的深度学习模型是否保存在本地存储器中，若第一任务的深度学习模型保存在本地存储器中，则获取第一任务的本地保存的深度学习模型，第一任务为第一任务表中任一任务。
在本实施例中，当终端获取到第一任务表的任务后，检测第一任务的深度学习模型是否保存在本地存储器中，当第一任务的深度学习模型在本地存储器中保存着时，获取其本地保存的深度学习模型，当检测到本地存储器中没有保存第一任务的深度学习模型时，则获取第一任务的深度学习模型的下载地址。
在S202中，若第一任务的深度学习模型没有保存在本地存储器中，则获取第一任务的深度学习模型的下载地址。
在S203中，根据下载地址从服务器获取第一任务的深度学习模型。
在本实施例中，第一任务表中还包括第一任务对应深度学习模型的下载地址。当检测到本地存储器中没有保存第一任务的深度学习模型时，从第一任务表中查找第一任务对应的下载地址，并根据下载地址从服务器中下载第一任务的深度学习模型。
从上述实施例可知，通过获取本地或者下载的深度学习模型，能够得到目标节目的描述准确性更佳的节目信息，并且在第一次获取第一任务的节目信息后，可以在本地存储器中存储下载好的深度学习模型，从而能够缩短下次相同任务类型的节目信息的提取时间，提高了节目信息提取效率。
如图3所示，在本发明的一个实施例中，图3示出了图1中S103的具体实现流程，其过程详述如下：
在S301中，将关键帧图像输入第一深度学习模型，通过第一深度学习模型提取关键帧图像的特征信息及特征信息对应的置信度，第一深度学习模型为各个任务对应的深度学习模型中的任一深度学习模型。
在本实施例中，第一深度学习模型为各个任务对应的深度学习模型中的任一深度学习模型，将关键帧图像输入第一深度学习模型进行运算，得到关键帧图像中的特征信息及特征信息对应的置信度，其中置信度为特征信息的可信程度。
在S302中，将第一深度学习模型提取的各个特征信息的置信度分别与预设阈值进行对比，并将置信度大于预设阈值的特征信息确定为第一深度学习模型对应的节目信息。
在本实施例中，目标节目中包括多个关键帧图像，一个关键帧图像中可能包括多个人脸信息，将目标节目提取的所有关键帧图像均输入第一深度学习模型，则获取到第一深度学习模型对应的所有该目标节目的特征信息，例如当第一深度学习模型对应的任务类型为人脸时，则获取所有关键帧图像中的人脸信息作为特征信息。
在本实施例中，通过各个特征信息对应的置信度，可以判断出特征信息中哪些信息为可信信息，哪些信息为不可信信息。例如，当预设阈值为80时，则判断置信度大于80的特征信息为节目信息，其他特征信息舍弃，如此，可以提高所提取的节目信息的准确性。
在S303中，依次通过各个深度学习模型提取关键帧图像中的节目信息。
在本实施例中，通过上述方法，依次通过各个任务对应的深度学习模型提取目标节目各个任务类型对应的节目信息。
从上述实施例可知，通过设置置信度的预设阈值，获取置信度超过预设阈值的特征信息，能够提高节目信息的描述准确度，其准确度可以超过人工编辑的描述准确度，从而既节省了节目信息的人工维护成本，又提高了节目信息的提取效率及准确性。
在本发明的一个实施例中，在步骤S103之后，本发明实施例提供的节目信息提取方法还包括：
在一个实施例中，将各个任务对应的节目信息发送至服务器，以使服务器保存节目信息至数据库。
在本实施例中，每获取到一个任务的节目信息之后，将该任务的节目信息发送至服务器，服务器将节目信息保存至数据库，从而更新相应任务的数据。
从上述实施例可知，服务器通过获取各个任务的节目信息，及时的更新数据库中的任务的数据量，能够提供给其他终端最新的第一任务表，进而能够根据最新的第一任务表得到更加有效的节目信息。
如图4所示，本发明的一个实施例示出了一种节目信息提取方法的实现流程，本实施例的流程执行主体可以是服务器，其过程详述如下：
在S401中，接收终端发送的提取策略请求。
在本实施例中，服务器首先接收来自终端的提取策略请求，提取策略请求包括目标节目的节目标识，节目标识可以为目标节目的节目编号。
在S402中，根据提取策略请求在数据库中查询目标节目的第一任务表。
在本实施例中，服务器根据提取策略请求中的节目标识在数据库中查找目标节目的第一任务表，第一任务表中包括有各个任务、任务对应的数据量及任务对应的下载地址。
在S403中，将查询到的第一任务表发送至终端，第一任务表用于指示终端获取第一任务表中各个任务对应的深度学习模型，获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。
在本实施例中，将第一任务表发送至终端，以使终端根据第一任务表依次获取各个任务的深度学习模型，从而根据深度学习模型得到关键帧图像的节目信息。
在本实施例中，可以根据第一任务表中的任务顺序依次下发任务至终端，也可以将第一任务表直接发送至终端，终端根据第一任务表的任务顺序获取各个任务的深度学习模型，从而依次获得各个任务对应的关键帧图像的节目信息。
从上述实施例可知，本发明实施例接收终端发送的提取策略请求；根据提取策略请求在数据库中查询目标节目的第一任务表；将查询到的第一任务表发送至终端，第一任务表用于指示终端获取第一任务表中各个任务对应的深度学习模型，获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。本实施例根据提取策略请求得到第一任务表，从而下发第一任务表至终端，使终端获取各个任务的节目信息，提高了节目信息的提取效率。
如图5所示，在本发明的一个实施例中，图5示出了图4中S402的具体实现流程，其过程详述如下：
在S501中，根据节目标识在数据库中查找与节目标识对应的初始任务表，初始任务表包括多个任务。
在S502中，根据类型完整度为初始任务表中的任务进行排序，得到第一任务表。
在本实施例中，类型完整度用于表述任务的数据量的多少，类型完整度大说明对应的任务的数据量多，类型完整度小说明对应的任务的数据量小，根据类型完整度为初始任务表中的各个任务进行排序，得到多个按照顺序排列的任务组成的第一任务表。
如图6所示，在本发明的一个实施例中，图6示出了图5中S502的具体实现流程，其过程详述如下：
在S601中，检测初始任务表中各个任务的数据量，并根据任务的数据量确定各个任务的类型完整度；
在S602中，按照类型完整度从小到大的顺序为初始任务表中对应的任务进行排序，得到第一任务表。
在本实施例中，由于类型完整度小的任务的数据量较少，说明类型完整度较小的任务的节目信息更加欠缺，更加急需获取到该任务的节目信息。所以，按照类型完整度从小到大的顺序排列初始任务表中的对应的任务，得到第一任务表，从而使终端能够优先的获取类型完整度较小的任务的节目信息。
在本发明的一个实施例中，当该目标节目的某个任务的数据量超过预设数量时，说明目标节目该任务获取到的数据量已经足够描述目标节目的该任务，可以不再对该任务进行节目信息的提取，从而可以减小终端的运算量。
在本发明的一个实施例中，当在服务器中新增一个任务时，对应的目标节目的该任务的类型完整度最小，所以优先获取该任务的节目信息，从而使服务器更加快速的获取到最新的节目信息，提高了提取的节目信息的时效性。
从上述实施例可知，通过根据类型完整度对初始任务表中的任务排序，并根据任务的顺序获取对应的节目信息，能够提高节目信息获取的时效性，同时，可以使类型完整度较高的任务不进行节目信息提取，从而避免浪费终端设备的运算空间，提高节目信息的提取速度。
图7为本发明实施例提供的一种节目信息提取方法的交互流程图，参与该交互流程的执行主体包括终端和服务器，该交互流程的实现原理与图1至图6的实现原理一致，因此仅简要地描述该交互流程，不赘述：
节目信息提取过程：
1、终端生成提取策略请求；
2、终端向服务器发送目标节目的提取策略请求；
3、服务器根据提取策略请求在数据库中查询目标节目的初始任务表；
4、服务器根据初始任务表中各个任务的数据量得到各个任务的类型完整度；
5、服务器根据类型完整度从大到小的顺序为初始任务表中对应的任务进行排序，得到第一任务表；
6、服务器将第一任务表发送至终端；
7、终端获取第一任务表中各个任务对应的深度学习模型；
8、终端获取目标节目的关键帧图像；
9、终端将关键帧图像分别输入各个深度学习模型，得到对应的节目信息；
10、终端将节目信息发送至服务器；
11、服务器将节目信息保存至数据库。
本发明实施例通过获取服务器的第一任务表，将服务器中的任务发放到各个终端完成任务对应节目信息的提取，从而缩短了节目信息的提取时间，同时通过在服务器端对各个任务按照类型完整度进行排序，从而优先获取信息欠缺的节目信息，能够以最快的速度完善目标节目的各个任务类型的节目信息，同时在新任务发放时能够最快的完成节目信息的提取，增强了提取的节目信息的时效性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例2：
如图8所示，本发明的一个实施例提供的一种节目信息提取装置100，该装置应用于终端，用于执行图1所对应的实施例中的方法步骤，其包括：
请求发送模块110，用于向服务器发送目标节目的提取策略请求，提取策略请求用于指示服务器在数据库中查询目标节目的第一任务表；
任务表接收模块120，用于接收服务器发送的第一任务表，并获取第一任务表中各个任务对应的深度学习模型；
节目信息获取模块130，用于获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。
从上述实施例可知，本发明实施例首先向服务器发送目标节目的提取策略请求，提取策略请求用于指示服务器在数据库中查询目标节目的第一任务表；然后接收服务器发送的第一任务表，并获取第一任务表中各个任务对应的深度学习模型；最后获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。本发明实施例通过在终端发送提取策略请求，利用终端在播放节目的过程中提取节目信息，分散了节目信息提取任务，缩短了节目信息的提取时间，增强了节目信息的时效性。
在本发明的一个实施例中，图8所对应的实施例中的任务表接收模块120还包括用于执行图2所对应的实施例中的方法步骤的结构，其包括：
本地模型获取单元，用于检测第一任务的深度学习模型是否保存在本地存储器中，若第一任务的深度学习模型保存在本地存储器中，则获取第一任务的本地保存的深度学习模型，第一任务为第一任务表中任一任务；
下载地址获取单元，用于若第一任务的深度学习模型没有保存在本地存储器中，则获取第一任务的深度学习模型的下载地址；
模型下载单元，用于根据下载地址从服务器获取第一任务的深度学习模型。
从上述实施例可知，通过直接获取本地或者下载任务的深度学习模型，从而通过深度学习模型得到目标节目的描述更加准确的节目信息，并且在第一次获取第一任务的节目信息后，在本地存储器中存储下载好的深度学习模型，能够缩短下次相同任务类型的节目信息的提取时间，提高了节目信息提取效率。
在本发明的一个实施例中，图8所对应的实施例中的节目信息获取模块130还包括用于执行图3所对应的实施例中的方法步骤的结构，其包括：
特征信息提取单元，用于将关键帧图像输入第一深度学习模型，通过第一深度学习模型提取关键帧图像的特征信息及特征信息对应的置信度，第一深度学习模型为各个任务对应的深度学习模型中的任一深度学习模型；
置信度判断单元，用于将第一深度学习模型提取的各个特征信息的置信度分别与预设阈值进行对比，并将置信度大于预设阈值的特征信息确定为第一深度学习模型对应的节目信息；
节目信息获取单元，用于依次通过各个深度学习模型提取关键帧图像中的节目信息。
从上述实施例可知，通过设置置信度的一个预设阈值，获取置信度超过预设阈值的特征信息，从而提高节目信息的描述准确度，甚至超过人工编辑的描述准确度，从而既节省了节目信息的人工维护成本，又提高了节目信息的提取效率及准确性。
在本发明的一个实施例中，本发明提供的节目信息提取装置100还包括：
节目信息发送模块，用于将各个任务对应的节目信息发送至服务器，以使服务器保存节目信息至数据库。
从上述实施例可知，服务器通过获取各个任务的节目信息，及时的更新数据库中的任务的数据量，能够提供给其他终端最新的任务数据量，从而得到更新后的第一任务表，进而能够根据最新的第一任务表得到更加有效的节目信息。
如图9所示，在本发明的一个实施例中，本发明的一个实施例提供的一种节目信息提取装置200，该装置应用于服务器，用于执行图4所对应的实施例中的方法步骤，其包括：
请求接收模块210，用于接收终端发送的提取策略请求；
任务表查询模块220，用于根据提取策略请求在数据库中查询目标节目的第一任务表；
任务表发送模块230，用于将查询到的第一任务表发送至终端，第一任务表用于指示终端获取第一任务表中各个任务对应的深度学习模型，获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。
从上述实施例可知，本发明实施例接收终端发送的提取策略请求；根据提取策略请求在数据库中查询目标节目的第一任务表；将查询到的第一任务表发送至终端，第一任务表用于指示终端获取第一任务表中各个任务对应的深度学习模型，获取目标节目的关键帧图像，并将关键帧图像分别输入各个深度学习模型，得到对应的节目信息。本实施例通过提取策略请求得到第一任务表，从而下发第一任务表至终端，使终端获取各个任务的节目信息，提高了节目信息的提取效率。
在本发明的一个实施例中，提取策略请求中携带有所述目标节目的节目标识，图9中的任务表查询模块220还包括用于执行图5所对应的实施例中方法步骤的结构，其包括：
出师任务表查询单元，用于根据节目标识在数据库中查找与节目标识对应的初始任务表，初始任务表包括多个任务；
第一任务表获取单元，用于根据类型完整度为初始任务表中的任务进行排序，得到第一任务表。
在本发明的一个实施例中，第一任务表获取单元还包括用于执行图6所对应的实施例中方法步骤的结构，其包括：
类型完整度计算子单元，用于检测初始任务表中各个任务的数据量，并根据任务的数据量确定各个任务的类型完整度；
第一任务表获取子单元，用于按照类型完整度从小到大的顺序为初始任务表中对应的任务进行排序，得到第一任务表。
从上述实施例可知，通过根据类型完整度对初始任务表中的任务进行排序，并根据任务的顺序获取对应的节目信息，提高了节目信息获取的时效性，同时，可以使类型完整度较高的任务不进行节目信息提取，从而避免浪费浪费终端设备的运算空间，提高了节目信息的提取速度。
在一个实施例中，节目信息提取装置还包括其他功能模块/单元，用于实现实施例1中各实施例中的方法步骤。
实施例3：
如图10所示，本发明实施例还提供了一种终端设备10，包括存储器101、处理器102以及存储在存储器101中并可在处理器102上运行的计算机程序103，处理器102执行计算机程序103时实现如实施例1中所述的各实施例中的步骤，例如图1所示的步骤S101至步骤S103。或者，所述处理器102执行所述计算机程序103时实现如实施例2中所述的各装置实施例中的各模块的功能，例如图8所示的模块110至130的功能。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及智能电视等计算设备。所述终端设备可包括，但不仅限于，处理器102、存储器101。例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器102等。
所述存储器101可以是所述终端设备的内部存储单元，例如终端设备的硬盘或内存。所述存储器101也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器101还可以既包括终端设备的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序103以及所述终端设备所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
实施例四：
如图11所示，本发明实施例还提供了一种服务器11，包括存储器1101、存储器1102以及存储在存储器1101中并可在存储器1102上运行的计算机程序1103，所述存储器1102执行所述计算机程序1103时实现如实施例1中所述的各实施例中的步骤，例如图4所示的步骤S101至步骤S103。或者，所述存储器1102执行所述计算机程序1103时实现如实施例2中所述的各装置实施例中的各模块的功能，例如图9所示的模块210至230的功能。
所称存储器1102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器1101可以是所述服务器的内部存储单元，例如服务器的硬盘或内存。所述存储器1101也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器1101还可以既包括服务器的内部存储单元也包括外部存储设备。所述存储器1101用于存储所述计算机程序1103以及所述服务器所需的其他程序和数据。所述存储器1101还可以用于暂时地存储已经输出或者将要输出的数据。
实施例5：
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如实施例1中所述的各实施例中的步骤，例如图1所示的步骤S101至步骤S103，或者图4所示的步骤S401至S403。或者，所述计算机程序被处理器执行时实现如实施例2中所述的各装置实施例中的各模块的功能，例如图8所示的模块110至130的功能，或者图9所示的模块210至230的功能。
所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例系统中的模块或单元可以根据实际需要进行合并、划分和删减。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种节目信息提取方法，其特征在于，包括：
向服务器发送目标节目的提取策略请求，所述提取策略请求用于指示所述服务器在数据库中查询所述目标节目的第一任务表；
接收所述服务器发送的第一任务表，并获取所述第一任务表中各个任务对应的深度学习模型；
获取所述目标节目的关键帧图像，并将所述关键帧图像分别输入各个深度学习模型，得到对应的节目信息。
2.如权利要求1所述的一种节目信息提取方法，其特征在于，所述获取所述第一任务表中各个任务对应的深度学习模型，包括：
检测第一任务的深度学习模型是否保存在本地存储器中，若所述第一任务的深度学习模型保存在本地存储器中，则从本地存储器获取所述第一任务的深度学习模型，所述第一任务为第一任务表中任一任务；
若所述第一任务的深度学习模型没有保存在本地存储器中，则获取所述第一任务的深度学习模型的下载地址；
根据所述下载地址从所述服务器获取所述第一任务的深度学习模型。
3.如权利要求1所述的一种节目信息提取方法，其特征在于，所述将所述关键帧图像分别输入各个深度学习模型，得到对应的节目信息，包括：
将所述关键帧图像输入第一深度学习模型，通过第一深度学习模型提取所述关键帧图像的特征信息及所述特征信息对应的置信度，所述第一深度学习模型为各个任务对应的深度学习模型中的任一深度学习模型；
将所述第一深度学习模型提取的各个特征信息的置信度分别与预设阈值进行对比，并将置信度大于预设阈值的特征信息确定为第一深度学习模型对应的节目信息；
依次通过各个深度学习模型提取所述关键帧图像中的节目信息。
4.如权利要求1至3任一项所述的一种节目信息提取方法，其特征在于，在所述将所述关键帧图像分别输入各个深度学习模型，得到对应的节目信息之后，还包括：
将各个任务对应的节目信息发送至服务器，以使所述服务器保存所述节目信息至所述数据库。
5.一种节目信息提取方法，其特征在于，包括：
接收终端发送的提取策略请求；
根据所述提取策略请求在数据库中查询所述目标节目的第一任务表；
将查询到的第一任务表发送至所述终端，所述第一任务表用于指示所述终端获取所述第一任务表中各个任务对应的深度学习模型，获取所述目标节目的关键帧图像，并将所述关键帧图像分别输入各个深度学习模型，得到对应的节目信息。
6.如权利要求5所述的一种节目信息提取方法，其特征在于，所述提取策略请求中携带有所述目标节目的节目标识，所述根据所述提取策略请求在数据库中查询所述目标节目的第一任务表包括：
根据所述节目标识在数据库中查找与所述节目标识对应的初始任务表，所述初始任务表包括多个任务；
根据类型完整度为初始任务表中的任务进行排序，得到所述第一任务表。
7.如权利要求6所述的一种节目信息提取方法，其特征在于，所述根据类型完整度为初始任务表中的任务进行排序，得到所述第一任务表，包括：
检测所述初始任务表中各个任务的数据量，并根据所述任务的数据量确定各个任务的类型完整度；
按照类型完整度从小到大的顺序为初始任务表中对应的任务进行排序，得到第一任务表。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求5至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤或5到7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810819132.5A CN109040774B (zh) | 2018-07-24 | 2018-07-24 | 一种节目信息提取方法、终端设备、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810819132.5A CN109040774B (zh) | 2018-07-24 | 2018-07-24 | 一种节目信息提取方法、终端设备、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109040774A true CN109040774A (zh) | 2018-12-18 |
| CN109040774B CN109040774B (zh) | 2021-10-26 |
Family
ID=64645531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810819132.5A Active CN109040774B (zh) | 2018-07-24 | 2018-07-24 | 一种节目信息提取方法、终端设备、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109040774B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112203139A (zh) * | 2020-10-12 | 2021-01-08 | 广州欢网科技有限责任公司 | 一种智能电视的节目内容识别方法及智能系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035280A (zh) * | 2007-04-19 | 2007-09-12 | 鲍东山 | 分级内容审核终端系统 |
| US20070214124A1 (en) * | 2006-03-10 | 2007-09-13 | Kei Tateno | Information processing device and method, and program |
| CN101064846A (zh) * | 2007-05-24 | 2007-10-31 | 上海交通大学 | 结合节目内容元数据和内容分析的时移电视视频匹配方法 |
| CN101076115A (zh) * | 2006-12-26 | 2007-11-21 | 腾讯科技（深圳）有限公司 | 一种视频内容审核系统和方法 |
| CN102611941A (zh) * | 2011-01-24 | 2012-07-25 | 鼎亿数码科技(上海)有限公司 | 视频播放控制系统及其实现内容分级和防沉迷的方法 |
| CN104410872A (zh) * | 2014-11-04 | 2015-03-11 | 深圳市同洲电子股份有限公司 | 一种视频源审核方法及装置 |
| CN105100907A (zh) * | 2014-04-28 | 2015-11-25 | 宇龙计算机通信科技(深圳)有限公司 | 选择性投屏的方法及其装置 |
| CN105392061A (zh) * | 2015-11-24 | 2016-03-09 | 天脉聚源（北京）科技有限公司 | 一种用于互动电视系统的检测互动信息的方法及装置 |
| US20170124833A1 (en) * | 2015-10-28 | 2017-05-04 | Xiaomi Inc. | Alarming method and device |
| US20170223392A1 (en) * | 2015-06-16 | 2017-08-03 | Microsoft Technology Licensing, Llc | Automatic recognition of entities in media-captured events |
| CN107205162A (zh) * | 2016-03-16 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 视频识别方法及装置 |
| CN107566903A (zh) * | 2017-09-11 | 2018-01-09 | 北京匠数科技有限公司 | 一种视频过滤设备及方法、视频显示系统 |
-
2018
- 2018-07-24 CN CN201810819132.5A patent/CN109040774B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070214124A1 (en) * | 2006-03-10 | 2007-09-13 | Kei Tateno | Information processing device and method, and program |
| CN101076115A (zh) * | 2006-12-26 | 2007-11-21 | 腾讯科技（深圳）有限公司 | 一种视频内容审核系统和方法 |
| CN101035280A (zh) * | 2007-04-19 | 2007-09-12 | 鲍东山 | 分级内容审核终端系统 |
| CN101064846A (zh) * | 2007-05-24 | 2007-10-31 | 上海交通大学 | 结合节目内容元数据和内容分析的时移电视视频匹配方法 |
| CN102611941A (zh) * | 2011-01-24 | 2012-07-25 | 鼎亿数码科技(上海)有限公司 | 视频播放控制系统及其实现内容分级和防沉迷的方法 |
| CN105100907A (zh) * | 2014-04-28 | 2015-11-25 | 宇龙计算机通信科技(深圳)有限公司 | 选择性投屏的方法及其装置 |
| CN104410872A (zh) * | 2014-11-04 | 2015-03-11 | 深圳市同洲电子股份有限公司 | 一种视频源审核方法及装置 |
| US20170223392A1 (en) * | 2015-06-16 | 2017-08-03 | Microsoft Technology Licensing, Llc | Automatic recognition of entities in media-captured events |
| US20170124833A1 (en) * | 2015-10-28 | 2017-05-04 | Xiaomi Inc. | Alarming method and device |
| CN105392061A (zh) * | 2015-11-24 | 2016-03-09 | 天脉聚源（北京）科技有限公司 | 一种用于互动电视系统的检测互动信息的方法及装置 |
| CN107205162A (zh) * | 2016-03-16 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 视频识别方法及装置 |
| CN107566903A (zh) * | 2017-09-11 | 2018-01-09 | 北京匠数科技有限公司 | 一种视频过滤设备及方法、视频显示系统 |
Non-Patent Citations (1)
| Title |
|---|
| 周翠等: "终端色情视频流检测与阻断系统", 《科技成果》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112203139A (zh) * | 2020-10-12 | 2021-01-08 | 广州欢网科技有限责任公司 | 一种智能电视的节目内容识别方法及智能系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109040774B (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210256320A1 (en) | Machine learning artificialintelligence system for identifying vehicles | |
| US11899681B2 (en) | Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium | |
| CN110830812B (zh) | 相似主播分类模型训练方法、主播推荐方法及相关装置 | |
| CN110019616B (zh) | 一种poi现势状态获取方法及其设备、存储介质、服务器 | |
| CN110019943B (zh) | 视频推荐方法、装置、电子设备和存储介质 | |
| US20200012862A1 (en) | Multi-model Techniques to Generate Video Metadata | |
| CN110598095B (zh) | 一种识别包含指定信息文章的方法、装置及存储介质 | |
| CN109218750A (zh) | 视频内容检索的方法、装置、存储介质和终端设备 | |
| CN110737824B (zh) | 内容查询方法和装置 | |
| CN111191133B (zh) | 业务搜索处理方法、装置及设备 | |
| CN115329131A (zh) | 素材标签推荐方法、装置、电子设备及存储介质 | |
| CN111126457A (zh) | 信息的获取方法和装置、存储介质和电子装置 | |
| CN111597361B (zh) | 多媒体数据处理方法、装置、存储介质及设备 | |
| CN112948526A (zh) | 用户画像的生成方法及装置、电子设备、存储介质 | |
| CN109040774A (zh) | 一种节目信息提取方法、终端设备及服务器 | |
| CN108875014B (zh) | 基于大数据与人工智能的精准项目推荐方法和机器人系统 | |
| CN109543512A (zh) | 图文摘要的评价方法 | |
| CN114676705A (zh) | 一种对话关系处理方法、计算机及可读存储介质 | |
| CN109902531B (zh) | 用户管理方法、装置、介质和电子设备 | |
| CN112905892A (zh) | 应用于用户画像挖掘的大数据处理方法及大数据服务器 | |
| CN107733909B (zh) | 一种数据存储方法、装置、服务器及存储介质 | |
| CN111913934A (zh) | 目标样本数据库构建方法、装置及计算机设备 | |
| CN110263182A (zh) | 画作推荐方法及系统、终端设备、计算机设备及介质 | |
| CN112395527B (zh) | 一种网页连接识别方法、装置及存储介质 | |
| CN117216308B (zh) | 基于大模型的搜索方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: No. 505, 5 / F, building 6, No. 599, South shijicheng Road, Chengdu hi tech Zone, Chengdu pilot Free Trade Zone, Sichuan 610000 Applicant after: Chengdu Youdi Technology Co.,Ltd. Address before: 610000 floor 7, building 8, Zone C, Tianfu Software Park, No. 219, Tianhua Second Road, Tianfu Avenue, high tech Zone, Chengdu, Sichuan Applicant before: EXCELLAND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |