CN112148896A - 一种用于终端媒体监播的数据处理方法及装置 - Google Patents
一种用于终端媒体监播的数据处理方法及装置 Download PDFInfo
- Publication number
- CN112148896A CN112148896A CN202010947459.8A CN202010947459A CN112148896A CN 112148896 A CN112148896 A CN 112148896A CN 202010947459 A CN202010947459 A CN 202010947459A CN 112148896 A CN112148896 A CN 112148896A
- Authority
- CN
- China
- Prior art keywords
- multimedia data
- neural network
- determining
- network model
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000003062 neural network model Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000011217 control strategy Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 5
- 230000009471 action Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000001613 Gambling Diseases 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请涉及一种用于终端媒体监播的数据处理方法及装置，其中方法包括：获取播放终端播放的多媒体数据对应的图像信息；通过预设的神经网络模型对图像信息进行图像识别，得到识别结果；根据识别结果确定多媒体数据对应的合法性等级；根据合法性等级确定与多媒体数据对应的控制策略。通过本申请可以自主地判断得到多媒体数据的合法性等级；可以实现监播过程的自动化，实现自动监播；进而可以大大节省企业的成本；同时，还可以判断播放终端播放的内容的合法性等级，并且能够根据不同的合法性等级执行对应的处理方案。
Description
技术领域
本申请涉及智能监控技术领域，尤其涉及一种用于终端媒体监播的数据处理方法及装置。
背景技术
现有技术中，户外媒体终端上播放的内容都是预先通过审核人员审核之后再投放至各个屏幕的。但是此方案只能够保证审核的内容的合规性。至于户外媒体终端上实际播放的内容则无法获知。
为了解决对最终播放结果的监督和分析，现有技术中，主要通过以下两种方式：
1.通过人员巡检抽查的方式对播放内容进行审核。
2.通过在媒体终端安装摄像头等采集设备，把媒体终端播放的画面采集或者通过截屏的方法，传回后端服务器，然后人工进行监督和分析。
因此，相关技术中的实现方法实时性差，不能实时发现和解决问题。
针对相关技术中存在的诸多技术问题，目前尚未提供有效的解决方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种用于终端媒体监播的数据处理方法及装置。
第一方面，本申请实施例提供了一种用于终端媒体监播的数据处理方法，包括：
获取播放终端播放的多媒体数据对应的图像信息；
通过预设的神经网络模型对所述图像信息进行图像识别，得到识别结果；
根据所述识别结果确定所述多媒体数据对应的合法性等级；
根据所述合法性等级确定与所述多媒体数据对应的控制策略。
可选的，如前述的数据处理方法，所述获取播放终端播放的多媒体数据对应的图像信息，包括：
通过所述播放终端中预先植入的图像抓取程序，获取所述播放终端的播放界面上的图像信息；所述图像信息包括：通过对所述播放界面进行截屏得到的图片信息，以及通过对所述播放界面进行录屏得到的视频信息。
可选的，如前述的数据处理方法，还包括：
通过所述播放终端中预先植入的特征码获取程序，获取所述播放终端当前播放的所述多媒体数据的第一特征码；
确定预先指定所述播放终端进行播放的目标多媒体数据的第二特征码；
通过对所述第一特征码与第二特征码进行比对，得到所述多媒体数据与所述目标多媒体数据之间的一致性关系。
可选的，如前述的数据处理方法，所述根据所述识别结果确定所述多媒体数据对应的合法性等级，包括：
在所述一致性关系表征所述第一特征码与第二特征码一致时，判定所述多媒体数据对应的所述合法性等级为合法；
在所述一致性关系表征所述第一特征码与第二特征码不一致时，根据所述识别结果确定所述多媒体数据中的敏感信息数量；
按照预设的对应关系，确定与所述敏感信息数量对应的合法性等级。
可选的，如前述的数据处理方法，所述根据所述合法性等级确定与所述多媒体数据对应的控制策略，包括：
将所述合法性等级发送至对应的管控终端；
接收所述管控终端根据所述合法性等级反馈的控制指令；
将所述控制指令下发至所述播放终端，以使所述播放终端执行与所述控制指令对应的所述控制策略。
可选的，如前述的数据处理方法，还包括：
预先获取用于进行图像识别的待训练神经网络模型；
获取与所述待训练神经网络模型对应的训练集和验证集；
通过训练集对所述待训练神经网络模型进行训练，得到训练后神经网络模型；
在通过验证集对所述训练后神经网络模型进行验证，并满足预设的性能要求时，得到所述神经网络模型。
可选的，如前述的数据处理方法，所述通过预设的神经网络模型对所述图像信息进行图像识别，包括：
确定所述多媒体数据对应的题材类型；
根据所述题材类型在所述模型数据库中查询得到与所述多媒体数据对应的至少一个所述神经网络模型；
分别通过各个所述神经网络模型对所述图像信息进行图像识别。
第二方面，本申请实施例提供了一种用于终端媒体监播的数据处理装置，包括：
获取模块，用于获取播放终端播放的多媒体数据对应的图像信息；
识别模块，用于通过预设的神经网络模型对所述图像信息进行图像识别，得到识别结果；
第一确定模块，用于根据所述识别结果确定所述多媒体数据对应的合法性等级；
第二确定模块，用于根据所述合法性等级确定与所述多媒体数据对应的控制策略。
可选的，如前述的数据处理装置，所述获取模块包括：
图像抓取子模块，用于通过所述播放终端中预先植入的图像抓取程序，获取所述播放终端的播放界面上的图像信息；所述图像信息包括：通过对所述播放界面进行截屏得到的图片信息，以及通过对所述播放界面进行录屏得到的视频信息。
可选的，如前述的数据处理装置，所述获取模块还包括：
特征码获取单元，用于通过所述播放终端中预先植入的特征码获取程序，获取所述播放终端当前播放的所述多媒体数据的第一特征码；
第二特征码确定单元，用于确定预先指定所述播放终端进行播放的目标多媒体数据的第二特征码；
比对单元，用于通过对所述第一特征码与第二特征码进行比对，得到所述第一多媒体数据与所述第二多媒体数据之间的一致性关系。
可选的，如前述的数据处理装置，所述第一确定模块包括：
判定单元，用于在所述一致性关系表征所述第一特征码与第二特征码一致时，判定所述多媒体数据对应的所述合法性等级为合法；
数量确定单元，用于在所述一致性关系表征所述第一特征码与第二特征码不一致时，根据所述识别结果确定所述多媒体数据中的敏感信息数量；
等级确定单元，用于按照预设的对应关系，确定与所述敏感信息数量对应的合法性等级。
可选的，如前述的数据处理装置，所述第二确定模块包括：
等级发送单元，用于将所述合法性等级发送至对应的管控终端；
控制指令接收单元，用于接收所述管控终端根据所述合法性等级反馈的控制指令；
控制策略确定单元，用于将所述控制指令下发至所述播放终端，以使所述播放终端执行与所述控制指令对应的所述控制策略。
可选的，如前述的数据处理装置，还包括：
模型预获取模块，用于预先获取用于进行图像识别的待训练神经网络模型；
训练数据获取模块，用于获取与所述待训练神经网络模型对应的训练集和验证集；
训练模块，用于通过训练集对所述待训练神经网络模型进行训练，得到训练后神经网络模型；
模型确定单元，用于在通过验证集对所述训练后神经网络模型进行验证，并满足预设的性能要求时，得到所述神经网络模型。
可选的，如前述的数据处理装置，所述识别模块包括：
题材类型确定单元，用于确定所述多媒体数据对应的题材类型；
模型查询单元，用于根据所述题材类型在所述模型数据库中查询得到与所述多媒体数据对应的至少一个所述神经网络模型；
识别单元，用于分别通过各个所述神经网络模型对所述图像信息进行图像识别。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现如前述任一项所述的处理方法。
第四方面，本申请实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行如前任一项所述的方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，可以通过神经网络模型自主地判断得到多媒体数据的合法性等级；无需人员对播放终端进行实时监控，可以实现监播过程的自动化，实现自动监播；进而可以大大节省企业的成本；同时，通过对图像信息的实时获取，可以实现监播过程的实时化，播放结果实时传到监播后端，以便于在出现不合规问题时，能实时报警，并实时进行对应的处理；最后，还可以判断播放终端播放的内容的合法性等级，并且能够根据不同的合法性等级执行对应的处理方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种用于终端媒体监播的数据处理方法的流程示意图；
图2为本申请另一实施例提供的一种用于终端媒体监播的数据处理方法的流程示意图；
图3为本申请另一实施例提供的一种用于终端媒体监播的数据处理方法的流程示意图；
图4为本申请实施例提供的一种用于终端媒体监播的数据处理装置的框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种用于终端媒体监播的数据处理方法，包括如下所述步骤S1至S4：
步骤S1.获取播放终端播放的多媒体数据对应的图像信息。
具体的，多媒体数据可以是：视频数据、图像数据或文本信息中的一种或多种。
播放终端可以是与多媒体数据对应的终端，例如：用于进行视频播放、图像数据或文本信息播放的显示器。
其中，图像信息可以对多媒体数据直接调取得到，也可以是对播放终端上播放的内容进行截屏得到。
步骤S2.通过预设的神经网络模型对图像信息进行图像识别，得到识别结果。
具体的，用于对图像信息进行图像识别的神经网络模型可以包括一个或多个，以分别用于对不同特征进行识别；识别结果可以包括：违规信息的类型，违规的程度信息(例如：评分)以及每种类型和程度的违规信息对应的数量等等。
步骤S3.根据识别结果确定多媒体数据对应的合法性等级。
也就是说，在得到多媒体数据的识别结果之后，可以通过识别结果得到多媒体数据对应的合法性等级。
其中，合法性等级可以是用于评判多媒体数据的合法性的程度或者违规程度的信息。
其中可选的实现方式可以是：通过对识别结果中违规信息的数量或者对各个违规信息的评分进行累加或加权得到，进一步的，还可以采用其他方式实现，在此不一一进行列举。
步骤S4.根据合法性等级确定与多媒体数据对应的控制策略。
具体的，控制策略可以是用于对多媒体数据进行控制的信息，可以包括控制的类型、进行控制的时间以及进行控制的对象(例如：播放多媒体数据的终端)等等。
不同的合法性等级可以对应于不同的控制策略，具体的对应方式可以通过预先进行配置得到。进一步的，在合法性等级满足预设报警条件时，生成对应的报警信息。
通过本实施例中的方法，可以通过神经网络模型自主地判断得到多媒体数据的合法性等级；无需人员对播放终端进行实时监控，可以实现监播过程的自动化，实现自动监播；进而可以大大节省企业的成本；同时，通过对图像信息的实时获取，可以实现监播过程的实时化，播放结果实时传到监播后端，进而可以在出现不合规问题时，能实时报警，从而便于后期实时进行对应的处理；最后，还可以判断播放终端播放的内容的合法性等级，并且能够根据不同的合法性等级执行对应的处理方案。
在一些实施例中，如前述的数据处理方法，所述步骤S1获取播放终端播放的多媒体数据对应的图像信息，包括：
通过播放终端中预先植入的图像抓取程序，获取播放终端的播放界面上的图像信息；图像信息包括：通过对播放界面进行截屏得到的图片信息，以及通过对播放界面进行录屏得到的视频信息。
具体的，图像抓取程序可以是用于实现对屏幕进行截屏的SDK(SoftwareDevelopment Kit，软件开发工具包)，以对屏幕上播放的视频内容进行截屏或录制，以得到包括图片信息以及视频信息在内的图像信息。
通过本实施例中的方法，可以在播放终端未按照事先安排的播放流程，私自对未进行审核，或者审未通过的多媒体进行播放时，实时获取到对应图像信息。相比于现有技术中通过人工抓拍或者安装摄像头进行视频获取，可以大大减少相关成本的支出，降低企业的运营成本。
如图2所示，在一些实施例中，如前述的数据处理方法，还包括如下所述步骤P1至P3：
步骤P1.通过播放终端中预先植入的特征码获取程序，获取播放终端当前播放的多媒体数据的第一特征码。
具体的，第一特征码可以是与第一多媒体数据对应的不可修改的具有唯一性的信息。可选的，可以是MD5等加密手段计算得到的哈希值。
哈希值的作用：哈希值，即HASH值，主要用途是用于文件校验或签名。正是因为这样的特点，它常常用来判断两个文件是否相同。
举例的，当存在两个文件时，只要把这两个文件的哈希值进行对比，如果相同，则表示两个文件完全一致；而如果不一致，则表明两个文件不完全相同。
进一步，第一特征码可以是多媒体数据的全文件进行哈希值计算得到；当多媒体数据是视频数据或图像数据时，第一特征码也可以是，对多媒体数据按照预设的图像帧截取策略(例如：每10帧获取一帧，或每一秒获取一帧等等)对截取得到的一个或多个图片进行哈希值计算得到。
步骤P2.确定预先指定播放终端进行播放的目标多媒体数据的第二特征码。
具体的，目标多媒体数据是按照预设计划，预先投放至播放终端的多媒体数据，以使播放终端对目标多媒体数据进行播放，由于播放终端一般会播放多个不同的多媒体数据，因此目标多媒体数据可以包括多个。可选的，为了使数据具有可追溯性，以及防止数据被篡改，可以将目标多媒体数据和/或第二特征码存储在区块链中，一般的，为了便于逐个判断播放终端当前播放内容的合法性，每个目标多媒体数据都会记录一个对应的第二特征码；此外，目标多媒体数据在区块链中存储时一般按照发布的时间存储在不同的区块中；当多个多媒体数据同时发布时，可以将分别与每个多媒体数据对应的哈希值存储在同一个区块中。
步骤P3.通过对第一特征码与第二特征码进行比对，得到多媒体数据与目标多媒体数据之间的一致性关系。
具体的，在前述步骤所举例子基础上，以第一特征码和第二特征码均为哈希值为例；由于哈希值是具有特定长度(例如：128位)的二进制值数据，因此，可以将第一特征码与第二特征码逐个字符进行比对，以得第一特征码与第二特征码之间的一致性关系。
其中，一致性关系是用于表征第一特征码与第二特征码是否一致的信息；举例的，为了便于计算机识别；当第一特征码与第二特征码相一致时，得到的一致性关系可以是“0”等表征两者一致的信息，当两者不一致时，得到的一致性关系则可以是“1”。
进一步的，当投放至播放终端的第二特征码只存在一个时，一致性关系可以是第一特征码与第二特征码是否完全一致。当第二特征码包括多个时，可以将第一特征码逐个与各个第二特征码分别比对以得到与各个第二特征码之间的一致性关系，且可选的，当第一特征码与其中一个第二特征码一致时，判定其满足一致性关系；当第一特征码与任一个第二特征码均不一致时，判定第一特征码与第二特征码不满足一致性关系。
具体的，对播放终端进行监控，是为了判断播放终端播放的多媒体数据是否与要求播放的相一致。
审核结果可以用于评判播放终端的播放行为是否符合预设要求。
因此，根据一致性关系确定与播放终端对应的审核结果，可以是：在得到一致性关系之后，根据一致性关系确定播放终端播放的多媒体数据与预设播放的是否一致，进而可以得到与播放终端对应的审核结果。
通过本实施例中的方法，可以通过区块链对播放终端播放的多媒体数据进行校验，获取其审核结果；相对于人工巡检，能够有效提升效率，节约时间及人力成本；无需投入额外的监控设备进行多媒体数据监控，可以有效降低成本，通过将第二多媒体信息存储在区块链中，可以给历史记录都赋有防伪与不可抵赖、可追溯的特性，保障后续维护与查验工作。
在一些实施例中，如前述的数据处理方法，所述步骤S3根据识别结果确定多媒体数据对应的合法性等级，包括如下所述步骤S31至S33：
步骤S31.在一致性关系表征第一特征码与第二特征码一致时，判定多媒体数据对应的合法性等级为合法。
具体的，在前述实施例所举示例的基础上，当第二特征码存在多个时，一致即为存在一个第二特征码与第一特征码一致。
此外，当第一特征码和第二特征码均为哈希值时，则第一特征码与第二特征码一致时，表明两个哈希值对应的原文件是完全一致的，因此多媒体数据的合法性等级为合法。
步骤S32.在一致性关系表征第一特征码与第二特征码不一致时，根据识别结果确定多媒体数据中的敏感信息数量；
步骤S33.按照预设的对应关系，确定与敏感信息数量对应的合法性等级。
也就是说，当一致性关系表征第一特征码与第二特征码不一致时，说明第一特征码与第二特征码对应的原文件是不完全一致的。
因此需要通过前述的识别结果得到多媒体数据中的敏感信息数量；其中每个合法性等级可以对应于一个敏感信息数量的区间，因此只需通过该多媒体数据的敏感信息数量在各个合法性等级对应的区间中去匹配，即可得到敏感信息数量对应的合法性等级，即得到多媒体数据对应的合法性等级。
可选的，可以把输入的多媒体数据分为“合法”，“警告”，“非法”等不同等级。1.特征码匹配(即：第一特征码与第二特征码对应的原文件完全一致)；2.特征码不匹配，AI验证通过(即：第一特征码与第二特征码对应的原文件不完全一致，识别结果得到的结果为合法)；3.特征码不匹配，AI判断疑似非法(即：第一特征码与第二特征码对应的原文件不完全一致，识别结果得到的结果为疑似非法，其中疑似非法可以是非法的等级与疑似非法的等级一致或者识别结果对应的评分在疑似非法对应的分值区间内)；4.特征码不匹配，AI判定非法(即：第一特征码与第二特征码对应的原文件不完全一致，识别结果得到的结果为非法，其中非法可以是合法性等级与疑似非法的等级一致或者识别结果对应的评分在疑似非法对应的分值区间内)。以上四个等级，1级是确定合规的，2、3、4都有可能不合规，而且不合规的可能依次增大。对于发现的不合规的内容，根据不合规的等级，用户可以采取对应的应对控制策略(发出预警，关闭终端，禁用终端等)。
如图3所示，在一些实施例中，如前述的数据处理方法，所述步骤S4根据合法性等级确定与多媒体数据对应的控制策略，包括如下所述步骤S41至S43：
步骤S41.将合法性等级发送至对应的管控终端。
具体的，前述步骤中的合法性等级最终显示到管控终端。对于不合规的内容，可以自动报警，由管控终端对应的人员来决定下一步的处理。管控终端可以是用于根据合法性等级判断是否对播放终端当前的播放行为进行管控的终端；可选的，管控终端可以是：安装有特定管控程序的智能移动终端、计算机、平板电脑以及智能可佩戴设备等等。
步骤S42.接收管控终端根据合法性等级反馈的控制指令。
具体的，控制指令可以是管控终端生成，其中生成的方法可以是根据合法性等级与控制指令之间预设的对应关系得到，也可以是人为根据合法性等级判断后，在预设的控制指令中选择得到。
步骤S43.将控制指令下发至播放终端，以使播放终端执行与控制指令对应的控制策略。
实现本实施例方法的装置，在接收得到控制指令之后，可以确定播放终端对应的地址，将该控制指令按照该地址进行下发，以使播放终端执行与控制指令对应的控制策略。
在其他可选的技术方案中，在将合法性等级发送至对应的管控终端的同时，还将播放终端的地址发送至管控终端，进而，控制指令可以直接由管控终端按照地址下发至播放终端，以实现对播放终端执行与控制指令对应的控制策略的目的。
通过本实施例中的方法，可以使管控人员随时能够了解终端当前播放的情况，并对终端播放的内容进行管控。
在一些实施例中，如前述的数据处理方法，还包括如下所述步骤Q1至Q4：
步骤Q1.预先获取用于进行图像识别的待训练神经网络模型；
步骤Q2.获取与待训练神经网络模型对应的训练集和验证集；
步骤Q3.通过训练集对待训练神经网络模型进行训练，得到训练后神经网络模型；
步骤Q4.在通过验证集对训练后神经网络模型进行验证，并满足预设的性能要求时，得到神经网络模型。
其中，待训练神经网络模型可以为ENet(图像语义分割模型)、MobileNet-YOLO、MobileNet-YOLOv1、MobileNet-YOLOv2、MobileNet-YOLOv3、Faster R-CNN、R-FCN等等卷积神经网络。
以ENet为例，当用于对识别其中一种类型(例如：涉黄、涉暴、涉赌、涉毒中的一种)的模型进行训练时：
(1)将训练集的样本图像和标注信息输入ENet网络进行训练；ENet能够识别得到样本图像中的非法内容，并可以得到对该非法内容的评分。
(2)在通过大量样本图像对ENet网络进行训练后，并通过验证集中的样本图像对训练后的ENet网络进行校验，当ENet网络符合预设性能(例如：识别的准确性高于99％)时，将其作为最终用于检测的神经网络模型。
可选的，每类非法内容都可以通过一个神经网络模型进行识别，因此，在训练时，需要获取与每个待训练神经网络模型对应的训练集以及验证集；然后分别训练，得到最终与各种非法内容类型对应的神经网络模型。
在一些实施例中，如前述的数据处理方法，所述步骤S2通过预设的神经网络模型对图像信息进行图像识别，包括如下所述步骤S21至S23：
步骤S21.确定多媒体数据对应的题材类型。
具体的，多媒体数据对应的题材类型可以通过识别多媒体数据的特征字段(例如：标题或者介绍信息等等)的信息得到。
步骤S22.根据题材类型在模型数据库中查询得到与多媒体数据对应的至少一个神经网络模型。
具体的，可选的，每个题材类型可以包括多个特征信息；每个特征信息可以对应于一种识别类型；同时，模型数据库中可以存储有与每种识别类型对应的神经网络模型；进而可以最终达到根据题材类型查询得到与多媒体数据对应的至少一个神经网络模型的目的。
步骤S23.分别通过各个神经网络模型对图像信息进行图像识别。
在得到与多媒体数据对应的各个神经网络模型之后，可以通过各个神经网络模型分别对图像信息按照各个识别类型进行图像识别，以得到多个识别结果。
通过本实施例中的方法，可以针对性的快速匹配到与多媒体数据对应的神经网络模型，以得到最佳的识别结果。
进一步的，还可以将根据最新的多媒体数据对模型数据库中的各个模型进行训练优化，使图像识别的准确性可以随着使用而提升。
如图4所示，根据本申请的另一方面，还提供了一种用于终端媒体监播的数据处理装置，包括：
获取模块1，用于获取播放终端播放的多媒体数据对应的图像信息；
识别模块2，用于通过预设的神经网络模型对图像信息进行图像识别，得到识别结果；
第一确定模块3，用于根据识别结果确定多媒体数据对应的合法性等级；
第二确定模块4，用于根据合法性等级确定与多媒体数据对应的控制策略。
具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。
根据本申请的另一个实施例，还提供一种电子设备，包括：如图5所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的程序时，实现上述方法实施例的步骤。
上述电子设备提到的总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种存储介质，存储介质包括存储的程序，其中，程序运行时执行上述方法实施例的方法步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种用于终端媒体监播的数据处理方法，其特征在于，包括：
获取播放终端播放的多媒体数据对应的图像信息；
通过预设的神经网络模型对所述图像信息进行图像识别，得到识别结果；
根据所述识别结果确定所述多媒体数据对应的合法性等级；
根据所述合法性等级确定与所述多媒体数据对应的控制策略。
2.根据权利要求1所述的数据处理方法，其特征在于，所述获取播放终端播放的多媒体数据对应的图像信息，包括：
通过所述播放终端中预先植入的图像抓取程序，获取所述播放终端的播放界面上的图像信息；所述图像信息包括：通过对所述播放界面进行截屏得到的图片信息，以及通过对所述播放界面进行录屏得到的视频信息。
3.根据权利要求1所述的数据处理方法，其特征在于，还包括：
通过所述播放终端中预先植入的特征码获取程序，获取所述播放终端当前播放的所述多媒体数据的第一特征码；
确定预先指定所述播放终端进行播放的目标多媒体数据的第二特征码；
通过对所述第一特征码与第二特征码进行比对，得到所述多媒体数据与所述目标多媒体数据之间的一致性关系。
4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述识别结果确定所述多媒体数据对应的合法性等级，包括：
在所述一致性关系表征所述第一特征码与第二特征码一致时，判定所述多媒体数据对应的所述合法性等级为合法；
在所述一致性关系表征所述第一特征码与第二特征码不一致时，根据所述识别结果确定所述多媒体数据中的敏感信息数量；
按照预设的对应关系，确定与所述敏感信息数量对应的合法性等级。
5.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述合法性等级确定与所述多媒体数据对应的控制策略，包括：
将所述合法性等级发送至对应的管控终端；
接收所述管控终端根据所述合法性等级反馈的控制指令；
将所述控制指令下发至所述播放终端，以使所述播放终端执行与所述控制指令对应的所述控制策略。
6.根据权利要求1所述的数据处理方法，其特征在于，还包括：
预先获取用于进行图像识别的待训练神经网络模型；
获取与所述待训练神经网络模型对应的训练集和验证集；
通过训练集对所述待训练神经网络模型进行训练，得到训练后神经网络模型；
在通过验证集对所述训练后神经网络模型进行验证，并满足预设的性能要求时，得到所述神经网络模型。
7.根据权利要求1所述的数据处理方法，其特征在于，所述通过预设的神经网络模型对所述图像信息进行图像识别，包括：
确定所述多媒体数据对应的题材类型；
根据所述题材类型在所述模型数据库中查询得到与所述多媒体数据对应的至少一个所述神经网络模型；
分别通过各个所述神经网络模型对所述图像信息进行图像识别。
8.一种用于终端媒体监播的数据处理装置，其特征在于，包括：
获取模块，用于获取播放终端播放的多媒体数据对应的图像信息；
识别模块，用于通过预设的神经网络模型对所述图像信息进行图像识别，得到识别结果；
第一确定模块，用于根据所述识别结果确定所述多媒体数据对应的合法性等级；
第二确定模块，用于根据所述合法性等级确定与所述多媒体数据对应的控制策略。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-7任一项所述的方法步骤。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1-7中任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010947459.8A CN112148896A (zh) | 2020-09-10 | 2020-09-10 | 一种用于终端媒体监播的数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010947459.8A CN112148896A (zh) | 2020-09-10 | 2020-09-10 | 一种用于终端媒体监播的数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112148896A true CN112148896A (zh) | 2020-12-29 |
Family
ID=73890921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010947459.8A Pending CN112148896A (zh) | 2020-09-10 | 2020-09-10 | 一种用于终端媒体监播的数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148896A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076566A (zh) * | 2021-04-26 | 2021-07-06 | 深圳市三旺通信股份有限公司 | 显示内容检测方法、设备、计算机程序产品及存储介质 |
| CN115168158A (zh) * | 2022-09-05 | 2022-10-11 | 北京电科智芯科技有限公司 | 监控方法、终端设备、服务器、系统和存储介质 |
| WO2023220956A1 (zh) * | 2022-05-18 | 2023-11-23 | 京东方科技集团股份有限公司 | 多媒体监播方法、系统及电子设备 |
| WO2024044868A1 (zh) * | 2022-08-29 | 2024-03-07 | 京东方科技集团股份有限公司 | 多媒体监播系统、方法及电子设备 |
| WO2024045064A1 (zh) * | 2022-08-31 | 2024-03-07 | 京东方科技集团股份有限公司 | 播放内容的监测方法、主机、系统、装置、介质及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090172037A1 (en) * | 2007-12-27 | 2009-07-02 | Nhn Corporation | Method, system and computer-readable recording medium for controlling multimedia based on display condition of contents |
| CN102158740A (zh) * | 2011-03-22 | 2011-08-17 | 北京九华互联科技有限公司 | 一种多媒体播放本地监控的方法 |
| CN104573479A (zh) * | 2014-12-18 | 2015-04-29 | 百度在线网络技术（北京）有限公司 | 一种用户设备的使用控制方法及装置 |
| CN105635756A (zh) * | 2015-12-29 | 2016-06-01 | Tcl海外电子（惠州）有限公司 | 远程控制智能电视的方法及系统 |
| CN108153645A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 基于图像匹配的虚拟化桌面中监控数据与程序关联方法 |
| CN111182314A (zh) * | 2018-11-12 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 直播流处理方法、装置及数据处理方法 |
| CN111212309A (zh) * | 2019-12-26 | 2020-05-29 | 深圳市华智有为科技有限公司 | 一种视频播放系统及其管理方法、智慧杆管理系统 |
| WO2020168960A1 (zh) * | 2019-02-19 | 2020-08-27 | 杭州海康威视数字技术股份有限公司 | 一种视频分析方法及装置 |
-
2020
- 2020-09-10 CN CN202010947459.8A patent/CN112148896A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090172037A1 (en) * | 2007-12-27 | 2009-07-02 | Nhn Corporation | Method, system and computer-readable recording medium for controlling multimedia based on display condition of contents |
| CN102158740A (zh) * | 2011-03-22 | 2011-08-17 | 北京九华互联科技有限公司 | 一种多媒体播放本地监控的方法 |
| CN104573479A (zh) * | 2014-12-18 | 2015-04-29 | 百度在线网络技术（北京）有限公司 | 一种用户设备的使用控制方法及装置 |
| CN105635756A (zh) * | 2015-12-29 | 2016-06-01 | Tcl海外电子（惠州）有限公司 | 远程控制智能电视的方法及系统 |
| CN108153645A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 基于图像匹配的虚拟化桌面中监控数据与程序关联方法 |
| CN111182314A (zh) * | 2018-11-12 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 直播流处理方法、装置及数据处理方法 |
| WO2020168960A1 (zh) * | 2019-02-19 | 2020-08-27 | 杭州海康威视数字技术股份有限公司 | 一种视频分析方法及装置 |
| CN111212309A (zh) * | 2019-12-26 | 2020-05-29 | 深圳市华智有为科技有限公司 | 一种视频播放系统及其管理方法、智慧杆管理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 韩红旗: "语义指纹著者姓名消歧理论及应用", 科学技术文献出版社, pages: 104 - 105 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076566A (zh) * | 2021-04-26 | 2021-07-06 | 深圳市三旺通信股份有限公司 | 显示内容检测方法、设备、计算机程序产品及存储介质 |
| CN113076566B (zh) * | 2021-04-26 | 2024-02-27 | 深圳市三旺通信股份有限公司 | 显示内容检测方法、设备、计算机程序产品及存储介质 |
| WO2023220956A1 (zh) * | 2022-05-18 | 2023-11-23 | 京东方科技集团股份有限公司 | 多媒体监播方法、系统及电子设备 |
| WO2024044868A1 (zh) * | 2022-08-29 | 2024-03-07 | 京东方科技集团股份有限公司 | 多媒体监播系统、方法及电子设备 |
| WO2024045064A1 (zh) * | 2022-08-31 | 2024-03-07 | 京东方科技集团股份有限公司 | 播放内容的监测方法、主机、系统、装置、介质及设备 |
| CN115168158A (zh) * | 2022-09-05 | 2022-10-11 | 北京电科智芯科技有限公司 | 监控方法、终端设备、服务器、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148896A (zh) | 一种用于终端媒体监播的数据处理方法及装置 | |
| CN104602131A (zh) | 一种弹幕处理方法及系统 | |
| CN110634303B (zh) | 一种交通违法监测及校验的方法和装置 | |
| DE102012218436B4 (de) | Verfahren, Vorrichtung und Computerprogrammprodukt zum Verteilen von lizenziertem Inhalt auf mehrere Einheiten | |
| CN113095132A (zh) | 一种基于神经网络的燃气现场目标检测和行为识别方法、系统、终端及存储介质 | |
| WO2021114985A1 (zh) | 一种同行对象识别方法、装置、服务器及系统 | |
| CN116155694B (zh) | 物联设备的管理方法、设备和可读存储介质 | |
| CN115017485B (zh) | 一种数据权限管控方法及系统 | |
| CN110716973A (zh) | 基于大数据的安全事件上报平台及方法 | |
| CN112000928A (zh) | 图片分布式侵权确权方法、系统、存储介质及计算机设备 | |
| CN113448834A (zh) | 埋点测试方法、装置、电子设备及存储介质 | |
| CN110766340A (zh) | 一种业务审核方法、装置及设备 | |
| CN109831696B (zh) | 处理违规视频内容的方法、装置、电子设备及存储介质 | |
| CN111651500A (zh) | 用户身份识别方法、电子设备及存储介质 | |
| CN114513703A (zh) | 一种基于区块链的可信打赏业务处理方法、装置及设备 | |
| CN114978474A (zh) | 一种用户聊天风险等级自动处置方法及系统 | |
| CN114189585A (zh) | 骚扰电话异常检测方法、装置及计算设备 | |
| CN112819565A (zh) | 围标串标的检测方法、系统及存储介质 | |
| CN116109990B (zh) | 一种视频的敏感违规内容检测系统 | |
| CN110909798A (zh) | 一种多算法智能研判方法、系统及服务器 | |
| CN113132796B (zh) | 基于pid算法的ai边缘端安全播放方法及相关设备 | |
| CN116452924B (zh) | 模型阈值调整方法、装置、电子设备及存储介质 | |
| CN112004141A (zh) | 一种基于区块链的直播方法和系统 | |
| CN116704402A (zh) | 车辆违规事件检测方法 | |
| CN113344062A (zh) | 异常帐户识别方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Digital Technology Holding Co., Ltd |
|
| CB02 | Change of applicant information |