CN112597339A - 一种内容安全的审核方法、装置及相关设备 - Google Patents
一种内容安全的审核方法、装置及相关设备 Download PDFInfo
- Publication number
- CN112597339A CN112597339A CN202011564467.0A CN202011564467A CN112597339A CN 112597339 A CN112597339 A CN 112597339A CN 202011564467 A CN202011564467 A CN 202011564467A CN 112597339 A CN112597339 A CN 112597339A
- Authority
- CN
- China
- Prior art keywords
- audited
- content
- video
- image
- auditing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001914 filtration Methods 0.000 claims abstract description 77
- 238000005286 illumination Methods 0.000 claims abstract 4
- 238000012550 audit Methods 0.000 claims description 60
- 230000015654 memory Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及智慧照明技术领域，提供一种内容安全的审核方法、装置及相关设备，所述内容安全的审核方法用于对智慧照明挂载的可播放视频和文字显示屏中的内容进行审核，包括：获取待审核内容；通过识别服务器对所述待审核内容进行审核，判断所述待审核内容中是否包含预设的过滤内容；若所述待审核内容中包含所述预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。本发明不仅能够防止不当的内容向公众传播，而且通过智能识别能够提高内容识别的准确率，同时降低人力成本。
Description
技术领域
本发明涉及智慧照明技术领域，尤其涉及一种内容安全的审核方法、装置及相关设备。
背景技术
随着社会发展，城市的配套设置也在逐步完善，特别是城市智慧路灯得到更全面的落地。智慧路灯通常挂载可播放视频和文字LED屏，内容由平台在云端发布。确保向公众播放正确视频显得尤为重要。为确保发布内部正常，一般会增加多人审核的流程。但现实中，难免审核人员因为图省事等原因，造成账号密码泄密，使得多人审核形同虚设。其次，审核人员疏忽大意，也容易造成审核失误。可见，现有技术中，对于智慧路灯挂载可播放视频和文字LED屏上显示的内容存在过滤准确率低、人力成本大的问题。
发明内容
本发明实施例提供一种内容安全的审核方法，能够对智慧路灯挂载可播放视频和文字LED屏上显示的内容进行更准确快速的过滤，降低人力成本，提高过滤准确率。
第一方面，本发明实施例提供一种内容安全的审核方法，用于对智慧照明挂载的可播放视频和文字显示屏中的内容进行审核，包括以下步骤：
获取待审核内容；
通过识别服务器对所述待审核内容进行审核，判断所述待审核内容中是否包含预设的过滤内容；
若所述待审核内容中包含所述预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。
优选的，所述方法的步骤还包括：
若所述待审核内容中不包含所述预设的过滤内容，则审核通过，并将所述待审核内容存储到播放内容库，以及将审核通过结果发送至所述终端。
优选的，所述待审核内容包括待审核图像和待审核视频，
所述获取待审核内容的步骤包括：
获取待审核图像和待审核视频；
对所述待审核图像与所述待审核视频进行初始化处理，所述初始化包括对所述待审核图像与所述待审核视频进行去重与聚类；
将初始化处理后的所述待审核图像与所述待审核视频添加到临时存储区进行临时存储。
优选的，所述待审核图像包括第一特征属性，所述待审核视频包括第二特征属性，
所述对待审核图像与所述待审核视频进行初始化处理的步骤包括：
将所有的所述待审核图像的所述第一特征属性进行比较，得到任意两个所述待审核图像的第一图像特征属性相似度；
将所有的所述待审核视频的所述第二特征属性进行比较，得到任意两个所述待审核视频的第一视频特征属性相似度；
将所述第一图像特征属性相似度达到第一预设图像相似度阈值的图像进行去重，以及将所述第一视频特征属性相似度达到第一预设视频相似度阈值的视频进行去重。
优选的，所述通过识别服务器对所述待审核内容进行审核，判断所述待审核内容中是否包含预设的过滤内容的步骤包括:
通过所述识别服务器接收从所述播放内容库中转发的所述待审核图像与所述待审核视频；
提取所述待审核图像的所述第一特征属性、所述待审核视频的所述第二特征属性以及所述预设的过滤内容中的第三特征属性；
将所述待审核图像的所述第一特征属性与所述预设的过滤内容中的第三特征属性进行相似度计算，得到第二图像特征属性相似度；
将所述待审核视频的所述第二特征属性与所述预设的过滤内容中的第三特征属性进行相似度计算，得到第二视频特征属性相似度；
若所述第二图像特征属性相似度达到第二预设图像相似度阈值和/或所述第二视频特征属性相似度达到第二预设视频相似度阈值，则判断所述待审核图像和/或所述待审核视频中包括所述预设的过滤内容。
第二方面，本发明实施例还提供一种内容安全的审核装置，用于对智慧照明挂载的可播放视频和文字显示屏中的内容进行审核，装置包括：
获取模块，用于获取待审核内容；
审核模块，用于通过识别服务器对所述待审核内容进行审核，判断所述待审核内容中是否包含预设的过滤内容；
第一发送模块，用于若所述待审核内容中包含所述预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。
优选的，所述装置还包括：
第二发送模块，用于若所述待审核内容中不包含所述预设的过滤内容，则审核通过，并将所述待审核内容存储到播放内容库，以及将审核通过结果发送至所述终端。
优选的，所述待审核内容包括待审核图像和待审核视频，
所述获取模块包括：
获取子模块，用于获取待审核图像和待审核视频；
初始化子模块，用于对所述待审核图像与所述待审核视频进行初始化处理，所述初始化包括对所述待审核图像与所述待审核视频进行去重与聚类；
添加子模块，用于将初始化处理后的所述待审核图像与所述待审核视频添加到临时存储区进行临时存储。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述实施例提供的内容安全的审核方法中的步骤。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述实施例提供的内容安全的审核方法中的步骤。
在本发明实施例中，通过获取待审核内容；通过识别服务器对所述待审核内容进行审核，判断所述待审核内容中是否包含预设的过滤内容；若所述待审核内容中包含所述预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。本发明对于智慧路灯通常挂载的可播放视频和文字LED屏上的内容(待审核内容)预先进行智能识别，通过识别服务器识别出待审核内容中是否包含有预设的过滤内容，在识别出包含的情况下暂停继续审核并发送审核不通过结果到终端，以提醒终端的人员当前的审核结果，这样，不仅能够防止不当的内容向公众传播，而且通过智能识别能够提高内容识别的准确率，同时降低人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种内容安全的审核方法的流程图；
图2为本发明实施例提供的另一种内容安全的审核方法的流程图；
图3a为本发明实施例提供的另一种内容安全的审核方法的流程图；
图3b为本发明实施例提供的另一种内容安全的审核方法的流程图；
图4是本发明实施例提供的一种内容安全的审核装置的结构示意图；
图5是本发明实施例提供的另一种内容安全的审核装置的结构示意图；
图6是本发明实施例提供的另一种内容安全的审核装置的结构示意图；
图7是本发明实施例提供的另一种内容安全的审核装置的结构示意图；
图8是本发明实施例提供的另一种内容安全的审核装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，图1是本发明实施例提供的一种内容安全的审核方法的流程图，该内容安全的审核方法用于对智慧照明挂载的可播放视频和文字显示屏中的内容进行审核，方法包括以下步骤：
101、获取待审核内容。
在本实施例中，上述的一种内容安全的审核方法可以运用在城市智慧照明系统中，特别是对智慧路灯所挂载的可播放视频和文字LED屏上显示的内容进行审核，防止不当的内容出现在大众的视野中。上述的一种内容安全的审核方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取待审核内容以及系统中进行数据传输。上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(Worldwide Interoperability for Microwave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
其中，上述获取待审核内容可以指接收用户上传的用于智慧路灯所挂载的可播放视频和文字LED屏上显示的待审核图像和/或待审核视频。待审核图像与待审核视频可以以文件方式存在，一个文件可以对应一个待审核图像或待审核视频，当然，一个文件中也可以包括多个待审核图像和/或待审核视频，同时会对每个待审核图像和/或待审核视频匹配对应的标识，便于输出时跟踪到其存储路径。获取到待审核内容后可以将待审核内容进行暂存。
102、通过识别服务器对待审核内容进行审核，判断待审核内容中是否包含预设的过滤内容。
其中，识别服务器可以是AI(Artificial Intelligence)识别服务器，主要用于对待审核内容起到内容识别作用。对于识别服务器，会预先通过OCR(Optical CharacterRecognition，光学字符识别)结合神经卷积网络对大量的图片进行反复的识别训练，使识别服务器具备高效准确的识别能力，能够对无效的特征进行识别，该无效的特征包括过滤内容中的特征。
上述预设的过滤内容可以是存储在AI识别服务器中，也可以是存储在系统的其他存储器中，预设的过滤内容可以包括反面标语、反面文字信息、反面图像等。
获取到待审核内容后可以将其转发到AI识别服务器中，也可以是AI识别服务器主动定时提取待审核内容。然后通过AI识别服务器对待审核内容进行审核，进行审核时，可以先提取预设的过滤内容，然后可以将待审核内容与预设的过滤内容进行比对，根据两者的相似度确认待审核内容中是否包括有预设的过滤内容。每一项过滤内容都匹配都标识，可以避免识别比对时造成紊乱。
103、若待审核内容中包含预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。
其中，若待审核内容中包含预设的过滤内容，则表示此时待审核内容中包含有不正当的内容，需要进行人工审核，所以可以停止AI审核，并将审核不通过结果发送至终端。其中审核不通过结果中可以包括有待审核内容、待审核内容与预设的过滤内容的相似度值等，具体可以包括有具体哪些内容之间的相似度值，例如：待审核内容中包括有10个视频内容，每个视频内容都有对应的序号，序号5的视频内容中识别到包括预设的过滤内容，且相似度值为90％。当相似度值达到一定的阈值则可以停止审核，并转发至人工审核，其阈值可以提前设置。这样，通过人工审核可以确认AI审核的结果是否正确，在正确的情况下，即可以通过人工审核对审核不通过结果中定位到的不通过的内容进行处理，无需再次人工查找；若是通过人工审核认为AI审核的审核不通过结果无需进行处理，可以通过，则可以人工直接进行通过处理。
考虑到需要在智慧路灯所挂载的可播放视频和文字LED屏上待审核内容进行显示，对于待审核内容中的图像、视频的播放位置、顺序及内容的完整性，在进行AI审核时，若识别到待审核内容中包含了预设的过滤内容，不会直接进行删除处理，而是转交给人工审核。
需要知道的是，上述的终端可以是指审核人员(审核负责人、单位领导等)进行人工操作的一端，审核人员通过终端进行人工审核。终端包括但不限于手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personaldigital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)、计算机或笔记本电脑等电子设备。审核人员与终端可以通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
在本发明实施例中，通过获取待审核内容；通过识别服务器对待审核内容进行审核，判断待审核内容中是否包含预设的过滤内容；若待审核内容中包含预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。本发明对于智慧路灯通常挂载的可播放视频和文字LED屏上的内容(待审核内容)预先进行智能识别，通过识别服务器识别出待审核内容中是否包含有预设的过滤内容，在识别出包含的情况下暂停继续审核并发送审核不通过结果到终端，以提醒终端的人员当前的审核结果，这样，不仅能够防止不当的内容向公众传播，而且通过智能识别能够提高内容识别的准确率，同时降低人力成本。
如图2所示，图2为本发明实施例提供的另一种内容安全的审核方法的具体实施方式的流程图，具体包括以下步骤：
201、获取待审核内容。
202、通过识别服务器对待审核内容进行审核，判断待审核内容中是否包含预设的过滤内容。
203、若待审核内容中包含预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。
204、若待审核内容中不包含预设的过滤内容，则审核通过，并将待审核内容存储到播放内容库，以及将审核通过结果发送至终端。
其中，播放内容库用于存储已经审核通过的内容。若待审核内容中不包含预设的过滤内容，则可以表示在待审核内容中不存在不正当的视频和图像，无需启动人工审核流程对相同的待审核内容进行再一次的审核。并且可以将审核通过的待审核内容转存到播放内容库存储，当有播放需求时，直接冲播放内容库中提取进行播放即可。此外，还可以向人工审核的终端直接发送审核通过结果，通知相关人员AI审核通过即可，之后人工审核便可以对已审核通过的待审核内容进行其他操作上述的审核通过结果中同样可以包括待审核内容和待审核内容与预设的过滤内容的相似度值。
在本发明实施例中，对于智慧路灯通常挂载的可播放视频和文字LED屏上的内容(待审核内容)预先进行智能识别，通过识别服务器识别出待审核内容中是否包含有预设的过滤内容，在识别出包含的情况下暂停继续审核并发送审核不通过结果到终端，以提醒终端的人员当前的审核结果，需要再次进行人工处理，当然在识别到待审核内容中不包含预设的过滤内容，则审核通过，并将审核通过结果发送至终端，这样，不仅能够防止不当的内容向公众传播，而且通过智能识别能够提高内容识别的准确率，同时降低人力成本。
如图3a所示，图3a为本发明实施例提供的另一种内容安全的审核方法的具体实施方式的流程图。待审核内容包括待审核图像和待审核视频，本实施例提供的方法具体包括步骤：
301、获取待审核图像和待审核视频。
其中，待审核图像可以指大量的图像，图像内容的对象可以包括但不限于车辆、风景、人物、动物等。图像的格式包括但不限于BMP格式、JPEG格式、GIF格式、PSD格式、PNG格式等等。上述待审核视频可以是由多个小视频组合得到，视频中的对象可以包括但不限于人物介绍、景区介绍等。视频的格式可以包括但不限于wmv格式、avi格式、dat格式、asf格式、mpeg格式、mpg格式等。用户可以通过用户终端上传，用户终端可以是用户操作的一端，且用户终端可以包括但不限于手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)、计算机或笔记本电脑等电子设备。
302、对待审核图像与待审核视频进行初始化处理，初始化包括对待审核图像与待审核视频进行去重与聚类。
其中，若需要对待审核图像与待审核视频进行格式统一之后才可以发送到AI识别服务器，则可以预先将待审核图像与待审核视频的格式转换为目标格式，该目标格式可以指AI识别服务器可以接收的格式。
上述对待审核图像与待审核视频进行去重有利于避免对重复的内容进行多次识别，浪费识别时间以及资源，上述进行聚类便于将待审核图像聚类在一起，将待审核视频聚类在一起。可能的，还可以将包含有同类对象的待审核图像聚类，以及将包含同类对象的待审核视频聚类，例如：待审核内容包括多个待审核图像以及混合有多个待审核视频，可以将多个待审核图像聚为A类，将多个待审核图像中对象为人物的聚为A-1类，对象为动物的聚为A-2类；将待审核视频聚为B类，待审核视频中对象为人物的聚为B-1，对象为风景的聚为B-2。去重与聚类都是为了能够加快审核流程，避免冗杂的识别过程。
可选的，待审核图像包括第一特征属性，待审核视频包括第二特征属性，上述步骤302具体可以包括：
将所有的待审核图像的第一特征属性进行比较，得到任意两个待审核图像的第一图像特征属性相似度。
其中，第一特征属性指的是针对待审核图像所包括的具体特征信息，例如：图像中为人物，则第一特征属性可以包括人物的人脸、人体、穿着、所携带的物品等。同样，针对待审核视频也可以包括第二特征属性，例如：第二特征属性可以包括视频中的文字、标语、人物的人脸、人体等。在待审核图像中，若出现相同的图像，则对所有图像的第一特征属性进行比较时，便会存在第一图像特征属性相似度过高的现象，例如：第一图像特征属性相似度达到99％。
将所有的待审核视频的第二特征属性进行比较，得到任意两个待审核视频的第一视频特征属性相似度。
其中，与待审核图像一样，可以将所有的待审核视频的第二特征属性进行比较，得到任意两个待审核视频的第一视频特征属性相似度，若存在相同的视频，则得到的第一视频特征属性相似度也会存在过高的现象。
将第一图像特征属性相似度达到第一预设图像相似度阈值的图像进行去重，以及将第一视频特征属性相似度达到第一预设视频相似度阈值的视频进行去重。
其中，上述的第一预设图像相似度阈值与第一预设视频相似度阈值可以是审核人员根据多次审核经验预先设置的值。若出现第一图像特征属性相似度达到第一预设图像相似度阈值，则将第一图像特征属性相似度达到第一预设图像相似度阈值的图像进行去重，保留一个即可。以及将第一视频特征属性相似度达到第一预设视频相似度阈值的视频进行去重，保留一个视频即可。避免重复识别的同时，也降低其消耗的存储的空间。
作为一种可能的实施例方式，待审核内容中还可以包括有待审核声音内容，此时在预设的过滤内容中可以添加有需要过滤的声音内容。通过上述的方式，同样可以实现对声音的识别，该声音的识别具体可以指对通过声音播放出的内容进行审核。
303、将初始化处理后的待审核图像与待审核视频添加到临时存储区进行临时存储。
其中，上述的临时存储区可以用于存储临时数据，用户提交的待审核数据与待审核图像可以预先存储在系统中的临时存储区中。当需要进行内容审核时可以从临时存储区进行提取。
作为一种可能的实施方式，当系统检测到后续审核完成之后，便可以向播放内容库发出删除指令，对存储在播放内容库中的待审核图像与待审核视频进行自动删除。作为另一种可能的实施例方式，当系统检测到下一次的AI审核启动后，需要有新的待审核内容添加进来时，可以向播放内容库发出删除指令，对上一次暂存的待审核图像与待审核视频进行删除。作为另一种可能的实施例方式，还可以设置暂存时间，当待审核图像与待审核视频的存储时间达到预设的暂存时间后，向播放内容库发送删除指令执行删除操作。
304、通过识别服务器接收从播放内容库中转发的待审核图像与待审核视频。
其中，对待审核图像与待审核视频进行暂存后，系统可以将播放内容库中的待审核图像与待审核视频进行转发到AI识别服务器中进行识别。
305、提取待审核图像的第一特征属性、待审核视频的第二特征属性以及预设的过滤内容中的第三特征属性。
其中，进行识别的过程可以是将第一特征属性、第二特征属性与第三特征属性分别进行对比的过程。因此，可以先对第一特征属性、第二特征属性与第三特征属性进行提取。
306、将待审核图像的第一特征属性与预设的过滤内容中的第三特征属性进行相似度计算，得到第二图像特征属性相似度。
其中，将第一特征属性与第三特征属性进行相似度计算可以是将第一特征属性中的多个特征与第三特征属性中的对应的多个特征进行相似度计算，例如：第一特征属性中包括穿着、手持物品，则可以与第三特征属性中包括的穿着、手持物品进行比较，判断第一特征属性与第三特征属性的穿着、手持物品是否为同一种。其中，第三特征属性中包括的穿着、手持物品可以是指不正当的、不适合播放的内容。通过上述比较，可以得到上述的第二图像属性相似度。
307、将待审核视频的第二特征属性与预设的过滤内容中的第三特征属性进行相似度计算，得到第二视频特征属性相似度。
同样，将第二特征属性与第三特征属性进行相似度计算可以是将第二特征属性中的多个特征与第三特征属性中的对应的多个特征进行相似度计算，例如：第二特征属性中包括文字，则可以与第三特征属性中包括的文字进行比较，判断第一特征属性与第三特征属性的文字是否为同一种。其中，第三特征属性中的文字指的是不正当的、不适合播放的文字。这样，便会得到上述的第二视频属性相似度。
308、若第二图像特征属性相似度达到第二预设图像相似度阈值和/或第二视频特征属性相似度达到第二预设视频相似度阈值，则判断待审核图像和/或待审核视频中包括预设的过滤内容。
其中，第二预设图像相似度阈值和第二预设视频相似度阈值可以是审核人员根据实际测试经验进行预先设置。这样，若出现第二图像特征属性相似度达到第二预设图像相似度阈值和/或第二视频特征属性相似度达到第二预设视频相似度阈值，便可以判断出待审核图像和/或待审核视频中包括预设的过滤内容，例如：第二图像特征属性相似度为95％，第二预设图像相似度阈值为90％，第二视频特征属性相似度为94％，第二预设视频相似度阈值为90％，则表示待审核图像和/或待审核视频中包括预设的过滤内容。
309、终止审核，并将审核不通过结果发送至终端。
具体的，参考图3b所示，图3b为本发明实施例提供的一种内容安全的审核方法的整体流程图。其中，用户提交的视频、图像内容文件也即是上述的待审核内容，该内容可以添加到播放内容库中通过系统进行暂存，同时系统还会将该待审核内容转发到AI识别服务器中以启动识别操作，通过AI识别服务器可以识别出待审核内容中是否包含有不当内容(预设的过滤内容)，当存在不当内容时终止审批，并将AI识别服务器的识别结果(审核不通过结果)发送至相关人员；若是识别出待审核内容中不包含不当内容，此时AI审核通过，之后便可以启动人工审核流程继续对该待审核内容进行其他的操作，例如：进行播放。
在本发明实施例中，对于智慧路灯通常挂载的可播放视频和文字LED屏上的内容(待审核内容)预先进行智能识别，通过识别服务器基于待审核图像以及待审核视频的特征属性与预设的过滤内容的特征属性进行识别，判断出待审核内容中是否包含有预设的过滤内容，在识别出包含的情况下暂停继续审核并发送审核不通过结果到终端，以提醒终端的人员当前的审核结果，这样，不仅能够防止不当的内容向公众传播，而且通过智能识别能够提高内容识别的准确率，同时降低人力成本。
如图4所示，图4是本发明实施例提供的一种内容安全的审核装置的结构示意图，内容安全的审核装置用于对智慧照明挂载的可播放视频和文字显示屏中的内容进行审核，内容安全的审核装置400包括：
获取模块401，用于获取待审核内容；
审核模块402，用于通过识别服务器对待审核内容进行审核，判断待审核内容中是否包含预设的过滤内容；
第一发送模块403，用于若待审核内容中包含预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。
可选的，如图5所示，图5是本发明实施例提供的另一种内容安全的审核装置的结构示意图，装置还包括：
第二发送模块404，用于若待审核内容中不包含预设的过滤内容，则审核通过，并将待审核内容存储到播放内容库，以及将审核通过结果发送至终端。
可选的，待审核内容包括待审核图像和待审核视频，如图6所示，图6是本发明实施例提供的另一种内容安全的审核装置的结构示意图，获取模块401包括：
获取子模块4011，用于获取待审核图像和待审核视频；
初始化子模块4012，用于对待审核图像与待审核视频进行初始化处理，初始化包括对待审核图像与待审核视频进行去重与聚类；
添加子模块4013，用于将初始化处理后的待审核图像与待审核视频添加到临时存储区进行临时存储。
可选的，待审核图像包括第一特征属性，待审核视频包括第二特征属性，如图7所示，图7是本发明实施例提供的另一种内容安全的审核装置的结构示意图，初始化子模块4012包括：
第一比较子单元40121，用于将所有的待审核图像的第一特征属性进行比较，得到任意两个待审核图像的第一图像特征属性相似度；
第二比较子单元40122，用于将所有的待审核视频的第二特征属性进行比较，得到任意两个待审核视频的第一视频特征属性相似度；
去重子单元40123，用于将第一图像特征属性相似度达到第一预设图像相似度阈值的图像进行去重，以及将第一视频特征属性相似度达到第一预设视频相似度阈值的视频进行去重。
可选的，如图8所示，图8是本发明实施例提供的另一种内容安全的审核装置的结构示意图，审核模块402包括：
转发子模块4021，用于通过识别服务器接收从播放内容库中转发的待审核图像与待审核视频；
提取子模块4022，用于提取待审核图像的第一特征属性、待审核视频的第二特征属性以及预设的过滤内容中的第三特征属性；
第一计算子模块4023，用于将待审核图像的第一特征属性与预设的过滤内容中的第三特征属性进行相似度计算，得到第二图像特征属性相似度；
第二计算子模块4024，用于将待审核视频的第二特征属性与预设的过滤内容中的第三特征属性进行相似度计算，得到第二视频特征属性相似度；
判断子模块4025，用于若第二图像特征属性相似度达到第二预设图像相似度阈值和/或第二视频特征属性相似度达到第二预设视频相似度阈值，则判断待审核图像和/或待审核视频中包括预设的过滤内容。
本发明实施例提供的一种内容安全的审核装置能够实现内容安全的审核方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
如图9所示，图9是本发明实施例提供的一种电子设备的结构示意图，该电子设备900包括：处理器901、存储器902、网络接口903及存储在存储器902上并可在处理器901上运行的计算机程序，处理器901执行计算机程序时实现实施例提供的内容安全的审核方法中的步骤。
具体的，上述内容安全的审核方法用于对智慧照明挂载的可播放视频和文字显示屏中的内容进行审核，处理器901用于执行以下步骤：
获取待审核内容；
通过识别服务器对待审核内容进行审核，判断待审核内容中是否包含预设的过滤内容；
若待审核内容中包含预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。
可选的，处理器901还用于执行若待审核内容中不包含预设的过滤内容，则审核通过，并将待审核内容存储到播放内容库，以及将审核通过结果发送至终端。
可选的，待审核内容包括待审核图像和待审核视频，处理器901执行的获取待审核内容的步骤包括：
获取待审核图像和待审核视频；
对待审核图像与待审核视频进行初始化处理，初始化包括对待审核图像与待审核视频进行去重与聚类；
将初始化处理后的待审核图像与待审核视频添加到临时存储区进行临时存储。
可选的，待审核图像包括第一特征属性，待审核视频包括第二特征属性，处理器901执行的对待审核图像与待审核视频进行初始化处理的步骤包括：
将所有的待审核图像的第一特征属性进行比较，得到任意两个待审核图像的第一图像特征属性相似度；
将所有的待审核视频的第二特征属性进行比较，得到任意两个待审核视频的第一视频特征属性相似度；
将第一图像特征属性相似度达到第一预设图像相似度阈值的图像进行去重，以及将第一视频特征属性相似度达到第一预设视频相似度阈值的视频进行去重。
可选的，处理器901执行的通过识别服务器对待审核内容进行审核，判断待审核内容中是否包含预设的过滤内容的步骤包括:
通过识别服务器接收从播放内容库中转发的待审核图像与待审核视频；
提取待审核图像的第一特征属性、待审核视频的第二特征属性以及预设的过滤内容中的第三特征属性；
将待审核图像的第一特征属性与预设的过滤内容中的第三特征属性进行相似度计算，得到第二图像特征属性相似度；
将待审核视频的第二特征属性与预设的过滤内容中的第三特征属性进行相似度计算，得到第二视频特征属性相似度；
若第二图像特征属性相似度达到第二预设图像相似度阈值和/或第二视频特征属性相似度达到第二预设视频相似度阈值，则判断待审核图像和/或待审核视频中包括预设的过滤内容。
本发明实施例提供的电子设备900能够实现上述提供的一种内容安全的审核方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
需要指出的是，图中仅示出了具有组件的901-903，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备900是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
存储器902至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器902可以是电子设备900的内部存储单元，例如该电子设备900的硬盘或内存。在另一些实施例中，存储器902也可以是电子设备900的外部存储设备，例如该电子设备900上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器902还可以既包括电子设备900的内部存储单元也包括其外部存储设备。本实施例中，存储器902通常用于存储安装于电子设备900的操作系统和各类应用软件，例如内容安全的审核方法的程序代码等。此外，存储器902还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器901在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器901通常用于控制电子设备900的总体操作。本实施例中，处理器901用于运行存储器902中存储的程序代码或者处理数据，例如运行内容安全的审核方法的程序代码。
网络接口903可包括无线网络接口或有线网络接口，该网络接口903通常用于在电子设备900与其他电子设备之间建立通信连接。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器901执行时实现实施例提供的内容安全的审核方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现实施例内容安全的审核方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种内容安全的审核方法，用于对智慧照明挂载的可播放视频和文字显示屏中的内容进行审核，其特征在于，包括以下步骤：
获取待审核内容；
通过识别服务器对所述待审核内容进行审核，判断所述待审核内容中是否包含预设的过滤内容；
若所述待审核内容中包含所述预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。
2.如权利要求1所述的内容安全的审核方法，其特征在于，所述方法的步骤还包括：
若所述待审核内容中不包含所述预设的过滤内容，则审核通过，并将所述待审核内容存储到播放内容库，以及将审核通过结果发送至所述终端。
3.如权利要求1所述的内容安全的审核方法，其特征在于，所述待审核内容包括待审核图像和待审核视频，
所述获取待审核内容的步骤包括：
获取待审核图像和待审核视频；
对所述待审核图像与所述待审核视频进行初始化处理，所述初始化包括对所述待审核图像与所述待审核视频进行去重与聚类；
将初始化处理后的所述待审核图像与所述待审核视频添加到临时存储区进行临时存储。
4.如权利要求3所述的内容安全的审核方法，其特征在于，所述待审核图像包括第一特征属性，所述待审核视频包括第二特征属性，
所述对待审核图像与所述待审核视频进行初始化处理的步骤包括：
将所有的所述待审核图像的所述第一特征属性进行比较，得到任意两个所述待审核图像的第一图像特征属性相似度；
将所有的所述待审核视频的所述第二特征属性进行比较，得到任意两个所述待审核视频的第一视频特征属性相似度；
将所述第一图像特征属性相似度达到第一预设图像相似度阈值的图像进行去重，以及将所述第一视频特征属性相似度达到第一预设视频相似度阈值的视频进行去重。
5.如权利要求3所述的内容安全的审核方法，其特征在于，所述通过识别服务器对所述待审核内容进行审核，判断所述待审核内容中是否包含预设的过滤内容的步骤包括:
通过所述识别服务器接收从所述播放内容库中转发的所述待审核图像与所述待审核视频；
提取所述待审核图像的所述第一特征属性、所述待审核视频的所述第二特征属性以及所述预设的过滤内容中的第三特征属性；
将所述待审核图像的所述第一特征属性与所述预设的过滤内容中的第三特征属性进行相似度计算，得到第二图像特征属性相似度；
将所述待审核视频的所述第二特征属性与所述预设的过滤内容中的第三特征属性进行相似度计算，得到第二视频特征属性相似度；
若所述第二图像特征属性相似度达到第二预设图像相似度阈值和/或所述第二视频特征属性相似度达到第二预设视频相似度阈值，则判断所述待审核图像和/或所述待审核视频中包括所述预设的过滤内容。
6.一种内容安全的审核装置，用于对智慧照明挂载的可播放视频和文字显示屏中的内容进行审核，其特征在于，装置包括：
获取模块，用于获取待审核内容；
审核模块，用于通过识别服务器对所述待审核内容进行审核，判断所述待审核内容中是否包含预设的过滤内容；
第一发送模块，用于若所述待审核内容中包含所述预设的过滤内容，则终止审核，并将审核不通过结果发送至终端。
7.如权利要求6所述的内容安全的审核装置，其特征在于，所述装置还包括：
第二发送模块，用于若所述待审核内容中不包含所述预设的过滤内容，则审核通过，并将所述待审核内容存储到播放内容库，以及将审核通过结果发送至所述终端。
8.如权利要求6所述的内容安全的审核装置，其特征在于，所述待审核内容包括待审核图像和待审核视频，
所述获取模块包括：
获取子模块，用于获取待审核图像和待审核视频；
初始化子模块，用于对所述待审核图像与所述待审核视频进行初始化处理，所述初始化包括对所述待审核图像与所述待审核视频进行去重与聚类；
添加子模块，用于将初始化处理后的所述待审核图像与所述待审核视频添加到临时存储区进行临时存储。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的内容安全的审核方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的内容安全的审核方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011564467.0A CN112597339A (zh) | 2020-12-25 | 2020-12-25 | 一种内容安全的审核方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011564467.0A CN112597339A (zh) | 2020-12-25 | 2020-12-25 | 一种内容安全的审核方法、装置及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112597339A true CN112597339A (zh) | 2021-04-02 |
Family
ID=75202261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011564467.0A Pending CN112597339A (zh) | 2020-12-25 | 2020-12-25 | 一种内容安全的审核方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597339A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359815A (zh) * | 2022-01-13 | 2022-04-15 | 南京讯思雅信息科技有限公司 | 一种快速审核视频内容的处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596559A (zh) * | 2018-03-22 | 2018-09-28 | 平安信托有限责任公司 | 任务自动化审核方法、装置、设备及存储介质 |
| CN109284894A (zh) * | 2018-08-10 | 2019-01-29 | 广州虎牙信息科技有限公司 | 图片审核方法、装置、存储介质和计算机设备 |
| CN109756746A (zh) * | 2018-12-28 | 2019-05-14 | 广州华多网络科技有限公司 | 视频审核方法、装置、服务器及存储介质 |
| CN110418161A (zh) * | 2019-08-02 | 2019-11-05 | 广州虎牙科技有限公司 | 视频审核方法及装置、电子设备及可读存储介质 |
| CN111159445A (zh) * | 2019-12-30 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种图片过滤方法、装置、电子设备及存储介质 |
| CN111859237A (zh) * | 2020-07-23 | 2020-10-30 | 恒安嘉新（北京）科技股份公司 | 网络内容审核方法、装置、电子设备、及存储介质 |
-
2020
- 2020-12-25 CN CN202011564467.0A patent/CN112597339A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596559A (zh) * | 2018-03-22 | 2018-09-28 | 平安信托有限责任公司 | 任务自动化审核方法、装置、设备及存储介质 |
| CN109284894A (zh) * | 2018-08-10 | 2019-01-29 | 广州虎牙信息科技有限公司 | 图片审核方法、装置、存储介质和计算机设备 |
| CN109756746A (zh) * | 2018-12-28 | 2019-05-14 | 广州华多网络科技有限公司 | 视频审核方法、装置、服务器及存储介质 |
| CN110418161A (zh) * | 2019-08-02 | 2019-11-05 | 广州虎牙科技有限公司 | 视频审核方法及装置、电子设备及可读存储介质 |
| CN111159445A (zh) * | 2019-12-30 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种图片过滤方法、装置、电子设备及存储介质 |
| CN111859237A (zh) * | 2020-07-23 | 2020-10-30 | 恒安嘉新（北京）科技股份公司 | 网络内容审核方法、装置、电子设备、及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359815A (zh) * | 2022-01-13 | 2022-04-15 | 南京讯思雅信息科技有限公司 | 一种快速审核视频内容的处理方法 |
| CN114359815B (zh) * | 2022-01-13 | 2024-04-16 | 南京讯思雅信息科技有限公司 | 一种快速审核视频内容的处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109450771B (zh) | 添加好友的方法、装置、计算机设备及存储介质 | |
| CN110418161A (zh) | 视频审核方法及装置、电子设备及可读存储介质 | |
| CN113903363B (zh) | 基于人工智能的违规行为检测方法、装置、设备及介质 | |
| US8311271B2 (en) | Image processing apparatus and image processing method | |
| CN111950621A (zh) | 基于人工智能的目标数据检测方法、装置、设备及介质 | |
| CN112949620B (zh) | 基于人工智能的场景分类方法、装置及电子设备 | |
| US20230410221A1 (en) | Information processing apparatus, control method, and program | |
| CN114219971A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN103985158A (zh) | 火车票一体化自动闸机和自动验证方法 | |
| CN112597339A (zh) | 一种内容安全的审核方法、装置及相关设备 | |
| CN114677650B (zh) | 地铁乘客行人违法行为智能分析方法及装置 | |
| CN112507314A (zh) | 客户身份核实方法、装置、电子设备及存储介质 | |
| CN112530597A (zh) | 基于Bert字模型的数据表分类方法、装置及介质 | |
| CN109635625A (zh) | 智能身份核验方法、设备、存储介质及装置 | |
| CN110135875A (zh) | 推广信息投放频率控制方法、装置、设备及存储介质 | |
| CN116883909A (zh) | 直播敏感图像识别方法、装置、计算机设备和存储介质 | |
| US20230054330A1 (en) | Methods, systems, and media for generating video classifications using multimodal video analysis | |
| CN114693435A (zh) | 催收名单的智能回访的方法、装置、电子设备及存储介质 | |
| CN109598190A (zh) | 用于动作识别的方法、装置、计算机设备及存储介质 | |
| CN114996360A (zh) | 数据分析方法、系统、可读存储介质及计算机设备 | |
| CN113704430A (zh) | 智能辅助催收方法、装置、电子设备及存储介质 | |
| CN113888760A (zh) | 基于软件应用的违规信息监控方法、装置、设备及介质 | |
| JP7215815B1 (ja) | 情報処理装置、プログラムおよび情報処理方法 | |
| CN111753872A (zh) | 串并案关联性分析方法、装置、设备和存储介质 | |
| CN111988506B (zh) | 补光方法及装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210402 |
|
| RJ01 | Rejection of invention patent application after publication |