CN108415807A - 一种爬取监控电子设备是否浏览不良信息的方法 - Google Patents

一种爬取监控电子设备是否浏览不良信息的方法 Download PDF

Info

Publication number
CN108415807A
CN108415807A CN201810146298.5A CN201810146298A CN108415807A CN 108415807 A CN108415807 A CN 108415807A CN 201810146298 A CN201810146298 A CN 201810146298A CN 108415807 A CN108415807 A CN 108415807A
Authority
CN
China
Prior art keywords
flame
deep learning
electronic equipment
browsing
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810146298.5A
Other languages
English (en)
Inventor
宣继托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Digital Peak Technology Co Ltd
Chengdu Rui Code Technology Co Ltd
Original Assignee
Hangzhou Digital Peak Technology Co Ltd
Chengdu Rui Code Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Digital Peak Technology Co Ltd, Chengdu Rui Code Technology Co Ltd filed Critical Hangzhou Digital Peak Technology Co Ltd
Priority to CN201810146298.5A priority Critical patent/CN108415807A/zh
Publication of CN108415807A publication Critical patent/CN108415807A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种爬取监控电子设备是否浏览不良信息的方法，所述方法包括：基于计算机训练出鉴别不良信息的深度学习模型；将训练出的深度学习模型转换到神经网络处理引擎对应的格式；获取用户在电子设备上的浏览内容，基于转换格式后的深度学习模型对用户浏览的内容进行识别，输出识别结果正常或存在不良信息；将识别结果发送到预设监控终端。实现了实时对用户浏览的内容进行监控，且能够智能识别判断用户浏览内容是否不良，识别速度快的技术效果。

Description

一种爬取监控电子设备是否浏览不良信息的方法
技术领域
本发明涉及电子设备信息安全监测领域，具体地，涉及一种爬取监控电子设备是否浏览不良信息的方法。
背景技术
据最新针对中小学生的调查，该群体手机拥有率达46.6％，手机上网普及率达39.5％。
面对纷繁复杂的互联网内容，中小学生在使用手机的过程中很有可能接触到一些不良信息，特别是一些涉黄的信息。在这方面各移动手机设备制造商很少对这些内容进行监控，市面上也缺少这样的第三方服务提供商,这使得使用移动手机设备的中小学生就有机会接触到这些涉黄信息，造成身心的伤害。在现有技术中，主要采用家长人工进行监测或者设置手机使用权限，监控效率较低，且监控的效果较差。
发明内容
本发明提供了一种爬取监控电子设备是否浏览不良信息的方法，解决了现有的监控方法存在的不足，实现了实时对用户浏览的内容进行监控，且能够智能识别判断用户浏览内容是否不良，识别速度快的技术效果。
为实现上述发明目的，本申请提供了一种爬取监控电子设备是否浏览不良信息的方法，所述方法包括：
基于计算机训练出鉴别不良信息的深度学习模型；
将训练出的深度学习模型转换到神经网络处理引擎对应的格式；
获取用户在电子设备上的浏览内容，基于转换格式后的深度学习模型对用户浏览的内容进行识别，输出识别结果正常或存在不良信息；
将识别结果发送到预设监控终端。
本申请基于人工智能深度学习方法，发明了一套电子设备，如手机、平板等的不良信息监控的方法，使得目标人群能够安全的浏览健康内容。本申请的突出优点是快速，在深度学习模型的推理运算上，启用GPU加速，可以达到对手机内容实时监控，可以跨App，只要是手机上安装的任何App，都可以对用户行为精准监控并上报。
本申请的方法在适配的手机上，能够实时识别用户浏览的内容。并且能够跨越App，是系统级别的方案，不仅限于某个应用内的内容识别。监控内容不受限于固定形式，图片，视频，gif等媒体类型都支持。
进一步的，所述基于计算机训练出鉴别不良信息的深度学习模型，具体包括：基于卷积神经网络，在inceptionV3的网络结构上，训练出深度学习神经网络；训练部分为：基于10万不良信息张图片的样本集训练，得出的模型在随机的1万张测试样本集中测试通过，准确率达到99.83％。
进一步的，将训练出的深度学习模型转换到神经网络处理引擎对应的DLC格式，神经网络处理引擎的使用流程包括：
(1)通过SNPE SDK加载DLC模型；
(2)准备图片，进行图片的通道转换，裁剪；
(3)将图片的byte格式数据通过SNPE SDK接口，输入推理引擎；
(4)解析推理的结果。(结果一般为float数组)
SNPE的使用流程为：
基于公司的图片数据库，挑选10万张各种类型的性感、色情图片。由样本标记团队标注。
将图片输入到基于caffe深度学习框架的训练引擎进行多次训练。基于1万张测试样本集合反复测试。得出最佳模型。
进一步的，采用系统API ImageReader，此API可以实时不间断获取系统当前界面(无关具体的App)，也就是动态抓屏，我们在抓屏回调函数里面，基于获取的屏幕图像信息(截屏)，进行深度学习网络的推理。得出当前屏幕图像信息是否是不良信息。
进一步的，所述方法实时截取电子设备显示屏显示内容，并将截取的内容传输给深度学习模型进行识别。
进一步的，在Android系统上，通过系统提供的API接口：ImageReader截取电子设备显示屏显示内容，通过此接口的回调函数ImageReader.OnImageAvailableListener，不断获取屏幕截图。
本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于做了速度优化，可以在200ms内连续抓取屏幕内容，生成图片，并将突破输入到识别引擎，通过深度学习网络的推理，输出结果；当检测到不良信息时，会在界面提示相关内容，并将结果上报到后台接口；能够智能识别判断用户浏览内容是否不良，识别速度快的技术效果。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；
图1是本申请中爬取监控电子设备是否浏览不良信息的方法的流程示意图。
具体实施方式
本发明提供了一种爬取监控电子设备是否浏览不良信息的方法，解决了现有的监控方法存在的不足，实现了实时对用户浏览的内容进行监控，且能够智能识别判断用户浏览内容是否不良，识别速度快的技术效果。
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
请参考图1，本申请提供了不良信息监控方案示意图，当用户启动监控App，启动东手机屏幕获取服务，不断获取每用户浏览界面，进行解析，当遇到敏感信息时发出警告并通知到监控端。
假设通过深度学习框架(tensorflow或者caffe)训练出的鉴黄模型。基于这个模型我们分为几个步骤：
第一步，对PC上训练出来的深度学习模型进行格式转换。与直接利用PC上训练出来的模型，用CPU来运行模型的推理算法相比，本申请为了提高实时性，能够在用户浏览信息时，做到实时监控(每检测一次用户屏幕监控不到200ms)，本申请启用了GPU并发计算能力，利用GPU的高并发处理能力来处理推理过程中的耗时任务比如：卷积计算。如何利用GPU的并发处理卷积计算能力？高通芯片(骁龙835、625等)提供了最大化利用GPU的计算能力进行网络推理优化的框架SNPE，基于SNPE，本申请首先要利用其提供的格式转换工具，对模型做一个格式转换，由tensorflow或者caffe模型转换到SNPE的DLC格式。这是一种能够让SNPE引擎直接加载的格式。SNPE也提供了官方转换脚本snpe-caffe-to-dlc或snpe-tensorflow-to-dlc。神经网络处理引擎为SNPE。
SNPE的使用流程具体包括：
第二步，获取用户浏览内容,利用深度学习框架进行识别。
当用户穿梭于各个应用之间浏览不同的内容时，本申请中的方法通过截取屏幕内容，保存成图片。传给识别引擎，进行深度神经网络的推理。在Android系统上，截图方法用到了系统提供的API接口：ImageReader。通过此接口的回调函数ImageReader.OnImageAvailableListener，不断获取屏幕截图。
第三步，将识别结果通知到监控端。
从深度学习的识别引擎里输出结果，本方法获取到了当前屏幕内容的安全级别：正常、性感或者色情。当获取到这些信息后，通过后台API接口，发送到服务器，由服务器相应推送此消息到监控人所使用的终端(手机或电脑)。
本发明使用深度学习模型在手机上对用户浏览内容实施监控，如何获取系统范围的内容以及结合人工智能深度学习模型来对其进行精准识别，传统方法里，需要通过应用的数据获取接口来获取要监控的数据，进而进行推理分析，而这些数据接口都属于每个应用的隐私接口，不大可能提供给信息监控方，而且很难做到实时监控。本方案基于深度学习技术的模型，通过模型和推理优化方案，目前可以达到实时检测的效果。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种爬取监控电子设备是否浏览不良信息的方法，其特征在于，所述方法包括：
基于计算机训练出鉴别不良信息的深度学习模型；
将训练出的深度学习模型转换到神经网络处理引擎对应的格式；
获取用户在电子设备上的浏览内容，基于转换格式后的深度学习模型对用户浏览的内容进行识别，输出识别结果正常或存在不良信息；
将识别结果发送到预设监控终端。
2.根据权利要求1所述的爬取监控电子设备是否浏览不良信息的方法，其特征在于，所述基于计算机训练出鉴别不良信息的深度学习模型，具体包括：
基于卷积神经网络，在inceptionV3的网络结构上，训练出深度学习神经网络。
3.根据权利要求2所述的爬取监控电子设备是否浏览不良信息的方法，其特征在于，训练部分为：基于10万不良信息张图片的样本集训练，得出的模型在随机的1万张测试样本集中测试通过。
4.根据权利要求1所述的爬取监控电子设备是否浏览不良信息的方法，其特征在于，将训练出的深度学习模型转换到神经网络处理引擎对应的DLC格式，神经网络处理引擎的使用流程包括：
(1)通过SNPE SDK加载DLC模型；
(2)准备图片，进行图片的通道转换，裁剪；
(3)将图片的byte格式数据通过SNPE SDK接口，输入推理引擎；
(4)解析推理的结果。
5.根据权利要求1所述的爬取监控电子设备是否浏览不良信息的方法，其特征在于，所述方法采用系统API ImageReader，实时获取系统当前界面进行动态抓屏，在抓屏回调函数里面，基于获取的屏幕图像信息，进行深度学习网络的推理，得出当前屏幕图像信息是否是不良信息。
6.根据权利要求1所述的爬取监控电子设备是否浏览不良信息的方法，其特征在于，所述方法实时截取电子设备显示屏显示内容，并将截取的内容传输给深度学习模型进行识别。
7.根据权利要求6所述的爬取监控电子设备是否浏览不良信息的方法，其特征在于，在Android系统上，通过系统提供的API接口：ImageReader截取电子设备显示屏显示内容，通过此接口的回调函数ImageReader.OnImageAvailableListener，不断获取屏幕截图。
CN201810146298.5A 2018-02-12 2018-02-12 一种爬取监控电子设备是否浏览不良信息的方法 Pending CN108415807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810146298.5A CN108415807A (zh) 2018-02-12 2018-02-12 一种爬取监控电子设备是否浏览不良信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810146298.5A CN108415807A (zh) 2018-02-12 2018-02-12 一种爬取监控电子设备是否浏览不良信息的方法

Publications (1)

Publication Number Publication Date
CN108415807A true CN108415807A (zh) 2018-08-17

Family

ID=63128557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810146298.5A Pending CN108415807A (zh) 2018-02-12 2018-02-12 一种爬取监控电子设备是否浏览不良信息的方法

Country Status (1)

Country Link
CN (1) CN108415807A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670544A (zh) * 2018-12-13 2019-04-23 广州小狗机器人技术有限公司 一种物体检测设备及其获取方法、物体检测系统
CN112416276A (zh) * 2020-10-13 2021-02-26 北京匠数科技有限公司 一种显示画面解析装置、系统及方法
CN112947899A (zh) * 2019-12-11 2021-06-11 杭州海康威视数字技术股份有限公司 深度学习模型转换方法、系统及装置
CN113568592A (zh) * 2021-06-25 2021-10-29 展讯半导体(南京)有限公司 终端的显示控制方法、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989330A (zh) * 2015-02-03 2016-10-05 阿里巴巴集团控股有限公司 一种图片检测方法及设备
US20170024088A1 (en) * 2015-07-24 2017-01-26 Digital Praetorian, Inc. Emergency Incident Data Structure Creation and Analysis
CN106682694A (zh) * 2016-12-27 2017-05-17 复旦大学 一种基于深度学习的敏感图像识别方法
CN106778590A (zh) * 2016-12-09 2017-05-31 厦门大学 一种基于卷积神经网络模型的暴恐视频检测方法
CN106951848A (zh) * 2017-03-13 2017-07-14 平安科技（深圳）有限公司 图片识别的方法及系统
CN107229946A (zh) * 2017-05-11 2017-10-03 宸盛科华（北京）科技有限公司 基于人工神经网络的色情图片检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989330A (zh) * 2015-02-03 2016-10-05 阿里巴巴集团控股有限公司 一种图片检测方法及设备
US20170024088A1 (en) * 2015-07-24 2017-01-26 Digital Praetorian, Inc. Emergency Incident Data Structure Creation and Analysis
CN106778590A (zh) * 2016-12-09 2017-05-31 厦门大学 一种基于卷积神经网络模型的暴恐视频检测方法
CN106682694A (zh) * 2016-12-27 2017-05-17 复旦大学 一种基于深度学习的敏感图像识别方法
CN106951848A (zh) * 2017-03-13 2017-07-14 平安科技（深圳）有限公司 图片识别的方法及系统
CN107229946A (zh) * 2017-05-11 2017-10-03 宸盛科华（北京）科技有限公司 基于人工神经网络的色情图片检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QUALCOMM中国: "开发者福利，骁龙神经处理引擎SDK上线", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/28531485》 *
范勇: "文字和图片过滤技术研究", 《中国优秀硕士论文全文库-信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670544A (zh) * 2018-12-13 2019-04-23 广州小狗机器人技术有限公司 一种物体检测设备及其获取方法、物体检测系统
CN112947899A (zh) * 2019-12-11 2021-06-11 杭州海康威视数字技术股份有限公司 深度学习模型转换方法、系统及装置
CN112947899B (zh) * 2019-12-11 2023-09-26 杭州海康威视数字技术股份有限公司 深度学习模型转换方法、系统及装置
CN112416276A (zh) * 2020-10-13 2021-02-26 北京匠数科技有限公司 一种显示画面解析装置、系统及方法
CN112416276B (zh) * 2020-10-13 2021-07-23 北京匠数科技有限公司 一种显示画面解析装置、系统及方法
CN113568592A (zh) * 2021-06-25 2021-10-29 展讯半导体(南京)有限公司 终端的显示控制方法、终端及存储介质

Similar Documents

Publication Publication Date Title
CN109614482B (zh) 标签的处理方法、装置、电子设备及存储介质
CN108415807A (zh) 一种爬取监控电子设备是否浏览不良信息的方法
KR102355973B1 (ko) 스미싱 메시지 판별장치 및 스미싱 메시지 판별방법
CN109886290A (zh) 用户请求的检测方法、装置、计算机设备及存储介质
CN114722937B (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN108304452B (zh) 文章处理方法及装置、存储介质
CN112214605A (zh) 一种文本分类方法和相关装置
CN105893493A (zh) 搜索方法及装置
US11010810B1 (en) Computerized system and method for automatically establishing a network connection for a real-time video conference between users
CN114357278B (zh) 一种话题推荐方法、装置及设备
CN113868427A (zh) 一种数据处理方法、装置及电子设备
CN108197105B (zh) 自然语言处理方法、装置、存储介质及电子设备
CN108897846A (zh) 信息搜索方法、设备及计算机可读存储介质
CN112685578A (zh) 一种多媒体信息内容提供方法及装置
CN114302157B (zh) 属性标签识别、代播事件检测方法及其装置、设备、介质
CN115022098A (zh) 人工智能安全靶场内容推荐方法、装置及存储介质
CN113626624B (zh) 一种资源识别方法和相关装置
CN110597957A (zh) 一种文本信息检索的方法及相关装置
CN109710338A (zh) 一种移动终端的搜索方法、移动终端及存储介质
US20130230248A1 (en) Ensuring validity of the bookmark reference in a collaborative bookmarking system
CN114969333A (zh) 基于数据挖掘的网络信息安全管理方法及装置
CN115525781A (zh) 多模态虚假信息检测方法、装置和设备
CN109471664A (zh) 智能助手管理方法、终端及计算机可读存储介质
CN111353422B (zh) 信息提取方法、装置及电子设备
CN116453005A (zh) 一种视频封面的提取方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180817