CN111104576A - 网页识别的处理方法、装置、系统及电子设备 - Google Patents
网页识别的处理方法、装置、系统及电子设备 Download PDFInfo
- Publication number
- CN111104576A CN111104576A CN201811271362.9A CN201811271362A CN111104576A CN 111104576 A CN111104576 A CN 111104576A CN 201811271362 A CN201811271362 A CN 201811271362A CN 111104576 A CN111104576 A CN 111104576A
- Authority
- CN
- China
- Prior art keywords
- webpage
- error
- alarm
- identification
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000012545 processing Methods 0.000 claims abstract description 172
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了本发明实施例的网页识别的处理方法、装置、系统及电子设备,其中,方法包括:获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警;获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存;使用该错误案例对网页识别模型进行训练,以更新网页识别模型。本发明实施例利用了报警处理平台的处理结果来辅助获取错误案例,提高了训练数据的丰富性和有效性,从而能够不断更新网页识别模型,以进一步提高模型对网页错误识别的准确率。
Description
技术领域
本申请涉及一种网页识别的处理方法、装置、系统及电子设备,属于计算机技术领域。
背景技术
现有技术中,对于网页页面是否出现错误的测试以及日常监控,会采用机器学习模型来辅助处理。例如,采用以CNN(卷积神经网络)为代表的深度学习算法,此类算法基于特征值的比较为基础。这类算法比较智能,能够总结出特征值进行对比,但是存在的问题是需要的训练数据较大,在训练数据不足时容易误判,因此,其准确度还有待提升。
发明内容
本发明实施例提供一种网页识别的处理方法、装置、系统及电子设备,以提高网页识别模型的准确率。
为了实现上述目的,本发明实施例提供了一种网页识别的处理方法,包括:
获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警;
获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存;
使用该错误案例对所述网页识别模型进行训练,以更新所述网页识别模型。
本发明实施例还提供了一种网页识别的处理装置,包括:
网页识别控制模块,用于获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警;
错误案例生成模块,用于获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存;
模型训练模块,用于使用该错误案例对所述网页识别模型进行训练,以更新所述网页识别模型。
本发明实施例还提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于如下处理:
获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警;
获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存;
使用该错误案例对所述网页识别模型进行训练,以更新所述网页识别模型。
本发明实施例还提供了一种网页识别的处理系统,包括:
网页错误识别装置,用于对网页进行图片抓取,生成网页图片,并使用网页识别模型对网页图片进行识别,以及在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
报警处理平台,用于对网页错误报警进行处理,如果在处理的过程中,判定该网页错误报警为误报,则将该网页错误报警对应的网页图片作为错误案例进行存储;
模型训练装置,用于从报警处理平台获取错误案例,并使用该错误案例对所述网页识别模型进行训练。
本发明实施例还提供了一种网页识别的处理方法,其中,包括:
对网页进行图片抓取,生成网页图片;
使用网页识别模型对网页图片进行识别;
在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
本发明实施例还提供了一种网页识别的处理方法,其中,包括:
从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片;
定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。
本发明实施例还提供了一种网页识别的处理装置,包括:
网页抓取模块,用于对网页进行图片抓取,生成网页图片;
网页识别模块,用于使用网页识别模型对网页图片进行识别,并在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
模型更新模块,用于定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
本发明实施例还提供了一种网页识别的处理装置,包括:
错误案例获取模块,用于从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片;
模型更新训练模块,用于定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。
本发明实施例还提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于如下处理:
对网页进行图片抓取,生成网页图片;
使用网页识别模型对网页图片进行识别;
在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
本发明实施例还提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于如下处理:
从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片;
定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。
本发明实施例的网页识别的处理方法、装置、系统及电子设备,利用了报警处理平台的处理结果来辅助获取错误案例,提高了训练数据的丰富性和有效性,从而能够不断更新网页识别模型,以进一步提高模型对网页错误识别的准确率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例的网页识别的处理技术的应用场景示意图;
图2为本发明实施例的网页识别的处理方法的流程示意图;
图3为本发明实施例的网页识别的处理装置的结构示意图;
图4为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,其为本发明实施例的网页识别的处理技术的应用场景示意图。在批量网页测试以及日常网页运行状况的监控中,会引入机器学习模型来对网页是否正常进行识别,在本发明实施例中,称这种机器学习模型为网页识别模型。该网页识别模型的输入为网页图片,输出为针对该网页图片的识别结果,具体可以为网页错误或者网页正常的分类结果。为了让网页识别模型具有识别能力,需要使用大量的训练数据来进行训练。当训练数据不足时,很可能会存在识别准确率低下的问题,并且,由于网页错误也是层出不穷,使用已有训练数据训练处的模型,不一定会适应新的网页变化。
针对这种情况,本发明实施例充分利用网站的报警处理平台来搜集一些错误案例(bad case)作为训练数据,并使用这些错误案例,反过来再训练网页识别模型,以对网页识别模型进行更新。对于一些大的网站来说,都会设置专门的报警处理平台,用来处理网站运营过程中的各种问题,这些报警处理平台也会与人工介入,从而会问题进行深入分析和判断,然后执行适当的处理以解决问题。
在本发明实施例中,将网页识别模型识别出的网页错误的识别结果,以触发报警的形式,发送至报警处理平台,以触发后续的报警处理。然后,利用报警处理平台的处理结果来确认网页识别模型的识别结果是否准确,如果不准确,就形成一个错误案例反馈到网页识别模型的训练数据库中,然后,使用该错误案例对网页识别模型进行训练,从而来不断更新网页识别模型,以不断提高网页识别模型的识别准确性。
下面通过一些具体实施例来进一步说明本发明的技术方案。
实施例一
如图2所示,其为本发明实施例的网页识别的处理方法的流程示意图,该方法包括:
S101:获取网页识别模型对网页图片进行识别的识别结果,对识别结果进行判断,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警。在该步骤中,如果识别结果为网页正常,则可以不做任何处理。
S102:获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存。在该步骤中,如果报警处理平台认为报警是正确的,则执行正常的针对报警事件的处理流程,而不会形成错误案例。该步骤中产生的错误案例可以暂时存储在与网页识别模型关联的训练数据库中,在该训练数据库中可以包含有针对该模型的常规训练数据(例如创建模型之初使用的初始训练数据)和在后续使用过程中不断增加的错误案例的训练数据。
具体地,可以通过对报警处理平台的处理行为进行监控来判断是否为误报,例如,在人工介入处理的过程中,如果工作人员直接选择忽略该错误报警处理,则可以认为该网页错误报警为误报。此外,工作人员也可能会直接将该上报的网页图片标记为正常网页,这样也可以确定为误报。
S103:使用该错误案例对网页识别模型进行训练,以更新网页识别模型。在实际使用中,网页识别模型可以进行定期更新,以预设的时间间隔(例如每天或者每小时)检测是否收到新的错误案例,如果检测到一个或多个新的错误案例,则使用该一个或多个新的错误案例对网页识别模型进行训练,以更新网页识别模型。
其中,在上述步骤S101中,触发网页识别模型进行网页图片识别的场景有很多,常见的有如下三种情形:
1)网页批量测试
为了对网站进行测试,会设计专门的网页测试脚本,该网页测试脚本的主要功能是对批量运行网页,并抓取网页图片,然后调用网页识别模型进行识别。例如,可以设计一个网页测试脚本对某个购物平台的网页进行测试,在购物网站的搜索页面中,分别体恤,衬衫,手机,裙子等10个关键字搜素,然后,对每个打开的网页进行抓图,并调用网页识别模型对抓取的网页图片进行识别,如果识别出网页错误,则可以向报警处理平台进行报警。
此外,在上述的针对多个网页图片进行测试的网页测试脚本中,在对多个网页图片进行识别并生成识别结果之后,可以对多个识别结果进行统计判断,如果识别结果为网页错误的网页图片数量和/或比率超过预设的阈值,则将被识别为网页错误的网页图片发送给报警处理平台,并触发网页错误报警,否则,可以不触发网页错误报警,从而减少报警次数,以避免频繁报警。
2)舆情监控
在一些舆情处理系统中,用户在反映网页问题时,会同时上报的一些网页图片。可以将这些网页图片也交给网页识别模型进行识别,生成识别结果,如果识别出网页错误,则也可以向报警处理平台进行报警。
3)日常网页监控
在网站的正常运行过程中,也可以定期地执行网页测试,抓取图片进行自动识别,以对网页运行是否正常进行监控。
本发明实施例的网页识别的处理方法,利用了报警处理平台的处理结果来辅助获取错误案例,提高了训练数据的丰富性和有效性,从而能够不断更新网页识别模型,以进一步提高模型对网页错误识别的准确率。
实施例二
如图3所示,其为本发明实施例的网页识别的处理装置的结构示意图,该装置包括:
网页识别控制模块11,用于获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警。
错误案例生成模块12,用于获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存。具体地,可以通过对报警处理平台的处理行为进行监控来判断是否为误报,例如,在人工介入处理的过程中,如果工作人员直接选择忽略该错误报警处理,则可以认为该网页错误报警为误报。此外,工作人员也可能会直接将该上报的网页图片标记为正常网页,这样也可以确定为误报。
模型训练模块13,用于使用该错误案例对网页识别模型进行训练,以更新网页识别模型。在实际使用中,网页识别模型可以进行定期更新,以预设的时间间隔(例如每天或者每小时)检测是否收到新的错误案例,如果检测到一个或多个新的错误案例,则使用该一个或多个新的错误案例对网页识别模型进行训练,以更新网页识别模型。
对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述,在此不再赘述。
本发明实施例的网页识别的处理装置,利用了报警处理平台的处理结果来辅助获取错误案例,提高了训练数据的丰富性和有效性,从而能够不断更新网页识别模型,以进一步提高模型对网页错误识别的准确率。
实施例三
本实施例描述一种网页识别的处理系统,该系统包括网页错误识别装置、报警处理平台以及模型训练装置。其中,网页错误识别装置和模型训练装置可以设置于图1所示的网站平台之上,也可以分别作为独立的服务器执行相应的功能,也可以将网页错误识别装置和模型训练装置设置在一个服务器中执行相应的功能。
其中,网页错误识别装置,用于对网页进行图片抓取,生成网页图片,并使用网页识别模型对网页图片进行识别,以及在该识别结果为网页错误的情况下,向报警处理平台网页错误报警。前述的网页识别模型设置于网页错误识别装置,并作为该装置核心部分。
报警处理平台,用于对网页错误报警进行处理,如果在处理的过程中,判定该网页错误报警为误报,则将该网页错误报警对应的网页图片作为错误案例进行存储。在本发明中,报警处理平台除了执行一般性的报警处理之外,还执行了错误案例的搜集工作。
模型训练装置,用于从报警处理平台获取错误案例,并使用该错误案例对所述网页识别模型进行训练。
实施例四
本实施例描述一种网页识别的处理方法,该方法可以运行在图1所示的网页平台上,或者运行于网页平台以外的服务器中,其主要作用是对网页平台上的网页进行错误检测,该方法包括:
S201:对网页进行图片抓取,生成网页图片;
S202:使用网页识别模型对网页图片进行识别;
S203:在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
S204:定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
实施例五
本实施例描述一种网页识别的处理方法,该方法可以运行在图1所示的网页平台上,或者运行于网页平台以外的服务器中,其主要作用是进行错误案例搜集,并更新网页识别模型,该方法包括:
S301:从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片。搜集到的错误案例可以存储在训练数据库中。
S302:定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。新的网页识别模型生成后,可以替换已有的网页识别模型,这样通过使用错误案例不断地对网页识别模型进行训练,能够不断提高网页识别模型对网页错误识别的准确度。
实施例六
本实施例描述一种网页识别的处理装置,该装置可以设置在图1所示的网页平台上,或者设置在网页平台以外的服务器中,其主要作用是对网页平台上的网页进行错误检测,包括:
网页抓取模块,用于对网页进行图片抓取,生成网页图片;
网页识别模块,用于使用网页识别模型对网页图片进行识别,并在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
模型更新模块,用于定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
实施例七
本实施例描述一种网页识别的处理装置,该装置可以设置在图1所示的网页平台上,或者设置于网页平台以外的服务器中,其主要作用是进行错误案例搜集,并更新网页识别模型,包括:
错误案例获取模块,用于从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片;
模型更新训练模块,用于定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。新的网页识别模型生成后,可以替换已有的网页识别模型,这样通过使用错误案例不断地对网页识别模型进行训练,能够不断提高网页识别模型对网页错误识别的准确度。
实施例八
前面实施例描述了本发明实施例的流程处理及装置结构,上述的方法和装置的功能可借助一种电子设备实现完成,如图4所示,其为本发明实施例的电子设备的结构示意图,具体包括:存储器110和处理器120。
存储器110,用于存储程序。
除上述程序之外,存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器120,耦合至存储器110,用于执行存储器110中的程序,以用于执行如下处理:
获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警;
获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存;
使用该错误案例对网页识别模型进行训练,以更新网页识别模型。
其中,获取报警处理平台针对该网页错误报警的处理结果可以包括:
监控报警处理平台针对网页错误报警的处理行为,如果监控到选择忽略该网页错误报警的处理行为或者监控到将该网页图片标记为正常网页的处理行为,则确定为误报处理。
其中,获取网页识别模型对网页图片进行识别的识别结果可以包括:
运行网页测试脚本,抓取网页图片;
调用网页识别模型,对抓取的网页图片进行识别,生成识别结果。
其中,获取网页识别模型对网页图片进行识别的识别结果可以包括:
获取舆情监控系统上报的网页图片;
调用网页识别模型,对抓取的网页图片进行识别,生成识别结果。
其中,使用该错误案例对网页识别模型进行训练,以更新网页识别模型可以包括:
以预设的时间间隔检测是否收到新的错误案例,如果检测到一个或多个新的错误案例,则使用该一个或多个新的错误案例对网页识别模型进行训练,以更新网页识别模型。
其中,获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警可以包括:
运行网页测试脚本,生成多个网页,并对各个网页抓取网页图片;
调用网页识别模型,对抓取的多个网页图片进行识别,生成识别结果;
如果识别结果为网页错误的网页图片数量和/或比率超过预设的阈值,则将被识别为网页错误的网页图片发送给报警处理平台,并触发网页错误报警。
作为另外一种电子设备的实施例,其包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于如下处理:
对网页进行图片抓取,生成网页图片;
使用网页识别模型对网页图片进行识别;
在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
作为另外一种电子设备的实施例,其包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于如下处理:
从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片;
定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。
对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述,在此不再赘述。
进一步,如图所示,电子设备还可以包括:通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件,并不意味着电子设备只包括图中所示组件。
通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件130还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
电源组件140,为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件150被配置为输出和/或输入音频信号。例如,音频组件150包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中,音频组件150还包括一个扬声器,用于输出音频信号。
显示器160包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (16)
1.一种网页识别的处理方法,包括:
获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警;
获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存;
使用该错误案例对所述网页识别模型进行训练,以更新所述网页识别模型。
2.根据权利要求1所述的方法,其中,所述获取报警处理平台针对该网页错误报警的处理结果,包括:
监控所述报警处理平台针对所述网页错误报警的处理行为,如果监控到选择忽略该网页错误报警的处理行为或者监控到将该网页图片标记为正常网页的处理行为,则确定为误报处理。
3.根据权利要求1所述的方法,其中,所述获取网页识别模型对网页图片进行识别的识别结果,包括:
运行网页测试脚本,抓取网页图片;
调用网页识别模型,对抓取的网页图片进行识别,生成识别结果。
4.根据权利要求1所述的方法,其中,所述获取网页识别模型对网页图片进行识别的识别结果,包括:
获取舆情监控系统上报的网页图片;
调用网页识别模型,对抓取的网页图片进行识别,生成识别结果。
5.根据权利要求1所述的方法,其中,使用该错误案例对所述网页识别模型进行训练,以更新所述网页识别模型包括:
以预设的时间间隔检测是否收到新的错误案例,如果检测到一个或多个新的错误案例,则使用该一个或多个新的错误案例对所述网页识别模型进行训练,以更新所述网页识别模型。
6.根据权利要求1所述的方法,其中,所述获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警包括:
运行网页测试脚本,生成多个网页,并对各个网页抓取网页图片;
调用网页识别模型,对抓取的多个网页图片进行识别,生成识别结果;
如果识别结果为网页错误的网页图片数量和/或比率超过预设的阈值,则将被识别为网页错误的网页图片发送给报警处理平台,并触发网页错误报警。
7.一种网页识别的处理装置,包括:
网页识别控制模块,用于获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警;
错误案例生成模块,用于获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存;
模型训练模块,用于使用该错误案例对所述网页识别模型进行训练,以更新所述网页识别模型。
8.根据权利要求7所述的装置,其中,所述获取报警处理平台针对该网页错误报警的处理结果,包括:
监控所述报警处理平台针对所述网页错误报警的处理行为,如果监控到选择忽略该网页错误报警的处理行为或者监控到将该网页图片标记为正常网页的处理行为,则确定为误报处理。
9.一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于如下处理:
获取网页识别模型对网页图片进行识别的识别结果,如果该识别结果为网页错误,则将该网页图片发送给报警处理平台,并触发网页错误报警;
获取报警处理平台针对该网页错误报警的处理结果,如果处理结果为将该网页错误报警作为误报处理,则将该网页图片作为错误案例进行保存;
使用该错误案例对所述网页识别模型进行训练,以更新所述网页识别模型。
10.一种网页识别的处理系统,包括:
网页错误识别装置,用于对网页进行图片抓取,生成网页图片,并使用网页识别模型对网页图片进行识别,以及在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
报警处理平台,用于对网页错误报警进行处理,如果在处理的过程中,判定该网页错误报警为误报,则将该网页错误报警对应的网页图片作为错误案例进行存储;
模型训练装置,用于从报警处理平台获取错误案例,并使用该错误案例对所述网页识别模型进行训练。
11.一种网页识别的处理方法,其中,包括:
对网页进行图片抓取,生成网页图片;
使用网页识别模型对网页图片进行识别;
在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
12.一种网页识别的处理方法,其中,包括:
从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片;
定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。
13.一种网页识别的处理装置,包括:
网页抓取模块,用于对网页进行图片抓取,生成网页图片;
网页识别模块,用于使用网页识别模型对网页图片进行识别,并在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
模型更新模块,用于定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
14.一种网页识别的处理装置,包括:
错误案例获取模块,用于从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片;
模型更新训练模块,用于定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。
15.一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于如下处理:
对网页进行图片抓取,生成网页图片;
使用网页识别模型对网页图片进行识别;
在该识别结果为网页错误的情况下,向报警处理平台网页错误报警;
定期获取使用错误案例训练后的新的网页识别模型,更新已有的网页识别模型,所述错误案例为被报警处理平台识别为误报的网页图片。
16.一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于如下处理:
从报警处理平台获取错误案例,所述错误案例为被报警处理平台识别为误报的网页图片;
定期用获取到的错误案例,对网页识别模型进行训练,生成新的网页识别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811271362.9A CN111104576A (zh) | 2018-10-29 | 2018-10-29 | 网页识别的处理方法、装置、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811271362.9A CN111104576A (zh) | 2018-10-29 | 2018-10-29 | 网页识别的处理方法、装置、系统及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111104576A true CN111104576A (zh) | 2020-05-05 |
Family
ID=70420076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811271362.9A Pending CN111104576A (zh) | 2018-10-29 | 2018-10-29 | 网页识别的处理方法、装置、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111104576A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446441A (zh) * | 2021-02-01 | 2021-03-05 | 北京世纪好未来教育科技有限公司 | 模型训练数据筛选方法、装置、设备及存储介质 |
CN112732515A (zh) * | 2020-12-28 | 2021-04-30 | 广州品唯软件有限公司 | 扫描页面异常降噪方法、系统和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107204956A (zh) * | 2016-03-16 | 2017-09-26 | 腾讯科技(深圳)有限公司 | 网站识别方法及装置 |
CN107832774A (zh) * | 2017-10-09 | 2018-03-23 | 无线生活(杭州)信息科技有限公司 | 一种页面异常检测方法及装置 |
-
2018
- 2018-10-29 CN CN201811271362.9A patent/CN111104576A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107204956A (zh) * | 2016-03-16 | 2017-09-26 | 腾讯科技(深圳)有限公司 | 网站识别方法及装置 |
CN107832774A (zh) * | 2017-10-09 | 2018-03-23 | 无线生活(杭州)信息科技有限公司 | 一种页面异常检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
赖清楠;陈诗洋;马皓;张蓓;: "基于机器学习的批量网页篡改检测方法" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112732515A (zh) * | 2020-12-28 | 2021-04-30 | 广州品唯软件有限公司 | 扫描页面异常降噪方法、系统和存储介质 |
CN112446441A (zh) * | 2021-02-01 | 2021-03-05 | 北京世纪好未来教育科技有限公司 | 模型训练数据筛选方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110365703B (zh) | 物联网终端异常状态检测方法、装置及终端设备 | |
US10424175B2 (en) | Motion detection system based on user feedback | |
EP3767553A1 (en) | Method and device for detecting anomalies, corresponding computer program product and non-transitory computer-readable carrier medium | |
CN110069401B (zh) | 基于数据建模的系统测试异常定位方法及系统 | |
EP3855360A1 (en) | Method and device for training image recognition model, and storage medium | |
CN111078446B (zh) | 一种故障信息获取方法、装置、电子设备及存储介质 | |
CN111752793A (zh) | 系统异常的监控方法、装置、计算机设备及存储介质 | |
CN103279383B (zh) | 一种具有二维码扫描功能的拍照方法及系统 | |
CN103914523A (zh) | 页面回退控制方法及装置 | |
CN106162362B (zh) | 一种视频播放方法及播放器 | |
CN112749305B (zh) | 基于人工智能的监测数据管理方法、系统、设备及介质 | |
CN111104576A (zh) | 网页识别的处理方法、装置、系统及电子设备 | |
CN116701031A (zh) | 一种微服务系统中的根因模型训练方法、分析方法及装置 | |
CN111310351A (zh) | 车间设备的状态监测方法、装置、终端设备及存储介质 | |
CN112612393B (zh) | 界面功能的交互方法及装置 | |
KR101744696B1 (ko) | 정보 필터링 방법, 장치, 프로그램 및 저장매체 | |
CN109766247A (zh) | 基于系统数据监控的报警设置方法及系统 | |
CN109086157A (zh) | 日志追踪方法、装置、电子设备及存储介质 | |
CN111913850A (zh) | 数据异常检测方法、装置、设备和存储介质 | |
CN112988776B (zh) | 文本解析规则的更新方法、装置、设备及可读存储介质 | |
CN111124721B (zh) | 网页处理方法、装置及电子设备 | |
CN113839852B (zh) | 邮件账号异常检测方法、装置及存储介质 | |
CN114121042A (zh) | 免唤醒场景下的语音检测方法、装置及电子设备 | |
CN111382061B (zh) | 一种测试方法、装置、介质和电子设备 | |
CN112433877A (zh) | 应用启动崩溃的检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200505 |