CN112597377A - 信息提取模块生成方法、信息提取方法及装置 - Google Patents
信息提取模块生成方法、信息提取方法及装置 Download PDFInfo
- Publication number
- CN112597377A CN112597377A CN202011572677.4A CN202011572677A CN112597377A CN 112597377 A CN112597377 A CN 112597377A CN 202011572677 A CN202011572677 A CN 202011572677A CN 112597377 A CN112597377 A CN 112597377A
- Authority
- CN
- China
- Prior art keywords
- information
- node
- extracted
- information extraction
- target webpage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
Abstract
本公开提供了信息提取模块生成方法、信息提取方法及装置,涉及人工智能领域中的智能搜索和知识图谱技术领域。具体实现方案为:获取待提取信息的目标网页;获取所述目标网页中待提取信息的节点,所述目标网页包括至少一个节点;根据所述待提取信息的节点,获取提取规则;根据所述提取规则,生成针对所述待提取信息的节点的第一信息提取模块。本公开实施例能够提高信息提取效率。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及人工智能领域中的智能搜索和知识图谱技术领域。
背景技术
网络是计算机技术领域最基本的一种信息传递渠道和工具。网页是向用户提供网络信息的一种重要的途径。随着互联网的发展,网页也越来越多样化,网页结构、网页地址种类繁多,增长迅速。
网页信息提取,也可以称为网页内容提取,是分析网络数据的一种重要手段。随着网页数量、网页种类等迅速增加,网页信息提取技术也需要随之改进,以便更高效地提取网页信息。
发明内容
本公开提供了一种用于信息提取模块生成方法、信息提取方法、装置、设备以及存储介质。
根据本公开的一方面,提供了一种信息提取模块生成方法,包括:
获取待提取信息的目标网页;
获取目标网页中待提取信息的节点,目标网页包括至少一个节点;
根据待提取信息的节点,获取提取规则;
根据提取规则,生成针对待提取信息的节点的第一信息提取模块。
根据本公开的另一方面,提供了一种信息提取方法,其中,包括:
采用第一信息提取模块,获取对待提取信息的目标网页所提取的信息;第一信息提取模块为本公开任意一项实施例所提供的第一信息提取模块。
根据本公开的另一方面,提供了一种信息提取模块生成装置,包括:
网页获取模块,用于获取待提取信息的目标网页;
节点获取模块,有益获取目标网页中待提取信息的节点,目标网页包括至少一个节点;
规则模块,用于根据待提取信息的节点,获取提取规则;
生成模块,用于根据提取规则,生成针对待提取信息的节点的第一信息提取模块。
根据本公开的另一方面,提供了一种信息提取装置,其中,包括:
待提取信息提取模块,用于采用第一信息提取模块,获取对待提取信息的目标网页所提取的信息;第一信息提取模块为本公开任意一项实施例所提供的第一信息提取模块。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术提高了网页的信息提取效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一实施例的信息提取模块生成方法示意图;
图2是根据本公开一实施例的信息提取方法示意图;
图3是根据本公开另一实施例的信息提取方法示意图;
图4A是根据本公开一示例的信息提取方法示意图;
图4B是根据本公开一示例的信息提取方法应用示意图;
图5是根据本公开一实施例的信息提取模块生成装置示意图;
图6是根据本公开另一实施例的信息提取模块生成装置示意图;
图7是根据本公开又一实施例的信息提取模块生成装置示意图;
图8是根据本公开又一实施例的信息提取模块生成装置示意图;
图9是根据本公开一实施例的信息提取装置示意图;
图10是根据本公开另一实施例的信息提取装置示意图;
图11是用来实现本公开实施例的信息提取方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开实施例提供一种信息提取模块生成方法,如图1所示,包括:
步骤S11:获取待提取信息的目标网页;
步骤S12:获取目标网页中待提取信息的节点,目标网页包括至少一个节点;
步骤S13:根据待提取信息的节点,获取提取规则;
步骤S14:根据提取规则,生成针对待提取信息的节点的第一信息提取模块。
本实施例中,待提取信息的目标网页,可以是需要提取信息的网页,具体可以是一个网页或一系列具有共同特点的网页。当目标网页为具有共同特点的一系列网页时,共同特点具体可以包括网址的内容、网页的提供方等。
比如,目标网页可以是地址中带有“http://xxx.yyy”内容字段的网页。再如,目标网页也可以是某个企业推出的任意网页。
目标网页可以是各种类型的网页,如,购物平台的网页、产品介绍的网页。
获取待提取信息的目标网页,具体可以根据对目标网页的选择信息获取。还可以根据输入的目标网页的共同特征获取。还可以根据预设的默认获取规则获取。
目标网页中待提取信息的节点,可以是包含待提取信息的目标网页中的节点,可以是目标网页中多个节点中的一个或多个。比如,可以是目标网页中的文字、目标网页中的图像。
在目标网页为购物平台的网页的情况下,目标网页中待提取信息的节点可以是目标网页中的商品、某类商品、某个具体信号的商品、某个图片、文字、标题、访问数量等。
具体例如,目标网页为购物平台的网页,目标网页中待提取信息的节点为目标网页中的电子产品,则待提取信息的节点可以是目标网页的商品展示界面中、细节展示界面中的电子产品。
再如,目标网页为购物平台的网页,目标网页中待提取信息的节点为某个特定电子产品的销售数量,则待提取信息的节点可以是购物平台上所有包含该特定电子产品销售数量信息的节点。
根据待提取信息的节点,获取提取规则,可以是根据对节点的操作,获取提取规则。还可以是根据对节点预设的默认规则,获取提取规则。
比如,针对某一类网页,提取网页中图片的属性。再如,针对某个网页,提取网页中的销售数量内容。
根据提取规则,生成针对待提取信息的节点的第一信息提取模块,具体可以是,生成能够对同类别或具有共同特征的目标网页的同类别或同系列待提取信息的节点,采用提取规则进行提取的信息提取模块。
本公开实施例中,能够根据目标网页的待提取信息的节点以及提取规则,生成目标网页的信息提取模块,从而,对所有的目标网页、具有共同特诊的网页均能够采用该信息提取模块进行提取,当用于处理大量网页数据时,能够提高网页的信息提取速度。
在一种实施方式中,根据提取规则,生成针对待提取信息的节点的第一信息提取模块,包括:
根据提取规则,获取预生成的第二信息提取模块;
采用第二信息提取模块,预提取目标网页的信息;
在收到预提取信息符合要求的确认信息的情况下,将第二信息提取模块作为第一信息提取模块。
本实施例中,第二信息提取模块是预先生成、测试阶段的第一信息提取模块。
在预先生成第二信息提取模块后,可采用第二信息提取模块对目标网页中待提取信息的节点进行提取。
在收到预提取信息符合要求的确认信息的情况下息,将第二信息提取模块作为第一信息提取模块,具体包括,在收到预提取信息符合设定的要求的确认信息的情况下,将第二信息提取模块作为第一信息提取模块,其中,预提取信息符合设定的要求的确认信息,可以是操作人员在确认了预提取信息之后发送的。
在收到预提取的信息不符合设定要求的否定信息的情况下,可以返回,重新执行图1中步骤S21-S24或S22-S24。
本实施例中,能够预生成第二信息提取模块,在采用第二信息提取模块提取的信息符合设定要求后,生成最终用于提取目标网页的待提取信息的第一信息提取模块,从而,能够确保第一信息提取模块的使用效果符合用户预期。
在一种实施方式中,获取目标网页中待提取信息的节点,包括:
根据对目标网页中的至少一个节点的选定操作,获取待提取信息的节点。
本实施例中,选定操作可以是操作人员对目标网页中的至少一个节点进行点击、圈选、筛选等操作。
示例性的,可以将目标网页呈现给操作人员,使得操作人员能够对网页中可以提取信息的节点进行选择,将操作人员选中的节点作为待提取信息的节点。
示例性的,还可以将目标网页呈现给操作人员,使得操作人员在默认提取网页中所有能够提取信息的节点的情况下,对不需要提取信息的节点进行筛除,将操作人员留下的节点作为待提取信息的节点。
本实施例中,能够根据选定操作,获得待提取信息的节点,从而能够适用于多种类的网页,适用于多样化的信息提取需求。
在一种实施方式中,根据对所述目标网页中的至少一个节点的选定操作,获取所述待提取信息的节点,包括:
根据对至少一个节点的选定操作,确定选定的节点;
根据选定的节点,显示至少一个信息提取操作的类型;
根据对至少一个信息提取操作的类型的选定操作,确定选定的信息提取操作的类型;
根据选定的节点,和选定的信息提取操作的类型,获取待提取信息的节点。
对至少一个节点的选定操作,可以是对目标网页中能够提取信息的节点的选定操作。
根据选定的节点,显示至少一个信息提取操作的类型,可以包括下述至少一种:显示信息提取操作的内容类型,显示信息提取操作的操作类型。内容类型具体比如可以是:提取属性、提取数据、提取标题、提取文字、提取图片等。操作类型具体比如可以是:提取同类节点、提取单个节点等。
本实施例中,能够选定待提取信息的节点,同时能够选择信息提取操作的类型,使得信息提取模块的可定制性得到提高,在提高信息提取效率的同时,能够满足多样化的信息提取需求。
在一种实施方式中,信息提取操作的类型为对同类别的节点进行提取或对单个节点进行提取。
同类别的节点,可以是同一个商品的节点、同一类商品的节点、具有同一类内容的所有节点等。
单个节点,可以是一系列目标网页中,每个目标网页的单个节点。也可以是单独的目标网页中的单个节点。
本实施例中,能够对同类别的节点进行提取,也可以对单个节点进行提取,从而简化了节点选择时的操作,减少操作量,提高信息提取模块的生成效率。
在一种实施方式中,获取目标网页中待提取信息的节点,包括:
根据与目标网页对应的节点规则,获取待提取的节点。
节点规则可以是默认的待提取信息的节点确定规则,比如,在某种类别的目标网页中,默认所有商品的节点为待提取信息的节点。
通过本实施例,能够通过节点规则,覆盖节点提取的一般情况,使得针对较常见的用户需求,无需专门选择待提取信息的节点,减少操作量,提高效率。
本公开实施例还提供一种信息提取方法,如图2所示,包括:
步骤S21:采用第一信息提取模块,获取对待提取信息的目标网页所提取的信息。第一信息提取模块为本公开任意一项实施例所提供的第一信息提取模块。
本实施例中,采用第一信息提取模块对目标网页中待提取信息进行提取,从而,无需对网页专门编写信息提取代码,提高对网页的信息提取效率。
在一种实施方式中,如图3所示,信息提取方法还包括:
步骤S31:根据接收到的浏览器插件启动信息,调用第一信息提取模块,并将浏览器打开的网页作为目标网页。
本实施例中,可以将信息提取模块采用浏览器插件的形式进行设置。用户需要对目标网页中待提取信息的节点进行信息提取时,通过启动浏览器插件即可调用第一信息提取模块,便于用户操作。
本公开一种示例中,可以基于Chrome(谷歌浏览器)插件系统,实现了可视化、智能化操作软件,将复杂的脚本生成过程简化为点击圈选和智能匹配相结合生成的方式,大幅度降低脚本编写门槛并提升了编写效率。
参照图4A,本示例包括如下操作步骤:
步骤S41:安装。支持通过Chrome扩展程序加载已解压的扩展程序方式安装插件,启动信息提取模块的定制流程。
步骤S42:启动。打开需要提取的展现网页。
步骤S43:选择节点。然后点击插件图标,可选【手动抓取】、【PNA(ProductNavigation Ads,产品导航广告)列表智能匹配】、【编辑模式】等类型,点击后即可操作选取站点内容。
其中,【手动抓取】模式下,通过鼠标点击网页上的节点,点击后可通过左侧视图区域显示抓取的节点的内容,确认无误后可选择节点的类型,进行同一目标网页或同类目标网页上同类内容的自动匹配。点击创建可生成一个待提取的点位,可与目标网页中的能够提取信息的节点进行对应,依次进行,直到选取完所有待提取信息的节点。
【PNA列表智能匹配】下,无需用户操作,将通过智能算法对目标网页的特征进行分析,精确匹配站点列表类的内容并自动生成对应待提取信息的点位。
【编辑模式】如需其他类型的智能匹配诸如上述的PNA列表,则可通过该模式创建内容规则。
步骤S44:验证。待提取节点选定完后,点击脚本测试,即可在左侧视图区域查看脚本执行后产出的页面结构化数据,确认数据无误后即可提交测试脚本,从而能够根据测试脚本生成信息提取模块。
步骤S45:任务推送。
点击脚本提交可将生成后的脚本推送到服务端进行任务部署,部署后,可针对同类别的目标网页进行信息提取。
本公开实施例能够应用于多种技术领域,包括智能搜索和知识图谱。可设计的场景包括:无技术能力的广告投放客户的数据内容对接;站点内容检测分析;数据基础收集工具。
在本公开另一种示例中,如图4B所示,用户通过一个或多个目标网页的地址确定目标网页,在弹出(Popup)选项中,通过模式选择,确定节点规则。在后台(Background)中进行节点分析、智能匹配和数据测试,结合目标网页的一个或多个地址,在运行过程(Runtime)中进行预提取,通过对预提取信息的确认,产出信息提取模块的脚本。最终根据脚本产出信息提取模块,可部署在服务器(Sever)侧,接收任务队列中的任务,通过对浏览器的无头运行方式(Headless Runtime)进行信息提取,提取的信息经过数据清洗后,在数据存储模块中存储。
本公开实施例还提供一种信息提取模块生成装置,如图5所示,包括:
网页获取模块51,用于获取待提取信息的目标网页;
节点获取模块52,有益获取目标网页中待提取信息的节点,目标网页包括至少一个节点;
规则模块53,用于根据待提取信息的节点,获取提取规则;
生成模块54,用于根据提取规则,生成针对待提取信息的节点的第一信息提取模块。
在一种实施方式中,如图6所示,生成模块包括:
预生成单元61,用于根据提取规则,获取预生成的第二信息提取模块;
预提取单元62,用于采用第二信息提取模块,预提取目标网页的信息;
预提取判断单元63,用于在收到预提取信息符合要求的确认信息的情况下,将第二信息提取模块作为第一信息提取模块。
在一种实施方式中,如图7所示,节点获取模块包括:
选定单元71,用于根据对目标网页中的至少一个节点的选定操作,获取待提取信息的节点。
在一种实施方式中,选定单元还用于:
根据对至少一个节点的选定操作,确定选定的节点;
根据选定的节点,显示至少一个信息提取操作的类型;
根据对至少一个信息提取操作的类型的选定操作,确定选定的信息提取操作的类型;
根据选定的节点,和选定的信息提取操作的类型,获取待提取信息的节点。
在一种实施方式中,信息提取操作的类型为对同类别的节点进行提取或对单个节点进行提取。
在一种实施方式中,如图8所示,节点获取模块包括:
规则单元81,用于根据与目标网页对应的节点规则,获取待提取的节点;
和/或,编辑单元82,用于根据编辑内容,获取待提取的节点。
本公开实施例还提供一种信息提取装置,如图9所示,包括:
待提取信息获取模块91,用于采用第一信息提取模块,获取对待提取信息的目标网页所提取的信息;第一信息提取模块为本公开任意一项实施例所提供的第一信息提取模块。
在一种实施方式中,如图10所示,信息提取装置还包括:
调用模块101,用于根据接收到的浏览器插件启动信息,调用第一信息提取模块,并将浏览器打开的网页作为目标网页。
本公开实施例各数据处理装置中的各单元、模块或子模块的功能可以参见上述数据处理方法实施例中的对应描述,在此不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备110的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或要求的本公开的实现。
如图11所示,设备110包括计算单元111,其可以根据存储在只读存储器(ROM)112中的计算机程序或者从存储单元118加载到随机访问存储器(RAM)113中的计算机程序来执行各种适当的动作和处理。在RAM 113中,还可存储设备110操作所需的各种程序和数据。计算单元111、ROM 112以及RAM 113通过总线114彼此相连。输入输出(I/O)接口115也连接至总线114。
设备110中的多个部件连接至I/O接口115,包括:输入单元116,例如键盘、鼠标等;输出单元117,例如各种类型的显示器、扬声器等;存储单元118,例如磁盘、光盘等;以及通信单元119,例如网卡、调制解调器、无线通信收发机等。通信单元119允许设备110通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元111可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元111的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元111执行上文所描述的各个方法和处理,例如信息提取模块生成方法。例如,在一些实施例中,信息提取模块生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元118。在一些实施例中,计算机程序的部分或者全部可以经由ROM 112和/或通信单元119而被载入和/或安装到设备110上。当计算机程序加载到RAM 113并由计算单元111执行时,可以执行上文描述的信息提取模块生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元111可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行信息提取模块生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (19)
1.一种信息提取模块生成方法,包括:
获取待提取信息的目标网页;
获取所述目标网页中待提取信息的节点,所述目标网页包括至少一个节点;
根据所述待提取信息的节点,获取提取规则;
根据所述提取规则,生成针对所述待提取信息的节点的第一信息提取模块。
2.根据权利要求1所述的方法,其中,所述根据所述提取规则,生成针对所述待提取信息的节点的第一信息提取模块,包括:
根据所述提取规则,获取预生成的第二信息提取模块;
采用所述第二信息提取模块,预提取所述目标网页的信息;
在收到所述预提取信息符合要求的确认信息的情况下,将所述第二信息提取模块作为所述第一信息提取模块。
3.根据权利要求1所述的方法,其中,所述获取所述目标网页中待提取信息的节点,包括:
根据对所述目标网页中的至少一个节点的选定操作,获取所述待提取信息的节点。
4.根据权利要求3所述的方法,其中,所述根据对所述目标网页中的至少一个节点的选定操作,获取所述待提取信息的节点,包括:
根据对所述至少一个节点的选定操作,确定选定的节点;
根据所述选定的节点,显示至少一个信息提取操作的类型;
根据对至少一个信息提取操作的类型的选定操作,确定选定的信息提取操作的类型;
根据所述选定的节点,和所述选定的信息提取操作的类型,获取所述待提取信息的节点。
5.根据权利要求4所述的方法,其中,所述信息提取操作的类型为对同类别的节点进行提取或对单个节点进行提取。
6.根据权利要求1所述的方法,其中,所述获取所述目标网页中待提取信息的节点,包括:
根据与所述目标网页对应的节点规则或编辑内容,获取所述待提取信息的节点。
7.一种信息提取方法,其中,包括:
采用第一信息提取模块,获取对待提取信息的目标网页所提取的信息;所述第一信息提取模块为权利要求1-6中任意一项所述的第一信息提取模块。
8.根据权利要求7所述的方法,其中,所述方法还包括:
根据接收到的浏览器插件启动信息,调用所述第一信息提取模块,并将所述浏览器打开的网页作为所述目标网页。
9.一种信息提取模块生成装置,包括:
网页获取模块,用于获取待提取信息的目标网页;
节点获取模块,有益获取所述目标网页中待提取信息的节点,所述目标网页包括至少一个节点;
规则模块,用于根据所述待提取信息的节点,获取提取规则;
生成模块,用于根据所述提取规则,生成针对所述待提取信息的节点的第一信息提取模块。
10.根据权利要求9所述的装置,其中,所述生成模块包括:
预生成单元,用于根据所述提取规则,获取预生成的第二信息提取模块;
预提取单元,用于采用所述第二信息提取模块,预提取所述目标网页的信息;
预提取判断单元,用于在收到所述预提取信息符合要求的确认信息的情况下,将所述第二信息提取模块作为所述第一信息提取模块。
11.根据权利要求9所述的装置,其中,所述节点获取模块包括:
选定单元,用于根据对所述目标网页中的至少一个节点的选定操作,获取所述待提取信息的节点。
12.根据权利要求11所述的装置,其中,所述选定单元还用于:
根据对所述至少一个节点的选定操作,确定选定的节点;
根据所述选定的节点,显示至少一个信息提取操作的类型;
根据对至少一个信息提取操作的类型的选定操作,确定选定的信息提取操作的类型;
根据所述选定的节点,和所述选定的信息提取操作的类型,获取所述待提取信息的节点。
13.根据权利要求12所述的装置,其中,所述信息提取操作的类型为对同类别的节点进行提取或对单个节点进行提取。
14.根据权利要求9所述的装置,其中,所述节点获取模块包括:
规则单元,用于根据与所述目标网页对应的节点规则,获取所述待提取的节点;
和/或,编辑单元,用于根据编辑内容,获取所述待提取信息的节点。
15.一种信息提取装置,其中,包括:
待提取信息获取模块,用于采用第一信息提取模块,获取对待提取信息的目标网页所提取的信息;所述第一信息提取模块为权利要求9-14中任意一项所述的第一信息提取模块。
16.根据权利要求15所述的装置,其中,所述装置还包括:
调用模块,用于根据接收到的浏览器插件启动信息,调用所述第一信息提取模块,并将所述浏览器打开的网页作为所述目标网页。
17.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011572677.4A CN112597377A (zh) | 2020-12-25 | 2020-12-25 | 信息提取模块生成方法、信息提取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011572677.4A CN112597377A (zh) | 2020-12-25 | 2020-12-25 | 信息提取模块生成方法、信息提取方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112597377A true CN112597377A (zh) | 2021-04-02 |
Family
ID=75203024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011572677.4A Pending CN112597377A (zh) | 2020-12-25 | 2020-12-25 | 信息提取模块生成方法、信息提取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112597377A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113495764A (zh) * | 2021-09-06 | 2021-10-12 | 广州市高奈特网络科技有限公司 | 自动化数据提取方法、装置、计算机设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425760A (zh) * | 2013-08-02 | 2013-12-04 | 朱艺凡 | 一种网页库级的结构化信息抽取方法 |
CN106570133A (zh) * | 2016-10-27 | 2017-04-19 | 任子行网络技术股份有限公司 | 一种可视化的网页信息提取规则的构建方法和装置 |
WO2019024755A1 (zh) * | 2017-08-01 | 2019-02-07 | 阿里巴巴集团控股有限公司 | 网页信息提取方法、装置、系统及电子设备 |
-
2020
- 2020-12-25 CN CN202011572677.4A patent/CN112597377A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425760A (zh) * | 2013-08-02 | 2013-12-04 | 朱艺凡 | 一种网页库级的结构化信息抽取方法 |
CN106570133A (zh) * | 2016-10-27 | 2017-04-19 | 任子行网络技术股份有限公司 | 一种可视化的网页信息提取规则的构建方法和装置 |
WO2019024755A1 (zh) * | 2017-08-01 | 2019-02-07 | 阿里巴巴集团控股有限公司 | 网页信息提取方法、装置、系统及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113495764A (zh) * | 2021-09-06 | 2021-10-12 | 广州市高奈特网络科技有限公司 | 自动化数据提取方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108804450B (zh) | 信息推送的方法和装置 | |
EP3579124A1 (en) | Method and apparatus for providing search results | |
CN107908662B (zh) | 搜索系统的实现方法和实现装置 | |
CN113657113A (zh) | 文本处理方法、装置和电子设备 | |
CN114490116B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
KR102205686B1 (ko) | 후보 문자 순위화 방법 및 장치와 문자 입력 방법 및 장치 | |
CN112597377A (zh) | 信息提取模块生成方法、信息提取方法及装置 | |
CN113378855A (zh) | 用于处理多任务的方法、相关装置及计算机程序产品 | |
CN113626441A (zh) | 基于扫描设备的文本管理方法、装置、设备以及存储介质 | |
CN113329087A (zh) | 用于获取信息的方法和装置 | |
CN115469849B (zh) | 一种业务处理系统、方法、电子设备和存储介质 | |
CN104049831A (zh) | 输入颜文字的方法及装置 | |
CN107168627B (zh) | 用于触摸屏的文本编辑方法和装置 | |
CN114265777B (zh) | 应用程序的测试方法、装置、电子设备及存储介质 | |
CN113179183B (zh) | 服务开关状态控制装置及方法 | |
CN113590447B (zh) | 埋点处理方法和装置 | |
CN113138760B (zh) | 一种页面生成方法、装置、电子设备和介质 | |
CN109407953A (zh) | 应用查找方法、装置、计算机装置及存储介质 | |
CN114595391A (zh) | 基于信息搜索的数据处理方法、装置和电子设备 | |
CN113221035A (zh) | 用于确定异常网页的方法、装置、设备、介质和程序产品 | |
CN113656041A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN114266233A (zh) | 表单生成方法、装置、设备及介质 | |
CN111131354B (zh) | 用于生成信息的方法和装置 | |
CN113742501A (zh) | 一种信息提取方法、装置、设备、及介质 | |
CN113326461A (zh) | 跨平台内容分发方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |