CN112579907A - 一种异常任务检测方法、装置、电子设备和存储介质 - Google Patents
一种异常任务检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112579907A CN112579907A CN202011567028.5A CN202011567028A CN112579907A CN 112579907 A CN112579907 A CN 112579907A CN 202011567028 A CN202011567028 A CN 202011567028A CN 112579907 A CN112579907 A CN 112579907A
- Authority
- CN
- China
- Prior art keywords
- poi
- task
- user
- crowdsourcing
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种兴趣点采集的异常任务检测方法、装置、电子设备和存储介质,涉及人工智能领域,尤其涉及大数据领域。具体实现方案为:向众包用户分配兴趣点POI采集的任务;获取众包用户提交的任务作业数据,并从任务作业数据中提取用户执行兴趣点POI采集任务的行为特征和/或结果特征;将行为特征和/或结果特征输入预先训练的异常任务检测模型,以对任务作业数据进行异常检测。本申请实施例优化了兴趣点采集过程中的异常检测的效果。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及大数据领域,具体涉及一种兴趣点采集的异常任务检测方法、装置、电子设备和存储介质。
背景技术
众包采集是当前地图兴趣点(Point of Information,POI)数据更新的重要来源,通过将现实地理空间划分成约1km*1km的区域,然后将每个区域以任务的形式投放出去,分配给指定众包用户进行采集作业,作业完成的用户会得到一定的现金奖励。
由于众包用户来自广大互联网用户,产品侧难以充分核实一个众包用户的真实性和可靠性,这就给了一些不法分子可乘之机,例如不法分子可通过模拟定位手段来非法赚取产品的作业奖励。
发明内容
本申请提供了一种兴趣点采集的异常任务检测方法、装置、电子设备、存储介质和计算机程序产品。
根据本申请的一方面,提供了一种兴趣点采集的异常任务检测方法,包括:
向众包用户分配兴趣点POI采集的任务;
获取众包用户提交的任务作业数据,并从任务作业数据中提取用户执行兴趣点POI采集任务的行为特征和/或结果特征;
将行为特征和/或结果特征输入预先训练的异常任务检测模型,以对任务作业数据进行异常检测
根据本申请的另一方面,提供了一种兴趣点采集的异常任务检测装置,包括:
任务分发模块,用于向众包用户分配兴趣点POI采集的任务;
特征提取模块,用于获取众包用户提交的任务作业数据,并从任务作业数据中提取用户执行兴趣点POI采集任务的行为特征和/或结果特征;
异常检测模块,用于将行为特征和/或结果特征输入预先训练的异常任务检测模型,以对任务作业数据进行异常检测。
根据本申请的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请任意实施例的兴趣点采集的异常任务检测方法。
根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行本申请任意实施例的兴趣点采集的异常任务检测方法。
根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请任意实施例的兴趣点采集的异常任务检测方法
根据本申请的技术,优化了兴趣点采集过程中的异常任务检测的效果。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例的一种兴趣点采集的异常任务检测方法的示意图;
图2是根据本申请实施例的一种兴趣点采集的异常任务检测方法的示意图;
图3是根据本申请实施例的一种兴趣点采集的异常任务检测方法的示意图;
图4是根据本申请实施例的训练异常任务检测模型的逻辑示意图;
图5是根据本申请实施例的一种兴趣点采集的异常任务检测装置的示意图;
图6是用来实现本申请实施例的兴趣点采集的异常任务检测的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1为本申请实施例的兴趣点采集的异常任务检测方法的流程示意图,本实施例可适用于通过分析用户行为特征和/或采集结果特征,确定用户在兴趣点采集过程中是否存在作弊的情况。该方法可由一种兴趣点采集的异常任务检测制装置来执行,该装置采用软件和/或硬件的方式实现,并集成在电子设备上。
针对不法用户常通过模拟定位的作弊手段来非法赚取采集任务的作业奖励,目前,常用的检测异常任务的方式是在客户端中植入模拟定位检测工具,根据设备信息去检测设备是否为模拟定位,一旦检测可能存在模拟定位确定用户完成的任务为异常任务,可直接禁止其作业。然而现有检测方法存在一定不足:仅仅检测客户端上异常行为,检测效果有限,难以覆盖到特定场景下的所有的作弊类型。基于此,发明人创造性的提出一种异常任务的检测方法,主要是用户采集过程中的行为特征和/或采集结果特征,判断用户提交的任务数据是否异常。
具体的,参见图1,兴趣点采集的异常任务检测方法如下:
S101、向众包用户分配兴趣点POI采集的任务。
众包指的是一个公司或机构把过去由员工执行的工作任务,以自由自愿的形式外包给非特定的(而且通常是大型的)大众志愿者的做法。本申请实施例中,由于地图兴趣点需要新采集的大量的POI数据进行更新,而为了提升采集POI数据的效率,可采用众包模式将兴趣点POI采集的任务分配给众包用户,例如采用任务分发算法将POI采集任务分发给不同的众包用户,以便众包用户在接收到POI采集任务后,到POI采集任务对应的地点进行POI采集。
S102、获取众包用户提交的任务作业数据,并从任务作业数据中提取用户执行兴趣点POI采集任务的行为特征和/或结果特征。
本申请实施例中,每个众包用户提交的任务作业数据中至少包括一个POI采集任务的数据,由于众包用户可通过拍摄图片的方式执行POI采集任务,因此每个众包用户提交的任务作业数据可以该包括众包用户完成的采集任务数量,每个采集任务开始时间和完成时间、每个采集任务包括的用户拍摄的图片以及用户拍摄图片过程中的行为数据(例如用户的定位数据、拍摄图片时的姿态)等。
在获取到众包用户提交的任务作业数据后,可直接从中提取用户执行兴趣点POI采集任务的行为特征和/或结果特征。例如,可从用户行为数据中提取行为特征;在提取结果特征时,先对采集的各图片进行加工,例如对各图片进行OCR(Optical CharacterRecognition,光学字符识别)处理,得到各图片中包括的POI名称以及确定POI数量,进而根据POI名称、POI数量、任务开始/完成时间、完成任务数量,确定POI采集结果特征。
S103、将行为特征和/或结果特征输入预先训练的异常任务检测模型,以对任务作业数据进行异常检测。
本申请实施例中,预先训练的异常任务检测模型可选的为二分类模型。在经过S102的步骤后,可直接将行为特征和/或结果特征输入到异常任务检测模型中,根据模型输出概率值,即实现对任务作业数据的异常检测,也即是检测众包用户是在执行POI采集过程中否存在作弊行为,例如,若根据模型输出概率值确定一个众包用户提交的任务作业数据异常,则确定该众包用户在POI采集过程中存在作弊行为。
本申请实施例中,根据用户执行兴趣点POI采集任务的行为特征和/或结果特征,可有效检测到用户作弊行为,相比于仅根据检测到的客户端上异常行为判断是否作弊,提升了异常检测的效果。
图2是根据本申请实施例的兴趣点采集的异常任务检测方法的流程示意图,本实施例是在上述实施例的基础上进行优化,其中:行为特征包括采集位姿一致率,结果特征包括下述至少一项:周期内采集POI量、新增率异常值、POI名称重复率、单位任务平均提交量和平均任务作业时长。参见图2,兴趣点采集的异常任务检测方法具体如下:
S201、向众包用户分配兴趣点POI采集的任务。
S202、获取众包用户提交的任务作业数据,并从任务作业数据中提取用户执行兴趣点POI采集任务的采集位姿一致率和/或周期内采集POI量、新增率异常值、POI名称重复率、单位任务平均提交量以及平均任务作业时长中的至少一项。
本申请实施例中,采集位姿一致率,用于表征单一众包用户通过相同位姿拍摄到图片在该单一众包用户所提交的全量图片中的占比;其中,位姿包括众包用户拍摄图片时的定位和方向角(相机拍摄方向)。
周期内采集POI量,用于表征单一众包用户在预设周期内采集到的兴趣点POI数量。新增率异常值,用于表征单一众包用户在预设周期内的POI新增率偏离整体POI新增率的差值。POI名称重复率,用于表征单一众包用户在预设周期内采集的相同名称的兴趣点POI在所述周期内采集POI量中的占比。单位任务平均提交量,用于表征单一众包用户在预设周期内完成的单个兴趣点POI采集任务所提交的平均POI量。平均任务作业时长,用于表征单一众包用户在预设周期内完成一个兴趣点POI采集任务所需的平均时长。
在此需要说明的是:之所以提取采集位姿一致率,是因为发明人发现,正常的众包用户在实际作业时每次拍摄都会变换位姿,但黑产用户(即不法用户)通过机器设定很容易出现同一位姿重复拍摄图片,因此通过判断位姿相同的图片的提交情况,可用于检测众包用户提交的任务数据是否异常,也即是判断众包用户是否存在作弊行为。
之所以提取新增率异常值,是因为发明人发现,现实世界在一定时间内的POI新增率往往趋近一个稳定值(一般20%左右),一个正常用户一般不会偏离这个值太多。但对于黑产用户一定不会到实地去采集,所以会把网络上搜集到的POI招牌图片素材随机提交到不同的采集任务中,这样随机提交POI难以与已有的POI库匹配,这必然导致新增率严重偏离整体值,这是一个最重要也是最有效的特征。
之所以提取POI名称重复率,是因为发明人发现,POI名称是根据用户提交图片中的招牌名称加工而成,相同的图片提取出来的POI名称是相同的。由于黑产用户获取的招牌图片数量有限,为了谋取更多利益,往往会将同一图片在不同位置的任务提交,这种情况可以通过该特征去发现。
之所以提取位任务平均提交量,是因为发明人发现,由于投放任务会划定一定的可采集区域(定位超出该区域时禁止采集),而现实中一定面积的区域内可容纳POI数量是有限的。但对于非实地作业的黑产用户,为了获取更多的牟利,会利用有限的任务通过机器大量刷提交,因此可通过提取该特征识别该类情况。
之所以提取位平均任务作业时长,是因为发明人发现,用户作业受限地理位置和采集任务,时长不会太快。但作弊数据往往会在短时间内大量提交的情况,因此可通过平均任务作业时长,识别这种情况。
之所以提取周期内采集POI量,是为了辅助提取其他结果特征。
S203、将采集位姿一致率和/或周期内采集POI量、新增率异常值、POI名称重复率、单位任务平均提交量以及平均任务作业时长中的至少一项,输入预先训练的异常任务检测模型,以对任务作业数据进行异常检测。
本申请实施例中,正是因为发明人发现了黑产用户可能存在的作弊手段,因此创造性的提出从任务作业数据中提取位姿一致率和/或周期内采集POI量、新增率异常值、POI名称重复率、单位任务平均提交量以及平均任务作业时长中的至少一项,由此可覆盖多种作弊情况,能够有效的发现多种新型作弊手段,进而保证了异常任务检测效果。
图3是根据本申请实施例的兴趣点采集的异常任务检测方法的流程示意图,本实施例是在上述实施例的基础上,对从任务作业数据中提取用户执行兴趣点POI采集任务的位姿一致率和/或周期内采集POI量、新增率异常值、POI名称重复率、单位任务平均提交量以及平均任务作业时长中的至少一项,进行优化,参见图3,兴趣点采集的异常任务检测方法具体如下:
S301、向众包用户分配兴趣点POI采集的任务,并获取众包用户提交的任务作业数据。
在得到任务作业数据后,通过S302-S304提取采集位姿一致率;通过S305-S308提取新增率异常值;通过S309-S311提取POI名称重复率;通过S312提取单位任务平均提交量;通过S313提取平均任务作业时长。
S302、针对单一众包用户,确定设定周期内拍摄图片的数量,并获取该单一众包用户拍摄每张图片时的位姿数据。
其中,设定周期可选的为一天活一周,也可以为其他值,在此不做具体限定。位姿数据包括该单一众包用户拍摄图片时的定位数据和方向角(相机拍摄方向)。
S303、将获取到的所有位姿数据两两进行比较,确定非重复位姿的数量。
可选的,针对任一位姿数据,将其分别于其它位姿数据依次进行比较,若该位姿数据与其它所有位姿数据均不同,则将该位姿数据标记为非重复位姿。由此在将所有位姿数据两两进行比较后,即可确定非重复位姿的数量。
S304、根据设定周期内拍摄图片的数量和非重复位姿的数量,确定采集位姿一致率。
示例性的,设定周期内拍摄图片的数量为a,非重复位姿的数量为b,则将1-b/a的值作为采集位姿一致率。
需要说明的是,根据设定周期内拍摄图片的数量和非重复位姿的数量,可快速确定采集位姿一致率,进而根据采集位姿一致率准确判断是否存在位姿相同的图片的提交情况。
S305、确定单一众包用户在设定周期内采集的POI量,作为单用户POI量,以及确定所有众包用户在设定周期内采集的POI的总量。
本申请实施例中,确定单一众包用户在设定周期内采集的POI量的过程包括:对单一众包用户在预设周期内提交的图片数据进行加工,例如进行OCR识别,确定每张图片包括的POI,进而统计识别到的所有POI的数量,并作为单用户POI量。进而将周期内所有众包用户各自对应的单用户POI量相加,即可得到所有众包用户在设定周期内采集的POI的总量。
S306、将单用户POI量和POI的总量,分别与已有的POI库进行检索匹配,得到单用户POI新增量和整体POI新增量。
可选的,将单用户POI量和POI的总量中包括的不存在于已有的POI库中的POI的数量,分别作为单用户POI新增量和整体POI新增量。
S307、根据单用户POI新增量和单用户POI量,确定单用户POI新增率;根据整体POI新增量和POI的总量确定整体POI新增率。
示例性的,将单用户POI新增量和单用户POI量的比值,作为单用户POI新增率;将整体POI新增量和POI的总量的比值,作为整体POI新增率。
S308、将单用户POI新增率与整体POI新增率的差值的绝对值,作为新增率异常值。
示例性的,在一个预设周期内,单用户POI量为c,单用户POI新增量为d,POI的总量为c’,整体POI新增量为d’,则单用户POI新增率n=d/c;整体POI新增率N=d’/c’,进而新增率异常值=|n-N|。
需要说明的是,计算单用户的POI新增率和整体POI新增率,即可快速得到新增率异常值,进而可根据新增率异常值确定是否存在用户将网络上搜集到的POI招牌图片素材随机提交的情况。
S309、对单一众包用户在设定周期内提交的任务作业数据中的所有图片进行识别,得到所有图片包括的POI名称。
S310、将得到的POI名称两两进行比较,将名称与其他名称均不相同的作为非重复POI名称。
S311、根据非重复POI名称的数量与所有图片包括的POI名称,确定POI名称重复率。
示例性的,一个预设周期内采集到的POI数量记为f,名称与其他名称(同一用户)均不相同的则为非重复名称,统计非重复名称的量记为g,则名称重复率=1-g/f。
本申请实施例中,根据POI名称重复率可以准确判断是否存在将同一图片在不同位置的任务提交的情况,也即是判断众包用户是否存在作弊行为。
S312、针对单一众包用户,根据设定周期内该单一众包用户完成的所有采集任务数量,以及该单一众包用户在设定周期内采集的POI量,确定单位任务平均提交量。
示例性的,将单一众包用户在设定周期内采集的POI量与该单一众包用户完成的所有采集任务数量的商,作为单位任务平均提交量。
本申请实施例中,计算出单位任务平均提交量,即可快速判断该众包用户每个人物提交的POI数量是否超过阈值,若是,则确定存在作弊行为。
S313、针对单一众包用户,根据设定周期内该单一众包用户完成的所有采集任务总量,以及完成所有采集任务花费的时间,确定平均任务作业时长。
示例性的,将所有采集任务花费的时间与设定周期内该单一众包用户完成的所有采集任务总量的商作为平均任务作业时长。
本申请实施例中,通过平均任务作业时长,即可识别出是否存在短时间内大量提交作业数据的情况,也即可快速识别是否存在作弊行为。
S314、将采集位姿一致率和/或周期内采集POI量、新增率异常值、POI名称重复率、单位任务平均提交量以及平均任务作业时长中的至少一项,输入预先训练的异常任务检测模型,以对任务作业数据进行异常检测。
本申请实施例中,通过分析包括单一众包用户完成的采集任务数量,每个采集任务完成时间、每个采集任务包括POI数量、名称以及用户拍摄图片过程中的行为数据,即可快速得到每个众包用户的行为特征和采集结果特征,进而保证了对任务作业数据进行异常检测的效率。
图4是根据本申请实施例的训练异常任务检测模型的逻辑示意图,本实施例是在上述实施例的基础上进行优化,参见图4,具体如下:
本申请实施例中,异常任务检测模型为逻辑回归模型或支持向量机模型;异常任务检测模型的训练样本包括正样本和负样本,正样本包括正常用户执行兴趣点POI采集任务的任务作业数据,负样本为异常用户执行兴趣点POI采集任务的任务作业数据。
构建六种模型特征,具体的包括:采集位姿一致率、周期内采集POI量、新增率异常值、POI名称重复率、单位任务平均提交量、平均任务作业时长。在模型训练过程中,从样本数据中提取各个模型特征对应的特征值,进而将提取到的特征值输入到逻辑回归模型或支持向量机模型中,将模型输出的预测结果与真实值进行比较,根据比较结果不断调整逻辑回归模型或支持向量机模型的权重,进而得到异常任务检测模型,后续可按照上述实施例的方法对用户提交的作业数据进行异常检测。
本申请实施例中,基于构建的模型特征训练的异常任务检测模型,可有效的发现多种新型作弊手段,提升任务作业数据异常检测的准确性。
图5是根据本申请实施例的兴趣点采集的异常任务检测装置的结构示意图,本实施例可适用于通过分析用户行为特征和/或采集结果特征,确定用户在兴趣点采集过程中是否存在作弊的情况。如图5所示,该装置具体包括:
任务分发模块501,用于向众包用户分配兴趣点POI采集的任务;
特征提取模块502,用于获取众包用户提交的任务作业数据,并从任务作业数据中提取用户执行兴趣点POI采集任务的行为特征和/或结果特征;
异常检测模块503,用于将行为特征和/或结果特征输入预先训练的异常任务检测模型,以对任务作业数据进行异常检测。
在上述实施例的基础上,可选的,行为特征包括:
采集位姿一致率,用于表征单一众包用户通过相同位姿拍摄到图片在该单一众包用户所提交的全量图片中的占比;
结果特征包括下述至少一项:
周期内采集POI量,用于表征单一众包用户在预设周期内采集到的兴趣点POI数量;
新增率异常值,用于表征单一众包用户在预设周期内的POI新增率偏离整体POI新增率的差值;
POI名称重复率,用于表征单一众包用户在预设周期内采集的相同名称的兴趣点POI在周期内采集POI量中的占比;
单位任务平均提交量,用于表征单一众包用户在预设周期内完成的单个兴趣点POI采集任务所提交的平均POI量;
平均任务作业时长,用于表征单一众包用户在预设周期内完成一个兴趣点POI采集任务所需的平均时长。
在上述实施例的基础上,可选的,特征提取模块包括:
位姿数据获取单元,用于针对单一众包用户,确定设定周期内拍摄图片的数量,并获取该单一众包用户拍摄每张图片时的位姿数据;
位姿比对单元,用于将获取到的所有位姿数据两两进行比较,确定非重复位姿的数量;
位姿一致率确定单元,用于根据设定周期内拍摄图片的数量和非重复位姿的数量,确定采集位姿一致率。
在上述实施例的基础上,可选的,特征提取模块包括:
POI量确定单元,用于确定单一众包用户在设定周期内采集的POI量,作为单用户POI量,以及确定所有众包用户在设定周期内采集的POI的总量;
匹配单元,用于将单用户POI量和POI的总量,分别与已有的POI库进行检索匹配,得到单用户POI新增量和整体POI新增量;
新增率计算单元,用于:根据单用户POI新增量和单用户POI量,确定单用户POI新增率;根据整体POI新增量和POI的总量确定整体POI新增率;
新增率异常值确定单元,用于将单用户POI新增率与整体POI新增率的差值的绝对值,作为新增率异常值。
在上述实施例的基础上,可选的,特征提取模块包括:
POI识别单元,用于对单一众包用户在设定周期内提交的任务作业数据中的所有图片进行识别,得到所有图片包括的POI名称;
POI名称比较单元,用于将得到的POI名称两两进行比较,将名称与其他名称均不相同的作为非重复POI名称;
POI名称重复率确定单元,用于根据非重复POI名称的数量与所有图片包括的POI名称,确定POI名称重复率。
在上述实施例的基础上,可选的,特征提取模块包括:
单位任务平均提交量确定单元,用于针对单一众包用户,根据设定周期内该单一众包用户完成的所有采集任务数量,以及该单一众包用户在设定周期内采集的POI量,确定单位任务平均提交量。
在上述实施例的基础上,可选的,特征提取模块包括:
平均任务作业时长确定单元,用于针对单一众包用户,根据设定周期内该单一众包用户完成的所有采集任务总量,以及完成所有采集任务花费的时间,确定平均任务作业时长。
在上述实施例的基础上,可选的,异常任务检测模型为逻辑回归模型或支持向量机模型;异常任务检测模型的训练样本包括正样本和负样本,正样本包括正常用户执行兴趣点POI采集任务的任务作业数据,负样本为异常用户执行兴趣点POI采集任务的任务作业数据。
本申请实施例提供的兴趣点采集的异常任务检测装置可执行本申请任意实施例提供的兴趣点采集的异常任务检测方法,具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本申请的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如兴趣点采集的异常任务检测方法。例如,在一些实施例中,兴趣点采集的异常任务检测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的兴趣点采集的异常任务检测方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行兴趣点采集的异常任务检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (19)
1.一种兴趣点采集的异常任务检测方法,包括:
向众包用户分配兴趣点POI采集的任务;
获取众包用户提交的任务作业数据,并从所述任务作业数据中提取用户执行兴趣点POI采集任务的行为特征和/或结果特征;
将所述行为特征和/或结果特征输入预先训练的异常任务检测模型,以对所述任务作业数据进行异常检测。
2.根据权利要求1所述的方法,其中:
所述行为特征包括:
采集位姿一致率,用于表征单一众包用户通过相同位姿拍摄到图片在该单一众包用户所提交的全量图片中的占比;
所述结果特征包括下述至少一项:
周期内采集POI量,用于表征单一众包用户在预设周期内采集到的兴趣点POI数量;
新增率异常值,用于表征单一众包用户在预设周期内的POI新增率偏离整体POI新增率的差值;
POI名称重复率,用于表征单一众包用户在预设周期内采集的相同名称的兴趣点POI在所述周期内采集POI量中的占比;
单位任务平均提交量,用于表征单一众包用户在预设周期内完成的单个兴趣点POI采集任务所提交的平均POI量;
平均任务作业时长,用于表征单一众包用户在预设周期内完成一个兴趣点POI采集任务所需的平均时长。
3.根据权利要求2所述的方法,其中,从所述任务作业数据中提取用户执行兴趣点POI采集任务的采集位姿一致率包括:
针对单一众包用户,确定设定周期内拍摄图片的数量,并获取该单一众包用户拍摄每张图片时的位姿数据;
将获取到的所有位姿数据两两进行比较,确定非重复位姿的数量;
根据设定周期内拍摄图片的数量和所述非重复位姿的数量,确定所述采集位姿一致率。
4.根据权利要求2所述的方法,其中,从所述任务作业数据中提取用户执行兴趣点POI采集任务的新增率异常值包括:
确定单一众包用户在设定周期内采集的POI量,作为单用户POI量,以及确定所有众包用户在所述设定周期内采集的POI的总量;
将所述单用户POI量和所述POI的总量,分别与已有的POI库进行检索匹配,得到单用户POI新增量和整体POI新增量;
根据所述单用户POI新增量和所述单用户POI量,确定单用户POI新增率;根据所述整体POI新增量和所述POI的总量确定整体POI新增率;
将所述单用户POI新增率与所述整体POI新增率的差值的绝对值,作为所述新增率异常值。
5.根据权利要求2所述的方法,其中,从所述任务作业数据中提取用户执行兴趣点采集任务的POI名称重复率包括:
对单一众包用户在设定周期内提交的任务作业数据中的所有图片进行识别,得到所有图片包括的POI名称;
将得到的POI名称两两进行比较,将名称与其他名称均不相同的作为非重复POI名称;
根据所述非重复POI名称的数量与所有图片包括的POI名称,确定所述POI名称重复率。
6.根据权利要求2所述的方法,其中,从所述任务作业数据中提取用户执行兴趣点POI采集任务的单位任务平均提交量包括:
针对单一众包用户,根据设定周期内该单一众包用户完成的所有采集任务数量,以及该单一众包用户在设定周期内采集的POI量,确定所述单位任务平均提交量。
7.根据权利要求2所述的方法,其中,从所述任务作业数据中提取用户执行兴趣点POI采集任务的平均任务作业时长包括:
针对单一众包用户,根据设定周期内该单一众包用户完成的所有采集任务总量,以及完成所有采集任务花费的时间,确定平均任务作业时长。
8.根据权利要求1所述的方法,其中,所述异常任务检测模型为逻辑回归模型或支持向量机模型;所述异常任务检测模型的训练样本包括正样本和负样本,所述正样本包括正常用户执行兴趣点POI采集任务的任务作业数据,所述负样本为异常用户执行兴趣点POI采集任务的任务作业数据。
9.一种兴趣点采集的异常任务检测的装置,包括:
任务分发模块,用于向众包用户分配兴趣点POI采集的任务;
特征提取模块,用于获取众包用户提交的任务作业数据,并从所述任务作业数据中提取用户执行兴趣点POI采集任务的行为特征和/或结果特征;
异常检测模块,用于将所述行为特征和/或结果特征输入预先训练的异常任务检测模型,以对所述任务作业数据进行异常检测。
10.根据权利要求9所述的装置,其中:
所述行为特征包括:
采集位姿一致率,用于表征单一众包用户通过相同位姿拍摄到图片在该单一众包用户所提交的全量图片中的占比;
所述结果特征包括下述至少一项:
周期内采集POI量,用于表征单一众包用户在预设周期内采集到的兴趣点POI数量;
新增率异常值,用于表征单一众包用户在预设周期内的POI新增率偏离整体POI新增率的差值;
POI名称重复率,用于表征单一众包用户在预设周期内采集的相同名称的兴趣点POI在所述周期内采集POI量中的占比;
单位任务平均提交量,用于表征单一众包用户在预设周期内完成的单个兴趣点POI采集任务所提交的平均POI量;
平均任务作业时长,用于表征单一众包用户在预设周期内完成一个兴趣点POI采集任务所需的平均时长。
11.根据权利要求10所述的装置,其中,特征提取模块包括:
位姿数据获取单元,用于针对单一众包用户,确定设定周期内拍摄图片的数量,并获取该单一众包用户拍摄每张图片时的位姿数据;
位姿比对单元,用于将获取到的所有位姿数据两两进行比较,确定非重复位姿的数量;
位姿一致率确定单元,用于根据设定周期内拍摄图片的数量和所述非重复位姿的数量,确定所述采集位姿一致率。
12.根据权利要求10所述的装置,其中,特征提取模块包括:
POI量确定单元,用于确定单一众包用户在设定周期内采集的POI量,作为单用户POI量,以及确定所有众包用户在所述设定周期内采集的POI的总量;
匹配单元,用于将所述单用户POI量和所述POI的总量,分别与已有的POI库进行检索匹配,得到单用户POI新增量和整体POI新增量;
新增率计算单元,用于:根据所述单用户POI新增量和所述单用户POI量,确定单用户POI新增率;根据所述整体POI新增量和所述POI的总量确定整体POI新增率;
新增率异常值确定单元,用于将所述单用户POI新增率与所述整体POI新增率的差值的绝对值,作为所述新增率异常值。
13.根据权利要求10所述的装置,其中,特征提取模块包括:
POI识别单元,用于对单一众包用户在设定周期内提交的任务作业数据中的所有图片进行识别,得到所有图片包括的POI名称;
POI名称比较单元,用于将得到的POI名称两两进行比较,将名称与其他名称均不相同的作为非重复POI名称;
POI名称重复率确定单元,用于根据所述非重复POI名称的数量与所有图片包括的POI名称,确定所述POI名称重复率。
14.根据权利要求10所述的装置,其中,特征提取模块包括:
单位任务平均提交量确定单元,用于针对单一众包用户,根据设定周期内该单一众包用户完成的所有采集任务数量,以及该单一众包用户在设定周期内采集的POI量,确定所述单位任务平均提交量。
15.根据权利要求10所述的装置,其中,特征提取模块包括:
平均任务作业时长确定单元,用于针对单一众包用户,根据设定周期内该单一众包用户完成的所有采集任务总量,以及完成所有采集任务花费的时间,确定平均任务作业时长。
16.根据权利要求9所述的装置,其中,所述异常任务检测模型为逻辑回归模型或支持向量机模型;所述异常任务检测模型的训练样本包括正样本和负样本,所述正样本包括正常用户执行兴趣点POI采集任务的任务作业数据,所述负样本为异常用户执行兴趣点POI采集任务的任务作业数据。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011567028.5A CN112579907B (zh) | 2020-12-25 | 2020-12-25 | 一种异常任务检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011567028.5A CN112579907B (zh) | 2020-12-25 | 2020-12-25 | 一种异常任务检测方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112579907A true CN112579907A (zh) | 2021-03-30 |
CN112579907B CN112579907B (zh) | 2023-08-11 |
Family
ID=75139782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011567028.5A Active CN112579907B (zh) | 2020-12-25 | 2020-12-25 | 一种异常任务检测方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112579907B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113420104A (zh) * | 2021-06-29 | 2021-09-21 | 北京百度网讯科技有限公司 | 兴趣点采全率确定方法、装置、电子设备及存储介质 |
CN115062242A (zh) * | 2022-07-11 | 2022-09-16 | 广东加一信息技术有限公司 | 一种基于区块链和人工智能的信息智能识别方法及大数据系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765874A (zh) * | 2015-04-24 | 2015-07-08 | 百度在线网络技术(北京)有限公司 | 用于检测点击作弊的方法及装置 |
CN105718564A (zh) * | 2016-01-20 | 2016-06-29 | 清华大学 | 推广行为的检测方法及装置 |
WO2017160467A1 (en) * | 2016-03-18 | 2017-09-21 | Qualcomm Incorporated | Improving reliability in mobile device positioning in a crowdsourcing system |
CN108833527A (zh) * | 2018-06-08 | 2018-11-16 | 腾讯大地通途(北京)科技有限公司 | 一种兴趣点下线方法以及相关设备 |
CN109657148A (zh) * | 2018-12-24 | 2019-04-19 | 北京百度网讯科技有限公司 | 针对上报poi的异常操作识别方法、装置、服务器和介质 |
CN110009430A (zh) * | 2019-04-11 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 作弊用户检测方法、电子设备及计算机可读存储介质 |
CN110297989A (zh) * | 2019-06-25 | 2019-10-01 | 北京百度网讯科技有限公司 | 异常检测的测试方法、装置、设备和介质 |
CN110706016A (zh) * | 2019-08-23 | 2020-01-17 | 阿里巴巴集团控股有限公司 | 业务异常检测方法、装置及计算机可读存储介质 |
CN111984747A (zh) * | 2019-05-21 | 2020-11-24 | 丰图科技(深圳)有限公司 | 一种地理信息数据的采集方法、装置及设备 |
-
2020
- 2020-12-25 CN CN202011567028.5A patent/CN112579907B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765874A (zh) * | 2015-04-24 | 2015-07-08 | 百度在线网络技术(北京)有限公司 | 用于检测点击作弊的方法及装置 |
CN105718564A (zh) * | 2016-01-20 | 2016-06-29 | 清华大学 | 推广行为的检测方法及装置 |
WO2017160467A1 (en) * | 2016-03-18 | 2017-09-21 | Qualcomm Incorporated | Improving reliability in mobile device positioning in a crowdsourcing system |
CN108833527A (zh) * | 2018-06-08 | 2018-11-16 | 腾讯大地通途(北京)科技有限公司 | 一种兴趣点下线方法以及相关设备 |
CN109657148A (zh) * | 2018-12-24 | 2019-04-19 | 北京百度网讯科技有限公司 | 针对上报poi的异常操作识别方法、装置、服务器和介质 |
CN110009430A (zh) * | 2019-04-11 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 作弊用户检测方法、电子设备及计算机可读存储介质 |
CN111984747A (zh) * | 2019-05-21 | 2020-11-24 | 丰图科技(深圳)有限公司 | 一种地理信息数据的采集方法、装置及设备 |
CN110297989A (zh) * | 2019-06-25 | 2019-10-01 | 北京百度网讯科技有限公司 | 异常检测的测试方法、装置、设备和介质 |
CN110706016A (zh) * | 2019-08-23 | 2020-01-17 | 阿里巴巴集团控股有限公司 | 业务异常检测方法、装置及计算机可读存储介质 |
Non-Patent Citations (3)
Title |
---|
MATTHIAS H.等: "Cost-Optimal Validation Mechanisms and Cheat-Detection for Crowdsourcing Platforms", 2011 FIFTH INTERNATIONAL CONFERENCE ON INNOVATIVE MOBILE AND INTERNET SERVICES IN UBIQUITOUS COMPUTING, pages 316 - 321 * |
肖乾隆: "众包数据采集场景下的反作弊模型设计与实现", 中国优秀硕士学位论文全文数据库, pages 140 - 27 * |
陈霞: "众包平台作弊用户自动识别", 计算机工程, pages 139 - 145 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113420104A (zh) * | 2021-06-29 | 2021-09-21 | 北京百度网讯科技有限公司 | 兴趣点采全率确定方法、装置、电子设备及存储介质 |
CN113420104B (zh) * | 2021-06-29 | 2023-10-13 | 北京百度网讯科技有限公司 | 兴趣点采全率确定方法、装置、电子设备及存储介质 |
CN115062242A (zh) * | 2022-07-11 | 2022-09-16 | 广东加一信息技术有限公司 | 一种基于区块链和人工智能的信息智能识别方法及大数据系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112579907B (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598164B (zh) | 识别目标对象的属性的方法、装置、电子设备和存储介质 | |
CN109345417B (zh) | 基于身份认证的业务人员的在线考核方法及终端设备 | |
CN104915351A (zh) | 图片排序方法及终端 | |
CN112949710A (zh) | 一种图像的聚类方法和装置 | |
CN109840503B (zh) | 一种确定种类信息的方法及装置 | |
CN112579907B (zh) | 一种异常任务检测方法、装置、电子设备和存储介质 | |
CN110070076B (zh) | 用于选取训练用样本的方法和装置 | |
CN112613569A (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
CN113780098A (zh) | 文字识别方法、装置、电子设备以及存储介质 | |
CN113205041A (zh) | 结构化信息提取方法、装置、设备和存储介质 | |
CN112330821A (zh) | 增强现实呈现方法、装置、电子设备及存储介质 | |
CN113807342A (zh) | 基于图像获取设备信息的方法及相关装置 | |
CN114511756A (zh) | 基于遗传算法的攻击方法、装置及计算机程序产品 | |
CN108921138B (zh) | 用于生成信息的方法和装置 | |
CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
CN113420104B (zh) | 兴趣点采全率确定方法、装置、电子设备及存储介质 | |
CN113255512B (zh) | 用于活体识别的方法、装置、设备以及存储介质 | |
CN113920306B (zh) | 目标再识别方法、装置及电子设备 | |
CN111338742B (zh) | 一种点云数据的批处理方法及处理装置 | |
CN114387651A (zh) | 一种人脸识别方法、装置、设备及存储介质 | |
CN114937188A (zh) | 一种用户分享截图的信息识别方法、装置、设备及介质 | |
CN114972500A (zh) | 查验方法、标注方法、系统、装置、终端、设备及介质 | |
CN114674328A (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
CN114494751A (zh) | 证照信息识别方法、装置、设备及介质 | |
CN112801078A (zh) | 兴趣点poi的匹配方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |