CN112182409B - 数据处理方法、装置、设备及计算机存储介质 - Google Patents
数据处理方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN112182409B CN112182409B CN202011213382.8A CN202011213382A CN112182409B CN 112182409 B CN112182409 B CN 112182409B CN 202011213382 A CN202011213382 A CN 202011213382A CN 112182409 B CN112182409 B CN 112182409B
- Authority
- CN
- China
- Prior art keywords
- interest
- interest point
- point
- existing
- industry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 239000000463 material Substances 0.000 claims abstract description 196
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 23
- 238000013145 classification model Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了数据处理方法、装置、设备以及计算机存储介质,涉及大数据和人工智能领域。具体实现方案为:获取兴趣点素材;将所述兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定所述兴趣点素材与所述已有兴趣点的相关信息的一致性;在所述一致性小于设定的一致性阈值的情况下,利用所述兴趣点素材生成兴趣点。本申请实施例能够使得在生成兴趣点时,优先选择新增价值高的兴趣点素材。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及人工智能和大数据技术领域。
背景技术
兴趣点(Point Of Interest,POI)服务是一种非常方便的服务,不仅提供POI的地理位置信息,也提供了很多用户感兴趣的特定信息,如评价信息。通过POI服务,能为用户提供POI搜索,并指引用户到达POI对应的目的地。
地图中的POI数量远远少于现实存在的POI数量,因此,需要定期对车采图像等POI素材数据进行处理,生成新的POI。但由于POI素材数据量非常大,根据所有采集到的POI素材数据在地图上新生成POI,不仅实现难度大,而且没有必要。从而需要根据实际需要,对采集到的POI素材数据进行处理。
发明内容
本申请提供了一种数据处理方法、装置、设备以及计算机存储介质。
根据本申请的一方面,提供了一种数据处理方法,包括:
获取兴趣点素材;
将兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定兴趣点素材与已有兴趣点的相关信息的一致性;
在一致性小于设定的一致性阈值的情况下,利用兴趣点素材生成兴趣点。
根据本申请的另一方面,提供了一种数据处理装置,包括:
获取模块,用于获取兴趣点素材;
一致性模块,用于将兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定兴趣点素材与已有兴趣点的相关信息的一致性;
生成指示模块,用于在一致性小于设定的一致性阈值的情况下,利用兴趣点素材生成兴趣点。
另一方面,本申请实施例提供一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。
另一方面,本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,计算机指令用于使计算机执行本申请任意一项实施例所提供的方法。
另一方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
本申请实施例中,在确定采用某个兴趣点素材制作兴趣点之前,首先确定是否存在与该兴趣点素材一致程度较高的已有兴趣点,在不存在的情况下,采用该兴趣点素材制作兴趣点,从而使得制作的兴趣点为地图中没有的兴趣点,使得地图中新增兴趣点具有较高的新增价值。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例数据处理方法示意图;
图2是根据本申请一种示例的数据处理方法示意图;
图3是根据本申请一实施例的数据处理装置示意图;
图4是根据本申请另一实施例的数据处理装置示意图;
图5是用来实现本申请实施例的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供一种数据处理方法,能够根据采集的兴趣点素材和地图中已有兴趣点,判断是否存在利用该兴趣点素材生成地图中新的兴趣点的必要,从而在存在利用新的素材生成新兴趣点的情况下,执行新的兴趣点的生产操作。
本申请实施例首先提供一种数据处理方法,如图1所示,包括:
步骤S11:获取兴趣点素材;
步骤S12:将兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定兴趣点素材与已有兴趣点的相关信息的一致性;
步骤S13:在一致性小于设定的一致性阈值的情况下,利用兴趣点素材生成兴趣点。
本实施例中,兴趣点素材可以包含用于制作兴趣点的数据,例如,建筑物或者地理位置标记的图像、坐标或位置信息等。兴趣点具体可以是房子、商铺、路标、公交车站等。兴趣点素材可以是通过采集车采集,也可以通过互联网上的已有数据获取。
兴趣点素材的采集位置设定范围内的已有兴趣点,可以是已经在地图上存在、且位于兴趣点素材采集位置设定范围内的兴趣点。比如,已有兴趣点可以是在兴趣点素材采集位置100米范围内、在地图上已经存在的兴趣点。
将兴趣点素材与已有兴趣点的相关信息进行对比,可以是将兴趣点素材与已有兴趣点的位置、名称、类别、外观等信息进行对比,以判断该兴趣点素材制作的兴趣点与已有兴趣点是否为同样的兴趣点。
确定兴趣点素材与已有兴趣点的相关信息的一致性,可以是确定兴趣点素材制作的兴趣点是否与已有兴趣点为同样的兴趣点,也可以是确定兴趣点素材制作的兴趣点与已有兴趣点为同样的兴趣点的概率。在兴趣点素材的采集位置范围内存在多个已有兴趣点的情况下,可以分别针对每个已有兴趣点,判断每个已有兴趣点的相关信息与兴趣点素材一致的概率。
在一致性小于设定的一致性阈值的情况下,利用兴趣点素材生成兴趣点,可以是在一致性小于设定的一致性阈值的情况下,确定利用兴趣点素材生成兴趣点,从而进入兴趣点生产、制作的流程。
地图数据采集车每天都会在各城市、地区采集大量的兴趣点素材,所有地图数据采集车所采集的兴趣点素材的总数据量是巨大的,如果利用采集到的全部兴趣点素材制作兴趣点,不仅会出现很多重复的兴趣点,而且数据处理量巨大,数据处理时间长,地图数据维护、管理效率低下。本申请实施例中,在确定采用某个兴趣点素材制作兴趣点之前,首先确定是否存在与该兴趣点素材一致程度高的已有兴趣点,在不存在的情况下,采用该兴趣点素材制作兴趣点,从而使得制作的兴趣点尽可能地为地图中没有的兴趣点,使得地图中新增兴趣点具有较高的新增价值。
在一种实施方式中,将兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定兴趣点素材与已有兴趣点的相关信息的一致性,包括:
计算兴趣点素材与已有兴趣点的行业一致的第一概率、兴趣点素材与已有兴趣点的内容一致的第二概率,以及兴趣点素材的采集位置与已有兴趣点的位置之间的距离衰减系数;
根据第一概率、第二概率以及衰减系数,计算兴趣点素材与已有兴趣点的相关信息的一致性。
本实施例中,已有兴趣点的行业,可以是已有兴趣点所属的行业类别,比如服务业、餐饮业、零售业、旅游业等。
兴趣点素材与已有兴趣点的内容一致的第二概率,可以是兴趣点素材中的目标对象上的文字内容与已有兴趣点名称的内容一致的概率,也可以是兴趣点素材中的目标对象本身与已有兴趣点一致的概率。
兴趣点素材的采集位置与已有兴趣点的位置之间的距离衰减系数,体现兴趣点素材的采集位置与已有兴趣点位置之间的距离。在兴趣点素材的行业、内容以及位置与已有兴趣点重合度很高的情况下,该兴趣点素材极有可能与已有兴趣点的相关信息一致。
根据第一概率、第二概率以及衰减系数,计算兴趣点素材与已有兴趣点的一致性,可以是根据第一概率、第二概率以及衰减系数中的至少一个计算兴趣点素材与已有兴趣点的相关信息之间的一致性。
在判断兴趣点素材与已有兴趣点的相关信息一致性的时候,不仅要考虑兴趣点素材的采集位置是否与已有兴趣点重合,还要考虑兴趣点素材对应的内容、行业与已有兴趣点一致的概率。比如,在同一个商场大楼中的不同商铺,在商场大楼外部均挂有招牌,那么,可能在商场大楼的地理位置处能够生成多个兴趣点。
同样,在判断兴趣点素材与已有兴趣点的相关信息的一致性的时候,不仅要考虑兴趣点素材的内容、行业与已有兴趣点一致的概率,还要考虑兴趣点素材的采集位置是否与已有兴趣点的位置重合。比如,一个连锁品牌在不同位置处开设两个店铺,那么,在两个不同的位置处应当生成两个相同内容、行业的兴趣点。
本实施例中,考虑到兴趣点素材与已有兴趣点行业一致的概率、兴趣点素材与已有兴趣点内容一致的概率、兴趣点素材的采集位置与已有兴趣点的位置之间的距离,从而能够较为准确地判断兴趣点素材与已有兴趣点的相关信息是否一致,避免重复制作相同的兴趣点,也能够尽量避免漏掉应当制作的兴趣点。
在一种实施方式中,兴趣点素材包括图像;计算兴趣点素材与已有兴趣点的行业一致的第一概率,包括:
检测图像中的目标对象;
识别目标对象中的文字;
提取文字的后缀关键词;
计算后缀关键词与热门行业集合中每个行业的相似度;
基于后缀关键词与热门行业集合中每个行业的相似度,确定目标对象对应的目标行业;
计算目标行业与已有兴趣点的行业一致的概率,作为第一概率。
图像中的目标对象,可以是图像中的建筑物、店铺等,也可以是图像中的招牌,比如建筑物名称的招牌、店铺名称的招牌、公交车站名称的招牌等。在具体实施例中,可以通过招牌识别模型识别出图像中的招牌。
在目标对象为招牌之外的其它对象的情况下,可以通过对应的目标对象识别模型识别出图像中的目标对象。
热门行业集合可以是比较常见的行业构成的集合,例如,餐饮、服务、零售、超市、地标、网红打卡地点等。
基于后缀关键词与热门行业集合中每个行业的相似度,确定目标对象对应的目标行业,可以是将热门行业集合中,与后缀关键词相似度大于设定阈值的行业选出,并基于兴趣点素材的采集环境等因素,从挑选出的行业中选择一个作为目标行业。
基于后缀关键词与热门行业集合中每个行业的相似度,确定目标对象对应的目标行业,也可以是将热门行业集合中,与后缀关键词相似度大于设定阈值的行业选出,将挑选出的所有行业作为目标行业。
基于后缀关键词与热门行业集合中每个行业的相似度,确定目标对象对应的目标行业,还可以是将热门行业集合中,与后缀关键词相似度最大的行业选出,作为目标行业。
本实施例中,通过检测兴趣点素材的图像中的目标对象,然后识别目标对象的文字,根据文字确定目标对象对应对目标行业,然后根据目标行业与已有兴趣点的行业一致性的概率,计算第一概率,从而能够根据第一概率计算兴趣点素材与已有兴趣点的行业的一致性,有助于对兴趣点素材的新增价值进行判断。
在一种实施方式中,兴趣点素材包括图像;计算兴趣点素材与已有兴趣点的行业一致的第一概率,包括:
检测图像中的目标对象;
识别目标对象中的文字;
将文字输入至少一个行业分类模型,获得文字与行业分类模型对应的行业的相似度,作为第一概率,每个行业分类模型为根据行业集合中的一个行业构建的,行业集合包括已有兴趣点的行业。
本实施例中,根据兴趣点素材附近的已有兴趣点所属的各个行业,分别训练行业分类模型,然后采用将行业分类模型输出兴趣点素材与分类模型对应的行业的相似度,将该相似度作为第一概率,从而能够通过模型获得第一概率,使得能够通过概率计算兴趣点素材与已有兴趣点的行业的一致性。
在一种实施方式中,兴趣点素材包括图像;计算兴趣点素材与已有兴趣点的内容一致的第二概率,包括:
检测图像中的目标对象;
识别目标对象中的文字;
根据已有兴趣点的内容的第一字符串的长度、文字的第二字符串的长度、将第一字符串替换为第二字符串所需要的最少操作数,计算第二概率。
本实施例中,目标对象可以是招牌。目标对象中的文字为招牌中的文字。目标对象中的文字,可以是目标对象的内容。
已有兴趣点的内容,可以是已有兴趣点的名称的内容、已有兴趣点的招牌的内容等。
本实施例中,通过计算兴趣点素材与已有兴趣点的内容一致的第二概率,从而后续可以通过第二概率计算兴趣点素材与已有兴趣点的相关信息的一致性。
在一种实施方式中,兴趣点素材包括图像;计算兴趣点素材与已有兴趣点的内容一致的第二概率,包括:
检测图像中的目标对象;
识别目标对象中的文字;
根据已有兴趣点的内容的第一字符串在语义词典中的深度、文字的第二字符串在语义词典中的深度、和第一字符串与第二字符串的最大公共子序列在语义词典中的深度,计算第二概率。
本实施例中,目标对象可以为招牌。语义词典可以为按照词语的意义组成的词语的网络,比如中文版的Wordnet(词网),语义词典可以包含以各基本词语为根节点、基本词语的同义词为孩子节点的树。已有兴趣点的内容的第一字符串在语义词典中的深度,可以是第一字符串中的词语在语义词典中的深度,也可以是第一字符串简化后剩余的字符串在语义词典中的深度。目标对象的文字的第二字符串在语义词典中的深度,可以是第二字符串中的词语在语义词典中的深度,也可以是第二字符串简化后剩余的字符串在语义词典中的深度。
第一字符串与第二字符串的最大公共子序列,可以是第一字符串与第二字符串相同的字符串序列中,长度最大的序列。
本实施例中,根据已有兴趣点的内容的第一字符串、兴趣点素材中目标对象的文字的第二字符串,计算第二概率,从而后续能够根据第二概率计算出已有兴趣点的相关信息与兴趣点素材的一致性。
在一种实施方式中,计算兴趣点素材的采集位置与已有兴趣点的位置之间的距离衰减系数,包括以下之一:
根据兴趣点素材的采集位置与已有兴趣点的位置之间的距离,计算高斯衰减函数值;将高斯衰减函数值作为距离衰减系数;
根据兴趣点素材的采集位置与已有兴趣点的位置之间的距离,确定分段线性衰减函数;根据分段线性衰减函数,计算距离衰减系数。
通过上述实施例,可以计算兴趣点素材的采集位置与已有兴趣点的位置之间的距离衰减系数,从而后续能够根据距离衰减系数计算兴趣点素材与已有兴趣点的相关信息之间的一致性。
在一种具体示例中,基于车采图像获得POI素材,车采图像比如可以是车载摄像装置获取的全景图像、行车记录仪采集的图像等。针对所有POI素材,判定对每一个POI素材进行加工的新增价值。对于包含车采图像的POI素材,首先可以通过招牌检测,检测出图像中存在的招牌。然后通过OCR(Optical Character Recognition,光学字符识别)技术识别招牌上的文字,通过与地图上该POI素材采集位置附近100米范围内的所有已有POI的相关信息进行一致性比对,找出其中相关信息的一致性最高的已有POI,该一致性越高,则该POI素材在现实中存在对应的已有POI的概率就越大,所以其新增价值就相对较低。可以根据POI素材与已有POI的相关信息一致性最高值进行POI素材由高到低的排序,先从排序靠前的POI素材开始,进行POI的制作。
针对每个POI素材,采用如图2所示的步骤进行POI素材数据的处理:
步骤S21:将POI素材采集位置附近的已有POI召回。
具体可以通过采集POI素材的车辆获得的相关信息确定POI素材采集位置附近的已有POI。采集POI素材的车辆获得的相关信息例如可以是:POI素材中的图像的拍摄方向角、图像中的招牌在图像中的位置以及招牌附近道路与建筑数据等。通过采集POI素材的车辆获得的相关信息可以大致预估招牌所在位置P(x,y),从而可以召回招牌附近设定范围(例如100米、150米、200米等)内的已有POI,通过这些POI的相关信息来判断当前素材的新增价值。
步骤S22:计算POI素材与已有POI的行业相似度打分μ。计算出图像素材与附近设定范围内的所有POI行业分类相似度打分。
在一种具体实施方式中,可以对POI素材中的图像进行招牌检测,对于每一个检测出来的招牌为一个待生产的POI数据,通过OCR识别招牌文字,获取文字的关键词后缀,后缀比如可以是酒店、宾馆等。对于识别出的关键词后缀,采用高频后缀识别方案来判别该POI素材在各个已知的热门行业分类的概率,针对附近设定范围内的POI,以POI素材的行业与各POI的行业类型的分类概率,作为第一概率μ。
在另一种具体实施方式中,对于POI素材附近设定范围内的所有已有POI,确定所有已有POI所属的行业,构建行业分类集合,针对这些行业分类集合的每一个行业,都构建分类概率回归模型(即行业分类模型)。使用POI素材中的图像检测出招牌的OCR识别的文字结果,使用行业分类模型来判断POI素材对应的行业与已有POI一致的概率,作为第一概率μ。
步骤S23:计算POI素材与已有POI的名称相似度。即计算检测出得招牌OCR识别的文字结果的内容与附近设定范围内所有的POI的名称相似度。
在一种具体实施方式中,可以基于Levenshtein(字符串相似度)编辑距离的名称相似度算法计算名称相似度。编辑距离是指利用字符操作,把招牌的文字结果对应的第二字符串转换成已有POI的名称对应的第一字符串所需要的最少操作数,操作可以包括插入、删除和替换等。计算公式如下:
其中,simname(a,b)为第一字符串和第二字符串的名称相似度,|a|、|b|分别表示第一字符串和第二字符串的长度,min(|a|,|b|)表示第一字符串与第二字符串中较短字符串的长度,ed(a,b)表示第一字符串到第二字符串的编辑距离。
在另一种具体实施方式中,可以基于语义词典Wordnet(词网)的名称相似度算法。Wordnet是一个语义类的词典,每个节点表示一个语义,节点中包含了多个同义词或短语。计算公式如下:
其中,depth函数表示从语义词典中与该词相关的基本词义对应的根节点(Root)到当前单词的深度,LCS表示招牌的文字结果对应的第二字符串和第一字符串的最小公共子串。
步骤S24:计算距离衰减系数γ。
在一种实施方式中,可以通过预估POI素材的图像中的招牌所在位置P(x,y)计算附近设定范围内已有POI与P的距离,距离衰减系数的计算采用高斯衰减函数:
其中,r、m、n均为实数常数,且r>0。l为P与已有POI之间的距离。
在另一种实施方式中,可以通过预估POI素材的图像中的招牌所在位置P(x,y),计算附近POI与P的距离,距离衰减系数的计算采用分段线性衰减函数,即在每个距离范围内均为线性衰减,在不同范围的衰减系数不同。
步骤S25:计算最终的POI素材的新增价值打分S。
根据每个POI与当前车采图像招牌素材的行业相似度对应的第一概率μ,名称相似度Sim与距离衰减系数γ,可以得出每个已有POI与POI素材中的POI素材的整体的相似度M:
M=γ(μ+Sim)。
POI素材与附近设定范围内所有已有POI的相关信息的整体的相似度M的最大值Mmax,则最终POI素材的新增价值打分计算公式为:
S=1/Mmax。
本申请实施例提供一种数据处理装置,如图3所示,包括:
获取模块31,用于获取兴趣点素材;
一致性模块32,用于将兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定兴趣点素材与已有兴趣点的相关信息的一致性;
生成指示模块33,用于在一致性小于设定的一致性阈值的情况下,利用兴趣点素材生成兴趣点。
在一种实施方式中,如图4所示,一致性模块包括:
第一计算单元41,用于计算兴趣点素材与已有兴趣点的行业一致的第一概率、兴趣点素材与已有兴趣点的内容一致的第二概率,以及兴趣点素材的采集位置与已有兴趣点的位置之间的距离衰减系数;
第二计算单元42,用于根据第一概率、第二概率以及衰减系数,计算兴趣点素材与已有兴趣点的相关信息的一致性。
在一种实施方式中,兴趣点素材包括图像;第一计算单元还用于:
检测图像中的目标对象;
识别目标对象中的文字;
提取文字的后缀关键词;
计算后缀关键词与热门行业集合中每个行业的相似度;
基于后缀关键词与热门行业集合中每个行业的相似度,确定目标对象对应的目标行业;
计算目标行业与已有兴趣点的行业一致的概率,作为第一概率。
在一种实施方式中,兴趣点素材包括图像;第一计算单元还用于:
检测图像中的目标对象;
识别目标对象中的文字;
将文字输入至少一个行业分类模型,获得文字与行业分类模型对应的行业的相似度;
基于文字与行业分类模型对应的行业的相似度,确定第一概率,每个行业分类模型为根据行业集合中的一个行业构建的,行业集合包括已有兴趣点的行业。
在一种实施方式中,兴趣点素材包括图像;第一计算单元还用于:
检测图像中的目标对象;
识别目标对象中的文字;
根据已有兴趣点的内容的第一字符串的长度、文字的第二字符串的长度、将第一字符串替换为第二字符串所需要的最少操作数,计算第二概率。
在一种实施方式中,兴趣点素材包括图像;第一计算单元还用于:
检测图像中的目标对象;
识别目标对象中的文字;
根据已有兴趣点的内容的第一字符串在语义词典中的深度、文字的第二字符串在语义词典中的深度、和第一字符串与第二字符串的最大公共子序列在语义词典中的深度,计算第二概率。
在一种实施方式中,第一计算单元还用于执行以下之一:
根据兴趣点素材的采集位置与已有兴趣点的位置之间的距离,计算高斯衰减函数值;将高斯衰减函数值作为距离衰减系数;
根据兴趣点素材的采集位置与已有兴趣点的位置之间的距离,确定分段线性衰减函数;根据分段线性衰减函数,计算距离衰减系数。
本申请实施例各装置中的各模块/单元的功能可以参见上述方法中的对应描述,在此不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图5所示,是根据本申请实施例的数据处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的数据处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的数据处理的方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的数据处理的方法对应的程序指令/模块(例如,附图3所示的获取模块31、一致性模块32和生成指示模块33)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据处理的方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据数据处理的电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据处理的方法的电子设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息,以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS)服务中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
地图数据采集车每天都会在各城市、地区采集大量的兴趣点素材,所有地图数据采集车所采集的兴趣点素材的总数据量是巨大的,如果利用采集到的全部兴趣点素材制作兴趣点,不仅会出现很多重复的兴趣点,而且数据处理量巨大,数据处理时间长,地图数据维护、管理效率低下。本申请实施例中,在确定采用某个兴趣点素材制作兴趣点之前,首先确定是否存在与该兴趣点素材一致的已有兴趣点,在不存在的情况下,采用该兴趣点素材制作兴趣点,从而使得制作的兴趣点为地图中没有的兴趣点,使得地图中新增兴趣点具有较高的新增价值。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (15)
1.一种数据处理方法,包括:
获取兴趣点素材,所述兴趣点素材包含用于制作兴趣点的数据;
在兴趣点素材的采集位置范围内存在多个已有兴趣点的情况下,将所述兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定所述兴趣点素材与所述已有兴趣点的相关信息的一致性;
在所述一致性小于设定的一致性阈值的情况下,利用所述兴趣点素材生成兴趣点,将生成的兴趣点加入已有兴趣点;
所述将所述兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定所述兴趣点素材与所述已有兴趣点的相关信息的一致性,包括:
计算所述兴趣点素材与所述已有兴趣点的行业一致的第一概率、所述兴趣点素材与所述已有兴趣点的内容一致的第二概率,以及所述兴趣点素材的采集位置与所述已有兴趣点的位置之间的距离衰减系数;
根据所述第一概率、第二概率以及所述衰减系数,计算所述兴趣点素材与所述已有兴趣点的相关信息的一致性。
2.根据权利要求1所述的方法,其中,所述兴趣点素材包括图像;计算所述兴趣点素材与所述已有兴趣点的行业一致的第一概率,包括:
检测所述图像中的目标对象;
识别所述目标对象中的文字;
提取所述文字的后缀关键词;
计算所述后缀关键词与热门行业集合中每个行业的相似度;
基于所述后缀关键词与热门行业集合中每个行业的相似度,确定所述目标对象对应的目标行业;
计算所述目标行业与所述已有兴趣点的行业一致的概率,作为所述第一概率。
3.根据权利要求1所述的方法,其中,所述兴趣点素材包括图像;计算所述兴趣点素材与所述已有兴趣点的行业一致的第一概率,包括:
检测所述图像中的目标对象;
识别所述目标对象中的文字;
将所述文字输入至少一个行业分类模型,获得所述文字与所述行业分类模型对应的行业的相似度;
基于所述文字与所述行业分类模型对应的行业的相似度,确定所述第一概率,每个所述行业分类模型为根据行业集合中的一个行业构建的,所述行业集合包括所述已有兴趣点的行业。
4.根据权利要求1所述的方法,其中,所述兴趣点素材包括图像;所述计算所述兴趣点素材与所述已有兴趣点的内容一致的第二概率,包括:
检测所述图像中的目标对象;
识别所述目标对象中的文字;
根据所述已有兴趣点的内容的第一字符串的长度、所述文字的第二字符串的长度、将所述第一字符串替换为第二字符串所需要的最少操作数,计算所述第二概率。
5.根据权利要求1所述的方法,其中,所述兴趣点素材包括图像;所述计算所述兴趣点素材与所述已有兴趣点的内容一致的第二概率,包括:
检测所述图像中的目标对象;
识别所述目标对象中的文字;
根据所述已有兴趣点的内容的第一字符串在语义词典中的深度、所述文字的第二字符串在语义词典中的深度、和所述第一字符串与所述第二字符串的最大公共子序列在语义词典中的深度,计算所述第二概率。
6.根据权利要求1所述的方法,其中,所述计算所述兴趣点素材的采集位置与所述已有兴趣点的位置之间的距离衰减系数,包括以下之一:
根据所述兴趣点素材的采集位置与所述已有兴趣点的位置之间的距离,计算高斯衰减函数值;将所述高斯衰减函数值作为所述距离衰减系数;
根据所述兴趣点素材的采集位置与所述已有兴趣点的位置之间的距离,确定分段线性衰减函数;根据所述分段线性衰减函数,计算所述距离衰减系数。
7.一种数据处理装置,包括:
获取模块,用于获取兴趣点素材,所述兴趣点素材包含用于制作兴趣点的数据;
一致性模块,用于在兴趣点素材的采集位置范围内存在多个已有兴趣点的情况下,将所述兴趣点素材与兴趣点素材的采集位置设定范围内的已有兴趣点的相关信息进行对比,确定所述兴趣点素材与所述已有兴趣点的相关信息的一致性;
生成指示模块,用于在所述一致性小于设定的一致性阈值的情况下,利用所述兴趣点素材生成兴趣点,将生成的兴趣点加入已有兴趣点;
所述一致性模块包括:
第一计算单元,用于计算所述兴趣点素材与所述已有兴趣点的行业一致的第一概率、所述兴趣点素材与所述已有兴趣点的内容一致的第二概率,以及所述兴趣点素材的采集位置与所述已有兴趣点的位置之间的距离衰减系数;
第二计算单元,用于根据所述第一概率、第二概率以及所述衰减系数,计算所述兴趣点素材与所述已有兴趣点的相关信息的一致性。
8.根据权利要求7所述的装置,其中,所述兴趣点素材包括图像;所述第一计算单元还用于:
检测所述图像中的目标对象;
识别所述目标对象中的文字;
提取所述文字的后缀关键词;
计算所述后缀关键词与热门行业集合中每个行业的相似度;
基于所述后缀关键词与热门行业集合中每个行业的相似度,确定所述目标对象对应的目标行业;
计算所述目标行业与所述已有兴趣点的行业一致的概率,作为所述第一概率。
9.根据权利要求7所述的装置,其中,所述兴趣点素材包括图像;所述第一计算单元还用于:
检测所述图像中的目标对象;
识别所述目标对象中的文字;
将所述文字输入至少一个行业分类模型,获得所述文字与所述行业分类模型对应的行业的相似度;
基于所述文字与所述行业分类模型对应的行业的相似度,确定所述第一概率,每个所述行业分类模型为根据行业集合中的一个行业构建的,所述行业集合包括所述已有兴趣点的行业。
10.根据权利要求7所述的装置,其中,所述兴趣点素材包括图像;所述第一计算单元还用于:
检测所述图像中的目标对象;
识别所述目标对象中的文字;
根据所述已有兴趣点的内容的第一字符串的长度、所述文字的第二字符串的长度、将所述第一字符串替换为第二字符串所需要的最少操作数,计算所述第二概率。
11.根据权利要求7所述的装置,其中,所述兴趣点素材包括图像;所述第一计算单元还用于:
检测所述图像中的目标对象;
识别所述目标对象中的文字;
根据所述已有兴趣点的内容的第一字符串在语义词典中的深度、所述文字的第二字符串在语义词典中的深度、和所述第一字符串与所述第二字符串的最大公共子序列在语义词典中的深度,计算所述第二概率。
12.根据权利要求7所述的装置,其中,所述第一计算单元还用于执行以下之一:
根据所述兴趣点素材的采集位置与所述已有兴趣点的位置之间的距离,计算高斯衰减函数值;将所述高斯衰减函数值作为所述距离衰减系数;
根据所述兴趣点素材的采集位置与所述已有兴趣点的位置之间的距离,确定分段线性衰减函数;根据所述分段线性衰减函数,计算所述距离衰减系数。
13. 一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011213382.8A CN112182409B (zh) | 2020-11-03 | 2020-11-03 | 数据处理方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011213382.8A CN112182409B (zh) | 2020-11-03 | 2020-11-03 | 数据处理方法、装置、设备及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112182409A CN112182409A (zh) | 2021-01-05 |
CN112182409B true CN112182409B (zh) | 2024-07-09 |
Family
ID=73916342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011213382.8A Active CN112182409B (zh) | 2020-11-03 | 2020-11-03 | 数据处理方法、装置、设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112182409B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113704538B (zh) * | 2021-08-30 | 2024-06-18 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105718581A (zh) * | 2016-01-25 | 2016-06-29 | 杭州电子科技大学 | 引入空间衰减函数的兴趣点推荐算法 |
CN105740252A (zh) * | 2014-12-09 | 2016-07-06 | 北京四维图新科技股份有限公司 | 一种兴趣点poi数据的处理方法及装置 |
CN107543553A (zh) * | 2016-06-27 | 2018-01-05 | 高德软件有限公司 | 一种兴趣点更新方法及装置 |
CN111782980A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 地图兴趣点的挖掘方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201204006D0 (en) * | 2012-03-07 | 2012-04-18 | Tomtom Int Bv | Point of interest database maintenance system |
CN109376205B (zh) * | 2018-09-07 | 2022-03-29 | 顺丰科技有限公司 | 挖掘地址兴趣点关系的方法、装置、设备及存储介质 |
CN110347776A (zh) * | 2019-07-17 | 2019-10-18 | 北京百度网讯科技有限公司 | 兴趣点名称匹配方法、装置、设备及存储介质 |
CN110489507B (zh) * | 2019-08-16 | 2023-03-31 | 腾讯科技(深圳)有限公司 | 确定兴趣点相似度的方法、装置、计算机设备和存储介质 |
CN110909170B (zh) * | 2019-10-12 | 2022-09-23 | 百度在线网络技术(北京)有限公司 | 兴趣点知识图谱构建方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-03 CN CN202011213382.8A patent/CN112182409B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740252A (zh) * | 2014-12-09 | 2016-07-06 | 北京四维图新科技股份有限公司 | 一种兴趣点poi数据的处理方法及装置 |
CN105718581A (zh) * | 2016-01-25 | 2016-06-29 | 杭州电子科技大学 | 引入空间衰减函数的兴趣点推荐算法 |
CN107543553A (zh) * | 2016-06-27 | 2018-01-05 | 高德软件有限公司 | 一种兴趣点更新方法及装置 |
CN111782980A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 地图兴趣点的挖掘方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112182409A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111460083B (zh) | 文档标题树的构建方法、装置、电子设备及存储介质 | |
CN111522994B (zh) | 用于生成信息的方法和装置 | |
CN111522967B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
CN111782977B (zh) | 兴趣点处理方法、装置、设备及计算机可读存储介质 | |
CN112380847B (zh) | 兴趣点处理方法、装置、电子设备及存储介质 | |
CN111814077B (zh) | 信息点查询方法、装置、设备和介质 | |
CN111523007B (zh) | 用户感兴趣信息确定方法、装置、设备以及存储介质 | |
CN111611990A (zh) | 用于识别图像中表格的方法和装置 | |
US20210264155A1 (en) | Visual positioning method and apparatus, and computer-readable storage medium | |
CN112241704B (zh) | 一种判定肖像侵权的方法、装置、电子设备及存储介质 | |
CN112348107A (zh) | 图像数据清洗方法及装置、电子设备和介质 | |
CN112101013A (zh) | 地点抽取方法、装置、设备以及存储介质 | |
CN111090991A (zh) | 场景纠错方法、装置、电子设备和存储介质 | |
CN113127669B (zh) | 广告配图方法、装置、设备和存储介质 | |
CN112182409B (zh) | 数据处理方法、装置、设备及计算机存储介质 | |
CN111984876B (zh) | 兴趣点处理方法、装置、设备及计算机可读存储介质 | |
CN112000495B (zh) | 用于兴趣点信息管理的方法、电子设备和存储介质 | |
CN112328896B (zh) | 用于输出信息的方法、装置、电子设备和介质 | |
CN115688802B (zh) | 文本风险检测方法及其装置 | |
CN112381166B (zh) | 信息点识别方法、装置及电子设备 | |
CN111523036B (zh) | 一种搜索行为挖掘方法、装置和电子设备 | |
CN112381162B (zh) | 信息点识别方法、装置及电子设备 | |
CN112101012B (zh) | 互动领域确定方法、装置、电子设备及存储介质 | |
CN111832483B (zh) | 一种兴趣点有效性识别方法、装置、设备以及存储介质 | |
CN111460971B (zh) | 视频概念检测方法、装置以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |