CN115482551A - 一种问题地图检测方法、电子设备和系统 - Google Patents
一种问题地图检测方法、电子设备和系统 Download PDFInfo
- Publication number
- CN115482551A CN115482551A CN202110593530.1A CN202110593530A CN115482551A CN 115482551 A CN115482551 A CN 115482551A CN 202110593530 A CN202110593530 A CN 202110593530A CN 115482551 A CN115482551 A CN 115482551A
- Authority
- CN
- China
- Prior art keywords
- area
- map
- image
- target
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例提供一种问题地图检测方法、电子设备和系统,涉及图像识别技术领域。该方法应用于电子设备,包括:获取待检测图像;识别待检测图像中的目标地图,每个目标地图包括至少一个目标检测区域;通过问题地图检测模型对每个目标地图进行检测,确定每个目标地图中目标检测区域的违规类型;该违规类型包括以下类型中的至少一种:未违规、第一违规问题或者第二违规问题。通过本实施例提供的技术方案,电子设备在对待检测图像中的目标地图进行检测之后,不仅能够确定其是否为问题地图,还能够确定其具体存在的违规问题,获取详细的地图检测结果,具有较高的检测效率。
Description
技术领域
本申请涉及图像识别技术领域,尤其涉及一种问题地图检测方法、电子设备和系统。
背景技术
问题地图是指存在错绘或漏绘等绘制错误的地图,可能是世界地图、国家地图、省级地图或者市区地图等。问题地图在互联网中大量存在,容易导致人们对各区域版图的错误认识,带来许多不良影响。目前,问题地图的检测通常是由人工进行的,但是人工检测通常效率低,尤其是当待检测图像数量较多时,很难高效地完成地图检测任务。因此,亟待提供一种新的问题地图检测方法。
发明内容
本申请提供一种问题地图检测方法、电子设备和系统,能够提高问题地图的检测效率。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种问题地图检测方法,该方法包括:获取待检测图像;识别待检测图像中的所有目标地图,每个目标地图包括至少一个目标检测区域;通过问题地图检测模型对每个目标地图进行检测,确定每个目标地图中每个目标检测区域的违规类型。
该违规类型包括以下类型中的至少一种:未违规、第一违规问题或者第二违规问题;未违规用于表示已识别到对应的目标检测区域,且该目标检测区域的绘制合规;第一违规问题用于表示未识别到对应的目标检测区域;第二违规问题用于表示已识别到对应的目标检测区域,但该目标检测区域存在绘制错误。
通过本实施例提供的问题地图检测方法,电子设备在对待检测图像中的目标地图进行检测之后,不仅能够确定其是否为问题地图,还能够确定其具体存在的违规问题,获取详细的地图检测结果,具有较高的检测效率,以及较好的用户体验。
在一些实施例中,目标检测区域的类型包括:岛屿、边界区域和区域插图。基于此,电子设备对岛屿、边界区域和区域插图等不同类型的地图区域均可以进行检测。
在一些实施例中,第一违规问题包括:岛屿漏绘、边界区域漏绘或者区域插图漏绘;第二违规问题包括:边界错绘或者局部区域异色。
在一些实施例中,获取待检测图像具体包括:获取待检测图像,并确定目标地图。通过本申请实施例提供的方法,电子设备可以根据用户指令对目标地图进行选择,满足用户检测不同目标地图的需求。
在一些实施例中,通过问题地图检测模型对目标地图进行检测,确定每个目标地图中每个目标检测区域的违规类型,包括:通过问题地图检测模型中的语义分割网络,对待检测图像进行检测;根据检测结果确定每个目标地图中目标检测区域的违规类型。
在一些实施例中,当目标检测区域是边界区域时,通过问题地图检测模型中的语义分割网络,对待检测图像进行检测;根据检测结果确定每个目标地图中每个目标检测区域的违规类型具体包括:通过语义分割网络,识别边界区域所在的第一地图掩膜;将第一地图掩膜与预设的合规地图进行轮廓匹配,确定轮廓匹配关系;根据轮廓匹配关系和边界区域在合规地图中的坐标,确定边界区域在第一地图掩膜中的关键点坐标;根据关键点坐标,从待检测图像上截取边界区域的区域图像;通过边界识别模型对边界区域的区域图像进行识别,以确定边界区域是否存在边界错绘的问题。
在本实施例中,电子设备采用边界识别模型对边界区域的区域图像进行针对性检测,能够获得较为准确的检测结果。
在一些实施例中,当目标检测区域是岛屿时,通过问题地图检测模型中的语义分割网络,对待检测图像进行检测;根据检测结果确定每个目标地图中每个目标检测区域的违规类型具体包括:通过语义分割网络,识别岛屿所在的第二地图掩膜;若识别到第二地图掩膜,则确定该岛屿不存在岛屿漏绘的问题;若未识别到第二地图掩膜,则确定该岛屿存在岛屿漏绘的问题。
在一些实施例中,当目标检测区域是岛屿时,通过问题地图检测模型中的语义分割网络,对待检测图像进行检测;根据检测结果确定每个目标地图中每个目标检测区域的违规类型具体包括:根据第二地图掩膜确定岛屿的关键点坐标;根据岛屿的关键点坐标,从待检测图像中截取岛屿的区域图像;通过颜色识别模型,对比岛屿的区域图像和待检测图像中的目标地图,以确定该岛屿是否存在局部区域异色的问题。
在本实施例中,电子设备采用颜色识别模型对岛屿的区域图像进行针对性检测,以确定岛屿颜色的绘制是否正确,检测结果较为准确。
在一些实施例中,当目标检测区域是区域插图时,通过问题地图检测模型中的语义分割网络,对待检测图像进行检测;根据检测结果确定每个目标地图中每个目标检测区域的违规类型具体包括:通过语义分割网络,识别待检测图像中的区域插图所在的第三地图掩膜;若识别到第三地图掩膜,则确定区域插图不存在区域插图漏绘的问题;若未识别到第三地图掩膜,则确定区域插图存在区域插图漏绘的问题。
在一些实施例中,通过问题地图检测模型对每个目标地图进行检测,确定每个目标地图中每个目标检测区域的违规类型,包括:通过问题地图检测模型中的关键点检测模型,对待检测图像进行检测;根据检测结果确定每个目标地图中每个目标检测区域的违规类型。
在本实施例中,通过关键点检测模型能够快速确定目标检测区域的关键点的位置坐标和响应值,有助于简化问题地图的检测步骤,提高检测速率。
在一些实施例中,当待检测地图包括多个目标地图时,通过关键点检测模型,对待检测图像进行检测,确定每个目标地图中每个目标检测区域的违规类型,包括:通过关键点检测模型,识别多个目标地图中的所有目标检测区域的关键点;根据所有关键点的位置关系对所有关键点进行分类,确定属于同一目标地图的关键点;根据属于同一目标地图关键点,确定属于同一目标地图目标检测区域;以及,针对每一个目标地图,确定对应的目标检测区域的违规类型。
在一些实施例中,通过问题地图检测模型中的关键点检测模型,对待检测图像进行检测;根据检测结果确定每个目标地图中每个目标检测区域的违规类型具体包括:通过关键点检测模型,确定目标检测区域的响应值;当目标检测区域是边界区域,且边界区域的关键点的响应值小于阈值时,确定边界区域存在边界区域漏绘的问题;当目标检测区域是岛屿,且岛屿的关键点的响应值小于阈值时,确定岛屿存在岛屿漏绘的问题;当目标检测区域是区域插图,且区域插图的关键点的响应值小于阈值时,确定区域插图存在区域插图漏绘的问题。
在一些实施例中,当目标检测区域是边界区域时,通过问题地图检测模型,对每个目标地图进行检测,确定每个目标地图中每个目标检测区域的违规类型具体包括:当边界区域的响应值大于或者等于阈值时,通过关键点检测模型确定边界区域的关键点坐标;根据关键点坐标,从待检测图像上截取边界区域的区域图像;通过边界识别模型对边界区域的区域图像进行识别,以确定该边界区域是否存在边界错绘的问题。
在一些实施例中,当目标检测区域是岛屿时,通过问题地图检测模型,对每个目标地图进行检测,确定每个目标地图中每个目标检测区域的违规类型具体包括:当岛屿的关键点的响应值大于或者等于阈值时,通过关键点检测模型确定岛屿的关键点坐标;根据岛屿的关键点坐标,从待检测图像上截取该岛屿的区域图像;通过颜色识别模型,对比该岛屿的区域图像和待检测图像中的目标地图,以确定该岛屿是否存在局部区域异色的问题。
在一些实施例中,根据目标检测区域的关键点坐标,截取对应的区域图像,包括:根据待检测图像的像素面积,确定区域图像的像素面积;根据目标检测区域预设的宽高比,以及区域图像的像素面积,确定目标检测区域的宽度和高度;根据目标检测区域的关键点坐标,以及目标检测区域的宽度和高度,从待检测图像中截取目标检测区域的区域图像。
在一些实施例中,根据目标检测区域的关键点坐标,截取对应的区域图像包括:确定同一目标地图上多个目标检测区域的关键点之间的平均距离;根据目标检测区域预设的宽高比,以及平均距离,确定目标检测区域的宽度和高度;根据目标检测区域的关键点坐标,以及目标检测区域的宽度和高度,从待检测图像中截取目标检测区域的区域图像。
第二方面,本申请实施例提供一种问题地图检测系统,包括客户端和服务器;该客户端被配置为,向服务器发送待检测图像;该服务器被配置为,识别待检测图像中的所有目标地图,每个目标地图包括至少一个目标检测区域;通过问题地图检测模型对每个目标地图进行检测,获取检测结果,该检测结果包括:每个目标地图中每个目标检测区域的违规类型;向客户端发送检测结果。
其中,违规类型包括以下类型中的至少一种:未违规、第一违规问题或者第二违规问题;未违规用于表示已识别到对应的目标检测区域,且目标检测区域的绘制合规;第一违规问题用于表示未识别到对应的目标检测区域;第二违规问题用于表示已识别到对应的目标检测区域,但目标检测区域存在绘制错误。
第三方面,本申请实施例提供一种电子设备,包括存储器,处理器,以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行该计算机程序时实现如上述第一方面示出的问题地图检测方法。
第四方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面示出的问题地图检测方法。
第五方面,本申请实施例提供一种计算机程序产品,该程序产品包括程序,当该程序被电子设备运行时,使得电子设备如上述第一方面示出的问题地图检测方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不进行赘述。
附图说明
图1为本申请实施例提供的一种合规的A省地图;
图2为本申请实施例提供的一种违规的A省地图;
图3是本申请实施例提供的问题地图检测方法的示意性流程图;
图4是本申请的一个实施例提供的待检测图像的预处理示意图;
图5是本申请另一个实施例提供的待检测图像的预处理示意图;
图6是本申请的一个实施例提供的待检测图像的示意图;
图7是本申请的一个实施例提供的问题地图检测方法的示意性流程图;
图8是本申请的一个实施例提供的待检测图像处理过程示意图;
图9是本申请的一个实施例提供的位置坐标示意图;
图10是本申请的一个实施例提供采样点偏移角度的示意图;
图11是本申请的一个实施例提供的采样点偏移量确定示意图;
图12是本申请的一个实施例提供的目标地图掩膜的轮廓与合规地图的轮廓的匹配关系示意图;
图13是本申请的一个实施例不同关键检测区域的区域图像;
图14是本申请的一个实施例提供的区域异色问题的识别过程示意图;
图15是本申请的一个实施例提供的检测结果示意图;
图16A是本申请另一个实施例提供的待检测图像的示意图;
图16B是本申请另一个实施例提供的检测结果示意图;
图17是本申请又一个实施例提供的待检测图像的示意图;
图18是本申请又一个实施例提供的问题地图检测方法的示意性流程图;
图19是本申请又一个实施例提供的待检测图像处理过程示意图;
图20是本申请的一个实施例提供的关键点的示意图;
图21是本申请的一个实施例提供的关键点分类过程示意图;
图22是本申请实施例提供的不同关键检测区域的区域图像;
图23是本申请又一个实施例提供的检测结果示意图;
图24是本申请的一个实施例提供电子设备的示意图结构图;
图25是本申请实施例提供的问题检测系统的工作流程图;
图26是本申请实施例提供的问题地图的检测策略的设置示意图。
具体实施方式
下面结合附图对本申请实施例提供的技术方案进行详细的说明。
问题地图是指存在边界错绘、岛屿漏绘、局部区域异色、区域插图漏绘等绘制错误的地图,可能是世界地图、国家地图、省级地图或者市区地图等。例如,以A省的地图为例,图1为合规的A省地图,图2为违规的A省地图(也称为问题地图)。在图2所示的问题地图中,区域A和区域B处存在边界错绘的问题,区域C处存在局部区域异色的问题(即区域C 的颜色与A省地图其他区域的颜色均不同),区域D存在区域插图漏绘的问题,区域E处存在岛屿漏绘的问题。
问题地图在互联网中大量存在,容易导致人们对各区域版图的错误认识,带来许多不良影响。目前,问题地图的检测通常是由人工进行的,但是人工检测通常效率较低,尤其是当待检测图像数量较多时,很难高效地完成地图检测任务。为此,本申请实施例提供一种问题地图检测方法,以提高问题地图的检测效率和准确程度。
本申请实施例提供的问题地图检测方法可以应用于终端设备、服务器等电子设备。其中,终端设备包括台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality, AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)等,本申请实施例对终端设备的具体类型不作任何限制。
图3是本申请实施例提供的问题地图检测方法的示意性流程图,涉及通过电子设备通过问题地图检测模型对地图进行检测,确定地图违规问题的过程。需要说明的是,本申请实施例中,问题地图检测模型包括一系列子模型,例如目标地图识别模型,关键点检测模型,语义分割网络,边界识别模型,颜色识别模型,回归识别模型等模型中的一个或者多个。该方法具体包括如下步骤。
S301,电子设备获取待检测图像。
在本实施例中,待检测图像的画面内容中可以包括一幅或者多幅地图,该地图可以是世界地图、国家地图、省级地图或者市区地图等,也可以是上述各类地图中的一个或者多个局部区域。在本实施例中,多个是指两个或者两个以上。
S302,电子设备对待检测图像进行预处理,获得预处理图像。
可选的,电子设备在获取到待检测图像之后,可以对其进行预处理,将其转化为目标尺寸的正方形图像,以便后续进行图像识别。示例性的,该目标尺寸可以是512*512像素、416*416像素或者224*224像素等,本实施例对此不进行限制。以512*512像素的图像为例,512像素是指待检测图像横边或纵边上像素点的个数。
以目标尺寸是512*512像素为例,当待检测图像是正方形时,电子设备可以直接对其进行缩放(指缩小或者放大),将其处理为512*512像素的正方形图像。
而当待检测图像是例如图4中的(a)所示的长方形图像时,其横边和纵边中必然有一条是长边,一条是短边。若电子设备直接将长边缩放至512像素,并将短边缩放至512像素,预处理后的图像将会失真(例如图4中的(b)所示)。
为此,对于长方形的待检测图像,电子设备可以将其长边和短边进行等比例缩放,当长边被缩放为512像素时,其短边的长度必然小于512像素。此时,电子设备可以采用黑色像素点对缩放后的待检测图像进行补充,将短边的长度补足至512像素,从而获得512*512像素的预处理图像,以避免图像失真的情况。
例如,对于图5中的(a)所示的长方形的待检测图像,通过本实施例提供的方法,可以将其处理为图5中的(b)所示的512*512像素的预处理图像。
S303,电子设备识别预处理图像中是否有目标地图。
目标地图是指本次地图检测任务的检测对象,例如,世界地图、A省地图、S省地图等。该目标地图是预设的,根据检测任务的不同,目标地图通常不同。
需要说明的是,在问题地图检测过程中,电子设备仅对目标地图进行识别与检测,而不检测预处理图像中的其他地图。例如,当预处理图像中同时包括A省和B省、C省地图时,若本次检测任务目标地图是A省地图,则电子设备仅检测A省地图的绘制问题,而不检测B省和C省地图。
在本实施例中,电子设备可以使用目标地图识别模型或者地图分类模型,来识别预处理图像中是否包括目标地图。如果预处理图像中包括目标地图,则继续执行下一步骤S304。如果预处理图像中不包括目标地图,则针对该预处理图像的检测任务结束。需要说明的是,目标地图识别模型是预设的,根据预先训练数据的不同,目标地图识别模型能够识别的目标地图也不同,且一个目标地图识别模型能够识别一个或者多个目标地图。
S304,当预处理图像中包括目标地图时,电子设备识别目标地图中的目标检测区域。
目标检测区域是指目标地图中的特定区域,其通常是目标地图绘制过程中易出现错误的区域,是预先确定的。不同目标地图的目标检测区域通常是不相同的。例如,参见图1和图 2所示,A省地图中容易出现绘制错误的区域包括区域A至区域E。因此,可以将区域A至区域E确定为A省地图的目标检测区域,检测其绘制是否合规,而不对A省地图中的其他区域进行检测。
电子设备识别目标检测区域的方法有多种。一种可能的方式是:基于语义分割的方式识别目标检测区域。另一种可能的方式是:使用关键点检测模型识别目标检测区域。具体参见下文描述,本实施例在此不进行赘述。
S305,若未识别到目标检测区域,电子设备则确定该目标检测区域存在第一违规问题。
S306,若识别到目标检测区域,电子设备则确定该目标检测区域的区域图像,根据该区域图像确定该目标检测区域是否存在第二违规问题。
不同类型的目标检测区域,其通常出现的违规问题是不同的。本实施例将违规问题分为第一违规问题和第二违规问题。
第一违规问题是指漏绘目标检测区域的问题,包括岛屿漏绘、区域插图漏绘、边界区域漏绘等。不同类型区域的第一违规问题通常不同。例如,岛屿(如区域C)通常存在的第一违规问题是岛屿漏绘,而区域插图(如区域D)通常存在的第一违规问题是区域插图漏绘。
第二违规问题是指目标检测区域存在,但边界或者颜色绘制错误的问题,包括边界错绘、局部区域异色等。不同类型区域的第二违规问题通常不同。例如,版图边缘区域(如区域A、区域B)通常存在的第二违规问题是边界错绘,而岛屿(如区域C)通常对应的第二违规问题是区域插图漏绘。
基于此,若电子设备未识别到目标检测区域,则确定该目标检测区域存在第一违规问题。而当电子设备识别到目标检测区域之后,需要进一步确定其区域图像,以确定该区域是否存在第二违规问题。
区域图像通常是预处理图像中形状规则的局部图像,例如长方形、正方形、圆形或者椭圆形等,其中包括目标检测区域的地图信息。针对不同类型的目标检测区域,电子设备可以使用不同的识别模型来识别其区域图像,从而针对性地检测该区域经常出现的问题。
例如,参见表1所示,对于位于版图边缘的区域(如区域A、区域B),仅通过边界识别模型来检测其是否存在边界错绘的问题,而不检测其是否存在岛屿缺失或者局部区域异色的问题。对于岛屿(如区域C),可以通过颜色识别模型识别岛屿的颜色是否与地图整体颜色一致。
表1识别模型表
需要说明的是,在本实施例中,每一个识别模型都是针对特性的图像预先训练得到的,仅用于识别该特定的一个或者多个图像。例如,对于边界识别模型,若其前期经过大量包含合规区域A的图像训练样本训练,那么其便具备识别区域A边界绘制情况的能力。若其前期经过大量包含合规区域A和区域B图像的训练样本训练,那么其便同时具备识别区域A和区域B边界绘制情况的能力。
综上所述,在本实施例提供的问题地图检测方法中,电子设备基于待检测图像抠取目标检测区域的区域图像,再根据目标检测区域类型的不同,采用对应的图像识别模型单独对该区域图像进行图像识别,进而确定该区域是否存在违规问题。相对于对待检测图像进行整体识别,以及人工进行问题地图检测,本实施例提供的方法具有返回结果精细、速度快、准确率高的特点。
此外,通过本实施例提供的方法,电子设备在对图像进行识别后,不仅能够确定其是否为问题地图,还能够确定其具体存在的违规问题,获取详细的地图检测结果,具有较好的用户体验。例如,对于图2所示的待检测图像,电子设备可以确定其为问题地图,并且该地图的区域A和区域B存在边界错绘的问题,区域C存在局部区域异色的问题,区域D存在再区域插图漏绘的问题,区域E存在岛屿漏绘的问题。
下面以待检测图像是图6中的图像、目标地图是A省地图、目标检测区域包括区域A、区域B、区域C、区域D为例,对本申请实施例提供的问题地图检测方法进行示例性说明。
图7是本申请的一个实施例提供的问题地图检测方法的示意性流程图,涉及电子设备基于语义分割网络识别目标检测区域,进而确定目标检测区域的区域图像,识别各个目标检测区域违规问题的过程。具体包括如下步骤。
S701,电子设备获取待检测图像。
在本实施例中,待检测图像(即图6或者图8中的(a)所示的图像)为长方形,其中仅包括一幅A省地图。
S702,电子设备对待检测图像进行预处理,获得预处理图像。
在本实施例中,电子设备对图8中的(a)所示的待检测图像进行预处理之后,可以获得图8中的(b)所示的预处理图像。在一个示例中,该预处理图像是尺寸为512*512像素为正方形图像。
S703,电子设备识别该预处理图像中是否包括A省地图。
可选的,电子设备可以利用预设的目标地图识别模型对预处理图像进行识别,确定其响应值。若其响应值大于或者等于阈值(例如0.5),则说明该预设图像中包括目标地图。若其响应值小于阈值,则说明该预设图像中不包括目标地图。
例如,目标地图识别模型在对图8中的(b)所示的预处理图像进行识别之后,检测到该预处理图像的响应值为0.99。由于该响应值大于阈值0.5,因此,电子设备确定该预处理图像中包括A省地图,并继续执行下一步骤S704。
S704,电子设备通过语义分割网络,识别预处理图像中目标检测区域。
在本实施例中,参见图8中的(b)所示,区域A和区域B位于A省地图的第一部分,区域C位于A省地图的第二部分,区域D位于A省地图的第三部分,且这三个部分相互不连接。因此,电子设备在进行语义分割时,可以通过识别这三个部分是否存在,来确定目标检测区域是否存在。若电子设备检测到第一部分,则认为识别到区域A和区域B。若电子设备识别到第二部分,则认为识别到区域C。若电子设备识别到第三部分,则认为识别到区域 D。
在本实施例中,电子设备可以通过U型语义分割网络(U-shape Network,U-Net)或其他经典的语义分割网络(如DeepLab Series Network,Deep Lab V3)等对预处理图像进行语义分割,来识别A省地图的第一部分、第二部分和第三部分。
需要说明的是,A省地图还包括第一、第二、第三部分以外的其他部分,为方便表述,本实施例在此未将其全部列出。
S705,若未识别到目标检测区域,则电子设备确定该目标检测区域存在第一违规问题。
对于区域A和区域B,由于其所在的第一部分为A省地图的主体部分,若电子设备检测到预处理图像中包括A省地图,则说明第一部分是存在的。因此,在本实施例中,区域A和区域B通常不会出现第一违规问题。
对于区域C,若电子设备在预处理图像中未识别到区域C,则确定区域C存在第一违规问题中的岛屿漏绘问题。
对于区域D,若电子设备在预处理图像中未识别到区域D,则确定区域D存在第一违规问题中的区域插图漏绘问题。
S706,若识别到目标检测区域,则电子设备确定目标检测区域对应的地图掩膜。
S707,电子设备识别地图掩膜,确定目标检测区域的区域信息,该区域信息包括关键点信息或者区域插图尺寸。
在本实施例中,关键点是指目标检测区域中有代表性的点,例如中心点。关键点信息包括名称、坐标位置。其中,关键点的名称用于表示其所对应的目标检测区域。在本实施例中,为了便于理解,可以将区域A的关键点的名称确定为“点A”,将区域B的关键点的名称确定为“点B”,依次类推。坐标位置是指关键点在预处理图像中的坐标位置。
需要说明的是,参见图9所示,本实施例将预处理图像左上角的顶点确定为坐标原点 (0,0),将过原点且沿预处理图像横向向右的方向确定为X轴的正方向,将经过原点且沿预处理图像纵向向下的方向确定为Y轴的正方向。基于此,在图9所示的预处理图像中,区域A的关键点的坐标位置为(x,y)。
下面分别对区域A、区域B、区域C和区域D的区域信息的确定方法进行说明。
(1)区域A、区域B
由于区域A和区域B处于A省地图第一部分的版图边缘,因此,电子设备通过识别第一部分的轮廓,确定区域A和区域B关键点信息。具体如下所示。
首先,电子设备确定第一部分的第一地图掩膜。可选的,电子设备在对预处理图像中的第一部分进行语义识别之后,可以获得预处理图像中每个像素点的响应值。该响应值通常在 0~1之间,像素点的响应值越大,像素点位于第一部分的可能性就越大。基于此,电子设备可以根据像素点的响应值是否大于阈值,对语义分割结果进行二值化处理,生成第一部分对应的第一特征图,并根据第一特征图确定第一地图掩膜。
例如,电子设备在图8中的(b)所示的预处理图像进行语义分割,确定每个像素点的响应值之后,将所有响应值小于阈值0.5的像素点确定为非目标像素点(即该像素点不属于A 省地图的第一部分),将所有响应值大于或者等于0.5的像素点确定为目标像素点(即该像素点属于A省地图的第一部分),即可生成例如图8中的(c1)所示的第一特征图。在第一特征图中,目标像素点的最大连通区域(即最大的白色区域)为第一地图掩膜。
其次,电子设备将第一地图掩膜与合规地图的轮廓匹配,确定轮廓匹配关系。该过程具体包括如下内容a~e。
a.电子设备提取第一地图掩膜的轮廓点,并对这些轮廓点进行等间隔采样,确定N个采样点。其中,每两个轮廓点之间沿轮廓线的距离相等。N为预设数值,例如N=100、N=200、 N=500等。以如图10所示的局部轮廓线为例,该局部轮廓线是图8中的(c1)所示的第一地图掩膜的一部分轮廓线。在该轮廓线上,每一个空心及实心的原点均代表第一地图掩膜的一个轮廓点。若每间隔两个轮廓点确定一个采样点,则如图10所示,在所有轮廓点中,空心的原点即为采样点。
b.电子设备确定每个采样点相对于其邻近采样点的总偏移角度,该邻近采样点的数量通常为偶数个,例如4个、6个、8个等,本实施例对此不进行限制。
下面结合图10,以采样点是xi,xi邻近的采样点是xi-2、xi-1、xi+1和xi+2为例,对采样点的总偏移角度的确定过程进行说明。
参见图10所示,采样点xi的基准线为Li,该基准线与预处理图像的横边或者纵边平行,并且所有采样点的基准线均平行。xi与xi-1所在直线为Li-1,xi与xi-2所在直线为Li-2,xi与xi+1所在直线为Li+1,xi与xi+2所在直线为Li+2。其中,Li与Li-2的夹角θ-2即为xi相对于xi-2的偏转角度;Li与Li-1的夹角θ-1即为xi相对于xi-1的偏转角度;Li与Li+1的夹角θ1即为xi相对于xi+1的偏转角度;Li与Li+2的夹角θ2即为xi相对于xi+2的偏转角度。
需要说明的是,在本实施例中,某直线(例如Li-1)与基准线Li的夹角是指,该基准线Li沿逆时针方向旋转至与该直线(例如Li-1)重合时,所需旋转的最小角度。
综上可知,xi相对于其邻近采样点的偏移角度包括[θ-2,θ-1,θ1,θ2],xi相对于其邻近采样点的总偏移角度θi=θ-2+θ-1+θ1+θ2,θi也称为xi点的特征值。
c.电子设备利用标准化处理公式对每个采样点的特征值进行标准化处理,将特征值处理为0~1之间的数值,以缩小运算数据。
在本实施例中,标准化处理公式为:
其中,θ′i为经过标准化处理之后的特征值,θi为xi未经过处理的特征值,θmin为所有采样点的特征值中的最小值,θmax为所有采样点的特征值中的最大值。
将所有采样点经过标准化处理的特征值按照顺序依次排列,即可获得目标地图掩膜的特征向量H(x)=[θ′1,……,θ′i-1,θ′i,θ′i+1,……,θ′N]。
同理,参照上述H(x)的确定方法,电子设备也可以确定出目标地图对应的合规地图的特征向量G(x)=[τ′1,τ′2,……,τ′i-1,τ′i,τ′i+1,……,τ′N]。其中,τ′i为该合规地图中采样点xi对应的特征值。
d.电子设备利用G(x)对H(x)中的每个采样点进行偏移校正。
其中,Δx∈[-4,4]且为整数,xi依次取xi依次取k为采样点的总个数,j表示滑窗窗口的大小。在本实施例中,滑窗窗口是指积分上限(即)与积分下限(即) 的差值大小,也可以用来表示参与本次积分运算的采样点的个数,滑窗窗口的大小j是预设的,可以为6、8、10等,本实施例对此不进行限制。
以Δx∈[-4,4]且为整数,j=8为例,电子设备分别需要计算当Δx等于-4、-3、-2、-1、0、 1、2、3、和4时,的积分值。参见图11所示,该积分值用于表示 H(x+Δx)与G(x)之间面积的大小,面积越小H(x+Δx)与G(x)的重合度越高。在这些积分值中,最小积分值对应的Δx即为H(x)中采样点的偏移量。
逐渐移动滑窗窗口(即将校正公式中积分的上限和下限同时增大或者减小),并重复上述偏移校正的过程,即可确定出H(x)中的每个采样点的偏移量,进而确定出目标地图掩膜和合规地图的采样点之间的对应关系H(x)=M·G(x),将目标地图掩膜的轮廓与合规地图的轮廓进行匹配,可参见图12所示。其中,M为H(x)和G(x)之间的透视变换矩阵。
e.电子设备根据第一地图掩膜与合规地图的轮廓匹配关系,确定区域A和区域B的关键点信息。
由于区域A、区域B是预设的,其在合规地图中有确定对应的采样点信息。因此,根据目标地图和合规地图轮廓匹配关系H(x)=M·G(x),以及合规地图中区域A、区域B的采样点信息,即可确定目标地图中区域A、区域B对应的关键点,进而确定关键点坐标。
(2)区域C
在一些实施例中,参照前文示出的第一部分的第一特征图的确定方法,电子设备可以确定出第二部分对应的第二特征图(例如图8中的(c2))。在第二特征图中,白色区域即为第二地图掩膜。由于区域C占据了第二部分的全部区域,因此,可以将第二地图掩膜的中心位置确定为区域C的关键点,该中心位置的坐标即为区域C的关键点的坐标。
在另一些实施例中,由于地图与普通图像不同,对于一个特定的地图,其各个区域之间的相对位置关系是确定的,各区域关键点的相对位置关系也是确定的。例如,对于A省地图,区域A、区域B和区域C之间的相对位置关系是确定的,其关键点(即点A、点B和点C) 之间的相对位置关系也是确定的。基于此,电子设备可以在确定点A的坐标和点B的坐标之后,根据点A、点B和点C的相对位置关系确定点C的坐标。
(3)区域D
关于第三部分,参照前文示出的第一部分的第一特征图的确定方法,电子设备也可以确定出第三部分对应的第三特征图(例如图8中的(c3))。在第三特征图中,白色区域即为第三地图掩膜。由于区域D占据了第三部分的全部区域,因此,第三地图掩膜的中心位置即为区域D的关键点,该中心位置的坐标即为区域D的关键点坐标。
此外,对于区域D,电子设备还可以识别第三地图掩膜外切矩形的尺寸,确定为区域插图的尺寸。即将该外切矩形的宽度和高度,确定为区域插图的宽度和高度。
综上所述,对于图8中的(b)所示的预处理图像,电子设备通过S706示出的关键点信息确定方法,可以分别确定如表2所示的关键点信息。
表2关键点信息
需要说明的是,在本实施例中,在确定坐标与长度时,以每个像素点为一个单位长度。例如,当某直线的长度为53时,代表该直线的长度为53个单位长度。
S708,电子设备根据关键点信息确定目标检测区域对应的区域图像。
在本实施例中,根据检测任务需求,电子设备需要确定区域A、区域B的区域图像,以检测其是否存在第二违规问题中的边界错绘问题。需要确定区域C的区域图像,以检测其是否存在第二违规问题中的局部区域异色问题。而区域D通常不存在第二违规问题,因此,无需确定区域D的区域图像。
针对每一个目标检测区域,电子设备中都预设了一个该区域的区域图像的宽高比[l,h]。例如,针对区域A、区域B和区域C,其区域图像的宽高比分别为[1/1.5,1/1.9]、[1/1.5,1/1.2] 以及[1/1.625,1/2]。需要说明的是,该宽高比是根据不同目标检测区域的地形特点确定,区域图像的宽高比与目标检测区域的宽高比相近。
电子设备根据目标检测区域的区域面积S′,以及区域图像的长宽,通过如下公式即可确定区域图像的长和宽。
以目标地图的像素面积是S=96993,目标检测区域是区域A、区域B和区域 C,且区域A、区域B和区域C预设的区域图像的宽高比分别是[1/1.5,1/1.9]、[1/1.5,1/1.2] 和[1/1.625,1/2]为例,通过上述公式可以确定出区域A、区域B和区域C区域图像的长宽依次是[65,51]、[65,81]和[60,49]。
综上所述,电子设备可以获得例如表3所示的区域图像信息,该其中包括了每个目标检测区域的所在的地图、目标检测区域名称、关键点名称、区域图像中心位置坐标(即关键点坐标)以及区域图像尺寸之间的对应关系。
表3区域图像信息
目标检测区域 | 关键点名称 | 中心位置坐标 | 区域图像尺寸 |
A | 点A | (240,180) | [65,51] |
B | 点B | (110,340) | [65,81] |
C | 点C | (377,371) | [60,49] |
D | 点D | (480,395) | - |
根据表3中的对应关系,电子设备可以确定出待检测图像各个目标检测区域的区域图像。示例性的,针对图8中的(a)所示的待检测图像,电子设备可以确定区域A、区域B和区域 C的区域图像分别为图13中的(a)、图13中的(b)以及图13中的(c)。
S709,电子设备根据区域图像,确定对应的目标检测区域是否存在第二违规问题。
在本实施例中,根据目标检测区域类型的不同,参见表1所示,电子设备可以分别采用不同的图像识别模型来识别对应的区域图像中的第二违规问题。
例如,对于图13中的(a)所示的区域A的区域图像,由于电子设备通过边界识别模型确定其违规分类得分为0.970,且其大于阈值0.5,因此,确定区域A不存在第二违规问题中的边界错绘问题。
例如,对以图13中的(b)所示的区域B的区域图像,由于电子设备通过边界识别模型可以确定其违规分类得分为0.977,其大于阈值0.5,因此,确定区域B不存在第二违规问题中的边界错绘问题。
再例如,对以图13中的(b)所示的区域B的区域图像,由于电子设备通过颜色识别模型可以确定其违规分类得分为0.989,大于阈值0.5,因此,确定其不存在局部区域异色的问题。
需要说明的是,颜色识别模型在识别区域C是否存在局部区域异色的问题时,需要结合局部颜色特征(即区域C的颜色特征)和全局颜色特征(即待检测图像中目标地图的整体颜色特征)进行判断。因此,参见图14所示,颜色识别模型首先需要分别获取区域C的区域图像以及待检测图像。随后,对区域C的区域图像和待检测图像分别进行卷积运算(convolution,Conv)和全局平均池化(global average pooling,GAP),分别得到区域图像C和待检测图像的颜色特征信息。最后,将区域图像C和待检测图像的颜色特征信息进行卷积运算、全局平均池化以及全连接(fully connected,FC)处理,输出违规分类得分。当该违规分类得分大于阈值时,确定区域C不存在局部区域异色的问题,而当该违规分类得分小于阈值时,确定区域C存在局部区域异色的问题。
基于上述S701-S709,电子设备在完成图8中的(a)所示的对待检测图像的识别之后,生成检测结果。示例性的,该检测结果如下所示:
需要说明的是,在本申请的各个实施例中,当目标检测区域的违规类型(type)是“0”时,代表该目标检测区域合规。当目标检测区域的违规类型(type)是“1”时,代表该目标检测区域存在边界错绘的问题。当目标检测区域的违规类型(type)是“2”时,代表该目标检测区域存在岛屿漏绘的问题。当目标检测区域的违规类型(type)是“3”时,代表该目标检测区域存在局部区域异色的问题。当目标检测区域的违规类型(type)是“4”时,代表该目标检测区域存在区域插图漏绘的问题。
由于电子设备识别到待检测图像上每个目标检测区域均不存在违规问题,因此认为该地图为合规地图,并在待检测图像上显示该检测结果,该检测结果用于指示该地图为合规地图。例如,参见图15所示,电子设备可以在待检测图像上突出显示被检测的区域A、区域B、区域C和区域D,以及显示文字信息“合规地图:区域A合规,区域B合规,区域C合规,区域D合规”。
在另一些实施例中,以待检测图像是图16A所示的图像,以目标地图是A省地图、目标检测区域包括区域A、区域B、区域C、区域D为例,通过本申请实施例提供的问题地图检测方法,可以获得如图16B所示的检测结果。该检测结果用于表示该图像中目标地图是问题地图,其中,区域A合规,区域B存在边界错绘的问题,区域C存在局部区域异色的问题,区域D存在区域插图漏绘的问题。
下面以待检测图像是图17所示的图像、目标地图是A省地图、目标检测区域包括区域A、区域B、区域C、区域D为例,对本申请实施例提供的问题地图检测方法进行示例性说明。
图18是本申请另一个实施例提供的问题地图检测方法的示意性流程图,涉及电子设备通过关键点检测模型识别目标检测区域,进而确定目标检测区域的区域图像,识别各个目标检测区域违规问题的过程。具体包括如下步骤。
S1801,电子设备获取待检测图像。
在本实施例中,待检测图像是例如图19中的(a)或者图17所示的图像,该图像为长方形,其中包括两幅A省地图,即地图1和地图2。
S1802,电子设备对待检测图像进行预处理,获得预处理图像。
在本实施例中,电子设备对图19中的(a)所示的待检测图像进行预处理之后,可以获得图19中的(b)所示的预处理图像。在一个示例中,该预处理图像是尺寸为512*512像素为正方形图像。
S1803,电子设备识别预处理图像中是否包括A省地图。
可选的,电子设备可以利用预设的目标地图识别模型对预处理图像进行识别,确定其响应值。若其响应值大于或者等于阈值,则说明该预设图像中包括目标地图。若其响应值小于阈值,则说明该预处理图像中不包括目标地图。
例如,目标地图识别模型在对图19中的(b)所示的预处理图像进行识别之后,检测到该预处理图像的响应值为0.98。由于该响应值大于阈值0.5,因此,电子设备确定该预处理图像中包括A省地图,并继续执行下一步骤S1804。
S1804,电子设备使用关键点检测模型,识别预处理图像中目标检测区域。
在本实施例中,电子设备使用高分辨率网络(high-resolution network,HR net)关键点检测模型识别目标检测区域的关键点。若关键点的响应值小于阈值,则认为未识别到目标检测区域。若关键点的响应值大于或者等于阈值,则认为识别到目标检测区域。
例如,针对图19中的(b)所示的预处理图像,电子设备识别到的各个目标检测区域的关键点信息如表4所示。对于识别到目标检测区域,电子设备还会分别确定其关键点的名称和坐标。参见表4,在地图1中的区域A、区域B、区域C和区域D,以及地图2中的区域A、区域B、区域C的关键点的响应值均大于阈值0.5,因此,电子设备确定识别到两个区域A、两个区域B、两个区域C和一个区域D。
表4关键点信息
S1805,当预处理图像中包括多个A省地图时,确定目标检测区域所对应的目标地图。
电子设备在对图20中的(a)所示的预处理图像进行关键点识别之后,参见图20中的(b) 所示,可以分别检测出两个区域A的关键点(即A1和A2)、两个区域B的关键点(即B1和B2)、两个区域C的关键点(即C1和C2),以及一个区域D的关键点(即D1)。但是,电子设备并不能确定关键点A1、B1、C1、D1、A2、B2和C2之中,哪些关键点属于地图1,哪些关键点属于地图2。因此,电子设备需要对各个关键点进行划分,确定属于同一地图的关键点。
在一种可能的实现方式中,电子设备可以根据各个目标检测区域之间的距离和位置关系,来确定同一地图上的关键点。
对于区域A和区域B的关键点,首先,参见图21中的(a1)所示,电子设备可以对区域A和区域B的关键点进行全连接,即连接A1与B1、A1与B2、A2与B1、A2与B2。随后,对于A省地图,由于区域B是位于区域A的左下角的,而A2与B1之间不满足该位置关系。因此,参见图21中的(a2)所示,电子设备断开A2与B1之间的连线。最后,电子设备确定A1与B1之间的距离A1与B2之间的距离A2与B2的距离并确定其中的最小距离。以最小距离是为例,那么可以确定A1与B1是位于同一地图上的,A1不可能再与其他区域B的关键点位于同一地图。因此,参见图21中的(a3)所示,电子设备断开A1与B2的连线。在剩余的连线中,相连的关键点位于同一地图。即A1与B1位于同一地图,A2与B2位于同一地图。
参见前文关于区域A和区域B的关键点划分的相关描述,结合图21中的(b1)至图21中的(b3)所示,电子设备可以确定B1与C1属于同一地图,B2与C2属于同一地图。另外,由于区域D的关键点仅有一个D1,且D1与C1的距离最近,因此,确定D1与C1属于同一地图。
综上所述,参见图21中的(c)所示,电子设备可以确定A1、B1、C1、D1属于同一地图,而A2、B2和C2属于同一地图。
应理解,当预处理图像中仅包括一个目标地图(例如A省地图)时,则不需要执行该步骤S1805。
S1806,若未识别到目标检测区域,电子设备则确定该目标检测区域存在第一违规问题。
对于区域A和区域B,其通常存在的是边界错绘问题,因此,区域A和区域B通常是能够被电子设备识别到的,不存在第一违规问题。但是,在一些实施例中,若电子设备未识别到区域A或者区域B等边界区域,可以确定该边界区域存在边界区域漏绘的问题。其中,边界区域漏绘问题也是一种第一违规问题。
对于区域C,由于区域C是岛屿,若电子设备在预处理图像中未识别到区域C,则确定区域C存在第一违规问题中的岛屿漏绘问题。
对于区域D,由于区域D是区域插图,若电子设备在预处理图像中未识别到区域D,则确定区域D存在第一违规问题中的区域插图漏绘问题。
例如,对于图19中的(b)所示的预处理图像中,由于预处理图像中包括2幅A省地图,但电子设备未识别到地图1的区域D,因此,可以确定地图1的区域D存在第一违规问题中的区域插图漏绘问题。
S1807,若识别到目标检测区域,电子设备则根据该目标检测区域的关键点信息,从预处理图像中确定对应的区域图像。
在本实施例中,根据检测任务需求,电子设备需要确定区域A、区域B的区域图像,以检测其是否存在第二违规问题中的边界错绘问题;需要确定区域C的区域图像,以检测其是否存在第二违规问题中的局部区域异色问题。而区域D通常不存在第二违规问题,因此,无需确定区域D的区域图像。
区域A、区域B和区域C的区域图像的确定方法是相同的。在一种可能的实现方式中,电子设备可以根据至少两个目标检测区域的关键点之间的平均距离L,确定目标检测区域的区域图像的大小,再结合关键点的位置确定区域图像。具体如下所示。
在一幅A省地图中,以目标检测区域是区域A、区域B和区域C为例,各个目标检测区域对应的关键点之间的平均距离其中,LAB为待检测图像上区域A的关键点与区域B的关键点之间的距离,LBC为待检测图像上区域B的关键点与区域C的关键点之间的距离,LAC为待检测图像上区域A的关键点与区域C的关键点之间的距离。
针对每个目标地图的每个区域,电子设备均预设了不同的缩放系数[θa,θb],其中,θa为区域图像横边的缩放系数,θb为区域图像纵边的缩放系数。根据如下公式即可计算得到各个区域的区域图像。
其中,a为区域图像横边的长度,b为区域图像纵边的长度,L为待检测图像中各个目标检测区域对应的关键点之间的平均距离,θa为区域图像的横边的缩放系数,θb为区域图像纵边的缩放系数。
在本实施例中,区域图像的尺寸可以[a,b]来表示。例如,[10,15]可以表示区域图像横边的长度为10像素,纵边的长度为15像素。
然而,本实施例提供的待检测图像中有两幅A省地图,且这两幅A省地图的大小不同,因此,电子设备需要分别根据每一幅A省地图来确定其区域图像的大小。
对于地图1,电子设备根据A1、B1、C1之间的平均距离以及各个区域预设的[θa,θb],即可确定地图1中各个目标检测区域的区域图像的尺寸。对于地图2,电子设备根据关键点A2、B2、C2之间的平均距离以及各个区域预设的[θa,θb],即可确定地图2中各个目标检测区域的区域图像的尺寸。
针对图20中的(b)所示的预处理图像,通过上述方法可以确定L1=97,L2=127。基于此,若区域A、区域B和区域C预设的区域图像的宽高比分别是[1/1.5,1/1.9]、[1/1.5,1/1.2] 和[1/1.625,1/2],那么在地图1中,区域A、区域B和区域C的区域图像的尺寸分别为[67, 51]、[67,81]、[60,49]。在地图2中,区域A、区域B和区域C的区域图像的长宽分别为[84,69]、[84,106]、[78,56]。
综上所述,电子设备可以获得例如表5所示的区域图像信息,该其中包括了每个目标检测区域的所在的地图、目标检测区域名称、关键点名称、区域图像中心位置坐标(即关键点坐标)以及区域图像尺寸之间的对应关系。
表5区域图像信息
根据表5中的对应关系,电子设备可以确定出预处理图像中各个目标检测区域的区域图像。示例性的,针对图19中的(a)所示的待检测图像,电子设备可以确定地图1中区域A、区域B和区域C的区域图像分别为图22中的(a1)、图22中的(b1)以及图22中的(c1)。而地图2中区域A、区域B和区域C的区域图像分别为图22中的(a2)、图22中的(b2) 以及图22中的(c2)。
S1808,电子设备根据区域图像,确定对应的目标检测区域是否存在第二违规问题。
在本实施例中,根据目标检测区域类型的不同,电子设备可以参见表1所示,分别采用边界识别模型来识别区域A和区域B是否存在第二违规问题中的边界错绘问题。通过颜色识别模型来识别区域C是否存在第二违规问题中的局部区域异色问题。
例如,对于图22中的(a1)所示的地图1中区域A的区域图像、图22中的(b1)所示的地图1中区域B的区域图像、图22中的(a2)所示的地图2中区域A的区域图像以及图 22中的(b2)所示的地图2中区域B的区域图像,电子设备通过边界识别模型确定其违规分类得分分别为0.966、0.977、0.960、0.298。因此,确定该地图1中的区域A、区域B,以及地图2中的区域A合规。而地图2中的区域B存在第二违规问题中的边界错绘的问题。
再例如,对于图22中的(c1)所述的地图1中的区域C的区域图像,电子设备通过颜色识别模型可以确定其违规分类得分为0.841,大于阈值0.5,因此,确定地图1中的区域C不存在局部区域异色的问题。而对于图22中的(c2)所示的地图2中的区域C的区域图像,电子设备通过颜色识别模型可以确定其违规分类得分为0.216,小于阈值0.5,因此,确定地图 2中的区域C存在局部区域异色的问题。
此外,电子设备还可以通过回归识别模型,来对预处理图像进行分析检测,确定区域D 的区域插图尺寸。在一个示例性,对于图19中的(b)所示的预处理图像,可以确定其区域插图尺寸为[53,79]。
基于上述步骤S1801-S1808,电子设备在完成对图19中的(a)所示的待检测图像的识别之后,生成检测结果。示例性的,检测结果如下所示:
需要说明的是,在本实施例中,若电子地图识别到待检测图像上至少一个目标检测区域存在违规问题,则确定该地图为问题地图,并在地图上显示该检测结果,该检测结果用于指示该地图为问题地图。例如,针对图19中的(a)所示的待检测图像,其对应的检测结果信息可参见图23所示,在目标地图上突出显示被检测的区域A、区域B、区域C和区域D,以及显示文字信息“合规地图地图1:区域A:合规,区域B:合规,区域C:合规,区域D:合规”以及“问题地图地图2:区域A:合规,区域B:边界错绘,区域C:局部区域异色,区域D:区域插图漏绘”。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供了一种电子设备,参见图24,该电子设备包括存储器2401、处理器2402以及存储在该存储器2401中并可在该处理器2402上运行的计算机程序2403,该处理器2402执行所述计算机程序时实现上述本实施例提供的问题地图检测方法。
本申请实施例还提供一种问题地图检测系统,参见图25所示,该系统包括客户端(Client) 和服务器(Server),并被配置为执行如下步骤。
S2501,客户端获取待检测图像和检测策略。
在本实施例中,客户端可以是台式电脑、手机、平板电脑、可穿戴设备、车载设备、AR/VR 设备、笔记本电脑、UMPC、上网本、PDA等终端设备。客户端采集的待检测图像主要的数据来源为个人、企业用户或者商业信息提者(content provider,CP)。
此外,可选的,参见图26所示,用户可以在客户端选择不同的目标地图,例如在图26 中,选择目标地图为A省地图;响应于用户的选择操作,客户端可以根据用户需求生成检测策略,该检测策略包括目标地图的标识信息,用于服务端在进行问题地图检测的过程中确定本次检测的目标地图。
在另一些实施例中,若用户未设置目标地图,客户端还可以根据默认需求生成检测策略,例如包括某些默认国家或区域的标识信息,用于服务端在进行问题地图检测的过程中确定本次检测的目标地图。
S2502,客户端向服务器发送问题地图检测请求,该请求携带待检测图像和检测策略。
该问题地图检测请求用于请求服务器识别该待检测图像中是否包括问题地图,并确定问题类型。为了便于待检测图像在互联网中传输,客户端可将待检测图像转化为base64格式之后,再向服务器发送待检测图像,以提高数据传输质量。检测策略可以包括目标地图的标识信息,用于服务端在进行问题地图检测的过程中确定本次检测的目标地图。
此外,可选的,客户端也可以在本地对待检测图像进行预处理,并将预处理后图像通过地图检测请求发送给服务器。经过预处理后的图像通常比原始的待检测图像要小,便于向服务器传输。
S2503,服务器根据检测策略对待检测图像进行问题地图检测,获得检测结果。
服务器在接收到地图检测请求之后,需要对请求中携带的图像数据进行解码,并进行参数校验。其中,进行参数校验包括校验待检测图像的格式是否为服务器所支持的格式,例如 jpg格式等。
在本实施例中,S2503的具体内容可参见前文S301-S306,或者S701-S709,或者S1801-S1808示出的问题地图检测方法对待检测图像进行问题地图检测,获得检测结果。本实施例在此不再赘述。
S2504,服务器向客户端发送检测结果。
在一些实施例中,客户端本地是不具备问题地图识别能力的,此时,通过本申请实施例提供的问题地图检测系统,电子设备可以将本地采集的待检测图像发送至服务器进行问题地图识别,具有较好的用户体验。此外,由于服务器具有更强的运算能力,因此,相对于在客户端本地进行图像识别,具有更强的识别效率。
此外,在其他一些实施例中,问题地图检测系统中的客户端也可以不确定检测策略,而是将待检测图像发送给服务器,以由服务器根据预设的检测策略对待检测图像进行问题地图检测,获得检测结果,并向客户端发送该检测结果。
本实施例提供了一种计算机程序产品,该程序产品包括程序,当该程序被电子设备运行时,使得电子设备上述各实施例中示出的问题地图检测方法。
本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述各个实施例中示出的问题地图检测方法。
本申请实施例提供一种芯片,该芯片包括存储器和处理器,该处理器执行存储器中存储的计算机程序,以实现控制上述电子设备执行上述各个实施例中示出的问题地图检测方法。
应理解,本申请实施例中提及的处理器可以是中央处理单元(centralprocessing unit, CPU),还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或 B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A 和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以上,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (20)
1.一种问题地图检测方法,其特征在于,所述方法包括:
获取待检测图像;
识别所述待检测图像中的所有目标地图,每个所述目标地图包括至少一个目标检测区域;
通过问题地图检测模型对每个所述目标地图进行检测,确定每个所述目标地图中每个所述目标检测区域的违规类型;
所述违规类型包括以下类型中的至少一种:未违规、第一违规问题或者第二违规问题;
所述未违规用于表示已识别到对应的目标检测区域,且所述目标检测区域的绘制合规;
所述第一违规问题用于表示未识别到对应的目标检测区域;
所述第二违规问题用于表示已识别到对应的目标检测区域,但所述目标检测区域存在绘制错误。
2.根据权利要求1所述的方法,其特征在于,所述目标检测区域的类型包括:岛屿、边界区域和区域插图。
3.根据权利要求2所述的方法,其特征在于,
所述第一违规问题包括:岛屿漏绘、边界区域漏绘或者区域插图漏绘;
所述第二违规问题包括:边界错绘或者局部区域异色。
4.根据权利要求1-3任一项所述的方法,其特征在于,获取待检测图像具体包括:获取待检测图像,并确定目标地图。
5.根据权利要求1-4任一项所述的方法,其特征在于,通过问题地图检测模型对每个所述目标地图进行检测,确定每个所述目标地图中每个所述目标检测区域的违规类型,包括:
通过所述问题地图检测模型中的语义分割网络,对所述待检测图像进行检测;
根据检测结果确定每个所述目标地图中每个所述目标检测区域的违规类型。
6.根据权利要求5所述的方法,其特征在于,当目标检测区域是边界区域时,通过所述问题地图检测模型中的语义分割网络,对所述待检测图像进行检测;根据检测结果确定每个所述目标地图中每个所述目标检测区域的违规类型具体包括:
通过所述语义分割网络,识别所述边界区域所在的第一地图掩膜;
将所述第一地图掩膜与预设的合规地图进行轮廓匹配,确定轮廓匹配关系;
根据所述轮廓匹配关系和所述边界区域在所述合规地图中的坐标,确定所述边界区域在所述第一地图掩膜中的关键点坐标;
根据所述关键点坐标,从所述待检测图像上截取所述边界区域的区域图像;
通过边界识别模型对所述边界区域的区域图像进行识别,以确定所述边界区域是否存在边界错绘的问题。
7.根据权利要求5所述的方法,其特征在于,当目标检测区域是岛屿时,通过所述问题地图检测模型中的语义分割网络,对所述待检测图像进行检测;根据检测结果确定每个所述目标地图中每个所述目标检测区域的违规类型具体包括:
通过所述语义分割网络,识别岛屿所在的第二地图掩膜;
若识别到所述第二地图掩膜,则确定所述岛屿不存在岛屿漏绘的问题;
若未识别到所述第二地图掩膜,则确定所述岛屿存在岛屿漏绘的问题。
8.根据权利要求7所述的方法,其特征在于,当目标检测区域是岛屿时,通过所述问题地图检测模型中的语义分割网络,对所述待检测图像进行检测;根据检测结果确定每个所述目标地图中每个所述目标检测区域的违规类型具体包括:
根据所述第二地图掩膜确定所述岛屿的关键点坐标;
根据所述岛屿的关键点坐标,从所述待检测图像中截取所述岛屿的区域图像;
通过颜色识别模型,对比所述岛屿的区域图像和所述待检测图像中的目标地图,以确定所述岛屿是否存在局部区域异色的问题。
9.根据权利要求5所述的方法,其特征在于,当目标检测区域是区域插图时,通过所述问题地图检测模型中的语义分割网络,对所述待检测图像进行检测;根据检测结果确定每个所述目标地图中每个所述目标检测区域的违规类型具体包括:
通过所述语义分割网络,识别所述待检测图像中的所述区域插图所在的第三地图掩膜;
若识别到所述第三地图掩膜,则确定所述区域插图不存在区域插图漏绘的问题;
若未识别到所述第三地图掩膜,则确定所述区域插图存在区域插图漏绘的问题。
10.根据权利要求1-4任一项所述的方法,其特征在于,通过问题地图检测模型对每个所述目标地图进行检测,确定每个所述目标地图中每个所述目标检测区域的违规类型,包括:
通过所述问题地图检测模型中的关键点检测模型,对所述待检测图像进行检测;
根据检测结果确定每个所述目标地图中每个所述目标检测区域的违规类型。
11.根据权利要求10所述的方法,其特征在于,当所述待检测地图包括多个目标地图时,通过所述关键点检测模型,对所述待检测图像进行检测,确定每个所述目标地图中每个所述目标检测区域的违规类型,包括:
通过所述关键点检测模型,识别所述多个目标地图中的所有目标检测区域的关键点;
根据所有关键点的位置关系对所有关键点进行分类,确定属于同一目标地图关键点;
根据属于同一目标地图关键点,确定属于同一目标地图的目标检测区域;
针对每一个目标地图,确定对应的目标检测区域的违规类型。
12.根据权利要求10或11所述的方法,其特征在于,通过所述问题地图检测模型中的关键点检测模型,对所述待检测图像进行检测;根据检测结果确定每个所述目标地图中每个所述目标检测区域的违规类型具体包括:
通过关键点检测模型,确定所述目标检测区域的响应值;
当所述目标检测区域是边界区域,且所述边界区域的关键点的响应值小于阈值时,确定所述边界区域存在边界区域漏绘的问题;
当所述目标检测区域是岛屿,且所述岛屿的关键点的响应值小于阈值时,确定所述岛屿存在岛屿漏绘的问题;
当所述目标检测区域是区域插图,且所述区域插图的关键点的响应值小于阈值时,确定所述区域插图存在区域插图漏绘的问题。
13.根据权利要求12所述的方法,其特征在于,当目标检测区域是边界区域时,通过问题地图检测模型,对每个所述目标地图进行检测,确定每个所述目标地图中每个所述目标检测区域的违规类型具体包括:
当所述边界区域的响应值大于或者等于阈值时,通过所述关键点检测模型确定所述边界区域的关键点坐标;
根据所述关键点坐标,从所述待检测图像上截取所述边界区域的区域图像;
通过边界识别模型对所述边界区域的区域图像进行识别,以确定所述边界区域是否存在边界错绘的问题。
14.根据权利要求12所述的方法,其特征在于,当目标检测区域是岛屿时,通过问题地图检测模型,对每个所述目标地图进行检测,确定每个所述目标地图中每个所述目标检测区域的违规类型具体包括:
当所述岛屿的关键点的响应值大于或者等于阈值时,通过所述关键点检测模型确定所述岛屿的关键点坐标;
根据所述岛屿的关键点坐标,从所述待检测图像上截取所述岛屿的区域图像;
通过颜色识别模型,对比所述岛屿的区域图像和所述待检测图像中的目标地图,以确定所述岛屿是否存在局部区域异色的问题。
15.根据权利要求6、8、13或14所述的方法,其特征在于,根据目标检测区域的关键点坐标,截取对应的区域图像,包括:
根据待检测图像的像素面积,确定区域图像的像素面积;
根据所述目标检测区域预设的宽高比,以及所述区域图像的像素面积,确定所述目标检测区域的宽度和高度;
根据所述目标检测区域的关键点坐标,以及所述目标检测区域的宽度和高度,从所述待检测图像中截取所述目标检测区域的区域图像。
16.根据权利要求6、8、13或14所述的方法,其特征在于,根据目标检测区域的关键点坐标,截取对应的区域图像包括:
确定同一目标地图上多个目标检测区域的关键点之间的平均距离;
根据目标检测区域预设的宽高比,以及所述平均距离,确定所述目标检测区域的宽度和高度;
根据所述目标检测区域的关键点坐标,以及所述目标检测区域的宽度和高度,从所述待检测图像中截取所述目标检测区域的区域图像。
17.一种问题地图检测系统,其特征在于,包括客户端和服务器;
所述客户端被配置为:
向所述服务器发送待检测图像;
所述服务器被配置为:
识别所述待检测图像中的所有目标地图,每个所述目标地图包括至少一个目标检测区域;
通过问题地图检测模型对每个所述目标地图进行检测,获取检测结果,所述检测结果包括:每个所述目标地图中每个所述目标检测区域的违规类型;
向所述客户端发送所述检测结果;
所述违规类型包括以下类型中的至少一种:未违规、第一违规问题或者第二违规问题;
所述未违规用于表示已识别到对应的目标检测区域,且所述目标检测区域的绘制合规;
所述第一违规问题用于表示未识别到对应的目标检测区域;
所述第二违规问题用于表示已识别到对应的目标检测区域,但所述目标检测区域存在绘制错误。
18.一种电子设备,包括存储器,处理器,以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-16任一项所述的问题地图检测方法。
19.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-16任一项所述的问题地图检测方法。
20.一种计算机程序产品,所述程序产品包括程序,其特征在于,当所述程序被电子设备运行时,使得所述电子设备如权利要求1-16任一项所述的问题地图检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110593530.1A CN115482551A (zh) | 2021-05-28 | 2021-05-28 | 一种问题地图检测方法、电子设备和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110593530.1A CN115482551A (zh) | 2021-05-28 | 2021-05-28 | 一种问题地图检测方法、电子设备和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115482551A true CN115482551A (zh) | 2022-12-16 |
Family
ID=84419819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110593530.1A Pending CN115482551A (zh) | 2021-05-28 | 2021-05-28 | 一种问题地图检测方法、电子设备和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115482551A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117555979A (zh) * | 2024-01-11 | 2024-02-13 | 人民中科(北京)智能技术有限公司 | 一种高效的自底向上的地图位置缺失识别方法 |
-
2021
- 2021-05-28 CN CN202110593530.1A patent/CN115482551A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117555979A (zh) * | 2024-01-11 | 2024-02-13 | 人民中科(北京)智能技术有限公司 | 一种高效的自底向上的地图位置缺失识别方法 |
CN117555979B (zh) * | 2024-01-11 | 2024-04-19 | 人民中科(北京)智能技术有限公司 | 一种高效的自底向上的地图位置缺失识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9230382B2 (en) | Document image capturing and processing | |
US8412730B2 (en) | Image search apparatus and method thereof | |
US20180225527A1 (en) | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line | |
CN103034848B (zh) | 一种表单类型的识别方法 | |
CN111914834A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
US8189961B2 (en) | Techniques in optical character recognition | |
US9092697B2 (en) | Image recognition system and method for identifying similarities in different images | |
US20080260256A1 (en) | Method and apparatus for estimating vanish points from an image, computer program and storage medium thereof | |
US9224066B2 (en) | Object detection via validation with visual search | |
CN103632129A (zh) | 一种人脸特征点定位方法及装置 | |
CN108960081B (zh) | 一种手掌图像识别方法、装置及计算机可读存储介质 | |
WO2023071024A1 (zh) | 驾驶辅助模式切换方法、装置、设备及存储介质 | |
CN112613506A (zh) | 图像中的文本识别方法、装置、计算机设备和存储介质 | |
CN114038004A (zh) | 一种证件信息提取方法、装置、设备及存储介质 | |
CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
CN111553251A (zh) | 证件四角残缺检测方法、装置、设备及存储介质 | |
US6728392B1 (en) | Shape comparison using a rotational variation metric and applications thereof | |
CN111899270A (zh) | 卡片边框检测方法、装置、设备及可读存储介质 | |
CN111783770A (zh) | 图像的矫正方法、装置和计算机可读存储介质 | |
CN111696072A (zh) | 彩色图像的直线检测方法、装置、电子设备及存储介质 | |
Wu et al. | Prior-based vanishing point estimation through global perspective structure matching | |
CN111582134A (zh) | 证件边沿检测方法、装置、设备和介质 | |
CN115482551A (zh) | 一种问题地图检测方法、电子设备和系统 | |
CN108090728B (zh) | 一种基于智能终端的快递信息录入方法及录入系统 | |
WO2016068325A1 (ja) | 文字認識装置、文字認識方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |