CN116129397A - 角点检测方法、车位检测方法、电子设备和存储介质 - Google Patents
角点检测方法、车位检测方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116129397A CN116129397A CN202211680950.4A CN202211680950A CN116129397A CN 116129397 A CN116129397 A CN 116129397A CN 202211680950 A CN202211680950 A CN 202211680950A CN 116129397 A CN116129397 A CN 116129397A
- Authority
- CN
- China
- Prior art keywords
- corner
- scene image
- point
- points
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种角点检测方法、车位检测方法、电子设备和存储介质,该方法包括:获取对目标场景进行采集得到的场景图像;利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图;其中,角点的类型基于角点的连接边分布特征确定;基于各角点分别对应的角点特征图,确定场景图像中存在的角点的角点信息。通过上述方式,本申请能够提高角点检测的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种角点检测方法、车位检测方法、电子设备和存储介质。
背景技术
目前,对于场景图像(如,停车位对应的场景图像)中存在的角点的检测,大多采用通用的角点检测方法,角点检测的准确性较差,容易出现类似角点类别检测错误的问题。
发明内容
本申请主要解决的技术问题是提供一种角点检测方法、车位检测方法、电子设备和存储介质,能够提高角点检测的准确性。
为解决上述技术问题,本申请第一方面提供了一种角点检测方法,该方法包括:获取对目标场景进行采集得到的场景图像;利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图;其中,角点的类型基于角点的连接边分布特征确定;基于各角点分别对应的角点特征图,确定场景图像中存在的角点的角点信息。
其中,角点特征提取网络包括分别与若干类型的角点一一对应的若干特征提取层;利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图,包括:分别利用各类型的角点对应的特征提取层对场景图像进行特征提取,得到各类型的角点分别对应的角点特征图。
其中,各类型的角点对应的特征提取层用于在对场景图像进行特征提取时,关注场景图像中的第一像素点,且不关注场景图像中的第二像素点;其中,第一像素点连接组成第一图形,第一图形与对应类型角点的第二图形匹配。
其中,关注场景图像中的第一像素点,且不关注场景图像中的第二像素点,包括:增强关注场景图像中的第一像素点,且弱化关注场景图像中的第二像素点或不对场景图像中的第二像素点进行处理;或者,不对场景图像中的第一像素点进行处理,且弱化关注场景图像中的第二像素点。
其中,分别利用各类型的角点对应的特征提取层对场景图像进行特征提取,得到各类型的角点分别对应的角点特征图,包括:分别利用各类型的角点对应的特征提取层的卷积核,对场景图像进行卷积,得到各类型的角点分别对应的角点特征图;其中,卷积核包括第一元素,卷积核中的第一元素连接组成第三图形,第一元素用于在进行卷积时关注场景图像中第一像素点,第三图形与对应的角点类型的第二图形匹配,第三图形包括第一角点以及连接第一角点的两条连接边,第二图形包括第二角点与连接第二角点的两条连接边。
其中,若干类型的角点包括边缘角点和中间角点中的至少一者,边缘角点包括左上角点、左下角点、右上角点、右下角点中的至少一者,中间角点包括左侧T型角点、右侧T型角点中的至少一者。
其中,分别利用各类型的角点对应的特征提取层的卷积核,对场景图像进行卷积,得到各类型的角点分别对应的角点特征图,包括:对于各类型的角点对应的特征提取层,利用特征提取层的卷积核对场景图像进行滑动卷积,得到各滑窗区域的卷积结果;分别对各滑窗区域的卷积结果进行预设统计,得到各滑窗区域对应的特征值;利用各滑窗区域对应的特征值,得到各类型的角点分别对应的角点特征图。
其中,在利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图之前,角点检测方法还包括:对场景图像进行特征提取,得到图像特征;利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图,包括:利用角点特征提取网络分别对图像特征中各类型的角点进行特征提取,得到各角点分别对应的角点特征图;和/或,基于各角点分别对应的角点特征图,确定场景图像中存在的角点的角点信息,包括:对各角点分别对应的角点特征图进行编解码,得到场景图像的角点检测结果;其中,角点检测结果包括场景图像中存在的各类型的角点的概率以及各类型的角点的角点位置;基于场景图像的角点检测结果,确定场景图像中存在的角点类型以及对应的角点位置。
为解决上述技术问题,本申请第二方面提供了一种车位检测方法,该方法包括:获取场景图像中存在的目标角点的角点信息;其中,场景图像是利用采集装置对车位进行采集得到的,目标角点的角点信息包括目标角点所属的角点类型和位置信息,目标角点的角点信息是利用上述的角点检测方法确定的;利用各目标角点的角点信息,生成车位对应的车位线。
其中,在利用各目标角点的角点信息,生成车位对应的车位线之前,车位检测方法还包括:利用各目标角点之间的位置关系,确定是否存在缺失角点;响应于存在缺失角点,生成缺失角点,以作为补充的目标角点。
其中,目标角点的角点类型包括中间角点;利用各目标角点之间的位置关系,确定是否存在缺失角点,包括:将位于同一侧的中间角点作为同侧中间角点,并分别将各同侧中间角点作为当前中间角点,同一侧为左侧或右侧;获取当前中间角点对应的目标高度比;其中,目标高度比为当前中间角点对应的第一高度差和第二高度差之间的比值,第一高度差为当前中间角点与远离采集装置的相邻同侧角点之间的高度差,第二高度差为当前中间角点与靠近采集装置的相邻同侧角点之间的高度差,相邻同侧角点为与当前中间角点同一侧且相邻的目标角点;响应于当前中间角点的目标高度比大于参考高度比,确定当前中间角点与远离采集装置的相邻同侧角点之间存在缺失角点;其中,参考高度比是基于参考中间角点对应的目标高度比的预设比例确定,预设比例基于参考中间角点与当前中间角点之间的距离确定的,参考中间角点为其余一同侧中间角点;响应于当前中间角点的目标高度比小于参考高度比,确定当前中间角点与靠近采集装置的相邻同侧角点之间存在缺失角点;生成缺失的角点,包括:利用参考高度比和当前中间角点的的位置信息,得到缺失角点的位置。
为解决上述技术问题,本申请第三方面提供了一种电子设备,该电子设备包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述第一方面的角点检测方法,或者,用于执行程序指令以实现上述第二方面的车位检测方法。
为解决上述技术问题,本申请第四方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有能够被处理器运行的程序指令,程序指令用于实现上述第一方面的角点检测方法,或者,用于实现上述第二方面的车位检测方法。
上述技术方案。由于各类型的角点分别对应的角点特征图,是利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取得到的,所以各类型的角点分别对应的角点特征图中的特征,是与对应类型的角点的连接边匹配的特征,即,各类型的角点分别对应的角点特征图中的特征,会对后续确定各角点的角点信息产生贡献的特征,是弱化了会对后续角点类型对应的角点信息判断产生影响的特征而得到的。故,基于各类型的角点分别对应的角点特征图确定的场景图像中存在的各角点的角点信息,其准确性更高,即确定的各角点的角点信息更加准确。
附图说明
图1是本申请提供的角点检测方法一实施例的流程示意图;
图2是本申请提供的目标场景一实施例的示意图;
图3是图2所示的停车位对应的车位线的各种类型的角点一实施例的示意图;
图4是本申请提供的角点检测网络一实施例的框架示意图;
图5是对应图3所示的各类型的角点对应的特征提取层的卷积核一实施例的示意图;
图6是图1所示步骤S12一实施例的流程示意图;
图7是本申请提供的滑窗区域一实施例的示意图;
图8是本申请提供的车位检测方法一实施例的流程示意图;
图9是本申请提供的生成却失角一实施例的流程示意图;
图10是本申请提供的车位一实施例的示意图;
图11是本申请提供的电子设备一实施例的结构示意图;
图12是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1,图1是本申请提供的角点检测方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例包括:
步骤S11:获取对目标场景进行采集得到的场景图像。
本实施例的方法用于提高对角点的角点信息确定的准确性;其中,本文所述的角点信息包括但不限于角点的类型、角点的位置等,在此不做具体限定。
本实施方式中,获取对目标场景进行采集得到的场景图像。在一实施方式中,具体可以从本地存储或者云端存储中获取得到对目标场景进行采集得到的场景图像。当然,在其他实施方式中,也可以通过采集装置(照相机、摄像机等)对目标场景进行采集得到,在此不做具体限定。
其中,不对目标场景进行限定,可根据实际使用需要具体设置;例如,如图2所示,图2是本申请提供的目标场景一实施例的示意图,目标场景为停车位等。以目标场景为停车位为例,通过提高对包括停车位的场景图像中,存在的车位角点的角点信息确定的准确性,从而使得后续根据场景图像中存在的角点的角点信息,生成的停车位对应的车位线的准确性更高。
步骤S12:利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图。
以目标场景为停车位为例,如图2、图3所示,图3是图2所示的停车位对应的车位线的各种类型的角点一实施例的示意图。如图3(a)所示,图3(a)对应的角点类型,其连接边分别朝向右侧和下侧;如图3(b)所示,图3(b)对应的角点类型,其连接边分别朝向左侧和下侧;如图3(c)所示,图3(c)对应的角点类型,其连接边分别朝向右侧和上侧;如图3(d)所示,图3(d)对应的角点类型,其连接边分别朝向左侧和上侧;如图3(e)所示,图3(e)对应的角点类型,其连接边分别朝向右侧、下侧和上侧;如图3(f)所示,图3(f)对应的角点类型,其连接边分别朝向左侧、下侧和上侧。故,各类型的角点对应的连接边的分布特性不同,即,各类型的角点的至少两条连接边的朝向不同,所以区分这些角点类型的关键在于其对应的连接边,而场景图像中非其对应的连接边的区域,均为会对后续角点的角点信息判断产生干扰的干扰信息。
因此,为了提高后续确定的场景图像中存在的各角点的角点信息的准确性,本实施方式中,利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图;其中角点的类型基于角点的连接边分布特性确定。由于区分场景图像中存在的各类型的角点的关键点在于各类型的角点对应的连接边的朝向,所以通过利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,能够提取与各类型的角点的连接边朝向匹配的特征,且弱化会对后续各类型的角点对应的角点信息判断产生影响的特征,即,会从场景图像中提取出,实际会对后续确定各角点的角点信息产生贡献的特征,从而使得确定的场景图像中存在的各角点的角点信息的准确性能够得到提高。
在一实施方式中,角点特征提取网络包括分别与若干类型的角点一一对应的若干特征提取层,此时利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图,具体为:分别利用各类型的角点对应的特征提取层对场景图像进行特征提取,得到各类型的角点分别对应的角点特征图。也就是说,角点特征提取网络包括若干特征提取层,一特征提取层对应一类型的角点;通过设置包括若干特征提取层的角点特征提取网络,从而能够实现提取各类型的角点分别对应的角点特征图。
举例来说,以目标场景为停车位为例;如图4所示,图4是本申请提供的角点检测网络一实施例的框架示意图,角点检测网络包括角点特征提取网络,若干角点类型包括A类型的角点、B类型的角点、C类型的角点、D类型的角点、E类型的角点和F类型的角点,所以角点特征提取网络包括6个特征提取层,a特征提取层对应A类型的角点、b特征提取层对应B类型的角点、c特征提取层对应C类型的角点、d特征提取层对应D类型的角点、e特征提取层对应E类型的角点以及f特征提取层对应F类型的角点;通过如图4所示的角点特征提取网络对场景图像进行特征提取,能够得到6个类型的角点分别对应的角点特征图。
在一实施方式中,各类型的角点对应的特征提取层用于在对场景图像进行特征提取时,关注场景图像中的第一像素点,且不关注场景图像中的第二像素点;其中,第一像素点连接组成第一图形,第一图形与对应类型的角点的第二图形匹配。由于第一像素点为在进行特征提取时关注的场景图像中的应像素,而第一像素点连接组成第一图形,第一图形与对应类型的角点的第二图形匹配;所以,特征提取层提取出来的第一像素点的分布与对应类型的角点的连接边的分布特性匹配;因此,利用特征提取层对场景图像进行特征提取时,能够关注与角点的类型对应的连接边的像素信息,而弱化场景图像中的其他像素信息,从而能够提高后续确定的角点的角点信息的准确性。
在一具体实施方式中,关注场景图像中的第一像素点,且不关注场景图像中的第二像素点,具体表现形式为:增强关注场景图像中的第一像素点,且弱化关注场景图像中的第二像素点;或者,不对场景图像中的第一像素点进行处理,且弱化关注场景图像中的第二像素点。
在一实施方式中,分别利用各类型的角点对应的特征提取层对场景图像进行特征提取,得到各类型的角点分别对应的角点特征图,具体为:分别利用各类型的角点对应的特征提取层的卷积核,对场景图像进行卷积,得到各类型的角点分别对应的角点特征图;其中,卷积核包括第一元素,卷积核中的第一元素连接组成第三图形,第一元素用于在进行卷积时关注场景图像中的第一像素点,第三图形与对应的角点类型的第二图形匹配,第三图形包括第一角点以及连接第一角点的两条连接边,第二图形包括第二角点与连接第二角点的两条连接边。各特征提取层的卷积核中的元素分布与对应类型的角点的连接边分布特性匹配,所以此时分别利用各角点类型对应的特征提取层中的卷积核对场景图像进行卷积,能够关注与角点的类型对应的连接边的像素信息,而弱化场景图像中的其他像素信息,从而能够提高后续确定的角点的角点信息的准确性。
在一具体实施方式中,第一元素为1。当然,在其他实施方式中,第一元素也可以是其他的体现形式,在此不做具体限定。举例来说,如图5所示,图5是对应图3所示的各类型的角点对应的特征提取层的卷积核一实施例的示意图;以目标场景为停车位、第一元素为1为例:对应图3(a)所示的类型的角点的特征提取层的卷积核,为图5(a)所示的卷积核,图5(a)所示的卷积核包括第一元素-1,第一元素-1连接组成的第三图形与图3(a)所示的类型的角点的第二图形匹配。
在一实施方式中,各特征提取层的卷积核的角点位置为卷积核的中心,其中,角点位置表示第三图形的第一角点的位置。举例来说,如图5所示,对应图3(a)所示的类型的角点的卷积核,其第一元素形成的第三图形的第一角点的位置,位于卷积核的中心。
在一实施方式中,如图3所示,若干类型的角点包括边缘角点和中间角点中的至少一者,边缘角点包括左上角点(图3(a)所示类型的角点)、左下角点(图3(c)所示类型的角点)、右上角点(图3(b)所示类型的角点)、右下角点(图3(d)所示类型的角点)中的至少一者,中间角点包括左侧T型角点(图3(e)所示类型的角点)、右侧T型角点(图3(f)所示类型的角点)中的至少一者。
在一具体实施方式中,对于每个卷积核,以角点位置表示卷积核中的第三图形的第一角点的位置,在左上角点对应的卷积核(图5(a)所示的卷积核)中,角点位置、角点位置所在行的右侧元素、角点位置所在列的下侧元素均为第一元素;左下角点对应的卷积核(图5(c)所示的卷积核)中,角点位置、角点位置所在行的右侧元素、角点位置所在列的上侧元素均为第一元素;右上角点对应的卷积核(图5(b)所示的卷积核)中,角点位置、角点位置所在行的左侧元素、角点位置所在列的下侧元素均为第一元素;右下角点对应的卷积核(图5(d)所示的卷积核)中,角点位置、角点位置所在行的左侧元素、角点位置所在列的上侧元素均为第一元素;左侧T型角点对应的卷积核(图5(e)所示的卷积核)中,角点位置所在行的右侧元素、角点位置所在列的所有元素均为第一元素;右侧T型角点对应的卷积核(图5(f)所示的卷积核)中,角点位置所在行的左侧元素、角点位置所在列的所有元素均为第一元素。
在一实施方式中,在利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图之前,还会对场景图像进行特征提取,得到图像特征。此时,利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征,具体为:利用角点特征提取网络分别对图像特征中各类型的角点进行特征提取,得到各角点分别对应的角点特征。
在一具体实施方式中,如图4所示,角点检测网络还包括主干网络,利用主干网络对场景图像进行特征提取,得到图像特征。其中,主干网络可以为resnet、vgg或者alexnet等深度学习网络。
步骤S13:基于各角点分别对应的角点特征图,确定场景图像中存在的角点的角点信息。
本实施方式中,基于各角点分别对应的角点特征图,确定场景图像中存在的角点的角点信息。由于是利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取而得到各角点分别对应的角点特征图的,所以各类型的角点分别对应的角点特征图中的特征,是与对应类型的角点的连接边匹配的特征,即,实际提取了会对后续确定各角点的角点信息产生贡献的特征,而忽略了会对后续角点对应的角点信息判断产生影响的特征,故,基于各角点分别对应的角点特征图确定的场景图像中存在的各角点的角点信息,其准确性更高。
在一实施方式中,如图4所示,对各角点分别对应的角点特征图进行编解码,得到场景图像的角点检测结果,其中,角点检测结果包括场景图像中存在的各类型的角点的概率以及各类型的角点的角点位置;然后,基于场景图像的角点检测结果,确定场景图像中存在的角点类型以及对应的角点位置。
在一具体实施方式中,利用centernet或者cornet等关键点通用的编解码器对各角点分别对应的角点特征图进行编解码,从而得到场景图像中存在的各类型的角点的概率以及各类型的角点的角点位置。
上述实施方式中,由于各类型的角点分别对应的角点特征图,是利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取得到的,所以各类型的角点分别对应的角点特征图中的特征,是与对应类型的角点的连接边匹配的特征,即,各类型的角点分别对应的角点特征图中的特征,会对后续确定各角点的角点信息产生贡献的特征,是弱化了会对后续角点类型对应的角点信息判断产生影响的特征而得到的。故,基于各类型的角点分别对应的角点特征图确定的场景图像中存在的各角点的角点信息,其准确性更高,即确定的各角点的角点信息更加准确。
请参阅图6,图6是图1所示步骤S12一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图6所示的流程顺序为限。如图6所示,本实施例包括:
步骤S61:对于各类型的角点对应的特征提取层,利用特征提取层的卷积核对场景图像进行滑动卷积,得到各滑窗区域的卷积结果。
本实施方式中,对于各角点类型对应的特征提取层,利用特征提取层的卷积核对场景图像进行滑动卷积,得到各滑窗区域的卷积结果。
举例来说,如图7所示,图7是本申请提供的滑窗区域一实施例的示意图。图7中的区域1为滑窗区域,即为场景图像中的一部分区域;利用图7中的区域2所示的卷积核对区域1所示的滑窗区域进行卷积,得到区域1所示的滑窗区域的卷积结果。
步骤S62:分别对各滑窗区域的卷积结果进行预设统计,得到各滑窗区域对应的特征值。
本实施方式中,分别对各滑窗区域的卷积结果进行预设统计,得到各滑窗区域对应的特征值。
在一实施方式中,对于滑窗区域的卷积结果来说,可将滑窗区域的卷积结果中的最大值,作为该滑窗区域对应的特征值。当然,在其他实施方式中,对于滑窗区域的卷积结果来说,也可将滑窗区域的卷积结果的平均值,作为该滑窗区域对应的特征值,在此不做具体限定。
举例来说,以将滑窗区域的卷积结果中的最大值作为滑窗区域对应的特征值为例;如图7所示,利用区域1所示的滑窗区域与区域2所示的卷积核进行卷积,得到区域1所示的滑窗区域的卷积结果,并将卷积结果中的最大值-5,作为区域1所示的滑窗区域对应的特征值。
步骤S63:利用各滑窗区域对应的特征值,得到各类型的角点分别对应的角点特征图。
本实施方式中,利用各滑窗区域对应的特征值,得到各类型的角点分别对应的角点特征图。也就是说,组合对应某一类型的角点的各滑窗区域对应的特征值,得到该类型的角点对应的角点特征图。
需要说明的是,对于各类型的角点对应的特征提取层,需要分别执行步骤S61-步骤S63。
请参阅图8,图8是本申请提供的车位检测方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图8所示的流程顺序为限。如图8所示,本实施例包括:
步骤S81:获取场景图像中存在的目标角点的角点信息。
本实施方式中,获取场景图像中存在的目标角点的角点信息;其中,场景图像是利用采集装置对车位进行采集得到的,目标角点的角点信息包括目标角点所属的角点类型和位置信息,目标角点的角点信息是利用上述实施方式中的角点检测方法确定的。
在一实施方式中,具体可以从本地存储或者云端存储中获取得到场景图像中存在的目标角点的角点信息,已经存储的目标角点的角点信息是通过上述实施方式中的角点检测方法确定的。当然,在其他实施方式中,也可以利用上述实施方式中,角点检测方法对场景图像进行实时角点检测而得到场景图像中存在的目标角点的角点信息,在此不做具体限定。
步骤S82:利用各目标角点的角点信息,生成车位对应的车位线。
本实施方式中,利用各目标角点的角点信息,生成车位对应的车位线。也就是说,利用各个目标角点的角点类型和位置信息,连接各个目标角点,从而得到车位对应的车位线。
由于各类型的角点分别对应的角点特征图,是利用角点特征提取网络分别对场景图像中各类型的角点进行特征提取得到的,所以各类型的角点分别对应的角点特征图中的特征,是与对应类型的角点的连接边匹配的特征,即,各类型的角点分别对应的角点特征图中的特征,会对后续确定各角点的角点信息产生贡献的特征,是弱化了会对后续角点类型对应的角点信息判断产生影响的特征而得到的。故,基于各类型的角点分别对应的角点特征图确定的场景图像中存在的各角点的角点信息,其准确性更高,即确定的各角点的角点信息更加准确。因此,利用上述实施方式获得的各目标角点的角点信息生成的车位线的准确性更高。
在一实施方式中,可直接利用各目标角点的角点信息,生成车位对应的车位线。考虑到可能存在目标角点被遮挡的情况,所以为了提高生成的车位线的准确性,在其他实施方式中,如图9所示,图9是本申请提供的生成却失角一实施例的流程示意图,在利用各目标角点的角点信息生成车位对应的车位线之前,具体还包括如下子步骤:
步骤S91:利用各目标角点之间的位置关系,确定是否存在缺失角点。
由于车位的长度是固定相等的,所以,本实施方式中,利用各目标角点之间的位置关系,确定是否存在缺失角点。
在一实施方式中,目标角点的角点类型包括中间角点,利用各目标角点之间的位置关系确定是否存在缺失角点具体包括如下步骤:
步骤一:将位于同一侧的中间角点作为同侧中间角点,并分别将各同侧中间角点作为当前中间角点,其中,同一侧为左侧或右侧。
举例来说,如图10所示,图10是本申请提供的车位一实施例的示意图,将同位于左侧的目标角点L2和L1作为同侧中间角点,并分别将目标角点L2和目标角点L1作为当前中间角点。
步骤二:获取当前中间角点对应的目标高度比;其中,目标高度比为当前中间角点对应的第一高度差和第二高度差之间的比值,第一高度差为当前中间角点与远离采集装置的相邻同侧角点之间的高度差,第二高度差为当前中间角点与靠近采集装置的相邻同侧角点之间的高度差,相邻同侧角点为与当前中间角点同一侧且相邻的目标角点。
举例来说,如图10所示,图10中包括有当前中间角点L1和当前中间角点L2。对于当前中间角点L1来说,当前中间角点L1对应的目标高度比=当前中间角点L1对应的第一高度差/当前中间角点L1对应的第二高度差=h2/h1,当前中间角点L1对应的第一高度差h2为当前中间角点L1与远离采集装置的相邻同侧角点(即,图10中的中间角点L2)之间的高度差,当前中间角点L1对应的第二高度差h1为当前中间角点L1与靠近采集装置的相邻同侧角点(即,图10中的目标角点LB)之间的高度差。
对于当前中间角点L2来说,当前中间角点L2对应的目标高度比=当前中间角点L2对应的第一高度差/当前中间角点L2对应的第二高度差=h3/h2,当前中间角点L2对应的第一高度差h3为当前中间角点L2与远离采集装置的相邻同侧角点(即,图10中的目标角点LT)之间的高度差,当前中间角点L2对应的第二高度差h2为当前中间角点L2与靠近采集装置的相邻同侧角点(即,图10中的同侧中间角点L1)之间的高度差。
步骤三:响应于当前中间角点的目标高度比大于参考高度比,确定当前中间角点与远离采集装置的相邻同侧角点之间存在缺失角点;其中,参考高度比基于参考中间角点对应的目标高度比的预设比例确定的,预设比例基于参考中间角点与当前中间角点之间的距离确定,参考中间角点为其余一同侧中间角点。
举例来说,如图10所示,以当前中间角点L2为例:将同侧中间角点L1作为参考中间角点,由于同侧中间角点L1与当前中间角点L2为相邻的中间角点,所以预设比例为t,参考高度比=t*(h2/h1);若当前中间角点L2对应的目标高度比=h3/h2,大于参考高度比=t*(h2/h1),表明当前中间角点L2与远离采集装置的相邻同侧角点(即,图10中的目标角点LT)之间的距离过大,即,表明当前中间角点L2与远离采集装置的相邻同侧角点(即,图10中的目标角点LT)之间存在缺失角点。
其中,不对t的大小进行限定,可根据实际使用需要具体设置。例如,t为1.3。
步骤四:响应于当前中间角点的目标高度比小于参考高度比,确定当前中间角点与靠近采集装置的相邻同侧角点之间存在缺失角点。
举例来说,如图10所示,以当前中间角点L2为例:将同侧中间角点L1作为参考中间角点,由于同侧中间角点L1与当前中间角点L2为相邻的中间角点,所以预设比例为t,参考高度比=t*(h2/h1);若当前中间角点L2对应的目标高度比=h3/h2,小于参考高度比=t*(h2/h1),表明参考中间角点L1与靠近采集装置的相邻同侧角点(即,图10中的目标角点LB)之间的距离过大,即,表明参考中间角点L1与靠近采集装置的相邻同侧角点(即,图10中的目标角点LB)之间存在缺失角点。
步骤S92:响应于存在缺失角点,生成缺失角点,以作为补充的目标角点。
本实施方式中,响应于存在缺失角点,生成缺失角点,以作为补充的目标角点。也就是说,后续会利用上述的各目标角点的角点信息以及补充的目标角点的角点信息,生成车位对应的车位线。
在一实施方式中,响应于存在缺失角点,利用参考高度比和当前中间角点的位置信息,得到缺失角点的位置。举例来说,如图10所示,以当前中间角点L2与远离采集装置的相邻同侧角点(即,图10中的目标角点LT)之间存在缺失角点为例:假设缺失角点为L3,那么L3(y)=L2(y)-(h2/h1*h2),L3(x)=L2(x)-(w2/w1*w2),其中,L3(y)为缺失角点L3的纵坐标、L3(x)为缺失角点L3的横坐标。
请参阅图11,图11是本申请提供的电子设备一实施例的结构示意图。电子设备110包括相互耦接的存储器111和处理器112,处理器112用于执行存储器111中存储的程序指令,以实现上述任一角点检测方法或车位检测方法实施例的步骤。在一个具体的实施场景中,电子设备110可以包括但不限于:微型计算机、服务器,此外,电子设备110还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器112用于控制其自身以及存储器111以实现上述任一角点检测方法或车位检测方法实施例的步骤。处理器112还可以称为CPU(Central Processing Unit,中央处理单元)。处理器112可能是一种集成电路芯片,具有信号的处理能力。处理器112还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器112可以由集成电路芯片共同实现。
请参阅图12,图12是本申请提供的计算机可读存储介质一实施例的结构示意图。本申请实施例的计算机可读存储介质120存储有程序指令121,该程序指令121被执行时实现本申请角点检测方法或车位检测方法任一实施例以及任意不冲突的组合所提供的方法。其中,该程序指令121可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质120中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质120包括:U盘、移动硬盘、只读存储器(ROM,
Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、5磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。
若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处0理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”
的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理
的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过5弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范
围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变0换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (13)
1.一种角点检测方法,其特征在于,所述方法包括:
获取对目标场景进行采集得到的场景图像;
利用角点特征提取网络分别对所述场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图;其中,所述角点的类型基于所述角点的连接边分布特征确定;
基于各角点分别对应的角点特征图,确定所述场景图像中存在的角点的角点信息。
2.根据权利要求1所述的方法,其特征在于,所述角点特征提取网络包括分别与若干类型的角点一一对应的若干特征提取层;所述利用角点特征提取网络分别对所述场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图,包括:
分别利用各类型的角点对应的特征提取层对所述场景图像进行特征提取,得到各类型的角点分别对应的角点特征图。
3.根据权利要求2所述的方法,其特征在于,所述各类型的角点对应的特征提取层用于在对所述场景图像进行特征提取时,关注所述场景图像中的第一像素点,且不关注所述场景图像中的第二像素点;其中,所述第一像素点连接组成第一图形,所述第一图形与对应类型角点的第二图形匹配。
4.根据权利要求3所述的方法,其特征在于,所述关注所述场景图像中的第一像素点,且不关注所述场景图像中的第二像素点,包括:
增强关注所述场景图像中的第一像素点,且弱化关注所述场景图像中的第二像素点或不对所述场景图像中的第二像素点进行处理;
或者,不对所述场景图像中的第一像素点进行处理,且弱化关注所述场景图像中的第二像素点。
5.根据权利要求3所述的方法,其特征在于,所述分别利用各类型的角点对应的特征提取层对所述场景图像进行特征提取,得到各类型的角点分别对应的角点特征图,包括:
分别利用各类型的角点对应的特征提取层的卷积核,对所述场景图像进行卷积,得到所述各类型的角点分别对应的角点特征图;其中,所述卷积核包括第一元素,所述卷积核中的第一元素连接组成第三图形,第一元素用于在进行所述卷积时关注所述场景图像中所述第一像素点,所述第三图形与对应的角点类型的第二图形匹配,所述第三图形包括第一角点以及连接所述第一角点的两条连接边,所述第二图形包括第二角点与连接所述第二角点的两条连接边。
6.根据权利要求5所述的方法,其特征在于,所述若干类型的角点包括边缘角点和中间角点中的至少一者,所述边缘角点包括左上角点、左下角点、右上角点、右下角点中的至少一者,所述中间角点包括左侧T型角点、右侧T型角点中的至少一者。
7.根据权利要求5所述的方法,其特征在于,所述分别利用各类型的角点对应的特征提取层的卷积核,对所述场景图像进行卷积,得到所述各类型的角点分别对应的角点特征图,包括:
对于各类型的角点对应的特征提取层,利用特征提取层的卷积核对所述场景图像进行滑动卷积,得到各滑窗区域的卷积结果;
分别对各所述滑窗区域的卷积结果进行预设统计,得到各滑窗区域对应的特征值;
利用各滑窗区域对应的特征值,得到各所述类型的角点分别对应的角点特征图。
8.根据权利要求1所述的方法,其特征在于,在所述利用角点特征提取网络分别对所述场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图之前,所述方法还包括:
对所述场景图像进行特征提取,得到图像特征;
所述利用角点特征提取网络分别对所述场景图像中各类型的角点进行特征提取,得到各角点分别对应的角点特征图,包括:
利用所述角点特征提取网络分别对图像特征中各类型的角点进行特征提取,得到所述各角点分别对应的角点特征图;和/或,
所述基于各角点分别对应的角点特征图,确定所述场景图像中存在的角点的角点信息,包括:
对所述各角点分别对应的角点特征图进行编解码,得到所述场景图像的角点检测结果;其中,所述角点检测结果包括所述场景图像中存在的各所述类型的角点的概率以及各所述类型的角点的角点位置;
基于所述场景图像的角点检测结果,确定所述场景图像中存在的角点类型以及对应的角点位置。
9.一种车位检测方法,其特征在于,所述方法包括:
获取场景图像中存在的目标角点的角点信息;其中,所述场景图像是利用采集装置对车位进行采集得到的,所述目标角点的角点信息包括所述目标角点所属的角点类型和位置信息,所述目标角点的角点信息是利用权利要求1-8任一项所述的角点检测方法确定的;
利用各所述目标角点的角点信息,生成所述车位对应的车位线。
10.根据权利要求9所述的方法,其特征在于,在所述利用各所述目标角点的角点信息,生成所述车位对应的车位线之前,所述方法还包括:
利用各所述目标角点之间的位置关系,确定是否存在缺失角点;
响应于存在所述缺失角点,生成缺失角点,以作为补充的目标角点。
11.根据权利要求10所述的方法,其特征在于,所述目标角点的角点类型包括中间角点;所述利用各所述目标角点之间的位置关系,确定是否存在缺失角点,包括:
将位于同一侧的中间角点作为同侧中间角点,并分别将各所述同侧中间角点作为当前中间角点,所述同一侧为左侧或右侧;
获取所述当前中间角点对应的目标高度比;其中,所述目标高度比为所述当前中间角点对应的第一高度差和第二高度差之间的比值,所述第一高度差为所述当前中间角点与远离所述采集装置的相邻同侧角点之间的高度差,所述第二高度差为所述当前中间角点与靠近所述采集装置的相邻同侧角点之间的高度差,所述相邻同侧角点为与所述当前中间角点同一侧且相邻的所述目标角点;
响应于所述当前中间角点的目标高度比大于参考高度比,确定所述当前中间角点与远离所述采集装置的相邻同侧角点之间存在缺失角点;其中,所述参考高度比是基于参考中间角点对应的目标高度比的预设比例确定,所述预设比例基于所述参考中间角点与所述当前中间角点之间的距离确定的,所述参考中间角点为其余一所述同侧中间角点;
响应于所述当前中间角点的目标高度比小于参考高度比,确定所述当前中间角点与靠近所述采集装置的相邻同侧角点之间存在缺失角点;
所述生成缺失的角点,包括:
利用所述参考高度比和所述当前中间角点的的位置信息,得到所述缺失角点的位置。
12.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述存储器中存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1-8任一项所述的角点检测方法,或者,用于执行所述程序指令以实现权利要求9-11任一项所述的车位检测方法。
13.一种计算机可读存储介质,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1-8任一项所述的角点检测方法,或者,用于实现权利要求9-11任一项所述的车位检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211680950.4A CN116129397A (zh) | 2022-12-26 | 2022-12-26 | 角点检测方法、车位检测方法、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211680950.4A CN116129397A (zh) | 2022-12-26 | 2022-12-26 | 角点检测方法、车位检测方法、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116129397A true CN116129397A (zh) | 2023-05-16 |
Family
ID=86307260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211680950.4A Pending CN116129397A (zh) | 2022-12-26 | 2022-12-26 | 角点检测方法、车位检测方法、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116129397A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310390A (zh) * | 2023-05-17 | 2023-06-23 | 上海仙工智能科技有限公司 | 一种空心目标的视觉检测方法及系统、库位管理系统 |
-
2022
- 2022-12-26 CN CN202211680950.4A patent/CN116129397A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310390A (zh) * | 2023-05-17 | 2023-06-23 | 上海仙工智能科技有限公司 | 一种空心目标的视觉检测方法及系统、库位管理系统 |
CN116310390B (zh) * | 2023-05-17 | 2023-08-18 | 上海仙工智能科技有限公司 | 一种空心目标的视觉检测方法及系统、库位管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111160379B (zh) | 图像检测模型的训练方法及装置、目标检测方法及装置 | |
US9767383B2 (en) | Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image | |
CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
CN111480183B (zh) | 用于产生透视效果的光场图像渲染方法和系统 | |
CN110516517B (zh) | 一种基于多帧图像的目标识别方法、装置及设备 | |
CN110490066B (zh) | 基于图片分析的目标检测方法、装置及计算机设备 | |
Piao et al. | Robust hypothesis generation method using binary blob analysis for multi‐lane detection | |
CN112598922B (zh) | 车位检测方法、装置、设备及存储介质 | |
WO2017221644A1 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
CN104951440B (zh) | 一种图像处理方法及电子设备 | |
CN116129397A (zh) | 角点检测方法、车位检测方法、电子设备和存储介质 | |
Song et al. | Depth completion for kinect v2 sensor | |
CN115578468A (zh) | 外参标定方法、装置、计算机设备、存储介质 | |
Hoang et al. | Scalable histogram of oriented gradients for multi-size car detection | |
US20190266429A1 (en) | Constrained random decision forest for object detection | |
CN115393763A (zh) | 基于图像频域的行人入侵识别方法、系统、介质及装置 | |
CN111695377B (zh) | 一种文本检测方法、装置和计算机设备 | |
KR101741761B1 (ko) | 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법 | |
CN109961083B (zh) | 用于将卷积神经网络应用于图像的方法和图像处理实体 | |
CN111461128A (zh) | 一种车牌的识别方法及装置 | |
KR101437228B1 (ko) | 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법 | |
CN114663793A (zh) | 目标行为识别方法及装置、存储介质、终端 | |
Sebastian et al. | LiDAR-assisted Large-scale privacy protection in street-view cycloramas | |
JP2006047252A (ja) | 画像処理装置 | |
CN112183413B (zh) | 一种车位检测方法、装置、存储介质及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |