CN116894834A - 用于景区的路侧检测方法、装置及电子设备、存储介质 - Google Patents
用于景区的路侧检测方法、装置及电子设备、存储介质 Download PDFInfo
- Publication number
- CN116894834A CN116894834A CN202310931578.8A CN202310931578A CN116894834A CN 116894834 A CN116894834 A CN 116894834A CN 202310931578 A CN202310931578 A CN 202310931578A CN 116894834 A CN116894834 A CN 116894834A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- target
- detection
- image
- road side
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000003708 edge detection Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种用于景区的路侧检测方法、装置及电子设备、存储介质,所述方法包括:对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果;根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域;如果存在所述重叠区域,且所述重叠区域包含所述行人目标的目标检测框的下底边检测框,则根据预先确定的平均行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。通过本申请可以准确检测行人位置并持续显示。
Description
技术领域
本申请涉及路侧感知技术领域,尤其涉及一种用于景区的路侧检测方法、装置及电子设备、存储介质。
背景技术
基于部署在景区中的路侧感知单元,能够检测景区中行人、机动车,同时必要时对行人、机动车进行目标匹配跟踪,确定同一目标在不同帧的位置,得到目标的运动轨迹。
相关技术中,根据目标在图像上所检测到的位置,然后根据图像与地面之间的标定关系将该图像位置转换到世界坐标系作为该目标的最终输出的定位。
然而由于景区的目标多是行人,而行人容易产生遮挡,一旦发生遮挡,目标在图像上的可视部分会变小,在图像中显示时会出现目标发生偏移或者目标发生跳变等问题。
发明内容
本申请实施例提供了一种用于景区的路侧检测方法、装置及电子设备、存储介质,以准确检测出行人目标的位置,降低由于遮挡造成的影响。
本申请实施例采用下述技术方案:
第一方面,本申请实施例提供一种用于景区的路侧检测方法,其中,所述方法包括:
对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果;
根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域;
如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
在一些实施例中,所述方法还包括:对所述行人目标的多帧检测结果进行关联跟踪,记录关联跟踪结果,所述根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全,包括:
判断所述行人目标在所述关联跟踪结果中是否已保存该行人未被遮挡时在图像上的宽高值;
如果所述关联跟踪结果中已保存该行人未被遮挡时在图像上的宽高值,则根据当前帧检测到行人目标在图像从上顶边位置加入所述保存未被遮挡时在图像上的宽高值,对下底边位置进行补全。
在一些实施例中,所述判断所述行人目标在所述关联跟踪结果中是否已保存该行人未被遮挡时在图像上的宽高值,还包括:
如果所述行人目标在所述关联跟踪结果中未保存该行人未被遮挡时在图像上的宽高值,则根据当前帧检测到行人目标在图像从上顶边位置加入所述预设行人宽高值,对下底边位置进行补全,其中所述预设行人宽高值是根据行人目标与图像网格的重叠程度确定的平均宽高值。
在一些实施例中,所述预设行人宽高值,包括
检测所述路侧图像的每一帧中的行人目标;
将所述路侧图像的当前帧划分为预设大小网格,并根据当帧检测结果找出未与其他目标的检测位置重叠的所述行人目标;
判断所述行人目标在当前帧中所占据的范围与所述预设大小网格中的网格重合度之间是否满足条件;
将网格重合度满足条件的行人目标的宽高值存入所述网格对应的数据集;
根据所述数据集,在一个检测周期内统计出每个网格表示的平均行人宽高值。
在一些实施例中,所述根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域,包括:
根据所述行人目标的检测结果在所述路侧图像中的位置中的目标检测框在所述路侧图像上占据的矩形区域,判断所述行人目标与其他目标之间是否存在重叠区域。
在一些实施例中,所述根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域,还包括:
如果判断所述行人目标与其他目标之间不存在重叠区域,则记录该目标在所述路侧图像上占据的宽高值并更新到关联跟踪结果的图像位置信息中;
和/或,
如果判断所述行人目标与其他目标之间存在重叠区域但所述重叠区域未包含行人目标的下底边检测框,则记录该目标在所述路侧图像上占据的宽高值并更新到关联跟踪结果的图像位置信息中。
在一些实施例中,所述对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果,包括:
使用基于深度学习的目标检测算法对路侧图像进行检测,并对多帧检测结果进行关联跟踪;
根据所述关联跟踪的结果在判断目标类型是行人的情况下,得到所述行人目标的定位结果,其中所述行人目标的定位结果包括:目标在图像上的下底边中心或底面中心的像素坐标经过预设路侧相机标定关系转换到世界坐标系下得到的位置坐标。
第二方面,本申请实施例还提供一种用于景区的路侧检测装置,其中,所述装置包括:
目标检测模块,用于对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果;
位置判断模块,用于根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域;
位置确定模块,用于判断如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
第三方面,本申请实施例还提供一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行上述方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行上述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:利用景区行人目标移动缓慢的特点,根据目标在图像中未遮挡时宽高值/预先确定的平均行人宽高值还原行人目标在遮挡时的高度,从而使得行人目标在图像上得以补全,之后根据图像与世界坐标系的标定关系就能得到更准确的定位。
此外,对于行人目标定位结果在云端/车端的可视化而言,避免了行人目标的位置发生偏移或者出现闪烁的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中用于景区的路侧检测方法流程示意图;
图2为本申请实施例中用于景区的路侧检测装置结构示意图;
图3为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种用于景区的路侧检测方法,如图1所示,提供了本申请实施例中用于景区的路侧检测方法流程示意图,所述方法至少包括如下的步骤S110至步骤S130:
步骤S110,对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果。
路侧感知的结果是指对路侧图像进行目标检测、匹配跟踪,并确定同一目标在不同帧的位置。具体而言,可以使用目标检测以及目标跟踪的方式来处理路侧数据,检测可以使用譬如基于深度学习技术的目标检测算法,而跟踪是为了能关联多帧检测结果中的同一目标,从而根据多帧跟踪结果知道同一目标在不同帧的位置,进一步得到目标的运动轨迹从而计算目标的速度、航向、转向意图等。
进一步地,在路侧图像目标检测的结果中包含行人目标以及其他目标,可以理解,其他目标包含障碍物、机动车等非行人的目标。为了提高检测实时性,之后会只对行人目标进行处理。
步骤S120,根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域。
在确定行人在真实场景下的位置之前,需要根据行人目标的检测结果在所述路侧图像中的位置,判断该行人目标是否与其他目标(包括行人目标和/或非行人目标)之间存在重叠区域,可以理解,判断重叠区域时可以根据不同的目标检测框之间是否有重叠进行判断。
需要注意的是,目标检测框可以是2D检测框,也可以是3Dbox框,主要根据目标检测时使用的是2D图像识别算法还是3D图像识别算法有关。
步骤S130,如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
由于景区的目标多是行人,而行人容易产生遮挡。如果一旦发生遮挡,目标在图像上的可视部分会变小,根据目标在图像上的位置再去转换到世界坐标系就会与之前未被遮挡时目标位置相去甚远,从可视化角度看起来就会是目标发生了偏移。而如果下一帧或下几帧该目标没再被遮挡了,位置信息会检测更准,此时目标再次出现在正确位置,就会显得目标经过了几帧的消失再出现,这就是目标看起来闪烁的原因。
对于判断出存在所述重叠区域且重叠区域中包含所述行人目标的下底边检测框的情况,会根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全,之后确定出的行人目标的位置会更加准确,同时位置不会发生跳变或者偏移。
通过上述方法,可以根据行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域,并且如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全,利用景区行人目标移动缓慢的特点,经过补全之后仍可以准确检测出行人目标的位置。
通过上述方法,可以用于景区中的行人目标检测,对于被遮挡区域进行补全,经过补全之后的区域即可按照目标在图像上所检测到的位置,然后根据图像与地面之间的标定关系将该图像位置转换到世界坐标系作为该目标的最终输出的定位。
通过上述方法,并不需要对路侧端进行硬件的改进,也无需人工参与,只需要针对路侧图像进行基于深度学习的目标检测,并进行相关图像处理之后就可以确定行人目标的位置。对于检测到的被遮挡区域可以使得目标在图像上得以补全,再根据图像与世界坐标系的标定关系得到更准确的定位结果。
区别于相关技术中,路侧检测中发生遮挡的情况,行人目标在路侧图像上的可视部分会变小,这样根据行人目标在路侧图像上的位置再去转换到世界坐标系必然与之前目标位置之间存在较大的偏差,从云端/车端结果可视化角度看起来就会是目标发生了偏移。采用上述方法,解决了目标由于位置检测结果不准确而发生的偏移的问题,对于如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
区别于相关技术中,路侧检测中发生遮挡的情况,如果当前帧被遮挡而下一帧或下几帧目标没再被遮挡了,位置信息会检测更准,此时目标再次出现在正确位置,就会显得目标经过了几帧的消失再出现,从云端/车端结果可视化角度看起来就会是目标看起来闪烁。采用上述方法,解决了目标由于位置检测结果不准确而发生的闪烁的问题,对于如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全,同时利用利用景区行人目标移动缓慢的特点,仍然可以连续的检测出行人目标的位置。
区别于相关技术中,采用人工调节相机焦距来解决目标被遮挡的问题,采用上述方法,能够自动化的检测出行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域。之后根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
本申请的一个实施例中,所述方法还包括:对所述行人目标的多帧检测结果进行关联跟踪,记录关联跟踪结果,所述根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全,包括:判断所述行人目标在所述关联跟踪结果中是否已保存该行人未被遮挡时在图像上的宽高值;如果所述关联跟踪结果中已保存该行人未被遮挡时在图像上的宽高值,则根据当前帧检测到行人目标在图像从上顶边位置加入所述保存未被遮挡时在图像上的宽高值,对下底边位置进行补全。
基于路侧图像,使用基于深度学习的目标检测算法对路侧图像中的汽车、行人、非机动车等进行检测。之后对多帧检测结果进行关联跟踪。
需要注意的是,行人目标在世界坐标系下的定位是跟踪目标在图像上的下底边中心(2D目标检测)或底面中心(3D目标检测)根据标定关系转换到世界坐标系下。即如果是2D目标检测,则为行人目标底边中心(点),如果是3D目标检测,则为行人目标的底面中心(点)。
可以理解,基于深度学习的目标检测算法基于CNN的目标检测、YOLO模型等,在本申请的实施例中并不进行具体限定,本领域技术人员可根据实际场景选择。
具体实施时,如果判断所述关联跟踪结果中已保存该行人未被遮挡时在图像上的宽高值,则根据当前帧检测到行人目标在图像从上顶边位置加入所述保存未被遮挡时在图像上的宽高值,对下底边位置进行补全。
可以理解,“宽高值”是指行人目标在路侧图像中占的宽度值和高度值,并非相对比例值。
在本申请的一个实施例中,所述判断所述行人目标在所述关联跟踪结果中是否已保存该行人未被遮挡时在图像上的宽高值,还包括:如果所述行人目标在所述关联跟踪结果中未保存该行人未被遮挡时在图像上的宽高值,则根据当前帧检测到行人目标在图像从上顶边位置加入所述预设行人宽高值,对下底边位置进行补全,其中所述预设行人宽高值是根据行人目标与图像网格的重叠程度确定的平均宽高值。
以行人目标P为例进行说明,如果行人目标P与其他目标产生了重叠(图像检测框之间是否重叠),则判断重叠区域是否包含了行人目标P的下底边。
具体实施时,如果重叠区域包含了行人的下底边,则表示其他目标遮挡了行人的下底边;之后判断行人目标在之前的关联跟踪结果中是否保存了未被遮挡时在图像上的宽高,如果保存了在根据当前帧检测到行人P在图像的上顶边位置加入之前的宽高进行补全下底边位置,从而得到行人目标P更接近真实的位置。
另外一种可能出现的情况是,如果未找到目标之前的关联跟踪结果中的未遮挡宽高,则使用预先标定计算出的网格中平均宽高WH,从行人目标P的上顶边补全该行人位置,根据行人目标P与预设网格的重叠程度来判断取哪个网格表示的平均宽高。预设网格为自定义,可以根据图像分辨率等情况进行选择,在本申请的实施例中并不进行具体限定。
在本申请的一个实施例中,所述预设行人宽高值,包括检测所述路侧图像的每一帧中的行人目标;将所述路侧图像的当前帧划分为预设大小网格,并根据当帧检测结果找出未与其他目标的检测位置重叠的所述行人目标;判断所述行人目标在当前帧中所占据的范围与所述预设大小网格中的网格重合度之间是否满足条件;将网格重合度满足条件的行人目标的宽高值存入所述网格对应的数据集;根据所述数据集,在一个检测周期内统计出每个网格表示的平均行人宽高值。
对于预设行人宽高值,可以在路侧检测方法之前执行并获取。
具体实施时,预先根据当前相机对当前道路上的行人进行检测,将图像划分为M*N(比如,10*10)网格,在当帧检测结果中找出未与其他目标的检测位置有所重叠的行人目标,判断目标在图像上占据的范围与M*N网格哪个网格重合度高,将该行人的宽高纳入指向该网格的数据集合,当前步骤重复一定的时间周期并统计出在当前路侧相机下的M*N网格下,每个网格(不一定每个网格都有行人数据,因为会有一部分建筑或天空所在的背景网格)表示的平均行人宽高WH。
在本申请的一个实施例中,所述根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域,包括:根据所述行人目标的检测结果在所述路侧图像中的位置中的目标检测框在所述路侧图像上占据的矩形区域,判断所述行人目标与其他目标之间是否存在重叠区域。
以行人目标P为例进行说明,判断重叠的条件为:判断任一行人目标P在图像上的位置是否与其他目标的位置产生重叠。即矩形框或3D立体框在图像上占据矩形区域,这取决于目标检测算法使用2D目标检测或3D目标检测,并不具体限定。
在本申请的一个实施例中,所述根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域,还包括:如果判断所述行人目标与其他目标之间不存在重叠区域,则记录该目标在所述路侧图像上占据的宽高值并更新到关联跟踪结果的图像位置信息中;和/或,如果判断所述行人目标与其他目标之间存在重叠区域但所述重叠区域未包含行人目标的下底边检测框,则记录该目标在所述路侧图像上占据的宽高值并更新到关联跟踪结果的图像位置信息中。
以行人目标P为例进行说明,一种情况是,如果行人目标P与其他目标没有产生重叠,则说明没有遮挡,则记录该目标在图像上占据的大小(即对应宽和高),如果该目标在之前关联跟踪结果中已经保存过在图像位置,则进行更新。
继续以行人目标P为例进行说明,另一种情况是,如果重叠区域未包含行人下底边,则大部分情况说明是行人目标P遮挡了别的目标(很小部分情况是其他目标遮挡了目标P的上部分,但计算位置主要考虑下底边中心位置或下底面中心位置故并不影响),不影响行人目标P根据下底边去转换输出自身的位置,即采用如上述相同的处理方式即可。
在本申请的一个实施例中,所述对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果,包括:使用基于深度学习的目标检测算法对路侧图像进行检测,并对多帧检测结果进行关联跟踪;根据所述关联跟踪的结果在判断目标类型是行人的情况下,得到所述行人目标的定位结果,其中所述行人目标的定位结果包括:目标在图像上的下底边中心或底面中心的像素坐标经过预设路侧相机标定关系转换到世界坐标系下得到的位置坐标。
在路侧端使用基于深度学习的目标检测算法对路侧汽车、行人、非机动车等进行检测,并对多帧检测结果进行关联跟踪。然后跟踪关联结果中判断目标是否是行人,只对行人进行处理。“预设路侧相机标定关系”包括但不限于,对于路侧相机的内外参标定结果,以及根据路侧相机的内外参标定结果,可以将路侧图像中的像素坐标转换到世界坐标系中的位置。
可以理解,如果采用2D检测,则对应于目标在图像上的下底边中心的像素坐标,采用经过预设路侧相机标定关系转换到世界坐标系下得到的位置坐标。如果采用3D检测,则对应目标在图像底面中心的像素坐标,采用经过预设路侧相机标定关系转换到世界坐标系下得到的位置坐标。
本申请实施例还提供了用于景区的路侧检测装置200,如图2所示,提供了本申请实施例中用于景区的路侧检测装置的结构示意图,所述用于景区的路侧检测装置200至少包括:目标检测模块210、位置判断模块220以及位置确定模块230,其中:
在本申请的一个实施例中,所述目标检测模块210具体用于:对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果。
路侧感知的结果是指对路侧图像进行目标检测、匹配跟踪,并确定同一目标在不同帧的位置。具体而言,可以使用目标检测+目标跟踪的方式来处理路侧数据,检测可以使用基于深度学习技术的目标检测算法,而跟踪是为了能关联多帧检测结果中的同一目标,从而根据多帧跟踪结果知道同一目标在不同帧的位置,进一步得到目标的运动轨迹从而计算目标的速度、航向、转向意图等。
进一步地,在路侧图像目标检测的结果中包含行人目标以及其他目标,可以理解,其他目标包含障碍物、机动车等非行人的目标。为了提高检测实时性,之后会只对行人目标进行处理。
在本申请的一个实施例中,所述位置判断模块220具体用于:根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域。
在确定行人在真实场景下的位置之前,需要根据行人目标的检测结果在所述路侧图像中的位置,判断行人目标是否与其他目标之间存在重叠区域,可以理解,判断重叠区域时可以根据不同的目标检测框之间是否有重叠进行判断。
需要注意的是,目标检测框可以是2D检测框,也可以是3Dbox框,主要根据目标检测时使用的是2D图像识别算法还是3D图像识别算法有关。
在本申请的一个实施例中,所述位置确定模块230具体用于:如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
由于景区的目标多是行人,而行人容易产生遮挡。如果一旦发生遮挡,目标在图像上的可视部分会变小,根据目标在图像上的位置再去转换到世界坐标系就会与之前未被遮挡时目标位置相去甚远,从可视化角度看起来就会是目标发生了偏移。而如果下一帧或下几帧该目标没再被遮挡了,位置信息会检测更准,此时目标再次出现在正确位置,就会显得目标经过了几帧的消失再出现,这就是目标看起来闪烁的原因。
对于判断出存在所述重叠区域且重叠区域中包含所述行人目标的下底边检测框的情况,会根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全,之后确定出的行人目标的位置会更加准确,同时位置不会发生跳变或者偏移。
能够理解,上述用于景区的路侧检测装置,能够实现前述实施例中提供的用于景区的路侧检测方法的各个步骤,关于用于景区的路侧检测方法的相关阐释均适用于用于景区的路侧检测装置,此处不再赘述。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成用于景区的路侧检测装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果;
根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域;
如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
上述如本申请图1所示实施例揭示的用于景区的路侧检测装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中用于景区的路侧检测装置执行的方法,并实现用于景区的路侧检测装置在图1所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例中用于景区的路侧检测装置执行的方法,并具体用于执行:
对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果;
根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域;
如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种用于景区的路侧检测方法,其中,所述方法包括:
对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果;
根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域;
如果存在所述重叠区域,且所述重叠区域包含所述行人目标的目标检测框的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
2.如权利要求1所述方法,其中,所述方法还包括:对所述行人目标的多帧检测结果进行关联跟踪,记录关联跟踪结果,所述根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全,包括:
判断所述行人目标在所述关联跟踪结果中是否已保存该行人未被遮挡时在图像上的宽高值;
如果所述关联跟踪结果中已保存该行人未被遮挡时在图像上的宽高值,则根据当前帧检测到行人目标在图像从上顶边位置加入所述保存未被遮挡时在图像上的宽高值,对下底边位置进行补全。
3.如权利要求2所述方法,其中,所述判断所述行人目标在所述关联跟踪结果中是否已保存该行人未被遮挡时在图像上的宽高值,还包括:
如果所述行人目标在所述关联跟踪结果中未保存该行人未被遮挡时在图像上的宽高值,则根据当前帧检测到行人目标在图像从上顶边位置加入所述预设行人宽高值,对下底边位置进行补全,其中所述预设行人宽高值是根据行人目标与图像网格的重叠程度确定的平均宽高值。
4.如权利要求1所述方法,其中,所述预设行人宽高值,包括
检测所述路侧图像的每一帧中的行人目标;
将所述路侧图像的当前帧划分为预设大小网格,并根据当帧检测结果找出未与其他目标的检测位置重叠的所述行人目标;
判断所述行人目标在当前帧中所占据的范围与所述预设大小网格中的网格重合度之间是否满足条件;
将网格重合度满足条件的行人目标的宽高值存入所述网格对应的数据集;
根据所述数据集,在一个检测周期内统计出每个网格表示的平均行人宽高值。
5.如权利要求1所述方法,其中,所述根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域,包括:
根据所述行人目标的检测结果在所述路侧图像中的位置中的目标检测框在所述路侧图像上占据的矩形区域,判断所述行人目标与其他目标之间是否存在重叠区域。
6.如权利要求1所述方法,其中,所述根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域,还包括:
如果判断所述行人目标与其他目标之间不存在重叠区域,则记录该目标在所述路侧图像上占据的宽高值并更新到关联跟踪结果的图像位置信息中;
和/或,
如果判断所述行人目标与其他目标之间存在重叠区域但所述重叠区域未包含行人目标的下底边检测框,则记录该目标在所述路侧图像上占据的宽高值并更新到关联跟踪结果的图像位置信息中。
7.如权利要求1所述方法,其中,所述对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果,包括:
使用目标检测算法对路侧图像进行检测,并对多帧检测结果进行关联跟踪;
根据所述关联跟踪的结果在判断目标类型是行人的情况下,得到所述行人目标的定位结果,其中所述行人目标的定位结果包括:目标在图像上的下底边中心或底面中心的像素坐标经过预设路侧相机标定关系转换到世界坐标系下得到的位置坐标。
8.一种用于景区的路侧检测装置,其中,所述装置包括:
目标检测模块,用于对路侧图像进行目标检测,得到包含行人目标和其他目标的检测结果;
位置判断模块,用于根据所述行人目标的检测结果在所述路侧图像中的位置,判断所述行人目标与其他目标之间是否存在重叠区域;
位置确定模块,用于判断如果存在所述重叠区域,且所述重叠区域包含所述行人目标的下底边检测框,则根据预设行人宽高值将行人目标在所述路侧图像中被遮挡的位置补全。
9.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行所述权利要求1~7之任一所述方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行所述权利要求1~7之任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310931578.8A CN116894834A (zh) | 2023-07-27 | 2023-07-27 | 用于景区的路侧检测方法、装置及电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310931578.8A CN116894834A (zh) | 2023-07-27 | 2023-07-27 | 用于景区的路侧检测方法、装置及电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116894834A true CN116894834A (zh) | 2023-10-17 |
Family
ID=88310641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310931578.8A Pending CN116894834A (zh) | 2023-07-27 | 2023-07-27 | 用于景区的路侧检测方法、装置及电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116894834A (zh) |
-
2023
- 2023-07-27 CN CN202310931578.8A patent/CN116894834A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113658256A (zh) | 基于激光雷达的目标检测方法、装置及电子设备 | |
CN114705121B (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN114973198A (zh) | 目标车辆的航向角预测方法、装置及电子设备、存储介质 | |
CN112927309A (zh) | 一种车载相机标定方法、装置、车载相机及存储介质 | |
US20240144507A1 (en) | Electronic device and control method | |
CN114754761A (zh) | 高精地图车道线的优化方法、装置及电子设备、存储介质 | |
CN116682091A (zh) | 用于自动驾驶车辆的障碍物感知方法、装置 | |
CN116164763A (zh) | 目标航向角确定方法、装置及电子设备、存储介质 | |
CN115661014A (zh) | 一种点云数据处理方法、装置和电子设备、存储介质 | |
CN116894834A (zh) | 用于景区的路侧检测方法、装置及电子设备、存储介质 | |
CN116051812A (zh) | 目标检测方法、装置及电子设备、存储介质 | |
CN115115704A (zh) | 确定汽车位姿信息的方法及装置 | |
CN114066958A (zh) | 目标的深度信息预测方法和装置、电子设备和存储介质 | |
CN116381698B (zh) | 道路遗撒物的检测方法、装置及电子设备 | |
CN116449347B (zh) | 路侧激光雷达的标定方法、装置及电子设备 | |
CN116597416A (zh) | 车辆定位方法、装置及电子设备、计算机可读存储介质 | |
CN116610766A (zh) | 地图更新方法、装置及电子设备、计算机可读存储介质 | |
CN116597376A (zh) | 路侧设备感知范围确定方法、装置及路侧设备 | |
CN116580095A (zh) | 一种目标定位方法和装置、电子设备和存储介质 | |
CN116823931A (zh) | 车辆的初始航向角计算方法、装置及电子设备 | |
CN116605212B (zh) | 车辆控制方法、装置、计算机设备以及存储介质 | |
CN116843888A (zh) | 目标定位方法、装置及电子设备 | |
CN116597131A (zh) | 目标定位方法、装置及电子设备、计算机可读存储介质 | |
CN116129383A (zh) | 一种可行驶区域检测方法、装置和电子设备、存储介质 | |
CN116994179A (zh) | 一种目标跟踪方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |