CN111709356B - 识别目标区域的方法、装置、电子设备和路侧设备 - Google Patents

识别目标区域的方法、装置、电子设备和路侧设备 Download PDF

Info

Publication number
CN111709356B
CN111709356B CN202010537962.6A CN202010537962A CN111709356B CN 111709356 B CN111709356 B CN 111709356B CN 202010537962 A CN202010537962 A CN 202010537962A CN 111709356 B CN111709356 B CN 111709356B
Authority
CN
China
Prior art keywords
region
outer contour
determined
marker
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010537962.6A
Other languages
English (en)
Other versions
CN111709356A (zh
Inventor
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202010537962.6A priority Critical patent/CN111709356B/zh
Publication of CN111709356A publication Critical patent/CN111709356A/zh
Application granted granted Critical
Publication of CN111709356B publication Critical patent/CN111709356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的实施例涉及一种识别目标区域的方法、装置、电子设备、计算机可读存储介质和路测设备,涉及智能交通领域。该方法包括确定在视频的当前帧中检测到的标识物的位置信息。该方法还包括基于位置信息确定第一主要类别和第二主要类别,属于第一主要类别的标识物的数目和属于第二主要类别的标识物的数目均大于阈值数目,并且如果确定属于第一主要类别的标识物所围绕的第一区域与属于第二主要类别的标识物所围绕的第二区域具有共享标识物,将第一区域和第二区域合并为目标区域。本公开可以及时准确地更新路况信息,通过车路协同V2X技术将目标区域信息向路侧设备、云平台、车辆等进行播报,从而为车辆的路径规划提供可靠的数据支持,提升用户体验。

Description

识别目标区域的方法、装置、电子设备和路侧设备
技术领域
本公开的实施例主要涉及智能交通领域,并且更具体地,涉及用于识别目标区域的方法、装置、电子设备、计算机可读存储介质、路测设备和计算机程序产品。
背景技术
对于自动驾驶车辆或者其他普通车辆而言,在规划车辆的行驶路线时,如果能够提早发现前方存在可能阻挡交通的目标区域(例如,施工区域等),则将会为用户提供极大便利。然而,对于自动驾驶的无人车而言,其本身携带的传感器所具有的感知范围有限;而对于普通车辆而言,驾驶员的视距以及视角也存在局限性。因此,无法准确判定路面上的目标区域,这为后续的路径规划增加了难度。
发明内容
根据本公开的示例实施例,提供了一种用于识别目标区域的方案。
在本公开的第一方面中,提供了一种用于识别目标区域的方法。该方法可以包括确定在视频的当前帧中检测到的标识物的位置信息。该方法进一步包括基于位置信息,确定标识物的第一主要类别和第二主要类别,属于第一主要类别的标识物的数目和属于第二主要类别的标识物的数目均大于第一阈值数目。该方法还可以包括如果确定属于第一主要类别的标识物所围绕的第一区域与属于第二主要类别的标识物所围绕的第二区域具有共享标识物,将第一区域和第二区域合并为目标区域。
在本公开的第二方面中,提供了一种用于识别目标区域的装置,包括:位置信息确定模块,被配置为确定在视频的当前帧中检测到的标识物的位置信息;主要类别确定模块,被配置为基于位置信息,确定标识物的第一主要类别和第二主要类别,属于第一主要类别的标识物的数目和属于第二主要类别的标识物的数目均大于第一阈值数目;以及目标区域合并模块,被配置为如果确定属于第一主要类别的标识物所围绕的第一区域与属于第二主要类别的标识物所围绕的第二区域具有共享标识物,将第一区域和第二区域合并为目标区域。
在本公开的第三方面中,提供了一种电子设备,包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
在本公开的第五方面中,提供了一种路侧设备,包括如本公开的第三方面所述的电子设备。
在本公开的第六方面中,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素,其中:
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图;
图2示出了根据本公开的实施例的监控场景的示意图;
图3A示出了根据本公开的另一实施例的监控视频中的一帧的示意图;
图3B示出了图3A的帧中被识别的各个标识物在平面坐标系下的示意图;
图4示出了根据本公开的实施例的用于识别目标区域的过程的流程图;
图5示出了根据本公开的实施例的用于识别目标区域的装置的框图;以及
图6示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如以上提及的,自动驾驶车辆需要通过路侧感测装置获取与路况有关的信息来生成较为合理的驾驶策略。需要理解的是,由于道路附近或道路上可能存在施工、损毁、塌陷等情况,故及时识别发生这些情况的目标区域并重新规划行车路线对于自动驾驶车辆至关重要。
传统的识别方案主要有两种。第一种方案是人工采集上报。这是一种最原始、但是简单易行且可靠性高的方法。即,专人开车巡查,当发现存在目标区域的位置后,通过全站仪或者手持GPS,获取目标区域的具体位置,并且进行记录和上报。然而,这种方案成本过高并且效率较低,尤其对于较大规模的城市,进行一次全面的路况检查耗费时间太长,更新速率过慢,且不支持实时更新。
为了克服第一种方案的缺陷,第二种方案是行人、司机上报模式。即,借助于每天在路上行走的行人或者行驶车辆的司机来上报目标区域。然而,这种方案的覆盖率无法得到保证。并且,对于车辆行人较少的道路可能会存在漏报的情况。
近年来,无人驾驶技术逐渐崭露头角。越来越多的企业开始投入无人驾驶的研发和生产中。可预想到,未来一段时间内的道路上将会出现部分自动驾驶车辆。如何为这些自动驾驶车辆提供可靠的路面信息是目前亟待解决的问题。
根据本公开的实施例,提出了一种识别目标区域的方案。例如,可以获取识别出的标识物的位置信息,并对这些标识物的位置信息进行聚类。属于同一类别的标识物很可能用于围绕目标区域。此外,还可以进一步判定每个标识物相对于每个类别的归属关系,一旦确定某两个以上的类别具有共享标识物,则说明可以对这些类别进行合并,从而得到更为准确的识别结果。此外,本方案依靠路侧设备中的路侧传感器和边缘计算节点对道路上是否存在目标区域进行实时检测,并且路侧设备可以通过诸如车路协同v2x技术将检测到目标区域的各种信息发送至云平台、其他路侧设备和车辆等。以此方式,自动驾驶车辆或者其他普通车辆均可以获知实时更新的路面信息,从而为行车路径的规划带来极大便利。
以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。如图1所示,示例环境100中包含监控视频、计算设备120和目标区域130。监控视频包括多个帧,例如帧110和在帧110之前的帧111。为了便于描述,下文中将帧110也称为“当前帧110”,并将帧111也称为“先前帧111”。目标区域130用于指示包括车辆的交通工具不能通过的区域,该区域有可能影响行车路线的规划。
如图1所示,计算设备120通过处理监控视频来识别目标区域130。在一些实施例中,计算设备120可以位于云端,其用于根据特定的识别模型来识别用于围绕目标区域的标识物。应理解,本文所描述的“标识物”是指用于标识目标区域(诸如、施工区域、塌陷区域等)的具有明显外形特征的物体,其可以是锥桶或者具有斑纹图案的柱状桶等。在一些实施列中,计算设备120可以包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费电子产品、小型计算机、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。
经过计算设备120的处理,当前帧110中的特定部分可能会被确定为是目标区域130。例如,可以实时监控视频中的每一帧,当发现当前帧110中存在标识物时,可以确定每个标识物的位置信息。当确定一标识物与某些标识物之间的距离均小于阈值距离时,可以确定该标识物与该某些标识物属于同一连通域。由此,可以将属于该连通域的标识物所围绕的区域确定为目标区域130。
这样,可以通过上报该目标区域130以及其中包含的每个标识物的位置信息和时间戳,来实时更新路面信息。由于路面信息能够得到及时更新,自动驾驶车辆或者其他普通车辆均可以实现更为准确便捷的路径规划方案。
图2示出了根据本公开的实施例的监控场景200的示意图。在该监控场景200中,存在包含路测监控装置210和计算设备120的路测设备,计算设备120可以通过有线或无线的方式与路测监控装置210通信连接。如图2所示,路侧监控装置210可以被设置在诸如用于进行违章拍照的监控器的位置,用于监控一条基本笔直的道路的路面信息。应理解,该道路通常会被多个处于不同位置的路测监控装置监控,且不同的监控结果可以通过计算设备120关联融合,并最终确定目标区域。路侧设备可以通过诸如车路协同v2x技术将检测到目标区域的各种信息上报至云平台,或者向其他路侧设备或车辆等进行广播。
如图2所示,路侧监控装置210可以拍摄到诸如锥桶221、222的标识物。应理解,路侧监控装置210还可以拍摄到诸如人、自行车、摩托车等的运动对象(未示出)。还应理解,为了便于讨论,本公开图2所示的方案仅示出了锥桶221、222。然而,本公开并非仅限于使用路侧监控装置210监控锥桶221、222,出现在路侧监控装置210的监控场景中的用于指示目标区域的其他标识物(例如,具有斑纹图案的柱状桶等)均可以被路侧监控装置210同时监控。
下文将详细描述图2中的路侧监控装置210所拍摄到的监控视频中的一帧。图3A示出了根据本公开的另一实施例的监控视频中的帧300A的示意图。在图3A中,标识物310-1、310-2、310-3、310-4以及310-5(下文统称为310)均出现在帧300A中。普通人通常可以直接判断出,帧300A中存在由标识物310-1、310-2、310-3、310-4组成的目标区域,并且标识物310-5孤立于该目标区域之外。然而,为了节约人力资源,计算设备120被配置为承担识别目标区域的任务。
计算设备120要从帧300A中检测出标识物310,首先需要对帧300A中的标识物310进行识别。图3B示出了图3A的帧中被识别的各个标识物在平面坐标系下的位置关系图300B的示意图。应理解,位置关系图300B是通过对帧300A进行二维空间转换而得到的。在图3B中,可以利用预先训练好的二维目标检测模型对位置关系图300B进行检测。例如,当检测到位置关系图300B中存在标识物310时,可以为标识物310添加检测框(如图3B中围绕标识物310的方框)。应理解,长方形的检测框仅是示例性的,根据需要,检测框还可以是圆形、菱形、或者是恰好可以包围标识物的外周轮廓的形状等。
之后,计算设备120可以基于经确定的各个检测框的中点来确定各个标识物的位置信息。应理解,还可以基于各个检测框的左下角点或其他点来确定各个标识物的位置信息。计算设备120可以基于这些标识物的位置信息来确定是否存在目标区域以及目标区域的位置。
上文描述的技术方案仅用于示例,而非限制本发明。应理解,还可以按照其他方式和连接关系来布置整个监控系统。为了更清楚地解释上述方案的原理,下文将参考图4来更详细描述识别目标区域的过程。
图4示出了根据本公开的实施例的用于识别目标区域的过程400的流程图。在某些实施例中,方法400可以在图1示出的计算设备120中实现。现参照图4描述根据本公开实施例的用于识别目标区域的过程400。为了便于理解,在下文描述中提及的具体数据均是示例性的,并不用于限定本公开的保护范围。
在402,计算设备120可以确定在视频的当前帧110中检测到的标识物310的位置信息。作为示例,如果计算设备120确定在当前帧110中的标识物310的数目大于或等于一阈值数目,则说明这些标识物可能用于围绕目标区域。由此,计算设备120可以确定这些标识物310的位置信息。以此方式,可以结合先验信息准确确定围绕目标区域的标识物。备选地或附加地,如果计算设备120确定在视频中的预定数目的连续帧(如图1中所示,连续的先前帧111直至当前帧110)中的标识物310的数目大于或等于一阈值数目,则说明在一段时间内这些标识物310稳定地出现在视频中,并且这些标识物310可能用于围绕目标区域。由此,计算设备120可以确定这些标识物310的位置信息。以此方式,可以过滤掉不稳定的识别结果。
在某些实施例中,标识物可以是如图2、图3A和图3B中所示的锥桶。备选地或附加地,标识物还可以是柱形桶、路障球等具备路障功能且具有特定形状和颜色的物体。此类标识物均具有特定外形,便于计算设备120进行识别。
在404,计算设备120可以基于位置信息,确定标识物的第一主要类别和第二主要类别。属于第一主要类别的标识物的数目和属于第二主要类别的标识物的数目均大于第一阈值数目,例如,三个或更多。作为示例,计算设备120可以基于位置信息和预先确定的搜索区域对标识物310执行均值偏移聚类。例如,计算设备120可以在当前帧110中确定至少部分地覆盖标识物310的搜索区域,该搜索区域具有预定搜索面积。作为示例,计算设备120可以确定该搜索区域为一圆形区域。该圆形区域的圆形位于当前帧110中的随机位置,并且该圆形区域的半径可以根据先验信息人为确定。备选地或附加地,该搜索区域还可以具有其他形状,例如方形、三角形等。作为另一示例,计算设备120可以基于位置信息和预先确定的类别数目对标识物310执行K均值聚类。以此方式,可以确定与目标区域相关的聚类结果。
应理解,“主要类别”是通过分类模型、分类函数或算法所确定的一个或多个分类,并且该分类中的标识物的个数大于阈值个数,例如,3个或4个。如图3B所示,计算设备120可以将标识物310-1、310-2、310-4、310-X确定为属于第一主要类别,并且将标识物310-2、310-3、310-4确定为属于第二主要类别。当然,计算设备也可能将标识物310-1、310-2、310-3、310-4、310-X确定为属于第一主要类别,并且将标识物310-1、310-2、310-5确定为属于第二主要类别。分类结果的不同应主要归因于聚类机制的随机性。计算设备120可以利用后续的更新机制保证分类的准确性。应理解,上述实施例虽然仅涉及主要类别数目为两个的情况,但本公开所要保护的范围不限于此,还包括主要类别数目为三个以上的情况。
在406,如果确定属于第一主要类别的标识物所围绕的第一区域与属于第二主要类别的标识物所围绕的第二区域具有共享标识物,计算设备120可以将第一区域和第二区域合并为目标区域。作为示例,针对某一标识物,遍历所有已识别的区域,如果确定该标识物是属于第一主要类别的标识物310-1、310-2、310-4所围绕的区域与属于第二主要类别的标识物310-2、310-3、310-4所围绕的区域所具有的共享标识物310-2或310-4,则计算设备120可以将两区域合并为标识物310-1、310-2、310-3、310-4所围绕的目标区域。由此,合并前的两区域可以被上报为区域消失,并且合并后得到的新区域可以作为目标区域进行上报。
在某些实施例中,计算设备120可以不直接遍历已识别的区域,而是先分别确定与已识别的第一区域相对应的第一外部轮廓和与已识别的第二区域相对应的第二外部轮廓。作为示例,第一外部轮廓至少覆盖第一区域并且第二外部轮廓至少覆盖第二区域。外部轮廓可以是将已识别的区域外扩一定距离(例如,3米)的外扩凸包。例如,标识物310-1、310-2、310-4所围绕的区域以及标识物310-2、310-3、310-4所围绕的区域均可以进行外扩,以形成第一外部轮廓和第二外部轮廓。如果确定共享标识物位于第一外部轮廓中且位于第二外部轮廓中,则计算设备120可以合并第一外部轮廓和第二外部轮廓,并基于合并的外部轮廓确定目标区域130。例如,标识物310-2、310-4、310-X位于第一外部轮廓中且位于第二外部轮廓中,则计算设备120可以合并第一外部轮廓和第二外部轮廓,以确定目标区域130。以此方式,可以更容易地识别位于两区域边界的标识物,从而提升识别精度和稳定性。
通过以上方式,计算设备120可以识别出具有共享标识物的多个区域并将其合并,实现了对由标识物所围绕的目标区域的识别与更新。以此方式,计算设备120可以及时准确地更新路况信息,从而为车辆的路径规划提供可靠的数据支持。
在某些实施例中,计算设备120可以确定标识物310中是否存在位于第一外部轮廓和第二外部轮廓外的孤立标识物。如果确定存在孤立标识物,则确定该孤立标识物是否位于合并的外部轮廓外。进而,如果确定该孤立标识物位于合并的外部轮廓外,则确定与孤立标识物相对应的孤立轮廓。例如,标识物310-5可能被识别为位于合并的外部轮廓外,则可以将其占据的区域确定为孤立轮廓。以此方式,可以为系统上报孤立标识物和孤立轮廓,从而提供更为确切的路况信息。
在某些实施例中,由于分类的相关参数通常是基于先验信息人为确定的,故可能存在分类错误的问题。例如,有可能将标识物310-1、310-2、310-3、310-4与标识物310-5分为一类。为此,计算设备120需要对分类结果进行验证。作为示例,计算设备120可以计算属于主要类别的标识物310-1、310-2、310-3、310-4与标识物310-5中的一个标识物到属于该主要类别的标识物310-1、310-2、310-3、310-4与标识物310-5中的另一标识物的距离。如果确定的距离中存在大于阈值距离的距离,即,出现标识物310-5与其他标识物的距离过大的情况,则说明存在分类错误。由此,对于均值偏移聚类的情况,计算设备120可以缩小搜索区域,例如,缩小圆形搜索区域的半径。由于存在分类错误,说明基于之前的分类结果所确定的目标区域存在错误,故计算设备120基于各标识物的位置信息和经缩小的搜索区域来更新目标区域130。
作为另一示例,对于K均值聚类的情况,计算设备120可以增加类别数目,例如,将其更改为K+1。由于存在分类错误,说明基于之前的分类结果所确定的目标区域存在错误,故计算设备120基于各标识物的位置信息和经增加的类别数目K+1来更新目标区域130。以此方式,计算设备120可以随时检测分类的结果是否正确,并对不正确的分类结果进行更正,进而提升识别目标区域的正确率。
应理解,对分类结果进行检验的方式还有很多种。作为示例,如果确定目标区域130或者覆盖目标区域130的外部轮廓的尺寸大于或等于阈值尺寸(可以设置一个判定的前提,例如每个预定时间检测是否只存在一个目标区域或其外部轮廓并且其中的标识物的数目过多,例如大于阈值数目),则计算设备120可以将目标区域130确定为不可用,或者执行如上调整来更新目标区域130。作为另一示例,计算设备120可以遍历每个分类,计算属于该类内的标识物中是否存在一个标识物,其与该分类内所有其他标识物中的至少两个标识物的距离大于阈值距离。如果存在这种标识物,则说明存在分类错误。计算设备120可以执行如上调整来更新目标区域130。
应理解,本公开的目标区域识别方式相对于传统识别方式的优势在于,每当监控视频中出现新的目标区域时,本公开的目标区域识别方式无需如传统方式那样通过人工手段进行信息采集和上报。原因在于,本公开利用了聚类手段来对识别出的多个标识物进行聚类,并且使用了合并判定手段来对聚合条件的分类进行合并,进而找到适于组成目标区域的类别,从而完成对目标区域的识别。由此,可以在不进行过多人工干预的前提下充分涵盖装配有监控摄像设备的道路,从而为用户提供及时准确的道路信息,节约了人力资源成本,并且提升了用户体验。
图5示出了根据本公开的实施例的用于识别目标区域130的装置500的框图。如图5所示,装置500可以包括:位置信息确定模块502,被配置为确定在视频的当前帧中检测到的标识物的位置信息;主要类别确定模块504,被配置为基于位置信息,确定标识物的第一主要类别和第二主要类别,属于第一主要类别的标识物的数目和属于第二主要类别的标识物的数目均大于第一阈值数目;目标区域合并模块506,被配置为如果确定属于第一主要类别的标识物所围绕的第一区域与属于第二主要类别的标识物所围绕的第二区域具有共享标识物,将第一区域和第二区域合并为目标区域。
在某些实施例中,目标区域合并模块506可以包括:外部轮廓确定模块,被配置为分别确定与第一区域相对应的第一外部轮廓和与第二区域相对应的第二外部轮廓,第一外部轮廓至少覆盖第一区域并且第二外部轮廓至少覆盖第二区域;外部轮廓合并模块,被配置为如果确定共享标识物位于第一外部轮廓中且位于第二外部轮廓中,合并第一外部轮廓和第二外部轮廓;以及目标区域确定模块,被配置为基于合并的外部轮廓确定目标区域。
在某些实施例中,装置500还可以包括:孤立标志物确定模块,被配置为确定所述标识物中是否存在位于所述第一外部轮廓和所述第二外部轮廓外的孤立标识物;位置确定模块,被配置为如果确定存在所述孤立标识物,确定所述孤立标识物是否位于所述合并的外部轮廓外;以及鼓励轮廓确定模块,被配置为如果确定所述孤立标识物位于所述合并的外部轮廓外,确定与所述孤立标识物相对应的孤立轮廓。
在某些实施例中,装置500还可以包括:检验模块,被配置为如果确定所述目标区域或者覆盖所述目标区域的外部轮廓的尺寸大于或等于阈值尺寸,将所述目标区域确定为不可用。
在某些实施例中,主要类别确定模块504可以包括:均值偏移聚类模块,被配置为基于所述位置信息和预定搜索区域,对所述标识物执行均值偏移聚类。
在某些实施例中,位置信息确定模块502可以被配置为:如果确定在所述视频中的预定数目的连续帧中的所述标识物的数目大于或等于所述第二阈值数目,确定所述位置信息。
在某些实施例中,位置信息确定模块502可以被配置为:如果确定在所述当前帧中的所述标识物的数目大于或等于第三阈值数目,确定所述位置信息。
在某些实施例中,标识物可以包括锥桶、柱形桶、以及路障球中的至少一项。
图6示出了能够实施本公开的多个实施例的计算设备600的框图。设备600可以用于实现图1的计算设备120。如图所示,设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元601执行上文所描述的各个方法和处理,例如过程200、300和400。例如,在一些实施例中,过程200、300和400可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时,可以执行上文描述的过程200、300和400的一个或多个步骤。备选地,在其他实施例中,CPU 601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行过程200、300和400。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (19)

1.一种用于识别目标区域的方法,包括:
确定在视频的当前帧中检测到的标识物的位置信息;
基于所述位置信息,确定所述标识物的第一主要类别和第二主要类别,属于所述第一主要类别的标识物的数目和属于所述第二主要类别的标识物的数目均大于第一阈值数目;以及
如果确定属于所述第一主要类别的标识物所围绕的第一区域与属于所述第二主要类别的标识物所围绕的第二区域具有共享标识物,将所述第一区域和所述第二区域合并为所述目标区域。
2.根据权利要求1所述的方法,其中将所述第一区域与所述第二区域合并为所述目标区域包括:
分别确定与所述第一区域相对应的第一外部轮廓和与所述第二区域相对应的第二外部轮廓,所述第一外部轮廓至少覆盖所述第一区域并且所述第二外部轮廓至少覆盖所述第二区域;
如果确定所述共享标识物位于所述第一外部轮廓中且位于所述第二外部轮廓中,合并所述第一外部轮廓和所述第二外部轮廓;以及
基于合并的外部轮廓确定所述目标区域。
3.根据权利要求2所述的方法,还包括:
确定所述标识物中是否存在位于所述第一外部轮廓和所述第二外部轮廓外的孤立标识物;
如果确定存在所述孤立标识物,确定所述孤立标识物是否位于所述合并的外部轮廓外;以及
如果确定所述孤立标识物位于所述合并的外部轮廓外,确定与所述孤立标识物相对应的孤立轮廓。
4.根据权利要求1所述的方法,还包括:
如果确定所述目标区域或者覆盖所述目标区域的外部轮廓的尺寸大于或等于阈值尺寸,将所述目标区域确定为不可用。
5.根据权利要求1所述的方法,其中确定所述第一主要类别和所述第二主要类别包括:
基于所述位置信息和预定搜索区域,对所述标识物执行均值偏移聚类。
6.根据权利要求1所述的方法,其中确定所述标识物的位置信息包括:
如果确定在所述视频中的预定数目的连续帧中的所述标识物的数目大于或等于第二阈值数目,确定所述位置信息。
7.根据权利要求1所述的方法,其中确定所述标识物的位置信息包括:
如果确定在所述当前帧中的所述标识物的数目大于或等于第三阈值数目,确定所述位置信息。
8.根据权利要求1所述的方法,其中所述标识物包括如下至少一项:
锥桶;
柱形桶;以及
路障球。
9.一种用于识别目标区域的装置,包括:
位置信息确定模块,被配置为确定在视频的当前帧中检测到的标识物的位置信息;
主要类别确定模块,被配置为基于所述位置信息,确定所述标识物的第一主要类别和第二主要类别,属于所述第一主要类别的标识物的数目和属于所述第二主要类别的标识物的数目均大于第一阈值数目;以及
目标区域合并模块,被配置为如果确定属于所述第一主要类别的标识物所围绕的第一区域与属于所述第二主要类别的标识物所围绕的第二区域具有共享标识物,将所述第一区域和所述第二区域合并为所述目标区域。
10.根据权利要求9所述的装置,其中所述目标区域合并模块包括:
外部轮廓确定模块,被配置为分别确定与所述第一区域相对应的第一外部轮廓和与所述第二区域相对应的第二外部轮廓,所述第一外部轮廓至少覆盖所述第一区域并且所述第二外部轮廓至少覆盖所述第二区域;
外部轮廓合并模块,被配置为如果确定所述共享标识物位于所述第一外部轮廓中且位于所述第二外部轮廓中,合并所述第一外部轮廓和所述第二外部轮廓;以及
目标区域确定模块,被配置为基于合并的外部轮廓确定所述目标区域。
11.根据权利要求10所述的装置,还包括:
孤立标志物确定模块,被配置为确定所述标识物中是否存在位于所述第一外部轮廓和所述第二外部轮廓外的孤立标识物;
位置确定模块,被配置为如果确定存在所述孤立标识物,确定所述孤立标识物是否位于所述合并的外部轮廓外;以及
鼓励轮廓确定模块,被配置为如果确定所述孤立标识物位于所述合并的外部轮廓外,确定与所述孤立标识物相对应的孤立轮廓。
12.根据权利要求9所述的装置,还包括:
检验模块,被配置为如果确定所述目标区域或者覆盖所述目标区域的外部轮廓的尺寸大于或等于阈值尺寸,将所述目标区域确定为不可用。
13.根据权利要求9所述的装置,其中所述主要类别确定模块包括:
均值偏移聚类模块,被配置为基于所述位置信息和预定搜索区域,对所述标识物执行均值偏移聚类。
14.根据权利要求9所述的装置,其中所述位置信息确定模块被配置为:
如果确定在所述视频中的预定数目的连续帧中的所述标识物的数目大于或等于第二阈值数目,确定所述位置信息。
15.根据权利要求9所述的装置,其中所述位置信息确定模块被配置为:
如果确定在所述当前帧中的所述标识物的数目大于或等于第三阈值数目,确定所述位置信息。
16.根据权利要求9所述的装置,其中所述标识物包括如下至少一项:
锥桶;
柱形桶;以及
路障球。
17.一种电子设备,所述电子设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一项所述的方法。
18.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-8任一项所述的方法。
19.一种路侧设备,包括如权利要求17所述的电子设备。
CN202010537962.6A 2020-06-12 2020-06-12 识别目标区域的方法、装置、电子设备和路侧设备 Active CN111709356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537962.6A CN111709356B (zh) 2020-06-12 2020-06-12 识别目标区域的方法、装置、电子设备和路侧设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537962.6A CN111709356B (zh) 2020-06-12 2020-06-12 识别目标区域的方法、装置、电子设备和路侧设备

Publications (2)

Publication Number Publication Date
CN111709356A CN111709356A (zh) 2020-09-25
CN111709356B true CN111709356B (zh) 2023-09-01

Family

ID=72539918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537962.6A Active CN111709356B (zh) 2020-06-12 2020-06-12 识别目标区域的方法、装置、电子设备和路侧设备

Country Status (1)

Country Link
CN (1) CN111709356B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274037A (ja) * 2006-03-30 2007-10-18 Daihatsu Motor Co Ltd 障害物認識方法及び障害物認識装置
CN104303193A (zh) * 2011-12-28 2015-01-21 派尔高公司 基于聚类的目标分类
CN107092890A (zh) * 2017-04-24 2017-08-25 山东工商学院 基于红外视频的舰船检测及跟踪方法
CN109472766A (zh) * 2018-08-27 2019-03-15 石家庄铁道大学 桥梁螺栓区域定位方法及终端设备
CN109522852A (zh) * 2018-11-22 2019-03-26 中国科学院长春光学精密机械与物理研究所 基于光学遥感影像的人造目标检测方法、装置及设备
CN109902600A (zh) * 2019-02-01 2019-06-18 清华大学 一种道路区域检测方法
CN109993060A (zh) * 2019-03-01 2019-07-09 长安大学 深度摄像头的车辆全向障碍物检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274037A (ja) * 2006-03-30 2007-10-18 Daihatsu Motor Co Ltd 障害物認識方法及び障害物認識装置
CN104303193A (zh) * 2011-12-28 2015-01-21 派尔高公司 基于聚类的目标分类
CN107092890A (zh) * 2017-04-24 2017-08-25 山东工商学院 基于红外视频的舰船检测及跟踪方法
CN109472766A (zh) * 2018-08-27 2019-03-15 石家庄铁道大学 桥梁螺栓区域定位方法及终端设备
CN109522852A (zh) * 2018-11-22 2019-03-26 中国科学院长春光学精密机械与物理研究所 基于光学遥感影像的人造目标检测方法、装置及设备
CN109902600A (zh) * 2019-02-01 2019-06-18 清华大学 一种道路区域检测方法
CN109993060A (zh) * 2019-03-01 2019-07-09 长安大学 深度摄像头的车辆全向障碍物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶有时 等.一种基于聚类的深空红外多目标快速检测算法.《电子与信息学报》.2011,第33卷(第1期),77-84. *

Also Published As

Publication number Publication date
CN111709356A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
RU2693400C2 (ru) Виртуальная карта транспортных средств
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
US9983022B2 (en) Vehicle position estimation system, device, method, and camera device
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
Koukoumidis et al. Leveraging smartphone cameras for collaborative road advisories
CN110287276A (zh) 高精地图更新方法、装置及存储介质
CN103325255B (zh) 基于摄影测量技术进行区域交通状况检测的方法
CN110785719A (zh) 在自动驾驶车辆中用于经由交叉时态验证的即时物体标记的方法和系统
US20220373353A1 (en) Map Updating Method and Apparatus, and Device
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
CN106097755A (zh) 用于识别泊车场地和/或空出场地的方法
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
WO2021253245A1 (zh) 识别车辆变道趋势的方法和装置
CN109903574B (zh) 路口交通信息的获取方法和装置
CN113743171A (zh) 目标检测方法及装置
CN108694381A (zh) 对象定位方法和对象轨迹追踪方法
CN111460986A (zh) 一种车道线处理方法和装置
CN111709357B (zh) 识别目标区域的方法、装置、电子设备和路侧设备
CN111709354B (zh) 识别目标区域的方法、装置、电子设备和路侧设备
CN111709356B (zh) 识别目标区域的方法、装置、电子设备和路侧设备
CN111709355B (zh) 识别目标区域的方法、装置、电子设备和路侧设备
US20220404170A1 (en) Apparatus, method, and computer program for updating map
CN112258881B (zh) 基于智慧交通的车辆管理方法
JP7232727B2 (ja) 地図データ管理装置及び地図データ管理方法
CN112784707B (zh) 一种信息融合方法、装置、一体化检测设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211019

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd.

Address before: 100094 2 / F, baidu building, No.10 Shangdi 10th Street, Haidian District, Beijing

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant