CN110135377B - 车路协同中物体运动状态检测方法、装置和服务器 - Google Patents
车路协同中物体运动状态检测方法、装置和服务器 Download PDFInfo
- Publication number
- CN110135377B CN110135377B CN201910426042.4A CN201910426042A CN110135377B CN 110135377 B CN110135377 B CN 110135377B CN 201910426042 A CN201910426042 A CN 201910426042A CN 110135377 B CN110135377 B CN 110135377B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- frame image
- image
- current frame
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Abstract
本公开提供一种物体运动状态检测方法及装置,根据深度学习模型确定各帧图像中的障碍物信息,根据各帧图像中的障碍物信息计算当前帧图像中各障碍物的位置最大波动幅度,并根据各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态;本公开实施例的方案不易受光线、障碍物前后遮挡等因素的影响,能够快速判断出障碍物处于静止状态或运动状态,而且可以有效提高障碍物运动状态检测的准确度。本公开还提供一种服务器和计算机可读介质。
Description
技术领域
本公开涉及自动驾驶技术领域,具体涉及一种物体运动状态检测方法、装置、服务器和计算机可读介质。
背景技术
在车路协同场景中,路侧感知设备通过检测障碍物,并传输给自动驾驶车辆,来辅助自动驾驶车辆进行决策。自动驾驶车辆需要判断障碍物的运动意图,因此需要对场景中障碍物的运动状态(运动或静止)进行判断,方便自动驾驶车车辆对障碍物进行过滤,以便重点关注运动物体的行为。由于路侧场景光线变动大,障碍物多,需要一种可以对于光照鲁棒的快速的运动状态检测方法。
目前,现有的物体运动状态检测方案主要是利用背景建模的方法进行判断。具体的,通过对静态背景进行建模来获取前景,比较视频流中多帧图像之间的前景,来判断物体的运动状态是静止状态还是运动状态。
上述方案的缺点是受光线的影响大,在路侧场景中,早、中、晚的光线变化幅度大,前景检测容易受到光线变化的影响,导致背景被误检为前景或者前景漏检;另外,当场景中存在多个前景目标,且各前景目标间的距离较近或存在遮挡时,前景检测难以将每个前景清晰的分割出来,也难以判断每个前景目标的运动状态。
发明内容
本公开针对现有技术中存在的上述不足,提供一种物体运动状态检测方法、装置、服务器和计算机可读介质。
第一方面,本公开实施例提供一种物体运动状态检测方法,所述方法包括:
根据预设的深度学习模型,按照视频流各帧图像的时序,确定所述各帧图像中的障碍物信息;
根据当前帧图像及其之前各帧图像中的障碍物信息,计算当前帧图像中各障碍物的位置最大波动幅度;
根据所述各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态。
优选的,所述障碍物信息包括障碍物的特征向量、类别和位置;在所述各帧图像中,障碍物通过矩形框标识,其中,一个障碍物对应一个矩形框;
确定所述各帧图像中障碍物的位置的步骤包括:确定所述各帧图像中各障碍物对应的矩形框的一个顶角的坐标以及所述矩形框的长度和宽度;或者,确定所述各帧图像中各障碍物对应的矩形框任一对角线上两个顶点的坐标。
优选的,所述根据当前帧图像及其之前各帧图像中的障碍物信息,计算当前帧图像中各障碍物的位置最大波动幅度,具体包括:
根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识;
针对本帧图像中各障碍物的标识,分别计算相应障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度,并从中确定位置最大波动幅度。
优选的,所述根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识,具体包括:
将本帧图像中各障碍物的特征向量、类别和位置,与前一帧图像中各障碍物的特征向量、类别和位置相匹配,若障碍物的特征向量、类别和位置均匹配,则将所述障碍物在前一帧图像中的标识作为其在本帧图像中的标识;其中,初始帧图像中障碍物的标识是随机生成的;
若障碍物的特征向量、类别和位置中至少一项不匹配,则为所述障碍物生成标识,并将生成的标识作为所述障碍物在本帧图像中的标识。
优选的,计算障碍物在两帧图像中的位置波动幅度的步骤包括:
分别计算障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离;
计算所述障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离之和,得到所述障碍物在所述两帧图像中的位置波动幅度。
优选的,所述根据所述各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态,具体包括:
若障碍物的位置最大波动幅度小于预设的阈值,则确定出当前帧图像中的所述障碍物为静止状态;若障碍物的位置最大波动幅度大于或等于预设的阈值,则确定出当前帧图像中的所述障碍物为运动状态。
另一方面,本公开实施例还提供一种物体运动状态检测装置,包括:处理模块、计算模块和检测模块;
所述处理模块用于,根据预设的深度学习模型,按照视频流各帧图像的时序,确定所述各帧图像中的障碍物信息;
所述计算模块用于,根据当前帧图像及其之前各帧图像中的障碍物信息,计算当前帧图像中各障碍物的位置最大波动幅度;
所述检测模块用于,根据所述各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态。
优选的,所述障碍物信息包括障碍物的特征向量、类别和位置;在所述各帧图像中,各障碍物通过矩形框标识,其中,一个障碍物对应一个矩形框;
所述处理模块具体用于,确定所述各帧图像中障碍物的位置的步骤包括:确定所述各帧图像中各障碍物对应的矩形框的一个顶角的坐标以及所述矩形框的长度和宽度;或者,确定所述各帧图像中各障碍物对应的矩形框任一对角线上两个顶点的坐标。
优选的,所述计算模块包括:标识确定单元、位置波动幅度计算单元和位置最大波动幅度确定单元;
所述标识确定单元用于,根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识;
所述位置波动幅度计算单元用于,针对本帧图像中各障碍物的标识,分别计算相应障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度;
所述位置最大波动幅度确定单元用于,从所述位置波动幅度计算单元计算出的障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度中确定位置最大波动幅度。
优选的,所述标识确定单元具体用于,将本帧图像中各障碍物的特征向量、类别和位置,与前一帧图像中各障碍物的特征向量、类别和位置相匹配,当障碍物的特征向量、类别和位置均匹配时,将所述障碍物在前一帧图像中的标识作为其在本帧图像中的标识;其中,初始帧图像中障碍物的标识是随机生成的;当障碍物的特征向量、类别和位置中至少一项不匹配时,为所述障碍物生成标识,并将生成的标识作为所述障碍物在本帧图像中的标识。
优选的,所述位置波动幅度计算单元具体用于,分别计算障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离,并计算所述障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离之和,得到所述障碍物在所述两帧图像中的位置波动幅度。
优选的,所述检测模块具体用于,当障碍物的位置最大波动幅度小于预设的阈值时,确定出当前帧图像中的所述障碍物为静止状态;当障碍物的位置最大波动幅度大于或等于预设的阈值时,确定出当前帧图像中的所述障碍物为运动状态。
又一方面,本公开实施例还提供一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前所述的物体运动状态检测方法。
再一方面,本公开实施例还提供一种计算机可读介质,其上存储有计算机程序,其中,所述程序被执行时实现如前所述的物体运动状态检测方法。
本公开的实施例,根据深度学习模型确定各帧图像中的障碍物信息,根据各帧图像中的障碍物信息计算当前帧图像中各障碍物的位置最大波动幅度,并根据各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态;本公开实施例的方案不易受光线、障碍物前后遮挡等因素的影响,能够快速判断出障碍物处于静止状态或运动状态,而且可以有效提高障碍物运动状态检测的准确度。
附图说明
图1为本公开检测物体运动状态的流程图;
图2为本公开计算当前帧图像中障碍物的位置最大波动幅度的流程图;
图3为本公开确定本帧图像中障碍物的标识的流程图;
图4为本公开计算障碍物在两帧图像中的位置波动幅度的流程图;
图5为本公开物体运动状态检测装置的结构示意图;
图6为本公开计算模块的结构示意图。
具体实施方式
在下文中将参考附图更充分地描述示例实施例,但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之,提供这些实施例的目的在于使本公开透彻和完整,并将使本领域技术人员充分理解本公开的范围。
如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此,可根据制造技术和/或容限来修改示例图示。因此,实施例不限于附图中所示的实施例,而是包括基于制造工艺而形成的配置的修改。因此,附图中例示的区具有示意性属性,并且图中所示区的形状例示了元件的区的具体形状,但并不旨在是限制性的。
除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
本公开的一个实施例提供一种物体运动状态检测方法,以下结合图1,对所述物体运动状态检测方法进行详细说明,如图1所示,该方法包括以下步骤:
步骤11,根据预设的深度学习模型,按照视频流各帧图像的时序,确定所述各帧图像中的障碍物信息。
优选的,障碍物信息可以包括障碍物的特征向量、类别和位置。障碍物的类别可以包括行人、小车、公交车、卡车、自行车、摩托车、三轮车、交通标志、动物等,障碍物的位置是指障碍物在帧图像中的位置,障碍物的类别和位置是所述深度学习模型最后一层的输出结果。特征向量是指障碍物的具体特征,例如,蓝色的车牌号为xxxxxx的轿车、穿红色裙子的女人等,是所述深度学习模型的中间层的输出结果。
视频流由多帧图像按照一定的时序组成,按照视频流中各帧图像的时序,依次将各帧图像输入深度学习模型,深度学习模型针对当前输入的一帧图像,确定其中的障碍物信息。
具体的,在各帧图像中,障碍物通过矩形框标识,其中,一个障碍物对应一个矩形框,矩形框的区域即为障碍物在相应帧图像中所占区域。障碍物的位置可以通过以下两种方式表示:方式一,矩形框一个顶角的坐标加上矩形框的长度和宽度;方式二,矩形框任一对角线上的两个顶点的坐标。需要说明的是,这里所说的坐标是指在帧图像中的相对坐标,例如,以帧图像中行、列的像素位置表示。
相应的,在本步骤中,确定各帧图像中障碍物位置的步骤具体包括:确定各帧图像中各障碍物对应的矩形框的一个顶角的坐标以及所述矩形框的长度和宽度;或者,确定各帧图像中各障碍物对应的矩形框任一对角线上两个顶点的坐标。
步骤12,根据当前帧图像及其之前各帧图像中的障碍物信息,计算当前帧图像中各障碍物的位置最大波动幅度。
具体的,针对当前帧图像中的每一个障碍物,根据各帧图像中的障碍物信息,计算其位置最大波动幅度,具体计算方案后续结合图2再详细说明。
步骤13,根据各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态。
需要说明的是,在本公开实施例中,障碍物的运动状态是指障碍物处于静止状态或是运动状态。
具体的,若障碍物的位置最大波动幅度小于预设的阈值,则可以确定出当前帧图像中的所述障碍物为静止状态;若障碍物的位置最大波动幅度大于或等于预设的阈值,则可以确定出当前帧图像中的所述障碍物为运动状态。
也就是说,针对每帧图像分别确定其中障碍物当前的运动状态,由于本公开实施例是按照视频流各帧图像的时序进行检测,因此,针对某一个障碍物来说,按照时序将其在各帧图像中的运动状态结合起来,即可还原该障碍物在整个视频流对应时长内的运动状态,例如,可以确定出某个障碍物在第一时刻处于静止状态,在其后的第二时刻处于运动状态,在其后的第三时候又处于静止状态。
通过步骤11-13可以看出,本公开根据深度学习模型确定各帧图像中的障碍物信息,根据各帧图像中的障碍物信息计算当前帧图像中各障碍物的位置最大波动幅度,并根据各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态;本公开实施例的方案不易受光线、障碍物前后遮挡等因素的影响,能够快速判断出障碍物处于静止状态或运动状态,而且可以有效提高障碍物运动状态检测的准确度。
以下结合图2,对计算当前帧图像中各障碍物的位置最大波动幅度的流程进行详细说明。如图2所示,所述根据当前帧图像及其之前各帧图像中的障碍物信息,计算当前帧图像中各障碍物的位置最大波动幅度,具体包括以下步骤:
步骤121,根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识。
在本步骤中,通过确定各个障碍物的标识,从而识别出本帧图像中各个障碍物。确定本帧图像中各个障碍物的标识的具体实现方式后续结合图3再详细说明。
步骤122,针对本帧图像中各障碍物的标识,分别计算相应障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度。
在本步骤中,根据本帧图像中各障碍物的标识,分别计算各个障碍物在本帧图像中的位置与在之前各帧图像中的位置之间的波动幅度。例如,若当前帧图像为第4帧图像,且其中包括2个障碍物A和B,则在本步骤中,分别计算障碍物A在本帧图像中的位置与在第1帧图像中的位置波动幅度LA1,障碍物A在本帧图像中的位置与在第2帧图像中的位置波动幅度LA2,障碍物A在本帧图像中的位置与在第3帧图像中的位置波动幅度LA3,以及,分别计算障碍物B在本帧图像中的位置与在第1帧图像中的位置波动幅度LB1,障碍物B在本帧图像中的位置与在第2帧图像中的位置波动幅度LB2,障碍物B在本帧图像中的位置与在第3帧图像中的位置波动幅度LB3。
其中,计算障碍物在两帧图像中的位置波动幅度的具体实现方式,后续结合附图4再详细说明。
步骤123,确定位置最大波动幅度。
具体的,从步骤122计算出的障碍物在本帧图像和本帧图像前的各帧图像中的位置波动幅度中,找出最大的位置波动幅度作为位置最大波动幅度。也就是说,从LA1、LA2、LA3中找到最大值,作为障碍物A的位置最大波动幅度,从LB1、LB2、LB3中找到最大值,作为障碍物B的位置最大波动幅度。
通过步骤121-123可以看出,本公开通过确定出障碍物在本帧图像与之前各帧图像之间的位置最大波动幅度,这样得到的障碍物运动状态的检测结果更为准确。
以下结合图3详细说明确定本帧图像中障碍物的标识的流程。如图3所示,所述根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识,具体包括以下步骤:
步骤1211,将本帧图像中各障碍物的特征向量、类别和位置,与前一帧图像中各障碍物的特征向量、类别和位置相匹配。
步骤1212,判断障碍物的特征向量、类别和位置是否均匹配,若是,则执行步骤1213;否则,执行步骤1214。
具体的,若某个障碍物标识对应的障碍物在本帧图像中的特征向量、类别和位置,与在前一帧图像中的特征向量、类别和位置均匹配,说明为该障碍物在前一帧图像中出现过,则障碍物在本帧图像中的标识继承其在前一帧图像中的物标识(即执行步骤1213)。
若某个障碍物标识对应的障碍物在本帧图像中的特征向量、类别和位置,与在前一帧图像中的特征向量、类别和位置至少一项不匹配,说明该障碍物在前一帧图像中未出现,为新出现的障碍物,则为其生成新的障碍物标识(即执行步骤1214)。
需要说明的是,由于相邻帧图像间隔几十分之一秒,对于道路上常见的能够移动的障碍物而言,在一帧图像的时长内,其位置的变化微乎其微,可以忽略不计,因此,在本步骤中,通过匹配位置确定障碍物标识,障碍物的移动不会影响障碍物标识的准确性。
步骤1213,将所述障碍物在前一帧图像中的标识作为其在本帧图像中的标识。
需要说明的是,初始帧图像中障碍物的标识可以随机生成。
步骤1214,为所述障碍物生成标识,并将生成的标识作为相应的障碍物在本帧图像中的标识。
优选的,在本步骤中,对于本帧图像中新出现的障碍物,可以为其随机生成一个标识。
通过步骤1211-1214可以看出,通过在相邻帧之间进行障碍物的特征向量、类别和位置比较,可以确定出在前一帧图像中就存在的障碍物和在本帧图像中新出现的障碍物,对于在前一帧图像中就存在的障碍物,可以沿用其原来的标识;对于在本帧图像中新出现的障碍物,为其生成新的标识,由此保证每帧图像中的每个障碍物都具有标识,以便后续确定相应障碍物的运动状态。
以下结合图4详细说明计算障碍物在两帧图像中的位置波动幅度的流程。如图4所示,所述计算障碍物在两帧图像中的位置波动幅度,具体包括以下步骤:
步骤1221,分别计算障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离。
若矩形框左上角顶点在第(n-1)帧图像中的坐标为A(x1,y1),矩形框右下角顶点在第(n-1)帧图像中的坐标为B(x2,y2),矩形框左上角顶点在第n帧图像中的坐标为A’(x1’,y1’),矩形框右下角顶点在第n帧图像中的坐标为B’(x2’,y2’),则分别计算矩形框左上角顶点在第(n-1)帧和第n帧图像中的偏移距离A’A,以及,矩形框右下角顶点在第(n-1)帧和第n帧图像中的偏移距离B’B。
需要说明的是,也可以根据矩形框的右上顶点和左下顶点进行计算。
步骤1222,计算障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离之和,得到所述障碍物在所述两帧图像中的位置波动幅度。
具体的,障碍物在两帧图像中的位置波动幅度=A’A+B’B。
基于相同的技术构思,本公开实施例还提供一种物体运动状态检测装置,如图5所示,该物体运动状态检测装置包括:处理模块51、计算模块52和检测模块53。
处理模块51用于,根据预设的深度学习模型,按照视频流各帧图像的时序,确定所述各帧图像中的障碍物信息。
计算模块52用于,根据当前帧图像及其之前各帧图像中的障碍物信息,计算当前帧图像中各障碍物的位置最大波动幅度。
检测模块53用于,根据所述各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态。
优选的,所述障碍物信息包括障碍物的特征向量、类别和位置;在所述各帧图像中,各障碍物通过矩形框标识,其中,一个障碍物对应一个矩形框。
处理模块51具体用于,确定所述各帧图像中障碍物的位置的步骤包括:确定所述各帧图像中各障碍物对应的矩形框的一个顶角的坐标以及所述矩形框的长度和宽度;或者,确定所述各帧图像中各障碍物对应的矩形框任一对角线上两个顶点的坐标。
优选的,如图6所示,计算模块52包括:标识确定单元521、位置波动幅度计算单元522和位置最大波动幅度确定单元523。
标识确定单元521用于,根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识。
位置波动幅度计算单元522用于,针对本帧图像中各障碍物的标识,分别计算相应障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度。
位置最大波动幅度确定单元523用于,从位置波动幅度计算单元522计算出的障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度中确定位置最大波动幅度。
优选的,标识确定单元521具体用于,将本帧图像中各障碍物的特征向量、类别和位置,与前一帧图像中各障碍物的特征向量、类别和位置相匹配,当障碍物的特征向量、类别和位置均匹配时,将所述障碍物在前一帧图像中的标识作为其在本帧图像中的标识;其中,初始帧图像中障碍物的标识是随机生成的;当障碍物的特征向量、类别和位置中至少一项不匹配时,为所述障碍物生成标识,并将生成的标识作为所述障碍物在本帧图像中的标识。
优选的,位置波动幅度计算单元522具体用于,分别计算障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离,并计算所述障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离之和,得到所述障碍物在所述两帧图像中的位置波动幅度。
优选的,检测模块53具体用于,当障碍物的位置最大波动幅度小于预设的阈值时,确定出当前帧图像中的所述障碍物为静止状态;当障碍物的位置最大波动幅度大于或等于预设的阈值时,确定出当前帧图像中的所述障碍物为运动状态。
本公开实施例还提供了一种服务器,该服务器包括:一个或多个处理器以及存储装置;其中,存储装置上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如前述各实施例所提供的物体运动状态检测方法。
本公开实施例还提供了一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被执行时实现如前述各实施例所提供的物体运动状态检测方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本发明的范围的情况下,可进行各种形式和细节上的改变。
Claims (8)
1.一种物体运动状态检测方法,其中,所述方法包括:
根据预设的深度学习模型,按照视频流各帧图像的时序,确定所述各帧图像中的障碍物信息;
根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识;针对本帧图像中各障碍物的标识,分别计算相应障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度,并从中确定位置最大波动幅度;
根据所述各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态;
其中,计算障碍物在两帧图像中的位置波动幅度的步骤包括:
分别计算障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离;计算所述障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离之和,得到所述障碍物在所述两帧图像中的位置波动幅度;
所述根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识,具体包括:
将本帧图像中各障碍物的特征向量、类别和位置,与前一帧图像中各障碍物的特征向量、类别和位置相匹配,若障碍物的特征向量、类别和位置均匹配,则将所述障碍物在前一帧图像中的标识作为其在本帧图像中的标识;其中,初始帧图像中障碍物的标识是随机生成的;
若障碍物的特征向量、类别和位置中至少一项不匹配,则为所述障碍物生成标识,并将生成的标识作为所述障碍物在本帧图像中的标识。
2.如权利要求1所述的方法,其中,所述障碍物信息包括障碍物的特征向量、类别和位置;在所述各帧图像中,障碍物通过矩形框标识,其中,一个障碍物对应一个矩形框;
确定所述各帧图像中障碍物的位置的步骤包括:确定所述各帧图像中各障碍物对应的矩形框的一个顶角的坐标以及所述矩形框的长度和宽度;或者,确定所述各帧图像中各障碍物对应的矩形框任一对角线上两个顶点的坐标。
3.如权利要求1或2所述的方法,其中,所述根据所述各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态,具体包括:
若障碍物的位置最大波动幅度小于预设的阈值,则确定出当前帧图像中的所述障碍物为静止状态;若障碍物的位置最大波动幅度大于或等于预设的阈值,则确定出当前帧图像中的所述障碍物为运动状态。
4.一种物体运动状态检测装置,其中,包括:处理模块、计算模块和检测模块;
所述处理模块用于,根据预设的深度学习模型,按照视频流各帧图像的时序,确定所述各帧图像中的障碍物信息;
所述计算模块包括:标识确定单元、位置波动幅度计算单元和位置最大波动幅度确定单元;
所述标识确定单元用于,根据当前帧图像和前一帧图像中障碍物的特征向量、类别和位置,以及前一帧图像中各障碍物的标识,确定本帧图像中各障碍物的标识;
所述位置波动幅度计算单元用于,针对本帧图像中各障碍物的标识,分别计算相应障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度;其中,分别计算障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离,并计算所述障碍物对应的矩形框任一对角线上两个顶点在两帧图像中的偏移距离之和,得到所述障碍物在所述两帧图像中的位置波动幅度;
所述位置最大波动幅度确定单元用于,从所述位置波动幅度计算单元计算出的障碍物在本帧图像和本帧图像之前各帧图像中的位置波动幅度中确定位置最大波动幅度;
所述检测模块用于,根据所述各障碍物的位置最大波动幅度和预设的阈值确定当前帧图像中所述各障碍物的运动状态;
所述标识确定单元具体用于,将本帧图像中各障碍物的特征向量、类别和位置,与前一帧图像中各障碍物的特征向量、类别和位置相匹配,当障碍物的特征向量、类别和位置均匹配时,将所述障碍物在前一帧图像中的标识作为其在本帧图像中的标识;其中,初始帧图像中障碍物的标识是随机生成的;当障碍物的特征向量、类别和位置中至少一项不匹配时,为所述障碍物生成标识,并将生成的标识作为所述障碍物在本帧图像中的标识。
5.如权利要求4所述的物体运动状态检测装置,其中,所述障碍物信息包括障碍物的特征向量、类别和位置;在所述各帧图像中,各障碍物通过矩形框标识,其中,一个障碍物对应一个矩形框;
所述处理模块具体用于,确定所述各帧图像中障碍物的位置的步骤包括:确定所述各帧图像中各障碍物对应的矩形框的一个顶角的坐标以及所述矩形框的长度和宽度;或者,确定所述各帧图像中各障碍物对应的矩形框任一对角线上两个顶点的坐标。
6.如权利要求4或5所述的物体运动状态检测装置,其中,所述检测模块具体用于,当障碍物的位置最大波动幅度小于预设的阈值时,确定出当前帧图像中的所述障碍物为静止状态;当障碍物的位置最大波动幅度大于或等于预设的阈值时,确定出当前帧图像中的所述障碍物为运动状态。
7.一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-3任一项所述的物体运动状态检测方法。
8.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被执行时实现如权利要求1-3任一项所述的物体运动状态检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910426042.4A CN110135377B (zh) | 2019-05-21 | 2019-05-21 | 车路协同中物体运动状态检测方法、装置和服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910426042.4A CN110135377B (zh) | 2019-05-21 | 2019-05-21 | 车路协同中物体运动状态检测方法、装置和服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110135377A CN110135377A (zh) | 2019-08-16 |
CN110135377B true CN110135377B (zh) | 2022-10-14 |
Family
ID=67572291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910426042.4A Active CN110135377B (zh) | 2019-05-21 | 2019-05-21 | 车路协同中物体运动状态检测方法、装置和服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110135377B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110733039A (zh) * | 2019-10-10 | 2020-01-31 | 南京驭行科技有限公司 | 基于vfh+与视觉辅助决策的机器人自动驾驶方法 |
CN111507278B (zh) * | 2020-04-21 | 2023-05-16 | 浙江大华技术股份有限公司 | 一种检测路障的方法、装置及计算机设备 |
CN111832667B (zh) * | 2020-09-17 | 2020-12-08 | 中汽研(天津)汽车工程研究院有限公司 | 一种园区无人驾驶观光车的驾驶行为决策系统 |
CN112257542B (zh) * | 2020-10-15 | 2024-03-15 | 东风汽车有限公司 | 障碍物感知方法、存储介质及电子设备 |
CN116125897A (zh) * | 2023-03-02 | 2023-05-16 | 重庆长安汽车股份有限公司 | 自动驾驶决策方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009180536A (ja) * | 2008-01-29 | 2009-08-13 | Omron Corp | 画像処理装置、画像処理方法、およびプログラム |
CN109409238A (zh) * | 2018-09-28 | 2019-03-01 | 深圳市中电数通智慧安全科技股份有限公司 | 一种障碍物检测方法、装置及终端设备 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231696A (zh) * | 2008-01-30 | 2008-07-30 | 安防科技(中国)有限公司 | 遗留物检测方法及系统 |
CN102903125A (zh) * | 2012-09-27 | 2013-01-30 | 无锡天授信息科技有限公司 | 固定场景下运动目标检测系统及方法 |
CN103745485A (zh) * | 2013-12-31 | 2014-04-23 | 深圳泰山在线科技有限公司 | 判断物体静止或运动的方法及系统 |
CN103903281B (zh) * | 2014-04-04 | 2016-08-17 | 西北工业大学 | 一种基于多特征分析和场景学习的老人摔倒检测方法 |
US10318826B2 (en) * | 2016-10-07 | 2019-06-11 | Ford Global Technologies, Llc | Rear obstacle detection and distance estimation |
CN106599832A (zh) * | 2016-12-09 | 2017-04-26 | 重庆邮电大学 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
CN107766821B (zh) * | 2017-10-23 | 2020-08-04 | 江苏鸿信系统集成有限公司 | 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 |
CN108062349B (zh) * | 2017-10-31 | 2022-03-08 | 深圳大学 | 基于视频结构化数据及深度学习的视频监控方法和系统 |
CN108055501A (zh) * | 2017-11-22 | 2018-05-18 | 天津市亚安科技有限公司 | 一种目标检测及跟踪的视频监控系统及方法 |
CN108320296B (zh) * | 2017-12-28 | 2020-08-21 | 新智数字科技有限公司 | 一种视频中目标对象的检测跟踪方法、装置及设备 |
CN108280445B (zh) * | 2018-02-26 | 2021-11-16 | 江苏裕兰信息科技有限公司 | 一种车辆周围运动物体和凸起障碍物的检测方法 |
CN109325979B (zh) * | 2018-07-20 | 2021-11-02 | 上海理工大学 | 基于深度学习的机器人回环检测方法 |
CN109005409B (zh) * | 2018-07-27 | 2021-04-09 | 浙江工业大学 | 一种基于目标检测与跟踪的智能视频编码方法 |
-
2019
- 2019-05-21 CN CN201910426042.4A patent/CN110135377B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009180536A (ja) * | 2008-01-29 | 2009-08-13 | Omron Corp | 画像処理装置、画像処理方法、およびプログラム |
CN109409238A (zh) * | 2018-09-28 | 2019-03-01 | 深圳市中电数通智慧安全科技股份有限公司 | 一种障碍物检测方法、装置及终端设备 |
Non-Patent Citations (3)
Title |
---|
A Novel Method for Moving Object Detection based on Block Based Frame Differencing;Sengar, Sandeep Singh;《2016 3RD INTERNATIONAL CONFERENCE ON RECENT ADVANCES IN INFORMATION TECHNOLOGY (RAIT)》;20161228;全文 * |
基于双目视觉的AGV障碍物检测与避障;王铮等;《计算机集成制造系统》;20180215(第02期);全文 * |
基于定位-分类-匹配模型的目标跟踪方法;刘大千 等;《光学学报》;20180627;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110135377A (zh) | 2019-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110135377B (zh) | 车路协同中物体运动状态检测方法、装置和服务器 | |
EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
US20190122059A1 (en) | Signal light detection | |
US20180018528A1 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
CN103488973B (zh) | 基于图像的车辆品牌识别方法和系统 | |
US11288820B2 (en) | System and method for transforming video data into directional object count | |
JP2020052694A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
WO2016129403A1 (ja) | 物体検知装置 | |
US8406472B2 (en) | Method and system for processing image data | |
KR20180042254A (ko) | 오브젝트 추적을 위한 시스템들 및 방법들 | |
CN110443225A (zh) | 一种基于特征像素统计的虚实车道线识别方法及其装置 | |
CN111191611B (zh) | 基于深度学习的交通标志标号识别方法 | |
Kum et al. | Lane detection system with around view monitoring for intelligent vehicle | |
CN104376297A (zh) | 道路上的线型指示标志的检测方法和装置 | |
JP5164351B2 (ja) | 物体検出装置および物体検出方法 | |
US10984263B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
Mu et al. | Multiscale edge fusion for vehicle detection based on difference of Gaussian | |
US10984264B2 (en) | Detection and validation of objects from sequential images of a camera | |
CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
CN108629225A (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
KR20200068045A (ko) | 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법 | |
CN113095345A (zh) | 数据匹配方法、装置和数据处理设备 | |
KR101032660B1 (ko) | 장애물체 검출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |