CN112101071A - 停车检测方法、停车检测装置和电子设备 - Google Patents

停车检测方法、停车检测装置和电子设备 Download PDF

Info

Publication number
CN112101071A
CN112101071A CN201910525933.5A CN201910525933A CN112101071A CN 112101071 A CN112101071 A CN 112101071A CN 201910525933 A CN201910525933 A CN 201910525933A CN 112101071 A CN112101071 A CN 112101071A
Authority
CN
China
Prior art keywords
pair
nodes
objects
image
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910525933.5A
Other languages
English (en)
Inventor
陶轩
谭志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910525933.5A priority Critical patent/CN112101071A/zh
Priority to JP2020092984A priority patent/JP2020205042A/ja
Publication of CN112101071A publication Critical patent/CN112101071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种停车检测方法、停车检测装置和电子设备，停车检测装置包括：第一处理单元，其对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对；第二处理单元，其根据对象物对生成无向图，其中，无向图包括节点和连接节点的边，节点表示对象物对中的各对象物，节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个对象物对；第三处理单元，其在无向图中提取彼此不同的链条，其中，各链条由节点和边构成，任意两个彼此不同的链条中没有相同的节点；以及第四处理单元，其基于提取出的彼此不同的链条，检测停止的车辆。

Description

停车检测方法、停车检测装置和电子设备
技术领域
本申请涉及电子信息技术领域。
背景技术
传统的交通事件检测方法中，将检测器设置于道路的主干道，基于磁场或电磁波信息来采集交通数据，进而检测交通事件(traffic events)的发生，该方法成本低，操作方便，但存在检测率低、误检率高、可视化效果差等问题。
随着信息技术的发展，基于视频图像的交通事故检测方法取得了很大进步，该方法利用安装在道路或隧道中的摄像头捕捉到的图像作为输入，通过对视频图像的处理和分析，实现对车辆的自动检测和跟踪，并根据检测和跟踪的结果进行交通事件检测。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
在交通事故检测中，对于停车的检测是其中一项重要的内容。
本申请的发明人发现，现有的基于视频图像的停车检测方法还有进一步改善的空间，例如，停车检测的漏检率还可以进一步降低，检测的速度和检测结果的准确性还可以进一步提高等。
本申请的实施例提供一种停车检测方法、停车检测装置和电子设备，在该停车检测方法中，检测不同图像中的相同对象物并表现在无向图(undirected graph)中，基于无向图进行停车检测，由此，能够降低漏检率，提高停车检测的速度和准确性。
根据本申请实施例的第一方面，提供一种停车检测装置，包括：
第一处理单元，其对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对(pair)；
第二处理单元，其根据所述对象物对生成无向图(undirected graph)，其中，所述无向图包括节点和连接节点的边，所述节点表示对象物对(pair)中的各对象物，所述节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个所述对象物对；
第三处理单元，其在所述无向图(undirected graph)中提取彼此不同的链条(distinct chain)，其中，各所述链条由所述节点和所述边构成，任意两个所述彼此不同的链条(distinct chain)中没有相同的节点；以及
第四处理单元，其基于提取出的所述彼此不同的链条，检测停止的车辆。
根据本申请实施例的第二方面，提供一种停车检测方法，包括：
对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对(pair)；
根据所述对象物对生成无向图(undirected graph)，其中，所述无向图包括节点和连接节点的边，所述节点表示对象物对(pair)中的各对象物，所述节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个所述对象物对；
在所述无向图(undirected graph)中提取彼此不同的链条(distinct chain)，其中，各所述链条由所述节点和所述边构成，任意两个所述彼此不同的链条(distinctchain)中没有相同的节点；以及
基于提取出的所述彼此不同的链条，检测停止的车辆。
根据本申请实施例的第三方面，提供一种电子设备，其具有实施例的第一方面所述的停车检测装置。
本申请的有益效果在于：能够降低停车检测的漏检率，提高检测的速度和准确性。
参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附附记的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请实施例的第一方面的停车检测方法的一个示意图；
图2是本申请实施例的第一方面的时间序列上的多帧图像的一个示意图；
图3是图1的方法中操作101中对一对图像帧进行比较从而获得对象物对的方法的一个示意图；
图4是本申请实施例的第一方面的无向图的一个示意图；
图5是本申请实施例的第一方面的链条的一个示意图；
图6是本申请实施例的第二方面的停车检测装置的一个示意图；
图7是本申请实施例的第二方面的停车检测装置进行停车检测时流程的一个示意图；
图8是本申请实施例的第三方面的电子设备的一个构成示意图。
具体实施方式
参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附附记的范围内的全部修改、变型以及等同物。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“该”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
实施例的第一方面
本申请实施例的第一方面提供一种停车检测方法。图1是本申请实施例的第一方面的停车检测方法的一个示意图，如图1所示，该方法包括如下操作：
操作101、对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对(pair)；
操作102、根据对象物对生成无向图(undirected graph)，其中，该无向图包括节点和连接节点的边，所述节点表示对象物对(pair)中的各对象物，所述节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个所述对象物对；
操作103、在所述无向图(undirected graph)中提取彼此不同的链条(distinctchain)，其中，各所述链条由所述节点和所述边构成，任意两个所述彼此不同的链条(distinct chain)中没有相同的节点；以及
操作104、基于提取出的所述彼此不同的链条，检测停止的车辆。
根据本申请实施例的第一方面，在该停车检测方法中，检测不同图像中的相同对象物并表现在无向图(undirected graph)中，由于无向图能够清晰地表现多帧图像中对象物对的关系，因而基于无向图进行停车检测，能够减少漏检，此外，能够提高停车检测的速度和效率。
在操作101中，可以对时间序列上的多帧图像进行处理，从而形成对象物对。该时间序列上的多帧图像可以是时间序列上的连续图像，也可以是从时间序列上的连续帧图像中抽出的多帧图像。
在该多帧图像上，每一帧图像可以被标记出该帧图像中的对象物(object)的种类(type)和对象物的边界框(bounding box)。对象物的种类和边界框可以是使用基于深度学习(Deep Learning)的分类器对图像进行检测得到，关于分类的具体方法，可以参考相关技术。此外，该多帧图像以及各帧图像中的对象物的种类和边界框的信息可以被预先存储。
在至少一个实施例中，对象物例如可以是车辆，对象物的种类例如可以是三厢轿车、两厢轿车、卡车、巴士等。在本申请的后续，将以对象物是车辆为例来说明停车检测方法。此外，当对象物是其它对象时，本申请的停车检测方法同样适用于对该其它对象的停止状态进行检测，例如，当对象物是人体时，本申请的停车检测方法可以用于对该人的停止状态进行检测，从而便于判断人群的拥堵等情况。
图2是本申请实施例的第一方面的时间序列上的多帧图像的一个示意图。图2示出了8帧图像，各帧图像的索引分别为I0，I1，I2，I3，I4，I5，I6，I7，并且，从I0到I7，对应的时刻依次延后，或者依次提前。
如图2所示，在各帧图像中，被检测出的对象物被标记为0，1，2，…等。例如，对于图像I0，其中有3个对象物，分别被标记为0，1，2。
在操作101中，对各帧图像，可以将该帧图像和与该帧图像在时间上相差预定数量帧以内的图像分别进行比较，在每次比较中，检测出用于比较的两帧图像中的对象物对。其中，该预定数量可以用m来表示，m是大于等于2的自然数。
例如，m等于2，以图2所示的图像I0，I1，I2，I3为例，在操作101中，对于I0，由于I0和I1相差1帧，I0和I2相差2帧，因此，分别将I0和I1进行比较以获得对象物对，将I0和I2进行比较以获得对象物对；类似地，对于I1，将I1和I2进行比较以获得对象物对，将I1和I3进行比较以获得对象物对；对于I2，将I2和I3进行比较以获得对象物对。此外，对于图2的I3～I6，也可以采用相同的方式来确定用于进行比较的一对图像帧。
此外，在图2中，对象物上的箭头表示该对象物的移动方向。
图3是操作101中对一对图像帧进行比较从而获得对象物对的方法的一个示意图，如图3所示，操作101可以包括如下操作：
操作301、计算当前帧图像中的一个对象物(A)与一个其它帧图像中的与该对象物类型相同的各对象物(B)的距离，最小距离对应的该其它帧图像中的所述对象物与当前帧图像中的该一个对象物配对，作为一个对象物对。
例如，当前帧可以是图像I0，与图像I0进行比较的该其它帧图像可以是图像I1，在图像I0中，有M个对象物，对于第i个对象物，其类型可以被标记为Ti，其边界框Ai可以被表示为[xi,yi,wi,hi]，其中，(xi,yi)表示边界框Ai的中心点在图像的宽度方向和高度方向的坐标，(wi,hi)表示边界框Ai的宽度和高度，i为自然数，1≤i≤M；
在图像I1中，类型被标记为Ti的对象物例如有Ni个，在该Ni个对象物中，第j个对象物的边界框Bj可以被表示为[xj,yj,wj,hj]，其中，(xj,yj)表示边界框Bj的中心点在图像的宽度方向和高度方向的坐标，(wj,hj)表示边界框Bj的宽度和高度，j为自然数，1≤j≤Ni；
图像I0中的第i个对象物与图像I1中Ni个对象物中的各对象物之间的欧式距离(Euclidean distance)被表示为向量di＝[di1，di2，…，dij，…，diNi]，其中，dij表示图像I0中的第i个对象物与图像I1中Ni个对象物中的第j个对象物之间的欧式距离(Euclideandistance)；
在操作301中，对于图像I0中的第i个对象物，找到向量di中各欧氏距离的最小值，该最小值例如是dijmin，该最小值是图像I1中Ni个对象物中的第jmin个对象物与图像I0中的第i个对象物之间的距离，因此，将图像I1中Ni个对象物中的第jmin个对象物与图像I0中的第i个对象物作为一个对象物对Pij。
在至少一个实施例中，如图3所示，操作101还可以包括如下操作：
操作302、判断在操作301中计算出的各对象物对的最小距离是否小于或等于第一预定阈值(distance_thresh)，在判断结果为是的情况下，保留所述对象物对。
此外，在操作302中，当判断为在操作301中计算出的对象物对的最小距离大于该第一预定阈值(distance_thresh)时，删除该对象物对。
例如，在操作301中，图像I0中的第i个对象物与图像I1中Ni个对象物中的第jmin个对象物的距离dijmin是向量di中欧氏距离的最小值；在操作302中，如果判断为dijmin≤distance_thresh，则保留对象物对Pij；此外，在操作302中，如果判断为dijmin＞distance_thresh，则删除对象物对Pij。
在至少一个实施例中，如图3所示，操作101还可以包括如下操作：
操作303、在操作302之前，根据对象物的中心点在该帧图像中的位置以及该帧图像的高度和/或宽度，对最小距离进行校正。
例如，在本申请的操作303中，对于操作301确定的对象物对Pij中的两个对象物(即，图像I0中的第i个对象物，图像I1中的第j个对象物)，计算对象物的边界框的中心点在高度和/或宽度方向的坐标与图像帧的高度和/或宽度的比值，例如，计算边界框Ai的中心点在高度方向的坐标yi和/或宽度方向的坐标xi与图像帧I0的高度和/或宽度的比值Pt1，并计算边界框Bj的中心点在高度方向的坐标yj和/或宽度方向的坐标xj与图像帧I1的高度和/或宽度的比值Pt2；根据计算出的比值Pt1、Pt2来校正该对象物对的最小距离dijmin，例如，将计算出的比值Pt1、比值Pt2进行加权相加得到合成的比值，该合成的比值越大，对该最小距离乘以的系数也越大，并且，当该合成的比值大于某阈值时，该系数可以大于1。
摄像机在拍摄得到图像帧时，由于透视现象，对象物与摄像机的距离和/或摄像机的视角等因素会导致图像帧中对象物的位置与实际位置存在一些偏差，从而导致对象物对的距离计算的误差，因此，通过操作303的校正，能够消除透视现象造成的距离计算误差，提高检测的准确性，避免错误地检测到对象物对。
在至少一个实施例中，在操作303对最小距离进行校正之后，操作302中，判断校正后的最小距离是否小于或等于第一预定阈值。
在至少一个实施例中，如图3所示，操作101还可以包括如下操作：
操作304、根据对象物对中两个对象物的特征在特征空间中的距离，保留或删除对象物对。
例如，在操作304中，对于操作301确定的对象物对Pij中的两个对象物(即，图像I0中的第i个对象物，图像I1中的第j个对象物)，提取图像I0中的第i个对象物的特征Fe1，并提取图像I1中的第j个对象物的特征Fe2，比较特征Fe1和Fe2在特征空间的距离，如果该距离小于或等于预定的距离阈值，保留该对象物对，如果该距离大于该预定的距离阈值，删除该对象物对。
在至少一个实施例中，操作304中提取的特征Fe1和Fe2可以是基于ORB(OrientedFast and Rotated BRIEF)算法提取的特征和/或基于哈希(hashing)算法提取的特征。例如，在操作304中，可以基于ORB算法提取图像I0中的第i个对象物的特征Fe11，并基于ORB算法提取图像I1中的第j个对象物的特征Fe21，计算特征Fe11和Fe21在特征空间的第一距离，如果该第一距离小于或等于预定的第一距离阈值，则保留该对象物对，如果该第一距离大于该预定的第一距离阈值，进一步基于哈希(hashing)算法提取图像I0中的第i个对象物的特征Fe12，并基于哈希(hashing)算法提取图像I1中的第j个对象物的特征Fe22，计算特征Fe12和Fe22在特征空间的第二距离，如果该第二距离小于或等于预定的第二距离阈值，则保留该对象物对，如果该第二距离大于该预定的第二距离阈值，删除该对象物对。
关于基于ORB算法提取特征和/或基于哈希(hashing)算法提取特征的具体算法，可以参考相关技术。
根据操作101，对预定数量的图像帧进行了对象物对的检测，该预定数量的图像帧例如是图2所示的8个图像帧。
在操作102中，可以根据操作101的对象物对的检测结果，生成无向图(undirectedgraph)。
图4是本申请实施例的第一方面的无向图的一个示意图。如图4所示，无向图400包括节点401和连接节点的边402，节点401表示对象物对(pair)中的各对象物，节点401在第一方向上D1的排列顺序与各帧图像I0～I7在时间轴上的排列顺序对应。在图4中，由一条边402所连接的两个节点401表示一个对象物对。例如，对于操作101所检测出的对象物对Pij，图像I0中的第i个对象物所对应的节点401和图像I1中的第j个对象物所对应的节点401之间可以用边402来连接。
此外，如图4所示，在无向图400中，各图像帧中的多个对象物所对应的多个节点401可以在第二方向D2上对应于该图像帧而排列。例如，在图4中，图像帧I2中的对象物0，1，2，3各自对应的节点401可以排列于图像帧的索引I2的下方。
在操作103中，可以从无向图400中提取至少2个链条，各链条为彼此不同的链条(distinct chain)。
图5是本申请实施例的第一方面的链条的一个示意图。如图5所示，从图4的无向图中提取出了4条彼此不同的链条，即，501、502、503和504，在图5中分别用实线和不同的虚线进行表示。各链条由节点401和边402构成，任意两个彼此不同的链条(distinct chain)中没有相同的节点401。
在操作103中，可以基于对无向图的连通性分析的结果，从无向图400中来提取该彼此不同的多条链条，具体的提取方法可以参考相关技术。
在操作103所提取的链条中，同一个链条上的各节点代表同一个对象物。
在操作104中，可以根据操作103中提取的链条来检测停车。其中，检测停车是指检测到车辆在某个位置保持停止的状态，并且这种保持停止的状态超过预定时间。
在操作104的一个实施例中，当一个链条上的节点对应的图像帧的数量大于或等于第四预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。
例如：第四预定阈值为4，链条501上的各节点位于图像帧I0，I1，I2中，因此，链条501对应的图像帧的数量为3，小于第四预定阈值4，所以，链条501上的各节点对应的车辆没有发生停车；而链条502对应的图像帧为I2～I7，对应的图像帧的数量为6，大于第四预定阈值4，所以，链条502上的各节点对应的车辆发生了停车；同样，链条503、504对应的图像帧为I0～I7，所以，链条503、504上的各节点对应的车辆发生了停车。
在操作104的另一个实施例中，当链条上的节点对应的图像帧的数量超过第四预定阈值时，还判断该链条两端的节点所分别对应的对象物在同一图像帧中的距离，当该距离小于或等于第五预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。由此，能进一步减少误检测。
例如：第四预定阈值为4，链条502、503、504各自对应的图像帧的数量都大于第四预定阈值4，因此，进一步判断各链条502、503、504两端的节点所分别对应的对象物在同一图像帧中的距离，例如，链条502左端的节点对应于图像帧I2的对象物3，链条502右端的节点对应于图像帧I7的对象物2，计算这两个对象物在同一个图像帧中的距离，其中，该距离的计算方式可以是，计算图像帧I2的对象物3的边界框的中心点坐标(x3,y3)与图像帧I7的对象物2的边界框的中心点坐标(x2,y2)的距离d23，如果距离d23小于或等于第五预定阈值，则判定为链条502上的节点对应的同一车辆为停车状态，否则，判断为链条502上的节点对应的同一车辆在缓慢移动，并非处于停车状态；此外，对于链条503、504也可以进行与链条502相同的判定，此处不再重复说明。
根据本申请实施例的第一方面，在该停车检测方法中，检测不同图像中的相同对象物并表现在无向图(undirected graph)中，由于无向图能够清晰地表现多帧图像中对象物对的关系，因而基于无向图进行停车检测，能够减少漏检，此外，能够提高停车检测的速度和效率。
实施例的第二方面
本申请实施例的第二方面提供一种停车检测装置，与实施例的第一方面的的停车检测方法对应。
图6是本申请实施例的第二方面的停车检测装置600的一个示意图，如图6所示，该装置600包括：第一处理单元601、第二处理单元602、第三处理单元603以及第四处理单元604。
其中，第一处理单元601对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对(pair)；第二处理单元602根据所述对象物对生成无向图(undirected graph)，其中，所述无向图包括节点和连接节点的边，所述节点表示对象物对(pair)中的各对象物，所述节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个所述对象物对；第三处理单元603在所述无向图(undirected graph)中提取彼此不同的链条(distinct chain)，其中，各所述链条由所述节点和所述边构成，任意两个所述彼此不同的链条(distinctchain)中没有相同的节点；第四处理单元604基于提取出的所述彼此不同的链条，检测停止的车辆。
在至少一个实施例中，第一处理单元601形成对象物对(pair)的操作包括：
操作301、计算当前帧图像中的一个对象物与一个其它帧图像中的与该对象物类型相同的各对象物的距离，最小距离对应的该其它帧图像中的所述对象物与当前帧图像中的该一个对象物作为一个对象物对。
在至少一个实施例中，第一处理单元601形成对象物对(pair)的操作还包括：
操作302、判断所述最小距离是否小于或等于第一预定阈值，并且，在判断结果为是的情况下，保留所述对象物对。
此外，在判断结果为否的情况下，删除该对象物对。
在至少一个实施例中，第一处理单元601形成对象物对(pair)的操作包括：
操作303、在判断所述最小距离是否小于或等于所述第一预定阈值之前，根据所述对象物的中心点在该帧图像中的位置以及该帧图像的高度和/或宽度，对所述最小距离进行校正。
其中，在操作302中，可以判断校正后的最小距离是否小于或等于所述第一预定阈值。
在至少一个实施例中，第一处理单元601形成对象物对(pair)的操作还包括：
操作304、根据对象物对中两个对象物的特征在特征空间中的距离，保留或删除对象物对。
在至少一个实施例中，第四处理单元604基于提取出的所述彼此不同的链条，检测停止的车辆，可以包括：
当所述链条上的所述节点对应的图像帧的数量大于或等于第四预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。
在至少一个实施例中，第四处理单元604基于提取出的所述彼此不同的链条，检测停止的车辆，也可以包括：
当所述链条上的所述节点对应的图像帧的数量超过第四预定阈值时，还判断该链条两端的节点所分别对应的对象物在同一图像帧中的距离，当该距离小于或等于第五预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。
关于停车检测装置600的各单元的说明，可以参考实施例的第一方面中关于停车检测方法的各操作的说明。
图7是本申请实施例的第二方面的停车检测装置进行停车检测时流程的一个示意图。该流程包括如下操作：
操作701、停车检测装置600从存储器702中读取时间序列上的多帧图像以及各帧图像中对象物的种类和边界框的信息；
操作703、停车检测装置600从多个图像帧中选出用于比较的两个图像帧；
操作704、停车检测装置600计算当前图像帧中的第i个对象物与用于比较的另一个图像帧中的相同类别的各对象物之间的距离中的最小距离，针对当前图像帧中的各对象物，都进行该最小距离的计算；
操作705、停车检测装置600将操作704计算出的最小距离与第一预定阈值(distance_thresh)比较，如果最小距离小于或等于第一预定阈值(distance_thresh)，保留该最小距离对应的对象物对，如果最小距离大于第一预定阈值(distance_thresh)，则删除该最小距离对应的对象物对；
操作706、停车检测装置600针对操作705中保留的对象物对，分别计算各对象物对中的两个对象物的特征在特征空间的距离，根据计算出的距离保留或删除对象物对；
操作707、停车检测装置600根据操作706中保留的对象物对，生成无向图；
操作708、停车检测装置600从无向图中提取彼此不同的链条；
操作709、停车检测装置600根据从无向图中提取出的链条，检测停止的车辆；
操作710、停车检测装置600输出停车检测的结果。
根据本申请实施例的第二方面，在该停车检测装置中，检测不同图像中的相同对象物并表现在无向图(undirected graph)中，由于无向图能够清晰地表现多帧图像中对象物对的关系，因而基于无向图进行停车检测，能够减少漏检，此外，能够提高停车检测的速度和效率。
实施例的第三方面
本申请实施例的第三方面提供一种电子设备，所述电子设备包括：如实施例的第二方面所述的停车检测装置。
图8是本申请实施例的第三方面的电子设备的一个构成示意图。如图8所示，电子设备800可以包括：中央处理器(CPU)801和存储器802；存储器802耦合到中央处理器801。其中该存储器802可存储各种数据；此外还存储用于进行控制的程序，并且在中央处理器801的控制下执行该程序。
在一个实施例中，停车检测装置600的功能可以被集成到中央处理器801中。
其中，中央处理器801可以被配置为，执行实施例的第一方面所述的停车检测方法。
在另一个实施例中，停车检测装置600可以与处理器801分开配置，例如可以将停车检测装置600配置为与处理器801连接的芯片，通过处理器801的控制来实现停车检测装置600的功能。
此外，如图8所示，电子设备800还可以包括：输入输出单元803和显示单元804等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备800也并不是必须要包括图8中所示的所有部件；此外，电子设备800还可以包括图8中没有示出的部件，可以参考现有技术。
本申请实施例还提供一种计算机可读程序，其中当在停车检测装置或电子设备中执行所述程序时，所述程序使得停车检测装置或电子设备执行实施例的第一方面所述的停车检测方法。
本申请实施例还提供一种存储有计算机可读程序的存储介质，其中，所述存储介质存储上述计算机可读程序，所述计算机可读程序使得停车检测装置或电子设备执行实施例的第一方面所述的停车检测方法。
结合本发明实施例描述的测量装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图6中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于实施例的第一方面所示的各个操作。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图6描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图6描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施例对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。
关于包括以上实施例的实施方式，还公开下述的附记：
1.一种停车检测装置，包括：
第一处理单元，其对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对(pair)；
第二处理单元，其根据所述对象物对生成无向图(undirected graph)，其中，所述无向图包括节点和连接节点的边，所述节点表示对象物对(pair)中的各对象物，所述节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个所述对象物对；
第三处理单元，其在所述无向图(undirected graph)中提取彼此不同的链条(distinct chain)，其中，各所述链条由所述节点和所述边构成，任意两个所述彼此不同的链条(distinct chain)中没有相同的节点；以及
第四处理单元，其基于提取出的所述彼此不同的链条，检测停止的车辆。
2.如附记1所述的装置，其中，所述第一处理单元形成对象物对(pair)包括：
计算当前帧图像中的一个对象物与一个其它帧图像中的与该对象物类型相同的各对象物的距离，最小距离对应的该其它帧图像中的所述对象物与当前帧图像中的该一个对象物作为一个对象物对。
3.如附记2所述的装置，其中，所述第一处理单元形成对象物对(pair)还包括：
判断所述最小距离是否小于或等于第一预定阈值，
在判断结果为是的情况下，保留所述对象物对。
4.如附记3所述的装置，其中，所述第一处理单元形成对象物对(pair)还包括：
在判断所述最小距离是否小于或等于所述第一预定阈值之前，根据所述对象物的中心点在该帧图像中的位置以及该帧图像的高度和/或宽度，对所述最小距离进行校正，
其中，在判断所述最小距离是否小于或等于所述第一预定阈值时，使用校正后的距离进行判断。
5.如附记2所述的装置，其中，所述第一处理单元形成对象物对(pair)还包括：
根据所述对象物对中所述两个对象物的特征在特征空间中的距离，保留或删除所述对象物对。
6.如附记1所述的装置，其中，所述第四处理单元基于提取出的所述彼此不同的链条，检测停止的车辆包括：
当所述链条上的所述节点对应的图像帧的数量大于或等于第四预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。
7.如附记1所述的装置，其中，所述第四处理单元基于提取出的所述彼此不同的链条，检测停止的车辆包括：
当所述链条上的所述节点对应的图像帧的数量超过第四预定阈值时，还判断该链条两端的节点所分别对应的对象物在同一图像帧中的距离，当该距离小于或等于第五预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。
8.一种电子设备，具有如附记1-7中的任一项所述的停车检测装置。
9.一种停车检测方法，包括：
对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对(pair)；
根据所述对象物对生成无向图(undirected graph)，其中，所述无向图包括节点和连接节点的边，所述节点表示对象物对(pair)中的各对象物，所述节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个所述对象物对；
在所述无向图(undirected graph)中提取彼此不同的链条(distinct chain)，其中，各所述链条由所述节点和所述边构成，任意两个所述彼此不同的链条(distinctchain)中没有相同的节点；以及
基于提取出的所述彼此不同的链条，检测停止的车辆。
10.如附记9所述的方法，其中，形成对象物对(pair)的方法包括：
计算当前帧图像中的一个对象物与一个其它帧图像中的与该对象物类型相同的各对象物的距离，最小距离对应的该其它帧图像中的所述对象物与当前帧图像中的该一个对象物作为一个对象物对。
11.如附记10所述的方法，其中，形成对象物对(pair)的方法还包括：
判断所述最小距离是否小于或等于第一预定阈值，
在判断结果为是的情况下，保留所述对象物对。
12.如附记11所述的方法，其中，形成对象物对(pair)的方法还包括：
在判断所述最小距离是否小于或等于所述第一预定阈值之前，根据所述对象物的中心点在该帧图像中的位置以及该帧图像的高度和/或宽度，对所述最小距离进行校正，
其中，在判断所述最小距离是否小于或等于所述第一预定阈值时，使用校正后的距离进行判断。
13.如附记10所述的方法，其中，形成对象物对(pair)的方法还包括：
根据所述对象物对中所述两个对象物的特征在特征空间中的距离，保留或删除所述对象物对。
14.如附记9所述的方法，其中，基于提取出的所述彼此不同的链条，检测停止的车辆的操作包括：
当所述链条上的所述节点对应的图像帧的数量大于或等于第四预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。
15.如附记9所述的方法，其中，基于提取出的所述彼此不同的链条，检测停止的车辆的操作包括：
当所述链条上的所述节点对应的图像帧的数量超过第四预定阈值时，还判断该链条两端的节点所分别对应的对象物在同一图像帧中的距离，当该距离小于或等于第五预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。

Claims (10)

1.一种停车检测装置，其特征在于，所述装置包括：
第一处理单元，其对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对；
第二处理单元，其根据所述对象物对生成无向图，其中，所述无向图包括节点和连接节点的边，所述节点表示对象物对中的各对象物，所述节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个所述对象物对；
第三处理单元，其在所述无向图中提取彼此不同的链条，其中，各所述链条由所述节点和所述边构成，任意两个所述彼此不同的链条中没有相同的节点；以及
第四处理单元，其基于提取出的所述彼此不同的链条，检测停止的车辆。
2.如权利要求1所述的装置，其中，所述第一处理单元形成对象物对包括：
计算当前帧图像中的一个对象物与一个其它帧图像中的与该对象物类型相同的各对象物的距离，最小距离对应的该其它帧图像中的所述对象物与当前帧图像中的该一个对象物作为一个对象物对。
3.如权利要求2所述的装置，其中，所述第一处理单元形成对象物对还包括：
判断所述最小距离是否小于或等于第一预定阈值，
在判断结果为是的情况下，保留所述对象物对。
4.如权利要求3所述的装置，其中，所述第一处理单元形成对象物对还包括：
在判断所述最小距离是否小于或等于所述第一预定阈值之前，根据所述对象物的中心点在该帧图像中的位置以及该帧图像的高度和/或宽度，对所述最小距离进行校正，
其中，在判断所述最小距离是否小于或等于所述第一预定阈值时，使用校正后的距离进行判断。
5.如权利要求2所述的装置，其中，所述第一处理单元形成对象物对还包括：
根据所述对象物对中所述两个对象物的特征在特征空间中的距离，保留或删除所述对象物对。
6.如权利要求1所述的装置，其中，所述第四处理单元基于提取出的所述彼此不同的链条，检测停止的车辆包括：
当所述链条上的所述节点对应的图像帧的数量大于或等于第四预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。
7.如权利要求1所述的装置，其中，所述第四处理单元基于提取出的所述彼此不同的链条，检测停止的车辆包括：
当所述链条上的所述节点对应的图像帧的数量超过第四预定阈值时，还判断该链条两端的节点所分别对应的对象物在同一图像帧中的距离，当该距离小于或等于第五预定阈值时，判定为该链条上的各节点对应的同一车辆为停止的车辆。
8.一种电子设备，其特征在于，所述电子设备具有如权利要求1-7中的任一项所述的停车检测装置。
9.一种停车检测方法，其特征在于，所述方法包括：
对于时间序列上的多帧图像，将各帧图像中的对象物与预定的其它帧图像中的对象物进行配对，形成对象物对；
根据所述对象物对生成无向图，其中，所述无向图包括节点和连接节点的边，所述节点表示对象物对中的各对象物，所述节点在第一方向上的排列顺序与各帧图像在时间轴上的排列顺序对应，由一条边所连接的两个节点表示一个所述对象物对；
在所述无向图中提取彼此不同的链条，其中，各所述链条由所述节点和所述边构成，任意两个所述彼此不同的链条中没有相同的节点；以及
基于提取出的所述彼此不同的链条，检测停止的车辆。
10.如权利要求9所述的方法，其中，形成对象物对的方法包括：
计算当前帧图像中的一个对象物与一个其它帧图像中的与该对象物类型相同的各对象物的距离，最小距离对应的该其它帧图像中的所述对象物与当前帧图像中的该一个对象物作为一个对象物对。
CN201910525933.5A 2019-06-18 2019-06-18 停车检测方法、停车检测装置和电子设备 Pending CN112101071A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910525933.5A CN112101071A (zh) 2019-06-18 2019-06-18 停车检测方法、停车检测装置和电子设备
JP2020092984A JP2020205042A (ja) 2019-06-18 2020-05-28 停車検出方法、停車検出装置及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910525933.5A CN112101071A (zh) 2019-06-18 2019-06-18 停车检测方法、停车检测装置和电子设备

Publications (1)

Publication Number Publication Date
CN112101071A true CN112101071A (zh) 2020-12-18

Family

ID=73748584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910525933.5A Pending CN112101071A (zh) 2019-06-18 2019-06-18 停车检测方法、停车检测装置和电子设备

Country Status (2)

Country Link
JP (1) JP2020205042A (zh)
CN (1) CN112101071A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155165A (ja) * 1999-11-30 2001-06-08 Omron Corp 移動物体追跡装置
CN102855638A (zh) * 2012-08-13 2013-01-02 苏州大学 基于谱聚类的车辆异常行为检测方法
CN105628951A (zh) * 2015-12-31 2016-06-01 北京小孔科技有限公司 用于测量对象的速度的方法和装置
CN107507190A (zh) * 2017-07-12 2017-12-22 西北工业大学 一种基于可见光序列图像的低空运动目标检测方法
CN108875666A (zh) * 2018-06-27 2018-11-23 腾讯科技（深圳）有限公司 运动轨迹的获取方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015185135A (ja) * 2014-03-26 2015-10-22 株式会社Ｊｖｃケンウッド 停車認識装置、停車認識方法及びプログラム
JP6550442B2 (ja) * 2017-11-21 2019-07-24 三菱電機インフォメーションシステムズ株式会社 追跡装置及び追跡プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155165A (ja) * 1999-11-30 2001-06-08 Omron Corp 移動物体追跡装置
CN102855638A (zh) * 2012-08-13 2013-01-02 苏州大学 基于谱聚类的车辆异常行为检测方法
CN105628951A (zh) * 2015-12-31 2016-06-01 北京小孔科技有限公司 用于测量对象的速度的方法和装置
CN107507190A (zh) * 2017-07-12 2017-12-22 西北工业大学 一种基于可见光序列图像的低空运动目标检测方法
CN108875666A (zh) * 2018-06-27 2018-11-23 腾讯科技（深圳）有限公司 运动轨迹的获取方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔丽群;吴晓冬;赵越;: "基于CRF-MR的自顶向下显著性目标检测方法", 计算机应用研究, no. 08 *
陈国华;张爱军;黄建彪;: "基于网格的运动目标检测与跟踪处理", 北京理工大学学报, no. 04 *

Also Published As

Publication number Publication date
JP2020205042A (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108986465B (zh) 一种车流量检测的方法、系统及终端设备
CN110047095B (zh) 基于目标检测的跟踪方法、装置及终端设备
CN108388879B (zh) 目标的检测方法、装置和存储介质
CN109948616B (zh) 图像检测方法、装置、电子设备及计算机可读存储介质
CN111681256B (zh) 图像边缘检测方法、装置、计算机设备和可读存储介质
KR101747220B1 (ko) 이미지 피라미드의 적응적 이미지 처리 장치 및 방법
CN111461170A (zh) 车辆图像检测方法、装置、计算机设备及存储介质
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
CN108052929A (zh) 车位状态检测方法、系统、可读存储介质和计算机设备
CN110659545B (zh) 车辆识别模型的训练方法、车辆识别方法、装置和车辆
JP7251409B2 (ja) 車線変更車両の検出装置、方法及びビデオ監視装置
CN113837275B (zh) 基于扩张坐标注意力的改进YOLOv3目标检测方法
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN112597928B (zh) 一种事件检测方法及相关装置
CN103761768A (zh) 一种三维重建的立体匹配方法
US9122934B2 (en) Object detection method with a rising classifier effect and object detection device with the same
CN105469054A (zh) 正常行为的模型构建方法及异常行为的检测方法
CN113269007A (zh) 道路监控视频的目标跟踪装置以及方法
EP3726421A2 (en) Recognition method and apparatus for false detection of an abandoned object and image processing device
WO2018076281A1 (zh) 停车位状态的检测方法、检测装置和电子设备
CN113256683B (zh) 目标跟踪方法及相关设备
CN112087593A (zh) 视频配置的更新装置、方法以及电子设备
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination