CN112085962B - 基于图像的停车检测方法、装置和电子设备 - Google Patents

基于图像的停车检测方法、装置和电子设备 Download PDF

Info

Publication number
CN112085962B
CN112085962B CN201910514419.1A CN201910514419A CN112085962B CN 112085962 B CN112085962 B CN 112085962B CN 201910514419 A CN201910514419 A CN 201910514419A CN 112085962 B CN112085962 B CN 112085962B
Authority
CN
China
Prior art keywords
vehicle
image
detection
preset
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910514419.1A
Other languages
English (en)
Other versions
CN112085962A (zh
Inventor
张楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910514419.1A priority Critical patent/CN112085962B/zh
Priority to JP2020086814A priority patent/JP7435244B2/ja
Publication of CN112085962A publication Critical patent/CN112085962A/zh
Application granted granted Critical
Publication of CN112085962B publication Critical patent/CN112085962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供一种基于图像的停车检测方法、装置和电子设备，该基于图像的停车检测装置包括：第一检测单元，其检测图像中车辆的车灯(light)；第一判断单元，其根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；以及第二判断单元，其基于闪烁的判断结果判定是否出现停车。

Description

基于图像的停车检测方法、装置和电子设备
技术领域
本申请涉及电子信息技术领域。
背景技术
非法停车是交通监控中需要被重点检测的一种事件。尤其在灯光较暗的环境下，例如夜晚环境或隧道中，非法停车会导致许多交通事故的发生。
目前，针对非法停车的检测方法大多基于目标提取和轨迹分析，即，对监控图像中的车辆进行提取，并分析车辆的运行轨迹，根据车辆的运行轨迹判断是否存在停车。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
本申请的发明人发现，在基于目标提取和轨迹分析来检测停车的方法中，如果环境的灯光较暗，车辆追踪比较困难，而且车辆的车灯相对于环境的亮度较高，连续跟踪车辆的难度更大，容易漏检测部分停车。
本申请的实施例提供一种基于图像的停车检测方法、装置和电子设备，停车时，车辆的危险报警闪光灯通常会闪烁，因此，在本申请的停车检测方法中，基于对图像中的灯光进行频域分析的结果判断图像中车辆的车灯是否以预定的频率在闪烁，从而检测是否存在停车，由于是基于频域分析的结果进行检测，因而能避免干扰，降低错误检测的几率，并且，以车灯的闪烁作为检测依据，不仅简单，而且适用于灯光较暗的环境。
根据本申请实施例的第一方面，提供一种基于图像的停车检测装置，包括：
第一检测单元，其检测图像中车辆的车灯(light)；
第一判断单元，其根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；以及
第二判断单元，其基于闪烁的判断结果判定是否出现停车。
根据本申请实施例的第二方面，提供一种基于图像的停车检测方法，包括：
检测图像中车辆的车灯(light)；
根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；以及
基于闪烁的判断结果判定是否出现停车。基于图像的停车检测装置。
本申请的有益效果之一在于：能够以简单而准确的方式进行停车检测，避免误检测。
参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附附记的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请实施例的第一方面的基于图像的停车检测方法的一个示意图；
图2是操作105中对容器中的一个已有的车辆的追踪信息进行更新的一个示意图；
图3是操作101检测车辆的车灯的方法的一个示意图；
图4是本申请实施例的第一方面的操作102的一个示意图；
图5是灯光检测范围的一个示意图；
图6的(a)是亮区域面积所存储的信息的一个示意图；
图6的(b)是将图6的(a)进行离散傅里叶变换后的结果的一个示意图；
图7是本申请实施例的第二方面的基于图像的停车检测装置的一个示意图；
图8是本申请实施例的第三方面的电子设备的一个构成示意图。
具体实施方式
参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附附记的范围内的全部修改、变型以及等同物。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“该”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
实施例的第一方面
本申请实施例的第一方面提供一种基于图像的停车检测方法。
图1是本申请实施例的第一方面的基于图像的停车检测方法的一个示意图，该方法100包括：
操作101、检测图像中车辆的车灯(light)；
操作102、根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；以及
操作103、基于闪烁的判断结果判定是否出现停车。
根据本申请实施例的第一方面，基于对图像中的灯光进行频域分析的结果判断图像中车辆的车灯是否以预定的频率在闪烁，从而检测是否存在停车，由于是基于频域分析的结果进行检测，因而能避免干扰，降低错误检测的几率，并且，以车灯的闪烁作为检测依据，不仅简单，而且适用于灯光较暗的环境，例如隧道中。
在至少一个实施例中，如图1所示，基于图像的停车检测方法100还可以包括：
操作104、检测图像中的车辆；以及
操作105、对检测出的车辆进行追踪。
通过操作104和操作105，能够追踪图像中的车辆，由此，操作101可以在追踪到的车辆所处的图像区域中检测车辆的车灯。
在本申请实施例的第一方面中，基于图像的停车检测方法100可以对多帧图像进行处理，其中，对于每一帧图像：通过操作104检测图像中的车辆；然后通过操作105对检测出的车辆进行追踪，以获得每辆车的跟踪信息；然后在操作101中检测车辆的车灯(light)；通过操作102对车灯所发出的光的面积进行计算，分析多帧图像中光的面积在频域上的分布，基于该频域上的分布判断车灯是否以预定的频率在闪烁；在操作103中，根据操作102的判断结果判断是否出现停车事件。
此外，操作104和操作105也可以不被包含在本申请的基于图像的停车检测方法100中，而基于图像的停车检测方法100的操作101仅使用操作104和操作105的检测结果。
下面，对操作104、操作105、操作101、操作102、操作103进行详细说明。
在操作104中，可以使用机器学习方法来检测每帧图像中的车辆，该机器学习方法例如可以是方向梯度直方图+级联(HOG+cascalde)方法。此外，本申请可以不限于此，检测车辆也可以使用其它方法，例如，深度学习方法，或者，暗场景(dark scene)中的车灯检测等。
在操作104中，对车辆的检测可以针对图像的特定区域进行，该特定区域例如是图像中车道(road lane)所处的区域，或者图像的前景区域。
在操作104中，每一个检测到的车辆在图像中对应一个团块(bloc)。
在操作105中，可以为操作104中检测到的每一个车辆分别维护一个存储空间，该存储空间用于存储与该车辆相关的追踪信息。其中，维护一个存储空间包括，分配该存储空间、和/或删除该存储空间、和/或设置和更新该存储空间中的追踪信息、和/或删除该存储空间中的追踪信息等。
此外，各检测到的车辆对应的存储空间可以被设置在存储器的预定空间中，该预定空间可以被称为追踪容器(container)。
表1是追踪信息中包含的信息的一个列表。
表1
Figure BDA0002094548130000051
其中，第一数量(status_num)例如可以等于5，第二数量(buf_num)例如可以等于44。
当操作104针对当前图像帧进行检测，并检测到当前图像帧中具有车辆时，在操作105中，将容器中每一个已有的车辆的信息与当前图像帧中检测到的车辆的团块(blob)进行匹配，该匹配例如可以是，将容器中某个已有的车辆的追踪框与当前图像帧中检测到的某个车辆的团块(blob)的中心距离和重叠面积进行比较，如果二者的中心距离小于第一阈值和/或二者的重叠面积大于第二阈值，判断为二者匹配，否则，判断为二者不匹配。
在操作105中，如果容器中某个已有的车辆的信息与当前图像帧中检测到的某个车辆的团块(blob)能匹配上，则使用当前图像帧中检测到的车辆的团块(blob)的信息来更新容器中该已有的车辆的信息，例如，将容器中该已有的车辆的帧计数(frame_cnt)加预定数值(例如加1)，并且，将容器中该已有的车辆的追踪框(track_rect)更新为当前图像帧中检测到的该车辆的团块的矩形边框的位置和面积。
在操作105中，如果容器中某个已有的车辆的信息与当前图像帧中检测到的任何一个车辆的团块(blob)都不匹配，那么，将最近的一帧检测出该已有的车辆的图像中该车辆的图像(image)作为模板(template)，在当前图像帧中进行基于模板匹配的检测，如果基于模板匹配的检测成功，那么使用当前帧图像中进行模板匹配成功的区域的信息来更新容器中该已有的车辆的信息，例如，将容器中该已有的车辆的帧计数(frame_cnt)加预定数值(例如加1)，并且，将容器中该已有的车辆的追踪框(track_rect)更新为当前图像帧中进行模板匹配成功的区域的团块的矩形边框的位置和面积。由此，结合基于模板匹配的检测方法，能够避免对车辆的漏检测，确保追踪的准确性。
在操作105中，如果基于模板匹配的检测失败，那么将容器中该已有的车辆的保持计数(hold_cnt)加预定数值，例如，加1。
在操作105中，如果容器中该已有的车辆的保持计数(hold_cnt)大于或等于阈值hold_thres，那么从容器中删除该已有的车辆相关的追踪信息。由此，通过删除追踪信息，能够节约容器的存储空间，提高处理速度，并且，减少错误的检测结果。其中，阈值hold_thres例如等于10。
在操作105中，对于操作104中检测到的每一个车辆，还可以将该检测到的车辆在图像中的团块(blob)与追踪容器中存储的信息进行比较，判断该团块是否能与容器中已有的车辆匹配上，如果能匹配上，则使用该团块的信息更新追踪容器中的信息，更新的内容可以参考前述的说明。此外，如果不能匹配上，则认为该团块对应于新检测到的车辆。
在操作105中，可以为操作104中新检测到的每一个车辆各分配一个存储空间，该存储空间用于存储与该车辆相关的追踪信息。对于该新检测到的车辆，表1中的追踪框(track_rect)可以被赋予该新检测到的车辆的矩形边框，表1中的其它信息的值可以被赋予初始值，该初始值例如为0。在对后续的图像帧进行处理时，根据检测的结果，这些信息的初始值可以被更新为其它值。
图2是操作105中对容器中的一个已有的车辆的追踪信息进行更新的一个示意图。如图2所示，操作105可以包括如下操作：
操作201、判断该已有的车辆对应的保持计数(hold_cnt)是否小于阈值(hold_thres)，如果“是”，则进入操作202，如果“否”，则进入操作203；
操作202、将该已有的车辆的团块与当前图像帧中检测出来的各车辆的团块进行匹配；
操作203、从容器中删除该已有的车辆相关的追踪信息；
操作204、判断操作201中匹配的数量是否为0，如果“是”，进入操作205，如果“否”，则进入操作207；
操作205、进行基于模板匹配的检测，例如，将最近的一帧检测出该已有的车辆的图像中该车辆的图像(image)作为模板(template)，在当前图像帧中进行基于模板匹配的检测；
操作206、判断模板匹配的检测是否成功，如果“是”，则进入操作207，如果“否”，则进入操作208；
操作207、更新容器中该已有的车辆的信息，例如，使用当前帧图像中进行模板匹配成功的区域的信息更新容器中该已有的车辆的信息，或者，使用当前图像帧中检测出来的车辆的团块信息来更新容器中该已有的车辆的信息；
操作208、该已有的车辆对应的保持计数(hold_cnt)加1。
在操作104针对当前帧图像检测出车辆的情况下，操作105可以使用图2所示的方法对容器中的每一个已有的车辆的追踪信息进行更新。
在本申请的至少一个实施例中，在操作101中，可以针对操作104中检测到车辆的区域中检测车辆的车灯，其中，车辆的车灯可以是一个车灯，也可以是一对车灯，即，车灯对。在本申请的下面说明中，以检测出车灯对为例进行说明。
图3是操作101检测车辆的车灯的方法的一个示意图。
如图3的(a)所示，可以将图像中检测到车辆的区域转换为灰度图像301。
如图3的(b)所示，在操作101中，将灰度图像301转换为二值图像302，例如，将灰度图像301中像素值大于阈值的像素设置为白色像素，将灰度图像301中像素值小于阈值的像素设置为黑色像素。
如图3的(c)所示，将二值图像302中白色像素的聚集区域的轮廓与车灯对的轮廓进行匹配，保留匹配成功的区域的白色像素，删除匹配不成功的区域的白色像素，从而得到匹配后的图像303。其中，车灯对的轮廓是指，两块区域的中心在图像的高度方向H上的位置相同，在图像的水平方向W上具有预定的距离。
图4是本申请实施例的第一方面的操作102的一个示意图，如图4所示，操作102包括如下操作：
操作401、根据车灯的检测结果，设置灯光检测范围；
操作402、在所述灯光检测范围内检测预定颜色或预定亮度的区域的面积；以及
操作403、将时间序列上多个图像的预定颜色或预定亮度的区域的面积进行傅里叶变换，得到所述面积在频域上的分布；以及
操作404、根据所述面积在频域上的分布，判断车灯所发出的光是否以预定的频率在闪烁。
在操作401中，可以根据操作101中车灯的检测结果来设置灯光检测范围。图5是灯光检测范围的一个示意图。如图5所示，P1和P2是图3(c)所示的与车灯对的两个车灯对应的白色像素区域各自的中心点，C是P1和P2的中心点，以C为中心设置灯光检测范围500，该灯光检测范围500至少包括P1和P2，例如，灯光检测范围500是一个矩形区域，其高度和宽度都是2*|P2-P1|。
在操作402中，对于操作104所检测的图像，可以在该图像中由灯光检测范围500所设定的域内检测预定颜色或预定亮度的区域的面积。其中，预定颜色的区域例如可以是红色区域，和/或黄色区域；预定亮度的区域可以包括亮度高于亮度阈值的区域，即，高亮度的区域。
在操作402中，可以计算图3(c)所示的与车灯对的两个车灯对应的白色像素区域中白色像素的数量，可以将该白色像素的数量作为高亮度的区域的面积。例如，对于某一个被检测出的车辆，在第k帧图像中，该车辆对应的灯光检测范围500内，高亮度的区域的面积为lk。
在操作402中，可以将图像中灯光检测范围500内的符合下式(1)的像素作为红色像素：
Rx,y∈(130,255],Gx,y∈(100,255],Bx,y∈[0,100) (1)
其中，红色像素在图像的宽度方向的坐标为x，在图像的高度方向的坐标为y，Rx,y表示该红色像素的红色通道的取值范围，Gx,y表示该红色像素的绿色通道的取值范围，Bx,y表示该红色像素的蓝色通道的取值范围。上述各颜色通道的取值范围也可以是其他值。
在操作402中，计算灯光检测范围500中的红色像素的数量，作为红色像素的区域的面积。例如，对于某一个被检测出的车辆，在第k帧图像中，该车辆对应的灯光检测范围500内，红色像素的区域的面积为rk。
在操作402中，可以将图像中灯光检测范围500内的符合下式(2)的像素作为黄色像素：
Rx,y∈(160,255],Rx,y-Gx,y＞65,Rx,y-Bx,y＞80 (2)
其中，黄色像素在图像的宽度方向的坐标为x，在图像的高度方向的坐标为y，Rx,y表示该黄色像素的红色通道的取值范围，Gx,y表示该黄色像素的绿色通道的取值范围，Bx,y表示该黄色像素的蓝色通道的取值范围。上述各颜色通道的取值范围也可以是其他值。
在操作402中，计算灯光检测范围500中的黄色像素的数量，作为黄色像素的区域的面积。例如，对于某一个被检测出的车辆，在第k帧图像中，该车辆对应的灯光检测范围500内，黄色像素的区域的面积为yk。
在至少一个实施例中，可以将操作402检测出的高亮度区域的面积lk、和/或红色区域的面积rk、和/或黄色区域的面积yk分别存入该检测到的车辆对应的追踪信息中的相应信息中，例如：亮区域面积(light_area_buffer)、和/或红色光晕区域面积(redhalo_area_buffer)、和/或黄色光晕区域面积(yellohalo_area_buffer)。
其中，亮区域面积(light_area_buffer)、红色光晕区域面积(redhalo_area_buffer)、和黄色光晕区域面积(yellohalo_area_buffer)可以分别存储预定数量的面积值，由此，可以记录时间序列上多个图像的高亮度区域的面积、和/或红色区域的面积、和/或黄色区域的面积。该预定数量例如为N，N可以等于44，由此，亮区域面积(light_area_buffer)所存储的信息为{lk-44，lk-43，…，lk}，红色光晕区域面积(redhalo_area_buffer)所存储的信息为{rk-44，rk-43，…，rk}，黄色光晕区域面积(yellohalo_area_buffer)所存储的信息为{yk-44，yk-43，…，yk}。
在操作403中，将容器中亮区域面积(light_area_buffer)所存储的信息，红色光晕区域面积(redhalo_area_buffer)所存储的信息，黄色光晕区域面积(yellohalo_area_buffer)所存储的信息分别进行离散傅里叶变换(DFT，Discrete Fourier Transform)，从而对车灯所发出的光进行频域分析。进行离散傅里叶变换例如采用下式(3)：
Figure BDA0002094548130000101
其中，xn是离散傅里叶变换的输出结果；Xk表示离散傅里叶的输入信号，例如，Xk为{lk-44，lk-43，…，lk}，{rk-44，rk-43，…，rk}，或{yk-44，yk-43，…，yk}；由于离散傅里叶变换是一种对称的操作，因此，
Figure BDA0002094548130000102
图6的(a)是亮区域面积(light_area_buffer)所存储的信息的一个示意图，该信息表示高亮区域的面积在时域上的变化，其中，图6的(a)的横轴表示图像帧的序号，即，k-44，k-43，…，k；纵轴表示高亮区域的面积。
图6的(b)是将图6的(a)进行离散傅里叶变换后的结果，该结果表示高亮区域的面积在频域上的变化，其中，横轴表示采样间隔或单位时间内的采样点数，纵轴表示信号强度或信号幅度。例如，对图6的(a)以6的采样间隔采样，则信号强度大概等于1500，相当于六个面积峰值加和。
如图6的(b)所示，经过傅里叶变换后，信号的峰值(peak)对应的采样间隔为6，即，灯光在每6帧图像中闪烁一次。
此外，本申请中的图像帧例如以每秒10帧的速度被输入到操作104中，如果危险报警灯的闪烁频率是1.5±0.5Hz，即，每秒闪烁1～2次，那么，在离散傅里叶变换结果的预定的采样间隔分布范围[T1，T2]内会出现峰值，在图6的(b)中[T1，T2]为[5，10]，并且，如图6的(b)所示，在采样间隔为[5，10]的范围内，出现了峰值。
在本申请中，对红色光晕区域面积(redhalo_area_buffer)所存储的信息，黄色光晕区域面积(yellohalo_area_buffer)所存储的信息分别进行离散傅里叶变换(DFT，Discrete Fourier Transform)，傅里叶变换的结果与图6的(b)所示的图像类似，此处不再重复说明。
在操作404中，如果上述三个离散傅里叶变化的结果中的一个满足预定条件，则判断为车辆的车灯在以预定的频率闪烁。
该预定条件包括：离散傅里叶变换结果的预定的采样间隔范围[T1，T2]中纵坐标的平均值与最大值的比值小于预定阈值。例如，该预定条件可以表示为如下的式(4)，该预定阈值例如可以等于0.36。
Figure BDA0002094548130000111
其中，status表示车灯是否以预定的频率闪烁的判断结果，如果“是”，则status为1，如果“否”，则status为0。
MA表示离散傅里叶变换结果的预定的采样间隔范围[T1，T2]中纵坐标上的最大值，可以用下式(5)计算。
MA＝max(xj),j∈[T1,T2] (5)
avg表示离散傅里叶变换结果的预定的采样间隔范围[T1，T2]中纵坐标上的平均值，可以用下式(6)计算。
Figure BDA0002094548130000112
在至少一个实施例中，表1中的停车状态(hazard_status_buffer)信息中可以具有最近的第一数量(status_num)的图像帧的停车状态检测结果statusk，该第一数量例如等于5，停车状态(hazard_status_buffer)信息例如可以是{status1，status2，status3，status4，status5}，设置停车状态(hazard_status_buffer)信息的目的是避免误检测。当检测出当前图像帧中的车灯闪烁状态status时，该状态作为status5被存储到停车状态(hazard_status_buffer)信息中，而原有的status1被删除。
如果停车状态(hazard_status_buffer)信息中的1的数量大于阈值status_thres，容器中的闪烁标记(hazard_flag)信息将被设置为1，否则，闪烁标记(hazard_flag)信息将被设置为0。当闪烁标记(hazard_flag)信息从0被置为1时，可以将容器中闪烁起始编号(hazard_start_ID)的信息设置为当前的图像帧的帧序号，并且，如果后续闪烁标记(hazard_flag)信息保持为1，闪烁起始编号(hazard_start_ID)的信息保持不变。
在操作103中，在时间序列上的一系列图像中，当判定为闪烁的图像帧持续的时间超过预定值thres_t1时，判定该车辆为停车状态。
例如，当前图像帧的序号为k，输入图像的帧速率为f，车灯闪烁的持续时间为hazard_t＝|k-hazard_start_ID|/f，如果hazard_t大于预定阈值thres_t1，判定该车辆为停车状态。
此外，如果对一辆车进行持续追踪的时间超过预定时间，也可以判断为该车处于停车状态，例如，对一辆车进行持续追踪的帧数可以被存储在容器的帧计数(frame_cnt)信息中，如果frame_cnt大于预定阈值thres_t2，判定该车辆为停车状态。
根据本申请实施例的第一方面，基于对图像中的灯光进行频域分析的结果判断图像中车辆的车灯是否以预定的频率在闪烁，从而检测是否存在停车，由于是基于频域分析的结果进行检测，因而能避免干扰，降低错误检测的几率，并且，以车灯的闪烁作为检测依据，不仅简单，而且适用于灯光较暗的环境，例如隧道中。
实施例的第二方面
本申请实施例的第二方面提供一种基于图像的停车检测装置，与实施例1的基于图像的停车检测方法对应。
图7是本申请实施例的第二方面的基于图像的停车检测装置的一个示意图，如图7所示，该装置700包括：第一检测单元701、第一判断单元702、以及第二判断单元703。
在至少一个实施例中，第一检测单元701检测图像中车辆的车灯(light)；第一判断单元702根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；第二判断单元703基于闪烁的判断结果判定是否出现停车。
在至少一个实施例中，第一判断单元701判断车灯是否以预定的频率在闪烁，包括如下操作：
操作401、根据车灯的检测结果，设置灯光检测范围；
操作402、在所述灯光检测范围内检测预定颜色或预定亮度的区域的面积；
操作403、将时间序列上多个图像的预定颜色或预定亮度的区域的面积进行傅里叶变换，得到所述面积在频域上的分布；以及
操作404、根据所述面积在频域上的分布，判断车灯所发出的光是否以预定的频率在闪烁。
在操作404中，根据频域信号在预定频率范围的均值(avg)与最大值(MA)的比值(avg/MA)，判定车灯是否以预定的频率在闪烁。
在至少一个实施例中，第二判断单元703在时间序列上的一系列图像帧中，当判定为闪烁的图像帧持续的时间超过预定阈值时，判定该车辆为停车状态。
如图7所示，装置700还包括：
第二检测单元704，其检测图像中的车辆；以及
追踪单元705，其对检测出的车辆进行追踪。
其中，追踪单元705对检测出的车辆进行追踪，包括：
对检测为车辆的团块(blob)建立信息表；以及
当前图像中存在与已有团块匹配的团块时，更新该信息表，或者，当前图像中不存在与已有团块匹配的团块时，为该已有团块的计数值(hold_cnt)加1。
其中，追踪单元705对检测出的车辆进行追踪(tracking)，还包括：
当该已有团块的计数值(hold_cnt)超过阈值(hold_thres)时，删除该团块的信息。
根据本申请实施例的第二方面，基于对图像中的灯光进行频域分析的结果判断图像中车辆的车灯对是否以预定的频率在闪烁，从而检测是否存在停车，由于是基于频域分析的结果进行检测，因而能避免干扰，降低错误检测的几率，并且，以车灯的闪烁作为检测依据，不仅简单，而且适用于灯光较暗的环境，例如隧道中。
实施例的第三方面
本申请实施例的第三方面提供一种电子设备，所述电子设备包括：如实施例的第二方面所述的基于图像的停车检测装置。
图8是本申请实施例的第三方面的电子设备的一个构成示意图。如图8所示，电子设备800可以包括：中央处理器(CPU)801和存储器802；存储器802耦合到中央处理器801。其中该存储器802可存储各种数据；此外还存储用于进行控制的程序，并且在中央处理器801的控制下执行该程序。
在一个实施例中，基于图像的停车检测装置700的功能可以被集成到中央处理器801中。
其中，中央处理器801可以被配置为，执行实施例的第一方面所述的基于图像的停车检测方法。
在另一个实施例中，基于图像的停车检测装置700可以与处理器801分开配置，例如可以将基于图像的停车检测装置700配置为与处理器801连接的芯片，通过处理器801的控制来实现基于图像的停车检测装置700的功能。
此外，如图8所示，电子设备800还可以包括：输入输出单元803和显示单元804等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备800也并不是必须要包括图8中所示的所有部件；此外，电子设备800还可以包括图8中没有示出的部件，可以参考现有技术。
本申请实施例还提供一种计算机可读程序，其中当在基于图像的停车检测装置或电子设备中执行所述程序时，所述程序使得基于图像的停车检测装置或电子设备执行实施例的第一方面所述的基于图像的停车检测方法。
本申请实施例还提供一种存储有计算机可读程序的存储介质，其中，所述存储介质存储上述计算机可读程序，所述计算机可读程序使得基于图像的停车检测装置或电子设备执行实施例的第一方面所述的基于图像的停车检测方法。
结合本申请实施例描述的测量装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图7中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于实施例的第一方面所示的各个操作。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图7描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图7描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。
关于包括以上实施例的实施方式，还公开下述的附记：
1.一种基于图像的停车检测装置，其中，所述装置包括：
第一检测单元，其检测图像中车辆的车灯(light)；
第一判断单元，其根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；以及
第二判断单元，其基于闪烁的判断结果判定是否出现停车。
2.如附记1所述的装置，其中，第一判断单元判断车灯是否以预定的频率在闪烁，包括：
根据车灯的检测结果，设置灯光检测范围；
在所述灯光检测范围内检测预定颜色或预定亮度的区域的面积；
将时间序列上多个图像的预定颜色或预定亮度的区域的面积进行傅里叶变换，得到所述面积在频域上的分布；以及
根据所述面积在频域上的分布，判断车灯所发出的光是否以预定的频率在闪烁。
3.如附记2所述的装置，其中，根据所述面积在频域上的分布，判断车灯所发出的光是否以预定的频率在闪烁，包括：
根据频域信号在预定频率范围的均值(avg)与最大值(MA)的比值(avg/MA)，判定车灯是否以预定的频率在闪烁。
4.如附记1所述的装置，其中，第二判断单元基于闪烁的判断结果判定是否为出现停车，包括：
在时间序列上的一系列图像帧中，当判定为闪烁的图像帧持续的时间超过预定阈值时，判定该车辆为停车状态。
5.如附记1所述的装置，其中，所述装置还包括：
第二检测单元，其检测图像中的车辆；以及
追踪单元，其对检测出的车辆进行追踪。
6.如附记5所述的装置，其中，追踪单元对检测出的车辆进行追踪，包括：
对检测为车辆的团块(blob)建立信息表；以及
当前图像中存在与已有团块匹配的团块时，更新该信息表，或者，当前图像中不存在与已有团块匹配的团块时，为该已有团块的计数值(hold_cnt)加1。
7.如附记6所述的装置，其中，追踪单元对检测出的车辆进行追踪(tracking)，还包括：
当该已有团块的计数值(hold_cnt)超过阈值(hold_thres)时，删除该团块的信息。
8.一种电子设备，其中，所述电子设备具有如附记1-7中任一项所述的装置。
9.一种基于图像的停车检测方法，包括：
检测图像中车辆的车灯(light)；
根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；以及
基于闪烁的判断结果判定是否出现停车。
10.如附记9所述的方法，其中，判断车灯是否以预定的频率在闪烁，包括：
根据车灯的检测结果，设置灯光检测范围；
在所述灯光检测范围内检测预定颜色或预定亮度的区域的面积；
将时间序列上多个图像的预定颜色或预定亮度的区域的面积进行傅里叶变换，得到所述面积在频域上的分布；以及
根据所述面积在频域上的分布，判断车灯所发出的光是否以预定的频率在闪烁。
11.如附记10所述的方法，其中，根据所述面积在频域上的分布，判断车灯所发出的光是否以预定的频率在闪烁，包括：
根据频域信号在预定频率范围的均值(avg)与最大值(MA)的比值(avg/MA)，判定车灯是否以预定的频率在闪烁。
12.如附记9所述的方法，其中，基于闪烁的判断结果判定是否为出现停车，包括：
在时间序列上的一系列图像帧中，当判定为闪烁的图像帧持续的时间超过预定阈值时，判定该车辆为停车状态。
13.如附记9所述的方法，其中，所述方法还包括：
检测图像中的车辆；以及
对检测出的车辆进行追踪。
14.如附记13所述的方法，其中，对检测出的车辆进行追踪，包括：
对检测为车辆的团块(blob)建立信息表；以及
当前图像中存在与已有团块匹配的团块时，更新该信息表，或者，当前图像中不存在与已有团块匹配的团块时，为该已有团块的计数值(hold_cnt)加1。
15.如附记14所述的方法，其中，对检测出的车辆进行追踪(tracking)，还包括：
当该已有团块的计数值(hold_cnt)超过阈值(hold_thres)时，删除该团块的信息。

Claims (7)

1.一种基于图像的停车检测装置，其特征在于，所述装置包括：
第一检测单元，其检测图像中车辆的车灯；
第一判断单元，其根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；以及
第二判断单元，其基于闪烁的判断结果判定是否出现停车，
其中，判断车灯是否以预定的频率在闪烁，包括：
根据车灯的检测结果，设置灯光检测范围；
在所述灯光检测范围内检测预定颜色或预定亮度的区域的面积；
将时间序列上多个图像的预定颜色或预定亮度的区域的面积进行傅里叶变换，得到所述面积在频域上的分布；以及
根据频域信号在预定范围的均值与最大值的比值，判断车灯所发出的光是否以预定的频率在闪烁。
2.如权利要求1所述的装置，其特征在于，第二判断单元基于闪烁的判断结果判定是否为出现停车，包括：
在时间序列上的一系列图像帧中，当判定为闪烁的图像帧持续的时间超过预定阈值时，判定该车辆为停车状态。
3.如权利要求1所述的装置，其特征在于，所述装置还包括：
第二检测单元，其检测图像中的车辆；以及
追踪单元，其对检测出的车辆进行追踪。
4.如权利要求3所述的装置，其特征在于，追踪单元对检测出的车辆进行追踪，包括：
对检测为车辆的团块建立信息表；以及
当前图像中存在与已有团块匹配的团块时，更新所述信息表，或者，当前图像中不存在与已有团块匹配的团块时，为所述已有团块的计数值加1。
5.如权利要求4所述的装置，其特征在于，追踪单元对检测出的车辆进行追踪，还包括：
当所述已有团块的计数值超过阈值时，删除所述已有团块的信息。
6.一种电子设备，其特征在于，所述电子设备具有如权利要求1-5中任一项所述的装置。
7.一种基于图像的停车检测方法，其特征在于，所述方法包括：
检测图像中车辆的车灯；
根据对所述车灯所发出的光的频域分析结果判断车灯是否以预定的频率在闪烁；以及
基于闪烁的判断结果判定是否出现停车，
其中，判断车灯是否以预定的频率在闪烁，包括：
根据车灯的检测结果，设置灯光检测范围；
在所述灯光检测范围内检测预定颜色或预定亮度的区域的面积；
将时间序列上多个图像的预定颜色或预定亮度的区域的面积进行傅里叶变换，得到所述面积在频域上的分布；以及
根据频域信号在预定范围的均值与最大值的比值，判断车灯所发出的光是否以预定的频率在闪烁。
CN201910514419.1A 2019-06-14 2019-06-14 基于图像的停车检测方法、装置和电子设备 Active CN112085962B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910514419.1A CN112085962B (zh) 2019-06-14 2019-06-14 基于图像的停车检测方法、装置和电子设备
JP2020086814A JP7435244B2 (ja) 2019-06-14 2020-05-18 画像に基づく駐車検出方法、装置及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910514419.1A CN112085962B (zh) 2019-06-14 2019-06-14 基于图像的停车检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112085962A CN112085962A (zh) 2020-12-15
CN112085962B true CN112085962B (zh) 2022-10-25

Family

ID=73733937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910514419.1A Active CN112085962B (zh) 2019-06-14 2019-06-14 基于图像的停车检测方法、装置和电子设备

Country Status (2)

Country Link
JP (1) JP7435244B2 (zh)
CN (1) CN112085962B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538960B (zh) * 2021-06-11 2023-08-11 上海博礼智能科技有限公司 基于大数据的小区智能停车系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356450A (zh) * 2005-12-19 2009-01-28 国家光学研究所 物体检测发光系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3644450B1 (ja) * 2004-02-04 2005-04-27 オムロン株式会社 情報提供システム及び方法
JP4537794B2 (ja) * 2004-08-02 2010-09-08 株式会社東芝 画像処理装置及び画像処理プログラム
US8356900B2 (en) * 2006-01-20 2013-01-22 Clarity Medical Systems, Inc. Large diopter range real time sequential wavefront sensor
JP4807354B2 (ja) * 2007-12-25 2011-11-02 住友電気工業株式会社 車両検出装置、車両検出システム及び車両検出方法
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
EP2423063B1 (en) * 2010-08-23 2013-03-06 Harman Becker Automotive Systems GmbH Method of detecting the braking of a vehicle
CN102496272B (zh) * 2011-11-16 2014-04-09 杭州海康威视数字技术股份有限公司 交通停车事件检测的方法及其系统
CN103426309B (zh) * 2013-07-29 2015-05-13 吉林大学 一种基于出租车行驶状态信息判别交通拥堵程度的方法
JP2017505946A (ja) * 2014-01-17 2017-02-23 ケーピーアイティ テクノロジーズ リミテッド 車両検出システムおよびその方法
JP6567602B2 (ja) * 2017-06-22 2019-08-28 株式会社東芝 情報処理装置、情報処理システム、および情報処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356450A (zh) * 2005-12-19 2009-01-28 国家光学研究所 物体检测发光系统和方法

Also Published As

Publication number Publication date
CN112085962A (zh) 2020-12-15
JP7435244B2 (ja) 2024-02-21
JP2020205036A (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
US20190122059A1 (en) Signal light detection
US8902053B2 (en) Method and system for lane departure warning
US7566851B2 (en) Headlight, taillight and streetlight detection
CN110660254A (zh) 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
US11482016B2 (en) Division line recognition apparatus
US10853936B2 (en) Failed vehicle estimation system, failed vehicle estimation method and computer-readable non-transitory storage medium
CN106778534B (zh) 一种车辆行驶中周围环境灯光识别方法
JP2012173879A (ja) 信号機検出装置及びプログラム
CN107748882B (zh) 一种车道线检测方法及装置
CN107798688B (zh) 运动目标识别方法、预警方法以及汽车防追尾预警装置
US11010906B2 (en) Image-processing method for removing light zones
CN112785850A (zh) 车辆变道未打灯的识别方法及装置
WO2018068312A1 (zh) 交通异常事件检测装置及方法
CN111046741A (zh) 车道线识别的方法和装置
CN104866838B (zh) 一种基于视觉的前方车辆自动检测方法
CN112085962B (zh) 基于图像的停车检测方法、装置和电子设备
Skodras et al. Rear lights vehicle detection for collision avoidance
CN110660225A (zh) 闯红灯行为检测方法、装置和设备
CN104463170A (zh) 一种卡口系统下基于多重检测的无牌车辆检测方法
CN107066929B (zh) 一种融合多种特征的高速公路隧道停车事件分级识别方法
US20160364618A1 (en) Nocturnal vehicle counting method based on mixed particle filter
CN112164221B (zh) 图像数据挖掘方法、装置、设备及路侧设备
JP2015231179A (ja) 車外環境認識装置
CN114298987A (zh) 一种反光条检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant