CN110705461B - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN110705461B CN110705461B CN201910935881.9A CN201910935881A CN110705461B CN 110705461 B CN110705461 B CN 110705461B CN 201910935881 A CN201910935881 A CN 201910935881A CN 110705461 B CN110705461 B CN 110705461B
- Authority
- CN
- China
- Prior art keywords
- detection frame
- frame
- detection
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 226
- 230000002159 abnormal effect Effects 0.000 claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000005856 abnormality Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003631 expected effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法及装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质，涉及图像处理领域。具体实现方案为：基于背景模型对第n帧图像进行处理，得到处理后的第n帧图像；当所述处理后的第n帧图像中存在车辆对应的检测框时，基于所述第n帧图像以及历史M帧图像，判断所述第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值；若确定所述处理后的第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例超过第一预设比例门限值，则确定所述车辆所对应的检测框为异常检测框。
Description
技术领域
本申请涉及图像处理领域，尤其涉及图像分析领域，本申请提供一种图像处理方法及装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质。
背景技术
交通事故的异常检测在安全城市中扮演着非常关键的角色，交通的异常状况会大大降低交通通行效率，因此需要对其进行检测和监控，如果发生异常就进行报警和救援，尽快排出由事件带来的交通不便，恢复正常的交通。
传统的交通异常检测方法，主要有电磁感应环形线圈式和波式，它们均是基于车辆经过时利用反射波的频率变化来检测车辆信息。但使用“磁”与“波”检测的方法均不能提供全面的交通信息，因此有很大的局限性，无法保证交通异常检测的实时性以及准确性。
发明内容
本申请提供了一种图像处理方法及装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质。
本申请实施例提供了一种图像处理方法，包括：
基于背景模型对第n帧图像进行处理，得到处理后的第n帧图像；其中，所述处理后的第n帧图像至少为去除移动的车辆之后剩余的图像；所述n为大于等于1的整数；
当所述处理后的第n帧图像中存在车辆对应的检测框时，基于所述第 n帧图像以及历史M帧图像，判断所述第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值；其中，M为大于等于1的整数；
若确定所述处理后的第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例超过第一预设比例门限值，则确定所述车辆所对应的检测框为异常检测框；其中，所述异常检测框中对应的车辆为异常车辆。
可选的，所述方法还包括：
检测所述处理后的第n帧图像中与车辆对应的检测框处于掩码区域中的目标区域；
判断所述目标区域占所述检测框的区域比例是否大于第二预设比例；
当确定大于第二预设比例时，对所述检测框中包含的像素的检测计数值加1、且对所述检测框中包含的像素的无检测计数值重置为0；
当确定不大于所述第二预设比例时，对所述检测框中包含的像素的无检测计数值加1。
可选的，所述方法还包括：
当所述检测计数值为1时，将对应的像素的停留起始时间设置为所述第n帧的获取时间；
当所述检测计数值大于0时，将对应的像素的停留结束时间设置为第 n帧的获取时间。
可选的，所述方法还包括：
基于处理后的第n帧图像中车辆所对应的检测框中每一个像素的停留起始时间以及停留结束时间，确定所述每一个像素的停留时长。
可选的，所述方法还包括：
当确定所述车辆所对应的检测框为异常检测框时，获取历史异常检测框；
基于所述历史异常检测框与所述异常检测框进行交并比计算，当交并比计算的结果大于预设比例门限值时，确定所述异常检测框与所述历史异常检测框所对应的标识为相同标识。
可选的，所述方法还包括：
判断所述异常检测框所对应的标识的出现次数是否超过预设的次数阈值；
若超过，则基于所述异常检测框生成异常检测结果。
本申请实施例提供了一种图像处理装置，所述装置包括：
图像处理单元，用于基于背景模型对第n帧图像进行处理，得到处理后的第n帧图像；其中，所述处理后的第n帧图像至少为去除移动的车辆之后剩余的图像；所述n为大于等于1的整数；
图像检测单元，用于当所述处理后的第n帧图像中存在车辆对应的检测框时，基于所述第n帧图像以及历史M帧图像，判断所述第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值；其中，M为大于等于1的整数；若确定所述处理后的第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例超过第一预设比例门限值，则确定所述车辆所对应的检测框为异常检测框；其中，所述异常检测框中对应的车辆为异常车辆。
可选的，所述装置还包括：
第一判断单元，用于当确定所述车辆所对应的检测框为异常检测框时，获取历史异常检测框；基于所述历史异常检测框与所述异常检测框进行交并比计算，当交并比计算的结果大于预设比例门限值时，确定所述异常检测框与所述历史异常检测框所对应的标识为相同标识。
可选的，所述装置还包括：
第二判断单元，用于判断所述异常检测框所对应的标识的出现次数是否超过预设的次数阈值；若超过，则基于所述异常检测框生成异常检测结果。
本申请实施例还提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一项的方法。
本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行前述任一项的方法。
上述申请中的一个实施例具有如下优点或有益效果：对第n帧图像中存在车辆对应的检测框时，通过检测框中像素停留时长以及停留时长超过预设门限值的像素的比例，来确定所述检测框是否为异常检测框。由于通过从图像中提取检测框进行后续分析，从而能够对每一个车辆进行高精度分析，并且由于预先通过背景模型过滤掉了移动车辆，因此使得分析的数据量降低，从而保证了异常检测的实时性以及准确性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的图像处理方法流程的示意图；
图2是本申请提供的基于背景模型处理前后的图像示意图；
图3是本申请的图像处理装置的组成结构示意图；
图4是用来实现本申请实施例的图像处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供了一种图像处理方法，如图1所示，包括：
S101：基于背景模型对第n帧图像进行处理，得到处理后的第n帧图像；其中，所述处理后的第n帧图像至少为去除移动的车辆之后剩余的图像；所述n为大于等于1的整数；
S102：当所述处理后的第n帧图像中存在车辆所对应的检测框时，基于所述第n帧图像以及历史M帧图像，判断所述第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值；其中，M为大于等于1的整数；
S103：若确定所述处理后的第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例超过第一预设比例门限值，则确定所述车辆所对应的检测框为异常检测框；其中，所述异常检测框中对应的车辆为异常车辆。
本实施例提供的方案，可以应用于具备图像处理功能的设备中，比如，可以为与摄像头(尤其是设置在路边的摄像头)直接连接的服务器，当然，也可以为设置在路边的摄像头自身设置对应的较高处理能力的处理器之后，由摄像头本申请的处理器进行处理，如果是摄像头本身的处理器进行处理的情况下，当摄像头确定异常检测框之后，可以向服务器发送该异常检测结果。
下面针对本实施例提供的方案进行详细说明：
S101中，基于背景模型对第n帧图像进行处理，得到处理后的第n 帧图像；其中，所述处理后的第n帧图像至少为去除移动的车辆之后剩余的图像；所述n为大于等于1的整数。
其中，第n帧图像可以为当前采集的图像，其处于整个采集过程中的第n帧。当然，需要指出的是，第n帧图像可以理解为任意一帧图像，也就是说，针对每一帧图像都可以采用本实施例提供的方案进行处理。
也就是，对采集到的第n帧图像考虑到停留的车辆作为非运动的物体可以认为是背景，可以通过视频流信息提取出来每帧的背景。
本实施例中，可以通过背景建模方法MOG得到对应的背景模型，从而实现背景的提取。
建立背景模型，可以为通过一段时长的历史帧构建所述背景模型。一种优选的示例中，可以使用前5s的历史帧来构建背景模型效果可达到预期。
可以将第n帧图像输入到背景模型中，根据需求，得到背景模型处理之后的第n帧图像，处理后的第n帧图像中可以去掉移动的车辆，仅保留一部分街道、剩余的不移动的车辆等等。
如图2所示，假设第n帧图像为图2中上方的图像，通过背景模型对其进行处理之后，得到图2中下方的图像；可以看出至少图2中上方的图像中方框中示意出的移动车辆已经去除，得到图2中下方的处理后的第n 帧图像。
完成前述处理之后，需要对处理后的第n帧图像进行检测；
此时，可能处理后的第n帧图像中没有车辆，那么第n帧图像可以不用做后续分析，也就是说不使用本实施例提供的后续方案；如果处理后的第n帧图像中存在车辆，那么可以针对处理后的第n帧图像设置车辆所对应的检测框。
可以理解为，设计了一个车辆检测器，由软件实现，将处理后的第n 帧图像输入到车辆检测器中，对处理后的第n帧图像的停留车辆进行检测。即前述S102，当所述处理后的第n帧图像中存在车辆对应的检测框时，基于所述第n帧图像以及历史M帧图像，判断所述第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值。
具体来说，可以构建针对每一个像素的w*h的四个矩阵检测计数器 (后文称为detect_count)；无检测计数值，后文称为no_detect_count；像素的停留起始时间，后文称为start_time；像素的停留结束时间，后文称为 endtime。前述四个矩阵首先均初始化为全0。
所述方法还包括：
检测所述处理后的第n帧图像中与车辆对应的检测框处于掩码区域中的目标区域；
判断所述目标区域占所述检测框的区域比例是否大于第二预设比例；
当确定大于第二预设比例时，对所述检测框中包含的像素的检测计数值加1、且对所述检测框中包含的像素的无检测计数值重置为0；
当确定不大于所述第二预设比例时，对所述检测框中包含的像素的无检测计数值加1。
所述第二预设比例为根据实际情况设置的比例值，比如，可以为50％，当然还可以设置的更高或更低。
举例来说，对每帧的检测结果，若检测框有50％的区域都在所述掩码 (mask)区域内(该区域为先验知识，对每个场景去除掉车辆可长时间停留的停车或其他区域)，则将该框内包含的像素所对应的detect_count信息更新加1。所对应的no_detect_count信息重置为0。
该帧未检测到车辆的区域，则所对应的no_detect_count信息更新加1。
考虑到检测器存在检测不到的不稳定的情况，当no_detect_count达到一定的阈值no_detect_thresh时，才将对应像素的detect_count重置为0，举例来说，当某个像素点连续五帧都未被检测到(no_detect_count>＝5), 则该点的detect_count重置为0，反之，detect_count保持原值。
所述方法还包括：
当所述检测计数值为1时，将对应的像素的停留起始时间设置为所述第n帧的获取时间；
当所述检测计数值大于0时，将对应的像素的停留结束时间设置为第 n帧的获取时间。
具体的：当detect_count为1时，更新该像素的start_time为当前帧的时间；当detect_count>0时，更新该像素的end_time为当前帧的时间。
进一步地，基于处理后的第n帧图像中车辆所对应的检测框中每一个像素的停留起始时间以及停留结束时间，确定所述每一个像素的停留时长。
进而，可以判断异常，也就是S102以及前述S103中：
基于所述第n帧图像以及历史M帧图像，判断所述第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值；
若确定所述处理后的第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例超过第一预设比例门限值，则确定所述车辆所对应的检测框为异常检测框；其中，所述异常检测框中对应的车辆为异常车辆。
具体的，保存当前帧及历史前no_detect_thresh帧(即历史M帧图像) 的所有检测结果，做非极大值抑制(nms)处理，得到当前帧的疑似异常检测框。可以理解为，将前述得到的检测框均作为疑似异常检测框。
对所有疑似异常检测框，判断其中每个像素，若框内超过80％的像素的停留时间即end_time-start_time均超过预设门限值，则认为该框异常。
其中，所述预设门限值可以根据场景设定时间阈值，即停留多久认为有异常，若场景中有红绿灯该阈值需要超过红绿灯信号周期。
其中，每一个检测框的停留时长，可以基于停留起始时间以及停留结束时间的众数来确定；也就是说对每个异常框，计算start_time的众数和end_time的众数作为对应的start_time和end_time。
针对检测不稳定及遮挡情况的处理，出于检测器检测不稳定及停留车辆被移动车辆遮挡导致背景无法提取出异常车辆等情况，可以采用前述阈值no_detect_thresh的使用，保留历史几帧的检测结果。该处理可解决短时间的遮挡和检测不稳定问题，若超过阈值no_detect_thresh，则会出现同一个异常车辆出两个以上的异常id信息，若no_detect_thresh设置过大，则又会导致一些误召回问题。
对于同一个异常框会出现两个以上的异常id这种情况，本方案中选择保持历史异常id信息，具体可以为：当确定所述车辆所对应的检测框为异常检测框时，获取历史异常检测框；
基于所述历史异常检测框与所述异常检测框进行交并比计算，当交并比计算的结果大于预设比例门限值时，确定所述异常检测框与所述历史异常检测框所对应的标识为相同标识。
具体来说，当有新的异常出现时，将新的异常检测框和历史异常id 所对应的历史异常检测框进行比对，若交并比iou>0.5(0.5可以理解为预设比例门限值，实际处理中可以设置为其他值，这里不再穷举)，且当前帧的时间和该历史异常id的end_time不超过一定的时间(例如不超过5 分钟)，则认为该异常检测框和该历史异常检测框的标识(id)为同一个。
进一步地，为保证为同一id，还可加入直方图相似性判断、或reid特征相似性判断，根据相似性判断的结果，进一步确定异常检测框和历史异常检测框是否相同。
闪现小框误召回问题处理方式，由于检测器不稳定，偶尔会出现在异常车辆的周围检测出一个与异常车辆框重叠率较大的一个误检小框，由于该框与真正异常的检测框重叠区域较大，因此该框中像素的 end_time-start_time大部分也超过了停留时间所设置的阈值，会被判断为异常框。
因此本实施例还包括：判断所述异常检测框所对应的标识的出现次数是否超过预设的次数阈值；若超过，则基于所述异常检测框生成异常检测结果。
也就是说，在判断该框为异常框时并不会在当前帧就返回异常结果，而是对计算该异常id出现的次数，若该异常id出现超过一定的阈值例如超过10次，再返回异常结果。这样，可以减少异常框的误召回问题。
可见，通过采用上述方案，能够对第n帧图像中存在车辆对应的检测框时，通过检测框中像素停留时长以及停留时长超过预设门限值的像素的比例，来确定所述检测框是否为异常检测框。由于通过从图像中提取检测框进行后续分析，从而能够对每一个车辆进行高精度分析，并且由于预先通过背景模型过滤掉了移动车辆，因此使得分析的数据量降低，从而保证了异常检测的实时性以及准确性。
如图3所示，本申请提供了一种图像处理装置，包括：
图像处理单元301，用于基于背景模型对第n帧图像进行处理，得到处理后的第n帧图像；其中，所述处理后的第n帧图像至少为去除移动的车辆之后剩余的图像；所述n为大于等于1的整数；
图像检测单元302，用于当所述处理后的第n帧图像中存在车辆所对应的检测框时，基于所述第n帧图像以及历史M帧图像，判断所述第n 帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值；其中，M为大于等于1的整数；若确定所述处理后的第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例超过第一预设比例门限值，则确定所述车辆所对应的检测框为异常检测框；其中，所述异常检测框中对应的车辆为异常车辆。
本实施例提供的方案，可以应用于具备图像处理功能的设备中，比如，可以为与摄像头(尤其是设置在路边的摄像头)直接连接的服务器，当然，也可以为设置在路边的摄像头自身设置对应的较高处理能力的处理器之后，由摄像头本申请的处理器进行处理，如果是摄像头本身的处理器进行处理的情况下，当摄像头确定异常检测框之后，可以向服务器发送该异常检测结果。
本实施例中，可以通过背景建模方法MOG得到对应的背景模型，从而实现背景的提取。
图像处理单元301，用于建立背景模型，可以为通过一段时长的历史帧构建所述背景模型。一种优选的示例中，可以使用前5s的历史帧来构建背景模型效果可达到预期。
图像处理单元301，用于可以将第n帧图像输入到背景模型中，根据需求，得到背景模型处理之后的第n帧图像，处理后的第n帧图像中可以去掉移动的车辆，仅保留一部分街道、剩余的不移动的车辆等等。
完成前述处理之后，需要对处理后的第n帧图像进行检测；
此时，可能处理后的第n帧图像中没有车辆，那么第n帧图像可以不用做后续分析，也就是说不使用本实施例提供的后续方案；如果处理后的第n帧图像中存在车辆，那么可以针对处理后的第n帧图像设置车辆所对应的检测框。
可以理解为，设计了一个车辆检测器，由软件实现，将处理后的第n 帧图像输入到车辆检测器中，对处理后的第n帧图像的停留车辆进行检测。
具体来说，可以构建针对每一个像素的w*h的四个矩阵检测计数器 (后文称为detect_count)；无检测计数值，后文称为no_detect_count；像素的停留起始时间，后文称为start_time；像素的停留结束时间，后文称为 endtime。前述四个矩阵首先均初始化为全0。
所述图像检测单元302，用于检测所述处理后的第n帧图像中与车辆对应的检测框处于掩码区域中的目标区域；判断所述目标区域占所述检测框的区域比例是否大于第二预设比例；当确定大于第二预设比例时，对所述检测框中包含的像素的检测计数值加1、且对所述检测框中包含的像素的无检测计数值重置为0；当确定不大于所述第二预设比例时，对所述检测框中包含的像素的无检测计数值加1。
所述第二预设比例为根据实际情况设置的比例值，比如，可以为50％，当然还可以设置的更高或更低。
所述图像检测单元302，用于当所述检测计数值为1时，将对应的像素的停留起始时间设置为所述第n帧的获取时间；
当所述检测计数值大于0时，将对应的像素的停留结束时间设置为第 n帧的获取时间。
进一步地，图像检测单元302，用于基于处理后的第n帧图像中车辆所对应的检测框中每一个像素的停留起始时间以及停留结束时间，确定所述每一个像素的停留时长。
针对检测不稳定及遮挡情况的处理，所述装置还包括：
第一判断单元303，用于当确定所述车辆所对应的检测框为异常检测框时，获取历史异常检测框；基于所述历史异常检测框与所述异常检测框进行交并比计算，当交并比计算的结果大于预设比例门限值时，确定所述异常检测框与所述历史异常检测框所对应的标识为相同标识。
闪现小框误召回问题处理方式，由于检测器不稳定，偶尔会出现在异常车辆的周围检测出一个与异常车辆框重叠率较大的一个误检小框，由于该框与真正异常的检测框重叠区域较大，因此该框中像素的 end_time-start_time大部分也超过了停留时间所设置的阈值，会被判断为异常框。
因此所述装置还包括：
第二判断单元304，用于判断所述异常检测框所对应的标识的出现次数是否超过预设的次数阈值；若超过，则基于所述异常检测框生成异常检测结果。
可见，通过采用上述方案，能够对第n帧图像中存在车辆对应的检测框时，通过检测框中像素停留时长以及停留时长超过预设门限值的像素的比例，来确定所述检测框是否为异常检测框。由于通过从图像中提取检测框进行后续分析，从而能够对每一个车辆进行高精度分析，并且由于预先通过背景模型过滤掉了移动车辆，因此使得分析的数据量降低，从而保证了异常检测的实时性以及准确性。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理方法对应的程序指令/模块。处理器501通过运行存储在存储器502 中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像处理的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器 502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至图像处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像处理方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与图像处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，在存储图像的时候过滤掉一部分相似度较大的图像，从而实现存储时就过滤掉冗余图片，降低了存储及传输压力，也节省了后续分拣的工作量。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (8)
1.一种图像处理方法，其特征在于，包括：
基于背景模型对第n帧图像进行处理，得到处理后的第n帧图像；其中，所述处理后的第n帧图像至少为去除移动的车辆之后剩余的图像；所述n为大于等于1的整数；
当所述处理后的第n帧图像中存在车辆对应的检测框时，基于所述第n帧图像以及历史M帧图像，判断所述第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值；其中，M为大于等于1的整数；
若确定所述处理后的第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例超过第一预设比例门限值，则确定所述车辆所对应的检测框为异常检测框；其中，所述异常检测框中对应的车辆为异常车辆；
其中，所述检测框中每一个像素的停留时长的确定方法包括：
检测所述处理后的第n帧图像中与车辆对应的检测框处于掩码区域中的目标区域；
判断所述目标区域占所述检测框的区域比例是否大于第二预设比例；
当确定大于第二预设比例时，对所述检测框中包含的像素的检测计数值加1、且对所述检测框中包含的像素的无检测计数值重置为0；
当确定不大于所述第二预设比例时，对所述检测框中包含的像素的无检测计数值加1；
当所述检测计数值为1时，将对应的像素的停留起始时间设置为所述第n帧的获取时间；
当所述检测计数值大于0时，将对应的像素的停留结束时间设置为第n帧的获取时间；
基于处理后的第n帧图像中车辆所对应的检测框中每一个像素的停留起始时间以及停留结束时间，确定所述每一个像素的停留时长。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当确定所述车辆所对应的检测框为异常检测框时，获取历史异常检测框；
基于所述历史异常检测框与所述异常检测框进行交并比计算，当交并比计算的结果大于预设比例门限值时，确定所述异常检测框与所述历史异常检测框所对应的标识为相同标识。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
判断所述异常检测框所对应的标识的出现次数是否超过预设的次数阈值；
若超过，则基于所述异常检测框生成异常检测结果。
4.一种图像处理装置，其特征在于，所述装置包括：
图像处理单元，用于基于背景模型对第n帧图像进行处理，得到处理后的第n帧图像；其中，所述处理后的第n帧图像至少为去除移动的车辆之后剩余的图像；所述n为大于等于1的整数；
图像检测单元，用于当所述处理后的第n帧图像中存在车辆对应的检测框时，基于所述第n帧图像以及历史M帧图像，判断所述第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例是否超过第一预设比例门限值；其中，M为大于等于1的整数；若确定所述处理后的第n帧图像中车辆所对应的检测框中停留时长超过预设门限值的像素的比例超过第一预设比例门限值，则确定所述车辆所对应的检测框为异常检测框；其中，所述异常检测框中对应的车辆为异常车辆；
其中，所述装置还包括用于确定所述检测框中每一个像素的停留时长的模块，所述模块具体用于：
检测所述处理后的第n帧图像中与车辆对应的检测框处于掩码区域中的目标区域；
判断所述目标区域占所述检测框的区域比例是否大于第二预设比例；
当确定大于第二预设比例时，对所述检测框中包含的像素的检测计数值加1、且对所述检测框中包含的像素的无检测计数值重置为0；
当确定不大于所述第二预设比例时，对所述检测框中包含的像素的无检测计数值加1；
当所述检测计数值为1时，将对应的像素的停留起始时间设置为所述第n帧的获取时间；
当所述检测计数值大于0时，将对应的像素的停留结束时间设置为第n帧的获取时间；
基于处理后的第n帧图像中车辆所对应的检测框中每一个像素的停留起始时间以及停留结束时间，确定所述每一个像素的停留时长。
5.根据权利要求4所述的装置，其特征在于，所述装置还包括：
第一判断单元，用于当确定所述车辆所对应的检测框为异常检测框时，获取历史异常检测框；基于所述历史异常检测框与所述异常检测框进行交并比计算，当交并比计算的结果大于预设比例门限值时，确定所述异常检测框与所述历史异常检测框所对应的标识为相同标识。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二判断单元，用于判断所述异常检测框所对应的标识的出现次数是否超过预设的次数阈值；若超过，则基于所述异常检测框生成异常检测结果。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935881.9A CN110705461B (zh) | 2019-09-29 | 2019-09-29 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935881.9A CN110705461B (zh) | 2019-09-29 | 2019-09-29 | 一种图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110705461A CN110705461A (zh) | 2020-01-17 |
| CN110705461B true CN110705461B (zh) | 2022-11-01 |
Family
ID=69198095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910935881.9A Active CN110705461B (zh) | 2019-09-29 | 2019-09-29 | 一种图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110705461B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310654B (zh) * | 2020-02-13 | 2023-09-08 | 北京百度网讯科技有限公司 | 一种地图要素的定位方法、装置、电子设备及存储介质 |
| CN111814668B (zh) * | 2020-07-08 | 2024-05-10 | 北京百度网讯科技有限公司 | 用于检测道路抛洒物的方法和装置 |
| CN112906447A (zh) * | 2020-09-22 | 2021-06-04 | 西南石油大学 | 基于视频监控高危地的异常事件检测系统 |
| CN112101279B (zh) * | 2020-09-24 | 2023-09-15 | 平安科技（深圳）有限公司 | 目标物异常检测方法、装置、电子设备及存储介质 |
| CN112633228A (zh) * | 2020-12-31 | 2021-04-09 | 北京市商汤科技开发有限公司 | 停车检测方法、装置、设备及存储介质 |
| CN113033471A (zh) * | 2021-04-15 | 2021-06-25 | 北京百度网讯科技有限公司 | 交通异常检测方法、装置、设备、存储介质以及程序产品 |
| CN113409587B (zh) * | 2021-06-16 | 2022-11-22 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
| CN114596508A (zh) * | 2022-03-14 | 2022-06-07 | 浙江这里飞科技有限公司 | 基于无人机的违章识别方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777183A (zh) * | 2009-01-13 | 2010-07-14 | 北京中星微电子有限公司 | 检测静止物体的方法、装置及检测遗留物体的方法、装置 |
| CN109285341A (zh) * | 2018-10-31 | 2019-01-29 | 中电科新型智慧城市研究院有限公司 | 一种基于实时视频的城市道路车辆异常停驶检测方法 |
| CN109948455A (zh) * | 2019-02-22 | 2019-06-28 | 中科创达软件股份有限公司 | 一种遗留物体检测方法及装置 |
| CN110032916A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东尚科信息技术有限公司 | 一种检测目标物体的方法和装置 |
-
2019
- 2019-09-29 CN CN201910935881.9A patent/CN110705461B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777183A (zh) * | 2009-01-13 | 2010-07-14 | 北京中星微电子有限公司 | 检测静止物体的方法、装置及检测遗留物体的方法、装置 |
| CN110032916A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东尚科信息技术有限公司 | 一种检测目标物体的方法和装置 |
| CN109285341A (zh) * | 2018-10-31 | 2019-01-29 | 中电科新型智慧城市研究院有限公司 | 一种基于实时视频的城市道路车辆异常停驶检测方法 |
| CN109948455A (zh) * | 2019-02-22 | 2019-06-28 | 中科创达软件股份有限公司 | 一种遗留物体检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| Dual-Mode Vehicle Motion Pattern Learning for High Performance Road Traffic Anomaly Detection;Y. Xu et al.;《Conference on Computer Vision and Pattern Recognition Workshops》;20181217;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110705461A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705461B (zh) | 一种图像处理方法及装置 | |
| CN110910665B (zh) | 信号灯控制方法、装置以及计算机设备 | |
| CN110991320A (zh) | 路况检测方法和装置、电子设备、存储介质 | |
| CN112053563B (zh) | 可用于边缘计算平台、云控平台的事件检测方法及设备 | |
| CN110968718A (zh) | 目标检测模型负样本挖掘方法、装置及电子设备 | |
| CN110929639A (zh) | 用于确定图像中障碍物位置的方法、装置、设备和介质 | |
| CN112528786B (zh) | 车辆跟踪方法、装置及电子设备 | |
| CN111079670A (zh) | 人脸识别方法、装置、终端和介质 | |
| CN111292531B (zh) | 交通信号灯的跟踪方法、装置、设备及存储介质 | |
| JP7223059B2 (ja) | 交通事象の報知方法及びその装置、電子機器並びに記憶媒体 | |
| CN111814668B (zh) | 用于检测道路抛洒物的方法和装置 | |
| CN113205037A (zh) | 事件检测的方法、装置、电子设备以及可读存储介质 | |
| CN113628236A (zh) | 摄像头遮挡检测方法、装置、设备、存储介质及程序产品 | |
| CN112802325A (zh) | 车辆排队长度检测方法及装置 | |
| CN112528927A (zh) | 基于轨迹分析的置信度确定方法、路侧设备及云控平台 | |
| CN112016465A (zh) | 场景识别方法、装置和系统 | |
| CN113033471A (zh) | 交通异常检测方法、装置、设备、存储介质以及程序产品 | |
| CN112560772B (zh) | 人脸的识别方法、装置、设备及存储介质 | |
| CN111783644B (zh) | 检测方法、装置、设备和计算机存储介质 | |
| CN110995687B (zh) | 一种猫池设备识别方法、装置、设备及存储介质 | |
| CN111901140A (zh) | 异常处理方法、装置、电子设备及存储介质 | |
| CN111339852A (zh) | 追踪方法、装置、电子设备和计算机可读存储介质 | |
| CN111709979A (zh) | 图像对齐的方法、装置、电子设备和存储介质 | |
| CN111611902B (zh) | 车辆违章检测方法、装置、设备以及存储介质 | |
| CN112817686B (zh) | 检测虚拟机异常的方法、装置、设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |