CN113870185A - 基于图像抓拍的图像处理方法、终端及存储介质 - Google Patents

基于图像抓拍的图像处理方法、终端及存储介质 Download PDF

Info

Publication number
CN113870185A
CN113870185A CN202111013256.2A CN202111013256A CN113870185A CN 113870185 A CN113870185 A CN 113870185A CN 202111013256 A CN202111013256 A CN 202111013256A CN 113870185 A CN113870185 A CN 113870185A
Authority
CN
China
Prior art keywords
image
image frame
pollutant
contaminant
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111013256.2A
Other languages
English (en)
Inventor
陈庆
肖丰
章合群
周祥明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111013256.2A priority Critical patent/CN113870185A/zh
Priority to PCT/CN2021/135332 priority patent/WO2023029268A1/en
Priority to EP21955796.4A priority patent/EP4377881A1/en
Publication of CN113870185A publication Critical patent/CN113870185A/zh
Priority to US18/590,979 priority patent/US20240203128A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于图像抓拍的图像处理方法、终端及存储介质，该基于图像抓拍的图像处理方法包括：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；第一污染物为交通道路的组成元素之外的物体；从第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像；抓拍图像是包含与第一污染物关联的运动目标的图像；在第一图像帧之后获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；判断第二污染物与第一污染物是否相匹配；如果匹配，则将第二图像帧、抓拍图像以及背景图像进行关联，进而提升了污染物的检测准确率以及道路污染报警的准确率。

Description

基于图像抓拍的图像处理方法、终端及存储介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种基于图像抓拍的图像处理方法、终端及存储介质。
背景技术
城市行驶的渣土车、搅拌车易出现渣土或泥浆泄漏、遗撒的情况，不仅对路面造成污染，还会增加道路安全隐患，需要对违规车辆进行处罚。传统模式下往往由监管部门翻查路面视频监控进行人工审查，此种处理方法效率低下、工作负荷大。为了降低人力成本、提升事件的处理效率，越来越多的地区利用马路监控探头实时布控和智能服务器的实时分析，通过计算机视觉技术实现道路事件自动报警，代替了原始的人工管理方法，全天候监控道路污染事件，对违规车辆进行监测。但是当路面出现光影、轮胎水痕或水花等其它图像区域也会被误检为污染物，进而造成污染物的检测准确率不佳。
发明内容
本发明主要解决的技术问题是提供一种基于图像抓拍的图像处理方法、终端及存储介质，解决现有技术中污染物的检测准确率低的问题。
为解决上述技术问题，本发明采用的第一个技术方案是：提供一种基于图像抓拍的图像处理方法，该基于图像抓拍的图像处理方法包括：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；第一污染物为交通道路的组成元素之外的物体；从第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像；抓拍图像是包含与第一污染物关联的运动目标的图像；在第一图像帧之后获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；判断第二污染物与第一污染物是否相匹配；如果匹配，则将第二图像帧、抓拍图像以及背景图像进行关联。
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于实现上述基于图像抓拍的图像处理方法的步骤。
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于图像抓拍的图像处理方法中的步骤。
本发明的有益效果是：区别于现有技术的情况，提供的一种基于图像抓拍的图像处理方法、终端及存储介质，该基于图像抓拍的图像处理方法包括：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；从第一图像帧之前的历史图像帧中，确定背景图像以及抓拍图像；在第一图像帧之后重新获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；进而将检测到的第二污染物与第一污染物进行比对，实现对第一污染物的进一步验证；如果第一污染物与第二污染物匹配，则将第二图像帧、抓拍图像以及背景图像进行关联，进而提升了污染物的检测准确率以及道路污染报警的准确率。
附图说明
图1是本发明提供的基于图像抓拍的图像处理方法的流程示意图；
图2是本发明提供的基于图像抓拍的图像处理方法一具体实施例的流程示意图；
图3是图2提供的基于图像抓拍的图像处理方法中步骤S202一具体实施例的流程示意图；
图4是图2提供的基于图像抓拍的图像处理方法中步骤S206一具体实施例的流程示意图；
图5是本发明提供的图像采集设备抓拍的照片；
图6是本发明提供的终端一实施方式的示意框图；
图7是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种基于图像抓拍的图像处理方法做进一步详细描述。
请参阅图1，图1是本发明提供的基于图像抓拍的图像处理方法的流程示意图。本实施例中提供一种基于图像抓拍的图像处理方法，该方法适用于监测渣土车、搅拌车经过路面是否对路面造成污染的场景，该基于图像抓拍的图像处理方法包括如下步骤。
S11：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物。
具体地，图像采集装置实时抓拍路面的图像，进而获取第一图像帧，基于深度学习框架的目标检测模型对第一图像帧进行目标检测，确定第一图像帧中包含的第一污染物的信息。其中，第一污染物的信息包括第一污染物处于第一图像帧中的位置信息以及第一污染物的类别，并标注出第一图像帧中第一污染物的检测框。例如，第一污染物可以为渣土、泥浆、砂石等静态污染物。
S12：从第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像。
具体地，对预设时段内的历史图像帧与第一图像帧分别进行特征提取并进行比对；筛选并保留预设时段内未检测到第一污染物的历史图像帧；选取保留的历史图像帧中与第一图像帧的时间间隔最小的历史图像帧，将选取的历史图像帧确定为背景图像。对第一图像帧之前的历史图像帧进行运动目标检测，筛选包含运动目标的历史图像帧；确定与第一图像帧的时间间隔最短，且包含的运动目标的位置与第一污染物的位置最近的历史图像帧，将历史图像帧作为抓拍图像。抓拍图像是包含与第一污染物关联的运动目标的图像。
S13：在第一图像帧之后获取第二图像帧并进行检测，确定第二图像帧中的第二污染物。
具体地，当在第一图像帧中检测得到第一污染物，则在第一图像帧之后间隔预设时间继续通过图像采集设备采集第二图像帧，并通过检测第一图像帧的目标检测模型继续对第二图像帧进行目标检测，当在第二图像帧中检测得到第二污染物，则获取第二污染物在第二图像帧中的位置信息以及第二污染物的类别，并标注出第二图像帧中第二污染物的检测框。其中，图像采集设备的位置是固定的，采集的第一图像帧和第二图像帧是同一路面的同一位置，第一图像帧和第二图像帧的采集时间不同。
S14：判断第二污染物与第一污染物是否相匹配。
具体地，当在第二图像帧中获取到第二污染物时，则判断第二图像帧中的第二污染物与第一图像帧中的第一污染物是否相同。在一具体实施例中，判断第二污染物处于第二图像帧中的位置坐标与第一污染物处于第一图像帧中的位置坐标是否相同，且判断第二污染物的类别与第一污染物的类别是否相同，进而确定第二污染物与第一污染物是否匹配，提升第一污染物的检验准确率。
当判断第二污染物与第一污染物相匹配时，则直接跳转至步骤S14；当判断第二污染物与第一污染物不匹配时，则直接跳转至步骤S15。
S15：确定将第二图像帧、抓拍图像以及背景图像进行关联。
具体地，当判断第二污染物与第一污染物相匹配时，则表明第二图像帧中的第二污染物的类别与第一图像帧中的第一污染物的类别相同，且第二污染物在第二图像帧中所处的坐标位置与第一污染物在第一图像帧中所处的坐标位置也相同。即可以确定第一污染物是真正的路面污染物，可以将第一污染物确定为检测结果，确定将第二图像帧、抓拍图像以及背景图像关联生成报警依据。
S16：确定第一图像帧中检出的第一污染物为误检。
具体地，当判断第二污染物与第一污染物不匹配时，则表明第二图像帧中的第二污染物的类别与第一图像帧中的第一污染物的类别不相同，或第二污染物在第二图像帧中所处的坐标位置与第一污染物在第一图像帧中所处的坐标位置不相同。即可以确定第一污染物不是真正的污染物。在另一可选实施例中，在第二图像帧中未检测到第二污染物，则也可以确认第一图像帧中检出的第一污染物为误检。其中，第一污染物可能是光影、轮胎水印或水花等污染物，该类污染物会随着时间推移发生剧烈外观变化或消失。如果第一污染物是水花，待一段时间后，水会蒸发，不会呈现在路面上，因此对第二图像帧进行检测时，在第二图像帧中并不能检测到与第一污染物匹配的第二污染物。光影、轮胎水印或水花等污染物不属于路面上的真正污染物，不会对路面造成影响。因此，当第二图像帧中未检测到第二污染物，或第二图像帧中检测到的第二污染物与第一图像帧中检测到的一污染物不匹配，则确定第一图像帧中检出的第一污染物属于误检。
本实施例提供的基于图像抓拍的图像处理方法主要对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；从第一图像帧之前的历史图像帧中，确定背景图像以及抓拍图像；在第一图像帧之后重新获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；进而将检测到的第二污染物与第一污染物进行比对，实现对第一污染物的进一步验证；如果第一污染物与第二污染物匹配，则将第二图像帧、抓拍图像以及背景图像进行关联，进而提升了污染物的检测准确率以及道路污染报警的准确率。
请参阅图2，图2是本发明提供的基于图像抓拍的图像处理方法一具体实施例的流程示意图。本实施例中提供一种基于图像抓拍的图像处理方法，该基于图像抓拍的图像处理方法包括如下步骤。
S201：对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物。
具体地，图像采集装置实时抓拍路面的图像，进而获取第一图像帧，基于深度学习框架的目标检测模型对第一图像帧进行目标检测，确定第一图像帧中包含的第一污染物的信息。其中，第一污染物的信息包括第一污染物处于第一图像帧中的位置信息以及第一污染物的类别，并标注出第一图像帧中第一污染物的检测框。例如，第一污染物可以为渣土、泥浆、砂石等静态污染物。
请参阅图3和图5，图3是图2提供的基于图像抓拍的图像处理方法中步骤S202一具体实施例的流程示意图；图5是本发明提供的图像采集设备抓拍的照片。
S202：根据第一图像帧在第一图像帧之前的历史图像帧中确定背景图像。
具体地，请参阅图3，根据第一图像帧在第一图像帧之前的连续历史图像帧中确定第一图像帧的背景图像具体包括如下步骤。
S2021：对预设时段内的历史图像帧与第一图像帧分别进行特征提取并进行比对。
具体地，在第一图像帧之前的历史图像帧中选取预设时间段内的多个历史图像帧。基于深度学习框架的目标检测模型对第一图像帧进行特征提取，且对选取的预设时间段内的多个历史图像帧也分别进行特征提取，将根据第一图像帧提取的特征图与根据历史图像帧提取的特征图进行逐一比对，并判断哪些历史图像帧提取的特征图相对于第一图像帧提取的特征图中没有第一污染物，哪些历史图像帧提取的特征图相对于第一图像帧提取的特征图中包含第一污染物。
S2022：筛选并保留预设时段内未检测到第一污染物的历史图像帧。
具体地，将历史图像帧中没有第一污染物的所有历史图像帧筛选出来，即筛选的历史图像帧相比于第一图像帧未检测到第一污染物，将筛选出来的未检测到第一污染物的历史图像帧保留，检测到第一污染物的历史图像帧去除。
S2023：选取保留的历史图像帧中与第一图像帧的时间间隔最小的历史图像帧，将选取的历史图像帧确定为背景图像。
具体地，将保留的历史图像帧的拍摄时间与第一图像帧的拍摄时间进行比对，选取一张与第一图像帧拍摄时间最近的历史图像帧，将该历史图像帧确定为背景图像，参见图5(a)。这是为了减小误差，避免第一图像帧与背景图像仅在第一污染物上存在差异之外尽可能不存在其它差异，进而提高后续的检测精确度。
S203：对第一图像帧中的第一污染物进行特征提取，得到污染物特征图。
具体地，基于深度学习框架的目标检测模型对第一图像帧中标注的检测框中的第一污染物进行特征提取，得到污染物特征图，以便于后续对第一污染物种类的识别，提高识别精确度。
S204：判断第一图像帧中的污染物特征图是否与数据库中的预设特征图匹配。
具体地，为了识别第一图像帧中的第一污染物是否是首次出现，将第一图像帧中进行特征提取的污染物特征图与预先建立的数据库中的预设特征图逐一进行比对，进而确定污染物特征图是否与数据库中的预设特征图相同。在另一可选实施例中，由于拍摄角度因素的影响，同一污染物的图像也可能存在误差。为了减小误差，可以计算第一图像帧中的污染物特征图与数据库中每一预设特征图的相似度，再将获取的相似度与预设阈值进行比对，进而判断第一图像帧中的污染物特征图是否与数据库中的预设特征图相匹配。其中，预设阈值可以设置为99％。
当判断第一图像帧中的污染物特征图与数据库中的一个预设特征图匹配时，则将污染物特征图对应的预设特征图的类别作为第一污染物的类别，之后则直接跳转至步骤S206；当判断第一图像帧中的污染物特征图与数据库中的所有预设特征图均不匹配，则需要对污染物特征图进行识别，检测第一污染物的类别，之后则直接跳转至步骤S205。
S205：提取第一图像帧。
具体地，如果第一图像帧中的污染物特征图与数据库中的所有预设特征图都不匹配，则将第一图像帧、第一污染物的类别以及位置生成新的第一图像帧，参见图5(b)。也就是说，第一图像帧中的第一污染物是首次出现，基于目标检测模型检测污染物特征图，进而通过检测识别污染物特征图确定第一污染物的类别。在另一实施例中，将第一图像帧中的第一污染物对应的污染物特征图及其对应的类别更新至数据库中，以便于后续对其它视频帧中提取的污染物特征图进行比对。
S206：根据第一图像帧，在第一图像帧之前的历史图像帧中确定抓拍图像。
请参阅图4，图4是图2提供的基于图像抓拍的图像处理方法中步骤S206一具体实施例的流程示意图。具体地，根据第一图像帧在第一图像帧之前的历史图像帧中确定抓拍图像的步骤具体包括如下步骤。
S2061：对第一图像帧之前的历史图像帧进行运动目标检测，筛选包含运动目标的历史图像帧。
具体地，基于运动目标检测模型对第一图像帧之前的预设时间段内的历史图像帧进行运动目标检测，检测得到历史图像帧中包含的运动目标以及运动目标的检测框。其中，运动目标包括渣土车、搅拌车等运输车。其中，检测结果包括运动目标的类别、位置、车牌等相关有助于识别的信息。筛选并保留包含运动目标的所有历史图像帧。
S2062：确定与第一图像帧的时间间隔最短，且包含的运动目标的位置与第一污染物的位置最近的历史图像帧，将该历史图像帧作为抓拍图像。
具体地，将保留的历史图像帧的拍摄时间与第一图像帧的拍摄时间进行逐一比对，且将历史图像帧中的运动目标的所处位置与第一图像帧中的第一污染物的所处位置进行逐一比对，选取一张与第一图像帧拍摄时间最近，且包含的运动目标与第一污染物位置最近的历史图像帧，将该历史图像帧中的运动目标确定为抛洒第一污染物的运动目标，将该历史图像帧以及拍摄时间和地点生成为抓拍图像，参见图5(c)。这是为了减小误差，进而提高确定抛洒第一污染物的运动目标的准确率。
S207：在第一图像帧之后获取第二图像帧并进行检测，确定第二图像帧中的第二污染物。
具体地，当在第一图像帧中检测得到第一污染物，则在第一图像帧之后间隔预设时间继续通过图像采集设备采集第二图像帧，并通过检测第一图像帧的目标检测模型继续对第二图像帧进行目标检测，当在第二图像帧中检测得到第二污染物，则获取第二污染物在第二图像帧中的位置信息以及第二污染物的类别，并标注出第二图像帧中第二污染物的检测框。其中，图像采集设备的位置是固定的，采集的第一图像帧和第二图像帧是同一路面的同一位置。
S208：判断第二污染物与第一污染物是否相匹配。
具体地，当在第二图像帧中获取到第二污染物后，则判断第二图像帧中的第二污染物与第一图像帧中的第一污染物是否相同。在一具体实施例中，判断判断第二污染物在第二图像帧中的位置与第一污染物在第一图像帧中的位置是否相同；如果第二污染物在第二图像帧中的位置与第一污染物在第一图像帧中的位置相同，则判断第二污染物的类别与第一污染物的类别的相似度是否超过预设值；如果相似度超过预设值，则确定第一污染物与第二污染物相匹配，提升第一污染物的检验准确率。
当判断第二污染物与第一污染物相匹配时，则直接跳转至步骤S209；当判断第二污染物与第一污染物不匹配时，则直接跳转至步骤S212。
S209：确定第一污染物为检测结果。
具体地，当判断第二污染物与第一污染物相匹配时，则表明第二图像帧中的第二污染物的类别与第一图像帧中的第一污染物的类别相同，且第二污染物在第二图像帧中所处的坐标位置与第一污染物在第一图像帧中所处的坐标位置也相同。即可以确定第一污染物是真正的路面污染物，可以将第一污染物确定为检测结果。
S210：提取第二图像帧。
具体地，根据第二图像帧中检测得到的第二污染物的检测框、第二图像帧以及第二图像帧的拍摄时间和地点生成新的第二图像帧，参见图5(d)。
S211：将第二图像帧、抓拍图像以及背景图像进行关联。
具体地，将背景图像、抓拍图像和第一图像帧和第二图像帧关联组合生成报警依据。
S212：确定第一图像帧中检出的第一污染物为误检。
具体地，当判断第二污染物与第一污染物不匹配时，则表明第二图像帧中的第二污染物的类别与第一图像帧中的第一污染物的类别不相同，或第二污染物在第二图像帧中所处的坐标位置与第一污染物在第一图像帧中所处的坐标位置不相同。即可以确定第一污染物不是真正的污染物。在另一可选实施例中，在第二图像帧中未检测到第二污染物，则也可以确认第一图像帧中检出的第一污染物为误检。其中，第一污染物可能是光影、轮胎水印或水花等污染物，该类污染物会随着时间推移发生剧烈外观变化或消失。如果第一污染物是水花，待一段时间后，水会蒸发，不会呈现在路面上，因此对第二图像帧进行检测时，在第二图像帧中并不能检测到与第一污染物匹配的第二污染物。光影、轮胎水印或水花等污染物不属于路面上的真正污染物，不会对路面造成影响。因此，当第二图像帧中未检测到第二污染物，或第二图像帧中检测到的第二污染物与第一图像帧中检测到的一污染物不匹配，则确定第一图像帧中检出的第一污染物属于误检。
本实施例提供的污染物检测方法包括对获取的第一图像帧进行检测，确定第一图像帧中的第一污染物；从第一图像帧之前的历史图像帧中，确定背景图像以及抓拍图像；在第一图像帧之后重新获取第二图像帧并进行检测，确定第二图像帧中的第二污染物；进而将检测到的第二污染物与第一污染物进行比对，实现对第一污染物的进一步验证；如果第一污染物与第二污染物匹配，则将第二图像帧、抓拍图像以及背景图像进行关联，进而提升了污染物的检测准确率以及道路污染报警的准确率。
参阅图6，图6是本发明提供的终端一实施方式的示意框图。该实施方式中的终端70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序，该计算机程序被处理器71执行时实现上述基于图像抓拍的图像处理方法中，为避免重复，此处不一一赘述。
参阅图7，图7是本发明提供的计算机可读存储介质一实施方式的示意框图。
本申请的实施方式中还提供一种计算机可读存储介质90，计算机可读存储介质90存储有计算机程序901，计算机程序901中包括程序指令，处理器执行程序指令，实现本申请实施方式提供的污染物检测方法。
其中，计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于图像抓拍的图像处理方法，其特征在于，所述方法包括：
对获取的第一图像帧进行检测，确定所述第一图像帧中的第一污染物；所述第一污染物为交通道路的组成元素之外的物体；
从所述第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像；所述抓拍图像是包含与所述第一污染物关联的运动目标的图像；
在所述第一图像帧之后获取第二图像帧并进行检测，确定所述第二图像帧中的第二污染物；
判断所述第二污染物与所述第一污染物是否相匹配；
如果匹配，则将所述第二图像帧、所述抓拍图像以及所述背景图像进行关联。
2.根据权利要求1所述基于图像抓拍的图像处理方法，其特征在于，
所述从所述第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像的步骤具体还包括：
对所述第一图像帧中的所述第一污染物进行特征提取，得到污染物特征图；
判断所述第一图像帧中的所述污染物特征图是否与数据库中的预设特征图匹配；
如果所述第一图像帧中的所述污染物特征图与所述数据库中的所有所述预设特征图都不匹配，则提取所述第一图像帧。
3.根据权利要求2所述基于图像抓拍的图像处理方法，其特征在于，
所述从所述第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像的步骤具体包括：
对预设时段内的所述历史图像帧与所述第一图像帧分别进行特征提取并进行比对；
筛选并保留所述预设时段内未检测到所述第一污染物的所述历史图像帧；
选取保留的所述历史图像帧中与所述第一图像帧的时间间隔最小的所述历史图像帧，将选取的所述历史图像帧确定为背景图像。
4.根据权利要求3所述基于图像抓拍的图像处理方法，其特征在于，
所述从所述第一图像帧之前的历史图像帧中，确定出背景图像以及抓拍图像的步骤具体包括：
对所述第一图像帧之前的所述历史图像帧进行运动目标检测，筛选包含所述运动目标的所述历史图像帧；
确定与所述第一图像帧的时间间隔最短，且包含的所述运动目标的位置与所述第一污染物的位置最近的所述历史图像帧，将所述历史图像帧作为所述抓拍图像。
5.根据权利要求4所述基于图像抓拍的图像处理方法，其特征在于，
所述将所述第二图像帧、所述抓拍图像以及所述背景图像进行关联的步骤之后，还包括：
基于进行关联后的所述背景图像、所述抓拍图像和所述第一图像帧和所述第二图像帧，进行报警。
6.根据权利要求1所述基于图像抓拍的图像处理方法，其特征在于，所述图像抓拍的图像处理方法还包括：
如果所述第二污染物与所述第一污染物不匹配，则确定所述第一图像帧中检出的所述第一污染物为误检。
7.根据权利要求1所述基于图像抓拍的图像处理方法，其特征在于，
所述对获取的第一图像帧进行检测，确定所述第一图像帧中的第一污染物的步骤具体包括：
基于深度学习目标检测模型对获取的所述第一图像帧进行检测，确定所述第一图像帧中所述第一污染物的类别与位置；
所述在所述第一图像帧之后获取第二图像帧并进行检测，确定所述第二图像帧中的第二污染物的步骤具体包括：
基于深度学习目标检测模型对获取的所述第二图像帧进行检测，确定所述第二图像帧中所述第二污染物的类别与位置。
8.根据权利要求7所述基于图像抓拍的图像处理方法，其特征在于，
所述判断所述第二污染物与所述第一污染物是否相匹配的步骤具体包括：
判断所述第二污染物在所述第二图像帧中的位置与所述第一污染物在所述第一图像帧中的位置是否相同；
如果所述第二污染物在所述第二图像帧中的位置与所述第一污染物在所述第一图像帧中的位置相同，则判断所述第二污染物的类别与所述第一污染物的类别的相似度是否超过预设值；
如果所述相似度超过所述预设值，则确定所述第一污染物与所述第二污染物相匹配。
9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于执行程序数据以实现如权利要求1～8任一项所述基于图像抓拍的图像处理方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～8任一项所述基于图像抓拍的图像处理方法中的步骤。
CN202111013256.2A 2021-08-31 2021-08-31 基于图像抓拍的图像处理方法、终端及存储介质 Pending CN113870185A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111013256.2A CN113870185A (zh) 2021-08-31 2021-08-31 基于图像抓拍的图像处理方法、终端及存储介质
PCT/CN2021/135332 WO2023029268A1 (en) 2021-08-31 2021-12-03 Systems and methods for determining target event
EP21955796.4A EP4377881A1 (en) 2021-08-31 2021-12-03 Systems and methods for determining target event
US18/590,979 US20240203128A1 (en) 2021-08-31 2024-02-29 Systems and methods for determining target event

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111013256.2A CN113870185A (zh) 2021-08-31 2021-08-31 基于图像抓拍的图像处理方法、终端及存储介质

Publications (1)

Publication Number Publication Date
CN113870185A true CN113870185A (zh) 2021-12-31

Family

ID=78988958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111013256.2A Pending CN113870185A (zh) 2021-08-31 2021-08-31 基于图像抓拍的图像处理方法、终端及存储介质

Country Status (4)

Country Link
US (1) US20240203128A1 (zh)
EP (1) EP4377881A1 (zh)
CN (1) CN113870185A (zh)
WO (1) WO2023029268A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884226A (zh) * 2023-09-07 2023-10-13 山东金宇信息科技集团有限公司 一种用于道路维护的生态监控预警方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358634A1 (en) * 2015-06-07 2016-12-08 Apple Inc. Method And Apparatus For Finding And Using Video Portions That Are Relevant To Adjacent Still Images
CN111814668A (zh) * 2020-07-08 2020-10-23 北京百度网讯科技有限公司 用于检测道路抛洒物的方法和装置
CN113255580A (zh) * 2021-06-18 2021-08-13 城云科技（中国）有限公司 抛洒物识别、车辆抛洒滴漏识别方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297278B (zh) * 2015-05-18 2019-12-20 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
CN107396043A (zh) * 2017-07-19 2017-11-24 天津市广通信息技术工程股份有限公司 一种基于无线通信的渣土车侧洒监控系统
CN110889371B (zh) * 2019-11-26 2022-06-07 浙江大华技术股份有限公司 一种渣土车抛洒检测的方法及装置
CN111797727B (zh) * 2020-06-18 2023-04-07 浙江大华技术股份有限公司 一种检测路面抛洒物的方法、装置及存储介质
CN113076934A (zh) * 2021-04-30 2021-07-06 深圳市商汤科技有限公司 车辆抛洒物检测方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358634A1 (en) * 2015-06-07 2016-12-08 Apple Inc. Method And Apparatus For Finding And Using Video Portions That Are Relevant To Adjacent Still Images
CN111814668A (zh) * 2020-07-08 2020-10-23 北京百度网讯科技有限公司 用于检测道路抛洒物的方法和装置
CN113255580A (zh) * 2021-06-18 2021-08-13 城云科技（中国）有限公司 抛洒物识别、车辆抛洒滴漏识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEVIN LIN等: "Abandoned Object Detection via Temporal Consistency Modeling and Back-Tracing Verification for Visual Surveillance", IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, vol. 10, no. 7, 2 March 2015 (2015-03-02), pages 1359 - 1370, XP011581431, DOI: 10.1109/TIFS.2015.2408263 *
赵甜甜: "基于动态背景的移动分离物体实时检测研究", 中国优秀硕士学位论文全文数据库信息科技辑, 15 January 2019 (2019-01-15), pages 138 - 2451 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884226A (zh) * 2023-09-07 2023-10-13 山东金宇信息科技集团有限公司 一种用于道路维护的生态监控预警方法、设备及介质
CN116884226B (zh) * 2023-09-07 2023-11-21 山东金宇信息科技集团有限公司 一种用于道路维护的生态监控预警方法、设备及介质

Also Published As

Publication number Publication date
EP4377881A1 (en) 2024-06-05
WO2023029268A1 (en) 2023-03-09
US20240203128A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
CN106652468B (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN105702048B (zh) 基于行车记录仪的高速公路前车违法占道识别系统及方法
US9365217B2 (en) Mobile pothole detection system and method
CN106600977B (zh) 基于多特征识别的违停检测方法及系统
CN106297278B (zh) 一种用于查询抛洒物车辆的方法和系统
CN106373426A (zh) 基于计算机视觉的停车位及违规占道停车监控方法
CN109409337B (zh) 基于卷积神经网络的渣土车特征识别方法
CN109427191B (zh) 一种行驶检测方法及装置
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
CN105046966A (zh) 即停即离区域的违章停车行为自动检测系统和方法
CN112509325B (zh) 一种基于视频深度学习的非现场违法自动甄别方法
CN111369801B (zh) 车辆识别方法、装置、设备和存储介质
CN106571040B (zh) 一种可疑车辆确认方法及设备
CN111724607B (zh) 转向灯使用检测方法、装置、计算机设备和存储介质
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
CN204856897U (zh) 一种机动车即停即离区域的违章检测装置
Im et al. Bigdata analytics on CCTV images for collecting traffic information
CN113870185A (zh) 基于图像抓拍的图像处理方法、终端及存储介质
CN111768630A (zh) 一种违章废图检测方法、装置及电子设备
CN113283303A (zh) 一种车牌识别方法及装置
CN117576674A (zh) 车牌识别方法、装置、设备及介质
CN117237883A (zh) 一种基于视觉目标跟踪的交通违法行为检测方法及系统
CN110766949B (zh) 违章抓拍方法及装置
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
CN112597924B (zh) 电动自行车轨迹追踪方法、摄像机装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination