CN115937783A - 一种背景自适应的水面漂浮物自动识别方法及其装置 - Google Patents
一种背景自适应的水面漂浮物自动识别方法及其装置 Download PDFInfo
- Publication number
- CN115937783A CN115937783A CN202211670524.2A CN202211670524A CN115937783A CN 115937783 A CN115937783 A CN 115937783A CN 202211670524 A CN202211670524 A CN 202211670524A CN 115937783 A CN115937783 A CN 115937783A
- Authority
- CN
- China
- Prior art keywords
- background
- water surface
- area
- frame
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 70
- 230000008859 change Effects 0.000 claims abstract description 62
- 238000007667 floating Methods 0.000 claims abstract description 45
- 230000033001 locomotion Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000009825 accumulation Methods 0.000 claims abstract description 6
- 208000034699 Vitreous floaters Diseases 0.000 claims description 25
- 238000005286 illumination Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
- Y02A20/204—Keeping clear the surface of open water from oil spills
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种背景自适应的水面漂浮物自动识别方法及其装置，包括：以监控区域为采集依据，至少获取若干帧水面图像以形成背景帧库；分别对每帧水面图像进行相同位置下的像素累计分析以计算出各位置中像素值趋同数量最多的像素并将其作为对应位置下的背景像素，形成初始的水面背景模型；对获取的相邻两帧水面图像进行差分处理以区分出变化区域与恒定区域，将恒定区域更新至背景帧库中；将变化区域与水面背景模型进行拟合以区分出变化区域在该模型中覆盖的是背景区域还是漂浮物运动区域，若是背景区域则更新至背景帧库中，若是漂浮物运动区域则不进行更新。本发明增强了漂浮物的可识别能力和效率，为后面的定位和漂浮物的捞取工作奠定了基础。
Description
技术领域
本发明涉及运动目标识别领域，尤其涉及一种背景自适应的水面漂浮物自动识别方法及其装置。
背景技术
当前挖掘机无人操作技术有了较大的发展，很多无人操作系统都实现了特定场景下的无人化操作，比如自动修坡，自动平整路面，自动装卸车等等。
大部分的自动作业技术都是基于给挖掘机安装了一双”眼睛”去实现的，比如视觉识别定位技术或者是GPS定位技术，针对水面垃圾（漂浮物）识别的技术通常即为其中的视觉识别定位技术。
而由于施工环境多为河水或者江水，水流会随着风力或者季节的不同存在差异性的流速变化。给识别工作增加了难度。
现有技术中，根据相机的运动或者静止的情况，运动目标的检测大致可分为以下两类：相机运动和静止的两种情况。运动状态：相机随着识别目标移动，并且有始终保持目标在图像的中心附近的特点；静止状态：相机相对处于静止状态，相机固定在挖掘机某一位置，对确定范围内的目标进行检测、跟踪。
目前运动目标追踪的常用的方法有背景减法、帧间差分法和光流场方法。
背景减法的优点是计算方法相对简单，可以实现实时监测，缺点是要求背景决定静止或者基本无变化，实际环境中背景是会随着背景的扰动、外界光照条件的变化、阴影等等因素不断发生变化的，抑制噪声的效果较差，适用的场合较为有限，不适合长期的跨季节的检测应用。
帧间差分法的优点是对运动物体敏感，缺点是检测出的物体的位置不精确，可能出现误差，不能完全提取出所有相关的特征像素点，不利于进一步的对象分析与识别。
至于光流法的优点是不需要预先知道场景的任何信息，能够检测独立运动的对象，并且对目标在帧间的运动的限制较少，可以处理较大的帧间位移。但多数光流法需要特殊的硬件支持，耗时和计算复杂，且抗噪性能差，很难达到实时检测的目标，因为可以说光流法的时间开销量很大，其实时性和实用性也较差。
发明内容
为了能够更加准确地识别流动水面上的漂浮物，以帮助挖掘机实现水面漂浮物的准确打捞，本发明的其中一方面提供一种背景自适应的水面漂浮物自动识别方法，用于挖掘机漂浮物打捞作业，所述方法包括：以设定的监控区域为采集依据，在静态背景下至少获取若干帧水面图像以形成背景帧库；分别对所述背景帧库中的每帧水面图像进行相同位置下的像素累计分析以计算出各位置中像素值趋同数量最多的像素，将该像素作为对应位置下的背景像素，形成初始的水面背景模型；实时状态下，对获取的相邻两帧水面图像进行差分处理以区分出变化区域与恒定区域，将恒定区域更新至所述背景帧库中；以及将变化区域与所述水面背景模型进行拟合，以区分出所述变化区域在所述水面背景模型中覆盖的是背景区域还是漂浮物运动区域，若是背景区域则更新至所述背景帧库中，若是漂浮物运动区域则不进行更新。
优选地，对获取的相邻两帧水面图像进行差分处理，包括：设监控区域的像素面积为n，在t时刻，监控区域的上一帧像素值是Bi(t)，当前帧的像素值是Fi(t) ，差分图像的累计变化方差为Mi(t)，彼此具有如下关系式：
；其中，当监控区域的状态恒定时，Mi(t)的值趋向为0；当发生变化时，Mi(t)的值将会迅速增加。
优选地，将变化区域与所述水面背景模型进行拟合，包括：设引入的权衡校正因子为ji(t)，产生阴影遮挡的影响因子为Yi（t），产生光照强度变化的影响因子为Gi(t)，彼此具有如下关系式：
；
根据返回的Mi(t)和ji(t)的值，选择是否将变化区域更新至所述背景帧库，如果在ji(t)稳定的情况下Mi(t)骤增或者骤减，则更新。
优选地，所述方法还包括：在至少以下两种情况下切换监控区域：在ji(t)稳定的情况下Mi(t)骤增或者骤减；ji(t)与Mi(t)均骤增至峰值后趋于稳定；在至少以下一种情况下不切换监控区域：ji(t)与Mi(t)稳定的趋于0。
优选地，所述方法还包括：将用户手动标记的区域确认为所述监控区域，具体为：根据用户在当前画面中手动拾取的多个点以形成一多边形，生成所述多边形的外接矩形，以及根据所述外接矩形识别所述多边形是否在有效区域内，若是则将其确认为所述监控区域。
为了能够更加准确地识别流动水面上的漂浮物，以帮助挖掘机实现水面漂浮物的准确打捞，本发明的其中一方面提供一种背景自适应的水面漂浮物自动识别装置，用于挖掘机漂浮物打捞作业，所述装置包括：背景帧库形成模块，被配置为以设定的监控区域为采集依据，在静态背景下至少获取若干帧水面图像以形成背景帧库；背景帧库，被配置为存储若干帧水面图像；初始水面模型构建模块，被配置为：分别对所述背景帧库中的每帧水面图像进行相同位置下的像素累计分析以计算出各位置中像素值趋同数量最多的像素，将该像素作为对应位置下的背景像素，形成初始的水面背景模型；帧差处理模块，被配置为在实时状态下，对获取的相邻两帧水面图像进行差分处理以区分出变化区域与恒定区域；第一背景帧更新模块，被配置为将所述恒定区域更新至所述背景帧库中；以及背景拟合模块，被配置为将变化区域与所述水面背景模型进行拟合，以区分出所述变化区域在所述水面背景模型中覆盖的是背景区域还是漂浮物运动区域；第二背景帧更新模块，被配置为所述水面背景模型中覆盖的是背景区域时将其更新至所述背景帧库中，若是漂浮物运动区域则不进行更新。
优选地，所述帧差处理模块被进一步配置为：设监控区域的像素面积为n，在t时刻，监控区域的上一帧像素值是Bi(t)，当前帧的像素值是Fi(t) ，差分图像的累计变化方差为Mi(t)，彼此具有如下关系式：
；其中，当监控区域的状态恒定时，Mi(t)的值趋向为0；当发生变化时，Mi(t)的值将会迅速增加。
优选地，所述背景拟合模块被进一步配置为：设引入的权衡校正因子为ji(t)，产生阴影遮挡的影响因子为Yi（t），产生光照强度变化的影响因子为Gi(t)，彼此具有如下关系式：
；
其中，所述第二背景帧更新模块被进一步配置为：根据返回的Mi(t)和ji(t)的值，选择是否将变化区域更新至所述背景帧库，如果在ji(t)稳定的情况下Mi(t)骤增或者骤减，则更新。
优选地，所述装置还包括：监控区域切换模块，被配置为：在ji(t)稳定的情况下Mi(t)骤增或者骤减，或者，ji(t)与Mi(t)均骤增至峰值后趋于稳定的情况下切换监控区域；在ji(t)与Mi(t)稳定的趋于0情况下不切换监控区域。
优选地，所述装置还包括：人机交互模块，被配置为将用户手动标记的区域确认为所述监控区域，具体为：根据用户在当前画面中手动拾取的多个点以形成一多边形，生成所述多边形的外接矩形，以及根据所述外接矩形识别所述多边形是否在有效区域内，若是则将其确认为所述监控区域。
本发明通过对水面背景的有效建模，极大程度上增强了漂浮物的可识别能力和可识别效率，避免由于水面上多个漂浮物运动产生干扰、阴影遮挡以及光照强度变化的影响从而导致的漂浮物识别过程中错误的判断信息，为后面的定位和漂浮物的捞取工作奠定了基础。并且通过将本发明的识别方法主要应用于水面漂浮物的打捞作业，帮助挖掘机准确迅速的识别水面垃圾漂浮物，便于后续将识别定位后的位置信息发送给挖掘机运动系统控制器进行漂浮物打捞作业。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出的是本发明其中一实施例提供的水面漂浮物自动识别方法的流程示意图；
图2示出的是本发明其中一实施例提供的水面漂浮物自动识别方法的进一步流程示意图；
图3示出的是本发明其中一实施例提供的初始的水面背景模型的构建示意图；
图4示出的是本发明其中一实施例提供的相邻帧的变化示意图；
图5示出的是本发明其中一实施例提供的监控区域手动标记示意图；
图6、7分别示出的是本发明其中一实施例提供的水面漂浮物自动识别装置的结构示意图；
图8示出的是本发明其中一实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明其中一方面提供了一种背景自适应的水面漂浮物自动识别方法，该方法优选应用在对水面漂浮物的自动化打捞作业，也可以是对其它用途中水面漂浮物的识别。所描述的水面漂浮物的自动化打捞作业例如是基于挖掘机所执行的水面漂浮物自动化破打捞作业，当然也可以是其它工程机械，或者能够在水面上行驶的船舶类。即实际应用中可以将该方法应用在其它同样能够进行水面漂浮物打捞作业的其它设备中，也应属于本发明的涵盖范围。
在一些实施例中，该方法至少由S101~S104构成。下面根据图1、2描述对S101~S104的构成进行进一步的示例性描述。
S101，以设定的监控区域为采集依据，在静态背景下至少获取若干帧水面图像以形成背景帧库。
在一些实施例中，静态背景即相机处于静止状态进行画面拍摄，相机在实际场景中可以基于驱动控制可移动地架设在挖掘机上，以便通过移动相机以切换至其它监控区域。这里所描述的监控区域表示相机当前的取景面积，也即拍摄图像的面积，由预先调节至一标准大小以进行拍摄。
在一些实施例中，可以将一初始的监控区域细化（如切分）为多个子监控区域，而每一个子监控区域在实际应用中即表示一个监控区域。
实际应用场景下，监控区域内不可避免地存在一些无效画面，例如远景画面中可能存在的天空、河岸、树木等，为了降低误检率，提升识别效率，在一些实施例中，加入人机交互的操作，即由用户直接在初始的监控区域中标记出有效的水面监控区域，以将用户手动标记的区域确认为有效的监控区域。用户在当前画面中依次手动的拾取多个点（一般为大于或等于四个点），构成一个多边形，根据形成的该多边形生成其外接矩形，并根据该外接矩形识别该多边形是否在有效区域内，若是则将其确认为有效的监控区域。如图5所示，在这里选取五个点构成五边形 ABCDE，通过选取这个多边形的最上边、最下边、最左边和最右边的点得到这个多边形的外接矩形A’B’C’D’。对外接矩形A’B’C’D’内的任意点O，若满足，则认为是有效的监控区域。
这里所描述的若干帧水面图像是基于相机拍摄的视频所获取的图像帧，将获取的这些图像帧存储至背景帧库中。为了提升数据的稳定性，获取的水面图像帧数越多越好，在一个具体的实施例中，例如获取了超出600帧的水面图像。
S102，分别对所述背景帧库中的每帧水面图像进行相同位置下的像素累计分析以计算出各位置中像素值趋同数量最多的像素，将该像素作为对应位置下的背景像素，形成初始的水面背景模型。
这里所描述的像素值优选表示的是灰度值[0，255]，应理解在此之前需要将各帧水面图像转至灰度图像。所描述的“趋同”表示为灰度值相同或者在一定的阈值区间内。
如图3所示，统计拍摄视频中前m帧的水面图像数据以作为背景帧库，每一帧水面图像由若干个像素构成，每一个像素代表一个位置，以左上角第一个像素为例，对m帧水面图像在该位置下的像素值进行累计分析（例如以生成直方图的形式进行分析）以进行趋同判断，设m帧水面图像在该位置下的像素值分别为[a1 ,a2,a3,…, am]，则计算出这些像素值中趋同数量最多的像素值（当“趋同”表示为灰度值在一定的阈值区间内时，可将其中各位置下的任一灰度值或者各灰度值的平均数作为该位置下的像素值），以将该像素值作为该位置下的背景像素值，从而将该像素作为对应位置下的背景像素。当所有位置的像素趋同判断结束后，以各背景像素值融合后的水面图像作为初始的水面背景模型。
S103，实时状态下，对获取的相邻两帧水面图像进行差分处理以区分出变化区域与恒定区域，将恒定区域更新至所述背景帧库中。
所描述的相邻两帧水面图像指在前m帧水面图像之后的帧，可以理解为监控区域内的实时帧。通过差分处理以识别出相邻两帧水面图像中的变化区域与恒定区域，恒定区域即没有发生变化的区域。
在一个实施例中，如图4所示，设差分处理后得出帧n与帧n+1的变化区域分别为各自对应的
f 1
-f 5 ，监控区域中去掉
f 1
-f 5 之后的剩余区域为恒定区域，则认为恒定区域为背景区域，则将其更新至背景帧库中。
在一个实施例中，对获取的相邻两帧水面图像进行差分处理时，具体处理过程如下：设监控区域的像素面积为n，在t时刻，监控区域的上一帧像素值是Bi(t)，当前帧的像素值是Fi(t) ，差分图像的累计变化方差为Mi(t)，彼此具有如下关系式：；其中，当监控区域的状态恒定时，Mi(t)的值趋向为0；当发生变化时，Mi(t)的值将会迅速增加。因此，可以用Mi(t)的值的变化情况直观的反应监控区域内漂浮物变化的情况。将监控区域内的恒定区域更新至背景帧库中，将监控区域内的变化区域暂时性认为是漂浮物运动区域，具体结果等待S104的进一步确认。
S104，将变化区域与所述水面背景模型进行拟合，以区分出所述变化区域在所述水面背景模型中覆盖的是背景区域还是漂浮物运动区域，若是背景区域则更新至所述背景帧库中，若是漂浮物运动区域则不进行更新。
如图4所示，将变化区域
f 1
-f 5 与水面背景模型进行拟合，以区分出变化区域
f 1
-f 5 在水面背景模型中对应覆盖的是背景区域还是漂浮物运动区域，假设区分出
f 4
、f 5 在水面背景模型中早已存在，即对应覆盖的是背景区域，则认为
f 4
、f 5 在实时状态下的变化区域并不是漂浮物运动区域，而可能是由于多个漂浮物运动产生干扰、阴影遮挡以及光照强度变化的影响所产生的误识别变化区域，因此将该区域更新至背景帧库中；相反假设区分出
f 1
、f 2
、
f 3 在水面背景模型中不存在，即认为对应覆盖的是漂浮物运动区域，则不将其对应的区域更新至背景帧库中。其中，所确定的漂浮物运动区域即为在图像中的目标位置。
在一个实施例中，虽然Mi(t)能够直接得到监控内状态变化的有用信息，但是容易受到多个漂浮物运动产生干扰、阴影遮挡以及光照强度变化的影响，很有可能产生错误的判断信息。为了避免这种情况的发生，提高检测方法的可利用率，必须充分考虑一些其它的有用的数据特征，对Mi(t)值进行一个校正和确认。在产生阴影遮挡时，图像像素变化的范围相对集中，差分图像的方差较小；在光照强度发生变化时，即使前景值（当前帧）发生了明显的变化，但前景与背景（水面背景模型）的比值仍然趋近于0。因此可以引入一个总的权衡校正因子ji(t)，产生阴影遮挡的影响因子为Yi（t），产生光照强度变化的影响因子为Gi(t)，ji(t)、Yi（t）以及Gi(t)彼此具有如下关系式：
；
根据返回的Mi(t)和ji(t)的值，选择是否将变化区域更新至背景帧库。由于阴影覆盖或者光照强度发生变化，同时没有发生漂浮物运动区域变化时，差分值方差 Mi(t)的值由于本身的缺陷性会迅速增大，即产生判断错误的情况，校正因子ji(t)的值会先增大到一个峰值，然后又会下降趋向于0。直到稳定下来。这种 Mi(t)变化ji(t)不变的情况，即在ji(t)稳定的情况下Mi(t)骤增或者骤减，则将变化区域更新至背景帧库，同时切换监控区域，即切换至下一个监控区域。
在一个实施例中，根据Gi(t)，ji(t)、Yi（t）以及Gi(t)之间的数学模型可知，有漂浮物进出区域变化时，都会引起差分值方差Mi(t)和校正因子ji(t)迅速增大，增长到一定值后，在达到峰值后趋于稳定，或者有缓慢变化基本忽略不计。这种情况下，切换监控区域，同时更新该区域的背景。如果ji(t)与Mi(t)稳定的趋于0，这种情况下说明监控区域的状态没有发生变化，无需切换监控区域，同时更新该区域的背景。根据初始的监控状态以及实时区域状态判定，可以大致得到整个监控区域漂浮物实时分布情况，为后续漂浮物的打捞提供了准确的输入条件。
在一些实施例中，具体可以是在S101中，需要对获取的若干帧水面图像进行图像预处理，它的作用的是尽可能的减少或者消除噪声，降低后面数据处理的误差率。在图像预处理中，经常使用的方法是平滑滤波方法，最理想的情况是既能相处这些噪声，又能使漂浮物垃圾的轮廓和线条尽可能的清晰。这里采用中值滤波的方法，设定一个含有奇数个点的滑动窗口，求窗口中每个点的中值，替换掉指定点的灰度值。元素为奇数个时，中值为排序后中间的数值，元素为偶数个时，中值为排序后中间两个元素的平均灰度值。
本发明通过对水面背景的有效建模，极大程度上增强了漂浮物的可识别能力和可识别效率，避免由于水面上多个漂浮物运动产生干扰、阴影遮挡以及光照强度变化的影响从而导致的漂浮物识别过程中错误的判断信息，为后面的定位和漂浮物的捞取工作奠定了基础。并且通过将本发明的识别方法主要应用于水面漂浮物的打捞作业，帮助挖掘机准确迅速的识别水面垃圾漂浮物，便于后续将识别定位后的位置信息发送给挖掘机运动系统控制器进行漂浮物打捞作业。
参考图6所示，本发明其中一方面提供了一种背景自适应的水面漂浮物自动识别装置，用于挖掘机漂浮物打捞作业。
在一些实施例中，所述装置至少由背景帧库形成模块201、背景帧库202、初始水面模型构建模块203、帧差处理模块204、第一背景帧更新模块205、背景拟合模块206以及第二背景帧更新模块207构成。
其中，背景帧库形成模块201被配置为以设定的监控区域为采集依据，在静态背景下至少获取若干帧水面图像以形成背景帧库。
其中，背景帧库202被配置为存储若干帧水面图像。
其中，初始水面模型构建模块203被配置为：分别对所述背景帧库202中的每帧水面图像进行相同位置下的像素累计分析以计算出各位置中像素值趋同数量最多的像素，将该像素作为对应位置下的背景像素，形成初始的水面背景模型。
其中，帧差处理模块204被配置为在实时状态下，对获取的相邻两帧水面图像进行差分处理以区分出变化区域与恒定区域；
其中，第一背景帧更新模块205被配置为将所述恒定区域更新至所述背景帧库202中。
其中，背景拟合模块206被配置为将变化区域与所述水面背景模型进行拟合，以区分出所述变化区域在所述水面背景模型中覆盖的是背景区域还是漂浮物运动区域。
其中，第二背景帧更新模块207被配置为所述水面背景模型中覆盖的是背景区域时将其更新至所述背景帧库202中，若是漂浮物运动区域则不进行更新。
在一些实施例中，所述帧差处理模块204被进一步配置为：设监控区域的像素面积为n，在t时刻，监控区域的上一帧像素值是Bi(t)，当前帧的像素值是Fi(t) ，差分图像的累计变化方差为Mi(t)，彼此具有如下关系式：；其中，当监控区域的状态恒定时，Mi(t)的值趋向为0；当发生变化时，Mi(t)的值将会迅速增加。
在一些实施例中，所述背景拟合模块206被进一步配置为：设引入的权衡校正因子为ji(t)，产生阴影遮挡的影响因子为Yi（t），产生光照强度变化的影响因子为Gi(t)，彼此具有如下关系式：
；
其中，所述第二背景帧更新模块207被进一步配置为：根据返回的Mi(t)和ji(t)的值，选择是否将变化区域更新至所述背景帧库，如果在ji(t)稳定的情况下Mi(t)骤增或者骤减，则更新。
在一些实施例中，所述装置还包括：监控区域切换模块208，被配置为：在ji(t)稳定的情况下Mi(t)骤增或者骤减，或者，ji(t)与Mi(t)均骤增至峰值后趋于稳定的情况下切换监控区域；在ji(t)与Mi(t)稳定的趋于0情况下不切换监控区域。
在一些实施例中，所述装置还包括：人机交互模块209，被配置为将用户手动标记的区域确认为所述监控区域，具体为：根据用户在当前画面中手动拾取的多个点以形成一多边形，生成所述多边形的外接矩形，以及根据所述外接矩形识别所述多边形是否在有效区域内，若是则将其确认为所述监控区域。
参考图7所示，本发明其中一方面提供了本发明其中一方面提供了一种背景自适应的水面漂浮物自动识别装置，包括：包括存储器301和处理器302，所述存储器301用于存储计算机程序，所述处理器302用于调用所述计算机程序，以执行本发明实施例提供的一种背景自适应的水面漂浮物自动识别方法的相应步骤。
参考图8所示，本发明其中一方面提供了提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，执行本发明实施例提供的一种背景自适应的水面漂浮物自动识别方法的相应步骤。
计算机可读存储介质包括用于在计算设备上执行计算机进程的计算机程序。在一些实施例中，计算机可读存储介质是使用信号承载介质401来提供的。所述信号承载介质401可以包括一个或多个程序指令，其当被一个或多个处理器运行时可以提供以上针对图1-2描述的功能或者部分功能。因此，例如，一种背景自适应的水面漂浮物自动识别方法中的一个或多个特征可以由与信号承载介质401相关联的一个或多个指令来承担。此外，图8中的程序指令也描述示例指令。在一些示例中，信号承载介质401可以包含计算机可读介质402，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-onlymemory，ROM)或随机存储记忆体(randomaccessmemory，RAM)等等。
在一些实施方式中，信号承载介质401可以包含计算机可记录介质403，诸如但不限于，存储器、读/写(R/W)CD、R/WDVD、等等。
在一些实施方式中，信号承载介质401可以包含通信介质404，诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。
信号承载介质401可以由无线形式的通信介质404(例如，遵守IEEE802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令可以是，例如，计算机可执行指令或者逻辑实施指令。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种背景自适应的水面漂浮物自动识别方法，用于挖掘机漂浮物打捞作业，其特征在于，所述方法包括：
以设定的监控区域为采集依据，在静态背景下至少获取若干帧水面图像以形成背景帧库；
分别对所述背景帧库中的每帧水面图像进行相同位置下的像素累计分析以计算出各位置中像素值趋同数量最多的像素，将该像素作为对应位置下的背景像素，形成初始的水面背景模型；
实时状态下，对获取的相邻两帧水面图像进行差分处理以区分出变化区域与恒定区域，将恒定区域更新至所述背景帧库中；以及
将变化区域与所述水面背景模型进行拟合，以区分出所述变化区域在所述水面背景模型中覆盖的是背景区域还是漂浮物运动区域，若是背景区域则更新至所述背景帧库中，若是漂浮物运动区域则不进行更新。
2.根据权利要求1所述的水面漂浮物自动识别方法，其特征在于，对获取的相邻两帧水面图像进行差分处理，包括：
设监控区域的像素面积为n，在t时刻，监控区域的上一帧像素值是Bi(t)，当前帧的像素值是Fi(t) ，差分图像的累计变化方差为Mi(t)，彼此具有如下关系式：
；
其中，当监控区域的状态恒定时，Mi(t)的值趋向为0；当发生变化时，Mi(t)的值将会迅速增加。
3.根据权利要求2所述的水面漂浮物自动识别方法，其特征在于，将变化区域与所述水面背景模型进行拟合，包括：
设引入的权衡校正因子为ji(t)，产生阴影遮挡的影响因子为Yi（t），产生光照强度变化的影响因子为Gi(t)，彼此具有如下关系式：
；
根据返回的Mi(t)和ji(t)的值，选择是否将变化区域更新至所述背景帧库，如果在ji(t)稳定的情况下Mi(t)骤增或者骤减，则更新。
4.根据权利要求3所述的水面漂浮物自动识别方法，其特征在于，所述方法还包括：
在至少以下两种情况下切换监控区域：
在ji(t)稳定的情况下Mi(t)骤增或者骤减；
ji(t)与Mi(t)均骤增至峰值后趋于稳定；
在至少以下一种情况下不切换监控区域：
ji(t)与Mi(t)稳定的趋于0。
5.根据权利要求1-4任一项所述的水面漂浮物自动识别方法，其特征在于，所述方法还包括：
将用户手动标记的区域确认为所述监控区域，具体为：根据用户在当前画面中手动拾取的多个点以形成一多边形，生成所述多边形的外接矩形，以及根据所述外接矩形识别所述多边形是否在有效区域内，若是则将其确认为所述监控区域。
6.一种背景自适应的水面漂浮物自动识别装置，用于挖掘机漂浮物打捞作业，其特征在于，所述装置包括：
背景帧库形成模块，被配置为以设定的监控区域为采集依据，在静态背景下至少获取若干帧水面图像以形成背景帧库；
背景帧库，被配置为存储若干帧水面图像；
初始水面模型构建模块，被配置为：分别对所述背景帧库中的每帧水面图像进行相同位置下的像素累计分析以计算出各位置中像素值趋同数量最多的像素，将该像素作为对应位置下的背景像素，形成初始的水面背景模型；
帧差处理模块，被配置为在实时状态下，对获取的相邻两帧水面图像进行差分处理以区分出变化区域与恒定区域；
第一背景帧更新模块，被配置为将所述恒定区域更新至所述背景帧库中；以及
背景拟合模块，被配置为将变化区域与所述水面背景模型进行拟合，以区分出所述变化区域在所述水面背景模型中覆盖的是背景区域还是漂浮物运动区域；
第二背景帧更新模块，被配置为所述水面背景模型中覆盖的是背景区域时将其更新至所述背景帧库中，若是漂浮物运动区域则不进行更新。
7.根据权利要求6所述的水面漂浮物自动识别装置，其特征在于，所述帧差处理模块被进一步配置为：
设监控区域的像素面积为n，在t时刻，监控区域的上一帧像素值是Bi(t)，当前帧的像素值是Fi(t) ，差分图像的累计变化方差为Mi(t)，彼此具有如下关系式：
；
其中，当监控区域的状态恒定时，Mi(t)的值趋向为0；当发生变化时，Mi(t)的值将会迅速增加。
8.根据权利要求7所述的水面漂浮物自动识别装置，其特征在于，所述背景拟合模块被进一步配置为：设引入的权衡校正因子为ji(t)，产生阴影遮挡的影响因子为Yi（t），产生光照强度变化的影响因子为Gi(t)，彼此具有如下关系式：
；
其中，所述第二背景帧更新模块被进一步配置为：根据返回的Mi(t)和ji(t)的值，选择是否将变化区域更新至所述背景帧库，如果在ji(t)稳定的情况下Mi(t)骤增或者骤减，则更新。
9.根据权利要求8所述的水面漂浮物自动识别装置，其特征在于，所述装置还包括：
监控区域切换模块，被配置为：在ji(t)稳定的情况下Mi(t)骤增或者骤减，或者，ji(t)与Mi(t)均骤增至峰值后趋于稳定的情况下切换监控区域；在ji(t)与Mi(t)稳定的趋于0情况下不切换监控区域。
10.根据权利要求6-9任一项所述的水面漂浮物自动识别装置，其特征在于，所述装置还包括：
人机交互模块，被配置为将用户手动标记的区域确认为所述监控区域，具体为：根据用户在当前画面中手动拾取的多个点以形成一多边形，生成所述多边形的外接矩形，以及根据所述外接矩形识别所述多边形是否在有效区域内，若是则将其确认为所述监控区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211670524.2A CN115937783B (zh) | 2022-12-26 | 2022-12-26 | 背景自适应的水面漂浮物自动识别方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211670524.2A CN115937783B (zh) | 2022-12-26 | 2022-12-26 | 背景自适应的水面漂浮物自动识别方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115937783A true CN115937783A (zh) | 2023-04-07 |
| CN115937783B CN115937783B (zh) | 2024-10-15 |
Family
ID=86697569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211670524.2A Active CN115937783B (zh) | 2022-12-26 | 2022-12-26 | 背景自适应的水面漂浮物自动识别方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937783B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715070A (zh) * | 2009-11-16 | 2010-05-26 | 南京邮电大学 | 特定监控视频中的背景自动更新方法 |
| CN102833464A (zh) * | 2012-07-24 | 2012-12-19 | 常州泰宇信息科技有限公司 | 智能视频监控用结构化背景重建方法 |
| CN104616290A (zh) * | 2015-01-14 | 2015-05-13 | 合肥工业大学 | 一种统计矩阵模型和自适应阈值相结合的目标检测算法 |
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| CN110084129A (zh) * | 2019-04-01 | 2019-08-02 | 昆明理工大学 | 一种基于机器视觉的河流漂浮物实时检测方法 |
| LU101981B1 (en) * | 2020-04-12 | 2021-05-18 | Univ Nanjing Sci & Tech | Traffic video background modeling method and system |
| CN113850153A (zh) * | 2021-09-06 | 2021-12-28 | 四川华能宝兴河水电有限责任公司 | 一种水面漂浮物识别与路线获取方法 |
-
2022
- 2022-12-26 CN CN202211670524.2A patent/CN115937783B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715070A (zh) * | 2009-11-16 | 2010-05-26 | 南京邮电大学 | 特定监控视频中的背景自动更新方法 |
| CN102833464A (zh) * | 2012-07-24 | 2012-12-19 | 常州泰宇信息科技有限公司 | 智能视频监控用结构化背景重建方法 |
| CN104616290A (zh) * | 2015-01-14 | 2015-05-13 | 合肥工业大学 | 一种统计矩阵模型和自适应阈值相结合的目标检测算法 |
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| CN110084129A (zh) * | 2019-04-01 | 2019-08-02 | 昆明理工大学 | 一种基于机器视觉的河流漂浮物实时检测方法 |
| LU101981B1 (en) * | 2020-04-12 | 2021-05-18 | Univ Nanjing Sci & Tech | Traffic video background modeling method and system |
| CN113850153A (zh) * | 2021-09-06 | 2021-12-28 | 四川华能宝兴河水电有限责任公司 | 一种水面漂浮物识别与路线获取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 朱明旱, 罗大庸, 曹倩霞: "帧间差分与背景差分相融合的运动目标检测算法", 计算机测量与控制, no. 03, 25 March 2005 (2005-03-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115937783B (zh) | 2024-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | AI-empowered speed extraction via port-like videos for vehicular trajectory analysis | |
| US11288818B2 (en) | Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning | |
| CN111724439B (zh) | 一种动态场景下的视觉定位方法及装置 | |
| KR20200007084A (ko) | 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템 | |
| CN101888479B (zh) | 检测和跟踪目标图像的方法及装置 | |
| CN104063885A (zh) | 一种改进的运动目标检测与跟踪方法 | |
| CN106327488B (zh) | 一种自适应的前景检测方法及其检测装置 | |
| CN113052876A (zh) | 一种基于深度学习的视频接力跟踪方法及系统 | |
| CN112561946A (zh) | 一种动态目标检测方法 | |
| CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及系统 | |
| CN112802196A (zh) | 基于点线特征融合的双目惯性同时定位与地图构建方法 | |
| CN114757977A (zh) | 融合改进光流和目标检测网络的移动物体轨迹提取方法 | |
| CN111026115A (zh) | 一种基于深度学习的机器人避障控制方法及装置 | |
| Kumar et al. | Real time target tracking with pan tilt zoom camera | |
| Roy et al. | A comprehensive survey on computer vision based approaches for moving object detection | |
| CN111753693A (zh) | 一种静态场景下目标检测方法 | |
| Li et al. | Intelligent transportation video tracking technology based on computer and image processing technology | |
| CN114429489A (zh) | 基于多核相关滤波融合的移动机器人目标遮挡跟踪方法 | |
| CN111105429A (zh) | 一种一体化无人机检测方法 | |
| CN116901089B (zh) | 一种多角度视距的机器人控制方法及系统 | |
| CN111199177A (zh) | 一种基于鱼眼图像校正的汽车后视行人检测报警方法 | |
| CN111815682B (zh) | 一种基于多轨迹融合的多目标跟踪方法 | |
| CN115937783B (zh) | 背景自适应的水面漂浮物自动识别方法及其装置 | |
| CN113936242B (zh) | 一种视频图像干扰检测方法、系统、设备以及介质 | |
| CN115393655A (zh) | 基于YOLOv5s网络模型的工业运载车的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |