CN117876538B - 一种垃圾发电厂可视化管理方法及系统 - Google Patents
一种垃圾发电厂可视化管理方法及系统 Download PDFInfo
- Publication number
- CN117876538B CN117876538B CN202410268571.7A CN202410268571A CN117876538B CN 117876538 B CN117876538 B CN 117876538B CN 202410268571 A CN202410268571 A CN 202410268571A CN 117876538 B CN117876538 B CN 117876538B
- Authority
- CN
- China
- Prior art keywords
- image data
- target object
- data
- characteristic data
- adjustment coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 38
- 238000007726 management method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000012544 monitoring process Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012806 monitoring device Methods 0.000 claims abstract description 23
- 238000005286 illumination Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000002699 waste material Substances 0.000 claims 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种垃圾发电厂可视化管理方法及系统。所述方法包括：接收多个监控设备采集的视频图像数据，根据视频图像数据识别得出目标对象，并提取与目标对象相关的特征数据；根据特征数据评估目标对象的易辨别指标，在易辨别指标低于预设值时，提取与目标对象相关的第一图像数据和第二图像数据；以第二图像数据为基础进行建模处理得到第三图像数据，将第一图像数据和第三图像数据对准后进行合成处理，得到第四图像数据；将第四图像数据在监控设备中输出。本发明将目标对象实景图像数据与背景物的虚拟图像数据进行合成，使得不易辨别的目标对象的易辨别指标得到提高，有利于监控人员的及时察觉，进而提高垃圾发电厂的可视化监控效果。
Description
技术领域
本发明涉及发电厂安全监控技术领域，具体而言，涉及一种垃圾发电厂可视化管理方法及系统。
背景技术
垃圾发电厂属于特种区域，需要进行监控设备布控及可视化管理，但是目前仍然是采用视频监控进行特定区域的视频采集，并在监控中心的监控墙上以特定的显示格进行输出，监控人员在监控中心进行人工“巡视”。显然，这种可视化方式需要耗费监控人员特别大的精力，而且电厂中会存在照明不佳、亮度过高、对象物特别杂多等区域，在目标对象进入这些区域时，容易因上述原因而无法被监控人员发现，导致危险情况容易被忽视或错过。本发明旨在解决上述技术问题，以提升垃圾发电厂的监控效果。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供了一种垃圾发电厂可视化管理方法、系统、电子设备及存储介质，提升对垃圾发电厂的可视化监控效果。
本发明的第一方面提供了一种垃圾发电厂可视化管理方法，包括如下步骤：
接收多个监控设备采集的视频图像数据，根据所述视频图像数据识别得出目标对象，并提取与所述目标对象相关的特征数据；
根据所述特征数据评估所述目标对象的易辨别指标，在所述易辨别指标低于预设值时，提取与所述目标对象相关的第一图像数据和第二图像数据；
以所述第二图像数据为基础进行建模处理得到第三图像数据，将所述第一图像数据和所述第三图像数据对准后进行合成处理，得到第四图像数据；
将所述第四图像数据在监控设备中输出。
在一些实施例中，所述根据所述视频图像数据识别得出目标对象，并提取与所述目标对象相关的特征数据，包括：
根据所述视频图像数据确定光照场景类别，根据所述光照场景类别确定得出第一类对象集或第二类对象集；
从所述视频图像数据中提取得出若干对象，将其与对应的所述第一类对象集或所述第二类对象集进行匹配计算；
在匹配计算结果为不空时，将所述对象确定为所述目标对象，提取与所述目标对象相关的特征数据。
在一些实施例中，所述提取与所述目标对象相关的特征数据，包括：
根据所述视频图像数据提取所述目标对象的第一特征数据；
根据所述第一特征数据预测得出监控范围，提取得出所述监控范围内的背景物的第二特征数据。
在一些实施例中，所述根据所述特征数据评估所述目标对象的易辨别指标，包括：
将所述第一特征数据和所述第二特征数据输入深度模型，得出第一易辨别指标；
提取同时检测到所述目标对象的所述监控设备的覆盖特征数据，根据所述覆盖特征数据计算得出调整系数；
使用所述调整系数对所述第一易辨别指标进行调整处理，得出第二易辨别指标，将其作为所述目标对象的易辨别指标。
在一些实施例中，所述根据所述覆盖特征数据计算得出调整系数，包括：
根据所述覆盖特征数据中的覆盖数量计算得出第一调整系数，根据所述覆盖特征数据中的覆盖角度分布数据计算得出第二调整系数；
融合所述第一调整系数和所述第二调整系数得出所述调整系数。
在一些实施例中，所述提取与所述目标对象相关的第一图像数据和第二图像数据，包括：
根据所述目标对象的所述第一特征数据确定第一范围，根据所述第一范围确定第五图像数据；
计算所述目标对象的所述第一特征数据与所述第一范围内的其它对象的第三特征数据的运动状态接近度，根据所述运动状态接近度确定得出第三调整系数；
使用所述第三调整系数和所述第一范围确定得出第二范围，根据所述第二范围从所述第五图像数据中确定得出第一图像数据，将所述第五图像数据中剩余部分确定为所述第二图像数据。
在一些实施例中，所述以所述第二图像数据为基础进行建模处理得到第三图像数据，包括：
识别所述第二图像数据中的多个背景物，评估各所述背景物的重要度；
根据所述重要度确定各所述背景物的建模处理细粒度，根据所述建模处理细粒度对所述第二图像数据中的各所述背景物进行建模处理得到所述第三图像数据。
本发明的第二方面提供了一种垃圾发电厂可视化管理系统，包括通信模块、处理模块、存储模块和可视化输出模块，所述处理模块与所述存储模块、所述通信模块和所述可视化输出模块连接；其中，
所述通信模块，用于接收多个监控设备采集的视频图像数据，并将其传输给所述处理模块；
所述存储模块，用于存储可执行的计算机程序代码；
所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如前任一项所述的方法，以生成经过建模及合成处理的图像数据，并传输给所述可视化输出模块；
所述可视化输出模块，用于根据所述处理模块的控制指令将所述图像数据输出。
本发明的第三方面提供了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。
本发明的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
本发明通过将目标对象的实景图像数据与背景物的虚拟图像数据进行了合成，利用建模处理后的虚拟图像数据的高易辨别性，而间接使得本不易辨别的目标对象的易辨别指标得到提高，有利于监控人员的及时察觉、辨别，进而提高垃圾发电厂的可视化监控效果。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本发明实施例公开的一种垃圾发电厂可视化管理方法的流程示意图；
图2是本发明实施例公开的一种垃圾发电厂可视化管理系统的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
请参阅图1，本发明实施例公开了一种垃圾发电厂可视化管理方法，包括如下步骤：
接收多个监控设备采集的视频图像数据，根据所述视频图像数据识别得出目标对象，并提取与所述目标对象相关的特征数据；
根据所述特征数据评估所述目标对象的易辨别指标，在所述易辨别指标低于预设值时，提取与所述目标对象相关的第一图像数据和第二图像数据；
以所述第二图像数据为基础进行建模处理得到第三图像数据，将所述第一图像数据和所述第三图像数据对准后进行合成处理，得到第四图像数据；
将所述第四图像数据在监控设备中输出。
相比于仅将采集得到的实时视频图像数据对监控人员进行输出的传统监控方式，本发明首先判断实时视频图像数据中的目标对象的易辨别指标是否过低，在确认易辨别指标过低时，说明该目标对象可能因为照明不佳、亮度过高、对象物特别杂多、外观与背景接近等原因而不容易被监控人员发现；此时，本发明将与目标对象相关的实景图像数据和其它背景物的实景图像数据均提取出来，但仅对其它背景物的实景图像数据进行建模处理，然后再将建模处理后的图像数据和与目标对象相关的实景图像数据按照原位置合成为一副新的图像后在监控设备处输出。于是，本发明通过将目标对象的实景图像数据与背景物的虚拟图像数据进行合成，利用建模处理后的虚拟图像数据的高易辨别性，而间接使得本不易辨别的目标对象的易辨别指标得到提高，有利于监控人员的及时察觉、辨别，进而提高垃圾发电厂的可视化监控效果。
通过上述虚实结合的图像处理方式可以实现目标对象的突出显示，同时还可以对背景物的建模风格，素描、版画、油画、黑白、动漫等。举例来说，在进行风格选择时，可根据目标对象实际的特征数据而定，例如在目标对象穿着的衣服色彩艳丽时，可将背景物建模为黑白风格；在目标对象因照明不佳而亮度不够时，可将背景物的建模风格选择为动漫。如此设置，便可以根据目标对象的具体情况而选择合适的建模风格，进而确保目标对象在输出的第四图像数据中处于足够高的易辨别性。
在一些实施例中，所述根据所述视频图像数据识别得出目标对象，并提取与所述目标对象相关的特征数据，包括：
根据所述视频图像数据确定光照场景类别，根据所述光照场景类别确定得出第一类对象集或第二类对象集；
从所述视频图像数据中提取得出若干对象，将其与对应的所述第一类对象集或所述第二类对象集进行匹配计算；
在匹配计算结果为不空时，将所述对象确定为所述目标对象，提取与所述目标对象相关的特征数据。
在本实施例中，数据库中预先存储了几种类型的目标对象，这些目标对象是针对垃圾发电厂的实际情况而确定的，例如垃圾运输车、安保人员、技术人员等，而且这些目标对象因颜色、纹理、个体大小等原因而不容易被监控人员识别发现。从视频图像数据中可以提取得出多个对象物，然后将其与数据库中预存的各类型的对象模板进行匹配，如果存在匹配结果，则说明监控设备采集的图像中包含这类不易被识别的对象，需要对其进行上述可视化处理，进而将其作为目标对象并获取其特征数据。
另外，由于光照条件会因时段、场所而发生较大变化，进而会影响到对于类型对象的准确识别的难度，例如垃圾运输车尺寸较大，受光照条件的影响较小，但身着黑色制服的安保人员在夜间则容易被忽视。所以，本发明还将数据库中存储的多种类型的目标对象按照光照场景类别进行分类，例如可分为良好光照场景和非良好光照场景，二者对应着各自光照场景下难以被准确识别的对象类型。
在一些实施例中，所述提取与所述目标对象相关的特征数据，包括：
根据所述视频图像数据提取所述目标对象的第一特征数据；
根据所述第一特征数据预测得出监控范围，提取得出所述监控范围内的背景物的第二特征数据。
在本实施例中，目标对象的易辨别指标与目标对象自身特征和其所处区域的背景物的特征共同相关，所以，本发明对上述二者特征数据均进行提取。其中，背景物可以是目标对象当前所处区域内的背景物，也可以是根据目标对象的运动数据（如位置、运动方向、运动速度等）预测得出目标对象在短时未来将要进入的区域。而且，未来将要进入的该区域可以是位于同一监控设备视角中，也可以是位于不同监控设备视角中，本发明对此不作限定。
如此设置，可以预先分析目标对象在未来将要进入的区域内的易辨别指标，在易辨别指标较低（例如区域中的背景物与目标对象物的纹理、颜色等方面的相似度过高）时，可以预先进行上述的建模及合成处理，有利于提高响应速度，而且可以获得受干扰影响前目标对象的实景图像，更有利于监控人员的后续辨别。
在一些实施例中，所述根据所述特征数据评估所述目标对象的易辨别指标，包括：
将所述第一特征数据和所述第二特征数据输入深度模型，得出第一易辨别指标；
提取同时检测到所述目标对象的所述监控设备的覆盖特征数据，根据所述覆盖特征数据计算得出调整系数；
使用所述调整系数对所述第一易辨别指标进行调整处理，得出第二易辨别指标，将其作为所述目标对象的易辨别指标。
在本实施例中，目标对象的易辨别指标与目标对象自身特征和其所处区域的背景物的特征共同相关，且是多样且复杂的。所以，本发明使用经过充分训练的深度模型来预测目标对象在其区域中的第一易辨别指标。深度模型优选使用神经网络算法构建，例如卷积神经网络（CNN）、循环神经网络（RNN）、前向神经网络（FNN）、对抗神经网络、图神经网络等。
同时，由于本发明中的易辨别指标指的是监控人员在监控视频图像中辨别出目标对象的人眼辨别能力，而监控人员通常还会基于多个监控设备来对目标对象进行综合判断。对此，本发明对区域内的多个监控设备的视频图像数据进行处理分析，进而确定出同时检测到该目标对象的监控设备的覆盖特征数据，据此计算得出针对上述第一易辨别指标的调整系数，综合得出更为准确的第二易辨别指标。
其中，上述第一特征数据指的是由正对目标对象的监控设备采集的视频图像数据提取得出的特征数据，包括形体轮廓、颜色、纹理、尺寸等外在特征，以及位置、运动方向、运动速度等运动特征。对应地，上述调整系数反映的是监控人员通过多个覆盖了目标对象的监控设备能够对目标对象进行辨别的概率。显然，根据覆盖特征数据计算得出的调整系数越大，表明监控人员辅以其它监控设备的视频图像数据辨别出目标对象的概率越大，使用其可将深度模型预测得出的第一易辨别指标适当调大；反之，则表明监控人员辅以其它监控设备的视频图像数据辨别出目标对象的概率越小，使用其可将深度模型预测得出的第一易辨别指标适当调小或不调整。
在一些实施例中，所述根据所述覆盖特征数据计算得出调整系数，包括：
根据所述覆盖特征数据中的覆盖数量计算得出第一调整系数，根据所述覆盖特征数据中的覆盖角度分布数据计算得出第二调整系数；
融合所述第一调整系数和所述第二调整系数得出所述调整系数。
在本实施例中，覆盖特征数据中包括覆盖数量和覆盖角度分布数据，覆盖数量指的是同时检测到目标对象的监控设备的数量，覆盖角度分布数据指的是上述这些监控设备相互间的相对于目标对象的角度的表征值，具体地，将各监控设备与目标对象所处位置进行连线得到放射状连线组，相邻连线间的角度即可轻易算出，再融合计算这些角度即可得出用于表征整体角度分布情况的覆盖角度分布数据。覆盖数量越多，则监控人员可以辅以更多监控设备的视频图像数据对目标对象进行辨别，辨别成功的概率也就越大，反之则辨别成功的概率也就越小；表征整体角度分布情况的覆盖角度分布数据越大，说明多个监控设备对于目标对象的拍摄角度差距越大，所得到的视频监控数据相对于目标对象的视角也就差距越大，这样更有利于监控人员辅以更多不同视角的监控设备的视频图像数据对目标对象进行辨别，辨别成功的概率也就越大，反之则辨别成功的概率也就越小。最后，再将第一调整系数和第二调整系数进行融合即可得出调整系数。调整系数可以是第一调整系数与第二调整系数的乘积值，也可以是加权均值。
其中，覆盖角度分布数据可以是各两两相邻角度之间的差值的累积值，累积值越大，则多个监控设备的分布越广泛。
在一些实施例中，所述提取与所述目标对象相关的第一图像数据和第二图像数据，包括：
根据所述目标对象的所述第一特征数据确定第一范围，根据所述第一范围确定第五图像数据；
计算所述目标对象的所述第一特征数据与所述第一范围内的其它对象的第三特征数据的运动状态接近度，根据所述运动状态接近度确定得出第三调整系数；
使用所述第三调整系数和所述第一范围确定得出第二范围，根据所述第二范围从所述第五图像数据中确定得出第一图像数据，将所述第五图像数据中剩余部分确定为所述第二图像数据。
在本实施例中，第一特征数据中可包括形体轮廓这一外在特征，还包括其运动数据。首先，根据形体轮廓可以确定出目标对象本体所处的区位，据此可以确定出用于进行建模及合成处理的整幅图像的范围即第一范围，第一范围内的图像即为第五图像数据。然后，再计算目标对象与周围其它对象的运动状态接近度，运动状态接近度可表征对象之间的运动接近程度，例如，运动速度接近、始终处于一定距离内、运动方向相同等，运动接近程度越高，说明其与目标对象的伴随概率越大，将其作为目标对象相关对象，并且需要对其也进行实景输出，不宜处理为特征不明显的背景物。具体实施时，可根据运动状态接近度确定得出适宜的第三调整系数，以目标对象所处的区位为基准从第五图像数据中确定得出第二范围，将第二范围内的第一图像数据作为目标对象的实景数据。显然，目标对象的该第一图像数据中既包括了目标对象也包括了目标对象的相关对象，相关对象可以是发电厂的其它操作人员，也可以是进入电厂的不明身份的多名人员中的至少一个。而第五图像数据中的剩余图像数据即为背景物的第二图像数据，后续对第二图像数据进行背景物提取及建模虚拟处理。
其中，第三调整系数与运动状态接近度正相关，即运动状态接近度越大，则第三调整系数也越大，这样从第一范围中确定出更大的第二范围。在确定第二范围时，可以是以目标对象所处区位为基准，按照第三调整系数向外适当扩张，但第三调整系数至少应当使得目标对象的相关对象得以覆盖在第二范围中。
提供一种该实施例的改进实施例，具体如下：
所述根据所述目标对象的第一特征数据确定第一范围，包括：
计算所述目标对象的周围所述第三范围内的其它对象的数量，根据所述数量确定所述第一范围；
其中，所述第一范围与所述数量负相关，且所述第一范围小于所述第三范围。
在目标对象的周边的其它对象的数量越少时，说明该目标对象位于偏僻、冷清区域的概率越大，此时该目标对象的行为可疑度被提高，需要进行着重关注，相应地，将其第一范围调大，即对该目标对象周边更大范围的图像数据进行前述的建模及合成处理，实现对其的突出化监控。而在目标对象的周边的其它对象的数量越多时，该目标对象的行为可疑度被降低，因为此种情况下的外来可疑人员既容易被监控人员辨别出，也容易被周边的其它对象辨别出。其中，第三范围是比第一范围更大的范围，但都是以目标对象所处区位为基准的，例如第三范围是第一范围的两倍大小。
在一些实施例中，所述以所述第二图像数据为基础进行建模处理得到第三图像数据，包括：
识别所述第二图像数据中的多个背景物，评估各所述背景物的重要度；
根据所述重要度确定各所述背景物的建模处理细粒度，根据所述建模处理细粒度对所述第二图像数据中的各所述背景物进行建模处理得到所述第三图像数据。
在本实施例中，第二图像数据是背景图像，需要将其处理为与实景具有明显差别且线条更简单的虚拟图像，例如前述的素描风格、漫画风格等，例如可以将墙体建模为仅具有数条直线的长方体（填充为浅灰色甚至不填充任何颜色）。同时，背景物中可能具有比较重要的对象，如果采用相同的建模处理细粒度，则容易导致一些重要对象过于失真，在目标对象的真正意图在于该重要对象时，不利于监控人员判断该目标对象的行为是否正当。对此，本发明首先识别得出第二图像数据中的全部背景物，并根据预设规则评估其重要度，在其重要度越高时，可设置其建模处理细粒度更高，这样可以使得处理得出的建模模型具有更多的可辨识细节，对于监控人员的辨识是很有利的；而在其重要度越低时，可设置其建模处理细粒度更低，这样可以使得建模处理效率更高，而且也可以提升虚拟化程度，使得目标对象更为突出。当然，在背景物的重要度很低时，例如常规的墙体、垃圾桶等时，可以直接以最低建模处理细粒度进行建模处理，还可以直接将那些重要度很低且尺寸很小的背景物直接删除。其中，可以预先设置垃圾发电厂内需要关注的各对象物的重要度值，存储于数据库中，这种重要度值也可以实时更新。上述的建模处理细粒度指的是在进行建模处理时的单位区域的大小，单位区域越小时建模处理细粒度越高，反之则建模处理细粒度越低。
其中，在完成对各个背景物的建模处理后，再按照各背景物在第二图像数据中的原位置进行拼接，即可得出第三图像数据。本发明中的建模可以是三维建模也可以是二维建模，而且，可设置建模处理细粒度高于阈值时，采用三维建模，反之采用二维建模。
请参阅图2，本发明实施例公开了一种垃圾发电厂可视化管理系统，包括通信模块、处理模块、存储模块和可视化输出模块，所述处理模块与所述存储模块、所述通信模块和所述可视化输出模块连接；其中，
所述通信模块，用于接收多个监控设备采集的视频图像数据，并将其传输给所述处理模块；
所述存储模块，用于存储可执行的计算机程序代码；
所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如前任一项所述的方法，以生成经过建模及合成处理的图像数据，并传输给所述可视化输出模块；
所述可视化输出模块，用于根据所述处理模块的控制指令将所述图像数据输出。
本发明实施例还公开了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。
本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前任一项所述的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种垃圾发电厂可视化管理方法，其特征在于，包括如下步骤：
接收多个监控设备采集的视频图像数据，根据所述视频图像数据识别得出目标对象，并提取与所述目标对象相关的特征数据；
根据所述特征数据评估所述目标对象的易辨别指标，在所述易辨别指标低于预设值时，提取与所述目标对象相关的第一图像数据和第二图像数据；其中，所述第一图像数据为与目标对象相关的实景图像数据，所述第二图像数据为背景物的实景图像数据；
以所述第二图像数据为基础进行建模处理得到第三图像数据，将所述第一图像数据和所述第三图像数据对准后进行合成处理，得到第四图像数据；其中，所述第三图像数据为背景物的虚拟图像数据；
将所述第四图像数据在监控设备中输出。
2.根据权利要求1所述的一种垃圾发电厂可视化管理方法，其特征在于：所述根据所述视频图像数据识别得出目标对象，并提取与所述目标对象相关的特征数据，包括：
根据所述视频图像数据确定光照场景类别，根据所述光照场景类别确定得出第一类对象集或第二类对象集；其中，所述第一类对象集对应良好光照场景下的难以被准确识别的对象类型，所述第二类对象集对应非良好光照场景下的难以被准确识别的对象类型；
从所述视频图像数据中提取得出若干对象，将其与对应的所述第一类对象集或所述第二类对象集进行匹配计算；
在匹配计算结果为不空时，将所述对象确定为所述目标对象，提取与所述目标对象相关的特征数据。
3.根据权利要求1或2所述的一种垃圾发电厂可视化管理方法，其特征在于：所述提取与所述目标对象相关的特征数据，包括：
根据所述视频图像数据提取所述目标对象的第一特征数据；
根据所述第一特征数据预测得出监控范围，提取得出所述监控范围内的背景物的第二特征数据。
4.根据权利要求3所述的一种垃圾发电厂可视化管理方法，其特征在于：所述根据所述特征数据评估所述目标对象的易辨别指标，包括：
将所述第一特征数据和所述第二特征数据输入深度模型，得出第一易辨别指标；
提取同时检测到所述目标对象的所述监控设备的覆盖特征数据，根据所述覆盖特征数据计算得出调整系数；其中，所述覆盖特征数据包括覆盖数量、覆盖角度分布数据，所述覆盖数量指的是同时检测到目标对象的监控设备的数量，所述覆盖角度分布数据指的是上述这些监控设备相互间的相对于目标对象的角度的表征值；
使用所述调整系数对所述第一易辨别指标进行调整处理，得出第二易辨别指标，将其作为所述目标对象的易辨别指标。
5.根据权利要求4所述的一种垃圾发电厂可视化管理方法，其特征在于：所述根据所述覆盖特征数据计算得出调整系数，包括：
根据所述覆盖特征数据中的覆盖数量计算得出第一调整系数，根据所述覆盖特征数据中的覆盖角度分布数据计算得出第二调整系数；
融合所述第一调整系数和所述第二调整系数得出所述调整系数。
6.根据权利要求3所述的一种垃圾发电厂可视化管理方法，其特征在于：所述提取与所述目标对象相关的第一图像数据和第二图像数据，包括：
根据所述目标对象的所述第一特征数据确定第一范围，根据所述第一范围确定第五图像数据；其中，所述第一特征数据包括目标对象的形体轮廓特征和其运动数据；
计算所述目标对象的所述第一特征数据与所述第一范围内的其它对象的第三特征数据的运动状态接近度，根据所述运动状态接近度确定得出第三调整系数；其中，所述运动状态接近度表征对象之间的运动接近程度；
使用所述第三调整系数和所述第一范围确定得出第二范围，根据所述第二范围从所述第五图像数据中确定得出第一图像数据，将所述第五图像数据中剩余部分确定为所述第二图像数据。
7.根据权利要求6所述的一种垃圾发电厂可视化管理方法，其特征在于：所述以所述第二图像数据为基础进行建模处理得到第三图像数据，包括：
识别所述第二图像数据中的多个背景物，评估各所述背景物的重要度；
根据所述重要度确定各所述背景物的建模处理细粒度，根据所述建模处理细粒度对所述第二图像数据中的各所述背景物进行建模处理得到所述第三图像数据；其中，所述建模处理细粒度指的是在进行建模处理时的单位区域的大小。
8.一种垃圾发电厂可视化管理系统，包括通信模块、处理模块、存储模块和可视化输出模块，所述处理模块与所述存储模块、所述通信模块和所述可视化输出模块连接；其中，
所述通信模块，用于接收多个监控设备采集的视频图像数据，并将其传输给所述处理模块；
所述存储模块，用于存储可执行的计算机程序代码；
其特征在于：所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如权利要求1-7任一项所述的方法，以生成经过建模及合成处理的图像数据，并传输给所述可视化输出模块；
所述可视化输出模块，用于根据所述处理模块的控制指令将所述图像数据输出。
9.一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；其特征在于：所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质，该存储介质上存储有计算机程序，其特征在于：该计算机程序被处理器运行时执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410268571.7A CN117876538B (zh) | 2024-03-11 | 2024-03-11 | 一种垃圾发电厂可视化管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410268571.7A CN117876538B (zh) | 2024-03-11 | 2024-03-11 | 一种垃圾发电厂可视化管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876538A CN117876538A (zh) | 2024-04-12 |
| CN117876538B true CN117876538B (zh) | 2024-05-31 |
Family
ID=90581531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410268571.7A Active CN117876538B (zh) | 2024-03-11 | 2024-03-11 | 一种垃圾发电厂可视化管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876538B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777180A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 基于背景建模和能量最小化的复杂背景实时替换方法 |
| CN102298709A (zh) * | 2011-09-07 | 2011-12-28 | 江西财经大学 | 复杂环境下多特征融合的节能型智能识别数字标牌 |
| CN103336971A (zh) * | 2013-07-08 | 2013-10-02 | 浙江工商大学 | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 |
| CN105096283A (zh) * | 2014-04-29 | 2015-11-25 | 华为技术有限公司 | 全景图像的获取方法和装置 |
| CN109215047A (zh) * | 2018-08-16 | 2019-01-15 | 中国科学院深海科学与工程研究所 | 基于深海视频的运动目标检测方法和装置 |
| WO2020143323A1 (zh) * | 2019-01-08 | 2020-07-16 | 平安科技（深圳）有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
| CN113222055A (zh) * | 2021-05-28 | 2021-08-06 | 新疆爱华盈通信息技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
| CN114998935A (zh) * | 2022-06-28 | 2022-09-02 | 京东方智慧物联科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN116721301A (zh) * | 2023-08-10 | 2023-09-08 | 中国地质大学（武汉） | 目标场景分类模型训练方法、分类方法、设备及存储介质 |
| CN117610901A (zh) * | 2024-01-24 | 2024-02-27 | 成都环境工程建设有限公司 | 一种用于垃圾发电厂垃圾运输车辆的调度方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930996A (zh) * | 2020-07-06 | 2020-11-13 | 北京字节跳动网络技术有限公司 | 显示方法、装置、设备及存储介质 |
-
2024
- 2024-03-11 CN CN202410268571.7A patent/CN117876538B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777180A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 基于背景建模和能量最小化的复杂背景实时替换方法 |
| CN102298709A (zh) * | 2011-09-07 | 2011-12-28 | 江西财经大学 | 复杂环境下多特征融合的节能型智能识别数字标牌 |
| CN103336971A (zh) * | 2013-07-08 | 2013-10-02 | 浙江工商大学 | 基于多特征融合与增量学习的多摄像机间的目标匹配方法 |
| CN105096283A (zh) * | 2014-04-29 | 2015-11-25 | 华为技术有限公司 | 全景图像的获取方法和装置 |
| CN109215047A (zh) * | 2018-08-16 | 2019-01-15 | 中国科学院深海科学与工程研究所 | 基于深海视频的运动目标检测方法和装置 |
| WO2020143323A1 (zh) * | 2019-01-08 | 2020-07-16 | 平安科技（深圳）有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
| CN113222055A (zh) * | 2021-05-28 | 2021-08-06 | 新疆爱华盈通信息技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
| CN114998935A (zh) * | 2022-06-28 | 2022-09-02 | 京东方智慧物联科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN116721301A (zh) * | 2023-08-10 | 2023-09-08 | 中国地质大学（武汉） | 目标场景分类模型训练方法、分类方法、设备及存储介质 |
| CN117610901A (zh) * | 2024-01-24 | 2024-02-27 | 成都环境工程建设有限公司 | 一种用于垃圾发电厂垃圾运输车辆的调度方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| "跨模态目标重识别研究综述";崔振宇等;计算机科学;20240115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876538A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
| CN112949508B (zh) | 模型训练方法、行人检测方法、电子设备及可读存储介质 | |
| CN108921022A (zh) | 一种人体属性识别方法、装置、设备及介质 | |
| CN113177968A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN114463677B (zh) | 一种基于全局注意力的安全帽配戴检测方法 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| CN110263692A (zh) | 大场景下集装箱开关门状态识别方法 | |
| CN111401246A (zh) | 一种烟雾浓度检测方法、装置、设备及存储介质 | |
| CN115170792B (zh) | 红外图像处理方法、装置及设备、存储介质 | |
| CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
| CN113221603A (zh) | 一种检测监控设备被异物遮挡的方法及装置 | |
| CN108900895B (zh) | 一种对视频流的目标区域的屏蔽方法及其装置 | |
| CN111898525B (zh) | 烟雾识别模型的构建方法、进行烟雾检测的方法及装置 | |
| CN117876538B (zh) | 一种垃圾发电厂可视化管理方法及系统 | |
| KR102366396B1 (ko) | Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템 | |
| CN112529917A (zh) | 一种三维目标分割方法、装置、设备和存储介质 | |
| CN110956097A (zh) | 遮挡人体提取方法及模块、场景转换方法及装置 | |
| CN115984712A (zh) | 基于多尺度特征的遥感图像小目标检测方法及系统 | |
| CN115995075A (zh) | 一种车辆自适应导航方法、装置、电子设备及存储介质 | |
| CN114708544A (zh) | 一种基于边缘计算的违规行为智能监测头盔及其监测方法 | |
| CN113538351B (zh) | 一种融合多参数电信号的外绝缘设备缺陷程度评估方法 | |
| CN114549809A (zh) | 手势识别方法以及相关设备 | |
| CN113870210A (zh) | 一种图像质量评估方法、装置、设备及存储介质 | |
| CN118470893B (zh) | 一种基于自适应图像识别的火灾报警远程控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |