CN116634110A - 一种基于语义编解码的夜间智能养殖监控系统 - Google Patents
一种基于语义编解码的夜间智能养殖监控系统 Download PDFInfo
- Publication number
- CN116634110A CN116634110A CN202310904731.8A CN202310904731A CN116634110A CN 116634110 A CN116634110 A CN 116634110A CN 202310904731 A CN202310904731 A CN 202310904731A CN 116634110 A CN116634110 A CN 116634110A
- Authority
- CN
- China
- Prior art keywords
- video image
- rgb
- infrared
- rgb video
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 166
- 239000000779 smoke Substances 0.000 claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 47
- 230000004927 fusion Effects 0.000 claims description 30
- 238000003708 edge detection Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 6
- 230000008485 antagonism Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 230000005856 abnormality Effects 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 244000144972 livestock Species 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000009395 breeding Methods 0.000 description 3
- 230000001488 breeding effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
- G08B19/005—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow combined burglary and fire alarm systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种基于语义编解码的夜间智能养殖监控系统，涉及人工智能领域，包括：RGB摄像头，用于产生RGB视频流；红外摄像头，用于产生红外视频流；编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。通过将RGB摄像头与红外摄像头相结合，可以获得较好的监控画面；通过对视频流进行语义编码，有利于弱网环境下的视频传输；通过预先训练的异常检测网络对视频图像进行异常检测，实现多任务输出，能够及时发现监控环境中的异常情况。
Description
技术领域
本申请涉及人工智能技术领域，特别是一种基于语义编解码的夜间智能养殖监控系统。
背景技术
目前，随着人工智能的不断发展，将人工智能应用于畜牧养殖领域已经取得了一定的进展，如支持远程告警、红外测温等，但在低带宽传输、夜间视频监控、异常检测等方面仍存在一些限制。
首先，在畜牧养殖场景中，通常网络条件较差，弱网环境下难以实现流畅、高清的视频传输。其次，夜间环境光不足，基于RGB相机获得的画面通常模糊、黑暗。此外，现有畜牧养殖场景的监控系统，未实现异常情况自动检测与报警，当发生入侵或火灾等异常情况时，无法及时做出反应，造成经济损失。
因此，亟需一种基于语义编解码的夜间智能养殖监控系统。
发明内容
鉴于上述问题，本申请实施例提供了一种基于语义编解码的夜间智能养殖监控系统，以便克服上述问题或者至少部分地解决上述问题。
本申请实施例第一方面，提供了一种基于语义编解码的夜间智能养殖监控系统，包括：
RGB摄像头，用于产生RGB视频流；
红外摄像头，用于产生红外视频流；
编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；
异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。
可选地，还包括：
报警子系统，用于响应于所述入侵检测结果为有对象入侵或产生火情，输出警报。
可选地，所述预先训练的异常检测网络是通过对异常检测网络进行训练得到的；所述异常检测网络的输入包括：所述RGB视频图像和所述红外视频图像；
所述异常检测网络包括：backbone部分、neck部分以及head输出部分；
所述backbone部分用于对所述RGB视频图像和所述红外视频图像分别进行特征提取，得到所述RGB视频图像特征和所述红外视频图像特征；
所述neck部分用于对所述RGB视频图像特征和所述红外视频图像特征进行合并，并采用上采样和下采样对合并后的特征进行特征融合，得到融合特征；
所述head输出部分用于对所述融合特征进行异常检测，得到所述入侵检测结果和所述烟火检测结果。
可选地，所述backbone部分包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支和所述第二特征提取分支是两个并行的分支；
所述第一特征提取分支用于对所述RGB视频图像进行特征提取，得到所述RGB视频图像特征；
所述第二特征提取分支用于对所述红外视频图像进行特征提取，得到所述红外视频图像特征。
可选地，所述head输出部分包括烟火检测输出头和对象入侵输出头；所述head输出部分用于基于所述融合特征，并行执行烟火检测任务和入侵检测任务，得到所述烟火检测输出头输出的烟火检测结果和所述对象入侵输出头输出的入侵检测结果。
可选地，还包括：
监控画面显示子系统，用于根据所述RGB视频图像和所述红外视频图像，生成并显示监控画面。
可选地，所述编解码子系统包括：编码端和解码端；
所述编码端用于：对所述RGB视频流和所述红外视频流分别进行抽帧处理，得到RGB视频帧序列和红外视频帧序列，并对所述RGB视频帧序列中的每个RGB视频帧和所述红外视频帧序列中的每个红外视频帧分别进行语义编码，并将语义编码结果传输至所述解码端；
所述解码端用于：接收所述编码端发送的语义编码结果并进行图像重建，以得到所述RGB视频图像和所述红外视频图像。
可选地，所述编码端用于通过边缘检测网络，得到每个RGB视频帧和每个红外视频帧各自的素描图和语义信息，所述语义信息至少包括颜色和类别；
所述解码端用于通过条件式生成对抗网络cGAN，利用RGB视频帧的素描图和语义信息进行图像重建，以得到所述RGB视频图像，以及，利用红外视频帧的素描图和语义信息进行图像重建，以得到所述红外视频图像。
可选地，所述边缘检测网络是在Pidinet网络的中间层的输出端添加一路语义信息分支后得到的网络，所述语义信息分支和所述中间层的输出端已有分支是两个并行的分支，所述边缘检测网络的损失函数值是：所述语义信息分支对应的损失函数值与所述已有分支对应的损失函数值之和，所述语义信息分支用于预测颜色和类别。
可选地，所述RGB摄像头通过实时流传输协议RTSP与所述编码端之间进行所述RGB视频流的传输，所述红外摄像头通过实时流传输协议RTSP与所述编码端之间进行所述红外视频流的传输。
本申请具有以下优点：
本申请实施例提供了一种基于语义编解码的夜间智能养殖监控系统，包括：RGB摄像头，用于产生RGB视频流；红外摄像头，用于产生红外视频流；编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。
（1）本申请通过将RGB摄像头与红外摄像头相结合，能够获取RGB摄像头与红外摄像头的多模态数据，既可以在白天获得良好的监控画面，也可以在夜晚光照条件差的情况下获得较好的监控画面。
（2）本申请通过对RGB视频流和红外视频流进行语义编码，能够在视频传输时节省带宽，有利于弱网环境下的视频传输。
（3）本申请通过预先训练的异常检测网络对RGB视频图像和红外视频图像进行异常检测，实现同时输出入侵检测结果和烟火检测结果的多任务输出，不仅能够及时发现监控环境中的异常情况，还可以有效的节省系统的内存与计算量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于语义编解码的夜间智能养殖监控系统的示意图；
图2是本申请实施例提供的一种监控视频编码与解码的原理流程的示意图；
图3是本申请实施例提供的一种异常检测网络的异常检测流程示意图；
图4是本申请实施例提供的一种基于语义编解码的夜间智能养殖监控系统的监控全流程的示意图；
图5是本申请实施例提供的一种边缘检测网络的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例第一方面，提供了一种基于语义编解码的夜间智能养殖监控系统，如图1所示为本申请实施例提供的一种基于语义编解码的夜间智能养殖监控系统的示意图，参照图1所示，所述系统包括：
RGB摄像头，用于产生RGB视频流；
红外摄像头，用于产生红外视频流；
编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；
异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。
具体而言，本申请实施例提供的基于语义编解码的夜间智能养殖监控系统包括RGB摄像头和红外摄像头,其中，RGB摄像头用于采集RGB视频流，红外摄像头用于采集红外视频流；所述系统还包括：编解码子系统，其中，编解码子系统分别与RGB摄像头和红外摄像头电连接，RGB摄像头将采集的RGB视频流输入至编解码子系统，通过编解码子系统对RGB视频流进行语义编解码，得到RGB视频图像；红外摄像头将采集的红外视频流输入至编解码子系统，通过编解码子系统对红外视频流进行语义编解码，得到红外视频图像。其中，编解码子系统包括：编码端和解码端。编码端用于接收RGB视频流和红外视频流，并分别对RGB视频流和红外视频流进行编码，解码端用于分别对编码后的RGB视频流和编码后的红外视频流进行解码，得到RGB视频图像和红外视频图像。所述系统还包括异常检测子系统，其中，异常检测子系统与编解码子系统中的解码端电连接，编解码子系统将RGB摄像头对应的RGB视频图像和红外摄像头对应的红外视频图像输入到异常检测子系统，异常检测子系统将RGB视频图像和红外视频图像输入到预先训练的异常检测网络中进行异常检测，所述的异常检测包括入侵检测和烟火检测，基于异常检测网络，得到入侵检测结果和烟火检测结果。
RGB摄像头作为一种高清摄像头，能够在白天获取高清的视频流，并将其作为监控画面或是异常检测的判断依据。但是在夜晚光线较差的情况下，RGB获取的视频流通常是黑暗模糊的，无法看清所要监控的家畜、家禽等的状态。而红外摄像头刚好能够弥补RGB摄像头的不足，红外摄像头能够在光线较暗的环境下，接收周围环境反射的红外线，从而在夜视环境下能够获取相对清晰的灰度图像。因此，本申请将RGB摄像头与红外摄像头相结合，通过将RGB摄像头采集RGB视频流，通过红外摄像头采集红外视频流，并通过编解码子系统对RGB视频流进行语义编解码，得到RGB视频图像；通过编解码子系统对红外视频流进行语义编解码，得到红外视频图像，并分别将RGB视频图像和红外视频图像作为监控画面输出。本申请还通过异常检测子系统将RGB视频图像和红外视频图像输入预先训练的异常检测网络中进行异常检测，以得到入侵检测结果和烟火检测结果。
在一种优选实施例中，所述编解码子系统包括：编码端和解码端；
所述编码端用于：对所述RGB视频流和所述红外视频流分别进行抽帧处理，得到RGB视频帧序列和红外视频帧序列，并对所述RGB视频帧序列中的每个RGB视频帧和所述红外视频帧序列每个红外视频帧分别进行语义编码，并将语义编码结果传输至所述解码端；
所述解码端用于：接收所述编码端发送的语义编码结果并进行图像重建，以得到所述RGB视频图像和所述红外视频图像。
其中，所述编码端用于通过边缘检测网络，得到每个RGB视频帧和每个红外视频帧各自的素描图和语义信息，所述语义信息至少包括颜色和类别；
所述解码端用于通过条件式生成对抗网络cGAN，利用RGB视频帧的素描图和语义信息进行图像重建，以得到所述RGB视频图像，以及，利用红外视频帧的素描图和语义信息进行图像重建，以得到所述红外视频图像。
在本实施例中，编解码子系统包括编码端和解码端，用于对RGB视频流和红外视频流进行处理和重建。
如图2所示的本申请的一种监控视频编码与解码的原理流程的示意图。如图2所示，对视频图像进行解码与编码的流程具体包括：
编码端首先对RGB视频流和红外视频流进行抽帧处理，得到RGB视频帧序列和红外视频帧序列。抽帧处理可以基于一定的策略，例如按固定时间间隔或基于帧差等方式进行。
对于RGB视频帧序列中的每个RGB视频帧和红外视频帧序列中的每个红外视频帧，编码端通过边缘检测网络进行处理。这个边缘检测网络可以提取RGB视频帧和红外视频帧的素描图，并获取语义信息。语义信息至少包括颜色和类别，它们可以用来描述视频帧中的对象和场景特征。
编码端将经过语义编码的结果传输至解码端。这些编码结果可以是素描图和语义信息，以及可能的其他相关信息。编码端可以通过网络或其他通信手段将编码结果传输给解码端，以便进行后续的图像重建。
解码端接收编码端发送的语义编码结果，语义编码结果包括RGB视频帧和红外视频帧各自的素描图和语义信息。
解码端利用条件式生成对抗网络cGAN进行图像重建。对于RGB视频帧，解码端使用RGB视频帧的素描图和语义信息作为输入，通过cGAN网络进行重建，从而得到重建后的RGB视频图像。同样地，解码端对于红外视频帧也使用红外视频帧的素描图和语义信息进行图像重建，得到重建后的红外视频图像。
本申请实施例基于编解码子系统，可以实现对RGB视频流和红外视频流的处理和重建。编码端利用边缘检测网络提取素描图和语义信息，解码端利用条件式生成对抗网络cGAN进行图像重建。这种方式可以将视频流转换为具有语义信息的素描图，然后再通过解码端进行图像重建，得到最终的RGB视频图像和红外视频图像。
本申请一种优选实施例中，所述边缘检测网络是在Pidinet网络的中间层的输出端添加一路语义信息分支后得到的网络，所述语义信息分支和所述中间层的输出端已有分支是两个并行的分支，所述边缘检测网络的损失函数值是：所述语义信息分支对应的损失函数值与所述已有分支对应的损失函数值之和，所述语义信息分支用于预测颜色和类别。
在本实施例中，边缘检测网络是在Pidinet网络的中间层的输出端添加了一路语义信息分支，以增强网络对语义信息的理解和表达能力。边缘检测网络的目标是通过该语义信息分支预测颜色和类别，并将其与中间层已有分支进行融合。
具体而言，本实施例中，参照图5所示的边缘检测网络的结构示意图，如图5所示，边缘检测网络基于Pidinet网络进行构建，其中包括中间层和输出层。在中间层的输出端添加了一路语义信息分支。这两个分支是并行的，分别处理图像的边缘信息和语义信息。其中，边缘信息以素描图的形式表示，语义信息包括图像的颜色和类别。本实施例中，边缘信息包括RGB视频图像的素描图和红外视频图像的素描图。语义信息包括RGB视频图像的颜色、类别，以及红外视频图像的颜色、类别。
语义信息分支用于预测图像的颜色和类别。实际应用中，它可以是一个独立的子网络，包含适当的卷积层、池化层和全连接层，以提取图像的语义特征。最后，通过适当的分类层进行颜色和类别的预测。
边缘检测网络的损失函数值是语义信息分支对应的损失函数值与中间层已有分支对应的损失函数值之和。从而可以通过联合优化的方式训练整个网络。实际应用中，考虑到边缘信息和语义信息的重要性，可以通过最小化损失函数，网络可以学习到更准确和语义丰富的边缘特征，其中，边缘特征表征所处理的图像中的物体边界或边缘位置的特征，本实施例中，边缘特征表征RGB视频图像中的物体边界或边缘位置的特征，或红外视频图像中的物体边界或边缘位置的特征。经过边缘检测网络的处理，可以获得图像的边缘信息和语义信息。这些信息可以用于后续的图像重建。例如，可以利用边缘信息进行图像的边缘增强或轮廓重建，同时使用语义信息进行颜色填充和对象重建。这样可以得到更具结构和语义准确性的重建图像。
本实施例中，边缘检测网络在Pidinet网络中添加了语义信息分支，预测图像的颜色和类别。损失函数的设计使得网络可以同时优化边缘信息和语义信息。最终，通过图像重建，可以得到具有更好视觉效果和语义准确性的RGB视频图像和红外视频图像。
本申请一种优选实施例中，所述系统还包括：报警子系统，用于响应于所述入侵检测结果为有对象入侵或产生火情，输出警报。
具体而言，在本实施例中，如图1所示，所述的系统还包括报警子系统，报警子系统与异常检测子系统电连接，异常检测子系统将检测结果输入到报警子系统，报警子系统在接收到检测结果后，响应于有对象入侵的检测结果或产生火情的检测结果，输出警报，从而可以更好的解决人工巡视不及时、耗费人力的问题。
本申请一种优选实施例中，所述预先训练的异常检测网络是通过对异常检测网络进行训练得到的；所述异常检测网络的输入包括：所述RGB视频图像和所述红外视频图像；
所述异常检测网络包括：backbone部分、neck部分以及head输出部分；
所述backbone部分用于对所述RGB视频图像和所述红外视频图像分别进行特征提取，得到所述RGB视频图像特征和所述红外视频图像特征；
所述neck部分用于对所述RGB视频图像特征和所述红外视频图像特征进行合并，并采用上采样和下采样对合并后的特征进行特征融合，得到融合特征；
所述head输出部分用于对所述融合特征进行异常检测，得到所述入侵检测结果和所述烟火检测结果。
图3为本申请实施例提供的一种异常检测网络的异常检测流程示意图，参照图3所示，将RGB视频图像和红外视频图像分别作为异常检测网络的输入部分输入到异常检测网络中，通过异常检测网络的backbone部分对RGB视频图像和红外视频图像分别进行特征提取，其中，对RGB视频图像进行特征提取得到RGB视频图像特征；对红外视频图像进行特征提取得到红外视频图像特征。
进一步的，通过neck部分，分别对RGB视频图像特征和红外视频图像特征进行融合，得到融合特征。
具体而言，首先，通过neck部分接收RGB视频图像特征和红外视频图像特征，通过适当的操作，如按照通道合并或逐元素相加等操作，将两个特征进行合并，得到合并后的特征。
进一步地，采用上采样和下采样操作对合并后的特征进行特征融合。可以通过使用卷积层或池化层对合并后的特征进行下采样操作，以减小它们的尺寸和分辨率。下采样可以通过使用Stride步幅大于1的卷积层或池化层来实现，也可以通过对合并后的特征进行空间平均池化来实现。下采样后，合并后的特征变得更小，但仍然保留了一定的特征信息。接下来，通过使用上采样技术将下采样后的特征图像进行恢复。最常见的上采样方法是Deconvolution反卷积或Transpose Convolution转置卷积，它们可以将特征图像的尺寸和分辨率增大。反卷积或转置卷积操作在特征图像上应用适当的滤波器，通过填充和跳跃步骤来实现上采样。这样可以将下采样后的特征图像恢复到与原始尺寸相同或接近的尺寸。最后，经过上采样操作后，下采样的合并后的特征尺寸与原尺寸保持一致。在上采样和下采样操作的基础上，通过适当的特征融合策略，将不同分辨率的特征图像进行融合。这可以包括通道级的融合、空间级的融合或多尺度的融合等方法。特征融合的目标是综合利用RGB视频图像特征和红外视频图像特征的优势，提高模型对目标的检测和识别能力。经过上述步骤，neck部分最终生成融合特征。这些融合特征包含了RGB视频图像特征和红外视频图像特征的融合信息，具有更丰富的表达能力和更好的适应性，可以用于后续的异常检测任务。
进一步地，通过head输出部分，基于异常检测网络对融合特征进行异常检测，并输出两种类型的检测结果，其中一种检测结果为入侵检测结果，另外一种检测结果为烟火检测结果。需要注意的是，异常检测网络可以是采用YOLOX网络训练得到。
在本实施例中，通过对YOLOX网络进行改进，增加输入层，因此，可以同时输入RGB视频图像特征和红外视频图像特征，并通过neck部分进行进一步的特征增强，并在head输出部分采用decoupled head多任务输出，采用两路并行分支分别进行检测与分类任务，分别输出入侵检测结果和烟火检测结果，并可以根据入侵检测结果和烟火检测结果分析是否发生火情或入侵等情况。
本申请一种优选实施例中，所述backbone部分包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支和所述第二特征提取分支是两个并行的分支；
所述第一特征提取分支用于对所述RGB视频图像进行特征提取，得到所述RGB视频图像特征；
所述第二特征提取分支用于对所述红外视频图像进行特征提取，得到所述红外视频图像特征。
在本实施例中，为了处理多模态输入图像，即RGB视频图像和红外视频图像，采用了一个双分支结构作为backbone部分。这个双分支结构包括第一特征提取分支和第二特征提取分支，用于分别对RGB视频图像和红外视频图像进行特征提取。
具体而言，第一特征提取分支专门用于对RGB视频图像进行特征提取。可以采用一系列卷积层、池化层和残差块等来构建这个分支。残差块可以帮助网络更好地学习图像的细节和纹理特征。每个卷积层之后可以采用Leaky ReLU激活函数，以引入非线性变换并增强网络的表达能力。
第二特征提取分支专门用于对红外视频图像进行特征提取。同样，可以采用一系列卷积层、池化层和残差块等来构建这个分支。同样地，每个卷积层之后可以采用LeakyReLU激活函数。
通过如上所述的双分支结构，分别从RGB视频图像和红外视频图像中提取出它们的特征表示，即RGB视频图像特征和红外视频图像特征。这种结构可以充分利用每个模态的特征，并在不同分支之间进行信息的分离和提取。
需要注意的是，在实际应用中，还可以根据具体需求进行一些改进和调整。例如，可以使用更深的网络结构，增加网络的容量和表达能力。还可以使用其他的激活函数、正则化方法或优化算法来进一步优化网络的性能。
在本实施例中，为了应对多模态输入图像即输入RGB视频图像和红外视频图像，backbone部分采用双分支结构，即第一特征提取分支和第二特征提取分支，并通过双分支结构各自的特征提取分支，分别对RGB视频图像和红外视频图像进行特征提取，即通过第一特征提取分支对RGB视频图像进行特征提取，得到RGB视频图像特征，通过第二特征提取分支对红外视频图像进行特征提取，得到红外视频图像特征。本实施例通过双分支结构和适当的网络设计，可以有效地处理多模态输入图像，并提取出RGB视频图像和红外视频图像的特征表示，为后续的融合和异常检测提供有用的信息。
在一种优选实施例中，所述head输出部分包括烟火检测输出头和对象入侵输出头；所述head输出部分用于基于所述融合特征，并行执行烟火检测任务和入侵检测任务，得到烟火检测输出头输出的烟火检测结果和所述对象入侵输出头输出的入侵检测结果。
在本实施例中，head输出部分包括烟火检测输出头和对象入侵输出头，用于根据neck部分输出的融合特征，并行执行烟火检测任务和入侵检测任务，并得到相应的检测结果。
具体而言，烟火检测输出头基于融合特征执行烟火检测任务。它可以包括一系列卷积层、池化层和全连接层，以学习融合特征与烟火检测之间的关系。输出层通常采用sigmoid函数作为激活函数，以输出概率值表示是否存在烟火。实际应用中，根据具体任务的需求，可以使用二元交叉熵损失函数进行训练和优化，以最小化烟火检测的误差。
对象入侵输出头基于融合特征执行对象入侵检测任务。类似于烟火检测输出头，它也可以包括一系列卷积层、池化层和全连接层，以学习融合特征与入侵检测之间的关系。输出层可以根据具体任务的需要进行设计，可以是二分类问题（例如，判断是否存在入侵对象）或多分类问题（例如，识别不同类型的入侵对象）。相应的激活函数和损失函数也可以根据任务的性质进行选择。
通过head输出部分，可以在并行执行烟火检测任务和入侵检测任务的同时，基于融合特征得到相应的检测结果。在推理阶段，可以通过阈值或其他后处理技术来确定烟火检测结果和入侵检测结果的多任务输出，从而实现依次推理即可获得两个输出结果，使得系统的内存与计算量降低近一倍。
需要注意的是，具体的实现细节会根据具体应用场景和数据集的特点而有所差异。可以根据具体需求来设计和优化烟火检测和入侵检测的网络结构和参数设置，以获得更好的性能和准确性。
本申请一种优选实施例中，所述的监控系统还包括：监控画面显示子系统，用于根据所述RGB视频图像和所述红外视频图像，生成并显示监控画面。
具体而言，如图1所示，所述监控系统包括：RGB摄像头、红外摄像头、编解码子系统、异常检测子系统、报警子系统以及监控画面显示子系统。其中，RGB摄像头和红外摄像头分别与编解码子系统电连接，用于将各自采集的RGB视频流和红外视频流发送给编解码子系统，编解码子系统用于对RGB视频流和红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像。编解码子系统分别与异常检测子系统和监控画面显示子系统电连接，其中，异常检测子系统用于对RGB视频图像和红外视频图像输入到预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果，监控画面显示子系统用于根据RGB视频图像和红外视频图像，生成并显示监控画面。异常检测子系统与报警子系统电连接，报警子系统用于响应异常检测子系统的检测结果为有对象入侵或产生火情，输出警报。
在一种可选实施例中，监控画面显示子系统在得到RGB视频图像和红外视频图像后，分别将RGB视频图像和红外视频图像作为监控画面进行显示，其中，白天光线较好，RGB视频图像较为清晰，因此，在白天光线较好的环境下，将RGB视频图像作为白天光线较好的环境下的监控画面进行显示；但是，由于夜晚光线较暗，RGB视频图像模糊，不清晰，而红外视频图像能够在夜视环境下获取相对清晰的灰色图像，因此，将红外视频图像作为夜晚光线较暗的环境下的监控显示画面进行显示。本实施例通过将RGB摄像头与红外摄像头相结合，同时产生彩色图像与红外图像，这种多模态的输入图像能够互相补足，在白天与夜晚均可获得清晰的监控画面。
在一种优选实施例中，所述RGB摄像头通过实时流传输协议RTSP与所述编码端之间进行所述RGB视频流的传输，所述红外摄像头通过实时流传输协议RTSP与所述编码端之间进行所述红外视频流的传输。
在本实施例中，RGB摄像头和红外摄像头通过RTSP（Real-Time StreamingProtocol 实时流传输协议）与编码端进行视频流的传输。这样可以实现实时的视频流传输和处理。
具体而言，RGB摄像头通过RTSP协议将实时的RGB视频流传输给编码端。RTSP是一种用于流媒体传输的网络协议，它可以提供实时性和可靠性。编码端可以使用RTSP客户端来接收RGB视频流，并进行相应的处理和编码操作。同样的，红外摄像头也通过RTSP协议将实时的红外视频流传输给编码端。通过RTSP协议的支持，红外摄像头和编码端之间可以建立起稳定的连接，实现红外视频流的传输和处理。
编码端接收到RGB视频流和红外视频流后，进行相应的处理。这包括抽帧处理、语义编码和编码结果传输等，具体实现过程如上所述，在此不再赘述。通过上述过程，RGB摄像头和红外摄像头可以通过RTSP协议与编码端进行实时视频流的传输。这样可以确保监控系统能够及时获取并处理RGB视频流和红外视频流，以进行后续的特征提取、编码和重建操作，从而实现监控画面的生成和显示。
图4为本申请实施例提供的一种基于语义编解码的夜间智能养殖监控系统的监控全流程的示意图。如图4所示，具体包括：
RGB摄像头和红外摄像头分别将生成的RGB视频流和红外视频流发送给RGB编码模块和红外编码模块，并分别通过RGB编码模块对RGB视频流进行编码，通过红外编码模块对红外视频流进行编码，并且，基于RTSP协议进行视频流的传输和处理，其中包括对视频流的抽帧，解码重建等操作，解码重建可以是通过RGB解码模块和红外解码模块进行。经过解码重建，分别得到RGB视频图像和红外视频图像，其中，将RGB视频图像和红外视频图像均作为监控画面进行显示。此外，分别对RGB视频图像和红外视频图像进行特征提取，得到RGB视频图像特征和红外视频图像特征，将RGB视频图像特征与红外视频图像特征进行特征融合，并将融合后的图像特征输入到异常检测网络中分别进行入侵检测和烟火检测，并输出入侵检测结果和烟火检测结果，最终，报警系统响应于入侵检测结果为有对象入侵或烟火检测结果为产生火情输出警报。
本申请实施例提供了一种基于语义编解码的夜间智能养殖监控系统，包括：RGB摄像头，用于产生RGB视频流；红外摄像头，用于产生红外视频流；编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。本申请通过将RGB摄像头与红外摄像头相结合，能够获取RGB摄像头与红外摄像头的多模态数据，既可以在白天获得良好的监控画面，也可以在夜晚光照条件差的情况下获得较好的监控画面；通过对RGB视频流和红外视频流进行语义编码，能够在视频传输时节省带宽，有利于弱网环境下的视频传输；通过预先训练的异常检测网络对RGB视频图像和红外视频图像进行异常检测，实现同时输出入侵检测结果和烟火检测结果的多任务输出，不仅能够及时发现监控环境中的异常情况，还可以有效的节省系统的内存与计算量。
本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种基于语义编解码的夜间智能养殖监控系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于语义编解码的夜间智能养殖监控系统，其特征在于，包括：
RGB摄像头，用于产生RGB视频流；
红外摄像头，用于产生红外视频流；
编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；
异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。
2.根据权利要求1所述的系统，其特征在于，还包括：
报警子系统，用于响应于所述入侵检测结果为有对象入侵或产生火情，输出警报。
3.根据权利要求1所述的系统，其特征在于，所述预先训练的异常检测网络是通过对异常检测网络进行训练得到的；所述异常检测网络的输入包括：所述RGB视频图像和所述红外视频图像；
所述异常检测网络包括：backbone部分、neck部分以及head输出部分；
所述backbone部分用于对所述RGB视频图像和所述红外视频图像分别进行特征提取，得到所述RGB视频图像特征和所述红外视频图像特征；
所述neck部分用于对所述RGB视频图像特征和所述红外视频图像特征进行合并，并采用上采样和下采样对合并后的特征进行特征融合，得到融合特征；
所述head输出部分用于对所述融合特征进行异常检测，得到所述入侵检测结果和所述烟火检测结果。
4.根据权利要求3所述的系统，其特征在于，所述backbone部分包括第一特征提取分支和第二特征提取分支，所述第一特征提取分支和所述第二特征提取分支是两个并行的分支；
所述第一特征提取分支用于对所述RGB视频图像进行特征提取，得到所述RGB视频图像特征；
所述第二特征提取分支用于对所述红外视频图像进行特征提取，得到所述红外视频图像特征。
5.根据权利要求3所述的系统，其特征在于，所述head输出部分包括烟火检测输出头和对象入侵输出头；所述head输出部分用于基于所述融合特征，并行执行烟火检测任务和入侵检测任务，得到所述烟火检测输出头输出的烟火检测结果和所述对象入侵输出头输出的入侵检测结果。
6.根据权利要求1所述的系统，其特征在于，还包括：
监控画面显示子系统，用于根据所述RGB视频图像和所述红外视频图像，生成并显示监控画面。
7.根据权利要求1所述的系统，其特征在于，所述编解码子系统包括：编码端和解码端；
所述编码端用于：对所述RGB视频流和所述红外视频流分别进行抽帧处理，得到RGB视频帧序列和红外视频帧序列，并对所述RGB视频帧序列中的每个RGB视频帧和所述红外视频帧序列中的每个红外视频帧分别进行语义编码，并将语义编码结果传输至所述解码端；
所述解码端用于：接收所述编码端发送的语义编码结果并进行图像重建，以得到所述RGB视频图像和所述红外视频图像。
8.根据权利要求7所述的系统，其特征在于，所述编码端用于通过边缘检测网络，得到每个RGB视频帧和每个红外视频帧各自的素描图和语义信息，所述语义信息至少包括颜色和类别；
所述解码端用于通过条件式生成对抗网络cGAN，利用RGB视频帧的素描图和语义信息进行图像重建，以得到所述RGB视频图像，以及，利用红外视频帧的素描图和语义信息进行图像重建，以得到所述红外视频图像。
9.根据权利要求8所述的系统，其特征在于，所述边缘检测网络是在Pidinet网络的中间层的输出端添加一路语义信息分支后得到的网络，所述语义信息分支和所述中间层的输出端已有分支是两个并行的分支，所述边缘检测网络的损失函数值是：所述语义信息分支对应的损失函数值与所述已有分支对应的损失函数值之和，所述语义信息分支用于预测颜色和类别。
10.根据权利要求6所述的系统，其特征在于，所述RGB摄像头通过实时流传输协议RTSP与所述编码端之间进行所述RGB视频流的传输，所述红外摄像头通过实时流传输协议RTSP与所述编码端之间进行所述红外视频流的传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310904731.8A CN116634110B (zh) | 2023-07-24 | 2023-07-24 | 一种基于语义编解码的夜间智能养殖监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310904731.8A CN116634110B (zh) | 2023-07-24 | 2023-07-24 | 一种基于语义编解码的夜间智能养殖监控系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116634110A true CN116634110A (zh) | 2023-08-22 |
| CN116634110B CN116634110B (zh) | 2023-10-13 |
Family
ID=87610235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310904731.8A Active CN116634110B (zh) | 2023-07-24 | 2023-07-24 | 一种基于语义编解码的夜间智能养殖监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116634110B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190065859A1 (en) * | 2016-12-09 | 2019-02-28 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
| CN110969634A (zh) * | 2019-11-29 | 2020-04-07 | 国网湖北省电力有限公司检修公司 | 基于生成对抗网络的红外图像电力设备分割方法 |
| CN111125405A (zh) * | 2019-12-19 | 2020-05-08 | 国网冀北电力有限公司信息通信分公司 | 电力监控图像异常检测方法和装置、电子设备及存储介质 |
| CN114202646A (zh) * | 2021-11-26 | 2022-03-18 | 深圳市朗驰欣创科技股份有限公司 | 一种基于深度学习的红外图像吸烟检测方法与系统 |
| WO2023070695A1 (zh) * | 2021-10-26 | 2023-05-04 | 烟台艾睿光电科技有限公司 | 一种红外图像的转换训练方法、装置、设备及存储介质 |
| CN116343330A (zh) * | 2023-03-07 | 2023-06-27 | 云南电网有限责任公司玉溪供电局 | 一种红外-可见光图像融合的异常行为识别方法 |
-
2023
- 2023-07-24 CN CN202310904731.8A patent/CN116634110B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190065859A1 (en) * | 2016-12-09 | 2019-02-28 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
| CN110969634A (zh) * | 2019-11-29 | 2020-04-07 | 国网湖北省电力有限公司检修公司 | 基于生成对抗网络的红外图像电力设备分割方法 |
| CN111125405A (zh) * | 2019-12-19 | 2020-05-08 | 国网冀北电力有限公司信息通信分公司 | 电力监控图像异常检测方法和装置、电子设备及存储介质 |
| WO2023070695A1 (zh) * | 2021-10-26 | 2023-05-04 | 烟台艾睿光电科技有限公司 | 一种红外图像的转换训练方法、装置、设备及存储介质 |
| CN114202646A (zh) * | 2021-11-26 | 2022-03-18 | 深圳市朗驰欣创科技股份有限公司 | 一种基于深度学习的红外图像吸烟检测方法与系统 |
| CN116343330A (zh) * | 2023-03-07 | 2023-06-27 | 云南电网有限责任公司玉溪供电局 | 一种红外-可见光图像融合的异常行为识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116634110B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Deep learning for hdr imaging: State-of-the-art and future trends | |
| US9554085B2 (en) | Method and device for dynamically controlling quality of a video | |
| US20190206091A1 (en) | Method And Apparatus For Compressing Image | |
| WO2018150083A1 (en) | A method and technical equipment for video processing | |
| CN111539884A (zh) | 一种基于多注意力机制融合的神经网络视频去模糊方法 | |
| CN111263161A (zh) | 视频压缩处理方法、装置、存储介质和电子设备 | |
| CN113556582A (zh) | 视频数据处理方法、装置、设备以及存储介质 | |
| CN111901604A (zh) | 视频压缩、重构方法及对应装置、摄像头及视频处理设备 | |
| CN110856035A (zh) | 处理图像数据以执行对象检测 | |
| CN113112536A (zh) | 图像处理模型训练方法、图像处理方法及装置 | |
| WO2021101732A1 (en) | Joint rolling shutter correction and image deblurring | |
| Madhusudana et al. | Conviqt: Contrastive video quality estimator | |
| CN112990171B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112492297B (zh) | 一种对视频的处理方法以及相关设备 | |
| CN116634110B (zh) | 一种基于语义编解码的夜间智能养殖监控系统 | |
| CN113496176B (zh) | 动作识别方法、装置以及电子设备 | |
| EP3104621B1 (en) | Method and device for dynamically controlling quality of a video | |
| CN113902992A (zh) | 一种视频质量评估方法、装置及存储介质 | |
| CN112668504A (zh) | 动作识别方法、装置及电子设备 | |
| CN113033616A (zh) | 高质量视频重建方法、装置、设备及存储介质 | |
| CN116634178B (zh) | 一种极低码率的安防场景监控视频编解码方法及系统 | |
| KR102264252B1 (ko) | 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템 | |
| CN115131730B (zh) | 一种基于边缘终端的智能视频分析方法及系统 | |
| Anvari | Deep Learning Methods for Image Restoration and Reconstruction | |
| KR20230061595A (ko) | LNGC 화물저장시스템 인바 심(Invar Seam) 용접부의 용접 결함 판독 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Lu Inventor after: Cheng Baoping Inventor after: Xie Xiaoyan Inventor after: Tao Xiaoming Inventor after: Fu Tao Inventor after: Huang Yan Inventor after: Ge Ning Inventor after: Duan Yiping Inventor before: Zhao Lu Inventor before: Cheng Baoping Inventor before: Xie Xiaoyan Inventor before: Tao Xiaoming Inventor before: Fu Tao Inventor before: Huang Yan Inventor before: Shang Ziqin |
|
| CB03 | Change of inventor or designer information |