CN108009506A - 入侵检测方法、应用服务器及计算机可读存储介质 - Google Patents
入侵检测方法、应用服务器及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108009506A CN108009506A CN201711281183.9A CN201711281183A CN108009506A CN 108009506 A CN108009506 A CN 108009506A CN 201711281183 A CN201711281183 A CN 201711281183A CN 108009506 A CN108009506 A CN 108009506A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- segmentation
- invader
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000012544 monitoring process Methods 0.000 claims abstract description 167
- 230000011218 segmentation Effects 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000009545 invasion Effects 0.000 claims abstract description 24
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 19
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 46
- 238000012806 monitoring device Methods 0.000 description 23
- 238000005381 potential energy Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 230000000306 recurrent effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 238000003475 lamination Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G06Q50/40—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
本发明公开了一种入侵检测方法，包括：获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；及根据所述分割图像来判断是否有入侵物入侵所述监控区域。本发明还提供一种应用服务器及计算机可读存储介质。本发明提供的入侵检测方法、应用服务器及计算机可读存储介质可实时检测所述监控区域是否有入侵物入侵，并可通过可视化系统显示所述入侵物，实现提前预警，提高所述监控区域的安全系数。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及入侵检测方法、应用服务器及计算机可读存储介质。
背景技术
对于一些安全级别要求高的场所，一般都需要实时检测是否有入侵物入侵，避免产生安全隐患。例如，机场跑道的安全问题，当机场有外来入侵物体(如飞鸟、机械碎片)，时常会引起安全问题，若飞机起飞撞鸟，则极有可能引发飞行事故。现有检测方式一般是采用电子巡更方法，对于安保人员而言，巡更工作量极大，且不能保证实时性，仍难免有疏漏，具有一定的安全隐患。
发明内容
有鉴于此，本发明提出一种入侵检测方法、应用服务器及计算机可读存储介质，可以实现实时检测是否有外来入侵物体，节省人力资源成本。
首先，为实现上述目的，本发明提出一种应用服务器，所述应用服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的入侵检测系统，所述入侵检测系统被所述处理器执行时实现如下步骤：
获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；
将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；
通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；及
根据所述分割图像来判断是否有入侵物入侵所述监控区域。
可选地，所述对所述监控图像进行图像语义分割处理的步骤包括：
通过FCN网络对所述监控图像进行图像语义分割处理。
可选地，所述将经过所述图像语义分割处理得到的义分割结果输入至预设随机域模型进行优化处理的步骤包括：
将经过所述图像语义分割处理得到的义分割结果输入至CRF-RNN训练模型进行优化处理。
可选地，所述根据所述分割图像来判断是否有入侵物入侵所述监控区域的步骤包括：
将所述分割图像与入侵物样本库进行比对；及
根据比对结果来判断是否有入侵物入侵所述监控区域。
此外，为实现上述目的，本发明还提供一种入侵检测方法，应用于应用服务器，所述方法包括：
获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；
将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；
通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；及
根据所述分割图像来判断是否有入侵物入侵所述监控区域。
可选地，所述对所述监控图像进行图像语义分割处理的步骤包括：
通过FCN网络对所述监控图像进行图像语义分割处理。
可选地，所述将经过所述图像语义分割处理得到的义分割结果输入至预设随机域模型进行优化处理的步骤包括：
将经过所述图像语义分割处理得到的义分割结果输入至CRF-RNN训练模型进行优化处理。
可选地，所述根据所述分割图像来判断是否有入侵物入侵所述监控区域的步骤包括：
将所述分割图像与入侵物样本库进行比对；及
根据比对结果来判断是否有入侵物入侵所述监控区域。
可选地，所述入侵检测方法还包括：
若判断有入侵物入侵所述监控区域，输出入侵警示信息及所述入侵物的位置信息与图像信息。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有入侵检测系统，所述入侵检测系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述入侵检测方法的步骤。
相较于现有技术，本发明所提出的入侵检测方法、应用服务器及计算机可读存储介质，首先，获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；其次，将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；再者，通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；最后，根据所述分割图像来判断是否有入侵物入侵所述监控区域。这样，可以实现实时检测所述监控区域是否有入侵物入侵，相对于人工巡检而言，可以避免出现巡检疏漏，且可以将监控图像中分割出来的入侵物通过可视化系统进行显示，实现提前预警，提高所述监控区域的安全系数，监控面积可观且成本低廉。
附图说明
图1是本发明各个实施例一可选的应用环境示意图；
图2是本发明应用服务器一可选的硬件架构的示意图；
图3是本发明入侵检测系统第一实施例的程序模块示意图；
图4是本发明入侵检测系统第二实施例的程序模块示意图；
图5为本发明入侵检测方法第一实施例的实施流程示意图；
图6为本发明入侵检测方法第二实施例的实施流程示意图。
附图标记：
| 监控设备 | 1 |
| 应用服务器 | 2 |
| 网络 | 3 |
| 存储器 | 11 |
| 处理器 | 12 |
| 网络接口 | 13 |
| 入侵检测系统 | 100 |
| 图像分割模块 | 101 |
| 分割优化模块 | 102 |
| 预测处理模块 | 103 |
| 判断模块 | 104 |
| 输出模块 | 105 |
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参阅图1所示，是本发明各个实施例一可选的应用环境示意图。
在本实施例中，本发明可应用于包括，但不仅限于，监控设备1、应用服务器2、网络3的应用环境中。其中，所述监控设备1可以是诸如摄像头、视觉传感器、图像采集器、监视器等等的固定终端。所述应用服务器2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，该应用服务器2可以是独立的服务器，也可以是多个服务器所组成的服务器集群。所述网络3可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中，所述应用服务器2可以通过所述网络3分别与一个或多个所述监控设备1通信连接，以进行数据传输和交互。
参阅图2所示，是本发明应用服务器2一可选的硬件架构的示意图。
本实施例中，所述应用服务器2可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。需要指出的是，图2仅示出了具有组件11-13的应用服务器2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述应用服务器2的内部存储单元，例如该应用服务器2的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述应用服务器2的外部存储设备，例如该应用服务器2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器11还可以既包括所述应用服务器2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述应用服务器2的操作系统和各类应用软件，例如入侵检测系统100的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述应用服务器2的总体操作，例如执行与所述监控设备1进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述入侵检测系统100等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述应用服务器2与其他电子设备之间建立通信连接。本实施例中，所述网络接口13主要用于通过所述网络3将所述应用服务器2与一个或多个所述监控设备1相连，在所述应用服务器2与所述一个或多个监控设备1之间的建立数据传输通道和通信连接。
至此，己经详细介绍了本发明相关设备的硬件结构和功能。下面，将基于上述介绍提出本发明的各个实施例。
首先，本发明提出一种入侵检测系统100。
参阅图3所示，是本发明入侵检测系统100第一实施例的程序模块图。
本实施例中，所述入侵检测系统100包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明各实施例的入侵检测操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，入侵检测系统100可以被划分为一个或多个模块。例如，在图3中，入侵检测系统100可以被分割成图像分割模块101、分割优化模块102、预测处理模块103及判断模块104。其中：
所述图像分割模块101用于获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理。
在一实施例中，所述预设监控区域为需要监控是否有入侵物入侵的区域。举例而言，所述预设监控区域可以是机场跑道，所述入侵物可以是飞鸟、风筝、无人机、机械碎片、动物等各种可能影响飞机起飞/降落安全的物体。所述监控图像可以通过监控设备1拍摄得到。
在一实施方式中，所述图像分割模块101可以通过全卷积网络(FullyConvolutional Network、FCN)对所述监控图像进行图像语义分割处理。在对所述监控图像进行图像语义分割过程中，可以先建立一个FCN网络，所述FCN网络可以是将现有VGG-16或CNN网络中的所包含的全连接层转化成卷积层的网络变形，即将现有VGG-16/CNN网络最后三层全连接层转换成为三层卷积层，进而形成所述FCN网络，所述FCN网络可以接受任意尺寸的输入图像。当所述监控图像输入至FCN网络后，通过FCN网络中的反卷积层对其最后一个卷积层的特征图进行上采样,使特征图恢复到与所述监控图像相同的尺寸，从而可以对每个像素点都产生了一个预测,同时又保留了原始输入图像(监控图像)中的空间信息,最后在与输入监控图像等大小的特征图上对每个像素点进行分类，逐像素地用softmax函数分类计算每一像素点的损失,得到一输出值Q，所述输出值Q相当于每个像素点对应一个训练样本。其中，所述softmax函数可以是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量的函数，其中向量中的每个元素取值均介于(0，1)之间，softmax函数可用在FCN网络的最后一层，以作为输出层对每一像素点进行分类。
所述分割优化模块102用于将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布。
在一实施例中，所述分割优化模块102可以将语义分割结果输入至CRF(条件随机场、Conditional Random Fields)-RNN(循环神经网络、Recurrent Neural Network)训练模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布。所述CRF-RNN训练模型与FCN网络相连，在求解CRF值时，可以将CRF的求解步骤等换成一RNN网络，从而来求出CRF的解，当求解完成后又作为整体训练模型的一部分重新连在所述FCN网络之后进行迭代运算。
所述CRF-RNN训练模型对所述输入的语义分割结果进行优化处理的方式可以是通过以下方式来完成：
对所述输出值Q进行重复迭代以下五个步骤，直到定义的损失函数收敛，所述损失函数可以被定义为像素点的标注值和正向传播结果的平方差，当所述平方差收敛，即所述损失函数收敛；
传递步骤：将所述FCN网络生成的输出值Q通过M个高斯滤波器进行滤波。M的大小由像素点的类别而定，所述每一高斯滤波器的系数由像素点的位置以及RGB值而定；
加权步骤：对上一步输出的结果进行加权求和，对每一个类别的M个滤波结果根据权重相加，输出带权重的高斯滤波器；
变换步骤：对每一个类别的概率图根据不同类别之间的兼容性矩阵进行更新，兼容性变换可以等效为另外一个卷积层，滤波器大小只为1*1大小，输入的通道数与输出通道数等于像素点标注的数量(即采用1*1的卷积层，对多个特征图进行卷积层运算，经过运算后，每两张特征图又输出一张新的概率图)；
添加势能步骤：为上一步的输出的每一个值添加单点势能函数，所述单点势能函数的作用值可以是CRF能量函数的数据项，举例而言，所述CRF能量函数＝SUM(U(xi))+SUM(P(xi,xj),i<j)，其中，U(xi)为单点势能，P(xi,xj)为交叉势能；
归一化步骤：将上一步的输出结果输入值没有权重参数的softmax函数，以对各像素点所属不同类别进行概率归一化。
所述预测处理模块103用于通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像。
所述概率图模型预先建立一个图并定义概率分布，然后进行推断和学习，从而来预测每个像素点的像素值(所述监控图像中某一像素点的像素值与其相邻区域的像素点有关，而与其他区域的像素点无关)。概率图模型包含结点与边。结点可以包括隐含结点和观测结点，边可以是有向的或者是无向的。结点对应于随机变量，边对应于随机变量的从属或者关联关系。所述概率图模型可以通过贝叶斯网络或马尔可夫随机场(MRF)。
所述判断模块104用于根据所述分割图像来判断是否有入侵物入侵所述监控区域。
在一实施方式中，所述判断模块104将预测处理模块103输出的分割图像与入侵物样本库进行比对，并根据比对结果来判断是否有入侵物入侵所述监控区域。所述样本库可以存储有各种可能入侵的入侵物的图像信息，并可以通过自学习来更新样本库的入侵物的图像信息。当所述预设监控区域为机场跑道，所述样本库存储的入侵物可以是飞鸟、风筝、无人机、机械碎片、动物等各种可能影响飞机起飞/降落安全的图像信息。
通过上述程序模块101-104，本发明所提出的入侵检测系统100，首先，获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；其次，将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；再者，通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；最后，根据所述分割图像来判断是否有入侵物入侵所述监控区域。这样，可以实现实时检测所述监控区域是否有入侵物入侵，相对于人工巡检而言，可以避免出现巡检疏漏，且可以将监控图像中分割出来的入侵物通过可视化系统进行显示，实现提前预警，提高所述监控区域的安全系数，监控面积可观且成本低廉。
参阅图4所示，是本发明入侵检测系统100第二实施例的程序模块图。本实施例中，所述入侵检测系统100包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明各实施例的入侵检测操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，入侵检测系统100可以被划分为一个或多个模块。例如，在图4中，入侵检测系统100可以被分割成图像分割模块101、分割优化模块102、预测处理模块103、判断模块104及输出模块105。所述各程序模块101-104与本发明入侵检测系统100第一实施例相同，并在此基础上增加输出模块105。其中：
所述图像分割模块101用于获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理。
在一实施例中，所述预设监控区域为需要监控是否有入侵物入侵的区域。举例而言，所述预设监控区域可以是机场跑道，所述入侵物可以是飞鸟、风筝、无人机、机械碎片、动物等各种可能影响飞机起飞/降落安全的物体。所述监控图像可以通过监控设备1拍摄得到。
在一实施方式中，所述图像分割模块101可以通过全卷积网络(FullyConvolutional Network、FCN)对所述监控图像进行图像语义分割处理。在对所述监控图像进行图像语义分割过程中，可以先建立一个FCN网络，所述FCN网络可以是将现有VGG-16或CNN网络中的所包含的全连接层转化成卷积层的网络变形，即将现有VGG-16/CNN网络最后三层全连接层转换成为三层卷积层，进而形成所述FCN网络，所述FCN网络可以接受任意尺寸的输入图像。当所述监控图像输入至FCN网络后，通过FCN网络中的反卷积层对其最后一个卷积层的特征图进行上采样,使特征图恢复到与所述监控图像相同的尺寸，从而可以对每个像素点都产生了一个预测,同时又保留了原始输入图像(监控图像)中的空间信息,最后在与输入监控图像等大小的特征图上对每个像素点进行分类，逐像素地用softmax函数分类计算每一像素点的损失,得到一输出值Q，所述输出值Q相当于每个像素点对应一个训练样本。其中，所述softmax函数可以是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量的函数，其中向量中的每个元素取值均介于(0，1)之间，softmax函数可用在FCN网络的最后一层，以作为输出层对每一像素点进行分类。
所述分割优化模块102用于将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布。
在一实施例中，所述分割优化模块102可以将语义分割结果输入至CRF(条件随机场、Conditional Random Fields)-RNN(循环神经网络、Recurrent Neural Network)训练模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布。所述CRF-RNN训练模型与FCN网络相连，在求解CRF值时，可以将CRF的求解步骤等换成一RNN网络，从而来求出CRF的解，当求解完成后又作为整体训练模型的一部分重新连在所述FCN网络之后进行迭代运算。
所述CRF-RNN训练模型对所述输入的语义分割结果进行优化处理的方式可以是通过以下方式来完成：
对所述输出值Q进行重复迭代以下五个步骤，直到定义的损失函数收敛，所述损失函数可以被定义为像素点的标注值和正向传播结果的平方差，当所述平方差收敛，即所述损失函数收敛；
传递步骤：将所述FCN网络生成的输出值Q通过M个高斯滤波器进行滤波。M的大小由像素点的类别而定，所述每一高斯滤波器的系数由像素点的位置以及RGB值而定；
加权步骤：对上一步输出的结果进行加权求和，对每一个类别的M个滤波结果根据权重相加，输出带权重的高斯滤波器；
变换步骤：对每一个类别的概率图根据不同类别之间的兼容性矩阵进行更新，兼容性变换可以等效为另外一个卷积层，滤波器大小只为1*1大小，输入的通道数与输出通道数等于像素点标注的数量(即采用1*1的卷积层，对多个特征图进行卷积层运算，经过运算后，每两张特征图又输出一张新的概率图)；
势能添加步骤：为上一步的输出的每一个值添加单点势能函数，所述单点势能函数的作用值可以是CRF能量函数的数据项，举例而言，所述CRF能量函数＝SUM(U(xi))+SUM(P(xi,xj),i<j)，其中，U(xi)为单点势能，P(xi,xj)为交叉势能；
归一化步骤：将上一步的输出结果输入值没有权重参数的softmax函数，以对各像素点所属不同类别进行概率归一化。
所述预测处理模块103用于通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像。
所述概率图模型预先建立一个图并定义概率分布，然后进行推断和学习，从而来预测每个像素点的像素值(所述监控图像中某一像素点的像素值与其相邻区域的像素点有关，而与其他区域的像素点无关)。概率图模型包含结点与边。结点可以包括隐含结点和观测结点，边可以是有向的或者是无向的。结点对应于随机变量，边对应于随机变量的从属或者关联关系。所述概率图模型可以通过贝叶斯网络或马尔可夫随机场(MRF)。
所述判断模块104用于根据所述分割图像来判断是否有入侵物入侵所述监控区域。
在一实施方式中，所述判断模块104将预测处理模块103输出的分割图像与入侵物样本库进行比对，并根据比对结果来判断是否有入侵物入侵所述监控区域。所述样本库可以存储有各种可能入侵的入侵物的图像信息，并可以通过自学习来更新样本库的入侵物的图像信息。当所述预设监控区域为机场跑道，所述样本库存储的入侵物可以是飞鸟、风筝、无人机、机械碎片、动物等各种可能影响飞机起飞/降落安全的图像信息。
所述输出模块105用于在判断有入侵物入侵所述监控区域时，输出入侵警示信息及所述入侵物的位置信息与图像信息。所述入侵警示信息可以是声音警示、灯光警示、界面弹窗警示、界面突出显示警示等一种或者多种。监控人员可以根据输出模块105输出的入侵物的位置信息与图像信息来确定入侵物的位置与类别，进而通知安管人员对入侵物进行处理，以消除安全隐患。
在一实施方式中，所述监控区域可以包括多个监控设备1，每一监控设备1可以进行编号并具有预设的位置信息，当某一监控设备1拍摄到入侵物时，可以根据该监控设备1的位置信息估算所述入侵物的位置信息。所述监控区域还可以设置多个固定标志，每一固定标志亦可进行编号并具有预设的位置信息，当某一监控设备1拍摄到入侵物且所拍摄得到的监控图像包含固定标志时，可以根据该监控设备1的位置信息及固定标志的位置信息来估算所述入侵物的位置信息。
通过上述程序模块101-105，本发明所提出的入侵检测系统100，首先，获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；其次，将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；再者，通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；再者，根据所述分割图像来判断是否有入侵物入侵所述监控区域；最后，若判断有入侵物入侵所述监控区域，输出入侵警示信息及所述入侵物的位置信息与图像信息。这样，可以实现实时检测所述监控区域是否有入侵物入侵，相对于人工巡检而言，可以避免出现巡检疏漏，且可以将监控图像中分割出来的入侵物通过可视化系统进行显示，实现提前预警，提高所述监控区域的安全系数，监控面积可观且成本低廉。
此外，本发明还提出一种入侵检测方法。
参阅图5所示，是本发明入侵检测方法第一实施例的实施流程示意图。在本实施例中，根据不同的需求，图5所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S500，获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理。
在一实施例中，所述预设监控区域为需要监控是否有入侵物入侵的区域。举例而言，所述预设监控区域可以是机场跑道，所述入侵物可以是飞鸟、风筝、无人机、机械碎片、动物等各种可能影响飞机起飞/降落安全的物体。所述监控图像可以通过监控设备1拍摄得到。
在一实施方式中，可以通过全卷积网络(Fully Convolutional Network、FCN)对所述监控图像进行图像语义分割处理。在对所述监控图像进行图像语义分割过程中，可以先建立一个FCN网络，所述FCN网络可以是将现有VGG-16或CNN网络中的所包含的全连接层转化成卷积层的网络变形，即将现有VGG-16/CNN网络最后三层全连接层转换成为三层卷积层，进而形成所述FCN网络，所述FCN网络可以接受任意尺寸的输入图像。当所述监控图像输入至FCN网络后，通过FCN网络中的反卷积层对其最后一个卷积层的特征图进行上采样,使特征图恢复到与所述监控图像相同的尺寸，从而可以对每个像素点都产生了一个预测,同时又保留了原始输入图像(监控图像)中的空间信息,最后在与输入监控图像等大小的特征图上对每个像素点进行分类，逐像素地用softmax函数分类计算每一像素点的损失,得到一输出值Q，所述输出值Q相当于每个像素点对应一个训练样本。其中，所述softmax函数可以是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量的函数，其中向量中的每个元素取值均介于(0，1)之间，softmax函数可用在FCN网络的最后一层，以作为输出层对每一像素点进行分类。
步骤S502，将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布。
在一实施例中，可以将语义分割结果输入至CRF(条件随机场、ConditionalRandom Fields)-RNN(循环神经网络、Recurrent Neural Network)训练模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布。所述CRF-RNN训练模型与FCN网络相连，在求解CRF值时，可以将CRF的求解步骤等换成一RNN网络，从而来求出CRF的解，当求解完成后又作为整体训练模型的一部分重新连在所述FCN网络之后进行迭代运算。
所述CRF-RNN训练模型对所述输入的语义分割结果进行优化处理的方式可以是通过以下方式来完成：
对所述输出值Q进行重复迭代以下五个步骤，直到定义的损失函数收敛，所述损失函数可以被定义为像素点的标注值和正向传播结果的平方差，当所述平方差收敛，即所述损失函数收敛；
传递步骤：将所述FCN网络生成的输出值Q通过M个高斯滤波器进行滤波。M的大小由像素点的类别而定，所述每一高斯滤波器的系数由像素点的位置以及RGB值而定；
加权步骤：对上一步输出的结果进行加权求和，对每一个类别的M个滤波结果根据权重相加，输出带权重的高斯滤波器；
变换步骤：对每一个类别的概率图根据不同类别之间的兼容性矩阵进行更新，兼容性变换可以等效为另外一个卷积层，滤波器大小只为1*1大小，输入的通道数与输出通道数等于像素点标注的数量(即采用1*1的卷积层，对多个特征图进行卷积层运算，经过运算后，每两张特征图又输出一张新的概率图)；
添加势能步骤：为上一步的输出的每一个值添加单点势能函数，所述单点势能函数的作用值可以是CRF能量函数的数据项，举例而言，所述CRF能量函数＝SUM(U(xi))+SUM(P(xi,xj),i<j)，其中，U(xi)为单点势能，P(xi,xj)为交叉势能；
归一化步骤：将上一步的输出结果输入值没有权重参数的softmax函数，以对各像素点所属不同类别进行概率归一化。
步骤S504，通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像。
所述概率图模型预先建立一个图并定义概率分布，然后进行推断和学习，从而来预测每个像素点的像素值(所述监控图像中某一像素点的像素值与其相邻区域的像素点有关，而与其他区域的像素点无关)。概率图模型包含结点与边。结点可以包括隐含结点和观测结点，边可以是有向的或者是无向的。结点对应于随机变量，边对应于随机变量的从属或者关联关系。所述概率图模型可以通过贝叶斯网络或马尔可夫随机场(MRF)。
步骤S506，根据所述分割图像来判断是否有入侵物入侵所述监控区域。
在一实施方式中，将所述分割图像与入侵物样本库进行比对，并根据比对结果来判断是否有入侵物入侵所述监控区域。所述样本库可以存储有各种可能入侵的入侵物的图像信息，并可以通过自学习来更新样本库的入侵物的图像信息。当所述预设监控区域为机场跑道，所述样本库存储的入侵物可以是飞鸟、风筝、无人机、机械碎片、动物等各种可能影响飞机起飞/降落安全的图像信息。
通过上述步骤S500-S506，本发明所提出的入侵检测方法，首先，获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；其次，将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；再者，通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；最后，根据所述分割图像来判断是否有入侵物入侵所述监控区域。这样，可以实现实时检测所述监控区域是否有入侵物入侵，相对于人工巡检而言，可以避免出现巡检疏漏，且可以将监控图像中分割出来的入侵物通过可视化系统进行显示，实现提前预警，提高所述监控区域的安全系数，监控面积可观且成本低廉。
参阅图6所示，是本发明入侵检测方法第二实施例的实施流程示意图。在本实施例中，根据不同的需求，图6所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S500，获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理。
在一实施例中，所述预设监控区域为需要监控是否有入侵物入侵的区域。举例而言，所述预设监控区域可以是机场跑道，所述入侵物可以是飞鸟、风筝、无人机、机械碎片、动物等各种可能影响飞机起飞/降落安全的物体。所述监控图像可以通过监控设备1拍摄得到。
在一实施方式中，可以通过全卷积网络(Fully Convolutional Network、FCN)对所述监控图像进行图像语义分割处理。在对所述监控图像进行图像语义分割过程中，可以先建立一个FCN网络，所述FCN网络可以是将现有VGG-16或CNN网络中的所包含的全连接层转化成卷积层的网络变形，即将现有VGG-16/CNN网络最后三层全连接层转换成为三层卷积层，进而形成所述FCN网络，所述FCN网络可以接受任意尺寸的输入图像。当所述监控图像输入至FCN网络后，通过FCN网络中的反卷积层对其最后一个卷积层的特征图进行上采样,使特征图恢复到与所述监控图像相同的尺寸，从而可以对每个像素点都产生了一个预测,同时又保留了原始输入图像(监控图像)中的空间信息,最后在与输入监控图像等大小的特征图上对每个像素点进行分类，逐像素地用softmax函数分类计算每一像素点的损失,得到一输出值Q，所述输出值Q相当于每个像素点对应一个训练样本。其中，所述softmax函数可以是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量的函数，其中向量中的每个元素取值均介于(0，1)之间，softmax函数可用在FCN网络的最后一层，以作为输出层对每一像素点进行分类。
步骤S502，将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布。
在一实施例中，可以将语义分割结果输入至CRF(条件随机场、ConditionalRandom Fields)-RNN(循环神经网络、Recurrent Neural Network)训练模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布。所述CRF-RNN训练模型与FCN网络相连，在求解CRF值时，可以将CRF的求解步骤等换成一RNN网络，从而来求出CRF的解，当求解完成后又作为整体训练模型的一部分重新连在所述FCN网络之后进行迭代运算。
所述CRF-RNN训练模型对所述输入的语义分割结果进行优化处理的方式可以是通过以下方式来完成：
对所述输出值Q进行重复迭代以下五个步骤，直到定义的损失函数收敛，所述损失函数可以被定义为像素点的标注值和正向传播结果的平方差，当所述平方差收敛，即所述损失函数收敛；
传递步骤：将所述FCN网络生成的输出值Q通过M个高斯滤波器进行滤波。M的大小由像素点的类别而定，所述每一高斯滤波器的系数由像素点的位置以及RGB值而定；
加权步骤：对上一步输出的结果进行加权求和，对每一个类别的M个滤波结果根据权重相加，输出带权重的高斯滤波器；
变换步骤：对每一个类别的概率图根据不同类别之间的兼容性矩阵进行更新，兼容性变换可以等效为另外一个卷积层，滤波器大小只为1*1大小，输入的通道数与输出通道数等于像素点标注的数量(即采用1*1的卷积层，对多个特征图进行卷积层运算，经过运算后，每两张特征图又输出一张新的概率图)；
添加势能步骤：为上一步的输出的每一个值添加单点势能函数，所述单点势能函数的作用值可以是CRF能量函数的数据项，举例而言，所述CRF能量函数＝SUM(U(xi))+SUM(P(xi,xj),i<j)，其中，U(xi)为单点势能，P(xi,xj)为交叉势能；
归一化步骤：将上一步的输出结果输入值没有权重参数的softmax函数，以对各像素点所属不同类别进行概率归一化。
步骤S504，通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像。
所述概率图模型预先建立一个图并定义概率分布，然后进行推断和学习，从而来预测每个像素点的像素值(所述监控图像中某一像素点的像素值与其相邻区域的像素点有关，而与其他区域的像素点无关)。概率图模型包含结点与边。结点可以包括隐含结点和观测结点，边可以是有向的或者是无向的。结点对应于随机变量，边对应于随机变量的从属或者关联关系。所述概率图模型可以通过贝叶斯网络或马尔可夫随机场(MRF)。
步骤S506，根据所述分割图像来判断是否有入侵物入侵所述监控区域。
在一实施方式中，将所述分割图像与入侵物样本库进行比对，并根据比对结果来判断是否有入侵物入侵所述监控区域。所述样本库可以存储有各种可能入侵的入侵物的图像信息，并可以通过自学习来更新样本库的入侵物的图像信息。当所述预设监控区域为机场跑道，所述样本库存储的入侵物可以是飞鸟、风筝、无人机、机械碎片、动物等各种可能影响飞机起飞/降落安全的图像信息。
步骤S508，若判断有入侵物入侵所述监控区域，输出入侵警示信息及所述入侵物的位置信息与图像信息。否则，返回至步骤S500。所述入侵警示信息可以是声音警示、灯光警示、界面弹窗警示、界面突出显示警示等一种或者多种。监控人员可以根据所述入侵物的位置信息与图像信息来确定入侵物的位置与类别，进而通知安管人员对入侵物进行处理，以消除安全隐患。
在一实施方式中，所述监控区域可以包括多个监控设备1，每一监控设备1可以进行编号并具有预设的位置信息，当某一监控设备1拍摄到入侵物时，可以根据该监控设备1的位置信息估算所述入侵物的位置信息。所述监控区域还可以设置多个固定标志，每一固定标志亦可进行编号并具有预设的位置信息，当某一监控设备1拍摄到入侵物且所拍摄得到的监控图像包含固定标志时，可以根据该监控设备1的位置信息及固定标志的位置信息来估算所述入侵物的位置信息。
通过上述步骤S500-S508，本发明所提出的入侵检测方法，首先，获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；其次，将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；再者，通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；再者，根据所述分割图像来判断是否有入侵物入侵所述监控区域；最后，若判断有入侵物入侵所述监控区域时，输出入侵警示信息及所述入侵物的位置信息与图像信息。这样，可以实现实时检测所述监控区域是否有入侵物入侵，相对于人工巡检而言，可以避免出现巡检疏漏，且可以将监控图像中分割出来的入侵物通过可视化系统进行显示，实现提前预警，提高所述监控区域的安全系数，监控面积可观且成本低廉。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种入侵检测方法，应用于应用服务器，其特征在于，所述方法包括：
获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；
将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；
通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；及
根据所述分割图像来判断是否有入侵物入侵所述监控区域。
2.如权利要求1所述的入侵检测方法，其特征在于，所述对所述监控图像进行图像语义分割处理的步骤包括：
通过FCN网络对所述监控图像进行图像语义分割处理。
3.如权利要求1所述的入侵检测方法，其特征在于，所述将经过所述图像语义分割处理得到的义分割结果输入至预设随机域模型进行优化处理的步骤包括：
将经过所述图像语义分割处理得到的义分割结果输入至CRF-RNN训练模型进行优化处理。
4.根据权利要求1所述的入侵检测方法，其特征在于，所述根据所述分割图像来判断是否有入侵物入侵所述监控区域的步骤包括：
将所述分割图像与入侵物样本库进行比对；及
根据比对结果来判断是否有入侵物入侵所述监控区域。
5.根据权利要求1所述的入侵检测方法，其特征在于，所述入侵检测方法还包括：
若判断有入侵物入侵所述监控区域，输出入侵警示信息及所述入侵物的位置信息与图像信息。
6.一种应用服务器，其特征在于，所述应用服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的入侵检测系统，所述入侵检测系统被所述处理器执行时实现如下步骤：
获取预设监控区域拍摄得到的监控图像并对所述监控图像进行图像语义分割处理；
将经过所述图像语义分割处理得到的语义分割结果输入至预设随机域模型进行优化处理，以得到所述监控图像中的每一像素点的概率分布；
通过概率图模型预测每一所述像素点的像素值，并根据每一所述像素点的像素值得到分割图像；及
根据所述分割图像来判断是否有入侵物入侵所述监控区域。
7.如权利要求6所述的应用服务器，其特征在于，所述对所述监控图像进行图像语义分割处理的步骤包括：
通过FCN网络对所述监控图像进行图像语义分割处理。
8.如权利要求6所述的应用服务器，其特征在于，所述将经过所述图像语义分割处理得到的义分割结果输入至预设随机域模型进行优化处理的步骤包括：
将经过所述图像语义分割处理得到的义分割结果输入至CRF-RNN训练模型进行优化处理。
9.如权利要求6所述的应用服务器，其特征在于，所述根据所述分割图像来判断是否有入侵物入侵所述监控区域的步骤包括：
将所述分割图像与入侵物样本库进行比对；及
根据比对结果来判断是否有入侵物入侵所述监控区域。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有入侵检测系统，所述入侵检测系统可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5中任一项所述的入侵检测方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711281183.9A CN108009506A (zh) | 2017-12-07 | 2017-12-07 | 入侵检测方法、应用服务器及计算机可读存储介质 |
| PCT/CN2018/076118 WO2019109524A1 (zh) | 2017-12-07 | 2018-02-10 | 入侵检测方法、应用服务器及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711281183.9A CN108009506A (zh) | 2017-12-07 | 2017-12-07 | 入侵检测方法、应用服务器及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108009506A true CN108009506A (zh) | 2018-05-08 |
Family
ID=62057062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711281183.9A Pending CN108009506A (zh) | 2017-12-07 | 2017-12-07 | 入侵检测方法、应用服务器及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108009506A (zh) |
| WO (1) | WO2019109524A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145715A (zh) * | 2018-07-02 | 2019-01-04 | 北京航空航天大学 | 轨道交通的空基行人侵界检测方法、装置和系统 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN110659627A (zh) * | 2019-10-08 | 2020-01-07 | 山东浪潮人工智能研究院有限公司 | 一种基于视频分割的智能视频监控方法 |
| CN110825579A (zh) * | 2019-09-18 | 2020-02-21 | 平安科技（深圳）有限公司 | 服务器性能监控方法、装置、计算机设备及存储介质 |
| CN113052106A (zh) * | 2021-04-01 | 2021-06-29 | 重庆大学 | 一种基于PSPNet网络的飞机起降跑道识别方法 |
| CN114373162A (zh) * | 2021-12-21 | 2022-04-19 | 国网江苏省电力有限公司南通供电分公司 | 用于变电站视频监控的危险区域人员入侵检测方法及系统 |
| CN115205796A (zh) * | 2022-07-07 | 2022-10-18 | 北京交通大学 | 轨道线路异物侵限监测与风险预警方法及系统 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766007B (zh) * | 2019-10-28 | 2023-09-22 | 深圳前海微众银行股份有限公司 | 证件遮挡检测方法、装置、设备及可读存储介质 |
| SE1930421A1 (en) * | 2019-12-30 | 2021-07-01 | Unibap Ab | Method and means for detection of imperfections in products |
| CN111242132A (zh) * | 2020-01-07 | 2020-06-05 | 广州赛特智能科技有限公司 | 室外道路场景语义分割方法、装置、电子设备及存储介质 |
| CN113269005A (zh) * | 2020-02-14 | 2021-08-17 | 深圳云天励飞技术有限公司 | 一种安全带检测方法、装置及电子设备 |
| CN111563428B (zh) * | 2020-04-23 | 2023-10-17 | 杭州云视通互联网科技有限公司 | 一种机场停机位入侵检测方法及其系统 |
| CN112001890A (zh) * | 2020-07-23 | 2020-11-27 | 浙江大华技术股份有限公司 | 输送线的阻塞检测方法及相关装置、设备 |
| CN112100903A (zh) * | 2020-08-11 | 2020-12-18 | 南京航空航天大学 | 一种航空发动机吸鸟环境下的鸟类风险预测与评估方法 |
| CN112270644A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 |
| CN112598676B (zh) * | 2020-12-29 | 2022-11-22 | 北京市商汤科技开发有限公司 | 图像分割方法及装置、电子设备和存储介质 |
| CN112733688B (zh) * | 2020-12-30 | 2022-10-18 | 中国科学技术大学先进技术研究院 | 房屋的属性值预测方法、装置、终端设备以及计算机可读存储介质 |
| CN112862849B (zh) * | 2021-01-27 | 2022-12-27 | 四川农业大学 | 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 |
| CN113724247A (zh) * | 2021-09-15 | 2021-11-30 | 国网河北省电力有限公司衡水供电分公司 | 一种基于图像判别技术的变电站智能巡检方法 |
| CN115311534B (zh) * | 2022-08-26 | 2023-07-18 | 中国铁道科学研究院集团有限公司 | 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质 |
| CN115601707B (zh) * | 2022-11-03 | 2024-01-23 | 国网湖北省电力有限公司荆州供电公司 | 电力系统输电线路在线监测方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102524237A (zh) * | 2012-01-11 | 2012-07-04 | 桂林电子科技大学 | 一种飞机场鸟情监控驱鸟系统及方法 |
| CN105787495A (zh) * | 2014-12-17 | 2016-07-20 | 同方威视技术股份有限公司 | 具有车辆参考图像检索及比对功能的车辆检查系统和方法 |
| CN105913597A (zh) * | 2016-05-17 | 2016-08-31 | 安徽泰然信息技术工程有限公司 | 一种家庭住户智能防入侵安防系统 |
| CN106803256A (zh) * | 2017-01-13 | 2017-06-06 | 深圳市唯特视科技有限公司 | 一种基于投影卷积网络的三维形状分割及语义标记方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516955B (zh) * | 2012-06-26 | 2016-12-21 | 郑州大学 | 视频监控中的入侵检测方法 |
| CN104424634B (zh) * | 2013-08-23 | 2017-05-03 | 株式会社理光 | 对象跟踪方法和装置 |
| CN104599275B (zh) * | 2015-01-27 | 2018-06-12 | 浙江大学 | 基于概率图模型的非参数化的rgb-d场景理解方法 |
| CN106709924B (zh) * | 2016-11-18 | 2019-11-22 | 中国人民解放军信息工程大学 | 基于深度卷积神经网络和超像素的图像语义分割方法 |
| CN107025457B (zh) * | 2017-03-29 | 2022-03-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法和装置 |
| CN107424159B (zh) * | 2017-07-28 | 2020-02-07 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
-
2017
- 2017-12-07 CN CN201711281183.9A patent/CN108009506A/zh active Pending
-
2018
- 2018-02-10 WO PCT/CN2018/076118 patent/WO2019109524A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102524237A (zh) * | 2012-01-11 | 2012-07-04 | 桂林电子科技大学 | 一种飞机场鸟情监控驱鸟系统及方法 |
| CN105787495A (zh) * | 2014-12-17 | 2016-07-20 | 同方威视技术股份有限公司 | 具有车辆参考图像检索及比对功能的车辆检查系统和方法 |
| CN105913597A (zh) * | 2016-05-17 | 2016-08-31 | 安徽泰然信息技术工程有限公司 | 一种家庭住户智能防入侵安防系统 |
| CN106803256A (zh) * | 2017-01-13 | 2017-06-06 | 深圳市唯特视科技有限公司 | 一种基于投影卷积网络的三维形状分割及语义标记方法 |
Non-Patent Citations (1)
| Title |
|---|
| SHUAI ZHENG ET AL.: "Conditional Random Fields as Recurrent Neural Networks", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145715A (zh) * | 2018-07-02 | 2019-01-04 | 北京航空航天大学 | 轨道交通的空基行人侵界检测方法、装置和系统 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN110825579A (zh) * | 2019-09-18 | 2020-02-21 | 平安科技（深圳）有限公司 | 服务器性能监控方法、装置、计算机设备及存储介质 |
| CN110825579B (zh) * | 2019-09-18 | 2022-03-08 | 平安科技（深圳）有限公司 | 服务器性能监控方法、装置、计算机设备及存储介质 |
| CN110659627A (zh) * | 2019-10-08 | 2020-01-07 | 山东浪潮人工智能研究院有限公司 | 一种基于视频分割的智能视频监控方法 |
| CN113052106A (zh) * | 2021-04-01 | 2021-06-29 | 重庆大学 | 一种基于PSPNet网络的飞机起降跑道识别方法 |
| CN114373162A (zh) * | 2021-12-21 | 2022-04-19 | 国网江苏省电力有限公司南通供电分公司 | 用于变电站视频监控的危险区域人员入侵检测方法及系统 |
| CN114373162B (zh) * | 2021-12-21 | 2023-12-26 | 国网江苏省电力有限公司南通供电分公司 | 用于变电站视频监控的危险区域人员入侵检测方法及系统 |
| CN115205796A (zh) * | 2022-07-07 | 2022-10-18 | 北京交通大学 | 轨道线路异物侵限监测与风险预警方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019109524A1 (zh) | 2019-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108009506A (zh) | 入侵检测方法、应用服务器及计算机可读存储介质 | |
| US9183512B2 (en) | Real-time anomaly detection of crowd behavior using multi-sensor information | |
| KR20180107930A (ko) | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 | |
| Fusier et al. | Video understanding for complex activity recognition | |
| Kim et al. | Forest fire monitoring system based on aerial image | |
| CN108446630A (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
| Qu et al. | Moving vehicle detection with convolutional networks in UAV videos | |
| CN110768971B (zh) | 适用于人工智能系统的对抗样本快速预警方法及系统 | |
| CN110852222A (zh) | 一种基于目标检测的校园走廊场景智能监控方法 | |
| KR20150100141A (ko) | 행동패턴 분석 장치 및 방법 | |
| CN111488803A (zh) | 一种融合目标检测和目标跟踪的机场目标行为理解系统 | |
| CN112330915B (zh) | 无人机森林防火预警方法、系统、电子设备和存储介质 | |
| Singh et al. | IoT based weapons detection system for surveillance and security using YOLOV4 | |
| CN114708555A (zh) | 基于数据处理的森林防火监控方法及电子设备 | |
| CN110633791A (zh) | 一种基于卷积神经网络的无人机异常行为识别方法 | |
| CN117172414A (zh) | 一种基于bim技术的建筑幕墙施工管理系统 | |
| CN113012107B (zh) | 电网缺陷检测方法及系统 | |
| CN116629465B (zh) | 智能电网视频监控与风险预测响应系统 | |
| CN113095160A (zh) | 基于人工智能和5g的电力系统人员安全行为识别方法及系统 | |
| US20230081554A1 (en) | Methods and internet of things (iot) systems for determining fire rescue plan in smart city | |
| CN113593256B (zh) | 基于城市管理的无人机智能驱离控制方法、系统及云平台 | |
| CN115146878A (zh) | 指挥调度方法、系统、车载设备及计算机可读存储介质 | |
| CN116910491B (zh) | 一种雷电监测预警系统、方法、电子设备及存储介质 | |
| CN117528551B (zh) | 一种港口运营网络的构建与数据感知方法及系统 | |
| CN113743459B (zh) | 目标检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180508 |