CN112800867B - 基于二阶段高空云台视频的松材线虫病枯死树检测方法 - Google Patents

基于二阶段高空云台视频的松材线虫病枯死树检测方法 Download PDF

Info

Publication number
CN112800867B
CN112800867B CN202110040676.3A CN202110040676A CN112800867B CN 112800867 B CN112800867 B CN 112800867B CN 202110040676 A CN202110040676 A CN 202110040676A CN 112800867 B CN112800867 B CN 112800867B
Authority
CN
China
Prior art keywords
value
image
altitude
pine wood
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110040676.3A
Other languages
English (en)
Other versions
CN112800867A (zh
Inventor
唐灿
江朝元
曹晓莉
封强
柳荣星
马吉刚
彭鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Intercontrol Electronics Co ltd
Original Assignee
Chongqing Intercontrol Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Intercontrol Electronics Co ltd filed Critical Chongqing Intercontrol Electronics Co ltd
Priority to CN202110040676.3A priority Critical patent/CN112800867B/zh
Publication of CN112800867A publication Critical patent/CN112800867A/zh
Application granted granted Critical
Publication of CN112800867B publication Critical patent/CN112800867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明公开了一种基于二阶段高空云台视频的松材线虫病枯死树检测方法，包括第一阶段和第二阶段，第一阶段直接用视频快速定位出可疑病枯树的出现位置的PTZ值；第二阶段对可疑病枯树重新拍照，并采用松材线虫病枯死树CNN分类算法进行进一步的识别处理。本发明先通过高空云台视频来快速定位病枯树，然后通过再次拍摄进行分类识别松材线虫病枯死树的方法，它可以大大加快林业高空防火云台的识别枯死树的过程，并进一步提高识别结果的准确率；它不仅无需在前端加入任何的新增设备，而且可以与高空防火云台的功能相协同。

Description

基于二阶段高空云台视频的松材线虫病枯死树检测方法
技术领域
本发明涉及森林防护技术领域，特别是涉及一种基于二阶段高空云台视频的松材线虫病枯死树检测方法。
背景技术
松材线虫属于线形动物门，滑刃目、滑刃总科、滑刃科、伞滑刃属。是我国危害较大的外来入侵物种之一(但未被列入我国首批外来入侵物种名单)。1982年在南京中山陵首次被发现，随后相继在安徽、山东、浙江、广东等地形成几个疾病中心，并向四周扩散，使这些省的局部地区发生并流行成灾，导致大批松树枯死。松材线虫病给安徽、浙江两省带来的经济损失高达5亿～7亿元。
由于松线虫的毁灭性危害，该虫已被列为对内、对外的重要检疫对象。近距离传播主要靠媒介天牛，如松墨天牛(Monochamus alternatus)，携带传播；远距离主要靠人为调运带疫(带松材线虫的天牛)的苗木、松材、松木包装箱及松木制品等进行传播。被松材线虫感染后的松树，针叶呈黄褐色或红褐色、萎蔫下垂，树脂分泌停止，在树干上可观察到天牛侵入孔或产卵痕迹，病树整株干枯死亡，木材蓝变。严重威胁用材林。由于扩展迅速，现已对黄山、张家界等多个风景名胜区的天然针叶林构成了巨大威胁。
一旦发现患病的植株，需要将其砍伐，从而防止松材线虫病的蔓延，从而实现减少经济损失，保护生态的目的。目前我国检测治理松材线虫病的方法通常是人工巡逻为主，但由于很多自然保护区人迹罕至，很难达到早发现早治疗的目的。
现有技术的缺陷在于：一些研究机构使用了无人机对林场进行巡护，使用相应算法对其进行识别，但无人机存在巡逻范围有限的技术问题，需要全程人为参与；还有一些技术上使用了现有的高空云台对松材线虫病枯死树进行检测，并非通过视频，而是定点拍照来加以实现，其方法存在耗时较长，可能会影响高空云台正常的防火目标。
因此，本发明希望能进一步利用现有高空云台，达成实时、高效、更加准确的定位出松材线虫枯死树的方法。
相关资料：
1、松材线虫，参见百度百科：
https://baike.baidu.com/item/％E6％9D％BE％E6％9D％90％E7％BA％BF％E8％99％AB；
2、Laplace算子：
http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/imgproc/imgtrans/laplace_operator/laplace_operator.html；
3、ChineseOcrLite算法：
https://github.com/ouyanghuiyu/chineseocr_lite；
4、Yolo v3，https://github.com/pjreddie/darknet；
5：VGG模型：
https://baike.baidu.com/item/VGG％20％E6％A8％A1％E5％9E％8B/22689655。
发明内容
有鉴于现有技术的至少一个缺陷，本发明的目的是提供一种基于二阶段高空云台视频的松材线虫病枯死树检测方法，先通过高空云台视频来快速定位病枯树，然后通过再次拍摄进行分类识别松材线虫病枯死树的方法，它可以加快林业高空防火云台识别枯死树的过程，并进一步提高识别结果的准确率；它不仅无需在前端加入任何的新增设备，而且可以与高空防火云台的功能相协同。
为了达到上述目的，本发明采用如下技术方案：一种基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于，包括第一阶段和第二阶段，第一阶段直接用视频快速定位出可疑病枯树的出现位置的PTZ值；第二阶段对可疑病枯树重新拍照，并采用松材线虫病枯死树CNN分类算法进行进一步的识别处理。
上述检测方法先通过高空云台摄像机的视频来快速定位病枯树，然后通过再次拍摄进行分类识别松材线虫病枯死树。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于；包括如下步骤：
步骤一：利用高空云台摄像机的参数值Z，生成水平旋转的PTZ扫描信息视频；
步骤二：对步骤一生成的视频的每一帧图像Fk进行识别预处理；去除其中的模糊类图像；
步骤三：对步骤二的预处理结果采用目标检测松材线虫算法进行目标检测识别，提取可疑图像结果；
步骤四：对步骤三中需要重新定位拍照的图像Fk进行再处理，调用高空云台摄像机进行缩放定位，拍照生成新的定位图像；进行第二阶段的识别预处理；然后通过目标检测松材线虫算法对它进行目标检测识别；
步骤五：使用二分类的松材线虫病死树CNN分类算法进行分类识别，找出分类结果的图像。
上述方法，通过识别预处理；去除其中的模糊类图像；对预处理结果采用目标检测松材线虫算法进行目标检测识别，提取可疑图像结果；然后使用二分类的松材线虫病死树CNN分类算法进行分类识别，找出分类结果的图像。从而找出松材线虫病死树图像。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于；所述步骤一包括：
步骤1.1：打开高空云台摄像机的PTZ显示功能，同时读取高空云台摄像机的缩放倍数参数即参数值Z，获取参数值Z的最小值Zmin、最大值Zmax；
步骤1.2：对高空云台摄像机的PTZ进行三重循环扫描，通过高空云台摄像机拍摄视频，其中P值从Pmin～PMax调节，Pmin为P值的最小值，PMax为P值的最大值；T值从Tmin～Tmax调节，Tmin为T值的最小值，Tmax为T值的最小值；Z值从Zmin到Zmax调节；最内层循环为P值循环，每当它达到最小值Pmin或最大值PMax时，则调节T值；当T值达到最大值Tmax或最小值Tmin时，则调节Z值。
上述方法通过高空云台摄像机的PTZ进行三重循环扫描，通过高空云台摄像机拍摄视频。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于；所述步骤1.2包括：
步骤1.2.1：高空云台摄像机以最大水平移动速度的1/m倍速水平移动，m>1；进行水平扫描拍摄视频；
步骤1.2.2：如果P值大于Pmin且小于Pmax，返回步骤1.2.1；当P值大于等于Pmax或小于等于Pmin时，将水平旋转反向，同时，以步进值Δt调节T值，Δt表示高空云台摄像机垂直方向的步进值；进入步骤1.2.3；
步骤1.2.3：如果T值大于Tmin小于Tmax，返回步骤1.2.1；如果T值>Tmax,则T值＝Tmax；如果T值<Tmin,则T值＝Tmin；以Δz调节Z值，Δz表示每次缩放的调节倍数；转步骤1.2.4；
步骤1.2.4：如果Z值小于Zmax，返回步骤1.2.1；如果Z值大于等于Zmax，则第一阶段扫描结束。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其特征在于：所述步骤二包括：
步骤2.1：依次读取高空云台摄像机的视频中的每一帧图像Fk；
步骤2.2：使用OpenCV算法判断图像Fk是否属于模糊类图像；如果是，抛弃此图像Fk，转步骤2.1；否则，转步骤2.3；
步骤2.3：对图像Fk进行OCR识别，获取图像Fk中实时的PTZ值即PkTkZk，将图像Fk与PkTkZk值组合在一起。
上述方法，采用OpenCV算法去除模糊类图像；并将图像Fk与PkTkZk值组合在一起。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于：所述步骤2.2包括：对图像Fk进行Laplacian变换，判断其返回值，以100为阈值，如果返回值小于100，该图像Fk为模糊类图像，抛弃此图像Fk，转步骤2.1；如果返回值大于100，则视为清晰图，转步骤2.3。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于：所述步骤三包括：
步骤3.1：读取一条图像Fk的图像数据及对应PTZ值，该对应PTZ值即PkTkZk，将其放入到目标检测松材线虫算法中进行识别，所述目标检测松材线虫算法是训练好的YOLO V3算法，识别是否为枯死树木的图像，得到识别结果；
然后框选出识别结果坐标，输出为：
aBoxs＝[{x11,y11,x12,y12},{x21,y21,x22,y22},...,{xi1,yi1,xi2,yi2},...]；其中xi1，yi1表示
识别出的枯死树木的图像i对应的左上角坐标，xi2,yi2表示其右下角坐标；
步骤3.2：判断当前图像Fk是否为枯死树木的图像？如果否，则抛弃掉此图像Fk，转入到步骤3.1；如果是，转步骤3.3；
步骤3.3：判断{xi1,yi1,xi2,yi2}框选的图像区域是否小于图像Fk的画面的1/4，如果是，将图像Fk作上标记，标记为{xi1,yi1,xi2,yi2,Pk,Tk,Zk,1}，需要重新定位拍照；否则将图像Fk作上标记，标记为：{xi1,yi1,xi2,yi2,Pk,Tk,Zk,0}，无需重新定位拍照，将标记后的结果放入标记数组R1中；
步骤3.4：将无需重新定位拍照的图像Fk，按{xi1,yi1,xi2,yi2}坐标位置进行裁剪，将裁剪结果放入数组R2中；
步骤3.5：判断步骤二生成的视频是否全部处理结束，如果是转入步骤四，否则转步骤3.1。
上述方法，通过目标检测松材线虫算法识别枯死树木的图像。枯死树木的图像i指第i个枯死树木的图像。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于：所述步骤四包括：
步骤4.1：依次读取数组R1中的图像信息的位置信息，即步骤3.3生成的数组
aBoxs＝[{x11,y11,x12,y12,P1,T1,Z1,x1},{x21,y21,x22,y22,P2,T2,Z2,x2},,...,{xi1,yi1,xi2,yi2,Pk,Tk,Zk,xi},...]；
步骤4.2：如果{xi1,yi1,xi2,yi2,Pk,Tk,Zk,xi}中的xi＝1，则根据高空云台摄像机的当前视频的分辨率和xi1,yi1,xi2,yi2的值，调用高空云台摄像机的3D定位API，按坐标xi1-10,yi1-10,xi2+10,yi2+10进行缩放定位；
步骤4.3：拍照生成新的定位图像，并对它进行目标检测识别，然后通过目标检测松材线虫算法再次框选出识别结果坐标{x’i1,y’i1,x’i2,y’i2}；
步骤4.4：如果识别结果不是枯死树木的图像，抛弃掉此图像，转步骤4.1；否则，再次读取此时的PTZ值，此时的输出结果为{x’i1,y’i1,x’i2,y’i2,P’k,T’k,Z’k,0}；
步骤4.5按新的识别结果坐标{x’i1,y’i1,x’i2,y’i2}裁剪出识别结果，并放入数组R2中。
上述方法，对需要重新拍照的图像调用高空云台摄像机的3D定位API，按坐标xi1-10,yi1-10,xi2+10,yi2+10进行缩放定位；拍照生成新的定位图像，并对它进行目标检测识别。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于：所述步骤五包括：
步骤5.1：依次读取数组R2中的图像信息F’i；
步骤5.2：对图像信息F’i使用二分类的松材线虫病死树CNN分类算法进行分类识别，本方法使用的是训练的VGG分类算法；
步骤5.3：如果是，则输出图像信息F’i及对应的PTZ值；如果不是，删除图像信息F’i，转步骤5.4；
步骤5.4：判断数组R2是否已经处理完毕？如果否，转步骤5.1，如果是，结束。
上述方法，通过二分类的松材线虫病死树CNN分类算法进行分类识别，识别松材线虫病枯死树。
显著效果:本发明提供了一种基于二阶段高空云台视频的松材线虫病枯死树检测方法，先通过高空云台视频来快速定位病枯树，然后通过再次拍摄进行分类识别松材线虫病枯死树的方法，它可以加快林业高空防火云台识别枯死树的过程，并进一步提高识别结果的准确率；它不仅无需在前端加入任何的新增设备，而且可以与高空防火云台的功能相协同。
附图说明
图1为本发明的方法流程图；
图2为本发明的一种详细的流程图；
图3为本发明的第一阶段流程图；
图4为本发明的第二阶段流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1-图4所示，一种基于二阶段高空云台视频的松材线虫病枯死树检测方法，包括第一阶段和第二阶段，第一阶段直接用视频快速定位出可疑病枯树的出现位置的PTZ值；第二阶段对可疑病枯树重新拍照，并采用松材线虫病枯死树CNN分类算法进行进一步的识别处理。
第一阶段识别可疑病枯树，第二阶段识别松材线虫病造成的病枯树。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于；包括如下步骤：
第一阶段包括步骤一、步骤二、步骤三，第二阶段包括步骤四、步骤五；
步骤一：利用高空云台摄像机的参数值Z，生成水平旋转的PTZ扫描信息视频；
步骤二：对步骤一生成的视频的每一帧图像Fk进行识别预处理；去除其中的模糊类图像；
步骤三：对步骤二的预处理结果采用目标检测松材线虫算法进行目标检测识别，提取可疑图像结果；找到可疑病枯树；
步骤四：对步骤三中需要重新定位拍照的图像Fk进行再处理，调用高空云台摄像机进行缩放定位，拍照生成新的定位图像；进行第二阶段的识别预处理；然后通过目标检测松材线虫算法对它进行目标检测识别；
步骤五：使用二分类的松材线虫病死树CNN分类算法进行分类识别，找出分类结果的图像。
高空云台摄像机是现有的装备。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于；所述步骤一包括：
步骤1.1：打开高空云台摄像机的PTZ显示功能，同时读取高空云台摄像机的缩放倍数参数即参数值Z，获取参数值Z的最小值Zmin、最大值Zmax；
步骤1.2：对高空云台摄像机的PTZ进行三重循环扫描，通过高空云台摄像机拍摄视频，其中P值从Pmin～PMax调节，Pmin为P值的最小值，PMax为P值的最大值；T值从Tmin～Tmax调节，Tmin为T值的最小值，Tmax为T值的最小值；Z值从Zmin到Zmax调节；最内层循环为P值循环，每当它达到最小值Pmin或最大值PMax时，则调节T值；当T值达到最大值Tmax或最小值Tmin时，则调节Z值。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于；所述步骤1.2包括：
步骤1.2.1：高空云台摄像机以最大水平移动速度的1/m倍速水平移动，m>1；进行水平扫描拍摄视频；在扫描的同时，可以将高空云台摄像机获得的视频进行步骤二、步骤三的处理；提高速度；
步骤1.2.2：如果P值大于Pmin且小于Pmax，返回步骤1.2.1；当P值大于等于Pmax或小于等于Pmin时，将水平旋转反向，同时，以步进值Δt调节T值，Δt表示高空云台摄像机垂直方向的步进值；进入步骤1.2.3；
步骤1.2.3：如果T值大于Tmin小于Tmax，返回步骤1.2.1；如果T值>Tmax,则T值＝Tmax；如果T值<Tmin,则T值＝Tmin；以Δz调节Z值，Δz表示每次缩放的调节倍数；转步骤1.2.4；
步骤1.2.4：如果Z值小于Zmax，返回步骤1.2.1；如果Z值大于等于Zmax，则第一阶段扫描结束。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其特征在于：所述步骤二包括：
步骤2.1：依次读取高空云台摄像机的视频中的每一帧图像Fk；
步骤2.2：使用OpenCV算法判断图像Fk是否属于模糊类图像；如果是，抛弃此图像Fk，转步骤2.1；否则，转步骤2.3；
步骤2.3：对图像Fk进行OCR识别，获取图像Fk中实时的PTZ值即PkTkZk，将图像Fk与PkTkZk值组合在一起。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于：所述步骤2.2包括：对图像Fk进行Laplacian变换，判断其返回值，以100为阈值，如果返回值小于100，该图像Fk为模糊类图像，抛弃此图像Fk，转步骤2.1；如果返回值大于100，则视为清晰图，转步骤2.3。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于：所述步骤三包括：
步骤3.1：读取一条图像Fk的图像数据及对应PTZ值，该对应PTZ值即PkTkZk，将其放入到目标检测松材线虫算法中进行识别，所述目标检测松材线虫算法是训练好的YOLO V3算法，识别是否为枯死树木的图像，得到识别结果；
然后框选出识别结果坐标，输出为：
aBoxs＝[{x11,y11,x12,y12},{x21,y21,x22,y22},...,{xi1,yi1,xi2,yi2},...]；其中xi1，yi1表示
识别出的枯死树木的图像i对应的左上角坐标，xi2,yi2表示其右下角坐标；
步骤3.2：判断当前图像Fk是否为枯死树木的图像？如果否，则抛弃掉此图像Fk，转入到步骤3.1；如果是，转步骤3.3；
步骤3.3：判断{xi1,yi1,xi2,yi2}框选的图像区域是否小于图像Fk的画面的1/4，如果是，将图像Fk作上标记，标记为{xi1,yi1,xi2,yi2,Pk,Tk,Zk,1}，需要重新定位拍照；否则将图像Fk作上标记，标记为：{xi1,yi1,xi2,yi2,Pk,Tk,Zk,0}，无需重新定位拍照，将标记后的结果放入标记数组R1中；
步骤3.4：将无需重新定位拍照的图像Fk，按{xi1,yi1,xi2,yi2}坐标位置进行裁剪，将裁剪结果放入数组R2中；
步骤3.5：判断步骤二生成的视频是否全部处理结束，如果是转入步骤四，否则转步骤3.1。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于：所述步骤四包括：
步骤4.1：依次读取数组R1中的图像信息的位置信息，即步骤3.3生成的数组
aBoxs＝[{x11,y11,x12,y12,P1,T1,Z1,x1},{x21,y21,x22,y22,P2,T2,Z2,x2},,...,{xi1,yi1,xi2,yi2,Pk,Tk,Zk,xi},...]；
步骤4.2：如果{xi1,yi1,xi2,yi2,Pk,Tk,Zk,xi}中的xi＝1，则根据高空云台摄像机的当前视频的分辨率和xi1,yi1,xi2,yi2的值，调用高空云台摄像机的3D定位API，按坐标xi1-10,yi1-10,xi2+10,yi2+10进行缩放定位；
步骤4.3：拍照生成新的定位图像，并对它进行目标检测识别，然后通过目标检测松材线虫算法再次框选出识别结果坐标{x’i1,y’i1,x’i2,y’i2}；
步骤4.4：如果识别结果不是枯死树木的图像，抛弃掉此图像，转步骤4.1；否则，再次读取此时的PTZ值，此时的输出结果为{x’i1,y’i1,x’i2,y’i2,P’k,T’k,Z’k,0}；
步骤4.5按新的识别结果坐标{x’i1,y’i1,x’i2,y’i2}裁剪出识别结果，并放入数组R2中。
所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其关键在于：所述步骤五包括：
步骤5.1：依次读取数组R2中的图像信息F’i；
步骤5.2：对图像信息F’i使用二分类的松材线虫病死树CNN分类算法进行分类识别，本方法使用的是训练的VGG分类算法；
步骤5.3：如果是，则输出图像信息F’i及对应的PTZ值；如果不是，删除图像信息F’i，转步骤5.4；
步骤5.4：判断数组R2是否已经处理完毕？如果否，转步骤5.1，如果是，结束。
PTZ安防监控器材概念Pan/Tilt/Zoom的简写，代表云台全方位(左右/上下)移动及镜头变倍、变焦控制。通常提到这个词，可以通俗的理解为云台控制。
在摄像机监视的场景范围内，当移动目标出现后，用户可以手动锁定(例如通过鼠标点击来锁定目标)或预置位自动触发锁定某个运动目标，来触发PTZ摄像机进行自主自动的PTZ跟踪，并自动控制PTZ摄像机的云台进行全方位旋转，针对被锁定的运动目标进行视觉导向的自动跟踪，以确保跟踪目标持续出现在镜头中央。自动PTZ跟踪模块弥补了固定摄像机监控视野窄的缺点，是完善的安全监控系统所必备的功能。
下面再结合附图来对本检测方法作进一步的详细介绍。
一种基于二阶段高空云台视频识别的松材线虫病枯死树检测方法。
如图1所示，它使用了两个不同阶段：第一阶段采用了直接用视频中快速定位出可疑病枯树的出现位置的PTZ值，第二阶段对可疑病树进入新的拍照，并采用松材线虫病枯死树的分类算法进行进一步的识别处理。
如图2-图4所示，进一步包括如下步骤：
步骤一：直接利用现有的高空云台摄像机的Z参数值，生成水平旋转的PTZ扫描信息；
它包含以下步骤：
步骤1.1打开摄像机的PTZ显示功能，同时读取摄像机的缩放倍数参数，即Zmax值。示例：由于Z值最小为1倍，所以有：Zmin＝1至Zmax＝50倍。
步骤1.2对PTZ进行三重循环扫描，其中P值从Pmin～PMax，即0～360度，T值从Tmin～Tmax；即-90～0度，Z值从Zmin到Zmax，与摄像机有关，如1-50倍。为避免过多的视界重叠，尽快完成扫描，最内层循环为P值，水平旋转，每当它达到最小值或最大值时，则增加T值；当T值达到最大值Tmax或最小值Tmin时，则增加Z值:
步骤1.2包含以下子步骤：
步骤1.2.1：设Δt＝10，Δz＝Zmax/10，它们分别表示垂直方向的步进值和每次缩放的增加倍数。从P＝0,T＝-80,Z＝1开始，摄像机以最大速度的1/5倍速水平移动。
步骤1.2.2由于直接水平扫描，P值将会由0较缓慢的增加至360度，或由360度减少到0度。扫描的同时，将视频F进行处理，参见：步骤二。
当P值大于等于Pmax或小于等于Pmin时，将水平旋转反向，即：向右移动改为向左移动，向左移动改为向右移动。同时，将T＝T+Δt。
步骤1.2.3：如果新的T值>Tend或<Tstart,则T值＝Tstart或Tend,且Z＝Z+Δz，同时Δt取反，即：如果向上移动转为向下移动，向下移动转为向上移动。
步骤1.2.4如果Z值在1-10倍之间，则Δt＝10；如果Z值在10-30倍之间，则Δt＝5；如果Z值大于Zmax，则第一阶段扫描结束。否则转1.2.2。
步骤二：由于步骤一会不断的生成视频，步骤二就是对它的每一帧进行第一阶段的识别预处理；
它包含以下子步骤:
步骤2.1读取视频中的每一帧图像Fk。
步骤2.2由于对环境一无所知，所以将面临不断拍摄模糊图像的问题，比如：对着摄像机支架、或者近处的物体不断的放大摄像头，因而，需要去掉所有的模糊图像。我们使用OpenCV来进行模糊类的判断，方法是：对图像进行Laplacian变换，判断其返回值，以100为阈值，如果小于100，抛弃此图，转步骤2.1。如果大于100，则视为清晰图，转下一步。
步骤2.3由于云台一直在不断的运动中，所以很难直接从云台上读到正确的PTZ值。不过，由于步骤1.1中打开了PTZ显示开关，摄像机会实时的把PTZ值显示在视频中，因而对它进行OCR(光学字符识别)即可。本方法使用chineseocrlite来进行指定区域的OCR识别，其结果即为实时的PTZ值,将Fk与PkTkZk值组合在一起，转入下一步骤；
步骤三：对待识别Fk图像进行第一阶段的目标检测识别，提取可疑图像结果；
步骤3.1读取一条Fk的图像数据及对应PTZ值，记为：PTZ的，将其放入到已经训练好的目标检测松材线虫算法中进行识别。此处的目标检测算法选择的是训练好的YOLO V3算法，它会自动的识别出枯死的树木，然后框选出识别结果，输出为aBoxs＝[{x11,y11,x12,y12},{x21,y21,x22,y22},...,{xi1,yi1,xi2,yi2},...]。其中xi1，yi1表示识别出的树木i对应的左上角坐标，xi2,yi2表示其右下角坐标。
步骤3.2：当前图像是否识别为病死树？如果否，则抛弃掉此图像，转入到步骤3.1。
步骤3.3循环判断{xi1,yi1,xi2,yi2}的值是否小于画面的1/4，也就是判断(xi2-xi1)×(yi2-yi1)是否小于画面大小的1/4；判断识别出的框是否足够大，不够就要重新放大识别。如果是，则扩展此元素，标记为{xi1,yi1,xi2,yi2,Pk,Tk,Zk,1}，它表示：需要重新定位拍照；否则记为：{xi1,yi1,xi2,yi2,Pk,Tk,Zk,0}，它表示：无需重新定位拍照，将标记后的结果放入标记数组R1中。
步骤3.4将无需重新定位拍照的图像，按xi1,yi1,xi2,yi2位置进行裁剪，则将裁剪结果放入数组R2中。
步骤3.5除非步骤二生成的视频全部处理结束，转入步骤四，否则转步骤3.1。
步骤四：对步骤三中需要重新定位拍照的图像进行再处理；此时，由于摄像机的第一阶段扫描已经完成，所以可以进行第二阶段的识别预处理，它包含以下子步骤：
步骤4.1依次读取数组R1中的图像信息中的位置信息，即步骤3.4生成的数组：
aBoxs＝[{x11,y11,x12,y12,P1,T1,Z1,x1},{x21,y21,x22,y22,P2,T2,Z2,x2},,...,{xi1,yi1,xi2,yi2,
Pk,Tk,Zk,xi},...]；其中的x为0或1。
步骤4.2如果元素i＝{xi1,yi1,xi2,yi2,Pk,Tk,Zk,xi}中的xi＝1表示需要重新定位拍照，则根据当前视频的分辨率(如1920×1080)和xi1,yi1,xi2,yi2的值，调用摄像机的3D定位API，按坐标xi1-10,yi1-10,xi2+10,yi2+10进行缩放定位。此步骤是保证生成一个较大的兴趣区域。
步骤4.3拍照生成新的定位图像，并对它重复进行目标检测识别，然后由此算法输出再次框选的识结果{x’i1,y’i1,x’i2,y’i2}。
步骤4.4如果识别结果不是病枯树，则转步骤4.1。否则，再次读取此时的PTZ值，将此时的输出更新为{x’i1,y’i1,x’i2,y’i2,P’k,T’k,Z’k,0}。
步骤4.5按新的识别坐标：x’i1,y’i1,x’i2,y’i2裁剪出识别结果，并放入R2数组中。
步骤五：对第一阶段的图像进行第二次识别，找出分类结果的图像；使用分类能大大提高识别精度，由原来的40％提高到80％以上，真正解决了目标检测精度不高的困难；
它的子步骤如下：
步骤5.1依次读取数组R2中的图像信息F’i；
步骤5.2对图像使用二分类的松材线虫病死树CNN分类算法进行分类识别，本方法使用是自己训练的VGG分类算法。
步骤5.3如果是，则输出F’i及对应的PTZ值。
步骤5.4数组R2是否已经处理完毕？如否，转步骤5.1，否则程序结束。
至此，本方法实现了一种基于二阶段高空云台视频识别的松材线虫病枯死树检测的全过程,其对应的两个不同阶段的流程图如图3-图4所示。
本技术关键点如下：
包括：首先直接利用现有的高空云台摄像机的基础Z值，进行PTZ的三重循环的视频扫描；取视频图像中的每一帧，对待识别图像进行第一阶段的病枯树目标检测识别，提取可疑图像结果。接下来，对较小图像的需要重新定位拍照的图像进行第二阶段的预处理，重新定位拍照，再次找出较大的可疑图像图像；最后为提高松材线虫的准确性，使用松材线虫病枯树的二分类算法对裁剪图像进行分类处理，并输出最后分类的结果。
技术保护范围摘要:
一种基于高空云台识别的松材线虫病枯死树检测及定位方法,其特征在于，包括：
特征一、除摄像机的镜头放大倍数外，无需要任何的先验知识，直接生成所有旋转并放大的PTZ轨迹信息；
特征二、按生成的PTZ轨迹信息，通过云台的定速巡航功能，使用0.2倍速来进行巡航，并直接通过视频来读取待识别图像；
特征三、识别第一阶段：对待识别图像先进行模糊识别，放弃掉所有模糊率高的照片，再进行实时目标检测识别，提取可疑病枯树的图像,并同时计算出对应的PTZ信息；这是本方法的第一次识别，它使用开源的YOLO V3目标检测算法进行识别；
特征四、识别第二阶段：对上一步找到的较小可疑图像的PTZ信息进行再检测，先计算出需要定位为合适大小的新的PTZ二阶段的再识别。并裁剪出需要进行进一步分类处理的图像；
特征五、将裁剪出的图像进行松材线虫的CNN分类识别,从而进一步提高准确率。使用分类能大大提高识别精度，由原来的40％提高到80％以上，真正解决了目标检测精度不高的困难。如果通过两阶段识别的结果都成功，则输出其结果和对应的PTZ值，否则放弃。
最后，需要注意的是：以上列举的仅是本发明的具体实施例子，当然本领域的技术人员可以对本发明进行改动和变型，倘若这些修改和变型属于本发明权利要求及其等同技术的范围之内，均应认为是本发明的保护范围。

Claims (4)

1.一种基于二阶段高空云台视频的松材线虫病枯死树检测方法，其特征在于，包括第一阶段和第二阶段，第一阶段直接用视频快速定位出可疑病枯树的出现位置的PTZ值；第二阶段对可疑病枯树重新拍照，并采用松材线虫病枯死树CNN分类算法进行进一步的识别处理；
第一阶段包括步骤一、步骤二、步骤三，第二阶段包括步骤四、步骤五；
步骤一：利用高空云台摄像机的参数值Z，生成水平旋转的PTZ扫描信息视频；
步骤二：对步骤一生成的视频的每一帧图像Fk进行识别预处理，去除其中的模糊类图像；
步骤三：对步骤二的预处理结果采用目标检测松材线虫算法进行目标检测识别，提取可疑图像结果；
步骤四：对步骤三中需要重新定位拍照的图像Fk进行再处理，调用高空云台摄像机进行缩放定位，拍照生成新的定位图像；进行第二阶段的识别预处理；然后通过目标检测松材线虫算法对它进行目标检测识别；
步骤五：使用二分类的松材线虫病死树CNN分类算法进行分类识别，找出分类结果的图像；
所述步骤一包括：
步骤1.1：打开高空云台摄像机的PTZ显示功能，同时读取高空云台摄像机的缩放倍数参数即参数值Z，获取参数值Z的最小值Zmin、最大值Zmax；
步骤1.2：对高空云台摄像机的PTZ进行三重循环扫描，通过高空云台摄像机拍摄视频，其中P值从Pmin～PMax调节，Pmin为P值的最小值，PMax为P值的最大值；T值从Tmin～Tmax调节，Tmin为T值的最小值，Tmax为T值的最小值；Z值从Zmin到Zmax调节；最内层循环为P值循环，每当它达到最小值Pmin或最大值PMax时，则调节T值；当T值达到最大值Tmax或最小值Tmin时，则调节Z值；
所述步骤1.2包括：
步骤1.2.1：高空云台摄像机以最大水平移动速度的1/m倍速水平移动，m>1；进行水平扫描拍摄视频；
步骤1.2.2：如果P值大于Pmin且小于Pmax，返回步骤1.2.1；当P值大于等于Pmax或小于等于Pmin时，将水平旋转反向，同时，以步进值Δt调节T值，Δt表示高空云台摄像机垂直方向的步进值；进入步骤1.2.3；
步骤1.2.3：如果T值大于Tmin小于Tmax，返回步骤1.2.1；如果T值>Tmax,则T值＝Tmax；如果T值<Tmin,则T值＝Tmin；以Δz调节Z值，Δz表示每次缩放的调节倍数；转步骤1.2.4；
步骤1.2.4：如果Z值小于Zmax，返回步骤1.2.1；如果Z值大于等于Zmax，则第一阶段扫描结束；
所述步骤三包括：
步骤3.1：读取一条图像Fk的图像数据及对应PTZ值，该对应PTZ值即PkTkZk，将其放入到目标检测松材线虫算法中进行识别，所述目标检测松材线虫算法是训练好的YOLO V3算法，识别是否为枯死树木的图像，得到识别结果；
然后框选出识别结果坐标，输出为：
aBoxs＝[{x11,y11,x12,y12},{x21,y21,x22,y22},...,{xi1,yi1,xi2,yi2},...]；其中xi1，yi1表示
识别出的枯死树木的图像i对应的左上角坐标，xi2,yi2表示其右下角坐标；
步骤3.2：判断当前图像Fk是否为枯死树木的图像，如果否，则抛弃掉此图像Fk，转入到步骤3.1；如果是，转步骤3.3；
步骤3.3：判断{xi1,yi1,xi2,yi2}框选的图像区域是否小于图像Fk的画面的1/4，如果是，将图像Fk作上标记，标记为{xi1,yi1,xi2,yi2,Pk,Tk,Zk,1}，需要重新定位拍照；否则将图像Fk作上标记，标记为：{xi1,yi1,xi2,yi2,Pk,Tk,Zk,0}，无需重新定位拍照，将标记后的结果放入标记数组R1中；
步骤3.4：将无需重新定位拍照的图像Fk，按{xi1,yi1,xi2,yi2}坐标位置进行裁剪，将裁剪结果放入数组R2中；
步骤3.5：判断步骤二生成的视频是否全部处理结束，如果是转入步骤四，否则转步骤3.1；
所述步骤四包括：
步骤4.1：依次读取数组R1中的图像信息的位置信息，即步骤3.3生成的数组
aBoxs＝[{x11,y11,x12,y12,P1,T1,Z1,x1},{x21,y21,x22,y22,P2,T2,Z2,x2},,...,{xi1,yi1,xi2,yi2,Pk,Tk,Zk,xi},...]；
步骤4.2：如果{xi1,yi1,xi2,yi2,Pk,Tk,Zk,xi}中的xi＝1，则根据高空云台摄像机的当前视频的分辨率和xi1,yi1,xi2,yi2的值，调用高空云台摄像机的3D定位API，按坐标xi1-10,yi1-10,xi2+10,yi2+10进行缩放定位；
步骤4.3：拍照生成新的定位图像，并对它进行目标检测识别，然后通过目标检测松材线虫算法再次框选出识别结果坐标{x’i1,y’i1,x’i2,y’i2}；
步骤4.4：如果识别结果不是枯死树木的图像，抛弃掉此图像，转步骤4.1；否则，再次读取此时的PTZ值，此时的输出结果为{x’i1,y’i1,x’i2,y’i2,P’k,T’k,Z’k,0}；
步骤4.5按新的识别结果坐标{x’i1,y’i1,x’i2,y’i2}裁剪出识别结果，并放入数组R2中。
2.根据权利要求1所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其特征在于：所述步骤二包括：
步骤2.1：依次读取高空云台摄像机的视频中的每一帧图像Fk；
步骤2.2：使用OpenCV算法判断图像Fk是否属于模糊类图像；如果是，抛弃此图像Fk，转步骤2.1；否则，转步骤2.3；
步骤2.3：对图像Fk进行OCR识别，获取图像Fk中实时的PTZ值即PkTkZk，将图像Fk与PkTkZk值组合在一起。
3.根据权利要求2所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其特征在于：所述步骤2.2包括：对图像Fk进行Laplacian变换，判断其返回值，以100为阈值，如果返回值小于100，该图像Fk为模糊类图像，抛弃此图像Fk，转步骤2.1；如果返回值大于100，则视为清晰图，转步骤2.3。
4.根据权利要求1所述的基于二阶段高空云台视频的松材线虫病枯死树检测方法，其特征在于：所述步骤五包括：
步骤5.1：依次读取数组R2中的图像信息F’i；
步骤5.2：对图像信息F’i使用二分类的松材线虫病死树CNN分类算法进行分类识别，本方法使用的是训练的VGG分类算法；
步骤5.3：如果是，则输出图像信息F’i及对应的PTZ值；如果不是，转步骤5.4；
步骤5.4：判断数组R2是否已经处理完毕，如果否，转步骤5.1，如果是，结束。
CN202110040676.3A 2021-01-13 2021-01-13 基于二阶段高空云台视频的松材线虫病枯死树检测方法 Active CN112800867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110040676.3A CN112800867B (zh) 2021-01-13 2021-01-13 基于二阶段高空云台视频的松材线虫病枯死树检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110040676.3A CN112800867B (zh) 2021-01-13 2021-01-13 基于二阶段高空云台视频的松材线虫病枯死树检测方法

Publications (2)

Publication Number Publication Date
CN112800867A CN112800867A (zh) 2021-05-14
CN112800867B true CN112800867B (zh) 2023-05-12

Family

ID=75810331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110040676.3A Active CN112800867B (zh) 2021-01-13 2021-01-13 基于二阶段高空云台视频的松材线虫病枯死树检测方法

Country Status (1)

Country Link
CN (1) CN112800867B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113905178B (zh) * 2021-10-12 2023-05-30 重庆英卡电子有限公司 一种基于高空云台的环境自动感知巡航方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948563A (zh) * 2019-03-22 2019-06-28 华南农业大学 一种基于深度学习的松材线虫病枯死树检测定位方法
CN110136447A (zh) * 2019-05-23 2019-08-16 杭州诚道科技股份有限公司 行车变道检测及违法变道识别的方法
CN110232307A (zh) * 2019-04-04 2019-09-13 中国石油大学(华东) 一种基于无人机的多帧联合人脸识别算法
CN111611989A (zh) * 2020-05-22 2020-09-01 四川智动木牛智能科技有限公司 一种基于自主机器人的多目标精准定位识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317860B2 (en) * 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948563A (zh) * 2019-03-22 2019-06-28 华南农业大学 一种基于深度学习的松材线虫病枯死树检测定位方法
CN110232307A (zh) * 2019-04-04 2019-09-13 中国石油大学(华东) 一种基于无人机的多帧联合人脸识别算法
CN110136447A (zh) * 2019-05-23 2019-08-16 杭州诚道科技股份有限公司 行车变道检测及违法变道识别的方法
CN111611989A (zh) * 2020-05-22 2020-09-01 四川智动木牛智能科技有限公司 一种基于自主机器人的多目标精准定位识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A deep convolutional neural network for video sequence background subtraction;Mohammadreza Babaee;《Pattern Recognition》;635-649 *
Automatic PTZ Camera Control Based on Deep-Q Network in Video Surveillance System;Dongchil Kim;《2019 International Conference on Electronics, Information, and Communication (ICEIC)》;1-10 *
基于Faster R-CNN的松材线虫病受害木识别与定位;徐信罗;陶欢;李存军;程成;郭杭;周静平;;农业机械学报(第07期);1-5 *
基于FreeRTOS的嵌入式云台控制系统设计;朱耀麟;《2015年电子技术应用》;1-5 *
多PTZ主动摄像头的类目标检测定位系统;马庆平;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;I138-6468 *
浅谈PTZ摄像机的技术应用与发展方向;尹雪辉;《中国公共安全》;1-6 *

Also Published As

Publication number Publication date
CN112800867A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
US11765321B2 (en) Intelligent video surveillance system and method
CN104754302B (zh) 一种基于枪球联动系统的目标检测跟踪方法
CN105894702B (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN111291633B (zh) 一种实时行人重识别方法及装置
US6900729B2 (en) Thermal signature intensity alarmer
CN101918989B (zh) 带有对象跟踪和检索的视频监控系统
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
TWI679612B (zh) 影像追蹤方法
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
CN108810413A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110493517A (zh) 图像捕获装置的辅助拍摄方法和图像捕获装置
CN111163285A (zh) 高空抛坠物监测方法及其系统、计算机可读存储介质
US20190311186A1 (en) Face recognition method
CN107181918A (zh) 一种光学动捕摄像机的拍摄控制方法及系统
JP4764172B2 (ja) 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム
CN107609475B (zh) 基于光场相机的行人检测误检提出方法
CN107316024B (zh) 基于深度学习的周界报警算法
CN112800867B (zh) 基于二阶段高空云台视频的松材线虫病枯死树检测方法
CN106599779A (zh) 一种人耳识别方法
CN109862263A (zh) 一种基于图像多维特征识别的移动目标自动跟踪方法
TW466452B (en) Method and apparatus for photographing/recognizing a face
CN111199203A (zh) 一种基于手持设备的动作捕捉方法及系统
JP2020149132A (ja) 画像処理装置及び画像処理プログラム
CN112395922A (zh) 面部动作检测方法、装置及系统
Luo et al. Image de-fencing based on binary morphology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant