CN111986234A - 基于人工智能的自适应分辨率畜牧视频信息处理方法 - Google Patents
基于人工智能的自适应分辨率畜牧视频信息处理方法 Download PDFInfo
- Publication number
- CN111986234A CN111986234A CN202010842163.XA CN202010842163A CN111986234A CN 111986234 A CN111986234 A CN 111986234A CN 202010842163 A CN202010842163 A CN 202010842163A CN 111986234 A CN111986234 A CN 111986234A
- Authority
- CN
- China
- Prior art keywords
- livestock
- ground plane
- bim
- images
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 244000144972 livestock Species 0.000 title claims abstract description 174
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 10
- 230000010365 information processing Effects 0.000 title claims abstract description 10
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000010586 diagram Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 30
- 241001465754 Metazoa Species 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 claims description 3
- 238000009395 breeding Methods 0.000 claims description 2
- 230000001488 breeding effect Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 208000012661 Dyskinesia Diseases 0.000 abstract description 3
- 238000012805 post-processing Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000012173 estrus Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009304 pastoral farming Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Architecture (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于人工智能的自适应分辨率畜牧视频信息处理方法。将各个子区域的原始图像经投影变换和拼接后投影在BIM地面平面上，得到养殖区域的全景俯视图。同时通过牲畜检测神经网络处理畜牧区域图像得出牲畜关键点热力图，将牲畜关键点热力图经过投影变换和拼接后投影在BIM地面平面上，经过一定的后处理得出牲畜的运动量和牲畜关键点叠加图，并根据牲畜运动量调节各个相机拍摄图像的分辨率。通过WebGIS和信息交换模块将BIM里的信息可视化，实现了对整个畜牧区域牲畜运动情况的实时监控，并且可以对运动量异常的牲畜个体进行进一步的观察分析。
Description
技术领域
本申请涉及人工智能和视频监控领域，特别是涉及一种基于人工智能的自适应分辨率畜牧视频信息处理方法。
背景技术
在畜牧行业中，牲畜的日常运动量往往与其身体状况息息相关。牲畜运动量较少时，牲畜可能出现生病的情况；运动量较大时，牲畜可能是处于发情期。及时掌握牲畜的身体状况对于畜牧工作者极为重要，因此，对畜牧业中牲畜运动情况的监控必不可少。
目前对于畜牧区域内牲畜运动情况的监控方法，是在畜牧区域内设置多个相机获取图像，再把各个相机获取的图像拼接起来，来实现对整个畜牧区域内牲畜情况的监控。
2016年10月26日公开的CN 106060479 A“一种基于超视距视频技术的智能放牧监控系统”通过信息管理模块控制超视摄像机对牧场进行拍摄，并通过视频处理模块调整拍摄视频的清晰度并将同一时刻所有超视距摄像机拍摄的图像进行拼接，获得当前时刻整个牧场图像，并对牧场中的牧群进行定位、计数，从而实现在开放牧场空间放牧过程的智能化管理。但它所用超视距摄像机并不能获得畜牧区域中牲畜个体运动情况的信息，也没有针对运动情况异常的动物进行进一步观察的手段。
发明内容
针对以上问题，本发明提出一种基于人工智能的自适应分辨率畜牧视频信息处理方法。通过神经网络处理畜牧区域图像得出牲畜关键点热力图，经过一定的后处理得出牲畜的运动量和牲畜的移动轨迹，根据牲畜运动量调节摄像机拍摄图像的分辨率。实现了对畜牧区域牲畜运动情况的实时监控，并且可以对运动量异常的牲畜进行进一步的观察分析。
为了解决上述技术问题，本发明提出以下技术方案：
一种基于人工智能的自适应分辨率畜牧视频信息处理方法，其特征在于，包括以下步骤：
构建畜牧区域的BIM；
将畜牧区域分为若干个子区域，在畜牧区域各子区域设置相机采集图像，经过预处理得到原始图像；
将各子区域的原始图像通过投影变换投影在BIM地面平面上，拼接投影在BIM地面平面上的各子区域原始图像，得到畜牧区域的全景俯视图；
将原始图像输入牲畜检测神经网络，检测牲畜关键点，输出牲畜关键点热力图；
将牲畜关键点热力图投影在BIM地面平面上，得到BIM地面平面上的牲畜关键点热力图；
对BIM地面平面上的牲畜关键点热力图进行处理，把相邻两帧的牲畜关键点热力图进行叠加，通过算法匹配相邻两帧牲畜关键点热力叠加图中同一牲畜个体的关键点，计算同一牲畜个体关键点在BIM地面平面上相邻两帧之间的坐标偏移量，对一定时间内每一个牲畜个体关键点在相邻两帧之间的坐标偏移量进行累加运算，得出每个牲畜个体一定时间内的运动量，根据各子区域牲畜个体一定时间内的运动量调整子区域相机拍摄图像的分辨率，如果子区域存在一定时间内运动量大于最大阈值或者小于最小阈值的牲畜个体时，使该子区域的相机用高分辨率拍摄图像，如果子区域所有牲畜个体运动量都大于或等于最小阈值且小于或等于最大阈值，则使该子区域的相机用正常分辨率拍摄图像；
将当前帧和之前连续多帧BIM地面平面上的牲畜关键点热力图基于遗忘系数进行热力叠加，得到BIM地面平面上的牲畜关键点叠加图，拼接BIM地面平面上的牲畜关键点叠加图，得到BIM地面平面上的牲畜运动轨迹图；
通过WebGIS和信息交换模块将BIM里的信息可视化。
所述预处理方法包括：
滤波处理消除图像中的噪声；
将低分辨率的子区域图像转化为高分辨率图像。
该方法还包括对所述牲畜检测神经网络进行训练：
选择各子区域采集的包含各类牲畜的图像作为训练数据集；
对数据集进行标注，对于各类牲畜身体中心点投影到地面的一个点进行高斯模糊生成一个热斑，生成牲畜关键点热力图标注数据；
采用均方误差损失函数，随机梯度下降法进行牲畜检测神经网络的训练。
所述将各个子区域的原始图像通过投影变换投影在BIM地面平面上包括以下步骤：
用原始图像与BIM地面平面图像匹配出的特征点估算出第一单应性矩阵；
使用得出的第一单应性矩阵将原始图像投影在BIM地面平面上。
所述拼接投影在BIM地面平面上的各子区域图像包括以下步骤：
提取待拼接各子区域图像的特征点；
使用算法进行特征点的匹配；
根据匹配出的特征点使用RANSAC算法估算出第二单应性矩阵；
使用得出的第二单应性矩阵对投影在BIM地面平面上的各子区域图像进行拼接。
所述对牲畜关键点热力图进行投影变换投影在BIM地面平面上包括：使用第一单应性矩阵将各子区域的牲畜关键点热力图投影在BIM地面平面上。
所述拼接BIM地面平面上的牲畜关键点叠加图包括：使用第二单应性矩阵拼接投影在BIM地面平面上的各子区域的牲畜关键点叠加图。
所述提取待拼接各子区域图像的特征点的方法包括：Harris角点检测算法、SIFT角点检测算法、SUSAN角点检测算法、Kitchen-Rosenfeld角点检测算法。
通过算法匹配相邻两帧牲畜关键点热力图中同一牲畜个体的关键点包括以下步骤：
根据相邻两帧牲畜关键点热力图叠加后的图像中关键点间距离设置权重值，距离越小权重值越大；
通过KM算法计算相邻两帧牲畜关键点热力图叠加后的图像总权值最大时的关键点匹配方式，匹配出相邻两帧属于同一牲畜个体的关键点。
所述高分辨率和正常分辨率的比值设置在[1,1.5]范围内。
本发明和现有技术相比有如下有益效果：
(1)本发明采用训练好的深度神经网络识别牲畜，并根据识别结果判断牲畜的运动情况，避免了人工识别时的误判，提高了判断的速度和准确率。
(2)采用KM算法匹配属于同一牲畜个体的关键点并计算牲畜个体运动量，无需跟踪牲畜个体，提高了计算效率。
(3)本发明根据牲畜一定时间内运动量去调整相机拍摄牲畜的分辨率，牲畜一段时间内运动量过大或过小情况下时提高分辨率，方便牧场人员对运动量过高或过低的牲畜个体进行进一步的观察，同时也避免了一直使用高分辨率拍摄图片，节省了存储空间。
(4)本发明使用BIM来承载牧区全景图和牲畜轨迹信息，结合WebGIS可视化技术，将BIM信息模型通过WebGIS技术在Web进行展示，使用户直观地获取当前区域的牲畜运动信息。
附图说明
图1为方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一：
本发明的主要目的是实现基于人工智能的自适应分辨率畜牧视频信息处理。
为了实现本发明所述内容，本发明设计了一种基于人工智能的自适应分辨率畜牧视频信息处理方法，方法流程图如图1所示。
先构建畜牧区域的BIM。
将整个畜牧区域分成若干个子区域，在各子区域设置相机采集图像。其中，所有相机在最小分辨率下拍摄图像的范围合起来应能完全覆盖整个畜牧区域，且相邻子区域相机拍摄的图像间应有重叠部分便于后续的图像拼接处理。
畜牧子区域相机采集对应子区域的RGB图像，然后对图像进行预处理。图像预处理的方法是多样且公知的，本发明不对具体的方法进行限制，实施者可根据实际情况自行调整预处理方法。
本实施例中采用均值滤波的方法对子区域的RGB图像进行预处理，降低图像的噪声，得到原始图像。
对原始图像进行投影变换，以一个子区域原始图像的投影变换为例，步骤如下：
原始图像特征点l(x,y)与BIM地面平面上原始图像特征点l1(x1,y1)的投影关系公式为：
H为单应性矩阵，h1到h8为单应性矩阵的参数，需要至少4对特征点的坐标利用SVD(奇异值分解)算法求出单应性矩阵的参数。
选取原始图像的四个角点为特征点，确定这四个角点投影在BIM地面平面上的对应点坐标，根据这四对点算出第一单应性矩阵，然后根据第一单应性矩阵将该子区域原始图像变换到BIM地面平面上。
将投影在BIM地面平面上的各子区域原始图像拼接起来，以BIM地面平面上相邻两个子区域原始图像的拼接为例，拼接步骤如下：
使用算法提取BIM地面平面上相邻两个子区域原始图像中的特征点，其方法是多样且公知的，本发明不对特征点提取的方法及进行限制，实施者可根据实际情况选择合适的特征点提取方法。可以通过Harris角点检测算法、SIFT角点检测算法、SUSAN角点检测算法、Kitchen-Rosenfeld角点检测算法进行特征点的提取，本实施例采用SIFT角点检测算法提取出若干个特征点。
对BIM地面平面上相邻两个子区域原始图像中提取出来的特征点进行匹配，其方法是多样且公知的，本发明不对匹配特征点的方法进行限制，实施者可根据实际情况选择合适的特征点提取方法。可以采用NCC(归一化互相关)或者SDD(误差平方和算法)确定BIM地面平面上相邻两个子区域原始图像中提取出来的特征点的对应关系，输出若干对特征点。本实施例采用NCC进行图像配准。
根据匹配出来的特征点对，采用RANSAC(随机样本一致算法)估算单应性矩阵。
BIM地面平面上相邻两个子区域原始图像中提取出来的对应特征点l(x2,y2)、l3(x3,y3)的投影关系公式为：
H1为第二单应性矩阵，h9到h16为第二单应性矩阵的参数。
RANSAC算法工作原理为：从匹配出来的特征点对中随机选取四对作为有效数据来确定单应性矩阵，以此单应性矩阵测试所有特征点对，满足该单应性矩阵的特征点对为有效数据，反之为无效数据，迭代执行，直到某一个单应性矩阵得到的有效数据最多，则该单应性矩阵为最优单应性矩阵，可作为第二单应性矩阵。
根据估算出的第二单应性矩阵，进行BIM地面平面上相邻两个子区域原始图像的拼接。拼接包含图像的变形和融合两个步骤。
图像变形步骤如下，从BIM地面平面上选一点将其设为原点，通过映射BIM地面平面上子区域原始图像的四个角并且计算坐标的最小值和最大值确定输出图像的大小。然后计算指定BIM地面平面上子区域原始图像原点相对于输出全景图原点的x轴偏移量和y轴偏移量。将每个BIM地面平面上子区域原始图像的像素映射到BIM地面平面的指定位置上。
图像融合是在重叠区域融合像素颜色，以避免出现接缝。图像融合方法是多样且公知的，本发明不对具体方法进行限制。可采用羽化、金字塔、梯度等方法融合图像，本实施例采用羽化法融合重叠像素的颜色。
将BIM地面平面上子区域原始图像拼接起来，输出畜牧区域的全景俯视图。
接着训练牲畜检测神经网络，选择从各子区域采集的包含各类各品种动物的原始图像作为训练数据集。
对数据集进行标注，对于各类各品种动物，将每个动物身体的中心点投影到地面，对中心点的投影进行高斯模糊生成一个热斑作为标注；
采用均方误差损失函数，随机梯度下降法进行牲畜检测神经网络的训练。
要说明的是，神经网络的训练方法是公知的，不作为本发明的保护内容。
牲畜检测神经网络的训练完成后将各子区域原始图像输入牲畜检测神经网络中提取特征牲畜关键点，输出牲畜关键点热力图。
使用各子区域对应的第一单应性矩阵将的牲畜关键点热力图投影在BIM地面平面上。
对BIM地面平面上的牲畜关键点热力图并行地进行两种处理：运动量检测和热力叠加。
以一个子区域内牲畜运动量检测为例，运动量检测步骤如下：
将牲畜关键点热力图分组，相邻三帧牲畜关键点热力图为一组，将一组牲畜关键点热力图中关键点位置平均后作为一帧，这样可以减少误检的影响。
以下所述的一帧都为三帧牲畜关键点热力图平均后得出的一帧。
把相邻两帧的牲畜关键点热力图进行叠加，计算两帧间牲畜关键点的位移量。一个子区域可能有多只牲畜，所以要区分出不同牲畜个体的关键点才能计算牲畜关键点在相邻帧间的位移量。本发明通过KM算法匹配相邻两帧牲畜关键点热力叠加图中同一牲畜个体的关键点。
KM算法是为了求出相邻两帧的牲畜关键点热力叠加图中关键点的最佳匹配，来区分不同牲畜个体的关键点。设相邻两帧的牲畜关键点热力叠加图中不同帧的关键点分别为X点集和Y点集，将两个点集中的点不重复地一一相连，连线的长度决定这两个点之间的权值，长度越小权值越大。
KM算法通过不断地迭代优化X点集和Y点集中点的匹配方式，使相邻两帧牲畜关键点热力图叠加后的图像总权值最大。最后得到相邻两帧牲畜关键点热力叠加图中属于同一牲畜个体的关键点。
计算同一牲畜个体关键点在BIM地面平面上相邻两帧之间的坐标偏移量，作为一个牲畜个体在两帧之间的位移量。对一定时间内每一个牲畜个体关键点在相邻两帧之间的坐标偏移量分别进行累加运算，得出每个牲畜个体一定时间内的运动量。
本实施例中每5秒计算一次牲畜个体在这5秒间的运动量，并设定牲畜运动量最高阈值max和最低阈值min。当5秒内牲畜个体运动量大于最高阈值max，为运动量较大的情况；当5秒内牲畜个体运动量在小于或等于最高阈值max且大于或等于最低阈值min，为运动量正常的情况；当5秒内牲畜个体运动量小于最低阈值min，为运动量较小的情况。
若子区域所有牲畜个体运动量都为正常情况，则将该牲畜所在子区域相机分辨率设置为正常分辨率r1,；若子区域存在运动量较大或较小的牲畜个体，则将该子区域相机分辨率设置为高分辨率r2,建议分辨率倍数K(即K＝r2/r1)设置在[1,1.5]范围内，避免分辨率调整后因细节信息丢失、重叠度过小导致图像拼接精度过低的情况。
以一个子区域的热力叠加为例，热力叠加步骤如下：
将当前帧和之前连续多帧BIM地面平面上的牲畜关键点热力图，基于遗忘系数进行叠加，其计算公式为：X′＝αx′+(1-α)x″，其中，x′为当前帧BIM地面平面上的牲畜关键点热力图，x″为之前帧BIM地面平面上的牲畜关键点热力图叠加计算的结果，X′即为当前帧BIM地面平面上的牲畜关键点叠加图，(1-α)为遗忘系数，在本发明中α的取值为0.05。最后输出当前帧BIM地面平面上的牲畜关键点叠加图。
基于遗忘算法进行热度叠加，能够淡化距离当前帧时间过长的牲畜关键点，防止关键点叠加混乱影响畜牧工作人员的观察。
使用之前估计出的第二单应性矩阵对BIM地面平面上的牲畜关键点叠加图进行拼接，再使用羽化算法融合重叠像素的颜色，输出BIM地面平面上的牲畜运动轨迹图。
为了直观地呈现出系统输出的信息，本发明搭建信息交换平台和WebGIS网站将BIM上的信息可视化。
信息交换平台是一种基于BIM的信息处理和数据交换平台，它可以实时更新BIM和其包含的信息并将BIM上的信息与外界进行交换。
通过WebGIS搭建网站，网站接收信息交换平台的信息并将信息可视化，网站输出为畜牧区域的全景俯视图、牲畜运动轨迹图、牲畜的运动量大小和各子区域的原始图像。
畜牧工作人员可以在网站上进行检索、查询和分析，根据需要获得数据交换模块中的信息。例如畜牧区域的全景俯视图、畜牧区域各个牲畜个体的运动量大小、运动量异常牲畜所在区域的高清图像，为判断牲畜是否生病、是否处于发情期等提供信息支持，便于畜牧者更直观的了解到畜牧区域的牲畜动物情况。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的自适应分辨率畜牧视频信息处理方法，其特征在于，包括以下步骤：
构建畜牧区域的BIM；
将畜牧区域分为若干个子区域，在畜牧区域各子区域设置相机采集图像，经过预处理得到原始图像；
将各子区域的原始图像通过投影变换投影在BIM地面平面上，拼接投影在BIM地面平面上的各子区域原始图像，得到畜牧区域的全景俯视图；
将原始图像输入牲畜检测神经网络，检测牲畜关键点，输出牲畜关键点热力图；
将牲畜关键点热力图投影在BIM地面平面上，得到BIM地面平面上的牲畜关键点热力图；
对BIM地面平面上的牲畜关键点热力图进行处理，把相邻两帧的牲畜关键点热力图进行叠加，通过算法匹配相邻两帧牲畜关键点热力叠加图中同一牲畜个体的关键点，计算同一牲畜个体关键点在BIM地面平面上相邻两帧之间的坐标偏移量，对一定时间内每一个牲畜个体关键点在相邻两帧之间的坐标偏移量进行累加运算，得出每个牲畜个体一定时间内的运动量，根据各子区域牲畜个体一定时间内的运动量调整子区域相机拍摄图像的分辨率，如果子区域存在一定时间内运动量大于最大阈值或者小于最小阈值的牲畜个体时，使该子区域的相机用高分辨率拍摄图像，如果子区域所有牲畜个体运动量都大于或等于最小阈值且小于或等于最大阈值，则使该子区域的相机用正常分辨率拍摄图像；
将当前帧和之前连续多帧BIM地面平面上的牲畜关键点热力图基于遗忘系数进行热力叠加，得到BIM地面平面上的牲畜关键点叠加图，拼接BIM地面平面上的牲畜关键点叠加图，得到BIM地面平面上的牲畜运动轨迹图；
通过WebGIS和信息交换模块将BIM里的信息可视化。
2.如权利要求1所述的方法，其特征在于，所述预处理方法包括：
通过滤波处理消除图像中的噪声；
将低分辨率的子区域图像转化为高分辨率图像。
3.如权利要求1所述的方法，其特征在于，该方法还包括对所述牲畜检测神经网络进行训练：
选择各子区域采集的包含各类牲畜的图像作为训练数据集；
对数据集进行标注，对于各类牲畜身体中心点投影到地面的一个点进行高斯模糊生成一个热斑，生成牲畜关键点热力图标注数据；
采用均方误差损失函数，随机梯度下降法进行牲畜检测神经网络的训练。
4.如权利要求1所述的方法，其特征在于，所述将各个子区域的原始图像通过投影变换投影在BIM地面平面上包括以下步骤：
用原始图像与BIM地面平面图像匹配出的特征点估算出第一单应性矩阵；
使用得出的第一单应性矩阵将原始图像投影在BIM地面平面上。
5.如权利要求1所述的方法，其特征在于，所述拼接投影在BIM地面平面上的各子区域图像包括以下步骤：
用算法提取待拼接各子区域图像的特征点；
使用算法进行图像配准，输出若干对特征点；
根据匹配出的特征点对使用RANSAC算法估算出第二单应性矩阵；
使用得出的第二单应性矩阵对投影在BIM地面平面上的各子区域图像进行拼接。
6.如权利要求4所述的方法，其特征在于，所述对牲畜关键点热力图进行投影变换投影在BIM地面平面上包括：使用第一单应性矩阵将各子区域的牲畜关键点热力图投影在BIM地面平面上。
7.如权利要求5所述的方法，其特征在于，所述拼接BIM地面平面上的牲畜关键点叠加图包括：使用第二单应性矩阵拼接投影在BIM地面平面上的各子区域的牲畜关键点叠加图。
8.如权利要求5所述的方法，其特征在于，所述提取待拼接各子区域图像的特征点的方法包括：Harris角点检测算法、SIFT角点检测算法、SUSAN角点检测算法、Kitchen-Rosenfeld角点检测算法。
9.如权利要求1所述的方法，其特征在于，通过算法匹配相邻两帧牲畜关键点热力图中同一牲畜个体的关键点包括以下步骤：
根据相邻两帧牲畜关键点热力图叠加后的图像中关键点间距离设置权重值，距离越小权重值越大；
通过KM算法计算相邻两帧牲畜关键点热力图叠加后的图像总权值最大时的关键点匹配方式，匹配出相邻两帧属于同一牲畜个体的关键点。
10.如权利要求1所述的方法，其特征在于，所述高分辨率和正常分辨率的比值设置在[1,1.5]范围内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010842163.XA CN111986234A (zh) | 2020-08-20 | 2020-08-20 | 基于人工智能的自适应分辨率畜牧视频信息处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010842163.XA CN111986234A (zh) | 2020-08-20 | 2020-08-20 | 基于人工智能的自适应分辨率畜牧视频信息处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111986234A true CN111986234A (zh) | 2020-11-24 |
Family
ID=73444166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010842163.XA Withdrawn CN111986234A (zh) | 2020-08-20 | 2020-08-20 | 基于人工智能的自适应分辨率畜牧视频信息处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986234A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592320A (zh) * | 2021-06-16 | 2021-11-02 | 成都世纪光合作用科技有限公司 | 一种就餐意图识别方法、装置及电子设备 |
| CN114998768A (zh) * | 2022-06-02 | 2022-09-02 | 广州市港航工程研究所 | 一种基于无人机的智慧工地管理系统及方法 |
| CN115909255A (zh) * | 2023-01-05 | 2023-04-04 | 北京百度网讯科技有限公司 | 图像生成、图像分割方法、装置、设备、车载终端及介质 |
| CN116596167A (zh) * | 2023-07-17 | 2023-08-15 | 湖南华牧全安数字科技有限公司 | 一种基于数据深度融合处理的牲畜养殖方案优化方法 |
-
2020
- 2020-08-20 CN CN202010842163.XA patent/CN111986234A/zh not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592320A (zh) * | 2021-06-16 | 2021-11-02 | 成都世纪光合作用科技有限公司 | 一种就餐意图识别方法、装置及电子设备 |
| CN113592320B (zh) * | 2021-06-16 | 2023-10-03 | 成都世纪光合作用科技有限公司 | 一种就餐意图识别方法、装置及电子设备 |
| CN114998768A (zh) * | 2022-06-02 | 2022-09-02 | 广州市港航工程研究所 | 一种基于无人机的智慧工地管理系统及方法 |
| CN115909255A (zh) * | 2023-01-05 | 2023-04-04 | 北京百度网讯科技有限公司 | 图像生成、图像分割方法、装置、设备、车载终端及介质 |
| CN115909255B (zh) * | 2023-01-05 | 2023-06-06 | 北京百度网讯科技有限公司 | 图像生成、图像分割方法、装置、设备、车载终端及介质 |
| CN116596167A (zh) * | 2023-07-17 | 2023-08-15 | 湖南华牧全安数字科技有限公司 | 一种基于数据深度融合处理的牲畜养殖方案优化方法 |
| CN116596167B (zh) * | 2023-07-17 | 2023-09-19 | 湖南华牧全安数字科技有限公司 | 一种基于数据深度融合处理的牲畜养殖方案优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986234A (zh) | 基于人工智能的自适应分辨率畜牧视频信息处理方法 | |
| AU2019201977B2 (en) | Aerial monitoring system and method for identifying and locating object features | |
| CN105518744B (zh) | 行人再识别方法及设备 | |
| WO2023060777A1 (zh) | 一种基于深度学习的猪只体尺体重估测方法 | |
| CN111862296B (zh) | 三维重建方法及装置、系统、模型训练方法、存储介质 | |
| CN103997624B (zh) | 重叠域双摄像头目标跟踪系统及方法 | |
| CN104517102A (zh) | 学生课堂注意力检测方法及系统 | |
| CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
| CN107424142A (zh) | 一种基于图像显著性检测的焊缝识别方法 | |
| CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
| CN105809711B (zh) | 一种基于视频追踪的猪只运动大数据提取方法及其系统 | |
| WO2020052352A1 (zh) | 用于对车辆损伤图像进行损伤分割的方法及装置 | |
| CN111476883B (zh) | 多视角无标记动物的三维姿态轨迹重建方法及装置 | |
| CN111028266B (zh) | 畜禽盘点方法、装置、电子设备和存储介质 | |
| CN111695431A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
| CN109919007A (zh) | 一种生成红外图像标注信息的方法 | |
| CN109726681A (zh) | 一种基于机器学习识别与图像分割的盲道识别定位算法 | |
| CN106022211B (zh) | 一种利用手势控制多媒体设备的方法 | |
| CN111563492B (zh) | 一种跌倒检测方法、跌倒检测装置及存储装置 | |
| CN111833331A (zh) | 基于人工智能及主动枪球联动的牲畜体温图像处理方法 | |
| Li et al. | Automated measurement of beef cattle body size via key point detection and monocular depth estimation | |
| CN111985472A (zh) | 基于人工智能和主动球机的食槽干草温度图像处理方法 | |
| CN109883400A (zh) | 基于yolo-sitcol的固定站自动目标检测与空间定位方法 | |
| CN116682050A (zh) | 智能巡检方法和装置、巡检机器人及存储介质 | |
| CN110211150A (zh) | 一种具有尺度协调机制的实时视觉目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201124 |