CN111814238A - 基于人工智能及混合云推理的养殖舍bim实时成像方法 - Google Patents
基于人工智能及混合云推理的养殖舍bim实时成像方法 Download PDFInfo
- Publication number
- CN111814238A CN111814238A CN202010668241.9A CN202010668241A CN111814238A CN 111814238 A CN111814238 A CN 111814238A CN 202010668241 A CN202010668241 A CN 202010668241A CN 111814238 A CN111814238 A CN 111814238A
- Authority
- CN
- China
- Prior art keywords
- breeding house
- pollution source
- detection module
- images
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000009395 breeding Methods 0.000 title claims abstract description 141
- 230000001488 breeding effect Effects 0.000 title claims abstract description 141
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 9
- 238000003384 imaging method Methods 0.000 title claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 40
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 claims abstract description 20
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims abstract description 20
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 229910021529 ammonia Inorganic materials 0.000 claims abstract description 10
- 229910002092 carbon dioxide Inorganic materials 0.000 claims abstract description 10
- 239000001569 carbon dioxide Substances 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 29
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 239000010865 sewage Substances 0.000 claims description 4
- 239000010871 livestock manure Substances 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 abstract description 10
- 238000013461 design Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 244000144972 livestock Species 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 244000144977 poultry Species 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011109 contamination Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K1/00—Housing animals; Equipment therefor
- A01K1/0047—Air-conditioning, e.g. ventilation, of animal housings
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Environmental Sciences (AREA)
- Geometry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Animal Husbandry (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Zoology (AREA)
- Artificial Intelligence (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人工智能及混合云推理的养殖舍BIM实时成像方法。该方法包括：摄像头实时采集的养殖舍图像作为待分析数据；将请求对应的神经网络推理任务进行划分，分配至多个不同的混合云节点，配置区块链私链；执行神经网络混合云推理，输出养殖舍污染源分割图；养殖舍温湿度检测模块、氨气浓度检测模块、二氧化碳浓度检测模块、光照检测模块、有害气体检测模块分别获取其对应的检测数据进行达标判断；将养殖舍图像、污染源分割图拼接，投影到养殖舍建筑信息模型；进行可视化显示。利用本发明，提高了养殖舍环境监测的自动化性能，提供全景养殖舍图像方便监管，设计模型信息集成能力强，数据传输处理过程隐私保护性能好。
Description
技术领域
本发明涉及人工智能、智慧畜牧、BIM、区块链技术领域，具体涉及一种基于人工智能及混合云推理的养殖舍BIM实时成像方法。
背景技术
从20世纪80年代后期至今，我国畜禽养殖业得到了迅速发展,畜禽养殖业的养殖规模、养殖方式和分布区域发生了巨大的变化。传统的养殖手段和经验方法已不适应当前的行业发展，畜禽养殖业迫切需要依靠前沿科技手段，建立其数字化、精细化和智能化的产业养殖管理模式。
在养殖生产当中，养殖舍环境因素长期以来都得不到广大养殖户重视，越是优越的畜类品种，对养殖环境的栏舍条件要求就越高，假如环境达不到畜类品种要求，即使饲料和防疫都得到了较好的发挥，养殖环境做不好，饲料的转化也得不到充分发挥，更有甚者还会出现难以控制的疫情，从而使得养殖的经济效益下降。因此养殖环境的有效控制是提高畜禽养殖生产性能的重要一环，而环境的控制主要包括养殖舍的通风、温湿度、光照等方面。现有方案主要是利用普通的视频监控技术认为监控养殖舍环境，通过传感器监测养殖舍其他环境参数。现有的视频监控技术存在的问题是需要人为进行识别，缺少自动化分析功能，而且监控摄像头只能看到局部区域。另一方面，传感器监测数据分散，缺少整合方法。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能及混合云推理的养殖舍BIM实时成像方法，提高了养殖舍环境监测的自动化性能，提供全景养殖舍图像方便监管，设计模型信息集成能力强，数据传输处理过程隐私保护性能好。
一种基于人工智能及混合云推理的养殖舍BIM实时成像方法，该方法包括：
摄像头实时采集的养殖舍图像作为待分析数据，生成养殖舍污染源分割推理请求；将请求对应的养殖舍污染源语义分割神经网络推理任务按照神经网络层数拆分为多个子任务，每个子任务包括多个连续的神经网络层；根据混合云内的资源分配情况，将多个子任务分配至多个不同的混合云节点，混合云节点上子任务对应的神经网络层所需参数配置为区块数据，得到分布于不同混合云节点的多个区块；按照养殖舍污染源分割语义分割神经网络推理顺序，将多个区块连接得到区块链私链，区块链私链的链序与子任务执行顺序一致；执行神经网络混合云推理，输出养殖舍污染源分割图；
养殖舍温湿度检测模块、氨气浓度检测模块、二氧化碳浓度检测模块、光照检测模块、有害气体检测模块分别获取其对应的温度、湿度、氨气浓度、二氧化碳浓度、光照强度、有害气体信息，通过信息交换模块上传到养殖舍建筑信息模型，并判断养殖舍相应位置的对应指标是否达标；
将各个摄像头拍摄的养殖舍图像、网络输出的污染源分割图拼接，形成完整的养殖舍图像、污染源分割图，经透视变换处理后，投影到养殖舍建筑信息模型地面坐标系；
养殖舍建筑信息模型中添加养殖舍图像图层、污染源分割图图层，利用信息交换模块获取完整的养殖舍图像、污染源分割图，添加到对应图层，结合WebGIS技术，在Web页面上对养殖舍建筑信息模型进行可视化显示。
养殖舍建筑信息模型是以养殖舍信息数据为基础，建立起三维养殖舍模型，并包含内部设施、传感器信息，可通过Revit软件进行养殖舍建筑信息模型建模与设计。
养殖舍污染源分割神经网络包括：
污染源检测编码器，对养殖舍图像进行特征提取，输出养殖舍特征图；
污染源检测解码器，对养殖舍特征图进行上采样和特征提取，得到污染源分割概率图，经过后处理输出养殖舍污染源分割图，用于区分污染源与其他无关元素的语义。
所述执行神经网络混合云推理具体为：
对养殖舍图像，按照推理子任务的任务执行顺序，区块链私链中的混合云节点对其接收到的来自上一混合云节点的数据进行解密，执行相应的推理子任务；
区块链私链的混合云节点对其传输至下一混合云节点的数据进行加密并发送至下一区块节点。
该方法还包括：使用摄像头采集养殖舍图像，构建训练集，对训练集中的图像进行污染源标注，标注污水、畜禽粪便等污染源的像素值为1，其他非污染源像素值为0，利用训练集与标注训练养殖舍污染源语义分割神经网络，损失函数采用交叉熵。
将各个摄像头拍摄的养殖舍图像、网络输出的污染源分割图拼接包括：
提取养殖舍内相邻位置摄像头拍摄的待拼接摄像头图像的特征点；
进行图像配准，采用一定的匹配策略，找出待拼接摄像头图像中的特征点在参考图像中对应的位置；
根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；
根据建立的数学转换模型，将待拼接摄像头图像、污染源分割图转换到参考图像的坐标系中，完成统一坐标变换；
将待拼接摄像头图像的重合区域进行融合得到拼接重构的平滑无缝的养殖舍图像，将待拼接污染源分割图的重合区域进行融合得到拼接重构的污染源分割图。
加密方法包括张量形状变换方法，具体为：针对每一个网络推理请求，生成张量形状变换参数表，并发送至区块链私链所在节点，区块链私链中所有节点按照该参数表设置待传输张量元数据中的张量尺寸，并按照该参数表解析其接收到的张量数据；张量形状变换参数表中存储每一区块输出张量的形状变换参数。
本发明与现有技术相比，具有以下有益效果：
1.本发明结合深度学习技术与计算机视觉技术设计深度神经网络对养殖舍脏污进行检测，提高了养殖舍环境检测的自动化性能，为监管人员分辨脏污提供了便利。而且神经网络使用大量样本，具有更好的泛化性能，脏污检测准确率高，检测效率高，方法稳定。
2.本发明结合图像拼接技术与建筑信息模型技术，使用BIM与摄像头实时成像，提供养殖舍全景图像、完整的养殖舍脏污分割图，提供全局视角，为监管人员实时对养殖舍环境进行监督管理，从而有效地提高养殖舍环境监测与管理的效率。
3.建筑信息模型信息集成能力强，能够集成污染源分割图、温湿度等环境监测参数，并通过WebGIS技术进行可视化，提高更加友好的可视化结果。
4.本发明结合混合云技术，将神经网络的计算任务分布在不同的混合云节点上执行，提高了方法的并行性，进而提高方法的计算效率。
5.本发明结合区块链技术，配置区块链私链，提高了神经网络参数的安全性能，防止网络计算过程中被攻击。区块链私链根据混合云的实时资源情况动态配置，不易被破解。同时，对区块之间传输的数据进行加密，能够防止神经网络中间结果数据泄露。
6.本发明采用张量形状变换方法进行加密，该方法仅改变张量的元数据，方法简单，不会增加系统运行负担，同时保证了良好的保密性能。
附图说明
图1为本发明的框架结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于人工智能及混合云推理的养殖舍BIM实时成像方法。将养殖舍各个摄像头拍摄的画面投影到养殖舍地面中，实现养殖舍地面的实时成像，同时利用DNN技术，对地面的粪便、污水等污染源采用混合云推理的方式进行分割，最终提供给养殖舍管理人员直观的养殖舍地面污染可视化。图1为本发明的框架结构图。下面通过具体实施例来进行说明。
实施例1：
为了实现本发明，需要先构建养殖舍BIM模型及信息交换模块的内部关系。
养殖舍BIM模型指以养殖舍信息数据为基础，建立起三维的养殖舍模型，并包含内部设施、传感器等信息，可通过Revit软件进行BIM建模与设计。
信息交换模块是一种基于BIM的数据交换平台，包含养殖舍生命周期各阶段所涵盖的信息。信息交换需要符合描述建筑信息模型标准，此标准必须能够描述养殖舍生命周期各阶段所涵盖的信息，并且受到各BIM系统的支持。
以养殖舍BIM模型为基础，通过WebGIS技术将养殖舍场景展现在Web中，并调用信息交换模块以展现最新的养殖舍模型和内部信息。
本发明主要针对养殖舍环境进行监测，并对养殖舍各个摄像头进行成像，投影到养殖舍建筑信息模型，可以更好地实现对养殖舍环境的可视化。养殖舍这里主要指猪舍、牛舍等。
本发明包括养殖舍温湿度检测模块、氨气浓度检测模块、二氧化碳浓度检测模块、光照检测模块、有害气体检测模块、污染源检测模块。温湿度检测模块、氨气浓度检测模块、二氧化碳浓度检测模块、光照检测模块、有害气体检测模块均采用相应的传感器来检测，通过获取其读数值，上传到信息交换模块中，来判断养殖舍相应位置对应的指标是否达标。
本发明还包括污染源检测模块，采用基于深度学习的语义分割方法，通过训练大量的数据样本，来实现对监控画面中污染源的分割，并将监控画面与分割图像投影到BIM养殖舍地面上。
具体地，摄像头实时采集的养殖舍图像作为待分析数据，生成养殖舍污染源分割推理请求；将请求对应的养殖舍污染源语义分割神经网络推理任务按照神经网络层数拆分为多个子任务，每个子任务包括多个连续的神经网络层；根据混合云内的资源分配情况，将多个子任务分配至多个不同的混合云节点，混合云节点上子任务对应的神经网络层所需参数配置为区块数据，得到分布于不同混合云节点的多个区块；按照养殖舍污染源分割语义分割神经网络推理顺序，将多个区块连接得到区块链私链，区块链私链的链序与子任务执行顺序一致；执行神经网络混合云推理，输出养殖舍污染源分割图。
首先说明养殖舍污染源语义分割神经网络的训练过程与结果。
在养殖舍内顶部墙壁或天花板处部署摄像头，实现对养殖舍的俯视拍摄。部署摄像头的数目，实施者可根据摄像头拍摄范围的大小及养殖舍的大小来决定。所有摄像头拍摄的范围要能覆盖到养殖舍地面整个区域，且两个相邻的摄像头要有重合区域，以更好地进行图像拼接。
然后利用摄像头对养殖舍进行拍摄，采集训练数据。针对图像内的污染源如污水、畜禽粪便等进行标注，标注其像素值为1，其他非污染源像素值为0。得到所有数据后，开始污染源语义分割神经网络的训练，其训练过程如下：将图像数据进行归一化处理，将其值域归到[0,1]区间，有助于网络的收敛。然后将图像数据与标签数据(要经过one-hot编码)送入到网络中进行训练。其中污染源检测编码器Encoder是对图像数据进行特征提取，输入为养殖舍RGB图像数据，输出为特征图Feature map；污染源检测解码器Decoder起到上采样与特征提取的作用，输入为Encoder产生的Feature map，输出为污染源分割概率图。损失函数采用交叉熵，实施者也可参考其他改进的损失函数，如Focal Loss。最终，网络输出的污染源分割概率图再经过argmax操作就可以得到污染源分割图像。每个像素值为1的点代表污染源。
模型的训练建议采用数据增广方式以提高模型的泛化能力，包括但不限于翻转、缩放等方法，每个样例通过随机的方式，通过数据增广来生成更多的图像数据与标签数据。
编码器有多种，本发明为了兼顾网络的速度与精度，建议采用ResNet101作为特征提取器，并通过剪枝技术提高推断效率。剪枝技术可以高效生成规模更小、内存利用率更高、能耗更低、推断速度更快、推断准确率损失最小的模型。
完成神经网络训练后，开始对摄像头实时采集的养殖舍图像进行分析。
为了提高计算效率，针对摄像头采集的养殖舍图像，利用混合云完成污染源语义分割神经网络推理。又考虑到云端平台对隐私的保护不够完善，使用区块链私链的形式，将深度神经网络模块作为数据及计算的区块，进行分散的推理，从而实现分布式、可加密、高容灾的优秀特性。
为了构建区块链私链，首先将每个网络推理请求对应的污染源语义分割神经网络推理任务按照网络层数进行拆分，变成多个子任务，每个子任务包括多个连续的神经网络层。将子任务分配到不同的混合云节点上进行推理。将节点中推理子任务的参数作为对应节点的区块主体数据，按照神经网络推理顺序，将区块连接，生成区块链私链。
在此举例说明网络拆分规则，假设神经网络总共有500层(第1-500层，层即卷积层、池化层等)，就可以按照每100层进行拆分，拆分为5个子任务，即第1-100层为第1个子任务，第101-200层为第2个子任务，以此类推，可以得到5个子任务。将五个子任务分配至混合云上的5个节点，每个节点上的子任务对应的100层神经网络层的参数是区块内数据，如此可以得到5个区块，即第1个子任务对应的第1-100层的权重、参数是区块数据，得到第1区块；第2个子任务对应的第101-200层的权重、参数是区块数据，得到第2区块，以此类推，得到第3-5区块。按照网络推理顺序，将区块连接，即第2区块连接至第1区块，第3区块连接至第2区块，以此类推，得到区块链私链。5个节点根据混合云的实时资源分配情况选取，如1个私有云节点(本地设备端资源池)，4个公有云节点。该区块链私链在本次神经网络推理过程中一直存在，能够保证该神经网络推理过程中区块主体数据的安全。针对每一个推理请求，根据资源分配选取节点，生成区块链私链，因此本发明的区块链私链是动态的，进一步增强了方法的安全性能。
进一步地，神经网络推理过程中有中间结果数据的传输，因此，为了避免数据泄露，进一步提高神经网络数据的隐私保护性能，对节点到节点之间的传输数据使用加密手段。各个节点之间的数据传递使用Tensor张量形状变换算法进行加密。张量形状变换是对节点产生的数据进行有规则的形状变换，张量形状变换仅对元数据进行变换，具体变换过程包括：由于各节点加载的是训练好的神经网络，因此各区块节点输出的张量尺寸是已知的，因此，针对每一个网络推理请求，生成张量形状变换参数表，并发送至区块链私链所在节点，私链中所有节点按照该参数表设置待传输张量的元数据，并按照该参数表解析其接收到的张量数据；张量重塑形参数表中存储每一区块输出张量的重塑形参数。例如，第1区块输出张量尺寸为[12,256,256](即12通道、宽高分别为256、256的张量)，其张量形状变换参数为[6,512,256],则第1区块所在区块节点输出的加密后的张量元数据中张量尺寸为[6,512,256],而第2区块在获得第1区块传输的张量后，需要根据其收到的张量形状变换参数表中的解密参数[12,256,256]去解密张量数据，而非根据其收到的张量元数据中的张量尺寸去解析张量。对于一维张量即向量，可以变形为单通道二维向量。需要说明的是，对于输出为一个数据的情况，可以选择通用加密算法对该数据进行加密，例如字节遮罩加密机制或des加密机制。字节遮罩加密即假设中间数据的一个字节为0b11001100,8-bit Mask为0b10101010,对其做异或运算得到加密的字节0b01100110，以此类推加密整个数据，当下一节点接收时，对其解密：0b01100110与8-bit Mask 0b10101010做异或运算，得到0b11001100，即复原了原来的数据。对所有区块之间的数据传输进行加密、解密操作，可能保证最完备的保密性能。当下一区块所在节点收到经过加密的结果后，首先进行解密操作，然后进行后续处理。
可以设立一个数据服务器节点作为监控节点，用来接收网络产生的结果数据，即污染源分割图像，展示养殖舍建筑信息模型。该节点可以实现数据存储等功能，并定期广播各节点张量形状变换参数作为节点之间数据传输加解密的密钥。
将摄像头拍摄的图像与分割得到的污染源分割图像分别进行图像拼接并透视变换到养殖舍BIM地面坐标系上。
以摄像头拍摄图像为例，图像拼接首先要提取特征点。图像的特征有许多种，如SIFT、SURF、ORB等，都可以用来做图像拼接中图像特征点提取的工作。具体使用哪种特征，实施者可以根据应用要求来选择。
然后进行图像配准，就是采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。即这一步要对养殖舍内每两个相邻位置的摄像头拍摄的图像进行图像配准。匹配策略如通过进行相似性度量找到匹配的特征点。
然后根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型。该步即求解单应性矩阵，其求解方法是周知的，如RANSAC算法。为了提高图像变换单应性矩阵的准确性，可在场景中添加控制板以增加匹配点数和准确性。至此即完成了图像的配准。
进一步的，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换。
最终，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的养殖舍地面环境图像。融合的方法有多种，如加权融合，在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像的重叠区域的像素值按一定的权值相加合成新的图像。至此，即得到了拼接重构的养殖舍地面图像，然后将其投影到养殖舍BIM地面上。
投影即进行透视变换操作，需要计算拼接重构的养殖舍地面图像到BIM养殖舍地面的单应性矩阵。求解至少需要4组坐标点，即至少需要拼接重构的养殖舍地面图像中的4个角点及BIM养殖舍地面中的4个角点，其中角点建议人为选择，以便得到更精确的结果，并且两图像间的角点要一一对应。得到拼接重构的养殖舍地面图像后，通过计算得到的单应性矩阵进行投影，将图像投影到养殖舍BIM地面上。
由于每个摄像头拍摄的图像与语义分割图像是相同相机位姿的，因此污染源分割图像可通过摄像头拍摄的图像求得的各个变换矩阵进行变换，无需重新计算。
最终，为了直观地呈现养殖舍环境，本发明结合WebGIS技术，将上述养殖舍BIM模型集成到WebGIS所开发的系统中，通过调用信息交换模块以实时更新养殖舍空间三维模型并得到相应位置的传感器读数，且可访问数据服务器节点存储资源，获得神经网络计算结果，然后在监控节点Web端进行数据可视化、展示养殖舍地面坏境的污染情况。其中摄像头拍摄的图像与污染源分割图像分别占WebGIS中的一个图层，这样可以实现选择性可视化，从而更方便管理。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于人工智能及混合云推理的养殖舍BIM实时成像方法，其特征在于，该方法包括：
摄像头实时采集的养殖舍图像作为待分析数据，生成养殖舍污染源分割推理请求；将请求对应的养殖舍污染源语义分割神经网络推理任务按照神经网络层数拆分为多个子任务，每个子任务包括多个连续的神经网络层；根据混合云内的资源分配情况，将多个子任务分配至多个不同的混合云节点，混合云节点上子任务对应的神经网络层所需参数配置为区块数据，得到分布于不同混合云节点的多个区块；按照养殖舍污染源分割语义分割神经网络推理顺序，将多个区块连接得到区块链私链，区块链私链的链序与子任务执行顺序一致；执行神经网络混合云推理，输出养殖舍污染源分割图；
养殖舍温湿度检测模块、氨气浓度检测模块、二氧化碳浓度检测模块、光照检测模块、有害气体检测模块分别获取其对应的温度、湿度、氨气浓度、二氧化碳浓度、光照强度、有害气体信息，通过信息交换模块上传到养殖舍建筑信息模型，并判断养殖舍相应位置的对应指标是否达标；
将各个摄像头拍摄的养殖舍图像、网络输出的污染源分割图拼接，形成完整的养殖舍图像、污染源分割图，经透视变换处理后，投影到养殖舍建筑信息模型地面坐标系；
养殖舍建筑信息模型中添加养殖舍图像图层、污染源分割图图层，利用信息交互模块获取完整的养殖舍图像、污染源分割图，添加到对应图层，结合WebGIS技术，在Web页面上对养殖舍建筑信息模型进行可视化显示。
2.如权利要求1所述的方法，其特征在于，所述养殖舍建筑信息模型是以养殖舍信息数据为基础，建立起三维养殖舍模型，并包含内部设施、传感器信息，可通过Revit软件进行养殖舍建筑信息模型建模与设计。
3.如权利要求1所述的方法，其特征在于，所述养殖舍污染源分割神经网络包括：
污染源检测编码器，对养殖舍图像进行特征提取，输出养殖舍特征图；
污染源检测解码器，对养殖舍特征图进行上采样和特征提取，得到污染源分割概率图，经过后处理输出养殖舍污染源分割图，用于区分污染源与其他无关元素的语义。
4.如权利要求1或2所述的方法，其特征在于，所述执行神经网络混合云推理具体为：
对养殖舍图像，按照推理子任务的任务执行顺序，区块链私链中的混合云节点对其接收到的来自上一混合云节点的数据进行解密，执行相应的推理子任务；
区块链私链的混合云节点对其传输至下一混合云节点的数据进行加密并发送至下一区块节点。
5.如权利要求1或2或3所述的方法，其特征在于，该方法还包括：使用摄像头采集养殖舍图像，构建训练集，对训练集中的图像进行污染源标注，标注污水、畜禽粪便等污染源的像素值为1，其他非污染源像素值为0，利用训练集与标注训练养殖舍污染源语义分割神经网络，损失函数采用交叉熵。
6.如权利要求1所述的方法，其特征在于，将各个摄像头拍摄的养殖舍图像、网络输出的污染源分割图拼接包括：
提取养殖舍内相邻位置摄像头拍摄的待拼接摄像头图像的特征点；
进行图像配准，采用一定的匹配策略，找出待拼接摄像头图像中的特征点在参考图像中对应的位置；
根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；
根据建立的数学转换模型，将待拼接摄像头图像、污染源分割图转换到参考图像的坐标系中，完成统一坐标变换；
将待拼接摄像头图像的重合区域进行融合得到拼接重构的平滑无缝的养殖舍图像，将待拼接污染源分割图的重合区域进行融合得到拼接重构的污染源分割图。
7.如权利要求4所述的方法，其特征在于，所述加密方法包括张量形状变换方法，具体为：针对每一个网络推理请求，生成张量形状变换参数表，并发送至区块链私链所在节点，区块链私链中所有节点按照该参数表设置待传输张量元数据中的张量尺寸，并按照该参数表解析其接收到的张量数据；张量形状变换参数表中存储每一区块输出张量的形状变换参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010668241.9A CN111814238A (zh) | 2020-07-13 | 2020-07-13 | 基于人工智能及混合云推理的养殖舍bim实时成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010668241.9A CN111814238A (zh) | 2020-07-13 | 2020-07-13 | 基于人工智能及混合云推理的养殖舍bim实时成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111814238A true CN111814238A (zh) | 2020-10-23 |
Family
ID=72842339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010668241.9A Withdrawn CN111814238A (zh) | 2020-07-13 | 2020-07-13 | 基于人工智能及混合云推理的养殖舍bim实时成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814238A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581615A (zh) * | 2020-12-18 | 2021-03-30 | 中科三清科技有限公司 | 一种基于三维虚拟地球的环境数据可视化方法及装置 |
| CN112772576A (zh) * | 2021-02-05 | 2021-05-11 | 飞蝗腾达(北京)农业科技有限公司 | 东亚飞蝗养殖的处理方法及相关装置 |
| CN112931297A (zh) * | 2021-02-06 | 2021-06-11 | 河北农业大学 | 基于计算机仿真的密闭式蛋鸡育雏舍小气候模型搭建方法 |
| CN113012160A (zh) * | 2021-02-23 | 2021-06-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
| CN115334280A (zh) * | 2022-07-18 | 2022-11-11 | 浙江天演维真网络科技股份有限公司 | 一种基于区域链和互联网的生猪养殖用信息记录系统 |
| CN115877896A (zh) * | 2023-02-12 | 2023-03-31 | 广州市华南畜牧设备有限公司 | 一种畜禽养殖棚通风系统智能控制方法、系统及装置 |
| CN116069206A (zh) * | 2023-01-28 | 2023-05-05 | 厦门农芯数字科技有限公司 | 基于数字孪生的可视化猪场管理方法、系统及存储介质 |
| CN116362522A (zh) * | 2023-06-01 | 2023-06-30 | 广东鑫钻节能科技股份有限公司 | 基于多点分布模型的数字能源氮气站数据处理方法及系统 |
-
2020
- 2020-07-13 CN CN202010668241.9A patent/CN111814238A/zh not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581615A (zh) * | 2020-12-18 | 2021-03-30 | 中科三清科技有限公司 | 一种基于三维虚拟地球的环境数据可视化方法及装置 |
| CN112772576A (zh) * | 2021-02-05 | 2021-05-11 | 飞蝗腾达(北京)农业科技有限公司 | 东亚飞蝗养殖的处理方法及相关装置 |
| CN112931297A (zh) * | 2021-02-06 | 2021-06-11 | 河北农业大学 | 基于计算机仿真的密闭式蛋鸡育雏舍小气候模型搭建方法 |
| CN112931297B (zh) * | 2021-02-06 | 2022-07-22 | 河北农业大学 | 基于计算机仿真的密闭式蛋鸡育雏舍小气候模型搭建方法 |
| CN113012160A (zh) * | 2021-02-23 | 2021-06-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
| CN115334280A (zh) * | 2022-07-18 | 2022-11-11 | 浙江天演维真网络科技股份有限公司 | 一种基于区域链和互联网的生猪养殖用信息记录系统 |
| CN116069206A (zh) * | 2023-01-28 | 2023-05-05 | 厦门农芯数字科技有限公司 | 基于数字孪生的可视化猪场管理方法、系统及存储介质 |
| CN116069206B (zh) * | 2023-01-28 | 2023-08-29 | 厦门农芯数字科技有限公司 | 基于数字孪生的可视化猪场管理方法、系统及存储介质 |
| CN115877896A (zh) * | 2023-02-12 | 2023-03-31 | 广州市华南畜牧设备有限公司 | 一种畜禽养殖棚通风系统智能控制方法、系统及装置 |
| CN116362522A (zh) * | 2023-06-01 | 2023-06-30 | 广东鑫钻节能科技股份有限公司 | 基于多点分布模型的数字能源氮气站数据处理方法及系统 |
| CN116362522B (zh) * | 2023-06-01 | 2023-08-11 | 广东鑫钻节能科技股份有限公司 | 基于多点分布模型的数字能源氮气站数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814238A (zh) | 基于人工智能及混合云推理的养殖舍bim实时成像方法 | |
| JP6289564B2 (ja) | 構造物に対する変化を検出するための方法、装置およびコンピュータ可読媒体 | |
| Chew et al. | Evaluating the roadmap of 5G technology implementation for smart building and facilities management in Singapore | |
| Grilli et al. | From 2D to 3D supervised segmentation and classification for cultural heritage applications | |
| Shirowzhan et al. | Spatial analysis using temporal point clouds in advanced GIS: Methods for ground elevation extraction in slant areas and building classifications | |
| Arnold et al. | Map-free visual relocalization: Metric pose relative to a single image | |
| Atkinson et al. | Image segmentation of underfloor scenes using a mask regions convolutional neural network with two-stage transfer learning | |
| CN111611948A (zh) | 基于cim与区块链的城市垃圾桶满溢检测方法 | |
| CN111611949A (zh) | 基于cim与区块链的智慧城市水域垃圾密度检测方法 | |
| US20230099521A1 (en) | 3d map and method for generating a 3d map via temporal and unified panoptic segmentation | |
| CN113781519A (zh) | 目标跟踪方法和目标跟踪装置 | |
| TW202215303A (zh) | 使用基於自我注意之神經網路處理影像 | |
| Tylecek et al. | Consistent semantic annotation of outdoor datasets via 2D/3D label transfer | |
| Rajamohanan et al. | An Optimized YOLO v5 Model for Tomato Leaf Disease Classification with Field Dataset | |
| Kim et al. | Hybrid DNN training using both synthetic and real construction images to overcome training data shortage | |
| Wang et al. | Improving facade parsing with vision transformers and line integration | |
| Hu et al. | Grazing sheep behaviour recognition based on improved yolov5 | |
| CN114898405A (zh) | 基于边缘计算的便携式肉鸡异常监测系统 | |
| Zhao et al. | Real-time orthophoto mosaicing on mobile devices for sequential aerial images with low overlap | |
| Yan et al. | SA-Pmnet: Utilizing Close-Range Photogrammetry Combined with Image Enhancement and Self-Attention Mechanisms for 3D Reconstruction of Forests | |
| CN111860286A (zh) | 基于混合策略的暴力行为检测方法及系统、存储介质 | |
| Upadhyay et al. | Big Data Framework with Machine Learning for D and D Applications-19108 | |
| Japes et al. | Multi-view semantic labeling of 3D point clouds for automated plant phenotyping | |
| Chiang et al. | Application of UAVs and Image Processing for Riverbank Inspection | |
| Yang et al. | WatchPose: A view-aware approach for camera pose data collection in industrial environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201023 |
|
| WW01 | Invention patent application withdrawn after publication |