CN112652366B - 大曲品质检测嵌入式高光谱智慧型测控系统 - Google Patents

大曲品质检测嵌入式高光谱智慧型测控系统 Download PDF

Info

Publication number
CN112652366B
CN112652366B CN202011475617.0A CN202011475617A CN112652366B CN 112652366 B CN112652366 B CN 112652366B CN 202011475617 A CN202011475617 A CN 202011475617A CN 112652366 B CN112652366 B CN 112652366B
Authority
CN
China
Prior art keywords
yeast
data
hyperspectral
daqu
socfpga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011475617.0A
Other languages
English (en)
Other versions
CN112652366A (zh
Inventor
黄丹平
王鑫
田建平
黄丹
罗慧波
叶建秋
张力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Wuliangye Yibin Co Ltd
Original Assignee
Sichuan University of Science and Engineering
Wuliangye Yibin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering, Wuliangye Yibin Co Ltd filed Critical Sichuan University of Science and Engineering
Priority to CN202011475617.0A priority Critical patent/CN112652366B/zh
Publication of CN112652366A publication Critical patent/CN112652366A/zh
Application granted granted Critical
Publication of CN112652366B publication Critical patent/CN112652366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/80—Data visualisation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/90—Programming languages; Computing architectures; Database systems; Data warehousing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明申请属于机器视觉技术领域，具体公开了一种大曲品质检测嵌入式高光谱智慧型测控系统，包括SOCFPGA嵌入式设备、标定板数据库、离线主机、无线通讯模块、高光谱相机、光源、数据存储(DDR)模块、现场主控制器、现场分控制器、现场执行机构。本方案主要应用在固态酿造中对大曲发酵的监测控制过程中，解决了传统上依赖人工经验进行判断大曲发酵过程的测控方法存在现场工作环境恶劣、数据采集慢、检测速度慢、检测精度差、无法实时检测、控制时机不准确的问题。

Description

大曲品质检测嵌入式高光谱智慧型测控系统
技术领域
本发明属于机器视觉领域，具体涉及ARM+FPGA的SOCFPGA智能嵌入式系统、深度学习算法-YOLOV4对固态酿造中曲房大曲高光谱数据采集与加速处理系统。
背景技术
大曲在我国酿酒行业特别是固态酿造扮演着重要作用，大曲发酵的质量好坏直接影响了成品酒的品质。大曲的发酵过程是一个多阶段的复杂过程，不同的发酵阶段需要不同的发酵环境，而大曲在不同的发酵阶段会发生菌落、水分含量、气味等的变化，并且目前大曲发酵过程的控制主要以人工为主导，有经验的工人师傅每隔一段时间进入大曲发酵曲房，通过查看大曲外观和闻大曲气味来判断大曲发酵阶段，并以此为依据做出相应控制决策改变大曲发酵环境。
随着科学技术进步与发展，食品行业也在向着规模化、规范化、先进化发展，这种高度依赖人工经验的大曲发酵过程测控方法存在现场工作环境恶劣、数据采集慢、检测速度慢、检测精度差、无法实时检测、控制时机不准确的问题。
发明内容
本发明的目的在于提供一种大曲品质检测嵌入式高光谱智慧型测控系统，以解决传统上依赖人工经验进行判断大曲发酵过程的测控方法存在现场工作环境恶劣、数据采集慢、检测速度慢、检测精度差、无法实时检测、控制时机不准确的问题。
为了达到上述目的，本发明的技术方案为：
大曲品质检测嵌入式高光谱智慧型测控系统，包括SOCFPGA嵌入式设备、标定板数据库、离线主机、无线通讯模块、高光谱相机、光源、数据存储(DDR)模块、现场主控制器、现场分控制器、现场执行机构，高光谱相机与光源相连接，高光谱相机与SOCFPGA嵌入式设备相连接，SOCFPGA嵌入式设备通过无线通讯模块与离线主机相连接，离线主机与标定板数据库相连接，SOCFPGA嵌入式设备通过无线通讯模块与现场主控制器相连接，现场主控制器通过无线通讯模块与现场分控制器相连接，现场分控制器与现场执行机构相连接；
大曲高光谱数据利用SOCFPGA嵌入式设备加速处理的过程是通过在FPGA内编写处理高光谱数据的硬件电路来实现的，具体为：利用SOCFPGA嵌入式设备对三维小波聚类的算法进行加速设计，找出与大曲气味相关的特征波段，通过处理大曲光谱数据获取大曲气味的智能化气味识别，寻找特征波段的具体聚类过程如下：a、输入大曲高光谱数据；b、选择三个特征波段；c、运用三维小波聚类算法进行聚类；d、判断聚类结果是否将含特殊气味的大曲筛选为一类，结果未满足预期则重复执行b-d步骤，直至将特征气味大曲筛选为一类，此时筛选的特征波段为大曲气味的特征波段；通过YOLOV4网络在不同波段预测大曲发酵特征,利用YOLOV4网络预测大曲高光谱图像信息：a、通过标注训练得到能够在可见光波段图像信息中预测穿衣、火圈、裂纹特征的YOLOV4-0网络；b、在近红外波段图像信息的数据标注过程中，通过可视化云图的方式记录大曲中水分含量、酸度和微生物的分布位置和大小信息，进行样本标注和训练，得到能够识别定位高光谱近红外波段图像数据中预测水分含量、酸度等特征的YOLOV4-1网络，通过SOCFPGA嵌入式设备加速YOLOV4-0、YOLOV4-1两个网络，同时对大曲高光谱图像信息进行处理，预测大曲的发酵特征；
高光谱相机通过千兆网线与SOCFPGA嵌入式设备相连接，通过SOCFPGA嵌入式设备执行软触发方式控制高光谱相机采集大曲高光谱数据；
数据存储模块与数据先入先出缓冲电路模块相连接，数据先入先出缓冲电路模块与SOCFPGA嵌入式设备相连接，大曲高光谱数据存储在存储模块中，由数据先入先出缓冲电路逐行送入SOCFPGA嵌入式设备中的FPGA芯片中进行运算处理；
SOCFPGA嵌入式设备中的FPGA芯片接收到数据先入先出缓冲电路逐行的大曲高光谱数据后，由以下两部分对大曲高光谱数据进行加速处理：(1)通过烧录到FPGA中的聚类算法硬件电路对大曲高光谱数据中的光谱信息进行加速处理，以获取大曲的气味特征；(2)利用FPGA中YOLOV4硬件电路对高光谱数据进行加速处理，分别在可见光波段和近红外波段数据中得到大曲发酵特征和大曲成分分布特征；
无线通讯模为5G无线通讯模；SOCFPGA嵌入式设备通过5G无线通讯模块将大曲气味特征、大曲发酵特征、大曲成分分布特征传输至离线主机，离线主机结合采集到的大曲气味特征、大曲发酵特征、大曲成分分布特征信息，输出调控现场发酵环境的控制方案并将控制方案传输至SOCFPGA嵌入式设备，然后SOCFPGA嵌入式设备基于控制方案通过5G无线通讯模块向现场主控制器发出控制信号。
本技术方案的有益效果在于：
(1)本方案通过SOCFPGA嵌入式设备对大曲高光谱数据进行加速处理，实现了定量分析代表大曲发酵情况的发酵特征，评估大曲发酵质量和阶段，并以此为依据制定相应控制方案控制大曲发酵环境，大大提高了大曲发酵质量和发酵阶段的检测效率和检测精度，实现了大曲发酵过程的自动化控制与及时控制，同时还减少了人工参与和生产成本；
(2)本方案中提出梯度反射率标定板数据库对高光谱数据进行数据标定的方法，克服了在曲房内安置物理标定板的复杂机械结构和不适用性，实现了大曲高光谱数据的标定，是一种新型的高光谱数据标定方法；
(3)气味信息是判断大曲品质的重要信息，本发明通过人工建立大曲气味信息和大曲高光谱数据的关联数据库，利用SOCFPGA运行三维小波聚类对大曲高光谱数据中光谱数据加速处理，得出大曲高光谱数据特征波段信息，再由此判断大曲当前气味，为后续推断大曲发酵阶段打下基础。避免了人工通过嗅觉判断大曲气味的不稳定性，是一种新型的智能气味识别方法；
(4)利用YOLOV4网络的识别和定位功能，查找大曲高光谱数据可见光波段和近红外波段图像信息中的发酵特征，实现定量的分析大曲的发酵情况，其中对于近红外波段训练数据的标注，由于无法通过图像信息直接观测水分含量等发酵特征，通过可视化云图的方式记录特征位置和大小，实现训练样本的标记，通过SOCFPGA嵌入式设备+YOLOV4网络实时分析大曲高光谱图像信息数据，找出相关大曲发酵特征。该方法利用YOLOV4网络预测多个波段的图像特征，较通常预测可见光波段图像的信息量更多，且在近红外波段数据的预处理部分提出以可视化云图的方式对特征进行记录的方法，是一种新型的YOLOV4网络应用方法；
(5)实时检测过程中遇到预测效果差的数据样本时，通过SOCFPGA传入离线主机中进行模型升级，之后再传回ARM通过AXI4总线将新模型数据传给FPGA网络模型，完成网络升级，使得YOLOV4网络实现在线学习功能。减少了传统开发方法中升级网络需要停机重新编译网络模型的耗时，为网络模型升级提供了新思路；
(6)使用FPGA硬件加速器件对大曲高光谱数据进行处理，利用FPGA的可编程可扩展特性，编译了聚类算法和YOLOV4网络为硬件电路；利用FPGA并行运算和流水线运算的硬件优势，对大曲高光谱张量数据的运算进行加速处理，保证了系统的实时性；
(7)相比传统大曲发酵过程中通过人工对大曲通过“看和闻”的方法判断大曲发酵情况，本方法由离线主机根据SOCFPGA嵌入式设备处理得出的大曲光谱特征波段信息和发酵图像特征信息比对相应数据库分析得出当前大曲发酵情况，并以此为依据调整现场曲房控制。不仅信息获取更加稳定可靠、预测结果更加精确可信，同时还实现了以大曲高光谱信息为基础的无接触式自动化调控大曲发酵过程；
(8)使用千兆网络传输的方式将高光谱相机与SOCFPGA直接相连，实现高光谱数据的低延时采集，并且利用SOCFPGA嵌入式设备中ARM控制器控制采集，使体积小巧结构紧凑的同时降低了系统成本；
(9)由于大曲高光谱数据是数据量庞大的张量数据，而负责处理的FPGA芯片吞吐量有限，无法直接将数据整体送入FPGA芯片中进行处理，本发明提出以DDR外部存储模块先存储大曲高光谱数据，再通过数据先入先出缓存FIFO电路将数据逐行传入FPGA中处理的方法，实现了大曲高光谱张量数据的实时传输和处理。
附图说明
图1是本发明大曲品质检测嵌入式高光谱智慧型测控系统实施例的系统流程图；
图2是YOLOV4网络在线升级结构示意图；
图3是系统连接结构示意图；
图4是SOCFPGA嵌入式设备的具体构架示意图；
图5是曲房内大曲高光谱数据采集示意图；
图6是YOLOV4网络结构；
图7是YOLOV4网络的主干特征提取网络；
图8是卷积计算原理图；
图9是FPGA加速卷积计算过程；
图10是使用乒乓操作提高算法性能的示意图；
图11是将卷积映射到脉动阵列原理图。
具体实施方式
下面通过具体实施方式进一步详细说明：
说明书附图中的附图标记包括：离线主机1、SOCFPGA嵌入式设备2、标定板数据库3、光源4、高光谱相机5、SOCFPGA嵌入式设备对应5G无线通讯模块6、现场主控制器7、现场主控制器对应5G无线通讯模块8、现场分控制器对应5G无线通讯模块9、现场分控制器10、现场执行机构11、大曲12、高光谱相机13、小车14、曲房15。
本实施例如图1、图3所示，一种本大曲品质检测嵌入式高光谱智慧型测控系统，包括离线主机1、SOCFPGA嵌入式设备2、标定板数据库3、光源4、高光谱相机5、SOCFPGA嵌入式设备对应5G无线通讯模块6、现场主控制器7、现场主控制器对应5G无线通讯模块8、现场分控制器对应5G无线通讯模块9、现场分控制器10、现场执行机构11、大曲12、高光谱相机13、小车14、曲房15。
如图4、图5所示，SOCFPGA嵌入式设备的具体构架示意图为：高光谱相机13与小车14相连接，小车14在曲房15中如图5中所示规划路线行驶，行驶过程中高光谱相机13对大曲12进行高光谱数据的采集，高光谱相机5与光源4相连接，高光谱相机5通过合理的打光采集到清晰完整的大曲高光谱数据，SOCFPGA嵌入式设备2与高光谱相机5通过千兆网线相连接，高光谱相机5的摄像头为光学变焦摄像头，SOCFPGA嵌入式设备2中ARM处理器通过软触发方式控制光学变焦摄像头采集大曲12高光谱信息。
由于高光谱数据体量较大，不便于直接由前兆网线发送到FPGA内进行处理，所以在FPGA中搭建数据存储传输模块，先由外部存储器DDR存储高光谱张量数据，再通过先入先出数据缓存模块将数据分块传输至FPGA处理器中，实现大曲12高光谱数据的可控采集和低延时传输；
现场主控制器7通过相应5G无线通讯模块6与SOCFPGA嵌入式设备2进行通讯，SOCFPGA嵌入式设备2执行完大曲高光谱数据处理任务后，将处理结果发送给离线主机1进行大曲发酵情况评估，并以此为依据得出控制结果回传到SOCFPGA嵌入式设备2，再经相应5G无线通讯模块6发送处理结果给现场主控制器7，现场主控制器7再将通过相应5G无线通讯模块8将控制命令传给现场分控制器10，现场分控制器10接收到信号并判断后，通过控制继电器等控制现场执行机构11，以此实现大曲12发酵现状的实时监测和远程控制。
利用本大曲品质检测嵌入式高光谱智慧型测控系统对曲房环境进行控制的方法，可通过以下步骤来实现：
(1).高光谱相机13的小车14搭载在曲房15中按规化路径运行，通过SOCFPGA嵌入式设备2以软触发方式控制高光谱相机5采集高光谱数据信息，以此实现大曲12高光谱数据的采集，曲房15采集到的大曲高光谱张量数据通过网线直连发送至SOCFPGA嵌入式设备2，避免了曲房15内高温高湿的恶劣环境对数据处理器的干扰和损坏，直接连接的方式也确保了可通过SOCFPGA嵌入式设备2中的ARM处理器控制采集过程，使系统结构紧凑的同时降低了高光谱数据传输的延时，能够实现大曲高光谱数据的实时采集传输；
(2).高光谱相机5采集数据时，通常需要同时采集一块标准反射率标定板用以校准采集数据，以此来避免光照等采集环境变化对采集质量的影响，并且实验得出该标定板反射率需与被采集数据有相近的反射率才能达到较好的校准效果。在实际大曲发酵中，曲房15高湿高温，采集环境恶劣，更需要对采集数据进行标定，但是由于机械结构复杂，同时标定板的采集也会受到环境影响，在现场安置标准标定板不现实也不可靠，所以本发明提出一种通过在正常光照环境下对不同梯度的反射率标定板进行数据采集，依据其反射率梯度建立标定板数据库，从中提取标定板数据进行采集数据校准。即：以采集到的大曲高光谱数据最高反射率所在反射率梯度为基准，从标定板数据库3中取出相应梯度的标定板数据，对采集到的大曲高光谱数据进行校准，再由此梯度反射率标定板数据对大曲高光谱数据进行标定，削减恶劣的曲房15环境对采集质量的影响；
(3).SOCFPGA嵌入式设备2使用大容量外部存储器DDR对接收到大曲12高光谱张量数据信息进行存储和上传，之后通过先入先出数据缓存电路将高光谱数据分块的传入FPGA，通过大曲高光谱数据的最高反射率确定对应的反射率梯度，从标定板数据库中取出该梯度的标定板数据用于校准大曲高光谱数据，再将校准后的大曲高光谱数据分离为光谱数据和图像数据，其中光谱数据通过加速三维小波聚类算法获取特征波段信息，图像数据再细分为可见光波段数据和近红外波段数据分别送入YOLOV4-0和YOLOV4-1网络硬件电路中进行处理预测；
(4).利用SOCFPGA嵌入式设备对算法加速处理，获取大曲光谱特征波段信息，在离线主机1中通过数据库对比的方式判断大曲当前气味，从而推断大曲当前发酵阶段。在长期的生产实践中发现，大曲12在发酵过程中会随发酵阶段不同而产生相应的气味，所以有经验的工人师傅可以凭借嗅觉判断大曲12的发酵阶段，而气味信息又体现为高光谱数据中不同的特征波段。基于此，本发明提出通过人工将特定气味信息与大曲发酵阶段做关联，并通过实验将大曲12气味和特定高光谱特征波段做关联，建立大曲12气味和大曲12光谱数据波段的关联数据库。对特征波段的提取过程即是一种聚类过程，传统聚类算法在高维大数据集中，由于其数据的稀疏性，存在大量孤立点等问题，传统聚类处理的效果不理想。小波聚类算法非常有效，检测簇的计算时间复杂度为O(N)，结果不受噪声影响，对输入顺序不敏感，算法可以在不同精度找到任意复杂结构的簇，而且不用假设任意特定形状的簇。但由于大曲12光谱波段过多，运用传统枚举式方法找出与大曲气味相关的特征波段的过程过于繁琐，则耗时较长。综合以上分析，本发明利用SOCFPGA嵌入式设备对三维小波聚类的算法进行加速设计，快速找出与大曲气味相关的特征波段，实现通过处理大曲光谱数据获取大曲气味的智能化气味识别。寻找特征波段的具体聚类过程如下：1)输入大曲高光谱数据；2)选择三个特征波段；3)运用三维小波聚类算法进行聚类；4)判断聚类结果是否将含特殊气味的大曲筛选为一类，结果未满足预期则重复执行2)～4)步骤，直至将特征气味大曲筛选为一类，此时筛选的特征波段为大曲气味的特征波段；
(5).大曲12会随发酵过程在曲表发生一些视觉信息上的变化，而这些变化又能够反映大曲当前发酵情况，本发明中利用YOLOV4网络来预测大曲高光谱图像信息：1)通过标注训练得到能够在可见光波段图像信息中预测穿衣、火圈、裂纹等特征的YOLOV4-0网络；2)在近红外波段图像信息的数据标注过程中，由于无法直接通过肉眼判断图像中目标位置信息，通过可视化云图的方式记录大曲中水分含量、酸度和微生物的分布位置和大小信息，从而进行样本标注和训练，得到能够识别定位高光谱近红外波段图像数据中预测水分含量、酸度等特征的YOLOV4-1网络。通过SOCFPGA嵌入式设备加速两个网络同时对大曲高光谱图像信息进行处理，预测大曲的发酵特征，为之后离线主机推断大曲发酵情况打下基础，实现了通过YOLOV4网络在不同波段预测大曲发酵特征；
(6).如图6、图7所示，分别给出了本文所使用YOLOV4网络架，(其中Input部分包含Image,Patches和Image Pyramid；Backbone部分为Darknet53+CSPResnet；Neck部分为PANet；Head是Yolov3-head)和主干特征提取网络结构，其中包含100多层卷积层(Conv2D)，而在YOLOV4中主要耗时的就是Conv二维卷积，网络模型性能瓶颈也主要在于卷积时大量的乘加运算，参与计算的大量weight参数同时也会带来很多访存请求。二维卷积运算在软件算法中可由多层循环嵌套的乘加运算来表达，如图8所示，其运算公式如下：(其中R,C,Chin,Chout,K和S都是卷积运算中可配置的超参数)
Figure GDA0003781584980000081
Figure GDA0003781584980000082
由于卷积运算过程中，排序靠后的数据运算与排序靠前的运算相互独立，所以此运算结构可以利用FPGA的并行运算特性进行加速，将原本由一个运算单元(PE)处理所有输入数据的卷积乘加操作换成多个运算单元同时处理(如图9所示)，通过增加运算资源的方式换取时间性能，同时FPGA构建算法的过程还可利用乒乓操作和脉动阵列的技巧(如图10、11所示)，在减少同一时刻资源访求的同时也提高了算法流水，实现更高程度的算法性能。
(7).如图2所示，SOCFPGA的优势之一在于ARM处理器和FPGA芯片之间具有AXI4总线可在线传递数据，通过在FPGA侧的YOLOV4网络模块预留数据传递AXI-HP接口，即可由ARM通过控制寄存器的方式，在线对FPGA内部YOLOV4网络模块进行数据修改，同时YOLOV4网络模块也有升级学习的必要，具体流程如下：当出现预测效果差劲的新数据时，将其作为样本通过千兆网线传入离线主机中保存，此数据量较多时在离线主机中对相应网络进行训练升级，再将升级后的网络参数分离出并回传到ARM，由ARM以控制寄存器的方式，通过AXI4总线将这些网络参数传入FPGA侧YOLOV4网络模块对应的AXI-HP接口，完成YOLOV4网络的修改。实现了YOLOV4网络的在线升级；
(8).高光谱图像是一个三维(二维空间维度和一维光谱维度)数据矩阵，按照光谱顺序在不同的光谱波长点都有自己的二维空间图像，可以将整个高光谱图像看作一个“数据立方体”，其数据量非常庞大，若将其整体送入FPGA将导致数据量大于吞吐量从而拖慢数据处理过程，所以使用DDR外部存储器接收并存储大曲高光谱数据，再通过FIFO先入先出缓存电路逐行传入FPGA进行处理。实现了大曲高光谱张量数据的接收和传输；
(9).FPGA是硬件可编程器件，具有电路可重构的特点，可根据处理需求重构硬件电路，并且与在通用硬件中编写软件处理数据相比有无可比拟的并行运算和流水线加速优势。本发明中利用EDA软件在FPGA内部编写获取大曲光谱特征波段信息的算法硬件电路和预测大曲发酵特性的YOLOV4-0、YOLOV4-1硬件电路，实现了大曲高光谱张量数据的实时处理，快速获取大曲发酵气味和图像特征，为后续评估大曲发酵情况打下基础，保证了系统的时效性；
(10).离线主机根据SOCFPGA对大曲高光谱数据的处理结果评估大曲发酵情况，并做出针对曲房发酵环境的控制方案，控制方案传入SOCFPGA嵌入式设备2后由相应5G无线通讯模块向现场主控制器发出该控制信号，现场主控制器接收后到控制信号后再传入现场分控制器控制各个执行机构，实现了曲房发酵环境的远程自动控制。
(11).当实际运行过程中遇到预测效果差的数据时，将其作为新样本通过SOCFPGA2传入离线主机1进行存储，此数据量较大时进行网络训练升级，再将升级过后的网络模型传入ARM，通过AXI4总线将网络参数传给FPGA相应的网络模型。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。

Claims (4)

1.大曲品质检测嵌入式高光谱智慧型测控系统，包括SOCFPGA嵌入式设备、标定板数据库、离线主机、无线通讯模块、高光谱相机、光源、数据存储(DDR)模块、现场主控制器、现场分控制器、现场执行机构，其特征在于，高光谱相机与光源相连接，高光谱相机与SOCFPGA嵌入式设备相连接，SOCFPGA嵌入式设备通过无线通讯模块与离线主机相连接，离线主机与标定板数据库相连接，SOCFPGA嵌入式设备通过无线通讯模块与现场主控制器相连接，现场主控制器通过无线通讯模块与现场分控制器相连接，现场分控制器与现场执行机构相连接；
大曲高光谱数据利用SOCFPGA嵌入式设备加速处理的过程是通过在FPGA内编写处理高光谱数据的硬件电路来实现的，具体为：利用SOCFPGA嵌入式设备对三维小波聚类的算法进行加速设计，找出与大曲气味相关的特征波段，通过处理大曲光谱数据获取大曲气味的智能化气味识别，寻找特征波段的具体聚类过程如下：a、输入大曲高光谱数据；b、选择三个特征波段；c、运用三维小波聚类算法进行聚类；d、判断聚类结果是否将含特殊气味的大曲筛选为一类，结果未满足预期则重复执行b-d步骤，直至将特征气味大曲筛选为一类，此时筛选的特征波段为大曲气味的特征波段；通过YOLOV4网络在不同波段预测大曲发酵特征,利用YOLOV4网络预测大曲高光谱图像信息：a、通过标注训练得到能够在可见光波段图像信息中预测穿衣、火圈、裂纹特征的YOLOV4-0网络；b、在近红外波段图像信息的数据标注过程中，通过可视化云图的方式记录大曲中水分含量、酸度和微生物的分布位置和大小信息，进行样本标注和训练，得到能够识别定位高光谱近红外波段图像数据中预测水分含量、酸度特征的YOLOV4-1网络，通过SOCFPGA嵌入式设备加速YOLOV4-0、YOLOV4-1两个网络，同时对大曲高光谱图像信息进行处理，预测大曲的发酵特征；
高光谱相机通过千兆网线与SOCFPGA嵌入式设备相连接，通过SOCFPGA嵌入式设备执行软触发方式控制高光谱相机采集大曲高光谱数据；
数据存储模块与数据先入先出缓冲电路模块相连接，数据先入先出缓冲电路模块与SOCFPGA嵌入式设备相连接，大曲高光谱数据存储在存储模块中，由数据先入先出缓冲电路逐行送入SOCFPGA嵌入式设备中的FPGA芯片中进行运算处理；
SOCFPGA嵌入式设备中的FPGA芯片接收到数据先入先出缓冲电路逐行的大曲高光谱数据后，由以下两部分对大曲高光谱数据进行加速处理：(1)通过烧录到FPGA中的聚类算法硬件电路对大曲高光谱数据中的光谱信息进行加速处理，以获取大曲的气味特征；(2)利用FPGA中YOLOV4硬件电路对高光谱数据进行加速处理，分别在可见光波段和近红外波段数据中得到大曲发酵特征和大曲成分分布特征；
无线通讯模为5G无线通讯模；SOCFPGA嵌入式设备通过5G无线通讯模块将大曲气味特征、大曲发酵特征、大曲成分分布特征传输至离线主机，离线主机结合采集到的大曲气味特征、大曲发酵特征、大曲成分分布特征信息，输出调控现场发酵环境的控制方案并将控制方案传输至SOCFPGA嵌入式设备，然后SOCFPGA嵌入式设备基于控制方案通过5G无线通讯模块向现场主控制器发出控制信号。
2.根据权利要求1所述的大曲品质检测嵌入式高光谱智慧型测控系统，其特征在于，现场主控制器通过5G无线通讯模块向现场分控制器发送控制信号，以远程控制曲房环境。
3.根据权利要求2所述的大曲品质检测嵌入式高光谱智慧型测控系统，其特征在于，现场执行机构包含控制曲房温度的加热器和风机、控制曲房湿度的加湿器和风机，现场分控制器将接收到的控制信号传输到现场执行机构，现场执行机构做出相应控制，以控制曲房发酵环境的温湿度。
4.利用权利要求1所述的大曲品质检测嵌入式高光谱智慧型测控系统对曲房环境进行控制的方法，其特征在于:
(1).通过高光谱相机采集曲房内大曲的高光谱数据，并通过网线直连发送至SOCFPGA嵌入式设备；
(2).以采集到的大曲高光谱数据最高反射率所在反射率梯度为基准，利用SOCFPGA嵌入式设备通过离线主机从标定板数据库3中取出相应梯度的标定板数据，对采集到的大曲高光谱数据进行校准，再由此梯度反射率标定板数据对大曲高光谱数据进行标定；
(3).将校准后的大曲高光谱数据分离为光谱数据：利用SOCFPGA嵌入式设备对三维小波聚类的算法进行加速设计，找出与大曲气味相关的特征波段，通过处理大曲光谱数据获取大曲气味的智能化气味识别，寻找特征波段的具体聚类过程如下：a、输入大曲高光谱数据；b、选择三个特征波段；c、运用三维小波聚类算法进行聚类；d、判断聚类结果是否将含特殊气味的大曲筛选为一类，结果未满足预期则重复执行b-d步骤，直至将特征气味大曲筛选为一类，此时筛选的特征波段为大曲气味的特征波段；
(4).将校准后的大曲高光谱数据分离为图像数据：通过YOLOV4网络在不同波段预测大曲发酵特征,利用YOLOV4网络预测大曲高光谱图像信息：a、通过标注训练得到能够在可见光波段图像信息中预测穿衣、火圈、裂纹特征的YOLOV4-0网络；b、在近红外波段图像信息的数据标注过程中，通过可视化云图的方式记录大曲中水分含量、酸度和微生物的分布位置和大小信息，进行样本标注和训练，得到能够识别定位高光谱近红外波段图像数据中预测水分含量、酸度特征的YOLOV4-1网络，通过SOCFPGA嵌入式设备加速YOLOV4-0、YOLOV4-1两个网络，同时对大曲高光谱图像信息进行处理，预测大曲的发酵特征；
(5).离线主机根据SOCFPGA对大曲高光谱数据的处理结果评估大曲的气味、发酵情况，并做出针对曲房发酵环境的控制决策，传入SOCFPGA后由相应5G无线通讯模块向现场主控制器发出控制信号，现场主控制器接收控制信号后再传入现场分控制器以控制各个执行机构，实现对曲房发酵环境的远程自动控制。
CN202011475617.0A 2020-12-14 2020-12-14 大曲品质检测嵌入式高光谱智慧型测控系统 Active CN112652366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011475617.0A CN112652366B (zh) 2020-12-14 2020-12-14 大曲品质检测嵌入式高光谱智慧型测控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011475617.0A CN112652366B (zh) 2020-12-14 2020-12-14 大曲品质检测嵌入式高光谱智慧型测控系统

Publications (2)

Publication Number Publication Date
CN112652366A CN112652366A (zh) 2021-04-13
CN112652366B true CN112652366B (zh) 2022-10-25

Family

ID=75353991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011475617.0A Active CN112652366B (zh) 2020-12-14 2020-12-14 大曲品质检测嵌入式高光谱智慧型测控系统

Country Status (1)

Country Link
CN (1) CN112652366B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107607585A (zh) * 2017-10-18 2018-01-19 山西省食品工业研究所 一种利用电子鼻传感器组合优化法监控食醋半成品质量的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278464B (zh) * 2013-04-18 2015-10-21 北京工商大学 鱼肉检测方法和装置
CN110749555B (zh) * 2019-10-30 2022-05-31 宜宾五粮液股份有限公司 基于高光谱技术白酒曲块内部发酵状态检测装置及方法
AU2020100377A4 (en) * 2020-03-12 2020-04-16 Jiangsu University Intelligent Solid-State Fermentation Method for Fermented Tea

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107607585A (zh) * 2017-10-18 2018-01-19 山西省食品工业研究所 一种利用电子鼻传感器组合优化法监控食醋半成品质量的方法

Also Published As

Publication number Publication date
CN112652366A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN110021033B (zh) 一种基于金字塔孪生网络的目标跟踪方法
CN101698896A (zh) 炉口辐射信息融合用于炼钢在线终点控制的系统及其方法
CN117421618B (zh) 一种建筑能耗监测方法及系统
WO2023236319A1 (zh) 一种面向微控制器的卷积神经网络部署和优化方法
CN112613438A (zh) 一种便携式柑橘在线测产仪
CN112652366B (zh) 大曲品质检测嵌入式高光谱智慧型测控系统
Jin et al. A Smart Water Metering System Based on Image Recognition and Narrowband Internet of Things.
CN104588329A (zh) 基于近红外漫透射光谱的种子自动鉴别分选装置
CN116596408B (zh) 一种储能集装箱温控能力评价方法及系统
CN103424368A (zh) 土壤盐渍化现场快速检测方法及装置
CN105141932A (zh) 蔗糖结晶图像无线采集处理系统
CN110674845B (zh) 一种结合多感受野注意与特征再校准的菜品识别方法
CN112809672A (zh) 一种机械手臂用目标定位系统
He et al. Visual recognition and location algorithm based on optimized YOLOv3 detector and RGB depth camera
CN116189076A (zh) 一种鸟类观测站的观测识别系统及其方法
CN111601418B (zh) 色温调节方法、装置、存储介质和处理器
Li et al. Early drought plant stress detection with bi-directional long-term memory networks
CN115266720A (zh) 多尺度光谱成像的玉米生长期养分信息检测方法
CN115249329A (zh) 一种基于深度学习的苹果叶片病害检测方法
CN114994294B (zh) 基于注意力与窗口选通机制的水泥熟料游离钙软测量方法
CN203894771U (zh) 一种植物物种自动识别装置
CN110728292A (zh) 一种多任务联合优化下的自适应特征选择算法
CN109685174A (zh) 一种黄瓜丰产性自动分析装置及方法
CN117409403B (zh) 一种基于深度学习的水稻稻穗成熟度估算方法
CN114943693B (zh) 一种基于JetsonNano桥梁裂纹检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant