CN115311654A - 稻米外观自动化提取方法、装置、设备及存储介质 - Google Patents

稻米外观自动化提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115311654A
CN115311654A CN202210886244.9A CN202210886244A CN115311654A CN 115311654 A CN115311654 A CN 115311654A CN 202210886244 A CN202210886244 A CN 202210886244A CN 115311654 A CN115311654 A CN 115311654A
Authority
CN
China
Prior art keywords
target
information
position information
tracking
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210886244.9A
Other languages
English (en)
Inventor
曾山
康镇
盛钟尹
张超凡
李皞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Polytechnic University
Original Assignee
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Polytechnic University filed Critical Wuhan Polytechnic University
Priority to CN202210886244.9A priority Critical patent/CN115311654A/zh
Publication of CN115311654A publication Critical patent/CN115311654A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于品质检测技术领域，公开了一种稻米外观自动化提取方法、装置、设备及存储介质。该方法包括：根据视频帧数据，得到所述视频帧数据的检测目标与检测目标对应的目标信息；根据检测目标的目标信息，得到跟踪目标，并根据跟踪目标确定跟踪目标的预测位置信息及标签信息；将跟踪目标的预测位置信息与目标信息中的目标位置信息进行匹配，得到匹配信息；根据匹配信息及标签信息，确定有效目标；根据有效目标对视频帧数据进行图像分割，得到目标外观信息；根据目标外观信息进行检测，得到检测结果。通过上述方式，能够实时地从视频帧数据中提取出单颗稻米的外观信息，提升了稻米外观的提取效果，实现了自动化检测，提高了检测的效率。

Description

稻米外观自动化提取方法、装置、设备及存储介质
技术领域
本发明涉及品质检测技术领域，尤其涉及一种稻米外观自动化提取方法、装置、设备及存储介质。
背景技术
粮食的外观质检是我国的粮食质检中较为重要的一部分，如何既快又好的检测稻米一直都是质检中面临的问题，而我国粮食品质检测大多还停留在原始的简单设备与人工检测上，已经不满足当今社会对粮食检测的标准化，快速化，智能化的需要。人工检测外观的方式虽然在过去的许多年里为粮食检测事业做出了巨大贡献，但人工检测方式不仅速度上比较慢，而且缺乏客观性和科学性，如今已经不能很好的满足人民对粮食检测的需求。
随着芯片行业技术的快速发展，计算机的性能愈发强劲，开始通过图像处理等相关算法进行稻米的外观检测研究，常用方式使用机器学习相关算法提取稻米外观信息。但使用机器学习算法检测时，对粘连稻米粒的提取效果不佳，影响检测结果。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种稻米外观自动化提取方法、装置、设备及存储介质，旨在解决现有技术对粘连稻米粒外观的提取效果不佳，影响检测结果的技术问题。
为实现上述目的，本发明提供了一种稻米外观自动化提取方法，所述稻米外观自动化提取方法应用于稻米外观自动化提取系统，所述稻米外观自动化提取系统包括下料器、电动传送带、平铺装置以及图像采集装置，所述下料器将待检测稻米洒落在所述电动传送带上，所述平铺装置用于将所述电动传送带上的待检测稻米平铺，所述图像采集装置用于对经过所述平铺装置平铺后的稻米进行图像采集，得到所述稻米的视频帧数据；
所述稻米外观自动化提取方法包括：
根据所述视频帧数据，得到所述视频帧数据的检测目标与检测目标对应的目标信息；
根据所述检测目标的目标信息，得到跟踪目标，并根据所述跟踪目标确定所述跟踪目标的预测位置信息及标签信息；
将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息；
根据所述匹配信息及标签信息，确定有效目标；
根据所述有效目标对所述视频帧数据进行图像分割，得到目标外观信息；
根据所述目标外观信息进行检测，得到检测结果。
可选地，所述根据所述视频帧数据，得到所述视频帧数据的检测目标与检测目标对应的目标信息，包括：
对所述视频帧数据进行数据增强、自适应锚框及自适应缩放，得到预处理数据，所述数据增强包括外观增强及色域增强，所述外观增强包括随机缩放与镜像翻转；
对所述预处理数据进行特征提取，得到特征提取数据；
对所述特征提取数据进行特征融合，得到特征融合数据，所述特征融合包括细节信息特征融合；
对所述特征融合数据进行检测，得到所述视频帧数据的检测目标与检测目标对应的目标信息。
可选地，所述目标信息包括类别信息和置信度信息；
所述根据所述检测目标的目标信息，得到跟踪目标，并根据所述跟踪目标确定所述跟踪目标的预测位置信息及标签信息，包括：
根据所述检测目标的类别信息与置信度信息对所述检测目标进行筛选，得到跟踪目标；
获取所述跟踪目标的目标位置信息，根据所述目标位置信息，确认所述跟踪目标是否在边界；
若所述跟踪目标不在边界，则根据所述跟踪目标的目标位置信息，得到所述跟踪目标的预测位置信息；
对所述跟踪目标进行标记，得到所述跟踪目标的标签信息。
可选地，所述根据所述检测目标的类别信息与置信度信息对所述检测目标进行筛选，得到跟踪目标，包括：
获取所述检测目标的类别信息；
在所述类别信息符合预设类别时，确认所述类别信息对应的检测目标是类别目标；
获取所述类别目标的置信度信息；
在所述置信度信息符合预设置信度时，确认所述与置信度信息对应的类别目标需要跟踪，得到跟踪目标。
可选地，所述将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息，包括：
根据所述跟踪目标的预测位置信息与目标位置信息，计算信息关联值，根据所述信息关联值，得到跟踪目标中的匹配目标与初步未匹配目标；
获取所述初步未匹配目标的预测位置信息与目标位置信息；
根据所述初步未匹配目标的预测位置信息与目标位置信息，计算交并比；
在所述交并比大于等于交并比阈值时，确定所述初步未匹配目标的预测位置信息与目标位置信息匹配，更新所述跟踪目标中的匹配目标；
在所述交并比小于交并比阈值时，确定所述初步未匹配目标的预测位置信息与目标位置信息未匹配，得到所述跟踪目标中的未匹配目标；
根据所述匹配目标与未匹配目标，得到匹配信息。
可选地，所述根据所述跟踪目标的预测位置信息与目标位置信息，计算信息关联值，根据所述信息关联值，得到跟踪目标中的匹配目标与初步未匹配目标，包括：
根据所述跟踪目标的预测位置信息与目标位置信息，计算马氏距离及最小余弦距离；
根据所述马氏距离及最小余弦距离得到所述跟踪目标的预测位置信息与目标位置信息之间的信息关联值；
在所述信息关联值小于关联阈值时，确定所述跟踪目标的预测位置信息与目标位置信息匹配，得到所述跟踪目标中的匹配目标；
根据所述匹配目标，得到所述跟踪目标中的初步未匹配目标。
可选地，所述根据所述匹配信息及标签信息，确定有效目标，包括：
根据所述匹配信息中的匹配目标与未匹配目标，对所述跟踪目标进行重新标记，并更新所述跟踪目标的标签信息；
根据所述更新后的标签信息，确定有效目标。
此外，为实现上述目的，本发明还提出一种稻米外观自动化提取装置，所述稻米外观自动化提取装置包括：
检测模块，用于根据视频帧数据，得到所述视频帧数据的检测目标与检测目标对应的目标信息；
跟踪模块，用于根据所述检测目标的目标信息，得到跟踪目标，并根据所述跟踪目标确定所述跟踪目标的预测位置信息及标签信息；
匹配模块，还用于将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息；
所述匹配模块，还用于根据所述匹配信息及标签信息，确定有效目标；
提取模块，用于根据所述有效目标对所述视频帧数据进行图像分割，得到目标外观信息；
所述提取模块，还用于根据所述目标外观信息进行检测，得到检测结果。
此外，为实现上述目的，本发明还提出一种稻米外观自动化提取设备，所述稻米外观自动化提取设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的稻米外观自动化提取程序，所述稻米外观自动化提取程序配置为实现如上文所述的稻米外观自动化提取方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有稻米外观自动化提取程序，所述稻米外观自动化提取程序被处理器执行时实现如上文所述的稻米外观自动化提取方法的步骤。
在本发明中，根据采集的视频帧数据，检测目标与检测目标对应的目标信息，根据所述检测目标的目标信息，得到跟踪目标，并确定所述跟踪目标的预测位置信息及标签信息，将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息，进而确定有效目标，根据所述有效目标，得到目标外观信息，根据所述目标外观信息进行检测，得到检测结果。相较于现有技术使用机器学习算法检测稻米，本发明对目标检测算法和目标跟踪算法进行改进，根据改进后的算法提取稻米外观，从而克服了对粘连稻米粒提取效果不佳的技术问题，进而实现了实时、准确、不重复地从视频帧数据中提取出单颗稻米的外观信息，并对稻米的数量进行统计，提升了稻米外观的提取效果，保证了检测结果的准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的稻米外观自动化提取设备的结构示意图；
图2为本发明稻米外观自动化提取方法第一实施例的流程示意图；
图3为本发明稻米外观自动化提取方法一实施例的稻米外观自动化提取系统结构示意图；
图4为本发明稻米外观自动化提取方法一实施例的稻米外观自动化提取系统结构实例图；
图5为本发明稻米外观自动化提取方法一实施例的YOLOv5算法网络结构示意图；
图6为本发明一种稻米外观自动化提取方法第二实施例的流程示意图；
图7为本发明稻米外观自动化提取方法一实施例的外观增强效果示意图；
图8为本发明稻米外观自动化提取方法一实施例的色域增强效果示意图；
图9为本发明稻米外观自动化提取方法一实施例的Focus结构示意图；
图10为本发明稻米外观自动化提取方法一实施例的CSPNet结构示意图；
图11为本发明稻米外观自动化提取方法一实施例的使用的两种CSP结构示意图；
图12为本发明稻米外观自动化提取方法一实施例的SPP结构示意图；
图13为本发明稻米外观自动化提取方法一实施例的PAN结构示意图；
图14为本发明稻米外观自动化提取方法一实施例的改进后的特征融合结构示意图；
图15为本发明一种稻米外观自动化提取方法第三实施例的流程示意图；
图16为本发明稻米外观自动化提取方法一实施例的边界过滤流程示意图；
图17为本发明一种稻米外观自动化提取方法第四实施例的流程示意图；
图18为本发明一种稻米外观自动化提取方法一实施例的稻米目标跟踪流程示意图；
图19为本发明稻米外观自动化提取装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的稻米外观自动化提取控制设备结构示意图。
如图1所示，该稻米外观自动化提取设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对稻米外观自动化提取设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及稻米外观自动化提取程序。
在图1所示的稻米外观自动化提取设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明稻米外观自动化提取设备中的处理器1001、存储器1005可以设置在稻米外观自动化提取设备中，所述稻米外观自动化提取设备通过处理器1001调用存储器1005中存储的稻米外观自动化提取程序，并执行本发明实施例提供的稻米外观自动化提取法。
本发明实施例提供了一种稻米外观自动化提取方法，参照图2，图2为本发明一种稻米外观自动化提取方法第一实施例的流程示意图。
本实施例中，所述稻米外观自动化提取方法包括以下步骤：
步骤S10：根据视频帧数据，得到所述视频帧数据的检测目标与检测目标对应的目标信息。
需要说明的是，所述稻米外观自动化提取方法应用于稻米外观自动化提取系统，如图3所示的稻米外观自动化提取系统结构示意图，所述稻米外观自动化提取系统包括下料器、传送装置、图像采集装置及计算机，所述传送装置包括电动传送带及平铺装置，所述下料器将待检测稻米洒落在所述电动传送带上，所述平铺装置用于将所述电动传送带上的待检测稻米平铺，所述图像采集装置用于对经过所述平铺装置平铺后的稻米进行图像采集，得到所述稻米的视频帧数据，所述计算机可以通过稻米外观自动化提取程序对视频帧数据进行外观提取。如图4所示的稻米外观自动化提取系统实例图，使用的图像采集装置为工业相机，系统启动后，电动传送带会以较低的速度匀速向相机的方向转动，同时带动下料器将内部的稻米洒落在传送带上，通过平铺装置将稻米平铺在传送带上，然后通过隔光暗室内的相机进行稻米外观数据的采集，最后将采集的视频信息展示或保存在计算机上。其中，传送带的速度较低，不会引起稻米不必要的移动，且相机是垂直向下对稻米的外观进行采集，不会产生由位置引起的外观上的细微形变。传统的稻米外观检测中，前期的图像采集阶段通常是使用的人工拍摄的采集方式，流程繁琐且占用时间，本实施例通过稻米外观自动化提取系统，实现了对稻米外观的自动化提取，节约了时间，提高了检测效率。
可理解的是，所述视频帧数据为通过稻米外观自动化提取系统采集到的稻米外观数据，通过目标检测算法对所述视频帧数据进行检测，检测出来的目标即为所述检测目标，每个检测目标都有其对应的信息，即所述目标信息。所述目标检测算法为改进的YOLOv5算法，本实施例使用改进的YOLOv5算法获得视频帧数据中的检测目标与检测目标对应的目标信息。如图5所示的YOLOv5算法网络结构示意图，传统的YOLOv5算法的网络结构主要由四部分组成，分别是预处理、特征提取、特征融合、检测器，所述改进的YOLOv5算法在YOLOv5算法的基础上改进了预处理和特征融合，提升了检测算法在稻米检测上的准确率。
步骤S20：根据所述检测目标的目标信息，得到跟踪目标，并根据所述跟踪目标确定所述跟踪目标的预测位置信息及标签信息。
需要说明的是，通过目标检测算法检测出来的检测目标不一定都是稻米，需要进行筛选，确定需要的目标，因此，所述跟踪目标为检测目标中需要进行跟踪的目标稻米，所述预测位置信息为通过目标跟踪算法预测出的跟踪目标在下一帧中的位置信息，对下一帧中的跟踪目标用进行标记后可以得到所述标签信息，可以使用标记ID的方式，本实施例对此不做限制。本实施例采用的目标跟踪算法为DeepSORT算法。
步骤S30：将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息。
需要说明的是，由于目标检测算法只能对单张图片或视频帧进行检测，而不会对视频前后帧中的重复目标进行去重处理，所以需要采用目标跟踪算法来对前后帧图像中的目标进行跟踪来实现去除重复目标。
应理解的是，通过改进的YOLOv5算法可以得到检测目标对应的目标信息，跟踪目标是从检测目标中筛选得到的，每个跟踪目标都有对应的目标信息，且所述目标信息中含有跟所述踪目标的位置信息，即目标位置信息。
在具体实现中，通过DeepSORT算法将当前帧中跟踪目标的目标位置信息，与前一帧中跟踪目标的预测位置信息进行匹配，根据匹配结果可以得到成功匹配的目标与未成功匹配的目标，进而得到匹配信息，以便根据匹配信息进行去重处理，所述匹配包括级联匹配与交并比(IOU)匹配。
步骤S40：根据所述匹配信息及标签信息，确定有效目标。
所述步骤S40具体包括：根据所述匹配信息中的匹配目标与未匹配目标，对所述跟踪目标进行重新标记，并更新所述跟踪目标的标签信息，根据所述更新后的标签信息，确定有效目标。
需要说明的是，所述匹配目标为前后帧中信息成功匹配的跟踪目标，所述未匹配目标为前后帧中信息没有成功匹配的跟踪目标，包括预测位置信息没有成功匹配的目标与目标位置信息没有成功匹配的目标，所述有效目标为去掉重复目标后的需要进行外观提取的目标稻米。
在具体实现中，前后帧中匹配成功说明找到了重复目标，将匹配的目标使用相同的ID进行标记；预测位置信息没有成功匹配说明对应的目标可能已离开视野，若多次未匹配成功，则确认目标已离开视野，将对应的ID删除；目标位置信息没有成功匹配，说明对应的目标是新进入的目标，用新的ID进行标记。
步骤S50：根据所述有效目标对所述视频帧数据进行图像分割，得到目标外观信息。
可理解的是，所述目标外观信息为通过图像分割提取出的稻米外观信息，图像分割可以采用Yolact算法，也可换成其他的速度快、精度高的分割算法，本实施例对此不做限制，可根据实际情况灵活选择。
步骤S60：根据所述目标外观信息进行检测，得到检测结果。
在本实施例中，根据采集的视频帧数据，检测目标与检测目标对应的目标信息，根据所述检测目标的目标信息，得到跟踪目标，并确定所述跟踪目标的预测位置信息及标签信息，将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息，进而确定有效目标，根据所述有效目标，得到目标外观信息，根据所述目标外观信息进行检测，得到检测结果。设计了稻米外观自动化提取系统，实现了对稻米外观的自动化提取，节约了时间，提高了检测效率，通过对YOLOv5算法和DeepSORT算法进行改进，实现了实时、准确、不重复地从视频帧数据中提取出单颗稻米的外观信息，提升了稻米外观的提取效果，进而提升了目标检测算法在稻米检测上的准确率。
参考图6，图6为本发明一种稻米外观自动化提取方法第二实施例的流程示意图。
基于上述第一实施例，所述步骤S10包括：
步骤S101：对所述视频帧数据进行数据增强、自适应锚框及自适应缩放，得到预处理数据，所述数据增强包括外观增强及色域增强，所述外观增强包括随机缩放与镜像翻转。
需要说明的是，所述预处理数据是经过改进的YOLOv5算法预处理后得到的。传统的YOLOv5的预处理主要包含：数据增强、自适应锚框和自适应缩放。在各种数据集中，小目标的学习都是一个问题。小目标的数量虽然比较多，占总目标的41.4％，但分布并不均匀，只有52.3％的训练集图像中包含小目标。针对这种情况，YOLOv5中采用了马赛克(Mosaic)数据增强的方式，通过随机的四张图片，随机缩放和分布拼接组成一个新的图像，能够通过拼接裁剪的方式丰富了检测的数据集中的小目标，也增强了网络鲁棒性。自适应锚框是算法会根据样本标签数据，通过聚类算法和遗传算法训练出最优的锚框参数。自适应缩放是在将图像统一缩放到相同尺寸的时候，对原始图像自适应的添加最少的黑边。
在具体实现中，对于同一颗稻米粒来说，所处的位置，接受的光照，摆放的形状和是否粘连都会对米粒的外观特征造成影响，虽然本实施例通过隔光暗室隔绝了外界的光照，但由于不同稻米粒的透光度、垩白度不同，在视野中显示的效果也是不同的，例如：垩白度高的稻米粒在视野中更亮，垩白度低的稻米粒在灯光下稍暗些。追根究底，不管是稻米的亮度、摆放位置，还是背景颜色，都只是稻米的形态发生了略微的改变，在本质上它们还是稻米，所以可以通过数据增强的方式来使得图像变得更加多种多样，让图像的特征更加丰富，同时一定程度上也可以防止过拟合。但传统的YOLOv5算法在预处理阶段使用Mosaic图像增强，虽然能够提升在通用数据集上的小目标检测效果，但在稻米这种目标上会产生不必要的碎米。
在本实施例中，根据稻米在途经相机摄像头及照明灯时可能会发生光暗和形变的问题，使用一种随机改变图像亮度和外形的数据增强方法代替原有的Mosaic图像增强，如图7所示的外观增强效果示意图，在外形上，使用随机缩放和镜像翻转的形式，随机缩放可以使算法学习不同造型和尺度大小的米粒外观，镜像翻转可以丰富样本数据集，如图8所示的色域增强效果示意图，在亮度和色彩上，使用HSV(Hue、Saturation、Value，色调、饱和度、明度)色域增强，使得算法学习更广泛的特征。在视频帧数据经过尺度变换及色域增强后，进行自适应锚框和自适应缩放，得到预处理数据。
步骤S102：对所述预处理数据进行特征提取，得到特征提取数据。
需要说明的是，YOLOv5算法的骨干网络包含Focus、CSPNet(Cross Stage PartialNetwork，跨阶段部分网络)和SPP(Spatial Pyramid Pooling，空间金字塔池化结构)三种结构。如图9所示的Focus结构示意图，Focus结构通过切片操作将608×608×3的图像切分为304×304×12的特征图，这种操作一方面能够减少网络的参数，提升网络的检测速度，另一方面可以保留更多的特征用于后续的特征提取。如图10所示的CSPNet结构示意图，一部分用传统的卷积块(Conv Block)，来提取特征，另一部分通过提出的跨阶段分层(CrossStage Hierarchy)结构进行特征合并，通过切换连接和转换(Transition)步骤，传播的梯度信息可以具有大的相关差，既保留了卷积块的特征复用特性的优点，防止了过多的重复梯度信息，同时减少了计算量和内存成本，加快了算法的运行速度。本实施例使用两种CSP结构作为特征提取结构：CSP1_x和CSP2_x，如图11所示的使用的两种CSP结构示意图，CSP1_x是由x个残差单元(Res unit)作为特征提取的卷积结构，CSP2中有2x个普通卷积层作为卷积结构，其中，CBL为卷积模块，由Conv(卷积)、Batch Normalization(BN)、Leaky relu(激活层)三个网络层组成，Concat为张量拼接，会扩充两个张量的维度，描述图像本身的特征数会增加，例如：26×26×256和26×26×512两个张量拼接，结果是26×26×768。如图12所示的SPP结构示意图，对特征图分别做1×1，5×5，9×9，13×13的最大池化(Maxpool)，可以得到了不同感受野的特征图，使用不同的大小的池化结构，可以有效的增加主干特征的接受范围，显著分离图像中的最重要的上下文信息。
在具体实现中，通过Focus、CSP1_x、CSP2_x及SPP结构对所述预处理数据进行特征提取，得到所述特征提取数据。
步骤S103：对所述特征数据进行特征融合，得到特征融合数据，所述特征融合包括细节信息特征融合。
需要说明的是，特征融合结构处于骨干网络和检测器之间，起着连接和提取融合特征的作用。传统的特征融合结构由特征金字塔网络(Feature Pyramid Networks，FPN)和路径聚合网络(Path aggregation network，PAN)，FPN采用上采样(Upsample)的方式将具有高级语义信息的特征尺寸扩大与低一级的具有强定位信息的特征进行特征融合，增强了不同主干层的特征信息，有利于后续检测器的检测(Predict)。如图13所示的PAN结构示意图，PAN使用特征金字塔自底向上传达位置信息，增强了特征的定位信息，能够更好的回归目标的定位信息，其中，CNN为卷积神经网络(convolutional neural network)。
在具体实现中，由于稻米形状是均匀且体积较小，而YOLOv5算法默认的多尺度检测是针对普通目标及大物体的，在应用上也与稻米检测存在出入，因此，如图14所示的改进后的特征融合结构示意图，本实施例在原有的YOLOv5的特征融合结构上，又加上了一个具有丰富细节信息的特征层(P2层)，通过新增的具有细节的特征层，能够提供更多的小目标的外观细节特征和目标的定位信息。使用所述增加了细节检测特征层的特征融合结构，可以得到所述特征融合数据。
步骤S104：对所述特征融合数据进行检测，得到所述视频帧数据的检测目标与检测目标对应的目标信息。
在本实施例中，改进了YOLOv5的预处理，用尺度变换和HSV色域增强来代替原有的Mosaic增强，丰富样本数据集，使得算法学习更广泛的特征，同时改进了PAN特征融合结构，增加细节检测特征层，能够提供更多的小目标的外观细节特征和目标的定位信息，提升了目标检测算法在稻谷检测上的准确率。
参考图15，图15为本发明一种稻米外观自动化提取方法第三实施例的流程示意图。
基于上述第一实施例，所述步骤S20包括：
步骤S201：根据所述检测目标的类别信息与置信度信息对所述检测目标进行筛选，得到跟踪目标。
需要说明的是，通过改进的YOLOv5算法可以得到检测目标对应的目标信息，每个检测目标都有对应的目标信息，且所述目标信息中含有类别信息与置信度信息，所述类别信息为检测目标的类别，例如：稻米(Rice)，还可以是其他形式的分类，本实施例对此不做限制，所述置信度信息为检测目标的可靠度，一般来说，置信度信息的范围区间为[0,1]。
在具体实现中，DeepSORT算法在使用之前需要设置相关的参数对检测目标进行筛选，所述步骤S201包括：获取所述检测目标的类别信息，在所述类别信息符合预设类别时，确认所述类别信息对应的检测目标是类别目标，获取所述类别目标的置信度信息，在所述置信度信息符合预设置信度时，确认所述与置信度信息对应的类别目标需要跟踪，得到跟踪目标。所述类别目标为类别信息符合预设类别的目标，所述预设类别为筛选的目标类别，本实施例使用的预设类别目标为稻米，筛选出所有的稻米，所述预设置信度为设置的置信度阈值，可通过稻米外观自动化提取程序进行设置，本实施例对此不做限制，设置后可以对阈值以上的目标进行跟踪，进一步对跟踪目标进行筛选，保证了跟踪目标的准确性。
步骤S202：获取所述跟踪目标的目标位置信息，根据所述目标位置信息，确认所述跟踪目标是否在边界。
在具体实现中，稻米在边界处的动态变化可能会使DeepSORT算法在边界处发生漏检或误检，继而可能被误认为新的目标并分配新的ID，导致标签信息发生变化，针对这个问题，本实施例对DeepSORT算法做出了改进，如图16所示的边界过滤流程示意图，在DeepSORT输入前增加了边界过滤，排除边界目标，防止边缘跟踪失误。
步骤S203：若所述跟踪目标不在边界，则根据所述跟踪目标的目标位置信息，得到所述跟踪目标的预测位置信息。
在具体实现中，根据当前视频帧中所述跟踪目标的目标位置信息，通过DeepSORT算法预测出所述跟踪目标在下一帧中的位置信息，得到预测位置信息，DeepSORT算法使用卡尔曼滤波(Kalman Filter)实现对目标位置的预测功能。
需要说明的是，通过改进的YOLOv5算法检测到的目标后，会生成相应的检测框，对目标进行定位，相应地，跟踪目标也具有对应的跟踪框，在预测出所述跟踪目标在下一帧中的位置信息时，也会生成预测框，DeepSORT使用8维状态空间
Figure BDA0003765923710000131
描述跟踪目标的位置信息，其中，x和y表示跟踪框或预测框的中心坐标，γ和h分别表示跟踪框或预测框的宽高比例和高度，
Figure BDA0003765923710000132
表示前面四个参数在图像坐标中的相对速度，分别为(x,y,γ,h)四个参数的导数。算法使用具有恒定速度模型和线性观测模型的标准卡尔曼滤波器，将跟踪框或预测框信息(x,y,γ,h)作为对象状态的直接观测值。
步骤S204：对所述跟踪目标进行标记，得到所述跟踪目标的标签信息。
在本实施例中，根据类别与置信度对检测目标进行筛选，保证了跟踪目标的准确性，并且改进了DeepSORT算法结构，在输入前增加了边框过滤，排除边界目标，防止边缘跟踪失误，进一步提高了跟踪目标的准确性，通过DeepSORT算法得到跟踪目标的预测位置信息，以便进行匹配去重。
参考图17，图17为本发明一种稻米外观自动化提取方法第四实施例的流程示意图。
基于上述第一实施例，所述步骤S30包括：
步骤S301：根据所述跟踪目标的预测位置信息与目标位置信息，计算信息关联值，根据所述信息关联值，得到跟踪目标中的匹配目标与初步未匹配目标。
在具体实现中，DeepSORT算法使用了级联匹配策略，同时考虑目标间距和特征相似度，并对新生成的跟踪轨迹采取验证机制以排除错误的预测结果，在级联匹配时，使用信息关联值描述所述跟踪目标的预测位置信息与目标位置信息之间的关联程度，根据所述关联程度可以判断所述预测位置信息与目标位置信息是否匹配，根据级联匹配结果，得到匹配目标与初步未匹配目标，所述匹配目标为级联匹配中匹配成功的目标，初步未匹配目标为级联匹配未匹配成功的目标，需要继续进行下一阶段的匹配。
步骤S302：获取所述初步未匹配目标的预测位置信息与目标位置信息，根据所述初步未匹配目标的预测位置信息与目标信息，计算交并比。
需要说明的是，级联匹配后出现未匹配成功的目标，可能是由于某一时刻有一个目标是新进入的，例如：之前一直只有三个目标，某时刻突然镜头中出现了第四个新目标，就会发生目标位置信息匹配不到预测位置信息的情况，因为这个目标是新来的，在这之前并没有它的预测位置信息，还可能是由于目标长时间被遮挡，导致目标位置信息没有可以与之匹配的预测位置信息，还可为其他可能出现未匹配的情况，本实施例对此不做限制。因此，本实施例对匹配失败的预测位置信息与匹配失败的目标位置信息进行IOU匹配。
在具体实现中，IOU匹配需要通过计算IOU来进行，所述IOU为交区域和并区域的比值，预测框和跟踪框之间的重叠区域与预测框和跟踪框所占有的总区域之间的比值，计算出的IOU越大，代表预测框和跟踪框匹配程度越高，即预测位置信息与目标位置信息匹配程度越高。
步骤S303：在所述交并比大于等于交并比阈值时，确定所述初步未匹配目标的预测位置信息与目标位置信息匹配，更新所述跟踪目标中的匹配目标。
可理解的是，本实施例设置IOU阈值，在计算出的IOU大于等于阈值时，认为所述预测框和跟踪框匹配，即当前初步未匹配目标的预测位置信息与目标位置信息匹配，所述匹配的预测框与跟踪框内的目标为匹配目标，所述IOU阈值可在稻米外观自动化提取程序中进行设置，本实施例对此不做限制。
在本实施例中，通过IOU匹配，对初步未匹配目标再次进行匹配，进一步完善级联匹配结果，得到IOU匹配成功的目标，将所述IOU匹配成功的目标同样算入所述匹配目标中。
步骤S304：在所述交并比距离小于交并比阈值时，确定所述初步未匹配目标的预测位置信息与目标位置信息未匹配，得到所述跟踪目标中的未匹配目标。
可理解的是，本实施例设置IOU阈值，在计算出的IOU小于阈值时，认为所述预测框和跟踪框不匹配，即当前初步未匹配目标的预测位置信息与目标位置信息不匹配，此时不匹配的情况有两种，预测位置信息没有对应匹配的目标位置信息，目标位置信息没有对应匹配的预测位置信息，根据不匹配的结果，可以得到未匹配目标。
步骤S305：根据所述匹配目标与未匹配目标，得到匹配信息。
如图18所示的一实施例的稻米目标跟踪流程示意图，通过改进的YOLOv5算法对稻米外观的视频帧数据进行目标检测，得到检测目标的类别信息与置信度信息，根据所述类别信息与置信度信息进行筛选得到跟踪目标，利用卡尔曼滤波得到跟踪目标的预测位置信息，通过匈牙利算法将跟踪目标的目标位置信息与预测位置信息进行级联匹配，若匹配成功，则根据目标位置信息更新预测位置信息，进行下一轮的匹配；若未匹配成功，则进行IOU匹配。若IOU匹配成功，则根据目标位置信息更新预测位置信息，进行下一轮的匹配；若匹配不成功，则分配新的预测位置信息与未匹配成功的目标位置信息重新进行匹配，在匹配次数小于阈值时，分配新的目标位置信息与未匹配成功的预测位置信息重新进行匹配，在匹配次数大于等于阈值时，删除当前预测位置信息。
进一步地，所述步骤S301包括：
根据所述跟踪目标的预测位置信息与目标位置信息，计算马氏距离及最小余弦距离，根据所述马氏距离及最小余弦距离得到所述跟踪目标的预测位置信息与目标位置信息之间的信息关联值。
需要说明的是，DeepSORT使用匈牙利算法匹配跟踪目标的预测位置信息与目标位置信息。对于位置信息，算法使用马氏距离描述跟踪目标的预测位置信息与目标位置信息之间的关联程度，即预测框与跟踪框之间的关联程度，马氏距离的计算表达式如下所示：
Figure BDA0003765923710000161
式中，dj和yi分别表示第j个目标位置信息和第i个预测位置信息，Si表示目标位置与预测位置之间的协方差矩阵，d(1)(i,j)表示第j个目标位置信息和第i个预测位置信息的马氏距离。马氏距离可以将状态估计的不确定性考虑在内，从而排除可能性低的关联，例如：剔除两个距离很远的跟踪框与预测框匹配成功的情况，因为距离很远的情况下即便匹配成功但是阈值判断条件是不符合的，所以通过马氏距离就能把这种失误情况给剔除。
在具体实现中，在目标位置信息不确定性较低的时候，马氏距离匹配是一种合适的关联度量方法，但是当目标遮挡或者镜头视角抖动时，仅使用马氏距离关联会导致目标ID切换。因此，考虑加入外观信息，对每一个dj计算出对应的外观特征描述符rj，并且设置||j||＝1，对于每一个跟踪目标k设置特征仓库Rk，用来保存最近100条目标成功关联的特征描述符，第i个预测位置信息和第j个目标位置信息的最小余弦距离d(2)(i,j)计算表达式如下所示：
Figure BDA0003765923710000162
在本实施例中，马氏距离在短时预测情况下可以提供可靠的目标位置信息，使用外观特征的余弦相似度可以在目标遮挡又重新出现时恢复目标ID，为了使两种度量的优势互补，使用线性加权的方式将马氏距离与最小余弦距离进行结合，得到信息关联值ci,j，即所述跟踪目标的预测位置信息与目标位置信息之间的关联程度，计算表达式如下所示：
ci,j＝d()(i,j)+(1-)d()(i,j)
式中，通过控制超参λ可以控制马氏距离与最小余弦距离的占比，当λ＝0时，可以有效应对相机拍摄时位移的情况，此时只使用外观信息。
在所述信息关联值小于关联阈值时，确定所述跟踪目标的预测位置信息与目标位置信息匹配，得到所述跟踪目标中的匹配目标。
在具体实现中，在计算出的信息关联值小于关联阈值时，确定所述跟踪目标的预测位置信息与目标位置信息关联，可以认为跟踪框与预测框的位置接近、特征也接近，进而确认跟踪框与预测框内的目标是同一目标，即跟踪框对应的目标与预测框对应的目标为匹配目标，所述关联阈值可在稻米外观自动化提取程序中进行设置，本实施例对此不做限制。
根据所述匹配目标，得到所述跟踪目标中的初步未匹配目标。
需要说明的是，所述初步未匹配目标为匹配目标以外的跟踪目标，包括两种情况：预测位置信息没有对应匹配的目标位置信息，目标位置信息没有对应匹配的预测位置信息。
在本实施例中，使用了级联匹配策略，同时考虑目标间距和特征相似度，并排除错误的预测结果，通过IOU匹配对级联匹配未成功的目标进行再次匹配，从而确定前后视频帧中的重复目标，根据匹配目标与未匹配目标对跟踪目标进行重新标记，更新所述标签信息，以使标签信息能够准确反映出稻米的数量。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有稻米外观自动化提取程序，所述稻米外观自动化提取程序被处理器执行时实现如上文所述的稻米外观自动化提取方法的步骤。
参照图19，图19为本发明稻米外观自动化提取装置第一实施例的结构框图。
如图19所示，本发明实施例提出的稻米外观自动化提取装置包括：
检测模块10，用于根据所述视频帧数据，得到所述视频帧数据的检测目标与检测目标对应的目标信息。
跟踪模块20，用于根据所述检测目标的目标信息，得到跟踪目标，并根据所述跟踪目标确定所述跟踪目标的预测位置信息及标签信息。
匹配模块30，还用于将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息。
所述匹配模块30，还用于根据所述匹配信息及标签信息，确定有效目标；
提取模块40，用于根据所述有效目标对所述视频帧数据进行图像分割，得到目标外观信息。
所述提取模块40，还用于根据所述目标外观信息进行检测，得到检测结果。
在本实施例中，根据采集的视频帧数据，检测目标与检测目标对应的目标信息，根据所述检测目标的目标信息，得到跟踪目标，并确定所述跟踪目标的预测位置信息及标签信息，将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息，进而确定有效目标，根据所述有效目标，得到目标外观信息，根据所述目标外观信息进行检测，得到检测结果。设计了稻米外观自动化提取系统，实现了对稻米外观的自动化提取，节约了时间，提高了检测效率，通过对YOLOv5算法和DeepSORT算法进行改进，实现了实时、准确、不重复地从视频帧数据中提取出单颗稻米的外观信息，提升了稻米外观的提取效果，进而提升了目标检测算法在稻米检测上的准确率。
在一实施例中，所述检测模块10，还用于对所述视频帧数据进行数据增强、自适应锚框及自适应缩放，得到预处理数据，所述数据增强包括外观增强及色域增强，所述外观增强包括随机缩放与镜像翻转；
对所述预处理数据进行特征提取，得到特征提取数据；
对所述特征提取数据进行特征融合，得到特征融合数据，所述特征融合包括细节信息特征融合；
对所述特征融合数据进行检测，得到所述视频帧数据的检测目标与检测目标对应的目标信息。
在一实施例中，所述跟踪模块20，还用于根据所述检测目标的类别信息与置信度信息对所述检测目标进行筛选，得到跟踪目标；
获取所述跟踪目标的目标位置信息，根据所述目标位置信息，确认所述跟踪目标是否在边界；
若所述跟踪目标不在边界，则根据所述跟踪目标的目标位置信息，得到所述跟踪目标的预测位置信息；
对所述跟踪目标进行标记，得到所述跟踪目标的标签信息。
在一实施例中，所述跟踪模块20，还用于获取所述检测目标的类别信息；
在所述类别信息符合预设类别时，确认所述类别信息对应的检测目标是类别目标；
获取所述类别目标的置信度信息；
在所述置信度信息符合预设置信度时，确认所述与置信度信息对应的类别目标需要跟踪，得到跟踪目标。
在一实施例中，所述匹配模块30，还用于根据所述跟踪目标的预测位置信息与目标位置信息，计算信息关联值，根据所述信息关联值，得到跟踪目标中的匹配目标与初步未匹配目标；
获取所述初步未匹配目标的预测位置信息与目标位置信息；
根据所述初步未匹配目标的预测位置信息与目标位置信息，计算交并比；
在所述交并比大于等于交并比阈值时，确定所述初步未匹配目标的预测位置信息与目标位置信息匹配，更新所述跟踪目标中的匹配目标；
在所述交并比小于交并比阈值时，确定所述初步未匹配目标的预测位置信息与目标位置信息未匹配，得到所述跟踪目标中的未匹配目标；
根据所述匹配目标与未匹配目标，得到匹配信息。
在一实施例中，所述匹配模块30，还用于根据所述跟踪目标的预测位置信息与目标位置信息，计算马氏距离及最小余弦距离；
根据所述马氏距离及最小余弦距离得到所述跟踪目标的预测位置信息与目标位置信息之间的信息关联值；
在所述信息关联值小于关联阈值时，确定所述跟踪目标的预测位置信息与目标位置信息匹配，得到所述跟踪目标中的匹配目标；
根据所述匹配目标，得到所述跟踪目标中的初步未匹配目标。
在一实施例中，所述匹配模块30，还用于根据所述匹配信息中的匹配目标与未匹配目标，对所述跟踪目标进行重新标记，并更新所述跟踪目标的标签信息；
根据所述更新后的标签信息，确定有效目标。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的稻米外观自动化提取方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种稻米外观自动化提取方法，其特征在于，所述稻米外观自动化提取方法应用于稻米外观自动化提取系统，所述稻米外观自动化提取系统包括下料器、电动传送带、平铺装置以及图像采集装置，所述下料器将待检测稻米洒落在所述电动传送带上，所述平铺装置用于将所述电动传送带上的待检测稻米平铺，所述图像采集装置用于对经过所述平铺装置平铺后的稻米进行图像采集，得到所述稻米的视频帧数据；
所述稻米外观自动化提取方法包括：
根据所述视频帧数据，得到检测目标与检测目标对应的目标信息；
根据所述检测目标的目标信息，得到跟踪目标，并根据所述跟踪目标确定所述跟踪目标的预测位置信息及标签信息；
将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息；
根据所述匹配信息及标签信息确定有效目标；
根据所述有效目标对所述视频帧数据进行图像分割，得到目标外观信息；
根据所述目标外观信息进行检测，得到检测结果。
2.如权利要求1所述的方法，其特征在于，所述根据所述视频帧数据，得到所述视频帧数据的检测目标与检测目标对应的目标信息，包括：
对所述视频帧数据进行数据增强、自适应锚框及自适应缩放，得到预处理数据，所述数据增强包括外观增强及色域增强，所述外观增强包括随机缩放与镜像翻转；
对所述预处理数据进行特征提取，得到特征提取数据；
对所述特征提取数据进行特征融合，得到特征融合数据，所述特征融合包括细节信息特征融合；
对所述特征融合数据进行检测，得到所述视频帧数据的检测目标与检测目标对应的目标信息。
3.如权利要求1所述的方法，其特征在于，所述目标信息包括类别信息和置信度信息；
所述根据所述检测目标的目标信息，得到跟踪目标，并根据所述跟踪目标确定所述跟踪目标的预测位置信息及标签信息，包括：
根据所述检测目标的类别信息与置信度信息对所述检测目标进行筛选，得到跟踪目标；
获取所述跟踪目标的目标位置信息，根据所述目标位置信息，确认所述跟踪目标是否在边界；
若所述跟踪目标不在边界，则根据所述跟踪目标的目标位置信息，得到所述跟踪目标的预测位置信息；
对所述跟踪目标进行标记，得到所述跟踪目标的标签信息。
4.如权利要求3所述的方法，其特征在于，所述根据所述检测目标的类别信息与置信度信息对所述检测目标进行筛选，得到跟踪目标，包括：
获取所述检测目标的类别信息；
在所述类别信息符合预设类别时，确认所述类别信息对应的检测目标是类别目标；
获取所述类别目标的置信度信息；
在所述置信度信息符合预设置信度时，确认所述与置信度信息对应的类别目标需要跟踪，得到跟踪目标。
5.如权利要求1所述的方法，其特征在于，所述将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息，包括：
根据所述跟踪目标的预测位置信息与目标位置信息，计算信息关联值，根据所述信息关联值，得到跟踪目标中的匹配目标与初步未匹配目标；
获取所述初步未匹配目标的预测位置信息与目标位置信息；
根据所述初步未匹配目标的预测位置信息与目标位置信息，计算交并比；
在所述交并比大于等于交并比阈值时，确定所述初步未匹配目标的预测位置信息与目标位置信息匹配，更新所述跟踪目标中的匹配目标；
在所述交并比小于交并比阈值时，确定所述初步未匹配目标的预测位置信息与目标位置信息未匹配，得到所述跟踪目标中的未匹配目标；
根据所述匹配目标与未匹配目标，得到匹配信息。
6.如权利要求5所述的方法，其特征在于，所述根据所述跟踪目标的预测位置信息与目标位置信息，计算信息关联值，根据所述信息关联值，得到跟踪目标中的匹配目标与初步未匹配目标，包括：
根据所述跟踪目标的预测位置信息与目标位置信息，计算马氏距离及最小余弦距离；
根据所述马氏距离及最小余弦距离得到所述跟踪目标的预测位置信息与目标位置信息之间的信息关联值；
在所述信息关联值小于关联阈值时，确定所述跟踪目标的预测位置信息与目标位置信息匹配，得到所述跟踪目标中的匹配目标；
根据所述匹配目标，得到所述跟踪目标中的初步未匹配目标。
7.如权利要求1至6中任一项所述的方法，其特征在于，所述根据所述匹配信息及标签信息，确定有效目标，包括：
根据所述匹配信息中的匹配目标与未匹配目标，对所述跟踪目标进行重新标记，并更新所述跟踪目标的标签信息；
根据所述更新后的标签信息，确定有效目标。
8.一种稻米外观自动化提取装置，其特征在于，所述稻米外观自动化提取装置包括：
检测模块，用于根据视频帧数据，得到所述视频帧数据的检测目标与检测目标对应的目标信息；
跟踪模块，用于根据所述检测目标的目标信息，得到跟踪目标，并根据所述跟踪目标确定所述跟踪目标的预测位置信息及标签信息；
匹配模块，还用于将所述跟踪目标的预测位置信息与所述目标信息中的目标位置信息进行匹配，得到匹配信息；
所述匹配模块，还用于根据所述匹配信息及标签信息，确定有效目标；
提取模块，用于根据所述有效目标对所述视频帧数据进行图像分割，得到目标外观信息；
所述提取模块，还用于根据所述目标外观信息进行检测，得到检测结果。
9.一种稻米外观自动化提取设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的稻米外观自动化提取程序，所述稻米外观自动化提取程序配置为实现如权利要求1至7中任一项所述的稻米外观自动化提取方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有稻米外观自动化提取程序，所述稻米外观自动化提取程序被处理器执行时实现如权利要求1至7任一项所述的稻米外观自动化提取方法的步骤。
CN202210886244.9A 2022-07-26 2022-07-26 稻米外观自动化提取方法、装置、设备及存储介质 Withdrawn CN115311654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210886244.9A CN115311654A (zh) 2022-07-26 2022-07-26 稻米外观自动化提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210886244.9A CN115311654A (zh) 2022-07-26 2022-07-26 稻米外观自动化提取方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115311654A true CN115311654A (zh) 2022-11-08

Family

ID=83859487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210886244.9A Withdrawn CN115311654A (zh) 2022-07-26 2022-07-26 稻米外观自动化提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115311654A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721342A (zh) * 2023-06-05 2023-09-08 淮阴工学院 一种基于深度学习的杂交稻种质量识别装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721342A (zh) * 2023-06-05 2023-09-08 淮阴工学院 一种基于深度学习的杂交稻种质量识别装置
CN116721342B (zh) * 2023-06-05 2024-06-11 淮阴工学院 一种基于深度学习的杂交稻种质量识别装置

Similar Documents

Publication Publication Date Title
KR102030628B1 (ko) Cnn 기반 차량 번호판 인식 방법 및 시스템
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN108009543B (zh) 一种车牌识别方法及装置
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN111178183B (zh) 人脸检测方法及相关装置
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN105224947B (zh) 分类器训练方法和系统
CN109829467A (zh) 图像标注方法、电子装置及非暂态电脑可读取储存媒体
JPWO2005086092A1 (ja) 画像類似度算出システムおよび画像検索システム
CN111325769A (zh) 一种目标对象检测方法及装置
CN111626295B (zh) 车牌检测模型的训练方法和装置
CN112115805B (zh) 带双模态难挖掘三元-中心损失的行人重识别方法及系统
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN112132130B (zh) 一种面向全场景的实时性车牌检测方法及系统
CN110737785A (zh) 一种图片标注的方法及装置
JP2019016298A (ja) 画像処理装置、画像処理方法
CN113255804A (zh) 基于图像变化检测的垃圾溯源方法、装置
CN114373185A (zh) 票据图像的分类方法及其装置、电子设备及存储介质
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN115311654A (zh) 稻米外观自动化提取方法、装置、设备及存储介质
CN113343989A (zh) 一种基于前景选择域自适应的目标检测方法及系统
CN116977257A (zh) 缺陷检测方法、装置、电子设备、存储介质及程序产品
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
CN116740335A (zh) 一种设备示数识别方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221108

WW01 Invention patent application withdrawn after publication