CN115273074A - 品质检测方法、装置、设备及存储介质 - Google Patents

品质检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115273074A
CN115273074A CN202210881695.3A CN202210881695A CN115273074A CN 115273074 A CN115273074 A CN 115273074A CN 202210881695 A CN202210881695 A CN 202210881695A CN 115273074 A CN115273074 A CN 115273074A
Authority
CN
China
Prior art keywords
image
frame
quality detection
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210881695.3A
Other languages
English (en)
Inventor
曾山
康镇
盛钟尹
陈飞飞
李皞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Polytechnic University
Original Assignee
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Polytechnic University filed Critical Wuhan Polytechnic University
Priority to CN202210881695.3A priority Critical patent/CN115273074A/zh
Publication of CN115273074A publication Critical patent/CN115273074A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种品质检测方法、装置、设备及存储介质；该方法包括：获取农作物的原始帧图像；从原始帧图像中提取关键帧图像；对关键帧图像去重得到参考图像；对参考图像进行图像分割得到单一图像；根据单一图像对农作物进行品质检测。本发明通过原始帧图像自适应的调整关键帧图像的提取数量，根据关键帧图像得到不重复的全部农作物图像，将全部农作物图像分割后对每个农作物进行质量检测，目前以人工检测为主，少数辅助有计算机检测，但人工监测检测效率低、主观因素大，计算机检测不够准确且仍需人工辅助，本发明能够有效的解决外观检测过程中检测不够准确、检测效率低的技术问题，实现了高效、准确农作物外观品质检测。

Description

品质检测方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种品质检测方法、装置、设备及存储介质。
背景技术
近年来，随着农业的连续丰收以及我国居民生活水平的提升，人们对农作物食用品质的要求也越来越高，农作物品质严重影响了其食用品质和商品外观，因此做好农作物品质检测显得尤为重要。
目前我国农作物外观品质检测仍然主要采用传统的人工检测方法，该方法需要检测人员具备良好的专业知识并且经验丰富，所以首先需要花费大量的时间培训专业的品质检测人员；其次，检测只抽检部分农作物样品，但是由于农作物体积小，且检测时需要人工挑选，然后再计算不同成分百分比，工作量大，易造成检测人员疲劳；最后，人的主观性对农作物检测的准确率有着较大影响，即使在不同的时间，同样的检测人员对同一批大米进行检测也有可能得出不一样的结果。近些年，随着计算机技术的飞速发展，机器视觉广泛应用于农业领域，利用图像处理技术进行农作物外观品质检测利具有一定的可靠性，但仍然需要人工辅助且存在检测不够准确的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种品质检测方法，旨在解决现有技术外观检测过程中检测不够准确、检测效率低的技术问题。
为实现上述目的，本发明提供了一种品质检测方法，所述方法包括以下步骤：
获取农作物的原始帧图像；
从原始帧图像中提取关键帧图像；
对所述关键帧图像去重得到参考图像；
对所述参考图像进行图像分割得到单一图像；
根据所述单一图像对农作物进行品质检测。
可选地，所述从原始帧图像中提取关键帧图像，包括：
根据原始帧图像得到目标物体的真实移动速度；
根据所述真实移动速度得到目标提取时间间隔；
根据所述目标提取时间间隔对所述原始帧图像进行图像提取，得到关键帧图像。
可选地，所述根据原始帧图像得到目标物体的真实移动速度，包括：
识别原始帧图像中相邻两帧图像中的相同物体；
计算所述相同物体的像素差；
根据所述像素差得到相同物体的参考移动速度；
根据多个所述参考移动速度得到目标物体的真实移动速度。
可选地，所述识别原始帧图像中相邻两帧图像中的相同物体，包括：
通过目标检测网络识别第一帧图像中的参考物体，生成初始目标框；
通过目标检测网络识别第二帧图像中的对比物体，生成对比目标框；
获取所述初始目标框的参考信息和所述对比目标框的参考信息；
根据所述初始目标框的参考信息和所述对比目标框的参考信息识别相邻两帧图像中的相同物体。
可选地，所述根据所述初始目标框的参考信息和所述对比目标框的参考信息识别相邻两帧图像中的相同物体，包括：
将所述初始目标框的参考信息和所述对比目标框的参考信息进行匹配得到匹配度；
根据所述初始目标框的参考信息和所述对比目标框的参考信息计算得到像素差；
根据所述匹配度和所述像素差识别第一帧图像与第二帧图像中的相同物体。
可选地，所述对所述关键帧图像去重得到参考图像，包括：
根据预设图像重叠百分比去除所述关键帧图像中的重叠部分，得到参考图像。
可选地，所述对所述参考图像进行图像分割得到单一图像，包括：
通过目标检测网络生成所述参考图像中各个目标物体对应的参考框；
根据所述参考框对所述参考图像进行扩充提取，得到多个待分割图像；
通过图像分割网络对所述待分割图像进行图像分割，得到单一图像。
此外，为实现上述目的，本发明还提出一种品质检测装置，所述品质检测装置包括：
图像检测模块，用于获取农作物的原始帧图像；
所述图像检测模块，还用于从原始帧图像中提取关键帧图像；
所述图像检测模块，还用于对所述关键帧图像去重得到参考图像；
所述图像检测模块，还用于对所述参考图像进行图像分割得到单一图像；
品质检测模块，用于根据所述单一图像对农作物进行品质检测。
此外，为实现上述目的，本发明还提出一种品质检测设备，所述品质检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的品质检测程序，所述品质检测程序配置为实现如上文所述的品质检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有品质检测程序，所述品质检测程序被处理器执行时实现如上文所述的品质检测方法的步骤。
本发明通过原始帧图像自适应的调整关键帧图像的提取数量，根据关键帧图像得到不重复的全部农作物图像，将全部农作物图像分割后对每个农作物进行质量检测，目前以人工检测为主，少数辅助有计算机检测，但人工监测检测效率低、主观因素大，计算机检测不够准确且仍需人工辅助，本发明能够有效的解决外观检测过程中检测不够准确、检测效率低的技术问题，实现了高效、准确农作物外观品质检测。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的品质检测设备的结构示意图；
图2为本发明品质检测方法第一实施例的流程示意图；
图3为本发明品质检测方法一实施例的图像采集设备示意图；
图4为本发明品质检测方法一实施例的品质检测流程示意图；
图5为本发明品质检测方法第二实施例的流程示意图；
图6为本发明品质检测方法第三实施例的流程示意图；
图7为本发明品质检测装置第一实施例的结构框图。
附图标记说明
1 相机 4 皮带输送机
2 光源 5 滚筒
3 黑箱 6 料斗
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的品质检测设备结构示意图。
如图1所示，该品质检测设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对品质检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及品质检测程序。
在图1所示的品质检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明品质检测设备中的处理器1001、存储器1005可以设置在品质检测设备中，所述品质检测设备通过处理器1001调用存储器1005中存储的品质检测程序，并执行本发明实施例提供的品质检测方法。
本发明实施例提供了一种品质检测方法，参照图2，图2为本发明一种品质检测方法第一实施例的流程示意图。
本实施例中，所述品质检测方法包括以下步骤：
步骤S10：获取农作物的原始帧图像。
可理解的是，农作物包括但不限定于稻米、大豆、种子等一系列农产品，也可以是其他需要进行外观品质检测的单个物体；原始帧图像是指对按照一定速度移动的农作物采集图像得到的每一帧图像。
应理解的是，原始帧图像的采集是通过相机进行采集，可以是CCD相机，也可以是其他摄像机；农作物的原始帧图像采集装置包括：相机1、光源2、黑箱3、皮带输送机4、料斗6、滚筒5，具体可参考图3。需说明的是，将农作物倒入料斗后，农作物落在皮带输送机上方，皮带输送机的速度近似均匀，其上方农作物跟随皮带输送机移动具有相同的移动速度，可知农作物移动速度与皮带输送机移动速度一致；落在皮带输送机上方的农作物可能会有一定程度的堆积，在料斗和黑箱中间位置的皮带输送机上安装有滚轮，通过滚轮将堆积农作物均匀的铺设在皮带输送机上方并移动至黑箱的一侧后从另外一侧离开；黑箱内设置有相机和光源，相机图像采集方向与皮带输送机垂直，则皮带输送机上的农作物相对于相机可以视为仅在皮带输送机的方向上移动，光源安置在相机周围，使光线相同，相机采集的农作物的原始帧图像更加清晰。
需强调的是，相机预设有初始图像采集间隔，可以是0.02秒、0.1秒、0.5秒、1秒、2秒，本发明对此不做限定。
步骤S20：从原始帧图像中提取关键帧图像。
可理解的是，农作物的颗粒大小可能不同，且皮带输送机的移动速度不同，原始帧图像时是相机根据预设的初始速度进行采集，不可以避免的会导致连续多帧原始帧图像大面积重复，产生大量不必要的原始帧图像，按照一定的重叠百分比选择原始帧图像一部分图像作为关键帧图像。
应理解的是，关键帧图像是原始帧图像中的一部分，根据预设的重叠百分比选择原始帧图像中重叠百分比是相同原始帧图像。
需说明的是，关键帧图像的重叠百分比是预先设定的，重叠百分比可以是10％、15％、20％、25％，本发明对此不做限定，可根据实际需求进行调整。
步骤S30：对所述关键帧图像去重得到参考图像。
可理解的是，参考图像是根据预设重叠百分比，将关键帧图像中重叠百分比部分删除后剩余的图像。
应理解的是，关键帧的重叠百分比是根据农作物的移动方向确定，当农作为的移动方向是从左向右移动，则重叠百分比从每张关键帧图像的左侧开始计算；若农作物的移动方向是从上向下移动，则重叠百分比从每张关键帧图像的上方开始计算。
需说明的是，在参考图像中不重复的包含有所有农作物。
步骤S40：对所述参考图像进行图像分割得到单一图像。
可理解的是，在每一张参考图像中，都有非常多的农作物，需要讲每一个农作物进行分割后才便于对每一个农作物进行品质检测。
应理解的是，因为每个农作物都不规则且距离非常紧凑，通过目标检测网络在参考图像中每个农作物都生成对应的参考框，参考框内可能处理一个农作物外，还包括一些相邻农作物的部分图像特征，为了便于理解；根据参考框对参考图像进行扩充提取，得到多个待分割图像，其中扩充提取就是将参考框中对应的农作物图像提取出来得到待分割图像，此时待分割图像中还包括相邻农作物的部分图像特征；在通过图像分割网络对待分割图像中的相邻农作物的部分图像特征进行分割，得到指包括单个农作物的单一图像。
需说明的是，目标检测网络可以是YOLOv5目标检测算法，也可以是其他可以实现目标检测的算法，本发明对此不做限定；图像分割网络可以是YOLACT图像分割算法，也可以是其他能够实现图像分割的算法，本发明对此不做限定。
需强调的是，图像分割算法可以将农作物中黏连的农作物进行分割，更好的对农作物品质进行检测，以及能够更加准确的统计农作物的数量；在通过分割算法对农作物进行分割是，对不同农作物使用的不同颜色，不同序号的掩码，能够清楚的分辨不通的农作物，并进行准确的检测。
步骤S50：根据所述单一图像对农作物进行品质检测。
可理解的是，品质检测包括但不限于碎米检测，垩白检测，粒型检测以及黄粒米检测，还可以对农作物数量进行统计，具体品质检测流程可参考图4，图中最上方箭头为时间轴，由图可理解，图4以稻米外观品质检测为例，其中图像采集、图像匹配与关键帧提取、目标检测、扩充提取、图像分割以及品质检测同步进行，完整的执行步骤是由相机进行图像采集得到原始帧，根据原始帧图像进行图像匹配以及图像提取得到关键帧，通过目标检测模型对关键帧图像进行扩充提取得到小幅图像即待分割图像，将小幅图像通过图像分割得到只含有单粒米的图像即单一图像，再根据单一图像对稻米进行外观品质检测。
应理解的是，统计单一图像的数量得到农作物的总数，通过单一图像对每个农作物的进行品质检测，可以得到所有农作物的品质。
需说明的是，品质检测还包括对农作物长宽比的计算以及农作物像素面积的统计。
本实施例通过原始帧图像自适应的调整关键帧图像的提取数量，根据关键帧图像得到不重复的全部农作物图像，将全部农作物图像分割得到单个农作物图像后，能够准确得到农作物总数量，再根据单个农作物图像进行质量检测，在提取农作物单个图像的同时对每个农作物进行品质检测，能够更加快速、准确进行对农作物的品质检测。
参考图5，图5为本发明一种品质检测方法第二实施例的流程示意图。
基于上述第一实施例，本实施例品质检测方法所述步骤S20还包括：
步骤S21：根据原始帧图像得到目标物体的真实移动速度。
可理解的是，目标物体的真实移动速度就是落在皮带输送机上的农作物的移动速度，好理解的是，农作物的移动速度就是与农作物相对静止的皮带输送机的移动速度。
应理解的是，原始帧图像的采集时间间隔是预设时间，是已知的，根据相邻两张原始帧图像中同一农作物的移动距离，计算可以得到在该预设时间内同一农作物的移动距离即可计算得到农作物的真实移动速度。
在具体实施中，已知相邻两帧图像中农作物A移动的距离为0.1厘米，初始帧图像采集事假间隔为0.2秒，则计算可知，农作物的真实移动速度为5厘米/秒。
步骤S22：根据所述真实移动速度得到目标提取时间间隔。
可理解的是，目标提取时间间隔是指以目标提取时间间隔从原始帧图像中提取出来的关键帧图像中，相邻两帧原始帧图像的重复百分比为预设重复百分比。
应理解的是，根据真实移动速度可以计算得到预设初始采集时间同一农作物的移动距离，在根据预设重复百分比得到同一农作物需要移动的距离，再根据该距离和真实移动速度可以计算得到一个时间，根据该时间间隔从原始帧图像帧提取关键帧图像，则相邻两关键帧图像的重复百分比为预设百分比，该时间间隔为目标提取时间间隔。
在具体实施中，已知预设初始采集时间为0.2秒，真实移动速度为5厘米/秒，预设重复百分比为20％，在重复百分比为20％时，目标物体要移动的距离为5厘米，则可以得到目标提取时间间隔为1秒。
步骤S23：根据所述目标提取时间间隔对所述原始帧图像进行图像提取，得到关键帧图像。
可理解的是，关键帧图像是从原始帧图像中提取得到，当根据原始帧图像提取的最后一张关键帧图像不是最后一张原始帧图像，则将最后一张原始帧图新增为关键帧图像。
需说明的是，在最开始进行图像采集时，图像中可能会出现空白帧或者是图像中农作物数量很少的帧，可以根据目标检测算法进行识别，当图像中不存在农作物，或者是农作物在图像中占百分比少于预设值，则不作为原始帧图像进行采集。
本实施例通过预设初始图像采集时间间隔，计算得到皮带输送机的移动速度，进一步得知目标物体的真实移动速度，根据真实移动速度以及预设两相邻关键帧图像的重复百分比计算出目标采集时间间隔，自适应的调整对相机图像采集时间进行调整，从而能够得到更重复内容适度的关键帧图像，在通过关键帧图像进行图像分割，能够大大减少数据量，能够更加快速的得到不重复的目标物体，进而更加快速的对农作物进行品质检测。
参考图6，图6为本发明一种品质检测方法第二实施例的流程示意图。
基于上述第一实施例，本实施例品质检测方法所述步骤S21还包括：
步骤S211：识别原始帧图像中相邻两帧图像中的相同物体。
可理解的是，原始帧图像中相邻两帧图像中具有多个相同物体，要同时对相邻两帧图像帧的相邻物体进行识别。相邻两帧图像中相同物体的识别是通过目标检测网络达成，目标检测网络可以是YOLOv5目标检测算法，也可以是其他可以实现目标检测的算法，本发明对此不做限定。
应理解的是，目标检测网络识别第一帧图像中的参考物体，生成初始目标框；通过目标检测网络识别第二帧图像中的对比物体，生成对比目标框；第一帧图像和第二帧图像此处是指在原始帧图像中相邻的两帧图像，其中第一帧图像中的每一个参考物体(农作物)通过目标检测网络都生成对应的初始目标框；第二帧图像中的每一个参考物体(农作物)通过目标检测网络都生成对应的对比目标框；
获取初始目标框的参考信息和对比目标框的参考信息；根据初始目标框的参考信息和对比目标框的参考信息识别相邻两帧图像中的相同物体。其中，初始目标框的参考信息包括初始目标框的长和宽，对比目标框的参考信息包括对比目标框的长和宽；
需说明的是，目标框的长和宽以及对比目标框的长和宽是根据以每张图像中固定的一个为原点，如可以是每张图像的最左下角为原点建立里坐标系，可以得知目标框以及对比目标框的每个点的坐标，根据坐标可以得到目标框的长和宽以及对比目标框的长和宽。
需强调的是，将初始目标框的参考信息和所述对比目标框的参考信息进行匹配得到匹配度，匹配度的计算公式如下：
Figure BDA0003764414570000091
其中，w1和w2分别表示初始目标框的长度和对比目标框的长度，h1和h2分别表示初始目标框的宽度和对比目标框的宽度，λ为比例系数，y1和y2表示初始目标框的垂直坐标和对比目标框的垂直坐标，dist为相似度。
根据初始目标框的参考信息和所述对比目标框的参考信息计算得到像素差；像素差是指水平像素差，在通过初始目标框和对比目标框相似度匹配后仍然可能存在匹配错误的可能，通过水平像素差进一步更加准确的识别同一物体的初始目标框和对比目标框；水平像素的计算公式为：σ＝|x1-x2|，σ表示水平像素，x1和x2分别表示初始目标框的水平坐标和对比目标框的水平坐标。
根据所述匹配度和所述像素差识别第一帧图像与第二帧图像中的相同物体。
若相似度小于预设阈值则表示初始目标框和对比目标框初步匹配成功，且水平像素差区别较小，则认定该初始目标框和对比目标框为同一目标物体。
步骤S212：计算所述相同物体的像素差。
可理解的是，原始帧图像中相邻两张图像存在多个相同物体，计算每个相同物体的像素差。
步骤S213：根据所述像素差得到相同物体的参考移动速度。
可理解的是，参考移动速度是根据初始预设采集时间间隔以及单一相同物体的像素差进行计算得到。
应理解的是，像素差为同一物体的移动距离，初始预设采集时间间隔为该物体移动距离的时间，距离除以时间得到参考移动速度；为了便于理解，当同一物体的像素差为0.02厘米，移动时间为0.02秒，则参考移动时间为1厘米/秒。
步骤S214：根据多个所述参考移动速度得到目标物体的真实移动速度。
可理解的是，原始图像中相邻两帧图像中存在多个相同物体，并不能以单个目标物体的移动速度为真实移动速度。
应理解的是，将识别后每个相同目标物体的移动速度取平均值作带代表全部目标物体的真实移动速度。
在具体实施中，已知相邻两者原始帧图像中相同物体有6个，经过计算后，6个相同物体的运动速度分别是v1、v2、v3、v4、v5、v6，则真实移动速度为：(v1+v2+v3+v4+v5+v6)/6。
需强调的是，将关键帧图像中重复部分删除时，是通过目标检测算法识别前后两帧图像中的相同物体，并将每个相邻两帧关键帧图像中相同的物体删除，去重时，关键帧相邻两帧图像中同一目标物体的匹配公式为：
Figure BDA0003764414570000111
其中，σ’表示关键帧相邻两帧图像中相同目标物体的像素差，w1和w2分别表示关键帧相邻两帧图像中相同目标物体的长度，h1和h2分别表示的宽度，λ和μ为比例系数，y1和y2表示关键帧相邻两帧图像中相同目标物体的垂直坐标，x1和x2分别表示关键帧相邻两帧图像中相同目标物体的水平坐标，dist为相似度。根据相似度对关键帧相邻两帧图像中相同目标物体进行去重。
本实施例通过原始帧图像的相邻两帧图像中目标物体的初始框和对比框的长宽和垂直坐标，准确识别相邻两帧图像中的相同目标物体，并根据多个相同目标物体水平像素计算得到的速度求得目标物体的真实移动速度，从而通过准确的真实移动速度计算得到更加准确的关键帧图像，进一步的实现对农作物更加准确有效的识别与分割。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有品质检测程序，所述品质检测程序被处理器执行时实现如上文所述的品质检测方法的步骤。
参照图7，图7为本发明品质检测装置第一实施例的结构框图。
如图7所示，本发明实施例提出的品质检测装置包括：
图像检测模块10，用于从原始帧图像中提取关键帧图像；
所述图像检测模块10，还用于对所述关键帧图像去重得到参考图像；
所述图像检测模块10，还用于对所述参考图像进行图像分割得到单一图像；
品质检测模块20，用于根据所述单一图像对农作物进行品质检测。
本实施例通过原始帧图像自适应的调整关键帧图像的提取数量，根据关键帧图像得到不重复的全部农作物图像，将全部农作物图像分割得到单个农作物图像后，能够准确得到农作物总数量，再根据单个农作物图像进行质量检测，在提取农作物单个图像的同时对每个农作物进行品质检测，能够更加快速、准确进行对农作物的品质检测。
在一实施例中，所述图像检测模块10，还用于根据原始帧图像得到目标物体的真实移动速度；
根据所述真实移动速度得到目标提取时间间隔；
根据所述目标提取时间间隔对所述原始帧图像进行图像提取，得到关键帧图像。
在一实施例中，所述图像检测模块10，还用于识别原始帧图像中相邻两帧图像中的相同物体；
计算所述相同物体的像素差；
根据所述像素差得到相同物体的参考移动速度；
根据多个所述参考移动速度得到目标物体的真实移动速度。
在一实施例中，所述图像检测模块10，还用于通过目标检测网络识别第一帧图像中的参考物体，生成初始目标框；
通过目标检测网络识别第二帧图像中的对比物体，生成对比目标框；
获取所述初始目标框的参考信息和所述对比目标框的参考信息；
根据所述初始目标框的参考信息和所述对比目标框的参考信息识别相邻两帧图像中的相同物体。
在一实施例中，所述图像检测模块10，还用于将所述初始目标框的参考信息和所述对比目标框的参考信息进行匹配得到匹配度；
根据所述初始目标框的参考信息和所述对比目标框的参考信息计算得到像素差；
根据所述匹配度和所述像素差识别第一帧图像与第二帧图像中的相同物体。
在一实施例中，所述图像检测模块10，还用于根据预设图像重叠百分比去除所述关键帧图像中的重叠部分，得到参考图像。
在一实施例中，所述图像检测模块10，还用于通过目标检测网络生成所述参考图像中各个目标物体对应的参考框；
根据所述参考框对所述参考图像进行扩充提取，得到多个待分割图像；
通过图像分割网络对所述待分割图像进行图像分割，得到单一图像。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种品质检测方法，其特征在于，所述品质检测方法包括：
获取农作物的原始帧图像；
从原始帧图像中提取关键帧图像；
对所述关键帧图像去重得到参考图像；
对所述参考图像进行图像分割得到单一图像；
根据所述单一图像对农作物进行品质检测。
2.如权利要求1所述的品质检测方法，其特征在于，所述从原始帧图像中提取关键帧图像，包括：
根据原始帧图像得到目标物体的真实移动速度；
根据所述真实移动速度得到目标提取时间间隔；
根据所述目标提取时间间隔对所述原始帧图像进行图像提取，得到关键帧图像。
3.如权利要求2所述的品质检测方法，其特征在于，所述根据原始帧图像得到目标物体的真实移动速度，包括：
识别原始帧图像中相邻两帧图像中的相同物体；
计算所述相同物体的像素差；
根据所述像素差得到相同物体的参考移动速度；
根据多个所述参考移动速度得到目标物体的真实移动速度。
4.如权利要求3所述的品质检测方法，其特征在于，所述识别原始帧图像中相邻两帧图像中的相同物体，包括：
通过目标检测网络识别第一帧图像中的参考物体，生成初始目标框；
通过目标检测网络识别第二帧图像中的对比物体，生成对比目标框；
获取所述初始目标框的参考信息和所述对比目标框的参考信息；
根据所述初始目标框的参考信息和所述对比目标框的参考信息识别相邻两帧图像中的相同物体。
5.如权利要求4所述的品质检测方法，其特征在于，所述根据所述初始目标框的参考信息和所述对比目标框的参考信息识别相邻两帧图像中的相同物体，包括：
将所述初始目标框的参考信息和所述对比目标框的参考信息进行匹配得到匹配度；
根据所述初始目标框的参考信息和所述对比目标框的参考信息计算得到像素差；
根据所述匹配度和所述像素差识别第一帧图像与第二帧图像中的相同物体。
6.如权利要求1所述的品质检测方法，其特征在于，所述对所述关键帧图像去重得到参考图像，包括：
根据预设图像重叠百分比去除所述关键帧图像中的重叠部分，得到参考图像。
7.如权利要求1至6中任一项所述的品质检测方法，其特征在于，所述对所述参考图像进行图像分割得到单一图像，包括：
通过目标检测网络生成所述参考图像中各个目标物体对应的参考框；
根据所述参考框对所述参考图像进行扩充提取，得到多个待分割图像；
通过图像分割网络对所述待分割图像进行图像分割，得到单一图像。
8.一种品质检测装置，其特征在于，所述品质检测装置包括：
图像检测模块，用于获取农作物的原始帧图像；
所述图像检测模块，还用于从原始帧图像中提取关键帧图像；
所述图像检测模块，还用于对所述关键帧图像去重得到参考图像；
所述图像检测模块，还用于对所述参考图像进行图像分割得到单一图像；
品质检测模块，用于根据所述单一图像对农作物进行品质检测。
9.一种品质检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的品质检测程序，所述品质检测程序配置为实现如权利要求1至7中任一项所述的品质检测方法。
10.一种存储介质，其特征在于，所述存储介质上存储有品质检测程序，所述品质检测程序被处理器执行时实现如权利要求1至7任一项所述的品质检测方法。
CN202210881695.3A 2022-07-26 2022-07-26 品质检测方法、装置、设备及存储介质 Withdrawn CN115273074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210881695.3A CN115273074A (zh) 2022-07-26 2022-07-26 品质检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210881695.3A CN115273074A (zh) 2022-07-26 2022-07-26 品质检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115273074A true CN115273074A (zh) 2022-11-01

Family

ID=83769606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210881695.3A Withdrawn CN115273074A (zh) 2022-07-26 2022-07-26 品质检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115273074A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543330A (zh) * 2023-04-13 2023-08-04 北京京东乾石科技有限公司 农作物信息存储方法、装置、电子设备和计算机可读介质
CN116630832A (zh) * 2023-07-21 2023-08-22 江西现代职业技术学院 一种无人机目标识别方法、系统、计算机及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543330A (zh) * 2023-04-13 2023-08-04 北京京东乾石科技有限公司 农作物信息存储方法、装置、电子设备和计算机可读介质
CN116630832A (zh) * 2023-07-21 2023-08-22 江西现代职业技术学院 一种无人机目标识别方法、系统、计算机及可读存储介质
CN116630832B (zh) * 2023-07-21 2023-09-29 江西现代职业技术学院 一种无人机目标识别方法、系统、计算机及可读存储介质

Similar Documents

Publication Publication Date Title
CN115273074A (zh) 品质检测方法、装置、设备及存储介质
US9971876B2 (en) Method, system and electronic device for diet management
US11049259B2 (en) Image tracking method
Tan et al. Towards real-time tracking and counting of seedlings with a one-stage detector and optical flow
Wang et al. Side-view apple flower mapping using edge-based fully convolutional networks for variable rate chemical thinning
CN111507179A (zh) 一种生猪采食行为分析方法
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN111401293A (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
Dimililer et al. ICSPI: intelligent classification system of pest insects based on image processing and neural arbitration
WO2021147866A1 (zh) Ecg信号的获取方法及装置、存储介质、电子装置
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
CN113297420A (zh) 视频图像处理方法、装置、存储介质及电子设备
CN114937232A (zh) 医废处理人员防护用具穿戴检测方法、系统和设备
CN111222530A (zh) 一种细粒度图像分类方法、系统、装置和存储介质
CN113298023A (zh) 一种基于深度学习及图像技术的昆虫动态行为识别方法
CN112686152A (zh) 一种多尺寸输入和多尺寸目标的农作物病虫害识别方法
CN111047618B (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
CN115619710A (zh) 基于分步跟踪检测的物品数量统计方法、装置及设备
CN111539293A (zh) 一种果树病害诊断方法及系统
CN110647813A (zh) 一种基于无人机航拍的人脸实时检测识别方法
Akshitha et al. Paddy crop disease detection using deep learning techniques
CN110008949A (zh) 一种图像目标检测方法、系统、装置和存储介质
CN116884036A (zh) 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质
CN110118735B (zh) 一种检测香梨公母的高光谱成像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221101

WW01 Invention patent application withdrawn after publication