CN116309760A - 谷物的图像对齐方法及谷物检测设备 - Google Patents

谷物的图像对齐方法及谷物检测设备 Download PDF

Info

Publication number
CN116309760A
CN116309760A CN202310607256.8A CN202310607256A CN116309760A CN 116309760 A CN116309760 A CN 116309760A CN 202310607256 A CN202310607256 A CN 202310607256A CN 116309760 A CN116309760 A CN 116309760A
Authority
CN
China
Prior art keywords
image
coordinate system
grain
target template
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310607256.8A
Other languages
English (en)
Other versions
CN116309760B (zh
Inventor
武勇
蒋光好
张崴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Gaozhe Information Technology Co ltd
Original Assignee
Anhui Gaozhe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Gaozhe Information Technology Co ltd filed Critical Anhui Gaozhe Information Technology Co ltd
Priority to CN202310607256.8A priority Critical patent/CN116309760B/zh
Publication of CN116309760A publication Critical patent/CN116309760A/zh
Application granted granted Critical
Publication of CN116309760B publication Critical patent/CN116309760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了谷物的图像对齐方法及谷物检测设备，涉及图像处理技术领域。谷物检测设备能够基于谷物的第一图像中的目标模板图像，从谷物的第二图像中确定与目标模板图像匹配的匹配图像，并基于该目标模板图像中第一特征点在第一图像坐标系中的位置，以及该匹配图像中第二特征点在第二图像坐标系中的位置，确定第一图像坐标系与第二图像坐标系的转换关系，继而基于该转换关系对齐第一图像与第二图像。由于谷物检测设备能够对齐第一图像与第二图像，因此基于对齐的第一图像与第二图像对谷物的不完善粒进行检测，可以确保得到的检测结果的准确性较高。

Description

谷物的图像对齐方法及谷物检测设备
技术领域
本发明涉及图像处理领域，特别涉及一种谷物的图像对齐方法及谷物检测设备。
背景技术
在粮食收购和贸易过程中，谷物的质量是非常重要的定等指标。而谷物颗粒（简称为谷粒）中的不完善粒是影响谷物质量的重要因素。因此，在粮食收购和贸易过程中，通常需要对谷物进行不完善粒检测，以确定谷物的不完善粒的占比。其中，该不完善粒是指：未成熟或受到损伤但仍有使用价值的谷物颗粒。
相关技术中，谷物检测设备可以控制第一摄像头拍摄谷粒的正面以得到正面图像，并可以控制第二摄像头拍摄谷粒的反面以得到反面图像。之后，谷物检测设备可以基于该正面图像和反面图像，对谷物进行不完善粒检测。
但是，相关技术中的第一摄像头与第二摄像头因机械结构特性无法对齐，导致该正面图像与反面图像无法对齐，从而导致基于该正面图像和反面图像对谷物进行不完善粒检测得到的检测结果（即前文所述的占比）的准确性较低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种能够提高对谷物进行不完善粒检测得到的检测结果的准确性的谷物的图像对齐方法及谷物检测设备。
一方面，提供了一种谷物的图像对齐方法，所述方法包括：
获取对谷物的第一面进行拍摄得到的第一图像，以及对所述谷物的第二面进行拍摄得到的第二图像，所述第一面与第二面为所述谷物相反的两面；
从所述第一图像中确定目标模板图像，并从所述第二图像中确定与所述目标模板图像匹配的匹配图像；
基于所述目标模板图像中第一特征点在所述第一图像的第一图像坐标系中的位置，以及所述匹配图像中与所述第一特征点对应的第二特征点在所述第二图像的第二图像坐标系中的位置，确定所述第一图像坐标系与所述第二图像坐标系的转换关系；
基于所述转换关系，对齐所述第一图像与所述第二图像。
另一方面，提高了一种谷物检测设备，所述谷物检测设备包括：处理器；所述处理器用于：
获取对谷物的第一面进行拍摄得到的第一图像，以及对所述谷物的第二面进行拍摄得到的第二图像，所述第一面与第二面为所述谷物相反的两面；
从所述第一图像中确定目标模板图像，并从所述第二图像中确定与所述目标模板图像匹配的匹配图像；
基于所述目标模板图像中第一特征点在所述第一图像的第一图像坐标系中的位置，以及所述匹配图像中与所述第一特征点对应的第二特征点在所述第二图像的第二图像坐标系中的位置，确定所述第一图像坐标系与所述第二图像坐标系的转换关系；
基于所述转换关系，对齐所述第一图像与所述第二图像。
又一方面，提供了一种谷物检测设备，该谷物检测设备包括：存储器，处理器及存储在该所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的谷物的图像对齐方法。
再一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述方面所述的谷物的图像对齐方法。
再一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述方面所述的谷物的图像对齐方法。
本发明提供的技术方案带来的有益效果至少包括：
本发明提供了一种谷物的图像对齐方法及谷物检测设备，谷物检测设备能够基于谷物的第一图像中的目标模板图像，从谷物的第二图像中确定与目标模板图像匹配的匹配图像，并基于该目标模板图像中第一特征点在第一图像坐标系中的位置，以及该匹配图像中第二特征点在第二图像坐标系中的位置，确定第一图像坐标系与第二图像坐标系的转换关系，继而基于该转换关系对齐第一图像与第二图像。由于谷物检测设备能够对齐第一图像与第二图像，因此基于对齐的第一图像与第二图像对谷物的不完善粒进行检测，可以确保得到的检测结果的准确性较高。
并且，由于谷物检测设备能够通过确定与目标模板图像匹配的匹配图像的方式，得到与第一特征点对应的第二特征点，因此可以确保基于第一特征点的位置与第二特征点的位置确定该转换关系的准确性较高，从而可以进一步确保得到的该检测结果的准确性较高。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明实施例提供的一种谷物的图像对齐方法的流程图；
图2是本发明实施例提供的另一种谷物的图像对齐方法的流程图；
图3是本发明实施例提供的一种谷物的第一图像的示意图；
图4是本发明实施例提供的一种谷物的第二图像的示意图；
图5是本发明实施例提供的一种对第一图像进行预处理的方法流程图；
图6是本发明实施例提供的一种确定目标模板图像的方法流程图；
图7是本发明实施例提供的一种目标模板图像的示意图；
图8是本发明实施例提供的一种待匹配的子图像的示意图；
图9是本发明实施例提供的另一种待匹配的子图像的示意图；
图10是本发明实施例提供的又一种待匹配的子图像的示意图；
图11是本发明实施例提供的再一种待匹配的子图像的示意图；
图12是本发明实施例提供的一种基于目标模板图像得到的匹配图像的示意图；
图13是相关技术中的一种谷物的正面图像与反面图像对应的顶点对准后的示意图；
图14是本发明实施例提供的一种第二图像与目标图像对应的顶点对准后的示意图；
图15是本发明实施例提供的一种谷物检测设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明实施例提供了一种谷物的图像对齐方法，该方法可以应用于谷物检测设备。参见图1，该方法包括：
步骤101、获取对谷物的第一面进行拍摄得到的第一图像，以及对谷物的第二面进行拍摄得到的第二图像。
其中，谷物的第一面与第二面为该谷物相反的两面。例如，谷物的第一面为谷物的正面，第二面为谷物的反面。相应的，该第一图像即为谷物的正面图像，第二图像即为谷物的反面图像。或者，该第一面为谷物的反面，第二面为谷物的正面。相应的，该第一图像即为谷物的反面图像，第二图像即为谷物的正面图像。
该第一图像的形状和第二图像的形状均可以为多边形，如矩形。且该第一图像和第二图像均包括：谷物的多个谷粒的子图像。
步骤102、从第一图像中确定目标模板图像，并从第二图像中确定与目标模板图像匹配的匹配图像。
在本发明实施例中，目标模板图像的个数为至少一个，且至少一个目标模板图像与第一图像的至少一个顶点一一对应。谷物检测设备确定目标模板图像的过程可以包括：谷物检测设备先从第一图像中确定出多个初始模板图像，每个初始模板图像包括一个谷粒的子图像。然后，对于第一图像中的每个顶点，谷物检测设备将多个初始模板图像中距离该顶点最近的初始模板图像，确定为该顶点对应的目标模板图像。
之后，对于每个目标模板图像，谷物检测设备可以采用模板匹配算法处理该目标模板图像和第二图像，以从第二图像中确定与该目标模板图像匹配的匹配图像。
步骤103、基于目标模板图像中第一特征点在第一图像的第一图像坐标系中的位置，以及匹配图像中与第一特征点对应的第二特征点在第二图像的第二图像坐标系中的位置，确定第一图像坐标系与第二图像坐标系的转换关系。
其中，与第一特征点对应的第二特征点在匹配图像中的类型，与第一特征点在目标模板图像中的类型相同。如，第一特征点和第二特征点均为顶点（如左上顶点），或者第一特征点和第二特征点均为中心点。
第一特征点在第一图像坐标系中的位置是指该第一特征点在第一图像坐标系中的坐标。第二特征点在第二图像坐标系中的位置是指该第二特征点在第二图像坐标系中的坐标。
步骤104、基于第一图像坐标系与第二图像坐标系的转换关系，对齐第一图像与第二图像。
其中，对齐第一图像与第二图像是指：将第一图像中各个谷粒的子图像，与第二图像中对应的谷粒的子图像对准，且使得第一图像的顶点与第二图像的顶点对应对准。第一图像中一个谷粒的子图像与第二图像中对应的一个谷粒的子图像分别为一个谷粒的正面图像和反面图像。
在本发明实施例中，谷物检测设备可以基于第一图像与该转换关系，确定能够与第二图像对齐的目标图像。该目标图像的顶点与第二图像的顶点对应对准后，目标图像中各个谷粒的子图像，能够与第二图像中对应的谷粒的子图像对准。如此，即可实现第一图像与第二图像的对齐。
综上所述，本发明实施例提供了一种谷物的图像对齐方法，谷物检测设备能够基于谷物的第一图像中的目标模板图像，从谷物的第二图像中确定与目标模板图像匹配的匹配图像，并基于该目标模板图像中第一特征点在第一图像坐标系中的位置，以及该匹配图像中第二特征点在第二图像坐标系中的位置，确定第一图像坐标系与第二图像坐标系的转换关系，继而基于该转换关系对齐第一图像与第二图像。由于谷物检测设备能够对齐第一图像与第二图像，因此基于对齐的第一图像与第二图像对谷物的不完善粒进行检测，可以确保得到的检测结果的准确性较高。
并且，由于谷物检测设备能够通过确定与目标模板图像匹配的匹配图像的方式，得到与第一特征点对应的第二特征点，因此可以确保基于第一特征点的位置与第二特征点的位置确定该转换关系的准确性较高，从而可以进一步确保得到的该检测结果的准确性较高。
图2是本发明实施例提供的另一种谷物的图像对齐方法的流程图，该方法可以应用于谷物检测设备。参见图2，该方法可以包括：
步骤201、获取对谷物的第一面进行拍摄得到的第一图像，以及对谷物的第二面进行拍摄得到的第二图像。
其中，谷物的第一面与第二面为该谷物相反的两面。例如，谷物的第一面为谷物的正面，第二面为谷物的反面。相应的，该第一图像即为谷物的正面图像，第二图像即为谷物的反面图像。或者，该第一面为谷物的反面，第二面为谷物的正面。相应的，该第一图像即为谷物的反面图像，第二图像即为谷物的正面图像。
该第一图像的形状和第二图像的形状均可以为多边形，如矩形。第一图像的分辨率与第二图像的分辨率相同。且同一谷粒的子图像在第一图像中的相对位置与在第二图像中的相对位置相同。如，一个谷粒的正面子图像位于第一图像的左上角处，则该谷粒的反面子图像位于第二图像的左上角处。
在本发明实施例中，谷物检测设备可以包括：第一摄像头和第二摄像头。该第一摄像头和第二摄像头分别位于透明基板的两侧，即该透明基板位于第一摄像头与第二摄像头之间。如，第一摄像头可以位于该透明基板的上方，第二摄像头可以位于该透明基板的下方。该透明基板用于放置谷物的多个谷粒。可选的，该透明基板可以为玻璃基板。
多个谷粒放置在透明基板上后，谷物检测设备可以控制第一摄像头进行拍摄，以得到第一图像，并可以控制第二摄像头进行拍摄，得到原始图像。然后，谷物检测设备基于该原始图像，得到第二图像，该第二图像与该原始图像关于该原始图像的一条边界对称。
示例的，图3是本发明实施例提供的一种谷物的第一图像的示意图，图4是本发明实施例提供的一种谷物的第二图像的示意图。从图3和图4中可以看出，第一图像和第二图像中的每个图像均包括多个谷粒的子图像。并且，从图3和图4可以看出，第一图像与第二图像的形状均为矩形。
步骤202、对第一图像和第二图像进行预处理。
谷物检测设备得到第一图像和第二图像后，可以对第一图像和第二图像进行预处理，以得到二值化的第一图像和二值化后的第二图像。
参见图5，以第一图像为例，对谷物检测设备对第一图像和第二图像中的每个图像进行预处理的过程进行示例性说明：
步骤2021、对第一图像进行灰度化处理，得到灰度图像。
对于第一图像包括的多个像素中的每个像素，谷物检测设备可以根据该像素的像素值，确定该像素的灰度值，并将该像素值更新为该灰度值，从而实现对该第一图像的灰度化处理。
其中，该灰度图像中每个像素的灰度值的范围可以为[0，255]。每个像素可以包括：多个子像素。相应的，该像素的像素值可以包括：多个子像素中每个子像素的像素值。例如，该多个子像素可以包括：红色（red，r）子像素，绿色（green，g）子像素和蓝色（blue，b）子像素。相应的，该像素的像素值可以包括：红色子像素的像素值，绿色子像素的像素值，以及蓝色子像素的像素值。
可选的，对于每个像素，谷物检测设备可以将该像素包括的多个子像素的像素值中的最大值，确定为该像素的灰度值。或者，谷物检测设备可以对该像素的多个子像素的像素值进行加权求和，以得到该像素的像素值。
其中，多个子像素中每个子像素的像素值的权重均可以是谷物检测设备预先存储的。例如，若多个子像素点包括红色子像素、绿色子像素和蓝色子像素，则该红色子像素的像素值的权重可以为0.229，绿色子像素的像素值的权重可以为0.587，蓝色子像素的像素值的权重可以为0.114。
步骤2022、对灰度图像进行滤波处理。
由于透明基板上通常会存在细小的灰尘，因此拍摄得到的第一图像中也会包括灰尘的子图像，而该子图像会对后续的图像处理流程（如确定匹配图像的过程）造成干扰，因此谷物检测设备可以采用滤波算法处理该灰度图像，以消除该灰尘的子图像。
可选的，该滤波算法可以为：中值滤波算法、均值滤波算法或高斯滤波算法。例如，该滤波算法可以为中值滤波算法。该中值滤波算法是基于排序统计的算法，其能够有效抑制灰度图像中的高频噪声。中值滤波算法的原理如下：对于每个像素，对该像素的邻域内的多个像素的灰度值进行排序，并将该像素的灰度值更新为排序后的多个灰度值的中值。其中，该邻域可以为3×3邻域，或5×5邻域。
步骤2023、对滤波处理后的灰度图像进行二值化处理，得到二值化的第一图像。
谷物检测设备可以先确定分割阈值，然后可以基于该分割阈值对滤波处理后的灰度图像进行二值化处理，得到二值化的第一图像。例如，对于该灰度图像中每个像素的灰度值，若该灰度值大于该分割阈值，则谷物检测设备可以将该灰度值更新为255；若该灰度值小于等于该分割阈值，则该谷物检测设备可以将该灰度值更新为0。
可选的，谷物检测设备可以采用最大类间方差法确定该分割阈值。最大类间方差法的原理是：分别按照多个不同的灰度阈值，将灰度图像的像素区域分为背景区域和谷物外表的前景区域，并确定按照各个不同的灰度阈值划分后该灰度图像的背景区域与前景区域的类间方差g；之后将类间方差g最大时的灰度阈值确定为分割阈值。
其中，多个不同的灰度阈值中每个灰度阈值可以为0到255之间的一个数值。对于每个灰度阈值，灰度值小于等于该灰度阈值的像素即为背景区域中的像素，灰度值大于该灰度阈值的像素即为前景区域中的像素。该类间方差g可以满足下述公式：
Figure SMS_1
公式（1）
公式（1）中，
Figure SMS_2
为背景区域中的像素个数与像素总数的比值，即背景区域的像素占比。/>
Figure SMS_3
为前景区域中的像素个数与像素总数的比值，即前景区域的像素占比。/>
Figure SMS_4
为背景区域中像素的灰度值的均值，/>
Figure SMS_5
为前景区域中像素的灰度值的均值。
步骤203、从预处理后的第一图像中确定目标模板图像，并从预处理后的第二图像中确定与目标模板图像匹配的匹配图像。
谷物检测设备可以从预处理后的第一图像（即二值化的第一图像）中，确定与该第一图像的至少一个顶点一一对应的至少一个目标模板图像，并可以基于该至少一个目标模板图像，从预处理后的第二图像（即二值化的第二图像）中确定与至少一个目标模板图像中每个目标模板图像匹配的匹配图像。
参见图6，谷物检测设备从第一图像中确定目标模板图像的过程包括：
步骤2031、从预处理后的第一图像中确定多个初始模板图像。
在本发明实施例中，谷物检测设备可以对预处理后的第一图像进行边缘检测，以得到多个谷粒中每个谷粒的轮廓。然后，谷物检测设备可以基于多个谷粒的轮廓，得到多个初始模板图像。其中，每个初始模板图像均包括一个谷粒的子图像。
可选的，谷粒检测设备可以采用最小外接矩形算法处理每个谷粒的轮廓，从而得到一个初始模板图像。相应的，该初始模板图像的轮廓为一个谷粒的轮廓的最小外接矩形。
或者，谷粒检测设备可以采用最小外接圆算法处理每个谷粒的轮廓，从而得到一个初始模板图像。相应的，该初始模板图像的轮廓为一个谷粒的轮廓的最小外接圆。
步骤2032、对于第一图像中的每个顶点，确定多个初始模板图像中每个初始模板图像到该顶点的距离。
在本发明实施例中，对于多个初始模板图像中的每个初始模板图像，谷物检测设备可以基于该初始模板图像的特征点在第一图像所在的第一图像坐标系中的位置，以及该顶点在该第一图像坐标系中的位置，确定该初始模板图像到该顶点的距离。
其中，第一图像坐标系可以是以第一图像的一个顶点（如左上顶点）为原点，以第一图像的像素行延伸方向为横轴正方向，以第一图像的像素列延伸方向为纵轴正方向所建立的坐标系。该特征点可以为该初始模板图像的任一顶点（如左上顶点），或者可以为该初始模板图像的中心点。该特征点在第一图像坐标系中的位置是指该特征点在第一图像坐标系中的坐标。
可以理解的是，多个初始模板图像中任意两个初始模板图像的特征点在该对应的初始模板图像中的类型相同。该类型包括：顶点和中心点中的一种。如此，可以确保确定该顶点对应的目标模板图像的准确性较高。例如，多个初始模板图像中每个初始模板图像的特征点均可以为该初始模板图像的中心点。
步骤2033、将多个初始模板图像中距离该顶点最近的初始模板图像，确定为该顶点对应的目标模板图像。
对于第一图像中的每个顶点，谷物检测设备可以将多个初始模板图像中距离该顶点最近的初始模板图像，确定为该顶点对应的目标模板图像。
可选的，对于多个顶点中的每个顶点，谷物检测设备可以按照距离从小到大的顺序，对多个初始模板图像到该顶点的距离进行排序。之后，谷物检测设备可以将排序后的多个初始模板图像中的第一个初始模板图像，确定为该顶点对应的目标模板图像。
在本发明实施例中，对于每个顶点对应的目标模板图像，谷物检测设备可以采用模板匹配算法处理该目标模板图像和预处理后的第二图像，以从该第二图像中确定出与该目标模板图像匹配的匹配图像。且谷物检测设备还可以记录该匹配图像在第二图像所在的第二图像坐标系中的位置。
其中，模版匹配算法可以通过在第二图像中移动目标模板图像，并计算目标模版图像与第二图像中被该目标模板图像覆盖的部分图像的相似度，以及将相似度大于相似度阈值的部分图像确定为与该目标模版图像匹配的匹配图像。该相似度阈值可以是谷物检测设备预先存储的。该第二图像坐标系可以是指以第二图像的一个顶点（例如左上顶点）为原点，以第二图像的像素行的延伸方向为横轴的正方向，以第二图像的像素列的延伸方向为纵轴的正方向所建立的坐标系。
可以理解的是，模版匹配算法可以遍历第二图像的多个像素。对于遍历到的每个像素，谷物检测设备可以基于该像素和目标模板图像的尺寸，从第二图像中确定被该目标模板图像覆盖的部分图像。该部分图像的左上角的像素为遍历到的该像素，该部分图像的尺寸与目标模板图像的尺寸相同。其中，谷物检测设备可以逐行遍历第二图像。
可选的，该模板匹配算法可以为归一化互相关模版匹配算法。该归一化互相关模版匹配算法可以采用下述公式（2）来确定目标模板图像与第二图像中被目标模板图像覆盖的部分图像的相似度。且此时的相似度阈值可以为0.92。
Figure SMS_6
公式（2）
公式（2）中，m为目标模板图像的长度，该长度平行于第一图像的像素行方向，即m为目标模板图像中像素列的总数。n为目标模板图像的宽度，该宽度平行于第一图像的像素列方向，即n为目标模板图像中像素行的总数。且m与n均为大于1的整数。
S（i,j）为第二图像中被目标模板图像覆盖的部分图像中，位于第i行第j列的像素的灰度值。
Figure SMS_7
为该部分图像的所有像素的灰度值的均值。G（i,j）为目标模板图像中位于第i行第j列的像素的灰度值。/>
Figure SMS_8
为该目标模板图像的所有像素的灰度值的均值。
i为大于等于1，且小于等于m的正整数。j为大于等于1，且小于等于n的正整数。
可选的，对于目标模板图像的形状为矩形的情况，谷物检测设备可以先基于目标模板图像的尺寸，以及第一特征点在第一图像坐标系中的位置，从第二图像中确定待匹配的子图像。然后，谷物检测设备可以从该待匹配的子图像中确定与目标模板图像匹配的匹配图像。
其中，该待匹配的子图像中与该第一特征点对应的第三特征点在第二图像的第二图像坐标系中的位置，与第一特征点在第一图像坐标系中的位置相同。可以理解的是，与第一特征点对应的第三特征点在待匹配的子图像中的类型，与第一特征点在该目标模板图像中的类型相同。例如，第三特征点与第一特征点均为顶点（如左上顶点），或者第三特征与第一特征点均为中心点。
由于谷物检测设备能够从尺寸小于第二图像的待匹配的子图像中确定匹配图像，因此有效提高了从第二图像中确定匹配图像的效率。
可以理解的是，该待匹配的子图像的尺寸可以大于等于目标模板图像的尺寸，例如该待匹配的子图像的尺寸可以大于目标模板图像的尺寸。该待匹配的子图像的尺寸包括：该子图像的长度和宽度，该子图像的长度方向可以平行于第二图像的像素行方向，该子图像的宽度方向可以平行于第二图像的像素列方向。且该待匹配的子图像的长度可以满足下述公式（3），该待匹配的子图像的宽度可以满足下述公式（4）。
Figure SMS_9
公式（3）
Figure SMS_10
公式（4）
公式（3）和公式（4）中，
Figure SMS_11
为待匹配的子图像的长度，/>
Figure SMS_12
为目标模板图像的长度。
Figure SMS_13
为待匹配的子图像的宽度，/>
Figure SMS_14
为目标模板图像的宽度。α为调节系数，且α为大于等于2且小于等于4的整数。例如，α可以为3。α为3时，能够在确保匹配效率的前提下，较大程度的确保待匹配的子图像中包括目标谷粒的第二面的子图像，从而可以确保谷粒检测设备能够该待匹配的子图像中得到匹配图像。其中，该目标模板图像包括：该目标谷粒的第一面的图像。
可以理解的是，对于谷物检测设备从待匹配的子图像中确定与一个顶点对应的目标模板图像匹配的匹配图像的情况，若谷物检测设备确定待匹配的子图像中不存在与该目标模板图像匹配的图像，则可以更新目标模板图像，直至得到匹配图像。其中，更新后的目标模板图像为多个初始模板图像中除目标模板图像外，距离该顶点最近的初始模板图像。且目标模板图像更新后，待匹配的子图像也会相应更新。
需要说明的是，更新后的目标模板图像为多个初始模板图像中除曾经作为目标模板图像的初始模板图像外，距离该顶点最近的初始模板图像。如，若谷物检测设备第一次未从待匹配的子图像中确定出匹配图像，则可以将目标模板图像更新为多个初始模板图像中除第一个目标模板图像外，距离该顶点最近的初始模板图像。该第一个目标模板图像为多个初始模板图像中距离该顶点最近的初始模板图像。
若谷物检测设备第二次还未从匹配的子图像中确定出匹配图像，则可以将目标模板图像更新为多个初始模板图像中除第一个目标模板图像和第二个目标模板图像外，距离该顶点最近的初始模板图像。以此类推，直至得到匹配图像。其中，第二个目标模板图像为多个初始模板图像中距离该顶点第二近的初始模板图像。
根据上述描述可知，对于第一图像中的每个顶点，谷物检测设备在基于该顶点对应的目标模板图像从待匹配的子图像中确定匹配图像的过程中，可以检测该待匹配的子图像中是否存在与该目标模板图像匹配的匹配图像。若该待匹配的子图像中不存在与该目标模板图像匹配的匹配图像，则谷物检测设备可以从多个初始模板图像中重新选择目标模板图像，并可以更新待匹配的子图像，直至得到匹配图像。
示例的，假设第一图像的顶点的个数为四个，则谷物检测设备通过上述步骤2031至步骤2033，可以得到图7所示的与四个顶点一一对应的四个目标模板图像。从图7可以看出，该四个目标模板图像分别为：与第一图像的左上顶点对应的目标模板图像TA、与第一图像的右上顶点对应的目标模板图像TB、与第一图像的左下顶点对应的目标模板图像TC，以及与第一图像的右下顶点对应的目标模板图像TD。
基于图7所示的四个目标模板图像，谷物检测设备可以从第二图像中得到图8至图11所示的四个待匹配的子图像。其中，图8所示的待匹配的子图像基于目标模板图像TA得到。图9所示的待匹配的子图像基于目标模板图像TB得到。图10所示的待匹配的子图像基于目标模板图像TC得到。图11所示的待匹配的子图像目标模板图像TD得到。
之后，谷物检测设备可以从第二图像中确定出与四个目标模板图像匹配的四个匹配图像。参见图12，该四个匹配图像包括：与目标模板图像TA匹配的匹配图像MA，与目标模板图像TB匹配的匹配图像MB，与目标模板图像TC匹配的匹配图像MC，以及与目标模板图像TD匹配的匹配图像MD。
步骤204、基于目标模板图像中第一特征点在第一图像的第一图像坐标系中的位置，以及匹配图像中与第一特征点对应的第二特征点在第二图像的第二图像坐标系中的位置，确定第一图像坐标系与第二图像坐标系的转换关系。
其中，第一特征点在第一图像坐标系中的位置是指该第一特征点在该第一图像坐标系中的坐标。第二特征点在第二图像坐标系中的位置是指该第二特征点在第二图像坐标系中的坐标。
该匹配图像中与第一特征点对应的第二特征点的类型与第一特征点的类型相同。如，第一特征点可以为目标模板图像的中心点，第二特征点可以为该匹配图像的中心点。或者，第一特征点可以为目标模板图像的顶点（如左上顶点），第二特征点可以为匹配图像的顶点（如左上顶点）。
在一种可选的示例中，与第一图像的至少一个顶点一一对应的目标模板图像的个数为多个（如四个）。相应的，匹配图像的个数也为多个（如四个）。此时，谷物检测设备可以基于多个第一特征点在第一图像坐标系中的位置，以及多个第二特征点在第二图像坐标系中的位置，确定第一图像坐标系到第二图像坐标系的透视变换矩阵。之后，谷物检测设备可以基于该透视变换矩阵，确定第一图像坐标系与第二图像坐标系之间的转换关系。其中，多个第二特征点与多个第一特征点一一对应，且每个第二特征点所在的匹配图像与对应的第一特征点所在的目标模板图像匹配。
透视变换(perspective transformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（也可以称为透视面）绕迹线（也可以称为透视轴）旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的非线性变换。简而言之，透视变换就是将一个平面通过一个透视矩阵透视到指定的平面上。透视变换的通用变换公式满足：
Figure SMS_15
公式（5）
公式（5）中，（x，y，1）为第一图像坐标系中位置为（x，y）的像素的齐次坐标，（X，Y，Z）为该像素转换至第二图像坐标后的坐标（
Figure SMS_16
，/>
Figure SMS_21
，/>
Figure SMS_23
）对应的齐次坐标。该/>
Figure SMS_17
为X与Z的商，
Figure SMS_19
为Y与Z的Z商，/>
Figure SMS_22
为Z与Z的商。即，/>
Figure SMS_24
=X/Z，/>
Figure SMS_18
=Y/Z，/>
Figure SMS_20
=Z/Z=1。
Figure SMS_25
为透视变换矩阵。其中，/>
Figure SMS_26
表示图像的线性变换，主要用于图像的缩放、旋转操作。/>
Figure SMS_27
用于图像进行平移操作。/>
Figure SMS_28
用于图像产生透视变换。a33一般为1。由此可见，透视变换矩阵包括八个透视变换系数。
根据上述公式（5）可以确定，第一图像坐标系到第二图像坐标系的转换关系可以满足下述公式：
Figure SMS_29
公式（6）
根据上述公式（6）可知，第一图像坐标系到第二图像坐标系的转换关系可以为
Figure SMS_30
。此外，根据上述公式（6）可以得到，第一图像坐标系中位置为（x，y）的像素的变换后的横坐标值可以满足下述公式（7），该像素的变换后的纵坐标值可以满足下述公式（8）：
Figure SMS_31
公式（7）
Figure SMS_32
公式（8）
根据上述公式（7）和公式（8），谷物检测设备可以联立得到八个关于透视变换系数的方程。之后，谷物检测设备通过四个特征点对求解八个方程，即可得到透视变换矩阵所包括的八个透视变换系数，继而可以得到透视变换矩阵。其中，四个特征点对中每个特征点对包括：一个第一特征点，以及该第一特征点对应的一个第二特征点。
在另一种可选的示例中，谷物检测设备可以基于第一特征点在第一图像坐标系中的位置，以及第二特征点在第二图像坐标系中的位置，确定第一图像坐标系到第二图像坐标系的仿射变换矩阵。之后，谷物检测设备可以根据该仿射变换矩阵，确定第一图像坐标系与第二图像坐标系的转换关系。
仿射变换（affine transformation）是从一个二维坐标系变换到另一个二维坐标系。仿射变换通常包括旋转变换和平移变换，即线性变换，因此仿射变换前后坐标点的相对位置和属性不发生变换。
在本发明实施例中，由于第一图像相对于第二图像未发生旋转，因此从第一图像所在的第一图像坐标系到第二图像所在的第二图像坐标系，坐标点可以看做仅发生了平移变换。基于此可以确定，第一图像坐标系中位置为（x，y）的像素转换到第二图像坐标系后，其位置（
Figure SMS_33
，/>
Figure SMS_34
）可以满足下述公式：
Figure SMS_35
公式（9）
公式（9）中，
Figure SMS_36
为仿射变换矩阵，该仿射变换矩阵中的t x为/>
Figure SMS_37
相对于x的第一偏移量。该仿射变换矩阵中t y为/>
Figure SMS_38
相对于y的第二偏移量。
从公式（9）可以看出，该仿射变换矩阵包括两个未知的仿射变换系数t x和t y。且谷物检测设备根据该公式（9）可以联立得到关于仿射变换系数的两个方程。之后，谷物检测设备通过一个特征点对的位置求解该两个方程，即可得到仿射变换矩阵所包括的两个仿射变换系数，继而可以得到仿射变换矩阵。
例如，假设该一个特征点对中的第一特征点在第一图像坐标系中的位置为（u，v），第二特征点在第二图像坐标系中的位置为（h，k），则第一偏移量t x可以满足：
Figure SMS_39
。第二偏移量t y可以满足：/>
Figure SMS_40
。其中，该第一特征点可以位于与第一图像的左上顶点对应的目标模板图像中。
可以理解的是，第一图像坐标系与第二图像坐标系之间的转换关系可以包括：第一图像坐标系到第二图像坐标系的转换关系，以及第二图像坐标系到第一图像坐标系的转换关系。
对于该转换关系为第一图像坐标系到第二图像坐标系的转换关系，若谷物检测设备根据第一图像坐标系到第二图像坐标系的透视变换矩阵确定该转换关系，则谷物检测设备可以直接基于该透视变换矩阵确定该转换关系。若谷物检测设备基于第一图像坐标系到第二图像坐标系的仿射变换矩阵确定该转换关系，则谷物检测设备可以直接将该仿射变换矩阵确定为该转换关系。
对于该转换关系为第二图像坐标系到第一图像坐标系的转换关系，若谷物检测设备根据第一图像坐标系到第二图像坐标系的透视变换矩阵确定该转换关系，则谷物检测设备可以先确定该透视变换矩阵的逆矩阵，再基于该逆矩阵确定该转化关系。若谷物检测设备基于第一图像坐标系到第二图像坐标系的仿射变换矩阵确定该转换关系，则谷物检测设备可以直接将该仿射变换矩阵的逆矩阵确定为该转换关系。
步骤205、基于第一图像坐标系与第二图像坐标系的转换关系，对齐第一图像与第二图像。
其中，对齐第一图像与第二图像是指：将第一图像中各个谷粒的子图像，与第二图像中对应的谷粒的子图像对准，且使得第一图像的顶点与第二图像的顶点对应对准。第一图像中一个谷粒的子图像与第二图像中对应的一个谷粒的子图像分别为一个谷粒的正面图像和反面图像。
在本发明实施例中，谷物检测设备基于该转换关系，对齐第一图像与第二图像的过程可以包括：谷物检测设备基于该转换关系，将第一图像转换至第二图像坐标系中，得到参考图像。然后，谷物检测设备验证该参考图像与第二图像是否对齐。若谷物检测设备确定该参考图像与第二图像对齐，则将该参考图像确定为与第二图像对齐的目标图像。
若谷物检测设备确定该参考图像与第二图像未对齐，则可以更新前文所述的待匹配的子图像的尺寸，并从更新后的待匹配的子图像中重新确定与目标模板图像匹配的匹配图像，直至得到与第二图像对齐的参考图像。其中，更新后的待匹配的子图像的尺寸，大于更新前的待匹配的子图像的尺寸，且小于第二图像的尺寸。
在本发明实施例中，谷物检测设备可以通过更新前文所述的调节系数α，即公式（3）和公式（4）中的α，以更新待匹配的子图像。其中，更新后的调节系数α大于更新前的调节系数α，例如更新后的调节系数α与更新前的调节系数α的差值可以为1。
谷物检测设备验证该参考图像与第二图像是否对齐的过程如下：谷物检测设备可以随机从参考图像中获取多个（如三个）参考子图像，并从第二图像中获取与该多个参考子图像一一对应的多个辅助子图像。其中，每个参考子图像包括一个谷粒的子图像，如每个参考子图像的轮廓为一个谷粒的轮廓的最小外接矩形。与参考子图像对应的辅助子图像在第二图像中的位置，与该参考子图像在目标图像中的位置相同。
然后，谷物检测设备可以确定多个参考子图像中每个参考子图像与对应的辅助子图像的相似度，并比较该相似度与相似度阈值的大小。如，谷物检测设备可以采用上述公式（2），确定参考子图像与对应的辅助子图像的相似度。
若谷物检测设备确定多个相似度中的每个相似度均大于该相似度阈值，则可以确定目标图像与第二图像对齐。若谷物检测设备确定多个相似度中至少一个相似度小于等于该相似度阈值，则可以确定目标图像与第二图像并未对齐。
在本发明实施例中，对于第一图像坐标系与第二图像坐标系的转换关系基于第一图像坐标系到第二图像坐标系的透视变换矩阵确定的情况，谷物检测设备可以直接基于该转换关系将第一图像转换至第二图像坐标系中，得到参考图像。如，谷物检测设备可以基于第一图像中各个像素在第一图像坐标系中的位置，以及该转换关系，将各个像素转换到第二图像坐标系中，得到参考图像。
对于第一图像坐标系与第二图像坐标系的转换关系基于第一图像坐标系到第二图像坐标系的仿射矩阵确定的情况，谷物检测设备可以先基于该转换关系，将第一图像转换至第二图像坐标系中，得到初始图像。由于该初始图像相较于第二图像发生了平移变换，因此该初始图像的顶点与第二图像的顶点无法对应对准，故而此时谷物检测设备可以再对该初始图像的边界进行处理，以得到参考图像。
在本发明实施例中，谷物检测设备可以基于仿射变换矩阵中的第一偏移量t x对该初始图像的左边界和右边界进行处理，并基于第二偏移量t y对该初始图像的上边界和下边界进行处理。对该初始图像的边界所进行的处理包括：裁剪边界和填充边界。
以初始图像基于第一图像得到，t x<0表示向左平移，t y<0表示向上平移为例，对谷物检测设备对初始图像的边界进行处理的过程进行示例性的说明：
第一种情况：t x<0，且t y<0，即该初始图像相较于第二图像向左平移了|t x|个像素，并向上平移了|t y|个像素。此时，谷物检测设备可以从初始图像的左边界开始裁剪|t x|列像素，从该初始图像的右边界开始填充|t x|列像素，并从该初始图像的上边界开始裁剪|t y|行像素，从该初始图像的下边界开始填充|t y|行像素，得到参考图像。
第二种情况：t x<0，且t y>0，即该初始图像相较于第二图像向左平移了|t x|个像素，并向下平移了|t y|个像素。此时，谷物检测设备可以从初始图像的左边界开始裁剪|t x|列像素，从该初始图像的右边界开始填充|t x|列像素，并从该初始图像的下边界开始裁剪|t y|行像素，从该初始图像的上边界开始填充|t y|行像素，得到参考图像。
第三种情况：t x>0，且t y<0，即该初始图像相较于第二图像向右平移了|t x|个像素，并向上平移了|t y|个像素。此时，谷物检测设备可以从初始图像的右边界开始裁剪|t x|列像素，从该初始图像的左边界开始填充|t x|列像素，并从该初始图像的上边界开始裁剪|t y|行像素，从该初始图像的下边界开始填充|t y|行像素，得到参考图像。
第四种情况：t x>0，且t y>0，即该初始图像相较于第二图像向右平移了|t x|个像素，并向下平移了|t y|个像素。此时，谷物检测设备可以从初始图像的右边界开始裁剪|t x|列像素，从该初始图像的左边界开始填充|t x|列像素，并从该初始图像的下边界开始裁剪|t y|行像素，从该初始图像的上边界开始填充|t y|行像素，得到参考图像。
在本发明实施例中，谷物检测设备可以将目标数值作为填充的像素的像素值，以填充初始图像的边界。该目标数值可以为0或255。
或者，谷物检测设备可以采用镜像扩展的方式，对初始图像的边界进行填充。其中，镜像扩展的方式下，从某一边界开始填充的像素的像素值与初始图像中位于该边界位置处的像素的像素值，关于该边界对称。
示例的，参见图13和图14，图13是相关技术中的一种谷物的正面图像与反面图像的顶点对应对准后的示意图，图14是本发明实施例提供的目标图像与第二图像的顶点对应对准后的示意图。
对比图13与图14可以看出，未处理正面图像（或反面图像）前，正面图像与反面图像的顶点对应对准后，正面图像与反面图像中谷粒的子图像无法对准。而采用本发明实施例提供的方法处理第一图像后，处理后的第一图像（即目标图像）与第一图像的顶点对应对准后，目标图像与第一图像中的谷粒的子图像能够有效对准。
上述实施例是以将第一图像转换至第二图像坐标系中为例，对对齐第一图像与第二图像进行的示例性说明。可以理解的是，谷物检测设备也可以将第二图像转换至第一图像坐标系中，以对齐第一图像与第二图像。
还可以理解的是，本发明实施例提供的谷物的图像对齐方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行删除。例如，步骤202可以根据情况删除。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本公开的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供了一种谷物的图像对齐方法，谷物检测设备能够基于谷物的第一图像中的目标模板图像，从谷物的第二图像中确定与目标模板图像匹配的匹配图像，并基于该目标模板图像中第一特征点在第一图像坐标系中的位置，以及该匹配图像中第二特征点在第二图像坐标系中的位置，确定第一图像坐标系与第二图像坐标系的转换关系，继而基于该转换关系对齐第一图像与第二图像。由于谷物检测设备能够对齐第一图像与第二图像，因此基于对齐的第一图像与第二图像对谷物的不完善粒进行检测，可以确保得到的检测结果的准确性较高。
并且，由于谷物检测设备能够通过确定与目标模板图像匹配的匹配图像的方式，得到与第一特征点对应的第二特征点，因此可以确保基于第一特征点的位置与第二特征点的位置确定该转换关系的准确性较高，从而可以进一步确保得到的该检测结果的准确性较高。
本发明实施例还提供了一种谷物检测设备，该谷物检测设备可以执行上述方法实施例提供的谷物的图像对齐方法。参见图15，该谷物检测设备100包括：处理器110。该处理器110用于：
获取对谷物的第一面进行拍摄得到的第一图像，以及对谷物的第二面进行拍摄得到的第二图像，第一面与第二面为谷物相反的两面；
从第一图像中确定目标模板图像，并从第二图像中确定与目标模板图像匹配的匹配图像；
基于目标模板图像中第一特征点在第一图像的第一图像坐标系中的位置，以及匹配图像中与第一特征点对应的第二特征点在第二图像的第二图像坐标系中的位置，确定第一图像坐标系与第二图像坐标系的转换关系；
基于转换关系，对齐第一图像与第二图像。
可选的，第一图像的形状为多边形，且第一图像包括多个谷粒的子图像。该处理器110可以用于：
从第一图像中确定多个初始模板图像，每个初始模板图像均包括一个谷粒的子图像；
对于第一图像中的每个顶点，将多个初始模板图像中距离顶点最近的初始模板图像，确定为顶点对应的目标模板图像。
可选的，目标模板图像的形状为矩形。该处理器110可以用于：
基于目标模板图像的尺寸，以及第一特征点在第一图像坐标系中的位置，从第二图像中确定待匹配的子图像；
从待匹配的子图像中确定与目标模板图像匹配的匹配图像；
其中，待匹配的子图像中与第一特征点对应的第三特征点在第二图像坐标系中的位置，与第一特征点在第一图像坐标系中的位置相同。
可选的，待匹配的子图像的尺寸大于目标模板图像的尺寸。
可选的，该处理器110还可以用于：
若待匹配的子图像中不存在与目标模板图像匹配的图像，则更新目标模板图像；
其中，更新后的目标模板图像为多个初始模板图像中除目标模板图像外，距离顶点最近的初始模板图像。
可选的，目标模板图像的个数为多个。该处理器110可以用于：
基于多个第一特征点在第一图像坐标系中的位置，以及多个第二特征点在第二图像坐标系中的位置，确定第一图像坐标系到第二图像坐标系的透视变换矩阵；
基于透视变换矩阵，确定转换关系；
其中，多个第二特征点与多个第一特征点一一对应，且每个第二特征点所在的匹配图像与对应的的第一特征点所在的目标模板图像匹配。
可选的，该处理器110可以用于：
基于第一特征点在第一图像坐标系中的位置，以及第二特征点在第二图像坐标系中的位置，确定第一图像坐标系到第二图像坐标系的仿射变换矩阵；
基于仿射变换矩阵确定转换关系。
可选的，该处理器110可以用于：
基于转换关系，将第一图像转换至第二图像坐标系中，得到参考图像；
验证参考图像与第二图像是否对齐；
若参考图像与第二图像对齐，则将参考图像确定为与第二图像对齐的目标图像。
可选的，该转换关系基于第一图像坐标系到第二图像坐标系的仿射变换矩阵确定；该处理器110可以用于：
基于转换关系，将第一图像转换至第二图像坐标系中，得到初始图像；
对初始图像的边界进行处理，得到参考图像。
综上所述，本发明实施例提供了一种谷物检测设备，该谷物检测设备能够基于谷物的第一图像中的目标模板图像，从谷物的第二图像中确定与目标模板图像匹配的匹配图像，并基于该目标模板图像中第一特征点在第一图像坐标系中的位置，以及该匹配图像中第二特征点在第二图像坐标系中的位置，确定第一图像坐标系与第二图像坐标系的转换关系，继而基于该转换关系对齐第一图像与第二图像。由于谷物检测设备能够对齐第一图像与第二图像，因此基于对齐的第一图像与第二图像对谷物的不完善粒进行检测，可以确保得到的检测结果的准确性较高。
并且，由于谷物检测设备能够通过确定与目标模板图像匹配的匹配图像的方式，得到与第一特征点对应的第二特征点，因此可以确保基于第一特征点的位置与第二特征点的位置确定该转换关系的准确性较高，从而可以进一步确保得到的该检测结果的准确性较高。
请继续参见图15，该谷物检测设备100还可以包括：存储器120。其中，处理器110和存储器120相连，如通过总线130相连。可选地，谷物检测设备100还可以包括收发器140。需要说明的是，实际应用中收发器140不限于一个，该谷物检测设备100的结构并不构成对本发明实施例的限定。
处理器110可以是CPU（central processing unit，中央处理器），通用处理器，DSP（digital signal processor，数据信号处理器），ASIC（application specificintegrated circuit，专用集成电路），FPGA（field programmable gate array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器110也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线130可包括一通路，在上述组件之间传送信息。总线130可以是PCI（peripheral component interconnect，外设部件互连标准）总线或EISA（extendedindustry standard architecture，扩展工业标准结构）总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器120用于存储与本发明上述实施例的谷物的图像对齐方法对应的计算机程序，该计算机程序由处理器110来控制执行。处理器110用于执行存储器120中存储的计算机程序，以实现前述方法实施例所示的内容。
可以理解的是，图15示出的谷物检测设备100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“长度”、“宽度”、“上”、“下”、“左”和“右”、等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种谷物的图像对齐方法，其特征在于，所述方法包括：
获取对谷物的第一面进行拍摄得到的第一图像，以及对所述谷物的第二面进行拍摄得到的第二图像，所述第一面与第二面为所述谷物相反的两面；
从所述第一图像中确定目标模板图像，并从所述第二图像中确定与所述目标模板图像匹配的匹配图像；
基于所述目标模板图像中第一特征点在所述第一图像的第一图像坐标系中的位置，以及所述匹配图像中与所述第一特征点对应的第二特征点在所述第二图像的第二图像坐标系中的位置，确定所述第一图像坐标系与所述第二图像坐标系的转换关系；
基于所述转换关系，对齐所述第一图像与所述第二图像。
2.根据权利要求1所述的方法，其特征在于，所述第一图像的形状为多边形，且所述第一图像包括多个谷粒的子图像；所述从所述第一图像中确定目标模板图像，包括：
从所述第一图像中确定多个初始模板图像，每个所述初始模板图像均包括一个所述谷粒的子图像；
对于所述第一图像中的每个顶点，将所述多个初始模板图像中距离所述顶点最近的初始模板图像，确定为所述顶点对应的目标模板图像。
3.根据权利要求2所述的方法，其特征在于，所述目标模板图像的形状为矩形；所述从所述第二图像中确定与所述目标模板图像匹配的匹配图像，包括：
基于所述目标模板图像的尺寸，以及所述第一特征点在所述第一图像坐标系中的位置，从所述第二图像中确定待匹配的子图像；
从所述待匹配的子图像中确定与所述目标模板图像匹配的匹配图像；
其中，所述待匹配的子图像中与所述第一特征点对应的第三特征点在所述第二图像坐标系中的位置，与所述第一特征点在所述第一图像坐标系中的位置相同。
4.根据权利要求3所述的方法，其特征在于，所述待匹配的子图像的尺寸大于所述目标模板图像的尺寸。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述待匹配的子图像中不存在与所述目标模板图像匹配的图像，则更新所述目标模板图像；
其中，更新后的所述目标模板图像为所述多个初始模板图像中除所述目标模板图像外，距离所述顶点最近的初始模板图像。
6.根据权利要求1至5任一所述的方法，其特征在于，所述目标模板图像的个数为多个；所述基于所述目标模板图像中第一特征点在所述第一图像的第一图像坐标系中的位置，以及所述匹配图像中与所述第一特征点对应的第二特征点在所述第二图像的第二图像坐标系中的位置，确定所述第一图像坐标系与所述第二图像坐标系的转换关系，包括：
基于多个所述第一特征点在所述第一图像坐标系中的位置，以及多个所述第二特征点在所述第二图像坐标系中的位置，确定所述第一图像坐标系到所述第二图像坐标系的透视变换矩阵；
基于所述透视变换矩阵，确定所述转换关系；
其中，多个所述第二特征点与多个所述第一特征点一一对应，且每个所述第二特征点所在的所述匹配图像与对应的的第一特征点所在的所述目标模板图像匹配。
7.根据权利要求1至5任一所述的方法，其特征在于，所述基于所述目标模板图像中第一特征点在所述第一图像的第一图像坐标系中的位置，以及所述匹配图像中与所述第一特征点对应的第二特征点在所述第二图像的第二图像坐标系中的位置，确定所述第一图像坐标系与所述第二图像坐标系的转换关系，包括：
基于所述第一特征点在所述第一图像坐标系中的位置，以及所述第二特征点在所述第二图像坐标系中的位置，确定所述第一图像坐标系到所述第二图像坐标系的仿射变换矩阵；
基于所述仿射变换矩阵确定所述转换关系。
8.根据权利要求1至5任一所述的方法，其特征在于，所述基于所述转换关系，对齐所述第一图像与所述第二图像，包括：
基于所述转换关系，将所述第一图像转换至所述第二图像坐标系中，得到参考图像；
验证所述参考图像与所述第二图像是否对齐；
若所述参考图像与所述第二图像对齐，则将所述参考图像确定为与所述第二图像对齐的目标图像。
9.根据权利要求8所述的方法，其特征在于，所述转换关系基于所述第一图像坐标系到所述第二图像坐标系的仿射变换矩阵确定；所述基于所述转换关系，将所述第一图像转换至所述第二图像坐标系中，得到参考图像，包括：
基于所述转换关系，将所述第一图像转换至所述第二图像坐标系中，得到初始图像；
对所述初始图像的边界进行处理，得到参考图像。
10.根据权利要求8所述的方法，其特征在于，所述匹配图像从所述第二图像包括的待匹配的子图像中匹配得到；所述方法还包括：
若所述参考图像与所述第二图像未对齐，则更新所述待匹配的子图像；
其中，更新后的所述待匹配的子图像的尺寸，大于更新前的所述待匹配的子图像的尺寸，且小于所述第二图像的尺寸。
11.一种谷物检测设备，其特征在于，所述谷物检测设备包括：处理器；所述处理器用于：
获取对谷物的第一面进行拍摄得到的第一图像，以及对所述谷物的第二面进行拍摄得到的第二图像，所述第一面与第二面为所述谷物相反的两面；
从所述第一图像中确定目标模板图像，并从所述第二图像中确定与所述目标模板图像匹配的匹配图像；
基于所述目标模板图像中第一特征点在所述第一图像的第一图像坐标系中的位置，以及所述匹配图像中与所述第一特征点对应的第二特征点在所述第二图像的第二图像坐标系中的位置，确定所述第一图像坐标系与所述第二图像坐标系的转换关系；
基于所述转换关系，对齐所述第一图像与所述第二图像。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-10中任一项所述的谷物的图像对齐方法。
CN202310607256.8A 2023-05-26 2023-05-26 谷物的图像对齐方法及谷物检测设备 Active CN116309760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310607256.8A CN116309760B (zh) 2023-05-26 2023-05-26 谷物的图像对齐方法及谷物检测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310607256.8A CN116309760B (zh) 2023-05-26 2023-05-26 谷物的图像对齐方法及谷物检测设备

Publications (2)

Publication Number Publication Date
CN116309760A true CN116309760A (zh) 2023-06-23
CN116309760B CN116309760B (zh) 2023-09-19

Family

ID=86783748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310607256.8A Active CN116309760B (zh) 2023-05-26 2023-05-26 谷物的图像对齐方法及谷物检测设备

Country Status (1)

Country Link
CN (1) CN116309760B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055245A (ja) * 2003-08-01 2005-03-03 Seirei Ind Co Ltd 穀粒選別装置および穀粒選別方法
US20080069450A1 (en) * 2006-09-19 2008-03-20 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, document reading apparatus, image forming apparatus, and recording medium
CN101770582A (zh) * 2008-12-26 2010-07-07 鸿富锦精密工业（深圳）有限公司 图像匹配系统及方法
GB201716295D0 (en) * 2016-12-06 2017-11-22 Adobe Systems Inc Image alignment for burst mode images
CN107452030A (zh) * 2017-08-04 2017-12-08 南京理工大学 基于轮廓检测和特征匹配的图像配准方法
WO2021205219A1 (en) * 2020-04-09 2021-10-14 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN114049481A (zh) * 2022-01-12 2022-02-15 安徽高哲信息技术有限公司 粮食籽粒检测对齐方法、装置、设备及存储介质
CN114298902A (zh) * 2021-12-02 2022-04-08 上海闻泰信息技术有限公司 一种图像对齐方法、装置、电子设备和存储介质
WO2022100242A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN116051873A (zh) * 2023-02-03 2023-05-02 爱芯元智半导体(上海)有限公司 关键点匹配方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055245A (ja) * 2003-08-01 2005-03-03 Seirei Ind Co Ltd 穀粒選別装置および穀粒選別方法
US20080069450A1 (en) * 2006-09-19 2008-03-20 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, document reading apparatus, image forming apparatus, and recording medium
CN101770582A (zh) * 2008-12-26 2010-07-07 鸿富锦精密工业（深圳）有限公司 图像匹配系统及方法
GB201716295D0 (en) * 2016-12-06 2017-11-22 Adobe Systems Inc Image alignment for burst mode images
CN107452030A (zh) * 2017-08-04 2017-12-08 南京理工大学 基于轮廓检测和特征匹配的图像配准方法
WO2021205219A1 (en) * 2020-04-09 2021-10-14 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
WO2022100242A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN114298902A (zh) * 2021-12-02 2022-04-08 上海闻泰信息技术有限公司 一种图像对齐方法、装置、电子设备和存储介质
CN114049481A (zh) * 2022-01-12 2022-02-15 安徽高哲信息技术有限公司 粮食籽粒检测对齐方法、装置、设备及存储介质
CN116051873A (zh) * 2023-02-03 2023-05-02 爱芯元智半导体(上海)有限公司 关键点匹配方法、装置及电子设备

Also Published As

Publication number Publication date
CN116309760B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
US11227405B2 (en) Determining positions and orientations of objects
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN109410207B (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN111260731B (zh) 一种棋盘格亚像素级角点自适应检测的方法
Ahmed Comparative study among Sobel, Prewitt and Canny edge detection operators used in image processing
CN107993263B (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
US6005978A (en) Robust search for image features across image sequences exhibiting non-uniform changes in brightness
US7623683B2 (en) Combining multiple exposure images to increase dynamic range
CN111968144B (zh) 一种图像边缘点获取方法及装置
CN111080661B (zh) 基于图像的直线检测方法、装置以及电子设备
CN115170669B (zh) 基于边缘特征点集配准的识别定位方法及系统、存储介质
JP2001133418A (ja) 形状特徴に基づく欠陥検出の方法及び装置
JP6055228B2 (ja) 形状計測装置
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN114972575A (zh) 一种基于轮廓边缘的直线拟合算法
CN115272256A (zh) 亚像素级传感光纤路径高斯提取方法及系统
CN114757853B (zh) 平场校正函数的获取方法及系统、平场校正方法及系统
CN107680035B (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN116228780A (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN113658144B (zh) 路面病害几何信息的确定方法、装置、设备及介质
CN116563298B (zh) 基于高斯拟合的十字线中心亚像素检测方法
CN116309760B (zh) 谷物的图像对齐方法及谷物检测设备
CN113807238B (zh) 一种河道水面漂浮物面积的视觉测量方法
CN114998571A (zh) 基于固定尺寸标志物的图像处理及颜色检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant