CN112001844A - 获取稻飞虱高清图像的采集装置及快速拼接方法 - Google Patents

Abstract

获取稻飞虱高清图像的装置及快速拼接方法，涉及图像处理的技术领域，尤其涉及对稻飞虱的高清图像进行采集和快速图像拼接的技术领域。本发明包括承载昆虫的孔板，将孔板均分为至少四个区域，在每个区域的上方设置一个摄像机，得到四个视场，分别为第一像机对应第一视场、第二像机对应第二视场、第三像机对应第三视场、第四像机对应第四视场；各相邻两个视场之间形成重叠区域。对各个视场的图像进行特征提取；对提取后的图像特征进行配准；对配准后的图像进行单应性矩阵求解；对求解后的图像进行融合与拼接。图像采集覆盖面积广，便于后续拼接，在满足像机景深要求的情况下能够获得清晰的稻飞虱图像。

Description

获取稻飞虱高清图像的采集装置及快速拼接方法

技术领域

本发明涉及图像处理的技术领域，尤其涉及对稻飞虱的高清图像获取和快速图像拼接的技术领域。

背景技术

稻飞虱是水稻生长过程中常见的害虫之一，如果不对稻飞虱及早进行防治和预测，稻飞虱大量繁衍常会造成水稻等农作物的大幅度减产。稻飞虱是刺吸式害虫，在水稻整个生产过程中，以吸附水稻植株并吸食水稻汁液，造成水稻植株发黄干枯，严重情况下造成水稻植株死亡。我国每年因为稻飞虱病虫害等原因造成水稻减产，同时大量使用农药防治病虫害还会带来一定的农药残留问题。因此，对稻飞虱病虫害进行智能预测和预报，并结合人工智能信息技术预测和预报稻飞虱数量以及迁飞趋势，为农业部门工作人员提供害虫的数据统计信息，对提高农业害虫防治效率，对现代农业的信息化和智能化管理具有重要意义。

稻飞虱种类很多，常见的有褐飞虱、灰飞虱和白背飞虱等，这三种稻飞虱也是我国最常见的类型。稻飞虱体型小，成虫体长大多在3-5mm之间。目前常见的基于机器视觉的虫害采集装置，工业像机一般安装在该装置内，用于夜间对采集装置中使用幼虫灯诱导到底板上的昆虫进行拍照。后续涉及的昆虫数据分析，均源于对现场采集的昆虫图片的分析。在承载昆虫具有固定大小面积的底板上，因为稻飞虱体型小，使用单个像机对稻飞虱拍照，既要考虑到像机拍照视野，又要兼顾像机的分辨率，很难获取理想清晰的稻飞虱图像。如果仅仅考虑使用大分辨率工业像机，又会造成稻飞虱在像机光轴方向上出现由于像机景深不够而导致的离焦模糊现象。工业像机存在景深和分辨率之间的矛盾，即像机分辨率越大景深越小。高分辨率像机拍摄图像清晰，但是像机景深小，容易出现离焦失真；低分辨率像机景深大，不容易出现失焦情况，但是稻飞虱分辨率不够，不能提供清晰的稻飞虱图像，为后续稻飞虱图像检测带来困难。

因此，针对微小目标的工业像机的成像，又尽量节约成本，单个像机对固定区域内的稻飞虱很难获取理想清晰的图像，需要安装合适数量的像机，获取装置底板上的稻飞虱高清图像，然后拼接成完整的底板稻飞虱图像，是进行后续图像数据分析工作的基础。

公布号为CN106454072A，发明名称为：《一种田间稻飞虱图像远程实时采集系统及采集方法》的发明专利，公开了利用图像采集装置、自动控制系统以及远程传输系统进行图像采集和传输的方法，自动控制系统通过控制图像采集装置来采集稻飞虱图像，再通过远程传输系统将采集到的图像发送到远端，能够实时采集处于自然状态下的稻飞虱图像，便于直观了解田间虫情发生情况，并且为科研、教学及生产实践提供了自然昆虫数字图像。

公布号为CN110175599A，发明名称为：《一种稻飞虱病虫害图像自动识别与预报系统》的发明专利，公开了包括田间信息采集装置、图像处理系统、识别系统、分析系统及预警系统；田间信息采集装置分布设置在稻田间；田间信息采集装置上设有诱虫灯及同步摄像头；图像处理系统内设有用以去除图像棱角及噪点的平滑去噪模块、用以提取有效图像的轮廓提取模块、用以完善照片轮廓的轮廓补充模块及用以合并分析图片的图像合并处理模块；识别系统设有可输入和可识别昆虫信息的输入模块及识别模块；分析系统内至少设有三个等级的预警级别；预警系统通过无线通信模块连接稻田监测人员的手机。装置结构简单，实用性强，可对稻飞虱虫害进行及时发现和预警，避免虫害集中爆发。

上述两件专利申请都存在如下问题：单个图像采集装置的采集区间有限，又由于稻飞虱体型较小，单个像机分辨率和像机拍摄视野存在矛盾，没办法使图像采集系统获取更详实的、具有较大像机拍摄视野的、能客观反映实际稻飞虱数量的数据。

发明内容

本发明提供了一种获取稻飞虱高清图像的采集装置及快速拼接方法，既能保证图像采集覆盖面积广，便于后续拼接，又能在满足像机景深要求的情况下能够获得清晰的稻飞虱图像。

一种获取稻飞虱高清图像的采集装置，包括承载昆虫的孔板，将孔板均分为至少四个区域，在每个区域的上方设置一个摄像机，得到四个视场，分别为第一像机对应第一视场、第二像机对应第二视场、第三像机对应第三视场、第四像机对应第四视场；各相邻两个视场之间形成重叠区域。

基于本发明的获取稻飞虱高清图像采集装置的快速拼接方法，包括如下步骤：

步骤一，对各个视场的图像进行特征提取；

步骤二，对步骤一提取后的图像特征进行配准；

步骤三，对步骤二配准后的图像进行单应性矩阵求解；

步骤四，对步骤三求解后的图像进行融合与拼接。

优选的是，本发明对各个视场的图像进行特征提取包括如下步骤：

1.1，在单个视场中选取一个以像素p为中心、半径为3的圆上，有16个像素点：p1、p2、...、p16；

1.2，定义一个阈值t，设定阈值t为50，计算中心点p与p相邻的上下左右p1、p9、p13、p5四个点的差值，若所述差值中有至少3个超过定义的阈值t，则中心点p当做候选角点，再进行下一步考察；否则，排除该中心点作为候选角点；

1.3,若中心点p是候选角点，则计算p1到p16这16个点与中心点p的像素差值，若它们有至少连续9个超过定义的阈值t，则认定中心点p是角点；否则，该中心点不是角点；

1.4，对图像进行非极大值抑制：利用公式(1)计算中心点处的FAST得分值，

公式中V表示得分，t表示阈值；

若以特征点p为中心的一个邻域内只有一个特征点，则直接保留；若以特征点p为中心的一个邻域内有多个特征点，则判断每个特征点的FAST得分值，得到16个点与中心差值的绝对值总和，保留所有特征点中响应值最大的，否则抑制。

优选的是，本发明对图像特征进行配准包括如下步骤：在特征点被检测出来之后，通过归一化互相关方法来确定四幅图像上的特征点的对应关系，分析第一幅图像中每个点周围的像素窗口，并将第一幅图像中每个点周围的像素窗口与第二幅图像中每个点周围的像素窗口关联起来，将双向相关性最大的点作为对应的对，基于图像强度值计算在两幅图像中的每个位移的“窗口”之间的相似性：

其中，

是第一幅图像中各个像素窗口的平均值图像，

是第二幅图像中各个像素窗口的平均值图像，x_i＝(x_i,y_i)是窗口的像素坐标，u＝(u,v)是通过NCC系数计算出的位移或偏移，I₁(x,y)和I₂(x,y)分别是两张图像。窗口是指以某一个像素为中心的相邻的9个像素所组成的窗口。i指的是第i个滑动窗口后所对应的匹配目标像素。x、y分别指代图像中每一个像素的横坐标和纵坐标。

优选的是，本发明对步骤二配准后的图像进行单应性矩阵求解包括如下步骤：通过RANSAC算法从两幅图像特征匹配特征点中拟合图像数学匹配模型，即单应性矩阵，运用鲁棒参数估计的迭代方法，在两幅图像的单应性矩阵求解过程中，利用RANSAC算法找到了一个与大多数正确匹配点相关联的单应矩阵H，根据上述描述，分别求取四幅图像之间的单应性矩阵。

优选的是，本发明对步骤三求解后的图像进行融合与拼接包括如下步骤：单应性矩阵是两个平面之间的映射矩阵，用于表示两个图像平面之间的对应关系，实现两幅图像之间的投影，使一张图通过投影和另一张图实现拼接；

将四幅输入图像变形经过单应性矩阵拼接后，融合到一个符合预期的输出图像中，实现稻飞虱图像的完整快速拼接。

本发明采用上述技术方案，与现有技术相比具有如下优点：

本发明采用4台高分辨率工业采集像机覆盖承载稻飞虱的孔板，四台工业像机的视野分别覆盖孔板的大致四分之一部分，且且靠近孔板中心十字线上下左右部分有图像重合区域，用于后续图像拼接。将采集到的4幅图像进行图像拼接，确保像机视野覆盖整个承载板上的稻飞虱，即保证了像机有足够的空间分辨率，又满足了像机景深要求，从而可以获取清晰的稻飞虱图像。

附图说明

图1是本发明获取稻飞虱高清图像采集装置的结构示意图。

图2是各视场及其重合部分的位置示意图。

图3是本发明快速图像拼接方法的流程图。

其中，1、第一像机，2、第二像机，3、第三像机，4、第四像机，5、图像采集装置内承载昆虫的孔板，7、第一视场和第二视场的重合部分，8、第二视场和第四视场的重合部分，9、第三视场和第四视场的重合部分，10、第一视场和第三视场的重合部分，S1、第一视场，S2、第二视场，S3、第三视场，S4、第四视场。

具体实施方式

下面结合附图对本发明的具体方案进行详细说明：

如图1、图2所示，一种获取稻飞虱高清图像的采集装置，包括承载昆虫的孔板6，将孔板6均分为至少四个区域，在每个区域的上方设置一个摄像机，得到四个视场，分别为第一像机1对应第一视场S1、第二像机2对应第二视场S2、第三像机3对应第三视场S3、第四像机4对应第四视场S4；各相邻两个视场之间形成重叠区域。第一视场S1和第二视场S2之间形成重合部分7，第二视场S2和第四视场S4之间形成重合部分8，第三视场S3和第四视场S4之间形成重合部分9，第一视场S1和第三视场S3之间形成重合部分10。

如图3所示，基于本发明的获取稻飞虱高清图像采集装置的快速拼接方法，包括如下步骤：

步骤一，对各个视场的图像进行特征提取；

步骤二，对步骤一提取后的图像特征进行配准；

步骤三，对步骤二配准后的图像进行单应性矩阵求解；

步骤四，对步骤三求解后的图像进行融合与拼接。

对各个视场的图像进行特征提取，包括如下步骤：

1.1，在单个视场中选取一个以像素p为中心、半径为3的圆上，有16个像素点：p1、p2、...、p16；

1.2，定义一个阈值t，设定阈值t为50，计算中心点p与p相邻的上下左右p1、p9、p13、p5四个点的差值，若所述差值中有至少3个超过定义的阈值t，则中心点p当做候选角点，再进行下一步考察；否则，排除该中心点作为候选角点；

1.3,若中心点p是候选角点，则计算p1到p16这16个点与中心点p的像素差值，像素差值为P1到p16各点的灰度值与中心点P的灰度值相减后的数值；若它们有至少连续9个超过定义的阈值t，则认定中心点p是角点；否则，该中心点不是角点；

1.4，对图像进行非极大值抑制：利用公式(1)计算中心点处的FAST得分值，

公式中V表示得分，t表示阈值；

若以特征点p为中心的一个邻域(邻域为3x3或5x5)内只有一个特征点，则直接保留；若以特征点p为中心的一个邻域内有多个特征点，则判断每个特征点的FAST得分值，得到16个点与中心差值的绝对值总和，保留所有特征点中响应值最大的，否则抑制。

对图像特征进行配准，包括如下步骤：

在特征点被检测出来之后，通过归一化互相关方法来确定四幅图像上的特征点的对应关系，分析第一幅图像中每个点周围的像素窗口，并将第一幅图像中每个点周围的像素窗口与第二幅图像中每个点周围的像素窗口关联起来，将双向相关性最大的点作为对应的对，基于图像强度值计算在两幅图像中的每个位移的“窗口”之间的相似性：

其中，

是第一幅图像中各个像素窗口的平均值图像，

是第二幅图像中各个像素窗口的平均值图像，x_i＝(x_i,y_i)是窗口的像素坐标，u＝(u,v)是通过NCC系数计算出的位移或偏移，I₁(x,y)和I₂(x,y)分别是两张图像。

对配准后的图像进行单应性矩阵求解，包括如下步骤：

通过RANSAC算法从两幅图像特征匹配特征点中拟合图像数学匹配模型，即单应性矩阵，运用鲁棒参数估计的迭代方法，在两幅图像的单应性矩阵求解过程中，利用RANSAC算法找到了一个与大多数正确匹配点相关联的单应矩阵H，根据上述描述，分别求取四幅图像之间的单应性矩阵H₁₂,H₁₃,H₂₄,H₃₄。

对图像进行融合与拼接包括如下步骤：

单应性矩阵是两个平面之间的映射矩阵，用于表示两个图像平面之间的对应关系，实现两幅图像之间的投影，使一张图通过投影和另一张图实现拼接；

若求得的第一幅图像和第二幅图像之间的单应矩阵为H₁₂，则第一幅图像的像素点(x₁,y₁)和第二幅图像的像素点(x₂,y₂)满足如下关系，

同理，第一像机(1)和第三像机(3)，第一像机(2)和第四像机(4)，第三像机(3)和第四像机(4)分别拍摄的图像满足如下关系式，

利用上述变换后的图像，将四幅输入图像变形经过单应性矩阵拼接后，融合到一个符合预期的输出图像中，实现稻飞虱图像的完整快速拼接。能够将4幅分开的小图像，合并成一张覆盖整个底板的大图像，既实现了稻飞虱小目标的拍摄，又覆盖了捕捉装置中足够的空间，方便后续对稻飞虱图像的进一步分析。

Claims (8)

1.一种获取稻飞虱高清图像的采集装置，其特征在于包括承载昆虫的孔板(6)，将孔板(6)均分为至少四个区域，在每个区域的上方设置一个摄像机，得到四个视场，分别为第一像机(1)对应第一视场(S1)、第二像机(2)对应第二视场(S2)、第三像机(3)对应第三视场(S3)、第四像机(4)对应第四视场(S4)；各相邻两个视场之间形成重叠区域。

2.基于权利要求1所述的获取稻飞虱高清图像采集装置的快速拼接方法，其特征在于包括如下步骤：

步骤一，对各个视场的图像进行特征提取；

步骤二，对步骤一提取后的图像特征进行配准；

步骤三，对步骤二配准后的图像进行单应性矩阵求解；

步骤四，对步骤三求解后的图像进行融合与拼接。

3.根据权利要求2所述的快速拼接方法，其特征在于上述步骤一包括如下步骤：

1.1，在单个视场中选取一个以像素p为中心、半径为3的圆上，有16个像素点：p1、p2、...、p16；

1.2，定义一个阈值t，设定阈值t为50，计算中心点p与p相邻的上下左右p1、p9、p13、p5四个点的差值，若所述差值中有至少3个超过定义的阈值t，则中心点p当做候选角点，再进行下一步考察；否则，排除该中心点作为候选角点；

1.3,若中心点p是候选角点，则计算p1到p16这16个点与中心点p的像素差值，若它们有至少连续9个超过定义的阈值t，则认定中心点p是角点；否则，该中心点不是角点；

1.4，对图像进行非极大值抑制：利用公式(1)计算中心点处的FAST得分值，

公式中V表示得分，t表示阈值；

若以特征点p为中心的一个邻域内只有一个特征点，则直接保留；若以特征点p为中心的一个邻域内有多个特征点，则判断每个特征点的FAST得分值，得到16个点与中心差值的绝对值总和，保留所有特征点中响应值最大的，否则抑制。

4.根据权利要求3所述的快速拼接方法，其特征在于上述步骤1.3中的像素差值为P1到p16各点的灰度值与中心点P的灰度值相减后的数值。

5.根据权利要求3所述的快速拼接方法，其特征在于上述步骤1.4中的邻域为3x3或5x5。

6.根据权利要求2所述的快速拼接方法，其特征在于上述步骤二的图像特征进行配准包括如下步骤：

在特征点被检测出来之后，通过归一化互相关方法来确定四幅图像上的特征点的对应关系，分析第一幅图像中每个点周围的像素窗口，并将第一幅图像中每个点周围的像素窗口与第二幅图像中每个点周围的像素窗口关联起来，将双向相关性最大的点作为对应的对，基于图像强度值计算在两幅图像中的每个位移的“窗口”之间的相似性：

其中，

是第一幅图像中各个像素窗口的平均值图像，

是第二幅图像中各个像素窗口的平均值图像，x_i＝(x_i，y_i)是窗口的像素坐标，u＝(u，v)是通过NCC系数计算出的位移或偏移，I₁(x，y)和I₂(x，y)分别是两张图像。

7.根据权利要求2所述的快速拼接方法，其特征在于上述步骤三中对步骤二配准后的图像进行单应性矩阵求解包括如下步骤：

通过RANSAC算法从两幅图像特征匹配特征点中拟合图像数学匹配模型，即单应性矩阵，运用鲁棒参数估计的迭代方法，在两幅图像的单应性矩阵求解过程中，利用RANSAC算法找到了一个与大多数正确匹配点相关联的单应矩阵H，根据上述描述，分别求取四幅图像之间的单应性矩阵H₁₂，H₁₃，H₂₄，H₃₄。

8.根据权利要求2所述的快速拼接方法，其特征在于上述步骤四中对步骤三求解后的图像进行融合与拼接包括如下步骤：

单应性矩阵是两个平面之间的映射矩阵，用于表示两个图像平面之间的对应关系，实现两幅图像之间的投影，使一张图通过投影和另一张图实现拼接；

若求得的第一幅图像和第二幅图像之间的单应矩阵为H₁₂，则第一幅图像的像素点(x₁，y₁)和第二幅图像的像素点(x₂，y₂)满足如下关系，

同理，第一像机(1)和第三像机(3)，第一像机(2)和第四像机(4)，第三像机(3)和第四像机(4)分别拍摄的图像满足如下关系式，

利用上述变换后的图像，将四幅输入图像变形经过单应性矩阵拼接后，将两幅图像之间的重叠区域的像素值按一定的权值相加合成新的图像，融合到一个符合预期的输出图像中，实现稻飞虱图像的完整快速拼接。

Images