CN117291805A - 图像拼接方法、图像处理方法、装置及可读存储介质 - Google Patents

Abstract

本发明公开了一种图像拼接方法、图像处理方法、装置及可读存储介质，图像拼接方法包括按照预设的排布顺序，对待拼接的多个单元图像进行行排布和列排布；确定行排布方向和列排布方向中的一者作为第一方向，另一者作为第二方向；确定在第一方向上的多个单元图像中相邻图像之间的接缝，并按照接缝对相邻的单元图像进行拼接，得到多个中间图像；确定在第二方向上的多个中间图像中相邻图像之间的接缝，并按照接缝对相邻的中间图像进行拼接，得到结果图像。本发明利用生成接缝网络的方式对图像进行二维方向的拼接，避免图像拼接时产生伪影、错位、重合和空白等问题。

Description

图像拼接方法、图像处理方法、装置及可读存储介质

技术领域

本申请涉及图形处理技术领域，尤其涉及一种图像拼接方法、图像处理方法、装置及可读存储介质。

背景技术

当用户在高倍率镜头下观察样品时，视野有限，因此只能看到样品的局部。利用摄像机和自动移动平台对样品进行扫描，并通过计算机图像技术将高分辨率下的多个小视场图像拼接成大视场图像，能够使用户观察到样品的全貌。

典型的多个小视场图像拼接成大视场图像的技术如公开号为CN110337386A的中国专利申请，其公开了一种用于后视图可视化的后拼接全景视图技术，具体为采用多个车载摄像头采集图像，并通过固定直线将多个图像拼接成一幅全景图。但是以直线的形式进行拼接会给图像带来错位，原因是无法保证图像的特征是按照直线被分割的，而且图像的特征大概率并非按照直线被分割。

在对多幅图像进行拼接时，一种可行的方法是依次查找相邻图像之间的接缝，组成接缝网络。但是，会出现接缝网络在接缝交汇区域不连续，导致如图3所示的拼接的相邻图像之间的融合区域出现不自然、不合理的重叠或空洞。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的是提供一种图像拼接方法、图像处理方法、装置及可读存储介质，在行与列的相邻图像之间的重叠区域寻找使拼接图像的像素差异最小的接缝网络，使图像之间的拼接过渡自然。

为达到上述目的，本发明采用的技术方案如下：

一种图像拼接方法，包括以下步骤：

按照预设的排布顺序，对待拼接的多个单元图像进行行排布和列排布；

确定行排布方向和列排布方向中的一者作为第一方向，另一者作为第二方向；

确定在第一方向上的多个单元图像中相邻图像之间的接缝，并按照接缝对相邻的单元图像进行拼接，得到多个中间图像；

确定在第二方向上的多个中间图像中相邻图像之间的接缝，并按照接缝对相邻的中间图像进行拼接，得到结果图像。

进一步地，承前所述的任一技术方案或多个技术方案的组合，确定相邻图像之间的接缝的步骤包括：

确定相邻两个图像之间的重叠区域；

在所述重叠区域内找到由若干像素单元组成的接缝，使相邻两个图像在所述接缝对应的路径上的像素差异最小。

进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式确定所述重叠区域：

利用图像定位算法定位各个单元图像在全局中的位置，并根据定位到的位置确定相邻两个图像之间的重叠区域。

进一步地，承前所述的任一技术方案或多个技术方案的组合，所述单元图像通过扫描设备扫描得到，通过以下方式确定所述重叠区域：

根据预设的扫描配置，得到各个单元图像在全局中的位置，进而确定相邻两个图像之间的重叠区域。

进一步地，承前所述的任一技术方案或多个技术方案的组合，在所述重叠区域内找到接缝的步骤包括：

对于重叠区域内的每一个像素单元，根据相邻两个图像在该像素单元的图像数据，计算该像素单元的差异度，得到重叠区域对应的差异度表；

基于所述差异度表规划由相邻接的像素单元组成的路径，且满足该路径上的各像素单元的差异度总和最小；

将规划得到的路径映射到所述重叠区域中，得到所述接缝。

进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式计算一像素单元的差异度：

获取相邻的第一图像在该像素单元的通道数据R/G/B值及相邻的另一图像在该像素单元的通道数据R/G/B值；

分别计算所述第一图像与另一图像在该像素单元的R值差值、G值差值和B值差值；

根据所述R值差值、G值差值和B值差值，计算该像素单元的差异度。

进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式规划路径：

从所述差异度表的第一行或第一列为起点，按照接缝的延伸方向，逐行或逐列地计算所述差异度表中每一单元对应的差异度累加值；

确定最后一行或最后一列中差异度累加值最小的单元为回溯起点；

从所述回溯起点沿着所述接缝的延伸方向回溯查找其在所述差异度表中的形成路径，作为规划得到的路径。

进一步地，承前所述的任一技术方案或多个技术方案的组合，从所述回溯起点回溯查找其在所述差异度表中的形成路径的方式为：

所述回溯起点为最后一行中差异度累加值最小的单元；以所述回溯起点作为第一个路径单元，由最后一行向第一行的方向逐行地确定每一行的路径单元，其中，每一行的路径单元为与前一行的路径单元相邻接的两个以上的单元中差异度累加值最小的一个单元；

或者，所述回溯起点为最后一列中差异度累加值最小的单元；以所述回溯起点作为第一个路径单元，由最后一列向第一列的方向逐列地确定每一列的路径单元，其中，每一列的路径单元为与前一列的路径单元相邻接的两个以上的单元中差异度累加值最小的一个单元。

进一步地，承前所述的任一技术方案或多个技术方案的组合，利用图割算法在所述重叠区域内找到接缝，其步骤包括：

将重叠区域的图像表示为图的形式，其中，图的节点表示图像中的像素，图的边表示像素之间的关系；

给图的节点和边分配权重；

通过最小化割的代价函数在图上找到一个割，将所述图分为前景和背景两个部分，所述代价函数的构成因素包括像素之间的相似性。

进一步地，承前所述的任一技术方案或多个技术方案的组合，利用维诺图法在所述重叠区域内找到接缝，其步骤包括：

分别对各个待拼接的单元图像生成维诺图；

按照维诺图拼接线网络，确定在所述重叠区域内的接缝位置。

进一步地，承前所述的任一技术方案或多个技术方案的组合，按照接缝对相邻的第一图像和第二图像进行拼接的步骤包括：

根据所述接缝，生成第一图像、第二图像各自的掩膜，其中，在第一图像中位于所述接缝远离第二图像的一侧的各像素单元对应的掩膜为1，第一图像的其余像素单元对应的掩膜为0；在第二图像中位于所述接缝远离第一图像的一侧的各像素单元对应的掩膜为1，第二图像的其余像素单元对应的掩膜为0；

在像素单元的图像与对应的掩膜之间执行逐位与的逻辑操作，并将完成逻辑操作的结果按照各个单元图像的位置关系排布，得到拼接后的图像。

进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式确定第一图像、第二图像在接缝处的掩膜：

接缝所在的一像素单元在第一图像、第二图像中的一者取掩膜为1，在另一者取掩膜为0；

或者，所述第一图像和第二图像中的接缝所在的像素单元对应的掩膜均为1。

进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式确定第一方向和第二方向：

对待拼接的单元图像计算图像的列数×单个图像列像素值，得到第一乘积，以及对待拼接的单元图像计算图像的行数×单个图像行像素值，得到第二乘积；

若所述第一乘积小于第二乘积，则确定列排布方向为第一方向，及确定行排布方向为第二方向；

若所述第二乘积小于第一乘积，则确定行排布方向为第一方向，及确定列排布方向为第二方向。

进一步地，承前所述的任一技术方案或多个技术方案的组合，所述待拼接的多个单元图像是通过扫描设备按照预设的顺序对一对象进行扫描而被获取；

按照扫描的行、列顺序对所述单元图像进行行排布和列排布，所述待拼接的多个单元图像呈两行以上和两列以上的排布。

根据本发明的又一方面，提供了一种图像处理方法，包括以下步骤：

对待成像的物体进行扫描摄像，得到多个子图像；

所述多个子图像按照扫描的顺序进行行排布和列排布，得到预览图像；

基于所述预览图像，确定感兴趣区域，并确定所述感兴趣区域对应的各个子图像为待拼接的单元图像；

利用如上任一技术方案或多个技术方案的组合所述的图像拼接方法，对所述待拼接的单元图像进行拼接。

根据本发明的又一方面，提供了一种图像拼接装置，包括以下模块：

排布模块，其被配置为按照预设的排布顺序对待拼接的多个单元图像进行行排布和列排布；

顺序设置模块，其被配置为确定行排布方向和列排布方向中的一者作为第一方向，另一者作为第二方向；

第一顺序拼接模块，其被配置为确定在第一方向上的多个单元图像中相邻图像之间的接缝，并按照接缝对相邻的单元图像进行拼接，得到多个中间图像；

第二顺序拼接模块，其被配置为确定在第二方向上的多个中间图像中相邻图像之间的接缝，并按照接缝对相邻的中间图像进行拼接，得到结果图像。

进一步地，承前所述的任一技术方案或多个技术方案的组合，所述第一顺序拼接模块和第二顺序拼接模块均包括以下单元：

重叠单元，其被配置为确定相邻两个图像之间的重叠区域；

寻找接缝单元，其被配置为在所述重叠区域内找到由若干像素单元组成的接缝，使相邻两个图像在所述接缝对应的路径上的像素单元差异度最小。

进一步地，承前所述的任一技术方案或多个技术方案的组合，还包括以下模块：

扫描模块，其被配置为对待成像的物体进行扫描摄像，得到多个子图像；

预览模块，其被配置为所述多个子图像按照扫描的顺序进行行排布和列排布，得到预览图像；

兴趣区域模块，其被配置为根据所述预览图像确定感兴趣区域，并确定所述感兴趣区域对应的各个子图像为待拼接的单元图像。

根据本发明的又一方面，提供了一种显微成像系统，包括显微镜及如上任一技术方案或多个技术方案的组合所述的图像拼接装置。

根据本发明的又一方面，提供了一种电子设备，包括处理器和存储器，其中，所述存储器用于存储程序指令，所述处理器被配置为运行所述程序指令，所述程序指令被运行而执行如上任一技术方案或多个技术方案的组合所述的方法的步骤。

根据本发明的又一方面，提供了一种计算机可读存储介质，用于存储程序指令，所述程序指令被配置为调用而执行如上任一技术方案或多个技术方案的组合所述的方法的步骤。

根据本发明的又一方面，提供了一种计算机程序产品，包括被可读存储的计算机程序，所述计算机程序包括程序指令，当所述程序指令在计算机设备上运行时，计算机设备执行如上任一技术方案或多个技术方案的组合所述的方法的步骤。

本发明提供的技术方案带来的有益效果如下：

a.本发明提供的图像拼接方法，通过对待拼接的多个单元图像进行行排布和列排布，先将每一行(或每一列)的多个图像拼接成一中间图像，再将多个中间图像按照列方向(或者行方向)进行拼接，由此得到结果图像，这样生成的接缝网络在接缝交汇区域避免出现不连续、重叠或空白的问题，能够有效提高图像拼接质量；

b.本发明通过计算待拼接的单元图像的列数×图像列像素值和行数×图像行像素值，以其中乘积较小的行/列排布方向为第一方向，另一个为第二方向，按照该方法确定第一方向和第二方向能够降低计算任务，节约图像拼接的时间；

c.本发明提出了通过确定重叠区域的差异度表，并根据差异度表逐行或逐列地计算每个单元的差异度累加值，以最后一行或最后一列中差异度累加值最小的单元为回溯起点，规划由相邻接的像素单元组成的路径，且满足该路径上的各像素单元的差异度总和最小，可以最大程度地保留每张图像的信息，不受融合算法的影响；

d.本发明提供图像拼接装置能够在扫描图像后快速拼接得到质量高、拼接过渡自然的全景图像，更方便用户观察，尤其适用于显微图像的拼接需求。

附图说明

为了更清楚地说明本申请实施例中的技术方案或常规的技术方案，下面将对实施例或常规技术方案描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一个示例性实施例提供的图像拼接方法的流程示意图；

图2是本发明的一个示例性实施例提供的图像拼接的抽象过程示意图；

图3是采用查找上下左右四幅相邻图像的接缝的方式实现图像拼接的结果图和对应的接缝网络的示意图；

图4是采用本发明提供的图像拼接方法得到的结果图和对应的接缝网络的示意图；

图5是将扫描图像按照扫描顺序摆位拼接得到的预览图像的示意图；

图6是采用本发明提供的图像拼接方法对图5中的多个图像进行拼接得到的结果图；

图7是本发明的一个示例性实施例提供的图像处理方法的流程示意图；

图8是本发明的一个示例性实施例提供的图像拼接装置的模块示意图；

图9是执行本发明实施例所描述的方法的系统100的示意图。

其中，附图标记包括：100-系统，110-显微镜，120-计算机系统。

具体实施方式

为了使本技术领域的人员更好地理解本发明，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本发明的一个实施例中，参见图1和图2，提供了一种图像拼接方法，包括以下步骤：

按照预设的排布顺序，对待拼接的多个单元图像进行行排布和列排布；

确定行排布方向和列排布方向中的一者作为第一方向，另一者作为第二方向；例如，图2中列方向为第一方向、行方向为第二方向；

确定在第一方向上的多个单元图像中相邻图像之间的接缝，并按照接缝对相邻的单元图像进行拼接，得到多个中间图像，图2中实例的中间图像数量为两幅；

确定在第二方向上的多个中间图像中相邻图像之间的接缝，并按照接缝对相邻的中间图像进行拼接，得到结果图像。图2中右侧最下方的图像为得到的结果图像。

在本实施例中，所述待拼接的多个单元图像呈两行以上和两列以上的排布。所述待拼接的多个单元图像可以是通过扫描设备按照预设的顺序对一对象进行扫描而被获取，也可以是通过其他途经获取的。

在一个实施例中，利用图像定位算法定位各个单元图像在全局中的位置。具体地，包括但不限于使用图像特征匹配算法来计算两相邻图像之间的相对位置，或者采用位置融合策略确定相邻图像之间的相对位置，或者依排布先验、融合图像相对位置信息的位置估计等方式来确定单张图像在全局的位置。根据定位得到的各个单元图像在全局中的位置，对待拼接的多个单元图像进行行排布和列排布，并根据定位到的位置确定相邻两个图像之间的重叠区域。

在一个实施例中，还可以通过扫描设备按照预设的顺序对一对象进行扫描而被获取的多个单元图像，根据扫描配置得到各个单元图像在全局中的位置，扫描配置比如扫描成像长宽像素尺寸为1920×1080，扫描装置在长度方向上平移距离设定为1850像素，机械误差为-10像素(表示实际移动距离会比设定目标少10像素)，假定扫描装置在沿着长度方向移动时，不会在宽度方向上发生偏差，则平移前后两次成像的重叠区域为一矩形，该重叠区域在长度方向上占80像素、在宽度方向上占1080像素，按照此重叠区域对所述单元图像进行长度方向的排布，宽度方向的排布同理，不再赘述。

本实施例中通过以下方式确定行排布方向和列排布方向中的一者作为第一方向，另一者作为第二方向：对待拼接的单元图像计算图像的列数×单个图像列像素值，得到第一乘积，以及对待拼接的单元图像计算图像的行数×单个图像行像素值，得到第二乘积。若所述第一乘积小于第二乘积，则确定列排布方向为第一方向，及确定行排布方向为第二方向；若所述第二乘积小于第一乘积，则确定行排布方向为第一方向，及确定列排布方向为第二方向。按照该方法确定第一方向和第二方向能够减少图像拼接的计算量，节约图像拼接的时间。

进一步地，基于确定的相邻两个图像之间的重叠区域，确定在第一方向上的多个单元图像中相邻图像之间的接缝，在所述重叠区域内找到由若干像素单元组成的接缝，使相邻两个图像在所述接缝对应的路径上的像素差异最小，并按照接缝对相邻的单元图像进行拼接，得到多个中间图像。然后在第二方向上寻找相邻的中间图像之间的接缝也是遵照相邻两个图像在所述接缝对应的路径上的像素差异最小的原则，使得拼接后的图像过渡最自然。

其中，在所述重叠区域内找到接缝的步骤包括：

对于重叠区域内的每一个像素单元，根据相邻两个图像在该像素单元的图像数据，计算该像素单元的像素差异度，本实施例中，相邻的图像P1与图像P2在重叠区域中有一个共同的像素单元U，图像P1在像素单元U的通道数据为R1、G1、B1，图像P2在像素单元U的通道数据为R2、G2、B2，则计算该像素单元U的像素差异度为：(R1-R2)²+(G1-G2)²+(B1-B2)²。

针对重叠区域中各个像素单元逐个进行上述计算，得到重叠区域对应的像素差异度表，以一矩形重叠区域A为例，重叠区域A对应的像素差异度表示意为表1。

表1重叠区域A对应的像素差异度表

192	60	163	162	126
					127	12	239	55	149
26	252	160	147	255
					39	5	170	93	184
168	119	152	205	132
					100	14	23	255	152
179	145	122	54	179
					26	64	32	245	40
185	82	228	238	208
					94	82	117	151	250

需要说明的是，本申请并不限定上述这一种差异度计算方式，其他合理的差异度计算方式也落入本申请的保护范围，例如，还可以采用R值差值绝对值、G值差值绝对值和B值差值绝对值之和来计算。在一个具体的实施例中，在计算差异度值之前，不排除先对源图像进行处理，包括但不限于利用色彩空间转换、卷积等方式对图像进行处理，再针对经过处理的图像计算像素差异度值。若经过处理后的图像仅包含单通道数据，则可以采用当前单通道数据来计算像素差异度值，比如计算一重叠像素单元在两个图像中的通道数据之差的绝对值，作为该像素差异度值。

进一步地，基于所述差异度表规划由相邻接的像素单元组成的路径，且满足该路径上的各像素单元的像素差异度总和最小。将规划得到的路径映射到所述重叠区域中，得到所述接缝。

在本实施例中，提供了以下规划路径方法：

从所述差异度表的第一行或第一列为起点，按照接缝的延伸方向，逐行或逐列地计算所述差异度表中每一单元对应的差异度累加值；

确定最后一行或最后一列中差异度累加值最小的单元为回溯起点；

从所述回溯起点沿着所述接缝的延伸方向回溯查找其在所述差异度表中的形成路径，作为规划得到的路径。

其中，计算每一单元对应的差异度累加值有多种方式：

第一种、通过以下公式由上而下逐行地计算每一单元对应的差异度累加值：

sum[i,j]＝e[i,j]+min(sum[i-1,j-1],sum[i-1,j],sum[i-1,j+1])，其中，sum[i,j]为第i行、第j列的单元对应的差异度累加值，e[i,j]为第i行、第j列的单元的差异度值，min()为取小函数，最上方第一行的每一单元对应的差异度累加值等于该像素单元的差异度值本身；采用该方法计算表1中每一像素单元对应的差异度累加值得到其对应的差异度累加值表如表2所示。

表2重叠区域A对应的差异度累加值表

192	60	163	162	126
					187	72	299	181	275
98	324	232	328	436
					137	103	402	325	512
271	222	255	530	457
					322	236	245	510	609
415	381	358	299	689
					407	422	331	544	339
592	413	559	569	547
					507	495	530	698	797

第二种、通过以下公式由下而上逐行地计算每一单元对应的差异度累加值：

sum[i,j]＝e[i,j]+min(sum[i+1,j-1],sum[i+1,j],sum[i+1,j+1])，其中，sum[i,j]为第i行、第j列的单元对应的差异度累加值，e[i,j]为第i行、第j列的单元的差异度值，min()为取小函数，最下方第一行的每一像素单元对应的差异度累加值等于该像素单元的差异度值本身。

第三种、通过以下公式由左向右逐列地计算每一单元对应的差异度累加值：

sum[i,j]＝e[i,j]+min(sum[i-1,j-1],sum[i,j-1],sum[i+1,j-1])，其中，sum[i,j]为第i行、第j列的单元对应的差异度累加值，e[i,j]为第i行、第j列的单元的差异度值，min()为取小函数，最左一列的每一像素单元对应的差异度累加值等于该像素单元的差异度值本身。

第四种、通过以下公式由右向左逐列地计算每一单元对应的差异度累加值：

sum[i,j]＝e[i,j]+min(sum[i-1,j+1],sum[i,j+1],sum[i+1,j+1])，其中，sum[i,j]为第i行、第j列的单元对应的差异度累加值，e[i,j]为第i行、第j列的单元的差异度值，min()为取小函数，最右一列的每一像素单元对应的差异度累加值等于该像素单元的差异度值本身。

以上述第一种方法确定的重叠区域对应的差异度累加值表(即表2)为例，介绍路径规划方法如下：以其最后一行中差异度累加值最小的单元为回溯起点，针对表2确定其最后一行中的sum[10,2]＝495为回溯起点。

确定所述回溯起点后，从所述回溯起点沿着所述接缝的延伸方向回溯查找其在所述差异度表中的形成路径，作为规划得到的路径。其中，从所述回溯起点回溯查找其在所述差异度表中的形成路径的方式包括但不限于以下方式：

例如，所述回溯起点为最后一行中差异度累加值最小的单元；以所述回溯起点作为第一个路径单元，由最后一行向第一行的方向逐行地确定每一行的路径单元，其中，每一行的路径单元为与前一行的路径单元相邻接的两个以上的单元中差异度累加值最小的一个单元；按照该方法表2的回溯起点sum[10,2]开始确定所述重叠区域A的规划路径如表3中带*的表格单元格所示：

表3重叠区域A的规划路径

192	*60	163	162	126
					187	*72	299	181	275
*98	324	232	328	436
					137	*103	402	325	512
271	*222	255	530	457
					322	236	*245	510	609
415	381	358	*299	689
					407	422	*331	544	339
592	*413	559	569	547
					507	*495	530	698	797

其他从下往上、从左往右、从右往左的路径规划方式同理于此，不再赘述。

需要说明的是，上述实施例提供的从终点回溯的方式规划路径仅是一种可行方案，上述规划路径的方法能够极大地节约确定规划路径的时间。但本发明并不限定上述一种确定满足该路径上的各像素单元的像素差异度总和最小的路径的方法，例如，还可以枚举所有路径，计算每一种路径上的各像素单元的差异度总和，确定其中差异度总和最小的路径。

在本发明的另一实施例中，不同于上述实施例通过动态规划的方式在所述重叠区域中找到接缝，本实施例利用图割算法在所述重叠区域内找到接缝，其步骤包括：

将重叠区域的图像表示为图的形式，其中，图的节点表示图像中的像素，图的边表示像素之间的关系；

给图的节点和边分配权重；

通过最小化割的代价函数在图上找到一个割(即接缝)，将所述图分为前景和背景两个部分，所述代价函数的构成因素包括像素之间的相似性。

在本发明的另一实施例中，利用维诺图法在所述重叠区域内找到接缝，其步骤包括：

分别对各个待拼接的单元图像生成维诺图；

按照维诺图拼接线网络，确定在所述重叠区域内的接缝位置。

在确定所述接缝后，按照接缝对相邻的第一图像和第二图像进行拼接，拼接步骤包括：

根据所述接缝，生成第一图像、第二图像各自的掩膜，其中，在第一图像中位于所述接缝远离第二图像的一侧的各像素单元对应的掩膜为1，第一图像的其余像素单元对应的掩膜为0；在第二图像中位于所述接缝远离第一图像的一侧的各像素单元对应的掩膜为1，第二图像的其余像素单元对应的掩膜为0；

接缝上的像素可以来自左边，也可以来自右边，随机设置；例如，在接缝上的一像素单元在第一图像上取掩模为1、在第二图像上取掩膜为0；或者，反之，在接缝上的一像素单元在第一图像上取掩模为0、在第二图像上取掩膜为1；或者，所述第一图像和第二图像中的接缝所在的像素单元对应的掩膜均为1，对掩膜均为1的像素作平均处理，即取对应的第一图像上像素和第二图像上像素的平均值；

在另一种确定接缝上的像素掩模的实施例中，在所述第一图像与第二图像的重叠区域沿着接缝的延伸方向确定该重叠区域的中线；若接缝所在的像素单元相比于所述中线更靠近第一图像，则所述第一图像在该像素单元的对应掩膜为1，第二图像在该像素单元的对应掩膜为0。

在确定图像掩模后，在像素单元的图像(像素信息)与对应的掩膜之间执行逐位与的逻辑操作，并将完成逻辑操作的结果按照各个单元图像的位置关系排布，得到拼接后的图像。

本发明提供的上述图像拼接方法，在第一方向和第二方向上分别通过接缝法进行图像拼接，可以在融合相邻两张图像的过程中尽量使过渡变得自然，这一点对于显微镜成像格外重要，因为相比于常规的相机拍摄的多张图像之间的拼接，显微镜成像的拼接处上的像素处理对于拼接后的图像质量尤其关键，采用本实施例的接缝网络方式来拼接图像的过程如图4所示，图4中左上方5个图像为其中一列上待拼接的单元图像，按照上述接缝确定方法和拼接方法在列方向上对多个单元图像进行拼接，得到中间图像，每一列都得到一个中间图像，图中为六个中间图像，再以行方向对六个中间图像进行拼接，由此得到结果图像。图4右侧下方图像为按照上述图像拼接方法确定的所有图像单元的接缝网络，图4左侧下方图像为按照上述图像拼接方法得到的结果图像。对比图3所示的现有技术得到的拼接图像和接缝网络，可见本申请提供的图像拼接方法能够有效提高图像拼接质量。

在本发明的一个实施例中，提供了一种图像处理方法，参加图7，包括以下步骤：

对待成像的物体进行扫描摄像，得到多个子图像；

所述多个子图像按照扫描的顺序进行行排布和列排布，得到如图5所示的预览图像，图5左上方区域即图5中矩形框所示区域存在明显不合理的错位现象；

基于所述预览图像，确定感兴趣区域，并确定所述感兴趣区域对应的各个子图像为待拼接的单元图像；

利用上述任一实施例所述的图像拼接方法，对所述待拼接的单元图像进行拼接，得到如图6所示的结果图像，其拼接图像质量相比图5具有显著改善。

在本发明的一个实施例中，提供了一种图像拼接装置，参见图8，包括以下模块：

扫描模块，其被配置为对待成像的物体进行扫描摄像，得到多个子图像；

排布模块，其被配置为按照预设的排布顺序对待拼接的多个单元图像进行行排布和列排布；

预览模块，其被配置为所述多个子图像按照扫描的顺序进行行排布和列排布，得到预览图像；

兴趣区域模块，其被配置为根据所述预览图像确定感兴趣区域，并确定所述感兴趣区域对应的各个子图像为待拼接的单元图像；所述感兴趣区域可以根据预设的规则或要求，由所述兴趣区域模块自动确定；也可由人工标注或确定；

顺序设置模块，其被配置为确定行排布方向和列排布方向中的一者作为第一方向，另一者作为第二方向，具体可以按照上述图像拼接方法实施例中提供的确定行排布方向和列排布方向方式确定所述第一方向和所述第二方向，不再赘述；

第一顺序拼接模块，其被配置为确定在第一方向上的多个单元图像中相邻图像之间的接缝，并按照接缝对相邻的单元图像进行拼接，得到多个中间图像；

第二顺序拼接模块，其被配置为确定在第二方向上的多个中间图像中相邻图像之间的接缝，并按照接缝对相邻的中间图像进行拼接，得到结果图像。

其中，所述第一顺序拼接模块和第二顺序拼接模块均包括以下单元：

重叠单元，其被配置为确定相邻两个图像之间的重叠区域，所述重叠单元被配置为按照上述图像拼接方法实施例中提供的确定重叠区域的多种方法中的一种实现确定相邻两个图像之间的重叠区域，不再赘述；

寻找接缝单元，其被配置为在所述重叠区域内找到由若干像素单元组成的接缝，使相邻两个图像在所述接缝对应的路径上的像素单元差异度最小；所述寻找接缝单元可按照上述图像拼接方法实施例中提供的在所述重叠区域内找到由若干像素单元组成的接缝的多种方法中的任意一种确定接缝，不再赘述。

在本发明的一个实施例中，参见图9，提供了一种显微成像系统，包括显微镜及如上任一实施例所述的图像拼接装置。

一些实施例涉及一种包括应用于图像扫描、图像拼接装置的显微镜。可选地，显微镜可以是执行如图1和图7中的一个或多个方法流程的系统的一部分或连接到该系统。图9示出被配置为执行本发明所描述的方法的系统100的示意图。系统100包括显微镜110和计算机系统120。显微镜110配置为拍摄图像，并连接到计算机系统120。计算机系统120被配置为执行本发明所描述的方法的至少一部分。计算机系统120可以被配置为执行机器学习算法。计算机系统120和显微镜110可以是单独的实体，但也可以集成到一个公用外壳中。计算机系统120可以是显微镜110的中央处理系统的一部分并且/或者，计算机系统120可以是显微镜110的子组件的一部分，例如显微镜110的传感器、执行器、照相机或照明单元等。

计算机系统120可以是具有一个或多个处理器和一个或多个存储装置的本地计算机装置(例如个人电脑、笔记本、平板电脑或移动电话)，或者也可以是分布式计算机系统(例如，具有分布在各个位置、例如本地客户端和/或一个或多个远程服务器场所和/或数据中心的一个或多个处理器和一个或多个存储装置)。计算机系统120可以包括任何电路或电路的组合。在一个实施例中，计算机系统120可以包括一个或多个可以是任何类型的处理器。如本发明所使用的，处理器可以指任何类型的计算电路，例如但不限于微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长长指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、例如显微镜或显微镜组件(例如相机)的现场可编程门阵列(FPGA)或任何其他类型处理器或处理电路。可以包括在计算机系统120中的其他类型的电路可以是定制电路、专用集成电路(ASlC)等，例如在移动电话、平板电脑、笔记本电脑、双向无线电和类似电子系统之类的无线装置中使用的一个或多个电路(例如通信电路)。计算机系统120可以包括一个或多个存储设备，其可以包括一个或多个适合特定应用的存储元件，例如形式为随机存取存储器(RAM)的主存储器、一个或多个硬盘驱动器和/或一个或多个处理可移除的媒体介质、例如光盘(CD)、闪存卡、数字视频磁盘(DVD)等的驱动器。计算机系统120还可以包括显示装置、一个或多个扬声器以及键盘和/或控制器，其可以包括鼠标、轨迹球、触摸屏、语音识别装置或允许系统用户将信息输入到计算机系统120或从计算机系统120接收信息的任何其它装置。

在本发明的一个实施例中，提供了一种电子设备，包括处理器和存储器，其中，所述存储器用于存储程序指令，所述处理器被配置为运行所述程序指令，所述程序指令被运行而执行如上方法实施例所执行的步骤。

在本发明的一个实施例中，提供了一种计算机可读存储介质，用于存储程序指令，所述程序指令被配置为调用而执行如上方法实施例所执行的步骤。

在本发明的一个实施例中，提供了一种计算机程序产品，包括被可读存储的计算机程序，所述计算机程序包括程序指令，当所述程序指令在计算机设备上运行时，计算机设备执行如上方法实施例所执行的步骤。

需要说明的是，上述图像处理方法、图像拼接装置、显微成像系统、电子设备、计算机可读存储介质、计算机程序产品实施例与图像拼接方法实施例属于相同的发明构思，通过引用的方式将图像拼接方法实施例的全部内容并入图像处理方法、图像拼接装置、显微成像系统、电子设备、计算机可读存储介质、计算机程序产品实施例中。

方法步骤中的一些或全部可以通过(或使用)硬件设备(例如，处理器、微处理器、可编程计算机或电子电路)来执行。在一些实施例中，这种设备可以执行最重要的方法步骤中的一个或多个。

取决于某些实施要求，本发明的实施例可以在硬件或软件中实施。可以使用存储在其上的电子可读控制信号的非暂时性存储介质(诸如数字存储介质、例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH)进行该实施，该电子可读控制信号与可编程计算机系统协作(或能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。

本发明的一些实施例包括具有电子可读控制信号的数据载体，该电子可读控制信号能够与可编程计算机系统协作，从而执行本发明描述的方法之一。

通常，本发明的实施例可以实施为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可运行，以用于执行所述方法之一。程序代码例如可以存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的、用于执行本发明所述方法之一的计算机程序。

换而言之，本发明的实施例因此是一种计算机程序，其具有当计算机程序在计算机上运行时用于执行本发明所述方法之一的程序代码。

因此，本发明的又一实施例是一种存储介质(或数据载体或计算机可读介质)，其包括存储在其上的计算机程序，该计算机程序用于在其由处理器执行时执行本发明所述方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。本发明的又一个实施例是如本发明所述的设备，其包括处理器和存储介质。

因此，本发明的又一实施例是表示用于执行本发明所述方法之一的计算机程序的数据流或信号序列。数据流或信号序列例如可以配置为经由数据通信连接、例如经由互联网来传输。

又一实施例包括处理装置、例如计算机或可编程逻辑装置，其配置为或适于执行本发明所述方法之一。

又一实施例包括一种计算机，该计算机上安装了用于执行本发明所述方法之一的计算机程序。

本发明的又一实施例包括一种设备或系统，其配置为将用于执行本发明所述方法之一的计算机程序(例如，以电子方式或光学方式)传送给接收器。接收器例如可以是计算机、移动装置、存储装置等。该设备或系统例如可以包括用于将计算机程序传输到接收器的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本发明所述方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本发明所述方法之一。通常，该方法优选地由任何硬件设备执行。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如本发明所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合，并且可以缩写为“/”。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (22)

1.一种图像拼接方法，其特征在于，包括以下步骤：

按照预设的排布顺序，对待拼接的多个单元图像进行行排布和列排布；

确定行排布方向和列排布方向中的一者作为第一方向，另一者作为第二方向；

确定在第一方向上的多个单元图像中相邻图像之间的接缝，并按照接缝对相邻的单元图像进行拼接，得到多个中间图像；

确定在第二方向上的多个中间图像中相邻图像之间的接缝，并按照接缝对相邻的中间图像进行拼接，得到结果图像。

2.根据权利要求1所述的图像拼接方法，其特征在于，确定相邻图像之间的接缝的步骤包括：

确定相邻两个图像之间的重叠区域；

在所述重叠区域内找到由若干像素单元组成的接缝，使相邻两个图像在所述接缝对应的路径上的像素差异最小。

3.根据权利要求2所述的图像拼接方法，其特征在于，通过以下方式确定所述重叠区域：

利用图像定位算法定位各个单元图像在全局中的位置，并根据定位到的位置确定相邻两个图像之间的重叠区域。

4.根据权利要求2所述的图像拼接方法，其特征在于，所述单元图像通过扫描设备扫描得到，通过以下方式确定所述重叠区域：

根据预设的扫描配置，得到各个单元图像在全局中的位置，进而确定相邻两个图像之间的重叠区域。

5.根据权利要求2所述的图像拼接方法，其特征在于，在所述重叠区域内找到接缝的步骤包括：

对于重叠区域内的每一个像素单元，根据相邻两个图像在该像素单元的图像数据，计算该像素单元的差异度，得到重叠区域对应的差异度表；

基于所述差异度表规划由相邻接的像素单元组成的路径，且满足该路径上的各像素单元的差异度总和最小；

将规划得到的路径映射到所述重叠区域中，得到所述接缝。

6.根据权利要求5所述的图像拼接方法，其特征在于，通过以下方式计算一像素单元的差异度：

获取相邻的第一图像在该像素单元的通道数据R/G/B值及相邻的另一图像在该像素单元的通道数据R/G/B值；

分别计算所述第一图像与另一图像在该像素单元的R值差值、G值差值和B值差值；

根据所述R值差值、G值差值和B值差值，计算该像素单元的差异度。

7.根据权利要求5所述的图像拼接方法，其特征在于，通过以下方式规划路径：

从所述差异度表的第一行或第一列为起点，按照接缝的延伸方向，逐行或逐列地计算所述差异度表中每一单元对应的差异度累加值；

确定最后一行或最后一列中差异度累加值最小的单元为回溯起点；

从所述回溯起点沿着所述接缝的延伸方向回溯查找其在所述差异度表中的形成路径，作为规划得到的路径。

8.根据权利要求7所述的图像拼接方法，其特征在于，从所述回溯起点回溯查找其在所述差异度表中的形成路径的方式为：

所述回溯起点为最后一行中差异度累加值最小的单元；以所述回溯起点作为第一个路径单元，由最后一行向第一行的方向逐行地确定每一行的路径单元，其中，每一行的路径单元为与前一行的路径单元相邻接的两个以上的单元中差异度累加值最小的一个单元；

或者，所述回溯起点为最后一列中差异度累加值最小的单元；以所述回溯起点作为第一个路径单元，由最后一列向第一列的方向逐列地确定每一列的路径单元，其中，每一列的路径单元为与前一列的路径单元相邻接的两个以上的单元中差异度累加值最小的一个单元。

9.根据权利要求2所述的图像拼接方法，其特征在于，利用图割算法在所述重叠区域内找到接缝，其步骤包括：

将重叠区域的图像表示为图的形式，其中，图的节点表示图像中的像素，图的边表示像素之间的关系；

给图的节点和边分配权重；

通过最小化割的代价函数在图上找到一个割，将所述图分为前景和背景两个部分，所述代价函数的构成因素包括像素之间的相似性。

10.根据权利要求2所述的图像拼接方法，其特征在于，利用维诺图法在所述重叠区域内找到接缝，其步骤包括：

分别对各个待拼接的单元图像生成维诺图；

按照维诺图拼接线网络，确定在所述重叠区域内的接缝位置。

11.根据权利要求1至10中任一项所述的图像拼接方法，其特征在于，按照接缝对相邻的第一图像和第二图像进行拼接的步骤包括：

根据所述接缝，生成第一图像、第二图像各自的掩膜，其中，在第一图像中位于所述接缝远离第二图像的一侧的各像素单元对应的掩膜为1，第一图像的其余像素单元对应的掩膜为0；在第二图像中位于所述接缝远离第一图像的一侧的各像素单元对应的掩膜为1，第二图像的其余像素单元对应的掩膜为0；

在像素单元的图像与对应的掩膜之间执行逐位与的逻辑操作，并将完成逻辑操作的结果按照各个单元图像的位置关系排布，得到拼接后的图像。

12.根据权利要求11所述的图像拼接方法，其特征在于，通过以下方式确定第一图像、第二图像在接缝处的掩膜：

接缝所在的一像素单元在第一图像、第二图像中的一者取掩膜为1，在另一者取掩膜为0；

或者，所述第一图像和第二图像中的接缝所在的像素单元对应的掩膜均为1。

13.根据权利要求1至10中任一项所述的图像拼接方法，其特征在于，通过以下方式确定第一方向和第二方向：

对待拼接的单元图像计算图像的列数×单个图像列像素值，得到第一乘积，以及对待拼接的单元图像计算图像的行数×单个图像行像素值，得到第二乘积；

若所述第一乘积小于第二乘积，则确定列排布方向为第一方向，及确定行排布方向为第二方向；

若所述第二乘积小于第一乘积，则确定行排布方向为第一方向，及确定列排布方向为第二方向。

14.根据权利要求1至10中任一项所述的图像拼接方法，其特征在于，所述待拼接的多个单元图像是通过扫描设备按照预设的顺序对一对象进行扫描而被获取；

按照扫描的行、列顺序对所述单元图像进行行排布和列排布，所述待拼接的多个单元图像呈两行以上和两列以上的排布。

15.一种图像处理方法，其特征在于，包括以下步骤：

对待成像的物体进行扫描摄像，得到多个子图像；

所述多个子图像按照扫描的顺序进行行排布和列排布，得到预览图像；

基于所述预览图像，确定感兴趣区域，并确定所述感兴趣区域对应的各个子图像为待拼接的单元图像；

利用如权利要求1至14中任一项所述的图像拼接方法，对所述待拼接的单元图像进行拼接。

16.一种图像拼接装置，其特征在于，包括以下模块：

排布模块，其被配置为按照预设的排布顺序对待拼接的多个单元图像进行行排布和列排布；

顺序设置模块，其被配置为确定行排布方向和列排布方向中的一者作为第一方向，另一者作为第二方向；

第一顺序拼接模块，其被配置为确定在第一方向上的多个单元图像中相邻图像之间的接缝，并按照接缝对相邻的单元图像进行拼接，得到多个中间图像；

第二顺序拼接模块，其被配置为确定在第二方向上的多个中间图像中相邻图像之间的接缝，并按照接缝对相邻的中间图像进行拼接，得到结果图像。

17.根据权利要求16所述的图像拼接装置，其特征在于，所述第一顺序拼接模块和第二顺序拼接模块均包括以下单元：

重叠单元，其被配置为确定相邻两个图像之间的重叠区域；

寻找接缝单元，其被配置为在所述重叠区域内找到由若干像素单元组成的接缝，使相邻两个图像在所述接缝对应的路径上的像素单元差异度最小。

18.根据权利要求16或17所述的图像拼接装置，其特征在于，还包括以下模块：

扫描模块，其被配置为对待成像的物体进行扫描摄像，得到多个子图像；

预览模块，其被配置为所述多个子图像按照扫描的顺序进行行排布和列排布，得到预览图像；

兴趣区域模块，其被配置为根据所述预览图像确定感兴趣区域，并确定所述感兴趣区域对应的各个子图像为待拼接的单元图像。

19.一种显微成像系统，其特征在于，包括显微镜及如权利要求16至18中任一项所述的图像拼接装置。

20.一种电子设备，包括处理器和存储器，其中，所述存储器用于存储程序指令，所述处理器被配置为运行所述程序指令，其特征在于，所述程序指令被运行而执行如权利要求1至15中任一项所述的方法的步骤。

21.一种计算机可读存储介质，用于存储程序指令，其特征在于，所述程序指令被配置为调用而执行如权利要求1至15中任一项所述的方法的步骤。

22.一种计算机程序产品，包括被可读存储的计算机程序，所述计算机程序包括程序指令，其特征在于，当所述程序指令在计算机设备上运行时，计算机设备执行如权利要求1至15中任一项所述的方法的步骤。