CN112381718A - 基于仿射变换的显微序列图像自动拼接方法、系统及装置 - Google Patents
基于仿射变换的显微序列图像自动拼接方法、系统及装置 Download PDFInfo
- Publication number
- CN112381718A CN112381718A CN202011328722.1A CN202011328722A CN112381718A CN 112381718 A CN112381718 A CN 112381718A CN 202011328722 A CN202011328722 A CN 202011328722A CN 112381718 A CN112381718 A CN 112381718A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- affine transformation
- sequence
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 72
- 230000009466 transformation Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 16
- 230000000694 effects Effects 0.000 abstract description 7
- 238000009825 accumulation Methods 0.000 abstract description 5
- 230000000644 propagated effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉和图像处理技术领域，具体涉及了一种基于仿射变换的显微序列图像自动拼接方法、系统及装置，旨在解决现有技术无法有效解决显微图像拍摄过程中的图像变形对拼接的影响，拼接误差会出现累积和传播，因而拼接效果达不到预期的问题。本发明包括：提取显微序列图像重叠区域的特征并进行特征匹配；根据特征在图像上的位置信息，赋予每对特征点不同的权重；通过仿射变换模型拟合相邻图像间的变化，并设定全局优化的能量函数；最小化能量函数，获得各相邻图像的仿射变换关系；根据仿射变换关系进行拼接获得显微拼接图像。本发明通过全局拼接的方法，避免拼接过程中误差累积和图像边缘畸变对结果的影响，能够获得较高拼接精度的图像。
Description
技术领域
本发明属于计算机视觉和图像处理技术领域，具体涉及了一种基于仿射变换的显微序列图像自动拼接方法、系统及装置。
背景技术
从十七世纪初制造出第一台光学显微镜，到二十世纪初设计出第一台透视电子显微镜，人类对微观世界的探索逐渐深入。随着电子技术的迅猛发展，一些透射电子显微镜的分辨率能够达到亚埃级，人们可以清晰的看到原子的结构。由于获得的图像分辨率越来越高，显微镜逐渐在医学研究和生物学等领域中被广泛使用。随之也带来一个问题，得到的图像分辨率越高，显微镜的成像视野越小。这样，很难同时获得目标事物的大幅高分辨率图像，为后续的研究带来一定程度上的困难。
为了获得高分辨率下的大幅显微图像，目前大致有两种解决方案。第一种是改进显微镜本身的硬件系统，提高分辨率的同时增大成像视野。这种方法可以较为直接的拍摄高分辨率下的大幅显微图像，但这种设备多为大型设备，研制和维护费用昂贵，不具备经济性。第二种是从得到的显微图像出发，设计一系列图像拼接算法，将得到的多幅小视野高分辨率图像拼接为一幅大幅高分辨率图像，具有更高的灵活性。
图像拼接能够有效克服成像设备不能兼顾成像分辨率和成像视野的问题。在卫星遥感、目标跟踪和识别，病变检测和病变细胞识别，生物学研究的细胞分类和三维立体重建等领域扮演着重要角色。目前对大目标场景高分辨显微图像的采集方式主要包括两种，一种是分割切片为显微镜视场大小，逐个切片进行拍摄。另一种是移动载物台，对切片图像进行分块拍摄，这种方法会使得相邻图像间存在重叠区域。由于重叠区域的引入可以避免图像边缘的细节损失和为图像拼接带来参考，本拼接方法基于这种采集方式展开。
由于拍摄和图像畸变等原因，显微图像会出现不同程度的变形，使得相邻图像重叠区域(即图像边缘部分)的内容出现不一致的情况。所以需要建立参数可调的仿射变换模型来矫正不同程度的图像形变和计算不同图像的位置坐标，以获得质量较好的大幅高分辨率显微图像。
现有的显微序列图像拼接方法主要包括两类，基于图像两两拼接的顺序拼接方法和基于最小生成树的方法。第一种拼接方法选择以某一张图像为基准，依据位置信息依次向前或向后对相邻的图像进行拼接，最后形成一张大幅的图像。这种方法会导致误差的累积和传播。在拼接过程中，一旦出现拼接误差，这种误差会一直影响之后的拼接过程，从而造成明显的全局图像拼接错误。另一种拼接方法是最小生成树法。首先建立图模型，将每幅待拼接图像作为图的节点，将相邻的每两张图像相连作为图的边，两两图像拼接效果的度量作为边的权重。通过最小生成树的方法来确定待拼接图像间的位置关系。这种方法能够有效避免局部拼接错误对全局图像拼接的影响，但是拼接结果只考虑了在最小生成树上与待拼接图像存在邻接关系的相邻图像，没有考虑与其他相邻图像之间关系，待拼接图像与其他相邻图像间不能达到较好的拼接效果。而且，这些拼接方法在进行拼接时，大多认为所有的显微图像不存在形变，只有位置差异，服从同一拼接模型，因而不能矫正或消除图像拍摄和畸变带来的影响。
总的来说，现有技术不考虑显微图像拍摄过程中造成的图像变形对拼接的影响，从而无法避免拼接误差的累积和传播，因此，拼接效果尚不能达到预期。
发明内容
为了解决现有技术中的上述问题，即现有技术无法有效解决显微图像拍摄过程中的图像变形对拼接的影响，拼接误差会出现累积和传播，因而拼接效果达不到预期的问题，本发明提供了一种基于仿射变换的显微序列图像自动拼接方法，该方法包括：
步骤S10，获取相邻图像间存在重叠区域的显微序列图像作为待拼接序列图像；
步骤S20，分别提取所述待拼接序列图像中的图像重叠区域的特征，并进行特征匹配，获得相邻图像的特征点对集合；
步骤S30，基于所述相邻图像的特征点对集合中每一个特征点对在图像上的位置信息，为每对特征点赋予不同的权重；
步骤S40，基于所述相邻图像的特征点对集合以及每对特征点的权重，通过仿射模型拟合相邻图像间的变化，并设定全局优化的能量函数；
步骤S50，最小化所述能量函数，获得各相邻图像的仿射变换关系；
步骤S60，基于所述各相邻图像的仿射变换关系，进行所述待拼接序列图像的拼接，获得显微拼接图像。
在一些优选的实施例中，步骤S30中为每对特征点赋予不同的权重，其方法为：
其中，wi，k代表第i张图像与其相邻图像的第k对特征点的权重，dmin代表特征点对中的特征点到各自所在图像边缘的距离的最小值，L代表第i张图像与其相邻图像的边缘畸变的范围。
在一些优选的实施例中，所述能量函数，其公式表示为：
其中，
表示相邻的第i-1张和第i张图像重叠区域的第k个特征点对的坐标，Ai-1和Ai表示表示相邻的第i-1张和第i张图像对应的仿射变换关系，p(Ai)表示图像Ai的剪切形变约束，λ为设定的约束强度参数，wi，k表示第i张图像与其相邻图像的第k对特征点的权重，n代表待拼接序列图像中图像的数量，K代表相邻的第i-1张和第i张图像重叠区域的特征点对的数量，
代表向量
的二范数。
在一些优选的实施例中，所述图像Ai的剪切形变约束，其公式表示为：
p(Ai)＝‖Ai-I‖2
其中，I代表单位矩阵，‖Ai-I‖2代表矩阵Ai-I的二范数。
在一些优选的实施例中，所述设定的约束强度参数λ，其取值范围为[10-4，10-2]。
在一些优选的实施例中，所述各相邻图像的仿射变换关系包括各相邻图像的旋转变换关系、剪切形变关系和尺度缩放关系。
本发明的另一方面，提出了一种基于仿射变换的显微序列图像自动拼接系统，该系统包括以下模块：
输入模块，配置为获取相邻图像间存在重叠区域的显微序列图像作为待拼接序列图像并输入；
特征点对提取模块，配置为分别提取所述待拼接序列图像中的图像重叠区域的特征，并进行特征匹配，获得相邻图像的特征点对集合；
权重赋予模块，配置为基于所述相邻图像的特征点对集合中每一个特征点对在图像上的位置信息，为每对特征点赋予不同的权重；
拟合模块，配置为基于所述相邻图像的特征点对集合以及每对特征点的权重，通过仿射模型拟合相邻图像间的变化，并设定全局优化的能量函数；
仿射变换求解模块，配置为最小化所述能量函数，获得各相邻图像的仿射变换关系；
拼接模块，配置为基于所述各相邻图像的仿射变换关系，进行所述待拼接序列图像的拼接，获得显微拼接图像。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于仿射变换的显微序列图像自动拼接方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于仿射变换的显微序列图像自动拼接方法。
本发明的有益效果：
(1)本发明基于仿射变换的显微序列图像自动拼接方法，通过仿射变换模型拟合显微序列图像之间的关系，能够将部分重叠的显微序列图像拼接为一幅大幅图像，从而解决显微成像设备成像视野受限的问题。
(2)本发明基于仿射变换的显微序列图像自动拼接方法，通过最小化全局最优的能量函数的方法获取显微序列图像间的全局仿射变换关系，避免了拼接过程中的误差累积和图像边缘畸变对拼接结果造成的影响，显微序列图像拼接精度高、效果好。
(3)本发明基于仿射变换的显微序列图像自动拼接方法，充分考虑显微序列图像越接近边缘部分出现畸变的可能性越大的问题，为特征点对添加不同的权重，削弱畸变区域对显微序列图像拼接造成的影响，从而进一步提升了显微序列图像拼接的精度和效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于仿射变换的显微序列图像自动拼接方法的流程示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于仿射变换的显微序列图像自动拼接方法，采用将同层所有切片整体拼接优化的方法进行显微序列图像的拼接，建立参数可调的仿射变换模型来在二维方向上确定切片图像的位置关系。首先依据图像信息提取相邻图像重叠区域的特征点，并对这些特征点依据仿射变换模型建立对应关系，粗略估计图像的大致位置；然后依据特征点在图像上的位置信息，为每对特征点赋予不同的权重来优化仿射变换模型，进行多幅图像拼接的优化，来消除图像畸变等带来的误差。
本发明的一种基于仿射变换的显微序列图像自动拼接方法，该方法包括：
步骤S10，获取相邻图像间存在重叠区域的显微序列图像作为待拼接序列图像；
步骤S20，分别提取所述待拼接序列图像中的图像重叠区域的特征，并进行特征匹配，获得相邻图像的特征点对集合；
步骤S30，基于所述相邻图像的特征点对集合中每一个特征点对在图像上的位置信息，为每对特征点赋予不同的权重；
步骤S40，基于所述相邻图像的特征点对集合以及每对特征点的权重，通过仿射模型拟合相邻图像间的变化，并设定全局优化的能量函数；
步骤S50，最小化所述能量函数，获得各相邻图像的仿射变换关系；
步骤S60，基于所述各相邻图像的仿射变换关系，进行所述待拼接序列图像的拼接，获得显微拼接图像。
为了更清晰地对本发明基于仿射变换的显微序列图像自动拼接方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明一种实施例的基于仿射变换的显微序列图像自动拼接方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，获取相邻图像间存在重叠区域的显微序列图像作为待拼接序列图像。
步骤S20，分别提取所述待拼接序列图像中的图像重叠区域的特征，并进行特征匹配，获得相邻图像的特征点对集合。
首先，依据图像信息提取相邻图像重叠区域的特征点并进行鲁棒性匹配。记(Xi-1，i，Xi，i-1)为相邻两张图像重叠区域对应特征点对的坐标，根据这些特征点对建立参数可调的仿射变换模型来调整待拼接图像的形变并确定其位置。
由于在拍摄过程中，显微图像会出现不同程度的变形，使得相邻图像重叠区域(即待拼接图像中各图像边缘部分)的内容出现不一致的情况。所以在拼接过程中不仅需要考虑图像的平移变换，还要考虑图像的旋转变换，剪切形变和尺度放缩等
即通过放射变换模型来拟合待拼接图像中各图像之间的仿射变换关系，该仿射变换关系包括各相邻图像的旋转变换关系、剪切形变关系和尺度缩放关系。
步骤S30，基于所述相邻图像的特征点对集合中每一个特征点对在图像上的位置信息，为每对特征点赋予不同的权重。
由于成像设备在成像过程中会受到不同程度的干扰，得到的显微图像的边缘会出现畸变。通过实验和观察得知，越靠近图像边缘的部分出现畸变的可能性越大，所以依据特征点距图像边缘的距离，采用对每对特征点添加权重wi，k的方法来削弱畸变区域对图像拼接造成的影响，如式(1)所示：
其中，wi，k代表第i张图像与其相邻图像的第k对特征点的权重，dmin代表特征点对中的特征点到各自所在图像边缘的距离的最小值，L代表第i张图像与其相邻图像的边缘畸变的范围。
步骤S40，基于所述相邻图像的特征点对集合以及每对特征点的权重，通过仿射模型拟合相邻图像间的变化，并设定全局优化的能量函数。
由于基于图像两两拼接的顺序的仿射变换方法会导致误差的累积和传播，我们采用基于全局优化的方法对待拼接图像同时进行拼接优化，设定全局优化的能量函数，如式(2)所示：
其中，
表示相邻的第i-1张和第i张图像重叠区域的第k个特征点对的坐标，Ai-1和Ai表示表示相邻的第i-1张和第i张图像对应的仿射变换关系，p(Ai)表示图像Ai的剪切形变约束，λ为设定的约束强度参数，wi，k表示第i张图像与其相邻图像的第k对特征点的权重，n代表待拼接序列图像中图像的数量，K代表相邻的第i-1张和第i张图像重叠区域的特征点对的数量，
代表向量
的二范数。本发明一个优选的实施例中，λ的取值范围为[10-4，10-2]。
图像Ai的剪切形变约束，其公式表示如式(3)所示：
p(Ai)＝‖A-I‖2 (3)
其中，I代表单位矩阵，‖Ai-I‖2代表矩阵Ai-I的二范数。
步骤S50，最小化所述能量函数，获得各相邻图像的仿射变换关系。
最小化上述能量函数即可获得各相邻图像的仿射变换关系。
步骤S60，基于所述各相邻图像的仿射变换关系，进行所述待拼接序列图像的拼接，获得显微拼接图像。
本发明第二实施例的基于仿射变换的显微序列图像自动拼接系统，该系统包括以下模块：
输入模块，配置为获取相邻图像间存在重叠区域的显微序列图像作为待拼接序列图像并输入；
特征点对提取模块，配置为分别提取所述待拼接序列图像中的图像重叠区域的特征，并进行特征匹配，获得相邻图像的特征点对集合；
权重赋予模块，配置为基于所述相邻图像的特征点对集合中每一个特征点对在图像上的位置信息，为每对特征点赋予不同的权重；
拟合模块，配置为基于所述相邻图像的特征点对集合以及每对特征点的权重，通过仿射模型拟合相邻图像间的变化，并设定全局优化的能量函数；
仿射变换求解模块，配置为最小化所述能量函数，获得各相邻图像的仿射变换关系；
拼接模块，配置为基于所述各相邻图像的仿射变换关系，进行所述待拼接序列图像的拼接，获得显微拼接图像。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于仿射变换的显微序列图像自动拼接系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于仿射变换的显微序列图像自动拼接方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于仿射变换的显微序列图像自动拼接方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种基于仿射变换的显微序列图像自动拼接方法，其特征在于，该方法包括：
步骤S10，获取相邻图像间存在重叠区域的显微序列图像作为待拼接序列图像；
步骤S20，分别提取所述待拼接序列图像中的图像重叠区域的特征，并进行特征匹配，获得相邻图像的特征点对集合；
步骤S30，基于所述相邻图像的特征点对集合中每一个特征点对在图像上的位置信息，为每对特征点赋予不同的权重；
步骤S40，基于所述相邻图像的特征点对集合以及每对特征点的权重，通过仿射模型拟合相邻图像间的变化，并设定全局优化的能量函数；
步骤S50，最小化所述能量函数，获得各相邻图像的仿射变换关系；
步骤S60，基于所述各相邻图像的仿射变换关系，进行所述待拼接序列图像的拼接，获得显微拼接图像。
2.根据权利要求1所述的基于仿射变换的显微序列图像自动拼接方法，其特征在于，步骤S30中为每对特征点赋予不同的权重，其方法为：
其中，wi，k代表第i张图像与其相邻图像的第k对特征点的权重，dmin代表特征点对中的特征点到各自所在图像边缘的距离的最小值，L代表第i张图像与其相邻图像的边缘畸变的范围。
3.根据权利要求1所述的基于仿射变换的显微序列图像自动拼接方法，其特征在于，所述能量函数，其公式表示为：
其中，
表示相邻的第i-1张和第i张图像重叠区域的第k个特征点对的坐标，Ai-1和Ai表示表示相邻的第i-1张和第i张图像对应的仿射变换关系，p(Ai)表示图像Ai的剪切形变约束，λ为设定的约束强度参数，wi，k表示第i张图像与其相邻图像的第k对特征点的权重，n代表待拼接序列图像中图像的数量，K代表相邻的第i-1张和第i张图像重叠区域的特征点对的数量，
代表向量
的二范数。
4.根据权利要求3所述的基于仿射变换的显微序列图像自动拼接方法，其特征在于，所述图像Ai的剪切形变约束，其公式表示为：
p(Ai)＝‖Ai-I‖2
其中，I代表单位矩阵，‖Ai-I‖2代表矩阵Ai-I的二范数。
5.根据权利要求3所述的基于仿射变换的显微序列图像自动拼接方法，其特征在于，所述设定的约束强度参数λ，其取值范围为[10-4，10-2]。
6.根据权利要求1所述的基于仿射变换的显微序列图像自动拼接方法，其特征在于，所述各相邻图像的仿射变换关系包括各相邻图像的旋转变换关系、剪切形变关系和尺度缩放关系。
7.一种基于仿射变换的显微序列图像自动拼接系统，其特征在于，该系统包括以下模块：
输入模块，配置为获取相邻图像间存在重叠区域的显微序列图像作为待拼接序列图像并输入；
特征点对提取模块，配置为分别提取所述待拼接序列图像中的图像重叠区域的特征，并进行特征匹配，获得相邻图像的特征点对集合；
权重赋予模块，配置为基于所述相邻图像的特征点对集合中每一个特征点对在图像上的位置信息，为每对特征点赋予不同的权重；
拟合模块，配置为基于所述相邻图像的特征点对集合以及每对特征点的权重，通过仿射模型拟合相邻图像间的变化，并设定全局优化的能量函数；
仿射变换求解模块，配置为最小化所述能量函数，获得各相邻图像的仿射变换关系；
拼接模块，配置为基于所述各相邻图像的仿射变换关系，进行所述待拼接序列图像的拼接，获得显微拼接图像。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于仿射变换的显微序列图像自动拼接方法。
9.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于仿射变换的显微序列图像自动拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011328722.1A CN112381718B (zh) | 2020-11-24 | 2020-11-24 | 基于仿射变换的显微序列图像自动拼接方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011328722.1A CN112381718B (zh) | 2020-11-24 | 2020-11-24 | 基于仿射变换的显微序列图像自动拼接方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381718A true CN112381718A (zh) | 2021-02-19 |
| CN112381718B CN112381718B (zh) | 2021-07-30 |
Family
ID=74588185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011328722.1A Active CN112381718B (zh) | 2020-11-24 | 2020-11-24 | 基于仿射变换的显微序列图像自动拼接方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381718B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708234A (zh) * | 2022-04-12 | 2022-07-05 | 北京优创新港科技股份有限公司 | 一种识别自动卡口编码一体机上雷管数量的方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1996379A (zh) * | 2006-10-25 | 2007-07-11 | 麦克奥迪实业集团有限公司 | 一种全自动显微图像的拼接、存储和浏览方法 |
| CN103985133A (zh) * | 2014-05-30 | 2014-08-13 | 武汉大学 | 基于图割能量优化的影像间最优拼接线寻找方法及系统 |
| CN105389787A (zh) * | 2015-09-30 | 2016-03-09 | 华为技术有限公司 | 一种全景图像拼接方法及装置 |
| CN107545567A (zh) * | 2017-07-31 | 2018-01-05 | 中国科学院自动化研究所 | 生物组织序列切片显微图像的配准方法及装置 |
| CN109584156A (zh) * | 2018-10-18 | 2019-04-05 | 中国科学院自动化研究所 | 显微序列图像拼接方法及装置 |
| CN109961398A (zh) * | 2019-02-18 | 2019-07-02 | 鲁能新能源(集团)有限公司 | 风机叶片图像分割与网格优化拼接方法 |
| US20190256546A1 (en) * | 2015-07-28 | 2019-08-22 | Caris Science, Inc. | Therapeutic oligonucleotides |
| CN111145345A (zh) * | 2019-12-31 | 2020-05-12 | 山东大学 | 隧道施工区域三维模型构建方法及系统 |
-
2020
- 2020-11-24 CN CN202011328722.1A patent/CN112381718B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1996379A (zh) * | 2006-10-25 | 2007-07-11 | 麦克奥迪实业集团有限公司 | 一种全自动显微图像的拼接、存储和浏览方法 |
| CN103985133A (zh) * | 2014-05-30 | 2014-08-13 | 武汉大学 | 基于图割能量优化的影像间最优拼接线寻找方法及系统 |
| US20190256546A1 (en) * | 2015-07-28 | 2019-08-22 | Caris Science, Inc. | Therapeutic oligonucleotides |
| CN105389787A (zh) * | 2015-09-30 | 2016-03-09 | 华为技术有限公司 | 一种全景图像拼接方法及装置 |
| CN107545567A (zh) * | 2017-07-31 | 2018-01-05 | 中国科学院自动化研究所 | 生物组织序列切片显微图像的配准方法及装置 |
| CN109584156A (zh) * | 2018-10-18 | 2019-04-05 | 中国科学院自动化研究所 | 显微序列图像拼接方法及装置 |
| CN109961398A (zh) * | 2019-02-18 | 2019-07-02 | 鲁能新能源(集团)有限公司 | 风机叶片图像分割与网格优化拼接方法 |
| CN111145345A (zh) * | 2019-12-31 | 2020-05-12 | 山东大学 | 隧道施工区域三维模型构建方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| JUAN LEEGARD RANTEALLO SAMPETODING等: "Automatic Field-of-View Expansion using Deep Features and Image Stitching", 《3RD INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND COMPUTATIONAL INTELLIGENCE 2018》 * |
| 孙韬等: "基于MIP图像拼接系统的地质剖面数字化应用研究", 《地球学报》 * |
| 董绍伟等: "显微镜下纤维切片图片自动拼接算法", 《针织工业》 * |
| 陈曦等: "基于双目立体视觉的三维拼接和融合方法", 《电子设计工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708234A (zh) * | 2022-04-12 | 2022-07-05 | 北京优创新港科技股份有限公司 | 一种识别自动卡口编码一体机上雷管数量的方法及装置 |
| CN114708234B (zh) * | 2022-04-12 | 2022-12-02 | 北京优创新港科技股份有限公司 | 一种识别自动卡口编码一体机上雷管数量的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381718B (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Golbach et al. | Validation of plant part measurements using a 3D reconstruction method suitable for high-throughput seedling phenotyping | |
| Bao et al. | Field-based architectural traits characterisation of maize plant using time-of-flight 3D imaging | |
| Wilson et al. | A correlation-based approach to calculate rotation and translation of moving cells | |
| CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
| CN110223389B (zh) | 融合图像与激光数据的场景建模方法、系统、装置 | |
| US9253449B2 (en) | Mosaic picture generation | |
| WO2012080363A1 (de) | Automatisierte abbildung vorbestimmter bereiche in schnittserien | |
| CN112381718B (zh) | 基于仿射变换的显微序列图像自动拼接方法、系统及装置 | |
| US20110115896A1 (en) | High-speed and large-scale microscope imaging | |
| Piccinini et al. | Extended depth of focus in optical microscopy: Assessment of existing methods and a new proposal | |
| CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| US11803978B2 (en) | Generating composite image from multiple images captured for subject | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| Kurmi et al. | Pose error reduction for focus enhancement in thermal synthetic aperture visualization | |
| CN113658147B (zh) | 一种基于深度学习的工件尺寸测量装置及方法 | |
| Li et al. | Virtual liver needle biopsy from reconstructed three-dimensional histopathological images: Quantification of sampling error | |
| Lundin et al. | Automatic registration of 2D histological sections to 3D microCT volumes: Trabecular bone | |
| KR20110053416A (ko) | 기판상의 피처들을 이미지화하는 방법 및 장치 | |
| Saalfeld | Computational methods for stitching, alignment, and artifact correction of serial section data | |
| CN116660173A (zh) | 用于高光谱成像技术的图像扫描方法、终端及存储介质 | |
| Steckhan et al. | Efficient large scale image stitching for virtual microscopy | |
| WO2021067507A1 (en) | Building computational transfer functions on 3d light microscopy images using deep learning | |
| WO2015089564A1 (en) | Thickness estimation for microscopy | |
| Wang et al. | Kinect-based 3D reconstruction of leaf lettuce | |
| Paterlini et al. | Serial block electron microscopy to study plasmodesmata in the vasculature of Arabidopsis thaliana roots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |