CN116579927B - 一种图像拼接方法、装置、设备及存储介质 - Google Patents
一种图像拼接方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116579927B CN116579927B CN202310860643.2A CN202310860643A CN116579927B CN 116579927 B CN116579927 B CN 116579927B CN 202310860643 A CN202310860643 A CN 202310860643A CN 116579927 B CN116579927 B CN 116579927B
- Authority
- CN
- China
- Prior art keywords
- cscan
- image
- images
- row
- transverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000010606 normalization Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 13
- 238000012014 optical coherence tomography Methods 0.000 description 9
- 238000002759 z-score normalization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像拼接方法、装置、设备及存储介质,属于图像处理技术领域。本发明包括:基于扫描设备上采集移动架的S型移动路线,获取多行纵向相邻的原始Cscan图像;其中每行原始Cscan图像包括多个横向相邻的原始Cscan图像,根据采集移动架的横向移动距离确定每两个横向相邻原始Cscan图像之间的横向重叠区域,并进行横向拼接,得到对应的横向拼接Cscan图像;计算每两行纵向相邻的横向拼接Cscan图像重叠区域的最优补偿值,根据最优补偿值对相邻两行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;将相邻两行横向拼接Cscan图像进行对齐,得到大视野图像。通过本发明,有助于解决现有图像拼接技术中计算量大、耗时长,存在明显的拼接痕迹的问题。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及图像拼接方法、装置、设备及存储介质。
背景技术
光学相干断层扫描成像(Optical Coherence Tomography,简称OCT)技术是近年来发展起来的一种能够提供在体、无创伤、高分辨率的成像技术,在疾病诊断和病理研究中有着重要的作用。但是OCT成像技术受到扫描视野的限制,需要通过拼接技术将多个通过扫描获得的图像组合成一张大视野图像,通过合成的大视野图像帮助科研工作者和临床医生进行病理研究和疾病诊断。图像视野的大小在一定程度上会影响检查结果和检查速度,通过拼接技术形成的大视野图像包含更多的图像信息,能够加快临床医生的诊断速度和准确性。
常见的图像拼接技术是指将同一场景的部分重叠的一系列图像拼接成大视野图像,由于多个图像的拼接处具有相似或相同的特征,可以基于特征匹配实现图像拼接,还可以根据图像亮度的一致性对两个图像进行拼接,如果图像亮度一致或亮度相差不大,图像可以拼接成功,但是如果图像亮度相差较大,图像拼接就不成功,这种基于亮度信息的拼接技术,存在由于各视野下采集图像的整体亮度不一致导致拼接失败的情况发生,不能使拼接后的大视野图像能最大程度地接近原始图像尺量,存在明显的拼接痕迹。
另外,图像拼接技术中的算法,有基于面积和比值的两种算法,这两种算法在计算上都需要消耗较多时间,容易导致图像在拼接程序运行过程中出现中断。因此,现有技术的图像拼接技术,存在计算量大、耗时长,或,存在明显的拼接痕迹、拼接效果差的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种图像拼接方法、装置、设备及存储介质,以解决现有图像拼接技术中计算量大、耗时长,存在明显的拼接痕迹的问题。
根据本发明实施例的第一方面,提供一种图像拼接方法,包括:
基于扫描设备上采集移动架的S型移动路线,获取多行纵向相邻的原始Cscan图像,上一行的最后一个原始Cscan图像与下一行的第一个原始Cscan图像纵向相邻,且处于相同的纵向像素范围;其中每行原始Cscan图像包括多个横向相邻的原始Cscan图像,每行原始Cscan图像中包含的多个横向相邻的原始Cscan图像处于相同的横向像素范围;
根据所述采集移动架的预设移动距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,将两个横向相邻原始Cscan图像之间的横向重叠区域图像进行归一化处理,得到亮度统一的两个横向相邻原始Cscan图像之间的横向重叠区域图像;
根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向重叠区域的横向宽度像素点偏差;
根据所述横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据所述更新后的横向重叠区域图像对两个横向相邻原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;
对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行的横向拼接Cscan图像之间的纵向重叠区域进行归一化处理,得到第一行纵向重叠区域的归一化Cscan图像和第二行纵向重叠区域的归一化Cscan图像;将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值;根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;
将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像。
优选地,所述得到对应的横向拼接Cscan图像,之后,所述方法还包括:
将得到的每行横向拼接Cscan图像分别进行亮度和灰度的归一化处理,得到对应的亮度和灰度均统一的横向拼接Cscan图像。
优选地,所述将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,包括:
按照如下公式,计算第一行的第i张纵向重叠区域的归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像之间的相位互相关值PCCi:
其中,PCC为相位互相关算法,PCCi为第i个纵向重叠区域的相位互相关值,Ai为第一行的第i个纵向重叠区域的归一化Cscan图像,Bj为第二行中第j个纵向重叠区域的归一化Cscan图像,Bj与Ai纵向相邻,n为每行横向拼接Cscan图像中包含的原始Cscan图像的数量,i和j为自然数;i和j的对应关系为:i=0时,j=n;i=1时,j=n-1,……i=n-1时,j=1;i=n时,j=0;
按照上述公式,经过多次迭代计算,得到第一行的每一个纵向重叠区域的归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像之间的多个相位互相关值PCCi,根据如下公式,选取其中最大的相位互相关值PCCi作为对应的最优补偿值offset*:
;
其中,offset*为最优补偿值,其取值范围为[-(n-1),n],argmax为函数。
优选地,所述将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,还包括:
将第二行归一化Cscan图像中纵向重叠区域的相位互相关值作为纵向重叠区域的相位互相关值的上限值,将第一行归一化Cscan图像中纵向重叠区域的相位互相关值作为纵向重叠区域的相位互相关值的下限值,根据相位互相关值的上限值和相位互相关值的下限值,获得相位互相关值中位数;
多次比较相位互相关值中位数与相位互相关值的下限值的大小;
当相位互相关值中位数小于相位互相关值的下限值时,将相位互相关值中位数作为相位互相关值的下限值,对相位互相关值的下限值进行更新,并根据更新后的相位互相关值的下限值更新相位互相关值中位数;
当相位互相关值中位数大于或等于相位互相关值的下限值时,将相位互相关值中位数作为相位互相关值的上限值,对相位互相关值的上限值进行更新,并根据更新后的相位互相关值的上限值更新相位互相关值中位数;
当相位互相关值的上限值与相位互相关值的下限值相等时,将相位互相关值中位数作为对应的最优补偿值。
优选地,所述根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像,包括:
根据对应的最优补偿值,对第二行的横向拼接Cscan图像进行上下移动,使得纵向相邻的两行横向拼接Cscan图像按照最佳拼接区域进行拼接,得到纵向拼接Cscan图像。
优选地,所述将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像,包括:
第一行的横向拼接Cscan图像位置保持不变,拉伸或缩短第二行的横向拼接Cscan图像,使第一行的横向拼接Cscan图像中包含的所有Cscan图像与第二行的横向拼接Cscan图像中包含的所有Cscan图像对齐。
根据本发明实施例的第二方面,提供一种图像拼接装置,包括:
图像获取模块,用于基于扫描设备上采集移动架的S型移动路线,获取多行纵向相邻的原始Cscan图像,上一行的最后一个原始Cscan图像与下一行的第一个原始Cscan图像纵向相邻,且处于相同的纵向像素范围;其中每行原始Cscan图像包括多个横向相邻的原始Cscan图像,每行原始Cscan图像中包含的多个横向相邻的原始Cscan图像处于相同的横向像素范围;
横向拼接模块,用于根据所述采集移动架的预设移动距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,将两个横向相邻原始Cscan图像之间的横向重叠区域图像进行归一化处理,得到亮度统一的两个横向相邻原始Cscan图像之间的横向重叠区域图像;
根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向重叠区域的横向宽度像素点偏差;
根据所述横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据所述更新后的横向重叠区域图像对两个横向相邻原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;
纵向拼接模块,用于对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行的横向拼接Cscan图像之间的纵向重叠区域进行归一化处理,得到第一行纵向重叠区域的归一化Cscan图像和第二行纵向重叠区域的归一化Cscan图像;将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值;根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;
对齐模块,用于将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像。
优选地,所述得到对应的横向拼接Cscan图像,之后,还包括:
将得到的每行横向拼接Cscan图像分别进行亮度和灰度的归一化处理,得到对应的亮度和灰度均统一的横向拼接Cscan图像。
根据本发明实施例的第三方面,提供一种图像拼接设备,包括:
存储器,其上存储有可执行程序;
处理器,用于执行所述存储器中的所述可执行程序,以实现上述任一项所述方法的步骤。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行上述任一项所述方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果:
通过获取多行相邻的原始Cscan图像,对于每两个横向相邻的原始Cscan图像:根据采集移动架的预设移动距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域;避免了图像拼接过程中采用面积或比值的算法所带来的大量时间的浪费,同时也避免了因此带来的在拼接程序运行过程中出现的中断现象;将每两个横向相邻原始Cscan图像之间的横向重叠区域进行归一化处理,使得横向重叠区域的亮度统一;根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向重叠区域的横向宽度像素点偏差;根据横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据更新后的横向重叠区域图像对相邻两个Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;将得到的每行横向拼接Cscan图像分别进行亮度和灰度的归一化处理,得到亮度和灰度统一的横向拼接Cscan图像;对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行的横向拼接Cscan图像的纵向重叠区域进行归一化处理,得到第一行重叠区域的归一化Cscan图像和第二行重叠区域的归一化Cscan图像,将第一行重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,根据最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;由于进行了归一化处理,使得Cscan图像具有统一的亮度和灰度,提高了拼接的成功率,使得Cscan图像经过横向拼接和纵向拼接后,有效减少了拼接痕迹,达到了较好的拼接效果;之后对相邻两行纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像,使得大视野图像更加接近原始图像的尺寸,并且上述方法有效减少了计算量,节约了时间,极大降低了图像进行拼接时的出错率和中断率,从而有效解决现有技术图像拼接技术中计算量大、耗时长,存在明显的拼接痕迹的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像拼接方法的流程示意图;
图2是根据一示例性实施例示出的一种拼接后的大视野图像示意图;
图3是根据一示例性实施例示出的一种图像拼接装置的框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
光学相干断层扫描仪是一种非接触式,具有高分辨率,能够获得断层结构的成像设备,光学相干断层扫描技术(Optical Coherence Tomography,简称OCT)是一种提供在体、无创伤、高分辨率的成像技术。它利用弱相干光干涉的基本原理,检测生物组织不同深度层面的背向反射或散射信号,将这些信号经过计算机处理得到生物组织断层图像。OCT成像受到扫描视野的限制,需要通过拼接技术将多个图像组合成一张大视野图像,而大视野图像的质量,在一定程度上影响检查结果和检查速度。
本发明提供了一种图像拼接方法,参见图1,图1是根据一示例性实施例示出的一种图像拼接方法的流程示意图,该方法包括:
步骤S11,基于扫描设备上采集移动架的S型移动路线,获取多行纵向相邻的原始Cscan图像,上一行的最后一个原始Cscan图像与下一行的第一个原始Cscan图像纵向相邻,且处于相同的纵向像素范围;其中每行原始Cscan图像包括多个横向相邻的原始Cscan图像,每行原始Cscan图像中包含的多个横向相邻的原始Cscan图像处于相同的横向像素范围;
步骤S12,根据所述采集移动架的预设移动距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,将两个横向相邻原始Cscan图像之间的横向重叠区域图像进行归一化处理,得到亮度统一的两个横向相邻原始Cscan图像之间的横向重叠区域图像;
根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向重叠区域的横向宽度像素点偏差;
步骤S13,根据所述横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据更新后的横向重叠区域图像对两个横向相邻的原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;
步骤S14,对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行的横向拼接Cscan图像之间的纵向重叠区域进行归一化处理,得到第一行纵向重叠区域的归一化Cscan图像和第二行纵向重叠区域的归一化Cscan图像;将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值;根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;
步骤S15,将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像。
需要说明的是,扫描设备包括采集移动架,采集移动架在同一时间只能进行左右或上下的直线移动。
具体的,扫描设备上的采集移动架按照“S”型路线,根据预设的移动距离进行移动,扫描设备每移动至一个位置进行多次重复扫描,同一位置经过多次重复扫描得到多张Bscan图像,该多张Bscan图像组成该位置对应的一个原始Cscan图像。扫描设备移动多次后,按照扫描的时间先后向顺序,获取多行纵向相邻的原始Cscan图像。其中,对于每两行相邻的原始Cscan图像,上一行的最后一个原始Cscan图像是与下一行的第一个原始Cscan图像纵向相邻的图像,这两个原始Cscan图像处于相同的纵向像素范围;每行原始Cscan图像包括多个横向相邻的原始Cscan图像,每行原始Cscan图像中包含的多个横向相邻的原始Cscan图像处于相同的横向像素范围,其中,每两个相邻原始Cscan图像之间的重叠区域的大小与扫描设备的移动距离有关。
对于每行原始Cscan图像,根据采集移动架预设的移动距离,确定每两个横向相邻原始Cscan图像之间的重叠区域占每个原始Cscan图像的百分比,从而确定两个横向相邻原始Cscan图像之间的横向重叠区域图像。其中横向重叠区域是该两个横向相邻原始Cscan图像之间的重叠区域。
对横向重叠区域图像进行纵向z-score归一化处理,统一每两个横向相邻原始Cscan图像之间的横向重叠区域的图像亮度,统一的图像亮度,能有效避免由于各视野下采集原始Cscan图像的整体亮度不一致导致的拼接失败的情况发生,从而提高横向拼接的成功率。
对于每两个横向相邻的原始Cscan图像,通过相位互相关(PCC)算法,计算得到这两个横向相邻原始Cscan图像之间的横向宽度像素点偏差。其中相位互相关算法可以实现图像匹配,通过对两个原始Cscan图像进行二值化转换和对数极坐标变换,转换为LP图像,然后对LP图像的距离轴和角度轴投影统计量的特征值进行提取,根据提取的特征值的相似性匹配,得到两个横向相邻原始Cscan图像之间的横向宽度像素点偏差。由于相位互相关算法执行速度快,具有较强的鲁棒性,基于该方法计算两个横向相邻原始Cscan图像之间的横向宽度像素点偏差,可以提高计算效率,增加计算结果的准确性,从而提高大视野图像拼接的效率。
根据计算得到的横向宽度像素点偏差,按照如下公式,对对应的横向重叠区域图像进行校准,得到更新后的横向重叠区域图像true_overlap:
true_overlap=overlap+∆x;
其中,true_overlap为更新后的横向重叠区域图像,overlap为横向重叠区域图像,即更新前的重叠区域图像,∆x为横向宽度像素点偏差。
根据更新后的横向重叠区域图像对相邻两个原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;
对于每行中横向相邻原始Cscan图像进行拼接后,得到多行横向拼接Cscan图像。每两行纵向相邻的横向拼接Cscan图像中,第一行的横向拼接Cscan图像在第二行中有一张与其纵向相邻的横向拼接Cscan图像。
对于纵向相邻的第一行横向拼接Cscan图像和第二行横向拼接Cscan图像,将第一行中的每一个横向拼接Cscan图像和第二行中与其纵向相邻的横向拼接Cscan图像之间的纵向重叠区域进行归一化处理,得到第一行纵向重叠区域的归一化Cscan图像和第二行纵向重叠区域的归一化Cscan图像。其中归一化处理可以为z-score归一化处理,使得纵向重叠区域的亮度统一,便于后续进行拼接处理。
将第一行纵向重叠区域的每个归一化Cscan图像按照位置顺序和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像逐一进行配对补偿,得到对应的最优补偿值,根据最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行拼接,此时为纵向拼接,得到对应的纵向拼接Cscan图像。
将纵向拼接图像中的两行横向拼接Cscan图像中的所有Cscan图像进行一一对齐,得到完整的大视野图像。
需要说明的是,扫描设备上采集移动架的移动距离是固定的,可以根据需要预设不同的移动距离,本发明对此不做具体限定。
在一具体示例中,扫描设备上的采集移动架按照“S”型路线移动,获得六个位置的原始Cscan图像,参见图2,图2是根据一示例性实施例示出的一种拼接后的大视野图像示意图,按照扫描的时间先后顺序,依次得到编号分别为1、2、3、4、5、6的图像。1号图像与2号图像横向相邻,在第一行;3号图像和4号图像横向相邻,在第二行;5号图像和6号图像横向相邻,在第三行;2号图像和3号图像纵向相邻,在一列;4号图像和1号图像有位置偏差;4号图像和5号图像纵向相邻,在一列;6号图像和3号图像有位置偏差。
根据扫描设备上采集移动架的移动距离,确定1号图像右边15%的部分与2号图像左边15%的部分作为横向重叠区域。
使用纵向z-score归一化处理横向重叠区域图像,使横向重叠区域图像的图像亮度一致。使用PCC算法计算出横向宽度像素点偏差∆x。
根据宽度像素点偏差∆x,对1号图像和2号图像的重叠区域进行更新,得到更新后的横向重叠区域图像,根据更新后的重叠区域图像,拼接1号图像和2号图像,将得到的横向拼接图像进行纵向z-score归一化处理,统一图像亮度,将统一了图像亮度的图像进行min-max归一化处理,使得归一化后的图像灰度值在[0,255]之间,即得到第一行横向拼接图像。重复上述步骤,将3号图像和4号图像进行拼接和归一化,将5号图像和6号图像进行拼接和归一化,得到第二行横向拼接图像和第三行横向拼接图像。
将第一行横向拼接图像和第二行横向拼接图像按照纵向方向展开,将第一行横向拼接图像的纵向重叠区域和第二行横向拼接图像的纵向重叠区域进行z-score归一化处理,得到图像纵向重叠区域的第一行的归一化图像和纵向重叠区域的第二行的归一化图像,将第一行的纵向重叠区域的归一化图像中的所有的重叠区域图像和第二行的纵向重叠区域的归一化图像中的所有的重叠区域的图像逐一进行配对补偿,通过计算相位互相关值和最大相位互相关值,得到最优补偿值。根据最优补偿值,将第一行的横向拼接图像与第二行的横向拼接图像进行纵向拼接,得到对应的纵向拼接图像。然后,将第一行的横向拼接图像与第二行的横向拼接图像进行对齐,得到第四拼接图像。
重复上述步骤,将第四拼接图像作为第一行横向拼接Cscan图像,将第三行横向拼接图像作为第二行横向拼接Cscan图像,将两行图像的纵向重叠区域进行z-score归一化处理,得到新的第一行纵向重叠区域的归一化图像和新的第二行纵向重叠区域的归一化图像,将新的第一行横向拼接Cscan图像与新的第二行横向拼接Cscan图像进行纵向拼接,并对齐后,得到完整的大视野图像。
可以理解的是,本实施例提供的技术方案,通过获取多行相邻的原始Cscan图像,对于每两个横向相邻的原始Cscan图像:根据采集移动架的预设移动距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,避免了图像拼接过程中采用面积或比值的算法,减少了计算时长,避免了因此带来的在拼接程序运行过程中出现中断的现象;将每两个横向相邻原始Cscan图像之间的横向重叠区域进行归一化处理,得到亮度统一的两个横向相邻的原始Cscan之间的横向重叠区域图像;根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向重叠区域的横向宽度像素点偏差;根据横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据更新后的横向重叠区域图像对两个相邻原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;对于两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行中与与其纵向相邻的横向拼接Cscan图像的纵向重叠区域进行归一化处理,得到第一行纵向重叠区域的归一化Cscan图像和第二行纵向重叠区域的归一化Cscan图像,使得归一化后的纵向重叠区域的Cscan图像具有统一的亮度;将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,根据最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;由于进行了归一化处理,使得Cscan图像具有统一的亮度,提高了拼接的成功率,使得Cscan图像经过横向拼接后,有效减少了拼接痕迹,达到了较好的拼接效果;之后对相邻的两行纵向拼接Cscan图像进行对齐,得到大视野图像,使得大视野图像更加接近原始图像的尺寸,并且上述方法有效减少了计算量,节约了时间,极大降低了图像进行拼接时的出错率和中断率,从而有效解决现有技术图像拼接技术中计算量大、耗时长,存在明显的拼接痕迹的问题。
优选地,所述步骤S13中,所述得到对应的横向拼接Cscan图像,之后,所述方法还包括:
将得到的每行横向拼接Cscan图像分别进行亮度和灰度的归一化处理,得到对应的亮度和灰度均统一的横向拼接Cscan图像。
具体的,使用纵向z-score归一化统一纵向重叠区域的图像亮度,并使用min-max将统一了图像亮度的横向拼接Cscan图像进行归一化,使横向拼接Cscan图像的灰度值在[0,255]之间,亮度和灰度统一的横向拼接Cscan图像。
优选地,其中步骤S14中,每个原始Cscan图像由多张Bscan图像组成,所述将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,包括:
按照如下公式,计算第一行的第i张纵向重叠区域归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像之间的相位互相关值PCCi:
其中,PCC为相位互相关算法,PCCi为第i个纵向重叠区域的相位互相关值,Ai为第一行的第i个纵向重叠区域的归一化Cscan图像,Bj为第二行中的第j个纵向重叠区域的归一化Cscan图像,Bj与Ai纵向相邻,n为每行横向拼接Cscan图像中包含的原始Cscan图像的数量,i和j为自然数;i和j的对应关系为:i=0时,j=n;i=1时,j=n-1,……i=n-1时,j=1,i=n时,j=0;
按照上述公式,经过多次迭代计算,得到第一行的每一个纵向重叠区域的归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像之间的多个相位互相关值PCCi,根据如下公式,选取其中最大的相位互相关值PCCi作为对应的最优补偿值offset*:
;
其中,offset*为最优补偿值,其取值范围为[-(n-1),n],argmax为函数。
需要说明的是,offset*为位置补偿offset的最优值,offset为位置补偿,需要进行位置补偿的地方为第一行的横向拼接Cscan图像中的第0个Cscan图像与第二行的横向拼接Cscan图像中的第n个Cscan图像在纵向上的像素偏差,offset的位置移动范围为[-(n-1),n],PCCi为第i个纵向相邻的两Cscan图像的相位互相关值,argmax为函数。
其中,offset的位置移动范围的确定方法为:第一行横向拼接Cscan图像不发生位置变化,第二行横向拼接Cscan图像的整行图像移动,offset首先移动到第一行横向拼接Cscan图像中的第1个Cscan图像的位置,沿着第一行横向拼接Cscan图像从0到n的方向移动至第一行横向拼接Cscan图像中的第n个Cscan图像的位置,然后offset移出第一行横向拼接Cscan图像中的第n个Cscan图像的位置,offset移出第一行横向拼接Cscan图像中的第n个Cscan图像的位置后不再继续沿该方向移动,随后offset按照原路径返回,移动到第一行横向拼接Cscan图像中的第n个图像的位置,沿着第一行横向拼接Cscan图像从n到0的方向移动至第一行横向拼接Cscan中的第0个Cscan图像的位置。
需要说明的是,每个原始Cscan图像由多张Bscan图像组成。
优选地,所述步骤S14中,所述将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,还包括:
将第二行归一化Cscan图像中纵向重叠区域的相位互相关值作为纵向重叠区域相位互相关值的上限值,将第一行归一化Cscan图像中纵向重叠区域的相位互相关值作为纵向重叠区域相位互相关值的下限值,根据相位互相关值的上限值和相位互相关值的下限值,获得相位互相关值中位数;
多次比较相位互相关值中位数与相位互相关值的下限值的大小;
当相位互相关值中位数小于相位互相关值的下限值时,将相位互相关值中位数作为相位互相关值的下限值,对相位互相关值的下值限进行更新,并根据更新后的相位互相关值的下限值更新相位互相关值中位数;
当相位互相关值中位数大于或等于相位互相关值的下限值时,将相位互相关值中位数作为相位互相关值的上限值,对相位互相关值的上限值进行更新,并根据更新后的相位互相关值的上限值更新相位互相关值中位数;
当相位互相关值的上限值与相位互相关值下限相等时,将相位互相关值中位数作为对应的最优补偿值。
具体的,使用binary search算法找到第一行的横向拼接Cscan图像中的纵向重叠区域与第二行的横向拼接Cscan图像中的纵向重叠区域的最优补偿值,具体方法为:进行赋值操作:
lower = PCC0,
upper=PCC2m,
mid=PCCm,
当mid<upper时,令upper = mid;当mid ≥upper时,令 lower = mid。
重复执行上述赋值操作,直至lower=upper。
其中,lower表示当次计算的第一行的横向拼接Cscan图像重叠区域的相位互相关值,upper表示当次计算的第二行的横向拼接Cscan图像重叠区域的相位互相关值,mid表示当次计算的lower和upper的中值,PCC表示相位互相关算法,PCC0表示随PCCm变化的第一行的横向拼接Cscan图像重叠区域的相位互相关值,PCC2m表示随PCCm变化的第二行的横向拼接Cscan图像重叠区域的相位互相关值,PCCm表示PCC0和PCC2m的中值。
优选地,所述步骤S14中所述根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像,包括:
根据对应的最优补偿值,对第二行的横向拼接Cscan图像进行上下移动,使得纵向相邻的两行横向拼接Cscan图像按照最佳拼接区域进行拼接,得到纵向拼接Cscan图像。
具体的,根据对应的最优补偿值,对第二行的横向拼接Cscan图像进行上下移动,使得纵向相邻的两行横向拼接Cscan图像按照最佳拼接区域进行拼接,得到纵向拼接Cscan图像。
优选地,所述步骤S15中,所述将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像,包括:
第一行的横向拼接Cscan图像位置保持不变,拉伸或缩短第二行的横向拼接Cscan图像,使第一行的横向拼接Cscan图像中包含的所有Cscan图像与第二行的横向拼接Cscan图像中包含的所有Cscan图像对齐。
具体的,第二行的第0个纵向拼接Cscan图像与第一行的最后一个纵向拼接Cscan图像对齐;
将第二行的第0个Cscan图像的右侧第一列像素与第一行的最后一个Cscan图像的右侧第一列像素纵向对齐,依次移动第二行所有的Cscan图像,展开第二行的所有Cscan图像,直至第二行的最后一个Cscan图像的最左侧一列像素与第一行的第一个Cscan图像的最左侧一列像素对齐。
即:保持第一行的横向拼接图像不变,依次移动第二行所有的Cscan图像,将第二行的第0个Cscan图像与第一行的最后一个Cscan图像对齐。
将上述纵向拼接Cscan图像作为第一行的横线拼接Cscan图像与第三行的横向拼接Cscan图像进行拼接,并对齐后,得到新的纵向拼接Cscan图像,重复上述步骤S14和S15,对所有行的横向拼接Cscan图像进行纵向拼接和对齐,得到完整的大视野图像。
可以理解的是,本实施例提供的技术方案,通过获取多行相邻的原始Cscan图像,对于每两个横向相邻的原始Cscan图像:根据采集移动架的预设距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,避免了图像拼接过程中采用面积或比值的算法,减少了计算时长,避免因此带来的在拼接程序运行过程中出现中断的现象;将两个横向相邻原始Cscan图像之间的横向重叠区域进行归一化处理,得到亮度统一的两个横向相邻的原始Cscan图像的横向重叠区域图像;根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向宽度像素点偏差;根据横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据更新后的横向重叠区域图像对相邻两个原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行中的横向拼接Cscan图像的纵向重叠区域进行归一化处理,得到第一行的归一化Cscan图像和第二行的归一化Cscan图像;将第一行的每个归一化Cscan图像和第二行中与其纵向相邻的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,根据最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;由于进行了归一化处理,使得Cscan图像得出纵向重叠区域具有统一的亮度,提高了拼接的成功率,有效减少了拼接痕迹,达到了较好的拼接效果;之后对相邻两行纵向拼接Cscan图像进行对齐,得到大视野图像,使得大视野图像更加接近原始图像的尺寸,并且上述方法有效减少了计算量,节约了时间,极大降低了图像进行拼接时的出错率和中断率,从而有效解决现有技术图像拼接技术中计算量大、耗时长,存在明显的拼接痕迹的问题。
参见图3,图3是根据一示例性实施例示出的一种图像拼接装置的框图示意图,包括:
图像获取模块31,用于基于扫描设备上采集移动架的S型移动路线,获取多行纵向相邻的原始Cscan图像,上一行的最后一个原始Cscan图像与下一行的第一个原始Cscan图像纵向相邻,且处于相同的纵向像素范围;其中每行原始Cscan图像包括多个横向相邻的原始Cscan图像,每行原始Cscan图像中包含的多个横向相邻的原始Cscan图像处于相同的横向像素范围;
横向拼接模块32,用于根据所述采集移动架的预设移动距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,将两个横向相邻原始Cscan图像之间的横向重叠区域图像进行归一化处理,得到亮度统一的两个横向相邻原始Cscan图像之间的横向重叠区域图像;
根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向重叠区域的横向宽度像素点偏差;
根据所述横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据所述更新后的横向重叠区域图像对两个横向相邻原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;
纵向拼接模块33,用于对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行的横向拼接Cscan图像之间的纵向重叠区域进行归一化处理,得到第一行纵向重叠区域的归一化Cscan图像和第二行纵向重叠区域的归一化Cscan图像;将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值;根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;
对齐模块34,用于将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像。
优选地,所述得到对应的横向拼接Cscan图像,之后,所述方法还包括:
将得到的每行横向拼接Cscan图像分别进行亮度和灰度的归一化处理,得到对应的亮度和灰度均统一的横向拼接Cscan图像。
优选地,所述将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,包括:
按照如下公式,计算第一行的第i张纵向重叠区域的归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像之间的相位互相关值PCCi:
其中,PCC为相位互相关算法,PCCi为第i个纵向重叠区域的相位互相关值,Ai为第一行的第i个纵向重叠区域的归一化Cscan图像,Bj为第二行中第j个纵向重叠区域的归一化Cscan图像,Bj与Ai纵向相邻,n为每行横向拼接Cscan图像中包含的原始Cscan图像的数量,i和j为自然数;i和j的对应关系为:i=0时,j=n;i=1时,j=n-1,……i=n-1时,j=1;i=n时,j=0;
按照上述公式,经过多次迭代计算,得到第一行的每一个纵向重叠区域的归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像之间的多个相位互相关值PCCi,根据如下公式,选取其中最大的相位互相关值PCCi作为对应的最优补偿值offset*:
;
其中,offset*为最优补偿值,其取值范围为[-(n-1),n],argmax为函数。
优选地,所述将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,还包括:
将第二行归一化Cscan图像中纵向重叠区域的相位互相关值作为纵向重叠区域的相位互相关值的上限值,将第一行归一化Cscan图像中纵向重叠区域的相位互相关值作为纵向重叠区域的相位互相关值的下限值,将相位互相关值的上限值和相位互相关值的下限值,获得相位互相关值中位数;
多次比较相位互相关值中位数与相位互相关值的下限值的大小;
当相位互相关值中位数小于相位互相关值的下限值时,将相位互相关值中位数作为相位互相关值的下限值,对相位互相关值的下限值进行更新,并根据更新后的相位互相关值的下限值更新相位互相关值中位数;
当相位互相关值中位数大于或等于相位互相关值的下限值时,将相位互相关值中位数作为相位互相关值的上限值,对相位互相关值的上限值进行更新,并根据更新后的相位互相关值的上限值更新相位互相关值中位数;
当相位互相关值的上限值与相位互相关值下限相等时,将相位互相关值中位数作为对应的最优补偿值。
优选地,所述根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像,包括:
根据对应的最优补偿值,对第二行的横向拼接Cscan图像进行上下移动,使得纵向相邻的两行横向拼接Cscan图像按照最佳拼接区域进行拼接,得到纵向拼接Cscan图像。
优选地,所述将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像,包括:
第一行的横向拼接Cscan图像位置保持不变,拉伸或缩短第二行的横向拼接Cscan图像,使第一行的横向拼接Cscan图像中包含的所有Cscan图像与第二行的横向拼接Cscan图像中包含的所有Cscan图像对齐。
可以理解的是,本实施例提供的技术方案,由于通过上述实施例提及的获取多行相邻的原始Cscan图像,对于每两个横向相邻的原始Cscan图像:根据采集移动架的预设距离进行横向移动,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,避免了图像拼接过程中采用面积或比值的算法,减少了时长,避免因此带来的在拼接程序运行过程中出现中断的现象;将两个横向相邻原始Cscan图像之间的横向重叠区域图像进行归一化处理,得到亮度统一的两个横向相邻的原始Cscan重叠区域图像;根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向宽度像素点偏差;根据横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据更新后的横向重叠区域图像对相邻两个Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行的横向拼接Cscan图像的纵向重叠区域进行归一化处理,得到第一行重叠区域的归一化Cscan图像和第二行重叠区域的归一化Cscan图像,使得归一化后的Cscan图像具有统一的亮度;将第一行重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,根据最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;由于进行了归一化处理,使得Cscan图像具有统一的亮度和灰度,提高了拼接的成功率,有效减少了拼接痕迹,达到了较好的拼接效果;之后对纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像,使得大视野图像更加接近原始图像的尺寸,并且上述方法有效减少了计算量,节约了时间,极大降低了图像进行拼接时的出错率和中断率,从而有效解决现有技术图像拼接技术中计算量大、耗时长,存在明显的拼接痕迹的问题。
本发明还提供了一种图像拼接设备,包括:
存储器,其上存储有可执行程序;
处理器,用于执行所述存储器中的所述可执行程序,以实现上述任一项所述方法的步骤。
此外,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行上述任一项所述方法的步骤。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种图像拼接方法,其特征在于,包括:
基于扫描设备上采集移动架的S型移动路线,获取多行纵向相邻的原始Cscan图像,上一行的最后一个原始Cscan图像与下一行的第一个原始Cscan图像纵向相邻,且处于相同的纵向像素范围;其中每行原始Cscan图像包括多个横向相邻的原始Cscan图像,每行原始Cscan图像中包含的多个横向相邻的原始Cscan图像处于相同的横向像素范围;
根据所述采集移动架的预设移动距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,将两个横向相邻原始Cscan图像之间的横向重叠区域图像进行归一化处理,得到亮度统一的两个横向相邻原始Cscan图像之间的横向重叠区域图像;
根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向重叠区域的横向宽度像素点偏差;
根据所述横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据所述更新后的横向重叠区域图像对两个横向相邻原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;
将得到的每行横向拼接Cscan图像分别进行亮度和灰度的归一化处理,得到对应的亮度和灰度均统一的横向拼接Cscan图像;
对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行的横向拼接Cscan图像之间的纵向重叠区域进行归一化处理,得到第一行纵向重叠区域的归一化Cscan图像和第二行纵向重叠区域的归一化Cscan图像;将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值;根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;
将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像,包括:第一行的横向拼接Cscan图像位置保持不变,拉伸或缩短第二行的横向拼接Cscan图像,使第一行的横向拼接Cscan图像中包含的所有Cscan图像与第二行的横向拼接Cscan图像中包含的所有Cscan图像对齐。
2.根据权利要求1所述的方法,其特征在于,所述将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,包括:
按照如下公式,计算第一行的第i张纵向重叠区域的归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像之间的相位互相关值PCCi:
其中,PCC为相位互相关算法,PCCi为第i个纵向重叠区域的相位互相关值,Ai为第一行的第i个纵向重叠区域的归一化Cscan图像,Bj为第二行中第j个纵向重叠区域的归一化Cscan图像,Bj与Ai纵向相邻,n为每行横向拼接Cscan图像中包含的原始Cscan图像的数量,i和j为自然数;i和j的对应关系为:i=0时,j=n;i=1时,j=n-1,……i=n-1时,j=1;i=n时,j=0;
按照上述公式,经过多次迭代计算,得到第一行的每一个纵向重叠区域的归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像之间的多个相位互相关值PCCi,根据如下公式,选取其中最大的相位互相关值PCCi作为对应的最优补偿值offset*:
;
其中,offset*为最优补偿值,其取值范围为[-(n-1),n],argmax为函数。
3.根据权利要求1所述的方法,其特征在于,所述将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值,还包括:
将第二行归一化Cscan图像中纵向重叠区域的相位互相关值作为重叠区域的相位互相关值的上限值,将第一行归一化Cscan图像中纵向重叠区域的相位互相关值作为重叠区域的相位互相关值的下限值,根据相位互相关值的上限值和相位互相关值下限值,获得相位互相关值中位数;
多次比较相位互相关值中位数与相位互相关值的下限值的大小;
当相位互相关值中位数小于相位互相关值的下限值时,将相位互相关值中位数作为相位互相关值的下限值,对相位互相关值的下限值进行更新,并根据更新后的相位互相关值的下限值更新相位互相关值中位数;
当相位互相关值中位数大于或等于相位互相关值的下限值时,将相位互相关值中位数作为相位互相关值的上限值,对相位互相关值的上限值进行更新,并根据更新后的相位互相关值的上限值更新相位互相关值中位数;
当相位互相关值的上限值与相位互相关值的下限值相等时,将相位互相关值中位数作为对应的最优补偿值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像,包括:
根据对应的最优补偿值,对第二行的横向拼接Cscan图像进行上下移动,使得纵向相邻的两行横向拼接Cscan图像按照最佳拼接区域进行拼接,得到纵向拼接Cscan图像。
5.一种图像拼接装置,其特征在于,包括:
图像获取模块,用于基于扫描设备上采集移动架的S型移动路线,获取多行纵向相邻的原始Cscan图像,上一行的最后一个原始Cscan图像与下一行的第一个原始Cscan图像纵向相邻,且处于相同的纵向像素范围;其中每行原始Cscan图像包括多个横向相邻的原始Cscan图像,每行原始Cscan图像中包含的多个横向相邻的原始Cscan图像处于相同的横向像素范围;
横向拼接模块,用于根据所述采集移动架的预设移动距离,确定每两个横向相邻原始Cscan图像之间的横向重叠区域,将两个横向相邻原始Cscan图像之间的横向重叠区域图像进行归一化处理,得到亮度统一的两个横向相邻原始Cscan图像之间的横向重叠区域图像;
根据相位互相关算法计算得到每两个横向相邻原始Cscan图像之间的横向重叠区域的横向宽度像素点偏差;
根据所述横向宽度像素点偏差,对对应的横向重叠区域图像进行校准更新,得到更新后的横向重叠区域图像;根据所述更新后的横向重叠区域图像对两个横向相邻原始Cscan图像进行横向拼接,得到对应的横向拼接Cscan图像;
将得到的每行横向拼接Cscan图像分别进行亮度和灰度的归一化处理,得到对应的亮度和灰度均统一的横向拼接Cscan图像;
纵向拼接模块,用于对于每两行纵向相邻的横向拼接Cscan图像,将第一行的横向拼接Cscan图像和第二行的横向拼接Cscan图像之间的纵向重叠区域进行归一化处理,得到第一行纵向重叠区域的归一化Cscan图像和第二行纵向重叠区域的归一化Cscan图像;将第一行纵向重叠区域的每个归一化Cscan图像和第二行中与其纵向相邻的纵向重叠区域的归一化Cscan图像进行配对补偿,得到对应的最优补偿值;根据所述最优补偿值,将第一行的横向拼接Cscan图像与第二行的横向拼接Cscan图像进行纵向拼接,得到对应的纵向拼接Cscan图像;
对齐模块,用于将纵向拼接Cscan图像中的两行横向拼接Cscan图像进行对齐,得到大视野图像,包括:第一行的横向拼接Cscan图像位置保持不变,拉伸或缩短第二行的横向拼接Cscan图像,使第一行的横向拼接Cscan图像中包含的所有Cscan图像与第二行的横向拼接Cscan图像中包含的所有Cscan图像对齐。
6.一种图像拼接设备,其特征在于,包括:
存储器,其上存储有可执行程序;
处理器,用于执行所述存储器中的所述可执行程序,以实现权利要求1~4中任一项所述方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1~4任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310860643.2A CN116579927B (zh) | 2023-07-14 | 2023-07-14 | 一种图像拼接方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310860643.2A CN116579927B (zh) | 2023-07-14 | 2023-07-14 | 一种图像拼接方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116579927A CN116579927A (zh) | 2023-08-11 |
CN116579927B true CN116579927B (zh) | 2023-09-19 |
Family
ID=87540034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310860643.2A Active CN116579927B (zh) | 2023-07-14 | 2023-07-14 | 一种图像拼接方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116579927B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007323495A (ja) * | 2006-06-02 | 2007-12-13 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
CN102947858A (zh) * | 2010-04-08 | 2013-02-27 | 帕斯科数码有限责任公司(商业用为奥姆尼克斯有限责任公司) | 包括重叠边缘对比的图像质量评价 |
CN109300084A (zh) * | 2017-07-25 | 2019-02-01 | 杭州海康汽车技术有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
WO2019184719A1 (zh) * | 2018-03-29 | 2019-10-03 | 青岛海信移动通信技术股份有限公司 | 一种拍照的方法和装置 |
CN110494891A (zh) * | 2017-04-14 | 2019-11-22 | 文塔纳医疗系统公司 | 用于拼接的基于分块的局部配准以及全局放置 |
CN110855903A (zh) * | 2019-11-19 | 2020-02-28 | 长沙品先信息技术有限公司 | 一种多路视频实时拼接方法 |
CN110874817A (zh) * | 2018-08-29 | 2020-03-10 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质 |
CN111626933A (zh) * | 2020-05-14 | 2020-09-04 | 湖南国科智瞳科技有限公司 | 一种精准、快速的显微图像拼接方法及系统 |
CN113052763A (zh) * | 2021-04-07 | 2021-06-29 | 北京佰才邦技术股份有限公司 | 一种融合图像生成方法、装置、计算机设备和存储介质 |
WO2022032538A1 (zh) * | 2020-08-12 | 2022-02-17 | 深圳市大疆创新科技有限公司 | 全景拍摄方法、装置、系统及计算机可读存储介质 |
WO2022127225A1 (zh) * | 2020-12-14 | 2022-06-23 | 北京迈格威科技有限公司 | 图像拼接方法、装置、设备和存储介质 |
-
2023
- 2023-07-14 CN CN202310860643.2A patent/CN116579927B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007323495A (ja) * | 2006-06-02 | 2007-12-13 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
CN102947858A (zh) * | 2010-04-08 | 2013-02-27 | 帕斯科数码有限责任公司(商业用为奥姆尼克斯有限责任公司) | 包括重叠边缘对比的图像质量评价 |
CN110494891A (zh) * | 2017-04-14 | 2019-11-22 | 文塔纳医疗系统公司 | 用于拼接的基于分块的局部配准以及全局放置 |
CN109300084A (zh) * | 2017-07-25 | 2019-02-01 | 杭州海康汽车技术有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
WO2019184719A1 (zh) * | 2018-03-29 | 2019-10-03 | 青岛海信移动通信技术股份有限公司 | 一种拍照的方法和装置 |
CN110874817A (zh) * | 2018-08-29 | 2020-03-10 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质 |
CN110855903A (zh) * | 2019-11-19 | 2020-02-28 | 长沙品先信息技术有限公司 | 一种多路视频实时拼接方法 |
CN111626933A (zh) * | 2020-05-14 | 2020-09-04 | 湖南国科智瞳科技有限公司 | 一种精准、快速的显微图像拼接方法及系统 |
WO2022032538A1 (zh) * | 2020-08-12 | 2022-02-17 | 深圳市大疆创新科技有限公司 | 全景拍摄方法、装置、系统及计算机可读存储介质 |
WO2022127225A1 (zh) * | 2020-12-14 | 2022-06-23 | 北京迈格威科技有限公司 | 图像拼接方法、装置、设备和存储介质 |
CN113052763A (zh) * | 2021-04-07 | 2021-06-29 | 北京佰才邦技术股份有限公司 | 一种融合图像生成方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
Mingxiao Huo ; Zhihao Zhang ; Xianqiang Yang.Deep Image Stitching with Pixel Similarity Correlation.2022 China Automation Congress (CAC).2022,全文. * |
图像拼接的关键技术研究;杜亚鹏;优秀硕士学位论文;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116579927A (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110197713B (zh) | 一种医疗影像的处理方法、装置、设备和介质 | |
CN105719324B (zh) | 图像处理装置以及图像处理方法 | |
US7565019B2 (en) | Method of volume-panorama imaging processing | |
DE102013021729B4 (de) | Verbesserung der Nadelvisualisierung in der diagnostischen Ultraschallbildgebung | |
US7822254B2 (en) | Automatic positioning of matching multi-planar image reformatting (MPR) views of multiple 3D medical images | |
US8126247B2 (en) | Image preprocessing system for 3D image database construction | |
JP2022525264A (ja) | 特徴点検出 | |
CN104268846A (zh) | 图像拼接方法及装置 | |
CN104414685A (zh) | 超声波诊断装置、超声波图像处理方法 | |
CN104622495A (zh) | 医用图像处理装置以及医用图像处理方法 | |
KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
US20240041432A1 (en) | Method and system for generating a three-dimensional ultrasound image of a tissue volume from two-dimensional ultrasound images | |
CN104732520A (zh) | 一种胸部数字影像的心胸比测量算法及系统 | |
CN112164043A (zh) | 一种用于多眼底图像拼接的方法及系统 | |
CN109741416A (zh) | 核磁共振图像重建方法、装置、计算机设备及其存储介质 | |
CN108364297A (zh) | 血管图像分割方法、终端、存储介质 | |
US20210287362A1 (en) | Method and system for image segmentation | |
CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 | |
CN116579927B (zh) | 一种图像拼接方法、装置、设备及存储介质 | |
CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
CN116934722A (zh) | 一种基于自校正坐标注意力的小肠微小目标检测方法 | |
CN113592802B (zh) | 一种基于超声图像的二尖瓣环位移自动检测系统 | |
CN115035207A (zh) | 胎儿颅脑标准切面生成方法、装置和超声成像显示系统 | |
CN103955610B (zh) | 一种医学影像计算机辅助分析方法 | |
George et al. | Dueling deep Q-network for unsupervised inter-frame eye movement correction in optical coherence tomography volumes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |