CN116823607A - 扫描图像处理方法、装置及设备 - Google Patents

Abstract

本申请提供一种扫描图像处理方法、装置及设备，涉及空间转录组测序技术领域，该方法包括：在组织切片贴合在生物芯片上的状态下，采集生物芯片的多张二分镜通道子图像和对应的荧光通道子图像；根据多张二分镜通道子图像对应的扫描放大倍数，对生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；根据多张二分镜通道子图像的采集顺序，以及基板图案中包括的多个关键点，确定各二分镜通道子图像在全幅参考图像中的校正位置；根据校正位置，对各二分镜通道子图像对应的荧光通道子图像进行融合处理，得到生物芯片的全幅荧光图像。本申请的方案，实现了生物芯片捕获的基因表达信息和全幅荧光图像表示的区域的准确对齐。

Description

扫描图像处理方法、装置及设备

技术领域

本申请涉及空间转录组测序技术领域，尤其涉及一种扫描图像处理方法、装置及设备。

背景技术

在多细胞生物中，单个细胞的基因表达严格按特定的时间和空间顺序发生，即基因表达具有时间特异性和空间特异性。

针对空间特异性而言，目前通常通过空间转录组测序技术通过对生物芯片上的组织切片进行原位表达分析和组织学分析，将基因表达信息定位到基因的原始空间位置。在获取每个空间位置的基因表达信息之后，往往需要对照高分辨率的荧光图像做进一步的分析处理。

然而，由于荧光图像中的特征点位不足，因此最终得到的全幅荧光图像相对生物芯片往往存在位置偏差，从而导致生物芯片捕获的基因表达信息和全幅荧光图像表示的区域无法对齐，对空间位置的数据准确度带来不利的影响。

发明内容

本申请提供一种扫描图像处理方法、装置及设备，以解决目前生物芯片捕获的基因表达信息和全幅荧光图像表示的区域无法对齐的问题。

第一方面，本申请提供一种扫描图像处理方法，包括：

在组织切片贴合在生物芯片上的状态下，采集所述生物芯片的多张二分镜通道子图像和各所述二分镜通道子图像对应的荧光通道子图像；

根据所述多张二分镜通道子图像对应的扫描放大倍数，对所述生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；

根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置；

根据各所述二分镜通道子图像在所述全幅参考图像中的校正位置，对各所述二分镜通道子图像对应的荧光通道子图像进行融合处理，得到所述生物芯片的全幅荧光图像。

在一种可能的实施方式中，所述根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置，包括：

针对任意二分镜通道子图像，对所述二分镜通道子图像进行关键点识别处理，确定第一关键点在所述二分镜通道子图像中的第一坐标信息，所述第一关键点为所述多个关键点中、所述二分镜通道子图像包括的关键点；

根据所述采集顺序，以及所述第一坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置；

对所述初始位置进行校正处理，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

在一种可能的实施方式中，所述对所述二分镜通道子图像进行关键点识别处理，确定第一关键点在所述二分镜通道子图像中的第一坐标信息，包括：

将所述二分镜通道子图像输入至关键点识别模型，得到所述第一坐标信息；

其中，所述关键点识别模型是基于多组训练样本进行训练得到的，任意一组训练样本中包括一张样本二分镜通道子图像和所述样本二分镜通道子图像对应的标签信息，所述样本二分镜通道子图像中包括样本关键点，所述标签信息中包括所述样本关键点在所述样本二分镜通道子图像中的坐标信息。

在一种可能的实施方式中，所述根据所述采集顺序，以及所述第一坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置，包括：

根据所述采集顺序，确定所述第一关键点在所述全幅参考图像中的第二坐标信息；

根据所述第一坐标信息和所述第二坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置。

在一种可能的实施方式中，所述对所述初始位置进行校正处理，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置，包括：

根据所述初始位置，在所述全幅参考图像中确定所述二分镜通道子图像对应的局部子图像，所述局部子图像在所述全幅参考图像中对应的区域包括所述二分镜通道子图像在所述全幅参考图像中对应的区域；

对所述局部子图像和所述二分镜通道子图像进行匹配处理，得到匹配结果；

根据所述匹配结果，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

在一种可能的实施方式中，所述对所述局部子图像和所述二分镜通道子图像进行匹配处理，得到匹配结果，包括：

在所述局部子图像处于固定状态下，根据预设步长，确定所述二分镜通道子图像相对于所述局部子图像的多个相对位置；

根据所述多个相对位置，对所述二分镜通道子图像进行二维窗口滑动处理，确定处于各所述相对位置下的所述二分镜通道子图像；

将所述局部子图像和处于各所述相对位置下的所述二分镜通道子图像进行匹配处理，得到所述匹配结果，所述匹配结果包括各所述相对位置下、所述二分镜通道子图像和所述局部子图像之间的相似度。

在一种可能的实施方式中，所述根据所述匹配结果，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置，包括：

将对应的相似度最高的相对位置，确定为所述二分镜通道子图像相对于所述局部子图像的目标相对位置；

根据所述目标相对位置以及所述局部子图像在所述全幅参考图像中的位置，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

第二方面，本申请提供一种扫描图像处理装置，包括：

采集模块，用于在组织切片贴合在生物芯片上的状态下，采集所述生物芯片的多张二分镜通道子图像和各所述二分镜通道子图像对应的荧光通道子图像；

放大模块，用于根据所述多张二分镜通道子图像对应的扫描放大倍数，对所述生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；

处理模块，用于根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置；

融合模块，用于根据各所述二分镜通道子图像在所述全幅参考图像中的校正位置，对各所述二分镜通道子图像对应的荧光通道子图像进行融合处理，得到所述生物芯片的全幅荧光图像。

在一种可能的实施方式中，所述处理模块具体用于：

针对任意二分镜通道子图像，对所述二分镜通道子图像进行关键点识别处理，确定第一关键点在所述二分镜通道子图像中的第一坐标信息，所述第一关键点为所述多个关键点中、所述二分镜通道子图像包括的关键点；

根据所述采集顺序，以及所述第一坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置；

对所述初始位置进行校正处理，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

在一种可能的实施方式中，所述处理模块具体用于：

将所述二分镜通道子图像输入至关键点识别模型，得到所述第一坐标信息；

其中，所述关键点识别模型是基于多组训练样本进行训练得到的，任意一组训练样本中包括一张样本二分镜通道子图像和所述样本二分镜通道子图像对应的标签信息，所述样本二分镜通道子图像中包括样本关键点，所述标签信息中包括所述样本关键点在所述样本二分镜通道子图像中的坐标信息。

在一种可能的实施方式中，所述处理模块具体用于：

根据所述采集顺序，确定所述第一关键点在所述全幅参考图像中的第二坐标信息；

根据所述第一坐标信息和所述第二坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置。

在一种可能的实施方式中，所述处理模块具体用于：

根据所述初始位置，在所述全幅参考图像中确定所述二分镜通道子图像对应的局部子图像，所述局部子图像在所述全幅参考图像中对应的区域包括所述二分镜通道子图像在所述全幅参考图像中对应的区域；

对所述局部子图像和所述二分镜通道子图像进行匹配处理，得到匹配结果；

根据所述匹配结果，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

在一种可能的实施方式中，所述处理模块具体用于：

在所述局部子图像处于固定状态下，根据预设步长，确定所述二分镜通道子图像相对于所述局部子图像的多个相对位置；

根据所述多个相对位置，对所述二分镜通道子图像进行二维窗口滑动处理，确定处于各所述相对位置下的所述二分镜通道子图像；

将所述局部子图像和处于各所述相对位置下的所述二分镜通道子图像进行匹配处理，得到所述匹配结果，所述匹配结果包括各所述相对位置下、所述二分镜通道子图像和所述局部子图像之间的相似度。

在一种可能的实施方式中，所述处理模块具体用于：

将对应的相似度最高的相对位置，确定为所述二分镜通道子图像相对于所述局部子图像的目标相对位置；

根据所述目标相对位置以及所述局部子图像在所述全幅参考图像中的位置，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面任一项所述的扫描图像处理方法。

第四方面，本申请提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的扫描图像处理方法。

本申请实施例提供的扫描图像处理方法、装置及设备，在组织切片贴合在生物芯片上的状态下，采集生物芯片的多张二分镜通道子图像和各二分镜通道子图像对应的荧光通道子图像，并根据多张二分镜通道子图像对应的扫描放大倍数，对生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；然后，根据多张二分镜通道子图像的采集顺序，以及基板图案中包括的多个关键点，确定各二分镜通道子图像在全幅参考图像中的校正位置；最后根据各二分镜通道子图像在全幅参考图像中的校正位置，对各二分镜通道子图像对应的荧光通道子图像进行融合处理，得到生物芯片的全幅荧光图像。在由于荧光通道子图像中的特征点位不足导致全幅荧光图像相对生物芯片存在较大位置偏差的情况下，通过同步采集荧光通道子图像对应的二分镜通道子图像，捕捉足够的特点点位，也即基板图案中的多个关键点，从而通过多个关键点结合多张二分镜通道子图像的采集顺序来对产生的位置误差进行校正，实现了生物芯片捕获的基因表达信息和全幅荧光图像表示的区域的准确对齐，以供与后续的各项高精度对齐需求。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的扫描图像处理方法的流程示意图；

图2为本申请实施例提供的一种生物芯片上的基底图案的示意图；

图3为本申请实施例提供的二分镜通道和荧光通道的成像效果对比图；

图4为本申请实施例提供的基板图案放大处理示意图；

图5为本申请实施例提供的确定二分镜通道子图像在全幅参考图像中的校正位置的流程示意图；

图6为本申请实施例提供的一种全幅荧光图像的示意图；

图7为本申请实施例提供的一种融合前后的荧光通道子图像的示意图；

图8为本申请实施例提供的一种全幅二分镜图像的示意图；

图9为本申请实施例提供的叠加基底图案后的全幅荧光图像的放大示意图；

图10为本申请实施例提供的扫描图像处理装置的结构示意图；

图11为本申请实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对单细胞而言，若需要探究细胞间的异质性，通常是将细胞解离成单细胞悬液，然后利用单细胞分离技术等方法实现单细胞建库，单细胞分离技术例如可以包括微孔，微板，液滴等等。

通过单细胞分离技术等方法进行单细胞建库的方式，会使得细胞失去原本在组织的空间信息，而细胞在组织的空间信息在实际研究中十分重要，特别是在研究细胞命运机制及细胞谱系涉及的空间信息。因此，发展空间转录组技术，以实现细胞的空间信息的保留，对研究此类细胞状态尤为重要。

在多细胞生物中，单个细胞的基因表达严格按特定的时间和空间顺序发生，即基因表达具有时间特异性和空间特异性。

针对时间特异性而言，可以通过对不同时间点的样本取材，使用单细胞转录组测序技术来解析时间维度上细胞类型和基因表达模式。

而针对空间特异性而言，想获得细胞相应的空间信息相对较难。常规转录组测序和单细胞转录组测序都难以还原细胞所处的原始空间信息，而原位杂交技术又很难实现高通量检测，因此空间转录组测序技术应运而生。空间转录组测序技术通过对生物芯片上的组织切片进行原位表达分析和组织学分析，将基因表达信息定位到基因的原始空间位置。

在获取每个空间位置的基因表达信息之后，往往需要对照高分辨率的组织染色图像或者荧光图像做进一步的分析处理。具体的，首先通过扫描仪器对生物芯片上的组织切换进行扫描，得到相应的全幅荧光图像，然后将全幅荧光图像与生物芯片上捕获的基因表达信息进行对齐。

然而，目前扫描仪器受限于自身的机械精度，获取的全幅荧光图像或多或少存在错位或者重叠的情况，且在荧光图像中，由于特征点位不足，最终得到的全幅荧光图像相对生物芯片往往存在不易发觉的位置偏差，从而导致生物芯片捕获的基因表达信息和全幅荧光图像表示的区域无法对齐。尤其是在高分辨率的生物芯片中，细微的错位将会给整个数据的准确度带来极大的影响。

基于此，本申请实施例提供一种扫描图像处理方法，以实现生物芯片生物芯片捕获的基因表达信息和全幅荧光图像表示的区域之间的对齐。下面结合附图对本申请实施例的方案进行介绍。

图1为本申请实施例提供的扫描图像处理方法的流程示意图，如图1所示，包括：

S11，在组织切片贴合在生物芯片上的状态下，采集生物芯片的多张二分镜通道子图像和各二分镜通道子图像对应的荧光通道子图像。

组织切片为基于生物组织制作的切片，例如可以是病理组织切片。在得到组织切片后，按照专业的切片流程，将组织切换贴合在生物芯片上，然后使用相应的试剂进行处理，并对组织切片进行固定，以待扫描。

生物芯片是用于捕捉细胞的基因表达信息的装置，在生物芯片上带有特定的基板图案，不同的生物芯片上的基板图案可以相同，也可以不同。基底图案包括但不限于圆形阵列、方形阵列等等。

例如可以结合图2对生物芯片上的基底图案进行理解。

图2为本申请实施例提供的一种生物芯片上的基底图案的示意图，如图2所示，在生物芯片20上包括基底图案。

在图2中，生物芯片20中的一个局部区域21在进行一次放大后如局部区域22示例，在对局部区域22中的一个子区域23进行一次放大后如子区域24示例。需要说明的是，上述放大的过程指的是可以通过显微的方式进行放大的观察，并不表示一定要对其进行实质性的放大。

在图2中可以看到，生物芯片20中包括横竖相间的线条，这些线条共同构成了生物芯片上的基板图案。需要说明的是，图2中生物芯片20上的基底图案仅仅是一种示例，本申请实施例中生物芯片上的基底图案可以根据需要设定，本实施例对此不作限定。

在基板图案中包括多个关键点，这多个关键点的数量可以根据需要进行设定，关键点在基板图案中的位置也可以根据需要设定。例如在图2中，示例的是将横竖相间的线条的交点作为基板图案中的关键点，如图2中的点A、点B、点C和点D均为基板图案中的关键点。

在生物芯片上，包括多个生物条形码，生物条形码也可以称为barcoad点、DNA条形码等等。在图2中，子区域24中示例的一个个的小圆点即为生物芯片中的生物条形码。

在本申请实施例中，生物芯片上的生物条形码用于捕获组织切片中的各个细胞的基因表达信息。在组织切片贴合到生物芯片上之前，生物芯片上的生物条形码就已经完成了捕获组织切换中的各个细胞的基因表达信息了。

在组织切片贴合到生物芯片上并已固定后，可以采集生物芯片的多张二分镜通道子图像以及各二分镜通道子图像对应的荧光通道子图像。

可选的，使用可以扫描多通道的专业扫描仪，多通道的专业扫描仪中包括多个分光镜，将其中一个分光镜更换为二分镜，基于二分镜对生物芯片进行扫描，可以得到对应的二分镜通道子图像，基于分光镜对生物芯片进行扫描，可以得到荧光通道子图像。

通过控制专业扫描仪对生物芯片进行扫描，对于生物芯片的每个不同的视野，通过专业扫描仪中的二分镜对其进行扫描，得到相应的二分镜通道子图像，通过专业扫描仪中的分光镜对其进行扫描，可以得到相应的荧光通道子图像，这一组二分镜通道子图像和荧光通道子图像的视野是相同的。

在扫描的过程中，专业扫描仪的位置会相应的发生变化，通过专业扫描仪位置的变化，专业扫描仪扫描的视野也会发生变化。但是在专业扫描仪的一次扫描过程中，得到的一组二分镜通道子图像和荧光通道子图像的视野是相同的，也即一组二分镜通道子图像和荧光通道子图像对应的是生物芯片中的同一个区域，只是由于二分镜通道和荧光通道属于两个不同的通道，因此成像的效果不同。荧光成像属于被动成像的方式，针对组织切片而言，针对会发光的部分才有相应的亮度，由于生物芯片上的基底图案不会主动发光，因此荧光通道子图像中并不能显示基底图案；而二分镜通道不属于被动成像，生物芯片上的基底图案可以在二分镜通道成像，因此二分镜通道子图像中可以显示基底图案。

可以结合图3对二分镜通道和荧光通道的成像效果进行理解。图3为本申请实施例提供的二分镜通道和荧光通道的成像效果对比图，如图3所示，左边的图像31为针对生物芯片上的某个局部区域进行扫描得到的二分镜通道子图像，右边的图像32为针对该局部区域进行扫描得到的荧光通道子图像。

图像31和图像32扫描的是同一区域，但是成像效果大不相同。图像31是二分镜通道得到的二分镜通道子图像，从中可以看到生物芯片的基底图案在图像31中成像，也能够看到部分细胞组织。图像32是荧光通道得到的荧光通道子图像，由于基底图案不能主动发光的原因，图像32中观察不到基底图案。

从图3中还可以获知，由于荧光通道是基于被动成像的原理，因此成像后的大部分区域都是暗色或者黑色的，这也导致荧光通道子图像中的特征点位不足，难以将其与生物芯片进行准确的对齐。

需要说明的是，不同的二分镜通道子图像的视野是不同的，任意二分镜通道子图像的视野均为生物芯片的一个局部区域，多张二分镜通道子图像的视野共同构成整个生物芯片的全局区域，相邻的二分镜通道子图像之间可以存在重叠区域，也可以不存在重叠区域。相应的，不同的荧光通道子图像的视野是不同的，任意荧光通道子图像的视野均为生物芯片的一个局部区域，多张荧光通道子图像的视野共同构成整个生物芯片的全局区域，相邻的荧光通道子图像之间可以存在重叠区域，也可以不存在重叠区域。

S12，根据多张二分镜通道子图像对应的扫描放大倍数，对生物芯片上包括的基板图案进行放大处理，得到全幅参考图像。

针对任意一组二分镜通道子图像和荧光通道子图像而言，其尺寸是相同的，不同的二分镜通道子图像的尺寸也是相同的，因此二分镜通道子图像对应的扫描放大倍数也就是荧光通道子图像的扫描放大倍数。二分镜通道子图像对应的扫描放大倍数是一个可以预先获知的值，其表示的是生物芯片中的某个局部区域与对应的二分镜通道子图像的尺寸之间的关系，即，将该局部区域的尺寸放大一定的倍数得到的尺寸就是对应的二分镜通道子图像对应的尺寸，放大的倍数就是扫描放大倍数。

放大处理的过程例如可以结合图4进行理解。图4为本申请实施例提供的基板图案放大处理示意图，如图4所示，针对生物芯片40而言，生物芯片40上包括基板图案，生物芯片40的长度为a，宽度为b。

以扫描放大倍数为5倍为例，则对生物芯片40上的基板图案进行5倍放大后，得到的全幅参考图像的尺寸为：长度5a，宽度5b。

由于扫描放大倍数也是专业扫描仪对生物芯片40的不同的视野进行扫描过程中的放大倍数，针对生物芯片40中的任意一个视野对应的局部区域而言，在专业扫描仪对该局部区域进行扫描后得到的二分镜通道子图像以及荧光通道子图像的尺寸也为该局部区域的尺寸的5倍(以扫描放大倍数为5倍为例)。因此，将扫描得到的全部二分镜通道子图像融合后得到的全幅二分镜图像的尺寸应当与全幅参考图像的尺寸相同，将扫描得到的全部荧光通道子图像融合得到的全幅荧光图像的尺寸应当与全幅参考图像的尺寸也相同。

S13，根据多张二分镜通道子图像的采集顺序，以及基板图案中包括的多个关键点，确定各二分镜通道子图像在全幅参考图像中的校正位置。

采集顺序应当是预先设定的顺序，针对生物芯片上的不同视野，确定相应的采集顺序，从而根据多张二分镜通道子图像的采集顺序，可以粗略估计多张二分镜通道子图像在全幅参考图像中的大致位置，也可以确定多张二分镜通道子图像之间大致的相对位置关系、任意一个二分镜通道子图像与其他的哪些二分镜通道子图像相邻，等等，荧光通道子图像同理。例如，预先设定的采集顺序是将生物芯片的视野分为5行5列，针对每一行而言，从左至右依次采集，采集完一行后来采集第二行，则根据采集顺序，可以知道第1-5张二分镜通道子图像是依次相邻的，第6-10张二分镜通道子图像是依次相邻的，第1张和第6张二分镜通道子图像是相邻的，等等，荧光通道子图像同理。

基板图案中包括多个关键点，因此对基板图案进行放大处理后得到的全幅参考图像中也包括这多个关键点。而针对任意一个二分镜通道子图像而言，该二分镜通道子图像中应当也包括至少一个关键点。在一种可能的实现方式中，根据二分镜通道子图像中的关键点与全幅参考图像中的关键点之间的匹配，可以确定二分镜通道子图像在全幅参考图像中的校正位置。

在一种可能的实现方式中，也可以通过先确定二分镜通道子图像在全幅参考图像中的初始位置，并对初始位置进行校正来得到校正位置，下面结合图5对该实现方式进行介绍。

图5为本申请实施例提供的确定二分镜通道子图像在全幅参考图像中的校正位置的流程示意图，如图5所示，包括：

S51，针对任意二分镜通道子图像，对二分镜通道子图像进行关键点识别处理，确定第一关键点在二分镜通道子图像中的第一坐标信息，第一关键点为多个关键点中、二分镜通道子图像包括的关键点。

在一种可能的实现方式中，可以通过关键点识别模型来识别二分镜通道子图像中的第一关键点的第一坐标信息。需要说明的是，本申请实施例中是以多张二分镜通道子图像中的任意一张二分镜通道子图像为例，介绍如何确定该二分镜通道子图像在全幅参考图像中的校正位置的，各不同的二分镜通道子图像在全幅参考图像中的校正位置的确定方法均类似，本申请实施例中仅以任意一个为例进行介绍。

具体的，首先确定对应的关键点识别模型。其中，该关键点识别模型是预先基于多组训练样本进行训练得到的，任意一组训练样本中包括一张样本二分镜通道子图像和该样本二分镜通道子图像对应的标签信息。

样本二分镜通道子图像是根据专业扫描仪扫描的样本生物芯片得到的图像，样本二分镜通道子图像中包括样本关键点，而标签信息则包括样本关键点在样本二分镜通道子图像中的坐标信息。其中，标签信息可以是图像的形式，也可以是数据的形式，也可以包括这两种形式。图像的形式指的是对样本二分镜通道子图像中的样本关键点进行标注得到的图像，而数据的形式则指的是以坐标数据来标注样本关键点在样本二分镜通道子图像中的位置。

在关键点识别模型训练完成后，关键点识别模型就具备识别关键点的能力。将二分镜通道子图像输入至该关键点识别模型，即可得到二分镜通道子图像中的第一关键点在该二分镜通道子图像中的第一坐标信息。

S52，根据采集顺序，以及第一坐标信息，确定二分镜通道子图像在全幅参考图像中的初始位置。

具体的，首先根据采集顺序，确定第一关键点在全幅参考图像中的第二坐标信息。

在上述实施例中已经介绍，根据采集顺序可以大致确定二分镜通道子图像在全幅参考图像中的大致位置，因此二分镜通道中包括的第一关键点也是可以获知的。而由于基板图案上包括所有的关键点，因此在确定了该二分镜通道子图像中包括的第一关键点后，可以确定第一关键点在全幅参考图像中的第二坐标信息。

然后，根据第一坐标信息和第二坐标信息，确定二分镜通道子图像在全幅参考图像中的初始位置。其中，第一坐标信息为第一关键点在二分镜通道子图像中的坐标信息，第二坐标信息为第一关键点在全幅参考图像中的坐标信息，第一坐标信息和第二坐标信息指示的都是第一关键点的位置，而第一关键点的位置是不变的，因此通过第一坐标信息和第二坐标信息，可以确定二分镜通道子图像在全幅参考图像中的初始位置，该初始位置是使得第一坐标信息和第二坐标信息指示的坐标相同的位置。

S53，对初始位置进行校正处理，得到二分镜通道子图像在全幅参考图像中的校正位置。

需要说明的是，受限于专业扫描仪的机械精度等原因，在S52中确定的初始位置可能存在一定的偏差，因此需要对该初始位置进行校正处理。

具体的，在确定二分镜通道子图像在全幅参考图像中的初始位置后，根据该初始位置，需要在全幅参考图像中确定二分镜通道子图像对应的局部子图像，局部子图像属于全幅参考图像的一部分，且需要满足的条件是局部子图像在全幅参考图像中对应的区域包括二分镜通道子图像在全幅参考图像中对应的区域。以二分镜通道子图像在全幅参考图像中对应的区域为区域A为例，该二分镜通道子图像对应的局部子图像在全幅参考图像中对应的区域为区域B，则区域B需要满足的条件是，区域A属于区域B的子区域。

在确定了二分镜通道子图像对应的局部子图像后，对局部子图像和该二分镜通道子图像进行匹配处理，以得到相应的匹配结果。

在一种可能的实现方式中，可以通过如下方式进行匹配处理：

在该局部子图像处于固定状态下，根据预设步长，确定二分镜通道子图像相对于局部子图像的多个相对位置。然后，根据这多个相对位置，对二分镜通道子图像进行二维窗口滑动处理，确定处于各相对位置下的二分镜通道子图像。然后，将局部子图像和处于各相对位置下的二分镜通道子图像进行匹配处理，得到相应的匹配结果，匹配结果包括各相对位置下、二分镜通道子图像和局部子图像之间的相似度。

针对任意一个相对位置而言，当该二分镜通道子图像和该局部子图像处于该相对位置时，将二分镜通道子图像和该局部子图像进行匹配，确定两者的相似度。通过上述方式，可以得到不同相对位置下的二分镜通道子图像和局部子图像之间的相似度。

在得到不同相对位置下的二分镜通道子图像和局部子图像之间的相似度后，将对应的相似度最高的相对位置，确定为二分镜通道子图像相对于局部子图像的目标相对位置即可。

在得到目标相对位置后，根据该目标相对位置和局部子图像在全幅参考图像中的位置，得到二分镜通道子图像在全幅参考图像中的校正位置。由于局部子图像在全幅参考图像中的位置是已知的，而目标相对位置指示了局部子图像和二分镜通道子图像的相对位置，基于目标相对位置和局部子图像在全幅参考图像中的位置，可以确定二分镜通道子图像在全幅参考图像中的校正位置。

在上述实施例中介绍了如何确定任意一个二分镜通道子图像在全幅参考图像中的校正位置，对于各个二分镜通道子图像而言，均可以采用上述方式来确定其在全幅参考图像中的校正位置，从而得到生物芯片的不同视野对应的二分镜通道子图像在全幅参考图像中的校正位置。

S14，根据各二分镜通道子图像在全幅参考图像中的校正位置，对各二分镜通道子图像对应的荧光通道子图像进行融合处理，得到生物芯片的全幅荧光图像。

二分镜通道子图像在全幅参考图像中的校正位置是二分镜通道子图像在全幅参考图像中的精确位置。针对任意一组二分镜通道子图像和对应的荧光通道子图像而言，该二分镜通道子图像在全幅参考图像中的校正位置和对应的荧光通道子图像在全幅参考图像中的校正位置是相同的。因此，根据各二分镜通道子图像在全幅参考图像中的校正位置，可以确定各荧光通道子图像在全幅参考图像中的校正位置。然后根据各荧光通道子图像在全幅参考图像中的校正位置，对各二分镜通道子图像对应的荧光通道子图像进行融合处理，即可得到生物芯片的全幅荧光图像。融合的过程，就是根据各荧光通道子图像在全幅参考图像中的校正位置，将各荧光通道子图像按照相应的校正位置排列拼接即可。

图6为本申请实施例提供的一种全幅荧光图像的示意图，图7为本申请实施例提供的一种融合前后的荧光通道子图像的示意图，如图6所示，在进行融合后，可以得到完整的全幅荧光图像，如图7所示，图7的左边示例的是未进行校正处理的荧光通道子图像，图7的右边示例的是进行了校正处理后的荧光通道子图像，根据两者的对比可知，在进行校正后，纠正了之前无法对齐的问题，得到了准确度更好的全幅荧光图像。

图8为本申请实施例提供的一种全幅二分镜图像的示意图，如图8所示，在确定了各二分镜通道子图像在全幅参考图像中的校正位置后，也可以对各二分镜通道子图像进行融合，得到全幅二分镜图像，融合的过程与荧光通道子图像的融合过程类似。可以看到，融合得到的全幅二分镜图像与图6中的全幅荧光图像的内容是相同的，但是具有不同的成像效果。

图9为本申请实施例提供的叠加基底图案后的全幅荧光图像的放大示意图，如图9所示，为了评估校正的准确性，在得到的全幅荧光图像上叠加了一层生物芯片的基底图案。未采用本申请实施例的扫描图像处理方法得到的全幅荧光图像，会存在重影或者错误，准确性较低。采用了本申请实施例的扫描图像处理方法得到的全幅荧光图像，将完全重合，不存在重影的情况，准确性较高。

本申请实施例提供的扫描图像处理方法，在组织切片贴合在生物芯片上的状态下，采集生物芯片的多张二分镜通道子图像和各二分镜通道子图像对应的荧光通道子图像，并根据多张二分镜通道子图像对应的扫描放大倍数，对生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；然后，根据多张二分镜通道子图像的采集顺序，以及基板图案中包括的多个关键点，确定各二分镜通道子图像在全幅参考图像中的校正位置；最后根据各二分镜通道子图像在全幅参考图像中的校正位置，对各二分镜通道子图像对应的荧光通道子图像进行融合处理，得到生物芯片的全幅荧光图像。在由于荧光通道子图像中的特征点位不足导致全幅荧光图像相对生物芯片存在较大位置偏差的情况下，通过同步采集荧光通道子图像对应的二分镜通道子图像，捕捉足够的特点点位，也即基板图案中的多个关键点，从而通过多个关键点结合多张二分镜通道子图像的采集顺序来对产生的位置误差进行校正，实现了生物芯片捕获的基因表达信息和全幅荧光图像表示的区域的准确对齐，以供与后续的各项高精度对齐需求。

图10为本申请实施例提供的扫描图像处理装置的结构示意图，如图10所示，该装置包括：

采集模块101，用于在组织切片贴合在生物芯片上的状态下，采集所述生物芯片的多张二分镜通道子图像和各所述二分镜通道子图像对应的荧光通道子图像；

放大模块102，用于根据所述多张二分镜通道子图像对应的扫描放大倍数，对所述生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；

处理模块103，用于根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置；

融合模块104，用于根据各所述二分镜通道子图像在所述全幅参考图像中的校正位置，对各所述二分镜通道子图像对应的荧光通道子图像进行融合处理，得到所述生物芯片的全幅荧光图像。

在一种可能的实施方式中，所述处理模块103具体用于：

针对任意二分镜通道子图像，对所述二分镜通道子图像进行关键点识别处理，确定第一关键点在所述二分镜通道子图像中的第一坐标信息，所述第一关键点为所述多个关键点中、所述二分镜通道子图像包括的关键点；

根据所述采集顺序，以及所述第一坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置；

对所述初始位置进行校正处理，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

在一种可能的实施方式中，所述处理模块103具体用于：

将所述二分镜通道子图像输入至关键点识别模型，得到所述第一坐标信息；

其中，所述关键点识别模型是基于多组训练样本进行训练得到的，任意一组训练样本中包括一张样本二分镜通道子图像和所述样本二分镜通道子图像对应的标签信息，所述样本二分镜通道子图像中包括样本关键点，所述标签信息中包括所述样本关键点在所述样本二分镜通道子图像中的坐标信息。

在一种可能的实施方式中，所述处理模块103具体用于：

根据所述采集顺序，确定所述第一关键点在所述全幅参考图像中的第二坐标信息；

根据所述第一坐标信息和所述第二坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置。

在一种可能的实施方式中，所述处理模块103具体用于：

根据所述初始位置，在所述全幅参考图像中确定所述二分镜通道子图像对应的局部子图像，所述局部子图像在所述全幅参考图像中对应的区域包括所述二分镜通道子图像在所述全幅参考图像中对应的区域；

对所述局部子图像和所述二分镜通道子图像进行匹配处理，得到匹配结果；

根据所述匹配结果，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

在一种可能的实施方式中，所述处理模块103具体用于：

在所述局部子图像处于固定状态下，根据预设步长，确定所述二分镜通道子图像相对于所述局部子图像的多个相对位置；

根据所述多个相对位置，对所述二分镜通道子图像进行二维窗口滑动处理，确定处于各所述相对位置下的所述二分镜通道子图像；

将所述局部子图像和处于各所述相对位置下的所述二分镜通道子图像进行匹配处理，得到所述匹配结果，所述匹配结果包括各所述相对位置下、所述二分镜通道子图像和所述局部子图像之间的相似度。

在一种可能的实施方式中，所述处理模块103具体用于：

将对应的相似度最高的相对位置，确定为所述二分镜通道子图像相对于所述局部子图像的目标相对位置；

根据所述目标相对位置以及所述局部子图像在所述全幅参考图像中的位置，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

本申请实施例提供的扫描图像处理装置，用于执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行扫描图像处理方法，该方法包括：在组织切片贴合在生物芯片上的状态下，采集所述生物芯片的多张二分镜通道子图像和各所述二分镜通道子图像对应的荧光通道子图像；根据所述多张二分镜通道子图像对应的扫描放大倍数，对所述生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置；根据各所述二分镜通道子图像在所述全幅参考图像中的校正位置，对各所述二分镜通道子图像对应的荧光通道子图像进行融合处理，得到所述生物芯片的全幅荧光图像。

此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的扫描图像处理方法，该方法包括：在组织切片贴合在生物芯片上的状态下，采集所述生物芯片的多张二分镜通道子图像和各所述二分镜通道子图像对应的荧光通道子图像；根据所述多张二分镜通道子图像对应的扫描放大倍数，对所述生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置；根据各所述二分镜通道子图像在所述全幅参考图像中的校正位置，对各所述二分镜通道子图像对应的荧光通道子图像进行融合处理，得到所述生物芯片的全幅荧光图像。

又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的扫描图像处理方法，该方法包括：在组织切片贴合在生物芯片上的状态下，采集所述生物芯片的多张二分镜通道子图像和各所述二分镜通道子图像对应的荧光通道子图像；根据所述多张二分镜通道子图像对应的扫描放大倍数，对所述生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置；根据各所述二分镜通道子图像在所述全幅参考图像中的校正位置，对各所述二分镜通道子图像对应的荧光通道子图像进行融合处理，得到所述生物芯片的全幅荧光图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种扫描图像处理方法，其特征在于，包括：

在组织切片贴合在生物芯片上的状态下，采集所述生物芯片的多张二分镜通道子图像和各所述二分镜通道子图像对应的荧光通道子图像；

根据所述多张二分镜通道子图像对应的扫描放大倍数，对所述生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；

根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置；

根据各所述二分镜通道子图像在所述全幅参考图像中的校正位置，对各所述二分镜通道子图像对应的荧光通道子图像进行融合处理，得到所述生物芯片的全幅荧光图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置，包括：

针对任意二分镜通道子图像，对所述二分镜通道子图像进行关键点识别处理，确定第一关键点在所述二分镜通道子图像中的第一坐标信息，所述第一关键点为所述多个关键点中、所述二分镜通道子图像包括的关键点；

根据所述采集顺序，以及所述第一坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置；

对所述初始位置进行校正处理，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

3.根据权利要求2所述的方法，其特征在于，所述对所述二分镜通道子图像进行关键点识别处理，确定第一关键点在所述二分镜通道子图像中的第一坐标信息，包括：

将所述二分镜通道子图像输入至关键点识别模型，得到所述第一坐标信息；

其中，所述关键点识别模型是基于多组训练样本进行训练得到的，任意一组训练样本中包括一张样本二分镜通道子图像和所述样本二分镜通道子图像对应的标签信息，所述样本二分镜通道子图像中包括样本关键点，所述标签信息中包括所述样本关键点在所述样本二分镜通道子图像中的坐标信息。

4.根据权利要求2所述的方法，其特征在于，所述根据所述采集顺序，以及所述第一坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置，包括：

根据所述采集顺序，确定所述第一关键点在所述全幅参考图像中的第二坐标信息；

根据所述第一坐标信息和所述第二坐标信息，确定所述二分镜通道子图像在所述全幅参考图像中的初始位置。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述对所述初始位置进行校正处理，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置，包括：

根据所述初始位置，在所述全幅参考图像中确定所述二分镜通道子图像对应的局部子图像，所述局部子图像在所述全幅参考图像中对应的区域包括所述二分镜通道子图像在所述全幅参考图像中对应的区域；

对所述局部子图像和所述二分镜通道子图像进行匹配处理，得到匹配结果；

根据所述匹配结果，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

6.根据权利要求5所述的方法，其特征在于，所述对所述局部子图像和所述二分镜通道子图像进行匹配处理，得到匹配结果，包括：

在所述局部子图像处于固定状态下，根据预设步长，确定所述二分镜通道子图像相对于所述局部子图像的多个相对位置；

根据所述多个相对位置，对所述二分镜通道子图像进行二维窗口滑动处理，确定处于各所述相对位置下的所述二分镜通道子图像；

将所述局部子图像和处于各所述相对位置下的所述二分镜通道子图像进行匹配处理，得到所述匹配结果，所述匹配结果包括各所述相对位置下、所述二分镜通道子图像和所述局部子图像之间的相似度。

7.根据权利要求6所述的方法，其特征在于，所述根据所述匹配结果，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置，包括：

将对应的相似度最高的相对位置，确定为所述二分镜通道子图像相对于所述局部子图像的目标相对位置；

根据所述目标相对位置以及所述局部子图像在所述全幅参考图像中的位置，得到所述二分镜通道子图像在所述全幅参考图像中的校正位置。

8.一种扫描图像处理装置，其特征在于，包括：

采集模块，用于在组织切片贴合在生物芯片上的状态下，采集所述生物芯片的多张二分镜通道子图像和各所述二分镜通道子图像对应的荧光通道子图像；

放大模块，用于根据所述多张二分镜通道子图像对应的扫描放大倍数，对所述生物芯片上包括的基板图案进行放大处理，得到全幅参考图像；

处理模块，用于根据所述多张二分镜通道子图像的采集顺序，以及所述基板图案中包括的多个关键点，确定各所述二分镜通道子图像在所述全幅参考图像中的校正位置；

融合模块，用于根据各所述二分镜通道子图像在所述全幅参考图像中的校正位置，对各所述二分镜通道子图像对应的荧光通道子图像进行融合处理，得到所述生物芯片的全幅荧光图像。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的扫描图像处理方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的扫描图像处理方法。