CN117036878B - 一种人工智能预测图像与数字病理图像融合的方法及系统 - Google Patents

Abstract

本发明提供了一种人工智能预测图像与数字病理图像融合的方法及系统，方法包含：将人工智能预测后的第一图像进行预处理；从待图像融合的第二图像和预处理后的第一图像中提取图像特征，对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体，并固定融合点；根据第一图像和第二图像的图像特征的匹配结果，进行像素级别的融合，得到第三图像；像素级别的融合方法包含最大值等方法；对第三图像进行后操作处理，输出处理后的第四图像，第四图像即为融合后的图像；系统包含：图像预处理模块、特征提取模块、特征匹配模块、图像融合模块、后处理模块和结果输出模块。本发明通过逐像素的融合，提高了病理学家识别图像的工作效率。

Description

一种人工智能预测图像与数字病理图像融合的方法及系统

技术领域

本发明涉及图像融合处理技术领域，特别涉及一种人工智能预测图像与数字病理图像融合的方法及系统。

背景技术

近年来，病理学已经进入数字化时代，全切片病理图像(whole slide image，WSI)是数字化病理学的基础，高质量病理图像为病理人工智能(AI)诊断、远程会诊、病理数据共享及教学等多方面提供了便利条件。同时随着人工智能在医疗领域的深度发展，病理切片的AI预测诊断也逐渐成为了研究热点。就对预测后的AI诊断数据与原数字病理切片的数据图像的展示有了更高的要求，可以更好的实现数字病理图像和AI预测诊断数据的融合展示，能让用户直观地了解AI预测的结果和病情的变化，一个完整的医学图像融合系统应该是各种医学成像设备、处理设备与融合软件的总和。由于不同医学成像设备的成像机理不同，其图像质量、空间与时间特性有很大的差别。因此，要实现医学图像的融合，图像数据转换、图像数据相关、图像数据库和数据理解都是要解决的关键技术。图像数据转换包含不同图像的格式转换、三维方向调整、尺度变换等，其目的在于确保多源图像的像/体素表达同样大小的实际空间区域，确保多源图像对脏器在空间描述上的一致性。图像数据相关主要是完成相关图像的对位。理想情况下，图像融合应能够实现所研究图像精确的点到点对应，然而在实际应用中，图像分辨率越高，图像细节越多，实现点到点的——对应也就越困难；并且，事实上由于各种客观或人为因素，用医学图像获得100％真实的脏器信息是不可能的，医学图像设备总是在不断地完善以求所得图像能更接近脏器的真实情况。图像配准技术的实现是医学图像融合的难点。图像数据库完成典型病例和典型图像数据的建档、管理和信息提取，它是图像融合的数据支持。数据理解是医学图像融合的最终目的。图像融合的潜力在于综合处理应用各种成像设备所得信息以获得新的有助于临床诊断的信息。但是现有的病理图像数字化之后，进行病理的AI预测，生成的数据与原切片数据的交汇复现存在定位不足，边缘处理不足够等，其主要缺点如下：

(1)色彩失真：双重图像融合过程中，如果两张图像的色彩分布不一致，容易导致融合后的图像出现色彩失真现象。

(2)信息丢失：在双重图像融合过程中，如果不合理地选择融合算法，容易导致重要信息被丢失，影响图像的质量和内容。

(3)算法复杂度高：一些双重图像融合方案需要较高的计算资源和时间，难以在实际应用中得到广泛应用。

(4)对齐问题：由于两张图像的拍摄角度、光照等条件不同，需要将它们对齐，使得在像素级别上能够对应，在双重图像融合过程中，如果两张图像没有很好地对齐，会导致融合后的图像出现模糊、失真等问题。

(5)透明度不一致：在双重图像融合过程中，往往需要设置透明度参数，但是不同参数会导致不同透明度，难以保持一致，影响融合效果。

现有技术一，申请号：CN201810677958.2公开了一种图像融合方法及系统、医疗设备和图像融合终端，方法包含：获取第一立体图像和第二立体图像；根据对第一立体图像的每根光线进行积分的结果，获取第一立体图像的最大灰度值处的位置和第一采样颜色；在第二立体图像中采样至对应第一立体图像的最大灰度值处的位置，得到第二采样颜色；根据第一采样颜色和第二采样颜色，融合得到第三采样颜色；以对应的位置为起点，根据对应的位置所属的光线对第二立体图像进行采样至光线终点，得到采样结果；将采样结果与第三采样颜色进行融合，得到融合图像对应的第四采样颜色。虽然可提升融合图像的准确性，但是没有对立体图像进行预处理，容易丢失图像中的信息，不利于两张图像对齐。

现有技术二，申请号：CN201710466329.0公开了一种一种基于图像融合的智能医疗系统，包含磁共振断层扫描仪、X线计算机断层扫描仪、医疗图像处理器和医疗诊断终端，磁共振断层扫描仪用于扫描患者的病患处，得到病患处的原始MRI图像；X线计算机断层扫描仪用于扫描患者的病患处，得到病患处的原始CT图像；医疗图像处理器用于对原始MRI图像和原始CT图像进行降噪处理，并将降噪后的MRI图像和CT图像进行图像融合，得到融合医疗图像。虽然利用软件手段将MRI图像和CT图像进行图像融合用于医疗诊断，降低了医疗成本，同时能够对患者进行较为全面的检测，提高医疗诊断的准确度；但是其算法复杂度高，双重图像融合方案需要较高的计算资源和时间。

现有技术三，申请号：CN202011025198.0公开了一种多模态图像融合系统及图像融合方法，系统包含：视频控制器、医学影像设备、双目摄像头、人体表面基准面定位模块、手持设备定位模块、显示器、触摸屏和键盘鼠标，视频控制器预先根据人体表面基准面定位模块中各个第一定位小球的放置位置得到图像融合基准面，根据获取的图像选择指令获取对应的各个待融合医学图像，基于图像融合基准面上各个第一定位小球的相对位置，将各个待融合医学图像在图像融合基准面上进行融合，得到多模态融合图像。虽然通过将单模态图像的各个待融合医学图像进行融合，实现各个单模态图像的关联，使得医护人员可根据多模态融合图像进行疾病诊断，提高了手术范围界定的效率，缩短了诊断过程花费的时间，但是容易再双重图像融合过程中导致色彩失真和信息丢失，影响图像的质量和内容。

目前现有技术一、现有技术二和现有技术三存在图像的融合效果较差，很容易导致色彩失真及信息丢失；同时融合过程的算法复杂的问题，因而，本发明提供一种人工智能预测图像与数字病理图像融合的方法及系统，基于图像处理和计算机视觉算法，能够在不损失任何图像信息的情况下，采用一种新的双重图像融合方法，将两个不同的图像融合成一个更加清晰及更加有意义的图像，生成一个高质量及高分辨率的融合图像。

发明内容

为了解决上述技术问题，本发明提供了一种人工智能预测图像与数字病理图像融合的方法，包含以下步骤：

将人工智能预测后的第一图像进行预处理；

从待图像融合的第二图像和预处理后的第一图像中提取图像特征，对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体，并固定融合点；

根据第一图像和第二图像的图像特征的匹配结果，进行像素级别的融合，得到第三图像；

对第三图像进行后操作处理，输出处理后的第四图像，第四图像即为融合后的图像，对融合后的第四图像进行质量评估，以确定融合效果是否满足要求。

可选的，图像特征包含人工智能预测后的图像的色彩、纹理及形状。

可选的，预处理的过程，包含以下步骤：

接收具有人工智能预测像素值的第一图像，获取第一图像中病理切片区域的水平分辨率和垂直分辨率，计算与预设像素值的差值；根据像素值调整大小因子重新调整，病理切片区域的水平分辨率和垂直分辨率，得到调整后的第一图像；

将调整后的第一图像转成灰度图片，将灰度图片的颜色通道分离开来，单独对每一个通道进行一个灰度处理，转换为HSV颜色模式，得到颜色空间转换后的第一图像；

选取小波基和分解层数对含噪颜色空间转换后的第一图像进行小波分解，得到相应的小波分解系数；对于分解尺度，选取一个阈值对高频系数进行阈值量化，得到估计小波系数；根据小波分解的低频系数以及各层阈值量化后的高频系数进行重构，得到去噪后的第一图像。

可选的，像素值调整大小因子配置为当通过大于预设像素值的不同的像素值而增加时，基于水平分辨率和垂直分辨率的原始大小的曲线函数增加与水平分辨率和垂直分辨率的大小，增加执行时，使得水平分辨率和垂直分辨率随像素值调整大小因子而增加。

可选的，对提取的图像特征进行匹配的过程，包含以下步骤：

采集待图像融合的第二图像的图像特征，图像特征包含第二图像的色彩、纹理及形状，根据图像特征的连通区域的像素集合的边界形成图形，获得连通区域对应的区域或物体，判断图像特征的连通区域对应的区域是否符合第一图像中的区域或物体；

将第一图像中的图像特征与第二图像的图像特征进行匹配；

从第二图像中的连通区域对应的区域或物体的匹配位置作为起始位置，获得匹配位置的图像特征，每个匹配位置的匹配度均与第一图像中的区域或物体对应；

将匹配度达到阈值的匹配位置记录为与第一图像中的图像特征对应的图像特征，并将匹配位置作为融合点。

可选的，进行像素级别的融合的过程，包含以下步骤：

第一图像和第二图像的图像特征的匹配结果，得到图像特征图；

根据图像特征图计算融合点处对应图像特征的像素灰度值；

将像素灰度值进行排列，通过融合密度峰值的高斯混合模型，选取其中灰度值最大的像素作为像素级别的融合在融合点处像素；

将各个灰度值大的融合点像素联通，得到第三图像。

可选的，选取在融合点处像素的过程，包含以下步骤：

将排列的像素灰度值进行计算，获取平均像素灰度值，得出对应类的协方差矩阵，构建融合密度峰值的高斯混合模型的初始参数；

通过最大期望算法进行预估，构建融合密度峰值的高斯混合模型；

根据贝叶斯准则对排列的像素灰度值的概率进行验算，将排列的像素灰度值输入融合密度峰值的高斯混合模型，得到融合密度峰值集中的像素灰度值。

可选的，将各个灰度值最大的融合点像素联通的过程，包含以下步骤：

根据各个灰度值最大的融合点像素，选取病理切片边缘识别区域及病理切片周边识别区域，得到初始的第三图像；

以初始的第三图像，与病理切片边缘识别区域及病理切片周边识别区域未封闭段区域对应的边缘线上任一点为原点；

在与边缘线平行的方向沿相反的第一方向和第二方向逐像素线扫描，得到在第一方向满足预设条件的首个像素灰度值与边缘线像素灰度值不同的像素点作为第一方向连接点，以及在第二方向满足预设条件的首个像素灰度值与边缘线像素灰度值不同的像素点作为第二方向连接点；

通过像素灰度值为0或255的连线连接第一方向连接点和第二方向连接点，完成第三图像轮廓的提取，得到第三图像。

本发明提供的一种人工智能预测图像与数字病理图像融合的系统，包含：

图像预处理模块，负责将人工智能AI预测出的第一图像进行预处理；

特征提取模块，负责从待图像融合的第二图像和预处理后的第一图像中提取色彩、纹理、形状图像特征；

特征匹配模块，负责对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体从而固定融合点；

图像融合模块，负责根据第一图像和第二图像的匹配结果，将第一图像和第二图像进行像素级别的融合，得到第三图像；

后处理模块，负责对融合后的第三图像进行色彩调整、锐化、去除伪影后处理，得到第四图像，第四图像即为融合后的图像；

结果输出模块，负责输出融合后的第四图像。

可选的，图像融合模块，包含：

特征图获取子模块，负责根据第一图像和第二图像的图像特征的匹配结果，得到图像特征图；

像素灰度值计算子模块，负责根据图像特征图计算融合点处对应图像特征的像素灰度值；

模型构建子模块，负责将像素灰度值进行排列，通过融合密度峰值的高斯混合模型，选取其中灰度值最大的像素作为像素级别的融合在融合点处像素；

像素联通子模块，负责将各个灰度值大的融合点像素联通，得到第三图像。

本发明的首先将人工智能预测后的第一图像进行预处理；其中预处理包含：调整大小、颜色空间转换和去噪等；其次从待图像融合的第二图像和预处理后的第一图像中提取图像特征，对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体，并固定融合点；其中图像特征包含人工智能预测后的图像的色彩、纹理及形状等；然后根据第一图像和第二图像的图像特征的匹配结果，进行像素级别的融合，得到第三图像；像素级别的融合方法包含最大值等方法；最后对第三图像进行后操作处理，输出处理后的第四图像，第四图像即为融合后的图像；后操作处理包含色彩调整、锐化及去除伪影等操作；上述方案通过将两张或多张图像进行逐像素的融合，生成了一个新的图像，新的图像具备了原始图像的图像特征及信息；将每个像素的值与相应位置上的其他图像的像素值进行比较，并选择最佳的像素值进行输出；同时基于病理领域的AI深度预测的生成的诊断切片数据，作为融合数据来源，在数据的质量上，深度学习生成的数据过程已经在图像增强、去噪和超分辨率有了更可靠的保障；提高了诊断准确性，通过将AI预测后的切片图像全面综合起来，可以更全面地了解病变的情况，从而更准确地诊断疾病；提高了病理学家识别图像的工作效率：病理学家通过图像精准融合技术快速地查看并分析病理图像的，从而节省时间和精力，提高工作效率；促进医学研究：病理切片预测图像融合可以帮助医生和科学家更好地理解疾病的发展和变化规律，从而促进医学研究的进展；提高病人治疗质量：通过更准确地诊断疾病和了解病变情况，医生可以更好地制定治疗方案，提高病人的治疗质量；缩短诊断时间：AI预测病理图像融合可以在原数字切片图像中呈现多维度的信息，从而减少医生查看切片的时间，缩短诊断时间。

综上所述，本发明对融合前的第一图像进行去噪处理，使得图像更加清晰；对提取的图像特征进行匹配的过程中，采用图像对其算法，将第一图像和第二图像进行对齐，解决了由于第一图像和第二图像两张图像的拍摄角度、光照等条件不同，影响匹配效果的问题，使得第一图像和第二图像在像素级别上能够对应；本发明将两张对齐的第一图像和第二图像融合在一起，使得融合后的第四图像能够同时保留两张图像的信息；对融合后的第四图像进行质量评估，以确定融合效果是否满足要求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1中人工智能预测图像与数字病理图像融合的方法流程图；

图2为本发明实施例2中预处理的过程图；

图3为本发明实施例3中对提取的图像特征进行匹配的过程图；

图4为本发明实施例4中进行像素级别的融合的过程图；

图5为本发明实施例5中选取在融合点处像素的过程图；

图6为本发明实施例6中将各个灰度值最大的融合点像素联通的过程图；

图7为本发明实施例7中人工智能预测图像与数字病理图像融合的系统框图；

图8为本发明实施例8中图像融合模块框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包含多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

实施例1：如图1所示，本发明实施例提供了一种人工智能预测图像与数字病理图像融合的方法，包含以下步骤：

S100：将人工智能预测后的第一图像进行预处理；其中预处理包含：调整大小、颜色空间转换和去噪等；

S200：从待图像融合的第二图像和预处理后的第一图像中提取图像特征，对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体，并固定融合点；其中图像特征包含人工智能预测后的图像的色彩、纹理及形状等；

S300：根据第一图像和第二图像的图像特征的匹配结果，进行像素级别的融合，得到第三图像；像素级别的融合方法包含最大值等方法；

S400：对第三图像进行后操作处理，输出处理后的第四图像，第四图像即为融合后的图像，对融合后的第四图像进行质量评估，以确定融合效果是否满足要求；后操作处理包含色彩调整、锐化及去除伪影等操作；

上述技术方案的工作原理和有益效果为：本实施例首先将人工智能预测后的第一图像进行预处理；其中预处理包含：调整大小、颜色空间转换和去噪等；其次从待图像融合的第二图像和预处理后的第一图像中提取图像特征，对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体，并固定融合点；其中图像特征包含人工智能预测后的图像的色彩、纹理及形状等；然后根据第一图像和第二图像的图像特征的匹配结果，进行像素级别的融合，得到第三图像；像素级别的融合方法包含最大值等方法；最后对第三图像进行后操作处理，输出处理后的第四图像，第四图像即为融合后的图像；后操作处理包含色彩调整、锐化及去除伪影等操作；上述方案通过将两张或多张图像进行逐像素的融合，生成了一个新的图像，新的图像具备了原始图像的图像特征及信息；将每个像素的值与相应位置上的其他图像的像素值进行比较，并选择最佳的像素值进行输出；同时基于病理领域的AI深度预测的生成的诊断切片数据，作为融合数据来源，在数据的质量上，深度学习生成的数据过程已经在图像增强、去噪和超分辨率有了更可靠的保障；提高了诊断准确性，通过将AI预测后的切片图像全面综合起来，可以更全面地了解病变的情况，从而更准确地诊断疾病；提高了病理学家识别图像的工作效率：病理学家通过图像精准融合技术快速地查看并分析病理图像的，从而节省时间和精力，提高工作效率；促进医学研究：病理切片预测图像融合可以帮助医生和科学家更好地理解疾病的发展和变化规律，从而促进医学研究的进展；提高病人治疗质量：通过更准确地诊断疾病和了解病变情况，医生可以更好地制定治疗方案，提高病人的治疗质量；缩短诊断时间：AI预测病理图像融合可以在原数字切片图像中呈现多维度的信息，从而减少医生查看切片的时间，缩短诊断时间。

综上所述，本发明对融合前的第一图像进行去噪处理，使得图像更加清晰；对提取的图像特征进行匹配的过程中，采用图像对其算法，将第一图像和第二图像进行对齐，解决了由于第一图像和第二图像两张图像的拍摄角度、光照等条件不同，影响匹配效果的问题，使得第一图像和第二图像在像素级别上能够对应；本发明将两张对齐的第一图像和第二图像融合在一起，使得融合后的第四图像能够同时保留两张图像的信息；对融合后的第四图像进行质量评估，以确定融合效果是否满足要求。

实施例2：如图2所示，在实施例1的基础上，本发明实施例提供的预处理的过程，包含以下步骤：

S101：接收具有人工智能预测像素值的第一图像，获取第一图像中病理切片区域的水平分辨率和垂直分辨率，计算与预设像素值的差值；根据像素值调整大小因子重新调整，病理切片区域的水平分辨率和垂直分辨率，得到调整后的第一图像；

像素值调整大小因子配置为当通过大于预设像素值的不同的像素值而增加时，基于水平分辨率和垂直分辨率的原始大小的曲线函数增加与水平分辨率和垂直分辨率的大小，增加执行时，使得水平分辨率和垂直分辨率随像素值调整大小因子而增加；

S102：将调整后的第一图像转成灰度图片，将灰度图片的颜色通道分离开来，单独对每一个通道进行一个灰度处理，转换为HSV(色相(Hue)、饱和度(Saturation)、明度(Value))颜色模式，得到颜色空间转换后的第一图像；

调整后的第一图像转换为HSV颜色模式的表达式为：

其中，R表示调整后的第一图像的色彩空间红基色数值大小，G表示调整后的第一图像的色彩空间绿基色数值大小，B表示调整后的第一图像的色彩空间蓝基色数值大小，H表示HSV颜色模式中色相基色数值大小，S表示HSV颜色模式中饱和度基色数值大小，V表示HSV颜色模式中明度基色数值大小；MAX为R、G和B最大的数值，MIN为R、G和B最小的数值；

S103：选取小波基和分解层数对含噪颜色空间转换后的第一图像进行小波分解，得到相应的小波分解系数；对于分解尺度，选取一个阈值对高频系数进行阈值量化，得到估计小波系数；根据小波分解的低频系数以及各层阈值量化后的高频系数进行重构，得到去噪后的第一图像；

上述技术方案的工作原理和有益效果为：本实施例首先接收具有人工智能预测像素值的第一图像，获取第一图像中病理切片区域的水平分辨率和垂直分辨率，计算与预设像素值的差值；根据像素值调整大小因子重新调整，病理切片区域的水平分辨率和垂直分辨率，得到调整后的第一图像；像素值调整大小因子配置为当通过大于预设像素值的不同的像素值而增加时，基于水平分辨率和垂直分辨率的原始大小的曲线函数增加与水平分辨率和垂直分辨率的大小，增加执行时，使得水平分辨率和垂直分辨率随像素值调整大小因子而增加；其次将调整后的第一图像转成灰度图片，将灰度图片的颜色通道分离开来，单独对每一个通道进行一个灰度处理，转换为HSV(色相(Hue)、饱和度(Saturation)、明度(Value))颜色模式，得到颜色空间转换后的第一图像；最后选取小波基和分解层数对含噪颜色空间转换后的第一图像进行小波分解，得到相应的小波分解系数；对于分解尺度，选取一个阈值对高频系数进行阈值量化，得到估计小波系数；根据小波分解的低频系数以及各层阈值量化后的高频系数进行重构，得到去噪后的第一图像；上述方案根据像素值调整大小因子重新调整，病理切片区域的水平分辨率和垂直分辨率，得到调整后的第一图像，确保了输入第一图像的分辨率的要求，保证了第一图像的清晰度，提升病理切片区域的可识别精度，为图像特征的匹配提供更可靠的数据；通过颜色空间转换实现了排除光照阴虚的影响，把光照因素对第一图像的处理结果影响降低；通过小波去噪能够在去除噪声提高峰值信噪比的同时使图像不像软阈值去噪平滑模糊；通过对第一图像的预处理，进一步提升了第一图像的清晰度及可识别精度，为图像的融合提供了良好的图像。

从待图像融合的第二图像和预处理后的第一图像中提取图像特征，对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体，并固定融合点；其中图像特征包含人工智能预测后的图像的色彩、纹理及形状等等。

实施例3：如图3所示，在实施例1的基础上，本发明实施例提供的对提取的图像特征进行匹配的过程，包含以下步骤：

S201：采集待图像融合的第二图像的图像特征，图像特征包含第二图像的色彩、纹理及形状等，根据图像特征的连通区域的像素集合的边界形成图形，获得连通区域对应的区域或物体，判断图像特征的连通区域对应的区域是否符合第一图像中的区域或物体；

S202：将第一图像中的图像特征与第二图像的图像特征进行匹配；

S203：从第二图像中的连通区域对应的区域或物体的匹配位置作为起始位置，获得匹配位置的图像特征，每个匹配位置的匹配度均与第一图像中的区域或物体对应；

S204：将匹配度达到阈值的匹配位置记录为与第一图像中的图像特征对应的图像特征，并将匹配位置作为融合点；

上述技术方案的工作原理和有益效果为：本实施例首先采集待图像融合的第二图像的图像特征，图像特征包含第二图像的色彩、纹理及形状等，根据图像特征的连通区域的像素集合的边界形成图形，获得连通区域对应的区域或物体，判断图像特征的连通区域对应的区域是否符合第一图像中的区域或物体；其次将第一图像中的图像特征与第二图像的图像特征进行匹配；然后从第二图像中的连通区域对应的区域或物体的匹配位置作为起始位置，获得匹配位置的图像特征，每个匹配位置的匹配度均与第一图像中的区域或物体对应；最后将匹配度达到阈值的匹配位置记录为与第一图像中的图像特征对应的图像特征，并将匹配位置作为融合点；上述方案从待图像融合的第二图像和预处理后的第一图像中提取图像特征，对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体，实现了图像特征的匹配，通过区域或物体的匹配位置的确定，提高了第一图像和第二图像匹配的成功率，为图像特征的融合奠定了基础，并固定包含核形态及细胞密度等的融合点，进一步明确了匹配度较高的图像特征，保证了图像融合的精度。

实施例4：如图4所示，在实施例1的基础上，本发明实施例提供的进行像素级别的融合的过程，包含以下步骤：

S301：第一图像和第二图像的图像特征的匹配结果，得到图像特征图；

S302：根据图像特征图计算融合点处对应图像特征的像素灰度值；

S303：将像素灰度值进行排列，通过融合密度峰值的高斯混合模型，选取其中灰度值最大的像素作为像素级别的融合在融合点处像素；

S304：将各个灰度值大的融合点像素联通，得到第三图像；

上述技术方案的工作原理和有益效果为：本实施例首先第一图像和第二图像的图像特征的匹配结果，得到图像特征图；其次根据图像特征图计算融合点处对应图像特征的像素灰度值；然后将像素灰度值进行排列，通过融合密度峰值的高斯混合模型，选取其中灰度值最大的像素作为像素级别的融合在融合点处像素；最后将各个灰度值最大的融合点像素联通，得到第三图像；上述方案进行像素级别的融合，得到第三图像；像素级别的融合方法采用最大值方法，将各个融合点较大的像素值作为联通点，有效的标识除了病理切片区域，有助于更加直观的得到病理切片区域的前后变化，提升病理图像的融合效果。

实施例5：如图5所示，在实施例4的基础上，本发明实施例提供的选取在融合点处像素的过程，包含以下步骤：

S3031：将排列的像素灰度值进行计算，获取平均像素灰度值，得出对应类的协方差矩阵，构建融合密度峰值的高斯混合模型的初始参数；

S3032：通过最大期望算法进行预估，构建融合密度峰值的高斯混合模型；

S3033：根据贝叶斯准则对排列的像素灰度值的概率进行验算，将排列的像素灰度值输入融合密度峰值的高斯混合模型，得到融合密度峰值集中的像素灰度值；

上述技术方案的工作原理和有益效果为：本实施例首先将排列的像素灰度值进行计算，获取平均像素灰度值，得出对应类的协方差矩阵，构建融合密度峰值的高斯混合模型的初始参数；其次通过最大期望算法进行预估，构建融合密度峰值的高斯混合模型；最后根据贝叶斯准则对排列的像素灰度值的概率进行验算，将排列的像素灰度值输入融合密度峰值的高斯混合模型，得到融合密度峰值集中的像素灰度值；上述方案通过融合密度峰值的高斯混合模型实现了像素灰度值的选取，确定了像素级别的融合在融合点处像素，为病理切片的轮廓选取提供了精准数据，一方面提高了轮廓的提取精度，另一方面有效提升了图像融合的效果。

实施例6：如图6所示，在实施例4的基础上，本发明实施例提供的将各个灰度值最大的融合点像素联通的过程，包含以下步骤：

S3041：根据各个灰度值最大的融合点像素，选取病理切片边缘识别区域及病理切片周边识别区域，得到初始的第三图像；

S3042：以初始的第三图像，与病理切片边缘识别区域及病理切片周边识别区域未封闭段区域对应的边缘线上任一点为原点；

S3043：在与边缘线平行的方向沿相反的第一方向和第二方向逐像素线扫描，得到在第一方向满足预设条件的首个像素灰度值与边缘线像素灰度值不同的像素点作为第一方向连接点，以及在第二方向满足预设条件的首个像素灰度值与边缘线像素灰度值不同的像素点作为第二方向连接点；

S3044：通过像素灰度值为0或255的连线连接第一方向连接点和第二方向连接点，完成第三图像轮廓的提取，得到第三图像；

上述技术方案的工作原理和有益效果为：本实施例首先根据各个灰度值最大的融合点像素，选取病理切片边缘识别区域及病理切片周边识别区域，得到初始的第三图像；其次以初始的第三图像，与病理切片边缘识别区域及病理切片周边识别区域未封闭段区域对应的边缘线上任一点为原点；然后在与边缘线平行的方向沿相反的第一方向和第二方向逐像素线扫描，得到在第一方向满足预设条件的首个像素灰度值与边缘线像素灰度值不同的像素点作为第一方向连接点，以及在第二方向满足预设条件的首个像素灰度值与边缘线像素灰度值不同的像素点作为第二方向连接点；最后通过像素灰度值为0或255的连线连接第一方向连接点和第二方向连接点，完成第三图像轮廓的提取，得到第三图像；上述方案通过病理切片边缘识别区域及病理切片周边识别区域未封闭段区域对应的边缘线确定第三图像轮廓的原点，实现了第三图像轮廓的精准划定，在与边缘线平行的方向沿相反的第一方向和第二方向逐像素线扫描，实现了第三图像其他轮廓点的设定，进一步提升了第三图像的提取效率和精度。

实施例7：如图7所示，在实施例1-实施例6的基础上，本发明实施例提供的人工智能预测图像与数字病理图像融合的系统，包含：

图像预处理模块，负责将人工智能AI预测出的第一图像进行预处理；

特征提取模块，负责从待图像融合的第二图像和预处理后的第一图像中提取色彩、纹理、形状等图像特征；

特征匹配模块，负责对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体从而固定融合点；

图像融合模块，负责根据第一图像和第二图像的匹配结果，将第一图像和第二图像进行像素级别的融合，得到第三图像；

后处理模块，负责对融合后的第三图像进行色彩调整、锐化、去除伪影等后处理，得到第四图像，第四图像即为融合后的图像；

结果输出模块，负责输出融合后的第四图像；

上述技术方案的工作原理和有益效果为：本实施例的图像预处理模块将人工智能AI预测出的第一图像进行预处理；特征提取模块从待图像融合的第二图像和预处理后的第一图像中提取色彩、纹理、形状等图像特征；特征匹配模块对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体从而固定融合点；图像融合模块根据第一图像和第二图像的匹配结果，将第一图像和第二图像进行像素级别的融合，得到第三图像；后处理模块对融合后的第三图像进行色彩调整、锐化、去除伪影等后处理，得到第四图像，第四图像即为融合后的图像；结果输出模块输出融合后的第四图像预处理；上述方案通过图像预处理模块对原始图像进行去噪、增强及分割等处理，提高第一图像的质量和信息可读性；特征提取针对不同类型的病理切片，提取出其特征点，如核形态及细胞密度等；图像配准将人工智能AI预测好病理切片信息的图像进行与其原切片进行配准，使其在空间上对齐；图像融合采用适当的算法与数据源将配准后的图像进行融合，以得到更全面、更准确的病理信息。

实施例8：如图8所示，在实施例8的基础上，本发明实施例提供的图像融合模块，包含：

特征图获取子模块，负责根据第一图像和第二图像的图像特征的匹配结果，得到图像特征图；

像素灰度值计算子模块，负责根据图像特征图计算融合点处对应图像特征的像素灰度值；

模型构建子模块，负责将像素灰度值进行排列，通过融合密度峰值的高斯混合模型，选取其中灰度值最大的像素作为像素级别的融合在融合点处像素；

像素联通子模块，负责将各个灰度值大的融合点像素联通，得到第三图像；

上述技术方案的工作原理和有益效果为：本实施例的特征图获取子模块根据第一图像和第二图像的图像特征的匹配结果，得到图像特征图；像素灰度值计算子模块根据图像特征图计算融合点处对应图像特征的像素灰度值；模型构建子模块将像素灰度值进行排列，通过融合密度峰值的高斯混合模型，选取其中灰度值最大的像素作为像素级别的融合在融合点处像素；像素联通子模块将各个灰度值大的融合点像素联通，得到第三图像；上述方案进行像素级别的融合，得到第三图像；像素级别的融合方法采用最大值方法，将各个融合点较大的像素值作为联通点，有效的标识除了病理切片区域，有助于更加直观的得到病理切片区域的前后变化，提升病理图像的融合效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种人工智能预测图像与数字病理图像融合的方法，其特征在于，包含以下步骤：

将人工智能预测后的第一图像进行预处理；其中，接收具有人工智能预测像素值的第一图像，获取第一图像中病理切片区域的水平分辨率和垂直分辨率，计算与预设像素值的差值；根据像素值调整大小因子，重新调整病理切片区域的水平分辨率和垂直分辨率，得到调整后的第一图像；像素值调整大小因子配置为当通过大于预设像素值的不同的像素值而增加时，基于水平分辨率和垂直分辨率的原始大小的曲线函数增加与水平分辨率和垂直分辨率的大小，增加执行时，使得水平分辨率和垂直分辨率随像素值调整大小因子而增加；

将调整后的第一图像转成灰度图片，将灰度图片的颜色通道分离开来，单独对每一个通道进行一个灰度处理，转换为HSV颜色模式，得到颜色空间转换后的第一图像；调整后的第一图像转换为HSV颜色模式的表达式为：

其中，R表示调整后的第一图像的色彩空间红基色数值大小，G表示调整后的第一图像的色彩空间绿基色数值大小，B表示调整后的第一图像的色彩空间蓝基色数值大小，H表示HSV颜色模式中色相基色数值大小，S表示HSV颜色模式中饱和度基色数值大小，V表示HSV颜色模式中明度基色数值大小；MAX为R、G和B 最大的数值，MIN为R、G和B最小的数值；

选取小波基和分解层数对含噪颜色空间转换后的第一图像进行小波分解，得到相应的小波分解系数；对于分解尺度，选取一个阈值对高频系数进行阈值量化，得到估计小波系数；根据小波分解的低频系数以及各层阈值量化后的高频系数进行重构，得到去噪后的第一图像；

从待图像融合的第二图像和预处理后的第一图像中提取图像特征，对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体，并固定融合点；

根据第一图像和第二图像的图像特征的匹配结果，进行像素级别的融合，得到第三图像；

对第三图像进行后操作处理，输出处理后的第四图像，第四图像即为融合后的图像，对融合后的第四图像进行质量评估，以确定融合效果是否满足要求。

2.如权利要求1所述的人工智能预测图像与数字病理图像融合的方法，其特征在于，图像特征包含人工智能预测后的图像的色彩、纹理及形状。

3.如权利要求1所述的人工智能预测图像与数字病理图像融合的方法，其特征在于，对提取的图像特征进行匹配的过程，包含以下步骤：

采集待图像融合的第二图像的图像特征，图像特征包含第二图像的色彩、纹理及形状，根据图像特征的连通区域的像素集合的边界形成图形，获得连通区域对应的区域或物体，判断图像特征的连通区域对应的区域是否符合第一图像中的区域或物体；

将第一图像中的图像特征与第二图像的图像特征进行匹配；

从第二图像中的连通区域对应的区域或物体的匹配位置作为起始位置，获得匹配位置的图像特征，每个匹配位置的匹配度均与第一图像中的区域或物体对应；

将匹配度达到阈值的匹配位置记录为与第一图像中的图像特征对应的图像特征，并将匹配位置作为融合点。

4.如权利要求1所述的人工智能预测图像与数字病理图像融合的方法，其特征在于，进行像素级别的融合的过程，包含以下步骤：

第一图像和第二图像的图像特征的匹配结果，得到图像特征图；

根据图像特征图计算融合点处对应图像特征的像素灰度值；

将像素灰度值进行排列，通过融合密度峰值的高斯混合模型，选取其中灰度值最大的像素作为融合点处像素；

将各个灰度值大的融合点像素联通，得到第三图像。

5.如权利要求4所述的人工智能预测图像与数字病理图像融合的方法，其特征在于，选取其中灰度值最大的像素作为融合点处像素，包含以下步骤：

将排列的像素灰度值进行计算，获取平均像素灰度值，得出对应类的协方差矩阵，构建融合密度峰值的高斯混合模型的初始参数；

通过最大期望算法进行预估，构建融合密度峰值的高斯混合模型；

根据贝叶斯准则对排列的像素灰度值的概率进行验算，将排列的像素灰度值输入融合密度峰值的高斯混合模型，得到融合密度峰值集中的像素灰度值。

6.如权利要求4所述的人工智能预测图像与数字病理图像融合的方法，其特征在于，将各个灰度值最大的融合点像素联通的过程，包含以下步骤：

根据各个灰度值最大的融合点像素，选取病理切片边缘识别区域及病理切片周边识别区域，得到初始的第三图像；

以初始的第三图像，与病理切片边缘识别区域及病理切片周边识别区域未封闭段区域对应的边缘线上任一点为原点；

在与边缘线平行的方向沿相反的第一方向和第二方向逐像素线扫描，得到在第一方向满足预设条件的首个像素灰度值与边缘线像素灰度值不同的像素点作为第一方向连接点，以及在第二方向满足预设条件的首个像素灰度值与边缘线像素灰度值不同的像素点作为第二方向连接点；

通过像素灰度值为0或255的连线连接第一方向连接点和第二方向连接点，完成第三图像轮廓的提取，得到第三图像。

7.一种人工智能预测图像与数字病理图像融合的系统，其特征在于，包含：

图像预处理模块，负责将人工智能AI预测出的第一图像进行预处理；其中，接收具有人工智能预测像素值的第一图像，获取第一图像中病理切片区域的水平分辨率和垂直分辨率，计算与预设像素值的差值；根据像素值调整大小因子，重新调整病理切片区域的水平分辨率和垂直分辨率，得到调整后的第一图像；像素值调整大小因子配置为当通过大于预设像素值的不同的像素值而增加时，基于水平分辨率和垂直分辨率的原始大小的曲线函数增加与水平分辨率和垂直分辨率的大小，增加执行时，使得水平分辨率和垂直分辨率随像素值调整大小因子而增加；

将调整后的第一图像转成灰度图片，将灰度图片的颜色通道分离开来，单独对每一个通道进行一个灰度处理，转换为HSV颜色模式，得到颜色空间转换后的第一图像；调整后的第一图像转换为HSV颜色模式的表达式为：

其中，R表示调整后的第一图像的色彩空间红基色数值大小，G表示调整后的第一图像的色彩空间绿基色数值大小，B表示调整后的第一图像的色彩空间蓝基色数值大小，H表示HSV颜色模式中色相基色数值大小，S表示HSV颜色模式中饱和度基色数值大小，V表示HSV颜色模式中明度基色数值大小；MAX为R、G和B 最大的数值，MIN为R、G和B最小的数值；

选取小波基和分解层数对含噪颜色空间转换后的第一图像进行小波分解，得到相应的小波分解系数；对于分解尺度，选取一个阈值对高频系数进行阈值量化，得到估计小波系数；根据小波分解的低频系数以及各层阈值量化后的高频系数进行重构，得到去噪后的第一图像；

特征提取模块，负责从待图像融合的第二图像和预处理后的第一图像中提取色彩、纹理、形状图像特征；

特征匹配模块，负责对提取的图像特征进行匹配，确定第一图像和第二图像中相似的区域或物体从而固定融合点；

图像融合模块，负责根据第一图像和第二图像的匹配结果，将第一图像和第二图像进行像素级别的融合，得到第三图像；

后处理模块，负责对融合后的第三图像进行色彩调整、锐化、去除伪影后处理，得到第四图像，第四图像即为融合后的图像；

结果输出模块，负责输出融合后的第四图像。

8.如权利要求7所述的人工智能预测图像与数字病理图像融合的系统，其特征在于，图像融合模块，包含：

特征图获取子模块，负责根据第一图像和第二图像的图像特征的匹配结果，得到图像特征图；

像素灰度值计算子模块，负责根据图像特征图计算融合点处对应图像特征的像素灰度值；

模型构建子模块，负责将像素灰度值进行排列，通过融合密度峰值的高斯混合模型，选取其中灰度值最大的像素作为像素级别的融合在融合点处像素；

像素联通子模块，负责将各个灰度值大的融合点像素联通，得到第三图像。