CN113706450A - 图像配准方法、装置、设备及可读存储介质 - Google Patents

图像配准方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113706450A
CN113706450A CN202110540692.9A CN202110540692A CN113706450A CN 113706450 A CN113706450 A CN 113706450A CN 202110540692 A CN202110540692 A CN 202110540692A CN 113706450 A CN113706450 A CN 113706450A
Authority
CN
China
Prior art keywords
image
foreground
registration
sample
foreground region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110540692.9A
Other languages
English (en)
Inventor
田宽
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110540692.9A priority Critical patent/CN113706450A/zh
Publication of CN113706450A publication Critical patent/CN113706450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像配准方法、装置、设备及可读存储介质，涉及机器学习领域。该方法包括：获取第一图像和第二图像；对第一图像和第二图像进行前景分割，得到第一前景区域和第二前景区域；对第一前景区域和第二前景区域进行配准预测，得到配准参数，配准参数用于以矩阵的形式指示第二前景区域与第一前景区域配准时第二前景区域对应的调整方式；以配准参数对第二图像进行调整，得到配准结果图像。通过配准预测的形式确定第二前景区域对于第一前景区域的配准参数，从而通过配准参数对第二图像进行调整，病理医生能够在配准结果图像的基础上与第一图像进行局部比对，提高了第一图像和第二图像中前景区域的比对效率以及准确率。

Description

图像配准方法、装置、设备及可读存储介质
技术领域
本申请实施例涉及机器学习领域，特别涉及一种图像配准方法、装置、设备及可读存储介质。
背景技术
细胞学检查是一种成熟的病变细胞筛查手段，属于临床病理检查的一种，通过细胞学检查能够帮助很多疾病的诊断。通常，将组织样品从体内去除后，将其置于固定剂中制成用于在显微镜下观察的病理切片。
相关技术中，为了在显微镜下观察，需要通过不同的染色剂对不同组织成分进行染色，通常会制作不同染色试剂染色后的病理切片，并通过扫描形成一组细胞图像，在读取细胞图像中的信息时，医生需要对不同染色剂染色后的细胞图像进行局部匹配对比。
然而，通过上述方式进行细胞图像的信息读取时，由于不同染色剂染色的病理切片之间可能存在位置偏移、方向旋转、缩放等问题，导致细胞图像之间的局部匹配对比难度较大，效率较低。
发明内容
本申请实施例提供了一种图像配准方法、装置、设备及可读存储介质，能够提高对图像之间的局部匹配对比的准确率。所述技术方案如下：
一方面，提供了一种图像配准方法，其特征在于，所述方法包括：
获取第一图像和第二图像，所述第一图像中包括第一细胞图像内容，所述第二图像中包括第二细胞图像内容，所述第一细胞图像内容和所述第二细胞图像内容为待配准的图像内容；
对所述第一图像和所述第二图像进行前景分割，得到与所述第一细胞图像内容对应的第一前景区域，以及与所述第二细胞图像内容对应的第二前景区域；
对所述第一前景区域和所述第二前景区域进行配准预测，得到所述第二前景区域相对于所述第一前景区域的配准参数，所述配准参数用于以矩阵的形式指示所述第二前景区域与所述第一前景区域配准时所述第二前景区域对应的调整方式；
以所述配准参数对所述第二图像进行调整，得到与所述第一图像匹配的配准结果图像。
另一方面，提供了一种图像配准装置，所述装置包括：
获取模块，用于获取第一图像和第二图像，所述第一图像中包括第一细胞图像内容，所述第二图像中包括第二细胞图像内容，所述第一细胞图像内容和所述第二细胞图像内容为待配准的图像内容；
分割模块，用于对所述第一图像和所述第二图像进行前景分割，得到与所述第一细胞图像内容对应的第一前景区域，以及与所述第二细胞图像内容对应的第二前景区域；
预测模块，用于对所述第一前景区域和所述第二前景区域进行配准预测，得到所述第二前景区域相对于所述第一前景区域的配准参数，所述配准参数用于以矩阵的形式指示所述第二前景区域与所述第一前景区域配准时所述第二前景区域对应的调整方式；
调整模块，用于以所述配准参数对所述第二图像进行调整，得到与所述第一图像匹配的配准结果图像。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述图像配准方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的图像配准方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的图像配准方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
在获取第一图像的第一前景区域和第二图像的第二前景区域后，直接通过配准预测的形式确定第二前景区域相对于第一前景区域的配准参数，从而通过配准参数对第二图像进行调整，得到配准结果图像，从而病理医生能够在配准结果图像的基础上与第一图像进行局部比对，而无需通过肉眼观察的方式对第一图像和第二图像进行配准后进行局部比对，提高了第一图像和第二图像中前景区域的比对效率以及准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的图像配准过程的示意图；
图2是本申请一个示例性实施例提供的图像配准方法的实施环境示意图；
图3是本申请一个示例性实施例提供的图像配准方法的流程图；
图4是本申请另一个示例性实施例提供的图像配准方法的流程图；
图5是基于图4示出的实施例提供的WSI图像标注过程的示意图；
图6是本申请另一个示例性实施例提供的图像配准方法；
图7是本申请一个示例性实施例提供的图像配准方法的整体流程示意图；
图8是本申请一个示例性实施例提供的图像配准结果示意图；
图9是本申请一个示例性实施例提供的图像配准装置的结构框图；
图10是本申请另一个示例性实施例提供的图像配准装置的结构框图；
图11是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，针对本申请实施例中涉及的名词进行简单介绍：
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision，CV)：是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
全视野数字切片(Whole Slide Images，WSI)：是利用全自动显微镜扫描系统，结合虚拟切片软件系统，把传统玻璃切片进行扫描、无缝拼接，生成的一张全视野的数字切片。数字切片在病理学研究中具有不褪色、随时打开等优点。
对于同一个病灶组织，通常会制作不同染色试剂的病理切片，通过扫描后形成一组WSI，病理医生或者病理算法经常需要对不同染色的WSI进行局部匹配对比，通过结合多种染色剂中的信息，得出更准确的判读结果。然而，在病理切片的制作和扫描过程中，人工操作等原因都有可能造成同一病灶组织的不同WSI出现位置偏移和方向旋转，这对病理医生或病理算法进行局部匹配对比造成了极大的困难。
相关技术中，在对WSI图像进行配准时，针对WSI1和WSI2，首先对WSI1和WSI2进行二值化处理，得到前景分割结果，并计算分割结果对应的质心，计算WSI1和WSI2的质心偏移，根据执行偏移将WSI2的分割结果进行平移，使WSI1和WSI2的质心位置重合。
对平移后的WSI2的分割结果进行逐角度的旋转，每次旋转角度为a，并计算旋转后的分割结果与WSI1之间的匹配度，将匹配度最大的分割结果对应的旋转角度确定为配准时的旋转角度。
然而，上述方式中，使用二值化进行前景分割不够准确，会造成匹配结果的较大误差；且使用质心平移和旋转角度的方法得到的配准参数无法解决WSI的放大缩小问题。
本申请实施例中，提供了一种图像配准方法，主要是通过图像配准模型对图像进行配准。示意性的，请参考图1，其示出了本申请一个示例性实施例提供的图像配准过程的示意图，如图1所示，将第一前景图像110和第二前景图像120输入图像配准模型130后，通过图像配准模型130对第一前景图像110和第二前景图像120进行配准，可选地，图像配准模型130以第一前景图像110为基准，对第二前景图像120进行调整，得到配准图像140，从而与第一前景图像110进行配准。
其次，对本申请实施例中涉及的实施环境进行说明，示意性的，请参考图2，该实施环境中包括终端210和服务器220，其中，终端210和服务器220之间通过通信网络230连接；
在一些实施例中，终端210还连接于阅片设备240，阅片设备240用于对病理组织图像进行采集后传输至终端210，该阅片设备240包括传统显微镜、数字扫描仪中的至少一种，其中，传统显微镜用于获取视野图片数据，也即需要调整视野对细胞涂片的不同视野范围进行观察的图片数据；数字扫描仪用于获取WSI数据，也即通过数字扫描仪扫描得到的全视野的数字切片数据。
在另一些实施例中，阅片设备240也可以直接与服务器220连接，并将病理组织图像发送至服务器220。
服务器220中包括图像配准模型221，以WSI图像为例，当服务器220接收到配准指令，以及接收到待配准的第一WSI图像和第二WSI图像时，通过图像配准模型221对第一WSI图像和第二WSI图像进行配准，并将配准结果发送至终端210进行展示。
值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
在一些实施例中，上述服务器还可以实现为区块链系统中的节点。区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
值得注意的是，上述实施例中，以两个WSI图像之间的配准为例进行说明，本申请提供的图像配准方法还可以应用于多个WSI图像之间的配准，或者普通显微镜采集的两个视野图像配准，或者普通显微镜采集的多个视野图像之间的配准，本申请实施例对此不加以限定。
结合上述名词简介和应用场景，对本申请提供的图像配准方法进行说明，以该方法应用于服务器中为例，如图3所示，该方法包括：
步骤301，获取第一图像和第二图像。
第一图像中包括第一细胞图像内容，第二图像中包括第二细胞图像内容，其中，第一细胞图像内容和第二细胞图像内容为待配准的图像内容。
第一图像和第二图像为存在一定相似度的图像，在一些实施例中，第一图像和第二图像为针对目标物体进行不同形式的图像采集后得到的图像；或者，第二图像是对第一图像进行调整后得到的图像，本申请实施例对第一图像和第二图像的获取方式不加以限定。
可选地，第一图像为通过第一染色剂对细胞进行染色后扫描得到的图像，第二图像为通过第二染色剂对细胞进行染色后扫描得到的图像；或者，在其他应用场景中，第一图像为通过第一滤镜对原始图像进行处理后得到的图像，第二图像为通过第二滤镜对原始图像进行处理后得到的图像。
示意性的，第一图像为通过第一染色剂对病理切片进行染色后，通过全自动显微镜扫描系统扫描得到的WSI图像；第二图像为通过第二染色剂对病理切片进行染色后，通过全自动显微镜扫描系统扫描得到的WSI图像，其中，第一图像和第二图像是针对同一块病理切片进行扫描得到的图像。在一些实施例中，通过第一染色剂对病理切片进行染色并扫描得到第一图像后，对第一染色剂进行脱色处理，并通过第二染色剂对病理切片进行染色。或者，在另一些实施例中，第一染色剂用于对病理切片的第一区域进行染色，第二染色剂用于对病理切片的第二区域进行染色。
步骤302，对第一图像和第二图像进行前景分割，得到与第一细胞图像内容对应的第一前景区域，以及与第二细胞图像内容对应的第二前景区域。
对第一图像和第二图像进行前景分割的方式包括如下方式中的至少一种，以第一图像为例进行说明：
第一，将第一图像输入前景分割模型，输出得到与第一细胞图像内容对应的第一前景区域。
其中，前景分割模型为预先训练得到的神经网络模型。
第二，使用手工勾画的方式对第一图像进行勾画，得到第一细胞图像内容对应的第一前景区域。
第三，对第一图像进行灰度处理，并将符合灰度要求的区域作为第一细胞图像内容对应的第一前景区域。
也即，对第一图像进行灰度处理，得到与第一细胞图像内容对应的第一前景区域；对应的，对第二图像进行灰度处理，得到与第二细胞图像内容对应的第二前景区域。
在一些实施例中，还可以通过对第一图像进行二值化处理，将其中像素值取值为1或者像素值取值为255的区域作为第一细胞图像内容对应的第一前景区域。
上述举例中，以第一图像的前景分割过程为例进行说明，本申请实施例中，第二图像采用与第一图像相同或者不同的方式确定第二前景区域。
步骤303，对第一前景区域和第二前景区域进行配准预测，得到第二前景区域相对于第一前景区域的配准参数。
其中，配准参数用于以矩阵的形式指示第二前景区域与第一前景区域配准时第二前景区域对应的调整方式。
其中，调整方式包括平移调整、旋转调整、缩放调整、翻转调整、拉伸调整等调整方式中的至少一种。
示意性的，配准参数用于指示第二前景区域在进行第一子参数对应的平移、第二子参数对应的旋转以及第三子参数对应的缩放后，能够与第一前景区域配准。
在一些实施例中，通过预先训练得到的配准模型对第一前景区域和第二前景区域进行配准，也即，将第一前景区域和第二前景区域输入配准模型进行配准预测，通过配准模型对第一前景区域和第二前景区域之间的配准参数进行预测后，得到第二前景区域相对于第一前景区域的配准参数。
可选地，配准参数实现为一个两行三列的矩阵，用于对第二前景区域进行坐标映射，其中，矩阵参数即构成对第二前景区域进行调整的调整方式，示意性的，该配准参数的形式为
Figure BDA0003071623320000091
其中，θ11、θ12、θ21,θ22用于指示第二前景区域的缩放和旋转，以及其他形式的调整，如：拉伸、仿射等，θ13和θ23用于指示第二前景区域的平移。
步骤304，以配准参数对第二图像进行调整，得到与第一图像匹配的配准结果图像。
可选地，根据预测得到的配准参数对第二图像进行转换，得到第一图像和第二图像的配准结果，也即，得到与第一图像匹配的配准结果图像。
在一些实施例中，配准参数用于指示第二前景区域在第二图像上的平移方式、旋转方式、缩放方式、拉伸方式等调整方式。
其中，针对平移方式，配准参数用于指示第二前景区域在第二图像上的平移方向以及平移距离；针对旋转方式，配准参数用于指示第二前景区域在第二图像上的旋转中心以及旋转角度；针对缩放方式，配准参数用于指示第二前景区域在第二图像上的缩放比例；针对拉伸方式，配准参数用于指示第二前景区域在第二图像上的拉伸比例。
在一些实施例中，将第二图像中的像素点坐标与配准参数进行调整计算，得到像素点在调整后的配准结果图像的坐标。
示意性的，配准参数对第二图像的调整如下公式一所示：
公式一：
Figure BDA0003071623320000092
其中，
Figure BDA0003071623320000093
表示第二图像中的像素i在第二图像中的x坐标数值，
Figure BDA0003071623320000094
表示第二图像中的像素i在第二图像中的y坐标数值，
Figure BDA0003071623320000095
表示调整后的第二图像中的像素i在配准结果图像中的x坐标数值，
Figure BDA0003071623320000096
表示调整后的第二图像中的像素i在配准结果图像中的y坐标数值。针对第二图像中的像素点通过上述配准参数进行调整后，即得到调整后的第二图像在配准结果图像中的状态。
综上所述，本实施例提供的图像配准方法，在获取第一图像的第一前景区域和第二图像的第二前景区域后，直接通过配准预测的形式确定第二前景区域相对于第一前景区域的配准参数，从而通过配准参数对第二图像进行调整，得到配准结果图像，从而病理医生能够在配准结果图像的基础上与第一图像进行局部比对，而无需通过肉眼观察的方式对第一图像和第二图像进行配准后进行局部比对，提高了第一图像和第二图像中前景区域的比对效率以及准确率。
在一些实施例中，通过配准模型对第一前景区域和第二前景区域进行更配准，而配准模型需要通过样本前景图像进行训练。图4是本申请另一个示例性实施例提供的图像配准方法的流程图，以该方法由服务器执行为例，如图4所示，该方法包括：
步骤401，获取第一样本前景图像。
第一样本前景图像用于对配准模型进行训练。
在一些实施例中，第一样本前景图像是从图像库中随机采样病理切片图像后，对病理切片图像进行前景区域标注得到的图像。
示意性的，请参考图5，首先获取病理切片图像510，对病理切片图像510进行前景区域的标注后，得到用于训练配准模型的第一样本前景图像520，其中，第一样本前景图像标注有前景区域的区域位置。
步骤402，生成样本变换参数。
样本变换参数用于对第一样本前景图像进行随机翻转、染色扰动等数据增强，并作为训练数据对配准模型进行训练。其中配准模型的权重初始化使用预设数据集(输入图像尺寸为256×256像素，批处理大小为1，学习率0.0001，最大迭代次数200)。
在一些实施例中，样本变换参数的格式与上述配准参数的格式一致，也即，样本变换参数为两行三列的矩阵。可选地，样本变换参数为在预设数值范围内随机生成的参数。
步骤403，通过样本变换参数对第一样本前景图像进行调整，得到第二样本前景图像。
在一些实施例中，对于输入的第一样本前景图像，通过随机的形式生成样本变换参数，根据上述公式一得到变换前后的坐标映射关系，然后根据坐标映射关系生成调整后的第二样本前景图像。也即，针对第一样本前景图像中的像素点，对像素点通过坐标映射关系进行坐标映射，从而得到映射后在第二样本前景图像中的坐标，最终得到第二样本前景图像。
也即，第二样本前景图像中的前景区域，是在第一样本前景图像中的前景区域通过样本变换参数变换后得到的前景区域，与第一样本前景图像中的前景区域具有一定的相似性，但是存在一些区别，如：角度、尺寸、位置上存在一定区别。
步骤404，通过第一样本前景图像、第二样本前景图像和样本变换参数对配准模型进行训练。
将第一样本前景图像、第二样本前景图像和样本变换参数作为一组训练数据对配准模型进行训练。
在一些实施例中，针对一个第一样本前景图像，可以生成一个样本变换参数和对应的第二样本前景图像作为一组训练数据，也可以生成多个样本变换参数和对应的多个第二样本前景图像作为多组训练数据，本申请实施例对此不加以限定。
在一些实施例中，对配准模型进行训练的方式包括如下方式中的至少一种：
第一，将第一样本前景图像和第二样本前景图像输入配准模型，输出得到预测变换参数，其中，预测变换参数是配准模型对第一样本前景图像和第二样本前景图像之间的配准情况进行预测后得到的参数，基于样本变换参数和预测变换参数之间的差异，对配准模型进行训练。
在一些实施例中，配准模型中包括第一模型参数，则基于样本变换参数与预测变换参数之间的差异，确定第一损失值，并根据第一损失值对第一模型参数进行调整，直至第一损失值收敛。
第一损失值用于反向对配准模型的第一模型参数进行调整，而调整后的配准模型继续对样本前景图像进行预测并计算第一损失值，从而继续迭代对第一模型参数进行调整，直至配准模型预测的预测变换参数与样本变换参数计算得到的第一损失值收敛，也即，预测变换参数与样本变换参数计算得到的第一损失值小于要求损失值。
可选地，通过第一损失函数计算第一损失值，该第一损失函数实现为均方损失函数(MSELoss)。
预测变换参数和样本变换参数之间的差异与第一损失值成正比例关系，也即预测变换参数和样本变换参数之间的差异越大，第一损失值越大。
第二，将第一样本前景图像和第二样本前景图像输入配准模型，输出得到预测变换参数，通过预测变换参数对第二样本前景图像进行调整后，得到第三样本前景图像，根据第一样本前景图像和第三样本前景图像之间的差异，对配准模型进行训练。
在一些实施例中，配准模型中包括第一模型参数，基于第一样本前景图像和第三样本前景图像之间的差异，确定第三损失值，从而通过第三损失值对第一模型参数进行调整，直至第三损失值收敛。
第三，将第一样本前景图像和第二样本前景图像输入配准模型，输出得到预测变换参数，根据样本变换参数和预测变换参数的差异得到第一损失值，以及通过预测变换参数对第二样本前景图像进行调整后，得到第三样本前景图像，根据第一样本前景图像和第三样本前景图像之间的差异得到第三损失值，根据第一损失值和第三损失值结合，对配准模型进行训练。
可选地，根据第一损失值和第三损失值的加权和对配准模型进行训练。
值得注意的是，上述对配准模型进行训练的方式仅为示意性的举例，本申请实施例对此不加以限定。
步骤405，获取第一图像和第二图像。
第一图像中包括第一细胞图像内容，第二图像中包括第二细胞图像内容，其中，第一细胞图像内容和第二细胞图像内容为待配准的图像内容。
示意性的，第一图像为通过第一染色剂对病理切片进行染色后，通过全自动显微镜扫描系统扫描得到的WSI图像；第二图像为通过第二染色剂对病理切片进行染色后，通过全自动显微镜扫描系统扫描得到的WSI图像，其中，第一图像和第二图像是针对同一块病理切片进行扫描得到的图像。
步骤406，对第一图像和第二图像进行前景分割，得到与第一细胞图像内容对应的第一前景区域，以及与第二细胞图像内容对应的第二前景区域。
示意性的，将第一图像输入前景分割模型，输出得到与第一细胞图像内容对应的第一前景区域。其中，前景分割模型为预先训练得到的神经网络模型。
步骤407，将第一前景区域和第二前景区域输入配准模型进行配准预测。
可选地，将标注有第一前景区域的第一图像，以及标注有第二前景区域的第二图像输入配准模型进行配准预测。
在一些实施例中，配准模型首先对第一前景区域和第二前景区域进行特征提取，得到图像特征，从而根据第一前景区域对应的第一图像特征和第二前景区域对应的第二图像特征，在第一前景区域和第二前景区域之间进行配准。
步骤408，通过配准模型对第一前景区域和第二前景区域之间的配准参数进行预测，得到第二前景区域相对与第一前景区域的配准参数。
在一些实施例中，由于配准模型在训练过程中即通过样本变换参数进行训练的，故，训练完毕的配准模型用于在第一前景区域和第二前景区域之间进行配准参数的预测，其中，配准参数与样本变换参数的格式一致，皆为两行三列的矩阵形式，且矩阵中的参数含义也一致。
步骤409，以配准参数对第二图像进行调整，得到与第一图像匹配的配准结果图像。
可选地，根据预测得到的配准参数对第二图像进行转换，得到第一图像和第二图像的配准结果，也即，得到与第一图像匹配的配准结果图像。
在一些实施例中，配准参数用于指示第二图像中像素点的平移方式、旋转方式、缩放方式、拉伸方式等调整方式。
在一些实施例中，最终输出的结果中包括配准参数以及配准结果图像，其中，配准参数用于后续对第二图像进行调整，配准结果图像用于与第一图像进行配准并进行局部比对。
在一些实施例中，当第二图像的图像尺寸较大时，后续能够通过分割的方式将第二图像裁剪为至少两个子图，并通过配准参数对至少两个子图进行调整后，将调整后的子图拼接，从而得到配准结果图像。
综上所述，本实施例提供的图像配准方法，在获取第一图像的第一前景区域和第二图像的第二前景区域后，直接通过配准预测的形式确定第二前景区域相对于第一前景区域的配准参数，从而通过配准参数对第二图像进行调整，得到配准结果图像，从而病理医生能够在配准结果图像的基础上与第一图像进行局部比对，而无需通过肉眼观察的方式对第一图像和第二图像进行配准后进行局部比对，提高了第一图像和第二图像中前景区域的比对效率以及准确率。
本实施例提供的方法，通过配准模型对第一前景区域和第二前景区域进行配准，而配准模型在训练时，是通过第一样本前景图像与随机生成的样本变换参数完成训练的，配准模型的训练效率较高，以及配准模型的配准准确率也较高。
在一些实施例中，对第一图像进行前景分割时，采用前景分割模型，而前景分割模型是通过样本图像训练得到的。图6是本申请另一个示例性实施例提供的图像配准方法的流程图，以该方法由服务器执行为例，如图6所示，该方法包括：
步骤601，获取样本图像，样本图像标注有样本细胞图像内容对应的参考前景区域。
样本图像中包括样本细胞图像内容，参考前景区域即为样本图像对应标注的显示该样本细胞图像内容的区域。
在一些实施例中，样本图像所标注的参考前景区域为手动勾画标注的。
可选地，通过人工标注的方式对病理切片中的前景区域进行标注，用于训练前景分割模型。
步骤602，通过前景分割模型对样本图像进行前景分割，得到预测前景区域。
其中，前景分割模型为当前待训练的模型。在一些实施例中，前景分割模型中包括第二模型参数。其中前景分割模型的第二模型参数初始化使用预设数据集(输入图像尺寸为512×512像素，批处理大小为8，学习率0.0001，最大迭代次数200)。
步骤603，基于参考前景区域和预测前景区域之间的区别，对前景分割模型进行训练。
在一些实施例中，基于参考前景区域和预测前景区域之间的区别，确定第二损失值，根据第二损失值对第二模型参数进行调整，直至第二损失值收敛。
在一些实施例中，将参考前景区域和预测前景区域输入第二损失函数，计算到第二损失值，从而通过第二损失值对前景分割模型的第二模型参数进行调整。
第二损失值用于反向对前景分割模型的第二模型参数进行调整，而调整后的前景分割模型继续对样本图像进行预测并计算第二损失值，从而继续迭代对第二模型参数进行调整，直至前景分割模型预测的预测前景区域与参考前景区域计算得到的第二损失值收敛，也即，预测前景区域与参考前景区域计算得到的第二损失值小于要求损失值。
可选地，通过第二损失函数计算第二损失值，该第二损失函数实现为均方损失函数。
预测前景区域与参考前景区域之间的区别与第二损失值成正比例关系，也即预测前景区域与参考前景区域之间的差异越大，第二损失值越大。
步骤604，获取第一图像和第二图像。
第一图像中包括第一细胞图像内容，第二图像中包括第二细胞图像内容，其中，第一细胞图像内容和第二细胞图像内容为待配准的图像内容。
示意性的，第一图像为通过第一染色剂对病理切片进行染色后，通过全自动显微镜扫描系统扫描得到的WSI图像；第二图像为通过第二染色剂对病理切片进行染色后，通过全自动显微镜扫描系统扫描得到的WSI图像，其中，第一图像和第二图像是针对同一块病理切片进行扫描得到的图像。
步骤605，将第一图像输入前景分割模型，输出得到与第一细胞图像内容对应的第一前景区域。
前景分割模型为上述过程中经过训练的模型，用于从第一图像和第二图像中分割出细胞图像内容所处的前景区域。
步骤606，将第二图像输入前景分割模型，输出得到与第二细胞图像内容对应的第二前景区域。
步骤607，对第一前景区域和第二前景区域进行配准预测，得到第二前景区域相对于第一前景区域的配准参数。
其中，配准参数用于以矩阵的形式指示第二前景区域与第一前景区域配准时第二前景区域对应的调整方式。
其中，调整方式包括平移调整、旋转调整、缩放调整、翻转调整、拉伸调整等调整方式中的至少一种。
示意性的，配准参数用于指示第二图像在进行第一子参数对应的平移、第二子参数对应的旋转以及第三子参数对应的缩放后，第二前景区域能够与第一前景区域配准。
在一些实施例中，通过预先训练得到的配准模型对第一前景区域和第二前景区域进行配准，也即，将第一前景区域和第二前景区域输入配准模型进行配准预测，通过配准模型对第一前景区域和第二前景区域之间的配准参数进行预测后，得到第二前景区域相对于第一前景区域的配准参数。
步骤608，以配准参数对第二图像进行调整，得到与第一图像匹配的配准结果图像。
可选地，根据预测得到的配准参数对第二图像进行转换，得到第一图像和第二图像的配准结果，也即，得到与第一图像匹配的配准结果图像。
在一些实施例中，配准参数用于指示第二图像上像素点的平移方式、旋转方式、缩放方式、拉伸方式等调整方式。
其中，针对平移方式，配准参数用于指示第二前景区域在第二图像上的平移方向以及平移距离；针对旋转方式，配准参数用于指示第二前景区域在第二图像上的旋转中心以及旋转角度；针对缩放方式，配准参数用于指示第二前景区域在第二图像上的缩放比例；针对拉伸方式，配准参数用于指示第二前景区域在第二图像上的拉伸比例。
综上所述，本实施例提供的图像配准方法，在获取第一图像的第一前景区域和第二图像的第二前景区域后，直接通过配准预测的形式确定第二前景区域相对于第一前景区域的配准参数，从而通过配准参数对第二图像进行调整，得到配准结果图像，从而病理医生能够在配准结果图像的基础上与第一图像进行局部比对，而无需通过肉眼观察的方式对第一图像和第二图像进行配准后进行局部比对，提高了第一图像和第二图像中前景区域的比对效率以及准确率。
本实施例提供的方法，通过训练得到的前景分割模型对第一图像和第二图像的前景区域进行分割，避免手动分割前景区域而导致前景区域划分效率较低的问题。
示意性的，图7是本申请一个示例性实施例提供的图像配准方法的整体流程示意图，如图7所示，该过程中主要分为三个阶段：前景分割模型训练阶段710、配准模型训练阶段720以及配准阶段730。
在前景分割模型训练阶段710中，主要包括如下步骤：
步骤711，WSI图像与前景区域标注。
也即获取样本WSI图像，并对WSI图像中的前景区域进行标注。
步骤712，训练深度学习模型。
其中，该深度学习模型是指上述前景分割模型，将WSI图像输入前景分割模型进行前景分割后，得到预测前景区域，根据预测前景区域与WSI图像标注的前景区域进行并对，得到损失值，并根据损失值对前景分割模型进行训练。
步骤713，得到WSI前景分割模型。
在配准模型训练阶段720中，主要包括如下步骤：
步骤721，WSI分割结果。
可选地，获取WSIa图像的前景区域分割结果。
步骤722，训练深度学习模型。
也即对配准模型进行训练。可选地，随机生成样本变换参数对WSIa图像进行变化，得到WSIb图像，并根据WSIa图像、WSIb图像和样本变换参数对配准模型进行训练。
可选地，通过配准模型对WSIa图像、WSIb图像进行配准后，得到预测变换参数，根据样本变换参数和预测变换参数之间的区别对配准模型的模型参数进行调整。
步骤723，得到WSI配准模型。
配准阶段730中，主要包括如下步骤：
步骤731，获取WSI1和WSI2。
WSI1和WSI2为前景区域待配准的两张WSI图像。
步骤732，通过前景分割模型训练阶段710训练得到的前景分割模型对WSI1和WSI2进行前景分割。
将WSI1输入前景分割模型，输出得到WSI1的前景区域；将WSI2输入前景分割模型，输出得到WSI2的前景区域。
步骤733，得到WSI1和WSI2的前景区域。
步骤734，通过配准模型训练阶段720中训练得到的配准模型对WSI1和WSI2的前景区域进行配准，得到配准参数。
将WSI1的前景区域和WSI2的前景区域输入配准模型，输出得到WSI1和WSI2配准的配准参数。
步骤735，通过配准参数进行配准。
在一些实施例中，将配准参数与WSI2进行配准计算，得到配准图。配准图即为由WSI2调整得到的与WSI1配准的图像。
步骤736，得到配准图。
如图8所示，将切片WSI810和切片WSI820输入前景分割模型以及配准模型后，输出配准结果WSI_T830，也即对切片WSI820中的前景区域进行调整后得到的图像，其中配准模型输出的配准参数840如图8所示。
图9是本申请一个示例性实施例提供的图像配准装置的结构框图，如图9所示，该装置包括：
获取模块910，用于获取第一图像和第二图像，所述第一图像中包括第一细胞图像内容，所述第二图像中包括第二细胞图像内容，所述第一细胞图像内容和所述第二细胞图像内容为待配准的图像内容；
分割模块920，用于对所述第一图像和所述第二图像进行前景分割，得到与所述第一细胞图像内容对应的第一前景区域，以及与所述第二细胞图像内容对应的第二前景区域；
预测模块930，用于对所述第一前景区域和所述第二前景区域进行配准预测，得到所述第二前景区域相对于所述第一前景区域的配准参数，所述配准参数用于以矩阵的形式指示所述第二前景区域与所述第一前景区域配准时所述第二前景区域对应的调整方式；
调整模块940，用于以所述配准参数对所述第二图像进行调整，得到与所述第一图像匹配的配准结果图像。
在一个可选的实施例中，所述预测模块930，还用于将所述第一前景区域和所述第二前景区域输入配准模型进行配准预测；通过所述配准模型对所述第一前景区域和所述第二前景区域之间的配准参数进行预测，得到所述第二前景区域相对于所述第一前景区域的配准参数。
在一个可选的实施例中，所述获取模块910，还用于获取第一样本前景图像，所述第一样本前景图像用于与对所述配准模型进行训练；
如图10所示，所述装置，还包括：
生成模块950，用于生成样本变换参数；
所述调整模块940，还用于通过所述样本变换参数对所述第一样本前景图像进行调整，得到第二样本前景图像；
所述装置，还包括：
训练模块960，用于通过所述第一样本前景图像、所述第二样本前景图像和所述样本变换参数对所述配准模型进行训练。
在一个可选的实施例中，所述训练模块960，还用于将所述第一样本前景图像和所述第二样本前景图像输入所述配准模型，输出得到预测变换参数；基于所述样本变换参数与所述预测变换参数之间的差异，对所述配准模型进行训练。
在一个可选的实施例中，所述配准模型中包括第一模型参数；
所述训练模块960，还用于基于所述样本变换参数与所述预测变换参数之间的差异，确定第一损失值；根据所述第一损失值对所述第一模型参数进行调整，直至所述第一损失值收敛。
在一个可选的实施例中，所述分割模块920，还用于将所述第一图像输入前景分割模型，输出得到与所述第一细胞图像内容对应的所述第一前景区域；将所述第二图像输入所述前景分割模型，输出得到与所述第二细胞图像内容对应的所述第二前景区域。
在一个可选的实施例中，所述获取模块910，还用于获取样本图像，所述样本图像中包括样本细胞图像内容，所述样本图像标注有所述样本细胞图像内容对应的参考前景区域；
所述分割模块920，还用于通过所述前景分割模型对所述样本图像进行前景分割，得到预测前景区域；
所述装置，还包括：
训练模块960，用于基于所述参考前景区域与所述预测前景区域之间的区别，对所述前景分割模型进行训练。
在一个可选的实施例中，所述前景分割模型包括第二模型参数；
所述训练模块960，还用于基于所述参考前景区域与所述预测前景区域之间的区别，确定第二损失值；根据所述第二损失值对所述第二模型参数进行调整，直至所述第二损失值收敛。
在一个可选的实施例中，所述分割模块920，还用于对所述第一图像进行灰度处理，得到与所述第一细胞图像内容对应的所述第一前景区域；对所述第二图像进行灰度处理，得到与所述第二细胞图像内容对应的所述第二前景区域。
在一个可选的实施例中，所述第一图像为通过第一染色剂对细胞进行染色后扫描得到的图像；
所述第二图像为通过第二染色剂对所述细胞进行染色后扫描得到的图像。
综上所述，本实施例提供的图像配准装置，在获取第一图像的第一前景区域和第二图像的第二前景区域后，直接通过配准预测的形式确定第二前景区域相对于第一前景区域的配准参数，从而通过配准参数对第二图像进行调整，得到配准结果图像，从而病理医生能够在配准结果图像的基础上与第一图像进行局部比对，而无需通过肉眼观察的方式对第一图像和第二图像进行配准后进行局部比对，提高了第一图像和第二图像中前景区域的比对效率以及准确率。
需要说明的是：上述实施例提供的图像配准装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像配准装置与图像配准方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图11示出了本申请一个示例性实施例提供的服务器的结构示意图。
具体来讲：服务器1100包括中央处理单元(Central Processing Unit，CPU)1101、包括随机存取存储器(Random Access Memory，RAM)1102和只读存储器(Read OnlyMemory，ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。服务器1100还包括用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1106。
大容量存储设备1106通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。大容量存储设备1106及其相关联的计算机可读介质为服务器1100提供非易失性存储。也就是说，大容量存储设备1106可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1106可以统称为存储器。
根据本申请的各种实施例，服务器1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1100可以通过连接在系统总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。
本申请的实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像配准方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的图像配准方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的图像配准方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像配准方法，其特征在于，所述方法包括：
获取第一图像和第二图像，所述第一图像中包括第一细胞图像内容，所述第二图像中包括第二细胞图像内容，所述第一细胞图像内容和所述第二细胞图像内容为待配准的图像内容；
对所述第一图像和所述第二图像进行前景分割，得到与所述第一细胞图像内容对应的第一前景区域，以及与所述第二细胞图像内容对应的第二前景区域；
对所述第一前景区域和所述第二前景区域进行配准预测，得到所述第二前景区域相对于所述第一前景区域的配准参数，所述配准参数用于以矩阵的形式指示所述第二前景区域与所述第一前景区域配准时所述第二前景区域对应的调整方式；
以所述配准参数对所述第二图像进行调整，得到与所述第一图像匹配的配准结果图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一前景区域和所述第二前景区域进行配准预测，得到所述第二前景区域相对于所述第一前景区域的配准参数，包括：
将所述第一前景区域和所述第二前景区域输入配准模型进行配准预测；
通过所述配准模型对所述第一前景区域和所述第二前景区域之间的配准参数进行预测，得到所述第二前景区域相对于所述第一前景区域的配准参数。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一前景区域和所述第二前景区域输入配准模型进行配准预测之前，还包括：
获取第一样本前景图像，所述第一样本前景图像用于与对所述配准模型进行训练；
生成样本变换参数；
通过所述样本变换参数对所述第一样本前景图像进行调整，得到第二样本前景图像；
通过所述第一样本前景图像、所述第二样本前景图像和所述样本变换参数对所述配准模型进行训练。
4.根据权利要求3所述的方法，其特征在于，所述通过所述第一样本前景图像、所述第二样本前景图像和所述样本变换参数对所述配准模型进行训练，包括：
将所述第一样本前景图像和所述第二样本前景图像输入所述配准模型，输出得到预测变换参数；
基于所述样本变换参数与所述预测变换参数之间的差异，对所述配准模型进行训练。
5.根据权利要求4所述的方法，其特征在于，所述配准模型中包括第一模型参数；
所述基于所述样本变换参数与所述预测变换参数之间的差异，对所述配准模型进行训练，包括：
基于所述样本变换参数与所述预测变换参数之间的差异，确定第一损失值；
根据所述第一损失值对所述第一模型参数进行调整，直至所述第一损失值收敛。
6.根据权利要求1至5任一所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行前景分割，得到与所述第一细胞图像内容对应的第一前景区域，以及与所述第二细胞图像内容对应的第二前景区域，包括：
将所述第一图像输入前景分割模型，输出得到与所述第一细胞图像内容对应的所述第一前景区域；
将所述第二图像输入所述前景分割模型，输出得到与所述第二细胞图像内容对应的所述第二前景区域。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取样本图像，所述样本图像中包括样本细胞图像内容，所述样本图像标注有所述样本细胞图像内容对应的参考前景区域；
通过所述前景分割模型对所述样本图像进行前景分割，得到预测前景区域；
基于所述参考前景区域与所述预测前景区域之间的区别，对所述前景分割模型进行训练。
8.根据权利要求7所述的方法，其特征在于，所述前景分割模型包括第二模型参数；
所述基于所述参考前景区域与所述预测前景区域之间的区别，对所述前景分割模型进行训练，包括：
基于所述参考前景区域与所述预测前景区域之间的区别，确定第二损失值；
根据所述第二损失值对所述第二模型参数进行调整，直至所述第二损失值收敛。
9.根据权利要求1至5任一所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行前景分割，得到与所述第一细胞图像内容对应的第一前景区域，以及与所述第二细胞图像内容对应的第二前景区域，包括：
对所述第一图像进行灰度处理，得到与所述第一细胞图像内容对应的所述第一前景区域；
对所述第二图像进行灰度处理，得到与所述第二细胞图像内容对应的所述第二前景区域。
10.根据权利要求1至5任一所述的方法，其特征在于，
所述第一图像为通过第一染色剂对细胞进行染色后扫描得到的图像；
所述第二图像为通过第二染色剂对所述细胞进行染色后扫描得到的图像。
11.一种图像配准装置，其特征在于，所述装置包括：
获取模块，用于获取第一图像和第二图像，所述第一图像中包括第一细胞图像内容，所述第二图像中包括第二细胞图像内容，所述第一细胞图像内容和所述第二细胞图像内容为待配准的图像内容；
分割模块，用于对所述第一图像和所述第二图像进行前景分割，得到与所述第一细胞图像内容对应的第一前景区域，以及与所述第二细胞图像内容对应的第二前景区域；
预测模块，用于对所述第一前景区域和所述第二前景区域进行配准预测，得到所述第二前景区域相对于所述第一前景区域的配准参数，所述配准参数用于以矩阵的形式指示所述第二前景区域与所述第一前景区域配准时所述第二前景区域对应的调整方式；
调整模块，用于以所述配准参数对所述第二图像进行调整，得到与所述第一图像匹配的配准结果图像。
12.根据权利要求11所述的装置，其特征在于，所述预测模块，还用于将所述第一前景区域和所述第二前景区域输入配准模型进行配准预测；通过所述配准模型对所述第一前景区域和所述第二前景区域之间的配准参数进行预测，得到所述第二前景区域相对于所述第一前景区域的配准参数。
13.根据权利要求12所述的装置，其特征在于，所述获取模块，还用于获取第一样本前景图像，所述第一样本前景图像用于与对所述配准模型进行训练；
所述装置，还包括：
生成模块，用于生成样本变换参数；
所述调整模块，还用于通过所述样本变换参数对所述第一样本前景图像进行调整，得到第二样本前景图像；
所述装置，还包括：
训练模块，用于通过所述第一样本前景图像、所述第二样本前景图像和所述样本变换参数对所述配准模型进行训练。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的图像配准方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的图像配准方法。
CN202110540692.9A 2021-05-18 2021-05-18 图像配准方法、装置、设备及可读存储介质 Pending CN113706450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110540692.9A CN113706450A (zh) 2021-05-18 2021-05-18 图像配准方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110540692.9A CN113706450A (zh) 2021-05-18 2021-05-18 图像配准方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113706450A true CN113706450A (zh) 2021-11-26

Family

ID=78647900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110540692.9A Pending CN113706450A (zh) 2021-05-18 2021-05-18 图像配准方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113706450A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092064A (zh) * 2022-12-21 2023-05-09 广州市斯睿特智能科技有限公司 一种铭牌识别方法、系统、装置及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321809A1 (en) * 2013-10-01 2016-11-03 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
US20170103521A1 (en) * 2014-02-21 2017-04-13 Ventana Medical Systems, Inc. Medical image analysis for identifying biomarker-positive tumor cells
CN109741379A (zh) * 2018-12-19 2019-05-10 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US20190197662A1 (en) * 2017-12-22 2019-06-27 Canon Medical Systems Corporation Registration method and apparatus
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
US20190355113A1 (en) * 2018-05-21 2019-11-21 Corista, LLC Multi-sample Whole Slide Image Processing in Digital Pathology via Multi-resolution Registration and Machine Learning
US20190384047A1 (en) * 2017-08-09 2019-12-19 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
US20190392578A1 (en) * 2016-12-22 2019-12-26 Ventana Medical Systems, Inc. Computer scoring based on primary stain and immunohistochemistry images
CN111291755A (zh) * 2020-02-13 2020-06-16 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN112102294A (zh) * 2020-09-16 2020-12-18 推想医疗科技股份有限公司 生成对抗网络的训练方法及装置、图像配准方法及装置
CN112561973A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像配准模型的方法、装置和电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321809A1 (en) * 2013-10-01 2016-11-03 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
US20170103521A1 (en) * 2014-02-21 2017-04-13 Ventana Medical Systems, Inc. Medical image analysis for identifying biomarker-positive tumor cells
US20190392578A1 (en) * 2016-12-22 2019-12-26 Ventana Medical Systems, Inc. Computer scoring based on primary stain and immunohistochemistry images
US20190384047A1 (en) * 2017-08-09 2019-12-19 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
US20190197662A1 (en) * 2017-12-22 2019-06-27 Canon Medical Systems Corporation Registration method and apparatus
US20190355113A1 (en) * 2018-05-21 2019-11-21 Corista, LLC Multi-sample Whole Slide Image Processing in Digital Pathology via Multi-resolution Registration and Machine Learning
CN109741379A (zh) * 2018-12-19 2019-05-10 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
CN111291755A (zh) * 2020-02-13 2020-06-16 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN112102294A (zh) * 2020-09-16 2020-12-18 推想医疗科技股份有限公司 生成对抗网络的训练方法及装置、图像配准方法及装置
CN112561973A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像配准模型的方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092064A (zh) * 2022-12-21 2023-05-09 广州市斯睿特智能科技有限公司 一种铭牌识别方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
EP3961484B1 (en) Medical image segmentation method and device, electronic device and storage medium
CN112949786B (zh) 数据分类识别方法、装置、设备及可读存储介质
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
JP7540127B2 (ja) 人工知能に基づく画像処理方法、画像処理装置、コンピュータプログラム及びコンピュータ機器
CN110910391B (zh) 一种双模块神经网络结构视频对象分割方法
US10121245B2 (en) Identification of inflammation in tissue images
CN113223068B (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN112115783A (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN110767292A (zh) 病理编号识别方法、信息识别方法、装置及信息识别系统
CN113822325A (zh) 图像特征的监督学习方法、装置、设备及存储介质
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
CN114332457A (zh) 图像实例分割模型训练、图像实例分割方法和装置
CN113763315B (zh) 玻片图像的信息获取方法、装置、设备及介质
CN118277604A (zh) 一种基于超维矢量计算的图像检索方法
CN114359352A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN114332853A (zh) 图像判读模型的训练方法、装置、设备及存储介质
CN113706450A (zh) 图像配准方法、装置、设备及可读存储介质
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
Wang et al. An image forensic method for AI inpainting using faster R-CNN
WO2023220913A1 (zh) 细胞图像处理方法、电子设备以及存储介质
CN115147469A (zh) 配准方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211118

Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination