CN114283178A - 图像配准方法、装置、计算机设备及存储介质 - Google Patents

图像配准方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114283178A
CN114283178A CN202111116944.1A CN202111116944A CN114283178A CN 114283178 A CN114283178 A CN 114283178A CN 202111116944 A CN202111116944 A CN 202111116944A CN 114283178 A CN114283178 A CN 114283178A
Authority
CN
China
Prior art keywords
image
registration
pathological
pathological image
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111116944.1A
Other languages
English (en)
Inventor
田宽
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111116944.1A priority Critical patent/CN114283178A/zh
Publication of CN114283178A publication Critical patent/CN114283178A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像配准方法、装置、计算机设备及存储介质,属于图像处理技术领域。该方法包括:获取第一病理图像和第二病理图像,第一病理图像和第二病理图像为同一目标对象的病理图像;对第一病理图像和第二病理图像进行轮廓配准,得到第一配准参数,第一配准参数为用于调整第二病理图像中目标对象的轮廓的参数;对第一病理图像和第二病理图像进行目标部位的配准,得到第二配准参数,第二配准参数为用于调整第二病理图像中目标部位的位置的参数;基于第一配准参数和第二配准参数,调整第二病理图像,得到第二病理图像的配准图像。该方法采用先整体配准再局部精确配准的配准方式,降低了配准难度,提高了图像配准的准确性。

Description

图像配准方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域,特别涉及一种图像配准方法、装置、计算机设备及存储介质。
背景技术
图像配准是指对同一对象的不同图像进行匹配的过程,图像配准广泛应用于图像三维重构、遥感图像分析、医学图像处理等领域。
相关技术中,分别提取待处理的两个图像中的特征点,通过对两个图像中相对应的特征点进行匹配,来实现图像配准。但是,提取特征点和对特征点进行匹配的过程处理量较大,导致配准效率较低。
发明内容
本申请实施例提供了一种图像配准方法、装置、计算机设备及存储介质,降低了配准难度,提高了图像配准的效率和准确性。所述技术方案如下:
一方面,提供了一种图像配准方法,所述方法包括:
获取第一病理图像和第二病理图像,所述第一病理图像和所述第二病理图像为同一目标对象的病理图像;
对所述第一病理图像和所述第二病理图像进行轮廓配准,得到第一配准参数,所述第一配准参数为用于调整所述第二病理图像中所述目标对象的轮廓的参数;
对所述第一病理图像和所述第二病理图像进行目标部位的配准,得到第二配准参数,所述目标部位为所述目标对象中处于目标状态的部位,所述第二配准参数为用于调整所述第二病理图像中所述目标部位的位置的参数;
基于所述第一配准参数和所述第二配准参数,调整所述第二病理图像,得到所述第二病理图像的配准图像,所述配准图像与所述第一病理图像中所述目标对象的轮廓一致,且所述目标部位的位置一致。
另一方面,提供了一种图像配准装置,所述装置包括:
图像获取模块,用于获取第一病理图像和第二病理图像,所述第一病理图像和所述第二病理图像为同一目标对象的病理图像;
第一配准模块,用于对所述第一病理图像和所述第二病理图像进行轮廓配准,得到第一配准参数,所述第一配准参数为用于调整所述第二病理图像中所述目标对象的轮廓的参数;
第二配准模块,用于对所述第一病理图像和所述第二病理图像进行目标部位的配准,得到第二配准参数,所述目标部位为所述目标对象中处于目标状态的部位,所述第二配准参数为用于调整所述第二病理图像中所述目标部位的位置的参数;
配准图像获取模块,用于基于所述第一配准参数和所述第二配准参数,调整所述第二病理图像,得到所述第二病理图像的配准图像,所述配准图像与所述第一病理图像中所述目标对象的轮廓一致,且所述目标部位的位置一致。
在一种可能实现方式中,所述第一配准模块,包括:
轮廓图像获取单元,用于获取所述第一病理图像的第一轮廓图像和所述第二病理图像的第二轮廓图像;
第一配准单元,用于对所述第一轮廓图像和所述第二轮廓图像进行轮廓配准,得到所述第一配准参数。
在另一种可能实现方式中,所述轮廓图像获取单元,用于:
分别对所述第一病理图像和所述第二病理图像进行二值化处理,得到所述第一轮廓图像和所述第二轮廓图像;或者,
分别对所述第一病理图像和所述第二病理图像进行灰度处理,得到所述第一轮廓图像和所述第二轮廓图像。
在另一种可能实现方式中,所述第二配准模块,用于:
基于所述第一配准参数,调整所述第二病理图像,得到第三病理图像,所述第三病理图像与所述第一病理图像中所述目标对象的轮廓一致;
对所述第一病理图像和所述第三病理图像进行所述目标部位的配准,得到所述第二配准参数。
在另一种可能实现方式中,所述第二配准模块,包括:
区域分割单元,用于分别对所述第一病理图像和所述第三病理图像进行区域分割,得到第一区域图像和第二区域图像,所述第一区域图像为所述第一病理图像中所述目标部位所在区域的图像,所述第二区域图像为所述第三病理图像中所述目标部位所在区域的图像;
第二配准单元,用于对所述第一区域图像和所述第二区域图像进行目标部位的配准,得到所述第二配准参数。
在另一种可能实现方式中,所述区域分割单元,用于调用区域分割模型,分别对所述第一病理图像和所述第三病理图像进行区域分割,得到所述第一区域图像和所述第二区域图像,所述区域分割模型用于从图像中分割处于所述目标状态的部位所在区域的图像。
在另一种可能实现方式中,所述第一区域图像包括多个子区域,所述第二区域图像包括多个子区域,所述第二配准单元,用于:
以所述第一区域图像中多个子区域的位置为参考,移动所述第二区域图像中对应的子区域的位置,以使所述第二区域图像中多个子区域分别与所述第一区域图像中多个子区域的位置相同;
基于所述第二区域图像中多个子区域的移动距离,确定所述第二配准参数。
在另一种可能实现方式中,所述配准图像获取模块,用于:
对所述第一配准参数和所述第二配准参数进行组合,得到第三配准参数;
基于所述第三配准参数,调整所述第二病理图像,得到所述第二病理图像的配准图像。
在另一种可能实现方式中,所述配准图像获取模块,用于:
基于所述第一配准参数,调整所述第二病理图像,得到第四病理图像,所述第四病理图像与所述第一病理图像中所述目标对象的轮廓一致;
基于所述第二配准参数,调整所述第四病理图像,得到所述第二病理图像的配准图像。
在另一种可能实现方式中,所述第一配准参数包括平移参数、旋转参数或缩放参数中的至少一项,所述第一配准模块,用于:
以所述第一病理图像中所述目标对象的轮廓为参考,平移所述第二病理图像,以使所述第二病理图像中所述目标对象与所述第一病理图像中所述目标对象为同一高度,将对所述第二病理图像平移的距离确定为所述平移参数;或者,
以所述第一病理图像中所述目标对象的轮廓为参考,旋转所述第二病理图像,以使所述第二病理图像中所述目标对象与所述第一病理图像中所述目标对象为同一角度,将对所述第二病理图像旋转的角度确定为所述旋转参数;或者,
以所述第一病理图像中所述目标对象的轮廓为参考,缩放所述第二病理图像,以使所述第二病理图像中所述目标对象与所述第一病理图像中所述目标对象为同一尺寸,将对所述第二病理图像缩放的尺寸确定为所述缩放参数。
在另一种可能实现方式中,所述目标对象为病灶组织,所述图像获取模块,用于分别对所述病灶组织的第五病理图像和第六病理图像进行下采样,得到所述第一病理图像和所述第二病理图像。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如上述方面所述的图像配准方法所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如上述方面所述的图像配准方法所执行的操作。
另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述方面所述的图像配准方法所执行的操作。
本申请实施例提供的图像配准方式,先基于第一病理图像和第二病理图像中目标对象的轮廓,对第一病理图像和第二病理图像进行整体配准,再基于第一病理图像和第二病理图像中目标对象的目标部位,对第一病理图像和第二病理图像进行局部的精确配准,无需提取第一病理图像和第二病理图像中的每个特征点,降低了配准难度,提高了配准效率,并且避免了特征点不准确导致得到的配准图像不准确,从而提高了图像配准的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像配准方法的流程图;
图2是本申请实施例提供的另一种图像配准方法的流程图;
图3是本申请实施例提供的一种病灶组织的两个病理图像的示意图;
图4是本申请实施例提供的一种病理图像的轮廓图像的示意图;
图5是本申请实施例提供的一种病理图像的轮廓图像的示意图;
图6是本申请实施例提供的一种病理图像和区域图像的示意图;
图7是本申请实施例提供的另一种病理图像和区域图像的示意图;
图8是本申请实施例提供的一种区域图像的示意图;
图9是本申请实施例提供的另一种病理图像和区域图像的示意图;
图10是本申请实施例提供的另一种病理图像和配准图像的示意图;
图11是本申请实施例提供的另一种病理图像和配准图像的示意图;
图12是本申请实施例提供的另一种图像配准方法的流程图;
图13是本申请实施例提供的一种图像配准装置的结构示意图;
图14是本申请实施例提供的另一种图像配准装置的结构示意图;
图15是本申请实施例提供的一种终端的结构示意图;
图16是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一病理图像称为第二病理图像,将第二病理图像称为第一病理图像。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”等,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个区域包括3个区域,而每个区域是指这3个区域中的每一个区域,任一是指这3个区域中的任意一个,可以是第一个,可以是第二个,也可以是第三个。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案,根据人工智能的计算机视觉、机器学习等技术,对获取的第一病理图像和第二病理图像进行配准,以第一病理图像为参考,得到第二病理图像的配准图像。
本申请实施例提供的图像配准方法,能够由计算机设备执行。可选地,该计算机设备为终端或服务器。可选地,该服务器是独立的物理服务器,或者,是多个物理服务器构成的服务器集群或者分布式系统,或者,是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地,该终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、医疗设备、车载终端等,但并不局限于此。
在一种可能实现方式中,本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备能够组成区块链系统。
在一种可能实现方式中,本申请实施例中用于处理图像的计算机设备是区块链系统中的节点,该节点能够获取第一病理图像和第二病理图像,通过对第一病理图像和第二病理图像进行处理,得到用于调整第二病理图像的第一配准参数和第二配准参数,基于得到的第一配准参数和第二配准参数对第二病理图像进行配准,得到第二病理图像的配准图像。
图1是本申请实施例提供的一种图像配准方法的流程图。本申请实施例的执行主体为计算机设备,参见图1,该方法包括以下步骤:
101、获取第一病理图像和第二病理图像。
其中,该第一病理图像和第二病理图像为同一目标对象的病理图像,第二病理图像为待配准的图像,第一病理图像为对第二病理图像进行配准时参考的图像,目标对象为任一对象,例如,该目标对象为病灶组织或其他对象。
102、对第一病理图像和第二病理图像进行轮廓配准,得到第一配准参数,该第一配准参数为用于调整第二病理图像中目标对象的轮廓的参数。
其中,目标对象的轮廓能够体现第一病理图像和第二目标中目标对象的整体位置,基于目标对象的轮廓,对第一病理图像和第二病理图像进行整体轮廓配准,得到第一配准参数,例如,第一配准参数为旋转参数、平移参数、缩放参数等。
103、对第一病理图像和第二病理图像进行目标部位的配准,得到第二配准参数,该第二配准参数为用于调整第二病理图像中目标部位的位置的参数。
其中,目标部位为目标对象中处于目标状态的部位,目标状态包括正常状态或异常状态中的任一种,正常状态是指未发生变化的状态,异常状态是指发生变化的状态。例如,目标对象为病灶组织,则正常状态是指病灶组织中未发生病变的区域所处的状态,异常状态是指病灶组织中已发生病变的区域所处的状态,例如病灶组织中的病变区域所处的状态即为异常状态。
基于目标对象的目标部位,对第一病理图像和第二病理图像进行目标部位的局部配准,得到第二配准参数,例如,第二配准参数为旋转参数、平移参数、缩放参数等。
104、基于第一配准参数和第二配准参数,调整第二病理图像,得到第二病理图像的配准图像。
计算机设备得到第一配准参数和第二配准参数后,即可调整第二病理图像,在调整第二病理图像的过程中,可同时调整第二病理图像中目标对象的位置和目标部位所在区域的位置,或者先调整目标对象的位置,再调整目标部位所在区域的位置,以得到配准图像,该配准图像和第一病理图像中目标对象的轮廓一致,且目标部位的位置一致,即该配准图像与第一病理图像的位置、角度、尺寸一致。
本申请实施例提供了一种图像配准方法,先基于第一病理图像和第二病理图像中目标对象的轮廓,对第一病理图像和第二病理图像进行整体配准,再基于第一病理图像和第二病理图像中目标对象的目标部位,对第一病理图像和第二病理图像进行局部的精确配准,无需提取第一病理图像和第二病理图像中的每个特征点,降低了配准难度,提高了配准效率,并且避免了特征点不准确导致得到的配准图像不准确,从而提高了图像配准的准确性。
上述图1所示的实施例仅是简单介绍了图像配准的过程,下面通过图2所示的实施例对图像配准过程中,获取配准参数的实施方式进行详细说明。
图2是本申请实施例提供的一种图像配准方法的流程图。本申请实施例的执行主体为计算机设备。参见图2,该方法包括以下步骤:
201、获取第一病理图像和第二病理图像。
其中,该第一病理图像和第二病理图像为同一目标对象的病理图像,第二病理图像为待配准的病理图像,第一病理图像为对第二病理图像进行配准时参考的病理图像,目标对象为任一对象,例如,该目标对象为病灶组织或其他对象。可选地,第一病理图像和第二病理图像为计算机设备采集的病理图像,或者是由其他计算机设备发送给该计算机设备的病理图像。
可选地,第一病理图像和第二病理图像为采用全自动显微镜扫描装置对病灶组织的病理切片扫描得到的数字切片(WSI,Whole Slide Image),或者是采用其他方式获取的,本申请实施例对获取病理图像的方式不做限制。
在目标对象为病灶组织的情况下,计算机设备获取病灶组织的第一病理切片和第二病理切片,分别对第一病理切片和第二病理切片进行扫描,得到第一病理切片对应的第一病理图像和第二病理切片对应的第二病理图像。其中,病灶组织是从人体内取出的。将病灶组织放置于固定剂中制作为用于在显微镜下观察的病理切片,固定剂用于稳定组织以防止腐烂。对于同一个病灶组织,为了便于在显微镜下观察,该病灶组织的不同成分用不同的染色剂染色,然后应用不同的染色技术以在显微镜下显示特定的组织成分。针对同一病灶组织采用不同的染色技术得到的第一病理切片和第二病理切片。
在病理切片的制作和扫描过程中,由于人工操作可能造成同一病灶组织的不同病理图像出现位置偏移和方向旋转,不便于后续对应不同的病理图像,例如,参见图3所示的第一病理图像301和第二病理图像302,这两个病理图像中病灶组织的位置和方向完全不同。因此需要对不同的病理图像进行配准。
病理图像的尺寸较大,例如,病理图像的尺寸为10000*10000。在一种可能实现方式中,计算机设备得到病理图像之后,采用金字塔形式存储该病理图像,即会对病理图像进行下采样,得到不同尺寸的病理图像,将多个尺寸的病理图像存储在一起,后续在对该病理图像进行处理时,根据需要处理的病理图像的尺寸,读取对应尺寸的病理图像。例如,对于同一病理图像,以10000*10000的尺寸、8000*8000的尺寸、4000*4000的尺寸进行存储,在进行图像配准时需要的病理图像的尺寸为5000*5000的,则能够直接从存储的病理图像中读取尺寸最接近的病理图像,即读取4000*4000的病理图像。对于第一病理图像和第二病理图像均能够采用上述实施方式进行存储和读取。
在另一种可能实现方式中,在对病理图像进行配准时,对原始的病理图像进行下采样,得到下采样后的病理图像。即分别对第五病理图像和第六病理图像进行下采样,得到下采样后的第一病理图像和下采样后的第二病理图像。
可选地,第一病理图像和第二病理图像为任一尺寸,第一病理图像和第二病理图像的尺寸相同,或者第一病理图像和第二病理图像的尺寸不同。
在一种可能实现方式中,为了使后续的配准过程更加准确,对第一病理图像和第二病理图像进行预处理,例如对参考图像进行滤波处理、图像增强处理等,对预处理后的第一病理图像和第二病理图像进行配准。
202、获取第一病理图像的第一轮廓图像和第二病理图像的第二轮廓图像。
其中,第一轮廓图像和第二轮廓图像中均包括目标对象的轮廓。
在一种可能实现方式中,计算机设备分别对第一病理图像和第二病理图像进行灰度处理,得到第一轮廓图像和第二轮廓图像。通过灰度处理得到的第一轮廓图像和第二轮廓图像能够清楚地显示目标对象的轮廓,避免了第一病理图像和第二病理图像中的各种颜色的影响。
在另一种可能实现方式中,计算机设备分别对第一病理图像和第二病理图像进行二值化处理,得到第一轮廓图像和第二轮廓图像。二值化处理是指将图像中的像素点的灰度值设置为0或1,以将整个图像呈现出明显的只有黑和白的效果。例如,将图像中目标对象的轮廓设置为白色,将除目标对象之外的区域设置为黑色,或者将图像中目标对象的轮廓设置为黑色,将除目标对象之外的区域设置为白色。例如,参见图4所示的第一病理图像401和第一轮廓图像402,该第一病理图像401为病灶组织的病理图像,第一轮廓图像402中白色区域为病灶组织的轮廓。例如,参见图5,针对上述图3所示的第一病理图像301和第二病理图像302,对第一病理图像301进行轮廓分割,得到第一轮廓图像501,对第二病理图像302进行轮廓分割,得到第二轮廓图像502。
在一种可能实现方式中,计算机设备在图像中像素点的灰度值大于第一阈值的情况下,将该像素点的灰度值设置为1,在图像中像素点的灰度值不大于第一阈值的情况下,将该像素点的灰度值设置为0;或者,在图像中像素点的灰度值大于第二阈值的情况下,将该像素点的灰度值设置为0,在图像中像素点的灰度值不大于第二阈值的情况下,将该像素点的灰度值设置为1,从而实现对图像的二值化处理。其中,第一阈值和第二阈值任一大于0,小于255的正整数,第一阈值与第二阈值相同,或者第一阈值与第二阈值不同。对于第一病理图像和第二病理图像,采用同一标准进行二值化处理。
为了提高轮廓图像的准确性,在另一种可能实现方式中,计算机设备调用轮廓分割模型,分别对第一病理图像和第二病理图像进行二值化处理,得到第一轮廓图像和第二轮廓图像。该轮廓分割模型用于识别图像中目标对象的轮廓,对图像进行轮廓分割。该轮廓分割模型为计算机设备训练的,或者是由其他计算机设备发送给该计算机设备,本申请实施例对此不做限制。
可选地,为了能够更加准确地对图像进行轮廓分割,将输入轮廓分割模型的图像进行随机翻转、随机裁剪、染色扰动等预处理,实现图像增强,然后再对预处理后的图像进行轮廓分割,得到对应的轮廓图像。
对于轮廓分割图像的训练过程,计算机设备第一样本图像,通过人工标注的方式对该第一样本图像进行轮廓标注,得到第一样本图像对应的样本轮廓图像,基于第一样本图像和样本轮廓图像来训练轮廓分割模型。即将第一样本图像输入至轮廓分割模型,轮廓分割模型输出第一样本图像对应的预测轮廓图像,对比样本轮廓图像和预测轮廓图像,根据样本轮廓图像和预测轮廓图像之间的差异,调整轮廓分割模型的参数。例如,轮廓分割模型训练过程中的学习率为0.0001,每个样本图像的最大迭代次数为200次。
可选地,轮廓分割模型能够处理的图像的尺寸是固定的,例如输入的图像的尺寸为512*512。
本申请实施例中,通过灰度处理得到的轮廓图像与通过二值化处理得到的轮廓图像相比,通过二值化处理得到的轮廓图像中的目标对象的轮廓更加清楚,效果更好。
203、对第一轮廓图像和第二轮廓图像进行轮廓配准,得到第一配准参数。
本申请实施例中,计算机设备得到第一轮廓图像和第二轮廓图像之后,能够在该第一轮廓图像和第二轮廓图像的基础上,对第一轮廓图像和第二轮廓图像中目标对象的轮廓进行整体配准,得到第一配准参数,该第一配准参数为以第一病理图像中目标对象的轮廓为参考、用于调整第二病理图像的参数,也即是以第一轮廓图像中目标对象的轮廓为参考、用于调整第二轮廓图像的参数。
在一种可能实现方式中,第一配准参数包括平移参数、旋转参数或缩放参数中的至少一项。在第一轮廓图像与第二轮廓图像中目标对象的轮廓高度不同的情况下,计算机设备以第一轮廓图像中目标对象的轮廓为参考,平移第二轮廓图像,以使第二轮廓图像中目标对象与第一轮廓图像中目标对象为同一高度,将对第二轮廓图像平移的距离确定为平移参数;在第一轮廓图像与第二轮廓图像中的目标对象的轮廓角度不同的情况下,计算机设备以第一轮廓图像中目标对象的轮廓为参考,旋转第二轮廓图像,以使第二轮廓图像中目标对象与第一轮廓图像中目标对象为同一角度,将对第二轮廓图像旋转的角度确定为旋转参数;在第一轮廓图像和第二轮廓图像中目标对象的轮廓的尺寸不同的情况下,计算机设备以第一轮廓图像中目标对象的轮廓为参考,缩放第二轮廓图像,以使第二轮廓图像中目标对象与第一轮廓图像中目标对象为同一尺寸,将对第二轮廓图像缩放的尺寸确定为缩放参数。其中,平移参数指示移动方向和移动距离,旋转参数指示旋转的角度,缩放参数指示图像放大或缩小的比例。
例如,采用Similarity(相似性配准)、Affine(仿射配准)等配准模式对第一病理图像和第二病理图像进行轮廓配准。
需要说明的是,上述实施方式中,仅是以先获取第一轮廓图像和第二轮廓图像,再对第一轮廓图像和第二轮廓图像进行轮廓配准为例进行说明,在另一实施例中,可直接基于第一病理图像和第二病理图像中目标对象的轮廓,对第一病理图像和第二病理图像进行轮廓配准,无需获取第一轮廓图像和第二轮廓图像。
相应的,在一种可能实现方式中,在第一病理图像与第二病理图像中目标对象的轮廓高度不同的情况下,计算机设备以第一病理图像中目标对象的轮廓为参考,平移第二病理图像,以使第二病理图像中目标对象与第一病理图像中目标对象为同一高度,将对第二病理图像平移的距离确定为平移参数;在第一病理图像与第二病理图像中的目标对象的轮廓角度不同的情况下,计算机设备以第一病理图像中目标对象的轮廓为参考,旋转第二病理图像,以使第二病理图像中目标对象与第一病理图像中目标对象为同一角度,将对第二病理图像旋转的角度确定为旋转参数;在第一病理图像和第二病理图像中目标对象的轮廓的尺寸不同的情况下,计算机设备以第一病理图像中目标对象的轮廓为参考,缩放第二病理图像,以使第二病理图像中目标对象与第一病理图像中目标对象为同一尺寸,将对第二病理图像缩放的尺寸确定为缩放参数。
204、基于第一配准参数,调整第二病理图像,得到第三病理图像。
本申请实施例中,计算机设备得到第一配准参数后,能够基于该第一配准参数,对第二病理图像进行整体配准,得到第三病理图像,该第三病理图像与第一病理图像中目标对象的轮廓一致。之后在该第三病理图像的基础上,继续进行区域配准。
其中,基于第一配准参数调整第二病理图像是指,按照平移参数、旋转参数或缩放参数中的至少一种参数来调整第二病理图像,例如按照平移参数左右移动或上下移动第二病理图像,或者按照旋转参数将第二病理图像旋转某个角度,或者按照缩放参数将第二病理图像放大或缩小某个比例。
例如,参见图6,以第一病理图像601为参考,基于第一配准参数对第二病理图像调整,得到第三病理图像602,图6中在第一病理图像601和第三病理图像602中框出的区域为病变区域,区域图像603为对第一病理图像601中框出的区域与第三病理图像602中框出的区域进行重叠得到的,从区域图像603中能够看出,该病变区域的位置并没有完全重叠。
又例如,参见图7,图7是另一种形式的第一病理图像和第二病理图像。先对第一病理图像和第二病理图像进行处理,得到黑白的第一病理图像701和第二病理图像702,其中对第一病理图像701的病变区域和第二病理图像702中的病变区域进行重叠,得到区域图像703,从区域图像703中能够看出,该病变区域的位置并没有完全重叠。
205、对第一病理图像和第三病理图像进行目标部位的配准,得到第二配准参数。
其中,目标部位为目标对象中处于目标状态的部位,目标状态包括正常状态或异常状态中的任一种,正常状态是指未发生变化的状态,异常状态是指发生变化的状态。例如,目标对象为病灶组织,则正常状态是指病灶组织中未发生病变的区域所处的状态,异常状态是指病灶组织中已发生病变的区域所处的状态,例如病灶组织中的病变区域所处的状态即为异常状态。
在一种可能实现方式中,能够根据实际应用场景,确定对处于哪种状态的目标部位进行区域配准。例如,获取第二病理图像的配准图像的目的是为了更好地观察第二病理图像中处于异常状态的部位,则需要对第二病理图像中处于异常状态的部位所在的区域进行更加准确地配准,此时目标部位即为处于异常状态的部位;或者获取第二病理图像的配准图像的目的是为了更好地观察第二病理图像中处于正常状态的部位,则需要对第二病理图像中处于正常状态的部位所在的区域进行更加准确地配准,此时目标部位即为处于正常状态的部位。
在一种可能实现方式中,计算机设备先从第一病理图像和第三病理图像中分割出目标部位对应的区域图像,即分别对第一病理图像和第三病理图像进行区域分割,得到第一区域图像和第二区域图像,第一区域图像为第一病理图像中目标部位所在区域的图像,第二区域图像为第三病理图像中目标部位所在区域的图像。然后对第一区域图像和第二区域图像进行目标部位的配准,得到第二配准参数。
可选地,在第一区域图像包括多个子区域,第二区域图像包括多个子区域的情况下,将第一区域图像和第二区域图像再分别分割为多个子区域,对多个子区域进行目标部位的配准。即计算机设备对第一区域图像和第二区域图像进行目标部位的配准,得到第二配准参数,包括:以第一区域图像中多个子区域的位置为参考,移动第二区域图像中对应的子区域的位置,以使第二区域图像中多个子区域分别与第一区域图像中多个子区域的位置相同,基于第二区域图像中多个子区域的移动距离,确定第二配准参数。其中,第一区域图像中的多个子区域与第二区域图像中的多个子区域一一对应,第二区域图像中多个子区域分别与第一区域图像中多个子区域的位置相同是指,第一区域图像中的一个子区域与对应的第二区域图像中的一个子区域的位置相同。
例如,将第一区域图像和第二区域图像中一个像素点对应的区域作为一个子区域,从而得到多个子区域,对第一区域图像中的多个子区域和第二区域图像中的多个子区域采用变换场的配准模式进行配准;或者,将相邻的多个像素点对应的区域作为一个子区域,从而得到多个子区域,对第一区域图像中的多个子区域和第二区域图像中的多个子区域采用BSpline(使用B样条的非刚性配准)的配准模式进行配准。
可选地,调用区域分割模型,分别对第一病理图像和第三病理图像进行区域分割,得到第一区域图像和第二区域图像,区域分割模型用于从图像中分割处于目标状态的部位所在区域的图像。该区域分割模型用于识别图像中目标对象中处于目标状态的目标部位,从图像中分割出该目标部位所在的区域,例如该区域分割模型为病变区域分割模型,用于分割出图像中的病变区域。该区域分割模型为计算机设备训练的,或者是由其他计算机设备发送给该计算机设备,本申请实施例对此不做限制。
可选地,为了能够更加准确地对图像进行区域分割,将输入区域分割模型的图像进行随机翻转、随机裁剪、染色扰动等预处理,实现图像增强,然后再对预处理后的图像进行区域分割,得到对应的区域图像。
对于区域分割图像的训练过程,计算机设备获取第二样本图像,通过人工标注的方式对该第二样本图像进行区域标注,得到第二样本图像对应的样本区域图像,例如,参见图8所示的第二样本图像801以及样本区域图像802。基于第二样本图像和样本区域图像来训练区域分割模型。即将第二样本图像输入至区域分割模型,区域分割模型输出第二样本图像对应的预测区域图像,对比样本区域图像和预测区域图像,根据样本区域图像和预测区域图像之间的差异,调整区域分割模型的参数。例如,区域分割模型训练过程中的学习率为0.0001,每个样本图像的最大迭代次数为200次。
可选地,区域分割模型能够处理的图像的尺寸是固定的,例如输入的图像的尺寸为512*512。
需要说明的是,本申请实施例仅是以先获取第三病理图像,然后对第一病理图像和第三病理图像进行目标部位的配准为例进行说明,在另一实施例中,计算机设备不获取第三病理图像,直接基于目标对象中的目标部位,对第一病理图像和第二病理图像进行目标部位的配准,得到第二配准参数。不同的是,直接基于目标对象中的目标部位,对第一病理图像和第二病理图像进行目标部位的配准的情况下,目标部位所在的区域是未进行轮廓调整之前的区域,因此后续需要同时基于第一配准参数和第二配准参数,调整第二病理图像,以使目标对象的轮廓和目标部位所在的区域同时进行调整,避免先基于第一配准参数调整目标对象的轮廓,导致目标部位所在的区域发生变化,再基于第二配准参数调整时无法准确调整。
206、基于第一配准参数和第二配准参数,调整第二病理图像,得到第二病理图像的配准图像。
其中,配准图像与第一病理图像中目标对象的轮廓一致,且目标部位的位置一致。
在一种可能实现方式中,计算机设备对第一配准参数和第二配准参数进行组合,得到第三配准参数;基于第三配准参数,调整第二病理图像,得到第二病理图像的配准图像。也即是,计算机设备同时调整第二病理图像中目标对象的位置和目标部位所在区域的位置,从而减少从第二病理图像到配准图像的中间步骤。其中,第三配准参数是对第一配准参数和第二配准参数拼接在一起得到的,便于基于第三配准参数来调整第二病理图像。
在另一种可能实现方式中,计算机设备基于第一配准参数,调整第二病理图像,得到第四病理图像,第四病理图像与第一病理图像中目标对象的轮廓一致,基于第二配准参数,调整第四病理图像,得到第二病理图像的配准图像。也即是,计算机设备先调整目标对象的位置,再调整目标部位所在区域的位置。其中,第四病理图像与上述第三病理图像相同。
例如,参见图9所示的配准结果,第一病理图像901和配准图像902中框出的区域为病变区域,区域图像903为对第一病理图像901中框出的区域与配准图像902中框出的区域进行重叠得到的,从区域图像903中能够看出,该病变区域的位置几乎完全重叠。
例如,参见图10,对于第一病理图像1001和第二病理图像1002,对该第一病理图像1001和第二病理图像1002进行配准后,得到第一病理图像1001和配准图像1003。即第一病理图像1001不变,调整第二病理图像1002,得到对应的配准图像1003。
又例如,参见图11,另一个病灶组织的配准结果。以第一病理图像1101为参考,调整第二病理图像1102,得到配准图像1103。
需要说明的是,病理图像是彩色图像,本申请实施例中的附图仅是以灰度图像为例进行说明。
本申请实施例提供了一种图像配准方法,先基于第一病理图像和第二病理图像中目标对象的轮廓,对第一病理图像和第二病理图像进行整体配准,再基于第一病理图像和第二病理图像中目标对象的目标部位,对第一病理图像和第二病理图像进行局部的精确配准,无需提取第一病理图像和第二病理图像中的每个特征点,降低了配准难度,提高了配准效率,并且避免了特征点不准确导致得到的配准图像不准确,从而提高了图像配准的准确性。
并且,对病理图像进行二值化处理或灰度处理,得到对应的轮廓图像,轮廓图像中能够清晰地显示目标对象的轮廓,且不存在其他干扰,因此对第一轮廓图像和第二轮廓图像进行配准,避免了第一病理图像和第二病理图像中除目标对象的轮廓之前的其他因素的干扰,从而提高了配准的准确性,使得到的第一配准参数更加准确。
并且,在进行局部配准的过程中,将区域图像再划分为更多的子区域,通过调整各个子区域的位置得到配准后的图像,与调整整个区域图像相比,提高了配准的准确性,且与相关技术中基于特征点配准相比,划分子区域更加简单,降低了配准难度,因此,本申请中的局部配准在降低配准难度的同时,还保证了配准的准确性。
并且,对于病理图像来说,由于病理图像是扫描染色的病理切片得到的,而不同的病理切片的染色风格差异较大,导致彩色的病理图像相差较大,采用相关技术中提取特征点的方式无法提取到有效的特征点,而采用本申请中先整体配准再局部精确配准的配准方式,无需提取特征点,降低了配准难度,提高了配准效率,并且避免特征点不准确导致得到的配准图像不准确的问题,提高了图像配准的准确性。
另外,在一种可能实现方式中,在图像配准过程中,调用轮廓分割模型和区域分割模型来对图像进行分割,该图像配准过程参见图12。图12是本申请实施例提供的另一种图像配准方法的流程图。本申请实施例的执行主体为计算机设备,该方法包括以下步骤:
1201、获取第一数字切片和第二数字切片。
1202、获取第一数字切片的缩略图和第二数字切片的缩略图。
1203、调用轮廓分割模型,对第一数字切片的缩略图和第二数字切片的缩略图进行轮廓分割,得到第一数字切片对应的第一轮廓图像和第二数字切片对应的第二轮廓图像。
在之前需要先训练轮廓分割模型,即获取数字切片和标注的轮廓图像,基于该数字切片和标注的轮廓图像训练轮廓分割模型,得到训练后的轮廓分割模型。
1204、对第一轮廓图像和第二轮廓图像进行全局配准,得到第一配准参数和第二数字切片对应的第三数字切片。
1205、调用区域分割模型,对第一数字切片的缩略图和第三数字切片进行区域分割,得到第一数字切片对应的第一区域图像和第三数字切片对应的第二区域图像。
在之前需要先训练区域分割模型,即获取数字切片和标注的病变区域对应的区域图像,基于该数字切片和标注的区域图像训练区域分割模型,得到训练后的区域分割模型。
1206、对第一区域图像和第二区域图像进行局部配准,得到第二配准参数。
1207、基于第一配准参数和第二配准参数,调整第二数字切片,得到第二数字切片的配准图像。
步骤1201-步骤1207的实施方式与上述201-206的实施方式同理,在此不再赘述。
另外,在一种可能实现方式中,采用本申请实施例提供的方法对病理图像进行配准,得到配准图像之后,能够将该配准图像作为辅助医生确定病人的身体状况的一种依据,使医生能够结合该配准图像、其他相关的信息或病人的身体情况,来确定病人的诊断结果。
上述图2和图12是以应用在医学场景下为例进行说明,本申请实施例提供的图像配准方法还能够应用于机器学习中的图像预处理场景下,采用本申请实施例提供的方法对原始的图像进行配准,采用配准后的图像进行后续的图像识别、图像分割等处理。当前还能够应用在其他场景下,本申请实施例对此不做限制。
图13是本申请实施例提供的一种图像配准装置的结构示意图。参见图13,该装置包括:
图像获取模块1301,用于获取第一配准图像和第二配准图像,第一配准图像和第二配准图像为同一目标对象的病理图像;
第一配准模块1302,用于对第一病理图像和第二病理图像进行轮廓配准,得到第一配准参数,第一配准参数为用于调整第二病理图像中目标对象的轮廓的参数;
第二配准模块1303,用于对第一病理图像和第二病理图像进行目标部位的配准,得到第二配准参数,目标部位为目标对象中处于目标状态的部位,第二配准参数为用于调整第二病理图像中目标部位的位置的参数;
配准图像获取模块1304,用于基于第一配准参数和第二配准参数,调整第二配准图像,得到第二配准图像的配准图像,配准图像与第一病理图像中目标对象的轮廓一致,且目标部位的位置一致。
本申请实施例提供了一种图像配准装置,先基于第一配准图像和第二配准图像中目标对象的轮廓,对第一配准图像和第二配准图像进行整体配准,再基于第一配准图像和第二配准图像中目标对象的目标部位,对第一配准图像和第二配准图像进行局部的精确配准,无需提取第一配准图像和第二配准图像中的每个特征点,降低了配准难度,提高了配准效率,并且避免了特征点不准确导致得到的配准图像不准确,从而提高了图像配准的准确性。
在一种可能实现方式中,参见图14,第一配准模块1302,包括:
轮廓图像获取单元1312,用于获取第一配准图像的第一轮廓图像和第二配准图像的第二轮廓图像;
第一配准单元1322,用于对第一轮廓图像和第二轮廓图像进行轮廓配准,得到第一配准参数。
在另一种可能实现方式中,参见图14,轮廓图像获取单元1312,用于:
分别对第一配准图像和第二配准图像进行二值化处理,得到第一轮廓图像和第二轮廓图像;或者,
分别对第一配准图像和第二配准图像进行灰度处理,得到第一轮廓图像和第二轮廓图像。
在另一种可能实现方式中,第二配准模块1303,用于:
基于第一配准参数,调整第二配准图像,得到第三病理图像,第三病理图像与第一配准图像中目标对象的轮廓一致;
对第一配准图像和第三病理图像进行目标部位的配准,得到第二配准参数。
在另一种可能实现方式中,参见图14,第二配准模块1303,包括:
区域分割单元1313,用于分别对第一配准图像和第三病理图像进行区域分割,得到第一区域图像和第二区域图像,第一区域图像为第一配准图像中目标部位所在区域的图像,第二区域图像为第三病理图像中目标部位所在区域的图像;
第二配准单元1323,用于对第一区域图像和第二区域图像进行目标部位的配准,得到第二配准参数。
在另一种可能实现方式中,参见图14,区域分割单元1313,用于调用区域分割模型,分别对第一配准图像和第三病理图像进行区域分割,得到第一区域图像和第二区域图像,区域分割模型用于从图像中分割处于目标状态的部位所在区域的图像。
在另一种可能实现方式中,第一区域图像包括多个子区域,第二区域图像包括多个子区域,参见图14,第二配准单元1323,用于:
以第一区域图像中多个子区域的位置为参考,移动第二区域图像中对应的子区域的位置,以使第二区域图像中多个子区域分别与第一区域图像中多个子区域的位置相同;
基于第二区域图像中多个子区域的移动距离,确定第二配准参数。
在另一种可能实现方式中,配准图像获取模块1304,用于:
对第一配准参数和第二配准参数进行组合,得到第三配准参数;
基于第三配准参数,调整第二配准图像,得到第二配准图像的配准图像。
在另一种可能实现方式中,配准图像获取模块1304,用于:
基于第一配准参数,调整第二配准图像,得到第四病理图像,第四病理图像与第一配准图像中目标对象的轮廓一致;
基于第二配准参数,调整第四病理图像,得到第二配准图像的配准图像。
在另一种可能实现方式中,第一配准参数包括平移参数、旋转参数或缩放参数中的至少一项,第一配准模块1302,用于:
以第一配准图像中目标对象的轮廓为参考,平移第二配准图像,以使第二配准图像中目标对象与第一配准图像中目标对象为同一高度,将对第二配准图像平移的距离确定为平移参数;或者,
以第一配准图像中目标对象的轮廓为参考,旋转第二配准图像,以使第二配准图像中目标对象与第一配准图像中目标对象为同一角度,将对第二配准图像旋转的角度确定为旋转参数;或者,
以第一配准图像中目标对象的轮廓为参考,缩放第二配准图像,以使第二配准图像中目标对象与第一配准图像中目标对象为同一尺寸,将对第二配准图像缩放的尺寸确定为缩放参数。
在另一种可能实现方式中,目标对象为病灶组织,图像获取模块1301,用于分别对病灶组织的第五病理图像和第六病理图像进行下采样,得到第一配准图像和第二配准图像。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的图像配准装置在进行图像配准时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像配准装置与图像配准方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的图像配准方法所执行的操作。
可选地,该计算机设备提供为终端。图15是本申请实施例提供的一种终端1500的结构示意图。终端1500包括有:处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1501可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。在一些实施例中,处理器1501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1502中的非暂态的计算机可读存储介质用于存储至少一条计算机程序,该至少一条计算机程序用于被处理器1501所执行以实现本申请中方法实施例提供的图像配准方法。
在一些实施例中,终端1500还可选包括有:外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地,外围设备包括:显示屏1504、摄像头组件1505和电源1506中的至少一种。
外围设备接口1503可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中,处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上;在一些其他实施例中,处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
显示屏1504用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1504是触摸显示屏时,显示屏1504还具有采集在显示屏1504的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时,显示屏1504还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1504可以为一个,设置在终端1500的前面板;在另一些实施例中,显示屏1504可以为至少两个,分别设置在终端1500的不同表面或呈折叠设计;在另一些实施例中,显示屏1504可以是柔性显示屏,设置在终端1500的弯曲表面上或折叠面上。甚至,显示屏1504还可以设置成非矩形的不规则图形,也即异形屏。显示屏1504可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1505用于采集图像或视频。可选地,摄像头组件1505包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1505还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
电源1506用于为终端1500中的各个组件进行供电。电源1506可以是交流电、直流电、一次性电池或可充电电池。当电源1506包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解,图15中示出的结构并不构成对终端1500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
可选地,该计算机设备提供为服务器。图16是本申请实施例提供的一种服务器的结构示意图,该服务器1600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)1601和一个或一个以上的存储器1602,其中,存储器1602中存储有至少一条计算机程序,该至少一条计算机程序由处理器1601加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的图像配准方法所执行的操作。
本申请实施例还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述实施例的图像配准方法所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像配准方法,其特征在于,所述方法包括:
获取第一病理图像和第二病理图像,所述第一病理图像和所述第二病理图像为同一目标对象的病理图像;
对所述第一病理图像和所述第二病理图像进行轮廓配准,得到第一配准参数,所述第一配准参数为用于调整所述第二病理图像中所述目标对象的轮廓的参数;
对所述第一病理图像和所述第二病理图像进行目标部位的配准,得到第二配准参数,所述目标部位为所述目标对象中处于目标状态的部位,所述第二配准参数为用于调整所述第二病理图像中所述目标部位的位置的参数;
基于所述第一配准参数和所述第二配准参数,调整所述第二病理图像,得到所述第二病理图像的配准图像,所述配准图像与所述第一病理图像中所述目标对象的轮廓一致,且所述目标部位的位置一致。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一病理图像和所述第二病理图像进行轮廓配准,得到第一配准参数,包括:
获取所述第一病理图像的第一轮廓图像和所述第二病理图像的第二轮廓图像;
对所述第一轮廓图像和所述第二轮廓图像进行轮廓配准,得到所述第一配准参数。
3.根据权利要求2所述的方法,其特征在于,所述获取所述第一病理图像的第一轮廓图像和所述第二病理图像的第二轮廓图像,包括:
分别对所述第一病理图像和所述第二病理图像进行二值化处理,得到所述第一轮廓图像和所述第二轮廓图像;或者,
分别对所述第一病理图像和所述第二病理图像进行灰度处理,得到所述第一轮廓图像和所述第二轮廓图像。
4.根据权利要求1所述的方法,其特征在于,所述对所述第一病理图像和所述第二病理图像进行目标部位的配准,得到第二配准参数,包括:
基于所述第一配准参数,调整所述第二病理图像,得到第三病理图像,所述第三病理图像与所述第一病理图像中所述目标对象的轮廓一致;
对所述第一病理图像和所述第三病理图像进行所述目标部位的配准,得到所述第二配准参数。
5.根据权利要求4所述的方法,其特征在于,所述对所述第一病理图像和所述第三病理图像进行所述目标部位的配准,得到所述第二配准参数,包括:
分别对所述第一病理图像和所述第三病理图像进行区域分割,得到第一区域图像和第二区域图像,所述第一区域图像为所述第一病理图像中所述目标部位所在区域的图像,所述第二区域图像为所述第三病理图像中所述目标部位所在区域的图像;
对所述第一区域图像和所述第二区域图像进行目标部位的配准,得到所述第二配准参数。
6.根据权利要求5所述的方法,其特征在于,所述分别对所述第一病理图像和所述第三病理图像进行区域分割,得到第一区域图像和第二区域图像,包括:
调用区域分割模型,分别对所述第一病理图像和所述第三病理图像进行区域分割,得到所述第一区域图像和所述第二区域图像,所述区域分割模型用于从图像中分割处于所述目标状态的部位所在区域的图像。
7.根据权利要求5所述的方法,其特征在于,所述第一区域图像包括多个子区域,所述第二区域图像包括多个子区域,所述对所述第一区域图像和所述第二区域图像进行目标部位的配准,得到所述第二配准参数,包括:
以所述第一区域图像中多个子区域的位置为参考,移动所述第二区域图像中对应的子区域的位置,以使所述第二区域图像中多个子区域分别与所述第一区域图像中多个子区域的位置相同;
基于所述第二区域图像中多个子区域的移动距离,确定所述第二配准参数。
8.根据权利要求1所述的方法,其特征在于,所述基于所述第一配准参数和所述第二配准参数,调整所述第二病理图像,得到所述第二病理图像的配准图像,包括:
对所述第一配准参数和所述第二配准参数进行组合,得到第三配准参数;
基于所述第三配准参数,调整所述第二病理图像,得到所述第二病理图像的配准图像。
9.根据权利要求1所述的方法,其特征在于,所述基于所述第一配准参数和所述第二配准参数,调整所述第二病理图像,得到所述第二病理图像的配准图像,包括:
基于所述第一配准参数,调整所述第二病理图像,得到第四病理图像,所述第四病理图像与所述第一病理图像中所述目标对象的轮廓一致;
基于所述第二配准参数,调整所述第四病理图像,得到所述第二病理图像的配准图像。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述第一配准参数包括平移参数、旋转参数或缩放参数中的至少一项,所述对所述第一病理图像和所述第二病理图像进行轮廓配准,得到第一配准参数,包括:
以所述第一病理图像中所述目标对象的轮廓为参考,平移所述第二病理图像,以使所述第二病理图像中所述目标对象与所述第一病理图像中所述目标对象为同一高度,将对所述第二病理图像平移的距离确定为所述平移参数;或者,
以所述第一病理图像中所述目标对象的轮廓为参考,旋转所述第二病理图像,以使所述第二病理图像中所述目标对象与所述第一病理图像中所述目标对象为同一角度,将对所述第二病理图像旋转的角度确定为所述旋转参数;或者,
以所述第一病理图像中所述目标对象的轮廓为参考,缩放所述第二病理图像,以使所述第二病理图像中所述目标对象与所述第一病理图像中所述目标对象为同一尺寸,将对所述第二病理图像缩放的尺寸确定为所述缩放参数。
11.根据权利要求1-9任一项所述的方法,其特征在于,所述目标对象为病灶组织,所述获取第一病理图像和第二病理图像,包括:
分别对所述病灶组织的第五病理图像和第六病理图像进行下采样,得到所述第一病理图像和所述第二病理图像。
12.一种图像配准装置,其特征在于,所述装置包括:
图像获取模块,用于获取第一病理图像和第二病理图像,所述第一病理图像和所述第二病理图像为同一目标对象的病理图像;
第一配准模块,用于对所述第一病理图像和所述第二病理图像进行轮廓配准,得到第一配准参数,所述第一配准参数为用于调整所述第二病理图像中所述目标对象的轮廓的参数;
第二配准模块,用于对所述第一病理图像和所述第二病理图像进行目标部位的配准,得到第二配准参数,所述目标部位为所述目标对象中处于目标状态的部位,所述第二配准参数为用于调整所述第二病理图像中所述目标部位的位置的参数;
配准图像获取模块,用于基于所述第一配准参数和所述第二配准参数,调整所述第二病理图像,得到所述第二病理图像的配准图像,所述配准图像与所述第一病理图像中所述目标对象的轮廓一致,且所述目标部位的位置一致。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如权利要求1至11任一权利要求所述的图像配准方法所执行的操作。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如权利要求1至11任一权利要求所述的图像配准方法所执行的操作。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11任一权利要求所述的图像配准方法所执行的操作。
CN202111116944.1A 2021-09-23 2021-09-23 图像配准方法、装置、计算机设备及存储介质 Pending CN114283178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111116944.1A CN114283178A (zh) 2021-09-23 2021-09-23 图像配准方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111116944.1A CN114283178A (zh) 2021-09-23 2021-09-23 图像配准方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114283178A true CN114283178A (zh) 2022-04-05

Family

ID=80868558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111116944.1A Pending CN114283178A (zh) 2021-09-23 2021-09-23 图像配准方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114283178A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152222A (zh) * 2023-10-27 2023-12-01 鑫君特(苏州)医疗科技有限公司 斜方位配准方法、装置、可读存储介质及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152222A (zh) * 2023-10-27 2023-12-01 鑫君特(苏州)医疗科技有限公司 斜方位配准方法、装置、可读存储介质及计算机设备
CN117152222B (zh) * 2023-10-27 2024-01-30 鑫君特(苏州)医疗科技有限公司 斜方位配准方法、装置、可读存储介质及计算机设备

Similar Documents

Publication Publication Date Title
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
JP7026826B2 (ja) 画像処理方法、電子機器および記憶媒体
CN109389129B (zh) 一种图像处理方法、电子设备及存储介质
CN110570352B (zh) 图像标注方法、装置、系统及细胞标注方法
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN110472582B (zh) 基于眼部识别的3d人脸识别方法、装置和终端
CN110767292A (zh) 病理编号识别方法、信息识别方法、装置及信息识别系统
CN111612068A (zh) 图像标注方法、装置、计算机设备及存储介质
CN113570645A (zh) 图像配准方法、装置、计算机设备及介质
CN115115724A (zh) 图像处理方法、装置、计算机设备及存储介质
CN114627299A (zh) 一种模仿人类视觉系统对伪装目标检测与分割方法
CN114283178A (zh) 图像配准方法、装置、计算机设备及存储介质
CN114283152A (zh) 图像处理、图像处理模型的训练方法、装置、设备及介质
Han et al. Self-supervised monocular Depth estimation with multi-scale structure similarity loss
CN111369564B (zh) 一种图像处理的方法、模型训练的方法及装置
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN113706450A (zh) 图像配准方法、装置、设备及可读存储介质
CN114898282A (zh) 图像处理方法及装置
CN113743186A (zh) 医学图像的处理方法、装置、设备及存储介质
Zhu et al. Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair
Tiwari et al. Towards reduced dependency and faster unsupervised 3D face reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination