CN111260699B - 高清病理影像配准方法、装置、设备及存储介质 - Google Patents
高清病理影像配准方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111260699B CN111260699B CN201911390623.3A CN201911390623A CN111260699B CN 111260699 B CN111260699 B CN 111260699B CN 201911390623 A CN201911390623 A CN 201911390623A CN 111260699 B CN111260699 B CN 111260699B
- Authority
- CN
- China
- Prior art keywords
- registration
- definition
- thumbnail
- image
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004043 dyeing Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000007170 pathology Effects 0.000 claims 3
- 230000010354 integration Effects 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种高清病理影像配准方法、装置、设备及存储介质。本发明方法包括：提取待配准的两张高清病理影像的缩略图；计算两张缩略图的特征点，并进行图像配准，得到配准后的第一特征点；计算出所述第一特征点在所述高清病理图像中的映射点；以所述映射点为中心，在所述高清病理图像中截取预设大小的图块；对所述图块进行图像配准，得到匹配的第二特征点；根据第二特征点计算配准矩阵。本发明通过配准缩略图确定的配准特征点，将高清病理影像划分为多个图块，针对不同的图块间进行配准，再整合得到最终的配准矩阵，与直接对高清病理影像配准相比大大降低了运算量，提高了配准速度。
Description
技术领域
本发明涉及图像处理领域，尤其是涉及一种高清病理影像配准方法、装置、设备及存储介质。
背景技术
病理切片在两次染色之间，会将切片褪色后再次染色进行扫描。两次扫描的影像位置和尺度会有微小的差别，在超高分辨率的影像上细节处无法精确匹配，因此，在一张影像上所做的标注无法直接拷贝用于另一张影像，需要先将两张影像进行位置和尺度的配准，并在配准之后得到的新影像上进行标注拷贝，得到精确的标注结果。
由于高清病理影像的超高分辨率，导致在图像配准过程中会找到非常多的特征点，使得计算复杂度高、计算量大，需要很长计算时间，并对计算机硬件提出了非常高的要求。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种高清病理影像配准方法，能够减少在图像配准的计算量，提高图片配准速度。
本发明还提出一种高清病理影像配准装置。
本发明还提出一种高清病理影像配准设备。
本发明还提出一种计算机可读存储介质。
第一方面，本发明的一个实施例提供了一种高清病理影像配准方法：包括：
提取待配准的两张高清病理影像的缩略图；
计算两张缩略图的特征点，并进行图像配准，得到配准后的第一特征点；
计算出所述第一特征点在所述高清病理图像中的映射点；
以所述映射点为中心，在所述高清病理图像中截取预设大小的图块；
对所述图块进行图像配准，得到匹配的第二特征点；
根据第二特征点计算配准矩阵。
本发明实施例的一种高清病理影像配准方法至少具有如下有益效果：通过缩略图配准确定的匹配特征点将高清病理影像划分成图块，通过图块间的配准，进一步计算匹配的特征点，进而计算匹配矩阵，将高清病理影像划分为多个图块，多个图块间配准后组成计算出高清病理图像的配准矩阵，与直接对两张高清病理影像配准相比，有效降低了运算量，计算速度快。
根据本发明的另一些实施例的高清病理影像配准方法，还包括对所述高清病理影像进行二值化处理。
进一步地，所述计算两张缩略图的特征点，并进行图像配准，包括：使用ORB特征点算法或SURF特征点算法或SIFT特征点算法或BRISK特征点算法进行图像配准。
进一步地，所述两张待配准图像拍摄角度相同、拍摄距离相同、染色方法不同。
第二方面，本发明的一个实施例提供了一种高清病理影像配准装置:包括：
缩略图生成模块，用于生成待配准的两张高清病理影像的缩略图；
缩略图配准模块：用于对两张缩略图进行图像配准，输出配准后的第一特征点；
映射模块：用于计算所述第一特征点在所述高清病理图像中的映射点；
图块生成模块：用于以所述映射点为中心，在所述高清病理图像中截取预设大小的图块；
图块配准模块：用于对所述图块进行图像配准，得到匹配的第二特征点；
配准矩阵计算模块：用于根据第二特征点计算配准矩阵。
本发明实施例的一种高清病理影像配准装置至少具有如下有益效果：通过缩略图生成模块生成高清病理影像的缩略图，通过缩略图配准确定在高清病理影像的图块，通过图块配准模块确定高清病理影像的配准矩阵，计算速度快、硬件成本低。
第三方面，本发明的一个实施例提供了一种高清病理影像配准设备，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求所述的高清病理影像配准方法。
第四方面，本发明的一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的高清病理影像配准方法。
附图说明
图1是本发明实施例中一种高清病理影像配准方法的一具体实施例流程示意图；
图2是本发明实施例中一种高清病理影像配准装置的一具体实施例模块框图。
具体实施方式
以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。
在本发明的描述中，如果涉及到方位描述，例如“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。如果某一特征被称为“设置”、“固定”、“连接”、“安装”在另一个特征，它可以直接设置、固定、连接在另一个特征上，也可以间接地设置、固定、连接、安装在另一个特征上。
在本发明实施例的描述中，如果涉及到“若干”，其含义是一个以上，如果涉及到“多个”，其含义是两个以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。如果涉及到“第一”、“第二”，应当理解为用于区分技术特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明实施例主要解决的是分辨率在以上，通过不同方法染色的同一张病理切片的不同高清影像之间的位置配准问题。
参照图1，示出了本发明实施例中一种高清病理影像配准方法的流程示意图。其具体包括步骤：
S1，提取待配准的两张高清病理影像的缩略图；
本实施例中提取分辨率为统一同一切片的两张病理图像，提取分辨率为/>全图缩略图。
在缩略图配准中出现的误差，将成倍放大传递到高清病理影像，因此，为了确保计算精度，缩略图的尺寸不宜过小。
S2，计算两张缩略图的特征点，并进行图像配准，得到配准后的第一特征点；
由于两张高清病理影像的染色方法不同，因此无法直接通过原始的纹理数据计算匹配的特征点。本实施例中，将影像和背景进行二值化处理，利用切片的几何形状特征进行匹配。
计算两张缩略图的特征点，并进行图像配准，包括使用：ORB特征点算法或SURF特征点算法或SIFT特征点算法或BRISK特征点算法进行图像配准。
S3，计算出所述第一特征点在所述高清病理图像中的映射点；
S4，以映射点为中心，在高清病理图像中截取预设大小的图块；
本实施例中以映射点为中心，在高清病理图像上获取分辨率为的图块。
S5，对图块进行图像配准，得到匹配的第二特征点；
S6，根据第二特征点计算配准矩阵。
将所有图块上配准的特征点整合，计算最终的配准矩阵。
通过配准缩略图确定的配准特征点，将高清病理影像划分为多个图块，针对图块进行配准，得到最终的配准矩阵，与直接对高清病理影像配准相比大大降低了运算量，提高了配准速度。
在另一个实施例中，步骤S1中，提取待配准的两张高清病理影像的缩略图可分次进行，按照预设压缩比例压缩后得到第一缩略图，在第一缩略图的基础上进一步压缩得到第二缩略图，以此类推，得到终极缩略图。
针对终极缩略图进行图像配准，在上一级缩略图中定位配准的特征点的映射点，并在上一级缩略图中截取预设大小的图块，进行图像配准，得到配准的特征点后，在更高级别的缩略图中寻找映射点，重复执行配准——分块——配准，直至映射到高清病理影像，计算出最终的匹配矩阵。
参照图2，是本发明实施例中一种高清病理影像配准装置的一具体实施例模块框图，包括：
缩略图生成模块，用于生成待配准的两张高清病理影像的缩略图；
缩略图配准模块：用于对两张缩略图进行图像配准，输出配准后的第一特征点；
映射模块：用于计算第一特征点在高清病理图像中的映射点；
图块生成模块：用于以所述映射点为中心，在高清病理图像中截取预设大小的图块；
图块配准模块：用于对图块进行图像配准，得到匹配的第二特征点；
配准矩阵计算模块：用于根据第二特征点计算配准矩阵。
本发明的一个实施例还提供了一种高清病理影像配准设备，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求所述的高清病理影像配准方法。
在本发明的另一个实施例中，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行所述的高清病理影像配准方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
Claims (4)
1.一种高清病理影像配准方法，其特征在于，包括：
提取待配准的两张高清病理影像的终极缩略图；其中，所述两张待配准的高清病理影像是取自同一病理切片；两张所述高清病理影像的拍摄角度相同、拍摄距离相同、染色方法不同；所述终极缩略图由所述两张高清病理影像按照预设压缩比例压缩后得到第一缩略图，在所述第一缩略图的基础上进一步压缩得到第二缩略图，以此类推，得到所述终极缩略图；
计算两张所述终极缩略图的上一级缩略图中的特征点，并使用ORB特征点算法或SURF特征点算法或SIFT特征点算法或BRISK特征点算法进行图像配准，得到配准后的第一特征点；
计算出所述第一特征点在所述高清病理影像中的映射点；
以所述映射点为中心，在所述高清病理影像中截取预设大小的图块；
对所述图块进行图像配准，得到匹配的第二特征点；
根据第二特征点计算配准矩阵。
2.一种高清病理影像配准装置，其特征在于，包括：
缩略图生成模块，用于生成待配准的两张高清病理影像的终极缩略图；其中，所述两张待配准的高清病理影像是取自同一病理切片；两张所述高清病理影像的拍摄角度相同、拍摄距离相同、染色方法不同；所述终极缩略图由所述两张高清病理影像按照预设压缩比例压缩后得到第一缩略图，在所述第一缩略图的基础上进一步压缩得到第二缩略图，以此类推，得到所述终极缩略图；
缩略图配准模块：用于计算两张所述终极缩略图的上一级缩略图中的特征点，并使用ORB特征点算法或SURF特征点算法或SIFT特征点算法或BRISK特征点算法对两张所述终极缩略图进行图像配准，输出配准后的第一特征点；
映射模块：用于计算所述第一特征点在所述高清病理影像中的映射点；
图块生成模块：用于以所述映射点为中心，在所述高清病理影像中截取预设大小的图块；
图块配准模块：用于对所述图块进行图像配准，得到匹配的第二特征点；
配准矩阵计算模块：用于根据第二特征点计算配准矩阵。
3.一种高清病理影像配准设备，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1所述的高清病理影像配准方法。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1所述的高清病理影像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911390623.3A CN111260699B (zh) | 2019-12-30 | 2019-12-30 | 高清病理影像配准方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911390623.3A CN111260699B (zh) | 2019-12-30 | 2019-12-30 | 高清病理影像配准方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260699A CN111260699A (zh) | 2020-06-09 |
| CN111260699B true CN111260699B (zh) | 2024-02-06 |
Family
ID=70948543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911390623.3A Active CN111260699B (zh) | 2019-12-30 | 2019-12-30 | 高清病理影像配准方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260699B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104216974A (zh) * | 2014-08-28 | 2014-12-17 | 西北工业大学 | 基于词汇树分块聚类的无人机航拍图像匹配的方法 |
| CN105027164A (zh) * | 2013-03-14 | 2015-11-04 | 文塔纳医疗系统公司 | 完整载片图像配准和交叉图像注释设备、系统和方法 |
| CN110555835A (zh) * | 2019-09-04 | 2019-12-10 | 郑州大学 | 一种脑片图像区域划分方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4820680B2 (ja) * | 2006-04-12 | 2011-11-24 | 株式会社東芝 | 医用画像表示装置 |
| JP5332369B2 (ja) * | 2008-07-18 | 2013-11-06 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
| US8675997B2 (en) * | 2011-07-29 | 2014-03-18 | Hewlett-Packard Development Company, L.P. | Feature based image registration |
| US9740912B2 (en) * | 2011-12-20 | 2017-08-22 | Definiens Ag | Evaluation of co-registered images of differently stained tissue slices |
| KR20130088104A (ko) * | 2013-04-09 | 2013-08-07 | 삼성전자주식회사 | 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법 |
| US9539441B2 (en) * | 2013-09-13 | 2017-01-10 | Elekta Ab (Publ) | Radiotherapy system with advanced graphical user interface |
-
2019
- 2019-12-30 CN CN201911390623.3A patent/CN111260699B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105027164A (zh) * | 2013-03-14 | 2015-11-04 | 文塔纳医疗系统公司 | 完整载片图像配准和交叉图像注释设备、系统和方法 |
| CN104216974A (zh) * | 2014-08-28 | 2014-12-17 | 西北工业大学 | 基于词汇树分块聚类的无人机航拍图像匹配的方法 |
| CN110555835A (zh) * | 2019-09-04 | 2019-12-10 | 郑州大学 | 一种脑片图像区域划分方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260699A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| CN111179230B (zh) | 遥感影像对比变化检测方法、装置、存储介质及电子设备 | |
| CN105453132B (zh) | 实施图像处理的信息处理设备和图像处理方法 | |
| CN110348531B (zh) | 具有分辨率适应性的深度卷积神经网络构建方法及应用 | |
| CN110598795A (zh) | 图像差异检测方法及装置、存储介质、终端 | |
| WO2015035462A1 (en) | Point feature based 2d-3d registration | |
| JP2016509805A (ja) | 画像ストリームの高フレームレート化 | |
| EP2536123A1 (en) | Image processing method and image processing apparatus | |
| CN113557520A (zh) | 字符处理及字符识别方法、存储介质和终端设备 | |
| KR20180101672A (ko) | 영상 정합을 이용한 영상 처리 장치 및 방법 | |
| EP3506206A1 (en) | Method and apparatus for depth-map estimation | |
| CN111260699B (zh) | 高清病理影像配准方法、装置、设备及存储介质 | |
| Teixeira et al. | Epipolar based light field key-location detector | |
| CN115330803B (zh) | 一种表面缺陷数据增强方法、装置、电子设备及存储介质 | |
| CN117333518A (zh) | 激光扫描图像匹配方法、系统及计算机设备 | |
| CN116883336A (zh) | 图像处理方法、装置、计算机设备及介质 | |
| CN116430069A (zh) | 机器视觉流体流速测量方法、装置、计算机设备及存储介质 | |
| CN113112531B (zh) | 一种图像匹配方法及装置 | |
| CN112700415B (zh) | 一种笔电外壳缺陷快速检测算法 | |
| CN112330660B (zh) | 一种基于神经网络的精子尾部检测方法及其系统 | |
| CN112734813A (zh) | 配准方法、装置、电子设备和计算机可读存储介质 | |
| CN111062984B (zh) | 视频图像区域面积的测量方法、装置、设备及存储介质 | |
| CN108447107B (zh) | 用于生成视频的方法和装置 | |
| CN116363031B (zh) | 基于多维光学信息融合的成像方法、装置、设备及介质 | |
| CN112424787A (zh) | 提取图像关键点的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 201799 room 450, area F, 4 / F, building 3, 5399 Jiasong Middle Road, Zhaoxiang Town, Qingpu District, Shanghai Applicant after: Shanghai Huayan Digital Medical Technology Co.,Ltd. Applicant after: Yu Guanzhen Applicant after: Chen Ying Applicant after: Gao Yunshu Address before: Room jt3028, 1st floor, building 1, No. 1185, Huyi Road, Jiading District, Shanghai 200233 Applicant before: Shanghai Yanjing Medical Technology Co.,Ltd. Applicant before: Yu Guanzhen Applicant before: Chen Ying Applicant before: Gao Yunshu |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220930 Address after: Room 1201, Building 19, No. 238, Jiangchang Third Road, Jing'an District, Shanghai, 200040 Applicant after: Shanghai Jingguan Biotechnology Co.,Ltd. Address before: 201799 room 450, area F, 4 / F, building 3, 5399 Jiasong Middle Road, Zhaoxiang Town, Qingpu District, Shanghai Applicant before: Shanghai Huayan Digital Medical Technology Co.,Ltd. Applicant before: Yu Guanzhen Applicant before: Chen Ying Applicant before: Gao Yunshu |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |