CN106133787B - 用于配准和可视化至少两个图像的方法 - Google Patents
用于配准和可视化至少两个图像的方法 Download PDFInfo
- Publication number
- CN106133787B CN106133787B CN201580007247.9A CN201580007247A CN106133787B CN 106133787 B CN106133787 B CN 106133787B CN 201580007247 A CN201580007247 A CN 201580007247A CN 106133787 B CN106133787 B CN 106133787B
- Authority
- CN
- China
- Prior art keywords
- image
- navigation speed
- deformation
- stain
- solving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012800 visualization Methods 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 238000002955 isolation Methods 0.000 claims description 4
- 230000002055 immunohistochemical effect Effects 0.000 claims 2
- 239000000523 sample Substances 0.000 description 40
- 230000033001 locomotion Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 210000004027 cell Anatomy 0.000 description 13
- 230000014616 translation Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000007170 pathology Effects 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 6
- 238000004091 panning Methods 0.000 description 6
- 238000010186 staining Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000003752 polymerase chain reaction Methods 0.000 description 5
- 238000007479 molecular analysis Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000003556 assay Methods 0.000 description 3
- 239000000090 biomarker Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 108020004414 DNA Proteins 0.000 description 2
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 2
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004071 biological effect Effects 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 108091028043 Nucleic acid sequence Proteins 0.000 description 1
- 238000011529 RT qPCR Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 238000002306 biochemical method Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000006037 cell lysis Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002889 endothelial cell Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 238000004186 food analysis Methods 0.000 description 1
- 238000004374 forensic analysis Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 238000003125 immunofluorescent labeling Methods 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 108020004999 messenger RNA Proteins 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007481 next generation sequencing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003753 real-time PCR Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种用于配准和可视化至少两个图像的方法，所述方法包括以下步骤：‑测量（S1）用户在至少两个图像中的第一图像的可滚动和/或可缩放可视化期间所使用的导航速度并且比较导航速度与导航速度阈值；‑如果导航速度低于导航速度阈值，则通过使用第一计算负载水平求解第一图像的变形来可视化（S2）第一图像；以及‑如果导航速度高于导航速度阈值，则通过使用第二计算负载水平求解第一图像的变形来可视化（S3）第一图像。
Description
技术领域
本发明涉及用于配准和可视化至少两个图像的方法，以及用于数字图像配准和可视化的成像系统。
背景技术
US 2013/0089249 A1描述了一种数字病理学中的图像处理方法。所描述的用于处理的方法处理表示分区中的样本的第一数字图像，并且该图像已经借助于显微镜成像系统而从样本获取。图像存储在多分辨率图像数据结构中，以第一分辨率检索第一数字图像的子分区，在所检索的子分区上执行变换功能，变换功能根据从第一数字图像的第二分辨率表示所导出的至少一个度量来修改子分区的内容。
US2008/013852A1描述了用于改进图像的质量的系统、方法和计算机程序产品。根据所描述的方法，使用输入图像的像素来基于两个不同标量空间值生成两个像素列表。在此之后，处理两个像素列表以获得具有改进质量的输出图像。US2010/157079A1描述了选择性组合图像的系统和方法。装置包括配准电路，其配置成基于对应于第一图像的第一图像数据和对应于第二图像的第二图像数据来生成运动向量数据的集合。
US2013016886A1描述了用于组织样本的相邻切片的高分辨率数字成像的方法。计算了与在每一个贴片中所检测的图像对象相关联的值。相邻图像中的贴片共同配准。使用第一图像生成第一超光谱图像，并且使用第二图像生成第二超光谱图像。
US2012/068928A1描述了用于检查和操控数字病理学环境中的样品切片的设备和方法，其涉及操作的集合。通过在任一个方向上快速地移动滚轮，可以配置为跳转到最小或最大放大率的指令，或者前进得比下一顺序增量更多，从而缓解中间放大率的加载。
发明内容
可能存在改进数字图像处理以实现快速或实时的复杂图像配置和可视化的需要。
这些需要通过独立权利要求的主题满足。另外的示例性实施例从从属权利要求和以下描述显而易见。
本发明的一方面涉及用于配准和可视化至少两个图像的方法，该方法包括以下步骤：在至少两个图像中的第一图像的可滚动和/或可缩放可视化期间测量用户所使用的导航速度并且比较导航速度与导航速度阈值；如果导航速度低于导航速度阈值，则通过使用第一计算负载水平求解第一图像的变形来可视化第一图像；并且如果导航速度高于导航速度阈值，则通过使用第二计算负载水平求解第一图像的变形来可视化第一图像。
本发明的另一方面涉及用于数字图像配准和可视化的成像系统，该成像系统包括：配置成比较导航速度与导航速度阈值的图像处理器，其中导航速度由用户在至少两个图像的第一图像的可滚动和/或可缩放可视化期间使用；图像处理器还配置成，如果导航速度低于导航速度阈值，则通过使用第一计算负载水平求解第一图像的变形来可视化第一图像；图像处理器还配置成，如果导航速度高于导航速度阈值，则通过使用第二计算负载水平求解第一图像的变形来可视化第一图像；以及适配成显示至少两个图像的显示器。
本发明允许执行实时或快速的复杂图像配准和可视化。两个图像用于配准。执行标识两个图像之间的粗糙变换的算法。运行标识两个图像之间的精细变换的算法。执行指示接连图像之间的改变量的算法，其用于触发从粗糙到精细的转变并且反之亦然。
本发明有利地提供用于配准诸如数字病理学图像之类的两个大尺寸图像的方法，以使得配准尽可能快速地发生以便减少向用户的反馈时间。方法是基于粗糙配准和可视化，再接着精细配准和可视化。
样本的感兴趣分区（ROI）和/或其余样本的图像在样本ROI的隔离之后生成。该图像利用还生成整个样本的图像的相同图像生成单元来生成，或者利用分离的设备来生成。样本ROI（或者样本的其余部分）的图像可以与整个样本的图像并且特别地与所选的图像ROI相比较，由此允许核实实际样本ROI是否对应于期望的感兴趣分区。
根据本发明的示例性实施例，求解第一图像的变形的步骤包括第一图像的图像平移、第一图像的图像旋转、第一图像的尺度变化、第一图像的另外线性变形或者第一图像的非线性变形。
根据本发明的示例性实施例，由用户在第一图像的可滚动和/或可缩放可视化期间所使用的导航速度从用户接口设备获取。
在两个数字图像的配准的情况下，导航速度可以有利地通过自用户的最后更新请求起的时间量来确定。在用户恒定地扫视和/或缩放的情况下，省略精细变换。在用户没有改变其视点的情况下，例如没有扫视和/或缩放，则执行精细变换。
根据本发明的示例性实施例，由用户在第一图像的可滚动和/或可缩放可视化期间所使用的导航速度使用SIFT特征匹配来测量。
根据本发明的示例性实施例，方法还包括执行至少两个图像的局部配准的步骤。
根据本发明的示例性实施例，如果导航速度高于导航速度阈值，则第一图像的变形的求解包括应用平移和旋转变换；并且如果导航速度低于导航速度阈值，则第一图像的变形的求解包括应用非线性细调。
根据本发明的示例性实施例，如果导航速度高于导航速度阈值，则第一图像的变形的求解包括应用具有第一分辨率水平的变形；并且如果导航速度低于导航速度阈值，则第一图像的变形的求解包括应用具有第二分辨率水平的变形，其中第一分辨率水平低于第二分辨率水平。
本发明还涉及如用于分子诊断学，分子病理学，特别地用于肿瘤学应用、生物样本分析、化学样本分析、食物分析和/或法医分析的数字图像分析。分子诊断可以例如在直接或间接附连到目标分子的磁珠或荧光颗粒的帮助下实现。
附图说明
通过参照未按照比例的以下示意图，将更加清楚地理解本发明及其所附优点的更完整领会，其中：
图1示意性示出根据本发明的样本的检查；
图2示出用于解释本发明的两个免疫组织化学染色载片的图像配准的图示；
图3示出根据本发明的示例性实施例的构建块的概览；以及
图4示出根据本发明的示例性实施例的用于配准和可视化至少两个图像的方法的示意性流程图。
具体实施方式
附图中的图示是示意性的并且没有按照比例。在不同图中，相似或相同的元件被提供有相同的参考标号。如在本专利申请中所使用的术语“导航”是指用户的视图跨其不是整体看到的明显更大图像的任何运动，包括滚动、扫视、缩放或倾斜。换言之，根据本专利申请的滚动意指改变人们对计算机显示器上的数据的视图。滚动可以以离散增量发生，可能地一次图像的一个或几个部分，或者连续地。
一般地，相同部分、单元、实体或步骤在附图中被提供有相同的参考符号。
患者材料（组织和细胞）的病理学诊断研究是许多治疗决策的基础，特别地在肿瘤学中。来自活组织检查的薄切片呈现在显微镜载片上并且根据某些协议染色以可视化组织的形态学。最近，研发了针对疾病特定生物标记的原位染色以用于靶向药物的伴随诊断。可以利用明亮场显微镜完成评估。载片需要在研究之后作为备用而存储长时段，以防需要再评估诊断。
数字病理学是新的技术，其中将显微镜替换为数字扫描仪，其自动地扫描染色组织部段并且以具有病理学家可以像他/她将直接在显微镜处那样从数字图像完成相同诊断的充足分辨率和颜色渲染的数字格式来存储图像。后者意味着数字图像可以代替物理载片。可以代替载片而存储数字图像。
在以上形式的分析之后，还可以利用比如q-PCR和序列测定这样的分子方法（简称为“分子诊断”或“MDx”）来研究组织和细胞活组织检查。这种所谓的分子病理学随着新的分子生物标记的出现而越来越重要。通常，病理学家基于形态学信息而决定运行分子测试来标识癌变组织的生物特性以用于正确的治疗选择。由于许多分子生物标记不能在组织上原位——或者至少不能以所要求的精度——量化，所以在从活组织检查（一般地从已经自活组织检查取得的隔体(coupe)）取得的样本上实施比如PCR或序列测定这样的分离分子诊断测试。在DNA或mRNA标记的测量之前，该组织部段通过细胞溶解处理。作为结果，空间信息丢失。
肿瘤组织一般地包括不同细胞类型，不仅是癌变细胞，并且甚至癌变细胞可以在肿瘤的不同区域中的分子构成方面非常不同。分子分析的结果因此将取决于被用作分子测试的样本的组织部段的精确组成。癌变细胞越多稀释，测试结果将越不灵敏和非决定性。此外，癌变细胞群集内的异质还将引起MDx化验中的噪声，从而减少灵敏性和特异性以及可再现性。可再现性一般是主要问题，简单地因为每一个样本唯一。
对于数字病理学，当前不存在在活组织检查隔体的子部段上运行分子测试的可能性。由于利用不同源的良性细胞（例如内皮细胞、纤维原细胞和免疫细胞）对目标细胞的稀释以及癌变细胞异质性，在完整隔体上的测试具有次优的精度和灵敏性。
手动选择通常缺乏精度并且因此很可能产生污染，特别地对于PCR，其放大甚至非常低的污染浓度。
获取纯净比例的感兴趣细胞可能是耗时的并且要求关于移除的高清晰度。前述方案允许放松针对选择和平衡的要求：在考虑到附加参数的情况下，可以如何移除容易或可靠的部段并且控制部段的总体尺寸。对于便利的选择而言，更大、连续的部段是优选的。
图像分析可以提供表格式参数，比如最终切开的组织中每一个所标识的细胞类型的数目和比例。区域的形状可以受到包括比如总面积、可允许的曲率和连接性这样的参数的设计准则的限制。基于算法，在给定可以特定用于每一个MDx化验的某一选择算法的情况下，可以确定最优值。
在该方案的示例性实施例中，组织载片可以根据利用HER2免疫组织化学或免疫荧光染色或染色化验的组合的某一临床指示而染色。
载片然后可以由数字扫描仪扫描，并且所得图像可以由计算机程序分析以标识并且指示共同特征的区域。那些区域可以呈现给病理学家以用于确认和适配，如果必要或以其它方式合期望的话。从那些区域，可以通过表示选择用于MDx测试的样本的部分的软件程序来限定感兴趣的分区，所谓的“样本ROI”。
典型的参数被注释到该样本ROI，比如在给定示例中的HER2的平均表述，以及表述在细胞之上的统计分布。这种所选择的样本ROI的坐标可以传送给样本隔离单元，其负责用于MDx的样本的物理选择。所选择的“样本ROI”可以转移到转移设备或者直接到用于MDx测试的可置换件。
MDx测试可以包括样本制备和分子分析，比如qRT-PCR、qrt-PCT、序列测定或下一代序列测定、或者微阵列杂交或者这些的组合。这种分析的结果最终可以涉及来自组织选择算法的信息，并且可选地连同组织的图像数据一起被解译和呈现给病理学家，其中还指示选择用于MDx的样本ROI。
图1示意性示出根据本发明的样本的检查。
检查在样本制备单元100处开始，其中身体组织的切片11制备在充当载体的显微镜载片10上。典型地，组织样本通过从嵌入福尔马林的活组织检查切除大约4-8微米的薄部段而获得。将所谓的隔体放置在水膜上的显微镜玻璃载片10上以从微顺从（micro-toming）染色释放并且然后留下以干燥。此外，样本11可以可选地通过适当的染色剂12来染色，例如通过苏木精-曙红（H&E）或IHC。存在可用于不同应用的数个染色协议。染色协议可以通过将具有隔体的载片浸渍于包含试剂的不同溶液中而在台面上手动地实施，但是也可以以自动化方式执行。
一个或多个标记M可以印刷或雕刻在显微镜载片10中，其随后可以充当用于使图像坐标与载片10上的实际坐标相关的参考点。此外，具有样本11的载片10优选地覆盖有盖片（未示出）以便允许在随后的扫描期间的高图像质量并且保证样本在长存储时间的保存。
在制备步骤之后，具有样本11的载片10被转移到图像生成单元200，其可以特别地是数字扫描显微镜。
样本的数字图像I由显微镜200生成。显微镜连接到成像系统300，其使用显微镜200作为视频图像源并且包括显示器301和图像处理器302以用于视频图像源数据的数字图像处理。
成像系统300可以包括用户接口设备，例如鼠标或键盘，并且成像系统300可以配置成提供第一图像和/或第二图像的可滚动和/或可缩放可视化。可滚动和/或可缩放可视化可以通过使用用户接口设备而根据输入命令来执行。用户可以改变并且控制在第一图像和/或第二图像的可滚动和/或可缩放可视化期间所使用的导航速度。成像系统300可以配置成基于如在数字图像处理中所使用的各种图像变换来提供第一图像和/或第二图像的可视化。借助于图像处理器302，使用在数字图像上执行图像处理的算法。算法可以应用于输入数据并且可以在处理期间避免诸如噪声的累积和信号失真之类的问题。
不同计算负载容量可以用于通过图像处理器302的图像变换，而且要使用的最大容量阈值可以由成像系统300限定，这在具有相同处理单元的多个用户的情况下是有利的。
图2示出了两个免疫组织化学染色载片的图像配准的图示。在图2的左上部分中，示出了两个载片之间的未对准误差的图示。在图2的左下部分中，呈现了完整图像的配准结果的图示。在图2的右部上，呈现了两个载片上的匹配视场的同时可视化。
除组织病理学图像的分析之外，还使用分子方法，例如PCR或序列测定，以标识（肿瘤）组织的生物特性。聚合酶链反应（PCR）是分子生物学中的生物化学技术以跨若干幅度量级而放大DNA片段的单个或几个副本，从而生成特定DNA序列的数千到数百万个副本。
在分子方法中，组织的部分被选择用于另外的分子分析。因为分子分析强烈依赖于所选组织分区的精确组成，所以感兴趣分区（ROI）的选择的精度是重要的。当前，ROI从H&E染色样本手动地选择。
如果MDx被选择为下一步骤，则使用一个或多个接续的样本。用于使用新样本的原因之一在于以下事实：H&E样本密封在玻璃板之间。其它原因是想要保持H&E样本完整无缺以用于未来参考和长期存储（法律原因）以及H&E染色与MDx的非兼容性。
典型地，医学专家将把第二样本（没有盖片）放置在显微镜之下并且浏览样本以寻找与早前所检测的ROI匹配的组织部分。取决于H&E样本和第二样本之间的外观差异，第二样本中的ROI的检索可能繁琐。由于ROI选择步骤的正确性的重要性，意味着在该步骤中帮助操作者是有价值的。
图像分析算法可以开发成对照利用显微镜获取的第二样本的实况视频流匹配H&E样本中的所选ROI的图像数据。这种图像匹配过程要求计算时间并且因而在图像流水线中引入延迟。除图像匹配之外，图像匹配结果的可视化也将消耗计算时间，并且因此将增加延迟。只要总体延迟保持小，例如在10Hz以上，在视频流中引入的延迟就可接受。样本之间的更复杂变换典型地导致更长的计算时间。样本之间的变换中的差异可以大，包括简单平移和旋转，而且还有由组织拉伸、撕裂和折叠所引起的非线性局部变形和尺度中的可能小变化。
图3示出根据本发明的示例性实施例的构建块的概览。
图3示出根据本发明的算法结构。算法的输入是组织样本1的图像（“参考图像”）和组织样本2的图像（“目标图像”）。在时间t处的目标图像的图像内容与之前捕获并且已经存储在图像缓冲器中的目标图像相比较。在本发明的一个实施例中，在图像中的像素的子集上计算差异图像。
在运动或者放大率的改变或预限定阈值以上的运动的情况下，时间t处的目标图像和时间t-1处的目标图像基本上不同，从而引起图像与（完整）参考图像的复杂匹配，留下用于非线性细调（非线性变形以及可视化的估计二者）的非充分时间。因此，我们估计刚性变换参数，其仅根据平移{Tx, Ty}和旋转{R}和尺度来描述参考图像与目标图像之间的简单变形。最初，我们的意图是仅针对平移中的改变而补偿配准。然而，如果忽略旋转，则变换参数的估计很可能变得不稳定或不准确。
在没有运动或者运动估计中仅有限计算时间丢失的情况下，留下时间来估计更准确的非线性变换参数，其描述两个图像之间的变换。目标图像的可视化利用平移和旋转来更新。在下一步骤中，在具有其非线性组分的图示中还进一步细调变换。
在小运动的情况下，其中小运动是指低于预限定的阈值的运动，可以利用相对简单/高效的运动估计方法来估计位移（例如基于所投射的强度加上1D相关）。此外，可能针对仍旧在视场中所观察的部分而再使用结果。这再次留下空间来估计和可视化更详细的变换。
导航速度阈值或者运动阈值可以预限定，例如在每秒0和5个图像的范围之间，或者可以根据每秒的屏幕高度或屏幕宽度来限定，例如在分别为每秒0和5个屏幕高度或宽度的范围之间。导航速度阈值可以动态地设定，即阈值可以不表示固定值。导航速度阈值可以是基于可用计算资源。
构建块B1-1表示参考图像t；构建块B1-2符号表示特征提取子例程。构建块B2-1对应于估计刚性特征变换，构建块B2-2表示配准{Tx, Ty, R}和尺度。构建块B3-1表示目标图像t，构建块B3-2符号表示特征提取。构建块B3-3对应于图像缓冲器，构建块B3-4表示基于所计算的SIFT的运动估计或者任何其它运动估计。构建块B3-5是关于是否存在运动或者是否越过导航速度阈值的查询的符号。
构建块B4-1表示非线性变换的估计，构建块B4-2以{Tx, Ty, R}和尺度的形式符号表示配准。构建块B4-3对应于以{Tx, Ty, 非线性}的形式的配准。
图4示出根据本发明的示例性实施例的用于配准和可视化至少两个图像的方法的示意性流程图。
用于配准和可视化至少两个图像的方法包括以下步骤。
作为方法的第一步骤，执行测量S1由用户在至少两个图像中的第一图像的可滚动和/或可缩放可视化期间所使用的导航速度以及比较导航速度与导航速度阈值。
作为方法的第二步骤，如果导航速度高于导航速度阈值，则进行通过使用第一计算负载水平求解第一图像的变形来可视化S2第一图像。
作为方法的第三步骤，如果导航速度低于导航速度阈值，则执行通过使用第二计算负载水平求解第一图像的变形来可视化S3第一图像。
在本发明的示例性实施例中，使用数字扫描作为参考的相机馈给的实况配准通过用于配准和可视化至少两个图像的方法来进行。
在本发明的另一示例性实施例中，两个或更多数字扫描的图像配准通过用于配准和可视化至少两个图像的方法来进行。
在两个或更多数字扫描的情况下，位移信息有时候从用户交互设备（例如鼠标、键盘、或者用于在数字环境中导航的其它设备）直接可获得。尽管该情况不要求用于运动估计的计算时间，但是粗糙可视化（仅{Tx, Ty, R}）与精细可视化之间的差异仍旧合期望以节省服务器上的计算负载。
为了执行可能为高分辨率图像的两个图像之间的配准，执行以下步骤的子集：
借助于SIFT执行特征的计算，SIFT是计算视觉中检测并且描述图像中的局部特征的算法。
例如基于SIFT特征匹配或者基于所投射的强度的相关来执行变换的计算，其可以适用于相对小的位移，例如低于阈值的位移。例如通过匹配局部边缘结构，来进行局部变形的计算。
仅使用平移和旋转执行图像的变换。这甚至可以通过缩放而执行。作为另外的步骤，可以进行至少两个图像中的一个的局部变形。
取决于要处理的可用计算负载和/或时间量，其可能受所请求视口的观看或加载延迟或者用户体验仍旧令人满意的帧速率的约束，使用以上所提及的步骤的不同策略是可适用的。这些步骤可以混合或者同时处理。
在本发明的另一示例性实施例中，对于大的位移，呈现粗糙概览而不是还应用局部变形。因此，至少两个图像中的一个的局部变形以及局部变形的计算可能省略，从而导致粗糙但可接受的配准，具有有限延迟的可接受高帧速率。
在本发明的另一示例性实施例中，在小位移的情况下，例如低于位移阈值，可以节省时间或计算负载，例如通过使用针对运动估计的更高效算法，例如基于所投射的强度的相关，或者通过再使用来自与之前帧重叠的区域的信息。然后，所节省的时间可以用于计算局部变形并且用于可视化局部变形。
在本发明的另一示例性实施例中，应用主动扫视和缩放：在用户主动扫视和缩放的情况下，针对平移和旋转而执行补偿。尽管对于扫视和缩放是主动的，但是配准的非线性和/或精细细节不是必要的并且可以省略。
在本发明的另一示例性实施例中，没有扫视和/或缩放发生，例如用户没有扫视和/或缩放，使用平移和旋转显示图像。然后，开始局部变形的计算。一旦局部变形的图像可用，则更新视口。
在本发明的另一示例性实施例中，提供计算机程序或计算机程序元件，其通过适配成在适当的系统上执行根据之前实施例中的一个的方法的方法步骤来表征。
计算机程序元件可能因此存储在计算机单元上，其也可能是本发明的实施例的部分。该计算单元可以适配成执行或引起执行以上所述方法的步骤。
此外，其可以适配成操作以上描述的装置的组件。计算单元可以适配成自动地操作和/或执行用户的命令。计算程序可以加载到数据处理器的工作存储器中。数据处理器可以因而装备成实施本发明的方法。
本发明的该示例性实施例覆盖从开始就使用本发明的计算机程序以及借助于更新而将现有程序转换成使用本发明的程序的计算机程序二者。
另外，计算机程序元件可能能够提供所有必要的步骤以完成如在上文描述的方法的示例性实施例的进程。
根据本发明的另外示例性实施例中，呈现了计算机可读介质，诸如CD-ROM，其中计算机可读介质具有存储在其上的计算机程序元件，该计算机程序元件由之前的章节描述。
计算机程序可以存储和/或分布在适当的介质上，诸如连同其它硬件一起供应或者作为其部分的光学存储介质或固态介质，但是也可以以其它形式分布，诸如经由互联网或者其它有线或无线电信系统。
然而，计算机程序还可以通过网络呈现，比如万维网，并且可以从这样的网络下载到数据处理器的工作存储器中。
根据本发明的另外示例性实施例中，提供了用于使计算机程序元件可用于下载的介质，该计算机程序元件布置为执行根据本发明的之前所述实施例中的一个的方法。
必须指出的是，参照不同主题描述了本发明的实施例。特别地，参照方法类型权利要求描述的一些实施例，而参照设备类型权利要求描述了其它实施例。
然而，本领域技术人员将从以上和以下描述得出，除非以其它方式指定，否则除属于一种类型主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被视为由本申请所公开。然而，所有特征可以组合，从而提供比特征的简单加和更多的合成效果。
尽管已经在附图和前述描述中详细图示和描述了本发明，但是这样的图示和描述要被视为说明性或示例性而非限制性；本发明不限于所公开的实施例。通过研究附图，公开内容和随附权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现对所公开的实施例的其它变型。
在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或控制器或其它单元可以履行在权利要求中记载的若干项的功能。在相互不同的从属权利要求中叙述某些措施的简单事实不指示这些措施的组合不能用于获益。权利要求中的任何参考标记不应当解释为限制范围。
Claims (16)
1.一种用于配准和可视化至少两个图像的方法，所述至少两个图像包括第一图像和第二图像，所述方法包括以下步骤：
- 测量（S1）用户在至少两个图像中的第一图像的可滚动和/或可缩放可视化期间所使用的导航速度并且比较导航速度与导航速度阈值；
- 如果导航速度低于导航速度阈值，则通过使用第一计算负载水平求解第一图像的变形来可视化（S2）第一图像；以及
- 如果导航速度高于导航速度阈值，则通过使用第二计算负载水平求解第一图像的变形来可视化（S3）第一图像，
其中方法还包括执行至少两个图像的局部配准的步骤；
其中如果导航速度高于导航速度阈值，则第一图像的变形的求解包括应用旋转变换；并且如果导航速度低于导航速度阈值，则第一图像的变形的求解包括应用非线性细调。
2.根据权利要求1所述的方法，
其中求解第一图像的变形的步骤包括第一图像的图像平移、第一图像的图像旋转、第一图像的尺度变化、第一图像的另外线性变形或者第一图像的非线性变形。
3.根据权利要求1或2所述的方法，
其中用户在第一图像的可滚动和/或可缩放可视化期间所使用的导航速度从用户接口设备来获取。
4.根据前述权利要求1或2所述的方法，
其中用户在第一图像的可滚动和/或可缩放可视化期间所使用的导航速度使用特征匹配来测量。
5.根据前述权利要求1或2所述的方法，
其中如果导航速度高于导航速度阈值，则第一图像的变形的求解包括应用具有第一分辨率水平的变换；并且如果导航速度低于导航速度阈值，则第一图像的变形的求解包括应用具有第二分辨率水平的变换，其中第一分辨率水平低于第二分辨率水平。
6.根据前述权利要求1或2所述的方法，其中所述第一图像代表用第一染色剂来染色的第一组织样本，以及第二图像代表用不同于第一染色剂的第二染色剂来染色的第二组织样本。
7.根据前述权利要求6所述的方法，其中所述第一染色剂是苏木精—曙红染色剂以及所述第二染色剂是免疫组织化学染色剂。
8.根据前述权利要求1或2所述的方法，进一步包括以下步骤：
在第一图像中提供感兴趣分区的注释，并通过隔离单元在第二样本中物理选择与该注释在空间上匹配的感兴趣分区，以便执行第二样品选择的分子测试。
9.根据前述权利要求1或2所述的方法，其中，如果导航速度高于导航速度阈值，则第一图像的变形的求解包括：除了应用平移变换还应用旋转变换。
10.一种其上存储计算机可执行指令的计算机可读介质，所述指令当由计算设备执行时，使得所述计算设备实现如权利要求1－9中的任一个所述的方法。
11.一种处理器，配置为执行根据前述权利要求1－9中一项所述的方法。
12.一种用于数字图像配准和可视化的成像系统（300），所述成像系统包括：
- 配置成比较导航速度与导航速度阈值的图像处理器（302），其中导航速度由用户在至少两个图像中的第一图像和第二图像的可滚动和/或可缩放可视化期间所使用；
- 图像处理器还配置成，如果导航速度低于导航速度阈值，则通过使用第一计算负载水平求解第一图像的变形来可视化第一图像；
- 图像处理器还配置成，如果导航速度高于导航速度阈值，则通过使用第二计算负载水平求解第一图像的变形来可视化第一图像；以及
- 适配成显示所述至少两个图像的显示器（301），
其中如果导航速度高于导航速度阈值，则第一图像的变形的求解包括应用平移变换；并且如果导航速度低于导航速度阈值，则第一图像的变形的求解包括应用非线性细调。
13.根据前述权利要求12所述的系统，其中所述第一图像代表用第一染色剂来染色的第一组织样本，以及第二图像代表用不同于第一染色剂的第二染色剂来染色的第二组织样本。
14.根据前述权利要求13所述的系统，其中所述第一染色剂是苏木精—曙红染色剂以及所述第二染色剂是免疫组织化学染色剂。
15.根据前述权利要求12所述的系统，进一步配置来：
在第一图像中提供感兴趣分区的注释，并通过隔离单元在第二样本中物理选择与该注释在空间上匹配的感兴趣分区，以便执行第二样品选择的分子测试。
16.根据前述权利要求12-15任一项所述的系统，其中，如果导航速度高于导航速度阈值，则第一图像的变形的求解包括：除了应用平移变换还应用旋转变换。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14153744 | 2014-02-04 | ||
| EP14153744.9 | 2014-02-04 | ||
| PCT/EP2015/051745 WO2015117875A1 (en) | 2014-02-04 | 2015-01-29 | Method for registering and visualizing at least two images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106133787A CN106133787A (zh) | 2016-11-16 |
| CN106133787B true CN106133787B (zh) | 2020-09-01 |
Family
ID=50064450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580007247.9A Active CN106133787B (zh) | 2014-02-04 | 2015-01-29 | 用于配准和可视化至少两个图像的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9972068B2 (zh) |
| EP (1) | EP3103100B1 (zh) |
| JP (1) | JP6573894B2 (zh) |
| CN (1) | CN106133787B (zh) |
| WO (1) | WO2015117875A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10198590B2 (en) | 2015-11-11 | 2019-02-05 | Adobe Inc. | Content sharing collections and navigation |
| US10389804B2 (en) | 2015-11-11 | 2019-08-20 | Adobe Inc. | Integration of content creation and sharing |
| US20170132252A1 (en) * | 2015-11-11 | 2017-05-11 | Adobe Systems Incorporated | Content Sharing Collections and Navigation |
| US10249061B2 (en) | 2015-11-11 | 2019-04-02 | Adobe Inc. | Integration of content creation and sharing |
| US10783431B2 (en) | 2015-11-11 | 2020-09-22 | Adobe Inc. | Image search using emotions |
| US12008775B2 (en) * | 2018-08-22 | 2024-06-11 | Genemind Biosciences Company Limited | Method and device for image registration, and computer program product |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6859199B2 (en) * | 2001-11-06 | 2005-02-22 | Omnivision Technologies, Inc. | Method and apparatus for determining relative movement in an optical mouse using feature extraction |
| CN101133431A (zh) * | 2005-02-03 | 2008-02-27 | 布拉科成像S.P.A.公司 | 能够减少物体运动造成的成像伪影的生物医学图像配准方法和计算机程序产品 |
| CN101924872A (zh) * | 2009-03-05 | 2010-12-22 | 特克特朗尼克公司 | 用于图像配准的方法和系统 |
| CN103337051A (zh) * | 2012-03-14 | 2013-10-02 | 索尼公司 | 用于数字病理成像的自动同步导航系统 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222174B1 (en) * | 1999-03-05 | 2001-04-24 | Hewlett-Packard Company | Method of correlating immediately acquired and previously stored feature information for motion sensing |
| US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
| US20040047497A1 (en) * | 2002-09-10 | 2004-03-11 | Confirma, Inc. | User interface for viewing medical images |
| US7266249B2 (en) | 2003-05-22 | 2007-09-04 | Ge Medical Systems Global Technology Company, Llc | Optimized region growing algorithm for scale space analysis |
| WO2004107156A2 (en) | 2003-05-27 | 2004-12-09 | Koninklijke Philips Electronics N.V. | Diagnostic imaging system control with multiple control functions |
| JP3924558B2 (ja) * | 2003-11-17 | 2007-06-06 | 富士通株式会社 | 生体情報採取装置 |
| JP4467574B2 (ja) * | 2004-08-18 | 2010-05-26 | シャープ株式会社 | 画像データ表示装置 |
| US8681104B2 (en) * | 2007-06-13 | 2014-03-25 | Apple Inc. | Pinch-throw and translation gestures |
| US8063901B2 (en) * | 2007-06-19 | 2011-11-22 | Siemens Aktiengesellschaft | Method and apparatus for efficient client-server visualization of multi-dimensional data |
| JP4752900B2 (ja) * | 2008-11-19 | 2011-08-17 | ソニー株式会社 | 画像処理装置、画像表示方法および画像表示プログラム |
| US20100157079A1 (en) | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | System and method to selectively combine images |
| US8274592B2 (en) * | 2009-12-22 | 2012-09-25 | Eastman Kodak Company | Variable rate browsing of an image collection |
| CN102947860B (zh) | 2010-06-15 | 2018-09-07 | 皇家飞利浦电子股份有限公司 | 显微镜学中的图像处理方法 |
| WO2012037417A1 (en) * | 2010-09-16 | 2012-03-22 | Omnyx, LLC | Control configuration for digital image system |
| US8699769B2 (en) | 2011-07-12 | 2014-04-15 | Definiens Ag | Generating artificial hyperspectral images using correlated analysis of co-registered images |
| JP5726706B2 (ja) * | 2011-10-14 | 2015-06-03 | クラリオン株式会社 | ナビゲーション装置 |
| JP5792607B2 (ja) * | 2011-12-09 | 2015-10-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| JP5350532B2 (ja) * | 2011-12-27 | 2013-11-27 | キヤノン株式会社 | 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム |
| JP2013200640A (ja) * | 2012-03-23 | 2013-10-03 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
-
2015
- 2015-01-29 JP JP2016549165A patent/JP6573894B2/ja active Active
- 2015-01-29 EP EP15701777.3A patent/EP3103100B1/en active Active
- 2015-01-29 WO PCT/EP2015/051745 patent/WO2015117875A1/en active Application Filing
- 2015-01-29 CN CN201580007247.9A patent/CN106133787B/zh active Active
- 2015-01-29 US US15/115,389 patent/US9972068B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6859199B2 (en) * | 2001-11-06 | 2005-02-22 | Omnivision Technologies, Inc. | Method and apparatus for determining relative movement in an optical mouse using feature extraction |
| CN101133431A (zh) * | 2005-02-03 | 2008-02-27 | 布拉科成像S.P.A.公司 | 能够减少物体运动造成的成像伪影的生物医学图像配准方法和计算机程序产品 |
| CN101924872A (zh) * | 2009-03-05 | 2010-12-22 | 特克特朗尼克公司 | 用于图像配准的方法和系统 |
| CN103337051A (zh) * | 2012-03-14 | 2013-10-02 | 索尼公司 | 用于数字病理成像的自动同步导航系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3103100B1 (en) | 2019-11-06 |
| US9972068B2 (en) | 2018-05-15 |
| CN106133787A (zh) | 2016-11-16 |
| JP2017506384A (ja) | 2017-03-02 |
| WO2015117875A1 (en) | 2015-08-13 |
| JP6573894B2 (ja) | 2019-09-11 |
| EP3103100A1 (en) | 2016-12-14 |
| US20170011489A1 (en) | 2017-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106133787B (zh) | 用于配准和可视化至少两个图像的方法 | |
| EP3127084B1 (en) | Examining device for processing and analyzing an image | |
| JP6348504B2 (ja) | 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法 | |
| JP4071186B2 (ja) | 生物標本内の関心対象を識別するための方法及びシステム | |
| US8417006B2 (en) | System and method for improved viewing and navigation of digital images | |
| KR20150095646A (ko) | 바이오마커 발현의 선택 및 디스플레이 | |
| IL187810A (en) | System and method for repositioning an object in a sample on a plate using a microscope imaging device | |
| US10685210B2 (en) | Tissue microarray registration and analysis | |
| US10867443B2 (en) | Information transformation in digital pathology | |
| JP2017021028A (ja) | 組織学的染色の空間的多重化 | |
| US20150023573A1 (en) | Pathological diagnosis support apparatus and pathological diagnosis support method | |
| EP4174764A1 (en) | Information processing device, information processing method, program, and information processing system | |
| CN111292310B (zh) | 获取生物组织图像的方法、装置、电子设备及存储介质 | |
| US20180025211A1 (en) | Cell tracking correction method, cell tracking correction device, and storage medium which stores non-transitory computer-readable cell tracking correction program | |
| JP2008188012A (ja) | 分子組織学 | |
| CN115917594A (zh) | 使用几何特征的整个载玻片注释转移 | |
| WO2013118436A1 (ja) | 生体画像解析システム、生体画像解析方法および生体画像解析プログラム | |
| Ranefall et al. | The Giga-pixel Challenge: Full Resolution Image Analysis–Without Losing the Big Picture: An open-source approach for multi-scale analysis and visualization of slide-scanner data | |
| JP2013027433A (ja) | 画像処理装置、画像処理方法 | |
| Perdigão et al. | Okapi-EM–a napari plugin for processing and analysing cryogenic serial FIB/SEM images | |
| EP4207071A1 (en) | Systems and methods for measuring proximity of objects across serial sections of overlayed stained slide pathology images | |
| WO2021006272A1 (ja) | 細胞アトラスシステム、その制御方法、ならびに、情報記録媒体 | |
| JP2023120829A (ja) | 核酸分析装置、核酸分析方法およびプログラム | |
| Manolopoulou et al. | Statistical analysis of cellular aggregates in immunofluorescence histology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |