CN115359100A - 融合造影方法、腔内图像和造影图像的配准方法及装置 - Google Patents

融合造影方法、腔内图像和造影图像的配准方法及装置 Download PDF

Info

Publication number
CN115359100A
CN115359100A CN202210821794.2A CN202210821794A CN115359100A CN 115359100 A CN115359100 A CN 115359100A CN 202210821794 A CN202210821794 A CN 202210821794A CN 115359100 A CN115359100 A CN 115359100A
Authority
CN
China
Prior art keywords
image
contrast
intracavity
cavity
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210821794.2A
Other languages
English (en)
Inventor
朱锐
鲁全茂
毕鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN VIVOLIGHT MEDICAL DEVICE & TECHNOLOGY CO LTD
Original Assignee
SHENZHEN VIVOLIGHT MEDICAL DEVICE & TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN VIVOLIGHT MEDICAL DEVICE & TECHNOLOGY CO LTD filed Critical SHENZHEN VIVOLIGHT MEDICAL DEVICE & TECHNOLOGY CO LTD
Priority to CN202210821794.2A priority Critical patent/CN115359100A/zh
Publication of CN115359100A publication Critical patent/CN115359100A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请适用于图像信息处理技术领域，提供了融合造影方法、腔内图像和造影图像的配准方法及装置，其中融合造影方法包括：获取造影图像和腔内图像；基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果；本申请通过造影标记和腔内标记联系造影图像和腔内图像，使得腔内图像信息和造影图像信息能够得以对应和融合得到融合造影结果，从而克服了传统造影图像包含信息单一的问题。

Description

融合造影方法、腔内图像和造影图像的配准方法及装置
技术领域
本申请属于图像信息处理技术领域，尤其涉及融合造影方法、腔内图像和造影图像的配准方法及装置。
背景技术
造影图像是目前一种十分重要的医学辅助检查方法，常用于病变位置的检查。但传统造影图像包含信息单一，存在以下弊端。
(1)传统的造影数据只能在同一时间使用单一角度观察病变，如果需要精准的判断病变的位置，需要切换造影成像角度，难以直接、全面的观察病变位置；
(2)传统的造影图像仅能定位腔体狭窄的区域，但是难以分析造成狭窄的原因，从而不能选择有效的治疗手段，实现精准的PCI治疗。
(3)传统采集的造影图像分辨率低，无法使用造影图像识别病变、斑块类别等信息，难以有效的进行组织分析。
因此，如何提供一种信息更为全面的信息展示方法成为了业内亟需解决的技术问题。
发明内容
本申请实施例提供了融合造影方法、腔内图像和造影图像的配准方法及装置，可以解决传统造影图像包含信息单一的问题。
第一方面，本申请实施例提供了一种融合造影方法，包括：
获取造影图像和腔内图像；
基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
在第一方面的一种可能的实现方式中，所述融合造影结果是将所述腔内图像信息显示在所述造影图像上的结果。
在第一方面的一种可能的实现方式中，所述造影标记为所述造影图像中，所述腔内图像采集设备上的设定点和/或设定区域；所述腔内标记为用于确定腔内图像采集视角的，所述腔内图像采集设备上的设定点和/或设定区域。
在第一方面的一种可能的实现方式中，所述基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果的步骤包括：
根据所述腔内图像和所述腔内图像的腔内标记，确定所述腔内图像的采集视角；
根据造影标记和腔内标记的对应关系，确定所述腔内图像的采集视角在所述造影图像上的采集区域；
将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果。
上述方法提供了更为具体的腔内图像和造影图像的匹配步骤，能够更为可靠的实现腔内图像信息与造影图像信息的融合。
在第一方面的一种可能的实现方式中，所述造影图像为标准造影图像；
所述将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果的步骤包括：
针对待映射集合，计算图像点云间的映射关系；所述待映射集合包括所述标准造影图像和非标造影图像；所述非标造影图像是指一个或多个非所述标准造影图像的设定造影图像；
根据所述映射关系，在标准造影图像中确定所述非标造影图像的造影标记位置；
根据第i个所述非标造影图像的造影标记与第i个所述腔内图像的腔内标记的对应关系和第i个所述非标造影图像的造影标记在所述标准造影图像上的位置，确定第i个所述腔内图像的采集视角在所述标准造影图像上对应的第i个采集区域；其中，i为不大于所述非标造影图像数量的正整数；第i个所述腔内图像的腔内标记与第i个所述非标造影图像的造影标记具有对应关系；
针对i的所有可选取值，将第i个所述腔内图像上的信息与所述标准造影图像上的第i个采集区域的信息融合，得到融合造影结果。
在第一方面的一种可能的实现方式中，
在所述针对待映射集合，计算图像点云间的映射关系的步骤前，还包括：
实时采集术中造影图像得到第j帧术中造影图像，并将所述第j帧术中造影图像确定为标准造影图像；其中，j为正整数；
在所述针对i的所有可选取值，将第i个所述腔内图像上的信息与所述标准造影图像上的第i个采集区域的信息融合，得到融合造影结果的步骤后，还包括：
实时采集术中造影图像得到第j+k帧术中造影图像，并将所述第j+k帧术中造影图像确定为标准造影图像；其中，k为设定的间隔帧数；
重复执行所述将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果的步骤。
在第一方面的一种可能的实现方式中，所述造影图像和所述腔内图像均为针对血管腔体获取的；所述融合造影结果包括以所述腔内图像为输入，运行血管模型得到的血管信息；所述血管模型是基于血管样本和血管标签训练得到的语义分割模型；
所述血管信息包括血管钙化信息、血管内支架信息以及血管管腔截面积信息中的任一者或任多者组合。
在第一方面的一种可能的实现方式中，所述造影图像和所述腔内图像均为针对心血管腔体获取的；所述融合造影结果包括自所述腔内图像上提取得到的冠状动脉血流储备分数和/或腔内影像光衰指数。
在第一方面的一种可能的实现方式中，在所述基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果的步骤后，还包括：
在设定的图像显示设备上展示所述融合造影结果中的造影图像；
在所述在设定的图像显示设备上展示所述融合造影结果中的造影图像的步骤后，还包括：
确定接收到第一指令，则根据所述第一指令中的信息类型，在所述图像显示设备展示图像的基础上，叠加显示所述血管钙化信息、所述血管内支架信息以及所述血管管腔截面积信息中的任一者或任多者组合。
确定接收到第二指令，则根据所述第二指令中的信息类型，在所述图像显示设备展示图像的基础上，叠加显示所述冠状动脉血流储备分数和/或腔内影像光衰指数。
第二方面，本申请实施例提供了一种腔内图像和造影图像的配准方法，包括：
获取造影图像集合和腔内图像集合；所述造影图像集合包括第一造影图像和第二造影图像；
在所述腔内图像集合中，确定腔内标记与所述第一造影图像的造影标记一一对应的腔内图像为第一腔内图像，确定腔内标记与所述第二造影图像的造影标记一一对应的腔内图像为第二腔内图像；所述腔内图像集合包括至少一个间隔腔内图像；所述间隔腔内图像为采集时刻在间隔时段内的腔内图像；所述间隔时段是指所述第一腔内图像的采集时刻和所述第二腔内图像的采集时刻之间的时段；
确定标记路径的间隔造影标记，并基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准；所述标记路径为所述标准造影图像上，所述第一造影图像的造影标记对应的位置与所述第二造影图像的造影标记对应的位置之间的路径；
所述间隔造影标记两侧的标记路径长度比与所述间隔腔内图像的采集时刻两侧的间隔时段长度比相同；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
在第二方面的一种可能的实现方式中，所述造影标记为所述造影图像中，所述腔内图像采集设备上的设定点和/或设定区域；所述腔内标记为用于确定腔内图像采集视角的，所述腔内图像采集设备上的设定点和/或设定区域。
在第二方面的一种可能的实现方式中，所述基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准的步骤包括：
针对待映射集合，计算图像点云间的映射关系；所述待映射集合包括所述第一造影图像、所述第二造影图像以及所述标准造影图像；
根据所述映射关系，在标准造影图像中确定所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置；
在所述标准造影图像中，根据所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置确定所述标记路径。
在第二方面的一种可能的实现方式中，所述针对待映射集合，计算图像点云间的映射关系的步骤包括：
针对待映射集合，基于ICP算法执行点云匹配，从而得到所述待映射集合中任意两帧造影图像点云间的映射关系。
在第二方面的一种可能的实现方式中，所述在所述标准造影图像中，根据所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置确定所述标记路径的步骤包括：
将所述标准造影图像输入腔体模型，得到所述标准造影图像中的腔体像素集合；所述腔体模型是以腔体样本和标签训练得到的，以腔体造影图像为输入获得腔体像素集合的模型；
在所述标准造影图像中，以所述造影图像集合中第一帧造影图像上的造影标记位置为源点，所述造影图像集合中最后一帧造影图像上的造影标记位置为终点，以所述腔体像素集合为约束，运行最短路径模型，得到标记路径；
所述最短路径模型是以源点和终点为输入，得到所述源点和所终点间最短路径的模型。
在第二方面的一种可能的实现方式中，所述最短路径模型是基于Dijkstra算法的模型。
在第二方面的一种可能的实现方式中，所述腔体模型是基于Swin-Unet网络训练得到的模型。
在第二方面的一种可能的实现方式中，所述腔体模型的训练损失函数为GDL Loss函数。
第三方面，本申请实施例提供了一种融合造影装置，包括：
图像获取模块，用于获取造影图像和腔内图像；
融合模块，用于基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
第四方面，本申请实施例提供了一种腔内图像和造影图像的配准装置，包括：
集合获取模块，用于获取造影图像集合和腔内图像集合；所述造影图像集合包括第一造影图像和第二造影图像；
端匹配模块，用于在所述腔内图像集合中，确定腔内标记与所述第一造影图像的造影标记一一对应的腔内图像为第一腔内图像，确定腔内标记与所述第二造影图像的造影标记一一对应的腔内图像为第二腔内图像；所述腔内图像集合包括至少一个间隔腔内图像；所述间隔腔内图像为采集时刻在间隔时段内的腔内图像；所述间隔时段是指所述第一腔内图像的采集时刻和所述第二腔内图像的采集时刻之间的时段；
间隔匹配模块，用于确定标记路径的间隔造影标记，并基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准；所述标记路径为所述标准造影图像上，所述第一造影图像的造影标记对应的位置与所述第二造影图像的造影标记对应的位置之间的路径；
所述间隔造影标记两侧的标记路径长度比与所述间隔腔内图像的采集时刻两侧的间隔时段长度比相同；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
第五方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的融合造影方法或者上述第二方面中任一项所述的腔内图像和造影图像的配准方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的融合造影方法或者上述第二方面中任一项所述的腔内图像和造影图像的配准方法。
第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的融合造影方法或者上述第二方面中任一项所述的腔内图像和造影图像的配准方法。
可以理解的是，上述第三方面至第七方面的有益效果可以参见上述第一方面或上述第二方面的方案的有益效果，具体请见对应的实施例，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的融合造影方法的流程示意图；
图2是本申请一实施例提供的腔内图像和造影图像的配准方法的流程示意图；
图3是本申请实施例提供的多模态造影系统技术流程示意图；
图4是本申请实施例提供的应用场景示意图；
图5是本申请实施例提供的造影图像和腔内影像配准系统工作流程示意图；
图6是本申请实施例提供的腔体模型网络结构示意图；
图7是本申请实施例提供的造影图像展示界面的示例图；
图8是本申请实施例提供的钙化信息展示界面的示例图；
图9是本申请实施例提供的支架信息和管腔区域展示界面的示例图；
图10是本申请实施例提供VFR展示界面的示例图；
图11是本申请实施例提供的光衰指数展示界面的示例图；
图12是本申请实施例提供的展示画面的抽象示例图；
图13是本申请实施例提供的融合造影装置的结构示意图；
图14是本申请实施例提供的腔内图像和造影图像的配准装置的结构示意图；
图15是本申请实施例提供的终端设备的结构示意图；
图16是本申请实施例提供的医生标注的支架拟放置位置示意图；
图17是本申请实施例提供的医生标注的支架拟放置位置在动态融合造影结果中的一帧上显示效果的示意图。
附图标记：图像获取模块1301；融合模块1302；集合获取模块1401；端匹配模块1402；间隔匹配模块1403；终端设备15；处理器1501；存储器1502；计算机程序1503。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
如图1所示，本申请实施例提供一种融合造影方法，包括：
步骤102，获取造影图像和腔内图像；
步骤104，基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
作为示例而非限定，图4示出了本实施例及后续实施例的一个可选应用场景，即通过腔内影像设备采集得到腔内影像(即腔内图像)，多模态DSA(数字减影血管造影系统)设备的腔内影像获取模块获取所述腔内影像后，经腔内影像数据分析模块分析后，将所述腔内影像及其分析结果发送至造影图像-腔内影像融合模块，造影图像-腔内影像融合模块根据所述腔内影像及其分析结果，和源自造影图像采集模块的造影图像融合，随后通过多模态造影显示模块予以展示。
在这一可选应用场景中，本实施例及后续实施例的执行主体可以为DSA设备，或者设置于DSA设备中的处理器(即通过处理器调用各模块)。
在一个可选的实施方式中，所述造影图像为DSA设备采集的数字减影血管造影图像，所述腔内图像为血管内超声图像(Intravenous Ultrasound,IVUS)和/或光学相干断层扫描图像(Optical Coherence Tomography，OCT)。
值得说明的是，本实施例中腔内图像和造影图像均是基于某一预设的腔体的特定部分采集的，例如冠状动脉血管腔、肠道腔等。可以理解，本实施例中腔内图像和造影图像的图像采集对象存在至少一部分的重叠，融合造影就是针对这部分重叠区域进行的。
在一个可选的实施方式中，步骤102和步骤104之间，还存在着对所述造影图像和所述腔内图像进行预处理的步骤。
对于所述造影标记为所述造影图像上的设定点的情况，该造影标记是腔体中的某一点，一个点造影标记的示例是所述造影图像上用于采集腔内图像的设备导管的一个端点；
对于所述造影标记为所述造影图像上设定区域的情况，该造影标记是腔体中的一个区域，该区域在造影图像的投影可能为一条线段，即该区域可以是腔体的截面的一部分，一个区域造影标记的示例是所述造影图像上用于采集腔内图像的设备导管的一个截面；
值得注意的是，本实施例中，虽然所述造影标记与所述造影图像具有一一对应的关系，即根据上述的造影标记设定方案，单张造影图像中只存在一个造影标记(但该造影标记可能是设定点和设定区域，也可能是两者中的任一个)，但对于造影图像A中的造影标记a而言，其相对于腔体的位置是固定且客观存在的，因此可以理解，任意与造影图像A拍摄区域一致的造影图像B上均存在着与造影标记a一一对应的位置，并且，造影图像B上与造影标记a一一对应的位置，和造影图像A中的造影标记a，能够映射至真实物理空间的同一点和/或同一区域，该真实物理空间的同一点和/或同一区域可能对应着腔体中的某一点或某一区域。
本实施例的有益效果在于：
通过造影标记和腔内标记联系造影图像和腔内图像，使得腔内图像信息和造影图像信息能够得以对应和融合得到融合造影结果，从而克服了传统造影图像包含信息单一的问题，基于该融合造影结果能够直接、全面的观察病变位置，也能够定位腔体狭窄的区域并分析造成狭窄的原因，还能够识别病变、斑块类别等信息，有效的进行组织分析。
进一步地，步骤104的融合存在两种可行的实现方式。
第一种实现方式是以腔内图像为基础，将造影图像的信息添加至该腔内图像，从而得到融合造影结果。
第二种实现方式是以造影图像为基础，将腔内图像的信息添加至该造影图像，从而得到融合造影结果。
第一种实现方式相当于：将造影图像和腔内影像结合，在诊断过程中以观察腔内影像为主，识别血管的管腔、支架等特征，然后实现造影图像和腔内影像的配准，最终再利用造影图像实现治疗(如PCI治疗)。
然而第一种方式存在如下的客观缺陷：
1、配准融合系统容易受到噪声的干扰，进而难以实现造影图像和腔内影像的精准配准，影响辅助诊断和治疗(如PCI的辅助诊断和治疗)；
2、现有的配准融合仅实现了造影图像和腔内影像位置的一一对应，病变信息以及组织特征信息的对应，仍需要术者依靠主观判断，对术者有较高的临床经验要求，不适用于初学者的使用，而且已有的配准是离线配准，仅可对腔内影像数据进行配准，在实际的治疗过程中，仅能利用动态的造影图像进行治疗，此时难以将先前的配准信息应用到基于动态造影图像的治疗过程中，因此会降低已有的融合精度对手术(如PCI手术)的指导作用。
故基于这两个问题，在一个更优选的方案中：
所述融合造影结果是将所述腔内图像信息显示在所述造影图像上的结果。
也就是说，病变的精准定位和治疗需要在造影图像上实现，但是第一种实现方式仅是利用腔内影像实现了病变的组织分析，难以增强造影图像上的信息，腔内图像和造影图像的配准，需要依赖术者的主观判断来完成，配准精度无法保证，难以达到有效指导术者病变诊断和治疗的水准。
因此，这一更优选的方案以造影图像为主，提供了一体化、多模态的造影成像系统，将血管的组织信息直接融合、显示到造影图像上，进一步实现了基于造影图像的动态、实时治疗。
这一更优选的方案的有益效果在于：
通过将信息相对集中在腔体局部的腔内图像信息显示在信息相对整体的造影图像上，能够在术中为医生提供更为直观的信息展示，有利于手术的效率提升。
根据上述实施例，在本实施例中：
所述造影标记为所述造影图像中，所述腔内图像采集设备上的设定点和/或设定区域；所述腔内标记为用于确定腔内图像采集视角的，所述腔内图像采集设备上的设定点和/或设定区域。
作为示例而非限定，在造影图像的采集时刻，腔内影像的采集并未结束，故造影图像中存在着腔内影像采集设备(如腔镜导管)，则将腔内影像采集设备上的设定点，如腔镜导管的一端点，作为造影标记，能够有效降低该造影标记的确定难度；类似地，将相同的设定点，即腔内影像采集设备上的设定点(如腔镜导管的一端点)作为腔内图像的腔内标记，则通过该腔内图像的采集视角，可以唯一地确定该腔内图像的腔内标记，同样能够有效降低该腔内标记的确定难度。
在此基础上，对于采集时刻相同的造影图像和腔内图像，造影标记和腔内标记与真实空间中的同一点具有映射关系，或者可以理解为，造影标记和腔内标记是一个真实空间中的点在造影图像和腔内图像这两种不同图像中的映射，通过这个真实空间中的点，可以较为容易地将腔内图像和造影图像中信息的位置关系对应，从而实现融合。
本实施例的有益效果在于：
通过将腔内图像的采集视角和造影图像中直接显示的腔内图像采集设备对应，能够更为高效地实现腔内图像和造影图像的匹配，使得腔内图像信息与造影图像信息的融合更为容易。
根据上述任一实施例，在本实施例中：
所述基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果的步骤包括：
根据所述腔内图像和所述腔内图像的腔内标记，确定所述腔内图像的采集视角；
根据造影标记和腔内标记的对应关系，确定所述腔内图像的采集视角在所述造影图像上的采集区域；
将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果。
本实施例的有益效果在于：
提供了更为具体的腔内图像和造影图像的匹配步骤，能够更为可靠的实现腔内图像信息与造影图像信息的融合。
根据上述任一实施例，在本实施例中：
所述造影图像为标准造影图像；
所述将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果的步骤包括：
针对待映射集合，计算图像点云间的映射关系；所述待映射集合包括所述标准造影图像和非标造影图像；所述非标造影图像是指一个或多个非所述标准造影图像的设定造影图像；
根据所述映射关系，在标准造影图像中确定所述非标造影图像的造影标记位置；
根据第i个所述非标造影图像的造影标记与第i个所述腔内图像的腔内标记的对应关系和第i个所述非标造影图像的造影标记在所述标准造影图像上的位置，确定第i个所述腔内图像的采集视角在所述标准造影图像上对应的第i个采集区域；其中，i为不大于所述非标造影图像数量的正整数；第i个所述腔内图像的腔内标记与第i个所述非标造影图像的造影标记具有对应关系；
针对i的所有可选取值，将第i个所述腔内图像上的信息与所述标准造影图像上的第i个采集区域的信息融合，得到融合造影结果。
在一个可选的实施方式中，本实施例方法可以应用于手术场景，这种场景下：
造影图像的采集是实时的、持续的，例如从手术开始时刻至手术终止时刻的手术时段内，持续以造影频率实时采集造影图像；
腔内图像的采集是单次覆盖感兴趣腔体部分的，例如从手术开始时刻至腔内采集结束时刻的腔内采集时段内(显然，腔内采集结束时刻早于手术终止时刻)，通过以腔内速度移动的腔镜导管，采用腔内频率进行采集，腔内导管的移动起始点间的区域即为感兴趣腔体部分，采用腔内频率进行采集的过程中，每一张腔内图像的采集位置均不相同(可以理解，采集位置与腔镜导管的移动速度、采集时刻以及起点位置相关)，每一张腔内图像中能够展示出的信息对应的腔体位置也不完全一致。
在这一实施方式中，要想把腔内图像中的信息融合至造影图像，需要执行至少两个步骤。
第一个步骤是选定一张造影图像作为融合基础；
第二个步骤是确定每一张腔内图像中的信息在造影图像上的对应区域(即采集区域)。
第一个步骤中，考虑到造影图像是实时采集的，故接收手术和造影的人的心跳、呼吸以及环境的微小震动都将导致不同造影图像中腔体像素发生平移、旋转或者形变，而融合过程有赖于造影标记和腔内标记的严格匹配，这种平移、旋转或者形变就会导致信息失真。
举例来说，假设造影图像X的造影标记x和腔内图像Y的腔内标记y具有对应关系，则将腔内图像Y的信息融合至造影图像X时不会产生信息失真；与之相对地，将腔内图像Y的信息融合至标准造影图像Z时，将造影标记x在造影图像X中的位置同步映射至标准造影图像Z作为造影标记x’的过程中，由于标准造影图像Z的腔体像素相对于造影图像X存在平移、旋转或者形变，使得造影标记x相对于造影图像X中腔体的位置与造影标记x’相对于标准造影图像Z中腔体的位置不同，进而造成本应融合至腔体甲位置的信息被融合至腔体乙位置，造成了信息的失真，虽然这种失真是微小的，但在手术或诊断操作中，任何微小的信息失真都是不可忽略的。
也就是说，作为融合基础的造影图像(标准造影图像)相对于其它造影图像的腔体像素位置变化可能导致信息失真，为了解决这个问题，本实施例针对待映射集合，计算图像点云间的映射关系，并通过该映射关系将不同造影图像中的腔体位置对应。
仍然基于上面的例子进行说明，本实施例中将上面例子中“将造影标记x在造影图像X中的位置同步映射至标准造影图像Z作为造影标记x’的过程”调整为：
将造影标记x在造影图像X中相对于腔体像素(或者说，腔体像素集合，后同)的位置同步映射至标准造影图像Z，得到相对于标准造影图像Z中腔体像素的位置与造影标记x在造影图像X中相对于腔体像素的位置相同的造影标记x’的过程。
从而解决了这个问题。
第二个步骤中，对于某一张特定的腔内图像，存在着与其一一对应的造影图像，即两者的造影标记和腔内标记具有对应关系，通过第一个步骤，该造影图像与标准造影图像间的点云映射关系也是已知的，则可以先确定该特定的腔内图像的信息在与其一一对应的造影图像上的位置(即采集区域)，再通过点云映射关系确定该特定的腔内图像的信息在标准造影图像上的位置(即采集区域)。
本实施例的有益效果在于：
通过计算图像点云间的映射关系，并基于该映射关系确定采集区域，能够有效降低多张造影图像间可能存在的，由于呼吸或心跳等原因造成的腔体位置偏差，并进一步使得多个腔体图像的信息更为准确地融合至单张标准造影图像上。
根据上述任一实施例，在本实施例中：
在所述针对待映射集合，计算图像点云间的映射关系的步骤前，还包括：
实时采集术中造影图像得到第j帧术中造影图像，并将所述第j帧术中造影图像确定为标准造影图像；其中，j为正整数；
在所述针对i的所有可选取值，将第i个所述腔内图像上的信息与所述标准造影图像上的第i个采集区域的信息融合，得到融合造影结果的步骤后，还包括：
实时采集术中造影图像得到第j+k帧术中造影图像，并将所述第j+k帧术中造影图像确定为标准造影图像；其中，k为设定的间隔帧数；
重复执行所述将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果的步骤。
进一步地，上一实施例给出了如何消除由于标准造影图像和其它造影图像中腔体像素的变化造成的信息失真，而实际手术应用中，还存在着造影图像实时性的问题，即手术是动态的，腔体也是动态的，这种情况下，将某一确定的标准造影图像作为融合基础的方案显然存在着无法及时更新信息，尤其是造影信息的风险，因此本实施例提供了实时更新的标准造影图像。
实际应用中，融合步骤所花费的时间可能会比相邻两帧造影图像间的采集间隔更长，从而使得将每一帧实时采集的造影图像都更新为标准造影图像的方案不可行，为了协调这一问题，可以以设定的时间间隔更新实时采集造影图像作为标准造影图像，例如，可以依次将第3、6、9、12、15帧…造影图像更新为标准造影图像。
本实施例的有益效果在于：
通过实时更新标准造影图像，在术中为医生提供实时的腔内图像融合信息，避免了由于更早采集的造影图像与当前造影图像信息不一致造成的医生误判。
根据上述任一实施例，在本实施例中：
如图7所示，在所述基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果的步骤后，还包括：
在设定的图像显示设备上展示所述融合造影结果中的造影图像。
本实施例的有益效果在于：
通过展示造影图像，在术中为医生先行提供更为简明的信息，并为后续根据来自医生的指令展示各部分细节信息提供了良好的基础。
根据上述任一实施例，在本实施例中：
所述造影图像和所述腔内图像均为针对血管腔体获取的；所述融合造影结果包括以所述腔内图像为输入，运行血管模型得到的血管信息；所述血管模型是基于血管样本和血管标签训练得到的语义分割模型；
所述血管信息包括血管钙化信息、血管内支架信息以及血管管腔截面积信息中的任一者或任多者组合。
本实施例基于腔内影像自动识别血管组织特征，增强多模态造影图像，主要包括：
1)钙化识别信息增强造影图像。血管钙化是动脉粥样硬化的表现之一，是医生临床诊断的重要参考信息。在腔内影像上应用语义分割技术识别获取血管钙化信息，将钙化信息丰富到造影图像上。如图8所示，在多模态造影图像上，医生对患者钙化的范围分布一览了然。医生进一步可以通过操控鼠标查看图中某一点钙化信息，屏幕右上角对应其钙化的厚度、角度和面积。
2)金属支架识别信息、管腔面积信息以及管腔厚度信息增强造影图像。将腔内影像中识别到的金属支架和管腔信息加入造影图像，不仅可以辅助术者精准选择支架的放置，而且可以看到支架植入后的位置，便于后续的支架后扩，也有利于患者术后随访的支架分析。如图9所示，绿色曲线按照腔内影像管腔的大小等比例映射到了多模态造影图像上，并给出了当前鼠标所在点的管腔面积以及最小管腔面积。黄色线段指定了造影图像上最小管腔所在点，蓝色线段标记了管腔面积参考点，以帮助医生确定支架点放置点。同时，医生可以使用鼠标，手动修改标记点所在位置，设置新的管腔面积参考点。图中网格区域，标记的是造影图像中已有支架所在位置，便于患者术后随访。
本实施例的有益效果在于：
通过对腔内图像进行中间处理，即通过血管模型提取腔体图像中的血管信息，为融合造影结果提供了更为全面的信息。
根据上述任一实施例，在本实施例中：
所述造影图像和所述腔内图像均为针对心血管腔体获取的；所述融合造影结果包括自所述腔内图像上提取得到的冠状动脉血流储备分数和/或腔内影像光衰指数。
在一个可选的实施方式中，所述冠状动脉血流储备分数(FFR,Fractional FlowReserve)是使用腔内影像拟合出FFR数值，即VFR(Virtual Flow Reserve)。
本实施例基于腔内影像计算信息增强多模态造影图像，主要包括：
1)虚拟血流分数VFR，增强造影图像。冠状动脉血流储备分数(FFR,FractionalFlow Reserve)作为一项功能学评价指标，对冠心病的治疗策略具有重要指导意义。使用腔内影像拟合出FFR数值，称之为VFR(Virtual Flow Reserve)，增强造影图像信息。如图7所示，VFR信息按照色阶显示到造影图像上，不仅可以查看整个回拉过程的VFR数值，而且可以拖动鼠标查看腔内影像回拉段任意位置的VFR值，从而可以有效的判断该患者是否需要进行支架治疗。
2)腔内影像光衰指数，增强造影图像。通过一次腔内影像回拉扫描自动计算出的图像的光衰系数，可用于观察斑块的不稳定程度，定位不稳定斑块的区域，进而给患者病灶评估提供指导。在造影图像上显示光衰指数，连续性观察斑块稳定性的变化，有助于医生从全局的角度上给患者更精准的医学指导。该模态下的造影图像如图8所示，移动光标，医生可以查看血管腔某一点对应的光衰指数。
本实施例的有益效果在于：
通过添加腔内图像进一步运算得到的冠状动脉血流储备分数和/或腔内影像光衰指数至融合造影结果，提供了更为全面的信息。
根据上述任一实施例，在本实施例中：
在所述在设定的图像显示设备上展示所述融合造影结果中的造影图像的步骤后，还包括：
确定接收到第一指令，则根据所述第一指令中的信息类型，在所述图像显示设备展示图像的基础上，叠加显示所述血管钙化信息、所述血管内支架信息以及所述血管管腔截面积信息中的任一者或任多者组合。
例如，接收到具有血管钙化类型的第一指令后，图像显示设备的展示图像可以由图7变为图8；接收到具有支架信息和血管管腔截面积信息的第一指令后，图像显示设备的展示图像可以由图7变为图9；
确定接收到第二指令，则根据所述第二指令中的信息类型，在所述图像显示设备展示图像的基础上，叠加显示所述冠状动脉血流储备分数和/或腔内影像光衰指数。
例如，接收到具有VFR类型的第二指令后，图像显示设备的展示图像可以由图7变为图10；接收到具有光衰类型的第二指令后，图像显示设备的展示图像可以由图7变为图11；
图12示出了在接收到第一指令或第二指令后，图像显示设备展示图像的抽象示意图；
其中：
无填充的合围线条代表抽象的造影图像血管；
斜线填充的合围线条代表接收到第一指令或第二指令后叠加显示的信息，即信息区，值得说明的是，虽然图12中的信息区仅覆盖了血管的一小部分，但实际应用中，信息区也可以覆盖血管的大部分或者全部(例如用于展示光衰指数或者VFR的信息区)。
三角标记是指由医生或其它操作人员移动的光标；
光标所在位置的详细信息展示区是根据第一指令或者第二指令的信息类型显示光标所在位置的详细参数的区域，例如接收到具有血管钙化类型的第一指令后，光标所在位置的详细信息展示区可以展示光标所在位置的钙化厚度、钙化角度、钙化面积等。
本实施例的有益效果在于：
根据来自医生或其它操作者的指令，在相对简明的造影图像信息中准确地显示医生或其它操作者需求和关注的数据，能够更为高效的为手术方案的确定和调整提供数据基础。
本申请实施例还提供一种腔内图像和造影图像的配准方法，本申请实施例提供的腔内图像和造影图像的配准方法和融合造影方法是基于同一发明构思的方案，可以相互结合使用，例如，通过腔内图像和造影图像的配准方法实现腔内图像和造影图像的配准，随后基于配准的腔内图像和造影图像执行融合造影得到融合造影结果。
具体地，如图2所示，本实施例提供一种腔内图像和造影图像的配准方法，包括：
步骤202，获取造影图像集合和腔内图像集合；所述造影图像集合包括第一造影图像和第二造影图像；
作为示例而非限定，步骤202中，所述造影图像为DSA设备采集的数字减影血管造影图像，所述腔内图像为血管内超声图像(Intravenous Ultrasound,IVUS)和/或光学相干断层扫描图像(Optical Coherence Tomography，OCT)。
值得说明的是，在一些应用场景中，造影图像集合是连续采集的多帧造影图像，而第一造影图像和第二造影图像并不一定是连续采集的相邻帧，即第一造影图像和第二造影图像之间可能还存在着一个或多个帧的造影图像。
步骤204，在所述腔内图像集合中，确定腔内标记与所述第一造影图像的造影标记一一对应的腔内图像为第一腔内图像，确定腔内标记与所述第二造影图像的造影标记一一对应的腔内图像为第二腔内图像；
在一个可选的实施方式中，步骤204中的一一对应可以理解为：
所述腔内图像集合包括第一腔内图像、第二腔内图像以及至少一个间隔腔内图像；所述第一造影图像何所述第一腔内图像的采集时刻均为第一时刻，所述第二造影图像与所述第二腔内图像的采集时刻均为第二时刻；所述间隔腔内图像的采集时刻处于所述第一时刻和所述第二时刻之间；
所述腔内图像集合包括至少一个间隔腔内图像；所述间隔腔内图像为采集时刻在间隔时段内的腔内图像；所述间隔时段是指所述第一腔内图像的采集时刻和所述第二腔内图像的采集时刻之间的时段；
在一个优选的实施方式中，腔内图像的采集频率高于造影图像的采集频率，从而存在着一些特殊的腔内图像，这些特殊的腔内图像并不存在采集时刻相同的、一一对应的造影图像，然而即便不存在一一对应的造影图像，这些特殊的腔内图像仍然需要配准至某一造影图像上，这也是本实施例能够解决的一个重要问题。
步骤206，确定标记路径的间隔造影标记，并基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准；所述标记路径为所述标准造影图像上，所述第一造影图像的造影标记对应的位置与所述第二造影图像的造影标记对应的位置之间的路径；
具体地，步骤206中的标准造影图像既可以是所述造影图像集合中的元素，也可以是当前采集的最近造影图像。
此外，所述将所述间隔腔内图像的信息和设定的标准造影图像的信息配准的步骤中，可以是造影信息配准至腔内图像，也可以是腔内图像信息配准至造影图像。
所述间隔造影标记两侧的标记路径长度比与所述间隔腔内图像的采集时刻两侧的间隔时段长度比相同；
可以理解：
所述间隔造影标记将所述标记路径分割为两个部分，记为第一路径(标记路径起始点至间隔造影标记)和第二路径(造影标记至标记路径终止点)，所述间隔造影标记两侧的标记路径长度比即为第一路径与第二路径之比；
所述间隔腔内图像的采集时刻将所述间隔时段分割为两个部分，记为左侧时段(第一腔内图像的采集时刻至所述间隔腔内图像的采集时刻)和右侧时段(所述间隔腔内图像的采集时刻至第二腔内图像的采集时刻)，所述间隔腔内图像的采集时刻两侧的间隔时段长度比即为左侧时段与右侧时段之比；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
在一个可选的实施方式中，本实施例及后续实施例的执行主体可以为DSA设备，或者设置于DSA设备中的处理器(即通过处理器调用各模块)，或者计算机处理器。
本实施例的有益效果在于：
通过造影标记和腔内标记联系造影图像和腔内图像，使得腔内图像信息和造影图像信息能够得以高效匹配，在此基础上，进一步通过标记路径确定了间隔腔内图像对应的间隔造影标记，使得间隔腔内图像能够在不存在严格对应的造影图像的前提下，有效匹配至标准造影图像。
根据上述腔内图像和造影图像的配准方法实施例，在本实施例中：
所述造影标记为所述造影图像中，所述腔内图像采集设备上的设定点和/或设定区域；所述腔内标记为用于确定腔内图像采集视角的，所述腔内图像采集设备上的设定点和/或设定区域。
作为示例而非限定，在造影图像的采集时刻，腔内影像的采集并未结束，故造影图像中存在着腔内影像采集设备(如腔镜导管)，则将腔内影像采集设备上的设定点，如腔镜导管的一端点，作为造影标记，能够有效降低该造影标记的确定难度；类似地，将相同的设定点，即腔内影像采集设备上的设定点(如腔镜导管的一端点)作为腔内图像的腔内标记，则通过该腔内图像的采集视角，可以唯一地确定该腔内图像的腔内标记，同样能够有效降低该腔内标记的确定难度。
在此基础上，对于采集时刻相同的造影图像和腔内图像，造影标记和腔内标记与真实空间中的同一点具有映射关系，或者可以理解为，造影标记和腔内标记是一个真实空间中的点在造影图像和腔内图像这两种不同图像中的映射，通过这个真实空间中的点，可以较为容易地将腔内图像和造影图像中信息的位置关系对应，从而实现配准。
本实施例的有益效果在于：
通过将腔内图像的采集视角和造影图像中直接显示的腔内图像采集设备对应，能够更为高效地实现腔内图像和造影图像的匹配，使得腔内图像信息与造影图像信息的融合更为容易。
根据上述腔内图像和造影图像的配准方法的任一实施例，在本实施例中：
所述基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准的步骤包括：
针对待映射集合，计算图像点云间的映射关系；所述待映射集合包括所述第一造影图像、所述第二造影图像以及所述标准造影图像；
在一个可选的实施方式中，所述标准造影图像是所述第一造影图像本身，或者是所述第二造影图像本身。
根据所述映射关系，在标准造影图像中确定所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置；
在所述标准造影图像中，根据所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置确定所述标记路径。
在一个可选的实施方式中，本实施例方法可以应用于手术场景，这种场景下：
造影图像的采集是实时的、持续的，例如从手术开始时刻至手术终止时刻的手术时段内，持续以造影频率实时采集造影图像；
腔内图像的采集是单次覆盖感兴趣腔体部分的，例如从手术开始时刻至腔内采集结束时刻的腔内采集时段内(显然，腔内采集结束时刻早于手术终止时刻)，通过以腔内速度移动的腔镜导管，采用腔内频率进行采集，腔内导管的移动起始点间的区域即为感兴趣腔体部分，采用腔内频率进行采集的过程中，每一张腔内图像的采集位置均不相同(可以理解，采集位置与腔镜导管的移动速度、采集时刻以及起点位置相关)，每一张腔内图像中能够展示出的信息对应的腔体位置也不完全一致。
在这一实施方式中，要想把腔内图像中的信息与造影图像进行配准，需要执行至少两个步骤。
第一个步骤是选定一张造影图像作为配准基础；
第二个步骤是确定每一张腔内图像中的信息在造影图像上的对应区域(即采集区域)。
第一个步骤中，考虑到造影图像是实时采集的，故接收手术和造影的人的心跳、呼吸以及环境的微小震动都将导致不同造影图像中腔体像素发生平移、旋转或者形变，而融合过程有赖于造影标记和腔内标记的严格匹配，这种平移、旋转或者形变就会导致信息失真。
举例来说，假设造影图像X的造影标记x和腔内图像Y的腔内标记y具有对应关系，则将腔内图像Y的信息融合至造影图像X时不会产生信息失真；与之相对地，将腔内图像Y的信息融合至标准造影图像Z时，将造影标记x在造影图像X中的位置同步映射至标准造影图像Z作为造影标记x’的过程中，由于标准造影图像Z的腔体像素相对于造影图像X存在平移、旋转或者形变，使得造影标记x相对于造影图像X中腔体的位置与造影标记x’相对于标准造影图像Z中腔体的位置不同，进而造成本应配准至腔体甲位置的信息被配准至腔体乙位置，造成了信息的失真，虽然这种失真是微小的，但在手术或诊断操作中，任何微小的信息失真都是不可忽略的。
也就是说，作为配准基础的造影图像(标准造影图像)相对于其它造影图像的腔体像素位置变化可能导致信息失真，为了解决这个问题，本实施例针对待映射集合，计算图像点云间的映射关系，并通过该映射关系将不同造影图像中的腔体位置对应。
仍然基于上面的例子进行说明，本实施例中将上面例子中“将造影标记x在造影图像X中的位置同步映射至标准造影图像Z作为造影标记x’的过程”调整为：
将造影标记x在造影图像X中相对于腔体像素(或者说，腔体像素集合，后同)的位置同步映射至标准造影图像Z，得到相对于标准造影图像Z中腔体像素的位置与造影标记x在造影图像X中相对于腔体像素的位置相同的造影标记x’的过程。
从而解决了这个问题。
第二个步骤中，对于某一张特定的腔内图像，存在着与其一一对应的造影图像，即两者的造影标记和腔内标记具有对应关系，通过第一个步骤，该造影图像与标准造影图像间的点云映射关系也是已知的，则可以先确定该特定的腔内图像的信息在与其一一对应的造影图像上的位置(即采集区域)，再通过点云映射关系确定该特定的腔内图像的信息在标准造影图像上的位置(即采集区域)。
本实施例的有益效果在于：
通过计算图像点云间的映射关系，并基于该映射关系确定采集区域，能够有效降低多张造影图像间可能存在的，由于呼吸或心跳等原因造成的腔体位置偏差，并进一步使得多个腔体图像的信息更为准确地融合至单张标准造影图像上。
根据上述腔内图像和造影图像的配准方法的任一实施例，在本实施例中：
所述针对待映射集合，计算图像点云间的映射关系的步骤包括：
针对待映射集合，基于ICP算法执行点云匹配，从而得到所述待映射集合中任意两帧造影图像点云间的映射关系。
本实施例的有益效果在于：
考虑了造影图像数据采集过程约为2-3秒，腔体形变量较少，更多是旋转和平移操作的客观情况，通过ICP算法能够在不过多耗费计算资源的前提下较好的拟合提到的旋转和平移。
根据上述腔内图像和造影图像的配准方法的任一实施例，在本实施例中：
所述在所述标准造影图像中，根据所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置确定所述标记路径的步骤包括：
将所述标准造影图像输入腔体模型，得到所述标准造影图像中的腔体像素集合；所述腔体模型是以腔体样本和标签训练得到的，以腔体造影图像为输入获得腔体像素集合的模型；
在所述标准造影图像中，以所述造影图像集合中第一帧造影图像上的造影标记位置为源点，所述造影图像集合中最后一帧造影图像上的造影标记位置为终点，以所述腔体像素集合为约束，运行最短路径模型，得到标记路径；
所述最短路径模型是以源点和终点为输入，得到所述源点和所终点间最短路径的模型。
本实施例的有益效果在于：
通过引入腔体像素集合，使得标记路径的确定更为科学准确，并进一步提升了后续间隔腔内图像与标准造影图像间的配准精度。
根据上述腔内图像和造影图像的配准方法的任一实施例，在本实施例中：
所述最短路径模型是基于Dijkstra算法的模型。
本实施例的有益效果在于：
通过采用Dijkstra算法，能够更快更好地确定标记路径，从而提升了配准的效率。
根据上述腔内图像和造影图像的配准方法的任一实施例，在本实施例中：
所述腔体模型是基于Swin-Unet网络训练得到的模型。
本实施例的有益效果在于：
通过采用Swin-Unet网络，能够更为高效准确的进行腔体像素的语义分割，为标记路径的确认提供了更好的基础。
根据上述腔内图像和造影图像的配准方法的任一实施例，在本实施例中：
所述腔体模型的训练损失函数为GDL Loss函数。
本实施例的有益效果在于：
通过将GDL Loss函数作为模型训练的损失函数，能够有效解决语音分割过程中造影图像腔体类别不平衡的问题。
下面将结合上述融合造影方法和腔内图像和造影图像的配准方法，提供一交叉使用实施例。
本实施例提供一种基于心血管腔内影像的多模态造影成像方法。
本实施例总体设计思路如图3所示，首先同步采集造影图像和腔内影像，利用造影图像和腔内影像同步采样的特性，实现造影图像和腔内影像配准融合；应用语义分割、数据处理等技术，从腔内影像中自动识别血管组织特征，根据造影图像和腔内影像的匹配关系，将血管组织特征加入到造影图像中，以增强造影图像，得到多模态造影图像。可以更为准确高效的判别病灶，医生也可对造影图像部分点进行标记，如标记金属支架、旋磨、球囊等的放置点等信息。通过迭代最近邻算法(Iterative Closest Point，ICP)算法，可将医生给出的标记点信息在手术过程中实时在造影图像上显示，从而实现精准PCI手术治疗的目的。
多模态造影图像技术主要步骤有：
(1)同步采集造影图像和腔内影像：因为本实施例的可选执行主体为实现一体化、多模态造影成像系统，所以需要使用DSA采集腔内影像(DSA设备采集的图像即为造影图像)，并对腔内影像进行预处理，从而得到待配准、融合的腔内影像，并通过对造影数据和腔内影像数据在时间轴上的对齐，得到同一时间内采集的造影图像和腔内影像，用于后续的分析和处理。
(2)造影图像和腔内影像图像的配准系统实现:一种可行的造影图像和腔内影像的配准方法，是通过医生选取造影图像的某一帧标记出mark点，以及其对应的血管部分。但因追踪mark点过程中，较易受到造影图像中噪声的干扰，而mark点一旦出现误差，后续点更加难以检测，从而导致配准融合精度低，难以用于指导PCI手术。因此，本实施例提出一种新的配准融合算法，在不增加用户交互操作的前提下，提升配准融合的精度。具体方法为，基于采集到的一组造影图像及对应的腔内影像，首先医生对其第一帧和最后一帧造影图像中腔内影像回拉导管mark点标记(分别称之为起始mark点和结束mark点)；而后，针对造影图像不同帧血管位置、角度变化的问题，使用点云匹配ICP迭代最近点算法，将起始mark点和结束mark点映射到其他造影图像上，便于实现造影图像和腔内影像的匹配。进而，选取某一帧造影图像，应用语义分割技术实现血管路径的识别。在语义分割生成的血管路径上，应用Dijkstra最短路算法，计算起始mark点到结束mark点的最短路径。在图像采样频率一定、导管在患者体内匀速拉回的前提下，将计算所得到的最短路径分割，腔内影像的每一帧便对应分割后的每一个点。整体流程如图5所示。
造影图像和腔内影像配准系统的具体步骤如下：
1)手动在造影图像集第一帧和最后一帧上标记腔内影像成像探头位置，并将其记为起始mark标记点和结束mark标记点。
2)因在造影成像过程中，造影图像受到患者心脏跳动的影响，图像中血管的位置会小范围变动。为了将患者诊断信息集中到一张造影图像上，应用ICP算法实现不同帧造影图像点云配准。因造影图像数据采集过程约为2-3秒，血管形变量较少，更多是旋转和平移操作，应用ICP点云匹配算法较为合适。ICP公式如下所示，ps、pt分别为源点云和目标点云,R,t代表旋转矩阵和平移距离。
Figure BDA0003744840080000231
考虑到，造影图像形血管变量在患者呼吸半个周期内会不断累积，仅使用第一帧和最后一帧会受到不断累积的形变量影响存在一定的偏差；然而，逐帧顺序ICP点云映射计算量较大，且中间某一次点云映射存在偏差，往后的点云映射计算都会受到影响。因此，对40帧的造影图像，以3帧位为间隔ICP点云映射，在运算量不大的前提下，有效控制了血管形变量的程度和点云映射累计偏差的概率。
3)在已知起始mark标记点和结束mark标记点，及造影图像间点云映射关系后，使用语义分割模型，识别造影图像中的血管区域。专利中使用模型为swin-unet，网络架构如图6所示，主要包括encoder、decoder、bottleneck和skip connection四个部分。网络模型的基础单位是swin transformer block。对于5122的造影图像，将其分为了3个特征表示部分，分别是1282，642和322。通过在1282和642特征图时两次skip connection操作，有效降低因patch merging下采样所造成的图像空间信息的损失。
同时，针对语义分割中造影图像血管类别不平衡，选用GDL Loss作为swin-unet损失函数。公式如下所示。
Figure BDA0003744840080000232
Figure BDA0003744840080000233
其中l表示类别，n表示该像素点所在图像中的位置，rln表示第n个位置真实像素类别，pln表示相应的预测概率值，wl表示每个类别的权重。按照类别在造影图像中统计学次数设定权重wl。通过使用GDL Loss损失函数，有效的降低了语义分割网络训练过程中数据类间不均衡的影响。
4)将造影图像中语义分割识别为血管区域的像素点，记为图中的节点，空间上相邻的血管像素之间存在路径且距离为1。将起始mark标记点和结束mark标记点，通过点云映射关系映射到某一张造影图像上后，分别作为Dijkstra算法的源点和终点，将起点到终点的最短路径作为腔内影像导管mark点的移动路径。
5)因造影图像和腔内影像采样频率不变，并且采集过程中，腔内影像成像导管在体内移动的速率不变。采样时间间隔t和速率均为常数，腔内影像导管体内移动路程s＝vt，行走路径长度不变。故对mark点移动路径等分，便可以得到任意腔内影像在某一张造影图像上的对应点。
本实施例的有益效果在于：
1.基于造影图像和腔内影像的配准融合系统，在不改变用户交互操作复杂度的条件下，提高配准融合精度。
2.应用腔内影像实现一体化、多模态造影系统，将血管组织直接显示在造影图像上，实现病变快速、精准的诊断。
3.手术过程中，造影图像标记点动态实时配准，精准指导临床治疗。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
下面将以冠心病患者的PCI手术作为应用场景示例，结合上述任一实施例(根据实施例方法主体，以下简称为融合方法和配准方法)，提供一使用融合方法和/或配准方法指导PCI手术的完整实施例。
本PCI应用实施例的至少一部分步骤可以和图3示出的步骤对应。
作为示例而非限定，本实施例中，将PCI手术执行的对象称为患者，将PCI手术的执行者称为医生，造影图像由DSA设备采集(以下简称心内造影图像)，腔内图像为基于OCT的、针对心内管状动脉的光学断层扫描图像(以下简称OCT图像)。
本实施例中，在PCI手术执行前，需要对患者进行心内造影图像和OCT图像的同步采集。
值得说明的是，心内造影图像和OCT图像的同步采集是一个优选的实施方式，实质上，通过上述融合方法，也可以将非同步采集的造影图像和腔内图像配准、融合，得到融合造影结果，即通过腔内图像的腔内标记在真实空间中的映射点，反向映射至造影图像，确定造影标记的位置，并进一步通过造影标记和腔内标记确定腔内图像信息在造影图像中对应的区域，随后将腔内图像信息融合至所述区域后即可得到融合造影结果。
然而，本实施例中，同步采集的方案中，通过同步采集的造影图像和腔内图像排除了由于心跳、呼吸或者其它因素造成的心内冠状动脉的微小位移和形变，能够使得融合造影结果更为精准，使得配准更为精确。
将对患者进行心内造影图像和OCT图像的同步采集的过程所在的时段记为第一时段(在一些可选的实施方式中，第一时段定义为非同步采集的OCT图像，即腔内图像的采集过程所在的时段)；将对患者执行PCI手术的时段记为第二时段；
则第一时段和第二时段既可以是连续的，也可以是离散间隔的，即心内造影图像和OCT图像的采集，既可以是在PCI手术前采集随后立即用于PCI的手术指导的，也可以是采集后供医生进行细致分析(例如，会诊)后再用于PCI手术指导的。
第一时段中，心内造影图像和OCT图像的采集过程中，既可以实时应用配准方法和/或融合方法，得到融合造影结果，也可以等待采集结束后应用配准方法和/或融合方法，得到融合造影结果。
作为示例而非限定，本实施例中第一时段结束后，即采集结束后，由医生对采集得到的OCT图像进行筛选，排除对PCI手术指导意义较差的OCT图像，得到有效OCT图像作为后续融合的基础之一。
值得说明的是，在本实施例中，有效OCT图像的序号需要被保留，例如第一时段内采集得到了10张OCT图像，其中第2-8张OCT图像对PCI手术的指导意义较差，则保留第1、9、10张OCT图像作为有效OCT图像为第1张有效OCT图像、第9张有效OCT图像以及第10张有效OCT图像，而非第1、2、3张有效OCT图像。保留有效OCT图像的序号信息的目的在于，应用上述配准方法时，间隔造影标记的确定有赖于有效OCT图像的序号。
本实施例中，第一时段结束后，医生还提供了额外的医生标注信息(例如图15示出的支架拟放置位置)作为后续融合的基础之一；
在一个可选的实施方式中，应在第一时段内采集得到的造影图像中，选定一张作为标准造影图像，并在第一时段后，执行上述融合方法和/或配准方法将有效OCT图像和医生标注信息融合至标准造影图像(本实施方式中，记为第一标准造影图像)得到第一融合造影结果。
随后，在第二时段中，仍然针对患者进行实时的造影图像采集，以便医生更为即时的了解患者心内冠状动脉的变化，此时，由于融合造影结果是基于第一标准造影图像给出的，可能存在着由于心跳、呼吸或者其它原因造成的、第一标准造影图像和第二时段内实时采集的造影图像间的血管腔位置差异，即对PCI手术的指导价值受到限制。
故在本实施方式中，第二时段内每实时采集一张造影图像，即将其更新为标准造影图像(本实施方式中，记为第二标准造影图像)，并将第一融合造影结果中的OCT信息和医生标注信息更新至第二标准造影图像上，得到第二融合造影结果。
具体地，本实施方式中，第二融合造影结果的一个可选更新方法为：
利用上述融合方法和/或配准方法中的点云映射步骤，将第一标准造影图像中的点云和第二标准造影图像中的点云映射关系确定；
根据第一标准造影图像中的点云和第二标准造影图像中的点云映射关系，将第一融合造影结果中的OCT信息和医生标注信息，映射至第二标准造影图像的对应点或点云上，得到第二融合造影结果。
在另一个可选的实施方式中，第一时段采集得到的造影图像和OCT图像均作为融合基础，将第二时段采集得到的实时造影图像确定为标准造影图像，(重复)执行上述融合方法和/或配准方法，得到融合造影结果，可以理解，本实施方式中的融合造影结果是一个动态的、实时更新第一时段内的OCT图像信息和医生标注信息至第二时段内实时采集得到的造影图像上的融合造影结果。
更进一步地，上述两个实施方式中，动态的融合造影结果是基于第二时段内每一帧采集得到的造影图像融合得到的，随着造影图像的不断采集，融合造影结果也不断融合得到并显示，则从医生的视角来看，能够根据实时更新的融合造影结果(包括了当前的患者心内冠状动脉情况、第一时段OCT信息以及医生标注信息，其中，以上述支架拟放置位置的医生标注信息为例，动态显示的融合造影结果中医生标注信息的展示方法如图16所示)即时调整手术策略，以达到更好的手术效果。
在一个优选的实施方式中，当造影图像的采集帧率较高，使得执行上述融合方法和/或配准方法所需的时间，大于造影图像相邻帧的间隔时间时(或者，执行点云映射所需的时间，大于造影图像相邻帧的间隔时间时)，动态显示融合造影结果的方案效果可能不尽如人意，在这种情况下，可以间隔设定数量的帧数选取实时采集的造影图像更新为标准造影图像，例如，以3帧为间隔，则第二时段中实时采集的造影图像的第1、4、7、10…帧将被更新为标准造影图像，并执行本实施例方法，以克服上述问题。
对应于上文实施例所述的融合造影方法，图13示出了本申请实施例提供的融合造影装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。参照图13，该装置包括：
图像获取模块1301，用于获取造影图像和腔内图像；
融合模块1302，用于基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
对应于上文实施例所述的腔内图像和造影图像的配准方法，图14示出了本申请实施例提供的腔内图像和造影图像的配准装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。参照图14，该装置包括：
集合获取模块1401，用于获取造影图像集合和腔内图像集合；所述造影图像集合包括第一造影图像和第二造影图像；
端匹配模块1402，用于在所述腔内图像集合中，确定腔内标记与所述第一造影图像的造影标记一一对应的腔内图像为第一腔内图像，确定腔内标记与所述第二造影图像的造影标记一一对应的腔内图像为第二腔内图像；所述腔内图像集合包括至少一个间隔腔内图像；所述间隔腔内图像为采集时刻在间隔时段内的腔内图像；所述间隔时段是指所述第一腔内图像的采集时刻和所述第二腔内图像的采集时刻之间的时段；
间隔匹配模块1403，用于确定标记路径的间隔造影标记，并基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准；所述标记路径为所述标准造影图像上，所述第一造影图像的造影标记对应的位置与所述第二造影图像的造影标记对应的位置之间的路径；
所述间隔造影标记两侧的标记路径长度比与所述间隔腔内图像的采集时刻两侧的间隔时段长度比相同；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种终端设备15，该终端设备15包括：至少一个处理器1501、存储器1502以及存储在所述存储器中并可在所述至少一个处理器1501上运行的计算机程序1503，所述处理器1501执行所述计算机程序1503时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (12)

1.一种融合造影方法，其特征在于，包括：
获取造影图像和腔内图像；
基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
2.如权利要求1所述的融合造影方法，其特征在于：
所述融合造影结果是将所述腔内图像信息显示在所述造影图像上的结果；或者，
所述造影标记为所述造影图像中，所述腔内图像采集设备上的设定点和/或设定区域；所述腔内标记为用于确定腔内图像采集视角的，所述腔内图像采集设备上的设定点和/或设定区域；或者，
所述造影图像和所述腔内图像均为针对血管腔体获取的；所述融合造影结果包括以所述腔内图像为输入，运行血管模型得到的血管信息；所述血管模型是基于血管样本和血管标签训练得到的语义分割模型；所述血管信息包括血管钙化信息、血管内支架信息以及血管管腔截面积信息中的任一者或任多者组合；或者，
所述造影图像和所述腔内图像均为针对血管腔体获取的；所述融合造影结果还包括自所述腔内图像上提取得到的冠状动脉血流储备分数和/或腔内影像光衰指数。
3.如权利要求1或2所述的融合造影方法，其特征在于：
所述基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果的步骤包括：
根据所述腔内图像和所述腔内图像的腔内标记，确定所述腔内图像的采集视角；
根据造影标记和腔内标记的对应关系，确定所述腔内图像的采集视角在所述造影图像上的采集区域；
将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果；
或者，所述造影图像为标准造影图像；所述将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果的步骤包括：
针对待映射集合，计算图像点云间的映射关系；所述待映射集合包括所述标准造影图像和非标造影图像；所述非标造影图像是指一个或多个非所述标准造影图像的设定造影图像；
根据所述映射关系，在标准造影图像中确定所述非标造影图像的造影标记位置；
根据第i个所述非标造影图像的造影标记与第i个所述腔内图像的腔内标记的对应关系和第i个所述非标造影图像的造影标记在所述标准造影图像上的位置，确定第i个所述腔内图像的采集视角在所述标准造影图像上对应的第i个采集区域；其中，i为不大于所述非标造影图像数量的正整数；第i个所述腔内图像的腔内标记与第i个所述非标造影图像的造影标记具有对应关系；
针对i的所有可选取值，将第i个所述腔内图像上的信息与所述标准造影图像上的第i个采集区域的信息融合，得到融合造影结果；
或者，在所述针对待映射集合，计算图像点云间的映射关系的步骤前，还包括：
实时采集术中造影图像得到第j帧术中造影图像，并将所述第j帧术中造影图像确定为标准造影图像；其中，j为正整数；
在所述针对i的所有可选取值，将第i个所述腔内图像上的信息与所述标准造影图像上的第i个采集区域的信息融合，得到融合造影结果的步骤后，还包括：
实时采集术中造影图像得到第j+k帧术中造影图像，并将所述第j+k帧术中造影图像确定为标准造影图像；其中，k为设定的间隔帧数；
重复执行所述将所述腔内图像上的信息与所述采集区域的信息融合，得到融合造影结果的步骤；
或者，在所述基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果的步骤后，还包括：
在设定的图像显示设备上展示所述融合造影结果中的造影图像；
或者，在所述在设定的图像显示设备上展示所述融合造影结果中的造影图像的步骤后，还包括：
确定接收到第一指令，则根据所述第一指令中的信息类型，在所述图像显示设备展示图像的基础上，叠加显示所述血管钙化信息、所述血管内支架信息以及所述血管管腔截面积信息中的任一者或任多者组合；
确定接收到第二指令，则根据所述第二指令中的信息类型，在所述图像显示设备展示图像的基础上，叠加显示所述冠状动脉血流储备分数和/或腔内影像光衰指数。
4.一种腔内图像和造影图像的配准方法，其特征在于，包括：
获取造影图像集合和腔内图像集合；所述造影图像集合包括第一造影图像和第二造影图像；
在所述腔内图像集合中，确定腔内标记与所述第一造影图像的造影标记一一对应的腔内图像为第一腔内图像，确定腔内标记与所述第二造影图像的造影标记一一对应的腔内图像为第二腔内图像；所述腔内图像集合包括至少一个间隔腔内图像；所述间隔腔内图像为采集时刻在间隔时段内的腔内图像；所述间隔时段是指所述第一腔内图像的采集时刻和所述第二腔内图像的采集时刻之间的时段；
确定标记路径的间隔造影标记，并基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准；所述标记路径为所述标准造影图像上，所述第一造影图像的造影标记对应的位置与所述第二造影图像的造影标记对应的位置之间的路径；
所述间隔造影标记两侧的标记路径长度比与所述间隔腔内图像的采集时刻两侧的间隔时段长度比相同；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
5.如权利要求4所述的腔内图像和造影图像的配准方法，其特征在于，所述基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准的步骤包括：
针对待映射集合，计算图像点云间的映射关系；所述待映射集合包括所述第一造影图像、所述第二造影图像以及所述标准造影图像；
根据所述映射关系，在标准造影图像中确定所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置；
在所述标准造影图像中，根据所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置确定所述标记路径。
6.如权利要求5所述的腔内图像和造影图像的配准方法，其特征在于：
所述针对待映射集合，计算图像点云间的映射关系的步骤包括：
针对待映射集合，基于ICP算法执行点云匹配，从而得到所述待映射集合中任意两帧造影图像点云间的映射关系；
或者，所述在所述标准造影图像中，根据所述第一造影图像的造影标记位置和所述第二造影图像的造影标记位置确定所述标记路径的步骤包括：
将所述标准造影图像输入腔体模型，得到所述标准造影图像中的腔体像素集合；所述腔体模型是以腔体样本和标签训练得到的，以腔体造影图像为输入获得腔体像素集合的模型；
在所述标准造影图像中，以所述造影图像集合中第一帧造影图像上的造影标记位置为源点，所述造影图像集合中最后一帧造影图像上的造影标记位置为终点，以所述腔体像素集合为约束，运行最短路径模型，得到标记路径；
所述最短路径模型是以源点和终点为输入，得到所述源点和所终点间最短路径的模型。
7.如权利要求6所述的腔内图像和造影图像的配准方法，其特征在于：
所述最短路径模型是基于Dijkstra算法的模型；或者，
所述腔体模型是基于Swin-Unet网络训练得到的模型；或者，
所述腔体模型的训练损失函数为GDL Loss函数。
8.如权利要求4至7中任一项所述的腔内图像和造影图像的配准方法，其特征在于，所述造影标记为所述造影图像中，所述腔内图像采集设备上的设定点和/或设定区域；所述腔内标记为用于确定腔内图像采集视角的，所述腔内图像采集设备上的设定点和/或设定区域。
9.一种融合造影装置，其特征在于，包括：
图像获取模块，用于获取造影图像和腔内图像；
融合模块，用于基于造影标记和腔内标记的对应关系，融合所述造影图像和所述腔内图像，得到融合造影结果；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
10.一种腔内图像和造影图像的配准装置，其特征在于，包括：
集合获取模块，用于获取造影图像集合和腔内图像集合；所述造影图像集合包括第一造影图像和第二造影图像；
端匹配模块，用于在所述腔内图像集合中，确定腔内标记与所述第一造影图像的造影标记一一对应的腔内图像为第一腔内图像，确定腔内标记与所述第二造影图像的造影标记一一对应的腔内图像为第二腔内图像；所述腔内图像集合包括至少一个间隔腔内图像；所述间隔腔内图像为采集时刻在间隔时段内的腔内图像；所述间隔时段是指所述第一腔内图像的采集时刻和所述第二腔内图像的采集时刻之间的时段；
间隔匹配模块，用于确定标记路径的间隔造影标记，并基于一一对应的所述间隔腔内图像的腔内标记和所述间隔造影标记，将所述间隔腔内图像的信息和设定的标准造影图像的信息配准；所述标记路径为所述标准造影图像上，所述第一造影图像的造影标记对应的位置与所述第二造影图像的造影标记对应的位置之间的路径；
所述间隔造影标记两侧的标记路径长度比与所述间隔腔内图像的采集时刻两侧的间隔时段长度比相同；
所述造影标记为所述造影图像上的设定点和/或设定区域；
所述腔内标记为：
所述腔内图像上的设定点和/或设定区域；或者，
所述腔内图像采集设备上的设定点和/或设定区域；
具有对应关系的所述造影标记和所述腔内标记能够映射至真实空间的同一点和/或同一区域。
11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的融合造影方法或者如权利要求4至8中任一项所述的腔内图像和造影图像的配准方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的融合造影方法或者如权利要求4至8中任一项所述的腔内图像和造影图像的配准方法。
CN202210821794.2A 2022-07-13 2022-07-13 融合造影方法、腔内图像和造影图像的配准方法及装置 Pending CN115359100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210821794.2A CN115359100A (zh) 2022-07-13 2022-07-13 融合造影方法、腔内图像和造影图像的配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210821794.2A CN115359100A (zh) 2022-07-13 2022-07-13 融合造影方法、腔内图像和造影图像的配准方法及装置

Publications (1)

Publication Number Publication Date
CN115359100A true CN115359100A (zh) 2022-11-18

Family

ID=84031687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210821794.2A Pending CN115359100A (zh) 2022-07-13 2022-07-13 融合造影方法、腔内图像和造影图像的配准方法及装置

Country Status (1)

Country Link
CN (1) CN115359100A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117224348A (zh) * 2023-11-16 2023-12-15 北京唯迈医疗设备有限公司 一种基于介入造影手术的自动调整造影位置的方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117224348A (zh) * 2023-11-16 2023-12-15 北京唯迈医疗设备有限公司 一种基于介入造影手术的自动调整造影位置的方法及系统
CN117224348B (zh) * 2023-11-16 2024-02-06 北京唯迈医疗设备有限公司 一种自动调整造影位置的系统

Similar Documents

Publication Publication Date Title
EP3659114B1 (en) Evaluating cardiac motion using an angiography image
JP5129480B2 (ja) 管状臓器の３次元再構成を行うシステム及び血管撮像装置の作動方法
JP6894896B2 (ja) Ｘ線画像特徴検出および位置合わせのシステムおよび方法
Reiber et al. Quantitative coronary arteriography
RU2549141C2 (ru) Формирование данных объекта
US8126241B2 (en) Method and apparatus for positioning a device in a tubular organ
JP6388632B2 (ja) プロセッサ装置の作動方法
US8165360B2 (en) X-ray identification of interventional tools
RU2627147C2 (ru) Отображение в реальном времени видов сосудистой сети для оптимального перемещения устройства
JP2022517581A (ja) 冠動脈の動的ロードマップを提供するための方法およびシステム
US10229516B2 (en) Method and apparatus to improve a 3D + time reconstruction
US20060257006A1 (en) Device and method for combined display of angiograms and current x-ray images
US20060036167A1 (en) Vascular image processing
JP2016507304A (ja) 物体を検出及び追跡するとともに重ね合わせるシステム
JP2015515913A (ja) 管腔の線形マッピングのための方法
US20160066795A1 (en) Stenosis therapy planning
US10433797B2 (en) Systems and methods for ultra low dose CT fluoroscopy
US10362943B2 (en) Dynamic overlay of anatomy from angiography to fluoroscopy
JP6100603B2 (ja) 医用画像撮影解析装置
JP2022079550A (ja) プロセッサ装置の作動方法
CN115359100A (zh) 融合造影方法、腔内图像和造影图像的配准方法及装置
CN114937100A (zh) 一种冠状动脉路径图的生成方法、装置、可读存储介质
US20230306620A1 (en) Live Angiography Registration
EP3721412A1 (en) Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
JP6726714B2 (ja) 血管内プローブマーカを検出するためのシステムの作動方法、及び血管造影データと、血管に関して取得された血管内データとを重ね合わせ登録するためのシステムの作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination