CN111462083A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111462083A
CN111462083A CN202010245796.2A CN202010245796A CN111462083A CN 111462083 A CN111462083 A CN 111462083A CN 202010245796 A CN202010245796 A CN 202010245796A CN 111462083 A CN111462083 A CN 111462083A
Authority
CN
China
Prior art keywords
image
stent
marker
markers
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010245796.2A
Other languages
English (en)
Other versions
CN111462083B (zh
Inventor
吴承暘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Beijing Neusoft Medical Equipment Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Beijing Neusoft Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd, Beijing Neusoft Medical Equipment Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN202010245796.2A priority Critical patent/CN111462083B/zh
Publication of CN111462083A publication Critical patent/CN111462083A/zh
Application granted granted Critical
Publication of CN111462083B publication Critical patent/CN111462083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种图像处理方法、装置、电子设备及存储介质，所述方法包括下述步骤：获取第一图像内的第一支架标记物的信息，其中，所述第一图像为血管剪影图像序列中的一帧；获取第二图像内的第二支架标记物的信息，其中，所述第二图像为血管减影图像序列中所述第一图像之前的一帧或多帧图像；根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，其中，每个支架标记物组合包括一个第一支架标记物和一个对应的第二支架标记物；根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获取目标图像。能够追踪到第一图像内的支架标记物并将第一图像配准至提二图像，通过多帧图像能够增加支架图像的信噪比。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及医疗设备技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
数字减影血管造影设备是一种新的X线成像系统，是针对临床精准治疗，引导介入手术的最常用设备之一。与CT、MRI的单一诊察功能不同的是，其通常应用于介入手术中的手术工具的定位、血管增强显影等，是一种临床诊疗设备；与X射线诊断系统相同，其通过球管产生X射线照射并穿透人体，通过人体密度与厚度的差异来显示人体内部组织结构信息，然后，在球管另一侧的探测器通过将X射线转换为可见光后转换为电流或直接转换为电信号，对到达探测器上的X射线强度进行记录并显示到屏幕上。对于介入科医生来说，在支架置入后，医生通常需要观察支架放置状况和支架与血管壁贴合情况，以确定支架是否正确部署，避免因部署不准确导致血管再狭窄和晚期血栓形成。然而目前的DSA设备所成的图像中，支架并不总是清晰的。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质。
具体地，本公开是通过如下技术方案实现的：
第一方面，提供一种图像处理方法，所述方法包括下述步骤：
获取第一图像内的第一支架标记物的信息，其中，所述第一图像为血管剪影图像序列中的一帧；
获取第二图像内的第二支架标记物的信息，其中，所述第二图像为血管减影图像序列中所述第一图像之前的一帧或多帧图像；
根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，其中，每个支架标记物组合包括一个第一支架标记物和一个对应的第二支架标记物；
根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获取目标图像。
可选的，所述获取第一图像内的第一支架标记物的信息，包括：
将所述第一图像输入至预先训练的第一神经网络中，输出多个支架标记物的位置信息及对应的概率；
响应于所述支架标记物的位置信息对应的概率大于预设的概率阈值，确定所述支架标记物的位置信息为第一支架标记物的信息。
可选的，还包括：
获取第一输入图像和第二输入图像；
通过对所述第一输入图像内的支架标注第一真实值，获得第一样本图像，并且通过对所述第二输入图像内的支架标注第二真实值，获得第二样本图像；
将所述第一输入图像输入至所述第一神经网络中，输出所述第一输入图像对应的支架标记物的位置信息；
根据所述第一输入图像对应的支架标记物的位置信息和所述第一真实值确定第一网络损失；
基于所述第一网络损失，对所述第一神经网络的网络参数进行调整；
将所述第二输入图像输入至网络参数经过调整的第一神经网络中，输出所述第二输入图像对应的支架标记物的位置信息；
根据所述第二真实值确定所述第二输入图像对应的支架标记物的位置信息的样本概率，并对所述位置信息进行标记；
将所述第二输入图像输入至第一神经网络，输出所述第二输入图像对应的支架标记物的位置信息及对应的概率；
根据所述样本概率和所述输出的对应的概率确定第二网络损失；
基于所述第二网络损失，对所述第一神经网络的参数再次进行调整。
可选的，所述根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，包括：
获取所述第二图像内的每个第二支架标记物对应的第二感兴趣区；
根据每个所述第二感兴趣区确定在所述第一图像中对应的第一感兴趣区；
获取所述第一感兴趣区内的第一支架标记物；
确定相似度最高的第一支架标记物和第二支架标记物，并形成支架标记物组合。
可选的，所述确定相似度最高的第一支架标记物和第二支架标记物形成支架标记物组合，包括：
利用预先训练的第二神经网络获取所述第二支架标记物的特征矩阵以及所述第一感兴趣区内的每个第一支架标记物的特征矩阵；
计算每个第一支架标记物的特征矩阵与第二支架标记物的特征矩阵的统计学误差；
确定所述统计学误差最小的第一支架标记物和第二支架标记物形成支架标记物组合。
可选的，还包括：
根据所述第一支架标记物的信息和所述第二支架标记物的信息，计算每个所述第一支架标记物与每个所述第二支架标记物的距离；
响应于所述第一支架标记物与每个所述第二支架标记物间的距离均大于预设的距离阈值，删除所述第一支架标记物。
可选的，所述根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获得目标图像，包括：
将第一图像和支架标记物组合输入至预先训练的第三神经网络中，输出第一图像对应的配准后图像；
将所述第一图像对应的配准后的图像和对应的第二图像进行叠加，得到所述第一图像对应的时间整合图像。
可选的，还包括：
获取第三样本图像，其中，所述第三样本图像内标注有支架的位置的第三真实值；
获取第三输入图像，其中，所述第三输入图像内的支架的位置相对于所述第三样本图像内的支架的位置发生移动；
获取所述第三输入图像与所述第三样本图像间的支架标记物组合；
将所述第三输入图像及支架标记物组合输入所述第三神经网络中，输出第三输入图像对应的配准后的图像；
根据所述配准后的图像和第三真实值确定第三网络损失；
基于所述第三网络损失，对所述第三神经网络的网络参数进行调整。
可选的，还包括：
将第一图像对应的时间整合图像输入至第四神经网络中，输出第一图像对应的增强图像。
可选的，还包括：
获取第四样本图像，所述第四样本图像标注有每个像素的真实值；
获取第四输入图像，其中，获取所述第四样本图像时的球管的焦点小于获取所述第四输入图像时的球管的焦点；
将所述第四输入图像输入至所述第四神经网络中，输出第四输入图像对应的每个像素的预测值；
根据所述每个像素的预测值和所述每个像素的真实值确定第四网络损失；
基于所述第四网络损失，对所述第四神经网络的网络参数进行调整。
第二方面，提供一种图像处理装置，所述装置包括：
第一获取模块，用于获取第一图像内的第一支架标记物的信息，其中，所述第一图像为血管剪影图像序列中的一帧；
第二获取模块，用于获取第二图像内的第二支架标记物的信息，其中，所述第二图像为血管减影图像序列中所述第一图像之前的一帧或多帧图像；
组合模块，用于根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，其中，每个支架标记物组合包括一个第一支架标记物和一个对应的第二支架标记物；
目标模块，用于根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获取目标图像。
可选的，所述第一获取模块具体用于：
将所述第一图像输入至预先训练的第一神经网络中，输出多个支架标记物的位置信息及对应的概率；
响应于所述支架标记物的位置信息对应的概率大于预设的概率阈值，确定所述支架标记物的位置信息为第一支架标记物的信息。
可选的，还包括第一训练模块，所述第一训练模块用于：
获取第一输入图像和第二输入图像；
通过对所述第一输入图像内的支架标注第一真实值，获得第一样本图像，并且通过对所述第二输入图像内的支架标注第二真实值，获得第二样本图像；
将所述第一输入图像输入至所述第一神经网络中，输出所述第一输入图像对应的支架标记物的位置信息；
根据所述第一输入图像对应的支架标记物的位置信息和所述第一真实值像确定第一网络损失；
基于所述第一网络损失，对所述第一神经网络的网络参数进行调整；
将所述第二输入图像输入至网络参数经过调整的第一神经网络中，输出所述第二输入图像对应的支架标记物的位置信息；
根据所述第二真实值确定所述第二输入图像对应的支架标记物的位置信息的样本概率，并对所述位置信息进行标记；
将所述第二输入图像输入至第一神经网络，输出所述第二输入图像对应的支架标记物的位置信息及对应的概率；
根据所述样本概率和所述输出的对应的概率确定第二网络损失；
基于所述第二网络损失，对所述第一神经网络的参数再次进行调整。
可选的，所述组合模块包括：
第一获取单元，用于获取所述第二图像内的每个第二支架标记物对应的第二感兴趣区；
对应单元，用于根据每个所述第二感兴趣区确定在所述第一图像中对应的第一感兴趣区；
第二获取单元，用于获取所述第一感兴趣区内的第一支架标记物；
确定单元，用于确定相似度最高的第一支架标记物和第二支架标记物，并形成支架标记物组合。
可选的，所述确定单元具体用于：
利用预先训练的第二神经网络获取所述第二支架标记物的特征矩阵以及所述第一感兴趣区内的每个第一支架标记物的特征矩阵；
计算每个第一支架标记物的特征矩阵与第二支架标记物的特征矩阵的统计学误差；
确定所述统计学误差最小的第一支架标记物和第二支架标记物形成支架标记物组合。
可选的，还包括筛选模块，所述筛选模块用于：
根据所述第一支架标记物的信息和所述第二支架标记物的信息，计算每个所述第一支架标记物与每个所述第二支架标记物的距离；
响应于所述第一支架标记物与每个所述第二支架标记物间的距离均大于预设的距离阈值，删除所述第一支架标记物。
可选的，所述目标模块具体用于：
将第一图像和支架标记物组合输入至预先训练的第三神经网络中，输出第一图像对应的配准后图像；
将所述第一图像对应的配准后的图像和对应的第二图像进行叠加，得到所述第一图像对应的时间整合图像。
可选的，还包括第二训练模块，所述第二训练模块用于：
获取第三样本图像，其中，所述第三样本图像内标注有支架的位置的第三真实值；
获取第三输入图像，其中，所述第三输入图像内的支架的位置相对于所述第三样本图像内的支架的位置发生移动；
获取所述第三输入图像与所述第三样本图像间的支架标记物组合；
将所述第三输入图像及支架标记物组合输入所述第三神经网络中，输出第三输入图像对应的配准后的图像；
根据所述配准后的图像和第三真实值确定第三网络损失；
基于所述第三网络损失，对所述第三神经网络的网络参数进行调整。
可选的，所述目标模块还具体用于：
将第一图像对应的时间整合图像输入至第四神经网络中，输出第一图像对应的增强图像。
可选的，还包括第三训练模块，所述第三训练模块用于：
获取第四样本图像，所述第四样本图像标注有每个像素的真实值；
获取第四输入图像，其中，获取所述第四样本图像时的球管的焦点小于获取所述第四输入图像时的球管的焦点；
将所述第四输入图像输入至所述第四神经网络中，输出第四输入图像对应的每个像素的预测值；
根据所述每个像素的预测值和所述每个像素的真实值确定第四网络损失；
基于所述第四网络损失，对所述第四神经网络的网络参数进行调整。
第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于如任一项上述的方法进行图像处理。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如任一项上述的方法。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中的图像处理方法，通过获取第一图像和第二图像内的支架标记物的信息，并据此确定支架标记物组合，进而利用支架标记物组合将第一图像配准至第二图像内，获取目标图像；由于第二图像为第一图像前的一帧或多帧图像，因此能够追踪到第一图像内的支架标记物并将第一图像配准至提二图像，通过多帧图像能够增加支架图像的信噪比，使支架更清晰，即达到了支架增强显影的目的，便于医生观察支架放置状况和支架与血管壁的贴合情况，确认支架的部署情况，提高了诊断和治疗的质量和准确性。
附图说明
图1是本公开一示例性实施例示出的图像处理方法的流程图；
图2是本公开一示例性实施例示出的获取第一图像内的第一支架标记物的信息的方法的流程图；
图3是本公开一示例性实施例示出的第一神经网络的原理示意图；
图4是本公开一示例性实施例示出的获取训练集以及训练第一神经网络的方法的流程图；
图5是本公开一示例性实施例示出的确定支架标记物组合的方法的流程图；
图6是本公开一示例性实施例示出的确定支架标记物组合的原理示意图；
图7是本公开一示例性实施例示出的进一步筛选第一支架标记物的方法的流程图；
图8是本公开一示例性实施例示出的时间整合的方法的流程图；
图9是本公开一示例性实施例示出的训练第三神经网络的方法的流程图；
图10是本公开一示例性实施例示出的训练第四神经网络的方法的流程图；
图11是本公开一示例性实施例示出的图像处理装置的结构示意图；
图12是本公开一示例性实施例示出的设备的硬件示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
数字减影血管造影设备是一种新的X线成像系统，是针对临床精准治疗，引导介入手术的最常用设备之一。与CT、MRI的单一诊察功能不同的是，其通常应用于介入手术中的手术工具的定位、血管增强显影等，是一种临床诊疗设备；与X射线诊断系统相同，其通过球管产生X射线照射并穿透人体，通过人体密度与厚度的差异来显示人体内部组织结构信息，然后，在球管另一侧的探测器通过将X射线转换为可见光后转换为电流或直接转换为电信号，对到达探测器上的X射线强度进行记录并显示到屏幕上。通常，在心脑血管的诊察中，数字血管造影设备不仅能够清楚地显示出病变区域，也可以对病变范围与严重程度进行了解，对于血管的狭窄、闭塞、脑出血等疾病均具有直接清晰的反映。而且，数字血管造影也应用在动脉瘤、血管畸形、肝肾动脉血管显影与栓塞等疾病诊断与治疗方案中。对于介入科医生来说，在支架置入后，医生通常需要观察支架放置状况和支架与血管壁贴合情况，以确定支架是否正确部署，避免因部署不准确导致血管再狭窄和晚期血栓形成。然而目前的DSA设备所成的图像中，支架并不总是清晰的。
清晰的支架是医生评估血管及支架放置位置的关键，因而要针对支架在DSA图像中进行增强，以便于帮助介入科医生对于支架放置位置的评估。由于噪声、剂量以及探测器尺寸的原因，采用物理方式增加支架的清晰度难度较高，工艺提升、剂量提升会带来一定的成本和副作用。
基于此，请参照附图1，本公开提供了一种图像处理方法，所述方法包括步骤S101至S104：
在步骤S101中，获取第一图像内的第一支架标记物的信息，其中，所述第一图像为血管剪影图像序列中的一帧。
在本步骤中，第一图像即为血管剪影图像序列中的当前帧，通过神经网络获取第一图像内的第一支架标记物的信息，其中的第一支架标记物的信息为第一支架标记物在第一图像内的位置信息。
在步骤S102中，获取第二图像内的第二支架标记物的信息，其中，所述第二图像为血管减影图像序列中所述第一图像之前的一帧或多帧图像。
在本步骤中，第二图像即为血管剪影图像序列中的当前帧图像之前的一帧或多帧图像，其中的一帧或多帧图像可以为已经配准的图像，也可以为未被配准的图像。
在步骤S103中，根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，其中，每个支架标记物组合包括一个第一支架标记物和一个对应的第二支架标记物。
在本步骤中，当第二图像为前一帧图像时，在第一图像内寻找与前一帧图像内的每个第二支架标记物对应的第一支架标记物，并将对应的第一支架标记物与第二支架标记物组成支架标记物组合；当第二图像为前多帧图像时，以前N帧图像为例说明对每帧图像执行的操作：在第一图像内寻找与前N帧图像内的每个第二支架标记物对应的第一支架标记物，并将对应的第一支架标记物与第二支架标记物组成支架标记物组合。
在步骤104中，根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获取目标图像。
本步骤中，支架标记物组合首先按照形成主体可以分为一组主体或多组主体，即当第二图像为前一帧图像时，则支架标记物组合分为一组主体，即包括第一图像(当前帧图像)和前一帧图像，当第二图像为前多帧图像时，则支架标记物组合分为多组主体，每组主体均包括前面的一帧图像和第一图像。每组主体间形成一个或多个支架标记物组合。
在一个示例中，第二图像为前一帧图像，且血管剪影图像序列中的每帧图像内均包括一个支架，每个支架包括两个支架标记物，因此在当前帧图像和前一阵图像间形成两个支架标记物组合，前一帧图像内的一个第二支架标记物与当前帧图像内的对应第一支架标记物形成一个组合，前一帧图像内的另一个第二支架标记物与当前帧图像内的对应第一支架标记物形成另一个组合。其中的支架标记物是为了定位支架与血管的相对位置，在支架两端安装的两个遮挡射线的标记物(或称为基准物、基准点)，能用来定位支架的感兴趣区域；所述标记物的遮挡射线的性能较强，基本不允许射线透过。
在本实施例中，血管剪影图像序列中的每帧图像内均包括相等的支架，每个支架均包括相等的标记物，且支架在相邻帧之间的移动通常较小，并且支架通常只在一定的感兴趣区域附近移动，每帧图像内至少包括一个支架，即至少包括两个支架标记物，通过将至少两个支架标记物进行配准，即可精确完成第一图像和第二图像间的配准(由于每张图像均依次作为第一图像被处理，因此当第二图像为多帧图像时，第一图像分别和前每帧图像进行配准)，配准后即可进行显影增强，例如进行时间整合等操作。
本实施例中的成像方法，能够追踪到第一图像内的支架标记物并将第一图像配准至提二图像，通过多帧图像能够增加支架图像的信噪比，使支架更清晰，即达到了支架增强显影的目的，便于医生观察支架放置状况和支架与血管壁的贴合情况，确认支架的部署情况，提高了诊断和治疗的质量和准确性。
请参照附图2，其示出了在本公开的一些实施例中，获取第一图像内的第一支架标记物的信息的方法，包括步骤S201和S202。
在步骤S201中，将所述第一图像输入至预先训练的第一神经网络中，输出多个支架标记物的位置信息及对应的概率。
其中，第一神经网络可以选择卷积、批归一化或激活函数作为提取中间层特征的网络，第一神经网络能够提取输入至其中的图像的支架标记物位置信息、感兴趣区域大小、支架中心坐标值以及位置信息处为支架标记物的概率。
在一个示例中，请参照附图3，其示出了第一图像301输入至第一神经网络302内后，输出了三个支架标记物的位置信息和对应的概率(三个位置的概率分别为0.95、0.2和0.85)，位置信息不仅显示在第一图像301上，而且还输出了对应的坐标信息。其中的坐标信息以第一图像301的一个顶点为原点O，以相交于该顶点处的两条边分别作为X轴和Y轴，从而形成一个XOY二维坐标系，第一图像301内的每个像素点均具有独一无二的坐标。
在步骤S202中，响应于所述支架标记物的位置信息对应的概率大于预设的概率阈值，确定所述支架标记物的位置信息为第一支架标记物的信息。
在本步骤中，第一神经网络输出的第一支架标记物的位置信息为定位标记物，第一神经网络输出的位置信息对应的概率为筛选上述位置是否为定位标记物，具体的是通过设置概率阈值进行筛选，也就是分别比较每个位置信息的概率和概率阈值，保留概率大于概率阈值的位置信息，删除概率小于或等于概率阈值的位置信息。
在一个示例中，请继续参照附图3，对其中的第一神经网络302所输出的三个位置信息进行筛选，例如设置概率阈值为0.5，则删除概率为0.2对应的位置信息，保留概率为0.95和0.85的两个位置信息。
请参照附图4，在本公开的一些实施例中，示例性的示出了获取训练集以及训练第一神经网络的方法，包括步骤S401至S410。
在步骤S401中，获取第一输入图像和第二输入图像。
其中获取第一输入图像为获取多个第一输入图像，每个第一输入图像内均包括至少一个支架，每个支架包括至少一个支架标记物；其中获取第二输入图像为获取多个第二输入图像，每个第二输入图像内均包括至少一个支架，每个支架包括至少一个支架标记物。其中的第一输入图像作为第一神经网络第一阶段训练的训练集，也就是训练第一神经网络提取图像内的支架标记物的位置信息；其中的第二输入图像作为第一神经网络第二阶段训练的训练集，也就是训练第二神经网络提取图像内的位置信息对应的概率。
在一个示例中，通过数字减影血管造影设备获取多张第一输入图像和第二输入图像。
在步骤S402中，通过对所述第一输入图像内的支架标注第一真实值，获得第一样本图像，并且通过对所述第二输入图像内的支架标注第二真实值，获得第二样本图像。
在本步骤中，可以采用手动标记的方式对支架标记物进行标记，所标记的支架标记物的位置信息正是希望第一神经网络能够输出的，即第一真实值，同样可以采用手动标记的方式对支架标记物进行标记，所标记的支架标记物的位置信息即第二真实值。
在步骤S403中，将所述第一输入图像输入至所述第一神经网络中，输出所述第一输入图像对应的支架标记物的位置信息。
其中的第一神经网络能够输出支架标记物位置信息、感兴趣区域大小、支架中心坐标值以及位置信息处为支架标记物的概率，在本步骤中令第一神经网络仅输出支架标记物的位置信息，以作为输出值。
在步骤S404中，根据所述第一输入图像对应的支架标记物的位置信息和所述第一真实值确定第一网络损失。
其中，第一神经网络提取的支架标记物的位置信息为输出值，通过输出值和真实值能够得到对应的网络损失。
在一个示例中，通过交叉熵损失函数计算第一网络损失。
在步骤S405中，基于所述第一网络损失，对所述第一神经网络的网络参数进行调整。
在一个示例中，可以通过反向梯度传播算法对第一神经网络的网络参数进行调整。
在步骤S406中，将所述第二输入图像输入至网络参数经过调整的第一神经网络中，输出所述第二输入图像对应的支架标记物的位置信息。
在本步骤中，第一神经网络经过S401至S405五个步骤的训练，已经能够输出支架标记物的位置信息，输入第二输入图像，输出对应的支架标记物位置信息既是第一阶段训练结果的使用，同时也是第二阶段训练的训练集搭建的开始。
在步骤S407中，根据所述第二真实值确定所述第二输入图像对应的支架标记物的位置信息的样本概率，并对所述位置信息进行标记。
在本步骤中，第二样本图像上手动标记了第二输入图像的支架标记物，也就是具有第二输入图像对应的支架标记物的位置信息的真实值，通过对比第二样本图像上显示的支架标记物的位置信息和第一神经网络输出的第二输出图像对应的支架标记物的位置信息，能够确定第一神经网络输出的每个位置信息是否为真值，如为真值，则确定此位置信息对应的概率为1，若非真值，则确定此位置对应的概率为0，即当第一神经网络输出的位置信息能够在第二样本图像上找到对应的位置信息，则确定此位置信息对应的概率为1，当第一神经网络输出的位置信息不能在第二样本图像上找到对应的位置信息，则确定此位置信息对应的概率为0。上述通过直接对比输出值和真实值所确定的概率，即为各位置信息对应的概率的真实值，即样本概率。
在步骤S408中，将所述第二输入图像输入至第一神经网络，输出所述第二输入图像对应的支架标记物的位置信息及对应的概率。
其中的第一神经网络能够输出支架标记物位置信息、感兴趣区域大小、支架中心坐标值以及位置信息处为支架标记物的概率，在本步骤中令第一神经网络仅输出支架标记物的位置信息及对应的概率，以作为输出值。
在步骤S409中，根据所述样本概率和所述输出的对应的概率确定第二网络损失。
在一个示例中，通过交叉熵损失函数计算第二网络损失。
在步骤S410中，基于所述第二网络损失，对所述第一神经网络的参数再次进行调整。
在一个示例中，可以通过反向梯度传播算法对第一神经网络的网络参数进行再次调整。
经过步骤S401至步骤S410的训练，第一神经网络能够提取输入至其中的第一图像的支架标记物的位置信息和对应概率，并输出出来。
人眼判断支架的标记物不仅凭借着对标记物特征的判断，也需要以相邻帧之间的相似程度与相对位置作为信息进行判断。如图3所示，当输入的帧数>1时，即前帧已经检出标记物信息时，若部分标记物附近有多个输出点且有些输出点为错误检出的标记物，即需要判断前帧图像的标记物与当前帧图像的标记物的对应关系。通常，标记物在帧间的距离不会超过一定像素距离，因此，可采用深度学习网络判断前帧周围附近的标记物并一一获取其相似度，然后找到最匹配的一个标记物，进行组合。
请参照附图5，在本公开的一些实施例中，示例性的示出了确定支架标记物组合的方法，包括步骤S501至S504。
在步骤S501中，获取所述第二图像内的每个第二支架标记物对应的第二感兴趣区。
其中，第二感兴趣区可以根据第二支架标记物的面积和活动范围确定，且第二支架标记物位于第二感兴趣区的正中心。
在一个示例中，设置第二感兴趣区为20*20像素大小。
在步骤S502中，根据每个所述第二感兴趣区确定在所述第一图像中对应的第一感兴趣区；
其中，所述第二感兴趣区在所述第二图像上的位置与对应的所述第一感兴趣区在所述第一图像上的位置相同。其中，第二图像与第一图像的大小、形状相同，第二图像上具有与第一图像上相同的二维坐标，确定第一感兴趣区时，首先获取第二感兴趣区在第二图像上的坐标信息，然后在第一图像上获取相同坐标的区域作为第一感兴趣区；第一图像上的第一支架标记物相对于第二图像上对应的第二支架标记物，位置可能会发生移动，但移动的距离有限，不会超出感兴趣区，因此通过第二图像上的第二感兴趣区对应到第一图像上的第一感兴趣区，能够准确的追踪到第一支架标记物，减少了追踪定位的复杂程度，降低了运算负荷。
在步骤S503中，获取所述第一感兴趣区内的第一支架标记物。
在本步骤中，由于第一图像内的第一支架标记物相对于地二图像内的第二支架标记物发生的移动，但是并未能够超出第一感兴趣区的范围，因此于第一感兴趣区内能够获取到对应的第一支架标记物，但是由于上述的移动，以及第一支架标记物的信息获取过程中的误差，因此在第一感兴趣区内可能会获取到多个第一支架标记物，然后需要在下述步骤中进行筛选。
在步骤S504中，确定相似度最高的第一支架标记物和第二支架标记物，并形成支架标记物组合。
在本步骤中，按照下述方式具体执行：首先，利用预先训练的第二神经网络获取所述第二支架标记物的特征矩阵；然后，利用预先训练的第二神经网络获取所述第一感兴趣区内的每个第一支架标记物的特征矩阵；再然后，计算每个第一支架标记物的特征矩阵与第二支架标记物的特征矩阵的统计学误差，例如均方误差；最后，确定所述统计学误差最小的第一支架标记物和第二支架标记物形成支架标记物组合。
请参照附图6，在一个示例中，其具体示出了一种确定支架标记物组合(配对最大相似度Mark点)的流程。首先在前一帧图像(第二图像)截取20*20像素的区域(第二感兴趣区)，在当前帧图像(第一图像)截取20*20像素的区域(第一感兴趣区)，然后利用预先训练网络对上述两个区域进行迁移特征提取，然后进一步根据迁移特征确定两个支架标记物的相似度概率，最后配对最大相似度Mark点(即令最大相似度的两个支架标记物组成支架标记物组合)。
根据上述任一个实施例的描述，本公开中利用第一神经网络和第二神经网络完成第一图像和第二图像内的支架标记物的组合，即完成支架标记物的追踪和定位，效率高，精度高，避免了采用小波特征进行提取并确认特征点的方式所造成的速度慢、精度低的问题。
在第一神经网络输出第一图像的第一支架标记物的信息后，确定支架标记物组合前，还可以进一步筛选第一支架标记物，从而减小确定支架标记物组合时的运算量，提高确定支架标记物组合的效率和精确度。
请参照附图7，在本公开的一些实施例中，示例性的示出了进一步筛选第一支架标记物的方法，包括步骤S701至S702。
在步骤S701中，根据所述第一支架标记物的信息和所述第二支架标记物的信息，计算每个所述第一支架标记物与每个所述第二支架标记物的距离。
在本步骤中，同一个支架标记物在地二图像内作为第二支架标记物时，与其在第一图像内作为第一支架标记物时的距离会在一定范围内，这是由于血管剪影图像序列中各帧间的移动会在一定范围内决定的。本步骤计算每个第一支架标记物(即第一图像内的每个支架标记物)和每个第二支架标记物(即第二图像内的每个支架标记物)间的距离时，是利用第一神经网络输出的各个支架标记物的位置信息来完成的。
在一个示例中，每帧图像上均建立一个坐标系，即以一个顶点为原点，以相交于该顶点的两条边分别为X轴和Y轴，而且每一帧图像内的坐标系均统一，即都以同一个顶点为原点，都以同一条边为X轴，都以同一条边为Y轴。而每一个第一支架标记物的位置信息均用其坐标(如标记物占用多个坐标点，则取标记物中心的坐标点)表示，而每一个第二支架标记物的位置信息也均用其坐标(如标记物占用多个坐标点，则取标记物中心的坐标点)表示，计算一个第一支架标记物和一个第二支架标记物间的距离时，直接利用二者的坐标、根据下述公式进行计算：
Figure BDA0002433943060000171
其中，D为第一支架标记物与第二支架标记物间的距离；(x1，y1)为第一支架标记物的坐标；(x2，y2)为第二支架标记物的坐标。
在步骤S702中，响应于所述第一支架标记物与每个所述第二支架标记物间的距离均大于预设的距离阈值，删除所述第一支架标记物。
在本步骤中，利用第二支架标记物筛选第一支架标记物。若第一支架标记物与任一个第二支架标记物的距离小于或等于预设的距离阈值，则该第一支架标记物保留，并作为后续确定支架标记物组合用；若第一支架标记物与全部第二支架标记物的距离均大于预设的距离阈值，则说明该第一支架标记物不可能为任何一个第二支架标记物移动后的结果，因此将该第一支架标记物删除。
在一个示例中，将距离阈值预设为50像素。
上述内容中，通过确定支架标记物组合完成了支架标记物的追踪和定位，即第二图像内的每个第二支架标记物，均在第一图像内找到了对应的第一支架标记物，由于第二支架标记物至少为两个，因此可以根据第一图像和第二图像间的这种对应关系进行配准和增强。
请参照附图8，在本公开的一些实施例中，示例性的示出了根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获得目标图像的方法，包括步骤S801和步骤S802。
在步骤S801中，将第一图像和支架标记物组合输入至预先训练的第三神经网络中，输出第一图像对应的配准后图像。
其中的第三神经网络为空间变换网络，能够根据支架标记物组合将第一图像配准至第二图像，即使第一图像内的第一支架标记物与第二图像内的对应的第二支架标记物对齐。具体的支架标记物组合相当于一个变换参数矩阵，其包含对图像的旋转、放缩以及平移分量；第三神经网络可以选择使用卷积函数、反卷积函数、激活函数与批归一化构成。
本步骤中，利用第三神经网络进行图像的配准，比传统方式中，对图像直接进行仿射变换，信噪比提升比例更高，图像增强效果更明显，同时还能够避免信息丢失。
在步骤S802中，将所述第一图像对应的配准后的图像和对应的第二图像进行叠加，得到所述第一图像对应的时间整合图像。
在本步骤中，将已经完成配准的第一图像与第二图像进行叠加，两帧或多帧图像间的叠加完成了时间整合。
在一个示例中，采用线性叠加的方式进行第一图像和第二图像间的叠加。
请参照附图9，在本公开一些实施例中，示例性的示出了训练第三神经网络的训练方法，包括步骤S901至S906。
在步骤S901中，获取第三样本图像，其中，所述第三样本图像内标注有支架的位置的第三真实值。
在本步骤中，获取第三样本图像为获取多张第三样本图像，构成一个训练集内的真实值。
在一个示例中，为了增加真实值的信噪比和清晰度，在获取每张第三样本图像时，可以令支架静止，并利用临床图像相同的剂量拍摄多帧图片，进行线性叠加获得较高的信噪比的图像。
在步骤S902中，获取第三输入图像，其中，所述第三输入图像内的支架的位置相对于所述第三样本图像内的支架的位置发生移动。
在本步骤中，获取第三输入图像为获取多张第三输入图像，构成一个训练集内的输入值。
继续步骤S901中的示例，获取完一张第三样本图像后，令支架移动，背景静止，拍摄一张图像，作为与该张第三样本图像对应的第三输入图像。
在步骤S903中，获取所述第三输入图像与所述第三样本图像间的支架标记物组合。
在本步骤中，可以手动标记第三输入图像内的支架标记物和第三样本图像内的支架标记物，然后进行组合；或者利用本公开的上述实施例中的方法步骤获取到支架标记物组合。
在步骤S904中，将所述第三输入图像及支架标记物组合输入所述第三神经网络中，输出第三输入图像对应的配准后的图像。
前面已经描述过，图像配准过程中，第三神经网络能够根据输入的图像和支架标记物组合输出配准后的图像，在训练过程中，第三神经网络执行同样的输入输出操作，因此也能够输出第三输入图像对应的配准后的图像。
在步骤S905中，根据所述配准后的图像和第三真实值确定第三网络损失。
其中，第三神经网络输出的配准后的图像作为输出值，通过输出值与真实值能够得到对应的网络损失。
在步骤S906中，基于所述第三网络损失，对所述第三神经网络的网络参数进行调整。
在一个示例中，可以通过反向梯度传播算法对第三神经网络的网络参数进行调整。
在拍摄DSA图像时，由于为了避免功率较高造成球管内的融靶现象，小焦虽然在图像的分辨率、清晰度上偏高，但通常功率限制较低，在长期曝光下难以使用小焦进行拍摄。本公开中所处理的图像也无法都在小焦条件下获得，但是可以采用基于神经网络的图像增强方法对时间整合后的图像进行进一步的边缘增强。具体的，是按照如下方式进行的：
将第一图像对应的时间整合图像输入至第四神经网络中，输出第一图像对应的增强图像。增强图像即去模糊图像，图像中的每个像素均有所增强，分辨率均有所提高，清晰度均有所提高，其中每个像素的增强程度不尽相同，边缘像素的增强效果最明显。
请参照附图10，在本公开一些实施例中，示例性的示出了训练第四神经网络的训练方法，包括步骤S1001至S1005。
在步骤S1001中，获取第四样本图像，所述第四样本图像标注有每个像素的真实值。
在步骤S1002中，获取第四输入图像，其中，获取所述第四样本图像时的球管的焦点小于获取所述第四输入图像时的球管的焦点。
在上述两步骤中，获取到训练集，也就是获取到多张第四样本图像，多张第四输入图像。训练集中的多张第四样本图像和多张第四输入图像是一一对应的，可以采用同一个X光设备获取多张第四样本图像和获取多张第四输入图像，也可以采用一个X光设备获取多张第四样本图像，采用另一个X光设备获取多张第四输入图像。采用同一个X光设备获取一对第四样本图像和第四输入图像时，令支架静止，通过调整球管，拍摄一张球管为小焦的图像，然后在拍摄一张球管为大焦的图像。
在步骤S1003中，将所述第四输入图像输入至所述第四神经网络中，输出第四输入图像对应的边缘像素的预测值。
前面已经描述过，图像的边缘增强过程中，第四神经网络能够根据输入的图像输出边缘增强后的图像，其正是通过预测边缘像素的值来进行边缘增强的；在训练过程中，第四神经网络执行同样的输入输出操作，因此也能够输出第四输入图像对应的边缘像素的预测值。
在步骤S1004中，根据所述边缘像素的预测值和所述边缘像素的真实值确定第四网络损失。
其中，第四神经网络输出的边缘像素的预测值为输出值，根据输出值和真实值能够确定网络损失。
在一个示例中，通过交叉熵损失函数计算第四网络损失。
在步骤S1005中，基于所述第四网络损失，对所述第四神经网络的网络参数进行调整。
在一个示例中，可以通过反向梯度传播算法对第四神经网络的网络参数进行再次调整。
图11示出本公开一示例性实施例示出的一种图像处理装置，所述装置包括：
第一获取模块1101，用于获取第一图像内的第一支架标记物的信息，其中，所述第一图像为血管剪影图像序列中的一帧；
第二获取模块1102，用于获取第二图像内的第二支架标记物的信息，其中，所述第二图像为血管减影图像序列中所述第一图像之前的一帧或多帧图像；
组合模块1103，用于根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，其中，每个支架标记物组合包括一个第一支架标记物和一个对应的第二支架标记物；
目标模块1104，用于根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获取目标图像。
图12示出本公开一示例性实施例示出的一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于如任一项上述的方法进行图像处理。
本公开至少一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如任一项上述的方法。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括下述步骤：
获取第一图像内的第一支架标记物的信息，其中，所述第一图像为血管剪影图像序列中的一帧；
获取第二图像内的第二支架标记物的信息，其中，所述第二图像为血管减影图像序列中所述第一图像之前的一帧或多帧图像；
根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，其中，每个支架标记物组合包括一个第一支架标记物和一个对应的第二支架标记物；
根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获取目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取第一图像内的第一支架标记物的信息，包括：
将所述第一图像输入至预先训练的第一神经网络中，输出多个支架标记物的位置信息及对应的概率；
响应于所述支架标记物的位置信息对应的概率大于预设的概率阈值，确定所述支架标记物的位置信息为第一支架标记物的信息。
3.根据权利要求1所述的图像处理方法，其特征在于，还包括：
获取第一输入图像和第二输入图像；
通过对所述第一输入图像内的支架标注第一真实值，获得第一样本图像，并且通过对所述第二输入图像内的支架标注第二真实值，获得第二样本图像；
将所述第一输入图像输入至所述第一神经网络中，输出所述第一输入图像对应的支架标记物的位置信息；
根据所述第一输入图像对应的支架标记物的位置信息和所述第一真实值确定第一网络损失；
基于所述第一网络损失，对所述第一神经网络的网络参数进行调整；
将所述第二输入图像输入至网络参数经过调整的第一神经网络中，输出所述第二输入图像对应的支架标记物的位置信息；
根据所述第二真实值确定所述第二输入图像对应的支架标记物的位置信息的样本概率，并对所述位置信息进行标记；
将所述第二输入图像输入至第一神经网络，输出所述第二输入图像对应的支架标记物的位置信息及对应的概率；
根据所述样本概率和所述输出的对应的概率确定第二网络损失；
基于所述第二网络损失，对所述第一神经网络的参数再次进行调整。
4.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，包括：
获取所述第二图像内的每个第二支架标记物对应的第二感兴趣区；
根据每个所述第二感兴趣区确定在所述第一图像中对应的第一感兴趣区；
获取所述第一感兴趣区内的第一支架标记物；
确定相似度最高的第一支架标记物和第二支架标记物，并形成支架标记物组合。
5.根据权利要求4所述的图像处理方法，其特征在于，所述确定相似度最高的第一支架标记物和第二支架标记物形成支架标记物组合，包括：
利用预先训练的第二神经网络获取所述第二支架标记物的特征矩阵以及所述第一感兴趣区内的每个第一支架标记物的特征矩阵；
计算每个第一支架标记物的特征矩阵与第二支架标记物的特征矩阵的统计学误差；
确定所述统计学误差最小的第一支架标记物和第二支架标记物形成支架标记物组合。
6.根据权利要求4所述的图像处理方法，其特征在于，还包括：
根据所述第一支架标记物的信息和所述第二支架标记物的信息，计算每个所述第一支架标记物与每个所述第二支架标记物的距离；
响应于所述第一支架标记物与每个所述第二支架标记物间的距离均大于预设的距离阈值，删除所述第一支架标记物。
7.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获得目标图像，包括：
将第一图像和支架标记物组合输入至预先训练的第三神经网络中，输出第一图像对应的配准后图像；
将所述第一图像对应的配准后的图像和对应的第二图像进行叠加，得到所述第一图像对应的时间整合图像。
8.根据权利要求7所述的图像处理方法，其特征在于，还包括：
获取第三样本图像，其中，所述第三样本图像内标注有支架的位置的第三真实值；
获取第三输入图像，其中，所述第三输入图像内的支架的位置相对于所述第三样本图像内的支架的位置发生移动；
获取所述第三输入图像与所述第三样本图像间的支架标记物组合；
将所述第三输入图像及支架标记物组合输入所述第三神经网络中，输出第三输入图像对应的配准后的图像；
根据所述配准后的图像和第三真实值确定第三网络损失；
基于所述第三网络损失，对所述第三神经网络的网络参数进行调整。
9.根据权利要求7所述的图像处理方法，其特征在于，还包括：
将第一图像对应的时间整合图像输入至第四神经网络中，输出第一图像对应的增强图像。
10.根据权利要求9所述的图像处理方法，其特征在于，还包括：
获取第四样本图像，所述第四样本图像标注有每个像素的真实值；
获取第四输入图像，其中，获取所述第四样本图像时的球管的焦点小于获取所述第四输入图像时的球管的焦点；
将所述第四输入图像输入至所述第四神经网络中，输出第四输入图像对应的每个像素的预测值；
根据所述每个像素的预测值和所述每个像素的真实值确定第四网络损失；
基于所述第四网络损失，对所述第四神经网络的网络参数进行调整。
11.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一图像内的第一支架标记物的信息，其中，所述第一图像为血管剪影图像序列中的一帧；
第二获取模块，用于获取第二图像内的第二支架标记物的信息，其中，所述第二图像为血管减影图像序列中所述第一图像之前的一帧或多帧图像；
组合模块，用于根据所述第一支架标记物的信息和所述第二支架标记物的信息，确定支架标记物组合，其中，每个支架标记物组合包括一个第一支架标记物和一个对应的第二支架标记物；
目标模块，用于根据所述支架标记物组合，将所述第一图像配准至所述第二图像中，获取目标图像。
12.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于如权利要求1至10任一项所述的方法进行图像处理。
13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至10任一项所述的方法。
CN202010245796.2A 2020-03-31 2020-03-31 图像处理方法、装置、电子设备及存储介质 Active CN111462083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010245796.2A CN111462083B (zh) 2020-03-31 2020-03-31 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010245796.2A CN111462083B (zh) 2020-03-31 2020-03-31 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111462083A true CN111462083A (zh) 2020-07-28
CN111462083B CN111462083B (zh) 2023-05-02

Family

ID=71683444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245796.2A Active CN111462083B (zh) 2020-03-31 2020-03-31 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111462083B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017175A (zh) * 2020-09-04 2020-12-01 上海联影医疗科技股份有限公司 支架显示方法、装置和存储介质
CN112102313A (zh) * 2020-10-22 2020-12-18 上海联影医疗科技股份有限公司 一种支架检测方法、装置和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257532A (zh) * 2008-10-13 2011-11-23 皇家飞利浦电子股份有限公司 组合的装置和解剖结构更新
CN204903772U (zh) * 2015-08-18 2015-12-23 浙江建安检测研究院有限公司 一种血管剪影数字造影术者位辐射剂量检测仪
CN106875422A (zh) * 2017-02-06 2017-06-20 腾讯科技（上海）有限公司 人脸跟踪方法和装置
CN108921883A (zh) * 2018-04-27 2018-11-30 浙江安精智能科技有限公司 基于两位置深度图像识别的饮水机控制装置及其控制方法
EP3499412A1 (en) * 2017-12-15 2019-06-19 Samsung Electronics Co., Ltd. Object recognition and liveness detection and apparatus
CN110009718A (zh) * 2019-03-07 2019-07-12 深兰科技（上海）有限公司 一种三维高精度地图生成方法及装置
CN110766735A (zh) * 2019-10-21 2020-02-07 北京推想科技有限公司 一种图像的匹配方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257532A (zh) * 2008-10-13 2011-11-23 皇家飞利浦电子股份有限公司 组合的装置和解剖结构更新
CN204903772U (zh) * 2015-08-18 2015-12-23 浙江建安检测研究院有限公司 一种血管剪影数字造影术者位辐射剂量检测仪
CN106875422A (zh) * 2017-02-06 2017-06-20 腾讯科技（上海）有限公司 人脸跟踪方法和装置
EP3499412A1 (en) * 2017-12-15 2019-06-19 Samsung Electronics Co., Ltd. Object recognition and liveness detection and apparatus
CN108921883A (zh) * 2018-04-27 2018-11-30 浙江安精智能科技有限公司 基于两位置深度图像识别的饮水机控制装置及其控制方法
CN110009718A (zh) * 2019-03-07 2019-07-12 深兰科技（上海）有限公司 一种三维高精度地图生成方法及装置
CN110766735A (zh) * 2019-10-21 2020-02-07 北京推想科技有限公司 一种图像的匹配方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RADIM KOLAR等: "Registration of retinal sequences from new video-ophthalmoscopic camera", 《BIOMEDICAL ENGINEERING ONLINE》 *
程政: "视频拼接中配准方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
贾瑞明等: "胸主动脉腔内修复术前CT血管造影与术中X射线图像的配准算", 《中国组织工程研究》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017175A (zh) * 2020-09-04 2020-12-01 上海联影医疗科技股份有限公司 支架显示方法、装置和存储介质
CN112017175B (zh) * 2020-09-04 2024-03-12 上海联影医疗科技股份有限公司 支架显示方法、装置和存储介质
CN112102313A (zh) * 2020-10-22 2020-12-18 上海联影医疗科技股份有限公司 一种支架检测方法、装置和存储介质

Also Published As

Publication number Publication date
CN111462083B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
EP3509013A1 (en) Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
Zhao et al. A novel U-Net approach to segment the cardiac chamber in magnetic resonance images with ghost artifacts
US8345944B2 (en) System and method for coronary digital subtraction angiography
Dai et al. Intensity non-uniformity correction in MR imaging using residual cycle generative adversarial network
Mostapha et al. Computer-aided diagnosis systems for acute renal transplant rejection: Challenges and methodologies
JP2019530490A (ja) 検出精度を向上させるために関心領域の異なるビューからの複数の画像を用いるコンピュータ支援検出
CN111540025B (zh) 预测用于图像处理的图像
JP2015129987A (ja) 医用高解像画像形成システムおよび方法。
US8837863B2 (en) Signal-processing device and computer-readable recording medium with signal-processing program recorded thereon
EP2996085A1 (en) Method and system for analyzing image data
CN111462083B (zh) 图像处理方法、装置、电子设备及存储介质
CN103544690A (zh) 获取血管造影图像的方法
KR102150853B1 (ko) 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
JP2015506774A (ja) 画像解像度向上
Eldib et al. Markerless attenuation correction for carotid MRI surface receiver coils in combined PET/MR imaging
Piper et al. Objective evaluation of the correction by non-rigid registration of abdominal organ motion in low-dose 4D dynamic contrast-enhanced CT
CN105374023B (zh) 一种分割目标区域方法，及其图像重建方法和装置
JP4964191B2 (ja) 画像処理装置および方法ならびにプログラム
Lee et al. Enhanced particle-filtering framework for vessel segmentation and tracking
Kaushik et al. Edge detection and level set active contour model for the segmentation of cavity present in dental X-ray images
Lee et al. Motion-adaptive 3D nonlocal means filter based on stochastic distance for low-dose X-ray fluoroscopy
Liao et al. A generative MRF approach for automatic 3D segmentation of cerebral vasculature from 7 Tesla MRA images
Vos et al. Combined pixel classification and atlas-based segmentation of the ventricular system in brain CT Images
WO2022129628A1 (en) Computer-implemented method for image analysis of medical images by neural network supported region-of-interest segmentation
Martínez et al. Estimating the size of polyps during actual endoscopy procedures using a spatio-temporal characterization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant