CN110660058B - 对周期性生理活动的图像序列进行分析的方法、介质和系统 - Google Patents

对周期性生理活动的图像序列进行分析的方法、介质和系统 Download PDF

Info

Publication number
CN110660058B
CN110660058B CN201911127231.8A CN201911127231A CN110660058B CN 110660058 B CN110660058 B CN 110660058B CN 201911127231 A CN201911127231 A CN 201911127231A CN 110660058 B CN110660058 B CN 110660058B
Authority
CN
China
Prior art keywords
frame
image
physiological activity
motion
analyzing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911127231.8A
Other languages
English (en)
Other versions
CN110660058A (zh
Inventor
刘潇潇
刘树宝
马斌
曹坤琳
尹游兵
李育威
赵倩
宋麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Publication of CN110660058A publication Critical patent/CN110660058A/zh
Application granted granted Critical
Publication of CN110660058B publication Critical patent/CN110660058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种对周期性生理活动的图像序列进行分析的方法、介质和系统。该方法包括：通过对所述图像序列中的相邻帧进行运动分析，来计算各帧图像中每个像素的局部运动向量；对所述图像序列的所有帧图像中所有像素的局部运动向量进行主成分分析，来估计各个像素的主运动向量；通过将各帧图像中各个像素的局部运动向量在其相应的主运动向量上进行投影，来重建各帧的全局运动度量；基于各帧的全局运动度量，计算所述各帧在所述周期性生理活动中的相位。该方法、介质和系统能够快速有效的基于周期性生理活动的图像序列自身的动态变化来估计图像帧的相位，既不需要辅助监测设备也不依赖其他参考图像。

Description

对周期性生理活动的图像序列进行分析的方法、介质和系统
本申请为申请日为2018年03月09日、申请号为201810195622.2且发明名称为“对周期性生理活动的图像序列进行分析的方法、介质和系统”的中国发明专利申请的分案申请。
技术领域
本发明涉及对图像序列进行分析的方法、计算机存储介质和系统，具体地，涉及对周期性生理活动的图像序列进行分析的方法、计算机存储介质和系统，更具体地，涉及对周期性生理活动的图像序列进行分析以获得相位的方法、计算机存储介质和系统。
背景技术
生理活动的周期，诸如呼吸和心动周期，对于同步该生理活动的图像序列中的图像帧具有重要的作用。周期性生理活动的图像序列中各帧的相位，是对医学成像和诊断非常重要的中间信息。例如，医生在对肺部CT图像序列进行解读时，需要标注出呼出相和吸入相；又例如，利用生理结构的各个角度的二维图像重建其三维结构时，需要相应的各个角度的二维图像在周期性生理活动中具有相同的相位；再例如，在心血管诊断和治疗领域中，准确确定心动周期中各帧的相位有助于导出其他重要的生理参数，诸如心率、心动周期等。
目前，为了实现以上目的，通常使用额外的周期监控装置，诸如心电装置和呼吸监测仪等来记录和监测临床上相关信息。然而，这些配置并不是相应成像系统的标准配置，额外的设备会占用诊断现场的空间，还需要临床医生分心在周期监控装置与成像系统之间进行对比。常用的血管造影(X-ray Angiography)技术可以通过多个角度的成像更好地分析血管的生理结构和获取相关生理参数(比如血管体积，血管直径等)。在前沿的多角度冠状动脉造影临床应用中，例如三维动脉的血管重建和血液动力模拟，自动而准确地获取各个角度的图像序列中每帧所对应的周期相位，对于准确估计血管特征参数和同步用于重建的图像帧均十分重要。
在没有心跳监测信号(比如同步心电门控信号/ECG)的情况下，人工判断图像帧和所处心跳相位的对应关系往往很难精准而且耗时。然而心电门控装置并不是造影系统的实际临床应用的标准配置，常用的造影设备产生的图像序列都没有同步的心电门控信号。
目前，基于血管的图像序列本身去估计心动周期相位的主要分析方法主要分为以下几种：采用计算不同帧(例如相邻帧)之间的差值的方法去寻找相位变化最慢的时间窗口，以便利用该时间窗口内的若干图像帧进行分析，这种方法并没有估计每帧的相位，也不能区分舒张期和收缩期，对图像中的背景噪声特别敏感；还有基于参考图像比对的方法去确定相位，此方法需要手动挑选出所要相位的参考图像，或者要求数据库中参考图像跟当前图像序列高度吻合。以上分析方法运用于除了心动周期以外的周期性生理活动，诸如呼吸周期的肺部活动的图像序列时，也会产生类似问题。
发明内容
本发明人发现，现存的周期相位的分析方法存在的问题是：需要依赖额外的周期监控装置或者依赖手动挑选出的参考图像，增加了系统的复杂性和临床医生的工作量。如果能够摆脱对这些额外设备的依赖并且能够帮助临床医生从繁杂的手动挑选工作中摆脱出来，仅仅基于周期性生理活动的图像序列自动分析以获得各帧的相位，将为临床操作带来巨大的便利，例如，将为心血管领域的临床操作带来巨大的便利。
本发明人还发现，现存的基于血管的图像序列本身去估计心动周期相位的分析方法还存在如下问题：对于图像中的背景噪声特别敏感，分析结果容易受其干扰；不能基于图像序列自身的时域变化来自动快速且准确地估算各帧图像在周期性运动中的相位。
本发明的目的在于提供一种快速有效的基于周期性生理活动的图像序列自身的动态变化来估计图像帧的相位的方法和系统，既不需要辅助监测设备也不依赖其他参考图像。
为了解决上述技术问题，本发明实施例采用了如下技术方案。
根据本发明的第一方案，提供了一种对周期性生理活动的图像序列进行分析的方法，其特征在于，所述方法包括：
相邻帧运动分析步骤，该步骤通过对所述图像序列中的相邻帧进行运动分析，来计算各帧图像中每个像素的局部运动向量；
主成分分析步骤，该步骤对所述图像序列的帧图像中像素的局部运动向量进行主成分分析，来估计各个像素的主运动向量；
全局运动度量重建步骤，该步骤通过将各帧图像中各个像素的局部运动向量在其相应的主运动向量上进行投影，来重建各帧的全局运动度量；
相位计算步骤，该步骤基于各帧的全局运动度量，计算所述各帧在所述周期性生理活动中的相位。
优选地，所述相邻帧运动分析步骤采用如下方法中的任何一种来实现：非刚性图像配准的方法、相邻帧之间的图像块的匹配的方法、光流估计的方法。
优选地，所述相邻帧运动分析步骤采用光流估计方法中的Farneback算法来实现。
优选地，所述主成分分析步骤采用线性分解或非线性分解方法来实现，所述线性分解方法包括奇异值分解方法和特征值分解方法中的任何一种，所述非线性分解方法包括核主成分分析方法和采用深度置信网络的方法中的任何一种。
优选地，在完成相邻帧运动分析步骤后，在执行主成分分析步骤之前，还执行如下步骤：
对各帧各个像素的局部运动向量进行预处理，以识别非生理性活动的特殊运动导致的局部运动向量；
在识别出特殊运动导致的局部运动向量时，停止后续步骤。
优选地，每一帧的全局运动度量通过对该帧中每个像素的局部运动向量向其主运动向量的投影的系数求和来得到，或者通过将所述投影除以相应主运动向量的模再求和来得到。
优选地，所述相位计算步骤对各帧的所述全局运动度量进行时间上的积分得到相应各帧的全局位移，并据此计算所述各帧在所述周期性生理活动中的相位。
优选地，所述周期性生理活动包括心动活动和呼吸活动中的任何一种。
优选地，相位计算步骤基于各帧的全局运动度量的曲线的过零点及其斜率来计算所述各帧在所述周期性生理活动中的相位。
优选地，相位计算步骤基于各帧的全局位移的曲线的波峰、波谷、过零点及其斜率中的至少一种来计算所述各帧在所述周期性生理活动中的相位。
根据本发明的第二方案，提供一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令被处理器执行时实现上述的对周期性生理活动的图像序列进行分析的方法的步骤。
根据本发明的第三方案，提供一种对周期性生理活动的图像序列进行分析的系统，所述系统包括存储器和处理器，存储器上存储有计算机可执行指令，其特征在于，所述处理器执行所述计算机可执行指令时实现上述的对周期性生理活动的图像序列进行分析的方法的步骤。
优选地，所述处理器执行所述计算机可执行指令时将计算出的相位标记在相应的图像帧上，并将标记相位的图像帧保存到所述存储器中。
优选地，所述存储器与医学数据库通信连接，用于从其获取所述图像序列，和/或将标记相位的图像帧传输到所述医学数据库。
优选地，所述系统包括显示器，用于显示图像帧连同对其标记的相位。
本发明的有益效果在于：摆脱了对医生手动挑选参考图像和额外的周期监控装置的需要，相较现有分析方法更不易受噪声影响，更不易受其他干扰性的生理活动影响；且基于周期性生理活动的图像序列自身的动态变化，能够准确地反映图像序列的动态变化过程；本发明能够自动执行，耗时控制在临床接受范围内，极大地便利了临床医生的操作。
附图说明
为使本领域技术人员更好地理解本发明，下面参照附图对本发明的实施例进行详细说明，但不作为对本发明的限定。以下将参照附图来描述本发明的示例性实施例的特征、优点，以及技术和适用性，在附图中，相同的附图标记指代相同的元件，并且在附图中：
图1示出根据本发明一个实施例的对周期性生理活动的图像序列进行分析的方法。
图2(a)和图2(b)示出根据本发明一个实施例的利用光流估计的方法来计算各个像素在相邻帧之间的局部运动向量场的示意图。
图3(a)示出图像序列发生非生理性活动的特殊明显运动时各个帧上所有像素在主运动方向上的全局运动度量的变化图，横轴是帧的序列号，纵轴是全局运动度量。
图3(b)示出图像序列发生非生理性活动的特殊明显运动时各个帧上所有像素在主运动方向上的全局位移的变化图，横轴是帧的序列号，纵轴是所述所有像素在主运动方向上的全局位移。
图4(a)示出根据本发明一个实施例得到的冠脉造影图像序列的全局运动度量的曲线图，横轴是帧的序列号，纵轴是全局运动度量。
图4(b)示出根据本发明另一个实施例得到的冠脉造影图像序列的全局位移的曲线图，横轴是帧的序列号，纵轴是全局位移。
图5(b)示出根据本发明再一实施例得到的肺部4D CT图像序列的全局位移的曲线图，其中标识点1、2、3和4分别标识肺部扩张期间对应的四个相位，图5(a)示出标识点1、2、3和4分别标识出的四个相位所对应的肺部扩张期间的肺部状态。
图6示出根据本发明另一实施例的对周期性生理活动的图像序列进行分析的系统。
具体实施方式
如图1所示，基于周期性生理活动的图像序列，本发明的方法包括如下步骤：通过对相邻帧进行运动分析，计算各帧图像中每个像素的局部运动向量(步骤101，也称为相邻帧运动分析步骤)；然后对所述图像序列的帧图像中像素的局部运动向量进行主成分分析，来估计各个像素的主运动向量(步骤102，也称为主成分分析步骤)；通过将各帧图像中各个像素的局部运动向量在其相应的主运动向量上进行投影，来重建各帧的全局运动度量(步骤103，也称为全局运动度量重建步骤)，也就是重建所述周期性生理活动的运动周期；基于各帧的全局运动度量，计算所述各帧在周期性生理活动中的相位(步骤104，也称为相位计算步骤)。
下面对该方法的各个基本步骤的详细实施例进行描述。
相邻帧运动分析
在相邻帧之间，可以采用多种方法来计算前一帧相较后一帧的每个像素的局部运动向量。例如，可以采用非刚性图像配准的方法(可参见Ledesma-Carbayo,María J.,etal."Spatio-temporal nonrigid registration for ultrasound cardiac motionestimation."IEEE transactions on medical imaging24.9(2005):1113-1126)，该类方法试图找到图像上(或者图像上感兴趣的区域)每个像素在序列上不同帧间的匹配；通过计算不同帧上匹配像素之间的位移来计算每个像素的局部运动向量。此种非刚性图像配准的方法为了寻找最优的匹配需要求解一个较复杂的全局优化问题，且通常要求较为准确的初始参数估计，相对复杂，计算量较大。
再例如，也可以通过相邻帧之间的图像块的匹配的方法来计算相邻帧之间各个像素的局部运动向量。作为示例，这种方法可以实现如下：在前一帧中设立一独立图像块并确定该独立图像块在前一帧中的位置例如(u,v)，在后一帧中该独立图像块在前一帧中的位置(u,v)的搜索区域(例如(u+△u,v+△v))内选择相同尺寸的图像块并计算两者的卷积作为相关系数，取相关系数最大的图像块作为与所述独立图像块匹配的图像块，计算两者位置的差值，作为所述独立图像块中心像素的局部运动向量。通过移动以各个像素为中心的所述独立图像块，即可计算各个像素在两个相邻帧之间的局部运动向量。
优选地，我们通过光流估计的方法计算相邻两帧间每个像素的局部运动向量。对于估计心动相位而言，光流估计的方法相对简单，计算量较低，也不要求准确的初始参数估计。
光流指的是空间运动物体在观察成像平面上的像素运动的瞬时速度，一般是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。光流场是指图像中所有像素点构成的一种二维瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。对光流的研究是计算机视觉及有关研究领域中的一个重要部分。光流估计是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
假设在一组时序图像中，第t帧的时候一个特征点的位置用(xt,yt)表示，那么在第t+1帧的时候再找到这个特征点的位置是(xt+1,yt+1)，我们就可以确定此点在两帧之间的运动向量为：(ut,vt)＝(xt+1,yt+1)-(xt,yt)。有很多不同的光流估计方法，常用的比如基于块匹配的Lucas–Kanade算法(参见B.D.Lucas and T.Kanade(1981),An iterative imageregistration technique with an application to stereo vision.Proceedings ofImaging Understanding Workshop,pages121—130)，基于光流场光滑性约束的Horn–Schunck算法(参见B.K.P.Horn and B.G.Schunck,"Determining optical flow."Artificial Intelligence,vol 17,pp 185–203,1981)和估算稠密光流的Farneback算法(参见Farneback,G."Two-Frame Motion Estimation Based on Polynomial Expansion."Proceedings of the 13th Scandinavian Conference on Image Analysis.Gothenburg,Sweden,2003)等。在不同的应用中可以根据实际情况采取不同的局部运动向量的估计方法，不必局限于上面列出的非刚性配准方法、图像块的卷积匹配方法和光流估计的方法。
对于冠脉造影的应用，优选地采用Farneback方法，该方法适于处理两帧之间较大的运动，并且运行速度较快。因为主要的可见物体就是造影剂填充后的血管，所以运动主要集中在血管和血管周围，如图2所示。
图2(a)和图2(b)示出根据本发明一个实施例的利用光流估计的方法来计算各个像素在相邻帧之间的局部运动向量场的示意图。具体说来，图2(a)和图2(b)分别示出了连续的两帧DSA图像，图2(a)中的箭头示意了从这前后两帧检测出来的光流，也就是前一帧图像中各个像素的运动方向和幅度大小(其可以表示为各个像素的局部运动向量)。
主运动向量分析
在如上计算得出相邻帧中的前一帧相较后一帧每个像素的局部运动向量之后，可以采用主成分分析(PCA)来提取周期性生理活动的图像序列的各帧图像的主运动向量。基于该主运动向量和如上计算得到的各帧每个像素的局部运动向量，可以得到各帧的全局运动度量，其可以表征周期性生理活动的图像序列的全局变化。
下面以心血管DSA图像序列为例，对主成分分析方法进行说明。在心血管DSA图像序列中，冠脉血管是最主要的运动物体，在正常的图像采集条件下，图像中血管的运动和形变主要由心跳引起，所以主成分分析结果中的第一个主成分对应的就是心跳的周期性运动。
具体分析，我们用Ft表示第t帧的光流场，它是该帧中每个像素的光流的集合。Ft＝{(uij t,vij t),i＝1,…,H,j＝1,…,W}，这里H和W分别是二维的帧图像的高和宽(即，图像在纵向和横向上的像素个数)。为了方便，可以把Ft中的元素按顺序展开成一个长度为2HW的一维向量，记为EFt，比如：EFt＝(u00 t,v00 t,u01 t,v01 t,…,u0W t,v0W t,u10 t,v10 t,u11 t,v11 t,…)。
图像序列的N个帧的一维向量EF拼合起来得到一个高维运动向量，表示为D＝{EFt,t＝1,…,N}，N是帧的序数。D是维度为(2HW)×N的矩阵。这样，通过主成分分析(PCA)，我们可以得到这个高维运动向量的对应最大特征值的特征向量，也叫第一主成分或主运动向量，记为X*。
X*＝arg max||x||＝1 var(DTX) 公式1
这个主运动向量X*表征每个像素的最主要的运动变化的方向和大小(也称为主要运动方向和大小)。
采用主成分分析的方法，可以滤除掉一些背景噪声尤其是静态噪声的影响，相较现有的单单计算不同帧之间的图像差值的方法和基于参考图像比对的方法，更不易受到背景噪声的影响。
如果图像采集的质量较差，背景噪声较大且变化较大，优选地，在计算各个像素的局部运动向量之前进行除噪预处理，例如，对各帧图像进行分割，得出对应于目标的像素的局部运动向量和对应于背景的像素的局部运动向量，从前者减去后者来得出排除背景例如背景噪声的影响后的目标的像素的局部运动向量，并据此进行主成分分析。优选地，主成分分析的方法直接适用于图像采集质量较好背景噪声不那么大的图像，例如心血管的DSA图像序列、肺部CT图像序列。在计算各个像素的局部运动向量之前进行除噪预处理的情况下，也可以适用于图像采集质量和背景噪声略逊的图像，例如超声图像序列等。
主成分分析(PCA)可以采用各种方法，包括线性分解或非线性分解等。在冠脉造影的应用中，在正常的时序采样率的情况下(比如每秒15帧的速度)，基于线性分解的主成分分析就能得到运动的主成分，且其能够较好的诠释心跳的运动。优选地，在能够诠释生理活动的周期性运动的前提下，采用线性分解来实现主成分分析。线性分解相较非线性分解，计算速度更快，消耗计算资源较少。
例如，PCA可以通过线性矩阵分解得到，比如通过奇异值分解(SVD)或者特征值分解(EVD)得到。
比如在奇异值分解中，矩阵D可分解为
D＝U S VT 公式2
U,V都是正交矩阵，S是对角矩阵。PCA的主成分(也称为主运动向量)X*就等于V的第一个列向量。
进一步地，对于其他的应用，如果不同运动的叠加不能用线性很好的近似，也可以采用非线性分解，比如核主成分分析(kernel PCA，其定义和实现方式例如可参见
Figure GDA0003661719710000091
Bernhard,Alexander Smola,and Klaus-Robert Müller."Kernel principalcomponent analysis."International Conference on Artificial NeuralNetworks.Springer Berlin Heidelberg,1997)、深度置信网络(其定义和实现方式例如可参见Hinton,G.E.,Osindero,S.and Teh,Y.(2006),A fast learning algorithm fordeep belief nets.Neural Computation,18,pp 1527-1554)等。
优选地，在计算出相邻帧中的前一帧相较后一帧每个像素的局部运动向量之后，在采用主成分分析(PCA)来提取周期性生理活动的图像序列的各帧图像的各个像素的主运动向量之前，可以对各帧各个像素的局部运动向量进行预处理，以识别出非生理性活动的特殊明显运动导致的局部运动向量，例如成像设备采集台在图像采集过程中为了更清楚地观察血管而进行了移动，这会导致移动时段的帧图像中各个像素产生局部运动向量的台阶状幅值。例如，如果该台阶出现在第20帧到第30帧的图像中的像素的局部运动向量上，可知，成像设备采集台在第20帧到第30帧之间发生了匀速的移动，该移动随后终止。
如果图像序列出现了这种其他特殊明显运动，对各帧的各个像素的局部运动向量进行主成分分析，所计算出的第一个主成分往往就不再是对应心跳的周期运动的主运动向量了，进一步计算出的各帧图像在主运动方向上的运动和偏移则是由于设备移动造成的全局的运动和偏移，如图3(a)和图3(b)所示，这种情况下就无法直接继续准确估计心动相位了。
优选地，识别出非生理性活动导致的局部运动向量之后，向医生发出提醒，由医生确认后或自动地停止后续分析。需要确保被分析的图像序列是在设备没有移动的情况下进行采集得到的。例如，这种识别可以根据经验设置阈值，在各个像素的局部运动向量的大小超出阈值时，认定为发生了非生理性活动。如此，可以避免对引入非生理性活动的运动信息的局部运动向量进行无法用于后续相位分析的主成分分析，从而避免运算资源的浪费。
全局运动度量重建和相位估计
根据例如光流估计法等计算出的每一帧图像的各个像素的局部运动向量和每个像素与心跳对应的主运动向量，我们可以计算每一帧的每个像素的局部运动向量在其主运动向量所表征的主运动方向上的投影，从而得到与心动运动对应的周期性运动的曲线。每一帧对应的全局运动度量m(t)例如可以通过对该帧中每个像素的局部运动向量向其主运动向量的投影的系数求和来得到。
m(t)＝dot(X*,Xt) 公式3
优选地，为了排除投影时主运动向量的幅度的影响，将以上投影除以相应主运动向量的模再求和，来得到每一帧对应的全局运动度量m(t)，如公式4所示。
m(t)＝dot(X*,Xt)/|X*| 公式4
如此，我们得到根据本发明一个实施例得到的冠脉造影图像序列的全局运动强度的曲线图，如图4(a)所示，横轴是帧的序列号，纵轴是全局运动强度。基于各帧的全局运动度量，可以计算所述各帧在周期性生理活动中的相位。
以心动周期为例，不同心动相位对应不同的运动特点，参见表1。
表1心动相位的运动描述
心动相位 对应的全局运动度量的特点
等容收缩期 收缩运动，但速度较小
快速射血期 快速收缩运动
减慢射血期 继续收缩运动，但速度放缓
等容舒张期 由收缩运动转变为舒张运动
快速充盈期 快速舒张运动
减慢充盈期 继续舒张运动，但速度放缓
心房收缩期 由舒张运动转变为收缩运动
参见图4(a)，纵轴为正的全局运动强度代表舒张运动，为负的全局运动强度代表收缩运动，全局运动强度的大小代表运动的瞬时速度大小。例如，斜率为正的过零点表征全局运动度量正由收缩运动转变为舒张运动，其附近即为心室收缩末期；斜率为负的过零点表征全局运动度量正由舒张运动转变为收缩运动，其附近即为心室舒张末期。优选地，在确定了心室收缩末期和心室舒张末期之后，可以界定出完整的心动周期的区间，根据心动周期中各个相的分布比例，可以确定各帧对应的心动相位，也可以确定出各帧在0～2π的区间内的物理相位。
为了进一步提高估计心动相位的精度，我们可以对全局运动强度m(x)进行时间上的积分(参见公式5)得到各帧的全局位移d(t)的曲线图，如图4(b)所示。
d(t)＝∫0 t m(x)dx 公式5
图4(b)示出根据本发明另一个实施例得到的DSA图像序列的全局位移的曲线图，横轴是帧的序列号，纵轴是全局位移的大小。从这个位移曲线图中，我们可以估计运动的周期，找到每一帧的所对应的心动相位。比如，在此图中，除了参考上文所述的斜率和过零点之外，我们可以得出波峰对应的是心脏舒张末期，波谷对应的是心脏收缩末期。优选地，在确定了心室收缩末期和心室舒张末期之后，或者在确定了相邻的心室收缩末期(或心室舒张末期)之后，可以界定出完整的心动周期的区间，根据心动周期中各个相的分布比例，可以确定各帧对应的心动相位，也可以确定出各帧在0～2π的区间内的物理相位。
本发明的技术并不局限于冠脉造影的临床应用，也可以延展应用到其它计算机视觉上领域的周期性时序图像的分析。例如，我们将以上的分析过程应用于肺部4D CT的周期性呼吸运动的图像序列，图5(b)示出所述肺部4D CT图像序列的所得到的全局位移的曲线图，其中标识点1、2、3和4分别标识肺部扩张期间对应的四个相位，图5(a)示出标识点1、2、3和4分别标识出的四个相位所对应的肺部扩张期间的肺部状态。
通过确定全局位移的曲线图中的波峰和波谷，可以得到相位4和相位1。例如，可以在相位4与相位1之间的区间内按照比例得到相位3和2。
图6是根据本发明再一实施例的一种对周期性生理活动的图像序列进行分析的系统的图示。如本领域技术人员将理解的，在一些实施例中，该系统600可以是专用智能设备或通用智能设备。例如，系统600可以是为医院定制的用于处理图像数据获取和图像数据处理任务的计算机，也可以是放置在云端的服务器。例如，系统600也可以集成在为患者采集图像序列的成像设备中，例如可以集成在DSA成像设备、肺部CT成像设备等中。
系统600可以包括处理器621和存储器622。可选地，如图6所示，系统600还可以附加地包括医学数据库625、输入/输出627、网络接口626和图像显示器629中的至少一种。
处理器621可以是包括诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等一个或更多个通用处理设备的处理设备。更具体地，处理器621可以是复杂指令集运算(CISC)微处理器、精简指令集运算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器621还可以是诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等一个或更多个专用处理设备。
处理器621可以通信地联接到存储器622并且被配置为执行存储在其中的计算机可执行指令。存储器622可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、静态存储器等。在一些实施例中，存储器622可以存储诸如一个或更多个处理程序623的计算机可执行指令以及在执行计算机程序时生成的数据。处理器621可以执行处理程序623以实现上文中结合图1所述的对周期性生理活动的图像序列进行分析的方法的各个步骤。可选地，处理器621执行处理程序623时可以实现上文中所述的计算各个像素在相邻帧之间的局部运动向量的方法，例如可以实现结合图2(a)和图2(b)所述的利用光流估计的方法来计算各个像素在相邻帧之间的局部运动向量的方法的示例。可选地，处理器621执行处理程序623时可以实现上文中所述的采用主成分分析(PCA)来提取周期性生理活动的图像序列的各帧图像的各个像素的主运动向量的方法。可选地，处理器621执行处理程序623时可以实现结合图4(a)、图4(b)和图5(a)、图5(b)所述的相位估计的各个步骤，包括将各帧的各个像素的局部运动向量投影到其主运动向量求得全局运动度量，并基于该全局运动度量来确定各帧的相位的步骤；优选地，还包括基于全局运动度量确定全局位移，并基于该全局位移来确定各帧的相位的步骤；等等。可选地，处理器621执行处理程序623时可以实现结合图3(a)和图3(b)所述的对各帧各个像素的局部运动向量进行预处理包括识别非生理性活动和除噪等的步骤。
处理器621还可以向存储器622发送/接收医学数据624。例如，处理器621可以接收存储在存储器622中的周期性生理活动的图像序列。优选地，处理器621执行处理程序623时可以将估计出的相位标记在相应的图像帧上，并将标记了相位的图像帧传送到存储器622中。可选地，存储器622能够与医学数据库625通信，以便从其获取图像序列，或将标记了相位的图像帧传输到医学数据库625中，以供授权访问医学数据库625的用户调取和使用。
医学数据库625是可选的，可以包括以集中或分布的方式定位的多个设备。处理器621可以与医学数据库625进行通信，以将图像序列读取到存储器622中或将来自存储器622的图像序列存储到医学数据库625。可选地，医学数据库625也可以存储有待被进行相位估计的图像序列等，处理器621可以与之通信，将标记了相位的图像传输并存储到存储器622，并显示在显示器629上，以供医生利用输入/输出627通过专业软件标注，并启用(一个或多个)处理程序来构建成数据集以供三维重建，例如根据相位对二维图像进行分组，同组的二维图像是相位相同或接近的不同投影角度的图像，可一起用于三维重建。
输入/输出627可以被配置为允许由系统600接收和/或发送数据。输入/输出627可以包括允许系统600与用户或其他机器和设备进行通信的一个或更多个数字和/或模拟通信设备。例如，输入/输出627可以包括让用户提供输入的键盘和鼠标。
网络接口626可以包括网络适配器、电缆连接器、串行连接器，USB连接器、并行连接器，诸如光纤、USB3.0、雷电等高速数据传输适配器、诸如WiFi适配器的无线网络适配器、电信(3G、4G/LTE等)适配器等。系统600可以通过网络接口626连接到网络。
图像显示器629除了对医学图像进行显示外，还可以显示其他有用的信息，例如图像在生理性周期活动中的相位，识别出非生理性活动对医生进行的提醒，等等。例如，图像显示器629可以是LCD、CRT或LED显示器。
本文描述了各种操作或功能，其可以被作为软件代码或指令实现或定义为软件代码或指令。这样的内容可以是可直接执行的(“对象”或“可执行”形式)源代码或差分代码(“增量”或“补丁”代码)。本文所述的实施例的软件实现可以经由其中存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子系统等等)访问的形式存储信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备、等等)。通信接口包括接合到硬连线、无线、光学等介质中的任何一个以与另一设备通信的任何机制，诸如存储器总线接口、处理器总线接口、互联网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来将通信接口配置成将该通信接口准备好以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。
本发明还涉及一种用于执行本文的操作的系统。该系统可以是为了所需目的而特别构造的，或者该系统可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，所述计算机可读存储介质诸如但并不限于包括软盘、光盘、CDROM、磁光盘等任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、或适于存储电子指令的任何类型的介质，其中每个介质耦合到计算机系统总线。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (11)

1.一种对周期性生理活动的图像序列进行分析的方法，其特征在于，所述方法包括：
相邻帧运动分析步骤，该步骤通过对所述图像序列中的相邻帧进行运动分析，来计算各帧图像中每个像素的局部运动向量；
主成分分析步骤，该步骤对所述图像序列的帧图像中像素的局部运动向量进行主成分分析，来估计各个像素的主运动向量；
全局运动度量重建步骤，该步骤通过将各帧图像中各个像素的局部运动向量在其相应的主运动向量上进行投影，来重建各帧的全局运动度量；
相位计算步骤，该步骤基于各帧的全局运动度量，计算所述各帧在所述周期性生理活动中的相位，包括：
对各帧的所述全局运动度量进行时间上的积分得到相应各帧的全局位移，并基于各帧的全局位移的曲线的波峰、波谷、过零点及其斜率中的至少一种来计算所述各帧在所述周期性生理活动中的相位。
2.根据权利要求1所述的对周期性生理活动的图像序列进行分析的方法，其特征在于，所述相邻帧运动分析步骤采用如下中的任何一种来实现：非刚性图像配准、相邻帧之间的图像块的匹配、光流估计。
3.根据权利要求1所述的对周期性生理活动的图像序列进行分析的方法，其特征在于，所述相邻帧运动分析步骤采用光流估计方法中的Farneback算法来实现。
4.根据权利要求1所述的对周期性生理活动的图像序列进行分析的方法，其特征在于，所述主成分分析步骤采用线性分解或非线性分解方法来实现，所述线性分解方法包括奇异值分解方法和特征值分解方法中的任何一种，所述非线性分解方法包括核主成分分析方法和采用深度置信网络的方法中的任何一种。
5.根据权利要求1所述的对周期性生理活动的图像序列进行分析的方法，其特征在于，在完成相邻帧运动分析步骤后，在执行主成分分析步骤之前，还执行如下步骤：
对各帧像素的局部运动向量进行预处理，以识别非生理性活动的特殊运动导致的局部运动向量；
在识别出特殊运动导致的局部运动向量时，停止后续步骤。
6.根据权利要求1所述的对周期性生理活动的图像序列进行分析的方法，其特征在于，所述周期性生理活动包括心动运动和呼吸运动中的任何一个。
7.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令被处理器执行时实现权利要求1-6中的任何一项所述的对周期性生理活动的图像序列进行分析的方法的步骤。
8.一种对周期性生理活动的图像序列进行分析的系统，所述系统包括存储器和处理器，所述存储器存储有计算机可执行指令，其特征在于，所述处理器执行所述计算机可执行指令时实现权利要求1-6中的任何一项所述的对周期性生理活动的图像序列进行分析的方法的步骤。
9.根据权利要求8所述的对周期性生理活动的图像序列进行分析的系统，其特征在于，所述处理器执行所述计算机可执行指令时将计算出的相位标记在相应的图像帧上，并将标记相位的图像帧保存到所述存储器中。
10.根据权利要求9所述的对周期性生理活动的图像序列进行分析的系统，其特征在于，所述存储器与医学数据库通信连接，用于从其获取所述图像序列，和/或将标记相位的图像帧传输到所述医学数据库。
11.根据权利要求9所述的对周期性生理活动的图像序列进行分析的系统，其特征在于，所述系统包括显示器，用于显示图像帧连同对其标记的相位。
CN201911127231.8A 2018-01-08 2018-03-09 对周期性生理活动的图像序列进行分析的方法、介质和系统 Active CN110660058B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/864,398 2018-01-08
US15/864,398 US10499867B2 (en) 2018-01-08 2018-01-08 Method, storage medium, and system for analyzing image sequences of periodic physiological activities
CN201810195622.2A CN108364290B (zh) 2018-01-08 2018-03-09 对周期性生理活动的图像序列进行分析的方法、介质和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810195622.2A Division CN108364290B (zh) 2018-01-08 2018-03-09 对周期性生理活动的图像序列进行分析的方法、介质和系统

Publications (2)

Publication Number Publication Date
CN110660058A CN110660058A (zh) 2020-01-07
CN110660058B true CN110660058B (zh) 2022-07-12

Family

ID=63003670

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810195622.2A Active CN108364290B (zh) 2018-01-08 2018-03-09 对周期性生理活动的图像序列进行分析的方法、介质和系统
CN201911127231.8A Active CN110660058B (zh) 2018-01-08 2018-03-09 对周期性生理活动的图像序列进行分析的方法、介质和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810195622.2A Active CN108364290B (zh) 2018-01-08 2018-03-09 对周期性生理活动的图像序列进行分析的方法、介质和系统

Country Status (2)

Country Link
US (2) US10499867B2 (zh)
CN (2) CN108364290B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300167B (zh) * 2017-07-25 2023-10-10 清华大学 重建ct图像的方法和设备以及存储介质
US11786202B2 (en) 2018-01-08 2023-10-17 Shenzhen Keya Medical Technology Corporation Method, system, and medium for analyzing image sequence of periodic physiological activity
US11367193B2 (en) * 2019-12-31 2022-06-21 Uih America, Inc. Systems and methods for medical imaging
US11694374B2 (en) 2020-04-13 2023-07-04 Delta Electronics, Inc. Method for gating in tomographic imaging system
CN113261987A (zh) * 2021-03-25 2021-08-17 聚融医疗科技(杭州)有限公司 一种基于运动目标的三维超声成像方法及系统
US20220361834A1 (en) * 2021-05-12 2022-11-17 Angiowave Imaging, Llc Motion-compensated wavelet angiography
CN113768476B (zh) * 2021-09-13 2024-03-26 复旦大学附属中山医院 心动周期时相检测方法、装置及计算机程序产品
CN113971659B (zh) * 2021-09-14 2022-08-26 杭州微引科技有限公司 一种经皮肺以及腹部穿刺的呼吸门控系统
CN114533036A (zh) * 2022-01-17 2022-05-27 深圳市安保科技有限公司 可视化肺通气监测方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725978A (zh) * 2002-12-13 2006-01-25 皇家飞利浦电子股份有限公司 用于处理一系列表示心动周期的图像帧的系统和方法
CN101103377A (zh) * 2003-10-02 2008-01-09 美国西门子医疗解决公司 进行局部可变形运动分析的系统和方法
CN102509267A (zh) * 2011-11-08 2012-06-20 华北电力大学（保定） 一种血管内超声图像序列的回顾性脱机门控方法
CN104361606A (zh) * 2014-09-29 2015-02-18 北京理工大学 X射线造影图像序列中的心动周期恢复方法
CN105190691A (zh) * 2013-05-08 2015-12-23 皇家飞利浦有限公司 用于获得对象的生命体征的设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535570B2 (en) * 1999-06-17 2003-03-18 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Her Majesty's Canadian Government Method for tracing organ motion and removing artifacts for computed tomography imaging systems
GB9920401D0 (en) * 1999-08-27 1999-11-03 Isis Innovation Non-rigid motion image analysis
US20050107704A1 (en) * 2003-11-14 2005-05-19 Von Behren Patrick L. Motion analysis methods and systems for medical diagnostic ultrasound
US20080051660A1 (en) * 2004-01-16 2008-02-28 The University Of Houston System Methods and apparatuses for medical imaging
US20050215904A1 (en) * 2004-03-23 2005-09-29 Siemens Medical Solutions Usa, Inc. Ultrasound breathing waveform detection system and method
GB2416101A (en) * 2004-07-06 2006-01-11 Elekta Ab Imaging internal structures and correcting for motion artifacts
US20080095417A1 (en) * 2006-10-23 2008-04-24 Gianni Pedrizzetti Method for registering images of a sequence of images, particularly ultrasound diagnostic images
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
CN101623198A (zh) * 2008-07-08 2010-01-13 深圳市海博科技有限公司 动态肿瘤实时跟踪方法
CN101773395B (zh) * 2009-12-31 2011-05-18 华中科技大学 一种从单臂x射线造影图中提取呼吸运动参数的方法
GB201006046D0 (en) * 2010-04-12 2010-05-26 Ge Healthcare Uk Ltd System and method for determining motion of a biological object
TWI420906B (zh) * 2010-10-13 2013-12-21 Ind Tech Res Inst 興趣區域之追蹤系統與方法及電腦程式產品
US9300947B2 (en) * 2011-03-24 2016-03-29 Kodak Alaris Inc. Producing 3D images from captured 2D video
US8861830B2 (en) * 2011-11-07 2014-10-14 Paieon Inc. Method and system for detecting and analyzing heart mechanics
CN105051785B (zh) * 2013-03-18 2017-07-04 快图有限公司 用于运动估算的方法和装置
JP6371837B2 (ja) * 2013-10-17 2018-08-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被験者のバイタルサインを取得するデバイスと方法
CN103679750B (zh) * 2013-11-25 2016-04-20 武汉东智科技有限公司 一种基于视频的摄像机抖动检测方法
CN103886615B (zh) * 2013-12-31 2016-04-20 华中科技大学 一种x射线血管造影图像中多运动参数的分离估计方法
US9483685B2 (en) * 2014-04-28 2016-11-01 University Of Pittsburgh - Of The Commonwealth System Of Higher Education System and method for automated identification of abnormal ciliary motion
KR20150142854A (ko) * 2014-06-12 2015-12-23 삼성전자주식회사 엑스선 영상 장치 및 그 제어 방법
US10459615B2 (en) * 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery
US9940726B2 (en) * 2014-12-19 2018-04-10 The Boeing Company System and method to improve object tracking using tracking fingerprints
JP6582926B2 (ja) * 2015-11-27 2019-10-02 カシオ計算機株式会社 移動情報取得装置、移動情報取得方法、及び、プログラム
US9861302B1 (en) * 2016-06-29 2018-01-09 Xerox Corporation Determining respiration rate from a video of a subject breathing
KR102649197B1 (ko) * 2016-07-29 2024-03-20 삼성전자주식회사 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
JP6894725B2 (ja) * 2017-03-09 2021-06-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP6958202B2 (ja) * 2017-10-03 2021-11-02 コニカミノルタ株式会社 動態画像処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725978A (zh) * 2002-12-13 2006-01-25 皇家飞利浦电子股份有限公司 用于处理一系列表示心动周期的图像帧的系统和方法
CN101103377A (zh) * 2003-10-02 2008-01-09 美国西门子医疗解决公司 进行局部可变形运动分析的系统和方法
CN102509267A (zh) * 2011-11-08 2012-06-20 华北电力大学（保定） 一种血管内超声图像序列的回顾性脱机门控方法
CN105190691A (zh) * 2013-05-08 2015-12-23 皇家飞利浦有限公司 用于获得对象的生命体征的设备
CN104361606A (zh) * 2014-09-29 2015-02-18 北京理工大学 X射线造影图像序列中的心动周期恢复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Shape-correlated deformation statistics for respiratory motion prediction in 4D lung;Xiao Xiao Liu等;《Translator Disclaimer》;20101231;全文 *
基于投影图像和CT容积图像的三维冠状动脉运动跟踪新方法;杨俊等;《生物医学工程与临床》;20100725(第04期);全文 *
基于独立时空特征空间的人体运动合成;刘更代等;《计算机学报》;20110315(第03期);全文 *

Also Published As

Publication number Publication date
US20190209113A1 (en) 2019-07-11
CN108364290B (zh) 2020-10-09
CN110660058A (zh) 2020-01-07
US10980502B2 (en) 2021-04-20
US10499867B2 (en) 2019-12-10
CN108364290A (zh) 2018-08-03
US20200085395A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
CN110660058B (zh) 对周期性生理活动的图像序列进行分析的方法、介质和系统
US10580526B2 (en) System and method for calculating vessel flow parameters based on angiography
JP5976431B2 (ja) 運動対象輪郭トラッキング装置及び運動対象輪郭トラッキング方法
US7430309B2 (en) Computation of a geometric parameter of a cardiac chamber from a cardiac tomography data set
US8209002B2 (en) Method and apparatus for quantitative assessment of cardiac electrical events
US8577441B2 (en) System and method for image based physiological monitoring of cardiovascular function
US11269036B2 (en) System and method for phase unwrapping for automatic cine DENSE strain analysis using phase predictions and region growing
EP2827777A1 (en) Method and system for acquiring and analyzing multiple image data loops
Veronesi et al. Tracking of left ventricular long axis from real-time three-dimensional echocardiography using optical flow techniques
US9498140B2 (en) Image-based waveform parameter estimation
US20100030572A1 (en) Temporal registration of medical data
Hennersperger et al. Vascular 3D+ T freehand ultrasound using correlation of doppler and pulse-oximetry data
Yang et al. Automatic left ventricle segmentation based on multiatlas registration in 4D CT images
CN104361606B (zh) X射线造影图像序列中的心动周期恢复方法
Alizadeh Sani et al. Automatic computation of left ventricular volume changes over a cardiac cycle from echocardiography images by nonlinear dimensionality reduction
Zheng et al. An off-line gating method for suppressing motion artifacts in ICUSsequence
Freytag et al. In vivo pressure-volume loops and chamber stiffness estimation using real-time 3D echocardiography and left ventricular catheterization–application to post-heart transplant patients
US11786202B2 (en) Method, system, and medium for analyzing image sequence of periodic physiological activity
CN114298960A (zh) 用于分析周期性生理活动的图像序列的方法、系统和介质
Corsi et al. 3D dynamic position assessment of the coronary sinus lead in cardiac resynchronization therapy
Zheng et al. Analysis of coronary arterial dynamics from x-ray angiographic sequences
ten Brinke et al. Automated TIMI frame counting using 3-d modeling
Szilágyi et al. Volumetric analysis of the heart using echocardiography
AU2022405390A1 (en) Medical image movement detection and correction method and system, and computer readable medium
CN118247221A (zh) 基于特异性冠脉血流模型的血流储备分数评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant