CN105188541A - 图像处理装置和程序 - Google Patents

图像处理装置和程序 Download PDF

Info

Publication number
CN105188541A
CN105188541A CN201480026373.4A CN201480026373A CN105188541A CN 105188541 A CN105188541 A CN 105188541A CN 201480026373 A CN201480026373 A CN 201480026373A CN 105188541 A CN105188541 A CN 105188541A
Authority
CN
China
Prior art keywords
boundary line
displacement
image
field picture
subject area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480026373.4A
Other languages
English (en)
Inventor
大和宏
岛村谦太
远山修
村冈慎太郎
野地翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Publication of CN105188541A publication Critical patent/CN105188541A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明的目的在于提供一种能够捕捉对象区域的形状的活动本身的图像处理技术。而且,本发明所涉及的图像处理装置(3)具备:动态图像获取部(110),获取动态图像;边界线提取单元(130),提取对象区域的边界线来得到多条对象区域边界线;位移校正单元(140),使用与多条对象区域边界线对应的像素,针对多条对象区域边界线中的除了基准边界线以外的对象区域边界线中的某一条或一条以上,计算以基准边界线为位移基准的位移量,该位移量是要去除分量,在计算位移量后使用位移量对除了基准边界线以外的规定数量的对象区域边界线进行校正,由此得到去掉要去除分量后的规定数量的已位移校正边界线;以及显示单元(34),显示基于规定数量的已位移校正边界线的显示用的已位移校正边界线信息。

Description

图像处理装置和程序
技术领域
本发明涉及一种对人体或动物的身体进行摄像而得到的动态图像的图像处理技术。
背景技术
在医疗现场,使用X射线等对内脏、骨骼等所包含的患部进行摄影,由此进行各种检查、诊断。而且,近年来,通过数字技术的应用,能够比较容易地获取使用X射线等捕捉到患部的活动的动态图像(由多个帧图像构成的图像群)。
在此,能够利用FPD(flatpaneldetector:平板探测器)等半导体图像传感器对包括诊断对象区域的被摄体区域进行动态图像的摄影,因此尝试实施在以往的利用X射线摄影的静止图像摄影和诊断中无法实施的起因于诊断对象区域等的活动分析的病理分析、诊断。特别是,在X射线胸部处的动态分析中,还实施了通过针对肺野内的各位置的与肺野内浓度变化有关的动态功能定量分析来辅助诊断/治疗(X射线动态图像用CAD)的研究。
作为定量分析方法,提出了通过基于胸部处的动态图像的帧图像对时间变化进行分析来生成对诊断有效的分析信息的技术。
例如,在专利文献1所公开的技术中,公开了如下技术:按时间序列连续地获取多个X射线图像,对多个X射线图像分别在期望的位置设定线,由此获取沿着所设定的线排列的像素列,通过将它们按时间序列顺序排列来生成新的图像。
另外,在专利文献2所公开的技术中,公开了如下技术:从动态图像中测量横隔膜的位置并求出移动量,另外,确定最大吸气时的动态图像和最大呼气时的动态图像并使用像素差分值来针对分割出的每个胸部区域求出相对的换气信息,在CT图像间进行线性插值,制作冠状像、矢状像以及透明成像(Raysum)图像,从透明成像图像中测量横隔膜的位置,进一步在呼吸水平与CT图像一致的动态图像的帧和由CT图像制作的透明成像图像之间进行位置对准,使换气信息叠加在冠状像和动态图像上。除此以外,还公开了测量左右横隔膜、肺尖部的位置来求出移动量、并根据移动量将活动进行图形显示的方法。
专利文献1:日本特开2004-312434号公报
专利文献2:国际公开第2006/137294号
发明内容
然而,利用上述专利文献1的方法表现的诊断图像将被固定的线上的时间方向的变化表示为一张剖面图像,但无法表现时间方向的对象区域的形状的活动本身(即,帧图像上的二维空间的时间变化)。
另一方面,在上述专利文献2的技术中也是,虽然公开了测量左右横隔膜和肺尖部的规定的位置并求出该位置处的移动量(位移量)、并根据移动量将该位置处的活动进行图形显示的方法,但是,即使能够一维地表现对象区域的活动本身,也无法表现对象区域的二维形状的活动本身。
即,在上述专利文献1和2的技术中,无法捕捉帧图像上的二维空间的时间变化,因此无法捕捉对象区域的形状的活动本身。
本发明是鉴于这种情况而完成的,其目的在于,提供一种能够捕捉用户所期望的对象区域的形状的活动本身的图像处理技术。
为了解决上述问题,作为发明1的发明的图像处理装置具备:动态图像获取单元,获取由沿时间方向依次对人体或动物的身体内部的对象区域的物理状态随时间变化的状态进行摄影而得到的多个帧图像构成的动态图像;边界线提取单元,对所述多个帧图像中的多个帧图像进行提取所述对象区域的边界线来得到多条所述对象区域边界线的边界线提取处理;位移校正单元,使用与多条所述对象区域边界线对应的像素,针对多条所述对象区域边界线中的除了基准边界线以外的对象区域边界线中的某一条或一条以上,进行计算以所述基准边界线为位移基准的位移量的位移量计算处理,所述位移量是要去除分量,在所述位移量计算处理后,进行使用所述位移量对除了所述基准边界线以外的规定数量的所述对象区域边界线进行校正的校正处理,由此得到去掉了所述要去除分量的规定数量的已位移校正边界线;以及显示单元,显示基于所述规定数量的已位移校正边界线的显示用的已位移校正边界线信息。
另外,发明2的发明是发明1所记载的图像处理装置,其中,所述要去除分量包含所述对象区域中的因上下移动、并进以及旋转引起的变形分量中的至少一个分量。
另外,发明3的发明是发明1或发明2所记载的图像处理装置,其中,还具备帧选择单元,该帧选择单元对至少包含所述多个帧图像的选择对象帧图像进行包括选择用于提取所述基准边界线的基准帧图像和用于提取除了所述基准边界线以外的所述对象区域边界线的参照帧图像的处理的帧选择处理,所述位移量计算处理包括如下处理:将所述基准帧图像的所述对象区域边界线作为所述基准边界线,计算与所述参照帧图像的所述对象区域边界线的对应的像素间的位移量。
另外,发明4的发明是发明3所记载的图像处理装置,其中,所述选择对象帧图像包含相比于所述多个帧图像在时间上的过去摄影得到的帧图像,所述帧选择处理包括如下处理:将针对同一所述身体而相比于所述多个帧图像在时间上的过去摄影得到的帧图像选择为所述基准帧图像。
另外,发明5的发明是发明3所记载的图像处理装置,其中,还具备周期分类单元,该周期分类单元检测成为与拍摄到所述多个帧图像的摄影时刻同步的所述身体中的所述对象区域的周期性变化的对象区域周期,以该对象区域周期为单位分类所述多个帧图像,所述基准帧图像和所述参照帧图像是所述对象区域周期处于同一周期内时的帧图像,表示所述对象区域的物理状态随时间变化的状态的值被规定为物理状态值,所述帧选择处理包括第1选择处理和第2选择处理,在该第1选择处理中,选择:(b1)所述物理状态值相当于预先设定的第1设定值时的帧图像、(b2)所述物理状态值相当于最大值时的帧图像以及(b3)所述物理状态值相当于最小值时的帧图像中的某一个帧图像,来作为所述基准帧图像,在该第2选择处理中,选择:(c1)所述物理状态值相当于预先设定的第2设定值时的帧图像、(c2)在时间上与所述基准帧图像接近的帧图像、(c3)在所述基准帧图像为所述(b2)的帧图像时相当于所述物理状态值的最小值时的帧图像以及(c4)在所述基准帧图像为所述(b3)的帧图像时相当于所述物理状态值的最大值时的帧图像中的某一个帧图像,来作为所述参照帧图像。
另外,发明6的发明是发明3所记载的图像处理装置,其中,所述校正处理中使用的所述位移量是所述基准边界线和所述对象区域边界线中的一条对象区域边界线的对应的像素间的位移量,使用所述位移量对除了所述一条对象区域边界线以外的所述对象区域边界线进行校正。
另外,发明7的发明是发明3所记载的图像处理装置,其中,所述校正处理中使用的所述位移量是离在时间上与作为校正对象的对象区域边界线最近的对象区域边界线的位移量。
另外,发明8的发明是发明3所记载的图像处理装置,其中,所述校正处理中使用的所述位移量是根据在时间上邻接的两条边界线间的位移量之和得到的、所述基准边界线与作为校正对象的对象区域边界线间的位移量。
另外,发明9的发明是发明1至发明8中的任一项所记载的图像处理装置,其特征在于,还具备图像生成单元,该图像生成单元生成针对所述规定数量的每条已位移校正边界线分离出的规定数量的分离图像,所述显示单元将所述规定数量的分离图像作为所述已位移校正边界线信息来逐次显示。
另外,发明10的发明是发明1至发明9中的任一项所记载的图像处理装置,其特征在于,还具备图像生成单元,该图像生成单元以使多条所述已位移校正边界线重叠显示的方式生成一张静止图像,所述显示单元显示所述静止图像来作为所述已位移校正边界线信息。
另外,发明11的发明是发明1至发明10中的任一项所记载的图像处理装置,其特征在于,所述对象区域包含横隔膜区域和心脏区域中的至少某一方区域。
另外,发明12的发明是一种通过由图像处理装置所包含的计算机执行来使所述计算机作为发明1至发明11中的任一项所记载的图像处理装置发挥功能的程序。
根据发明1至发明11所记载的图像处理装置,使用与多条对象区域边界线对应的像素,针对多条对象区域边界线中的除了基准边界线以外的对象区域边界线中的某一条或一条以上,进行计算以基准边界线为位移基准的位移量的位移量计算处理,该位移量是要去除分量。然后,在位移量计算处理后进行使用该位移量对除了基准边界线以外的规定数量的对象区域边界线进行校正的校正处理,由此得到去掉了该要去除分量的规定数量的已位移校正边界线,显示基于规定数量的已位移校正边界线的显示用的已位移校正边界线信息。即,通过显示从对象区域边界线去掉了与该位移量相当的变形的已位移校正边界线,用户捕捉对象区域边界线的形状本身的变化,由此能够掌握对象区域的形状的活动本身。另外,由于能够捕捉对象区域边界线的形状本身,因此能够发现局部形状的异常,能够容易地诊断粘连等局部性异常。并且,用户所期望的诊断内容汇总到已位移校正边界线信息,因此在所需最低限度的诊断时间内完成,诊断效率提高。因此,能够适当且高效地进行动态诊断。
根据发明2所记载的图像处理装置,要去除分量包含所述对象区域中的因上下移动、并进以及旋转引起的变形分量中的至少一个分量。由此,能够显示从对象区域边界线去掉了因上下移动、并进、旋转引起的变形的已位移校正边界线。
根据发明3所记载的图像处理装置,还具备帧选择单元,该帧选择单元对至少包含多个帧图像的选择对象帧图像进行包括选择用于提取基准边界线的基准帧图像和用于提取除了基准边界线以外的对象区域边界线的参照帧图像的处理的帧选择处理,位移量计算处理包括如下处理:将基准帧图像的对象区域边界线作为基准边界线,计算与参照帧图像的对象区域边界线的对应的像素间的位移量。由此,能够选择与用户的诊断用途相应的帧图像,进而能够显示与诊断用途相应的已位移校正边界线信息。另外,通过仅选择所需的帧图像,与针对动态图像所包含的全部帧图像都得到已位移校正边界线的情况相比,能够使位移量计算处理和校正处理所需的计算时间为最小限。
根据发明4所记载的图像处理装置,选择对象帧图像包含相比于多个帧图像在时间上的过去摄影得到的帧图像,帧选择处理包括如下处理:将针对同一身体而相比于多个帧图像在时间上的过去摄影得到的帧图像选择为基准帧图像。即,在得到用于指示当前已位移校正边界线的当前已位移校正边界线信息的情况下,针对基准帧图像,能够使用过去摄影的共同的(相同的)帧图像来实施。由此,能够根据动态诊断高精度地进行一个身体的横隔膜边界线LI的过去与当前的形状本身的比较及其变化的比较。因此,能够准确地进行随访观察。
根据发明5所记载的图像处理装置,基准帧图像和参照帧图像是对象区域周期处于同一周期内时的帧图像,帧选择处理包括选择(b1)~(b3)中的某一个帧图像来作为基准帧图像的第1选择处理以及选择(c1)~(c4)中的某一个帧图像来作为参照帧图像的第2选择处理。由此,能够在用户所期望的同一周期内的帧图像间高精度地诊断对象区域边界线的形状本身的变化。
另外,根据发明6所记载的图像处理装置,能够使用基准边界线和对象区域边界线中的一条对象区域边界线的对应的像素间的位移量来高精度地对除了该一条对象区域边界线以外的对象区域边界线进行校正。
根据发明7所记载的图像处理装置,校正处理中使用的位移量是离在时间上与作为校正对象的对象区域边界线最近的对象区域边界线的位移量。即,每当进行位移量的计算时参照帧图像被变更,并且还能够进行基准帧图像的变更。这样,能够随着参照帧图像的变更而变更基准帧图像。
因而,通过进行始终使用最近的选择对象帧图像间的横隔膜边界线间的位移量的校正处理,能够得到校正精度高的已位移校正边界线。其结果,能够显示与诊断用途相符的已位移校正边界线信息,因此能够更适当且高效地进行动态诊断。
根据发明8所记载的图像处理装置,校正处理中使用的位移量是根据在时间上邻接的两条边界线间的位移量之和得到的、基准边界线与作为校正对象的对象区域边界线间的位移量。这样,位移量计算处理将基准边界线与横隔膜边界线间的一个位移量细分化来进行计算,由此与不将基准帧图像与参照帧图像间细分化而计算出的位移量相比,能够更高精度地进行计算。
根据发明9所记载的图像处理装置,生成针对规定数量的每条已位移校正边界线分离出的规定数量的分离图像,将该规定数量的分离图像作为已位移校正边界线信息来逐次显示。由此,能够通过动态图像来捕捉对象区域边界线的形状本身的变化。
根据发明10所记载的图像处理装置,以使规定数量的已位移校正边界线重叠显示的方式生成一张静止图像,显示该静止图像来作为已位移校正边界线信息。例如,在将作为诊断对象的规定数量的已位移校正边界线的形状设为已位移校正边界线信息的情况下,能够将它们以能够识别的方式重叠显示。由此,能够通过一张静止图像来捕捉对象区域边界线的形状本身的变化。
根据发明11所记载的图像处理装置,对象区域包含横隔膜区域和心脏区域中的至少任一方区域。由此,能够通过动态诊断适当地诊断肺气肿、横隔膜弛患症等疾病。另外,在这些疾病中,如果是轻度的症状则有时不知道是异常,但是,如果进行基于已位移校正边界线信息的诊断,则不会依赖于用户的主观,因此能够防止误诊。
根据发明12所记载的图像处理装置,能够得到与发明1至发明11所记载的发明相同的效果。
本发明的目的、特征、方面以及优点通过以下详细的说明和附图而变得更清楚。
附图说明
图1是表示第1实施方式的放射线动态图像摄影系统100的整体结构的图。
图2是说明呼吸运动与横隔膜的位置的关系的图。
图3是表示第1实施方式的图像处理装置3的功能结构的框图。
图4是例示通过放射线动态图像摄影来摄影得到的动态图像的图。
图5是将按时间序列示出呼吸振动值的波形数据的呼吸相位和摄影定时一起示出的示意图。
图6是例示了呼气相位时的横隔膜边界线的示意图。
图7是附加坐标地例示了呼气相位时的横隔膜边界线的示意图。
图8是例示包括横隔膜边界线的肺野区域的轮廓提取的示意图。
图9是例示包括横隔膜边界线的肺野区域的轮廓提取的示意图。
图10是说明横隔膜边界线间的位移量的示意图。
图11是说明横隔膜边界线间的位移量的示意图。
图12是例示呼气相位时的已位移校正边界线的示意图。
图13是说明位移量计算处理的示意图。
图14是说明位移量计算处理的示意图。
图15是说明校正处理的示意图。
图16是说明校正处理的示意图。
图17是说明校正处理的示意图。
图18是例示健康者的已位移校正边界线信息的图。
图19是例示非健康者的已位移校正边界线信息的图。
图20是说明在第1实施方式中实现的图像处理装置3的基本动作的流程图。
图21是说明第2实施方式中的校正处理的示意图。
图22是说明第3实施方式中的校正处理的示意图。
图23是表示第4实施方式的图像处理装置3A的功能结构的框图。
图24是例示呼吸周期的计算方法的图。
图25是说明在第4实施方式中实现的图像处理装置3A的基本动作的流程图。
图26是表示第5实施方式的图像处理装置3B的功能结构的框图。
图27是说明第5实施方式中的帧选择处理的图。
图28是说明在第5实施方式中实现的图像处理装置3B的基本动作的流程图。
图29是说明第6实施方式中的心脏边界线的示意图。
图30是按时间序列示出心脏壁的活动的心搏相位的示意图。
图31是说明已位移校正边界线信息的显示方法的一个例子的图。
符号说明
1:摄影装置;2:摄影控制装置;3、3A、3B:图像处理装置;31、31A、31B:控制部;32:存储部;34:显示部;100:放射线动态图像摄影系统;110、110B:动态图像获取部;115、115B:周期分类部;120、120A、120B:帧选择部;130、130B:边界线提取部;140、140B:位移校正部;150、150B:图像生成部;210:过去动态图像获取部;215:过去周期分类部;310:当前动态图像获取部;315:当前周期分类部;M:被摄体(被检者);MI:帧图像;TI:第1数量的帧图像;BF:基准帧图像;RF:参照帧图像;BL:基准边界线;RL:参照边界线;LI:横隔膜边界线;HLI:心脏边界线;LIc:已位移校正边界线;LG:已位移校正边界线信息;PC:呼吸周期;PH:呼吸相位;PH1:吸气相位;PH2:呼气相位;EM:最大呼气相位;IM:最大吸气相位。
具体实施方式
<1.第1实施方式>
下面说明本发明的第1实施方式的放射线动态图像摄影系统。
<1-1.放射线动态图像摄影系统的整体结构>
第1实施方式的放射线动态图像摄影系统将人体或动物的身体作为被摄体来针对被摄体的对象区域的物理状态周期性地随时间变化的状况进行放射线图像的摄影。
图1是表示第1实施方式的放射线动态图像摄影系统的整体结构的图。如图1所示,放射线动态图像摄影系统100具备摄影装置1、摄影控制装置2(摄影用控制台)以及图像处理装置3(诊断用控制台)。构成为:摄影装置1与摄影控制装置2通过通信电缆等相连接,摄影控制装置2与图像处理装置3经由LAN(LocalAreaNetwork:局域网)等通信网络NT相连接。构成放射线动态图像摄影系统100的各装置依照DICOM(DigitalImageandCommunicationsinMedicine:医学数字图像和通信)标准,各装置间的通信依照DICOM标准进行。
<1-1-1.摄影装置1的结构>
摄影装置1例如由X射线摄影装置等构成,是对伴随呼吸的被摄体M的胸部的动态进行摄影的装置。动态摄影是通过如下方式进行的:一边对被摄体M的胸部重复照射X射线等放射线,一边按时间顺序获取多个图像。将通过该连续摄影所得到的一系列图像称为动态图像。另外,将构成动态图像的多个图像中的各个图像称为帧图像。
如图1所示,摄影装置1构成为具备照射部(放射线源)11、放射线照射控制装置12、摄像部(放射线检测部)13以及读取控制装置14。
照射部11按照放射线照射控制装置12的控制,对被摄体M照射放射线(X射线)。图示例子是人体用的系统,被摄体M相当于检查对象者。下面,将被摄体M还称为“被检者”。
放射线照射控制装置12连接于摄影控制装置2,基于从摄影控制装置2输入的放射线照射条件,控制照射部11来进行放射线摄影。
摄像部13由FPD等半导体图像传感器构成,将从照射部11照射并透过了被检者M的放射线变换为电信号(图像信息)。
读取控制装置14连接于摄影控制装置2。读取控制装置14基于从摄影控制装置2输入的图像读取条件,对摄像部13的各像素的切换部进行控制,来对该各像素中蓄积的电信号的读取进行切换,读取摄像部13中蓄积的电信号,由此获取图像数据。然后,读取控制装置14将所获取的图像数据(帧图像)输出到摄影控制装置2。图像读取条件例如是帧速率、帧间隔、像素尺寸、图像尺寸(矩阵尺寸)等。帧速率是每秒获取的帧图像数,与脉冲速率一致。帧间隔是在连续摄影中从一次帧图像的获取动作开始到下一个帧图像的获取动作开始为止的时间,与脉冲间隔一致。
在此,放射线照射控制装置12与读取控制装置14相互连接,相互交换同步信号来使放射线照射动作与图像的读取的动作同步。
<1-1-2.摄影控制装置2的结构>
摄影控制装置2将放射线照射条件、图像读取条件输出到摄影装置1来控制由摄影装置1进行的放射线摄影和放射线图像的读取动作,并且显示由摄影装置1获取的动态图像以用于确认是否为适于进行由摄影师实施的定位的确认、诊断的图像。
如图1所示,摄影控制装置2构成为具备控制部21、存储部22、操作部23、显示部24以及通信部25,各部通过总线26相连接。
控制部21由CPU(CentralProcessingUnit:中央处理单元)、RAM(RandomAccessMemory:随机存取存储器)等构成。控制部21的CPU根据操作部23的操作读出存储部22中存储的系统程序、各种处理程序并展开到RAM内,按照所展开的程序执行以后述的摄影控制处理为代表的各种处理,对摄影控制装置2各部的动作、摄影装置1的动作进行集中控制。
存储部22由非易失性半导体存储器、硬盘等构成。存储部22存储由控制部21执行的各种程序、通过程序执行处理所需的参数、或处理结果等数据。
操作部23构成为具备包括光标键、数字输入键以及各种功能键等的键盘以及鼠标等定位装置,将经由对键盘的键操作、鼠标操作或者触摸面板输入的指示信号输出到控制部21。
显示部24由彩色LCD(LiquidCrystalDisplay:液晶显示器)等监视器构成,按照从控制部21输入的显示信号的指示来显示来自操作部23的输入指示、数据等。
通信部25具备LAN适配器、调制解调器、TA(TerminalAdapter:终端适配器)等,对与连接于通信网络NT的各装置之间的数据发送接收进行控制。
<1-1-3.图像处理装置3的结构>
图像处理装置3经由摄影控制装置2获取从摄像装置1发送的动态图像,显示用于由医师等进行读影诊断的图像。
如图1所示,图像处理装置3构成为具备控制部31、存储部32、操作部33、显示部34、通信部35以及分析部36,各部通过总线37相连接。
控制部31由CPU、RAM等构成。控制部31的CPU根据操作部33的操作读出存储部32中存储的系统程序、各种处理程序并展开到RAM内,按照所展开的程序执行各种处理,对图像处理装置3各部的动作进行集中控制(后面说明详情)。
存储部32由非易失性半导体存储器、硬盘等构成。存储部32存储由控制部31执行的各种程序、通过程序执行处理所需的参数、或处理结果等数据。例如,存储部32存储有用于执行后述的图像处理的图像处理程序。这些各种程序以能够读取的程序代码的形态被保存,控制部31逐次执行按照该程序代码的动作。
操作部33构成为具备包括光标键、数字输入键以及各种功能键等的键盘以及鼠标等定位装置,将经由对键盘的键操作、鼠标操作或者触摸面板输入的指示信号输出到控制部31。
显示部34由彩色LCD等监视器构成,按照从控制部31输入的显示信号的指示来显示来自操作部33的输入指示、数据以及后述的显示用图像。
通信部35具备LAN适配器、调制解调器、TA等,对与连接于通信网络NT的各装置之间的数据发送接收进行控制。
<1-2.呼吸运动与横隔膜的位置的关系以及动态诊断中的问题点>
作为说明该实施方式中的图像处理装置3的详情的前提,事先说明呼吸运动与横隔膜的位置的关系以及与之相伴的动态诊断中的问题点。
图2是说明呼吸运动与横隔膜的位置的一般关系的图。图2的(a)是表示人体内部的侧面的吸入气时(吸气时)的示意图,图2的(b)是表示人体内部的侧面的吐出气时(呼气时)的示意图,图2的(c)是在人体内部的正面将呼气和吸气这两方的状况一起示出的示意图。
如图2的(c)所示,关于呼吸,当被胸膛53和横隔膜50包围而密闭的左右的胸腔52鼓起时吸入空气,当胸腔52收缩时吐出空气,从而进行呼吸。即,如图2的(a)所示,在吸气时,横隔膜50-1如箭头AR11那样下降而肋骨如箭头AR12那样上升,从而胸腔52扩大,通过气管51如箭头AR13那样向肺吸入空气。另一方面,如图2的(b)所示,在呼气时,横隔膜50-2如箭头AR21那样上升而肋骨如箭头AR22那样下降,从而胸腔52缩小,通过气管51如箭头AR23那样从肺推出空气。通过横隔膜50这样活动,分担呼吸运动的约60%。
在上述的图2的例子中,说明了健康者的呼吸运动与横隔膜50的位置的关系,但是对于例如患有肺气肿等疾病的非健康者而言,由于肺泡破坏而支气管变细,即使吐气,空气也不从肺出去,肺过度膨胀,即使在吐气的状态下,肺仍保持往下压横隔膜50。也就是说,横隔膜50不活动,从而无法顺利地进行呼吸运动。
另外,对于患有横隔膜衰弱症等横隔膜的疾病的非健康者,在一方或两方的横隔膜50不活动的状态下,由于纵隔或肺的肿瘤、大动脉瘤、外伤、纵隔的手术等,使横隔膜50活动的横隔神经受损伤而引起横隔膜麻痹。
在对患有这种疾病的非健康者进行动态诊断时,如果利用胸部X射线动态图像实施检查,则横隔膜50处于保持被往下压或向上升的状态而即使进行呼吸也无法活动的状态。
如果上述的疾病是重度,则即使是不熟练的医生等用户也能够容易地进行诊断,但是在轻度的疾病的情况下,依赖于用户的主观的情况较多,容易留有含糊的点,容易导致误诊。
另外,为了防止上述的误诊,用户需要通过详细地进行观察或者观察与由健康者的呼吸引起的活动之间的差异来进行动态诊断,从而花费大量的观察时间,诊断效率非常差。
并且,横隔膜呈立体形状,难以从实际摄影的X射线动态图像掌握横隔膜的形状并捕捉横隔膜的活动。另外,需要根据左右肺野的形状、活动的变化进行诊断。然而,对于基于动态诊断的诊断经验少的用户来说,即使是由正常呼吸引起的动作,也难以从产生位置变动、形状变动等多个活动的动态图像掌握并判断左右肺野中的异常的形状变化。
在这种背景下,期望不依赖于用户的主观而显示对诊断有效的分析信息。
因此,在本发明中,通过显示从对象区域的边界线去掉帧图像间的不需要的变形后的边界线信息,能够捕捉对象区域的形状本身的活动。
下面,说明第1实施方式中的图像处理装置3的详情。
<1-3.图像处理装置3的具体结构>
本发明的第1实施方式中的放射线动态图像摄影系统100的图像处理装置3通过显示去掉因帧图像间的上下移动、并进、旋转引起的变形后的边界线信息来能够适当且高效地进行动态诊断。
下面,说明由图像处理装置3实现的功能性结构。
<1-3-1.图像处理装置3的功能结构>
图3是将在放射线动态图像摄影系统100中的图像处理装置3中CPU等按照各种程序进行动作来由控制部31实现的功能结构与其它结构一起示出的图。此外,该实施方式的图像处理装置3使用对主要包括心脏和两肺的胸部进行摄影而得到的动态图像。
在控制部31中,主要由动态图像获取部110、帧选择部120、边界线提取部130、位移校正部140以及图像生成部150构成。
下面,说明成如图3所示的控制部31的功能性结构是通过预先安装的程序的执行来实现的,但也可以通过专用的硬件结构来实现。
以后,参照图3依次说明关于由动态图像获取部110、帧选择部120、边界线提取部130、位移校正部140以及图像生成部150进行的各处理的具体内容。
<1-3-1-1.动态图像获取部110>
在动态图像获取部110中,获取由沿时间方向依次对通过摄像装置1的读取控制装置14摄影了的被检者M的身体内部的对象区域的物理状态随时间变化的状态进行摄影而得到的多个帧图像构成的动态图像。作为本实施方式中的对象区域,设想横隔膜区域。即,如图3所示,在摄像装置1与图像处理装置3之间介有摄影控制装置2,摄影控制装置2的存储部22中存储的检测数据(多个帧图像MI)经由通信部25被输出到图像处理装置3的通信部35。
图4是例示通过放射线动态图像摄影对伴随呼吸的被检者M的胸部的动态进行摄影得到的动态图像的图。如图4所示,由动态图像获取部110获取的帧图像M1~M10(MI)是在恒定的摄影定时对呼吸循环的1个周期进行连续摄影而得到的。具体地说,在时刻t=t1、t2、t3、…、t10的摄影定时摄影得到的图像分别对应于帧图像M1、M2、M3、…、M10。
<1-3-1-2.帧选择部120>
在帧选择部120中,对至少包含至少2个以上的即第1数量的(多个)帧图像MI的选择对象帧图像TI,进行包括选择用于提取后述的基准边界线BL的基准帧图像BF和用于提取除了基准边界线BL以外的横隔膜边界线LI(后面说明详情)的参照帧图像RF的处理的帧选择处理。
图5是将按时间序列示出后述的物理状态值(呼吸振动值)的波形数据的呼吸相位PH和摄影定时TM一起示出的示意图,是说明帧选择处理的图。如图5所示,例如在将选择对象帧图像TI设为T1~T5的情况下,帧选择处理从该帧图像T1~T5(TI)内选择基准帧图像BF和参照帧图像RF。
<1-3-1-3.边界线提取部130>
在边界线提取部130中,对上述选择对象帧图像TI进行提取对象区域的边界线来得到第1数量的(多个)对象区域边界线的边界线提取处理。本实施方式中的对象区域是横隔膜区域,因此下面将对象区域边界线设为横隔膜边界线来进行说明。
边界线提取部130对帧选择部120所选择的基准帧图像BF和参照帧图像RF进行边界线提取处理。即,针对基准帧图像BF的横隔膜边界线LI相当于基准边界线BL,针对参照帧图像RF的横隔膜边界线LI相当于参照边界线RL。然后,边界线提取部130将基准边界线BL和参照边界线RL输出到位移校正部140(参照图3)。
图6和图7是例示了呼气相位PH2(参照图5)时的横隔膜边界线的示意图。图7是在正交坐标系中示出图6的区域R1中的呼气相位PH2时的横隔膜边界线的示意图。
如图6和图7所示,对于相当于基准帧图像BF和参照帧图像RF的上述的图5中的选择对象帧图像T1~T5(TI)分别提取横隔膜边界线L1~L5(LI)。
下面,具体说明横隔膜边界线的提取方法,但是提取方法不限于在此记载的方法,只要是能够从动态图像提取的方法,就可以采用任何方法。
<1-3-1-3-1.第1边界线提取处理>
第1边界线提取处理是基于选择对象帧图像TI进行肺野部的轮廓提取来提取横隔膜边界线LI的处理。图8是例示包括横隔膜边界线LI的肺野部的轮廓提取的示意图。关于肺野部的提取,如图8所示,既可以按左右分别提取(参照图8的(a)),也可以作为包括心脏、脊椎的区域的轮廓(参照图8的(b))而提取。作为本提取方法,能够采用现有技术(例如参照“Imagefeatureanalysisandcomputer-aideddiagnosis:Accuratedeterminationofribcageboundaryinchestradiographs”、Xin-WeiXuandKunioDoi、MedicalPhysics、Volume22(5)、May1995、pp.617-626.等)等。
<1-3-1-3-2.第2边界线提取处理>
第2边界线提取处理是通过基于模型的提取来提取横隔膜边界线LI的处理。即,通过作为基于模型的方法之一的模板匹配粗略地提取(粗提取)横隔膜的候选位置,对提取出的候选区域详细地进行分析(精密提取),从而高精度地提取。通过对此时的粗提取运用与横隔膜的活动有关的医学知识,能够实施与横隔膜的活动量相应的模板的加权,能够提高粗提取的精度,因此能够谋求提高横隔膜边界线LI的提取精度。作为本提取方法,例如能够采用作为本申请人的申请的“日本特愿2012-138364号(申请日:平成24年6月20日)”。
<1-3-1-3-3.第3边界线提取处理>
第3边界线提取处理是通过基于轮廓分析的提取来提取横隔膜边界线LI的处理。图9是说明轮廓分析的图。而且,图9的(a)是表示选择对象帧图像TI的轮廓区域R2的图,图9的(b)是相对于横轴的选择对象帧图像TI的轮廓区域R2(参照图9的(a))的纵向的坐标而纵轴表示浓淡值的图形。如图9所示,在纵向上制作轮廓R2,能够将所制作的轮廓R2中的浓淡值的峰值的变化点提取为横隔膜的边界线。
<1-3-1-3-4.第4边界线提取处理>
第4边界线提取处理是通过基于用户指定的提取来提取横隔膜边界线LI的处理。具体地说,作为用户指定,既可以由用户单纯地划出横隔膜边界线LI的提取对象的线,也可以用作对通过上述的第1~第3边界线提取处理来提取的横隔膜边界线LI进行校正的方法。此外,在前者的由用户单纯地进行线指定的情况下,优选的是,仅将作为对象的选择对象帧图像TI中的一张进行用户指定,对于剩余的帧图像,在时间方向上采用对应点搜索法等来追踪。
<1-3-1-4.位移校正部140>
图10是说明边界线提取部130所提取的选择对象帧图像TI中的横隔膜边界线LI间的位移量的示意图。图10的(a)和图10的(b)分别表示边界线提取部130所提取的帧图像T1、T2中的横隔膜边界线L1、L2,图10的(c)重叠地显示横隔膜边界线L1、L2。
另外,图11是关于边界线提取部130所提取的选择对象帧图像TI中的横隔膜边界线LI间的位移量示出了两个例子的示意图。图11的(a)是例示因上下移动引起的变形,图11的(b)是例示因并进、旋转引起的变形的图。
即,如图11所示的边界线提取部130所提取的选择对象帧图像TI间的横隔膜边界线LI的形状的变化中包含如下两种变化:
(i)横隔膜边界线LI的形状本身发生变化的活动、即“形状变形”、
(ii)如图11的(a)和图11的(b)所示的伴随横隔膜的呼吸运动的活动、即“因上下移动、并进、旋转引起的变形”。
其中,为了仅得到(i)的形状变形,需要针对横隔膜边界线LI去掉(ii)的因上下移动、并进、旋转引起的变形(参照图11)。
因此,在位移校正部140中,进行如下两种处理。作为第一种处理,进行如下位移量计算处理:使用与第1数量的(多条)横隔膜边界线LI对应的像素,针对第1数量的横隔膜边界线LI中的除了基准边界线BL以外的横隔膜边界线LI的任一条或一条以上,计算以基准边界线BL为位移基准的位移量D。在此,该位移量D是指要去除分量,要去除分量包含横隔膜区域中的因上下移动、并进以及旋转引起的变形分量中的至少一个分量。
接着,作为第二种处理,在位移量计算处理后进行使用该位移量D对作为第1数量以下的第2数量(除了基准边界线BL以外的规定数量)的横隔膜边界线LI进行校正的校正处理。通过进行这两种处理,得到去掉了该要去除分量的第2数量(规定数量)的已位移校正边界线LIc(参照图3)。
即,位移校正部140接收边界线提取部130所提取的基准边界线BL和参照边界线RL来进行位移量计算处理和校正处理。在此,位移量计算处理计算基准边界线BL与参照边界线RL的对应的像素间的位移量。然后,校正处理使用该位移量对作为校正对象的横隔膜边界线LI进行校正处理,从而得到已位移校正边界线LIc。在此,作为校正对象的横隔膜边界线LI相当于参照边界线RL。
图12是例示呼气相位PH2(参照图5)时的已位移校正边界线LIc的示意图。图12所示的已位移校正边界线L1c~L5c(LIc)相当于位移校正部140对图6和图7所示的横隔膜边界线L1~L5(LI)(即,作为校正对象的横隔膜边界线LI)去掉了要去除分量的边界线。在此,在图12的例子中,将基准边界线BL设为横隔膜边界线L1,因此在帧选择部120中,将基准帧图像BF选择为帧图像T1,将参照帧图像RF(作为校正对象的帧图像)选择为帧图像T1~T5。即,位移校正部140将基准边界线BL作为横隔膜边界线L1并将参照边界线RL作为横隔膜边界线L1~L5来进行校正处理,从而得到已位移校正边界线L1c~L5c(LIc)。
下面,在关于位移量计算处理具体说明四种方法之后,关于校正处理具体说明两种方法。此外,在本实施方式中,不限定于它们,只要能够适当地进行位移量计算处理和校正处理,则也可以是其它方法。
<1-3-1-4-1.第1位移量计算处理>
在第1位移量计算处理中,在上述(ii)的变形仅由上下移动引起的情况下有效。即,在横隔膜边界线LI间的位移量在仅在上下方向这样的前提下实施。
图13是说明第1位移量计算处理的示意图。假设如下情况:如图13所示,将基准边界线BL设为横隔膜边界线L1,将参照边界线RL设为横隔膜边界线L2,横隔膜边界线L2的与横隔膜边界线L1的像素P11、P12、P13、P14对应的各像素分别是像素P21、P22、P23、P24。此外,在此为了便于说明,分别针对基准边界线BL和参照边界线RL,仅代表性地示出对应的4个像素,但是实际上适当指定基准边界线BL和参照边界线RL的对应的像素。
此时,横隔膜边界线L2相对于横隔膜边界线L1的位移量、即对应的像素的位移量仅在Y轴方向。即,通过第1位移量计算处理来计算的、“像素P11与P21的位移量d1”、“像素P12与P22的位移量d2”、“像素P13与P23的位移量d3”以及“像素P14与P24的位移量d4”分别是只有Y分量的值。
而且,例如也可以设为:除了将位移量d1~d4本身的值设为基准边界线BL与参照边界线RL的位移量D12以外,还将位移量d1~d4的平均值、最小值或最大值设为基准边界线BL与参照边界线RL的位移量D12。该位移量D12为基准边界线BL与参照边界线RL间的上下移动变形分量。
<1-3-1-4-2.第2位移量计算处理>
在第2位移量计算处理中,在上述(ii)的变形不只因上下移动引起、还因并进、旋转引起的情况下有效。即,在横隔膜边界线LI间的位移量将上下移动、并进、旋转均包含这样的前提下实施。
图14是说明第2位移量计算处理的示意图。此外,在图14中附加的符号的含义与图13共同。在图14中,与图13不同之处在于对应的像素的指定方法不同。即,在第2位移量计算处理中,以使端点间对准的方式计算位移量D12。具体地说,以使横隔膜边界线L1、L2的端点间、即像素P10和P20以及像素P14和P24对准的方式进行旋转、平行移动,针对存在于端点间的坐标点计算位移量d1~d4。
而且,例如也可以设为:除了将能够通过图14所示的位移量d1~d4计算的平行移动量、旋转角度本身的值设为基准边界线BL与参照边界线RL的位移量D12以外,还将对平行移动量、旋转角度的平均值(最小值或最大值)或其组合等所要求的量设为基准边界线BL与参照边界线RL的位移量D12。该位移量D12为因基准边界线BL与参照边界线RL间的上下移动、并进以及旋转引起的变形分量。
此外,图14所示的像素之间的位移量d1~d4相当于最近的点间距离。在此,在进行旋转、平行移动时,能够采用仿射变换等。另外,也可以通过采用最小二乘法等来求出最近的点间距离。
<1-3-1-4-3.第3位移量计算处理>
在第3位移量计算处理中,在上述(ii)的变形不只因上下移动引起而还因并进、旋转引起的情况下有效。即,横隔膜边界线LI间的位移量在将上下移动、并进、旋转均包含这样的前提下实施。
在第3位移量计算处理中,通过形状的拟合来计算位移量D。作为具体的拟合计算的方法,例如能够采用ICP(IterativeClosestPoint:迭代最近点)算法等来实施。如果使用ICP算法,能够以通过使基准边界线BL和参照边界线RL中的一条边界线进行平行移动或旋转来使对应像素间的距离为最小的方式实施收敛运算。此外,在此列举出ICP算法,但是只要是以通过进行收敛计算来使对应像素间的距离为最小的方式进行拟合的方法,则也可以是其它方法。即,作为如ICP算法那样进行基于收敛运算的拟合的优点,能够更详细地进行形状的相匹配,因此能够计算准确的位移量D。
这样,通过拟合处理以使对应像素间的距离最小的方式求出基准边界线BL与参照边界线RL的位移量D。该位移量D为因基准边界线BL与参照边界线RL间的上下移动、并进以及旋转引起的变形分量。
<1-3-1-4-4.第4位移量计算处理>
在第4位移量计算处理中,在上述(ii)的变形不只因上下移动引起而还因并进、旋转引起的情况下有效。即,横隔膜边界线LI间的位移量在将上下移动、并进、旋转均包含这样的前提下实施。
在第4位移量计算处理中,追踪参照边界线RL的相对于基准边界线BL的对应的各像素,计算“追踪结果”来作为位移量D。作为具体的追踪计算方法,能够采用如下方法。
例如,能够采用POC(纯相位相关)。在POC算法中,计算原始的登记图像(基准边界线BL)与应对照的输入图像(参照边界线RL)的相关性(相似性)。具体地说,当利用傅里叶变换以数学方式处理被数字信号化的图像时,被分解为振幅(浓淡数据)和相位(像的轮廓数据),不使用这两种信息中的不包含形状信息的振幅信息,而能够仅使用相位信息来瞬时地对相关性进行图像处理。因而,作为效果,能够切掉高频分量,因此能够防止因血流本身的影响引起的误对应点检测。
另外,还能够采用RIPOC(旋转不变纯相位相关)。在RIPOC算法中,考虑如下旋转量估计处理:检测作为比较对象的其它图像(参照边界线RL)相对于作为基准的图像(基准边界线BL)旋转了多大程度。具体地说,在图像发生旋转的情况下,图像的频率分量当然也变化。相位分量的变化非常复杂,而振幅分量与图像的旋转相应地旋转,并且其变化不依赖于旋转中心的位置。因此,在RIPOC中,着眼于该振幅分量的特性,对振幅分量进行极坐标变换,制作X方向为角度theta、Y方向为半径r的极坐标图像。然后,当在极坐标图像间进行匹配时,X方向的偏离相当于角度偏离,因此能够根据匹配结果估计旋转量,能够使用估计出的该旋转量对原图像进行校正,并在之后进行位置估计。例如,能够采用如日本专利第3574301号所记载的那样的方法。
这样,采用POC、RIPOC,能够将通过对于基准边界线BL的各像素的对应点搜索所得到的追踪结果作为基准边界线BL与参照边界线RL的位移量D。该位移量D为因基准边界线BL与参照边界线RL间的上下移动、并进以及旋转引起的变形分量。
此外,关于上述的第1~第4位移量计算处理,以求出基准边界线BL与参照边界线RL间的位移量D(D12)的情况为例进行了说明,在存在多条参照边界线RL的情况下,当然也能够求出参照边界线RL、RL间的位移量D。
关于上述的第1~第4位移量计算处理,对于求出基准边界线BL与参照边界线RL间的位移量D的情况自不用说,将求出参照边界线RL、RL间的位移量D的情况包括在内,都以与基准边界线BL接近而一致的方式求出位移量D。此外,关于第1和第2位移量计算处理,也可以通过将对应的像素间彼此相减来设为位移量D。因而,上述的第1~第4位移量计算处理均是将基准边界线BL作为位移基准来求出位移量D的处理。
<1-3-1-4-5.第1校正处理>
接着,说明实施位移量计算处理之后进行的校正处理。
在第1校正处理中,是使用将基准边界线BL作为横隔膜边界线L1并将参照边界线RL作为横隔膜边界线L2来计算出的位移量D12而对横隔膜边界线LI进行校正的处理。
图15是说明第1校正处理的示意图。此外,在图15中,为了便于说明,关于位移量D假设仅有上下移动的情况,作为位移量D12的对应的像素间,代表性地示出像素P1和P2。
如图15所示,首先,在基准边界线BL是横隔膜边界线L1、作为校正对象的横隔膜边界线LI的参照边界线RL是横隔膜边界线L2的情况下,通过上述的第1位移量计算处理计算横隔膜边界线L1、L2间的位移量D12。然后,使用该D12分别校正横隔膜边界线L2、L3。具体地说,在对横隔膜边界线L2进行校正来得到已位移校正边界线L2c的情况下,即,横隔膜边界线L2上的像素P2在第1校正处理后成为已位移校正边界线L2c上的像素P2c。
另外,在使用位移量D12对横隔膜边界线L3进行校正(作为校正对象的横隔膜边界线LI是横隔膜边界线L3)的情况下,横隔膜边界线L3上的像素P3也在第1校正处理后成为已位移校正边界线L3c上的像素P3c。
此外,当进行以上说明的第1校正处理时,能够得到上述的图12所示的已位移校正边界线L2c~L5c(LIc)。
另外,在上述的例子中,示出了使用通过第1位移量计算处理得到的横隔膜边界线L1、L2间的位移量D12的第1校正处理,但是当然能够使用通过第2~第4位移量计算处理得到的横隔膜边界线L1、L2间的位移量D12来进行第1校正处理。
<1-3-1-4-6.第2校正处理>
在第2校正处理中,是使用将基准边界线BL作为横隔膜边界线L1并将参照边界线RL作为横隔膜边界线LI(在此,自变量I为2以上的整数)来计算出的位移量D1I而对横隔膜边界线LI进行校正的处理。
图16是说明第2校正处理的示意图。此外,在图16中,为了便于说明,关于位移量D假设仅有上下移动的情况,作为位移量D12的对应的像素间,代表性地示出像素P1和P2,作为位移量D13的对应的像素间,代表性地示出像素P1和P3。
如图16所示,首先,在基准边界线BL是横隔膜边界线L1、作为校正对象的参照边界线RL是横隔膜边界线L2的情况下,通过上述的第1位移量计算处理计算横隔膜边界线L1、L2间的位移量D12。然后,使用该位移量D12对横隔膜边界线L2进行校正。具体地说,与上述同样地,横隔膜边界线L2上的像素P2在第2校正处理后成为已位移校正边界线L2c上的像素P2c。
另外,在使用基准边界线BL与横隔膜边界线L3间的位移量D13对横隔膜边界线L3进行校正时(在作为校正对象的横隔膜边界线LI是横隔膜边界线L3的情况下),横隔膜边界线L3上的像素P3在第2校正处理后成为已位移校正边界线L3c上的像素P3c。
图17是表示第2校正处理的前后的示意图,图17(a)表示处理前的横隔膜边界线(作为校正对象的横隔膜边界线LI)L2、L3,图17(b)表示基准边界线BL(横隔膜边界线L1)和校正处理后的已位移校正边界线L2c、L3c。
当进行以上说明的第2校正处理时,如图17的(b)所示,得到已位移校正边界线L2c、L3c与作为位移基准的基准边界线BL(横隔膜边界线L1)接近而一致的校正结果。
包括上述的第1和第2校正处理的校正处理如下。即,是如下校正处理:使用与对象区域边界线对应的像素,针对多条对象区域边界线(横隔膜边界线L1~L3)中的除了基准边界线BL(L1)以外的对象区域边界线的任一条或一条以上,进行计算将基准边界线BL作为位移基准的位移量ΔD(D12或D12、D13)的位移量计算处理,位移量ΔD是要去除分量,在位移量计算处理后使用位移量ΔD对除了基准边界线BL以外的2条(规定数量的)对象区域边界线L2、L3进行校正。
然后,在第1校正处理中,校正处理中使用的位移量ΔD为基准边界线和对象区域边界线中的一条(横隔膜曲线L2)的对应的像素间的位移量D12。使用该位移量D12对对象区域边界线的除了一条以外的对象区域边界线(横隔膜曲线L2)进行校正的处理为第1校正处理。
另一方面,在第2校正处理中,校正处理中使用的位移量ΔD为基准边界线BL(L1)和对象区域边界线中的一条以上(横隔膜曲线L2、L3)的对应的像素间的位移量D12、D13。使用该位移量D12、D13对除了基准边界线BL以外的2条(规定数量的)对象区域边界线(横隔膜曲线L2、L3)进行校正的处理为第2校正处理。
<1-3-1-5.图像生成部150和显示部34>
在图像生成部150中,基于作为第1数量以下的第2数量的已位移校正边界线LIc来生成显示用的已位移校正边界线信息LG(参照图3)。作为已位移校正边界线信息LG,既可以生成针对第2数量的每条已位移校正边界线LIc分离出的第2数量的分离图像,也可以以使第2数量的已位移校正边界线LIc重叠显示的方式生成一张静止图像。
另外,期望的是在已位移校正边界线信息LG中包含用于指示基准边界线BL的信息。
然后,显示部34显示由图像生成部150生成的已位移校正边界线信息LG(参照图3)。即,在生成了分离图像的情况下,显示部34将第2数量的分离图像作为已位移校正边界线信息LG来逐次显示。另外,在生成了静止图像的情况下,显示部34显示一张静止图像来作为已位移校正边界线信息LG。
图18和图19是例示已位移校正边界线信息LG的示意图,图18是表示健康者的已位移校正边界线信息LG的图,图19是表示非健康者的已位移校正边界线信息LG的图。另外,图18的(a)和图19的(a)是如下情况:基于第2数量为“4”的已位移校正边界线L2c~L5c(LIc),图像生成部150以将已位移校正边界线LIc重叠显示的方式,针对每条边界线改变颜色而生成一张静止图像(显示用的已位移校正边界线信息LG)并显示在显示部34上。此外,也可以如图18的(a)和图19的(a)的例子那样,使用于指示基准边界线BL的信息包含在已位移校正边界线信息LG内来将作为基准边界线BL的横隔膜边界线L1同时重叠显示。
另一方面,图18的(b)和图19的(b)是如下情况:将图像生成部150基于该已位移校正边界线L2c~L5c计算出的平均的已位移校正边界线LAc生成为显示用的已位移校正边界线信息LG,并显示在显示部34上。
如图18的(a)和图19的(a)所示,在已位移校正边界线L2c~L5c中,上述的(ii)的因上下移动、并进、旋转引起的变形被去掉,仅表现了上述(i)的形状变形。即,如图7所示的横隔膜边界线L1~L5那样,不是表现作为肺野整体的变化,而是能够表现形状的局部性异常。
另外,在图18的(a)中,横隔膜的左侧L和右侧R的形状(即,左肺野和右肺野的形状)呈左右对称,但是在图19的(a)中,横隔膜的右侧R的已位移校正边界线L2c~L5c位于几乎相同的位置,横隔膜的左侧L与右侧R的形状呈左右不对称。这样,通过显示已位移校正边界线LIc,在正常的被检者M的情况下,如图18的(a)所示那样显示成左右对称的规则正确的放射状,但是在患有疾病的被检者M的情况下,显示用于提示局部有异常的变形了的形状。因此,不是以用户的主观进行诊断,而是能够客观地进行诊断。
并且,如图18的(b)和图19的(b)所示,还能够输出显示基于平均值的1条线。由此,通过由用户诊察平均的已位移校正边界线LAc,能够综合性地诊断已位移校正边界线L2c~L5c的形状。
在上述的已位移校正边界线信息LG的例子中,说明了以将已位移校正边界线LIc重叠显示的方式生成一张静止图像,但也可以生成针对每条已位移校正边界线LIc分离出的分离图像。即,在图18和图19的例子的情况下,也可以通过生成针对每条已位移校正边界线L2c~L5c分离出的4张分离图像来逐次显示为动态图像。另外,也可以仅显示所指定的已位移校正边界线LIc之间。
另外,图像生成部150也可以基于已位移校正边界线LIc计算已位移校正边界线LIc间的偏差度(例如,方差/距离差总和、平均、距离差最大值等),并将其作为已位移校正边界线信息LG显示在显示部34上。例如,既可以将已位移校正边界线信息LG显示为该偏差度最高的两条已位移校正边界线LIc,也可以仅显示具有阈值以上的偏差的已位移校正边界线LIc。
<1-4.图像处理装置3的基本动作>
图20是说明在本实施方式的图像处理装置3中实现的基本动作的流程图。此外,由于已经说明了各部的单独功能(参照图3),因此在此仅说明整体流程。
如图20所示,首先,在步骤S1中,控制部31的动态图像获取部110经由摄影控制装置2获取由摄像装置1的读取控制装置14摄影了的动态图像(多个帧图像MI)。
在步骤S2中,帧选择部120对选择对象帧图像TI进行包括选择用于提取基准边界线BL的基准帧图像BF和用于提取除了基准边界线BL以外的规定数量的横隔膜边界线LI的参照帧图像RF的处理的帧选择处理(参照图3)。此外,在图7的例子中,作为基准帧图像BF选择帧图像T1,作为参照帧图像RF选择帧图像T2~T5。
在步骤S3中,边界线提取部130对步骤S2中选择了的基准帧图像BF和参照帧图像RF(作为校正对象的横隔膜边界线LI)进行提取横隔膜的边界线来得到横隔膜边界线LI(即,基准边界线BL和参照边界线RL)的边界线提取处理(参照图6、图7)。此外,在图7的例子中,作为基准边界线BL提取横隔膜边界线L1,作为校正对象的横隔膜边界线LI即参照边界线RL提取横隔膜边界线L2~L5。
在步骤S4中,位移校正部140使用与步骤S3中提取到的基准边界线BL和参照边界线RL对应的像素,进行计算将参照边界线RL的基准边界线BL作为位移基准的位移量D的位移量计算处理(第1~第4位移量计算处理中的任一个),之后进行使用该位移量D对作为校正对象的横隔膜边界线LI进行校正的校正处理。由此,得到去掉了要去除分量(上下移动、并进、旋转等的变形分量)的已位移校正边界线LIc(参照图12、图17的(b))。
在步骤S5中,在进一步进行位移校正部140中的处理的情况下,在位移校正部140变更参照边界线RL(作为校正对象的横隔膜边界线LI)时,向帧选择部120发出指令使其变更参照帧图像RF(作为校正对象的帧图像),再次重复进行步骤S2~S4的处理。另一方面,在使位移校正部140中的处理结束的情况下,进入步骤S6。
即,在步骤S2中,在如图15所示那样参照帧图像RF(作为校正对象的帧图像)是帧图像T2、T3而一并选择帧图像T2、T3的情况(即,参照边界线RL是横隔膜边界线L2、L3的情况)下,能够进入步骤S6。然而,在针对参照帧图像RF而单独地选择帧图像T2、T3而非一并选择的情况(即,在关于参照边界线RL而并非一并处理横隔膜边界线L2、L3的情况)下,每当变更参照帧图像RF时转移到步骤S2,进行步骤S2~S4的处理。
在步骤S6中,图像生成部150基于步骤4中得到的已位移校正边界线LIc生成已位移校正边界线信息LG(参照图18和图19)。
此外,在已位移校正边界线信息LG中至少包含指示已位移校正边界线LIc的信息,期望包含一并指示基准边界线BL的信息。
最后,在步骤S7中,图像生成部150将步骤S6中生成的已位移校正边界线信息LG输出到显示部34或存储部32(参照图3),结束本动作流程。
如上,在第1实施方式的图像处理装置3中,使用与第1数量的(多条)横隔膜边界线LI(多条对象区域边界线)对应的像素,针对第1数量的横隔膜边界线LI(多个参照边界线RL)中的除了基准边界线BL以外的横隔膜边界线LI中的某一条或一条以上,进行计算将基准边界线BL作为位移基准的位移量D的位移量计算处理。位移量D是要去除分量。然后,在位移量计算处理后进行使用位移量D对除了基准边界线BL以外的规定数量(第2数量)的横隔膜边界线LI进行校正的校正处理,由此得到去掉了要去除分量的第2数量(规定数量)的已位移校正边界线LIc,将基于第2数量(规定数量)的已位移校正边界线LIc的显示用的已位移校正边界线信息LG显示在显示部34上。即,通过显示从横隔膜边界线LI去掉与该位移量D相当的变形而得到的已位移校正边界线LIc,用户捕捉横隔膜边界线LI的形状本身的变化,由此能够掌握横隔膜的形状的活动本身。另外,由于能够捕捉横隔膜边界线LI的形状本身,因此能够发现局部性的形状的异常,能够容易地诊断粘连等局部性异常。并且,用户所期望的诊断内容汇总到已位移校正边界线信息LG,因此在所需最低限度的诊断时间内完成,诊断效率提高。因此,能够适当且高效地进行动态诊断。
另外,要去除分量包含对象区域中的因上下移动、并进以及旋转引起的变形分量中的至少一个分量,由此能够显示从横隔膜边界线LI去掉因上下移动、并进、旋转引起的变形而得到的已位移校正边界线LIc。
另外,还具备帧选择部120,该帧选择部120对至少包含多个帧图像MI的选择对象帧图像TI进行包括选择用于提取基准边界线BL的基准帧图像BF和用于提取除了基准边界线BL以外的横隔膜边界线LI的参照帧图像RF的处理的帧选择处理,位移量计算处理包括将基准帧图像BF的横隔膜边界线LI作为基准边界线BL来计算与参照帧图像RF的横隔膜边界线RL的对应的像素间的位移量D的处理。由此,能够选择与用户的诊断用途相应的帧图像,进而能够显示与诊断用途相应的已位移校正边界线信息LG。另外,通过仅选择所需的帧图像,与针对动态图像所包含的全部帧图像MI都得到已位移校正边界线LIc的情况相比,能够使边界线提取处理、位移量计算处理以及校正处理所需的计算时间为最小限。
另外,生成针对第2数量(规定数量)的每条已位移校正边界线LIc分离出的第2数量(规定数量)的分离图像,将该第2数量(规定数量)的分离图像作为已位移校正边界线信息LG来逐次显示。由此,能够在动态图像中捕捉横隔膜边界线LI的形状本身的变化。
另外,以使第2数量(规定数量)的已位移校正边界线LIc重叠显示的方式生成一张静止图像,显示该静止图像来作为已位移校正边界线信息LG。例如,在将作为诊断对象的第2数量(规定数量)的已位移校正边界线LIc的形状设为已位移校正边界线信息LG的情况下,能够将它们以能够识别的方式重叠显示。由此,能够在一张静止图像中捕捉横隔膜边界线LI的形状本身的变化。
并且,对象区域是横隔膜区域,由此能够通过动态诊断适当地诊断肺气肿、横隔膜弛患症等疾病。另外,在这些疾病中,如果是轻度的症状,则有时不知道是异常,但是,如果进行基于已位移校正边界线信息LG的诊断,则不会依赖于用户的主观,因此能够防止误诊。
<2.第2实施方式>
在本发明的第2实施方式中的图像处理装置中,第1实施方式的图像处理装置3中的位移校正部在以下说明的方面不同。此外,其余的结构与图像处理装置3相同。
<2-1.位移校正部>
下面,将第2实施方式中的位移校正部的校正处理称为第3校正处理。第3校正处理中使用的位移量D是相对于在时间上与作为校正对象的横隔膜边界线LI最近的横隔膜边界线LI的位移量。
图21是说明第3校正处理的示意图。此外,在图21中,针对横隔膜边界线L1~L4,为了便于说明,关于位移量D假设仅有上下移动的情况,作为位移量D12的对应的像素间,代表性地示出像素P1和P2,作为位移量D23的对应的像素间,代表性地示出像素P2和P3,作为位移量D34的对应的像素间,代表性地示出像素P3和P4。
如图21所示,首先,在基准边界线BL是横隔膜边界线L1、作为校正对象的横隔膜边界线LI即参照边界线RL是横隔膜边界线L2的情况下,与第2校正处理同样地使用横隔膜边界线L1、L2间的位移量D12对横隔膜边界线L2进行校正。具体地说,与上述同样地,横隔膜边界线L2上的像素P2在第3校正处理后成为已位移校正边界线L2c上的像素P2c。
接着,在作为校正对象的横隔膜边界线LI是横隔膜边界线L3时,求出位移量的比较对象变为横隔膜边界线L2,使用位移量D23对横隔膜边界线L3进行校正。在该情况下,横隔膜边界线L3上的像素P3在第3校正处理后成为已位移校正边界线L3c上的像素P3c。
并且,在作为校正对象的横隔膜边界线LI是横隔膜边界线L4时,将求出位移量的比较对象变更为横隔膜边界线L3,使用横隔膜边界线L3、L4间的位移量D34对横隔膜边界线L4进行校正。此时,横隔膜边界线L4上的像素P4在第3校正处理后成为已位移校正边界线L4c上的像素P4c。
如上,在第2实施方式的图像处理装置中,校正处理中使用的位移量D是相对于在时间上与作为校正对象的横隔膜边界线LI最近的横隔膜边界线LI的位移量D。
因而,通过进行始终使用最近的选择对象帧图像TI间的横隔膜边界线LI间的位移量D的第3校正处理,能够得到校正精度高的已位移校正边界线L2c~L4c。其结果,能够显示与诊断用途相符的已位移校正边界线信息LG,因此能够更适当且高效地进行动态诊断。
<3.第3实施方式>
在本发明的第3实施方式中的图像处理装置中,第1实施方式的图像处理装置3中的位移校正部在以下说明的方面不同。此外,其余的结构与图像处理装置3相同。
<3-1.位移校正部>
下面将第3实施方式中的位移校正部的校正处理称为第4校正处理。在基准边界线BL~作为校正对象的横隔膜边界线LI间存在至少一条横隔膜边界线LI的情况下,第4校正处理中使用的位移量D为根据在时间上邻接的两条边界线LI间的位移量D之和得到的、基准边界线BL~作为校正对象的横隔膜边界线LI间的位移量D。
图22是说明第4校正处理的示意图。此外,在图22中,针对横隔膜边界线L1~L3,为了便于说明,作为位移量D12的对应的像素间,代表性地示出像素P1和P2,作为位移量D23的对应的像素间,代表性地示出像素P2和P3,作为位移量D13的对应的像素间,代表性地示出像素P1和P3。
如图22所示,考虑作为校正对象的横隔膜边界线LI是横隔膜边界线L3并使用位移量D13进行校正的情况。在第4校正处理中,位移量计算处理将位移量D13细分化为位移量D12和位移量D23来计算之后再将两者的位移量D相加所得到的位移量(D12+D23)用作横隔膜边界线L1、L3间的位移量。因此,首先,通过位移量计算处理,计算横隔膜边界线L1与横隔膜边界线L2之间的位移量D12,并且计算横隔膜边界线L2与横隔膜边界线L3之间的位移量D23。这样,位移量计算处理计算(D12+D23)。
即,在计算位移量D13时,相比于与第1和第2实施方式同样地在横隔膜边界线L1与横隔膜边界线L3间直接求出的位移量D13,在本实施方式中计算出的位移量(D12+D23)包含经由横隔膜边界线L2的位移量,因此反映出横隔膜边界线L1~L3以什么样的路径发生位移,并且精度高。
通过这样,第4校正处理使用高精度地计算出的位移量(D12+D23)对横隔膜边界线L3进行校正,因此已位移校正边界线L3c也被更准确地计算。即,横隔膜边界线L3上的像素P3在第4校正处理后成为已位移校正边界线L3c上的像素P3c。
<3-2.关于基本动作>
在第3实施方式的图像处理装置的基本动作中,图20中的步骤S2~S4不同。即,在第1实施方式的步骤S2中,帧选择部120进行了基准帧图像BF和参照帧图像RF的帧选择处理,但是在第3实施方式的步骤S2中,除此以外,还选择存在于基准帧图像BF的摄影定时与参照帧图像RF的摄影定时之间的帧图像(以下称为“中间帧图像”),在这一点上不同。即,在计算图22的位移量D13的例子中,作为基准帧图像BF选择帧图像T1,作为参照帧图像RF选择帧图像T3,并且作为存在于这些摄影定时之间的中间帧图像还选择帧图像T2。
然后,在第3实施方式的步骤S3中,除了对基准帧图像BF、参照帧图像RF实施边界线提取处理,还对中间帧图像实施边界线提取处理。
另外,在第3实施方式的步骤S4中,在使用中间帧图像中的横隔膜边界线进行计算参照边界线RL相对于基准边界线BL的位移量D的位移量计算处理之后,进行使用该位移量D对作为校正对象的横隔膜边界线LI进行校正的校正处理(参照图22)。
如上,在第3实施方式的图像处理装置中,校正处理中使用的位移量D为根据在时间上邻接的两条边界线LI间的位移量D之和得到的、基准边界线BL~作为校正对象的横隔膜边界线LI间的位移量D。这样,位移量计算处理将基准边界线BL与横隔膜边界线LI间的一个位移量D细分化来计算,由此与不将基准帧图像BF与参照帧图像RF间细分化而计算出的位移量D相比,能够更高精度地进行计算。
<4.第4实施方式>
图23是表示构成为本发明的第4实施方式的图像处理装置3A中使用的控制部31A的功能结构的图。该控制部31A是代替第1实施方式的图像处理装置3中的控制部31(参照图3)而使用的。与第1实施方式不同之处在于,控制部31A还具备周期分类部115,随之变更为帧选择部120A。此外,其余的结构与图像处理装置3相同。
<4-1.周期分类部115>
在周期分类部115中,检测作为与拍摄到由动态图像获取部110获取的多个帧图像MI的摄影时刻同步的被检者M(身体)的横隔膜的周期性变化的所谓的呼吸周期(对象区域周期),以该呼吸周期为单位(对象区域周期单位)分类该多个帧图像MI。然后,周期分类部115将以该呼吸周期为单位进行分类后的多个帧图像MI’输出到帧选择部120(参照图23)。
周期分类部115在检测被检者M的呼吸周期时,进行获取呼吸信息的呼吸信息获取处理,基于该呼吸信息检测呼吸周期PC、吸气相位PH1、呼气相位PH2。下面,针对呼吸信息获取处理和呼吸周期等的检测分别进行说明。
<4-1-1.呼吸信息获取处理>
在将规定为表示横隔膜区域的物理状态随时间变化的状态的值的物理状态值称为呼吸振动值时,呼吸信息获取处理是如下处理:基于构成由动态图像获取部110获取的动态图像的多个帧图像MI计算呼吸振动值,将该呼吸振动值作为呼吸信息(参照图23)。
如图23所示,首先,在呼吸信息获取处理中,使用由动态图像获取部110获取的多个帧图像MI计算呼吸振动值。具体地说,呼吸振动值是用于测量由呼吸引起的肺野区域尺寸的变化的指标,例如可列举出“肺野区域的特征点间的距离(从肺尖部到横隔膜的距离等)”“肺野部的面积值(肺野区域尺寸)”“横隔膜的绝对位置”“肺野区域的像素浓度值”等。下面,以呼吸振动值是“肺野部的面积值”和“肺野区域的特征点间的距离”的情况为例进行说明。
在将呼吸振动值设为“肺野部的面积值”的情况下,进行肺野部的轮廓提取,能够将被轮廓所包围的区域的像素数定义为肺野部的面积。
图24(a)和图24(b)是例示肺野部的轮廓提取的示意图。肺野部的提取使用图8中说明的提取方法,与图8同样地,既可以按左右分别提取(参照图24(a)),也可以作为包括心脏、脊椎的区域的轮廓(参照图24(b))来提取。
这样,呼吸信息获取处理使用所获取的多个帧图像MI实施肺野部的轮廓OL的提取,检测所提取的区域内的像素数来作为肺野部的面积值,由此获取呼吸振动值(参照图24(a)和图24(b))。
在将呼吸振动值设为“肺野区域的特征点间的距离”的情况下,使用多个帧图像MI计算肺野区域的特征点间的距离。即,与上述方法同样地实施肺野部的提取,从所提取的区域求出特征点2点,求出这2点间的距离,由此检测为呼吸振动值。然后,将该特征点间的距离(呼吸振动值)的变化作为呼吸相位PH。
图24(c)和图24(d)是例示了采用图24的(a)的肺野部的轮廓OL的情况下的肺野区域的特征点的位置的图。在计算从肺区域的上端LT到下端LB的长度(肺野长度)的变化的情况下,在图24(c)中是将肺尖部设为肺区域的上端LT、将从肺尖部沿体轴方向划出的直线与横隔膜的交点提取为肺区域的下端LB的例子,在图24(d)中是将肺尖部设为肺区域的上端LT、将肋横角提取为肺区域的下端LB的例子。
这样,在呼吸信息获取处理中,使用所获取的多个帧图像MI实施肺野区域的轮廓OL的提取,从所提取的区域检测特征点间距离,由此获取呼吸振动值(参照图24(c)和图24(d))。
然后,如上述的图5所示,计算按时间序列示出在呼吸信息获取处理中获取的呼吸振动值的波形数据的呼吸相位PH、即肺野区域的面积值、特征点间距离等之类的呼吸振动值,得到按每个摄影定时TM在时间方向上监视的结果。
此外,在本实施方式中,使用摄影图像得到了呼吸信息,但是也可以使用基于外部设备的测量结果。在该情况下,对于周期分类部115,从外部设备输入与呼吸周期有关的信息。作为利用外部设备进行测量的方法,例如能够使用日本专利第3793102号所记载的那样的装置。另外,还能够采用通过利用激光和由CCD照相机构成的传感器的监视来实施的方法(例如参照“FG視覚センサを用いた就寝者的呼吸モニタリングに関する検討”、青木広宙、中島真人、電子情報通信学会ソサイエティ大会講演論文集2001年.情報·システムソサイエティ大会講演論文集、320-321、2001-08-29.等)等。即,通过使用激光照射、呼吸监视带等检测被摄体M的胸部的活动的方法、或利用气速计检测呼吸的气流,也能够得到呼吸信息,还能够应用这些方法。
<4-1-2.呼吸周期PC、吸气相位PH1以及呼气相位PH2的检测方法>
接着,将通过呼吸信息获取处理分别检测出的呼吸振动值的变化作为呼吸相位PH,检测呼吸周期PC、吸气相位PH1以及呼气相位PH2。具体地说,吸气相位PH1和呼气相位PH2是通过计算呼吸周期PC内的呼吸振动值的最大值B1和最小值B2来检测出的(参照图5)。
如图5所示,呼吸周期(呼吸循环)PC的1个周期由吸气和呼气构成,包括1次呼气和1次吸气。在吸气中,随着横隔膜下降并吸入气,胸膛中的肺野的区域变大。在最大限度地吸入气时(吸气与呼气的变换点)是最大吸气相位IM。在呼气中,随着横隔膜上升并吐出气,肺野的区域变小,在最大限度地排出气时(呼气与吸气的变换点)是最大呼气相位EM。此外,在图5的例子中,将呼吸周期PC设为最大值B1间,但是也可以设为最小值PB2间。
下面,说明呼吸周期PC、吸气相位PH1以及呼气相位PH2的检测方法。
第1方法是如下方法:在动态图像的全部时间内,顺次计算呼吸振动值为极大值和极小值的时刻,由此决定呼吸周期PC,决定呼吸周期PC内的呼吸振动值的最大值B1和最小值B2。具体地说,在对全部时间的呼吸振动值进行平滑化而降低了高频噪声分量的状态下,计算呼吸振动值的极大值(最大吸气相位IM)和极小值(最大呼气相位EM)。由此,能够防止将呼吸振动值中包含的噪声分量误检测为极大值、极小值。
第2方法是如下方法:先检测呼吸周期PC,按每个呼吸周期PC检测呼吸振动值为最大值、最小值的时刻。与第1方法不同之处在于,不是在全部时间,而是以呼吸周期PC为单位计算呼吸振动值的最大值(即,最大吸气相位IM)和最小值(最大呼气相位EM)。另外,在第2方法中,也与第1方法同样地,也可以在对呼吸振动值进行平滑化而降低了高频噪声分量的状态下提取最大值和最小值。
这样,在周期分类部115中,将呼吸振动值的变化作为呼吸相位PH,检测呼吸周期PC内的呼吸振动值的最大值B1和最小值B2,进行吸气相位PH1和呼气相位PH2的检测(参照图5)。
<4-2.帧选择部120A>
周期分类部115检测呼吸周期PC、呼吸振动值的最大值B1和最小值B2、吸气相位PH1以及呼气相位PH2,因此帧选择部120A能够进行如下处理。
在基准帧图像BF和参照帧图像RF是上述的呼吸周期PC处于同一周期内时的帧图像时,帧选择部120A中的上述(a1)的帧选择处理进行以下的第1选择处理和第2选择处理。
即,第1选择处理是指如下处理:作为基准帧图像BF,选择(b1)呼吸振动值相当于预先设定的第1设定值时的帧图像、(b2)呼吸振动值相当于最大值B1时的帧图像以及(b3)呼吸振动值相当于最小值B2时的帧图像中的某一个帧图像。
另外,第2选择处理是如下处理:作为参照帧图像RF,选择(c1)呼吸振动值相当于预先设定的第2设定值时的帧图像、(c2)在时间上与基准帧图像BF接近的帧图像、(c3)在基准帧图像BF为(b2)的帧图像时相当于呼吸振动值的最小值B2时的帧图像以及(c4)在基准帧图像BF为(b3)的帧图像时相当于呼吸振动值的最大值B1时的帧图像中的某一个帧图像。
在此所说的(b1)的第1设定值和(c1)的第2设定值分别是用户任意地指定的呼吸振动值,在第1选择处理中,将相当于所指定的第1设定值时的帧图像作为基准帧图像BF来进行选择处理,在第2选择处理中,将相当于所指定的第2设定值时的帧图像作为参照帧图像RF来进行选择处理。另外,作为上述第1和第2选择处理的前提,还能够附加基准帧图像BF和参照帧图像RF限定于吸气相位PH1内或呼气相位PH2内这样的条件。并且,除了上述第1和第2选择处理以外,还能够由用户对呼吸周期PC内的帧图像任意地指定基准帧图像BF和参照帧图像RF。
如上,使用通过帧选择部120A中的第1和第2选择处理选择的基准帧图像BF和参照帧图像RF,实施第1~第4边界线提取处理中的某一个边界线提取处理,实施第1~第4位移量计算处理中的某一个位移量计算处理(参照图23)。
<4-3.图像处理装置3A的基本动作>
接着,图25是例示第4实施方式的图像处理装置3A的动作流程的图。此外,图25中的步骤SA1、SA4~SA8与图20的步骤S1、S3~S7同样,因此省略其说明。
在该第4实施方式中,附加了在第1实施方式中不存在的周期分类部115,帧选择单元120被置换为帧选择单元120A,从而仅变更了下述工序。
即,作为与第1实施方式同样的工序,经过步骤SA1,如图25所示,在步骤SA2中,在周期分类部115中,检测与拍摄到通过步骤SA1获取的多个帧图像MI的摄影时刻同步的被检者M(身体)的呼吸周期PC,以该呼吸周期PC为单位分类该多个帧图像MI,从而得到多个帧图像MI’。此时,周期分类部115除了检测呼吸周期PC以外,还同时检测呼吸振动值的最大值B1、最小值B2、吸气相位PH1、呼气相位PH2。
另外,在步骤SA3中,考虑通过步骤SA2检测的呼吸周期PC等,帧选择部120A中的上述(a1)的帧选择处理进行第1选择处理和第2选择处理,从而选择基准帧图像BF和参照帧图像RF。然后,其余的工序与第1实施方式相同。
如上,在第4实施方式的图像处理装置3A中,基准帧图像BF和参照帧图像RF是呼吸周期PC处于同一周期内时的帧图像,(a1)的帧选择处理包括将(b1)~(b3)中的某一个帧图像选择为基准帧图像BF的第1选择处理以及将(c1)~(c4)中的某一个帧图像选择为参照帧图像RF的第2选择处理。由此,能够在用户所期望的同一周期内的帧图像间高精度地诊断横隔膜边界线LI的形状本身的变化。
<5.第5实施方式>
在使用被检者M的过去摄影得到的动态图像进行随访观察的情况下,需要将多个X射线动态图像排列并比较来进行诊断,比较效率变差。
因此,在第5实施方式中,目的在于使用被检者M的过去和当前的动态图像得到已位移校正边界线信息。此外,在本实施方式中,用语的开头标明“当前”和“过去”,在此设标明“当前”的含义是以与标明“过去”的用语相比在时间上较新这样的概念来使用。
图26是表示构成为本发明的第5实施方式的图像处理装置3B中使用的控制部31B的功能结构的图。该控制部31B是代替第1实施方式的图像处理装置3中的控制部31(参照图3)而使用的。与第1实施方式不同之处在于,使用过去摄影得到的动态图像并且还具备周期分类部115B,由此变更为动态图像获取部110B、帧选择部120B、边界线提取部130B、位移校正部140B、图像生成部150B。
另外,如图26所示,信息累积装置5例如由使用个人计算机或工作站的数据库服务器构成,构成为具备过去图像存储部(数据库)51,经由总线36(参照图1)与控制部31B进行数据的发送接收。在过去图像存储部51中预先存储有在诊断中使用的被检者M的过去摄影得到的动态图像。此外,其余的结构与图像处理装置3相同。
<5-1.动态图像获取部110B>
动态图像获取部110B构成为除了包括相当于上述的动态图像获取部110的获取当前动态图像(多个当前帧图像NMI)的当前动态图像获取部310以外,还包括获取与当前帧图像NMI相同的针对被检者M的过去动态图像(多个过去帧图像PMI)的过去动态图像获取部210(参照图26)。
过去动态图像获取部210例如如图26所示那样从过去图像存储部51获取过去动态图像。另外,优选的是,当前帧图像NMI与过去帧图像PMI的摄影范围相同,设至少必须包含横隔膜区域。
这样,第5实施方式中的选择对象帧图像TI构成为包含对同一被检者M(身体)隔着摄影时期摄影得到的当前帧图像NMI和过去帧图像PMI这两种帧图像。
<5-2.周期分类部115B>
周期分类部115B构成为包括过去周期分类部215和当前周期分类部315(参照图26)。在此,周期分类部115B所包含的过去周期分类部215和当前周期分类部315具有与上述的周期分类部115同样的功能。
即,在当前周期分类部315中,检测与拍摄到由动态图像获取部310获取的多个当前帧图像NMI的摄影时刻同步的被检者M的当前呼吸周期,以当前呼吸周期为单位分类该多个当前帧图像NMI。然后,当前周期分类部315将以该当前呼吸周期为单位进行分类后的多个当前帧图像NMI’输出到帧选择部120B(参照图26)。
另一方面,在过去周期分类部215中,检测与拍摄到由动态图像获取部210获取的多个过去帧图像PMI的摄影时刻同步的被检者M的过去呼吸周期,以过去呼吸周期为单位分类该多个过去帧图像PMI。然后,周期分类部215将以该过去呼吸周期为单位进行分类后的多个过去帧图像PMI’输出到帧选择部120B(参照图26)。
图27是按时间序列示出周期分类部115B所检测出的呼吸振动值的波形数据的示意图。另外,图27(a)是将过去周期分类部215所检测出的过去呼吸相位PPH和过去摄影定时PTM一起示出的图,图27(b)是将当前周期分类部315所检测出的当前呼吸相位NPH和当前摄影定时NTM一起示出的图。
如图27(a)所示,在过去周期分类部215中,检测过去呼吸周期PPC、过去呼吸振动值的过去最大值PB1、过去最小值PB2、过去吸气相位PPH1、过去呼气相位PPH2。另外,如图27(b)所示,在当前周期分类部315中,检测当前呼吸周期NPC、当前呼吸振动值的当前最大值NB1、当前最小值NB2、当前吸气相位NPH1、当前呼气相位NPH2。
此外,在图27的例子中,将过去呼吸周期PPC(当前呼吸周期NPC)设为过去最大值PB1(当前最大值NB1)间,但是也可以设为过去最小值PB2(当前最小值NB2)间。
<5-3.帧选择部120B>
周期分类部115B检测出过去呼吸周期PPC等以及当前呼吸周期NPC等,因此在帧选择部120B中能够进行如下处理。
即,帧选择部120B中的帧选择处理包括将帧图像TI(当前帧图像NMI和过去帧图像PMI这两种帧图像)中的过去帧图像PMI(在时间上的过去摄影得到的帧图像)选择为基准帧图像BF的处理。
例如,在图27的例子中,帧选择部120B中的帧选择处理在将选择对象帧图像TI设为过去帧图像PT1~PT5和当前帧图像NT1~T5的情况下为10张。然后,帧选择处理从该5张过去帧图像PT1~PT5内选择基准帧图像BF。然后,选择当前帧图像NT1~T5作为参照帧图像RF。
<5-4.边界线提取部130B>
在边界线提取部130B中,将与由帧选择部120B选择了的基准帧图像BF和参照帧图像RF相当的过去帧图像PTI和当前帧图像NTI作为对象来进行与边界线提取部130同样的处理。
例如,在图27的例子中,基准帧图像BF是过去帧图像PT1~PT5中的某一个,因此边界线提取部130B对过去帧图像PT1~PT5中的被选择为基准帧图像BF的帧图像和当前帧图像NT1~NT5的全部进行处理。即,从过去帧图像PT1~PT5提取基准帧图像BF,从当前帧图像NT1~NT5提取当前横隔膜边界线NL1~NL5(NLI)(参照图26)。
<5-5.位移校正部140B>
在位移校正部140B中,将与由边界线提取部130B提取的基准边界线BL和参照边界线RL相当的过去横隔膜边界线PLI和当前横隔膜边界线NLI作为对象来进行与位移校正部140同样的处理。
例如,在图27的例子中,基准边界线BL始终是过去横隔膜边界线PL1,参照边界线RL是当前横隔膜边界线NL1~NL5中的某一个,因此位移校正部140B使用当前横隔膜边界线NL1~NL5适当进行处理。即,从当前横隔膜边界线NL1~NL5得到以横隔膜边界线PL1为位移基准的当前已位移校正边界线NL1c~NL5c(NLIc)(参照图26)。
<5-6.图像生成部150B>
在图像生成部150B中,对由位移校正部140B得到的过去已位移校正边界线PLIc和当前已位移校正边界线NLIc分别进行与图像生成部150同样的处理。
例如,在图27的例子中,当前已位移校正边界线NLIc是当前已位移校正边界线NL1c~NL5c,因此图像生成部150B对当前已位移校正边界线NL1c~NL5c分别进行处理。即,从当前已位移校正边界线NL1c~NL5c得到当前已位移校正边界线信息NLG(参照图26的框图)。
<5-7.图像处理装置3B的基本动作>
接着,图28是例示第5实施方式的图像处理装置3B的动作流程的图。在该第5实施方式中,具备在第1实施方式中不存在的过去动态图像获取部210、当前动态图像获取部310、当前周期分类部315以及过去周期分类部215,帧选择部120被置换为帧选择部120B,从而如下述那样变更工序。
即,在步骤SB1A中,过去动态图像获取部210从信息累积装置5的过去图像存储部51获取过去动态图像(多个过去帧图像PMI)。
在步骤SB2A中,过去周期分类部215以过去呼吸周期PPC为单位对多个过去帧图像PMI进行分类,从而得到多个过去帧图像PMI’。此时,过去周期分类部215除了检测过去呼吸周期PPC以外,还同时检测过去呼吸振动值的过去最大值PB1、过去最小值PB2、过去吸气相位PPH1、过去呼气相位PPH2。
另外,与步骤SB1A和SB2A并行地进行步骤SB1B和SB2B。即,在步骤SB1B中,当前动态图像获取部310经由摄影控制装置2获取由摄像装置1的读取控制装置14摄影得到的当前动态图像(多个当前帧图像NMI)。
在步骤SB2B中,当前周期分类部315以当前呼吸周期NPC为单位对多个当前帧图像NMI进行分类,从而得到多个当前帧图像NMI’。此时,当前周期分类部315除了检测当前呼吸周期NPC以外,还同时检测当前呼吸振动值的当前最大值NB1、当前最小值NB2、当前吸气相位NPH1、当前呼气相位NPH2。
在步骤SB3中,帧选择部120B中的帧选择处理将选择对象帧图像TI(当前帧图像NMI和过去帧图像PMI这两种帧图像)中的一张过去帧图像PMI选择为基准帧图像BF。其余的帧选择处理与步骤S2相同。即,在图27的例子中,作为基准帧图像BF选择过去帧图像PT1,作为参照帧图像RF选择当前帧图像NT1~NT5。即,在此,过去帧图像PT2~PT5从处理对象被排除。
在步骤SB4中,在边界线提取部130B中,将与通过步骤SB3选择了的基准帧图像BF和参照帧图像RF相当的过去帧图像PTI和当前帧图像NTI作为对象,来进行与上述的步骤S3同样的处理,从而提取基准边界线BL和参照边界线RL(当前横隔膜边界线NLI)。
在步骤SB5中,在位移校正部140B中,将与通过步骤SB4提取到的基准边界线BL和参照边界线RL相当的当前横隔膜边界线NLI作为对象,适当进行与上述的步骤S4同样的处理,从而分别得到当前已位移校正边界线NLIc。
在步骤SB6中,在进一步进行位移校正部140B中的处理的情况下,在位移校正部140B变更作为校正对象的横隔膜边界线LI(参照边界线RL)时,向帧选择部120B发出指令使其变更参照帧图像RF,再次重复进行步骤S3B~S5B的处理。另一方面,在使位移校正部140B中的处理结束的情况下,进入步骤SB7。
在步骤SB7中,在图像生成部150B中,将通过步骤SB4得到的当前已位移校正边界线NLIc作为对象来进行与上述的步骤S6同样的处理,从而分别得到当前已位移校正边界线信息NLG。
此外,在当前已位移校正边界线信息NLG中至少包含指示当前已位移校正边界线NLIc的信息,期望包含一并指示基准边界线BL的信息。
最后,在步骤SB8中,图像生成部150B将通过步骤SB7生成的当前已位移校正边界线信息NLG输出到显示部34或存储部32(参照图26),本动作流程结束。
如上,在第5实施方式的图像处理装置3B中,选择对象帧图像TI包含对同一被检者M(身体)隔着摄影时期摄影得到的当前帧图像NMI和过去帧图像PMI这两种帧图像(相比于多个帧图像在时间上的过去摄影得到的帧图像),帧选择处理包括将对于同一身体而相比于多个帧图像在时间上的过去摄影得到的帧图像选择为基准帧图像的处理。即,在得到用于指示当前已位移校正边界线NLIc的当前已位移校正边界线信息NLG的情况下,针对基准帧图像BF,能够使用过去摄影得到的共同的(相同的)帧图像(在图27的例子中,过去帧图像PT1)来实施。由此,能够根据动态诊断高精度地进行一个身体的横隔膜边界线LI的过去与当前的形状本身的比较及其变化的比较。因此,能够准确地进行随访观察。
<5-8.第5实施方式的第1变形例:横隔膜边界线LI的右侧和左侧>
在第5实施方式中,为了显示被检者M的横隔膜边界线LI的过去与当前的形状变化的差异而得到了当前已位移校正边界线信息NLG,但是,例如也可以以显示同一帧图像内的横隔膜边界线LI的右侧与左侧的形状变化的差异为目的来得到右侧已位移校正边界线信息和左侧已位移校正边界线信息(未图示)。
即,在实施横隔膜边界线LI的右侧和左侧各自的位移量计算处理时,针对基准边界线BL,使用共同的(相同的)右侧横隔膜边界线(或者左侧横隔膜边界线)来实施。在此要注意的是,右侧和左侧的横隔膜边界线LI的形状处于以背骨为对称轴的线对称的关系,因此需要通过使右侧和左侧的横隔膜边界线LI的某一个的形状翻转来实施位移量计算处理,得到右侧已位移校正边界线和左侧已位移校正边界线。
<5-9.第5实施方式的第2变形例:吸气相位PH1和呼气相位PH2>
在第2变形例中,也可以以显示横隔膜边界线LI的吸气相位PH1时与呼气相位PH2时的形状变化的差异为目的来得到吸气已位移校正边界线信息和呼气已位移校正边界线信息(未图示)。
即,在实施横隔膜边界线LI的吸气相位PH1时和呼气相位PH2时各自的位移量计算处理时,针对基准边界线BL,使用共同的(相同的)吸气横隔膜边界线(或呼气横隔膜边界线)来实施,得到吸气已位移校正边界线和左侧已位移校正边界线。
<6.第6实施方式>
如上所述,难以根据横隔膜边界线LI直接掌握横隔膜区域的活动,也难以根据心脏边界线直接掌握心脏的活动。即,伴有实际的心脏的活动以外的活动,难以准确地诊断心脏的活动。
因此,在第1~第5实施方式中是对象区域为横隔膜区域的情况,但是在第6实施方式中对对象区域为心脏区域的情况进行处理。与第1实施方式不同之处在于,变更为提取心脏区域的边界线的边界线提取部130C。另外,在如第4、5实施方式中说明的那样具备周期分类部的情况下,被变更为基于心脏的周期性变化对多个帧图像MI进行分类的周期分类部115C。此外,其余的结构与第1~第5实施方式的图像处理装置相同。
另外,在如本实施方式那样对象区域是心脏区域的情况下,作为有呼吸时的心脏的活动,除了心脏的活动以外还伴有呼吸的活动,因此即使通过仅考虑上下移动的第1位移量计算处理实施校正处理,也无法得到适当的已位移校正边界线LIc。因此,优选的是,通过第2~第4位移量计算处理计算位移量D。或者,也可以是如下方法:在去掉横隔膜区域的位移量D之后,通过第1位移量计算处理计算心脏区域的位移量D。
下面,在先说明边界线提取部130C之后,说明周期分类部115C。
<6-1.边界线提取部130C>
在边界线提取部130C中,对上述第1数量的帧图像TI进行提取心脏区域的边界线来得到第1数量的心脏边界线(对象区域边界线)的边界线提取处理。
作为从各帧图像检测心脏边界线(心脏的轮廓)的方法,能够采用各种公知的方法,例如能够采用如下方法等:使用表示心脏的形状的模型(心脏模型),将X射线图像中的特征点和心脏模型的特征点对准,从而检测心脏的轮廓(例如,参照“Imagefeatureanalysisandcomputer-aideddiagnosisindigitalradiography:Automatedanalysisofsizesofheartandlunginchestimages”、NobuyukiNakamorietal.、MedicalPhysics、Volume17、Issue3、May、1990、pp.342-350.等)。
此外,心脏边界线HLI的提取方法不仅可以是上述的方法,只要是能够从动态图像提取的方法,就可以采用任何方法。
图29是例示从各帧图像提取到的心脏边界线的示意图。如图29的(a)~(c)所示,可看出基于各帧图像提取了心脏边界线HL1~HL3(HLI)。
<6-2.周期分类部115C>
在周期分类部115C中,检测作为与拍摄到由动态图像获取部110获取的多个帧图像MI的摄影时刻同步的被检者M(身体)的心脏区域的周期性变化的所谓的心搏周期(对象区域周期),以该心搏周期为单位(对象区域周期单位)对该多个帧图像MI进行分类。然后,周期分类部115C将以该心搏周期为单位进行分类后的多个帧图像MI’输出到帧选择部。
下面,说明由周期分类部115C进行的检测被检者M的心搏周期的心搏周期获取处理。
<6-2-1.心搏周期获取处理>
在心搏周期获取处理中,是使用由动态图像获取部110获取的摄影图像计算心脏壁(即,相当于心脏边界线HLI)的活动量从而获取心搏周期的处理。详细地说,通过从动态图像检测心脏壁的变动,检测拍摄到各帧图像的定时的心脏的搏动的相位。然后,根据该心脏的搏动的相位来决定心搏周期。
如图29所示,作为在动态图像中捕捉到的心脏壁(心脏边界线HLI)的变动的一个例子,采用心脏的横宽的变动。即,在图29的(a)~图29的(c)中,例示了在心脏逐渐扩张的过程中心脏的横宽从w1逐渐变大到w3的状态。
因此,使用上述中说明的方法等,从各帧图像检测心脏的轮廓(心脏边界线HLI),检测心脏的横宽,从而能够检测心搏周期。
图30是针对构成动态图像的多个帧图像例示被摄影的时刻与心脏的横宽(心脏壁的活动量)的关系的示意图。在图30中,横轴表示时刻,纵轴表示心脏的横宽,圆记号表示检测出的心脏的横宽的值。
在此,在将在时刻t捕捉的心脏的横宽设为Hwt、将在时刻t+1捕捉的心脏的横宽设为Hwt+1而(Hwt+1-Hwt)≥0成立的情况下,在时刻t捕捉到的帧图像被分类为心脏的扩张时,在(Hwt+1-Hwt)<0成立的情况下,在时刻t捕捉的帧图像被分类为心脏的收缩时。
这样,通过检测心脏的横宽、即心脏壁的变动,能够对心脏的扩张时和收缩时进行分类,因此能够检测心脏的搏动的相位。
如上,在周期分类部115C中,基于在动态图像中捕捉到的心脏壁的活动来检测心搏周期,从而能够以该心搏周期为单位分类该多个帧图像MI。
此外,心搏周期获取处理不仅可以是上述的方法,也可以是使用从心电计获取的结果来获取心搏周期的方法。例如,能够通过使由心电计的相位检测部进行的检测动作与由摄像装置1进行的摄像动作同步地进行来实现。
如上,在第6实施方式的图像处理装置中,对象区域是心脏区域,由此能够通过动态诊断适当地诊断与心脏有关的疾病。另外,如果是轻度的症状则有时不知道是异常,但是,如果进行基于已位移校正边界线信息LG的诊断,则不会依赖于用户的主观,因此能够防止误诊。
<7.变形例>
以上说明了本发明的实施方式,但是本发明不限定于上述实施方式,能够进行各种变形。
※在本实施方式中,以单独地实施图像处理装置3、3A、3B等的方式分为各实施方式来进行了记载,但是这些单独功能只要不相互矛盾,则也可以相互组合。
※在本实施方式中的显示部34中,说明了图18所示的显示方法,但是不限于此,例如也可以针对被判定为异常的被检者M的已位移校正边界线信息LG,在动态图像上重叠显示已位移校正边界线信息LG,以便能够知道正显示着实际的动态图像上的何处的线。另外,在动态图像上显示的已位移校正边界线信息LG不仅可以是被判定为异常的结果,也可以还追加显示最大呼气、最大吸气或怀疑有疾患的周期位置的前后等。此外,也可以如图31所示那样以如下方式进行显示:在再现动画时始终显示相当于最大呼气的已位移校正边界线L5c和相当于最大吸气的已位移校正边界线L1c,除此以外不显示。
※针对第1实施方式的图像处理装置3说明了构成为具备帧选择部120的情况,但是不限于此,也可以是不具备帧选择部120的结构。即,在不具备帧选择部120的结构中,边界线提取部130针对构成由动态图像获取部110获取的动态图像的多个帧图像MI的全部实施边界线提取处理。然后,位移校正部140在用户预先指定的条件(规定的规则)下顺次设定基准边界线BL和参照边界线RL,从而实施位移量计算处理和校正处理。
※在本实施方式中,将帧选择部120中的帧选择处理作为边界线提取部130中的边界线提取处理的前处理来实施,但是不限于此,也可以是作为边界线提取处理的后处理来实施的结构。即,在针对构成由动态图像获取部110获取的动态图像的多个帧图像MI的全部实施边界线提取处理之后,帧选择处理选择基准帧图像BF(基准边界线BL)和参照帧图像RF(参照边界线RL)。也就是说,在实施帧选择处理的同时,基准帧图像BF的横隔膜边界线LI被设定为基准边界线BL,参照帧图像RF的横隔膜边界线LI被设定为参照边界线RL。
※在本实施方式中的各图像处理装置中,分别处理了对象区域是横隔膜区域或心脏区域的情况,但是不限于此,也可以是对象区域是横隔膜区域和心脏区域的情况。即,得到已位移校正边界线信息LG为止的处理在横隔膜区域和心脏区域中分别并行地实施,从而已位移校正边界线信息LG针对每个对象区域分别输出到显示部34和存储部32。
※在第5实施方式的第1变形例中,以得到右侧已位移校正边界线和左侧已位移校正边界线为目的,但是不限于此,例如也能够针对健康者的横隔膜边界线LI和非健康者的横隔膜边界线LI,针对基准边界线BL,使用共同的(相同的)健康者横隔膜边界线实施,从而得到健康者已位移校正边界线和非健康者已位移校正边界线。
※被摄体不仅可以是人体,也可以是动物的身体。
详细说明了本发明,上述的说明在所有方面均是例示的,本发明并不限定于此。应理解在不脱离本发明的范围的情况下,能够设想到未例示的无数个变形例。

Claims (12)

1.一种图像处理装置,其特征在于,具备:
动态图像获取单元,获取由沿时间方向依次对人体或动物的身体内部的对象区域的物理状态随时间变化的状态进行摄影而得到的多个帧图像构成的动态图像;
边界线提取单元,对所述多个帧图像中的多个帧图像进行提取所述对象区域的边界线来得到多条所述对象区域边界线的边界线提取处理;
位移校正单元,使用与多条所述对象区域边界线对应的像素,针对多条所述对象区域边界线中的除了基准边界线以外的对象区域边界线中的某一条或一条以上,进行计算以所述基准边界线为位移基准的位移量的位移量计算处理,所述位移量是要去除分量,在所述位移量计算处理后,进行使用所述位移量对除了所述基准边界线以外的规定数量的所述对象区域边界线进行校正的校正处理,由此得到去掉了所述要去除分量的规定数量的已位移校正边界线;以及
显示单元,显示基于所述规定数量的已位移校正边界线的显示用的已位移校正边界线信息。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述要去除分量包含所述对象区域中的因上下移动、并进以及旋转引起的变形分量中的至少一个分量。
3.根据权利要求1或2所述的图像处理装置,其特征在于,
还具备帧选择单元,该帧选择单元对至少包含所述多个帧图像的选择对象帧图像进行包括选择用于提取所述基准边界线的基准帧图像和用于提取除了所述基准边界线以外的所述对象区域边界线的参照帧图像的处理的帧选择处理,
所述位移量计算处理包括如下处理:
将所述基准帧图像的所述对象区域边界线作为所述基准边界线,计算与所述参照帧图像的所述对象区域边界线的对应的像素间的位移量。
4.根据权利要求3所述的图像处理装置,其特征在于,
所述选择对象帧图像包含相比于所述多个帧图像在时间上的过去摄影得到的帧图像,
所述帧选择处理包括如下处理:
将针对同一所述身体而相比于所述多个帧图像在时间上的过去摄影得到的帧图像选择为所述基准帧图像。
5.根据权利要求3所述的图像处理装置,其特征在于,
还具备周期分类单元,该周期分类单元检测成为与拍摄到所述多个帧图像的摄影时刻同步的所述身体中的所述对象区域的周期性变化的对象区域周期,以该对象区域周期为单位分类所述多个帧图像,
所述基准帧图像和所述参照帧图像是所述对象区域周期处于同一周期内时的帧图像,
表示所述对象区域的物理状态随时间变化的状态的值被规定为物理状态值,
所述帧选择处理包括第1选择处理和第2选择处理,
在该第1选择处理中,选择:(b1)所述物理状态值相当于预先设定的第1设定值时的帧图像、(b2)所述物理状态值相当于最大值时的帧图像以及(b3)所述物理状态值相当于最小值时的帧图像中的某一个帧图像,来作为所述基准帧图像,
在该第2选择处理中,选择:(c1)所述物理状态值相当于预先设定的第2设定值时的帧图像、(c2)在时间上与所述基准帧图像接近的帧图像、(c3)在所述基准帧图像为所述(b2)的帧图像时相当于所述物理状态值的最小值时的帧图像以及(c4)在所述基准帧图像为所述(b3)的帧图像时相当于所述物理状态值的最大值时的帧图像中的某一个帧图像,来作为所述参照帧图像。
6.根据权利要求3所述的图像处理装置,其特征在于,
所述校正处理中使用的所述位移量是所述基准边界线和所述对象区域边界线中的一条对象区域边界线的对应的像素间的位移量,使用所述位移量对除了所述一条对象区域边界线以外的所述对象区域边界线进行校正。
7.根据权利要求3所述的图像处理装置,其特征在于,
所述校正处理中使用的所述位移量是离在时间上与作为校正对象的对象区域边界线最近的对象区域边界线的位移量。
8.根据权利要求3所述的图像处理装置,其特征在于,
所述校正处理中使用的所述位移量是根据在时间上邻接的两条边界线间的位移量之和得到的、所述基准边界线与作为校正对象的对象区域边界线间的位移量。
9.根据权利要求1至8中的任一项所述的图像处理装置,其特征在于,
还具备图像生成单元,该图像生成单元生成针对所述规定数量的每条已位移校正边界线分离出的规定数量的分离图像,
所述显示单元将所述规定数量的分离图像作为所述已位移校正边界线信息来逐次显示。
10.根据权利要求1至9中的任一项所述的图像处理装置,其特征在于,
还具备图像生成单元,该图像生成单元以使多条所述已位移校正边界线重叠显示的方式生成一张静止图像,
所述显示单元显示所述静止图像来作为所述已位移校正边界线信息。
11.根据权利要求1至10中的任一项所述的图像处理装置,其特征在于,
所述对象区域包含横隔膜区域和心脏区域中的至少某一方区域。
12.一种程序,通过由图像处理装置所包含的计算机执行来使所述计算机作为权利要求1至11中的任一项所述的图像处理装置发挥功能。
CN201480026373.4A 2013-05-16 2014-04-09 图像处理装置和程序 Pending CN105188541A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-104336 2013-05-16
JP2013104336 2013-05-16
PCT/JP2014/060287 WO2014185197A1 (ja) 2013-05-16 2014-04-09 画像処理装置及びプログラム

Publications (1)

Publication Number Publication Date
CN105188541A true CN105188541A (zh) 2015-12-23

Family

ID=51898179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480026373.4A Pending CN105188541A (zh) 2013-05-16 2014-04-09 图像处理装置和程序

Country Status (4)

Country Link
US (1) US9665935B2 (zh)
JP (1) JP6350522B2 (zh)
CN (1) CN105188541A (zh)
WO (1) WO2014185197A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6643827B2 (ja) * 2015-07-31 2020-02-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7004648B2 (ja) * 2015-11-09 2022-01-21 コーニンクレッカ フィリップス エヌ ヴェ X線画像吸気品質モニタリング
KR102439769B1 (ko) * 2016-01-18 2022-09-05 삼성메디슨 주식회사 의료 영상 장치 및 그 동작방법
JP2017169830A (ja) * 2016-03-24 2017-09-28 コニカミノルタ株式会社 動態解析装置
JP6701880B2 (ja) * 2016-03-30 2020-05-27 コニカミノルタ株式会社 動態解析装置、動態解析システム、動態解析方法及びプログラム
JP6929689B2 (ja) * 2016-04-26 2021-09-01 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像診断装置
JP6790537B2 (ja) * 2016-07-15 2020-11-25 コニカミノルタ株式会社 動態解析装置
US11004201B2 (en) * 2016-07-19 2021-05-11 Paramevia Pte. Ltd. Diagnosis support program
JP6815818B2 (ja) * 2016-10-17 2021-01-20 キヤノン株式会社 放射線撮影システム及び放射線撮影方法
JP6805918B2 (ja) * 2017-03-23 2020-12-23 コニカミノルタ株式会社 放射線画像処理装置及び放射線画像撮影システム
JP2018196693A (ja) 2017-05-25 2018-12-13 コニカミノルタ株式会社 動態解析システム
JP6958202B2 (ja) * 2017-10-03 2021-11-02 コニカミノルタ株式会社 動態画像処理装置及びプログラム
JP6950483B2 (ja) * 2017-11-20 2021-10-13 コニカミノルタ株式会社 動態撮影システム
CN109948396B (zh) * 2017-12-20 2021-07-23 深圳市理邦精密仪器股份有限公司 一种心拍分类方法、心拍分类装置及电子设备
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
JP7183563B2 (ja) 2018-04-11 2022-12-06 コニカミノルタ株式会社 放射線画像表示装置及び放射線撮影システム
JP7143747B2 (ja) * 2018-12-07 2022-09-29 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP7317639B2 (ja) * 2019-09-05 2023-07-31 富士フイルムヘルスケア株式会社 放射線画像処理システム及び画像処理方法
JP6690774B2 (ja) * 2019-12-27 2020-04-28 コニカミノルタ株式会社 動態解析システム、プログラム及び動態解析装置
CN113561897B (zh) * 2021-07-15 2022-08-12 河北三国新能源科技有限公司 一种基于全景环视的驾考车坡道停车位置判断方法和系统
CN116600194A (zh) * 2023-05-05 2023-08-15 深圳市门钥匙科技有限公司 一种用于多镜头的切换控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845707A (zh) * 2003-09-01 2006-10-11 松下电器产业株式会社 生物体信号监视装置
CN101317773A (zh) * 2007-06-06 2008-12-10 株式会社东芝 超声波图像处理装置
JP2009172190A (ja) * 2008-01-25 2009-08-06 Konica Minolta Holdings Inc 画像生成装置、プログラム、画像生成方法
CN101658432A (zh) * 2008-08-29 2010-03-03 株式会社东芝 超声波诊断装置、超声波图像处理装置以及超声波图像处理方法
JP2010069099A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 画像処理装置及びx線コンピュータ断層撮影装置
US20100254575A1 (en) * 2009-04-02 2010-10-07 Canon Kabushiki Kaisha Image analysis apparatus, image processing apparatus, and image analysis method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3574301B2 (ja) 1996-08-26 2004-10-06 株式会社山武 パターン照合装置
JP4404291B2 (ja) 2003-04-08 2010-01-27 キヤノン株式会社 画像処理装置及び方法及びシステム
US7421101B2 (en) * 2003-10-02 2008-09-02 Siemens Medical Solutions Usa, Inc. System and method for local deformable motion analysis
EP1768563A4 (en) * 2004-06-08 2009-09-16 Canon Kk IMAGE PROCESSING DEVICE AND METHOD USING TWO IMAGES
WO2006137294A1 (ja) 2005-06-21 2006-12-28 National University Corporation Kanazawa University X線診断支援装置、プログラム及び記録媒体
JP5479353B2 (ja) * 2008-10-14 2014-04-23 株式会社日立メディコ 超音波診断装置
US20130333756A1 (en) 2012-06-19 2013-12-19 Richard A. DeLucca Backsheet for a photovoltaic cell module and photovoltaic cell module including same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845707A (zh) * 2003-09-01 2006-10-11 松下电器产业株式会社 生物体信号监视装置
CN101317773A (zh) * 2007-06-06 2008-12-10 株式会社东芝 超声波图像处理装置
JP2009172190A (ja) * 2008-01-25 2009-08-06 Konica Minolta Holdings Inc 画像生成装置、プログラム、画像生成方法
CN101658432A (zh) * 2008-08-29 2010-03-03 株式会社东芝 超声波诊断装置、超声波图像处理装置以及超声波图像处理方法
JP2010069099A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 画像処理装置及びx線コンピュータ断層撮影装置
US20100254575A1 (en) * 2009-04-02 2010-10-07 Canon Kabushiki Kaisha Image analysis apparatus, image processing apparatus, and image analysis method

Also Published As

Publication number Publication date
US20160098836A1 (en) 2016-04-07
WO2014185197A1 (ja) 2014-11-20
JPWO2014185197A1 (ja) 2017-02-23
US9665935B2 (en) 2017-05-30
JP6350522B2 (ja) 2018-07-04

Similar Documents

Publication Publication Date Title
CN105188541A (zh) 图像处理装置和程序
JP6512338B2 (ja) 画像処理装置及びプログラム
JP5408400B1 (ja) 画像生成装置及びプログラム
US11257586B2 (en) Systems and methods for human mesh recovery
JP4616872B2 (ja) 画像表示装置および画像表示プログラム
CN107330949A (zh) 一种伪影校正方法及系统
JP2007167656A (ja) 対象の運動の解析方法および断層撮影装置
US11127153B2 (en) Radiation imaging device, image processing method, and image processing program
CN106163396A (zh) 用于呈现跳动心脏的运动模型的系统和方法
US8064979B2 (en) Tempero-spatial physiological signal detection method and apparatus
JP4559460B2 (ja) サイズ計測装置、画像表示装置、サイズ計測プログラム、および画像表示プログラム
US20110243387A1 (en) Analysis of Radiographic Images
CN111448589B (zh) 用于检测患者的身体移动的设备、系统和方法
JP5157919B2 (ja) 画像表示装置およびプログラム
JP5157766B2 (ja) 画像表示装置およびプログラム
JP5500216B2 (ja) 画像表示装置およびプログラム
JP2007014435A (ja) 画像処理装置、画像処理方法およびそのプログラム
JP7446494B2 (ja) 断層画像撮影システムにおけるゲーティング方法
CN117192458B (zh) 基于动态跟踪技术免除运动伪影的磁共振影像生成方法
JP7379409B2 (ja) 断層画像撮影システムにおけるゲーティング方法
US11836923B2 (en) Image processing apparatus, image processing method, and storage medium
CN109475318A (zh) 阻抗偏移检测
JP2012095791A (ja) 医用画像生成装置、医用画像生成方法及び医用画像生成プログラム
Adibatti et al. Design and performance analysis of Cobb angle measurement from X-ray images
WO2024132730A1 (en) Method, system and computer program element for progression monitoring of an x-ray image series

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20181109

AD01 Patent right deemed abandoned