CN105246406A - 图像处理装置以及程序 - Google Patents
图像处理装置以及程序 Download PDFInfo
- Publication number
- CN105246406A CN105246406A CN201480030241.9A CN201480030241A CN105246406A CN 105246406 A CN105246406 A CN 105246406A CN 201480030241 A CN201480030241 A CN 201480030241A CN 105246406 A CN105246406 A CN 105246406A
- Authority
- CN
- China
- Prior art keywords
- time range
- image
- thumbnail image
- time
- thumbnail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/503—Clinical applications involving diagnosis of heart
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/32—Transforming X-rays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/502—Clinical applications involving diagnosis of breast, i.e. mammography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Abstract
本发明的目的在于提供一种能够即时选择动态图像的整体时间中的期望的时间范围的图像处理技术。另外,本发明的图像处理装置(3)具备:动态图像取得部(110),取得动态图像;时间范围设定部(120),分别设定动态图像内的整体时间中的、第1时间范围(TR1)以及第2时间范围(TR2);缩略图生成部(130),分别生成第1缩略图图像(SG1)以及第2缩略图图像(SG2),第1缩略图图像(SG1)以及第2缩略图图像(SG2)是对第1时间范围(TR1)内以及第2时间范围(TR2)内各自的帧图像分别进行统计处理而得到的静止图像;以及显示部(34),进行视觉上可比较第1缩略图图像(SG1)和第2缩略图图像(SG2)的显示。
Description
技术领域
本发明涉及拍摄有人体或者动物的身体的动态图像的图像处理技术。
背景技术
在医疗现场,通过使用X射线等对包含于内脏、骨格等中的患部进行摄影,进行各种检查、诊断。另外,近年来,通过应用数字技术,能够比较容易地取得使用X射线等捕捉到患部的活动的动态图像(由多个帧图像构成的图像组)。
因此,能够利用FPD(flatpaneldetector:平板探测器)等半导体影像传感器,对包括诊断对象区域的被摄体区域拍摄动态图像,所以尝试实施在以往的基于X射线摄影的静止画面摄影以及诊断中无法实施的起因于诊断对象区域等的活动解析的病理解析、诊断。尤其是在X射线胸部的动态解析中,还实施了提取肺野内的换气信息、血流信息,通过针对各位置的与肺野内浓度变化、血流的活动有关的动态功能定量的解析,来支援(X射线动画用CAD)诊断/治疗的探讨。
作为上述的定量的解析方法,提出了根据胸部的动态图像的帧图像来解析时间上的变化,从而生成对诊断有效的解析信息的技术。
例如,专利文献1公开的技术中公开有如下技术:如使用高通滤波器的血流解析、使用低通滤波器的换气解析那样分开使用滤波器,去除血流和换气各自的对浓度值的影响,从而精度良好地提取基于滤波器间差分的换气、血流。
另外,专利文献2公开的技术中公开了依据帧图像属于动脉相位以及静脉相位中的哪一个进行分类而生成累计图像的技术。
另外,专利文献3公开的技术中公开了测量左右横隔膜、肺尖部的位置,求出移动量,根据移动量对活动进行图形显示的技术。
另外,专利文献4公开的技术中公开了计算每个周期的特征量(周期长度/振幅),并作为诊断支援信息进行图形显示的技术。
进而,专利文献5公开的技术中公开了选出重要度高的多个图像并作为缩略图一览显示、通过缩略图的选择操作来再生动画的技术。
专利文献1:日本特开2012-110399号公报
专利文献2:日本特开2012-005729号公报
专利文献3:国际公开第2006/137294号
专利文献4:日本特开2009-273671号公报
专利文献5:日本特开2012-011120号公报
发明内容
但是,通过上述专利文献2的方法表现的累计图像制作有时间分割的肺动脉相位以及肺静脉相位这2个缩略图图像,但无法判断每个搏动(心拍)周期的差异。
另外,通过上述专利文献3的方法表现的图形能够在视觉上观察时间方向的变化,但无法在视觉上识别帧图像上的差异。
另外,通过上述专利文献4的方法表现的图形显示有每个心拍周期的解析值,但无法在视觉上识别帧图像上的差异。
另外,通过上述专利文献5的方法表现的缩略图对动态图像的差异进行了缩略图显示,但对象没有周期性,并非表示每个周期的差异的缩略图显示。
另外,在上述专利文献1的技术中,并未制作使用了多个帧图像的累计图像、即相当于静止图像的缩略图图像。
这样,在上述专利文献1~5的技术中,无法捕捉帧图像上的二维空间的时间变化,所以存在针对时间方向的一览性以及视觉上的观察困难这样的课题。
本发明是鉴于这样的情况而完成的,其目的在于提供一种能够在视觉上容易地捕捉帧图像上的二维空间的时间变化,能够即时选择动态图像的整体时间中的期望的时间范围的图像处理技术。
为了解决上述课题,本发明的方案1提供一种图像处理装置,其特征在于,具备:动态图像取得单元,取得动态图像,该动态图像由在时间方向上对人体或者动物的身体内部的物理的状态周期性地变化的动态周期的状态依次进行摄影而得到的多个帧图像构成;时间范围设定单元,进行时间范围设定处理,该时间范围设定处理包括在所述动态图像内的整体时间中,(a1)按照所述动态周期单位设定第1时间范围的第1时间范围设定处理和(a2)设定第2时间范围的第2时间范围设定处理;缩略图生成单元,进行分别生成第1缩略图图像以及第2缩略图图像的缩略图生成处理,所述第1缩略图图像以及第2缩略图图像是对所述第1时间范围内以及所述第2时间范围内各自的所述帧图像分别进行统计处理而得到的静止图像;以及显示单元,进行视觉上可比较所述第1缩略图图像和所述第2缩略图图像的显示。
另外,方案2的发明在方案1记载的图像处理装置中,所述第2时间范围设定处理包括按照所述动态周期单位设定所述第2时间范围的处理。
另外,方案3的发明在方案1或者方案2记载的图像处理装置中,所述时间范围设定处理包括在所述动态图像内的整体时间中,设定用于设定所述第1时间范围和所述第2时间范围的父时间范围的父时间范围设定处理,所述第1时间范围和所述第2时间范围都是存在于所述父时间范围内的时间范围。
另外,方案4的发明在方案3记载的图像处理装置中,所述父时间范围设定处理包括:将所述第1时间范围以及所述第2时间范围中的任意一个时间范围设定为层次显示用父时间范围的处理;以及将所述层次显示用父时间范围新设定为所述父时间范围的处理,所述第1时间范围设定处理以及所述第2时间范围设定处理包括对所述层次显示用父时间范围内分别新设定所述第1时间范围以及所述第2时间范围的处理。
另外,方案5的发明在方案3记载的图像处理装置中,所述第2时间范围设定处理包括设定为使所述第2时间范围成为所述父时间范围的全部时间范围的处理。
另外,方案6的发明在方案3记载的图像处理装置中,所述时间范围设定处理还包括设定为所述第1时间范围和所述第2时间范围各自的全部的时间范围不重复、并且所述全部的时间范围连续的处理。
另外,方案7的发明在方案6记载的图像处理装置中,所述时间范围设定处理还包括设定为使所述第1时间范围和所述第2时间范围的合计时间范围与所述父时间范围一致的处理。
另外,方案8的发明在方案3记载的图像处理装置中,所述时间范围设定处理包括设定为包含在所述第1时间范围和所述第2时间范围各自的全部的时间范围中的所述动态周期的数量相互一致的处理。
另外,方案9的发明在方案1记载的图像处理装置中,所述缩略图生成处理包括:统计值计算处理,针对所述第1时间范围内或者所述第2时间范围内,按照与所述帧图像对应的每个像素分别计算像素统计值;以及像素值决定处理,根据所述像素统计值,决定所述第1缩略图图像用或者所述第2缩略图图像用的像素值。
另外,方案10的发明在方案9记载的图像处理装置中,所述统计值计算处理还包括利用包含在计算出所述像素统计值的所述时间范围内的所述动态周期的数量对所述像素统计值进行标准化的处理。
另外,方案11的发明在方案9记载的图像处理装置中,所述像素值决定处理还包括使用包括所述第1时间范围以及所述第2时间范围中的至少一方的比较用的时间范围中的像素统计值来决定所述第1缩略图图像用或者所述第2缩略图图像用的像素值的处理。
另外,方案12的发明在方案9记载的图像处理装置中,所述像素统计值是针对所述第1时间范围内以及所述第2时间范围内,与所述帧图像对应的每个像素的像素浓度的最大值、平均值、最小值、中央值中的任意一个值。
另外,方案13的发明在方案3记载的图像处理装置中,所述时间范围设定处理还包括(a3)统计值计算处理,针对包含于所述父时间范围的多个时间范围内,按照与所述帧图像对应的每个像素计算多个像素统计值;以及(a4)类似度计算处理,根据所述多个时间范围中的所述多个像素统计值,计算所述多个时间范围中的、时间上邻接的时间范围间的类似度,所述第1时间范围设定处理以及所述第2时间范围设定处理包括根据所述类似度,从所述多个时间范围分别设定所述第1时间范围以及所述第2时间范围的处理。
另外,方案14的发明在方案1记载的图像处理装置中,具备受理用户所设定的设定信息的操作单元,所述设定信息包括用于设定预定的时间范围的信息,所述缩略图生成处理还包括通过使用由所述操作单元输入的所述设定信息指示的所述预定的时间范围内的帧图像来进行所述统计处理,从而生成所述预定的时间范围的缩略图图像的处理,所述显示单元进行显示所述预定的时间范围的缩略图图像的处理。
另外,方案15的发明在方案14记载的图像处理装置中,所述设定信息还包括用于设定非显示时间范围的信息,所述显示单元进行如下处理:根据由所述操作单元输入的所述设定信息,使所述第1缩略图图像或者所述第2缩略图图像中的、时间范围包含于所述非显示时间范围的缩略图图像非显示。
另外,方案16的发明在方案14记载的图像处理装置中,所述设定信息包括用于将所述第1时间范围以及所述第2时间范围中的2个以上的预定数量的时间范围设定为汇集时间范围的信息,所述缩略图生成处理还包括通过使用由所述操作单元输入的所述设定信息指示的所述汇集时间范围内的帧图像来进行所述统计处理,从而生成所述汇集时间范围的缩略图图像的处理,所述显示单元进行:使时间范围包含于所述汇集时间范围的预定数量的缩略图图像非显示的处理;以及显示所述汇集时间范围的缩略图图像的处理。
另外,方案17的发明在方案1记载的图像处理装置中,具备受理用户所设定的设定信息的操作单元,所述设定信息包括用于设定所述第1缩略图图像以及所述第2缩略图图像中的、运动图像比较用缩略图图像的信息,所述显示单元进行根据由所述操作单元输入的所述设定信息,再生与所述运动图像比较用缩略图图像对应的动态图像的处理。
另外,方案18的发明在方案1至方案17的任意一项记载的图像处理装置中,所述动态周期包括心拍周期或者呼吸周期中的任意一方的周期。
另外,方案19的发明提供一种程序,由包含在图像处理装置中的计算机执行,从而使所述计算机作为方案1至18中的任意一项所述的图像处理装置发挥功能。
根据方案1至方案18记载的图像处理装置,具备:缩略图生成单元,进行使用第1时间范围内以及第2时间范围内各自的帧图像分别生成第1缩略图图像以及第2缩略图图像的缩略图生成处理,第1缩略图图像以及第2缩略图图像是对动态图像内的整体时间中的、动态周期单位的第1时间范围内以及第2时间范围内各自的动态图像的内容分别进行统计处理而得到的静止图像;以及显示单元,进行视觉上可比较第1缩略图图像和第2缩略图图像的显示。即,视觉上可比较地显示将动态图像的内容表现为静止图像的第1缩略图图像和第2缩略图图像,所以即使用户没有观察全部的动态图像,只要观察第1缩略图图像和第2缩略图图像,就能够一目了然地掌握汇集了第1时间范围以及第2时间范围的动态图像的内容的特征。由此,能够适当并且高效地观察动态图像内的每个第1时间范围以及第2时间范围的差异。因此,能够根据每个第1时间范围以及第2时间范围的的差异,即时判断并选择用户所期望的时间范围,诊断效率得到提高。由此,能够适当并且高效地进行动态诊断。
根据方案2记载的图像处理装置,第2时间范围设定处理包括按照动态周期单位而设定第2时间范围的处理。即,第1时间范围以及第2时间范围都按照动态周期单位来设定,从而按照动态周期单位生成第1缩略图图像和第2缩略图图像。由此,能够按照动态周期单位来调整时间范围,所以能够适当地比较两者的差异。
根据方案3记载的图像处理装置,时间范围设定处理包括设定动态图像内的整体时间中的、用于设定第1时间范围和第2时间范围的父时间范围的父时间范围设定处理,第1时间范围和第2时间范围都是存在于父时间范围内的时间范围。即,通过设定作为分析对象的父时间范围,能够设定存在于当前时间范围内的适当的第1时间范围和第2时间范围。由此,能够生成适合于比较的第1缩略图图像和第2缩略图图像。
根据方案4记载的图像处理装置,父时间范围设定处理包括:将第1时间范围以及第2时间范围中的任意一个时间范围设定为层次显示用父时间范围的处理;以及将层次显示用父时间范围新设定为父时间范围的处理,第1时间范围设定处理以及第2时间范围设定处理包括针对层次显示用父时间范围内,分别新设定第1时间范围以及第2时间范围的处理。即,通过将第1时间范围或者第2时间范围新设定为新的父时间范围(层次显示用父时间范围),能够对被分解过一次的时间范围更细分化。由此,能够显示更详细地分解了的缩略图图像,所以也能够详细地进行缩略图图像彼此的比较判断。
根据方案5记载的图像处理装置,第2时间范围设定处理包括设定为使第2时间范围成为父时间范围的全部时间范围的处理。即,通过将父时间范围设为第2时间范围,能够将第1时间范围设定为第2时间范围的希望关注的一部分的时间范围。由此,能够着眼于第2缩略图图像中的、希望关注的时间范围而显示第1缩略图图像。因此,例如,能够将发生异常的时间范围显示为第1缩略图图像。
根据方案6记载的图像处理装置,时间范围设定处理还包括设定为第1时间范围和第2时间范围各自的全部的时间范围不重复、并且全部的时间范围连续的处理。即,通过使第1时间范围和第2时间范围的时间范围间在时间上处于连续关系,能够针对连续的时间范围不遗漏地生成缩略图图像。由此,能够考虑时间方向而并列显示连续的时间的缩略图图像来确认。因此,例如,在异常部位出现并消失的情况下,能够诊断其时间过程。
根据方案7记载的图像处理装置,时间范围设定处理还包括设定为使第1时间范围和第2时间范围的合计时间范围与父时间范围一致的处理。即,能够在分析对象的整个父时间范围内,作为连续的时间范围而不遗漏地生成缩略图图像。由此,能够考虑时间方向,并列显示整个分析对象范围中的连续的时间的缩略图图像来确认。因此,例如,在异常部位出现并消失的情况下,能够在整个分析对象范围中诊断其时间过程。
根据方案8记载的图像处理装置,时间范围设定处理包括设定为使包含于第1时间范围和第2时间范围各自的全部的时间范围的所述动态周期的数量相互一致的处理。即,在时间范围之间动态周期的数量无差异,所以能够设定适于比较的时间范围。由此,能够不依赖于动态周期的数量,而适当地进行缩略图图像之间的比较。
根据方案9记载的图像处理装置,缩略图生成处理包括:统计值计算处理,针对第1时间范围内或者第2时间范围内,按照与帧图像对应的每个像素分别计算像素统计值;以及像素值决定处理,根据像素统计值,决定第1缩略图图像用或者第2缩略图图像用的像素值。即,能够将各时间范围内的像素统计值视觉辨认为静止图像。另外,通过使用公共的像素统计值(例如最大值、合计值等)来生成各缩略图图像,易于比较确认各时间范围内的动态图像的特征的差异。
根据方案10记载的图像处理装置,统计值计算处理还包括利用包含在计算出像素统计值的时间范围内的动态周期的数量对像素统计值进行标准化的处理。在进行第1及第2缩略图图像之间的比较的情况下,例如,如果像素统计值是合计值,则通过将该合计值除以动态周期的数量(标准化),能够得到每单位周期的像素统计值。即,即使在缩略图图像间的动态周期的数量不同的情况下,也能够制作在比较时等同的缩略图图像。由此,能够不依赖于动态周期的数量,而适当地进行缩略图图像间的比较。
根据方案11记载的图像处理装置,像素值决定处理还包括使用包括第1时间范围以及第2时间范围中的至少一方的比较用的时间范围内的像素统计值来决定第1缩略图图像用或者第2缩略图图像用的像素值的处理。即,使用比较用的时间范围内的像素统计值来决定第1缩略图图像用或者第2缩略图图像用的像素值,所以能够在缩略图图像的二维空间上将缩略图图像间(动态图像的时间方向)的空间的差异对应起来进行视觉辨认比较。由此,能够更容易地掌握动态图像的时空间的变化。另外,能够使异常的部位变得明了,所以能够适当并且高效地进行动态诊断。
根据方案12记载的图像处理装置,像素统计值是与帧图像对应的每个像素的像素浓度的最大值、平均值、最小值、中央值中的任意一个值。因此,在作为像素统计值而采用了例如像素浓度的最大值的情况下,在最大值小时,像素浓度被反映得较低,所以起到能够推测血流的流动恶化的效果。
根据方案13记载的图像处理装置,时间范围设定处理还包括(a3)统计值计算处理,针对包含于所述父时间范围中的多个时间范围内,按照与帧图像对应的每个像素计算多个像素统计值;以及(a4)类似度计算处理,根据所述多个时间范围内的所述多个像素统计值,计算所述多个时间范围中的、在时间上邻接的时间范围间的类似度,所述第1时间范围设定处理以及所述第2时间范围设定处理包括根据所述类似度,从所述多个时间范围分别设定所述第1时间范围以及所述第2时间范围的处理。例如,能够通过时间范围间的类似度高于预定值这样的判断基准,进行时间范围间的分组,根据分组分别设定第1时间范围以及第2时间范围。即,通过在集中了类似度高的时间范围的时间范围内进行缩略图图像化,能够更高效地进行是否包括应详细地分析的时间范围的分类。另外,通过缩小为类似度高的时间范围,能够减少要目视比较的缩略图图像数。
根据方案14记载的图像处理装置,缩略图生成处理还包括使用由操作单元输入的设定信息指示的预定的时间范围内的帧图像来进行统计处理,从而生成预定的时间范围的缩略图图像的处理,显示单元进行显示预定的时间范围的缩略图图像的处理。由此,在用户从操作单元操作输入了预定的时间范围时,显示预定的时间范围内的缩略图图像。
根据方案15记载的图像处理装置,显示单元进行根据由操作单元输入的设定信息,使第1缩略图图像或者第2缩略图图像中的、时间范围包含于非显示时间范围内的缩略图图像非显示的处理。例如,在有多个要分析比较的第1及第2缩略图图像时,用户能够指定不需要显示的缩略图图像为使其非显示。由此,能够仅显示特别希望关注的缩略图图像。因此,能够有效活用显示单元的显示器上的空间。
根据方案16记载的图像处理装置,缩略图生成处理还包括使用由操作单元输入的设定信息指示的汇集时间范围内的帧图像来进行统计处理,生成汇集时间范围的缩略图图像的处理,显示单元进行:使时间范围包含于汇集时间范围内的预定数量的缩略图图像非显示的处理;以及显示汇集时间范围的缩略图图像的处理。即,在有多个要分析比较的缩略图图像时,能够将比较而判断为等同的时间范围作为1张缩略图图像。由此,能够减少不需要比较的缩略图图像的数量。因此,能够有效活用显示单元的显示器上的空间。
根据方案17记载的图像处理装置,显示单元进行根据由操作单元输入的设定信息,再生与运动图像比较用缩略图图像对应的动态图像的处理。由此,用户能够并行地进行缩略图图像(静止图像)的比较作业和动态图像视觉辨认作业。因此,能够适当并且高效地进行动态诊断。
根据方案18记载的图像处理装置,动态周期包括心拍周期或者呼吸周期中的任意一方的周期。由此,能够通过缩略图图像确定在心拍周期或者呼吸周期中发生异常的周期(时间段),所以能够仅进行发生了异常的时间段的动态诊断。因此,能够缩短动态诊断所需的时间,能够适当并且高效地进行。
根据方案19记载的程序,能够得到与方案1至方案18记载的发明相同的效果。
本发明的目的、特征、方面以及优点通过以下的详细的说明以及附图将更加明确。
附图说明
图1是示出第1实施方式的放射线动态图像摄影系统100的整体结构的图。
图2是说明血流动态诊断的课题的图。
图3是示出第1实施方式的图像处理装置3的功能结构的框图。
图4是例示通过放射线动态图像摄影而拍摄到的动态图像的图。
图5是说明心拍周期取得处理的示意图。
图6是说明心拍周期取得处理的示意图。
图7是说明时间范围设定处理的示意图。
图8是说明时间范围设定处理的示意图。
图9是说明时间范围设定处理的示意图。
图10是说明时间范围设定处理的示意图。
图11是说明时间范围设定处理的示意图。
图12是说明时间范围设定处理的示意图。
图13是说明时间范围设定处理的示意图。
图14是说明时间范围设定处理的示意图。
图15是说明时间范围设定处理的示意图。
图16是说明缩略图生成处理的示意图。
图17是说明缩略图显示方法的示意图。
图18是说明缩略图显示方法的示意图。
图19是说明缩略图显示方法的示意图。
图20是说明缩略图显示方法的示意图。
图21是说明缩略图显示方法的示意图。
图22是说明在第1实施方式中实现的图像处理装置3的基本动作的流程图。
图23是示出第2实施方式的时间范围设定部120A的功能结构的框图。
图24是说明第2实施方式中的说明时间范围设定处理的示意图。
图25是示出第3实施方式的图像处理装置3B的功能结构的框图。
图26是说明第3实施方式中的缩略图生成处理及其显示方法的示意图。
(符号说明)
1:摄影装置;2:摄影控制装置;3、3A、3B:图像处理装置;31、31A、31B:控制部;32:存储部;33:操作部;34、34B:显示部;100:放射线动态图像摄影系统;110:动态图像取得部;115:周期分类部;120、120’、120A:时间范围设定部;121、121’、121A:第1时间范围设定部;122、122’、122A:第2时间范围设定部;123A:父时间范围设定部;124A:统计值计算部;125A:类似度计算部;126A:类似度判定部;130、130B:缩略图生成部;141、141B:统计值计算部;142、142B:像素值决定部;M:被摄体(被检者);MI、MI’:帧图像;PC:心拍周期;DFS:差分强调值;TR1:第1时间范围;TR2:第2时间范围;TRc:比较用的时间范围;SM1:第1像素统计值(像素统计值);SM2:第2像素统计值(像素统计值);SMc:(比较用的时间范围内的)像素统计值;SG1:第1缩略图图像;SG2:第2缩略图图像;SG1c、SG2c:比较用的缩略图图像。
具体实施方式
以下,本说明书中的“缩略图图像”这样的用语是指对动态图像中的作为预定的时间范围内的动态图像的内容的多个图像帧进行统计处理而得到的静止图像。
<1.第1实施方式>
以下,说明本发明的第1实施方式的放射线动态图像摄影系统。
<1-1.放射线动态图像摄影系统的整体结构>
第1实施方式的放射线动态图像摄影系统将人体或者动物的身体作为被摄体,针对被摄体的对象区域的物理的状态周期性地时间变化的状况进行放射线图像的摄影。
图1是示出第1实施方式的放射线动态图像摄影系统的整体结构的图。如图1所示,放射线动态图像摄影系统100具备摄影装置1、摄影控制装置2(摄影用控制台)、图像处理装置3(诊断用控制台)以及心电图仪4。构成为摄影装置1以及心电图仪4通过通信电缆等与摄影控制装置2连接,摄影控制装置2和图像处理装置3经由LAN(LocalAreaNetwork:局域网)等通信网络NT而连接。构成放射线动态图像摄影系统100的各装置遵照DICOM(DigitalImageandCommunicationsinMedicine:医学数字成像和通信)标准,依照DICOM标准进行各装置之间的通信。
<1-1-1.摄影装置1的结构>
摄影装置1是例如由X射线摄影装置等构成、且对与呼吸相伴的被摄体M的胸部的动态进行摄影的装置。通过在对被摄体M的胸部反复照射X射线等放射线的同时按照时间顺序取得多个图像,从而进行动态摄影。将通过该连续摄影得到的一连串的图像称为动态图像。另外,将构成动态图像的多个图像的各个称为帧图像。
如图1所示,摄影装置1构成为具备照射部(放射线源)11、放射线照射控制装置12、摄像部(放射线检测部)13以及读取控制装置14。
照射部11依照放射线照射控制装置12的控制,对被摄体M照射放射线(X射线)。图示例是人体用的系统,被摄体M相当于检查对象者。以下,将被摄体M还称为“被检者”。
放射线照射控制装置12与摄影控制装置2连接,根据从摄影控制装置2输入的放射线照射条件来控制照射部11,进行放射线摄影。
摄像部13由FPD等半导体影像传感器构成,将从照射部11照射并透射了被检者M的放射线变换为电信号(图像信息)。
读取控制装置14与摄影控制装置2连接。读取控制装置14根据从摄影控制装置2输入的图像读取条件,控制摄像部13的各像素的开关部,切换积蓄在该各像素中的电信号的读取,读取积蓄在摄像部13中的电信号,从而取得图像数据。然后,读取控制装置14将取得的图像数据(帧图像)输出到摄影控制装置2。图像读取条件是例如帧速率、帧间隔、像素尺寸、图像尺寸(矩阵尺寸)等。帧速率是每1秒取得的帧图像数,与脉冲速率一致。帧间隔是在连续摄影中从1次帧图像的取得动作开始到下一次帧图像的取得动作开始的时间,与脉冲间隔一致。
此处,放射线照射控制装置12和读取控制装置14相互连接,相互交换同步信号来协调放射线照射动作和图像的读取的动作。
<1-1-2.摄影控制装置2的结构>
摄影控制装置2将放射线照射条件、图像读取条件输出到摄影装置1而控制利用摄影装置1进行的放射线摄影以及放射线图像的读取动作,并且显示通过摄影装置1取得的动态图像,用于由摄影技师确认定位以及确认是否是适合于诊断的图像。
如图1所示,摄影控制装置2构成为具备控制部21、存储部22、操作部23、显示部24以及通信部25,各部通过总线26连接。
控制部21由CPU(CentralProcessingUnit:中央处理单元)、RAM(RandomAccessMemory:随机访问存储器)等构成。控制部21的CPU根据操作部23的操作,读出存储在存储部22中的系统程序、各种处理程序并在RAM内展开,依照展开的程序执行后述的以摄影控制处理为首的各种处理,集中控制摄影控制装置2各部的动作、摄影装置1的动作。
存储部22由非易失性的半导体存储器、硬盘等构成。存储部22存储由控制部21执行的各种程序、通过程序执行处理所需的参数、或者处理结果等数据。
操作部23构成为具备具有光标键、数字输入键以及各种功能键等的键盘和鼠标等指示设备,将针对键盘的键操作、鼠标操作或者经由触摸面板输入的指示信号输出到控制部21。
显示部24由彩色LCD(LiquidCrystalDisplay:液晶显示器)等监视器构成,依照从控制部21输入的显示信号的指示,显示来自操作部23的输入指示、数据等。
通信部25具备LAN适配器、调制解调器、TA(TerminalAdapter:终端适配器)等,控制与和通信网络NT连接的各装置之间的数据发送接收。
<1-1-3.图像处理装置3的结构>
图像处理装置3经由摄影控制装置2取得从摄像装置1发送的动态图像,显示用于医生等读影诊断的图像。
如图1所示,图像处理装置3构成为具备控制部31、存储部32、操作部33、显示部34、通信部35以及解析部36,各部通过总线37连接。
控制部31由CPU、RAM等构成。控制部31的CPU根据操作部33的操作,读出存储于存储部32中的系统程序、各种处理程序并在RAM内展开,依照展开的程序执行各种处理,对图像处理装置3各部的动作进行集中控制(详细后述)。
存储部32由非易失性的半导体存储器、硬盘等构成。存储部32存储由控制部31执行的各种程序、通过程序执行处理所需的参数、或者处理结果等数据。例如,存储部32存储有用于执行后述图像处理的图像处理程序。以可读取的程序代码的方式储存这些各种程序,控制部31逐次执行依照该程序代码的动作。
操作部33构成为具备具备光标键、数字输入键以及各种功能键等的键盘和鼠标等指示设备,将针对键盘的键操作、鼠标操作或者经由触摸面板输入的指示信号输出到控制部31。
显示部34由彩色LCD等监视器构成,依照从控制部31输入的显示信号的指示,显示来自操作部33的输入指示、数据以及后述显示用图像。
通信部35具备LAN适配器、调制解调器、TA等,控制与和通信网络NT连接的各装置之间的数据发送接收。
<1-1-4.心电图仪4的结构>
在图1中,表示为心电图仪4与被检者M分离,但实际上心电图仪4的各电极端子安装在被检者M上,作为数字信号而输出被检者M的心电波形。
如图1所示,心电图仪4构成为具备相位检测部41,相位检测部41响应来自控制部21的CPU的控制信号,检测被摄体M的心拍的相位,作为用于使利用摄影装置1进行的摄影动作同步的基础信息。
<1-2.血流动态诊断中的问题>
作为说明该实施方式中的图像处理装置3的详情的前提,说明血流动态诊断中的问题。
图2是说明血流动态诊断中的课题的图。图2(a)是在时间方向上显示有对构成动态图像的帧图像进行血流解析之后的血流动态图像(帧图像IG)的示意图,图2(b)是例示将构成血流动态图像的多个帧图像IG重叠显示为1张静止图像的缩略图图像SGo的示意图。
如图2(a)所示,在血流动态诊断中,医师/技师为了搜索血管的梗阻,从动态图像中搜索血流的流动“无/少/定时延迟”的状态。例如,在时刻t2的帧图像IG中,如看起来在区域R1中未流过血流那样,能够根据动态图像进行诊断。另外,还确认有无噪声、血流流动的方向。
但是,难以根据动态图像目视判断(诊断)何处正常或者异常。即,存在动态图像的目视需要大量的诊断时间的点、存在看漏的危险的点、不易掌握动态图像中的二维空间上的整体感的点等诸多问题。
另一方面,考虑如图2(b)所示,使用在血流动态图像的时间方向上对应的像素的合计值、最大值等的统计处理而得到的代表值并重叠地显示而显示为1张静止图像(缩略图图像)SGo的方法。例如,如在区域R2中血流的流动弱那样,能够根据静止图像进行笼统的诊断。另外,血流动态图像的噪声多并且个人差异也多种多样,所以在缩略图图像SGo中搜索粗糙度(roughness)和/或缺损(deficiency),在动态图像中比较延迟和/或不足来解析现象并进行限定的作业不可缺少。这样,医师等用户通过1个缩略图图像SGo的目视,易于掌握血流动态图像的二维空间上的整体感,从大局上掌握血流动态图像的内容,根据粗糙度,确认血流的不足、增减。
即,作为动态血流的诊断方法,用户根据实施统计处理而得到的静止图像,掌握空间上的分布状况,在摸准异常位置的大致目标之后,观察动态图像,确认对象部位在时间上是否异常。另外,关于血流解析,由于噪声的主要原因多,所以进行这样运用了静止图像和动态图像的诊断是很重要的。
但是,在图2(b)那样的单一的缩略图图像SGo中,未显示多个缩略图图像,所以无法掌握每个心拍周期或者每个特定的时间范围内的血流的差异(心率不齐)、摄影变动噪声等的时间方向的分析。因此,存在需要在动态图像中观察每个心拍周期或者每个特定的时间范围的差异,消耗大量的观察时间,诊断效率及其恶化这样的课题。
在这样的考察下,期望从动态图像针对每个心拍周期或者针对每个特定的时间范围进行时间分割而显示缩略图图像。
因此,在本发明中,通过从动态图像针对每个心拍周期或者针对每个特定的时间范围进行时间分割而生成多个缩略图图像,用户能够按照静止图像的水平来比较每个心拍周期或者每个特定的时间范围的动态图像的差异,能够从动态图像的整体时间中容易地选择期望的心拍周期或者特定的时间范围。
以下,说明第1实施方式中的图像处理装置3的详细。
<1-3.图像处理装置3的具体的结构>
本发明的第1实施方式中的放射线动态图像摄影系统100的图像处理装置3通过对动态图像针对每个心拍周期或者针对每个特定的时间范围进行时间分割来显示缩略图图像SG,能够适当并且高效地进行动态诊断。
以下,说明由图像处理装置3实现的功能的结构。
<1-3-1.图像处理装置3的功能结构>
图3是将在放射线动态图像摄影系统100的图像处理装置3中,CPU等依照各种程序进行动作从而在控制部31中实现的功能结构与其他结构一起示出的图。另外,该实施方式的图像处理装置3使用主要拍摄到包括心脏以及两肺的胸部的动态图像。
在控制部31中,主要包括动态图像取得部110、周期分类部115、时间范围设定部120以及缩略图生成部130。
以下,说明通过执行预先安装的程序而实现图3所示那样的控制部31的功能的结构,但也可以通过专用的硬件结构实现。
以后,参照图3,依次说明动态图像取得部110、周期分类部115、时间范围设定部120以及缩略图生成部130进行的各处理的具体的内容。
<1-3-1-1.动态图像取得部110>
在动态图像取得部110中,取得通过摄像装置1的读取控制装置14拍摄到的、由多个帧图像构成的动态图像,该多个帧图像是在时间方向上依次拍摄被检者M的身体内部中的物理的状态周期性地变化的动态周期的状态而得到的。本实施方式中的动态周期设想为心拍周期。即,如图3所示,在摄像装置1与图像处理装置3之间介有摄影控制装置2,存储在摄影控制装置2的存储部22中的检测数据(多个帧图像MI)被经由通信部25而输出到图像处理装置3的通信部35。
图4是例示通过放射线动态图像摄影拍摄伴随呼吸的被检者M的胸部的动态而得到的动态图像的图。如图4所示,通过动态图像取得部110取得的帧图像M1~M10(MI)是在固定的摄影定时对呼吸循环的1个周期进行连续拍摄而得到的。具体而言,在时刻t=t1,t2,t3,…,t10的摄影定时拍摄到的图像分别对应于帧图像M1、M2、M3、…、M10。
<1-3-1-2.周期分类部115>
在将捕捉到周期性的动态(血流)的血流动态图像变换为静止图像(缩略图图像)SG而显示的情况下,按照心拍周期单位划分时间范围来生成缩略图图像SG。由此,构成该时间范围内的帧图像MI针对每个相位没有增减,能够作为表示周期性的活动的缩略图图像SG。
此处所称的心拍周期单位的时间范围能够从心脏输出相位开始。因为这是从心脏对血管开始流入血流的定时,并且还因为能够按照血流行进到肺整体并返回的顺序捕捉动态图像的缘故。另一方面,还能够从心脏输入相位开始,在该情况下,能够按照心脏在积蓄血流之后吐出的顺序单位来捕捉动态图像。由此,即使在再生后述的动态图像的情况下,通过从相同的时刻开始进行再生显示,也能够从用户最希望关注的帧图像的相位开始观察。
因此,作为生成缩略图图像SG的第1个预处理,在周期分类部115中,检测与拍摄到由动态图像取得部110取得的多个帧图像MI的摄影时刻同步的被检者M(身体)中的心拍周期,按照该心拍周期单位类该多个帧图像MI。然后,周期分类部115将按照该心拍周期单位分类之后的多个帧图像MI’输出到时间范围设定部120。
以下,说明周期分类部115进行的检测被检者M的心拍周期的心拍周期取得处理。
<1-3-1-2-1.心拍周期取得处理>
心拍周期取得处理是使用由动态图像取得部110取得的摄影图像计算心脏壁的活动量,从而取得心拍周期的处理。详细而言,通过从动态图像检测心脏壁的变动,检测拍摄到各帧图像的定时的心脏的搏动的相位。然后,根据该心脏的搏动的相位决定心拍周期。
首先,作为从各帧图像MI检测心脏的轮廓的手法,能够采用各种公知的手法,例如,能够采用使用表示心脏的形状的模型(心脏模型)使X射线图像中的特征点与心脏模型的特征点对齐,从而检测心脏的轮廓的手法(参照例如“Imagefeatureanalysisandcomputer-aideddiagnosisindigitalradiography:Automatedanalysisofsizesofheartandlunginchestimages”,NobuyukiNakamorietal.,MedicalPhysics,Volume17,Issue3,May,1990,pp.342-350.等)等。
图5是例示从各帧图像提取出的心脏的轮廓(心脏壁)的示意图。如图5(a)~(c)所示,能够观察到根据各帧图像提取有心脏壁HL1~HL3。
如图5所示,作为在动态图像中捕捉到的心脏壁HLI的变动的一个例子,采用心脏的宽度的变动。即,在图5(a)~图5(c)中例示了在心脏扩张的过程中,心脏的宽度从w1向w3变大的状态。
因此,通过使用上述说明过的方法等从各帧图像检测心脏的轮廓HLI,并检测心脏的宽度,从而能够检测心拍周期。
图6是针对构成动态图像的多个帧图像,例示拍摄时刻与心脏的宽度(心脏壁的活动量)的关系的示意图。在图6中,横轴表示时刻,纵轴表示心脏的宽度,圆标志表示检测到的心脏的宽度的值。
此处,将在时刻t捕捉到的心脏的宽度设为Hwt,将在时刻t+1捕捉到的心脏的宽度设为Hwt+1,在(Hwt+1-Hwt)≥0成立的情况下,在时刻t捕捉到的帧图像被分类为心脏的扩张时,在(Hwt+1-Hwt)<0成立的情况下,在时刻t捕捉到的帧图像被分类为心脏的收缩时。
这样,通过检测心脏的宽度即心脏壁的变动,能够分类心脏的扩张时以及收缩时,所以能够检测心脏的搏动的相位。
如以上那样,在周期分类部115中,通过根据在动态图像中捕捉到的心脏壁的活动来检测心拍周期PC,能够按照该心拍周期PC单位来分类该多个帧图像MI,作为按照心拍周期PC单位分类之后的多个帧图像MI’。
另外,心拍周期取得处理不仅可以是上述方法,也可以是使用从心电图仪4的相位检测部41(参照图1)取得的结果来取得心拍周期PC的方法。即,能够通过与基于摄像装置1的摄像动作同步地进行基于心电图仪4的相位检测部41的检测动作来实现。
<1-3-1-3.时间范围设定部120>
接下来,作为生成缩略图图像SG的第2个预处理,在时间范围设定部120(时间范围设定处理)中,具备在动态图像内的整体时间中(a1)按照心拍周期PC单位来设定第1时间范围TR1的第1时间范围设定部121(第1时间范围设定处理)和(a2)设定第2时间范围TR2的第2时间范围设定部122(第2时间范围设定处理)(参照图3)。另外,第2时间范围设定处理无需一定按照心拍周期PC单位(由一个或者多个心拍周期PC构成的时间)来设定第2时间范围TR2,但优选按照心拍周期PC单位来设定。
另外,第1时间范围TR1是指单一的时间范围。另外,第2时间范围TR2是指至少1个时间范围(单一的时间范围或者多个时间范围)。
此处,在按照心拍周期PC单位来设定第1及第2时间范围TR1、TR2时,能够使用通过周期分类部115按照心拍周期单位分类了的多个帧图像MI’而容易地设定。另外,也可以使用操作部23来设定第1时间范围TR1以及第2时间范围TR2。
图7~图13是说明时间范围设定处理的示意图。另外,关于图7~图13所示的第1时间范围TR1中的缩略图图像SG1和第2时间范围TR2中的缩略图图像SG2的生成方法的详细情况后述。
图7是说明时间范围设定处理的示意图。另外,图7(a)是示出第2时间范围TR2的一个例子的图,图7(b)是示出第1时间范围TR1的一个例子的图。另外,图7(a)所示的图像显示块的下边表示动态图像的整体时间TA。
如图7所示,时间范围设定部120中的第1时间范围设定部121(第1时间范围设定处理)设定第1时间范围TR1(参照图7(b)),第2时间范围设定部122(第2时间范围设定处理)设定第2时间范围TR2(参照图7(a))。在图7所示的时间范围设定处理(基本)中,第1时间范围TR1和第2时间范围TR2是否重复是任意的,并且,第2时间范围TR2是否按照心拍周期PC单位也是任意的。
以下,参照图8~图15,说明对图7所示的时间设定处理(基本)附加了各种限制的时间范围设定处理(1)~(5)。
<1-3-1-3-1.时间范围设定处理(1)>
在时间范围设定处理(1)中,具备父时间范围设定处理(父时间范围设定部123)(参照图3),设定动态图像内的整体时间中的、用于设定第1时间范围TR1和第2时间范围TR2的父时间范围TR0。此处,第1时间范围TR1和第2时间范围TR2都是存在于父时间范围TR0内的时间范围。
图8是说明时间范围设定处理(1)的示意图,是例示父时间范围TR0和第1及第2时间范围TR1、TR2的关系的图。如图8所示,在父时间范围设定处理(1)中,设定动态图像内的整体时间TA中的、用于设定第1时间范围TR1和第2时间范围TR2(在图8中示出有单一的第2时间范围TR2的设定例)的父时间范围TR0。此时,第1时间范围TR1和第2时间范围TR2都是存在于父时间范围TR0内的时间范围,第1时间范围TR1和第2时间范围TR2是否重复是任意的。
<1-3-1-3-2.时间范围设定处理(2)>
在时间范围设定处理(2)中,设想在以时间范围设定处理(1)的设定条件进行设定时,第2时间范围TR2是单一的第2时间范围TR2时。即,时间范围设定处理(2)的第2时间范围设定处理进行设定为使第2时间范围TR2成为父时间范围TR0的全部时间范围的处理。
图9是说明时间范围设定处理(2)的示意图,是例示父时间范围TR0和第1及第2时间范围TR1、TR2的关系的图。如图9所示,第2时间范围设定处理进行设定为使第2时间范围TR2成为父时间范围TR0的全部时间范围的处理。在父时间范围设定处理中,在该父时间范围TR0(TR2)内设定第1时间范围TR1。
<1-3-1-3-3.时间范围设定处理(3)>
在时间范围设定处理(3)中,除了时间范围设定处理(1)的设定条件以外,还可以进行设定为第1时间范围TR1和第2时间范围TR2各自全部的时间范围不重复、并且全部的时间范围连续的处理。
图10是说明时间范围设定处理(3)的示意图,是例示父时间范围TR0和第1及第2时间范围TR1、TR2的关系的图。另外,在图10中,示出了第2时间范围TR2由2个第2时间范围TR21以及TR22构成的情况。
如图10所示,在时间范围设定处理(3)中,设定为第1时间范围TR1与第2时间范围TR21之间以及第2时间范围TR21与第2时间范围TR22之间不重复、并且基于第1时间范围TR1和第2时间范围TR21的时间范围以及基于第2时间范围TR21和第2时间范围TR22的时间范围连续。
<1-3-1-3-4.时间范围设定处理(4)>
在时间范围设定处理(4)中,除了时间范围设定处理(1)以及(3)的设定条件以外,也可以还进行设定为第1时间范围TR1和第2时间范围TR2的合计时间范围与父时间范围TR0一致的处理。
图11以及图12是说明时间范围设定处理(4)的示意图,是例示父时间范围TR0和第1及第2时间范围TR1、TR2的关系的图。另外,在图11中,示出了第2时间范围TR2是单一结构的情况,在图12中,示出了第2时间范围TR2由2个第2时间范围TR21以及TR22构成的情况。
在图11的情况下,时间范围设定处理(4)设定为第1时间范围TR1和第2时间范围TR2不相互重复而处于连续关系,第1时间范围TR1和第2时间范围TR2的合计时间范围与父时间范围TR0一致(为“TR0=TR1+TR2”的关系)。
另一方面,在图12的情况下,时间范围设定处理设定为第1时间范围TR1与第2时间范围TR21之间以及第2时间范围TR21与第2时间范围TR22之间不相互重复而处于连续关系,第1时间范围TR1、第2时间范围TR21以及第2时间范围TR22的合计时间范围与父时间范围TR0一致(为“TR0=TR1+TR21+TR22”的关系)。
<1-3-1-3-5.时间范围设定处理(5)>
另外,在时间范围设定处理中,除了时间范围设定处理(1)的设定条件以外,也可以进行设定为包含于第1时间范围TR1和第2时间范围TR2各自全部的时间范围内的心拍周期PC的数量相互一致的处理。即,在心拍周期PC的数量为n(n是正的整数)且PC恒定的情况下,也可以设定为第1时间范围TR1=第2时间范围TR2=n×PC。
图13是说明时间范围设定处理(5)的示意图,是例示父时间范围TR0和第1及第2时间范围TR1、TR2的关系的图。另外,在图13中,示出了第2时间范围TR2由2个第2时间范围TR21以及TR22构成的情况。
如图13所示,在时间范围设定处理(5)中,设定为包含于第1时间范围TR1和第2时间范围TR21以及第2时间范围TR22的时间范围中的心拍周期PC的数量相互一致。
<1-3-1-3-6.时间范围设定部120的变形例>
如上所述,说明了时间范围设定部120中的时间范围设定处理(1)~(5),但不限于这些。此处,说明时间范围设定部120的变形例。图14是说明时间范围设定部120的变形例(时间范围设定部120’)的图。
如图14所示,时间范围设定部120’除了时间范围设定处理(1)的设定条件以外,还进行以下那样的处理。在父时间范围设定处理(父时间范围设定部123’)中,进行将第1时间范围TR1以及第2时间范围TR2中的任意一个时间范围设定为层次显示用父时间范围TR0n的处理和将层次显示用父时间范围TR0n新设定为父时间范围TR0的处理。然后,第1时间范围设定处理以及第2时间范围设定处理(第1及第2时间范围设定部121’、122’)进行针对层次显示用父时间范围TR0n内,分别新设定第1时间范围TR1以及第2时间范围TR2的处理。
图15是说明时间范围设定部120’的示意图,是例示父时间范围TR0、第1及第2时间范围TR1、TR2以及层次显示用父时间范围TR0n的关系的图。
如图15所示,从图15(a)所示的父时间范围TR0,与图8~图13同样地,时间范围设定部120’设定第1时间范围TR1以及第2时间范围TR2,之后,将第1时间范围TR1以及第2时间范围TR2中的任意一个时间范围新设定为层次显示用父时间范围TR0n(参照图15(b))。即,父时间范围设定部123’将临时设定的第1时间范围TR1或者第2时间范围TR2中的任意一个作为层次显示用父时间范围TR0n,将层次显示用父时间范围TR0n新设定为父时间范围TR0。在图15(b)的例子中,将第1时间范围TR1作为层次显示用父时间范围TR0n,但也能够将第2时间范围TR2作为层次显示用父时间范围TR0n。
然后,第1及第2时间范围设定部121’、122’进行针对层次显示用父时间范围TR0n内,分别新设定第1时间范围TR1n以及第2时间范围TR2n的处理(参照图15(c))。
如以上那样,说明了时间范围设定部120以及时间范围设定部120’,但期望与第1时间范围TR1同样地,在第2时间范围TR2中也按照心拍周期PC单位(由一个或者多个心拍周期PC构成的时间)进行设定。其原因在于,由此,设为心拍周期PC单位的缩略图图像SG(详细后述)彼此,能够设为适合于比较的缩略图图像SG。但是,构成动态图像的帧图像MI有时不为心拍周期PC单位的数据,所以在该情况下,从心拍周期PC单位出现零数。在该情况下,通过舍去零数,来设定第1时间范围TR1以及第2时间范围TR2。相反地,也可以根据使用动态图像数据整体的意图,进行包括零数的第1时间范围TR1以及第2时间范围TR2的设定。
<1-3-1-4.缩略图生成部130>
在缩略图生成部130(缩略图生成处理)中进行如下的缩略图生成处理(参照图3):使用第1时间范围TR1内以及第2时间范围TR2内各自的帧图像分别生成第1缩略图图像SG1以及第2缩略图图像SG2,该第1缩略图图像SG1以及第2缩略图图像SG2是对第1时间范围TR1内以及第2时间范围TR2内各自的动态图像的内容分别进行统计处理而得到的静止图像。
即,如图7~图13以及图15所示,缩略图生成部130使用通过第1时间范围设定部121(121’)设定的第1时间范围TR1(TR1n)内的帧图像MI来生成缩略图图像SG1(SG1n),并且使用通过第2时间范围设定部122(122’)设定的第2时间范围TR2(TR2n)内的帧图像MI来生成缩略图图像SG2(SG2n)。
另外,在将动态图像的整体时间TA作为分析对象的情况下,通过将动态图像内的特定的1个周期作为第1时间范围TR1来生成第1缩略图图像SG1,将整体时间TA作为第2时间范围TR2来生成第2缩略图图像SG2,能够针对动态图像整体来比较显示该特定的1个周期的状态并进行确认。即使特定的周期是多个心拍周期PC,也按照心拍周期PC单位设定第1时间范围TR1,并生成第1缩略图图像SG1,所以能够针对整体动态图像尺寸,生成妥当的比较缩略图图像。
此处,缩略图生成部130(缩略图生成处理)具备:统计值计算部141(统计值计算处理),对第1时间范围TR1或者第2时间范围TR2各自的时间范围内,针对对应于时间方向的每个像素、即针对对应于帧图像的每个像素,分别计算像素统计值SM(第1及第2像素统计值SM1、SM2);以及像素值决定部142(像素值决定处理),根据像素统计值SM,决定第1缩略图图像SG1用或者第2缩略图图像SG2用的像素值(参照图3)。
另外,以下,将通过统计值计算处理计算出的第1时间范围TR1中的第1像素统计值SM1以及第2时间范围TR2中的第2像素统计值SM2分别简称为“像素统计值SM1”以及“像素统计值SM2”。
此处,像素统计值SM(像素统计值SM1、SM2)是指,使用第1或第2时间范围TR1、TR2内的在时间上接近的帧图像MI间的对应像素的差值(像素浓度)而计算的、第1或第2时间范围TR1、TR2内的像素浓度的合计值、平均值、最大值、最小值、中央值等中的任意一个值。这样,像素统计值SM是像素浓度,所以通过采用例如差值的最大值,在最大值小时,像素浓度被反映得较低,所以能够推测血流的流动恶化。因此,能够比较判断每个心拍周期PC的血流的不足、粗糙度的差异。
此时,统计值计算处理(统计值计算部141)优选进行利用包含于计算出像素统计值SM1、SM2的时间范围内的心拍周期PC的数量对像素统计值SM1、SM2进行标准化的处理。
作为通过心拍周期PC的数量进行标准化的具体例,在像素统计值SM1、SM2是合计值的情况、例如计算出像素统计值SM1的第1时间范围TR1的心拍周期PC数量是3(TR1=3×PC)、计算出像素统计值SM2的第2时间范围TR2的心拍周期PC数量是10(TR2=10×PC)的情况下,将像素统计值SM1(差值的合计值)除以3,将像素统计值SM2(差值的合计值)除以10。
另外,在像素统计值SM的计算中,通过使用在时间上接近的帧图像MI(MI’)间的对应像素的差值(还称为血流解析值),能够描绘出血流浓度变化值,能够对血流的速度、流动的朝向进行视觉辨认。即,血管的流动相对心脏搏动的延迟或者血管的流动相对周边区域的延迟启示了该血管中有血栓的可能性,是血流动态图像中在诊断上最希望确认的点之一。另外,关于血流的朝向,为了与各种噪声区分而成为重要的观点。因此,也可以对像素统计值SM使用反映出血管的流动的延迟或者血流的朝向的值。
例如,作为血管的流动的延迟或者血流的朝向易于视觉辨认的像素统计值SM,能够通过采用例如差值的空间相关值来确认。也就是说,空间相关值通过计算与周围的差值的相关程度,能够推测血流的速度、朝向的延迟。
具体而言,表示“延迟”的状态是指,对象像素的血流值(差值)与其空间上的周围的像素的血流值的空间相关值小的状态。即,在对象的像素中有血流,但在周围的大多数的像素中无血流时,对象的像素被推测为延迟的可能性高。
另外,作为与延迟、朝向有关的缩略图图像SG上的显示,针对每个血流相位、摄影时刻,以不同的颜色<R、G、B>显示血流值。例如,分别使R值和G值反映与作为动脉相的主血管相和末梢血管相相应的像素统计值SM,使B值反映与静脉相相应的像素统计值SM,而生成像素值。
另外,在像素统计值SM的计算中,第1及第2缩略图图像SG1、SG2还能够使用作为对象的第1及第2时间范围TR1、TR2内的一部分的时间范围的像素值。即,针对正常血流,在描绘出延迟的血流的定时选择时间范围,计算像素统计值SM,从而能够作为反映了延迟的缩略图图像SG。
另外,此处所称的一部分的时间范围优选根据血流(动态)的相位信息来决定。即,能够是将仅动脉相(血流相位)的血流解析值作为像素统计值SM的方法、将最大吸气相位(呼吸相位)以外的血流解析值作为像素统计值SM的方法、将适合于延迟血流的描绘的相位的血流解析值作为像素统计值SM的方法等。这样,通过根据动态的相位决定像素统计值SM,进行缩略图图像SG化,用户能够根据缩略图图像判断更适合的定时。
图16是说明将像素统计值SM设为像素浓度的最大值时的缩略图生成处理的图。图16(a)是示意地说明时间范围设定处理所设定的第1时间范围TR1(或者第2时间范围TR2)内的帧图像MI以及心拍周期PC的关系的图,横轴表示摄影时刻,纵轴表示心拍周期取得处理所取得的心脏的宽度或者从心电图仪4检测的电信号。图16(b)示出根据图16(a)的时间范围TR1(TR2)内的帧图像MI间的差值的最大值而生成的缩略图图像SG1(SG2)。
另外,在图16(a)的例子中,设为时间范围TR1(TR2)内包含1个周期量的心拍周期PC,将时间范围TR1(TR2)内的帧图像MI设为7张,设想了Δt1~Δt6这6个时刻差,但其仅为例示,实际要配合动画摄影的帧速率来设定。
如图16(a)所示,首先,按照摄影时刻顺序取时间范围TR1(TR2)内的帧图像MI间的差分,得到与各时刻差Δt1~Δt6对应的各差值d1~d6,从而得到心拍的1个周期PC量的差值。然后,统计值计算处理将各差值d1~d6的最大值计算为像素统计值SM,像素值决定处理根据该像素统计值SM,决定第1缩略图图像SG1(或者第2缩略图图像SG2)的像素值。其结果,如图16(b)所示,得到1张第1缩略图图像SG1(或者第2缩略图图像SG2)。
也就是说,差值d1~d6的各值分别对应于肺野内部的血流的流动。例如,在心拍的峰值时(参照图16(a)的点Rp),血流集中在心脏附近,所以在心脏附近(参照例如图16(b)的区域dr),在帧图像上浓度差变大,差值变大。相反地,在远离心拍的峰值时的时刻(参照图16(a)的点Up等),血流集中在远离心脏的区域,所以在远离心脏的区域(参照例如图16(b)的区域du),在帧图像上浓度差变大,差值变大。
这样,根据帧图像MI间的摄影时刻(时间的变化),具有大的值的差值(浓度差)在帧图像上移动(在空间上变化)。然后,取与心拍周期PC1周期量对应的帧图像MI间的差分并将各差值的最大值作为像素统计值SM,从而根据像素统计值SM生成1张缩略图图像SG,能够诊断血流在肺野区域的整个区域中循环的全貌。因此,在被检者M并非健康者的情况下,能够在肺野区域内发现未流过血流的区域等,还能够掌握肺野内部的血流的活动。
另外,在图16的例子中,将像素统计值SM设为像素浓度的最大值来处理,但当然还能够使用像素浓度的平均值、最大值、最小值、中央值等中的任意一个值。
另外,除了在图16中说明的像素统计值SM的运算方法以外,也可以采用附加低通滤波器、高通滤波器而仅提取期望的信号并作为像素统计值SM的方法。
<1-3-1-5.显示部34和操作部33>
在显示部34中,进行视觉上可比较第1缩略图图像SG1和第2缩略图图像SG2的显示。另外,操作部33受理用户设定的设定信息。即,用户能够经由操作部33操作输入后述的设定信息。
另外,显示部34能够进行基于由动态图像取得部110取得的帧图像MI(包括时刻信息)的动态图像的显示。
进而,显示部34通过作为从缩略图生成部130接受的第1缩略图图像SG1以及第2缩略图图像SG2用的信息而一并接受与第1及第2时间范围TR1、TR2有关的信息,能够进行第1(第2)时间范围TR1、TR2中的动态图像的再生显示。
以下,针对每个显示方法,分别说明显示部34中显示的第1缩略图图像SG1和第2缩略图图像SG2的显示方法。
<1-3-1-5-1.缩略图显示方法(1)>
在缩略图显示方法(1)中,显示部34进行根据通过操作部33输入的设定信息来再生与运动图像比较用缩略图图像对应的动态图像的处理。此处所称的设定信息是指,用于设定第1缩略图图像SG1以及第2缩略图图像SG2中的运动图像比较用缩略图图像的信息。
图17是例示缩略图显示方法(1)的示意图。图17(a)是示出对象动态图像的选择画面(浏览器)EP的图,图17(b)是示出针对用户从选择画面EP选择出的动态图像的缩略图显示画面的图。另外,在图17中,说明存在多个第2时间范围TR2的情况,作为代表,示出TR21、TR22以及TR23这3个第2时间范围。
如图17所示,在用户从图17(a)所示的选择画面EP选择了“患者00001血流动画.mov”时,如图17(b)所示,显示针对“患者00001血流动画.mov”的动态图像的整体时间TA的整体缩略图图像SGA、针对第1时间范围TR1的第1缩略图图像SG1以及针对第2时间范围TR2(TR21~TR23)的第2缩略图图像SG2(SG21~SG23)。另外,缩略图生成部130根据由动态图像取得部110取得的帧图像MI,生成整体时间TA中的缩略图图像SGA。
这样,在用户诊断时的显示中,关于各患者的血流解析动态图像,将整体缩略图图像SGA、第1及第2缩略图图像SG1、SG2显示为封面。另外,关于缩略图显示方法(1)中的第1及第2缩略图图像SG1、SG2,设为显示有针对每个心拍周期PC分割而生成的图像。
然后,用户在通过针对整体时间范围TA的整体缩略图图像SGA笼统诊断出血流的特征之后,选择所显示的缩略图图像SG1、SG21~SG23中的期望的缩略图图像SG。即,用户诊断整体缩略图图像SGA,在判断为例如特定的区域的血流比周围更稀薄、且不清楚该特定的区域是血流异常还是摄影噪声的情况下,为了更详细地诊断,用户能够使用操作部33来选择更明确地反映出该异常的缩略图图像SG。然后,通过再生显示部MV来再生与该选择的缩略图图像SG对应的动态图像。
另外,优选针对按照心拍周期PC单位生成的第1及第2缩略图图像SG1、SG2附加动态图像的再生时间。例如,出现心率不齐的心拍的1个周期PC相比于其他的1个周期PC,脉搏的速度上升且变短,所以在与缩略图图像SG对应的动态图像的再生时间中也被反映为变短,从而能够高效地诊断有无心率不齐。另外,在由于摄影噪声等而针对每个心拍周期PC外观不同的情况下,能够在缩略图图像SG间比较讨论而掌握更适合于诊断的心拍的1个周期PC、或者不适合于诊断的1个周期PC,所以能够高效地选择动画再生对象。
另外,关于用户指定的第1或第2缩略图图像SG1、SG2的动态图像再生,也可以针对时间范围设定处理所设定的第1或第2时间范围TR1、TR2进行,但不限于此。即,也可以还包括时间范围设定处理所设定的第1或第2时间范围TR1、TR2的周边时间来再生显示动态图像。由此,能够考虑来自心脏的血流输出的定时或者血流输入的定时等某个相位单位,调整为在比时间范围设定处理所设定的第1或第2时间范围TR1、TR2增减了的范围中再生显示动态图像。
另外,也可以一并显示第1或第2缩略图图像SG1、SG2中的第1或第2时间范围TR1、TR2的心拍周期PC的数量。另外,也可以针对第1或第2缩略图图像SG1、SG2,一并显示第1或第2缩略图图像SG1、SG2中的第1或第2时间范围TR1、TR2和动态图像的整体时间TA、父时间范围TR0。
进而,如上所述,在从心拍周期PC单位出现零数的结果是,通过舍去该零数来设定第1或第2时间范围TR1、TR2的情况下,在显示去除了零数时间时,包含在第1或第2时间范围TR1、TR2内的时间范围的状态将明确可知。
这样,在缩略图显示方法(1)中,显示部34进行根据通过操作部33输入的设定信息(指示运动图像比较用缩略图图像的信息),再生与运动图像比较用缩略图图像对应的动态图像的处理。由此,用户能够并行地进行缩略图图像(静止图像)SG的比较作业和动态图像视觉辨认作业。因此,能够适当并且高效地进行动态诊断。
<1-3-1-5-2.缩略图显示方法(2)>
在缩略图显示方法(2)中,缩略图生成处理使用由操作部33输入的设定信息所指示的预定的时间范围内的帧图像进行统计处理,从而进行生成预定的时间范围的缩略图图像SG的处理,显示部34进行显示预定的时间范围的缩略图图像SG的处理。此处所称的设定信息是指用于设定预定的时间范围的信息。
另外,在预定的时间范围是父时间范围TR0的情况下,父时间范围设定处理进行根据由操作部33输入的设定信息设为父时间范围TR0的处理,时间范围设定部120以及缩略图生成部130进行动作,显示部34显示将根据该父时间范围TR0分割出的第1及第2时间范围TR1、TR2作为对象的第1及第2缩略图图像SG1、SG2。
图18是针对缩略图显示方法(2)例示预定的时间范围是父时间范围TR0的情况的示意图。另外,在图18中未示出图17所示那样的针对动态图像的整体时间TA的整体缩略图图像SGA以及与所选择的缩略图图像SG对应的动态图像的再生显示部MV,但在图18中也可以具备同样的功能。
在将用户经由操作部33输入的父时间范围TR0选择为分析对象时,显示部34具备的并列展开显示的用户接口(UI)被起动,如图18所示,显示部34依照用户的指示,并列显示适合于动态图像分析的第1及第2缩略图图像SG1、SG2(SG21、SG22)。在图18中,如箭头AR1所示,通过UI展开缩略图图像。
这样,在缩略图显示方法(2)中,缩略图生成处理还包括使用由操作单元输入的设定信息所指示的预定的时间范围内的帧图像来进行统计处理,从而生成预定的时间范围的缩略图图像的处理,显示单元进行显示预定的时间范围的缩略图图像的处理。由此,在用户从操作单元操作输入了预定的时间范围时,显示预定的时间范围内的缩略图图像。
另外,在预定的时间范围是父时间范围TR0的情况下,父时间范围设定处理进行根据由操作部33输入的设定信息设为父时间范围TR0的处理。即,在用户从操作部33操作输入了作为父时间范围TR0的分析对象时,显示分割分析对象内的动态图像数据而得到的缩略图图像SG。由此,用户期望的父时间范围TR0被自动地分割。
<1-3-1-5-3.缩略图显示方法(3)>
在缩略图显示方法(3)中,显示部34根据由操作部33输入的设定信息,进行将第1缩略图图像SG1或者第2缩略图图像SG2中的、时间范围包含于非显示时间范围内的缩略图图像SG设为非显示的处理。此处所称的设定信息是指用于设定父时间范围TR0的信息和用于设定非显示时间范围的信息。
图19是例示缩略图显示方法(3)的示意图。另外,在图19中,未示出图17所示那样的针对动态图像的整体时间TA的整体缩略图图像SGA以及与所选择的缩略图图像SG对应的动态图像的再生显示部MV,但在图19中也可以具备同样的功能。
在选择了用户经由操作部33输入的非显示时间范围时,如图19所示,显示部34依照用户的指示,将非显示时间范围内的缩略图图像SG设为非显示。图19中的非显示时间范围相当于第2时间范围TR2(TR21、TR22),如箭头AR2所示,通过UI将第2缩略图图像SG2(SG21、SG22)设为非显示。
这样,在缩略图显示方法(3)中,显示部34进行根据由操作部33输入的设定信息,将第1缩略图图像SG1或者第2缩略图图像SG2中的、时间范围包含于非显示时间范围内的缩略图图像SG设为非显示的处理。例如,在有多个要分析比较的第1及第2缩略图图像SG1、SG2时,用户能够指定不需要显示的缩略图图像SG而设为非显示。由此,能够仅显示特别希望关注的缩略图图像SG。因此,能够有效活用显示部34中的显示器上的空间。
<1-3-1-5-4.缩略图显示方法(4)>
在缩略图显示方法(4)中,缩略图生成处理还通过使用由操作部33输入的设定信息所指示的汇集时间范围内的帧图像进行统计处理,从而进行生成汇集时间范围的缩略图图像SGT的处理,显示部34进行将时间范围包含于由操作部33输入的设定信息所指示的汇集时间范围内的预定数量的缩略图图像SG设为非显示的处理和将预定数量的缩略图图像SG汇集为1张缩略图图像SGT而显示的处理。此处所称的设定信息是指用于设定父时间范围TR0的信息和用于将第1时间范围TR1以及第2时间范围TR2中的2个以上的预定数量的时间范围设定为汇集时间范围的信息。
图20以及图21是例示缩略图显示方法(4)的示意图。另外,设为在时间范围中,在图20的情况下,“TR0=TR1+TR2”的关系成立,在图21的情况下,“TR2122=TR21+TR22”的关系成立。
在图20的情况下,在将TR0指定为用户经由操作部33输入的汇集时间范围时,显示部34依照用户的指示,将针对作为包含于汇集时间范围的时间范围的第1时间范围TR1以及第2时间范围TR2的第1缩略图图像SG1以及第2缩略图图像SG2设为非显示,并且将这两张第1缩略图图像SG1以及第2缩略图图像SG2如箭头AR3所示,汇集显示为与父时间范围TR0相当的1张综合了的缩略图图像SGT。
另一方面,如图21(a)所示,在将TR2122指定为用户经由操作部33输入的汇集时间范围时,显示部34依照用户的指示,将针对作为包含于汇集时间范围的时间范围的第2时间范围TR21以及第2时间范围TR22的第2缩略图图像SG21以及第2缩略图图像SG22设为非显示。然后,如图21(b)所示,将这两张第2缩略图图像SG21、SG22汇集显示为1张综合了的缩略图图像SGT。
这样,在缩略图显示方法(4)中,缩略图生成处理还通过使用由操作部33输入的设定信息所指示的汇集时间范围内的帧图像进行统计处理,从而进行生成汇集时间范围的缩略图图像SGT的处理,显示部34进行将时间范围包含于汇集时间范围的预定数量的缩略图图像SG设为非显示的处理和显示汇集时间范围的缩略图图像SGT的处理。即,在有多个要分析比较的缩略图图像SG时,能够将比较而判断为等同的时间范围作为1张缩略图图像SGT。由此,能够减少不需要比较的缩略图图像SG的数量。因此,能够有效活用显示部34中的显示器上的空间。
<1-4.图像处理装置3的基本动作>
图22是说明在本实施方式的图像处理装置3中实现的基本动作的流程图。另外,由于已经说明过各部的个别功能(参照图3),所以此处仅说明整体的流程。
如图22所示,首先,在步骤S1中,控制部31的动态图像取得部110经由摄影控制装置2取得通过摄像装置1的读取控制装置14拍摄到的动态图像(多个帧图像MI)(参照图3以及图4)。
在步骤S2中,周期分类部115根据与拍摄到在步骤S1中取得的多个帧图像MI的摄影时刻同步的被检者M(身体)的心拍周期PC,按照该心拍周期PC单位对该多个帧图像MI进行分类,得到多个帧图像MI’(参照图3)。
在步骤S3中,时间范围设定部120进行时间范围设定处理(参照图7~图13),该时间范围设定处理包括在由步骤S1取得的动态图像内的整体时间TA中,按照心拍周期PC单位设定第1时间范围TR1的第1时间范围设定处理和设定第2时间范围TR2的第2时间范围设定处理。此处,在按照心拍周期PC单位设定第1及第2时间范围TR1、TR2的情况下,能够使用在步骤S2中按照心拍周期单位分类了的多个帧图像MI’而容易地设定。
在步骤S4中,缩略图生成部130(缩略图生成处理)使用第1时间范围TR1内以及第2时间范围TR2内各自的帧图像MI分别生成第1缩略图图像SG1以及第2缩略图图像SG2(参照图3以及图16),该第1缩略图图像SG1以及第2缩略图图像SG2是对步骤S3中设定的第1时间范围TR1内以及第2时间范围TR2内各自的动态图像的内容分别进行统计处理而得到的静止图像。
最后,在步骤S5中,缩略图生成部130将在步骤S5中生成的第1缩略图图像SG1和第2缩略图图像SG2输出到显示部34(参照图3),结束本动作流程。另外,也可以输出到显示部34,并且输出到存储部32(参照图1)。然后,显示部34进行并列地显示第1缩略图图像SG1和第2缩略图图像SG2等视觉上可比较的显示(参照图17~图21)。
如以上那样,根据第1实施方式的图像处理装置3,具备:缩略图生成部130,进行使用第1时间范围TR1内以及第2时间范围TR2内各自的帧图像来分别生成第1缩略图图像SG1以及第2缩略图图像SG2的缩略图生成处理,该第1缩略图图像SG1以及第2缩略图图像SG2是对动态图像内的整体时间中的、动态周期单位的第1时间范围TR1内以及第2时间范围TR2内各自的动态图像的内容分别进行统计处理而得到的静止图像;以及显示部34,进行视觉上可比较第1缩略图图像SG1和第2缩略图图像SG2的显示。即,视觉上可比较地显示动态图像的内容被表现为静止图像的第1缩略图图像SG1和第2缩略图图像SG2,所以用户即使不观察全部的动态图像,只要观察第1缩略图图像SG1和第2缩略图图像SG2,就能够一目了然地掌握汇集了第1时间范围TR1以及第2时间范围TR2的动态图像的内容的特征。由此,能够适当并且高效地观察动态图像内的第1时间范围TR1以及第2时间范围TR2的每个的差异。因此,能够根据每个第1时间范围TR1以及第2时间范围TR2的差异,即时判断用户所期望的时间范围并选择,诊断效率得到提高。根据以上,能够适当并且高效地进行动态诊断。
另外,第2时间范围设定处理通过进行按照心拍周期PC单位(动态周期单位)设定第2时间范围TR2的处理,第1时间范围TR1以及第2时间范围TR2都按照心拍周期PC单位来设定。由此,按照心拍周期PC单位生成第1缩略图图像SG1和第2缩略图图像SG2。因此,能够按照心拍周期PC单位来调整时间范围,所以能够适当地比较两者的差异。
另外,在时间范围设定处理(1)中,进行设定动态图像内的整体时间TA中的、用于设定第1时间范围TR1和第2时间范围TR2的父时间范围TR0的父时间范围设定处理,第1时间范围TR1和第2时间范围TR2都是存在于父时间范围TR0内的时间范围。即,通过设定作为分析对象的父时间范围TR0,能够设定存在于当前时间范围内的适当的第1时间范围TR1和第2时间范围TR2。由此,能够生成适合于比较的第1缩略图图像SG1和第2缩略图图像SG2。
另外,在时间范围设定处理(2)中,第2时间范围设定处理进行设定为使第2时间范围TR2成为父时间范围TR0的全部时间范围的处理。即,通过将父时间范围TR0设为第2时间范围TR2,能够将第1时间范围TR1设定为第2时间范围TR2的希望关注的一部分的时间范围。由此,能够着眼于第2缩略图图像SG2中的、希望关注的时间范围而显示第1缩略图图像SG1。因此,例如,能够将发生异常的时间范围显示为第1缩略图图像SG1。
另外,在时间范围设定处理(3)中,还进行设定为第1时间范围TR1和第2时间范围TR2各自的全部的时间范围不重复、并且全部的时间范围连续的处理。即,通过使第1时间范围TR1和第2时间范围TR2的时间范围间在时间上处于连续关系,能够针对连续的时间范围不遗漏地生成缩略图图像SG。由此,能够考虑时间方向来并列显示连续的时间的缩略图图像SG来确认。因此,例如,在异常部位出现并消失的情况下,能够诊断其时间过程。
另外,在时间范围设定处理(4)中,进行设定为第1时间范围TR1和第2时间范围TR2的合计时间范围与父时间范围TR0一致的的处理。即,能够在分析对象的整个父时间范围TR0内,作为连续的时间范围不遗漏地生成缩略图图像SG。由此,能够考虑时间方向,并列显示整个分析对象范围中的连续的时间的缩略图图像SG来确认。因此,例如,在异常部位出现并消失的情况下,能够在整个分析对象范围中诊断其时间过程。
另外,在时间范围设定处理(5)中,进行设定为包含于第1时间范围TR1和第2时间范围TR2各自的时间范围中的心拍周期(动态周期)PC的数量相互一致的处理。即,在时间范围之间心拍周期PC的数量无差异,所以能够设定适合于比较的时间范围。由此,能够不依赖于心拍周期PC的数量,适当地进行缩略图图像SG之间的比较。
另外,父时间范围设定处理(时间范围设定部120’)包括:将第1时间范围TR1以及第2时间范围TR2中的任意一个时间范围设定为层次显示用父时间范围TR0n的处理;和将层次显示用父时间范围TR0n新设定为父时间范围TR0的处理,第1时间范围设定处理以及第2时间范围设定处理进行针对层次显示用父时间范围TR0n内,分别新设定第1时间范围TR1以及第2时间范围TR2的处理。即,通过将第1时间范围TR1或者第2时间范围TR2新设定为新的父时间范围TR0(层次显示用父时间范围TR0n),能够对被分解过一次的时间范围更细分化。由此,能够显示更详细地分解了的缩略图图像SG,所以还能够详细地进行缩略图图像SG彼此的比较判断。
另外,缩略图生成处理进行:统计值计算处理,针对第1时间范围TR1内或者第2时间范围TR2内按照与帧图像对应的每个像素分别计算像素统计值SM(SM1、SM2);和像素值决定处理,根据像素统计值SM决定第1缩略图图像SG1用或者第2缩略图图像SG2用的像素值。即,能够将各时间范围内的像素统计值SM1、SM2视觉辨认为静止图像。另外,通过使用公用的像素统计值SM1、SM2(例如最大值、合计值等)来生成各缩略图图像SG,易于比较确认各时间范围内的动态图像的特征的差异。
另外,在统计值计算处理中,还进行利用包含在计算出像素统计值SM的时间范围内的心拍周期PC的数量对像素统计值SM进行标准化的处理。在进行第1及第2缩略图图像SG1、SG2之间的比较的情况下,例如,如果像素统计值SM1、SM2是合计值,则通过将该合计值除以心拍周期PC的数量(标准化),能够得到每单位周期的像素统计值SM。即,即使在缩略图图像SG之间的心拍周期PC的数量不同的情况下,也能够制作在比较时等同的缩略图图像SG。由此,能够不依赖于心拍周期PC的数量,而适当地进行缩略图图像SG之间的比较。
进而,通过动态周期是心拍周期PC,能够通过缩略图图像SG确定血流中发生异常的心拍周期PC(时间段),所以能够仅进行发生了异常的时间段的动态诊断。因此,能够缩短动态诊断所需的时间,能够适当并且高效地进行。
<1-5.第1实施方式的变形例>
作为第1实施方式的变形例,能够如以下那样变更第1实施方式中的像素值决定处理和缩略图显示方法。
<1-5-1.缩略图生成处理>
第1实施方式的变形例中的像素值决定处理使用像素统计值SM1、SM2设定缩略图图像SG用的像素值的颜色,以使第1缩略图图像SG1以及第2缩略图图像SG2重叠显示。具体而言,在<R、G、B>的三原色中,例如如果使R值反映像素统计值SM1的值、使G值反映像素统计值SM2的值且将B值设为0,则能够在1张缩略图图像SG中,重叠显示第1缩略图图像SG1以及第2缩略图图像SG2。
<1-5-2.缩略图显示方法(5)>
接下来,作为第1实施方式中的显示部34的变形例,也可以具有显示多个缩略图图像SG(第1及第2缩略图图像SG1以及SG2)的第1及第2显示模式。
此处所称的第1显示模式是指,依照特定的基准,按照每1张在时间上切换显示多个缩略图图像SG的模式。另外,第2显示模式是指,使用通过上述像素值决定处理设定的像素值,将第1缩略图图像SG1以及第2缩略图图像SG2作为1张缩略图图像SG而重叠地显示的模式。
如以上那样,根据第1实施方式的图像处理装置3的变形例,显示部34具有显示多个缩略图图像SG间的第1及第2显示模式,第1显示模式是依照特定的基准,按照每1张在时间上切换显示多个缩略图图像SG的模式,第2显示模式是将第1缩略图图像SG1以及第2缩略图图像SG2作为1张缩略图图像SG重叠地显示的模式。例如,在希望比较显示用户所期望的多个缩略图图像SG间时,通过切换显示或重叠显示该缩略图图像SG,能够容易地进行比较。由此,能够在缩略图图像SG的二维空间上对应地进行视觉辨认比较。另外,因为清晰地显示异常的部位,所以能够适当并且高效地进行动态诊断。
<2.第2实施方式>
用于血流诊断的动态图像,被设想与呼吸数次相当的30秒左右的摄影,所以如果心拍为60次/分,则在1次的动态图像摄影中摄影30个周期。因此,在解析动态图像的整体时间TA的情况下,如果按照1个周期单位生成并显示第1及第2缩略图图像SG1、SG2,则缩略图图像数也达到30。其结果,缩略图图像SG变多,每1张的缩略图图像SG在显示画面上的大小变小,所以难以掌握血流的异常。
因此,在第2实施方式中,能够根据缩略图图像SG间的类似度SI进行分组并层次性地显示。
图23是示出在构成为本发明的第2实施方式的图像处理装置3A中使用的控制部31A的功能结构的图。该控制部31A被用作第1实施方式的图像处理装置3中的控制部31(参照图3)的代替。与第1实施方式不同的点在于,时间范围设定部120A还具备统计值计算部124A、类似度计算部125A以及类似度判定部126A的点。另外,其余的结构与图像处理装置3相同。
<2-1.时间范围设定部120A>
时间范围设定部120A(时间范围设定处理)除了上述(a1)以及(a2)的处理以外,还具备(a3)针对包含在父时间范围TR0中的多个时间范围FTR内针对与帧图像对应的每个像素计算多个像素统计值FSM的统计值计算部124A(统计值计算处理)和(a4)根据多个时间范围FTR中的多个像素统计值FSM计算多个时间范围FTR间的类似度SI的类似度计算部125A(类似度计算处理)。另外,第1时间范围设定部121A(第1时间范围设定处理)以及第2时间范围设定部122A(第2时间范围设定处理)进行根据该类似度SI,从多个时间范围FTR分别设定第1时间范围TR1以及第2时间范围TR2的处理(参照图23)。另外,时间范围FTR是指,能够使用例如按照心拍周期PC单位分类之后的多个帧图像MI’,按照心拍周期PC单位进行设定。另外,类似度SI相当于在时间上邻接的时间范围FTR中的像素统计值FSM之间的差值,该差值越小,类似度SI被设定得越高。
此处,在类似度计算部125A与第1及第2时间范围设定部121A、122A之间介有类似度判定部126A,类似度判定部126A优选根据该类似度SI的高低,进行时间范围FTR间的分组。由此,第1时间范围设定部121A以及第2时间范围设定部122A能够根据该分组分别设定第1时间范围TR1以及第2时间范围TR2。
统计值计算部124A具备与上述的统计值计算部141同样的功能。即,像素统计值FSM是指,使用包含在父时间范围TR0中的时间范围FTR内的在时间上接近的帧图像MI之间的对应像素的差值(像素浓度)而计算出的、时间范围FTR内的像素浓度的合计值、平均值、最大值、最小值、中央值等中的某一个值。这样,像素统计值FSM是像素浓度,所以能够比较判断每个心拍周期PC的血流的不足、粗糙度的差异。
类似度计算部125A根据统计值计算部124A计算出的多个时间范围FTR中的多个像素统计值FSM,计算多个时间范围FTR中的、在时间上邻接的时间范围FTR间的类似度SI,类似度判定部126A根据该类似度SI的高低,进行时间范围FTR之间的分组,作为该分组的方法,考虑以下那样的方法。例如,可以例举出时间上邻接的时间范围FTR间的类似度SI高的情况下优先地连结、或者时间上邻接的时间范围FTR间的类似度SI低的情况下优先地分割的方法。具体而言,有在时间上邻接的时间范围FTR之间该类似度SI比作为基准的阈值高的情况下连结、或者该类似度SI比阈值更低的情况下分割这样的方法。另外,考虑在时间上邻接的时间范围FTR之间该类似度SI比作为基准的阈值高的情况下进行连结并直至缩略图图像数达到一定的数量为止、在达到一定的数量之后进行分割这样的方法。
另外,在图14所示那样的情况下,在从父时间范围TR0设定第1时间范围TR1以及第2时间范围TR2的情况以及从层次显示用父时间范围TR0n设定第1时间范围TR1n或者第2时间范围TR2n的情况下,也可以将作为类似度SI的基准的阈值分别设为不同的值。
图24是说明根据包含在父时间范围TR0中的多个时间范围FTR间的类似度SI,来设定第1及第2时间范围TR1、TR2的方法的图。
如图24所示,用户经由操作部33,作为父时间范围TR0,指定了动态图像内的整体时间TA。此时,统计值计算部124A针对包含在该父时间范围TR0中的多个时间范围FTR内,计算多个像素统计值FSM,类似度计算部125A根据统计值计算部124A计算出的多个像素统计值FSM,计算多个时间范围FTR中的、在时间上邻接的时间范围FTR间的类似度SI。然后,在用户经由操作部33按下分组按钮BT1后,类似度判定部126A根据该类似度SI的高低,进行时间范围FTR之间的分组。另外,分组按钮BT1和分组按钮BT2的差异在于,分组按钮BT2相比于分组按钮BT1,类似度判定部126A进行类似度SI的判定时的基准的阈值更高的点。也就是说,意味着分组按钮BT2相比于分组按钮BT1,类似度SI的判定更严格。
例如,父时间范围TR0能够设为连结在时间上邻接的时间范围FTR间的类似度SI为阈值以上的时间范围FTR而构成的时间范围TRGR1的组(以下称为“组1”)。进而,如果连结在时间上邻接的时间范围FTR间的类似度SI为阈值以上的时间范围FTR而构成的时间范围存在于时间范围TRGR1以外,则能够设为与时间范围TRGR1不同的类似度高的其他时间范围组(以下称为“组2”)。在该情况下,考虑第1时间范围设定部121A将时间范围TRGR1作为第1时间范围TR1,并且第2时间范围设定部122A将时间范围TRGR2作为第2时间范围TR2的方式。另外,也可以将在时间上邻接的时间范围FTR间的类似度SI小于阈值的时间段作为第2时间范围TR2。
另外,在图24的例子中,示出了将连结在时间上邻接的时间范围FTR间的类似度SI为阈值以上的时间范围FTR而构成的时间范围作为时间范围TRGR1,将除此以外的、也就是在时间上邻接的时间范围FTR间的类似度SI小于阈值的时间范围作为时间范围TRGR2(TR21、TR22)的情况。
因此,在图24所示的例子中,示出组1的时间范围TRGR1与组2的时间范围TRGR2之间无类似关系,时间范围TRGR1是在时间上邻接的时间范围FTR间的类似度满足比作为基准的阈值更高的判断基准的时间范围FTR的连结集合体,时间范围TRGR2是邻接的时间范围FTR间的类似度小于作为基准的阈值的、时间范围TRGR1以外的2个时间范围。
另外,在用户诊断判定为类似度SI高的组1的缩略图图像SGR1(第1缩略图图像SG1)的结果是判断为在区域R3中血流稀薄等这样的异常的可能性高的情况下,用户经由操作部33按下分组按钮BT2以进一步分割组1的时间范围TRGR1。
其结果,在时间范围TRGR1内时间上邻接的时间范围FTR之的类似度SI以阈值(比用分组按钮BT2设定的值高的阈值)作为判断基准,连结或者分割时间范围FTR,从而能够将时间范围TRGR1分割为具有更高的类似度的时间范围。
在图24所示的例子中,可知时间范围TRGR1被分成时间范围TRGR11的组、时间范围TRGR12的组以及时间范围TRGR13的组这3个组。这意味着,以使作为分组按钮BT2的基准的类似度SI的阈值高于作为分组按钮BT1的基准的类似度SI的阈值、按照更高的类似度进行分类的方式,对时间范围TRGR1进行进一步细分化。
此时,例如,第1时间范围设定部121A将时间范围TRGR11作为第1时间范围TR1,另外,第2时间范围设定部122A将时间范围TRGR12作为第2时间范围TR21(TR2),并且将时间范围TRGR13设定为第2时间范围TR22(TR2)。
这样,第1时间范围设定部121A以及第2时间范围设定部122A能够根据类似度判定部126A对组1的时间范围TRGR1再次进行分组而得到的结果,分别设定第1时间范围TR1以及第2时间范围TR2。
然后,如果用户诊断时间范围TRGR11(第1时间范围TR1)中的缩略图图像SGR11(第1缩略图图像SG1)、时间范围TRGR12(第2时间范围TR21)中的缩略图图像SGR12(第2缩略图图像SG21)以及时间范围TRGR13(第2时间范围TR22)中的缩略图图像SGR13(第2缩略图图像SG22)的结果是,仅在第2缩略图图像SG22的区域R4中有上述血流稀薄等这样的异常,则能够缩减为第2时间范围TR22而在动态图像上进行确认。
在以上的图24的例子中,用户经由操作部33提供用于变更作为类似度SI的基准的阈值的指示而进行了分组,但不限于此。例如,也能够进行用于变更像素统计值FSM的指示、变更用于求出像素统计值FSM的对应的像素值这样的指示。
例如,在能够进行用于变更像素统计值FSM的指示的情况下,能够在通过易于视觉辨认血流不足的像素统计值FSM求出类似度SI并显示缩略图图像SG之后,针对所指定的缩略图图像SG进一步通过更易于视觉辨认延迟的像素统计值FSM求出类似度SI,并显示缩略图图像SG。由此,能够高效地进行判断为发生异常的时间的分析。
另外,作为易于视觉辨认不足的像素统计值FSM,能够通过采用例如差值的最大值来确认。即,在最大值小时,像素浓度被反映得较低,所以能够推测血流的流动恶化。
另外,作为易于视觉辨认延迟的像素统计值FSM,能够通过采用例如差值的空间相关值来确认。即,在对象像素的血流值(差值)与该空间的周围的像素的血流值的空间相关值小的状态时,能够推测血流的速度的延迟。
进而,在有多个像素统计值FSM的情况下,既可以限定于1个像素统计值FSM,或者也可以使用多个像素统计值FSM的范数(距离)、最大值、最小值、平均值、中央值计算等并合计为1个值。另外,也可以对不同的像素统计值FSM可识别地进行分色显示。由此,还能够同时比较血流的不足和延迟。
如以上那样,根据第2实施方式中的图像处理装置3A,在时间范围设定处理中,还进行(a3)针对包含在父时间范围TR0中的多个时间范围FTR内按照与帧图像对应的每个像素计算多个像素统计值FSM的统计值计算处理和(a4)根据多个时间范围FTR中的多个像素统计值FSM计算多个时间范围间FTR中的、时间上邻接的时间范围间FTR间的类似度SI的类似度计算处理,第1时间范围设定处理以及第2时间范围设定处理进行根据类似度SI,从多个时间范围FTR分别设定第1时间范围TR1以及第2时间范围TR2的处理。例如,能够根据时间上邻接的时间范围FTR间的类似度SI比预定值高这样的基准,进行时间范围之间的分组,根据分组,分别设定第1时间范围TR1以及第2时间范围TR2。即,通过在集中了类似度SI高的时间范围的时间范围内进行缩略图图像SG化,是否包括应详细地分析的时间范围的分类变得高效。另外,通过缩减为类似度SI高的时间范围,能够减少要目视比较的缩略图图像SG数。
<3.第3实施方式>
图25是示出在构成为本发明的第3实施方式的图像处理装置3B中使用的控制部31B的功能结构的图。该控制部31B被用作第1实施方式的图像处理装置3中的控制部31B(参照图3)的代替。与第1实施方式不同的点在于,随着缩略图生成部130B的统计值计算部141B具备比较统计值计算部,而变更像素值决定部142B以及显示部34B的点。
另外,在本实施方式中,设想第2时间范围TR2是多个第2时间范围TR2,第2缩略图图像SG2是多个第2缩略图图像SG2的情况。另外,其余的结构与图像处理装置3相同。
<3-1.缩略图生成部130B、显示部34B>
在缩略图生成部130B中,像素值决定部142B(像素值决定处理)除了像素值决定部142中的处理以外,还进行使用包括第1时间范围TR1以及第2时间范围TR2中的至少一方的比较用的时间范围TRc中的像素统计值SMc来决定第1缩略图图像SG1c(以下称为“比较用的缩略图图像SG1c”)用或者第2缩略图图像SG2c(以下称为“比较用的缩略图图像SG2c”)用的像素值的处理(参照图25)。此处,“使用像素统计值SMc”也包括使用基于像素统计值SMc的差分强调值DFS。
具体而言,统计值计算部141B除了统计值计算部141中的处理以外,还进行以下那样的处理。即,在统计值计算部141B中,还进行计算比较用的时间范围TRc中的像素统计值SMc的处理和根据像素统计值SM1、SM2、SMc计算差分强调值DFS的处理(参照图25)。
此处所称的比较用的时间范围TRc设想是(i)第1时间范围TR1、(ii)第2时间范围TR2、(iii)将第1时间范围TR1以及第2时间范围TR2合起来的时间范围这3个时间范围的情况。例如,在比较用的时间范围TRc是(iii)的情况下,像素统计值SMc既可以是对应的第1时间范围TR1以及第2时间范围TR2中的像素统计值SM1、SM2的平均的像素统计值,也可以是对将第1时间范围TR1以及第2时间范围TR2合起来的时间范围实施统计值计算处理而得到的像素统计值。
另外,所谓差分强调值DFS,可以例举出例如对各个像素统计值SM1、SM2加上基于从像素统计值SMc减去各个像素统计值SM1、SM2得到的值的值而得到的值。
然后,像素值决定部142B中的像素值决定处理进行(b1)以重叠地显示像素统计值SMc和像素统计值SM1(SM2)的方式决定比较用的缩略图图像SG1c(比较用的缩略图图像SG2c)的像素值的处理和(b2)根据差分强调值DFS决定比较用的缩略图图像SG1c(SG2c)的像素值的处理中的任意一个处理。因此,比较用的缩略图图像SG1c(SG2c)有(b1)以及(b2)这2个生成方法。
在(b1)中,除了像素统计值SM1(SM2)以外,还使用像素统计值SMc来决定比较用的缩略图图像SG1c用(比较用的缩略图图像SG2c用)的像素值。具体而言,作为(b1)的处理的例子,可以例举出在<R、G、B>的三原色中,例如使R值反映像素统计值SM1(SM2)的值,使G值反映像素统计值SMc的值并将B值设为0等像素值的决定方法。通过这样设定像素的颜色,能够重叠显示像素统计值SM1(SM2)和像素统计值SMc。而且,(b1)以及(b2)都与第1缩略图图像SG1(第2缩略图图像SG2)独立地,生成比较用的缩略图图像SG1c(SG2c)。
另外,像素值决定部142B的像素值决定处理进行根据(b3)和(b4)中的至少1个处理,设定缩略图图像中的像素值的处理,(b3)是对像素统计值SMc或者差分强调值DFS为基准值以上的特定的像素值设定与对像素统计值SMc或者差分强调值DFS为基准值以下的像素值设定的颜色不同的颜色的处理,(b4)是对特定的像素值加上标记等辅助信息的处理。另外,基准值既可以是预先决定的值,也可以是用户指定的值,是任意决定的值。
然后,在显示部34B中接受来自像素值决定部142B的指令,进行显示。在(b1)的情况下,显示重叠地显示了像素统计值SMc和像素统计值SM1的比较用的缩略图图像SG1c(重叠地显示了像素统计值SMc和像素统计值SM2的比较用的缩略图图像SG2c)。此时,第1缩略图图像SG1(第2缩略图图像SG2)既可以另行显示,也可以不显示。另外,在(b2)的情况下,与第1缩略图图像SG1(第2缩略图图像SG2)独立地显示比较用的缩略图图像SG1c(SG2c)。
图26是说明缩略图生成处理及其显示方法的示意图。图26(a)是具有与图17(b)同样的功能的显示画面,但与图17(b)不同的点是构成为具备差分强调模式DM的点。图26(b)是在用户经由操作部33按下了图26(a)的显示画面上的差分强调模式DM时所显示的显示画面。
图26(b)所示的画面表示从图26(a)所示的画面弹出显示的例子,但不限于此。例如,也可以以在图26(a)所示的第1缩略图图像SG1和第2缩略图图像SG21~SG23的位置,置换比较用的缩略图图像SG1c、SG21c~SG23c的方式显示。
如图26(a)所示,针对每个心拍周期PC分别生成针对第1时间范围TR1的第1缩略图图像SG1以及针对第2时间范围TR21、TR22、TR23的第2缩略图图像SG21、SG22、SG23这4张缩略图图像来并列显示。此处,在考虑为用户例如在第2缩略图图像SG23中诊断血流异常而希望进一步明确每个心拍周期PC的差异的情况下,用户经由操作部33按下差分强调模式MD。
于是,统计值计算部141B进行将第1时间范围TR1以及第2时间范围TR21、TR22、TR23这合计4个时间范围作为比较用的时间范围TRc,根据像素统计值SM1、SM21、SM22、SM23计算像素统计值SMc以及差分强调值DFS的处理。图26的例子中的差分强调值DFS是指对各个像素统计值SM(SM1、SM21、SM22、SM23)加上基于从它们的平均的像素统计值减去各个像素统计值SM而得到的值的值所得到的值。
具体而言,将平均的像素统计值求出为“(SM1+SM21+SM22+SM23)/4”,所以如果将其记载为Ave,则能够如下述那样表现第1时间范围TR1以及第2时间范围TR21、TR22、TR23中的差分强调值DFS1、DFS21、DFS22、DFS23。
DFS1=SM1+(SM1-Ave)×m…(1)
DFS21=SM21+(SM21-Ave)×m…(2)
DFS22=SM22+(SM22-Ave)×m…(3)
DFS23=SM23+(SM23-Ave)×m…(4)
另外,在上述(1)~(4)中,分别在第1及第2缩略图图像SG1、SG21~SG23上的对应像素彼此中进行计算。另外,m优选采用正的系数(m>0)。
然后,像素值决定部142B通过上述(b2)的处理,根据差分强调值DFS决定像素值,显示部34B显示比较用的缩略图图像SG1c、SG2c。即,如图26(b)所示,显示反映了差分强调值DFS1的“比较用的缩略图图像SG1c”、反映了差分强调值DFS21的“比较用的缩略图图像SG21c”、反映了差分强调值DFS22的“比较用的缩略图图像SG22c”、反映了差分强调值DFS23的“比较用的缩略图图像SG23c”。
此时,像素值决定部142B也可以实施通过上述(b3)的处理对差分强调值DFS为基准值以上的特定的像素值设定与差分强调值DFS为基准值以下的像素值不同的颜色,并且,通过上述(b4)的处理对特定的像素值实施加上辅助信息的处理,设定比较用的缩略图图像SG1c、SG2c的像素值。另外,图26(b)所示的比较用的缩略图图像SG23c的区域R5相当于特定的像素值,作为辅助信息附加有标志。
此处,通过反映了差分强调值DFS的差分强调之后的比较用的缩略图图像SG1c、SG21c、SG22c、SG23c,再次确认用户此前诊断过的第2缩略图图像SG23中的血流异常。其结果,差分强调之后血流异常变得清晰,所以能够在比较用的缩略图图像SG23c中的区域R5中确认血流异常。
在以上的图26中,是将比较用的时间范围TRc设为将上述(iii)的第1及第2时间范围TR1、TR21~TR23合起来的时间范围的例子,将各时间范围TR1、TR21~TR23中的像素统计值SM1、SM21~SM23的平均的像素统计值设为了像素统计值SMc,但不限于此。即,也可以通过针对将第1及第2时间范围TR1、TR21~TR23合起来的时间范围实施统计值计算处理来得到像素统计值SMc。
另外,在图26(b)中,通过上述(b2)的处理,生成并显示了比较用的缩略图图像SG1c、SG2c,但也可以通过上述(b1)的处理,生成并显示比较用的缩略图图像SG1c、SG2c。
如以上那样,根据第3实施方式中的图像处理装置3B,像素值决定处理还包括使用包括第1时间范围TR1以及第2时间范围TR2中的至少一方的比较用的时间范围TRc中的像素统计值SMc来决定第1缩略图图像SG1c用或者第2缩略图图像SG2c用(即比较用的缩略图图像SG1c、SG2c用)的像素值的处理。即,使用比较用的时间范围TRc中的像素统计值SMc来决定比较用的缩略图图像SG1c、SG2c用的像素值,所以能够在缩略图图像中的二维空间上将缩略图图像间(动态图像的时间方向)的空间的差异对应起来进行视觉辨认比较。由此,能够更容易地掌握动态图像的时空间变化。另外,能够使异常的部位变得清晰,所以能够适当并且高效地进行动态诊断。
另外,在像素值决定处理中,通过进行上述(b3)以及(b4)的处理,使像素值的差异变得清晰,能够使比较用的缩略图图像SG1c、SG2c之间的差异、甚至动态图像的时间方向的差异变得明确。由此,能够使异常的部位变得更清晰,所以能够更适当并且高效地进行动态诊断。
<4.变形例>
以上,说明了本发明的实施方式,但本发明不限于上述实施方式,能够进行各种变形。
※在本实施方式中,以个别实施的方式分各实施方式而记载了图像处理装置3、3A、3B,但只要不相互矛盾,它们的个别功能也可以相互组合。
※在第1实施方式中的图像处理装置3中,周期分类部115输出的按照心拍周期PC单位分类之后的多个帧图像MI’是进行血流解析(帧图像MI之间的差分)之前的帧图像,在缩略图生成部130的统计值计算部141中进行了血流解析,但不限于此。也可以在周期分类部115中,按照心拍周期PC单位对进行血流解析之后的帧图像进行分类,来作为多个帧图像MI’。
※本实施方式中的动态周期关于心拍周期PC进行了说明,但不限于此,也可以是呼吸周期。由此,能够根据缩略图图像SG,确定在呼吸周期中发生异常的周期(时间段),所以能够仅在发生异常的时间段中进行动态诊断。因此,能够实现缩短动态诊断所需的时间,能够适当并且高效地进行。
※被摄体不仅可以是人体,也可以是动物的身体。
虽然详细说明了本发明,但上述的说明在所有的方面都为例示,本发明不限于此。应当理解未例示的无数的变形例都在本发明的范围内。
Claims (19)
1.一种图像处理装置,其特征在于,具备:
动态图像取得单元,取得动态图像,该动态图像由在时间方向上对人体或者动物的身体内部的物理状态周期性地变化的动态周期的状态依次进行摄影而得到的多个帧图像构成;
时间范围设定单元,进行时间范围设定处理,该时间范围设定处理包括在所述动态图像内的整体时间中,(a1)按照所述动态周期单位设定第1时间范围的第1时间范围设定处理和(a2)设定第2时间范围的第2时间范围设定处理;
缩略图生成单元,进行分别生成第1缩略图图像以及第2缩略图图像的缩略图生成处理,所述第1缩略图图像以及第2缩略图图像是对所述第1时间范围内以及所述第2时间范围内各自的所述帧图像分别进行统计处理而得到的静止图像;以及
显示单元,进行视觉上可比较所述第1缩略图图像和所述第2缩略图图像的显示。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述第2时间范围设定处理包括按照所述动态周期单位设定所述第2时间范围的处理。
3.根据权利要求1或者2所述的图像处理装置,其特征在于,
所述时间范围设定处理包括在所述动态图像内的整体时间中,设定用于设定所述第1时间范围和所述第2时间范围的父时间范围的父时间范围设定处理,
所述第1时间范围和所述第2时间范围都是存在于所述父时间范围内的时间范围。
4.根据权利要求3所述的图像处理装置,其特征在于,
所述父时间范围设定处理包括:
将所述第1时间范围以及所述第2时间范围中的任意一个时间范围设定为层次显示用父时间范围的处理;以及
将所述层次显示用父时间范围新设定为所述父时间范围的处理,
所述第1时间范围设定处理以及所述第2时间范围设定处理包括对所述层次显示用父时间范围内,分别新设定所述第1时间范围以及所述第2时间范围的处理。
5.根据权利要求3所述的图像处理装置,其特征在于,
所述第2时间范围设定处理包括设定为使所述第2时间范围成为所述父时间范围的全部时间范围的处理。
6.根据权利要求3所述的图像处理装置,其特征在于,
所述时间范围设定处理还包括设定为所述第1时间范围和所述第2时间范围各自的全部的时间范围不重复、并且所述全部的时间范围连续的处理。
7.根据权利要求6所述的图像处理装置,其特征在于,
所述时间范围设定处理还包括设定为使所述第1时间范围和所述第2时间范围的合计时间范围与所述父时间范围一致的处理。
8.根据权利要求3所述的图像处理装置,其特征在于,
所述时间范围设定处理包括设定为包含在所述第1时间范围和所述第2时间范围各自的全部的时间范围中的所述动态周期的数量相互一致的处理。
9.根据权利要求1所述的图像处理装置,其特征在于,
所述缩略图生成处理包括:
统计值计算处理,针对所述第1时间范围内或者所述第2时间范围内,按照与所述帧图像对应的每个像素分别计算像素统计值;以及
像素值决定处理,根据所述像素统计值,决定所述第1缩略图图像用或者所述第2缩略图图像用的像素值。
10.根据权利要求9所述的图像处理装置,其特征在于,
所述统计值计算处理还包括利用包含在计算出所述像素统计值的所述时间范围内的所述动态周期的数量对所述像素统计值进行标准化的处理。
11.根据权利要求9所述的图像处理装置,其特征在于,
所述像素值决定处理还包括使用包括所述第1时间范围以及所述第2时间范围中的至少一方的比较用的时间范围中的像素统计值来决定所述第1缩略图图像用或者所述第2缩略图图像用的像素值的处理。
12.根据权利要求9所述的图像处理装置,其特征在于,
所述像素统计值是针对所述第1时间范围内以及所述第2时间范围内,与所述帧图像对应的每个像素的像素浓度的最大值、平均值、最小值、中央值中的任意一个值。
13.根据权利要求3所述的图像处理装置,其特征在于,
所述时间范围设定处理还包括
(a3)统计值计算处理,针对包含于所述父时间范围的多个时间范围内,按照与所述帧图像对应的每个像素计算多个像素统计值;以及
(a4)类似度计算处理,根据所述多个时间范围中的所述多个像素统计值,计算所述多个时间范围中的、时间上邻接的时间范围间的类似度,
所述第1时间范围设定处理以及所述第2时间范围设定处理包括根据所述类似度,从所述多个时间范围分别设定所述第1时间范围以及所述第2时间范围的处理。
14.根据权利要求1所述的图像处理装置,其特征在于,
所述图像处理装置具备受理用户设定的设定信息的操作单元,
所述设定信息包括用于设定预定的时间范围的信息,
所述缩略图生成处理还包括通过使用由所述操作单元输入的所述设定信息指示的所述预定的时间范围内的帧图像来进行所述统计处理,从而生成所述预定的时间范围的缩略图图像的处理,
所述显示单元进行显示所述预定的时间范围的缩略图图像的处理。
15.根据权利要求14所述的图像处理装置,其特征在于,
所述设定信息还包括用于设定非显示时间范围的信息,
所述显示单元进行如下处理:根据由所述操作单元输入的所述设定信息,使所述第1缩略图图像或者所述第2缩略图图像中的、时间范围包含于所述非显示时间范围的缩略图图像为非显示。
16.根据权利要求14所述的图像处理装置,其特征在于,
所述设定信息包括用于将所述第1时间范围以及所述第2时间范围中的2个以上的预定数量的时间范围设定为汇集时间范围的信息,
所述缩略图生成处理还包括通过使用由所述操作单元输入的所述设定信息指示的所述汇集时间范围内的帧图像来进行所述统计处理,从而生成所述汇集时间范围的缩略图图像的处理,
所述显示单元进行:
使时间范围包含于所述汇集时间范围的预定数量的缩略图图像为非显示的处理;以及
显示所述汇集时间范围的缩略图图像的处理。
17.根据权利要求1所述的图像处理装置,其特征在于,
所述图像处理装置具备受理用户所设定的设定信息的操作单元,
所述设定信息包括用于设定所述第1缩略图图像以及所述第2缩略图图像中的、运动图像比较用缩略图图像的信息,
所述显示单元进行根据由所述操作单元输入的所述设定信息,再生与所述运动图像比较用缩略图图像对应的动态图像的处理。
18.根据权利要求1至17中的任意一项所述的图像处理装置,其特征在于,
所述动态周期包括心拍周期或者呼吸周期中的任意一方的周期。
19.一种程序,其特征在于,
由包含在图像处理装置中的计算机执行,从而使所述计算机作为权利要求1至18中的任意一项所述的图像处理装置发挥功能。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-115889 | 2013-05-31 | ||
JP2013115889 | 2013-05-31 | ||
PCT/JP2014/062130 WO2014192504A1 (ja) | 2013-05-31 | 2014-05-02 | 画像処理装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105246406A true CN105246406A (zh) | 2016-01-13 |
Family
ID=51988542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480030241.9A Pending CN105246406A (zh) | 2013-05-31 | 2014-05-02 | 图像处理装置以及程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9901317B2 (zh) |
JP (1) | JP6222228B2 (zh) |
CN (1) | CN105246406A (zh) |
WO (1) | WO2014192504A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110400625A (zh) * | 2019-07-08 | 2019-11-01 | 武汉联影医疗科技有限公司 | 医学影像格式转换方法、装置、设备和存储介质 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6318739B2 (ja) * | 2014-03-17 | 2018-05-09 | コニカミノルタ株式会社 | 画像処理装置、およびプログラム |
US9691433B2 (en) * | 2014-04-18 | 2017-06-27 | Toshiba Medical Systems Corporation | Medical image diagnosis apparatus and medical image proccessing apparatus |
JP6484787B2 (ja) * | 2014-12-19 | 2019-03-20 | 学校法人 関西大学 | 診断支援装置及びコンピュータプログラム |
WO2018089068A1 (en) | 2016-08-12 | 2018-05-17 | University Of Washington | Millimeter wave imaging systems and methods using direct conversion receivers and/or modulation techniques |
JP2018068631A (ja) * | 2016-10-28 | 2018-05-10 | キヤノン株式会社 | 放射線撮影システム、放射線表示方法 |
JP6743662B2 (ja) * | 2016-11-15 | 2020-08-19 | コニカミノルタ株式会社 | 動態画像処理システム |
EP3552041B1 (en) * | 2016-12-08 | 2023-06-21 | University of Washington | Millimeter wave and/or microwave imaging systems and methods |
US10842589B2 (en) | 2017-03-21 | 2020-11-24 | Canon U.S.A., Inc. | Method for displaying an anatomical image of a coronary artery on a graphical user interface |
JP6805918B2 (ja) * | 2017-03-23 | 2020-12-23 | コニカミノルタ株式会社 | 放射線画像処理装置及び放射線画像撮影システム |
JP6614198B2 (ja) * | 2017-04-26 | 2019-12-04 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11217344B2 (en) * | 2017-06-23 | 2022-01-04 | Abiomed, Inc. | Systems and methods for capturing data from a medical device |
JP6953616B2 (ja) | 2017-07-26 | 2021-10-27 | キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc | 複数イメージングモダリティを相互レジストレーション及び表示するための方法 |
KR101967819B1 (ko) * | 2017-11-02 | 2019-04-10 | 주식회사 코난테크놀로지 | 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법 |
JP6950483B2 (ja) * | 2017-11-20 | 2021-10-13 | コニカミノルタ株式会社 | 動態撮影システム |
JP7183563B2 (ja) * | 2018-04-11 | 2022-12-06 | コニカミノルタ株式会社 | 放射線画像表示装置及び放射線撮影システム |
JP7073961B2 (ja) * | 2018-07-24 | 2022-05-24 | コニカミノルタ株式会社 | 動態画像解析装置、動態画像解析方法及びプログラム |
JP6897656B2 (ja) * | 2018-11-22 | 2021-07-07 | コニカミノルタ株式会社 | 画像表示制御システム、画像表示システム、画像解析装置、画像表示制御プログラム及び画像表示制御方法 |
JP6930515B2 (ja) * | 2018-12-07 | 2021-09-01 | コニカミノルタ株式会社 | 画像表示装置、画像表示方法及び画像表示プログラム |
WO2021033741A1 (ja) * | 2019-08-22 | 2021-02-25 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、x線診断装置、および医用画像処理方法 |
JP7435242B2 (ja) * | 2020-05-15 | 2024-02-21 | コニカミノルタ株式会社 | 動態画像解析装置、動態画像解析方法及びプログラム |
JP2021194140A (ja) * | 2020-06-11 | 2021-12-27 | コニカミノルタ株式会社 | 画像処理装置及び画像処理方法 |
JP6888721B2 (ja) * | 2020-07-30 | 2021-06-16 | コニカミノルタ株式会社 | 動態画像処理装置、動態画像処理プログラム及び動態画像処理方法 |
WO2023209884A1 (ja) * | 2022-04-27 | 2023-11-02 | オリンパスメディカルシステムズ株式会社 | 医療支援システムおよび画像表示方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050213701A1 (en) * | 2004-03-23 | 2005-09-29 | Fuji Photo Film Co., Ltd. | Radiation image taking system |
JP2008188165A (ja) * | 2007-02-02 | 2008-08-21 | Fujifilm Corp | 放射線撮像装置、放射線撮像方法、及びプログラム |
JP2012147949A (ja) * | 2011-01-19 | 2012-08-09 | Toshiba Corp | X線ct装置及び制御プログラム |
CN102793551A (zh) * | 2011-05-24 | 2012-11-28 | 柯尼卡美能达医疗印刷器材株式会社 | 胸部诊断辅助信息生成系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6462778A (en) | 1987-09-02 | 1989-03-09 | Toshiba Corp | Picture display device |
JPH0584237A (ja) | 1991-09-30 | 1993-04-06 | Shimadzu Corp | X線画像処理装置 |
JP4797173B2 (ja) | 2005-06-21 | 2011-10-19 | 国立大学法人金沢大学 | X線診断支援装置、プログラム及び記録媒体 |
JP5200656B2 (ja) | 2008-05-15 | 2013-06-05 | コニカミノルタエムジー株式会社 | 動態撮影システム |
JP2012005729A (ja) | 2010-06-28 | 2012-01-12 | Konica Minolta Medical & Graphic Inc | 胸部診断支援システム及びプログラム |
JP5725745B2 (ja) | 2010-07-05 | 2015-05-27 | 株式会社東芝 | X線診断装置及び医用画像診断装置 |
JP5625800B2 (ja) | 2010-11-22 | 2014-11-19 | コニカミノルタ株式会社 | 動態診断支援情報生成システム |
CN103619237B (zh) * | 2011-06-15 | 2016-03-16 | 米斯特雷塔医疗有限公司 | 用于四维血管造影和荧光透视的系统和方法 |
-
2014
- 2014-05-02 CN CN201480030241.9A patent/CN105246406A/zh active Pending
- 2014-05-02 WO PCT/JP2014/062130 patent/WO2014192504A1/ja active Application Filing
- 2014-05-02 JP JP2015519761A patent/JP6222228B2/ja active Active
- 2014-05-02 US US14/894,242 patent/US9901317B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050213701A1 (en) * | 2004-03-23 | 2005-09-29 | Fuji Photo Film Co., Ltd. | Radiation image taking system |
JP2008188165A (ja) * | 2007-02-02 | 2008-08-21 | Fujifilm Corp | 放射線撮像装置、放射線撮像方法、及びプログラム |
JP2012147949A (ja) * | 2011-01-19 | 2012-08-09 | Toshiba Corp | X線ct装置及び制御プログラム |
CN102793551A (zh) * | 2011-05-24 | 2012-11-28 | 柯尼卡美能达医疗印刷器材株式会社 | 胸部诊断辅助信息生成系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110400625A (zh) * | 2019-07-08 | 2019-11-01 | 武汉联影医疗科技有限公司 | 医学影像格式转换方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6222228B2 (ja) | 2017-11-01 |
WO2014192504A1 (ja) | 2014-12-04 |
US9901317B2 (en) | 2018-02-27 |
JPWO2014192504A1 (ja) | 2017-02-23 |
US20160120491A1 (en) | 2016-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105246406A (zh) | 图像处理装置以及程序 | |
JP6512338B2 (ja) | 画像処理装置及びプログラム | |
EP2829231B1 (en) | Image-generating apparatus | |
JP5408400B1 (ja) | 画像生成装置及びプログラム | |
JP6597548B2 (ja) | 動態解析システム | |
JP6323451B2 (ja) | 画像処理装置及びプログラム | |
JP6772908B2 (ja) | 動態解析システム及びプログラム | |
JP6418091B2 (ja) | 胸部画像表示システム及び画像処理装置 | |
JP2009153678A (ja) | 動態画像処理システム | |
JP2018078974A (ja) | 動態画像処理システム | |
JP2015043894A (ja) | X線動画像解析装置、x線動画像解析プログラム及びx線動画像撮像装置 | |
JP6740910B2 (ja) | 動態画像処理システム | |
JP6743730B2 (ja) | 動態解析システム | |
JP6950483B2 (ja) | 動態撮影システム | |
JP6888721B2 (ja) | 動態画像処理装置、動態画像処理プログラム及び動態画像処理方法 | |
JP2020062394A (ja) | 画像処理装置 | |
JP2020168172A (ja) | 動態解析装置、動態解析システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20190104 |
|
AD01 | Patent right deemed abandoned |