CN106384342A - 用于图像处理的计算机可读存储介质、设备和方法 - Google Patents

用于图像处理的计算机可读存储介质、设备和方法 Download PDF

Info

Publication number
CN106384342A
CN106384342A CN201610580655.XA CN201610580655A CN106384342A CN 106384342 A CN106384342 A CN 106384342A CN 201610580655 A CN201610580655 A CN 201610580655A CN 106384342 A CN106384342 A CN 106384342A
Authority
CN
China
Prior art keywords
image
vector
region
convergence
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610580655.XA
Other languages
English (en)
Other versions
CN106384342B (zh
Inventor
石原正树
马场孝之
上原祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN106384342A publication Critical patent/CN106384342A/zh
Application granted granted Critical
Publication of CN106384342B publication Critical patent/CN106384342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/100764D tomography; Time-sequential 3D tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)

Abstract

提供了用于图像处理的计算机可读存储介质、设备和方法。在放射科医师根据由于呼吸或心跳的影响而变形的肺的图像来确定在因肿瘤而塌陷的肺泡的影响下的一些血管会聚的位置时,希望减轻施加于放射科医师的负担。根据本实施方式的模式,提供了一种图像处理程序,其中,图像处理程序使计算机执行相互比较在不同时刻扫描的胸腔的图像的过程,以检查被估计为表示图像中的相同定位的位置的定位以何种方式随着时间的推移而改变,并且如果位置中的多个位置处的定位的改变可以被认为是指向给定定位,则发出发现改变的通知。

Description

用于图像处理的计算机可读存储介质、设备和方法
技术领域
本文中公开的实施方式涉及图像处理程序、图像处理设备和图像处理方法。
背景技术
在医疗工作地点,放射科医师使用不同时刻的计算机断层(CT)扫描图像来相互比较疾病的位置或存在疾病的嫌疑的位置,以确定患者的疾病。
引文列表
【专利文献1】日本公开特许公报No.2013-141603
发明内容
技术问题
顺便提及,在患者的肺中具有肿瘤(例如,腺癌)的情况下,肺泡由于腺癌而发生塌陷,并且周围组织如血管移动以会聚到塌陷位置。虽然在CT图像中肿瘤或血管显示为白色,但是因为肺由于患者的呼吸或心脏搏动的影响而发生变形,所以对于经验不是非常丰富的放射科医师而言难以在胸腔的CT扫描图像(或捕获的图像)的基础上发现是否存在肿瘤或者一些血管是否发生移位。
因此,当放射科医师根据由于呼吸或心脏搏动的影响而变形的肺的图像来确定一些血管在由肿瘤所导致的肺泡塌陷的影响下而会聚的位置时,希望减轻施加于放射科医师的负担。
问题的解决方案
根据本实施方式的一种模式,提供一种图像处理程序,其中,图像处理程序使计算机执行相互比较在不同时刻扫描的胸腔的图像的过程,以检查被估计为表示图像中的相同定位的位置的定位以何种方式随着时间的推移而改变,并且如果位置中的多个位置处的定位的改变可以被认为是指向给定定位,则发出发现改变的通知。
本发明的有利效果
通过图像处理程序,当放射科医师根据由于呼吸或心脏搏动的影响而发生变形的肺的图像来确定在因肿瘤而塌陷的肺泡的影响下的一些血管会聚的位置时,可以减轻施加于放射科医师的负担。
附图说明
图1是描绘CT成像系统的示例的视图;
图2是描绘图像处理设备的硬件配置的视图;
图3是示出图像处理设备的诊断支持单元的处理内容、医务工作人员的操作内容和并列显示屏幕图像的显示内容之间的关系的视图;
图4是示出图像处理设备的诊断支持单元的处理内容、医务工作人员的操作内容和并列显示屏幕图像的显示内容之间的关系的视图;
图5是示出图像数据库(DB)中存储的信息的示例的视图;
图6是描绘比较目标CT图像关于比较源CT图像的局部位置变动的因素的视图;
图7A至图7C描绘了更具体地示出基于肿瘤的改变的位置变动的视图;
图8A至图8D描绘了示出代表性向量的计算过程和对应区域的计算过程的视图;
图9是描绘了使用包括非刚性变形的影响的代表性向量而执行了局部定位的图像的视图;
图10是描绘第二注册单元的功能配置的视图;
图11是示出会聚区域判定单元的处理内容的视图;
图12A和图12B描绘了示出在判定存在会聚区域时的代表性向量的计算方法的视图;
图13A和图13B描绘了示出在判定不存在会聚区域时的代表性向量的计算方法的视图;
图14是描绘通过使用去除了非刚性变形的影响的代表性向量来执行局部定位所获得的图像的视图;
图15A、图15B-1、图15B-2、图15C-1和图15C-2描绘了示出由图像处理器执行的图像处理过程的具体示例的视图;
图16是示出由第二注册单元执行的过程的流程图;
图17是会聚区域判定过程的流程图;
图18A和图18B描绘了局部定位过程的流程图;
图19是基于时间相关变化的图像处理过程的流程图;
图20是示出图像处理设备的诊断支持单元的处理内容、医务工作人员的操作内容和并列显示屏幕图像的显示内容之间的关系的第二视图;
图21是由第二注册单元执行的过程的第二流程图;
图22描绘了示出使用关注区域(ROI)候选来扫描比较源CT图像以确定ROI的过程的视图;
图23是由第二注册单元执行的过程的第三流程图;
图24是由第二注册单元执行的过程的第三流程图;
图25是示出图像处理设备的诊断支持单元的处理内容、医务工作人员的操作内容和并列显示屏幕图像的显示内容之间的关系的第三视图;
图26描绘了示出由显示控制器改变放大的显示屏幕图像的显示模式的方式的视图;以及
图27是由显示控制器执行的过程的流程图。
具体实施方式
在下文中,参照附图来描述实施方式。需要注意的是,在本说明书和附图中,由相似的参考标记来标记具有基本相似的功能配置的相似元件,并且在本文中省略了它们的重复描述以避免赘述。
【第一实施方式】
首先,描述根据第一实施方式的包括图像处理设备的计算机断层扫描(CT)成像系统。图1是描绘了CT成像系统的示例的视图。
CT成像系统100包括CT设备110、图像处理设备120和图像数据库(在下文中数据库被称为DB)130。CT设备110和图像处理设备120电耦接至彼此,以便在两个设备之间执行数据传输。图像处理设备120和图像DB 130也电耦接至彼此,以便在两个设备之间执行数据传输。
CT设备110利用辐射来扫描患者的身体内部,并且使用计算机来执行处理以生成作为患者的断层图像的CT图像(此处所描述的过程在下文中被称为“CT扫描图像”)。CT设备110将CT扫描图像传送至图像处理设备120。
图像处理设备120将CT设备110的CT扫描图像存储到耦接的图像DB 130中。此外,图像处理设备120处理CT设备110的CT扫描图像,并且将经处理的CT图像显示给医务人员如放射科医师。需要注意的是,当由计算机来执行诊断支持程序——其是诊断支持单元中安装的图像处理程序的示例——时,图像处理设备120用作诊断支持单元140,以执行如上文所描述的过程。
图像DB 130通过图像处理设备120来接收CT设备110扫描的CT扫描图像,并且针对同一时刻的多个CT扫描图像(扫描图像序列或扫描图像组)来分别存储CT图像。
诊断支持单元140是当医务工作人员在由CT设备110扫描并且被存储在图像DB130中的CT扫描图像的基础上对患者进行诊断时所使用的功能。诊断支持单元140例如以并列的方式显示不同时刻的CT扫描图像,使得医务工作人员能够通过CT图像的比较来做出诊断。需要注意的是,以并列的方式显示的CT图像中的一个CT图像(例如,给定的一段时间过去之前的CT扫描图像)被称为“比较源CT图像”,而CT图像中的另一CT图像(例如,给定的一段时间过去之后的CT扫描图像)被称为“比较目标CT图像”。
诊断支持单元140将包括比较源CT图像中由医务工作人员指定的位置的给定区域(关注区域(ROI))中的图像以放大的比例显示在放大的显示屏幕图像上。此外,诊断支持单元140从比较目标CT图像内提取与包括指定位置的给定区域对应的对应区域中的图像,并且在放大的显示屏幕图像中以放大的比例显示所提取的图像。由于自动地以放大比例来显示包括指定位置的给定区域中的图像和对应区域的图像,以这种方式,通过诊断支持单元140可以减轻医务工作人员在诊断方面的负担,并且可以减少医务工作人员为显示放大的图像的操作而付出的劳动力。
需要注意的是,为了执行如上面所描述的过程,诊断支持单元140包括第一注册单元141、第二注册单元142和显示控制器143。
例如通过由计算机执行的第一注册程序来实现第一注册单元141。当以并列方式显示不同时刻的CT扫描图像时,第一注册单元141通过使用仿射变换以执行CT图像之间的全局定位来校正CT图像之间的位置移动。
例如通过由计算机执行的第二注册程序来实现第二注册单元142。当以放大比例显示包括由医务工作人员指定的位置的给定区域中的图像时,第二注册单元142对比较目标CT图像执行变换过程以执行局部定位,并且从比较目标CT图像中提取对应区域中的图像。
因此,第二注册单元142能够向显示控制器143通知对应区域中的图像。需要注意的是,尽管变换过程包括各种过程,本实施方式中的变换过程是平移,并且通过执行变换过程而从比较目标CT图像提取的对应位置中的图像被称为“执行了局部定位的图像”。
此外,如果从医务工作人员接收到针对图像处理的指令,则第二注册单元142执行图像处理过程,以辅助医务工作人员参考对应区域中的图像对肿瘤做出适当诊断。
因此,第二注册单元142能够向显示控制器143通知执行了图像处理过程的对应区域中的图像。
例如通过由计算机执行的显示程序来实现显示控制器143。显示控制器143显示由医务工作人员选择的比较源CT图像,并且在放大的显示屏幕图像上以放大的比例来显示包括由医务工作人员指定的位置的给定区域。此外,显示控制器143在放大的显示屏幕图像上以放大比例显示从第二注册单元142通知并且执行了局部定位的图像(在已经执行图像处理过程的情况下,执行图像处理过程之后的图像)。
现在描述图像处理设备120的硬件配置。图2是描绘图像处理设备的硬件配置的视图。图像处理设备120包括中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203,如图2所示。图像处理设备120还包括辅助存储单元204、耦接单元205、显示单元206、操作单元207和驱动单元208。需要注意的是,图像处理设备120的部件通过总线209来耦接至彼此。
CPU 201是执行辅助存储单元204中存储的各种程序(例如,第一注册程序、第二注册程序、显示程序等)的计算机。
ROM 202是非易失性存储器。ROM 202用作主存储单元,主存储单元用于存储用于CUP 201执行辅助存储单元204中存储的各种程序的各种程序、数据等。例如,ROM 202中存储引导程序如基本输入/输出系统(BIOS)或可扩展固件接口(EFI)等。
RAM 203是易失性存储器,并且包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等。RAM 203是提供工作区的主存储单元,当由CPU 201执行各种程序时,辅助存储单元204中存储的各种程序在该工作区中展开。
辅助存储单元204是计算机可读存储设备,其中记录有图像处理设备120中安装的各种程序和通过执行各种程序而生成的数据等。
耦接单元205与CT设备110和图像DB 130耦接,并且向CT设备110和图像DB 130传输数据以及从CT设备110和图像DB 130传输数据。显示单元206通过并列显示屏幕图像来显示由CT设备110扫描并且被存储在图像DB 130中的CT扫描图像。操作单元207接收由医务工作人员对图像处理设备120执行的各种操作。
驱动单元208是用于设置在其中设置的记录介质210的装置。在这里,记录介质210包括其中以光、电或磁的方式记录信息的介质,如致密盘CD-ROM、软盘或磁光盘。此外,记录介质210包括用于以电的方式记录信息的半导体存储器,如ROM、闪速存储器等。
需要注意的是,在本实施方式中,通过例如将分布式记录介质210加载到驱动单元208中、并且由驱动单元208读出记录介质210中记录的各种程序,或者通过经由耦接单元205从网络下载各种程序来安装辅助存储单元204中存储的各种程序。
现在,描述在由诊断支持单元140执行过程时,图像处理设备120的诊断支持单元140的处理内容、医务工作人员的操作内容和被显示在图像处理设备120的显示单元206上的并列显示屏幕图像之间的关系。
图3和图4是示出图像处理设备的诊断支持单元的处理内容、医务工作人员的操作内容和并列显示屏幕图像的显示内容之间的关系的视图。
在图像处理设备120中,如果诊断支持单元140被启动,则开始显示控制器143的处理,并且在显示单元206上显示用于以并列方式显示不同时刻的CT扫描图像的并列显示屏幕图像300,如图3所示。在显示并列显示屏幕图像300的状态下,医务工作人员可以将在给定时间处扫描的给定患者的给定区域(在这里为胸腔)的扫描图像序列选择为比较源CT图像序列。因此,显示控制器143从图像DB 130读出所选择的比较源CT图像序列。此外,如果由医务工作人员从所选择的比较源CT图像序列内指定给定的比较源CT图像(在这里,文件名称="ImageA015"),则显示控制器143在并列显示屏幕图像300中显示所指定的比较源CT图像。
为了与所指定的比较源CT图像进行比较,医务工作人员可以将在不同时刻扫描的同一患者的同一区域的扫描图像序列选择为比较目标CT图像序列。例如,医务工作人员可以输入患者标识(ID)、序列日期和时间、被检查的身体部位(在这里为胸腔)等以用于选择。因此,显示控制器143从图像DB 130读出由输入的患者姓名、序列日期和时间、被检查的身体部位等指定的扫描图像序列作为比较目标CT图像序列。此外,显示控制器143从所读出的比较目标CT图像序列中读出与并列显示屏幕图像300中显示的比较源CT图像对应的比较目标CT图像(在这里,文件名称="ImageB018"),并且在并列显示屏幕图像300中显示比较目标CT图像。
此时,在诊断支持单元140中,第一注册单元141用于使用仿射变换如旋转或平移对所读出的CT图像执行校正,以执行全局定位。由于全局定位是对整个CT图像执行的,因此减小了比较源CT图像与比较目标CT图像之间的全局位置移动。
在完成全局定位之后,医务工作人员可以在所显示的比较源CT图像中指定肿瘤F的位置,如图4所示。因此,显示控制器143在比较源CT图像中的放大的代替屏幕图像中以放大比例显示包括指定肿瘤F的位置的给定区域(关注区域(ROI))401的图像。
在以放大比例显示给定区域(ROI)401的图像之后,第二注册单元142对比较目标CT图像的部分区域执行局部定位。因此,第二注册单元142提取包括与肿瘤F对应的肿瘤F'的位置的对应区域402的图像(执行了局部定位的图像)。需要注意的是,第二注册单元142在局部定位被执行之前执行会聚判定(在下文中描述细节)。
此外,如果从医务工作人员发出了针对图像处理的指令,则第二注册单元142对通过执行局部定位所获得的对应区域402中的图像执行图像处理过程(在下文中描述细节)。
此外,第二注册单元142将通过执行局部定位所获得的对应区域402中的图像(在执行了图像处理过程的情况下,图像处理过程之后的图像)通知给显示控制器143。
显示控制器143在比较目标CT图像中的放大显示屏幕图像上以放大比例显示从第二注册单元142通知的对应区域402中的图像(在执行了图像处理过程的情况下,图像处理过程之后的图像)。因此,能够显示执行了局部定位以及除此之外还执行了图像处理的图像。
以这种方式,当由医务工作人员在比较源CT图像上指定了肿瘤F的位置时,通过图像处理设备120能够以放大比例显示给定区域401中的图像。此外,可以通过在给定区域401中的图像的基础上执行局部定位来从比较目标CT图像提取对应区域402中的图像,并且执行图像处理以辅助医务工作人员对肿瘤做出适当诊断,并且然后在放大的显示屏幕图像上以放大比例显示图像。
因此,对于医务工作人员而言,可以容易地抓住在不同时刻的扫描图像序列中所包括的CT图像之间的对应区域并且对肿瘤执行适当的诊断。
现在描述图像DB 130。图5是示出图像DB中存储的信息的示例的视图。如图5所示,在针对每个患者分类的状态下来管理DB 130中存储的信息,并且图5示出了与患者ID="xxx"的患者相关的信息的示例。
如图5所示,患者的信息项包括“序列日期和时间”、“被检查的身体部位”、“序列名称”和“图像列表”。在“序列日期和时间”中,放置了关于扫描CT图像的日期和时间的信息。在“被检查的身体部位”中,放置了关于作为CT扫描目标的身体部位的信息。在“序列名称”中,放置了用于指定由多个CT扫描图像配置的序列的序列名称。在“图像列表”中,放置了多个CT扫描图像(文件名称)。
图5的示例表示包含于序列日期和时间="2014年2月5日"通过CT扫描被检查的身体部位="胸腔"所获得的CT图像ImageA001到ImageA030的、序列名称="序列A"的序列被放置在图像DB 130中。图5的示例还表示包含在序列日期和时间="2014年8月3日"通过CT扫描被检查的身体部位="胸腔"所获得的CT图像ImageB001到ImageB030的、序列名称="序列B"的序列被放置在图像DB 130中。
需要注意的是,图5中的虚线表示医务工作人员选择CT图像“ImageA015”作为比较源CT图像。此外,还表示医务工作人员选择CT图像“ImageB018”作为比较目标CT图像。
现在,描述诊断支持单元140的各个部分。需要注意的是,在下文中,主要描述第二注册单元142。
如上所述,在完成全局定位的时间点,校正比较源CT图像和比较目标CT图像以消除总体位置变动,同时保留局部位置变动。因此,当要以放大比例显示与包括由医务工作人员指定的肿瘤F的位置的给定区域401对应的对应区域402中的图像时,第二注册单元142首先确定比较目标CT图像关于比较源CT图像的局部位置变动。然后,第二注册单元142响应于所确定的变动在比较目标CT图像中执行经由平移的变换过程,以执行局部定位。因此,第二注册单元142能够提取对应区域402的图像。
在此,在被检查的身体部位="胸腔"的情况下,由两个可获得的主要因素(其中之一基于呼吸或心脏搏动,而另一个基于肿瘤的改变(时间相关变化))造成局部位置的变动。图6是示出比较目标CT图像关于比较源CT图像的局部位置变动的因素的视图。
如果发生了如图6所示的局部位置变动,则在具有与比较源CT图像的给定区域401的坐标相同的坐标的比较目标CT图像的区域中,例如,显示图像610。
如果将图6中的比较源CT图像的给定区域401中的图像600和坐标与给定区域401的坐标相同的比较目标CT图像的区域中的图像610相比较,则能够识别出由于局部位置变动,血管的位置和肿瘤的位置(即,肺的每个部位的每个位置)发生大幅度的移动。在图6中,粗线表示血管601至603以及611至603,并且阴影区域表示肿瘤F和F'。
需要注意的是,基于呼吸和心脏搏动的位置变动是由例如在呼吸时的横膈膜的移动造成的位置变动。由于横膈膜的位置根据患者是否呼气或吸气而发生变动,因此肺的部分的位置由于横膈膜的位置变动而发生变动。具体地,除非在进行图像扫描时患者的呼吸状态彼此完全一致,否则比较源CT图像和比较目标CT图像之间可以包括基于呼吸和心脏搏动的局部位置的变动。
需要注意的是,虽然基于呼吸和心脏搏动的位置变动是例如相对于整个身体的非刚性变形,但是由于给定区域401是肺的内部的一部分,因此整个给定区域401在给定方向上平行移动。因此,可以认为位置变动是刚体运动。
另一方面,基于肿瘤的改变的位置变动是由于以下原因产生的肿瘤的位置变动:恶性肿瘤如腺癌生长同时破坏肺泡,并且肺泡的体积下降了由肺泡保持的空气的量(换言之,涉及肿瘤中发生的会聚)。
第二注册单元142从基于上述两个因素的位置变动之间减去基于肿瘤的改变(时间相关改变)的位置的变动量,以提取基于呼吸和心脏搏动的位置的变动量。然后,第二注册单元142在基于呼吸和心脏的搏动的位置的变动量的基础上执行局部定位。
这里,参照图7A至图7C更详细地描述肿瘤的改变(时间相关变化)。图7A至图7C描绘了更详细地示出基于肿瘤的改变的位置变动的视图。
图7A示出了紧接在肿瘤中心点O表示的位置处生成恶性肿瘤如腺癌之后的周围组织的状态。如图7A所示,紧接在生成恶性肿瘤之后的状态下,从肿瘤中心点O到支气管711的点D1的距离以及从肿瘤中心点O到血管712的点C1的距离二者都是r1。
图7B示出了由于恶性肿瘤生长同时破坏肿瘤周围的肺泡,因此包括支气管711和血管712的周围组织朝向肿瘤中心点O移动的状态。如图7B所示,由于周围组织朝向肿瘤中心点O的移动,从肿瘤中心点O到支气管711的点D2的距离以及从肿瘤中心点O到血管712的点C2的距离二者都变为r2(<r1)。
图7C示出了由于恶性肿瘤进一步生长同时破坏肿瘤周围的肺泡,因此包括支气管711和血管712的周围组织进一步朝向肿瘤中心点O移动的状态。如图7C所示,由于周围组织朝向肿瘤中心点O的移动,从肿瘤中心点O到支气管711的点D3的距离以及从肿瘤中心点O到血管712的点C3的距离二者都变为r3(<r2)。
以这种方式,基于肿瘤的改变的位置变动(涉及由肿瘤造成的会聚)具有周围组织朝向肿瘤中心点O移动的特征,并且可以被认为是非刚性变形。
需要注意的是,如图7所示,可以将肿瘤周围的组织大致上分类为肿瘤区域703的组织、会聚区域702中的组织和正常区域701中的组织。在肿瘤区域703中,由于组织被新出现的恶性肿瘤破坏,因此在图7A中存在的组织的一部分消失,并且在图7C中不存在。同时,在会聚区域702中,尽管在图7A中存在的组织在图7C中也存在,然而可以认为对应组织的位置在朝向中心的方向上变动(B1->B2->B3)。此外,在正常区域701中,在图7A中存在的组织在图7C中仍然存在,并且对应组织的位置(A1->A2->A3)几乎没有变动。
从上文参照图6和图7A至图7C给出的描述可以清楚地认识到,比较源CT图像与比较目标CT图像之间的局部位置变动的因素包括可以被认为是刚体运动的“基于呼吸和心搏的因素”和作为非刚性变形的“基于肿瘤的改变的因素”。此外,在“基于肿瘤的改变的因素”的情况下,存在周围组织朝向肿瘤中心点O移动的特征,并且可以根据程度来将肿瘤周围的组织大致上分类为正常区域701、会聚区域702和肿瘤区域703中的组织。
现在,参照图8A至图8D和图9来描述当第二注册单元142对比较目标CT图像中的如图6所示的刚体运动和非刚性变形以混合状态存在的区域执行局部定位时的问题。
如上所述,当要在比较目标CT图像中执行局部定位时,第二注册单元142执行通过平行移动的变换过程。换言之,第二注册单元142执行的不是假设非刚体的变换过程,而是假设刚体的变换过程。
这里,当要执行通过平行移动的变换过程时,第二注册单元142执行表示给定区域401移动至比较目标CT图像的哪个位置(给定区域401与对应区域402之间的位置关系)的代表性向量的计算。
图8A至图8D描绘了示出代表性向量的计算过程和对应区域的计算过程的视图。具体地,图8A示出了对应向量(黑色箭头标记),对应向量是比较源CT图像的给定区域401中包括的特征点的位置与对应于该特征点的比较目标CT图像中的特征点的位置之间的差。需要注意的是,区域800是包括与比较源CT图像的给定区域401中所包括的特征点对应的比较目标CT图像中的特征点的区域,并且是用于计算代表性向量的区域。在下文中,比较目标CT图像中的区域被称为代表性向量计算目标区域800。
这里,假设第二注册单元142使用代表性向量计算目标区域800中包括的所有对应向量来计算代表性向量810。在这种情况下,能够通过执行图8B中示出的过程来提取执行了局部定位的图像。
图8B示出了通过使用代表性向量810执行通过平行移动的变换过程来提取来自比较目标CT图像的执行了局部定位的图像的方式。如图8B所示,第二注册单元142基于代表性向量810通过平行移动具有与比较源CT图像的给定区域401的坐标相同的坐标的比较目标CT图像中的区域801来确定区域802。然后,第二注册单元142从比较目标CT图像提取区域802的图像以提取执行了局部定位的图像。
然而,以这种方式提取的图像仅仅是通过在刚体运动和非刚性变形以混合状态存在的区域中仅出现刚体运动的假设下确定代表性向量并且然后平行移动图像以消除所假设的刚体运动而获得的图像。简言之,执行平行移动以同时消除非刚性变形量的影响。
参照图8C和图8D来给出更详细的描述。图8C示出了均将比较源CT图像的给定区域401中所包括的特征点的位置和与该特征点对应的比较目标CT图像中的特征点的位置相关联的对应向量中的基于呼吸和心脏搏动的位置变动量(刚体运动量)的对应向量。如图8C所示,刚体运动量的对应向量指向同一方向,并且具有相等的长度。需要注意的是,正常区域701和会聚区域702中存在刚体运动量的对应向量。然而,由于肿瘤区域703中不存在与比较源CT图像的特征点对应的比较目标CT图像的特征点,因此,肿瘤区域703中不存在对应向量。
同时,图8D示出了将比较源CT图像的给定区域401中包括的特征点的位置和与该特征点对应的比较目标CT图像中的特征点的位置相关联的对应向量中的基于肿瘤的改变的位置变动量(非刚性变形量)的对应向量。如图8D所示,非刚体变形量的对应向量仅存在于会聚区域702(就此而言,除了肿瘤区域703以外)中,并且可以被认为是指向中心。
以这种方式,对应于刚体运动的对应向量和对应于非刚体变形的对应向量在向量的长度和方向上是彼此不相同的,并且在存在位置上也是不相同的。
另一方面,图8A中示出的对应向量是图8C中描绘的对应向量与图8D中描绘的对应向量的总和。
具体地,图8A中描绘的对应向量中存在于与会聚区域702对应的位置处的对应向量包括混合状态下的对应于刚体运动的对应向量和对应于非刚体变形的对应向量。因此,如果根据包括存在于与会聚区域702对应的位置处的对应向量的对应向量来计算代表性向量810,则代表性向量810包括非刚性变形的影响。即使使用如刚才所述的代表性向量810来执行局部定位,也不可预期高准确度的定位。
使用具体图像来给出描述。图9是描绘使用包括非刚性变形的影响的代表性向量来执行了局部定位的图像的视图。需要注意的是,在图9的示例中,以彼此重叠的关系描绘了执行了局部定位的图像900(比较目标CT图像的区域802的图像)和比较源CT图像的给定区域401的图像600。
如图9所示,尽管执行了局部定位,图900中包括的血管901至903以及肿瘤F'的位置还是从图600中包括的血管601至603以及肿瘤F的位置发生了移动。
将如上所述的刚体运动和非刚性变形以混合状态存在的区域中的代表性向量的计算中的问题考虑在内,本实施方式中的第二注册单元142确定去除了非刚性变形的影响的代表性向量并且执行局部定位。此外,本实施方式中的第二注册单元142对通过执行局部定位而获得的对应区域402的图像执行图像处理过程,以便可视化并显示非刚性变形的影响(即,基于肿瘤的改变(时间相关变化)的位置的变动量)。
在下文中,参照图10描述了本实施方式中的第二注册单元142的功能配置,并且参照图11至图14、图15A、图15B-1、图15B-2、图15C-1和图15C-2描述了第二注册单元142的部件的功能。此外,参照图16至图19的流程图描述了由第二注册单元142执行的过程的细节。
图10是描绘第二注册单元的功能配置的视图。如图10所示,第二注册单元142包括区域识别单元1001、对应向量计算单元1002、会聚区域判定单元1003、代表性向量计算单元1004、定位单元1005和图像处理器1006。
区域识别单元1001识别包括由医务工作人员指定的位置的给定区域401。例如,区域识别单元1001获取指定给定区域401的位置的比较源CT图像上的坐标。
对应向量计算单元1002从由区域识别单元1001识别的比较源CT图像的给定区域401中提取特征点。此外,对应向量计算单元1002搜索与所提取的特征点对应的比较目标CT图像中的特征点。此外,对应向量计算单元1002在从比较源CT图像提取的特征点的位置与对应于该特征点的比较目标CT图像中的特征点的位置之间的差异的基础上来计算对应向量。
会聚区域判定单元1003在由对应向量计算单元1002计算的对应向量的基础上判定代表性向量计算目标区域800中是否包括会聚区域702。此外,如果判定出包括会聚区域702,则会聚区域判定单元1003计算正常区域701与会聚区域702之间的边界位置。此外,会聚区域判定单元1003向代表性向量计算单元1004通知是否包括会聚区域702的判定结果以及正常区域701与会聚区域702之间的边界位置的计算结果。
代表性向量计算单元1004在由对应向量计算单元1002计算的对应向量的基础上计算代表性向量计算目标区域800中的代表性向量。如果判定出代表性向量计算目标区域800中不包括会聚区域702,则代表性向量计算单元1004使用代表性向量计算目标区域800(就此而言,除了肿瘤区域702之外)中的所有对应向量来计算代表性向量。另一方面,如果判定出代表性向量计算目标区域800中包括会聚区域702,则代表性向量计算单元1004使用除了会聚区域(和肿瘤区域)中包括的对应向量以外的代表性向量计算目标区域800中的对应向量来计算代表性向量。
需要注意的是,在本实施方式中,当代表性向量计算单元1004要使用对应向量来计算代表性向量时,其执行平均过程。
定位单元1005在由代表性向量计算单元1004计算的代表性向量的基础上从比较目标CT图像中提取与给定区域401对应的的对应区域402的图像。例如,定位单元1005在比较目标CT图像上使用代表性向量来移动指定给定区域401的位置的坐标,以计算移动后的坐标。此外,定位单元1005通过从比较目标CT图像提取由移动后的所计算的坐标表示的区域(对应区域402)的图像来获得执行了局部定位的图像
图像处理器1006对通过执行局部定位而获得的对应区域402的图像执行图像处理,以可视化基于肿瘤的改变(时间相关变化)的位置的变动量。如果来自医务工作人员的针对图像处理的指令被发出,则图像处理单元1006对对应区域402的图像执行图像处理。
例如,图像处理器1006通过计算给定区域401的图像和对应区域402的图像之间的像素值之差来可视化基于肿瘤的改变的组织变化。此外,图像处理器1006通过基于给定区域401的图像与对应区域402的图像之间的肿瘤的改变而计算表示位置变动的向量来可视化基于肿瘤的改变的组织的移动方向和移动量。此外,图像处理器1006在对应区域402中的所计算的向量的分布的基础上来可视化基于肿瘤的改变的组织的变化趋势。
需要注意的是,图像处理器1006向显示控制器143通知执行了图像处理的对应区域402的图像。因此,显示控制器143能够使通过对经由局部定位获得的对应区域的图像执行图像处理而获得的图像以放大的比例被显示在放大显示屏幕图像上。
现在,描述图10中描绘的第二注册单元142中包括的部件中的会聚区域判定单元1003、代表性向量计算单元1004、定位单元1005和图像处理器1006的功能的具体示例。
首先,描述会聚区域判定单元1003的功能的具体示例。图11是示出会聚区域判定单元的处理内容的视图。
图11示出了以下方式:从代表性向量计算目标区域800的中心到侧边通过给定步长的界定线将代表性向量计算目标区域800划分成矩形框形状,并且在分区的对应向量的基础上判定代表性向量计算目标区域800中是否包括会聚区域702。
需要注意的是,由R来表示从代表性向量计算目标区域800的中心到侧边的距离,并且由ΔR来表示步长。此外,虽然描述了将代表性向量计算目标区域800划分成矩形框形状的情况,但是可以将代表性向量计算目标区域800划分成环形形状而不是矩形框形状。
会聚区域判定单元1003提取R至(R-ΔR)的范围(图11的左侧描绘的代表性向量计算目标区域800中的阴影区域)内的分区组1101中包括的对应向量。此外,会聚区域判定单元1003提取(R-ΔR)至(R–ΔR×2)的范围(图11的中心部描绘的代表性向量计算目标区域800中的阴影区域)内的分区组1102中包括的对应向量。
此外,会聚区域判定单元1003计算所提取的对应向量中的分区组1101的对应向量与分区组1102的对应向量之间的彼此相邻的各对应向量之间的差异,以确定差异向量。可以认为差异向量在这里表示比较源CT图像与比较目标CT图像之间的特征点的位置的改变的差异。图11的右侧描绘的代表性向量计算目标区域800中的向量表示在分区组1101的对应向量和分区组1102的对应向量的基础上计算的差异向量的示例。
如果以这种方式确定的每个差异向量大于给定阈值,则会聚区域判定单元1003判定差异向量的方向。此外,如果可以认为差异向量的方向指向代表性向量计算目标区域800的中心(其表示塌陷改变),则会聚区域判定单元1003判定包括会聚区域(即,会聚区域判定单元1003检测到会聚区域)。此外,会聚区域判定单元1003判定两个分区组之间的边界位置,其中用于计算差异向量(用于判定包括会聚区域)的对应向量作为正常区域与会聚区域之间的边界位置而存在。
需要注意的是,从上文参照图11给出的描述可以明显看到,会聚区域判定单元1003首先使用从位于代表性向量计算目标区域800的最外侧的分区组1001提取的对应向量来确定差异向量。这是因为对应向量可以被估计为涉及基于呼吸和心脏搏动的位置变动的对应向量,其不受到基于肿瘤的改变的位置变动的影响。
此外,会聚区域判定单元1003计算相邻对应向量之间的差异。这是因为在相邻对应向量之间不存在基于呼吸和心脏搏动的位置变动的巨大差异,并且通过计算差异,能够消除基于呼吸和心脏搏动的位置变动的影响。换言之,可以认为通过计算相邻对应向量之间的差异而确定的差异向量(需要注意的是,差异向量的幅值等于或大于给定阈值)表示与基于肿瘤改变的位置变动量对应的对应向量。
需要注意的是,会聚区域判定单元1002判定差异向量的方向的原因在于,因为会聚区域中的对应向量具有指向肿瘤中心点O的属性,这对于识别(或检测)对应向量是基于肿瘤改变的位置变动而言是有效的。
现在,描述代表性向量计算单元1004的功能的具体示例。图12A和图12B描绘了示出在判定出存在会聚区域时代表性向量的计算方法的视图。
如果代表性向量计算目标区域800包括会聚区域702,则代表性向量计算单元1004确定除了存在于会聚区域702中的对应向量以外的、由代表性向量计算目标区域800计算的对应向量中的代表性向量。在图12A的示例中,代表性向量计算目标区域800计算出15个对应向量(由黑色箭头标记表示),并且代表性向量计算单元1004使用15个对应向量中的除了存在于会聚区域702中的4个对应向量以外的11个对应向量来计算代表性向量。
代表性向量1200表示使用11个对应向量计算的代表性向量。以这种方式,通过将存在于会聚区域702中的4个对应向量排除在外,能够确定不包括非刚性变形(即,基于肿瘤的改变(时间相关改变)的位置变动量)的影响的代表性向量。
图12B示出了通过使用代表性向量1200执行经由平行移动的变换过程来从比较目标CT图像中提取执行了局部定位的图像的方式。如图12B所示,第二注册单元142能够响应于代表性向量1200通过平行移动与比较源CT图像的给定区域401对应的比较目标CT图像中的区域801来确定对应区域402。此外,第二注册单元142能够通过从比较目标CT图像中提取对应区域402的图像来提取执行了局部定位的图像。
同时,图13A和图13B描绘了示出在判定出不存在会聚区域时的代表性向量的计算方法的视图。如果代表性向量计算目标区域800中不包括会聚区域702,则代表性向量计算单元1004使用由代表性向量计算目标区域800计算的对应向量来确定代表性向量。然而,肿瘤区域703中包括的对应向量被排除在外。需要注意的是,由于肿瘤区域703中不存在与特征点对应的对应点,因此不存在对应向量,并且因此计算得到的代表性向量是相同的,而不管肿瘤区域703中存在的对应向量是否被排除在外。
在图13A的示例中,在代表性向量计算目标区域800中计算出15个对应向量(由黑色箭头标记表示),并且代表性向量计算单元1004使用15个对应向量来计算代表性向量。代表性向量1300表示使用15个对应向量计算的代表性向量。通过这种方式,当代表性向量计算目标区域800中不包括会聚区域702时,由于不存在非刚性变形的影响,能够使用所有对应向量来计算代表性向量。
图13B示出了通过使用代表性向量1300执行经由平行移动的变换过程来从比较目标CT图像中提取执行了局部定位的图像的方式。如图13B所示,第二注册单元142能够响应于代表性向量1300通过平行移动与比较源CT图像的给定区域401对应的比较目标CT图像中的区域801来确定对应区域402。此外,第二注册单元142能够通过从比较目标CT图像提取对应区域402的图像来提取执行了局部定位的图像。
这里,描述了通过定位单元1005使用不受非刚性变形的影响的代表性向量1200而执行局部定位所获得的图像。图14是描绘通过使用去除了非刚性变形的影响的代表性向量而执行局部定位所获得的图像的视图。
需要注意的是,在图14的示例中,以互相重叠的关系描绘了通过定位单元1005使用排除了非刚性变形的影响的代表性向量1200执行局部定位所获得的对应区域402的图像1400和比较源CT图像的给定区域401的图像600。
如图14所示,图像1400中包括的血管1401至1403以及肿瘤F'的位置分别与图600中包括的血管601至603以及肿瘤F的位置基本相同。换言之,在图像1400中,去除了基于呼吸和心脏搏动的位置的变动。同时,位于肿瘤F'周围的血管1402和1402从位于肿瘤F周围的图像600中包括的血管601至603的位置发生移动。换言之,在图像1400中,保留了基于肿瘤的位置的变动的影响。
现在,描述对通过定位单元1005执行局部定位而获得的对应区域402的图像执行图像处理过程的图像处理器1006的功能的具体示例。图15A、图15B-1、图15B-2、图15C-1和图15C-2描绘了示出由图像处理器执行的图像处理过程的具体示例的视图。图15A示出了通过图像处理器1006计算给定区域401的图像600与对应区域402的图像1400的像素值之间的差异来可视化基于肿瘤的改变的组织变化的方式。
如图15A所示,对应区域402的图像1400中包括的肿瘤大于给定区域401的图像600中包括的肿瘤,并且由于组织的消失在肿瘤的内部产生空腔。
图像处理器1006计算给定区域401的图像600的像素的像素值与对应区域402的图像1400的像素的像素值之间的差异以生成差异图像1510,从而可视化图像600与图像1400之间的变化。
例如,图像处理器1006将差异图像1510的像素中差值为正并且大于给定阈值的像素判定为表示新出现的肿瘤的像素,并且给像素赋予颜色如红色。此外,图像处理器1006将差异图像1510的像素中差值为负并且小于给定阈值的像素确定为表示消失的组织的像素,并且给像素赋予颜色如蓝色。需要注意的是,在差异图像1510的像素中,将差值的绝对值等于或低于给定阈值的那些像素判定为没有改变的像素,并且不改变像素的颜色。
因此,如果医务工作人员观察差异图像1510,则医务工作人员能够容易地识别出基于肿瘤的改变的组织变化(出现、消失或无改变)。
图15B-1和15B-2示出了通过图像处理器1006显示表示基于肿瘤的改变的位置变动的向量来可视化基于肿瘤的改变的组织的移动方向和移动量的方式。
具体地,图15B-1示出了图像处理器1006获取由会聚区域判定单元1003计算的差异向量(例如,图11中示出的差异向量),并且在被叠加在图像1400上的半透明层上显示差异向量的方式。通过以这种方式在与图像1400重叠的关系下经由半透明层来显示差异向量,医务工作人员能够容易地识别出基于肿瘤的改变的肿瘤的移动方向和移动量。
同时,图15B-2示出了图像处理器1006获取由会聚区域判定单元1003计算的差异向量并且在图像1004上叠加在分区组1102的对应位置处被染色的半透明层的方式。需要注意的是,图像处理器1006使用与差异向量的幅值对应的阴影、在与差异向量对应的分区组1102的位置处对半透明层进行染色。例如,随着差异向量的幅值增大,使用更饱和的颜色来对对应位置处的分区进行染色,并且随着差异向量的幅值减小,使用较不饱和的颜色来对对应位置处的分区进行染色。
因此,医务工作人员能够在被染色的分区的位置处识别出基于肿瘤的改变发生了组织的移动。此外,医务工作人员能够基于颜色的饱和度来识别出基于肿瘤的改变的组织的移动量的幅度。
图15C-1和15C-2示出了由图像处理器1006在从会聚区域判定单元1003获取的差异向量的分布的基础上可视化基于肿瘤的改变的组织的改变的趋势的方式。其以以下方式示出:图像处理器1006计算从会聚区域判定单元1003获取的差异向量的每单位面积的数目,并且叠加根据图像1400上的差异向量的计算数目的饱和度在与会聚区域对应的区域中进行染色的半透明层。
因此,医务工作人员能够在所应用的颜色的饱和度的基础上识别出基于肿瘤的改变的组织变化的趋势(位置发生大量改变的组织的数目是大还是小)。图15C-1示出了由于与图15C-2相比,在与会聚区域702对应的区域中每单位面积的差异向量的数目较大,所以使用更饱和的颜色来对该区域进行染色的方式。
尽管通过图15C-1和15C-2中描绘的显示,能够容易地识别出差异向量集中在哪个位置,然而如果仅在可能患有腺癌的多个区域存在于彼此的附近的情况下才显示差异向量,则较不可能识别出差异向量集中在哪个位置处。
现在,描述由第二注册单元142执行的处理的流程。图16是由第二注册单元执行的处理的第一流程图。
在步骤S1601,区域识别单元1001在比较源CT图像上识别以医务工作人员指定的肿瘤F的位置为中心的给定区域(ROI)401。
在步骤S1602,对应向量计算单元1002从由区域识别单元1001识别的比较源CT图像的给定区域401提取特征点。此外,对应向量计算单元1002查找与所提取的特征点对应的比较目标CT图像中的特征点。
在步骤S1603,会聚区域判定单元1003提取包括从比较目标CT图像查找出的特征点的区域作为代表性向量计算目标区域800。
在步骤S1604,对应向量计算单元1002在从比较源CT图像提取的特征点的位置与对应于该特征点的比较目标CT图像中的特征点的位置之间的差异的基础上计算对应向量。
在步骤S1605,会聚区域判定单元1003在所计算的对应向量的基础上判定代表性向量计算目标区域800中是否包括会聚区域702。如果判定出包括会聚区域702,则会聚区域判定单元1003计算正常区域701与会聚区域702之间的边界位置。需要注意的是,在下文中描述步骤S1605的会聚区域判定过程的详细流程图。
在步骤S1606,代表性向量计算单元1004在会聚区域判定过程(步骤S1605)的结果的基础上判定是否包括会聚区域702。如果在步骤S1606判定出不包括会聚区域702,则处理前进至步骤S1607。在步骤S1607处,代表性向量计算单元1004和定位单元1005对除了腺癌以外的肿瘤执行局部定位过程。
另一方面,如果在步骤S1606判定出包括会聚区域702,则处理前进至步骤S1608。在步骤S1608,代表性向量计算单元1004和定位单元1005对腺癌执行局部定位过程。
需要注意的是,在下文中描述步骤S1607和S1608的局部定位过程的详细流程图。
在步骤S1609,图像处理器1006判定是否从医务工作人员接收到执行图像处理的指令。如果还没有接收到执行图像处理的指令,则处理前进至步骤S1611。在这种情况下,在步骤S1611,将通过在步骤S1607或步骤S1608执行的局部定位过程所获得的对应区域402的图像输出至显示控制器143。作为结果,显示控制器143使通过在步骤S1607或步骤S1608执行的局部定位过程所获得的对应区域402的图像(还没有执行图像处理的图像)以放大比例被显示在放大显示屏幕图像上。
另一方面,如果在步骤S1609判定出接收到了执行图像处理的指令,则处理前进至步骤S1610。在步骤S1610,图像处理器1006执行基于时间相关变化的图像处理过程。然后,处理前进至步骤S1611。
在这种情况下,在步骤S1611,将通过对经由执行局部定位过程(步骤S1608)获得的对应区域402的图像执行图像处理过程(步骤S1610)所获得的图像(包括半透明层)输出至显示控制器143。作为结果,图像控制器143使通过对经由在步骤S1608执行的局部定位过程获得的图像执行图像处理过程所获得的图像(包括半透明层)以放大比例被显示在放大显示屏幕图像上。注意,在下文中描述步骤S1610的基于时间相关变化的图像处理过程的详细流程图。
现在,描述会聚区域判定过程(步骤S1605)的细节。图7A至图7C是会聚区域判定过程的流程图。
在步骤S1701,会聚区域判定单元1003将代表性向量计算目标区域800从中心(肿瘤中心点O)到侧边划分成步长为ΔR的环形形状或矩形框形状。在步骤S1702,会聚区域判定单元1003将1代入计数器i。
在步骤S1703,会聚区域判定单元1003提取位于分区组的内侧(靠近肿瘤的一侧)的在(R-ΔR×(i-1))到(R-ΔR×i)的范围内的分区组和在(R-ΔR×i)到(R-ΔR×(i+1))的范围内的分区组。
在步骤S1704,会聚区域判定单元1003计算所提取的分区组中存在的对应向量的各相邻对应向量之间的差异,以确定差异向量。
在步骤S1705,会聚区域判定单元1003判定每个差异向量的幅值是否在阈值内。如果在步骤S1705判定出差异向量的幅值在阈值内,则处理前进至步骤S1706,在步骤1706,计数器i递增。
在步骤S1707,会聚区域判定单元1003判定是否满足i≥R/ΔR。如果判定出不满足不等式,则会聚区域判定单元1003判定分区组存在于较远的内侧(更靠近肿瘤的一侧)。然后,处理返回至步骤S1703。
另一方面,如果在步骤S1707判定出满足i≥R/ΔR,则会聚区域判定单元1003判定出关于所有分区组计算了差异向量。然后,处理前进至步骤S1708。
在步骤S1708,会聚区域判定单元1003判定出代表性向量计算目标区域800中不包括会聚区域702,并且结束会聚区域判定过程。
另一方面,如果在步骤S1705判定出差异向量的幅值大于阈值,则处理前进至步骤S1709。在步骤S1709,会聚区域判定单元1003判定出是否能够认为差异向量的方向指向代表性向量计算目标区域800的中心。
如果在步骤S1709判定出难以认为差异向量的方向指向中心,则处理前进至步骤S1706。另一方面,如果在步骤S1709判定能够认为差异向量的方向指向中心,则处理前进至步骤S1710。
在步骤S1710,会聚区域判定单元1003判定出代表性向量计算目标区域800中包括会聚区域702,并且处理前进至步骤S1711。在步骤S1711,会聚区域判定单元1003判定出距离代表性向量计算目标区域800的中心的距离等于(R-ΔR×i)的位置为正常区域701与会聚区域702之间的边界位置,由此结束会聚区域判定过程。
现在,描述局部定位过程(步骤S1607和S1608)的细节。图18A和图18B描绘了局部定位过程的流程图。
具体地,图18A是局部定位过程(针对非腺癌)的流程图。在步骤S1801,代表性向量计算单元1004对代表性向量计算目标区域800内的肿瘤区域703进行掩盖。
在步骤S1802,代表性向量计算单元1004使用代表性向量计算目标区域800中包括的对应向量中的除了在步骤S1801被掩盖的肿瘤区域703以外的区域中的对应向量来计算代表性向量。
在步骤S1803,定位单元1005使用计算得到的代表性向量来从比较目标CT图像提取对应于给定区域401的对应区域402的图像。因此,能够提取执行了局部定位的图像。
同时,图18B是局部定位(针对腺癌)的流程图。在步骤S1811,代表性向量计算单元1004对代表性向量计算目标区域800内的包括肿瘤区域703的会聚区域702进行掩盖。
在步骤S1812,代表性向量计算单元1004使用代表性向量计算目标区域800中包括的对应向量中除了在步骤S1811被掩盖的会聚区域702以外的区域中的对应向量来计算代表性向量。
在步骤S1813,定位单元1005使用计算得到的代表性向量来从比较目标CT图像中提取对应于给定区域401的对应区域402的图像1400。因此,能够提取执行了局部定位的图像。
通过这种方式,如果本实施方式中的第二注册单元142判定出差异向量的幅值在阈值内,并且讨论中的区域是正常区域701,则第二注册单元142使用分区的对应向量来计算代表性向量。此外,如果根据差异向量具有大于阈值的幅值并且还指向中心来判定出包括会聚区域702,则第二注册单元142使用与会聚区域702的分区相比分区远离肿瘤的对应向量来计算代表性向量。换言之,第二注册单元142使用与肿瘤区域间隔等于或大于阈值的位置中的特征点的对应向量来计算代表性向量。因此,由于能够计算排除非刚性变形的影响的代表性向量,因此能够提高局部定位的准确度。
现在,详细描述当对通过如上所述执行的局部定位而获得的对应区域402的图像1400执行基于时间相关变化的图像处理过程(步骤S1610)时的处理的流程。
图19是基于时间相关变量的图像处理过程的流程图。在步骤S1901,图像处理器1006判定是否要执行用于可视化组织的改变的图像处理。在并列显示屏幕图像300上,医务工作人员能够通过操作单元207来执行用于命令进行图像处理以可视化组织的改变的操作(第一操作)。因此,图像处理器1006判定医务工作人员是否执行了第一操作,以确定是否要执行用于可视化组织的改变的图像处理。
如果判定出医务工作人员还没有执行第一操作,则图像处理器1006使处理前进至步骤S1905。另一方面,如果判定出医务工作人员执行了第一操作,则图像处理器1006使处理前进至步骤S1902。
在步骤S1902,图像处理器1006计算比较源CT图像的给定区域401的图像600的每个像素值与比较目标CT图像的对应区域402的图像1400的对应像素值之间的差值,以生成差异图像1510。
在步骤S1903,图像处理器1006在所生成的差异图像1510中包括的像素的差值的基础上将差异图像1510分类为出现区域、消失区域或无改变区域。
在步骤S1904,图像处理器1006在步骤1903的分类的结果的基础上对比较目标CT图像的对应区域402的图像1400执行色彩转换。例如,图像处理器1006将与比较目标CT图像的对应区域402的图像1400的出现区域对应的像素转换为给定颜色(例如,红色)的像素。此外,图像处理器1006将与比较目标CT图像的对应区域402的图像1400的消失区域对应的像素转换为另一给定颜色(例如,蓝色)的像素。
在步骤S1905,图像处理器1006确定是否要执行用于可视化组织的移动方向和移动量的图像处理。医务工作人员能够通过操作单元207来在并列显示屏幕图像300上执行用于命令进行图像处理以可视化组织的移动方向和移动量的操作。因此,图像处理器1006判定医务工作人员是否执行了第二操作,以确定是否要执行用于可视化组织的移动方向和移动量的图像处理。
如果判定出医务工作人员还没有执行第二操作,则图像处理器1006使处理前进至步骤S1907。另一方面,如果判定出医务工作人员执行了第二操作,则图像处理器1006使处理前进至步骤S1906。
在步骤1906,图像处理器1006获取由会聚区域判定单元1003计算的差异向量。此外,图像处理器1006使所获取的差异向量的图像被显示在要被叠加在对应区域402的图像1400上的半透明层上。此外,图像处理器1006在对应区域402的图像1400上叠加显示有差异向量的半透明层。
在步骤S1907,图像处理器1006确定是否要执行用于可视化组织的改变的趋势的图像处理。医务工作人员能够通过操作单元207执行用于命令进行图像处理以在并列显示屏幕图像300上可视化组织的改变的趋势的操作(第三操作)。因此,图像处理器1006判定医务工作人员是否执行了第三操作以确定是否执行用于可视化组织的改变的趋势的图像处理。
如果判定医务工作人员没有执行第三操作,则图像处理器1006结束基于时间相关变化的图像处理过程。另一方面,如果判定医务工作人员执行了第三操作,则图像处理器1006使处理前进至步骤S1908。
在步骤S1908,图像处理器1006获取由会聚区域判定单元1003计算的差异向量。此外,图像处理器1006计算每单位面积所获取的差异向量的数目并且根据计算得到的数目来确定饱和度。
在步骤S1909,图像处理器1006基于所确定的饱和度、使用给定颜色来对要被叠加在对应区域402的图像1400上的半透明层上与会聚区域对应的区域进行染色。此外,图像处理器1006叠加与会聚区域对应的区域中被染色的半透明区域。此外,图像处理器1006在对应区域402的图像1400上叠加与会聚区域对应的区域中被染色的半透明区域。
从上面给出的描述可以明显看到,在本实施方式中,如果指定比较源CT图像中的包括肿瘤的给定区域的图像,则使用与会聚区域间隔开的对应向量在比较目标CT图像中执行经由平行移动的变换过程,以提取对应区域的图像。因此,能够执行去除了非刚性变形(基于肿瘤的改变(时间相关变化)的位置的变动量)的影响的高准确度的局部定位。
此外,在本实施方式中,对通过执行局部定位获得的对应区域的图像执行用于基于肿瘤的时间相关变化来可视化位置变动量的图像处理。
因此,即使在图像由于呼吸或心脏搏动的影响而发生变形的情况下,医务工作人员能够容易地判定在由于肿瘤而塌陷的肺泡的影响下发生会聚的位置。因此,能够减轻当医务工作人员根据比较目标CT图像来做出判定时的负担。
【第二实施方式】
上面描述的第一实施方式中的第二注册单元响应于由医务工作人员在比较源CT图像上指定肿瘤F的位置来确定给定区域401。相比之下,第二实施方式中的第二注册单元使用给定扫描宽度来依次扫描比较源CT图像以寻找给定尺寸的区域作为ROI候选,并且在扫描位置中的每个扫描位置处执行会聚区域判定过程。此外,第二实施方式中的第二注册单元将判定存在会聚区域的位置处的ROI候选确定为给定区域(ROI)401。以这种方式,在第二实施方式中,由于在关于是否存在会聚区域的判定结果的基础上确定给定区域(ROI)401,医务工作人员可以不执行用于在比较源CT图像上指定肿瘤F的过程。因此,能够减轻医务工作人员在诊断方面的负担。在下文中,主要结合第二实施方式与上文所描述的第一实施方式之间的差别来描述第二实施方式。
图20是示出图像处理设备中的诊断支持单元的处理内容、医务工作人员的操作内容和并列显示屏幕图像的显示内容之间的关系的视图。图20与结合第一实施方式描绘的图4(描绘全局定位之后的处理内容等的视图)对应。
如图20所示,当完成全局定位时,第二注册单元142从医务工作人员接收关于是否要执行图像处理的指令。此外,第二注册单元142使用给定扫描宽度来扫描比较源CT图像以寻找给定尺寸的ROI候选2001,并且在扫描位置中的每个扫描位置处执行会聚区域判定过程(步骤S1605)。然后,第二注册单元142将由判定存在会聚区域的位置处的ROI候选2001指定的区域确定为给定区域(ROI)401。
在确定给定区域(ROI)401之后,第二注册单元142在所确定的给定区域(ROI)401的图像的基础上对比较目标CT图像执行局部定位过程(步骤S1608)。因此,第二注册单元142提取包括与肿瘤F对应的肿瘤F'的位置的对应区域402的图像(执行了局部定位的图像)。
此外,第二注册单元142基于时间相关变化来对通过执行局部定位所获得的对应区域402的图像执行图像处理过程(步骤S1610)。此外,第二注册单元142向显示控制器143通知在比较源CT图像中确定的给定区域(401)的图像和从比较目标CT图像提取的对应区域402的图像(在处理了图像的情况下,处理后的图像)。
显示控制器143使从第二注册单元142通知的给定区域(ROI)401的图像以放大的比例被显示在比较源CT图像上的放大显示屏幕图像上。此外,显示控制器143使从第二注册单元142通知的对应区域402的图像以放大的比例显示在比较目标CT图像的放大显示屏幕图像上。因此,执行了图像处理的图像被显示在通过执行局部定位而获得的对应区域402的图像上。
现在,描述第二实施方式中第二注册单元142的处理的流程。图21是由第二注册单元执行的处理的第二流程图。需要注意的是,在图21中描绘的流程图所包括的步骤中,通过相似的参考标记来表示与上文参照图16描述的第一实施方式的流程图中包括的步骤相似的步骤,并且在本文中省略这些步骤的重复描述。
在步骤S2101,区域识别单元1001读出具有预先确定的尺寸的ROI候选2001,并且将ROI候选2001设置到比较源CT图像的给定区域。这里,区域识别单元1001将ROI候选2001设置到比较源CT图像的扫描开始位置(比较源CT图像的左上角位置)。
在步骤S1602至S1605,在由步骤S2101设置的位置处的ROI候选2001指定的区域的图像的基础上来判定是否存在会聚区域。
如果作为步骤S1602至S1605的过程的结果,在步骤S2102判定不存在会聚区域,则代表性向量计算单元1004使处理前进至步骤S2105。
在步骤S2105,区域识别单元1001判定ROI候选2001是否位于比较源CT图像的末端位置(比较源CT图像的右下角)处。如果在步骤S2104判定不存在末端位置,则处理返回至步骤S2101。
在这种情况下,区域识别单元1001将ROI候选2001设置到比较源CT图像上移动给定扫描宽度的位置。然后,区域识别单元1001执行步骤S1601至S1605的过程。
通过这种方式,本实施方式中的第二注册单元142通过判定是否存在会聚区域同时在比较源CT图像上使用给定扫描宽度扫描给定尺寸的ROI候选来查找给定区域(ROI)401。
如果作为步骤S1602至S1605的过程的结果判定出存在会聚区域,则代表性向量计算单元1004使处理从步骤S2102前进至步骤S2103。
在步骤S2103,区域识别单元1001将判定存在会聚区域的位置处的ROI候选2001确定为给定区域(ROI)401。
在步骤S1608,在步骤S2104确定的给定区域(ROI)401的图像的基础上执行局部定位过程。此外,如果在步骤S1609判定要执行图像处理过程,则在步骤1610执行图像处理过程。然后,将给定区域(ROI)401的图像和关于对应区域的执行了图像处理过程的图像(包括半透明层)输出至显示控制器143。然后,处理前进至步骤S2104。
在步骤S2104处,区域识别单元1001判定是否从显示控制器143接收到针对下一个ROI的显示指令。需要注意的是,医务工作人员能够操作操作单元207在并列显示屏幕图像300上发出前进至下一个ROI的指令。如果医务工作人员执行了发出前进至下一个ROI的指令的操作,则显示控制器143向区域识别单元1001通知该指令。
如果在步骤S2104判定接收到下一个ROI的显示指令,则处理前进至步骤S2105。另一方面,如果判定没有接收到下一个ROI的显示指令,则第二注册单元142的处理结束。
通过这种方式,本实施方式中的第二注册单元142使用给定尺寸的ROI候选、利用给定扫描宽度来扫描比较源CT图像。然后,第二注册单元142将在判定存在会聚区域的位置处指定的区域确定为给定区域(ROI),并且在给定区域的图像的基础上对给定区域(ROI)执行局部定位处理,并且然后提取对应区域的图像以执行图像处理过程。
因此,医务工作人员可以不执行用于在比较源CT图像上指定肿瘤F的过程,并且能够减轻对医务工作人员在诊断方面的负担。
【第三实施方式】
第二实施方式中的第二注册单元通过使用给定扫描宽度扫描比较源CT图像上的给定尺寸的ROI候选来确定给定区域(ROI)401。
相比之下,第三实施方式中的第二注册单元在连续改变比较源CT图像上待被扫描的ROI候选的尺寸和扫描宽度的同时确定给定区域(ROI)401。需要注意的是,第三实施方式中的第二注册单元在使用每个扫描宽度扫描每个ROI候选时,从判定存在会聚区域的位置所指定的区域中将例如差异向量的数目等于或大于给定阈值的区域确定为给定区域(ROI)401。以这种方式,通过第三实施方式,能够通过扫描同时连续改变ROI候选的尺寸和扫描宽度来确定最优给定区域(ROI)。在下文中,主要描述第三实施方式与上述第二实施方式的差别。
图22描绘了示出使用ROI候选来扫描比较源CT图像以确定ROI的过程的视图。图22A-1示出了第二注册单元142扫描比较源CT图像的ROI候选2001_1的方式。需要注意的是,在本实施方式中,图像处理设备120将多个ROI候选存储在辅助存储单元204中,并且第二注册单元142连续读出ROI候选并且在比较源CT图像上执行ROI候选的扫描。图22A-1表示首先读出ROI候选2001_1。
图22A-2表示作为ROI候选2001_1的扫描结果,判定出:在给定位置处存在会聚区域,并且由位置指定的区域被判定为给定区域(ROI)401_1。此外,图22A-3表示作为ROI候选2001_1的扫描结果,判定出:在与给定区域401_1的位置不同的位置处存在会聚区域,并且由位置指定的区域被判定为给定区域(ROI)401_2。
同时,图22A-4表示在完成ROI候选2001_1的扫描之后,第二注册单元142读出尺寸与ROI候选2001_1的尺寸不同的ROI候选2001_2。第二注册单元142使用新读出的ROI候选2001_2来执行比较源CT图像的扫描。
图22A-5表示作为ROI候选2001_2的扫描的结果,判定出:在给定位置处存在会聚区域,并且判定出由位置指定的区域是给定区域2201_1。此外,图22A-6表示作为ROI候选2001_2的扫描的结果,判定出:在与给定区域2201_1的位置不同的位置处存在会聚区域,并且由位置指定的区域被判定为给定区域(ROI)2201_2。
以这种方式,通过执行各个ROI候选(2001_1、2001_2、...)的扫描,多个区域(401_1、401_2、2201_1、2201_2、...)被判定为给定区域(ROI)。需要注意的是,尽管在图22的示例的描述中,没有提及扫描宽度的改变,然而在执行ROI候选(2001_1、2001_2、...)的扫描时,在改变扫描宽度的情况下执行扫描。
第二注册单元142从均被判定为ROI的多个区域(401_1、401_2、2201_1、2201_2、...)中确定满足给定条件的区域为ROI。
图22B的示例示出了多个区域(401_1、401_2、2201_1、2201_2、...)中的给定区域401_1和2201_1被确定为ROI的方式。因此,本实施方式中的第二注册单元142能够将最优位置处的具有最优尺寸的区域确定为ROI。
现在,描述第三实施方式中的第二注册单元142的处理流程。图23和图24是第二注册单元执行的处理的第三流程图。
在步骤S2301,区域识别单元1001设置ROI候选的尺寸和扫描宽度的初始值,并且从辅助存储单元204中读出具有设定尺寸和扫描宽度的ROI候选。
在步骤S2101,区域识别单元1001将在步骤S2301读出的ROI候选设置为比较源CT图像的扫描开始位置,
在步骤S1602至S1605,在由在步骤S2101设置的位置处的ROI候选2001所指定的区域的图像的基础上判定是否存在会聚区域。
如果作为步骤S1602至S1605的过程的结果,代表性向量计算单元1004在步骤S2102判定出不存在会聚区域,则处理前进至步骤S2104。
在步骤S2104,区域识别单元1001判定在比较源CT图像的末端位置处(比较源CT图像的右下端位置处)是否存在ROI候选。如果在步骤S2104判定在末端位置处不存在ROI候选,则处理返回至S2101。
在这种情况下,区域识别单元1001将ROI候选2001设置到比较源CT图像上移动给定扫描宽度(这里为等于其初始值的扫描宽度)的位置并且然后再次执行步骤S1602至S1605的过程。
另一方面,如果作为步骤S1602至S1605的过程的结果判定出存在会聚区域,则代表性向量计算单元1004使处理从步骤S2102前进至步骤S2302。
在步骤S2302,区域识别单元1001对由判定存在会聚区域的位置所指定的区域中的差异向量的数目进行计数,并且判定差异向量的数目是否等于或大于给定阈值。
如果在步骤S2302判定差异向量的数目等于或大于给定阈值,则区域识别单元1001将由当前位置处的ROI候选指定的区域判定为给定区域(ROI)。然后,处理前进至步骤S2303。
在步骤S2303,区域识别单元1001将由当前位置处的ROI候选指定的区域保留为给定区域(ROI)。
另一方面,如果在步骤S2302判定差异向量的数目小于给定阈值,则区域识别单元1001不将由当前位置处的ROI候选指定的区域判定为给定区域(ROI)。然后,处理直接前进至步骤S2104。
需要注意的是,由于当在步骤S2104判定出ROI候选不在比较源CT图像的末端位置处时的过程是如上所述的过程,因此这里给出ROI候选在比较源CT图像的末端位置处的情况的描述。
如果在步骤S2104判定ROI候选在比较源CT图像的末端位置处,则处理前进至步骤S2304。在步骤S2304,区域识别单元1001判定是否使用所有扫描宽度对辅助存储单元204中存储的所有多个ROI候选执行了步骤S2101至步骤S2104的过程。
如果在步骤S2304判定仍存在没有执行步骤S2101至步骤S2104的过程的ROI候选,则处理前进至步骤S2305。替选地,如果在步骤S2304判定仍存在在过程中没有使用的扫描宽度,则处理前进至步骤S2305。
在步骤S2305中,区域识别单元1001从辅助存储单元204中存储的多个ROI候选中读出还没有执行步骤S2101至步骤S2104的过程的ROI候选,并且然后处理返回至步骤S2101。替选地,区域识别单元1001设置没有用于过程的扫描宽度,并且然后使处理返回至步骤S2101。
在这种情况下,区域识别单元1001将在步骤S2305新读出的ROI候选设置到比较源CT图像的扫描开始位置。替选地,区域识别单元1001使用在步骤S2305设置的扫描宽度将当前读出的ROI候选设置到比较源CT图像的扫描开始位置。
另一方面,如果在步骤S2304判定出区域识别单元1001使用所有扫描宽度对辅助存储单元204中存储的所有多个ROI候选执行了步骤S2101至步骤S2104的过程,则处理前进至步骤S2401。
在图24的步骤S2401,区域识别单元1001将1代入ROI计数器N。需要注意的是,ROI计数器是用于对在步骤S2303处保留的ROI的数目(每个被判定为给定区域(ROI)的区域)进行计数的计数器。
在步骤S2402,区域识别单元1001从在步骤S2303保留的ROI中读出第N个给定区域(ROI)的图像。这里,读出第一个给定区域(ROI)中的图像。
在步骤S1608,代表性向量计算单元1004和定位单元1005执行腺癌的局部定位过程。此外,如果在步骤S1609判定要执行图像处理过程,则在步骤S1610执行图像处理过程。然后,将第N个给定区域(ROI)中的图像和通过对对应区域402中的图像执行图像处理过程而获得的图像(包括半透明层)输出至显示控制器143,之后处理前进至步骤S2403。
因此,显示控制器143使第N个给定区域(ROI)401的图像在并列显示屏幕图像300的比较源CT图像上以放大的比例被显示,并且使通过对对应区域402的图像执行图像处理过程而获得的图像(包括半透明层)在比较目标CT图像上以放大的比例被显示。
在步骤S2403,区域识别单元1001判定是否从显示控制器143接收到下一个ROI的显示指令。需要注意的是,在并列显示屏幕图像300上,医务工作人员能够通过操作单元207来执行用于命令前进至下一个ROI的操作。接着,如果医务工作人员执行用于命令前进至下一个ROI的操作,则显示控制器143向区域识别单元1001通知该命令。
如果在步骤S2403判定接收到下一个ROI的显示指令,则处理前进至步骤S2404。
区域识别单元1001在步骤S2404计算ROI计数器N=N+1,并且然后使处理返回至步骤S2402,在步骤S2402,其读出第N给定区域(ROI)的图像。这里,读出第二给定区域(ROI)的图像。
以这种方式,在步骤S2402只S2404,根据来自医务工作人员的指令基于在步骤S2303保留的ROI的图像来依次执行局部定位过程和图像处理过程。因此,在并列显示屏幕图像300上以放大的比例依次显示给定区域401的图像和通过对对应区域402的图像执行图像处理过程而获得的图像。
另一方面,如果在步骤S2403判定没有接收到下一个ROI的显示指令,则结束第二注册单元142的处理。
如上所述,本实施方式中的第二注册单元142执行扫描,同时在比较源CT图像上依次改变ROI候选的尺寸和扫描宽度。此外,本实施方式中的第二注册单元142将判定存在会聚区域的位置中满足给定条件的位置处指定的区域确定为给定区域(ROI)。
因此,医务工作人员可以不再执行在比较源CT图像上指定肿瘤F的过程,因此,能够减轻医务工作人员在诊断方面的负担,并且在诊断时能够确定光学ROI。
【第四实施方式】
根据第一实施方式至第三实施方式的图像处理设备被描述为以下设备:其在并列显示屏幕图像上以放大比例显示由第二注册单元执行了图像处理过程的对应区域的图像(包括半透明层)。
相比之下,当要在并列显示屏幕图像上以放大比例显示由第二注册单元执行了图像处理过程的对应区域的图像(包括半透明层)时,第四实施方式中的图像处理设备响应于医务工作人员的操作来改变显示模式。
这是因为通过第二注册单元的图像处理过程,多个层被叠加在对应区域中的图像上,并且存在这样的可能性:医务工作人员变得较不容易观察对应区域的图像。在下文中,主要描述第四实施方式与上文所描述的第一实施方式之间的差别。
图25是示出图像处理设备的诊断支持单元的处理内容、医务工作人员的操作内容和并列显示屏幕图像的显示内容之间的关系的视图。图像25对应于结合上文所描述的第一实施方式而示出的图4(示出全局定位之后的处理内容等的视图)。
如图25所示,如果医务工作人员在所显示的比较源CT图像上指定肿瘤F的位置,然后在关于比较源CT图像的放大显示屏幕图像上以放大的比例显示给定区域(ROI)401的图像。此外,在比较目标CT图像上,在关于通过执行局部定位过程获得的对应区域402的图像的放大显示屏幕图像上以放大的比例显示执行了图像处理过程的图像(包括半透明层)。
如果医务工作人员使用指示器2501来对在关于比较目标CT图像的放大屏幕图像上以放大的比例所显示的图像执行各种操作,则显示控制器143响应于医务工作人员的各种操作改变在关于比较目标CT图像的放大屏幕图像上以放大的比例所显示的图像的显示模式。
图26描绘了由显示控制器来改变放大显示屏幕的图像的显示模式的方式的视图。图26(a)示出了在对应区域402的图像1400上叠加在显示有差异向量的透明层,并且进一步叠加在与差异向量的位置对应的位置处的分区组1102处的被染色的另一半透明层。
图26(b)示出了医务工作人员朝向叠加有多个半透明层的对应区域402的图像1400移动指示器2501的方式。
图26(c)示出了当医务工作人员朝向图像1400的中心移动指示器2501时,在显示有差异向量的半透明层上,所显示的差异向量退回到会聚区域外侧的方式。此外,在与差异向量的位置对应的位置处的分区组1102处被染色的半透明层上,被染色的分区组1102退回到会聚区域外侧。
如图26(c)所示,显示控制器143在半透明层上移动所显示的差异向量使得差异向量的位置从图26(b)中描绘的位置移动到从向量的远端集中的位置观察时的外侧。此外,显示控制器143将被染色的分区组1102移动到较小的位置。
因此,在对应区域402的图像1400的会聚区域上没有叠加显示有差异向量并且被染色的分区组1102,并且因此,有助于医务工作人员观察会聚区域。需要注意的是,如果医务工作人员移动指示器2501远离图像1400,则退回到会聚区域的外侧的被显示的差异向量返回到如图26(a)所示的原始位置。此外,退回到会聚区域外侧的分区组1102返回至原始位置。
需要注意的是,当在半透明层上将所显示的差异向量移动至会聚区域的外侧时,显示控制器143可以将差异向量的颜色改变成与移动前的差异向量的显示颜色不同的显示颜色。类似地,当在半透明层上将与差异向量的位置对应的位置处的分区组1102移动至会聚区域的外侧时,显示控制器143可以改变颜色使得移动前的颜色与移动后的颜色彼此不同。
需要注意的是,在图26的示例中,描述了响应于指示器2501的位置来移动被显示的差异向量(或被染色的分区组1102)的情况。然而,被显示的差异向量的移动不限于此。例如,在指示器2501用于发出显示进一步放大的图像的指令的情况下,可以在放大显示的中心保留在会聚区域内的条件下移动被显示的差异向量(或被染色的分区组1102)。
现在,描述在本实施方式中由显示控制器143执行的处理的流程。图27是由显示控制器执行的处理的流程图。
在步骤S2701,显示控制器143判定对应区域402的图像1400上是否叠加了显示差异向量(或被染色的分区组1102)的层。如果在步骤S2701判定没有叠加显示差异向量(或被染色的分区组1102)的层,则处理前进至步骤S2708。
另一放弃,如果在步骤2701判定叠加了显示差异向量(或被染色的分区组1102)的层,则处理前进至步骤S2702。在步骤S2702,显示控制器143计算对应区域402的图像1400上的会聚区域中的差异向量的密度。例如,显示控制器143获取由会聚区域判定单元1003计算的会聚区域的范围和会聚区域中包括的差异向量的数目。此外,显示控制器143在所获得的会聚区域的范围和所获得的差异向量的数目的基础上计算会聚区域中差异向量的密度(根据汇聚区域中叠加的差异向量的数目计算的“重叠比率”)。
在步骤S2703,显示控制器143判定在步骤S2702计算的密度是否高于给定阈值(给定比率)。如果在步骤S2703判定出密度等于或低于给定阈值,则处理前进至步骤S2708。
另一方面,如果在步骤S2703判定密度高于给定阈值(即,数目大于给定比率的差异向量被放置在小于给定范围的区域中),则处理前进至步骤S2704。在步骤S2704,显示控制器143判定指示器2501是否进入对应区域402的图像1400。
如果在步骤S2704判定指示器2501进入对应区域402的图像1400,则处理前进至步骤S2706。在步骤S2706,显示控制器143使图像1400上叠加的层上的显示(差异向量或被染色的分区组1102)退回到会聚区域的外侧一次。
另一方面,如果在步骤S2704判定指示器2501没有进入会聚区域,则处理前进至步骤S2705。在步骤S2705,当医务工作人员使用指示器2501来命令以进一步增大的比例进行图像1400的显示时,显示控制器143判定放大显示的中心是否在会聚区域内。
如果在步骤S2705判定放大显示的中心在会聚区域内,则处理前进至步骤S2706。另一方面,如果在步骤S2705判定放大显示的中心不在会聚区域内,则处理前进至步骤S2707。
在步骤S2707,如果对应区域402的图像1400上叠加的层上的显示退回到会聚区域的外侧,则显示控制器143使显示返回至其原始显示位置。需要注意的是,如果图像1400上叠加的层上的显示不退回到会聚区域的外侧(在原始显示位置上显示的情况下),则显示控制器143保持当前显示位置。
在步骤S2708,显示控制器143判定是否要结束正在被执行的处理。需要注意的是,要结束正在被执行的处理的情况是当前显示的对应区域402的图像1400的显示结束的情况。当前显示的对应区域402的图像1400的显示的情况是例如,指定与当前显示的给定区域不同的给定区域的情况,显示与当前显示的比较源CT图像不同的比较源CT图像的另一情况等。
如果在步骤S2708判定不结束正在被执行的处理,则处理返回至步骤S2701。另一方面,如果在步骤S2708判定结束正在被执行的处理,则处理结束。
如上所述,在本实施方式的显示控制器143中,对应区域的图像上叠加的层上的显示响应于医务工作人员的指示器操作而被移动至会聚区域的外侧。因此,医务工作人员能够降低在对应区域的图像上观察会聚区域(待诊断部分)的难度。
【第五实施方式】
在上文所描述的第一实施方式中,图像处理器1006在计算得到的差异向量的分布(每单位面积差异向量的数目)的基础上可视化基于肿瘤的改变的组织变化的趋势。然而,用于可视化组织变化的趋势的方法不限于此。可以在计算得到的差异向量的幅值和经过时间的基础上计算并可视化组织的变化速度。
此外,在上文所描述的第三实施方式中,第二注册单元142将判定出存在会聚区域的区域中差异向量的数目等于或大于给定阈值的区域确定为ROI。然而,ROI的确定方法不限于此。如果任何其他确定方法能够将组织的会聚程度为高的区域确定为ROI,则可以使用该方法。
此外,在上文所描述的第三实施方式中,在比较源CT图像上确定了所有ROI之后执行图像处理过程。然而,还可以在每次确定了ROI时执行图像处理过程。
此外,在上文所描述的第一实施方式至第四实施方式中,在放大的显示屏幕图像上以放大比例显示给定区域(ROI)的图像。然而,可以在比较源CT图像上以类似于放大镜视图的方式以放大比例显示给定区域(ROI)的图像。
此外,在上文所描述的第一实施方式至第四实施方式中,在完成全局定位之后接收针对图像处理的指令。然而,还可以在显示对应图像的图像之后接收针对图像处理的指令。
此外,在上文所描述的第一实施方式至第四实施方式中,显示CT图像。然而,本文中所公开的实施方式还可以应用于显示除了CT图像以外的医学图像(例如,磁共振成像(MRI)图像)的情形。
需要注意的是,本文中公开的实施方式不限于上文结合实施方式描述的配置,并且配置可以具有与其结合的一些其他元素。在不偏离本实施方式的精神和范围的情况下能够以各种方式修改实施方式的配置,并且能够根据形成实施方式的配置的应用形式来适当应用实施方式的配置。
参考标记列表
100:CT成像系统,110:CT设备
120:图像处理设备
130:图像DB
140:诊断支持单元
141:第一注册单元
142:第二注册单元
143:显示控制器
300:并列显示屏幕图像
401:给定区域
402:对应区域
701:正常区域
702:会聚区域
703:肿瘤区域
810:代表性向量
1001:区域识别单元
1002:对应向量计算单元
1003:会聚区域判定单元
1004:代表性向量计算单元
1005:定位单元
1006:图像处理器
1200:代表性向量
1300:代表性向量

Claims (7)

1.一种用于图像处理的方法,包括:
基于在不同时刻扫描的胸腔的多个图像来检测肺的改变,其中所述肺的改变表示所述肺的每个部分的每个位置朝向所述肺的指定位置改变,以及
输出所述肺的改变。
2.根据权利要求1所述的方法,其中,在显示装置上显示所述肺的改变。
3.根据权利要求2所述的方法,其中,以与所述肺的其他部分不同的方式在所述显示装置上显示所述指定位置。
4.根据权利要求1所述的方法,其中,表示所述肺的改变的指定向量中的每个指定向量被显示成叠加在所述胸腔的图像上。
5.根据权利要求4所述的方法,其中,从所述指定向量中排除表示由呼吸和心脏搏动造成的所述肺的改变的向量。
6.根据权利要求1所述的方法,其中,所述肺的改变表示所述肺的塌陷的每个部分的每个位置朝向所述肺的指定位置改变。
7.一种用于图像处理的设备,包括:
检测单元,被配置成基于在不同时刻扫描的胸腔的多个图像来检测肺的改变,所述肺的改变表示所述肺的每个部分的每个位置朝向所述肺的指定位置改变;以及
输出单元,被配置成输出所述肺的改变。
CN201610580655.XA 2015-07-24 2016-07-21 用于图像处理的设备和方法 Active CN106384342B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-147040 2015-07-24
JP2015147040A JP6565422B2 (ja) 2015-07-24 2015-07-24 画像処理プログラム、画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN106384342A true CN106384342A (zh) 2017-02-08
CN106384342B CN106384342B (zh) 2019-10-25

Family

ID=57837203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610580655.XA Active CN106384342B (zh) 2015-07-24 2016-07-21 用于图像处理的设备和方法

Country Status (3)

Country Link
US (1) US10039514B2 (zh)
JP (1) JP6565422B2 (zh)
CN (1) CN106384342B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436236A (zh) * 2020-06-27 2021-09-24 上海联影医疗科技股份有限公司 一种图像处理方法和系统
CN114813798A (zh) * 2022-05-18 2022-07-29 中国工程物理研究院化工材料研究所 用于表征材料内部结构及成分的ct检测装置和成像方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195272B2 (en) * 2018-08-21 2021-12-07 Canon Medical Systems Corporation Medical image processing apparatus, medical image processing system, and medical image processing method
NL2021559B1 (en) * 2018-09-04 2020-04-30 Aidence B V Determination of a growth rate of an object in 3D data sets using deep learning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101790748A (zh) * 2007-06-19 2010-07-28 爱克发医疗保健公司 对3d数字医学图像中的解剖实体进行分割的方法
CN102300503A (zh) * 2009-01-30 2011-12-28 皇家飞利浦电子股份有限公司 用于提供肺通气信息的系统
CN102429679A (zh) * 2011-09-09 2012-05-02 华南理工大学 基于胸部ct图像的肺气肿计算机辅助诊断系统
CN102727235A (zh) * 2011-03-29 2012-10-17 株式会社东芝 X 射线ct 装置以及图像处理方法
US20120288173A1 (en) * 2011-05-13 2012-11-15 Broncus Technologies, Inc. Surgical assistance planning method using lung motion analysis
CN103479375A (zh) * 2012-06-11 2014-01-01 柯尼卡美能达株式会社 胸部诊断辅助信息生成方法及系统以及动态图像处理装置
US20150150482A1 (en) * 2012-04-17 2015-06-04 Monash University Method and system for imaging

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08103439A (ja) 1994-10-04 1996-04-23 Konica Corp 画像の位置合わせ処理装置及び画像間処理装置
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
JP4421203B2 (ja) 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置
JP4493408B2 (ja) * 2003-06-06 2010-06-30 富士フイルム株式会社 画像読影支援方法及び装置並びにプログラム
JP2006325937A (ja) * 2005-05-26 2006-12-07 Fujifilm Holdings Corp 画像判定装置、画像判定方法およびそのプログラム
JP2007330419A (ja) * 2006-06-14 2007-12-27 Fujifilm Corp 画像表示装置および方法並びにプログラム
WO2009132002A1 (en) * 2008-04-21 2009-10-29 University Of South Florida Method and apparatus for pulmonary ventilation imaging using local volume changes
US9025849B2 (en) * 2009-09-16 2015-05-05 Monash University Partical image velocimetry suitable for X-ray projection imaging
US9036887B2 (en) * 2009-09-16 2015-05-19 Monash University Particle image velocimetry suitable for X-ray projection imaging
JP2011161220A (ja) * 2010-01-14 2011-08-25 Toshiba Corp 画像処理装置、x線コンピュータ断層撮像装置及び画像処理プログラム
CN102821685B (zh) * 2010-02-16 2016-08-03 杜克大学 用于使用全氟气体混合物的肺活体内磁共振成像的系统、方法、组成和设备
US10529121B2 (en) * 2010-10-07 2020-01-07 H. Lee Moffitt Cancer Center And Research Institute, Inc. Method and apparatus for use of function-function surfaces and higher-order structures as a tool
US8675944B2 (en) 2012-01-12 2014-03-18 Kabushiki Kaisha Toshiba Method of registering image data
US8655040B2 (en) * 2012-03-01 2014-02-18 Empire Technology Development Llc Integrated image registration and motion estimation for medical imaging applications
JP6532206B2 (ja) * 2014-10-01 2019-06-19 キヤノン株式会社 医用画像処理装置、医用画像処理方法
US10517509B2 (en) * 2016-08-30 2019-12-31 Universitatsspital Basel Assessment of the lung parenchyma by means of magnetic resonance images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101790748A (zh) * 2007-06-19 2010-07-28 爱克发医疗保健公司 对3d数字医学图像中的解剖实体进行分割的方法
CN102300503A (zh) * 2009-01-30 2011-12-28 皇家飞利浦电子股份有限公司 用于提供肺通气信息的系统
CN102727235A (zh) * 2011-03-29 2012-10-17 株式会社东芝 X 射线ct 装置以及图像处理方法
US20120288173A1 (en) * 2011-05-13 2012-11-15 Broncus Technologies, Inc. Surgical assistance planning method using lung motion analysis
CN102429679A (zh) * 2011-09-09 2012-05-02 华南理工大学 基于胸部ct图像的肺气肿计算机辅助诊断系统
US20150150482A1 (en) * 2012-04-17 2015-06-04 Monash University Method and system for imaging
CN103479375A (zh) * 2012-06-11 2014-01-01 柯尼卡美能达株式会社 胸部诊断辅助信息生成方法及系统以及动态图像处理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436236A (zh) * 2020-06-27 2021-09-24 上海联影医疗科技股份有限公司 一种图像处理方法和系统
CN113436236B (zh) * 2020-06-27 2023-04-18 上海联影医疗科技股份有限公司 一种图像处理方法和系统
CN114813798A (zh) * 2022-05-18 2022-07-29 中国工程物理研究院化工材料研究所 用于表征材料内部结构及成分的ct检测装置和成像方法
CN114813798B (zh) * 2022-05-18 2023-07-07 中国工程物理研究院化工材料研究所 用于表征材料内部结构及成分的ct检测装置和成像方法

Also Published As

Publication number Publication date
JP6565422B2 (ja) 2019-08-28
JP2017023551A (ja) 2017-02-02
CN106384342B (zh) 2019-10-25
US20170024884A1 (en) 2017-01-26
US10039514B2 (en) 2018-08-07

Similar Documents

Publication Publication Date Title
CN106384342A (zh) 用于图像处理的计算机可读存储介质、设备和方法
USRE47609E1 (en) System for detecting bone cancer metastases
US11030748B2 (en) Automatic CT detection and visualization of active bleeding and blood extravasation
CN109994199A (zh) 基于计算机的诊断系统
CN105096310B (zh) 利用多通道特征在磁共振图像中分割肝脏的方法和系统
CN106108925A (zh) 用于医学图像数据中全身骨移除和血管可视化的方法和系统
US20110144480A1 (en) Stent marker detection using a learning based classifier in medical imaging
US20100067764A1 (en) Method and System for Automatic Landmark Detection Using Discriminative Joint Context
WO2006118100A1 (ja) 画像表示装置及びプログラム
CN105074775A (zh) 医学图像的配准
CN107169919A (zh) 用于3d医学体积的加速读取的方法和系统
CN101744633B (zh) 图像显示装置及x射线ct装置
CN109241881A (zh) 一种人体姿态估计方法
CN113538471B (zh) 斑块的分割方法、装置、计算机设备和存储介质
US20170227620A1 (en) Image processing device and mri apparatus
US20120069017A1 (en) Method and System for Efficient Extraction of a Silhouette of a 3D Mesh
CN109740602A (zh) 肺动脉期血管提取方法及系统
JP2010057795A (ja) 画像表示装置およびプログラム
CN110619621A (zh) 识别图像中肋骨区域的方法、装置、电子设备和存储介质
EP4156090A1 (en) Automatic analysis of 2d medical image data with an additional object
Deza et al. Assessment of faster r-cnn in man-machine collaborative search
CN110555850A (zh) 识别图像中肋骨区域的方法、装置、电子设备和存储介质
JP6479671B2 (ja) 画像処理装置
CN114159083A (zh) 一种基于深度树模型的冠状动脉自动解剖标注方法及系统
US20170178378A1 (en) Silhouette display for visual assessment of calcified rib-cartilage joints

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant