CN116205846A - 医用图像处理装置、方法以及存储介质 - Google Patents
医用图像处理装置、方法以及存储介质 Download PDFInfo
- Publication number
- CN116205846A CN116205846A CN202211483486.XA CN202211483486A CN116205846A CN 116205846 A CN116205846 A CN 116205846A CN 202211483486 A CN202211483486 A CN 202211483486A CN 116205846 A CN116205846 A CN 116205846A
- Authority
- CN
- China
- Prior art keywords
- medical image
- image data
- weight
- function
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004458 analytical method Methods 0.000 claims abstract description 94
- 230000005484 gravity Effects 0.000 claims abstract description 72
- 230000000694 effects Effects 0.000 claims abstract description 56
- 238000000605 extraction Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000010191 image analysis Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 228
- 210000004072 lung Anatomy 0.000 description 52
- 238000011976 chest X-ray Methods 0.000 description 43
- 239000000284 extract Substances 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 210000000779 thoracic wall Anatomy 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000002603 single-photon emission computed tomography Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000001370 mediastinum Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000005823 lung abnormality Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本说明书以及附图中公开的实施方式涉及医用图像处理装置、方法以及存储介质。上述医用图像处理装置、方法以及存储介质即使在对产生由重力效应引起的伪影的可能性较高的医用图像数据进行解析的情况下,也能够进行适当的解析。实施方式的医用图像处理装置具备取得部、识别部、第一设定部、以及解析部。取得部取得成为解析对象的医用图像数据。识别部识别与上述医用图像数据相对的重力方向。第一设定部基于上述重力方向,对构成上述医用图像数据的像素设定第一权重。解析部基于上述第一权重,进行上述医用图像数据的解析。
Description
相关申请的参照
本申请享受2021年11月30日申请的日本专利申请号2021-194186的优先权的权益,在本申请中引用其日本专利申请的全部内容。
技术领域
本说明书以及附图所公开的实施方式涉及医用图像处理装置、方法以及存储介质。
背景技术
以往,已知有在医用图像数据的拍摄时对产生伪影的可能性较高的医用图像数据进行识别的技术,该伪影受重力的影响而产生,被称作重力效应。例如记载有如下技术:基于临床知识,确定容易产生由重力效应引起的伪影的位置,并基于该位置处的高吸收区域的连续性,识别产生伪影的可能性较高的医用图像数据。
发明内容
本发明所要解决的技术问题是提供一种医用图像处理装置、方法以及存储介质,即使是对产生由重力效应引起的伪影的可能性较高的医用图像数据进行解析的情况,也能够进行适当的解析。
实施方式的医用图像处理装置具备取得部、识别部、第一设定部、以及解析部。取得部取得成为解析对象的医用图像数据。识别部识别与所述医用图像数据相对的重力方向。第一设定部基于所述重力方向,对构成所述医用图像数据的像素设定第一权重。解析部基于所述第一权重,进行所述医用图像数据的解析。
发明效果
根据实施方式的医用图像处理装置、方法以及存储介质,即使是对产生由重力效应引起的伪影的可能性较高的医用图像数据进行解析的情况,也能够进行适当的解析。
附图说明
图1是表示第一实施方式的医用图像处理装置的构成例的图。
图2是表示由第一实施方式的医用图像处理装置的处理电路所具有的各处理功能进行的处理的处理顺序的流程图。
图3是用于说明第一实施方式的第一权重的设定处理的一例的图。
图4是用于说明变形例2的第一权重的设定处理的一例的图。
图5是用于说明变形例3的解析处理的一例的图。
图6是表示第二实施方式的医用图像处理装置的构成例的图。
图7是表示由第二实施方式的医用图像处理装置的处理电路所具有的各处理功能进行的处理的处理顺序的流程图。
图8是用于说明第二实施方式的判定处理的一例的图。
图9是表示第三实施方式的医用图像处理装置的构成例的图。
图10是表示由第三实施方式的医用图像处理装置的处理电路所具有的各处理功能进行的处理的处理顺序的流程图。
图11A是用于说明第三实施方式的第二权重的设定处理的一例的图。
图11B是用于说明第三实施方式的第二权重的设定处理的一例的图。
具体实施方式
以下,参照附图对医用图像处理装置、方法以及程序的实施方式详细地进行说明。另外,本申请的医用图像处理装置、方法以及程序不被以下所示的实施方式限定。另外,在以下的说明中,对相同的构成要素标注共通的附图标记,并且省略重复的说明。
(第一实施方式)
图1是表示第一实施方式的医用图像处理装置的构成例的图。例如,如图1所示,本实施方式的医用图像处理装置3经由网络而与医用图像诊断装置1以及医用图像保管装置2能够通信地连接。另外,也可以是在图1所示的网络中连接有其他各种装置以及系统的情况。
医用图像诊断装置1拍摄被检体并生成医用图像数据。而且,医用图像诊断装置1向网络上的各种装置发送所生成的医用图像数据。例如,医用图像诊断装置1为X射线诊断装置、X射线CT(Computed Tomography:计算机断层扫描)装置、MRI(Magnetic ResonanceImaging:磁共振成像)装置、超声波诊断装置、SPECT(Single Photon Emission ComputedTomography:单光子发射计算机断层扫描)装置、PET(Positron Emission computedTomography:正电子发射计算机断层显像)装置等。
医用图像保管装置2保管与被检体相关的各种医用图像数据。具体而言,医用图像保管装置2经由网络从医用图像诊断装置1接收医用图像数据,并在本装置内的存储电路中存储并保管该医用图像数据。例如,医用图像保管装置2由服务器(server)、工作站(workstation)等计算机(computer)设备来实现。另外,例如,医用图像保管装置2由PACS(Picture Archiving and Communication System:医学影像传输与储存系统)等来实现,以符合DICOM(Digital Imaging and Communications in Medicine,医学数字成像和通信)的形式对医用图像数据进行保管。
医用图像处理装置3进行与医用图像数据相关的各种处理。具体而言,医用图像处理装置3经由网络从医用图像诊断装置1或者医用图像保管装置2接收医用图像数据,并使用该医用图像数据进行各种信息处理。例如,医用图像处理装置3由服务器、工作站等计算机设备来实现。
例如,医用图像处理装置3具备通信接口31、输入接口32、显示器33、存储电路34、以及处理电路35。
通信接口31控制在医用图像处理装置3与经由网络连接的其他装置之间收发的各种数据的传输以及通信。具体而言,通信接口31连接于处理电路35,向处理电路35发送从其他装置接收到的数据、或者向其他装置发送从处理电路35发送来的数据。例如,通信接口31由网卡、网络适配器、NIC(Network Interface Controller:网络接口控制器)等来实现。
输入接口32从利用者受理各种指示以及各种信息的输入操作。具体而言,输入接口32连接于处理电路35,将从利用者接收到的输入操作转换为电信号并向处理电路35发送。例如,输入接口32由跟踪球、开关按钮、鼠标、键盘、通过接触操作面来进行输入操作的触摸板、显示画面与触摸板一体化的触摸屏、使用了光学传感器的非接触输入接口以及语音输入接口等来实现。另外,在本说明书中,输入接口32不限于具备鼠标、键盘等物理性的操作部件之物。例如,从独立于装置设置的外部的输入设备接收与输入操作对应的电信号,并将该电信号向控制电路发送的电信号的处理电路也包含于输入接口32的例子。
显示器33显示各种信息以及各种数据。具体而言,显示器33连接于处理电路35,显示从处理电路35接收到的各种信息以及各种数据。例如,显示器33由液晶显示器、CRT(Cathode Ray Tube:阴极射线管)显示器、触摸面板等来实现。
存储电路34存储各种数据以及各种程序。具体而言,存储电路34连接于处理电路35,存储从处理电路35接收到的数据、或者读出所存储的数据并向处理电路35发送。例如,存储电路34由RAM(Random Access Memory)、闪存等半导体存储器元件、硬盘、光盘等来实现。
处理电路35控制医用图像处理装置3的整体。例如,处理电路35根据经由输入接口32从利用者受理的输入操作,进行各种处理。例如,处理电路35经由通信接口31接收从其他装置发送来的数据,并将接收到的数据储存在存储电路34中。另外,例如,处理电路35通过向通信接口31发送从存储电路34接收到的数据,从而将该数据向其他装置发送。另外,例如,处理电路35将从存储电路34接收到的数据显示于显示器33。
以上,对本实施方式的医用图像处理装置3的构成例进行了说明。例如,本实施方式的医用图像处理装置3设置于医院、诊所等医疗施设,辅助由医师等利用者进行的各种诊断、治疗计划的制定等。例如,即使在医用图像数据的解析中在医用图像数据中同时出现伪影、与伪影类似的异常阴影的情况下,医用图像处理装置3也执行用于适当地进行解析的各种处理。
如上述那样,已知有对于受重力的影响而在医用图像数据内产生的伪影,基于临床知识,识别产生伪影的可能性较高的医用图像数据的技术。然而,由于难以完全辨别这样的伪影、以及与伪影类似的异常阴影(例如肺内磨玻璃状阴影(GGO:Ground GlassOpacity)等),因此即使利用了上述的技术,在伪影与异常阴影同时出现的情况下,也全部作为异常阴影处理。
因此,本实施方式的医用图像处理装置3构成为,通过基于医用图像数据中的重力方向来对构成医用图像数据的像素设定权重,并执行基于所设定的权重的解析,从而即使在医用图像数据中同时出现伪影、与伪影类似的异常阴影的情况下,也能够适当地进行解析。以下,详细地说明具有这样的构成的医用图像处理装置3。
例如,如图1所示,在本实施方式中,医用图像处理装置3的处理电路35执行控制功能351、取得功能352、提取功能353、识别功能354、第一设定功能355、以及解析功能356。这里,取得功能352为取得部的一例。另外,提取功能353为提取部的一例。另外,识别功能354为识别部的一例。另外,第一设定功能355为第一设定部的一例。另外,解析功能356为解析部的一例。
控制功能351根据经由输入接口32的操作来进行控制,以便生成各种GUI(Graphical User Interface:用户图形界面)、各种显示信息,并显示于显示器33。例如,控制功能351使显示器33显示用于执行针对医用图像数据的图像处理的GUI、与医用图像数据相关的解析的解析结果等。另外,控制功能351生成基于由取得功能352取得的医用图像数据的各种显示图像,并显示于显示器33。
取得功能352经由通信接口31,从医用图像诊断装置1或者医用图像保管装置2取得解析对象的医用图像数据。具体而言,取得功能352取得成为与各种诊断相关的图像解析的对象的二维的医用图像数据或者三维的医用图像数据(体数据)。另外,取得功能352也能够取得通过以三维在时间方向上多次拍摄而得到的多个体数据。例如,取得功能352取得CT图像数据、超声波图像数据、MRI图像数据、X射线图像数据、Angio图像数据、PET图像数据、SPECT图像数据等,来作为上述的医用图像数据。处理电路35通过执行上述的取得功能352,从而从医用图像诊断装置1或者医用图像保管装置2接收被检体的医用图像数据,并将接收到的医用图像数据存储于存储电路34中。
提取功能353从医用图像数据中提取被检体的至少一个构造物。具体而言,提取功能353提取对由取得功能352取得的医用图像数据所含的生物体器官进行表示的区域。例如,提取功能353提取与医用图像数据所含的肺等对应的区域。另外,在后详细叙述由提取功能353进行的处理。
识别功能354识别与由取得功能352取得的医用图像数据相应的重力方向。另外,在后详细叙述由识别功能354进行的处理。
第一设定功能355基于重力方向,对于构成医用图像数据的像素设定第一权重。另外,在后详细叙述由第一设定功能355进行的处理。
解析功能356基于第一权重进行医用图像数据的解析。另外,在后详细叙述由解析功能356进行的处理。
上述的处理电路35例如由处理器来实现。在该情况下,上述的各处理功能以能够由计算机执行的程序的方式存储于存储电路34中。而且,处理电路35通过读出并执行在存储电路34中存储的各程序,来实现与各程序对应的功能。换言之,处理电路35在读出各程序的状态下,具有图1所示的各处理功能。
另外,处理电路35也可以将多个独立的处理器组合而构成,并通过各处理器执行程序来实现各处理功能。另外,处理电路35所具有的各处理功能也可以向单一或者多个处理电路适当地分散或者统一来实现。另外,处理电路35所具有各处理功能也可以通过电路等硬件与软件的混合来实现。另外,这里说明了与各处理功能对应的程序存储于单一的存储电路34的情况下的例子,但实施方式不限于此。例如,也可以采用如下的构成:与各处理功能对应的程序分散地存储于多个存储电路,处理电路35从各存储电路读出并执行各程序。
接下来,对于由医用图像处理装置3进行的处理的顺序,在使用图2进行说明之后,对各处理的详细内容进行说明。图2是表示由第一实施方式的医用图像处理装置3的处理电路35所具有的各处理功能进行的处理的处理顺序的流程图。
例如,如图2所示,在本实施方式中,取得功能352从医用图像诊断装置1或者医用图像保管装置2取得被检体的医用图像数据(步骤S101)。例如,取得功能352根据经由输入接口32的医用图像数据的取得操作,取得所指定的医用图像数据。该处理例如通过处理电路35从存储电路34中调用并执行与取得功能352对应的程序来实现。
接着,识别功能354对所取得的医用图像数据中的重力方向进行识别(步骤S102)。例如,通过处理电路35从存储电路34中调用并执行与识别功能354对应的程序来实现。
接着,提取功能353对于所取得的医用图像数据,提取医用图像数据所含的构造物(步骤S103)。该处理例如通过处理电路35从存储电路34中调用并执行与提取功能353对应的程序来实现。另外,在图2中,示出了在识别重力方向之后提取构造物的例子,但实施方式不限于此,也可以是提取构造物之后识别重力方向的情况,或者也可以是同时执行重力方向的识别与构造物的提取的情况。
接着,第一设定功能355基于重力方向对医用图像数据的像素设定第一权重(步骤S104)。该处理例如通过处理电路35从存储电路34中调用并执行与第一设定功能355对应的程序来实现。
然后,解析功能356使用第一权重对医用图像数据进行解析(步骤S105)。该处理例如通过处理电路35从存储电路34中调用并执行与解析功能356对应的程序来实现。
另外,虽然在图2中未示出,但在对医用图像数据进行解析之后,控制功能351能够使解析结果显示于显示器33。该处理例如通过处理电路35从存储电路34中调用并执行与控制功能351对应的程序来实现。
以下,对由医用图像处理装置3执行的各处理的详细内容进行说明。另外,以下,举出取得三维胸部X射线CT图像数据作为医用图像数据并进行与肺相关的解析的情况下的处理,作为一例进行说明。另外,在本实施方式中说明的处理的对象不限于此,能够将其他各种生物体器官作为对象。
(医用图像数据的取得处理)
如图2的步骤S101中说明那样,取得功能352根据经由输入接口32的医用图像数据的取得操作,取得将胸部作为对象而拍摄到的三维的X射线CT图像数据。
另外,步骤S101中的医用图像数据的取得处理既可以是如上述那样通过经由输入接口32的用户的指示而开始动作的情况,但也可以是自动地开始处理的情况。在该情况下,例如取得功能352事先监视医用图像保管装置2,在每次保管新的三维胸部X射线CT图像数据时自动地取得。
另外,如上述那样,也可以在由取得功能352取得三维胸部X射线CT图像数据之后,使所取得的图像数据显示于显示器33。
(重力方向的识别处理)
如图2的步骤S102中说明那样,识别功能354对由取得功能352取得的三维胸部X射线CT图像数据中的重力方向进行识别。具体而言,识别功能354识别在拍摄三维胸部X射线CT图像数据时对被检体施加的重力的方向(即,针对描绘在三维胸部X射线CT图像数据中的被检体的重力方向)。
例如,识别功能354基于在三维胸部X射线CT图像数据中拍摄到的被检体的体位,识别重力方向。举出一例,识别功能354根据三维胸部X射线CT图像数据的拍摄信息推断被检体的体位,并基于推断出的体位来识别重力方向。这里,识别功能354从作为医用图像数据的标准的DICOM(Digital Imaging and Communicationsin Medicine:医学数字成像与通信标准)的报头(header)信息之一的患者体位(Patient position)中,取得拍摄信息。例如,若拍摄信息为HFS(Head First-Supine:头先进-仰卧)、FFS(Feet First-Supine:脚先进-仰卧),则识别功能354推断为以仰卧位拍摄。另外,若拍摄信息为HFP(Head First-Prone:头先进-俯卧),则识别功能354推断为以俯卧位拍摄,若为HFDL(Head First-Decubitus Left:头先进-左侧朝下),则识别功能354推断为以左侧卧位拍摄。
而且,若体位为仰卧位,则识别功能354识别为重力方向是背侧方向,若体位为俯卧位,则识别为重力方向是腹侧方向,若体位为左侧卧位,则识别为重力方向是体轴的左侧方向。另外,以下,三维胸部X射线CT图像数据设为以仰卧位拍摄而得,将重力方向设为背侧方向进行说明。
(构造物的提取处理)
如图2的步骤S103中说明那样,提取功能353提取三维胸部X射线CT图像数据所含的构造物。具体而言,提取功能353取得在三维胸部X射线CT图像数据中表示肺等的像素的坐标信息。这里,提取功能353能够通过各种方法提取构造物。例如,提取功能353能够提取经由输入接口32在三维胸部X射线CT图像数据上指定的区域作为肺。即,提取功能353提取用户手动指定的区域,作为肺。
另外,例如,提取功能353能够通过已知的区域提取技术,基于三维胸部X射线CT图像数据中描绘出的解剖学的构造,提取肺。例如,提取功能353使用基于CT值的大津二值化法、区域扩张法、动态轮廓模型法(Snake法:a snakes method)、图分割法(a graph cutmethod)、均值迁移法(a mean shift method)等,提取三维胸部X射线CT图像数据中的肺。
另外,其他,提取功能353能够使用学习完毕模型提取三维胸部X射线CT图像数据中的肺,该学习完毕模型基于使用机器学习技术(包含深度学习)预先准备的学习用数据而构建。另外,通过利用上述的任一种方法提取肺,从而提取功能353也能够根据解剖学的知识,提取肺的外侧(非纵隔侧)的胸壁。
(第一权重的设定处理)
如图2的步骤S104中说明那样,第一设定功能355对三维胸部X射线CT图像数据的像素设定第一权重。具体而言,第一设定功能355基于重力方向以及至少一个构造物,设定第一权重。例如,第一设定功能355基于重力方向、以及距提取出的构造物的边缘的距离,设定第一权重。
上述的重力效应是由于容易受到重力的影响的软组织(例如肺)被不易受到重力的影响的硬组织(例如胸壁)支承,软组织被压缩而产生的。软组织的压缩越接近施加负荷的部分即越接近硬组织,则发生概率越高。
因此,第一设定功能355假设在提取出的肺的外侧存在胸壁,并在提取出的肺的边缘部分,决定出与重力方向大致正交的边缘中的、位于重力矢量指示的方向的边缘。而且,第一设定功能355根据距所决定的边缘的距离,设定第一权重。
图3是用于说明第一实施方式的第一权重的设定处理的一例的图。这里,图3示出三维胸部X射线CT图像数据中的体轴截面(轴向(axial)截面)的一个截面图像数据400。例如,截面图像数据400被作为解析对象的图像数据供用户选择。识别功能354基于三维胸部X射线CT图像数据的拍摄信息,识别图3所示的重力方向。另外,提取功能353提取三维胸部X射线CT图像数据所含的肺,并基于提取出的肺,提取肺边缘410。
例如,第一设定功能355在提取出的肺边缘410中决定出与重力方向大致正交的边缘中的、位于重力方向的箭头指示的方向的边缘420(以下,将边缘420记载为基准边缘420)。而且,第一设定功能355根据距所决定的基准边缘420的距离,对像素设定第一权重。例如,第一设定功能355基于以下的式(1),对各像素设定第一权重。
w1(i)=0.5+0.1×min(l1(i),5)…(1)
这里,式(1)中的“w1(i)”表示像素i的第一权重。另外,“l1(i)”表示从基准边缘至该像素为止的重力方向的距离(像素数)。另外,“min(l1(i),5)”表示在“l1(i)”与“5”中取更小的值的函数。
例如,第一设定功能355对于与基准边缘420相接的像素430,对上述式(1)输入“l1=0”,设定第一权重“w1=0.5+0.1×0=0.5”。另外,第一设定功能355对于距离基准边缘420,重力方向的像素数为“2”的像素440,对上述式(1)输入“l1=2”,设定第一权重“w1=0.5+0.1×2=0.7”。另外,第一设定功能355对于距离基准边缘420,重力方向的像素数大于“5”的像素450,设定第一权重“w1=0.5+0.1×5=1.0”。
即,在式(1)中,示出了在距基准边缘的重力方向的距离小于阈值(在该例中为5像素)的情况下,距基准边缘的重力方向的距离越短则第一权重越小。这成为考虑到上述重力效应的产生机制的式子。当然基于该式的设定方法仅为一例,也可以是通过其他方法设定第一权重的情况。
另外,在图3中,在左右的肺中,基准边缘为相同的位置,但也可以是基准边缘在肺的左右为不同的位置的情况。另外,也可以是在右肺与左肺通过不同的式子设定第一权重的情况。
另外,在图3所示的例子中,为了简单地进行说明,示出了二维空间下的例子,但也可以是在三维空间下设定基准边缘(点/切面)并设定第一权重的情况。在该情况下,第一设定功能355基于在体数据中提取出的肺边缘以及重力方向,决定三维空间下的基准边缘,并根据距基准边缘的距离,对各体素设定第一权重。
另外,在图3所示的例子中,说明了通过像素数来求取距基准边缘的距离的情况,但实施方式不限于此,也可以是通过实际空间上的距离来求取的情况。在该情况下,例如与式(1)相同,对于距基准边缘的重力方向的实际空间上的距离设定阈值,在小于所设定的阈值的距离中,以距基准边缘的重力方向的距离越短则第一权重越小的方式,设定第一权重。
另外,在上述的式(1)中,说明了将阈值设为恒定(5像素)的例子,但实施方式不限于此,也可以是动态地变更的情况。举出一例,也可以是根据被检体的身体的大小而动态地决定的情况(例如身体越大则使阈值越大等)。
(解析处理)
如图2的步骤S105中说明那样,解析功能356使用由第一设定功能355对各像素设定的第一权重,执行针对三维胸部X射线CT图像数据的解析处理。例如,解析功能356能够对肺内的CT值的分布(平均、方差等)进行解析。此时,解析功能356对各像素的CT值乘以第一权重,使用乘以第一权重之后的CT值的总和,计算加权平均、加权方差。这里,解析功能356既能够将图3所示的截面图像数据400整体设为解析对象,或者也能够将截面图像数据400中的局部的区域设为解析对象。
而且,解析功能356通过将计算出的加权平均、加权方差输入到进行疾病名称的推断的分类器,或者作为类似病例检索的输入特征量而输入,由此对三维胸部X射线CT图像数据进行解析。另外,上述解析的例子仅为一例,解析功能356也能够执行基于其他图像处理的加权解析。
(变形例1)
在上述的实施方式中,在步骤S102中,从DICOM的报头信息中取得三维胸部X射线CT图像数据的拍摄信息,推断被检体的拍摄时的体位,并基于推断出的体位,识别重力方向。然而,实施方式不限于此,也可以是通过其他方法推断体位,并识别重力方向的情况。例如,也可以是识别功能354根据RIS(Radiology Information Systems:放射科信息系统)、电子病历等推断被检体的拍摄时的体位,并基于推断出的体位识别重力方向的情况。
另外,也可以是识别功能354通过医用图像数据的图像解析来识别重力方向的情况。例如,识别功能354根据针对医用图像数据的图像解析的结果,推断被检体的体位,并基于推断出的体位,识别重力方向。举出一例,识别功能354通过图像处理来测量三维胸部X射线CT图像数据中的脊椎与后纵隔的开口直径(日语:開大径)、纵隔与胸壁的接触面积(日语:接地面積)等,并基于测量出的开口直径、接触面积等,推断三维胸部X射线CT图像数据在拍摄时的被检体的体位。然后,识别功能354基于推断出的体位识别重力方向。
(变形例2)
在上述的实施方式中,说明了在步骤S104中基于重力方向以及提取出的构造物来设定第一权重的情况。然而,实施方式不限于此,也可以是通过其他方法设定第一权重的情况。例如,第一设定功能355基于重力方向以及从医用图像数据提取出的构造物,计算与像素对应的部位被构造物支承的角度,并基于计算出的角度与至该构造物为止的距离,对像素设定第一权重。
图4是用于说明变形例2的第一权重的设定处理的一例的图。这里,图4示出三维胸部X射线CT图像数据中的轴向截面的一个截面图像数据的放大图。识别功能354对图4所示的重力方向进行识别。另外,提取功能353提取三维胸部X射线CT图像数据所含的肺,并基于提取出的肺提取肺边缘510。
例如,第一设定功能355提取将肺边缘510曲线近似后得到的近似边缘512。然后,第一设定功能355对于近似边缘512确定边缘相接的像素j,并计算所确定的像素j的切线与重力方向所成的角“θj”。这里,设为“0≤θj≤π/2”。
例如,第一设定功能355在图4所示的像素530中将相对于近似边缘512的切线514与重力方向所成的角计算为“θ530=0”。另外,第一设定功能355在像素535中将相对于近似边缘512的切线516与重力方向所成的角计算为“θ535”。
然后,第一设定功能355将根据设定第一权重的像素i至边缘所接触的各像素j为止的欧氏距离(Euclidean distance)“l1j(i)”和“θj”而计算的最小值,设定为第一权重“w1(i)”。例如,第一设定功能355基于以下的式(2),对各像素设定第一权重。
这里,式(2)中的“minj(·)”表示边缘所接触的各像素j之中使括号内的式子最小的像素j的情况下的值。在式(2)中,对欧氏距离“l1j(i)”加上|sinθj|,若θj>0则|sinθj|>0。因此,除了具有与重力方向垂直的切线的像素以外,对距离赋予正的值且值变大,第一权重“w1(i)”变大。如上述那样,第一权重越小则越考虑重力效应的影响。即,式(2)成为考虑到如下情况的式子:重力关于不与重力方向垂直的位置被分散,因此第一权重变大。
另外,第一权重不限于上述的例子,也可以设定其他各种权重。例如,第一设定功能355也能够对于距构造物的距离小于阈值的像素一律设定小于“1”的权重。
(变形例3)
在上述的实施方式中,说明了在步骤S105中,作为解析处理而进行图像处理的情况。然而,实施方式不限于此,例如,也可以是由学习器进行解析的情况。在该情况下,例如解析功能356生成基于第一权重的权重图像数据,并基于该权重图像数据进行医用图像数据的解析。
图5是用于说明变形例3的解析处理的一例的图。例如,如图5所示,解析功能356基于对医用图像数据“Ik”600的各像素设定的第一权重,生成将第一权重作为像素值的权重图像数据“W(Ik)”610。而且,解析功能356将医用图像数据“Ik”600以及权重图像数据“W(Ik)”610输入到基于深度学习的学习器,并通过多个卷积层输出最终的解析结果。这里,图5所示的学习器例如是将医用图像数据“Ik”600以及权重图像数据“W(Ik)”610作为输入,将疾病的有无作为输出的学习器。另外,图5所示的学习器被预先生成,并存储于存储电路34中。
如上述那样,根据第一实施方式,取得功能352取得成为解析对象的医用图像数据。识别功能354识别与医用图像数据相对的重力方向。第一设定功能355基于重力方向,对构成医用图像数据的像素设定第一权重。解析功能356基于第一权重进行医用图像数据的解析。因此,第一实施方式的医用图像处理装置3能够执行考虑到重力效应的产生的解析,能够适当地进行医用图像数据的解析。
另外,根据第一实施方式,提取功能353从医用图像数据中提取被检体的至少一个构造物。第一设定功能355基于重力方向以及至少一个构造物,设定第一权重。因此,第一实施方式的医用图像处理装置3能够在医用图像数据中对产生重力效应的可能性较高的部分设定第一权重,能够更适当地进行医用图像数据的解析。
另外,根据第一实施方式,识别功能354根据医用图像数据的拍摄信息推断被检体的体位,并基于推断出的体位,识别重力方向。因此,第一实施方式的医用图像处理装置3能够容易地识别医用图像数据中的重力方向。
另外,根据第一实施方式,识别功能354根据针对医用图像数据的图像解析的结果,推断被检体的体位,并基于推断出的体位,识别重力方向。因此,第一实施方式的医用图像处理装置3能够从图像中识别重力方向。
另外,根据第一实施方式,第一设定功能355基于重力方向、以及距从医用图像数据中提取出的构造物的边缘的距离,对像素设定第一权重。因此,第一实施方式的医用图像处理装置3能够设定与负荷的施加容易度相应的第一权重。
另外,根据第一实施方式,第一设定功能355基于重力方向、以及从医用图像数据中提取出的构造物,计算与像素对应的部位被构造物支承的角度,并基于计算出的角度与至该构造物为止的距离,对像素设定第一权重。因此,第一实施方式的医用图像处理装置3能够设定更体现负荷的施加容易度的第一权重。
另外,根据第一实施方式,解析功能356生成基于第一权重的权重图像数据,并基于该权重图像数据进行医用图像数据的解析。因此,第一实施方式的医用图像处理装置3能够使解析容易地进行。
(第二实施方式)
在上述的第一实施方式中,说明了对医用图像数据整体设定第一权重的情况。在第二实施方式中对如下情况进行说明:对医用图像数据中是否存在启示出重力效应的阴影进行判定,在判定为存在的情况下,仅对启示出重力效应的阴影所对应的区域的像素设定第一权重。换言之,在判定医用图像数据的至少一个像素中是否可能产生重力效应且判定为可能产生的情况下,对重力效应可能产生的位置(至少一个像素)设定第一权重。另外,以下,与第一实施方式相同,解析对象的图像数据采用三维胸部X射线CT图像数据,提取肺作为构造物。当然对象不限于此,上述均仅为用于说明医用图像处理装置的工序的一例。
图6是表示第二实施方式的医用图像处理装置的构成例的图。这里,在图6中,对与图1所示的第一实施方式的医用图像处理装置3进行相同的动作的构成标注相同的附图标记。即,第二实施方式的医用图像处理装置3a与第一实施方式的医用图像处理装置3相比,处理电路35a新执行判定功能357这点与由处理电路35a执行的第一设定功能355a的处理内容不同。以下,以这些为中心进行说明。
图7是表示由第二实施方式的医用图像处理装置3a的处理电路35a所具有的各处理功能进行的处理的处理顺序的流程图。
图7中的步骤S201~步骤S203与图2中的步骤S101~步骤S103相同,通过处理电路35a从存储电路34中读出并执行与各处理功能对应的程序来实现。
例如在本实施方式中,如图7所示,提取功能353提取构造物后(步骤S203),判定功能357判定在医用图像数据中是否产生了重力效应(步骤S204)。该处理例如通过处理电路35a从存储电路34中调用并执行与判定功能357对应的程序来实现。
接着,第一设定功能355a对判定为产生了重力效应的像素设定第一权重(步骤S205)。该处理例如通过处理电路35a从存储电路34中调用并执行与第一设定功能355a对应的程序来实现。
图7中的步骤S206与图2中的步骤S105相同,通过处理电路35a从存储电路34中调用并执行与解析功能356对应的程序来实现。
以下,对由医用图像处理装置3a执行的各处理的详细内容进行说明。
(重力效应的判定处理)
如图7的步骤S204中说明那样,判定功能357在由取得功能352取得的三维胸部X射线CT图像数据中,判定是否产生了重力效应。具体而言,判定功能357在三维胸部X射线CT图像数据的至少一个像素中判定是否可能产生重力效应。
例如,判定功能357基于三维胸部X射线CT图像数据、根据被检体的体位而识别出的重力方向、以及被检体的构造物,判定是否存在启示出重力效应的阴影。这里,在本实施方式中,通过在第一实施方式中说明的方法,决定位于重力矢量指示的方向的边缘,并基于距所决定的边缘恒定距离的像素的CT值,判定是否存在启示出重力效应的阴影。即,判定功能357基于针对医用图像数据的图像解析的结果,判定在三维胸部X射线CT图像数据的至少一个像素中是否可能产生重力效应。
图8是用于说明第二实施方式的判定处理的一例的图。这里,图8示出三维胸部X射线CT图像数据中的轴向截面的一个截面图像数据700。识别功能354对图8所示的重力方向进行识别。另外,提取功能353提取三维胸部X射线CT图像数据所含的肺,并基于提取出的肺提取肺边缘710。
例如,判定功能357首先决定在肺边缘710中与重力方向大致正交的边缘中的、位于重力方向的箭头指示的方向的基准边缘720。然后,判定功能357在沿重力方向距基准边缘720为阈值距离“lth”的位置,设定阈值线760。另外,在图8中,示出了将阈值距离“lth”设为4像素的情况的例子,但阈值距离“lth”能够任意地设定。例如,也可以是根据被检体的体型、成为解析对象的生物体器官等而变更阈值距离“lth”的情况。另外,也可以是用户操作输入接口32而手动变更阈值距离“lth”的情况。
若如图8所示那样设定阈值线760,则判定功能357将从基准边缘720至阈值线760之间的肺内部的像素设为对象,进行是否存在启示出重力效应的阴影的判定。例如,判定功能357将从基准边缘720至阈值线760之间的肺内部的像素中的、CT值处于比预先确定的范围内更高的CT值范围的像素,判定为对应于启示出重力效应的阴影的像素。
这里,判定所使用的CT值范围能够任意地设定。例如,判定功能357将CT值处于高于预先确定的值(通常的肺内的CT值(-1000HU左右))的CT值范围(例如-800HU~-600HU)内的像素,判定为对应于启示出重力效应的阴影的像素。另外,例如,判定功能357也能够将截面图像数据700中从基准边缘720至阈值线760之间以外的肺内部的像素的CT值的平均值设为基准值,将处于比基准值高的CT值范围内的像素判定为对应于启示出重力效应的阴影的像素。
判定功能357也能够根据状况来变更所使用的CT值范围。例如,判定功能357根据被检体的体型、拍摄三维胸部X射线CT图像数据的呼吸相位(吸气或者呼气),来变更判定所使用的CT值范围。
如上述那样,判定功能357将从基准边缘720至阈值线760之间的肺内部的像素设为对象,进行是否存在启示出重力效应的阴影的判定,从而将图8所示的区域770确定为对应于启示出重力效应的阴影的区域。另外,判定功能357进行的判定处理不限于上述的处理,能够应用其他各种处理。例如,判定功能357也能够基于临床知识,确定由重力效应引起的伪影容易产生的位置,并基于该位置处的高吸收区域的连续性,判定产生伪影的可能性较高的区域。
(第一权重的设定处理)
如图7的步骤S205中说明那样,第一设定功能355a将由判定功能357判定为对应于启示出重力效应的阴影的区域之区域770所含的像素设为对象,设定第一权重。例如,第一设定功能355a对于构成区域770的像素,一律将“0.7”设定为第一权重。另外,上述的第一权重的设定仅为一例,能够通过其他各种方法设定第一权重。例如,第一设定功能355a为了不考虑启示出重力效应的区域,也能够将“0”作为第一权重对区域770的像素设定。另外,第一设定功能355a也能够通过在第一实施方式中说明的方法,对区域770内的各像素设定第一权重。
(变形例1)
在上述的实施方式中,说明了在步骤S204中基于距基准边缘处于恒定距离的像素的CT值来判定启示出重力效应的阴影的情况。然而,实施方式不限于此,也可以是将医用图像数据作为输入并使用判定是否启示出重力效应的分类器进行判定的情况。在该情况下,判定功能357基于分类器,在医用图像数据的至少一个像素中判定是否可能产生重力效应。
另外,判定所使用的分类器既可以判定在各像素中是否启示出重力效应,或者也可以提取认为产生了重力效应的区域。例如,使用以下那样进行了学习的分类器即可:将对产生了重力效应的区域(或者像素)通过手动输入附加了标签后的医用图像数据作为教师图像,若被输入医用图像数据,则判定产生了重力效应的区域(像素)。
如上述那样,根据第二实施方式,判定功能357判定在医用图像数据的至少一个像素中是否可能产生重力效应。第一设定功能355a对基于判定的结果的像素设定第一权重。因此,由于第二实施方式的医用图像处理装置3a仅对产生重力效应的可能性较高的区域设定第一权重,从而能够更适当地进行医用图像数据的解析。
另外,根据第二实施方式,判定功能357基于针对医用图像数据的图像解析的结果,判定在医用图像数据的至少一个像素中是否可能产生重力效应。因此,第二实施方式的医用图像处理装置3a能够容易地进行判定处理。
另外,根据第二实施方式,判定功能357基于分类器,判定在医用图像数据的至少一个像素中是否可能产生重力效应。因此,第二实施方式的医用图像处理装置3a能够容易地进行判定处理。
(第三实施方式)
在上述的第一实施方式以及第二实施方式中,说明了使用基于重力方向的第一权重进行解析的情况。在第三实施方式中说明下述情况:对由于与重力效应不同的理由而被认为对医用图像数据的解析较为重要的部分,设定第二权重,使用第一权重与第二权重进行解析。另外,以下,与第一实施方式相同,解析对象的图像数据采用三维胸部X射线CT图像数据,并提取肺作为构造物。另外,解析对象进行肺的疾病推断、特别是间质性肺异常的解析。
图9是表示第三实施方式的医用图像处理装置的构成例的图。这里,在图9中,对与图1所示的第一实施方式的医用图像处理装置3进行相同的动作的构成,标注相同的附图标记。即,第三实施方式的医用图像处理装置3b与第一实施方式的医用图像处理装置3相比,处理电路35b新执行第二设定功能358这点以及由处理电路35b执行的解析功能356b的处理内容不同。以下,以这些为中心进行说明。
图10是表示由第三实施方式的医用图像处理装置3b的处理电路35b所具有的各处理功能进行的处理的处理顺序的流程图。
图10中的步骤S301~步骤S304与图2中的步骤S101~步骤S104相同,通过处理电路35b从存储电路34中读出并执行与各处理功能对应的程序来实现。
例如在本实施方式中,如图10所示,第一设定功能355设定第一权重后(步骤S304),第二设定功能358基于从医用图像数据中提取出的被检体的构造物,对医用图像数据的像素设定第二权重(步骤S305)。该处理例如通过处理电路35b从存储电路34中调用并执行与第二设定功能358对应的程序来实现。
接着,解析功能356b基于对医用图像数据设定的第一权重与第二权重,进行医用图像数据的解析(步骤S306)。该处理例如通过处理电路35b从存储电路34中调用并执行与解析功能356b对应的程序来实现。
以下,对由医用图像处理装置3b执行的各处理的详细内容进行说明。
(第二权重的设定处理)
如图10的步骤S305中说明那样,第二设定功能358基于从三维胸部X射线CT图像数据中提取出的肺,对三维胸部X射线CT图像数据的像素设定第二权重。这里,第二权重根据解析的目的而设定。例如,在如本实施方式那样解析对象为间质性肺疾病的情况下,基于胸壁附近的信息较为重要这一先验知识,第二设定功能358根据距胸壁的距离来设定第二权重。
图11A以及图11B是用于说明第三实施方式的第二权重的设定处理的一例的图。这里,图11A示出三维胸部X射线CT图像数据中的轴向截面的一个截面图像数据800。另外,图11B示出将图11A的一部分放大的图。识别功能354对图11A所示的重力方向进行识别。另外,提取功能353提取三维胸部X射线CT图像数据所含的肺,并基于提取出的肺提取肺边缘810。另外,第一设定功能355基于重力方向与肺边缘810,决定基准边缘820。
例如,第二设定功能358假设在提取出的肺的外侧存在胸壁,基于距所提取出的肺的边缘的距离,对像素设定第二权重。举出一例,第二设定功能358基于以下的式(3),对各像素设定第二权重。
w2(i)=2-0.25×min(l2(i),4)…(3)
这里,式(3)中的“w2(i)”表示像素i的第二权重。另外,“l2(i)”表示从肺的边缘至该像素为止的最短距离(像素数换算)。另外,“min(l2(i),4)”表示在“l2(i)”与“4”中取更小的值的函数。
例如,第二设定功能358对于在图11A中与肺边缘810接触的像素830以及像素880,对上述式(3)输入“l2=0”,设定第二权重“w2=2-0.25×0=2”。另外,第二设定功能358对于像素840,首先如图11B所示计算出至肺边缘810为止的最短距离“l2=√2”。然后,第二设定功能358对上述式(3)输入“l2=√2”,设定第二权重“w2=2-0.25×√2=1.7”。另外,第二设定功能358对于至肺边缘810为止的最短距离大于“4”的像素850,设定第二权重“w2=2-0.25×4=1”。
即,在式(3)中,示出在至肺边缘为止的距离小于阈值(在该例中为4)的情况下,距肺边缘的距离越短则第二权重越大。这成为考虑到上述的先验知识的式子。当然基于该式的设定方法不限于一例,也可以是通过其他方法设定第二权重的情况。例如,也可以使用纵隔方向(例如接近心脏、肝脏的方向)的边缘不甚重视的先验知识,忽略纵隔方向的至肺边缘为止的距离(设为无限大)。
(解析处理)
如图10的步骤S306中说明那样,解析功能356b使用由第一设定功能355对各像素设定的第一权重、以及由第二设定功能358设定的第二权重,执行针对三维胸部X射线CT图像数据的解析处理。例如,解析功能356b基于将第一权重与第二权重以线性和的方式合成后的权重,来进行与第一实施方式相同的解析。这里,解析功能356b例如通过以下的式(4)来合成权重。
w(i)=αw1(i)+(1-α)w2(i)…(4)
这里,式(4)中的“w(i)”表示合成后的权重,“α”表示系数。例如若增大“α”,则成为重视第一权重“w1(i)”的权重,若减小“α”则成为重视第二权重“w2(i)”的权重。在本实施方式中,设为“α=0.5”。即,能够同样地捕捉第一权重与第二权重。
例如若举图11A中的像素为例子,则解析功能356b对于像素830,将第一权重“w1=0.5”与第二权重“w2=2.0”代入式(4),计算出权重“w=1.3”。同样,解析功能356b对于像素840,将第一权重“w1=0.7”与第二权重“w2=1.7”代入式(4),计算出权重“w=1.2”。
另外,解析功能356b对于像素850,将第一权重“w1=1.0”与第二权重“w2=1.0”代入式(4),计算出权重“w=1.0”。另外,解析功能356b对于像素880,将第一权重“w1=1.0”与第二权重“w2=2.0”代入式(4),计算出权重“w=1.5”。
这里,如果比较计算出的权重,则在通过先验知识被认为重要的胸壁最近处的像素830(“w=1.3”)与像素880(“w=1.5”)之间,在产生重力效应的可能性较高的像素830中,权重变得更小。即,通过式(4),即使是相同的胸壁最近处的像素,也设定有考虑了重力效应的影响的权重。
另外,第一权重与第二权重的合成不限于上述基于式(4)的方法,也可以是其他方法。例如也可以通过线形积、非线形和、非线形积来合成权重。或者也可以是通过机器学习来学习适当的系数的构成。
如上述那样,若计算出权重,则解析功能356b基于第一实施方式中说明的图像处理,执行医用图像数据的解析处理。
(变形例1)
在上述的实施方式中,说明了在步骤S305中,基于与解析对象相应的先验知识来设定第二权重的情况。然而,实施方式不限于此,也可以是基于运动伪影(motionartifact)来设定第二权重的情况。在该情况下,例如提取功能353提取心脏、横隔膜等作为构造物。
第二设定功能358根据距提取出的心脏、横隔膜的距离,设定第二权重。即,第二设定功能358基于由于心脏的搏动、横隔膜的上下而产生运动伪影这一先验知识,以距心脏、横隔膜的距离越近的像素其第二权重越小的方式,设定第二权重。换言之,第二设定功能358对于越是产生运动伪影的可能性高的像素,设定越小的第二权重。
(变形例2)
在上述的实施方式中,说明了在步骤S306中执行使用了图像处理的解析的情况。然而,实施方式不限于此,也可以是与第一实施方式相同,执行基于学习器的解析的情况。即,解析功能356b生成基于第一权重以及第二权重的权重图像数据,并基于该权重图像数据进行医用图像数据的解析。例如,解析功能356b根据合成后的权重来生成合成权重图像数据,并将医用图像数据(三维胸部X射线CT图像数据)以及合成权重图像数据设为对学习器的输入,由此取得解析结果。
另外,基于第一权重以及第二权重的权重图像数据不限于上述的合成权重图像数据,例如也可以是下述构成:分别对第一权重与第二权重生成第一权重图像数据与第二权重图像数据,并将医用图像数据、第一权重图像数据、第二权重图像数据作为输入来进行深度学习。在这种情况下,具有可以不决定用于合成权重的系数这一优点。
如上述那样,根据第三实施方式,第二设定功能358基于从医用图像数据中提取出的构造物,对医用图像数据的像素设定第二权重。解析功能356b基于第一权重与第二权重,进行医用图像数据的解析。因此,第三实施方式的医用图像处理装置3b能够进行考虑到重力效应与先验知识这两者的解析,能够更适当地进行医用图像数据的解析。
另外,根据第三实施方式,第二设定功能358基于距构造物的边缘的距离,对像素设定第二权重。因此,第三实施方式的医用图像处理装置3b能够设定与解析的目的相应的第二权重。
另外,根据第三实施方式,解析功能356b生成基于第一权重以及第二权重的权重图像数据,并基于该权重图像数据进行医用图像数据的解析。因此,第三实施方式的医用图像处理装置3b能够容易地进行使用了第一权重与第二权重的解析。
(其他实施方式)
在上述的实施方式中,说明了作为解析对象的医用图像数据,使用三维胸部X射线CT图像数据的情况。然而,实施方式不限于此,也可以是将由其他成像设备(modality)拍摄到的医用图像数据和/或以其他部位为对象的医用图像数据作为解析对象的情况。
另外,在上述的实施方式中,说明了作为解析对象的医用图像数据,使用三维胸部X射线CT图像数据的情况。然而,实施方式不限于此,例如,也可以是使用正弦曲线(sinogram)作为解析对象的医用图像数据的情况。
另外,在上述的实施方式中,说明了以由拍摄横卧状态的被检体的X射线CT装置拍摄到的CT图像数据为对象的情况。然而,实施方式不限于此,例如也可以是以由拍摄立位状态的被检体的X射线CT装置拍摄到的CT图像数据为对象的情况。在该情况下,受到重力的影响的方向成为矢状(sagittal)截面(矢状面)、或冠状(coronal)截面(冠状面)中的Z轴方向的下侧的方向。
在上述的实施方式中,说明了显示解析结果的情况,但解析结果的显示方式能够以各种方式实施。例如,解析功能356执行考虑到重力效应的解析以及不考虑重力效应的解析。控制功能351也可以使各解析结果分别显示。另外,控制功能351也可以以下述方式进行控制,在基于考虑到重力效应的解析的解析结果与基于不考虑重力效应的解析的解析结果不同的情况下,通知该意思。
另外,在上述的实施方式中,说明了本说明书中的取得部、提取部、识别部、第一设定部、解析部、判定部以及第二设定部分别由处理电路的取得功能、提取功能、识别功能、第一设定功能、解析功能、判定功能以及第二设定功能来实现的情况的例子,但实施方式不限于此。例如,本说明书中的取得部、提取部、识别部、第一设定部、解析部、判定部以及第二设定部除了由实施方式中所述的取得功能、提取功能、识别功能、第一设定功能、解析功能、判定功能以及第二设定功能来实现之外,也可以仅由硬件、仅由软件、或者由硬件与软件的混合来实现该功能。
另外,在上述的实施方式的说明中使用的“处理器”这一表述,例如是指CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或者面向特定用途的集成电路(Application Specific Integrated Circuit:ASIC)、可编程逻辑器件(例如简单可编程逻辑器件(Simple Programmable Logic Device:SPLD)、复杂可编程逻辑器件(Complex Programmable Logic Device:CPLD)以及现场可编程门阵列(FieldProgrammable Gate Array:FPGA))等电路。这里,也可以代替在存储电路中保存程序,而是构成为在处理器的电路内直接组装程序。在这种情况下,处理器通过读出并执行在电路内组装的程序来实现功能。另外,本实施方式的各处理器不限于按每个处理器构成为单一的电路的情况,也可以将多个独立的电路组合而构成为一个处理器,来实现其功能。
这里,由处理器执行的医用图像处理程序预先组装到ROM(Read Only Memory)、存储电路等中来提供。另外,该医用图像处理程序也可以利用能够向这些装置中安装的形式或者能够在这些装置中执行的形式的文件记录于CD(Compact Disk)-ROM、FD(FlexibleDisk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等能够通过计算机读取的非暂时性的存储介质来提供。另外,该医用图像处理程序也可以储存于与因特网等网络连接的计算机中,并经由网络被下载从而提供或者分发。例如,该医用图像处理程序由包含上述的各处理功能的模块来构成。作为实际的硬件,CPU从ROM等存储介质中读出并执行医用图像处理程序,从而使各模块加载于主存储装置上,并在主存储装置上生成。
另外,在上述的实施方式以及变形例中,图示的各装置的各构成要素为功能概念性的,并不一定需要物理性地如图示那样构成。即,各装置的分散或者统一的具体的方式不限于图示,能够将其全部或者一部分根据各种负荷、使用状况等以任意的单位功能性地或者物理性地分散或者统一而构成。进而,在各装置中进行的各处理功能的全部或者任意的一部分,能够由CPU以及在该CPU中解析执行的程序来实现,或者由基于布线逻辑的硬件来实现。
另外,在上述的实施方式以及变形例中说明的各处理中的、作为自动执行的处理来说明的处理的全部或者一部分也能够通过手动进行,或者作为手动执行的处理来说明的处理的全部或者一部分也能够通过公知的方法而自动地进行。除此之外,对于包含上述说明书中、附图中所示的处理顺序、控制顺序、具体的名称、各种数据、参数在内的信息,除了特别说明的情况之外能够任意地变更。
根据以上说明的至少一个实施方式,即使在对产生由重力效应引起的伪影的可能性较高的医用图像数据进行解析的情况下,也能够进行适当的解析。
虽然说明了几个实施方式,但这些实施方式作为例子而提示,无意限定发明的范围。这些实施方式能够以其他各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、替换、变更。这些实施方式及其变形包含于发明的范围、主旨内,同样也包含于权利要求书所记载的发明及其等同的范围内。
Claims (15)
1.一种医用图像处理装置,具备:
取得部,取得成为解析对象的医用图像数据;
识别部,识别与所述医用图像数据相对的重力方向;
第一设定部,基于所述重力方向,对构成所述医用图像数据的像素设定第一权重;以及
解析部,基于所述第一权重进行所述医用图像数据的解析。
2.如权利要求1所述的医用图像处理装置,
还具备提取部,该提取部从所述医用图像数据中提取被检体的至少一个构造物,
所述第一设定部基于所述重力方向以及所述至少一个构造物,设定所述第一权重。
3.如权利要求1或者2所述的医用图像处理装置,
所述识别部根据所述医用图像数据的拍摄信息,推断被检体的体位,并基于推断出的体位,识别所述重力方向。
4.如权利要求1或者2所述的医用图像处理装置,
所述识别部根据针对所述医用图像数据的图像解析的结果,推断被检体的体位,并基于推断出的体位,识别所述重力方向。
5.如权利要求1或者2所述的医用图像处理装置,
还具备判定部,该判定部判定在所述医用图像数据的至少一个像素中是否可能产生重力效应,
所述第一设定部对基于所述判定的结果的像素,设定所述第一权重。
6.如权利要求5所述的医用图像处理装置,
所述判定部基于针对所述医用图像数据的图像解析的结果,判定在所述医用图像数据的至少一个像素中是否可能产生重力效应。
7.如权利要求5所述的医用图像处理装置,
所述判定部基于分类器,判定在所述医用图像数据的至少一个像素中是否可能产生重力效应。
8.如权利要求1或者2所述的医用图像处理装置,
所述第一设定部基于所述重力方向和距从所述医用图像数据中提取出的构造物的边缘的距离,对所述像素设定所述第一权重。
9.如权利要求1或者2所述的医用图像处理装置,
所述第一设定部基于所述重力方向和从所述医用图像数据中提取出的构造物,计算与所述像素对应的部位被所述构造物支承的角度,并基于计算出的角度和至该构造物的距离,对所述像素设定所述第一权重。
10.如权利要求1或者2所述的医用图像处理装置,
还具备第二设定部,该第二设定部基于从所述医用图像数据中提取出的构造物,对所述医用图像数据的像素设定第二权重,
所述解析部基于所述第一权重和所述第二权重,进行所述医用图像数据的解析。
11.如权利要求10所述的医用图像处理装置,
所述第二设定部基于距所述构造物的边缘的距离,对所述像素设定所述第二权重。
12.如权利要求1或2所述的医用图像处理装置,
所述解析部生成基于所述第一权重的权重图像数据,并基于该权重图像数据,进行所述医用图像数据的解析。
13.如权利要求10所述的医用图像处理装置,
所述解析部生成基于所述第一权重以及所述第二权重的权重图像数据,并基于该权重图像数据,进行所述医用图像数据的解析。
14.一种医用图像处理方法,包含如下步骤:
取得成为解析对象的医用图像数据;
识别与所述医用图像数据相对的重力方向;
基于所述重力方向,对构成所述医用图像数据的像素设定第一权重;以及
基于所述第一权重,进行所述医用图像数据的解析。
15.一种存储介质,非暂时性地存储使计算机执行下述各处理的程序,该各处理是:
取得成为解析对象的医用图像数据;
识别与所述医用图像数据相对的重力方向;
基于所述重力方向,对构成所述医用图像数据的像素设定第一权重;以及
基于所述第一权重,进行所述医用图像数据的解析。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-194186 | 2021-11-30 | ||
JP2021194186A JP2023080703A (ja) | 2021-11-30 | 2021-11-30 | 医用画像処理装置、方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116205846A true CN116205846A (zh) | 2023-06-02 |
Family
ID=84367028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211483486.XA Pending CN116205846A (zh) | 2021-11-30 | 2022-11-24 | 医用图像处理装置、方法以及存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230169653A1 (zh) |
EP (1) | EP4186432A1 (zh) |
JP (1) | JP2023080703A (zh) |
CN (1) | CN116205846A (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4849449B2 (ja) * | 2006-04-24 | 2012-01-11 | 株式会社日立メディコ | 医用画像診断支援装置 |
JP7240845B2 (ja) * | 2018-10-05 | 2023-03-16 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
-
2021
- 2021-11-30 JP JP2021194186A patent/JP2023080703A/ja active Pending
-
2022
- 2022-11-18 US US18/056,811 patent/US20230169653A1/en active Pending
- 2022-11-24 CN CN202211483486.XA patent/CN116205846A/zh active Pending
- 2022-11-30 EP EP22210506.6A patent/EP4186432A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230169653A1 (en) | 2023-06-01 |
JP2023080703A (ja) | 2023-06-09 |
EP4186432A1 (en) | 2023-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9471987B2 (en) | Automatic planning for medical imaging | |
US9684980B2 (en) | Prior image based three dimensional imaging | |
US10497123B1 (en) | Isolation of aneurysm and parent vessel in volumetric image data | |
US10083511B2 (en) | Angiographic roadmapping mask | |
US11176671B2 (en) | Medical image processing apparatus, and method | |
US10628963B2 (en) | Automatic detection of an artifact in patient image | |
US20170221204A1 (en) | Overlay Of Findings On Image Data | |
US11327773B2 (en) | Anatomy-aware adaptation of graphical user interface | |
JP6772123B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
US11495346B2 (en) | External device-enabled imaging support | |
US9367893B2 (en) | Diagnosis assistance apparatus, method and program | |
JP2019180899A (ja) | 医用画像処理装置 | |
CN116205846A (zh) | 医用图像处理装置、方法以及存储介质 | |
US11138736B2 (en) | Information processing apparatus and information processing method | |
CN110546684B (zh) | 时变数据的定量评估 | |
EP4231234A1 (en) | Deep learning for registering anatomical to functional images | |
US20230386113A1 (en) | Medical image processing apparatus and medical image processing method | |
US11836923B2 (en) | Image processing apparatus, image processing method, and storage medium | |
EP4102461A2 (en) | Medical image registration method and apparatus | |
JP7299314B2 (ja) | 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル | |
WO2022270150A1 (ja) | 画像処理装置、方法およびプログラム | |
US20220230328A1 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
JP2010075327A (ja) | 画像診断支援装置、画像診断支援方法及びプログラム | |
JP2024505213A (ja) | 人工知能モデルの結果に対する信頼情報提供方法および装置 | |
JP2023178525A (ja) | 画像処理装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |