JP2018183447A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2018183447A
JP2018183447A JP2017087591A JP2017087591A JP2018183447A JP 2018183447 A JP2018183447 A JP 2018183447A JP 2017087591 A JP2017087591 A JP 2017087591A JP 2017087591 A JP2017087591 A JP 2017087591A JP 2018183447 A JP2018183447 A JP 2018183447A
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
breast
acquired image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017087591A
Other languages
English (en)
Inventor
遠藤 隆明
Takaaki Endo
隆明 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017087591A priority Critical patent/JP2018183447A/ja
Priority to US15/960,846 priority patent/US20180315189A1/en
Publication of JP2018183447A publication Critical patent/JP2018183447A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10084Hybrid tomography; Concurrent acquisition with multiple different tomographic modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】 撮像部位が臓器の左右の何れであるかを簡便に判別する仕組みを提供する。【解決手段】 情報処理装置は、被検体の部位に対して撮像デバイスを走査することにより撮像される一以上の画像を取得し、該取得された画像を解析して、所定の構造物を抽出し、該取得された画像における該抽出された構造物の位置または形状に関する情報に基づいて、該部位が該被検体の左右の何れかであるかを判別する判別する。【選択図】 図1

Description

情報処理装置、情報処理方法、およびプログラムに関する。
医療の現場において、医師は、超音波診断装置、光音響撮像装置(以下、PAT(PhotoAcoustic Tomography)装置と呼ぶ)、磁気共鳴映像装置(以下、MRI(Magnetic Resonance Imaging)装置と呼ぶ)、コンピュータ断層撮像装置(以下、X線CT(Computed Tomography)装置と呼ぶ)、光干渉断層計(以下、OCT(Optical Coherence Tomography)装置と呼ぶ)等の様々なモダリティ(撮像装置)によって撮像された医用画像を用いて診断を行うことがある。このような場合に、医用画像に関する情報に基づいて、医用画像が被検体の何れの臓器(部位)を撮像したものであるか、あるいは、左右にある臓器の何れを撮像したものであるかを判別することは有用であり、従来様々な手法が提案されている。
例えば特許文献1では、カプセル型内視鏡によって撮像された体内画像の特徴量に基づいて、その体内画像の撮像時にカプセル型内視鏡が位置していた臓器を判別する手法が記載されている。ここで、体内画像の特徴量としては、圧縮符号化された体内画像のファイルサイズや、DCT(離散コサイン変換)符号化された体内画像を復号化する場合に算出されるDCT係数が用いられている。また、特許文献2では、時系列の超音波画像群から動き情報を算出して、当該動き情報における心拍に由来する運動成分と呼吸に由来する運動成分との強度比から、超音波プローブによる操作が行われている臓器の左右を判別する手法が記載されている。
特開2009−131319号公報 特許第5284123号公報
しかしながら、特許文献1に記載の手法は、左右一対の臓器(部位)の場合には画像の特徴量に差異が生じないため、臓器の左右を判別することはできないという課題がある。一方、特許文献2に記載の手法は、時系列画像を取得するために超音波プローブを所定の位置に所定の時間だけ固定することが必要であり、臓器の左右を判別する手続きが煩雑であるという課題がある。
本発明は上述した課題を解決するためになされたものであり、撮像部位が、左右にある臓器の何れであるかを簡便に判別する仕組みを提供することを目的とする。
上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を有する。すなわち、被検体の部位に対して撮像デバイスを走査することにより撮像される一以上の画像を取得する取得手段と、前記取得された画像を解析して、所定の構造物を抽出する解析手段と、前記取得された画像における前記抽出された構造物の位置または形状に関する情報に基づいて、前記部位が前記被検体の左右の何れかであるかを判別する判別手段と、を有する。
本発明によれば、撮像部位が、左右にある臓器の何れであるかを簡便に判別する仕組みを提供することができる。
第1実施形態における情報処理装置の機能構成を示す図。 第1実施形態における被検体の臓器と撮像デバイスを示す図。 第1実施形態における撮像画像を示す図。 第1実施形態における情報処理装置のハードウェア構成の一例を示す図。 第1実施形態における情報処理装置の処理手順を示すフローチャート。 第1実施形態における骨格構造を示す図。 第1実施形態における判別処理の手順を示すフローチャート。 第2実施形態における被検体の臓器と撮像デバイスを示す図。 第2実施形態における情報処理装置の処理手順を示すフローチャート。 第3実施形態における情報処理装置の機能構成を示す図。 第3実施形態における情報処理装置の処理手順を示すフローチャート。
以下、添付の図面を参照しながら、本発明の実施の形態について詳説する。ただし、本発明の範囲は図示例に限定されるものではない。
<第1実施形態>
第1実施形態における情報処理装置は、被検体の臓器(部位)に対して撮像デバイスを走査して得られる(撮像される)一連の画像から所定の構造物を抽出し、抽出した構造物の画像中における位置または形状に関する情報(位置または形状の変化)に基づいて、臓器の左右を判別する。本実施形態では、被検体の臓器が乳房であり、その一連の画像を撮像する撮像デバイスが超音波診断装置の1次元アレイプローブ(以下、1Dプローブと呼ぶ)であり、データサーバに保存された一連の画像から所定の構造物として肋骨を抽出する場合を例に説明する。なお、以下の説明において、検査者による1Dプローブ等を用いた操作(走査)に関する方向は、検査者側から見た被検者の身体に対する方向であるものとする。
図1は、第1実施形態における情報処理装置の機能構成の一例を示す図である。第1実施形態における情報処理装置は、図1に示す情報処理装置100である。第1実施形態における情報処理システム1は、情報処理装置100と、撮像装置140と、データサーバ150とを有する。
撮像装置140は例えば超音波診断装置であり、操作者による1Dプローブの手動走査に応じて乳房の一連の断層画像を撮像する。一連の断層画像には、左右の乳房の少なくとも一部が含まれ得る。ここで、1Dプローブの手動走査は、操作者により、所定の手順に従って行われるものとする。本実施形態では、一例として、操作者は1Dプローブ240を、乳房の右上(すなわち、検査者側から見て被検者の乳房の右上)を起点として水平断で上下方向に縦断走査した後に、乳房の右上を起点として矢状断で左右方向に横断走査するものとする。ただし、本発明の実施はこれに限らず、所定の手順の走査であればよく、例えば、操作者は1Dプローブ240を、横断走査した後に縦断走査してもよい。
図2は、操作者が、被検者の左側の乳房200(検査者側からみて被検者の右側の乳房)の皮膚201(すなわち表面)に沿って1Dプローブ240を走査する様子を示す、水平断の図である。図2において、1Dプローブ240は右上(腋下付近)の起点の位置にあり、1Dプローブ240から超音波ビームが送信される方向(超音波座標系245のY軸の正方向)に、肋骨210が存在している。また、胸骨230も存在している。
データサーバ150は、撮像装置140によって撮像された乳房の一連の断層画像を保持する。
情報処理装置100は、取得部102と、選定部104と、解析部106と、判別部108とを有する。取得部102は、乳房の一連の断層画像をデータサーバ150から取得する。選定部104は、乳房の一連の断層画像から、所定の構造物(本実施形態では肋骨)の抽出に用いる断層画像群を選定する。解析部106は、選定した断層画像群を解析して、それぞれの断層画像中における所定の構造物の位置を抽出する。判別部108は、それぞれの断層画像中における所定の構造物の位置に基づいて、被検者における乳房の左右を判別する。
図4は、情報処理装置100のハードウェア構成の一例を示す図である。情報処理装置100は、一例として、CPU401と、ROM402と、RAM403と、HDD404と、USB405と、通信部406と、GPUボード407と、HDMI408とを有する。これらは内部バスにより通信可能に接続されている。
CPU(Central Processing Unit)401は、情報処理装置100およびCPU401に接続する各部を統合的に制御する制御回路である。CPU401は、ROM402に格納されているプログラムを実行することにより制御を実施する。またCPU401は、ディスプレイ410を制御するためのソフトウェアであるディスプレイドライバを実行し、ディスプレイ410に対する表示制御を行う。さらにCPU401は、操作部409に対する入出力制御を行う。
ROM(Read Only Memory)402は、CPU401による制御の手順を記憶させたプログラムやデータを格納する。RAM(Random Access Memory)403は、情報処理装置100およびこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶するためのメモリである。RAM403は、CPU401が実行する制御プログラムを格納し、CPU401が各種制御を実行する際の様々なデータを一時的に格納する。
HDD(Hard Disk Drive)404は、一連の画像など各種データを保存する補助記憶装置である。 USB(Universal Serial Bus)405は操作部409と接続している。
通信部406は、情報処理システム1を構成する各部との通信を行うための回路である。通信部406は、所望の通信形態にあわせて、複数の構成要素により実現されていてもよい。
GPU(Graphic Processing Unit)ボード407は、GPU、およびビデオメモリを含む汎用グラフィックスボードである。情報処理装置100は、GPUボード407を有することにより、専用ハードウェアを必要とせずに高速に画像処理の演算や画像表示を行うことが可能となる。なお、本実施形態においては、変形画像および誤差画像をデータサーバ150から取得する構成となっているので、情報処理装置100はGPUボード407を有していなくてもよい。
HDMI(登録商標)(High Definition Multimedia Interface)408は、ディスプレイ410と接続している。
図5は、情報処理装置100が実施する処理の一例を示すフローチャートである。図5に示す処理により、情報処理装置100は、一連の断層画像から肋骨を抽出し、その画像中における肋骨の位置に基づいて、乳房の左右を判別する(すなわち、撮像部位(断層画像において抽出された構造物)が乳房の左右の何れかであるかを判別する)。以下、各ステップの処理について詳述する。
ステップS510において、取得部102は、乳房の一連の断層画像をデータサーバ150から取得する。そして、取得部102は、取得した画像を選定部104に送信する。
ステップS520において、選定部104は、ステップS510で取得した乳房の一連の断層画像の中から、肋骨の抽出に用いる断層画像群を選定する。以下、選定したN枚の断層画像をIn(1≦n≦N)と表記する。本実施形態では、選定部104は、乳房の右上から下方向に縦断走査した水平断の断層画像群を選定する。例えば、選定部104は、1Dプローブ240の手動走査の開始から所定時間(例えば3秒間)の一連の断層画像300を選定する。ここで、手動走査の開始のタイミングは、例えば、1Dプローブ240が乳房200の皮膚201に接触して乳房内部の断層画像300が取得され始めたタイミングとすればよい。該タイミングは、例えば、1Dプローブ240が乳房200に接触していない状態の断層画像と現在の断層画像との差分が一定以上か否かで判定することができる。そして、選定部104は、選定した断層画像群を解析部106に送信する。
ステップS530において、解析部106は、ステップS320で選定した断層画像群を解析して、それぞれの断層画像における肋骨の位置を抽出する。ここで、図3に示すように、超音波の断層画像300において、肋骨の表面310は高輝度に描出されて、その深部311は低輝度となる。したがって、特許文献2に記載の手法等の公知の手法によって、肋骨の位置を抽出することができる。そこで、本実施形態では、解析部106は、特許文献2に記載の手法と同様に、断層画像300のそれぞれに対して平滑化処理を施してからSobelフィルタで肋骨領域と肋間領域との境界線を抽出することによって、それぞれの断層画像中における肋骨の左端の位置312(すなわち、X軸上で最も小さい値の位置)と右端の位置313(すなわち、X軸上で最も大きい値の位置)を抽出するものとする。以下、断層画像Inから抽出した肋骨の左端の位置を(posLn_x,posLn_y)、右端の位置を(posRn_x,posRn_y)と表記する。そして、解析部106は、それぞれの断層画像中における肋骨の位置、すなわち肋骨の左端の位置312と右端の位置313を、判別部108に送信する。
ステップS540において、判別部108は、ステップS530で抽出したそれぞれの断層画像中における肋骨の位置に基づいて、撮像部位(断層画像において抽出された構造物)が乳房の左右の何れかであるかを判別する。図6に、肋骨の骨格構造を示す。図6に示すように、胸骨630の近傍では、例えば装置座標系605のX軸と第2肋軟骨612の長手方向とのなす角度θ2よりも、X軸と第5肋軟骨615の長手方向とのなす角度θ5の方が大きくなる。同様に、第m肋軟骨(本実施形態では2≦m≦5)では、mが大きいほど、X軸と第m肋骨の長手方向とのなす角θmは大きくなる。一方、体側(身体の側面)の近傍では、例えばX軸と第2肋骨622の長手方向とのなす角度θ2’と、X軸と第5肋骨625の長手方向とのなす角度θ5’の差異は小さい。同様に、第m肋骨(本実施形態では2≦m≦5)では、X軸と第m肋骨の長手方向とのなす角θm’はほぼ一定である。本実施形態では、判別部108は、この違いを利用して、乳房の左右の判別を行う。
図7は、ステップS540で判別部108が行う処理をより詳細に示したフローチャート図である。
ステップS5410において、判別部108は、それぞれの断層画像In中における肋骨の幅Wnを、式(1)に従って算出する。
あるいは、判別部108は、式(2)に従って、X座標値のみに基づいて、それぞれの断層画像In中における肋骨の幅Wnを算出してもよい。
ステップS5420において、判別部108は、nの変化に対する肋骨の幅Wnの変化を分析する。具体的には、判別部108は、nとWn(1≦n≦N)の関係を線形回帰により分析し、Y=AX+BというモデルのAの値を算出する。前述したように、検査者は乳房の右上を基点として水平断で上下方向に縦断走査した後に、乳房の右上を起点として矢状断で左右方向に横断走査する。ここで、図6を参照すると、右側の乳房(検査者側からみて被検者の左側の乳房)の場合には、断層画像群In中に第2肋軟骨612、第3肋軟骨613、第4肋軟骨614、第5肋軟骨615が順番に描出されるので、nが大きくなるにつれて断層画像群In中の肋骨の幅Wnは小さくなる。したがって、Aは負の値となる。一方で、左側の乳房(検査者側からみて被検者の右側の乳房)の場合には、断層画像群In中に第2肋骨622、第3肋骨623、第4肋骨624、第5肋骨625が順番に描出されるので、肋骨の幅Wnはほぼ一定となる。したがって、Aの値はほぼ0となる。
ステップS5430において、判別部108は、ステップS5420で算出したAの値に基づいて、乳房の左右の判別を行う。例えば、判別部108は、Aの値が所定の負の閾値よりも小さい場合には、撮像部位は右側の乳房であると判別し、Aの値が当該所定の負の閾値よりも大きい場合には、撮像部位は左側の乳房であると判別する。
ステップS5440において、判別部108は、乳房の左右の判別の結果をデータサーバ150に送信する。
以上説明したように、第1実施形態における情報処理装置100は、被検体の臓器に対して撮像デバイスを走査して得られる一連の画像から所定の構造物を抽出し、その画像中における位置に基づいて臓器の左右を判別する。これにより、撮像部位が左右にある臓器の何れであるかを、操作者の指定に基づかずに、簡便に判別することができる。
なお、本実施形態における情報処理装置100は、1Dプローブで撮像した断層画像中における肋骨の位置を抽出したが、これに限らず、断層画像群から既知の手法で3次元画像を再構成した上で肋骨の位置を抽出してもよい。または、情報処理装置100は、2次元アレイプローブ(2Dプローブ)などで直接3次元画像を取得して肋骨の位置を抽出してもよい。
(第1実施形態の変形例1)
第1実施形態における情報処理装置100の選定部104は、縦断走査の断層画像群を、手動走査の開始のタイミングに基づいて選択していたが、本発明の実施はこれに限らない。例えば、1Dプローブ240に替えて、方位角センサを取り付けた1Dプローブを用いる場合、選定部104は、当該センサの計測値に基づいて縦断走査と横断走査を判別して、画像を選定してもよい。
また、縦断走査の開始のタイミングを、操作者が不図示のボタンを押下することなどにより指示してもよく、さらに縦断走査の終了のタイミングを、操作者が不図示のボタンを押下することなどにより指示してもよい。選定部104は、このような指示に基づいて、画像を選定することができる。
また、選定部104は、肋骨の抽出結果に基づいて、縦断走査と横断走査を判別することも可能である。ここで、図6に示すように、肋骨の長手方向とY軸方向とのなす角度は、肋骨の長手方向とX軸方向とのなす角度よりも概ね大きい。したがって、横断走査で抽出される肋骨の幅の平均値よりも、縦断走査で抽出される肋骨の幅の平均値の方が大きくなる。選定部104は、このことを利用して、縦断走査の断層画像群を選択してもよい。
本変形例によれば、縦断走査した後に横断走査する場合に限らず、撮像部位が左右にある臓器の何れであるかを、より確実に判別することができる。
(第1実施形態の変形例2)
第1実施形態における情報処理装置100は、縦断走査によって得られた断層画像群に基づいて臓器の左右を判別していたが、本発明の実施はこれに限らない。例えば、情報処理装置100は、横断走査や放射状走査など、縦断走査とは異なる所定の走査によって得られた断層画像群に基づいて臓器の左右を判別することもできる。横断走査の場合には、断層画像中における肋骨の幅の変化ではなく、断層画像中における肋骨の位置の変化に基づいて左右を判別する。X軸における肋骨の位置Pnは、例えば式(3)に従って算出するものとする。
ここで、例えば第5肋骨625の近傍でプローブを何れか片方の乳房の右側から左側に向けて横断走査すると、左側の乳房(検査者側からみて被検者の右側の乳房)の場合には、nが大きくなるにつれて断層画像中における肋骨のX軸上の位置Pnも大きくなる。一方、右側の乳房(検査者側からみて被検者の左側の乳房)の場合には、検査者側からみて乳房の右側から左側に向けて横断走査すると、nが大きくなるにつれて断層画像中における肋骨の位置Pnは小さくなる。判別部108は、この関係性を利用して、第1実施形態と同様に、乳房の左右を判別することができる。
本変形例によれば、撮像デバイスの走査方向に依存せずに、撮像部位が臓器の左右の何れであるかを判別することができる。
(第1実施形態の変形例3)
第1実施形態では、超音波診断装置で撮像された断層画像群を取得し、所定の構造物として肋骨を抽出する場合を例に説明したが、本発明の実施はこれに限らない。例えば、情報処理装置100は、PAT装置で撮像されたショット画像群を取得し、所定の構造物として、例えば外側胸動脈等の解剖学的な位置が既知の血管を抽出してもよい。ここで、外側胸動脈は体側の近傍に存在するので、PATのショット画像群を超音波の断層画像群と同様に乳房の右上を起点とした手動走査で取得する場合には、縦断走査のショット画像中に外側胸動脈が検出された時に左側の乳房(検査者側からみて被検者の右側の乳房)であると判別することができる。外側胸動脈の抽出のために、例えば、情報処理装置100は、予め当該動脈の画像パターンを学習し、ショット画像の中から当該パターンを探し出すことによって検出してもよい。
また、情報処理装置100は、OCT装置で撮像された眼球の断層画像群を取得し、所定の構造物として例えば神経線維層を公知の手法で抽出してもよい。この場合、情報処理装置100は、断層画像内の右側の神経線維層の方が厚い場合には、撮像部位は右の眼球であると判別することができる。
(第1実施形態の変形例4)
第1実施形態では、超音波診断装置の1Dプローブで手動走査する場合を例に説明したが、本発明の実施はこれに限らない。例えば、1Dプローブを機械走査するタイプの超音波診断装置や、撮像デバイスを機械走査するタイプのPAT装置を使用してもよい。
(第1実施形態の変形例5)
第1実施形態では、データサーバに保存された一連の画像から所定の構造物を抽出する場合を例に説明したが、本発明の実施はこれに限らず、データサーバを介さずに、撮像装置から一連の画像を順次取得してもよい。この場合、図1におけるデータサーバ150は、乳房の左右の判別の結果の保存のみに使用することとなり得る。
<第2実施形態>
第1実施形態では、一種類の所定の構造物を抽出する場合を例として説明した。第2実施形態における情報処理装置は、被検体の臓器に対して撮像デバイスを機械的に走査して得られる一連の画像から複数種類の所定の構造物を抽出し、抽出した複数種類の構造物の位置関係(複数種類の構造物の出現の順番)に基づいて臓器の左右を判別する。本実施形態では、操作者が超音波診断装置の1Dプローブを機械走査して乳房の一連の画像を撮像し、情報処理装置が、データサーバに保存された一連の画像から所定の構造物として胸骨と、所定の条件を満たす皮膚を抽出するものとする。この所定の条件は、本実施形態では、乳房の保持部材(後述)と皮膚との間に空隙が含まれるという条件を表すものとする。また、本実施形態では、機械走査される1Dプローブの位置と走査方向は、計測されていて既知であるものとする。以下、第2実施形態に係る情報処理装置について、第1実施形態とは異なる部分について説明する。第1実施形態と同様の部分については、上述した説明を援用することにより、ここでは詳しい説明を省略する。
図8は、操作者が右側の乳房800の保持部材850(被検者を保持するための部材)に沿って、1Dプローブ840をプローブ座標系845のZ軸の負方向に機械走査する様子を示す、水平断の図である。本実施形態では、腫瘍領域802が明瞭に描出されるように、腫瘍領域802が存在する乳房の内側(胸骨830の近傍)が保持部材850に密着するように保持される場合について説明する。この場合、乳房の内側では保持部材850と皮膚801との間に空隙が存在せず、乳房の外側では保持部材850と皮膚801との間に空隙が存在することになる。ここで、保持部材850の形状および装置座標系805における位置姿勢は既知であり、したがって各断層画像中における保持部材850の位置は既知であるものとする。
第2実施形態における情報処理装置100の機能構成は、第1実施形態において説明した図1と同様である。ただし、解析部106と判別部108の機能が、第1実施形態とは異なる。
解析部106は、選定した断層画像群を解析して、それぞれの断層画像中における皮膚および胸骨を抽出する。また、解析部106は、皮膚の抽出結果に基づいて、乳房の保持部材と皮膚との間の空隙を検出する。
判別部108は、乳房の保持部材と皮膚との間に空隙が含まれる断層画像と胸骨が含まれる断層画像との位置関係に基づいて、乳房の左右を判別する。
図9は、情報処理装置100が実施する処理の一例を示すフローチャートである。図9に示す処理により、情報処理装置100は、一連の断層画像から胸骨と皮膚を抽出し、それらの画像中における位置に基づいて乳房の左右を判別する。ここで、ステップS910の処理は、第1実施形態において説明した図5のステップS510の処理と同様であるので、説明を省略する。
ステップS920において、選定部104は、ステップS910で取得した乳房の一連の断層画像の中から、左右の判別に用いる断層画像群を選定する。本実施形態では、選定部104は、機械走査される1Dプローブ840の位置と走査方向の情報に基づいて、乳房の右上から左方向に横断走査した矢状断の断層画像群を選定する。そして、選定部104は、選定した断層画像群を解析部106に送信する。
ステップS930において、解析部106は、ステップS920で選定した断層画像群を解析して、それぞれの断層画像中における胸骨の位置を抽出する。ここで、超音波の矢状断の断層画像中に胸骨が存在する場合には、その表面が断層画像の左端から右端の全領域に渡ってほぼ水平に高輝度に描出される。そこで、本実施形態では、解析部106は、全ての断層画像In(1≦n≦N)に対して、Hough変換により胸骨の抽出を試行する。そして、解析部106は、胸骨の抽出に成功した断層画像の番号nのリスト(胸骨存在番号リスト)等の抽出した胸骨の位置に関する情報を、判別部108に送信する。
また、解析部106は、ステップS920で選定した断層画像群を解析して、それぞれの断層画像中における皮膚の位置を抽出する。本実施形態では、それぞれ断層画像In(1≦n≦N)に対して二値化処理を施すことによって、皮膚の位置を抽出する。それぞれの断層画像中における、保持部材850の位置(Y座標値)と、抽出された皮膚の位置(Y座標値)とが異なる場合に、保持部材と皮膚との間に空隙が存在することになる。そこで解析部106は、保持部材と皮膚との間に空隙が存在する断層画像の番号nを求め、そのリスト(空隙存在番号リスト)等の抽出した皮膚の位置に関する情報を、判別部108に送信する。
ステップS940において、判別部108は、ステップS930で抽出した全断層画像中における胸骨と皮膚の位置に関する情報に基づいて、撮像部位が乳房の左右の何れかであるかを判別する。例えば。判別部108は、胸骨存在番号リストに記された番号よりも空隙存在番号リストに記された番号の方が大きい場合には、撮像部位は右側の乳房 (検査者側からみて被検者の左側の乳房)であると判別する。一方、胸骨存在番号リストに記された番号よりも空隙存在番号リストに記された番号の方が小さい場合には、撮像部位は左側の乳房(検査者側からみて被検者の右側の乳房)であると判別する。そして、判別部108は、乳房の左右の判別の結果をデータサーバ150に送信する。
以上説明したように、第2実施形態における情報処理装置100は、被検体の臓器に対して撮像デバイスを走査して得られる一連の画像から複数種類の所定の構造物を抽出し、それらの画像中における位置関係に基づいて臓器の左右を判別する。これにより、撮像部位が左右にある臓器の何れであるかを、操作者の指定に基づかずに、簡便に判別することができる。
(第2実施形態の変形例1)
第2実施形態における情報処理装置100は、超音波診断装置で撮像された乳房の断層画像群を取得し、所定の構造物として胸骨と皮膚を抽出する場合を例に説明したが、本発明の実施はこれに限らない。例えば、情報処理装置100は、超音波診断装置で撮像された乳房の断層画像群から胸骨と小胸筋を抽出してもよい。小胸筋の抽出のために、例えば、情報処理装置100は、予め小胸筋のテクスチャのパターンを学習し、断層画像の中から当該パターンを探し出すことによって抽出してもよい。小胸筋は乳房の上外側部のみに存在するので、情報処理装置100は、本実施形態における空隙存在リストの代わりに小胸筋存在リストを利用することにより、撮像部位が乳房の左右の何れかであるかを判別することができる。
また、情報処理装置100は、OCT装置で撮像された眼球の断層画像群を取得し、所定の構造物として公知の手法で視神経乳頭と中心窩等を抽出し、それらの位置関係に基づいて眼球の左右を判別してもよい。この場合、情報処理装置100は、中心窩よりも右側に視神経乳頭が位置している場合には、撮像部位は右の眼球であると判別することができる。
また、情報処理装置100は、PAT装置で撮像された手や足のショット画像群を取得し、所定の構造物として親指と小指等をパターンマッチング等によって抽出し、それらの位置関係に基づいて、撮像部位が手や足の左右の何れかであるかを判別してもよい。この場合、情報処理装置100は、親指よりも右側に小指が位置している場合には、撮像部位が右の手や足であると判別することができる。
<第3実施形態>
第1実施形態および第2実施形態では、外部のデータサーバに保存された一連の画像から所定の構造物を自動で抽出する場合を例に説明した。第3実施形態における情報処理装置は、所定のタイミングにおける被検体の臓器の画像から所定の構造物を抽出し、抽出した構造物の画像中における位置に基づいて臓器の左右を判別する。本実施形態では、被検体の臓器が乳房であり、その画像を撮像する撮像デバイスが超音波診断装置の1Dプローブであり、操作者が指定したタイミングの画像から所定の構造物として皮膚を抽出する場合を例に説明する。
以下、第3実施形態における情報処理装置について、第1実施形態とは異なる部分について説明する。第1実施形態と同様の部分については、上述した説明を援用することにより、ここでは詳しい説明を省略する。
図10は、第3実施形態における情報処理装置の機能構成の一例を示す図である。第3実施形態における情報処理装置は、図10に示す情報処理装置1000である。第3実施形態における情報処理システム10は、情報処理装置1000と、撮像装置140と、ディスプレイ410とを有する。本実施形態では、情報処理装置1000とおよびディスプレイ410は、撮像装置140である超音波診断装置に内蔵されているものとする。
情報処理装置1000は、取得部1002と、解析部1006と、判別部1008と、指示受付部1010と、表示制御部1012とを有する。指示受付部1010は、画像取得のタイミングに関する操作者からの指示を受け付け、指示を受け付けたことを取得部1002に通知する。取得部1002は、操作者からの指示を受け付けたタイミングにおける乳房の断層画像を取得する。解析部1006は、取得した断層画像を解析して、当該断層画像中における所定の構造物(本実施形態では皮膚)の位置を抽出する。判別部1008は、取得した断層画像中における所定の構造物の位置に基づいて、乳房の左右を判別する。表示制御部1012は、乳房の左右判別の状態や判別の結果等をディスプレイ410に表示する制御を行う。
図11は、情報処理装置1000が実施する処理の一例を示すフローチャートである。図11に示す処理により、情報処理装置1000は、操作者からの指示を受け付けたタイミングにおける断層画像から皮膚を抽出し、その断層画像中における位置に基づいて乳房の左右を判別する。
ステップS1110において、指示受付部1010は、操作部409の操作入力による操作者からの指示を受け付ける。本実施形態では、操作者が被検者にとって左側の乳房(検査者側からみて被検者の右側の乳房)を走査する際には1Dプローブの左半分が皮膚に接触するように押し当て、逆に被検者にとって右側の乳房(検査者側からみて被検者の左側の乳房)を走査する際には1Dプローブの右半分が皮膚に接触するように押し当てた上で、操作部409における所定のボタンを押下するものとする。そして、指示を受け付けたことを取得部1002に通知する。
ステップS1120において、取得部1002は、操作者からの指示を受け付けたタイミングにおける乳房の断層画像を、撮像装置140の不図示の撮像部から取得する。例えば、取得部1002は、指示受付部1010からの通知を受けたタイミングで、乳房の断層画像を、撮像装置140の不図示の撮像部から取得する。そして、取得部1002は、取得した断層画像を解析部1006に送信する。
ステップS1130において、解析部1006は、ステップS320で選定した断層画像を解析して、当該断層画像中における皮膚の位置を抽出する。ここで、1Dプローブが皮膚と接触している領域は、接触していない領域よりも、断層画像中において高輝度に描出される。このことを利用して、解析部1006は、超音波座標系245における、断層画像中で1Dプローブが皮膚に接触している左端の位置のX座標値posL_xと右端の位置のX座標値posR_xを取得する。そして、解析部1006は、断層画像中における皮膚の位置、すなわち1Dプローブが皮膚に接触している左端の位置と右端の位置を、判別部1008に送信する。
ステップS1140において、判別部1008は、ステップS1130で抽出した断層画像中における皮膚の位置に基づいて、撮像部位が乳房の左右の何れかであるかを判別する。例えば、左端の位置posL_xが断層画像の左端の位置と略一致していて、右端の位置posR_xが断層画像の右端の位置と略一致していない場合には、判別部1008は、撮像部位は左側の乳房(検査者側からみて被検者の右側の乳房)と判別する。一方、右端の位置posR_xが断層画像の右端の位置と略一致していて、左端の位置posL_xが断層画像の左端の位置と略一致していない場合には、判別部1008は、撮像部位は右側の乳房(検査者側からみて被検者の左側の乳房)と判別する。そして、それ以外の場合には、判別部1008は、判別に失敗したものと判定してもよい。
ステップS1150において、情報処理装置1000は、ステップS1140で乳房の左右の判別に成功したか否かを判定する。情報処理装置1000は、左右の判別に成功したと判定した場合には(ステップS1150でYes)、ステップS1160へと処理を進める。一方、左右の判別に失敗したと判定した場合には(ステップS1150でNo)、ステップS1170へと処理を進める。
ステップS1160において、表示制御部1012は、ステップS1140で左側の乳房と判別された場合には左側の乳房のボディマークをディスプレイ410に表示し、右側の乳房と判別された場合には右側の乳房のボディマークをディスプレイ410に表示する。そして、ステップS1180へと処理を進める。
ステップS1170において、表示制御部1012は、左右を判別できていない状態を示す情報をディスプレイ410に表示する。例えば、表示制御部1012は、ディスプレイ410に「判別中」「Unknown」等の表示を行う。そして、ステップS1180へと処理を進める。
ステップS1180において、情報処理装置1000は、左右判別の処理を終了するか否かの判定を行う。例えば、情報処理装置1000は、操作者による操作部409の操作入力によって終了の指示を取得する。情報処理装置1000は、左右判別の処理を終了すると判定した場合には(ステップS1180でYes)、情報処理装置1000の処理を終了させる。一方、左右判別の処理を終了すると判定しなかった場合には(ステップS1180でNo)、ステップS1110へと処理を戻す。
以上説明したように、第3実施形態における情報処理装置1000は、所定のタイミングにおける被検体の臓器の画像から所定の構造物を抽出し、抽出した構造物の画像中における位置に基づいて臓器の左右を判別する。これにより、撮像部位が臓器の左右の何れであるかを、1枚の断層画像に基づいて簡便に判別することができる。
(第3実施形態の変形例1)
第3実施形態では、指示受付部1010が、操作部409の操作入力による操作者からの指示を受け付ける場合の例を説明した。これに限らず、指示受付部1010は、操作者が1Dプローブを所定の時間静止させていることを動画像解析等で検出することによって、操作者からの指示を受け付けてもよい。
(第3実施形態の変形例2)
第3実施形態では、所定のタイミングにおける静止画像を処理する場合の例を説明した。これに限らず、情報処理装置1000は、所定のタイミングにおける動画像を処理してもよい。例えば、情報処理装置1000は、動画像の取得開始の指示と取得終了の指示を受け付けて、その期間に取得された動画像(断層画像群)に対して第1実施形態で説明した画像処理を施して、臓器の左右を判別してもよい。
<その他の実施形態>
以上、超音波診断装置やPAT装置やOCT装置を用いた例で本発明のいくつかの実施形態を説明したが、本発明の適用範囲はこれに限られるものではない。例えば、被検体の臓器を撮像して得られる一以上の画像を解析して当該臓器の左右を判別する、あらゆる装置に対して本発明を適用することができる。例えば、拡散光トモグラフィ(DOT)装置などにより得られた一以上の画像に本発明の左右判別方法を適用してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102:取得部、104:選定部、106:解析部、108:判別部

Claims (13)

  1. 被検体の部位に対して撮像デバイスを走査することにより撮像される一以上の画像を取得する取得手段と、
    前記取得された画像を解析して、所定の構造物を抽出する解析手段と、
    前記取得された画像における前記抽出された構造物の位置または形状に関する情報に基づいて、前記部位が前記被検体の左右の何れかであるかを判別する判別手段と、
    を有することを特徴とする情報処理装置。
  2. 前記判別手段は、前記取得された画像における前記抽出された構造物の位置または形状の変化に基づいて、前記部位が前記被検体の左右の何れかであるかを判別することを特徴とする請求項1に記載の情報処理装置。
  3. 前記部位は乳房であり、前記所定の構造物は肋骨であり、
    前記判別手段は、前記取得された画像における前記肋骨の幅の変化に基づいて、前記部位が前記被検体の左右の何れかであるかを判別することを特徴とする請求項1に記載の情報処理装置。
  4. 前記部位は乳房であり、前記所定の構造物は所定の血管であり、
    前記判別手段は、前記取得された画像における前記血管の位置の変化に基づいて、前記部位が前記被検体の左右の何れかであるかを判別することを特徴とする請求項1に記載の情報処理装置。
  5. 前記解析手段は、前記部位における複数の所定の構造物を抽出し、
    前記判別手段は、取得された画像における前記抽出された夫々の構造物の位置関係に基づいて、前記部位が前記被検体の左右の何れかであるかを判別することを特徴とする、請求項1に記載の情報処理装置。
  6. 前記夫々の構造物の位置関係は、前記取得された画像における前記夫々の構造物の出現の順番であることを特徴とする請求項5に記載の情報処理装置。
  7. 前記部位は乳房であり、前記複数の所定の構造物は、胸骨と所定の条件を満たす皮膚であり、
    前記判別手段は、前記取得された画像における前記胸骨と前記所定の条件を満たす皮膚との間の位置関係に基づいて、前記乳房が前記被検体の左右の何れかであるかを判別することを特徴とする請求項5または6に記載の情報処理装置。
  8. 前記部位は乳房であり、前記複数の所定の構造物は胸骨と小胸筋であり、
    前記判別手段は、前記取得された画像における前記胸骨と前記小胸筋との間の位置関係に基づいて、前記乳房が前記被検体の左右の何れかであるかを判別することを特徴とする請求項5または6に記載の情報処理装置。
  9. 前記一以上の画像の取得の実行の指示を受け付ける指示受付手段を更に有し、
    前記取得手段は、前記指示に基づいて前記一以上の画像を取得することを特徴とする、請求項1から8のいずれか1項に記載の情報処理装置。
  10. 前記撮像デバイスは、操作者または外部の装置により走査が制御されることを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。
  11. 前記取得手段は、外部のサーバに保存された前記一以上の画像を取得することを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。
  12. 被検体の部位に対して撮像デバイスを走査することにより撮像される一以上の画像を取得する取得工程と、
    前記取得された画像を解析して、所定の構造物を抽出する解析工程と、
    前記取得された画像における前記抽出された構造物の位置または形状に関する情報に基づいて、前記部位が前記被検体の左右の何れかであるかを判別する判別工程と、
    を有することを特徴とする情報処理方法。
  13. コンピュータを、請求項1から11のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
JP2017087591A 2017-04-26 2017-04-26 情報処理装置、情報処理方法、およびプログラム Pending JP2018183447A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017087591A JP2018183447A (ja) 2017-04-26 2017-04-26 情報処理装置、情報処理方法、およびプログラム
US15/960,846 US20180315189A1 (en) 2017-04-26 2018-04-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017087591A JP2018183447A (ja) 2017-04-26 2017-04-26 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2018183447A true JP2018183447A (ja) 2018-11-22

Family

ID=63916750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017087591A Pending JP2018183447A (ja) 2017-04-26 2017-04-26 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US20180315189A1 (ja)
JP (1) JP2018183447A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021166574A (ja) * 2020-04-09 2021-10-21 キヤノンメディカルシステムズ株式会社 超音波診断装置およびボディマーク表示プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7616818B2 (en) * 2003-02-19 2009-11-10 Agfa Healthcare Method of determining the orientation of an image
JP5284123B2 (ja) * 2009-01-20 2013-09-11 株式会社東芝 超音波診断装置および位置情報取得プログラム
US9959617B2 (en) * 2016-01-28 2018-05-01 Taihao Medical Inc. Medical image processing apparatus and breast image processing method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021166574A (ja) * 2020-04-09 2021-10-21 キヤノンメディカルシステムズ株式会社 超音波診断装置およびボディマーク表示プログラム
JP7373452B2 (ja) 2020-04-09 2023-11-02 キヤノンメディカルシステムズ株式会社 超音波診断装置およびボディマーク表示プログラム

Also Published As

Publication number Publication date
US20180315189A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
US11191518B2 (en) Ultrasound system and method for detecting lung sliding
JP7263324B2 (ja) 3次元脳地図の生成方法及びプログラム
US20170296032A1 (en) Branching structure determination apparatus, method, and program
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
US10362941B2 (en) Method and apparatus for performing registration of medical images
US10542955B2 (en) Method and apparatus for medical image registration
US8218839B2 (en) Automatic localization of the left ventricle in cardiac cine magnetic resonance imaging
CN109872312B (zh) 医学图像分割方法、装置、系统及图像分割方法
US20120262460A1 (en) Image processing apparatus, and processing method and non-transitory computer-readable storage medium for the same
JP2016531709A (ja) 疾患を診断するための画像解析技術
JP2016503706A (ja) 超音波プローブ及び超音波撮像システム
US20120321161A1 (en) Image processing apparatus, image processing method, image pickup system, and program
US10939800B2 (en) Examination support device, examination support method, and examination support program
JP2011251114A (ja) 3次元超音波診断装置およびその動作方法
US20180263527A1 (en) Endoscope position specifying device, method, and program
JP2021168984A (ja) 情報処理装置、検査システム及び情報処理方法
US10891732B2 (en) Dynamic image processing system
CN111557692B (zh) 目标器官组织的自动测量方法、超声测量装置及介质
JP2018183447A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7215053B2 (ja) 超音波画像評価装置、超音波画像評価方法および超音波画像評価プログラム
KR20230050253A (ko) 흉막 삼출의 검출 방법 및 이를 위한 장치
US20220313088A1 (en) Systems and methods for motion detection
US11003946B2 (en) Examination support device, examination support method, and examination support program
Zhou et al. Ultrasound bio-microscopic image segmentation for evaluation of zebrafish cardiac function
JP4670054B2 (ja) 超音波診断装置