JP2019017552A - 画像生成装置、画像生成方法、及びプログラム - Google Patents

画像生成装置、画像生成方法、及びプログラム Download PDF

Info

Publication number
JP2019017552A
JP2019017552A JP2017137181A JP2017137181A JP2019017552A JP 2019017552 A JP2019017552 A JP 2019017552A JP 2017137181 A JP2017137181 A JP 2017137181A JP 2017137181 A JP2017137181 A JP 2017137181A JP 2019017552 A JP2019017552 A JP 2019017552A
Authority
JP
Japan
Prior art keywords
image
image data
certain position
feature information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017137181A
Other languages
English (en)
Other versions
JP6882108B2 (ja
Inventor
慶貴 馬場
Keiki Baba
慶貴 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017137181A priority Critical patent/JP6882108B2/ja
Priority to PCT/JP2018/025676 priority patent/WO2019013121A1/ja
Publication of JP2019017552A publication Critical patent/JP2019017552A/ja
Priority to US16/735,496 priority patent/US20200163554A1/en
Application granted granted Critical
Publication of JP6882108B2 publication Critical patent/JP6882108B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】画像中のある位置にターゲット(観察対象)が存在する可能性が高いか低いかを判別しやすくすることのできる画像生成装置を提供する。【解決手段】画像生成装置は、複数の受信信号に基づいて、複数回の光照射に対応する複数の画像データを生成する画像データ生成手段S920と、ある位置における複数の画像データの画像値群の特徴を表す特徴情報を取得する特徴情報取得手段と、特徴情報に基づいて、ある位置にターゲットが存在する可能性を表す判定情報を取得する判定情報取得手段S930と、を有する。【選択図】図9

Description

本発明は、光照射により発生する光音響波に由来する画像データを生成する画像生成装置に関する。
音響波を受信することにより得られた受信信号に基づいて画像データを生成する装置として、光音響装置が知られている。光音響装置は、光源から発生したパルス光を被検体に照射し、被検体内で伝搬・拡散したパルス光のエネルギーを吸収した被検体組織から発生した音響波(典型的には超音波であり、光音響波とも呼ぶ)を受信する。そして、光音響装置は、受信信号に基づき被検体情報を画像化する。
非特許文献1は、光音響波の受信信号から初期音圧分布を画像化する方法として、逆投影法の一つであるユニバーサルバックプロジェクション(UBP:Universal Back−Projection)を開示する。
"Universal back−projection algorithm for photoacou"stic computed tomography",Minghua Xu and Lihong V.Wang,PHYSICAL REVIEW E 71,016706(2005)
ところで、音響波の受信信号を逆投影して画像データを生成する場合、音響波の発生位置以外にも受信信号が逆投影され、アーティファクトとして画像に現れる。これにより、画像中の像がターゲット(観察対象)の像であるのか否かを判別することが困難な場合がある。
そこで、本発明は、画像中のある位置にターゲット(観察対象)が存在する可能性が高いか低いかを判別しやすくすることのできる画像生成装置を提供することを目的とする。
本発明に係る画像生成装置は、被検体への光照射により被検体から発生する光音響波を受信することにより得られる受信信号に基づいて、画像データを生成する画像生成装置であって、被検体への光照射を複数回行うことにより得られる複数の受信信号に基づいて、複数回の光照射に対応する複数の画像データを生成する画像データ生成手段と、ある位置における複数の画像データの画像値群の特徴を表す特徴情報を取得する特徴情報取得手段と、特徴情報に基づいて、ある位置にターゲットが存在する可能性を表す判定情報を取得する判定情報取得手段と、を有する。
本発明に係る画像生成装置によれば、画像中のある位置にターゲット(観察対象)が存在する可能性が高いか低いかを判別しやすくすることができる。
UBPによる時間微分処理及び正負反転処理を説明するための図 UBPによる逆投影処理を説明するための図 UBPによって得られた画像値の変動を示す図 比較例及び本発明に係る処理で得られた画像を示す図 実施形態に係る光音響装置を示すブロック図 実施形態に係るプローブを示す模式図 実施形態に係るコンピュータとその周辺の構成を示すブロック図 実施形態に係る画像生成方法のフロー図 実施形態に係る画像データを生成する工程のフロー図 実施形態に係る画像値群のヒストグラムを示す図 実施形態に係る光音響装置により得られた特徴情報画像を示す図
以下に図面を参照しつつ、本発明の実施形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状及びそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
本発明は、光照射により発生した光音響波に由来する、2次元または3次元の空間分布を表す画像データの生成に関する発明である。光音響画像データは、光音響波の発生音圧(初期音圧)、光吸収エネルギー密度、及び光吸収係数、被検体を構成する物質の濃度(酸素飽和度など)などの少なくとも1つの被検体情報の空間分布を表す画像データである。
ところで、光音響イメージングの主な被検体である生体は、光を散乱及び吸収する特性を備える。そのため、光が生体の深部に進むにつれて、光強度が指数的に減衰する。その結果、典型的に、被検体表面付近では振幅の大きい光音響波が生じ、被検体深部では振幅の小さい光音響波が生じる傾向がある。特に被検体の表面付近に存在する血管から振幅の大きい光音響波が生じやすい。
非特許文献1に記載のUBP(Universal Back−Projection)と呼ばれる再構成法では、トランスデューサを中心とする円弧上に受信信号を逆投影する。その際、被検体の表面付近の振幅が大きい光音響波の受信信号が被検体深部に逆投影され、その結果被検体深部でのアーティファクトとなる。このため、被検体深部に存在する生体組織を画像化する際に、被検体表面から発生した光音響波に起因するアーティファクトにより画質(コントラスト等)が低下するおそれがある。これにより、画像中の像がターゲット(観察対象)の像であるのか否かを判別することが困難な場合がある。
本発明は、画像中のある位置にターゲット(観察対象)が存在するか否かを判別しやすくすることのできる発明である。すなわち、本発明は、画像中のある位置にターゲットが存在する可能性が高いか低いかを判別しやすくすることのできる発明である。本明細書において、ターゲットが存在するか否かを判定することは、ターゲットが存在する可能性が高いか低いかを判定することに相当する。以下、本発明に係る処理について説明する。
光音響波の受信信号は、一般的に図1(a)に示すようなN−Shapeとよばれる波形を持つことが知られている。UBPでは図1(a)に示すN−Shape信号に対して時間微分処理を行い、図1(b)に示す時間微分信号を生成する。続いて、時間微分信号の信号レベルの正負を反転する正負反転処理を行い、図1(c)に示す正負反転信号を生成する。なお、N−Shape信号に時間微分処理及び正負反転処理を施して生成された信号(投影信号とも呼ぶ)には、図1(c)の矢印A,Cで示すような負の値を持つ部分と、図1(c)の矢印Bに示すような正の値を持つ部分が現れる。
図2は、被検体内部の微小球形状の光吸収体であるターゲット10から発生した光音響波をトランスデューサ21及びトランスデューサ22で受信する場合にUBPを適用する例を示す。ターゲット10に光を照射すると、光音響波が発生し、光音響波はトランスデューサ21及びトランスデューサ22にてN−Shape信号としてサンプリングされる。図2(a)は、トランスデューサ21によりサンプリングされたN−Shape状の受信信号をターゲット10に重畳して示した図である。なお、便宜上、トランスデューサ21から出力された受信信号のみを示すが、トランスデューサ22からも同様に受信信号が出力される。
図2(b)は、図2(a)に示すN−Shape状の受信信号に時間微分処理及び正負反転処理を施した投影信号をターゲット10に重畳して示した図である。
図2(c)は、トランスデューサ21を用いて得られた投影信号をUBPで逆投影する様子を示す。UBPではトランスデューサ21を中心とした円弧上に投影信号を投影する。この場合、トランスデューサ21の指向角(例えば60°)の範囲に投影信号を逆投影している。その結果、あたかも領域31、32、及び33にわたってターゲット10が存在するかのような画像となる。ここで、領域31及び33は負の値を持つ領域であり、領域32は正の値を持つ領域である。図2(c)において、負の値を持つ領域31及び33を灰色で塗りつぶした。
図2(d)は、トランスデューサ22を用いて得られた投影信号をUBPで逆投影する場合を示す。その結果、あたかも領域41、42、及び43にわたってターゲット10が存在するかのような画像となる。ここで、領域41、43は負の値を持つ領域であり、領域42は正の値を持つ領域である。図2(d)において、負の値を持つ領域41及び43を灰色で塗りつぶした。
図2(e)は、複数のトランスデューサ21及び22のそれぞれに対応する投影信号をUBPで逆投影する場合の図を示す。このようにして逆投影された複数の投影信号を合成することにより、光音響画像データが生成される。
図2(e)に示すように、ターゲット10の内部の位置51においては、トランスデューサ21に対応する投影信号の正値の領域32と、トランスデューサ22に対応する投影信号の正値の領域42が重なる。すなわち、典型的にターゲット10の存在する領域(ターゲット領域とも呼ぶ)では、正値の領域同士が優位に重なる。そのため、ターゲット10の存在する領域では、典型的に光照射毎の画像データが正値となる傾向がある。
一方、ターゲット10の外部の位置52においては、トランスデューサ21に対応する投影信号の正値の領域32と、トランスデューサ22に対応する投影信号の負値の領域43とが重なる。また、ターゲット10の外部の位置53においては、トランスデューサ21に対応する投影信号の負値の領域31と、トランスデューサ22に対応する投影信号の正値の領域41とが重なる。このようにターゲット10以外の領域では、正値の領域と負値の領域とが複雑に重なる傾向がある。すなわち、ターゲット10以外の領域では、光照射毎に画像データが正値にも負値にもなる傾向がある。このような傾向となる理由としては、トランスデューサ22とターゲット10との相対位置が光照射毎に変わることなどが考えられる。
次に、光照射の度に光音響波の受信位置の組み合わせを変えたときの、光照射毎の画像データの値(画像値)の変動について説明する。図3(a)は、ターゲット10の領域を非特許文献1に記載のUBPで再構成したときの画像データの値(画像値)の変動を示す。横軸は光照射の番号を示し、縦軸は画像値を示す。一方、図3(b)は、ターゲット10以外の領域を非特許文献1に記載のUBPで再構成したときの画像データの値(画像値)の変動を示す。横軸は光照射の番号を示し、縦軸は画像値を示す。
図3(a)によれば、ターゲット10の領域の画像値は、光照射毎に変動があるものの、常に正値となっていることが分かる。一方、図3(b)によれば、ターゲット10以外の領域の画像値は、光照射毎に正値にも負値にもなることが理解される。
ここで、全ての光照射に対応する画像データを合成することにより画像データを生成すると、ターゲット10の領域では正値の合成となるので最終的な画像値が大きくなる。一方で、ターゲット10以外の領域では、画像データの正値と負値とが相殺して、最終的な画像値がターゲット10の領域よりも小さくなる。その結果、光音響画像データに基づいた画像上でターゲット10の存在を視認することができる。
ところが、ターゲット10以外の領域では、ターゲットが存在しないにもかかわらず画像値が0とはならず、最終的な画像値が正値となる場合がある。この場合、ターゲット10以外の位置にアーティファクトが発生し、ターゲットの視認性を低下させることとなる。
そこで、ある領域における画像がターゲットの画像であるかターゲット以外の画像であるかを判別しやすくすることが望まれている。
そこで、本発明者は、上記課題を解決するために、ターゲットの領域とターゲット以外の領域では、典型的に光照射毎の画像データの画像値の変動特性が異なる傾向を持つことに着目した。すなわち、本発明者は、光照射毎の画像データの画像値の変動特性から、ターゲットの領域とターゲット以外の領域とを判定することを着想した。この方法により、ターゲットであるか否かを精度よく判別することができる。
また本発明者は、ターゲット領域であるか否かの判定結果を表す画像を表示させることを着想した。このような画像を表示させることにより、画像中のある位置にターゲットが存在するか否かを容易に判別することができる。
また本発明者は、上記の方法でターゲットの領域を決定し、画像データからターゲットの画像を選択的に抽出することを着想した。すなわち、本発明者は、ある位置にターゲットが存在しない場合に、当該位置の画像値に対応する輝度よりも低い輝度で、当該位置における画像データに基づいた画像を表示することを着想した。このような画像生成方法によれば、ターゲットが強調された画像をユーザーに提供することができる。このような画像を表示させることにより、ユーザーはある位置にターゲットが存在するのか否かを容易に判別することができる。
また本発明者は、複数回の光照射に対応する複数の画像データの特徴を表す特徴情報に基づいた画像を表示させることを着想した。このような特徴情報を表示することにより、ユーザーはある位置にターゲットが存在するのか否かを容易に判別することができる。
本発明に係る処理の詳細については以下の実施形態で後述する。以下の実施形態では、図4に示す被検体モデル1000に対するシミュレーションにより光音響波の受信信号を生成し、当該受信信号を用いて画像データを生成する例を説明する。図4は、シミュレーションに用いる被検体モデル1000を示す。被検体モデル1000としては、表面付近に血管1010が存在し、表面から20[mm]の深さの箇所にY軸方向に走行する0.2[mm]の血管1011が存在するモデルを作成した。この被検体モデル1000においては血管をターゲットとしている。そして、複数回光照射したときに被検体モデル1000内の血管1010及び1011から発生した光音響波を、被検体モデル1000の紙面下側に設けられた受信部が受信するときの受信信号をシミュレーションにより作成した。なお、シミュレーションにて光照射毎に光音響波の受信位置を変更して受信信号を作成した。また、シミュレーションにより得られた受信信号を用いて後述するUniversal back−projection(UBP)で再構成処理を行い、複数回の光照射のそれぞれに対応する画像データを作成した。
本実施形態では、光音響装置により光音響画像データを生成する例を説明する。以下、本実施形態の光音響装置の構成及び情報処理方法について説明する。
図5を用いて本実施形態に係る光音響装置の構成を説明する。図5は、光音響装置全体の概略ブロック図である。本実施形態に係る光音響装置は、光照射部110及び受信部120を含むプローブ180、駆動部130、信号収集部140、コンピュータ150、表示部160、及び入力部170を有する。
図6は、本実施形態に係るプローブ180の模式図を示す。測定対象は、被検体100である。駆動部130は、光照射部110と受信部120を駆動し、機械的な走査を行う。光照射部110が光を被検体100に照射し、被検体100内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部120は、光音響波を受信することによりアナログ信号としての電気信号(光音響信号)を出力する。
信号収集部140は、受信部120から出力されたアナログ信号をデジタル信号に変換し、コンピュータ150に出力する。コンピュータ150は、信号収集部140から出力されたデジタル信号を、光音響波に由来する信号データとして記憶する。
コンピュータ150は、記憶されたデジタル信号に対して信号処理を行うことにより、被検体100に関する情報(被検体情報)の2次元または3次元の空間分布を表す光音響画像データを生成する。また、コンピュータ150は、得られた画像データに基づいた画像を表示部160に表示させる。ユーザーとしての医師は、表示部160に表示された画像を確認することにより、診断を行うことができる。表示画像は、ユーザーやコンピュータ150からの保存指示に基づいて、コンピュータ150内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどのメモリに保存される。
また、コンピュータ150は、光音響装置に含まれる構成の駆動制御も行う。また、表示部160は、コンピュータ150で生成された画像の他にGUIなどを表示してもよい。入力部170は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部170を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。
以下、本実施形態に係る光音響装置の各構成の詳細を説明する。
(光照射部110)
光照射部110は、光を発する光源111と、光源111から射出された光を被検体100へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
光源111が発する光のパルス幅としては、1ns以上、100ns以下のパルス幅であってもよい。また、光の波長として400nmから1600nm程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長(400nm以上、700nm以下)を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織(水や脂肪など)において典型的に吸収が少ない波長(700nm以上、1100nm以下)の光を用いてもよい。
光源111としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Nd:YAGレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Nd:YAGレーザー光を励起光とするTi:saレーザーやOPO(Optical Parametric Oscillators)レーザーを光源として用いてもよい。また、光源111としてフラッシュランプや発光ダイオードを用いてもよい。また、光源111としてマイクロウェーブ源を用いてもよい。
光学系112には、レンズ、ミラー、プリズム、光ファイバー、拡散板、シャッターなどの等の光学素子を用いることができる。
生体組織に照射することが許される光の強度は、以下に示す安全規格によって最大許容露光量(MPE:maximum permissible exposure)が定められている。(IEC 60825−1:Safety of laser products、JIS C 6802:レーザー製品の安全基準、FDA:21CFR Part 1040.10、ANSI Z136.1:Laser Safety Standards、など)。最大許容露光量は、単位面積あたりに照射することができる光の強度を規定している。このため被検体Eの表面を広い面積で一括して光を照射することにより、多くの光を被検体Eに導くことができるので、光音響波を高いSN比で受信することができる。乳房等の生体組織を被検体100とする場合、高エネルギーの光のビーム径を広げて照射するために、光学系112の射出部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系112の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
なお、光照射部110が光学系112を備えずに、光源111から直接被検体100に光を照射してもよい。
(受信部120)
受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
トランスデューサ121を構成する部材としては、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミック材料や、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ(CMUT:Capacitive Micro−machined Ultrasonic Transducers)、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値(例えば、音圧に比例した値)を表したものである。
光音響波を構成する周波数成分は、典型的には100KHzから100MHzであり、トランスデューサ121として、これらの周波数を検出することのできるものを採用することができる。
支持体122は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体122の被検体100側の表面に鏡面もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体122は半球殻形状であり、半球殻上に複数のトランスデューサ121を支持できるように構成されている。この場合、支持体122に配置されたトランスデューサ121の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ121から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体122はトランスデューサ121を支持できる限り、いかなる構成であってもよい。支持体122は、1Dアレイ、1.5Dアレイ、1.75Dアレイ、2Dアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ121が複数の受信手段に相当する。
また、支持体122は音響マッチング材210を貯留する容器として機能してもよい。すなわち、支持体122をトランスデューサ121と被検体100との間に音響マッチング材210を配置するための容器としてもよい。
また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を時系列のデジタル信号に変換するA/D変換器を備えてもよい。すなわち、受信部120が後述する信号収集部140を備えてもよい。
なお、音響波を様々な角度で検出できるようにするために、理想的には被検体100を全周囲から囲むようにトランスデューサ121を配置してもよい。ただし、被検体100が大きく全周囲を囲むようにトランスデューサを配置できない場合は、半球状の支持体122上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。
なお、トランスデューサの配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはあらゆる受信部120を採用することができる。
受信部120と被検体100との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
図6(a)は、プローブ180の側面図を示し、図6(b)は、プローブ180の上面図(図6(a)の紙面上方向から見た図)を示す。図6に示された本実施形態に係るプローブ180は、開口を有する半球状の支持体122に複数のトランスデューサ121が3次元に配置された受信部120を有する。また、図6に示されたプローブ180は、支持体122の底部に光学系112の光射出部が配置されている。
本実施形態においては、図6に示すように被検体100は、保持部200に接触することにより、その形状が保持される。本実施形態では、被検体100が乳房の場合に、伏臥位の被検者を支持する寝台に乳房を挿入するための開口を設けて、開口から鉛直方向に垂らされた乳房を測定する形態を想定している。
受信部120と保持部200の間の空間は、光音響波が伝播することができる媒質(音響マッチング材210)で満たされる。この媒質には、光音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、ひまし油、超音波ジェルなどを採用することができる。
保持手段としての保持部200は被検体100の形状を測定中に保持するために使用される。保持部200により被検体100を保持することによって、被検体100の動きの抑制および被検体100の位置を保持部200内に留めることができる。保持部200の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。
保持部200は、被検体100を保持できる硬度を有する材料であることが好ましい。保持部200は、測定に用いる光を透過する材料であってもよい。保持部200は、インピーダンスが被検体100と同程度の材料で構成されていてもよい。乳房等の曲面を有するものを被検体100とする場合、凹型に成型した保持部200であってもよい。この場合、保持部200の凹部分に被検体100を挿入することができる。
保持部200は、取り付け部201に取り付けられている。取り付け部201は、被検体の大きさに合わせて複数種類の保持部200を交換可能に構成されていてもよい。例えば、取り付け部201は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。
また、保持部200には保持部200の情報が登録されたタグ202が設置されていてもよい。例えば、タグ202には、保持部200の曲率半径、曲率中心、音速、識別ID等の情報を登録することができる。タグ202に登録された情報は、読み取り部203により読み出され、コンピュータ150に転送される。保持部200が取り付け部201に取り付けられたときに容易にタグ202を読み取るために、読み取り部203は取り付け部201に設置されていてもよい。例えば、タグ202はバーコードであり、読み取り部203はバーコードリーダである。
(駆動部130)
駆動部130は、被検体100と受信部120との相対位置を変更する部分である。本実施形態では、駆動部130は、支持体122をXY方向に移動させる装置であり、ステッピングモーターを搭載した電動のXYステージある。駆動部130は、駆動力を発生させるステッピングモーターなどのモーターと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。
なお、駆動部130は被検体100と受信部120との相対位置をXY方向(二次元)に変更させるものに限らず、一次元または三次元に変更させてもよい。移動経路は平面的にスパイラル状やライン&スペースで走査してもよいし、さらに三次元的に体表に沿うように傾けてもよい。また、被検体100の表面からの距離を一定に保つようにしてプローブ180を移動させてもよい。このとき駆動部130は、モーターの回転数をモニターするなどしてプローブの移動量を計測してもよい。
なお、駆動部130は、被検体100と受信部120との相対的な位置を変更できれば、受信部120を固定し、被検体100を移動させてもよい。被検体100を移動させる場合は、被検体100を保持する保持部を動かすことで被検体100を移動させる構成などが考えられる。また、被検体100と受信部120の両方を移動させてもよい。
駆動部130は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部130は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。すなわち、光音響装置は、駆動部130を有さずに、ユーザーがプローブ180を把持して操作するハンドヘルドタイプであってもよい。
また、本実施形態では、駆動部130は光照射部110と受信部120を同時に駆動して走査を行っているが、光照射部110だけを駆動したり、受信部120だけを駆動したりしてもよい。
(信号収集部140)
信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140は、FPGA(Field Programmable Gate Array)チップなどで構成されてもよい。信号収集部140から出力されるデジタル信号は、コンピュータ150内の記憶部152に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部110から光射出を検出し、信号収集部140がこの検出結果をトリガーに同期して上記処理を開始してもよい。また、信号収集部140は、フリーズボタンなどを用いてなされる指示をトリガーに同期して、当該処理を開始してもよい。
(コンピュータ150)
表示制御装置としてのコンピュータ150は、演算部151、記憶部152、制御部153を含む。各構成の機能については処理フローの説明の際に説明する。
演算部151としての演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部151は、入力部170から、被検体音速や保持部の構成などの各種パラメータを受けて、受信信号を処理してもよい。
記憶部152は、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部152は、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部152は、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
記憶部152は、後述する方法で演算部151により生成される光音響画像を示す画像データを保存することができる。
制御部153は、CPUなどの演算素子で構成される。制御部153は、光音響装置の各構成の動作を制御する。制御部153は、入力部170からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、制御部153は、記憶部152に格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。例えば、制御部153が制御線を介して、光源111の発光タイミングを制御してもよい。また、光学系112がシャッターを含む場合、制御部153が制御線を介して、シャッターの開閉を制御してもよい。
コンピュータ150は専用に設計されたワークステーションであってもよい。また、コンピュータ150の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ150の少なくとも一部の構成は単一のハードウェアで構成されてもよい。
図7は、本実施形態に係るコンピュータ150の具体的な構成例を示す。本実施形態に係るコンピュータ150は、CPU154、GPU155、RAM156、ROM157、外部記憶装置158から構成される。また、コンピュータ150には、表示部160としての液晶ディスプレイ161、入力部170としてのマウス171、キーボード172が接続されている。
また、コンピュータ150および複数のトランスデューサ121は、共通の筺体に収められた構成で提供されてもよい。ただし、筺体に収められたコンピュータで一部の信号処理を行い、残りの信号処理を筺体の外部に設けられたコンピュータで行ってもよい。この場合、筺体の内部および外部に設けられたコンピュータを総称して、本実施形態に係るコンピュータとすることができる。すなわち、コンピュータを構成するハードウェアが一つの筺体に収められていなくてもよい。
(表示部160)
表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)FED、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。コンピュータ150により得られたボリュームデータに基づいた画像や特定位置の数値等を表示する装置である。表示部160は、ボリュームデータに基づいた画像や装置を操作するためのGUIを表示してもよい。なお、被検体情報の表示にあたっては、表示部160またはコンピュータ150において画像処理(輝度値の調整等)を行った上で表示することもできる。表示部160は、光音響装置とは別に提供されていてもよい。コンピュータ150は、光音響画像データを有線または無線で表示部160へ送信することができる。
(入力部170)
入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
入力部170は、観察したい位置や深さの情報などを入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示部160に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。
また、ユーザーが光音響装置の遠隔に設けられた入力部170を操作し、入力部170を用いて入力された情報を、ネットワークを介して光音響装置に送信してもよい。
なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった1つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった1つの装置として構成されてもよい。
また、光音響装置の各構成間で送受信される情報は、有線または無線でやりとりがなされる。
(被検体100)
被検体100は光音響装置を構成するものではないが、以下に説明する。本実施形態に係る光音響装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管や腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。また、メチレンブルー(MB)、インドシニアングリーン(ICG)などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。また、生体を模したファントムを被検体100としてもよい。
本明細書においては、上述した画像化の対象とする光吸収体のことを、ターゲットと呼ぶ。また、画像化の対象としない、すなわち観察の対象としない光吸収体についてはターゲットではない。例えば、乳房を被検体とし、血管をターゲットの光吸収体とする場合、乳房を構成する脂肪や乳腺などの組織はターゲットではないと考えることができる。なお、血管をターゲットとする場合、血管での光吸収に適した波長の光が採用されることが考えられる。
次に、本実施形態に係る情報処理を含む画像表示方法を、図8を参照して説明する。なお、各工程は、コンピュータ150が光音響装置の構成の動作を制御することにより実行される。
(S100:制御パラメータを設定する工程)
ユーザーが、被検体情報の取得のために必要な光照射部110の照射条件(繰り返し周波数や波長など)やプローブ180の位置などの制御パラメータを、入力部170を用いて指定する。コンピュータ150は、ユーザーの指示に基づいて決定された制御パラメータを設定する。
(S200:プローブを指定位置に移動させる工程)
制御部153が、ステップS100で指定された制御パラメータに基づいて、駆動部130にプローブ180を指定の位置へ移動させる。ステップS100において複数位置での撮像が指定された場合には、駆動部130は、まずプローブ180を最初の指定位置へ移動させる。なお、駆動部130は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ180を移動させてもよい。なお、ハンドヘルド型の場合、ユーザーがプローブ180を把持して所望の位置まで移動させてもよい。
(S300:光を照射する工程)
光照射部110は、S100で指定された制御パラメータに基づいて、被検体100に光を照射する。
光源111から発生した光は、光学系112を介してパルス光として被検体100に照射される。そして、被検体100内部でパルス光が吸収され、光音響効果により光音響波が生じる。光照射部110はパルス光の伝送と併せて信号収集部140へ同期信号を送信する。
(S400:光音響波を受信する工程)
信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を記憶部152に保存する。ステップS100で複数の走査位置での撮像を指定した場合には、指定した走査位置において、S200−S400のステップを繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。なお、コンピュータ150は、発光をトリガーとして、発光時の受信部120の位置情報を駆動部130の位置センサからの出力に基づいて取得し、記憶してもよい。
(S500:光音響画像データを生成する工程)
画像データ生成手段としてのコンピュータ150の演算部151は、記憶部152に記憶された信号データに基づいて、光音響画像データを生成し、記憶部152に保存する。
信号データを空間分布としてのボリュームデータに変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法やフーリエドメインでの逆投影法などの解析的な再構成法やモデルベース法(繰り返し演算法)を採用することができる。例えば、タイムドメインでの逆投影法として、Universal back−projection(UBP)、Filtered back−projection(FBP)、または整相加算(Delay−and−Sum)などが挙げられる。
また、演算部151は、被検体100に照射された光の被検体100の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を取得してもよい。この場合、吸収係数分布情報を光音響画像データとして取得してもよい。コンピュータ150は、光を吸収、散乱する媒質における光エネルギーの挙動を表す輸送方程式や拡散方程式を数値的に解く方法により、被検体100の内部における光フルエンスの空間分布を算出することができる。数値的に解く方法としては、有限要素法、差分法、モンテカルロ法等を採用することができる。例えば、コンピュータ150は、式(1)に示す光拡散方程式を解くことにより、被検体100の内部における光フルエンスの空間分布を算出してもよい。
ここで、Dは拡散係数、μaは吸収係数、Sは照射光の入射強度、φは到達する光フルエンス、rは位置、tは時間を示す。
また、複数の波長の光を用いて、S300、S400の工程を実行し、演算部151は、複数の波長の光のそれぞれに対応する吸収係数分布情報を取得してもよい。そして、演算部151は、複数の波長の光のそれぞれに対応する吸収係数分布情報に基づいて、分光情報として被検体100を構成する物質の濃度の空間分布情報を、光音響画像データとして取得してもよい。すなわち、演算部151は、複数の波長の光に対応する信号データを用いて、分光情報を取得してもよい。
(S600:光音響画像データに基づいた画像を生成・表示する工程)
表示制御手段としてのコンピュータ150は、S500で得られた光音響画像データに基づいて画像を生成し、表示部160に表示させる。画像データの画像値は、そのまま表示画像の輝度値としてもよい。また、画像データの画像値に所定の処理を加えて、表示画像の輝度を決定してもよい。例えば、画像値が正値の場合は画像値を輝度に割り当て、画像値が負値の場合は輝度を0とする表示画像を生成してもよい。
次に、本実施形態に係る特徴的な画像生成方法を、図9に示す画像生成方法のフローチャートを用いて説明する。なお、図9に示すフローチャートにおける画像データの生成方法や画像データに基づいた画像の表示方法については、S500またはS600で行う方法を適用してもよい。
(S910:受信信号に対して時間微分信号及び反転処理を行う工程)
信号処理手段としてのコンピュータ150は、記憶部152に記憶された受信信号に対して、時間微分処理及び信号レベルの正負を反転させる反転処理を含む信号処理を行う。これらの信号処理が行われた受信信号を投影信号とも呼ぶ。本工程では、記憶部152に記憶された各受信信号に対して、これらの信号処理を実行する。その結果、複数回の光照射及び複数のトランスデューサ121のそれぞれに対応する投影信号が生成される。
例えば、コンピュータ150は、式(2)に示すように、受信信号p(r,t)に対して時間微分処理及び反転処理(時間微分信号にマイナスを付与)を行い、投影信号b(r,t)を生成し、投影信号b(r,t)を記憶部152に記憶する。
ここで、rは受信位置、tは光照射からの経過時間、p(r,t)は受信位置rで経過時間tに受信された音響波の音圧を示す受信信号、b(r,t)は投影信号である。なお、時間微分処理及び反転処理に加えてその他の信号処理を行ってもよい。例えば、その他の信号処理は、周波数フィルタリング(ローパス、ハイパス、バンドパス等)、デコンボリューション、包絡線検波、ウェーブレットフィルタリングの少なくとも一つである。
なお、本工程で反転処理については実行しなくてもよい。この場合でも、本実施形態の効果は損なわれない。
(S920:複数の画像データを生成する工程)
画像データ生成手段としてのコンピュータ150は、S910で生成された複数回の光照射及び複数のトランスデューサ121のそれぞれに対応する受信信号(投影信号)に基づいて、複数の光音響画像データを生成する。複数の光音響画像データを生成できる限り、光照射毎に光音響画像データを生成してもよいし、複数回の光照射に由来する投影信号から1つの光音響画像データを生成してもよい。
例えば、コンピュータ150は、式(3)に示すように、投影信号b(r,t)に基づいて、光照射毎の初期音圧pの空間分布を示す画像データを生成する。その結果、複数回の光照射のそれぞれに対応する画像データが生成され、複数の画像データを取得することができる。
ここで、rは再構成する位置(再構成位置、注目位置とも呼ぶ)を示す位置ベクトル、p(r)は再構成する位置での初期音圧、cは伝搬経路の音速を示す。また、ΔΩは再構成する位置からi番目のトランスデューサ121を見込む立体角、Nは再構成に用いるトランスデューサ121の個数を示す。式(3)は、投影信号に立体角の加重をかけて整相加算すること(逆投影)を示している。
なお、本実施形態では、前述したように解析的な再構成法やモデルベース再構成法などの再構成により、画像データを生成することができる。
(S930:複数の画像データに基づいてターゲットが存在するか否かの判定を行う工程)
特徴情報取得手段としてのコンピュータ150は、まずS920で取得された複数の画像データの画像値の変動特性の解析を行う。コンピュータ150は、この解析結果を、複数の画像データの値のデータ群(画像値群)の特徴を表す特徴情報として取得する。
続いて、判定情報取得手段としてのコンピュータ150は、ある位置における画像値群の特徴を表す特徴情報に基づいて、ある位置にターゲットが存在するか否かを判定し、判定結果を表す判定情報を取得する。すなわち、判定情報は、ある位置にターゲットが存在する可能性を表す情報である。
ある位置における画像値群の特徴情報は、ある位置における画像値群の中央値、平均値、標準偏差値、分散値、エントロピー、及びネゲントロピーの少なくとも一つを含む統計値であってもよい。
すなわち、本実施形態においては、実像とアーティファクトを区別する際に、ある位置における画像値群の分布が正規分布を取るか否か、という特徴(非ガウス性)に着目しているともいえる。非ガウス性とは、あるデータ群の分布が、正規分布(ガウス分布)から乖離していることを示す用語である。確率論によれば、中心極限定理にしたがって、様々な独立な確率変数を足して得られる分布は、正規分布(ガウス分布)に近づくとの説明がなされる。これを例えば光音響波の受信信号に重畳するノイズについてあてはめてみる。光音響波の受信信号に重畳するノイズには、例えば熱ノイズ、電源のスイッチングノイズ、電磁波ノイズなどのノイズが加算されている。これは言い換えると、光音響波の受信信号に重畳するノイズは、熱ノイズという確率変数、電源のスイッチングノイズという確率変数、電磁波ノイズという確率変数など、複数の独立した確率変数の和で表される、と表現できる。例えば、信号収集部140は、受信部120から出力されたアナログ信号を100[MHz]でデジタル信号に変換、つまりサンプリングする。このとき、100[MHz]でサンプリングされた1サンプルの受信信号に存在するノイズ成分は、複数の確率変数が加算されたものである。ここで、さらに受信信号のサンプル数を増やして分布を調べると、サンプル数を増やせば増やすほど、その分布は正規分布に近づく。これが、光音響波の受信信号に重畳するノイズにおける中心極限定理の表れである。
つぎに、中心極限定理の観点から、複数の光音響画像データの画像値のデータ群がとる分布について考察してみる。
一般的に、撮像空間内に複雑な血管構造が密に分布する生体を、光音響装置の画像再構成アルゴリズムを用いて画像化した場合、ターゲット(血管)の存在しない位置に対応するボクセルにおいても、複数のターゲット由来のアーティファクトが重畳している。加えて、光音響波の受信位置と当該ボクセルとの相対位置の変化にともない、それぞれの構造体に起因するアーティファクトの、当該ボクセルにおける強度、寄与度が変化する。言い換えると、ある1つの光音響画像データにおいて、ターゲットの存在しない位置に対応する画像値は、複数の構造体由来のアーティファクトという複数の確率変数の和で表されることになる。
さらに、ターゲットの存在しない位置に対応する複数の光音響画像データの画像値群の分布を調べると、光音響画像データ数を増やしていけばいくほど、その分布は正規分布に近づく。これは、光音響画像データのアーティファクトにおける中心極限定理のあらわれと言える。この場合、ターゲットの存在しない位置に対応する画像値はランダムな挙動を取る、と表現することもできる。
一方で、ターゲットの存在する位置に対応する画像値変動は、何らかの傾向を持った、ランダムではない挙動を取るため、画像値群の分布は、正規分布から乖離する傾向にある。この場合に、ターゲットの存在する位置の画像値群の分布は非ガウス性を持つ、と評価することができる。
よって、本実施形態においては、ある位置における複数の光音響画像データの画像値群の特徴から、ある位置にターゲットが存在するか否かを判定することができる。すなわち、本実施形態においては、ある位置にターゲットが存在する可能性が高いか低いかを判定することができる。コンピュータ150は、ある位置における複数の光音響画像データの画像値群の分布が正規分布かどうか(ガウス性、ランダム性、非ガウス性)を判定することにより、実像とアーティファクトを判定することができる。
正規分布を評価するための指標の例について述べる。例えば、正規分布を評価するための指標としては、エントロピーと呼ばれる指標を用いることができる。無秩序性を意味するエントロピーは、確率変数のランダム性が大きいほどその値が大きくなることが知られている。そして、ある確率変数が正規分布関数である場合にエントロピーが最大化すると言われている。そのため、本実施形態においては、実像とアーティファクトを区別することのできる特徴情報(統計値)として、エントロピー値を好適に採用することができる。例えば、エントロピーは下記の式(4)で表現される。Pは、画像値がiとなる確率を示す。すなわち、Pは、画像値iとなる階級に存在する画像データ数を総画像データ数で除算した値となる。式(4)で表現されるエントロピーは、平均情報量とも呼ばれる指標である。
また、特徴情報は、画像値群のヒストグラムの形状の特徴を表す情報であってもよい。ヒストグラムの形状の特徴を表す情報は、ヒストグラムの尖度及び歪度の少なくとも一つを含む情報であってもよい。尖度は確率分布の非ガウス性の評価尺度として用いられる指標であり、本実施形態においてターゲットであるか否かの判定に有用である。例えば、コンピュータ150は、二次元または三次元の空間のある位置に対応する、複数の画像データのピクセルもしくはボクセルを特定する。そして、コンピュータ150は、当該ピクセルもしくはボクセルの画像値群をヒストグラム化することができる。この場合、ヒストグラム化の対象となるサンプルデータ数は複数の画像データの数と等しくなる。
また、コンピュータ150は、特徴情報の示す値と閾値とを比較し、特徴情報の示す値が閾値よりも高いか低いかに応じてある位置にターゲットが存在するか否かを判定してもよい。
典型的に、画像値群の中央値、平均値、標準偏差値、または分散値については、ある位置における値が高いほど、当該位置にターゲットが存在する可能性は高くなる傾向がある。エントロピーについては、ある位置における値が低いほど、当該位置にターゲットが存在する可能性は高くなる傾向がある。ヒストグラムの尖度については、ある位置における値が高いほど、当該位置にターゲットが存在する可能性は高くなる傾向がある。また、ヒストグラムの歪度については、ある位置における値の絶対値が高いほど、当該位置にターゲットが存在する可能性は高くなる傾向がある。
例えば、コンピュータ150は、二次元または三次元の空間のある位置に対応する、複数の画像データのピクセルもしくはボクセルを特定する。そして、コンピュータ150は、当該ピクセルもしくはボクセルの画像値群をヒストグラム化する。この場合、ヒストグラム化の対象となるサンプルデータ数は複数の画像データの数と等しくなる。なお、ある位置は、ユーザーが入力部170を用いて指定した位置であってもよいし、予め設定された位置であってもよい。また、ある位置は、複数設定されてもよい。
ここで、図4に示す被検体モデル1000に対するシミュレーションにより複数の画像データを生成した場合を説明する。図10は、シミュレーションにより得られたある位置における複数の画像データの画像値群のヒストグラムの例を示す。図10(a)は、図4における血管1011の位置における複数の画像データの画像値群をヒストグラム化したものである。図10(b)は、血管1011から2.5mm離れた位置における複数の画像データの画像値群をヒストグラム化したものである。図10(a)及び図10(b)より、ターゲットが存在する位置と、ターゲットが存在しない位置とで、画像値群のヒストグラムに違いがあることが理解される。
例えば、図10(a)に示すヒストグラムより、ターゲット領域に存在するボクセルに対応する尖度は1E−65である。一方で、図10(b)に示すヒストグラムより、ターゲット領域以外の領域に存在するボクセルに対応する尖度は1E−70である。このように、ターゲット領域における尖度の方が、ターゲット以外の領域における尖度よりも高いことが理解される。
また、閾値を設定する場合に、一つの閾値を基準とするのではなく、ターゲット領域を判別するための閾値と、ターゲット領域以外の領域を判別するための閾値を設けるといった具合に、複数の閾値を設定するようにしてもよい。また、特徴情報の示す値が閾値を超える場合にターゲット領域であると判定するか、閾値以上である場合にターゲット領域であると判定するかについては、任意に設定することができる。
図11は、複数の位置のそれぞれに対応する特徴情報を画像化した特徴情報画像を示す。特徴情報画像は、複数の位置のそれぞれに対応する特徴情報の示す値を各対応位置にプロットした空間分布画像である。
図11(a)は、図4(a)に示した被検体モデルのうち、表面から20[mm]の深さの箇所にY軸方向に走行する0.2[mm]の血管1011のXY平面断面である。
図11(b)は、非特許文献1に記載のUBPで再構成して得られた複数回の光照射に対応する画像データをボクセルごとに尖度を計算しプロットした尖度画像である。図11(b)に示す尖度画像では、血管1011の領域については、高い尖度を示す画像が離散的に存在していることが理解される。血管1011以外の領域に尖度の高い画像は含まれていない。そして、血管1011以外の領域については、尖度がほぼ0(黒色)となっていることが理解される。すなわち、尖度がある閾値よりも高い領域についてはターゲットが存在する可能性が極めて高いことが理解される。
図11(c)は、非特許文献1に記載のUBPで再構成して得られた複数回の光照射に対応する画像データをボクセルごとにエントロピーを計算しプロットしたエントロピー画像である。図11(c)に示すエントロピー画像では、血管1011をほぼ0(黒色)に数値化する。その一方で、血管1011以外の領域については、0よりも優位に大きな数値(灰色)をとる。ただし、エントロピー画像における血管1011以外の領域については、尖度画像と比べて値のばらつきが大きいことが理解される。
このように特徴情報の種類によって、ターゲット領域及びそれ以外の領域の判定精度に違いがあることが理解される。そこで、コンピュータ150は、互いに種類の異なる複数の特徴情報に基づいて、ある位置にターゲットが存在するか否かを判定し、判定情報を取得してもよい。
例えば、コンピュータ150は、尖度が第1の閾値よりも高い領域については、エントロピーの値にかかわらずターゲットが存在する領域であると判定してもよい。また、コンピュータ150は、尖度が第1の閾値よりも低く、エントロピーが第2の閾値よりも低い領域については、ターゲットが存在する領域であると判定してもよい。また、コンピュータ150は、尖度が第1の閾値よりも低く、エントロピーが第2の閾値よりも高い領域については、ターゲットが存在しない領域であると判定してもよい。
また、コンピュータ150は、エントロピーが第2の閾値よりも低い連続した領域に、尖度が第1の閾値よりも高い領域が含まれている場合、当該連続した領域をターゲットが存在する領域であると判定してもよい。
このように互いに異なる種類の特徴情報を組み合わせてターゲットが存在するか否かを判定することにより、判定精度を向上させることができる。
コンピュータ150は、特徴情報を取得するときに、全ての画像データを用いてもよいし、選択的に抽出した複数の画像データを用いてもよい。
ターゲットであるか否かの判別アルゴリズムは、複数の画像データから、着目したピクセルもしくはボクセルがターゲット領域に位置するものか、もしくはターゲット領域以外に位置するものかを判定できる限り、特定のものに限定されない。コンピュータ150は、人工知能アルゴリズムを適用してターゲットであるか否かの判定を行ってもよい。
特徴情報のうち、ターゲット領域とターゲット領域以外の領域の判定に用いる情報を、ユーザーが指定してもよいし、コンピュータ150が所定の情報に設定してもよい。
(S940:判定情報を用いた画像を生成する工程)
コンピュータ150は、S400で取得された信号データに基づいた画像データを取得する。例えば、コンピュータ150は、S920で取得された複数の画像データを合成することにより、新たな画像データ(合成画像データ)を生成してもよい。合成処理の例としては、加算処理、加算平均処理、重み付け加算処理、または重み付け加算平均処理が挙げられる。
また、コンピュータ150は、S400で得られた複数回の光照射に対応する複数の信号データを用いて再構成することにより、新たな画像データを生成してもよい。
続いて、コンピュータ150は、S930で取得された判定情報を用いて、ターゲットが存在する位置であるか否かを識別することのできる画像を生成し、表示部160に表示させてもよい。
コンピュータ150は、画像データに対して判定情報に基づいた画像処理を行うことにより、ターゲットが存在する位置であるか否かを識別することのできる画像を生成し、表示部160に表示させてもよい。
例えば、コンピュータ150は、判定情報に基づいて、ターゲットが存在する位置に対応するピクセルもしくはボクセルの画像値に対応する輝度値に1以上の係数を乗じて増幅処理してもよい。また、コンピュータ150は、判定情報に基づいて、ターゲットが存在しない位置に対応するピクセルもしくはボクセルの画像値に対応する輝度値に1未満の係数を乗じて減衰処理してもよい。減衰処理としては、該当するピクセルもしくはボクセルの画像値に対応する輝度値に0を乗じて、実質的にターゲット領域以外の部分を非表示としてもよい。
また、コンピュータ150は、ターゲットが存在する位置とターゲットが存在しない位置とを、互いに異なる色で色分けして表示してもよい。この際に、ターゲットが存在する位置の画像を視認性が比較的高い色で表示させ、ターゲットが存在しない位置の画像を視認性が比較的低い色で表示させてもよい。
また、コンピュータ150は、輝度値の増幅・減衰処理と、色分けの処理とを組み合わせてもよい。
なお、コンピュータ150は、ターゲット領域、ターゲット領域以外の部分、及びターゲット領域とターゲット領域以外の部分との境界付近の領域の3つの領域に区分し、それぞれの領域を識別できるように画像を表示させてもよい。ここで、境界付近の領域は、ターゲット領域またはターゲット領域以外の部分の一部である。
例えば、コンピュータ150は、ターゲット領域及びターゲット以外の領域のうち、境界付近の領域の画像値に対応する輝度値に1未満の係数を乗じるような減衰処理を行ってもよい。そして、コンピュータ150は、ターゲット領域(境界付近の領域を除く)の画像値に対応する輝度値に1以上の係数を乗じるような増幅処理を行い、ターゲット領域以外の部分(境界付近の領域を除く)の画像値に対応する輝度値に0を乗じて非表示としてもよい。このような処理を行うことにより、ターゲット領域とそれ以外の領域との画像をなめらかにつなぐことができる。また、3つの領域を互いに異なる色で色分けして表示させてもよい。
また、上記例では、1つの画像データに基づいた画像表示について説明したが、複数の画像データに対して上記画像処理を行ってもよい。例えば、複数の画像データを、1つ以上の画像データを含むいくつかのグループに分類し、それぞれのグループに対して個別に合成処理を行った結果生成される部分合成画像データに対して画像処理を行ってもよい。
さらには、コンピュータ150が、上記画像処理を適用した画像と、上記画像処理を適用していない画像とを並列表示、重畳表示、または交互表示させてもよい。例えば、コンピュータ150が、S600で上記画像処理を適用していない画像を表示部160に表示させているときに、ユーザーによる表示切替を表す指示を受け付けることにより、並列表示や重畳表示に切り替えてもよい。また、コンピュータ150が、S600で上記画像処理を適用していない画像を表示部160に表示させているときに、入力部170を用いたユーザーによる表示切替を表す指示を受け付けることにより、上記画像処理が適用された画像に切り替えてもよい。
また、コンピュータ150は、画像データに基づいた画像と併せて、ユーザーが入力部170を用いて指定した位置に対応する特徴情報を示す画像を表示部160に表示させてもよい。このとき、表示部160に表示された画像データに基づいた画像に対する指示に基づいて、特徴情報を示す画像が表示される位置が指定されてもよい。
また、コンピュータ150は、図11(b)または(c)に示すような、複数の位置のそれぞれに対応する特徴情報を画像化した特徴情報画像を表示させてもよい。なお、コンピュータ150は、互いに異なる複数種類の特徴情報画像を合成した画像を表示させることや、複数種類の特徴情報画像を並列、重畳、または交互に表示させてもよい。
なお、コンピュータ150は、図3に示すような画像値の変動を表す情報(例えばグラフ)そのものを表示させてもよい。
本実施形態によれば、ターゲット領域とターゲット領域以外の部分とを判別しやすい画像を提供することができる。ユーザーは、本実施形態のように表示された画像を確認することにより、画像中のある位置にターゲット(観察対象)が存在するか否かを容易に判別することができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
150 コンピュータ
160 表示部

Claims (19)

  1. 被検体への光照射により前記被検体から発生する光音響波を受信することにより得られる受信信号に基づいて、画像データを生成する画像生成装置であって、
    前記被検体への光照射を複数回行うことにより得られる複数の前記受信信号に基づいて、前記複数回の光照射に対応する複数の画像データを生成する画像データ生成手段と、
    ある位置における前記複数の画像データの画像値群の特徴を表す特徴情報を取得する特徴情報取得手段と、
    前記特徴情報に基づいて、前記ある位置にターゲットが存在する可能性を表す判定情報を取得する判定情報取得手段と、
    を有することを特徴とする画像生成装置。
  2. 表示制御手段を有し、
    前記画像データ生成手段は、前記複数の受信信号に基づいた合成画像データを生成し、
    前記表示制御手段は、
    前記判定情報に基づいて、前記ある位置に前記ターゲットが存在する場合に、前記ある位置における前記合成画像データの画像値に対応する輝度で、前記ある位置における前記合成画像データに基づいた画像を表示手段に表示させ、
    前記判定情報に基づいて、前記ある位置に前記ターゲットが存在しない場合に、前記輝度よりも低い輝度で、前記ある位置における前記合成画像データに基づいた画像を前記表示手段に表示させる
    ことを特徴とする請求項1に記載の画像生成装置。
  3. 前記判定情報に基づいて、前記ある位置にターゲットが存在する可能性を判別できる前記画像データに基づいた画像を、表示手段に表示させる表示制御手段を有する
    ことを特徴とする請求項1に記載の画像生成装置。
  4. 被検体への複数回の光照射により前記被検体から発生する光音響波を受信することにより得られた前記複数回の光照射に対応する複数の受信信号に基づいて、画像データを生成する画像生成装置であって、
    前記複数の受信信号に基づいて、前記複数回の光照射に対応する複数の画像データを生成する画像データ生成手段と、
    ある位置における前記複数の画像データの画像値群の特徴を表す特徴情報を取得する特徴情報取得手段と、
    表示制御手段と、
    を有し、
    前記画像データ生成手段は、前記複数の受信信号に基づいた合成画像データを生成し、
    前記表示制御手段は、前記合成画像データに基づいた第1の画像と、前記特徴情報に基づいた第2の画像とを含む画像を表示手段に表示させる
    ことを特徴とする画像生成装置。
  5. 前記画像データ生成手段は、前記複数の画像データを合成することにより、前記合成画像データを生成する
    ことを特徴とする請求項2から4のいずれか1項に記載の画像生成装置。
  6. 前記複数の受信信号のそれぞれに対して時間微分処理を含む信号処理を行う信号処理手段を有し、
    前記画像データ生成手段は、前記信号処理が行われた前記複数の受信信号に基づいて、前記複数の画像データを生成する
    ことを特徴とする請求項1から5のいずれか1項に記載の画像生成装置。
  7. 前記信号処理手段は、前記複数の受信信号のそれぞれに対して前記時間微分処理及び信号レベルの正負を反転させる反転処理を含む前記信号処理を行う
    ことを特徴とする請求項6に記載の画像生成装置。
  8. 前記特徴情報取得手段は、互いに種類の異なる複数の前記特徴情報を取得し、
    前記判定情報取得手段は、複数の前記特徴情報に基づいて、前記ある位置にターゲットが存在する可能性を表す前記判定情報を取得する
    ことを特徴とする請求項1から7のいずれか1項に記載の画像生成装置。
  9. 複数の前記特徴情報は、前記画像値群のヒストグラムの尖度と、前記画像値群のエントロピーとを含み、
    前記判定情報取得手段は、
    前記尖度が第1の閾値よりも高いときに、前記ある位置にターゲットが存在すると判定し、
    前記尖度が前記第1の閾値よりも低く、前記エントロピーが第2の閾値よりも低いときに、前記ある位置にターゲットが存在すると判定し、
    前記尖度が前記第1の閾値よりも低く、前記エントロピーが前記第2の閾値よりも高いときに、前記ある位置にターゲットが存在しないと判定して、前記判定情報を取得する
    ことを特徴とする請求項8に記載の画像生成装置。
  10. 前記特徴情報は、前記画像値群のヒストグラムの形状を表す情報を含む
    ことを特徴とする請求項1から9のいずれか1項に記載の画像生成装置。
  11. 前記特徴情報は、前記画像値群の統計値を含む
    ことを特徴とする請求項1から9のいずれか1項に記載の画像生成装置。
  12. 前記特徴情報は、前記画像値群の平均値、標準偏差値、分散値、エントロピー、ネゲントロピー、歪度、及び尖度の少なくとも一つを含む
    ことを特徴とする請求項1から9のいずれか1項に記載の画像生成装置。
  13. 被検体への複数回の光照射により前記被検体から発生する光音響波を受信することにより得られた前記複数回の光照射に対応する複数の受信信号に基づいて、画像データを生成する画像生成方法であって、
    前記複数の受信信号に基づいて、複数の画像データを生成し、
    ある位置における前記複数の画像データの画像値群の特徴を表す特徴情報を取得し、
    前記特徴情報に基づいて、前記ある位置にターゲットが存在する可能性を表す判定情報を取得する
    ことを特徴とする画像生成方法。
  14. 前記複数の受信信号に基づいた合成画像データを生成し、
    前記判定情報に基づいて、前記ある位置に前記ターゲットが存在する場合に、前記ある位置における前記合成画像データの画像値に対応する輝度で、前記ある位置における前記合成画像データに基づいた画像を表示手段に表示させ、
    前記判定情報に基づいて、前記ある位置に前記ターゲットが存在しない場合に、前記輝度よりも低い輝度で、前記ある位置における前記合成画像データに基づいた画像を前記表示手段に表示させる
    ことを特徴とする請求項13に記載の画像生成方法。
  15. 前記判定情報に基づいて、前記ある位置にターゲットが存在する可能性を判別できる前記画像データに基づいた前記画像を、表示手段に表示させる表示制御手段を有する
    ことを特徴とする請求項13に記載の画像生成方法。
  16. 被検体への複数回の光照射により前記被検体から発生する光音響波を受信することにより得られた前記複数回の光照射に対応する複数の受信信号に基づいて、画像データを生成する画像生成方法であって、
    前記複数の受信信号に基づいて、前記複数回の光照射に対応する複数の画像データを生成し、
    ある位置における前記複数の画像データの画像値群の特徴を表す特徴情報を取得し、
    前記複数の受信信号に基づいた合成画像データを生成し、
    前記合成画像データに基づいた第1の画像と、前記特徴情報に基づいた第2の画像とを含む画像を表示手段に表示させる
    ことを特徴とする画像生成方法。
  17. 互いに種類の異なる複数の前記特徴情報を取得し、
    複数の前記特徴情報に基づいて、前記ある位置にターゲットが存在する可能性を表す前記判定情報を取得する
    ことを特徴とする請求項13から16のいずれか1項に記載の画像生成方法。
  18. 複数の前記特徴情報は、前記画像値群のヒストグラムの尖度と、前記画像値群のエントロピーとを含み、
    前記尖度が第1の閾値よりも高いときに、前記ある位置にターゲットが存在すると判定し、
    前記尖度が前記第1の閾値よりも低く、前記エントロピーが第2の閾値よりも低いときに、前記ある位置にターゲットが存在すると判定し、
    前記尖度が前記第1の閾値よりも低く、前記エントロピーが前記第2の閾値よりも高いときに、前記ある位置にターゲットが存在しないと判定して、前記判定情報を取得する
    ことを特徴とする請求項17に記載の画像生成方法。
  19. 請求項13から18のいずれか1項に記載の画像生成方法をコンピュータに実行させるためのプログラム。
JP2017137181A 2017-07-13 2017-07-13 画像生成装置、画像生成方法、及びプログラム Active JP6882108B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017137181A JP6882108B2 (ja) 2017-07-13 2017-07-13 画像生成装置、画像生成方法、及びプログラム
PCT/JP2018/025676 WO2019013121A1 (ja) 2017-07-13 2018-07-06 画像生成装置、画像生成方法、及びプログラム
US16/735,496 US20200163554A1 (en) 2017-07-13 2020-01-06 Image generating apparatus, image generating method, and non-transitory computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017137181A JP6882108B2 (ja) 2017-07-13 2017-07-13 画像生成装置、画像生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019017552A true JP2019017552A (ja) 2019-02-07
JP6882108B2 JP6882108B2 (ja) 2021-06-02

Family

ID=65002635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017137181A Active JP6882108B2 (ja) 2017-07-13 2017-07-13 画像生成装置、画像生成方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200163554A1 (ja)
JP (1) JP6882108B2 (ja)
WO (1) WO2019013121A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022084453A (ja) * 2020-11-26 2022-06-07 株式会社タムロン 集光対物光学系および光音響装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012024227A (ja) * 2010-07-22 2012-02-09 Canon Inc 画像情報取得装置、画像情報取得方法および画像情報取得プログラム
JP2012061202A (ja) * 2010-09-17 2012-03-29 Canon Inc 音響波信号処理装置ならびにその制御方法および制御プログラム
JP2016137053A (ja) * 2015-01-27 2016-08-04 キヤノン株式会社 被検体情報取得装置
JP2017042612A (ja) * 2015-08-26 2017-03-02 キヤノン株式会社 被検体情報を取得する装置および方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4079392B2 (ja) * 1998-02-12 2008-04-23 株式会社日立メディコ 超音波診断装置
JP4585326B2 (ja) * 2005-02-08 2010-11-24 富士フイルム株式会社 超音波撮像装置及び超音波撮像方法
CN102655815B (zh) * 2009-12-17 2015-07-01 佳能株式会社 测量系统和图像形成方法
JP2012223367A (ja) * 2011-04-20 2012-11-15 Fujifilm Corp 光音響画像生成装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012024227A (ja) * 2010-07-22 2012-02-09 Canon Inc 画像情報取得装置、画像情報取得方法および画像情報取得プログラム
JP2012061202A (ja) * 2010-09-17 2012-03-29 Canon Inc 音響波信号処理装置ならびにその制御方法および制御プログラム
JP2016137053A (ja) * 2015-01-27 2016-08-04 キヤノン株式会社 被検体情報取得装置
JP2017042612A (ja) * 2015-08-26 2017-03-02 キヤノン株式会社 被検体情報を取得する装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MITHUN KUNIYIL AJITH SINGH ET AL.: "Photoacoustic reflection artifact reduction using photoacoustic-guided focused ultrasound: compariso", BIOMEDICAL OPTICS EXPRESS, vol. 8, no. 4, JPN6021011920, April 2017 (2017-04-01), pages 2245 - 2260, ISSN: 0004477591 *

Also Published As

Publication number Publication date
JP6882108B2 (ja) 2021-06-02
US20200163554A1 (en) 2020-05-28
WO2019013121A1 (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
JP6576424B2 (ja) 表示制御装置、画像表示方法、及びプログラム
US10945678B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium
JP6742745B2 (ja) 情報取得装置および表示方法
US20190029526A1 (en) Image processing apparatus, image processing method, and storage medium
EP3360468A1 (en) Removal of unwanted structures in photoacoustic images
JP2017113095A (ja) 光音響装置、情報取得装置、情報取得方法、およびプログラム
JP2017529913A (ja) 光音響装置
JP2018061716A (ja) 情報処理装置、情報処理方法、及びプログラム
EP3329843B1 (en) Display control apparatus, display control method, and program
JP6882108B2 (ja) 画像生成装置、画像生成方法、及びプログラム
US20200275840A1 (en) Information-processing apparatus, method of processing information, and medium
JP2018187394A (ja) 表示制御装置、画像表示方法、及びプログラム
JP2019118686A (ja) 情報処理装置、情報処理方法、プログラム
WO2018230409A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018143764A (ja) 画像生成装置、画像生成方法、プログラム
JP7277212B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6929048B2 (ja) 表示制御装置、表示方法、及びプログラム
US20200305727A1 (en) Image processing device, image processing method, and program
JP2019187514A (ja) 被検体情報取得装置、被検体情報処理方法、およびプログラム
JP2019097804A (ja) 情報処理装置、情報処理方法、プログラム
JP2020110362A (ja) 情報処理装置、情報処理方法、プログラム
JP6929204B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210506

R151 Written notification of patent or utility model registration

Ref document number: 6882108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151