JP2019118686A - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP2019118686A JP2019118686A JP2018001345A JP2018001345A JP2019118686A JP 2019118686 A JP2019118686 A JP 2019118686A JP 2018001345 A JP2018001345 A JP 2018001345A JP 2018001345 A JP2018001345 A JP 2018001345A JP 2019118686 A JP2019118686 A JP 2019118686A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- feature information
- partial image
- value
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】 本発明は、画像中の注目位置にターゲット(観察対象)が存在する可能性を判別しやすくすることのできる情報処理方法を提供することを目的とする。【解決手段】 本発明は、記憶手段に保存された複数の部分画像データのそれぞれに対して、特徴情報を取得する処理の一部の処理を実行することにより中間特徴情報を生成し、1つの部分画像データに対して特徴情報を取得する処理の一部の処理を実行すると中間特徴情報を更新し、特徴情報を取得する処理の一部の処理を実行した後に、記憶手段から当該処理が実行された部分画像データを削除し、更新後の中間特徴情報を記憶手段に保存し、記憶手段に記憶された更新後の中間特徴情報を用いて、特徴情報を生成し、特徴情報を記憶手段に保存する。【選択図】 図8
Description
本発明は、光照射により発生する光音響波に由来する画像データを処理する情報処理装置に関する。
音響波を受信することにより得られた受信信号に基づいて画像データを生成する装置として、光音響装置が知られている。光音響装置は、光源から発生したパルス光を被検体に照射し、被検体内で伝搬・拡散したパルス光のエネルギーを吸収した被検体組織から発生した音響波(典型的には超音波であり、光音響波とも呼ぶ)を受信する。そして、光音響装置は、受信信号に基づき被検体情報を画像化する。
非特許文献1は、光音響波の受信信号から初期音圧分布を画像化する方法として、逆投影法の一つであるユニバーサルバックプロジェクション(UBP:Universal Back−Projection)を開示する。
"Universal back−projection algorithm for photoacou"stic computed tomography", Minghua Xu and Lihong V.Wang,PHYSICAL REVIEW E 71, 016706(2005)
ところで、音響波の受信信号を逆投影して画像データを生成する場合、音響波の発生位置以外にも受信信号が逆投影され、アーティファクトとして画像に現れる。これにより、画像中の像がターゲット(観察対象)の像であるのか否かを判別することが困難な場合がある。
そこで、本発明は、画像中の注目位置にターゲット(観察対象)が存在する可能性を判別しやすくすることのできる情報処理方法を提供することを目的とする。
本発明は、被検体の注目位置における複数の画像データの画像値群の特徴を表す特徴情報を取得する情報処理方法であって、被検体への複数回の光照射により被検体から発生する光音響波を受信することにより生成された、複数回の光照射に対応する複数の信号データを取得し、複数の信号データのそれぞれに基づいて、複数回の光照射に対応する複数の部分画像データを生成し、複数の部分画像データを記憶手段に保存し、記憶手段に保存された複数の部分画像データのそれぞれに対して、特徴情報を取得する処理の一部の処理を実行することにより中間特徴情報を生成し、1つの部分画像データに対して特徴情報を取得する処理の一部の処理を実行すると中間特徴情報を更新し、特徴情報を取得する処理の一部の処理を実行した後に、記憶手段から当該処理が実行された部分画像データを削除し、更新後の中間特徴情報を記憶手段に保存し、記憶手段に記憶された更新後の中間特徴情報を用いて、特徴情報を生成し、特徴情報を記憶手段に保存する。
本発明に係る情報処理方法によれば、画像中の注目位置にターゲット(観察対象)が存在する可能性を判別しやすくすることができる。
以下に図面を参照しつつ、本発明の実施形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状及びそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
本発明は、2次元または3次元の空間分布を表す医用画像データに対して適用することのできる発明である。特に本発明は、光照射により発生した光音響波に由来する2次元または3次元の空間分布を表す光音響画像データに対して好適に適用することができる。光音響画像データは、光音響波の発生音圧(初期音圧)、光吸収エネルギー密度、及び光吸収係数、被検体を構成する物質の濃度(酸素飽和度など)などの少なくとも1つの被検体情報の空間分布を表す画像データである。
本発明は、画像中の注目位置にターゲット(観察対象)が存在する可能性を判別しやすくすることを目的とする。本発明者は、上記課題に鑑みて、ターゲットの領域とターゲット以外の領域では、複数回の撮影による複数の画像データの画像値の変動特性が異なる傾向を持つことに着目した。そして、本発明者は、注目位置における複数の画像データの画像値群の特徴を表す特徴情報を生成することを見出した。この特徴情報は、注目位置にターゲットが存在する可能性を判定することのできる情報である。以下、光音響イメージングを例に本発明の概要を説明する。
光音響イメージングの主な被検体である生体は、光を散乱及び吸収する特性を備える。そのため、光が生体の深部に進むにつれて、光強度が指数的に減衰する。その結果、典型的に、被検体表面付近では振幅の大きい光音響波が生じ、被検体深部では振幅の小さい光音響波が生じる傾向がある。特に被検体の表面付近に存在する血管から振幅の大きい光音響波が生じやすい。
非特許文献1に記載のUBP(Universal Back−Projection)と呼ばれる再構成法では、トランスデューサを中心とする円弧上に受信信号を逆投影する。その際、被検体の表面付近の振幅が大きい光音響波の受信信号が被検体深部に逆投影され、その結果被検体深部でのアーティファクトとなる。このため、被検体深部に存在する生体組織を画像化する際に、被検体表面から発生した光音響波に起因するアーティファクトにより画質(コントラスト等)が低下するおそれがある。これにより、画像中の像がターゲット(観察対象)の像であるのか否かを判別することが困難な場合がある。
本発明は、画像中のある位置にターゲット(観察対象)が存在するか否かを判別しやすくすることのできる発明である。すなわち、本発明は、画像中のある位置にターゲットが存在する可能性が高いか低いかを判別しやすくすることのできる発明である。本明細書において、ターゲットが存在するか否かを判定することは、ターゲットが存在する可能性が高いか低いかを判定することに相当する。以下、本発明に係る処理について説明する。
光音響波の受信信号は、一般的に図1(a)に示すようなN−Shapeとよばれる波形を持つことが知られている。UBPでは図1(a)に示すN−Shape信号に対して時間微分処理を行い、図1(b)に示す時間微分信号を生成する。続いて、時間微分信号の信号レベルの正負を反転する正負反転処理を行い、図1(c)に示す正負反転信号を生成する。なお、N−Shape信号に時間微分処理及び正負反転処理を施して生成された信号(投影信号とも呼ぶ)には、図1(c)の矢印A,Cで示すような負の値を持つ部分と、図1(c)の矢印Bに示すような正の値を持つ部分が現れる。
図2は、被検体内部の微小球形状の光吸収体であるターゲット10から発生した光音響波をトランスデューサ21及びトランスデューサ22で受信する場合にUBPを適用する例を示す。ターゲット10に光を照射すると、光音響波が発生し、光音響波はトランスデューサ21及びトランスデューサ22にてN−Shape信号としてサンプリングされる。図2(a)は、トランスデューサ21によりサンプリングされたN−Shape状の受信信号をターゲット10に重畳して示した図である。なお、便宜上、トランスデューサ21から出力された受信信号のみを示すが、トランスデューサ22からも同様に受信信号が出力される。
図2(b)は、図2(a)に示すN−Shape状の受信信号に時間微分処理及び正負反転処理を施した投影信号をターゲット10に重畳して示した図である。
図2(c)は、トランスデューサ21を用いて得られた投影信号をUBPで逆投影する様子を示す。UBPではトランスデューサ21を中心とした円弧上に投影信号を投影する。この場合、トランスデューサ21の指向角(例えば60°)の範囲に投影信号を逆投影している。その結果、あたかも領域31、32、及び33にわたってターゲット10が存在するかのような画像となる。ここで、領域31及び33は負の値を持つ領域であり、領域32は正の値を持つ領域である。図2(c)において、負の値を持つ領域31及び33を灰色で塗りつぶした。
図2(d)は、トランスデューサ22を用いて得られた投影信号をUBPで逆投影する場合を示す。その結果、あたかも領域41、42、及び43にわたってターゲット10が存在するかのような画像となる。ここで、領域41、43は負の値を持つ領域であり、領域42は正の値を持つ領域である。図2(d)において、負の値を持つ領域41及び43を灰色で塗りつぶした。
図2(e)は、複数のトランスデューサ21及び22のそれぞれに対応する投影信号をUBPで逆投影する場合の図を示す。このようにして逆投影された複数の投影信号を合成することにより、光音響画像データが生成される。
図2(e)に示すように、ターゲット10の内部の位置51においては、トランスデューサ21に対応する投影信号の正値の領域32と、トランスデューサ22に対応する投影信号の正値の領域42が重なる。すなわち、典型的にターゲット10の存在する領域(ターゲット領域とも呼ぶ)では、正値の領域同士が優位に重なる。そのため、ターゲット10の存在する領域では、典型的に光照射毎の画像データが正値となる傾向がある。
一方、ターゲット10の外部の位置52においては、トランスデューサ21に対応する投影信号の正値の領域32と、トランスデューサ22に対応する投影信号の負値の領域43とが重なる。また、ターゲット10の外部の位置53においては、トランスデューサ21に対応する投影信号の負値の領域31と、トランスデューサ22に対応する投影信号の正値の領域41とが重なる。このようにターゲット10以外の領域では、正値の領域と負値の領域とが複雑に重なる傾向がある。すなわち、ターゲット10以外の領域では、光照射毎に画像データが正値にも負値にもなる傾向がある。このような傾向となる理由としては、トランスデューサ22とターゲット10との相対位置が光照射毎に変わることなどが考えられる。
次に、光照射の度に光音響波の受信位置の組み合わせを変えたときの、光照射毎の画像データの値(画像値)の変動について説明する。図3(a)は、非特許文献1に記載のUBPで再構成したときのターゲット10の領域の画像データの値(画像値)の変動を示す。横軸は光照射の番号を示し、縦軸は画像値を示す。一方、図3(b)は、非特許文献1に記載のUBPで再構成したときのターゲット10以外の領域の画像データの値(画像値)の変動を示す。横軸は光照射の番号を示し、縦軸は画像値を示す。
図3(a)によれば、ターゲット10の領域の画像値は、光照射毎に変動があるものの、常に正値となっていることが分かる。一方、図3(b)によれば、ターゲット10以外の領域の画像値は、光照射毎に正値にも負値にもなることが分かる。
ここで、全ての光照射に対応する画像データを合成することにより画像データを生成すると、ターゲット10の領域では正値の合成となるので最終的な画像値が大きくなる。一方で、ターゲット10以外の領域では、画像データの正値と負値とが相殺して、最終的な画像値がターゲット10の領域よりも小さくなる。その結果、光音響画像データに基づいた画像上でターゲット10の存在を視認することができる。
ところが、ターゲット10以外の領域では、ターゲットが存在しないにもかかわらず画像値が0とはならず、最終的な画像値が正値となる場合がある。この場合、ターゲット10以外の位置にアーティファクトが発生し、ターゲットの視認性を低下させることとなる。
そこで、ある領域における画像がターゲットの画像であるか、ターゲット以外の画像であるかを判別しやすくすることが望まれている。
そこで、本発明者は、上記課題を解決するために、ターゲットの領域とターゲット以外の領域では、典型的に光照射毎の画像データの画像値の変動特性が異なる傾向を持つことに着目した。本発明者は、複数回の光照射に対応する注目位置における複数の画像データの画像値群の特徴を表す特徴情報を生成することを見出した。この特徴情報は、注目位置にターゲットが存在する可能性を判定することのできる情報である。
さらに本発明者が鋭意検討した結果、特徴情報を生成する際に複数の画像データを同時に処理すると、多くのピクセルまたはボクセルのデータをメモリに展開しなければならないために、膨大なメモリ容量を要することを見出した。また、本発明者は、特徴情報を生成する際に複数の画像データを同時に処理すると、メモリから多くのデータを読み出さなければならないため、膨大な処理時間も要してしまうことを見出した。
これらの着想を踏まえ、本発明者は、1回分の光照射に対応する部分画像データに対して、特徴情報を生成するための処理の一部の処理を実行することを見出した。すなわち、本発明者は、複数回の光照射に対応する複数の部分画像データを生成し、複数の部分画像データを記憶手段に保存することを見出した。また、本発明者は、記憶手段に保存された複数の部分画像データのそれぞれに対して、特徴情報を取得する処理の一部の処理を実行することにより中間特徴情報を生成することを見出した。また、本発明者は、1つの部分画像データに対して特徴情報を取得する処理の一部の処理を実行すると中間特徴情報を更新し、更新後の中間特徴情報を前記記憶手段に保存することを見出した。また、本発明者波、特徴情報を取得する処理の一部の処理を実行した後に、記憶手段から当該処理が実行された部分画像データを削除することを見出した。また、本発明者は、記憶手段に記憶された更新後の中間特徴情報を用いて、特徴情報を生成し、特徴情報を前記記憶手段に保存し、特徴情報を生成した後に、更新後の中間特徴情報を記憶手段から削除することを見出した。
以上、上記情報処理を実行することにより、特徴情報の生成に際して、メモリ容量の増加を抑制し、短い処理時間で特徴情報を生成することができる。
以下の実施形態では、光音響装置による光音響イメージングに本発明を適用する場合を説明するが、本発明を適用可能なモダリティは光音響装置に限られない。すなわち、アーティファクトが発生するモダリティにより生成された画像データに対しては、本発明を適用可能である。例えば、本発明を適用可能なモダリティとしては、超音波診断装置、MRI装置、X線−CT装置などが挙げられる。これらのモダリティに適用する場合も、情報処理装置は、複数回の測定タイミングに対応する複数の画像データの画像値群の特徴を表す特徴情報を生成することができる。ここで測定とは、1フレームの画像データを生成するために必要な測定(撮影)のことを指す。例えば、超音波診断装置であれば、1回の測定は1フレームの画像データを生成するための超音波の送受信に相当する。このような情報処理方法によって、画像中の注目位置にターゲット(観察対象)が存在する可能性が高いか低いかを判別しやすくすることができる。
[第1の実施形態]
第1の実施形態は、光音響装置により光音響画像データを利用する例を説明する。また、第1の実施形態では、光音響画像データと空間感度分布データ(テンプレートデータ)との内積演算により求まる相関値を特徴情報として生成する例を説明する。以下、本実施形態の光音響装置の構成及び情報処理方法について説明する。
第1の実施形態は、光音響装置により光音響画像データを利用する例を説明する。また、第1の実施形態では、光音響画像データと空間感度分布データ(テンプレートデータ)との内積演算により求まる相関値を特徴情報として生成する例を説明する。以下、本実施形態の光音響装置の構成及び情報処理方法について説明する。
図4を用いて本実施形態に係る光音響装置の構成を説明する。図4は、光音響装置全体の概略ブロック図である。本実施形態に係る光音響装置は、光照射部110及び受信部120を含むプローブ180、駆動部130、信号収集部140、コンピュータ150、表示部160、及び入力部170を有する。
図5は、本実施形態に係るプローブ180の模式図を示す。測定対象は、被検体100である。駆動部130は、光照射部110と受信部120を駆動し、機械的な走査を行う。光照射部110が光を被検体100に照射し、被検体100内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部120は、光音響波を受信することによりアナログ信号としての電気信号(光音響信号)を出力する。
信号収集部140は、受信部120から出力されたアナログ信号をデジタル信号に変換し、コンピュータ150に出力する。コンピュータ150は、信号収集部140から出力されたデジタル信号を、超音波、音響波あるいは光音響波に由来する信号データとして記憶する。
コンピュータ150は、記憶されたデジタル信号に対して信号処理を行うことにより、被検体100に関する情報(被検体情報)の2次元または3次元の空間分布を表す光音響画像データを生成する。また、コンピュータ150は、得られた画像データに基づいた画像を表示部160に表示させる。ユーザーとしての医師は、表示部160に表示された画像を確認することにより、診断を行うことができる。表示画像は、ユーザーやコンピュータ150からの保存指示に基づいて、コンピュータ150内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどのメモリに保存される。
また、コンピュータ150は、光音響装置に含まれる構成の駆動制御も行う。また、表示部160は、コンピュータ150で生成された画像の他にGUIなどを表示してもよい。入力部170は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部170を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。
以下、本実施形態に係る光音響装置の各構成の詳細を説明する。
(光照射部110)
光照射部110は、光を発する光源111と、光源111から射出された光を被検体100へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
光照射部110は、光を発する光源111と、光源111から射出された光を被検体100へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
光源111が発する光のパルス幅としては、1ns以上、100ns以下のパルス幅であってもよい。また、光の波長として400nmから1600nm程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長(400nm以上、700nm以下)を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織(水や脂肪など)において典型的に吸収が少ない波長(700nm以上、1100nm以下)の光を用いてもよい。
光源111としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Nd:YAGレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Nd:YAGレーザー光を励起光とするTi:saレーザーやOPO(Optical Parametric Oscillators)レーザーを光源として用いてもよい。また、光源111としてフラッシュランプや発光ダイオードを用いてもよい。また、光源111としてマイクロウェーブ源を用いてもよい。
光学系112には、レンズ、ミラー、プリズム、光ファイバー、拡散板、シャッターなどの等の光学素子を用いることができる。
生体組織に照射することが許される光の強度は、以下に示す安全規格によって最大許容露光量(MPE:maximum permissible exposure)が定められている。(IEC 60825−1:Safety of laser products、JIS C 6802:レーザー製品の安全基準、FDA:21CFR Part 1040.10、ANSI Z136.1:Laser Safety Standards、など)。最大許容露光量は、単位面積あたりに照射することができる光の強度を規定している。このため被検体Eの表面を広い面積で一括して光を照射することにより、多くの光を被検体Eに導くことができるので、光音響波を高いSN比で受信することができる。乳房等の生体組織を被検体100とする場合、高エネルギーの光のビーム径を広げて照射するために、光学系112の射出部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系112の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
なお、光照射部110が光学系112を備えずに、光源111から直接被検体100に光を照射してもよい。
(受信部120)
受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、超音波、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、超音波、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
トランスデューサ121を構成する部材としては、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミック材料や、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ(CMUT:Capacitive Micro−machined Ultrasonic Transducers)、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、超音波、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値(例えば、音圧に比例した値)を表したものである。
光音響波を構成する周波数成分は、典型的には100KHzから100MHzであり、トランスデューサ121として、これらの周波数を検出することのできるものを採用することができる。
支持体122は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体122の被検体100側の表面に鏡面もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体122は半球殻形状であり、半球殻上に複数のトランスデューサ121を支持できるように構成されている。この場合、支持体122に配置されたトランスデューサ121の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ121から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体122はトランスデューサ121を支持できる限り、いかなる構成であってもよい。支持体122は、1Dアレイ、1.5Dアレイ、1.75Dアレイ、2Dアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ121が複数の受信手段に相当する。
また、支持体122は音響マッチング材210を貯留する容器として機能してもよい。すなわち、支持体122をトランスデューサ121と被検体100との間に音響マッチング材210を配置するための容器としてもよい。
また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を時系列のデジタル信号に変換するA/D変換器を備えてもよい。すなわち、受信部120が後述する信号収集部140を備えてもよい。
なお、超音波、音響波、光音響波を様々な角度で検出できるようにするために、理想的には被検体100を全周囲から囲むようにトランスデューサ121を配置してもよい。ただし、被検体100が大きく全周囲を囲むようにトランスデューサを配置できない場合は、半球状の支持体122上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。
なお、トランスデューサの配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはあらゆる受信部120を採用することができる。
受信部120と被検体100との間の空間は、超音波、音響波、光音響波が伝播することができる媒質で満たす。この媒質には、超音波、音響波、光音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ超音波、音響波、光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
図5(a)は、プローブ180の側面図を示し、図5(b)は、プローブ180の上面図(図5(a)の紙面上方向から見た図)を示す。図5に示された本実施形態に係るプローブ180は、開口を有する半球状の支持体122に複数のトランスデューサ121が3次元に配置された受信部120を有する。また、図5に示されたプローブ180は、支持体122の底部に光学系112の光射出部が配置されている。
本実施形態においては、図5に示すように被検体100は、保持部200に接触することにより、その形状が保持される。本実施形態では、被検体100が乳房の場合に、伏臥位の被検者を支持する寝台に乳房を挿入するための開口を設けて、開口から鉛直方向に垂らされた乳房を測定する形態を想定している。
受信部120と保持部200の間の空間は、超音波、音響波、光音響波が伝播することができる媒質(音響マッチング材210)で満たされる。この媒質には、超音波、音響波、光音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ超音波、音響波、光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、ひまし油、超音波ジェルなどを採用することができる。
保持手段としての保持部200は被検体100の形状を測定中に保持するために使用される。保持部200により被検体100を保持することによって、被検体100の動きの抑制および被検体100の位置を保持部200内に留めることができる。保持部200の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。
保持部200は、被検体100を保持できる硬度を有する材料であることが好ましい。保持部200は、測定に用いる光を透過する材料であってもよい。保持部200は、インピーダンスが被検体100と同程度の材料で構成されていてもよい。乳房等の曲面を有するものを被検体100とする場合、凹型に成型した保持部200であってもよい。この場合、保持部200の凹部分に被検体100を挿入することができる。
保持部200は、取り付け部201に取り付けられている。取り付け部201は、被検体の大きさに合わせて複数種類の保持部200を交換可能に構成されていてもよい。例えば、取り付け部201は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。
また、保持部200には保持部200の情報が登録されたタグ202が設置されていてもよい。例えば、タグ202には、保持部200の曲率半径、曲率中心、音速、識別ID等の情報を登録することができる。タグ202に登録された情報は、読み取り部203により読み出され、コンピュータ150に転送される。保持部200が取り付け部201に取り付けられたときに容易にタグ202を読み取るために、読み取り部203は取り付け部201に設置されていてもよい。例えば、タグ202はバーコードであり、読み取り部203はバーコードリーダである。
(駆動部130)
駆動部130は、被検体100と受信部120との相対位置を変更する部分である。本実施形態では、駆動部130は、支持体122をXY方向に移動させる装置であり、ステッピングモーターを搭載した電動のXYステージある。駆動部130は、駆動力を発生させるステッピングモーターなどのモーターと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。
駆動部130は、被検体100と受信部120との相対位置を変更する部分である。本実施形態では、駆動部130は、支持体122をXY方向に移動させる装置であり、ステッピングモーターを搭載した電動のXYステージある。駆動部130は、駆動力を発生させるステッピングモーターなどのモーターと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。
なお、駆動部130は被検体100と受信部120との相対位置をXY方向(2次元)に変更させるものに限らず、1次元または3次元に変更させてもよい。移動経路は平面的にスパイラル状やライン&スペースで走査してもよいし、さらに3次元的に体表に沿うように傾けてもよい。また、被検体100の表面からの距離を一定に保つようにしてプローブ180を移動させてもよい。このとき駆動部130は、モーターの回転数をモニターするなどしてプローブの移動量を計測してもよい。
なお、駆動部130は、被検体100と受信部120との相対的な位置を変更できれば、受信部120を固定し、被検体100を移動させてもよい。被検体100を移動させる場合は、被検体100を保持する保持部を動かすことで被検体100を移動させる構成などが考えられる。また、被検体100と受信部120の両方を移動させてもよい。
駆動部130は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部130は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。すなわち、光音響装置は、駆動部130を有さずに、ユーザーがプローブ180を把持して操作するハンドヘルドタイプであってもよい。
また、本実施形態では、駆動部130は光照射部110と受信部120を同時に駆動して走査を行っているが、光照射部110だけを駆動したり、受信部120だけを駆動したりしてもよい。
(信号収集部140)
信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140は、FPGA(Field Programmable Gate Array)チップなどで構成されてもよい。信号収集部140から出力されるデジタル信号は、コンピュータ150内の記憶部152に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部110から光射出を検出し、信号収集部140がこの検出結果をトリガーに同期して上記処理を開始してもよい。また、信号収集部140は、フリーズボタンなどを用いてなされる指示をトリガーに同期して、当該処理を開始してもよい。
信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140は、FPGA(Field Programmable Gate Array)チップなどで構成されてもよい。信号収集部140から出力されるデジタル信号は、コンピュータ150内の記憶部152に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部110から光射出を検出し、信号収集部140がこの検出結果をトリガーに同期して上記処理を開始してもよい。また、信号収集部140は、フリーズボタンなどを用いてなされる指示をトリガーに同期して、当該処理を開始してもよい。
(コンピュータ150)
表示制御装置としてのコンピュータ150は、演算部151、記憶部152、制御部153を含む。各構成の機能については処理フローの説明の際に説明する。
表示制御装置としてのコンピュータ150は、演算部151、記憶部152、制御部153を含む。各構成の機能については処理フローの説明の際に説明する。
演算部151としての演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部151は、入力部170から、被検体音速や保持部の構成などの各種パラメータを受けて、受信信号を処理してもよい。
記憶部152は、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部152は、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部152は、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
記憶部152は、後述する方法で演算部151により生成される光音響画像を示す画像データを保存することができる。
制御部153は、CPUなどの演算素子で構成される。制御部153は、光音響装置の各構成の動作を制御する。制御部153は、入力部170からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、制御部153は、記憶部152に格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。例えば、制御部153が制御線を介して、光源111の発光タイミングを制御してもよい。また、光学系112がシャッターを含む場合、制御部153が制御線を介して、シャッターの開閉を制御してもよい。
コンピュータ150は専用に設計されたワークステーションであってもよい。また、コンピュータ150の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ150の少なくとも一部の構成は単一のハードウェアで構成されてもよい。
図6は、本実施形態に係るコンピュータ150の具体的な構成例を示す。本実施形態に係るコンピュータ150は、CPU154、GPU155、RAM156、ROM157、外部記憶装置158から構成される。また、コンピュータ150には、表示部160としての液晶ディスプレイ161、入力部170としてのマウス171、キーボード172が接続されている。
また、コンピュータ150および複数のトランスデューサ121は、共通の筺体に収められた構成で提供されてもよい。ただし、筺体に収められたコンピュータで一部の信号処理を行い、残りの信号処理を筺体の外部に設けられたコンピュータで行ってもよい。この場合、筺体の内部および外部に設けられたコンピュータを総称して、本実施形態に係るコンピュータとすることができる。すなわち、コンピュータを構成するハードウェアが一つの筺体に収められていなくてもよい。
(表示部160)
表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)FED、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。コンピュータ150により得られたボリュームデータに基づいた画像や特定位置の数値等を表示する装置である。表示部160は、ボリュームデータに基づいた画像や装置を操作するためのGUIを表示してもよい。なお、被検体情報の表示にあたっては、表示部160またはコンピュータ150において画像処理(画素値の調整等)を行った上で表示することもできる。表示部160は、光音響装置とは別に提供されていてもよい。コンピュータ150は、光音響画像データを有線または無線で表示部160へ送信することができる。
表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)FED、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。コンピュータ150により得られたボリュームデータに基づいた画像や特定位置の数値等を表示する装置である。表示部160は、ボリュームデータに基づいた画像や装置を操作するためのGUIを表示してもよい。なお、被検体情報の表示にあたっては、表示部160またはコンピュータ150において画像処理(画素値の調整等)を行った上で表示することもできる。表示部160は、光音響装置とは別に提供されていてもよい。コンピュータ150は、光音響画像データを有線または無線で表示部160へ送信することができる。
(入力部170)
入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
入力部170は、観察したい位置や深さの情報などを入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示部160に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。
また、ユーザーが光音響装置の遠隔に設けられた入力部170を操作し、入力部170を用いて入力された情報を、ネットワークを介して光音響装置に送信してもよい。
なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった1つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった1つの装置として構成されてもよい。
また、光音響装置の各構成間で送受信される情報は、有線または無線でやりとりがなされる。
(被検体100)
被検体100は光音響装置を構成するものではないが、以下に説明する。本実施形態に係る光音響装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管や腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。また、メチレンブルー(MB)、インドシニアングリーン(ICG)などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。また、生体を模したファントムを被検体100としてもよい。
被検体100は光音響装置を構成するものではないが、以下に説明する。本実施形態に係る光音響装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管や腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。また、メチレンブルー(MB)、インドシニアングリーン(ICG)などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。また、生体を模したファントムを被検体100としてもよい。
本明細書においては、上述した画像化の対象とする光吸収体のことを、ターゲットと呼ぶ。また、画像化の対象としない、すなわち観察の対象としない光吸収体についてはターゲットではない。例えば、乳房を被検体とし、血管をターゲットとしての光吸収体とする場合、乳房を構成する脂肪や乳腺などの組織はターゲットではない。本発明の実施形態の説明においては、典型的には血管をターゲットとする。
次に、本実施形態に係る情報処理を含む画像表示方法を、図7を参照して説明する。なお、各工程は、コンピュータ150が光音響装置の構成の動作を制御することにより実行される。
(S100:制御パラメータを設定する工程)
ユーザーが、被検体情報の取得のために必要な光照射部110の照射条件(繰り返し周波数や波長など)やプローブ180の位置などの制御パラメータを、入力部170を用いて指定する。コンピュータ150は、ユーザーの指示に基づいて決定された制御パラメータを設定する。
ユーザーが、被検体情報の取得のために必要な光照射部110の照射条件(繰り返し周波数や波長など)やプローブ180の位置などの制御パラメータを、入力部170を用いて指定する。コンピュータ150は、ユーザーの指示に基づいて決定された制御パラメータを設定する。
(S200:プローブを指定位置に移動させる工程)
制御部153が、ステップS100で指定された制御パラメータに基づいて、駆動部130にプローブ180を指定の位置へ移動させる。ステップS100において複数位置での撮像が指定された場合には、駆動部130は、まずプローブ180を最初の指定位置へ移動させる。なお、駆動部130は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ180を移動させてもよい。なお、ハンドヘルド型の場合、ユーザーがプローブ180を把持して所望の位置まで移動させてもよい。
制御部153が、ステップS100で指定された制御パラメータに基づいて、駆動部130にプローブ180を指定の位置へ移動させる。ステップS100において複数位置での撮像が指定された場合には、駆動部130は、まずプローブ180を最初の指定位置へ移動させる。なお、駆動部130は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ180を移動させてもよい。なお、ハンドヘルド型の場合、ユーザーがプローブ180を把持して所望の位置まで移動させてもよい。
(S300:光を照射する工程)
光照射部110は、S100で指定された制御パラメータに基づいて、被検体100に光を照射する。
光照射部110は、S100で指定された制御パラメータに基づいて、被検体100に光を照射する。
光源111から発生した光は、光学系112を介してパルス光として被検体100に照射される。そして、被検体100内部でパルス光が吸収され、光音響効果により光音響波が生じる。光照射部110はパルス光の伝送と併せて信号収集部140へ同期信号を送信する。
(S400:光音響波を受信する工程)
信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を記憶部152に保存する。ステップS100で複数の走査位置での撮像を指定した場合には、指定した走査位置において、S200−S400のステップを繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。なお、コンピュータ150は、発光をトリガーとして、発光時の受信部120の位置情報を駆動部130の位置センサからの出力に基づいて取得し、記憶してもよい。
信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を記憶部152に保存する。ステップS100で複数の走査位置での撮像を指定した場合には、指定した走査位置において、S200−S400のステップを繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。なお、コンピュータ150は、発光をトリガーとして、発光時の受信部120の位置情報を駆動部130の位置センサからの出力に基づいて取得し、記憶してもよい。
(S500:画像値群の特徴情報を生成する工程)
画像データ生成手段としてのコンピュータ150は、記憶部152に記憶された信号データに基づいて、複数回の光照射に対応する複数の光音響画像データを生成する。また、特徴情報生成手段としてのコンピュータ150は、複数回の光照射に対応する光音響画像データの画像値群の特徴を表す特徴情報を生成し、記憶部152に保存する。本工程における特徴情報の生成方法の詳細については後述する。
画像データ生成手段としてのコンピュータ150は、記憶部152に記憶された信号データに基づいて、複数回の光照射に対応する複数の光音響画像データを生成する。また、特徴情報生成手段としてのコンピュータ150は、複数回の光照射に対応する光音響画像データの画像値群の特徴を表す特徴情報を生成し、記憶部152に保存する。本工程における特徴情報の生成方法の詳細については後述する。
信号データを空間分布としてのボリュームデータ(光音響画像データ)に変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法やフーリエドメインでの逆投影法などの解析的な再構成法やモデルベース法(繰り返し演算法)を採用することができる。例えば、タイムドメインでの逆投影法として、Universal back−projection(UBP)、Filtered back−projection(FBP)、または整相加算(Delay−and−Sum)などが挙げられる。
再構成アルゴリズムの例としてUPBを説明する。演算部151は、記憶部152に記憶された信号データに対して、時間微分処理及び信号レベルの正負を反転させる反転処理を含む信号処理を行う。これらの信号処理が行われた受信信号を投影信号とも呼ぶ。本実施形態では、記憶部152に記憶された各受信信号に対して、これらの信号処理を実行する。その結果、複数回の光照射及び複数のトランスデューサ121のそれぞれに対応する投影信号が生成される。
例えば、演算部151は、式(1)に示すように、受信信号p(r,t)に対して時間微分処理及び反転処理(時間微分信号にマイナスを付与)を行い、投影信号b(r,t)を生成し、投影信号b(r,t)を記憶部152に記憶する。
ここで、rは受信位置、tは光照射からの経過時間、p(r,t)は受信位置rで経過時間tに受信された音響波の音圧を示す受信信号、b(r,t)は投影信号である。なお、時間微分処理及び反転処理に加えてその他の信号処理を行ってもよい。例えば、その他の信号処理は、周波数フィルタリング(ローパス、ハイパス、バンドパス等)、デコンボリューション、包絡線検波、ウェーブレットフィルタリングの少なくとも一つである。
続いて、演算部151は、式(2)に示すように、投影信号b(ri,t)に基づいて、初期音圧p0の空間分布を示す画像データを生成する。その結果、複数回の光照射のそれぞれに対応する画像データが生成され、複数の画像データを取得することができる。
ここで、r0は再構成する位置(再構成位置、注目位置とも呼ぶ)を示す位置ベクトル、p0(r0)は再構成する位置での初期音圧、cは伝搬経路の音速を示す。また、ΔΩiは再構成する位置からi番目のトランスデューサ121を見込む立体角、Nは再構成に用いるトランスデューサ121の個数を示す。式(2)は、投影信号に立体角の加重をかけて整相加算すること(逆投影)を示している。
なお、本実施形態では、前述したように解析的な再構成法やモデルベース再構成法により、画像データを生成することができる。特に、解析的な再構成法を採用する場合に、本発明を好適に適用することができる。解析的な再構成法においては、Limited Viewの条件で音響波を受信した場合、音源を正確に再現できないため、ターゲット以外の領域が負値で再構成される場合がある。
また、演算部151は、被検体100に照射された光の被検体100の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を取得してもよい。この場合、吸収係数分布情報を光音響画像データとして取得してもよい。演算部151は、光を吸収、散乱する媒質における光エネルギーの挙動を示す輸送方程式や拡散方程式を数値的に解く方法により、被検体100の内部における光フルエンスの空間分布を算出することができる。数値的に解く方法としては、有限要素法、差分法、モンテカルロ法等を採用することができる。例えば、演算部151は、式(3)に示す光拡散方程式を解くことにより、被検体100の内部における光フルエンスの空間分布を算出してもよい。
ここで、Dは拡散係数、μaは吸収係数、Sは照射光の入射強度、φは到達する光フルエンス、rは位置、tは時間を示す。
また、複数の波長の光を用いて、S300、S400の工程を実行し、演算部151は、複数の波長の光のそれぞれに対応する吸収係数分布情報を取得してもよい。そして、演算部151は、複数の波長の光のそれぞれに対応する吸収係数分布情報に基づいて、分光情報として被検体100を構成する物質の濃度の空間分布情報を、光音響画像データとして取得してもよい。すなわち、演算部151は、複数の波長の光に対応する信号データを用いて、分光情報を取得してもよい。
次に、S500における特徴情報の生成方法の詳細を、図8に示すフローチャートを用いて説明する。特に本実施形態では、光音響画像データと空間感度分布データ(テンプレートデータ)との内積演算により求まる相関値を特徴情報として生成する例を説明する。
(S510:部分画像データを生成する工程)
信号データ取得手段としてのコンピュータ150は、記憶部152に記憶された信号データのうち、第1光照射に対応する信号データを読み出すことにより、信号データを取得する。画像データ生成手段としてのコンピュータ150は、第1光照射に対応する信号データに基づいて、第1光照射に対応する部分画像データを生成する。記憶制御手段としてのコンピュータ150は、生成された部分画像データを記憶部152に保存する。部分画像データは、1回分の光照射に対応する画像データのことを指す。部分画像データのデータサイズは、後述する合成画像データのデータサイズよりも小さい。すなわち、部分画像データにより定義される空間領域は、部分画像データにより定義される空間領域に包含される。信号データから部分画像データを生成するときの再構成アルゴリズムには、S500で説明した方法を採用することができる。
信号データ取得手段としてのコンピュータ150は、記憶部152に記憶された信号データのうち、第1光照射に対応する信号データを読み出すことにより、信号データを取得する。画像データ生成手段としてのコンピュータ150は、第1光照射に対応する信号データに基づいて、第1光照射に対応する部分画像データを生成する。記憶制御手段としてのコンピュータ150は、生成された部分画像データを記憶部152に保存する。部分画像データは、1回分の光照射に対応する画像データのことを指す。部分画像データのデータサイズは、後述する合成画像データのデータサイズよりも小さい。すなわち、部分画像データにより定義される空間領域は、部分画像データにより定義される空間領域に包含される。信号データから部分画像データを生成するときの再構成アルゴリズムには、S500で説明した方法を採用することができる。
(S520:合成画像データを生成・更新する工程)
画像データ生成手段としてのコンピュータ150は、記憶部152に保存された部分画像データを用いて、合成画像データを生成する。コンピュータ150は、生成された合成画像データを記憶部152に保存する。
画像データ生成手段としてのコンピュータ150は、記憶部152に保存された部分画像データを用いて、合成画像データを生成する。コンピュータ150は、生成された合成画像データを記憶部152に保存する。
なお、既に記憶部152に合成画像データが保存されている場合、コンピュータ150は、記憶部152に保存された合成画像データと新たに生成された部分画像データとを用いて、合成処理を行うことにより合成画像データを更新する。すなわち、コンピュータ150は、合成画像データの更新された部分については、記憶部152のデータを書き換える。
図9(a)は、複数回の光照射の1回目の光照射に対応する部分画像データ1001を示す。コンピュータ150は、X方向に10ボクセル、Y方向に10ボクセル、Z方向に10ボクセルの円筒状の計算空間を再構成することにより部分画像データ1001を生成する。図9(b)は、1回目の光照射に対応する部分画像データを用いて生成された合成画像データを示す。合成画像データは、X方向に50ボクセル、Y方向に40ボクセル、Z方向に10ボクセルに相当するメモリ空間Aに保存されるものとする。
図9(c)は、複数回の光照射の9回目の光照射に対応する部分画像データ1009を示す。図9(d)は、9回目の光照射に対応する部分画像データを用いて生成された9回分の光照射に対応する合成画像データを示す。図9(d)において、2〜8回目の各光照射に対応する部分画像データを1002〜1008で表示する。なお、これらを用いた合成画像データの生成の説明については、9回目の部分画像データを用いる場合と同様であるため省略する。
この例で9回の光照射を行う場合、1回の光照射毎に、受信部120の機械的な走査に伴って撮像位置が変化する。図9からも明らかなように、部分画像データと合成画像データの計算空間のサイズは異なっており、合成画像データのサイズの方が部分画像データのサイズよりも大きい。よって、合成画像データを生成するため、1回分の光照射で得られる部分画像データが、合成画像データ保存用のメモリ空間Aにおいて配置される位置は、1回の光照射毎に異なり得る。
例えば、図9(a)において、1回目の光照射に対応する部分画像データ1001と、9回目の光照射に対応する部分画像データ1009は、合成画像データ保存用のメモリ空間Aにおいて異なる位置に配置される。例えば、コンピュータ150は、部分画像データを保存するメモリ空間を決定するために、1回目の光照射のときの受信部120と被検体100との相対位置情報を取得してもよい。コンピュータ150は、この相対位置情報に基づいて1回目の光照射に対応する部分画像データ1001をメモリ空間Aのいずれのアドレスに保存するのかを決定してもよい。
互いに異なる複数の部分画像データを合成画像データ保存用のメモリ空間Aに配置した場合に、位置が重なりあう画素については、合成処理により画像値を合成してもよい。画像値の合成処理方法としては、累積加算であってもよいし、画像値の累積加算値を重なりの回数で除算した加算平均値であってもよい。なお、部分画像データに基づいた画像に比べて、合成画像データに基づいた画像の視認性が良好になる限り、重なりあう画素に対する合成処理方法は特定の処理に限定されない。
なお、以降の本発明の実施形態の説明において、画素と表記した場合は、2次元画像のピクセル、3次元画像のボクセルなどの形式を特に限定するものではない。いかなる用途で用いられるいかなる形態の画素も、本明細書で表記する「画素」に含まれる。
なお、本実施形態においては、合成画像データを生成する処理を実行しなくてもよい。
(S530:中間特徴情報を生成・更新する工程)
特徴情報生成手段としてのコンピュータ150は、記憶部152に保存された部分画像データを用いて、特徴情報を取得するための処理の一部の処理を行うことにより、中間特徴情報を生成する。コンピュータ150は、生成された中間特徴情報を記憶部152に保存する。
特徴情報生成手段としてのコンピュータ150は、記憶部152に保存された部分画像データを用いて、特徴情報を取得するための処理の一部の処理を行うことにより、中間特徴情報を生成する。コンピュータ150は、生成された中間特徴情報を記憶部152に保存する。
なお、既に記憶部152に中間特徴情報が保存されている場合、コンピュータ150は、記憶部152に保存された中間特徴情報と新たに生成された部分画像データとを用いて、中間特徴情報を更新する。すなわち、コンピュータ150は、中間特徴情報の更新された部分については、記憶部152のデータを書き換える。
本実施形態では、最終的に後述するS560において、コンピュータ150が、特徴情報として、部分画像データベクトルとテンプレートデータベクトルとの内積演算により求まる相関値を生成する。式(4)は、部分画像データベクトルfiとテンプレートデータベクトルgiとの内積演算により相関値R(f,g)を求める式である。
fiはi回目の光照射に対応する、注目位置における部分画像データの画像値を表す。giはi回目の光照射に対応する、注目位置における空間感度分布データ(テンプレートデータ)の値を表す。相関値は、−1〜1の値をとり、1に近い程部分画像データベクトルfiとテンプレートデータベクトルgiが似ている傾向を示すことを表す。例えば、血管のような光吸収体が存在する、ターゲットに該当する画素であれば相関値が0.8程度となり、アーティファクトの存在する画素については相関値が0.2程度となる傾向がある。こうして、相関値の大きさから画素ごとにターゲットとアーティファクトの判別を行うことができる。
ここで、テンプレートデータについて説明する。テンプレートデータは、複数回の光照射及び光音響波の受信を実行する光音響装置の空間的な感度分布を反映したデータである。テンプレートデータは、複数回の光照射のそれぞれにおいて、各位置に光吸収体が存在するときに生成されうる画像データを示すデータであるともいえる。すなわち、テンプレートデータは、各位置に光吸収体が存在したときの画像値の推定値を示す空間分布であるともいえる。さらに、テンプレートデータは、光音響装置に対応する空間感度分布に加えて、被検体100の特性も反映したテンプレートデータであってもよい。
コンピュータ150は、各光照射における受信部120と注目位置との相対位置情報に基づいて、所定のテンプレートデータに座標を割り当てることにより、各光照射に対応するテンプレートデータを取得してもよい。例えば、コンピュータ150は、光音響装置の空間感度分布を、光照射時の受信部120の位置に同期させて座標を定義することにより、各光照射に対応するテンプレートデータを生成することができる。
また、コンピュータ150は、複数回の光照射について、受信部120と注目位置との相対位置情報を取得してもよい。続いて、コンピュータ150は、相対位置情報に対応するテンプレートデータを記憶部152から読み出すことにより、複数回の光照射に対応するテンプレートデータを取得してもよい。この場合、記憶部152には、複数の相対位置情報に対応する複数のテンプレートデータが格納されていてもよい。なお、記憶部152に、取得した相対位置情報に対応するテンプレートデータが格納されていない場合、取得した相対位置情報の近傍の相対位置情報に対応するテンプレートデータを用いて補間により、新たなテンプレートデータを生成してもよい。
ここではテンプレートデータを読み出す手法を述べたが、コンピュータ150が撮像の度に装置内でテンプレートデータを算出してもよく、その場合であっても本発明の効果を得ることができる。なお、テンプレートデータの算出に際しては、注目位置と複数のトランスデューサ121との相対位置の情報に加え、光音響波の伝播経路における音速や音響波の減衰特性などの情報を考慮してもよい。また、テンプレートデータは、照射光の光強度分布を考慮したテンプレートデータであってもよい。また、被検体内での光伝播による拡散や減衰を考慮したテンプレートデータでもよい。すなわち、各光照射における画像データに与えるあらゆる影響を考慮したテンプレートデータを採用することができる。光照射毎に異なるテンプレートデータを用いてもよいし、光照射間で共通のテンプレートデータを用いてもよい。
また、コンピュータ150は、観察対象のサイズ、例えば血管径などに応じて、テンプレートデータを変更してもよい。すなわち、コンピュータ150は、受信周波数帯域や処理に用いる周波数帯域に応じてテンプレートデータを変更してもよい。具体的には受信する光音響信号の周波数に応じて受信素子の指向性が変化する影響をテンプレートデータに反映してもよい。また、コンピュータ150は、ターゲットの形状やターゲットの光学特性に応じてテンプレートデータを変更してもよい。例えば、ユーザーがターゲットに関する情報(ターゲットのサイズ、形状等)を指示する場合を考える。この場合、コンピュータ150は、ターゲットに関する情報とテンプレートデータとの関係を示す情報(関係テーブルや関係式)にしたがって、指示されたターゲットに関する情報に対応するテンプレートデータを取得してもよい。
なお、テンプレートデータとしては、画像データの生成空間に存在する全ての画素に個別に値を割りあててもよい。また、画像データ生成の空間に存在する2つ以上の画素をグループ化して、同じグループに存在する画素に対しては、テンプレート値を割りあててもよい。
ただし、複数回の光照射におけるすべての画素に対応するテンプレートデータを保持することや計算することは困難であるため、所定のテンプレートデータを各光照射に対応する部分画像データに適用することが好ましい。処理対象となる画素数が少ない場合はさほど問題とはならないが、通常、医用画像データでは数億個にも上る画素が処理対象となり得る。この場合、数億箇所(例えば5億箇所)の位置に存在する画素データの一つ一つに対し、n個の要素からなるデータを生成する必要がある。テンプレートデータgも数億箇所に該当する画素の一つ一つに対して個別に用意するとなると、膨大な計算コストがかかる。例えば、5億箇所の位置に該当する画像データの画像値に対し、n=1〜1024のテンプレートデータを計算器で演算を行って用意しようとすると、現状の計算器の演算能力では実用的な時間以内にすべての演算を終了することが困難である。
そこで、コンピュータ150は、図5(a)に示すように支持体122上に配置された複数のトランスデューサ121が形成する空間感度分布データをテンプレートデータとして記憶部152から読み出す。本実施形態では、受信部120の支持体122に設けられた複数のトランスデューサ121のそれぞれの素子の受信方向は異なり、半球の曲率中心に向かうように半球面上にアレイ状に配置されている。このように、複数のトランスデューサ121のそれぞれの素子は、特定の領域で発生する光音響波を高感度に受信することができるように支持体122上に配置されている。このような複数のトランスデューサ121の配置の場合、半球の曲率中心の感度が高く、中心から離れると感度が低くなることが一般的に知られている。
本実施形態においては、音響波に対する複数のトランスデューサ121の感度を反映した空間感度分布データをテンプレートデータとして採用する。すなわち、本実施形態では、光照射間で共通のテンプレートデータとして採用する。
例えば、図10は、注目位置におけるテンプレートデータの値の変動特性を示す。横軸は光照射の番号を示し、縦軸は空間感度(テンプレートデータの値)を示す。図10は、図3に示す画像値の変動特性と同期している。図3に示す光照射毎の画像値の変動が、注目位置における部分画像データの画像値fiに相当し、図10に示す光照射毎の空間感度の変動が、注目位置におけるテンプレートデータの値giに相当する。すなわち、式(4)の処理は、注目位置における部分画像データの画像値列と、注目位置におけるテンプレートデータのテンプレート値列との相関を内積演算により算出する処理を表す。例えば、複数の部分画像データの画像値列は、iが1からnの画像値を、1からnの順に並べたデータ(例えば行列データ)である。また、複数のテンプレートデータのテンプレート値列は、iが1からnのテンプレートデータを、1からnの順に並べたデータ(例えば行列データ)である。画像値列及び値列は、画像値またはテンプレートデータが、iが1からnの順に並んだデータでなくてもよい。画像値とテンプレートデータとが共通の光照射の番号iに対応づいていればよい。
式(4)によれば、図3(a)に示す画像値列と図10に示すテンプレートデータ列とは相関値が高く、注目位置にターゲットが存在する可能性が高いことを示す。一方、式(4)によれば、図3(b)に示す画像値列と図10に示すテンプレートデータ列とは相関値が低く、注目位置にターゲットが存在する可能性が低いことを示す。このように、光音響画像データとテンプレートデータとの相関値を特徴情報として生成することにより、ターゲットが存在する可能性の高低を示す情報を取得することができる。
ところで、式(4)の演算において、すべての部分画像データfiをメモリに展開して計算しようとすると、演算に必要なメモリ容量が膨大となり、処理を行うことが困難となる。部分画像データとテンプレートデータをすべてメモリ上に持っておくとなると、常にPC上に膨大なメモリ容量を用意しておく必要がある。例えば、500回の光照射を行って画像データを生成する場合に、1回の光照射で得られる部分画像データのデータサイズが500MBだとすると、全ての部分画像データを保存するには250GBのメモリが必要となる。これでは、システムのメモリリソースが圧迫され、システム使用上さまざまな不都合が生じるため、実用上好ましくない。
そこで、本工程では、部分画像データ毎に式(4)に示す特徴情報を取得するための処理の一部の処理を実行し、特徴情報の演算に必要なメモリ容量の抑制を図る。さらに、本実施形態では、光照射間で共通のテンプレートデータを利用するため、テンプレートデータを生成する処理や複数のテンプレートデータを保持するためのメモリを要しないため、メモリ容量の抑制や処理時間の短縮を図ることができる。
そこで、本工程では、部分画像データ毎に式(4)に示す特徴情報を取得するための処理の一部の処理を実行し、特徴情報の演算に必要なメモリ容量の抑制を図る。さらに、本実施形態では、光照射間で共通のテンプレートデータを利用するため、テンプレートデータを生成する処理や複数のテンプレートデータを保持するためのメモリを要しないため、メモリ容量の抑制や処理時間の短縮を図ることができる。
コンピュータ150は、記憶部152に保存された部分画像データに対して、式(4)に示す処理の一部の処理である式(5)、式(6)、及び式(7)に示す処理を実行する。
式(5)、式(6)、および式(7)に示すそれぞれの処理結果が、部分画像データから生成される中間特徴情報となる。コンピュータ150は、式(5)、式(6)、および式(7)に示す処理によって生成された中間特徴情報を記憶部152に保存する。なお、本実施形態では、式(4)に示す処理を、式(5)、式(6)、または式(7)に示す中間処理に分解し、それらの処理結果を中間特徴情報とするが、式(4)に示す処理を実現できる限り、いかなる中間処理に分解してもよい。例えば、式(6)または式(7)の平方根を中間特徴情報としてもよい。これは、いずれの特徴情報を生成するための処理においても同様である。
図11は、部分画像データに対して式(5)に示す処理を実行することにより生成される第1中間特徴情報を示す。図11(a)に示すように、まず1回目の光照射に生成された、同じ位置に対応する部分画像データ1001と受信部120の空間感度分布データ1010とを乗算したデータ(乗算画素データとも呼ぶ)を生成する。乗算画素データが第1中間特徴情報に相当する。「.*」は、同じ位置に対応する光音響画像データの画像値と空間感度分布データ1010の値とを乗算することを意味する。この処理は式(5)に示す部分画像データの一番目の要素f1と、テンプレートデータの一番目の要素g1を乗算し、f1×g1を得たのと等価である。また、この処理は、部分画像データベクトルfとテンプレートデータベクトルgの内積演算を、1回目の光照射に対応するデータに対して分割して実施したこととなる。図11(b)に示すように、こうして得られた第1中間特徴情報は、撮像位置に対応したメモリ空間Bに保存される。
図11(c)および図11(d)に示す例では、9回の光照射で得られた部分画像データに対して式(5)に示す中間処理を実行することにより第1中間特徴情報を更新する。各部分画像データに対して式(5)に示す中間処理を実行した結果を1101〜1109で示す。図11(d)に示すように処理結果1101〜1109を撮像位置に対応したメモリ空間Bに保存する。たとえば、ある画素j(注目位置)において9回の重なりが生じる場合、第1中間特徴情報は、{f(j,1)*g(j,1)+f(j,2)*g(j,2)+f(j,3)*g(j,3)+…+f(j,9)*g(j,9)}に示すように累積加算で表現される。すなわち、処理結果1101〜1109が独立して保存されるわけではない。これにより、メモリ容量の増加を抑制することができる。
次に、第2中間特徴情報についても同様に、図12(a)に示すように、ある画素jにおいて、1回目の光照射に対応する部分画像データ1001の画像値f(j,1)を2乗し、第2中間特徴情報の保存用のメモリ空間Cに処理結果1201であるf(j,1) 2を保存する。次に、2回目の光照射に対応する部分画像データの画像値f(j,2)を2乗し、メモリ空間Cに累積加算した値{f(j,1) 2+f(j,2) 2}を保存する。同様の処理を9回目の部分画像データを得るまで繰り返し、メモリ空間Cの第2中間特徴情報を更新し、{f(j,1) 2+f(j,2) 2+・・+f(j,9) 2}を保存する。各部分画像データに対して式(6)に示す中間処理を実行した結果を1201〜1209で示す。図12(d)に示すように処理結果1201〜1209を撮像位置に対応したメモリ空間Cに保存する。
次に、第3中間特徴情報についても同様に、図13(a)に示すように、1回目の光照射に対応するテンプレートデータ1010の値g(j,1)を2乗し、メモリ空間Dに処理結果1301であるg(j,1) 2を保存する。次に、2回目のテンプレートデータg(j,2)を2乗し、メモリ空間Dに累積加算した値{g(j,1) 2+g(j,2) 2}を保存する。同様の処理を9回目の部分画像データを得るまで繰り返し、メモリ空間Dに{g(j,1) 2+g(j,2) 2+・・+g(j,9) 2}を保存する。テンプレートデータに対して式(7)に示す中間処理を実行した結果を1301〜1309で示す。図13(d)に示すように処理結果1301〜1309を撮像位置に対応したメモリ空間Dに保存する。
以上の演算で必要なデータは、1回分の光照射に対応する部分画像データと、空間感度分布データすなわちテンプレートデータである。つまり、n回すべての光照射に対応する部分画像データを同時に保持しておく必要はない。それは、1回分の光照射に対応する画像データの画像値と、テンプレートデータの値とだけで、式(5)、式(6)、および式(7)の演算が可能だからである。このように、n回すべての光照射によって得られた光音響画像データを保持しておく必要はない。よって、部分画像データとテンプレートデータとの内積演算を、1回の光照射毎に個別に分解して行うことができる、ということになる。
この処理の特徴は、部分画像データとテンプレートデータの要素数がどれだけ増えても、演算に必要なメモリが、1回分の光照射に対応する部分画像データおよびテンプレートデータ、ならびに中間特徴情報を保存しておくためのメモリ空間という点である。すなわち、この処理の特徴は、相関値等の特徴情報の演算のために膨大なメモリを必要としないことである。また、中間特徴情報を生成するための演算も乗算のみなので、処理が簡易でリアルタイム処理にも適用しやすいという利点がある。
(S540:部分画像データを削除する工程)
コンピュータ150は、S530で部分画像データを用いた中間特徴情報を実行した後に、中間特徴情報の生成の処理に用いた部分画像データを記憶部152から削除する。本実施形態では、コンピュータ150は、S530において1つの部分画像データに対して式(5)および式(6)に示す中間処理を実行し終わったところで、この部分画像データを記憶部152から削除する。このように中間処理を施した部分画像データをその他の部分画像データに対する中間処理が完了する前に削除することにより、同時にメモリを占有するデータを低減することができる。
コンピュータ150は、S530で部分画像データを用いた中間特徴情報を実行した後に、中間特徴情報の生成の処理に用いた部分画像データを記憶部152から削除する。本実施形態では、コンピュータ150は、S530において1つの部分画像データに対して式(5)および式(6)に示す中間処理を実行し終わったところで、この部分画像データを記憶部152から削除する。このように中間処理を施した部分画像データをその他の部分画像データに対する中間処理が完了する前に削除することにより、同時にメモリを占有するデータを低減することができる。
(S550:全ての光照射に対応する信号データを処理したかを判定する工程)
コンピュータ150は、全ての光照射に対応する信号データに対してS510〜S540の処理を行ったかを判定する。全ての信号データに対して処理を行っていない場合、S510に進み、S510〜S540の処理を繰り返す。全ての信号データに対して処理を完了した場合、S560に進む。なお、所定数の信号データに対してS510〜S540の処理を完了したところで、S560に進むように制御してもよい。また、所定の信号データに対してS510〜S540の処理を完了したところで、S560に進むように制御してもよい。
コンピュータ150は、全ての光照射に対応する信号データに対してS510〜S540の処理を行ったかを判定する。全ての信号データに対して処理を行っていない場合、S510に進み、S510〜S540の処理を繰り返す。全ての信号データに対して処理を完了した場合、S560に進む。なお、所定数の信号データに対してS510〜S540の処理を完了したところで、S560に進むように制御してもよい。また、所定の信号データに対してS510〜S540の処理を完了したところで、S560に進むように制御してもよい。
本実施形態では、複数回の光照射に対応する信号データを取得した後にS500の工程を実行する例を説明したが、光照射毎にS510〜S540の工程を実行してもよい。この場合、ある光照射から次の光照射までの間に1回の光照射分の信号データに対するS510〜S540の工程を完了することが好ましい。
(S560:特徴情報を生成する工程)
特徴情報取得手段としてのコンピュータ150は、S550で生成された中間特徴情報を用いて、注目位置における複数の部分画像データの画像値群の特徴を表す特徴情報を生成する。
特徴情報取得手段としてのコンピュータ150は、S550で生成された中間特徴情報を用いて、注目位置における複数の部分画像データの画像値群の特徴を表す特徴情報を生成する。
本実施形態では、コンピュータ150は、式(5)に示す第1中間特徴情報、式(6)に示す第2中間特徴情報、および式(7)に示す第3中間特徴情報を用いて、式(4)に示す特徴情報である相関値を算出する。具体的に、コンピュータ150は、式(6)に示す第2中間特徴情報の平方根を計算し、メモリ空間Cに保存する。また、コンピュータ150は、式(7)に示す第3中間特徴情報の平方根を計算し、メモリ空間Dに保存する。そして、コンピュータ150は、メモリ空間B、メモリ空間C、およびメモリ空間Dに保存されたデータを読み出し、式(8)に示す相関値R(f,g)を算出する。
ここでは、処理対象とする全ての画素j(図10の例では、j=1〜20000)に対応する、相関値の集合体であるデータを相関値画像データと呼ぶ。
以上のように、本実施形態では、演算に必要なメモリ容量を低減し、かつ実用的な程度まで処理時間を短縮させることができる。
なお、テンプレートデータを求める際に、用いる光吸収体のサイズを画素と同じサイズとして説明を行ってきたが、テンプレート画素値が適切に生成し得る限り、必ずしもこれに限定されない。また、用いる光吸収体の形状も立方体、正方形、球、円などの他、テンプレート画素値が適切に生成し得る限り、必ずしも特定の形状に限定されない。
(S600:特徴情報に基づいた画像を生成する工程)
表示制御手段としてのコンピュータ150は、S500で得られた特徴情報に基づいて画像を生成し、表示部160に表示させる。コンピュータ150は、S500で生成された特徴情報を用いて、ターゲットが存在する位置であるか否かを識別することのできる画像を生成し、表示部160に表示させることができる。コンピュータ150は、光音響画像データに対して特徴情報に基づいた画像処理を行うことにより、ターゲットが存在する位置であるか否かを識別しやすい画像を生成し、表示部160に表示させてもよい。
表示制御手段としてのコンピュータ150は、S500で得られた特徴情報に基づいて画像を生成し、表示部160に表示させる。コンピュータ150は、S500で生成された特徴情報を用いて、ターゲットが存在する位置であるか否かを識別することのできる画像を生成し、表示部160に表示させることができる。コンピュータ150は、光音響画像データに対して特徴情報に基づいた画像処理を行うことにより、ターゲットが存在する位置であるか否かを識別しやすい画像を生成し、表示部160に表示させてもよい。
コンピュータ150は、注目位置における特徴情報に基づいて、注目位置にターゲットが存在するか否かを判定し、判定結果を示す判定情報を生成してもよい。
例えば、コンピュータ150は、相関値がある基準値よりも高いときにターゲットが存在すると判定し、相関値がある基準よりも低いときにターゲットが存在しないと判定氏もよい。また、相関値が第1数値範囲に含まれるときにターゲットが存在すると判定し、相関値が第2数値範囲に含まれるときにターゲットが存在するか不明であると判定し、第3数値範囲に含まれるときにターゲットが存在しないと判定してもよい。
ターゲットであるか否かの判定基準となる相関値(基準値)については、経験的にユーザーが判断し、入力部170を用いて入力してもよい。また、コンピュータ150が、アーティファクトのみが存在することが明らかである領域、例えば被検体100の存在しない音響マッチング材210の領域等に対応する画素の相関値を解析し、この相関値に基づいて、基準となる相関値を決定してもよい。例えば、コンピュータ150は、被検体100の存在しない領域に対応する画素における相関値よりも高い値を基準値として決定してもよい。このとき、コンピュータ150は、被検体100の存在しない領域に対応する画素における相関値に所定の値を加えた値を基準値として決定してもよい。
コンピュータ150が表示部160に相関値画像データに基づいた相関値画像を表示させ、ユーザーが表示された相関値画像を確認しながら、入力部170を用いて判定基準とする相関値を入力してもよい。
アーティファクトが存在することが明らかな領域の相関値の最大値、平均値、中間値、分散値、もしくはこれらのパラメータを組み合わせた値を判定基準にしてもよい。
なお、光音響画像の視認性を向上できる基準値を決定できる限り、基準とする相関値の決定方法は特定の手法に限定されない。
また、ユーザーが任意の相関値範囲を指定して、指定された範囲の相関値に対応する相関値画像データに基づいた画像を表示するようにしてもよい。その際、ユーザーが複数の相関値範囲を指定して表示させてもよい。例えば、相関値0.2〜0.3、0.5〜0.7、0.85〜0.9のボクセルを表示する、といった具合である。相関値を指定して表示する方法については、画像の視認性が向上する限り、特定の方法に限定されない。
ターゲットであるか否かの判定基準とする相関値については、必ずしも撮像したすべての領域について算出しなければならないというものではなく、所望の領域に対して算出してもよい。
また、コンピュータ150が、表示対象とする相関値を連続的に変化させた画像を表示させるモードを実行してもよい。
さらには、相関値の範囲ごとに異なる色づけをして表示するようにしてもよい。例えば、ターゲットである可能性が高いであると考えられる相関値が0.3以上である場合に、相関値が0.3以上の画素に対応する光音響画像データもしくは相関値画像データの画素を赤色で表示し、0.3未満の画素は青色で表示する、といった具合である。また、光音響画像データに色づけした相関値画像を重畳表示してもよい。
コンピュータ150は、特徴情報に基づいて、ターゲットが存在する位置に対応するピクセルもしくはボクセルの画像値に対応する輝度値に1以上の係数を乗じて増幅処理してもよい。また、コンピュータ150は、特徴情報に基づいて、ターゲットが存在しない位置に対応するピクセルもしくはボクセルの画像値に対応する輝度値に1未満の係数を乗じて減衰処理してもよい。減衰処理としては、該当するピクセルもしくはボクセルの画像値に対応する輝度値に0を乗じて、実質的にターゲット領域以外の部分を非表示としてもよい。
また、コンピュータ150は、特徴情報に基づいて、ターゲットが存在する位置とターゲットが存在しない位置とを、互いに異なる色で色分けして表示してもよい。この際に、ターゲットが存在する位置の画像を視認性が比較的高い色で表示させ、ターゲットが存在しない位置の画像を視認性が比較的低い色で表示させてもよい。
また、コンピュータ150は、輝度値の増幅・減衰処理と、色分けの処理とを組み合わせてもよい。
なお、コンピュータ150は、特徴情報に基づいて、ターゲット領域、ターゲット領域以外の部分、及びターゲット領域とターゲット領域以外の部分との境界付近の領域の3つの領域に区分し、それぞれの領域を識別できるように画像を表示させてもよい。ここで、境界付近の領域は、ターゲット領域またはターゲット領域以外の部分の一部である。
例えば、コンピュータ150は、ターゲット領域及びターゲット以外の領域のうち、境界付近の領域の画像値に対応する輝度値に1未満の係数を乗じるような減衰処理を行ってもよい。そして、コンピュータ150は、ターゲット領域(境界付近の領域を除く)の画像値に対応する輝度値に1以上の係数を乗じるような増幅処理を行い、ターゲット領域以外の部分(境界付近の領域を除く)の画像値に対応する輝度値に0を乗じて非表示としてもよい。このような処理を行うことにより、ターゲット領域とそれ以外の領域との画像をなめらかにつなぐことができる。また、3つの領域を互いに異なる色で色分けして表示させてもよい。
また、コンピュータ150が、特徴情報に基づいた画像処理を適用した画像と、特徴情報に基づいた画像処理を適用していない画像とを並列表示、重畳表示、または交互表示させてもよい。例えば、コンピュータ150が、特徴情報に基づいた画像処理を適用していない画像を表示部160に表示させているときに、ユーザーによる表示切替を表す指示を受け付けることにより、並列表示や重畳表示に切り替えてもよい。また、コンピュータ150が、特徴情報に基づいた画像処理を適用していない画像を表示部160に表示させているときに、入力部170を用いたユーザーによる表示切替を表す指示を受け付けることにより、上記画像処理が適用された画像に切り替えてもよい。
また、コンピュータ150は、光音響画像データに基づいた画像と併せて、ユーザーが入力部170を用いて指定した位置に対応する特徴情報を示す画像を表示部160に表示させてもよい。このとき、表示部160に表示された光音響画像データに基づいた画像に対する指示に基づいて、特徴情報を示す画像が表示される位置が指定されてもよい。
また、コンピュータ150は、複数の画素のそれぞれに対応する特徴情報を画像化した特徴情報画像を表示させてもよい。なお、コンピュータ150は、互いに異なる複数種類の特徴情報画像を合成した画像を表示させることや、複数種類の特徴情報画像を並列、重畳、または交互に表示させてもよい。
画像データの画像値は、そのまま表示画像の輝度としてもよい。また、画像データの画像値に所定の処理を加えて、表示画像の輝度を決定してもよい。例えば、画像値が正値の場合は画像値を輝度に割り当てとし、画像値が負値の場合は輝度を0とする表示画像を生成してもよい。
本実施形態によれば、ターゲット領域とターゲット領域以外の部分とを判別しやすい画像を提供することができる。ユーザーは、本実施形態のように表示された画像を確認することにより、画像中のある位置にターゲット(観察対象)が存在するか否かを容易に判別することができる。
なお、本実施形態においては、特徴情報に基づいた画像を生成しなくてもよい。本実施形態においては、特徴情報に基づいた画像を生成可能なように、特徴情報を記憶部152に保存しさえすればよい。
<実施例1>
ここで、シミュレーションにおいて本実施形態に係る処理を適用したときの効果を説明する。
ここで、シミュレーションにおいて本実施形態に係る処理を適用したときの効果を説明する。
図14は、本実施形態で説明した相関値演算をシミュレーションで検証した際に用いた、被検体モデル1510を示す。
被検体モデル1510は、X方向に500[voxel]、Y方向に500[voxel]、Z方向に400[voxel]のサイズであり、1[voxel]のピッチは0.125[mm]である。
被検体モデル1510の中には、直径2.5[mm]、長さ30[mm]で、ヘモグロビンに相当する吸収係数を持つ円柱1500〜1508が設置されており、Z=0のXY平面に対して一様に光が照射されるものとする。
被検体モデル1510は生体の散乱係数、吸収係数に相応する媒質で構成されており、被検体モデル1510に照射された光は、被検体モデル1510内部を透過する過程で減衰を受ける。
そして、複数回光照射したときに被検体モデル1510内の円柱1500〜1508から発生した光音響波を、被検体モデル1510の紙面上側に設けられた受信部が受信するときの受信信号をシミュレーションにより作成した。なお、光照射毎に光音響波の受信部の位置を変更して受信信号を作成した。続いて、シミュレーションにより得られた受信信号を用いて再構成処理を行い、1回の光照射で得られた部分画像データに対して、本実施形態で説明した相関値演算処理を適用した。
図15(a)は、図14に示した被検体モデル1510に対して複数の光照射を行い、得られた複数の部分画像データを累積加算した合成画像データのXY平面断面である。図15(a)に示す合成画像データは比較例である。
図15(b)は、図14に示した被検体モデル1510に対して複数の光照射を行い、得られた複数の部分画像データを用いて本実施形態で説明した相関値演算によって生成された相関値画像のXY平面断面である。
図15(a)に示した合成画像データでは、画像値のレンジが最大で3.5x105[digit]になっているのに対し、図15(b)に示した相関値画像では、相関値の最大値が1未満になっていることがわかる。相関値は、一般的に−1〜1の値を取り得るものであるが、相関値画像の相関値もその範囲内に収まっている。
ここで、表面から25[mm]の深さの箇所にY軸方向に走行する2.5[mm]の円柱1503〜1505に着目する。
図15(a)に示した合成画像データのZ=100[voxel](深さ12.5[mm])に位置する円柱1500〜1502の画像値に比して、Z=200[voxel](深さ25.0[mm])に位置する円柱1503〜1505の画像値が低下していることがわかる。
これは、被検体モデル1510の媒質によって光が深さ方向に減衰するため、円柱1503〜1505に照射される光量が、円柱1500〜1502に照射される光量に比して弱くなることに起因する。
一方、図15(b)に示した相関値画像では、円柱1500〜1502の画素値も、円柱1503〜1505の画素値も0.75〜0.9程度の範囲に収まっており、深さ方向の光の減衰の影響をあまりうけずに、円柱ターゲットの描出ができていることがわかる。
[第2の実施形態]
第2の実施形態では、複数回の光照射に対応する複数の部分画像データの画像値群の統計値を特徴情報として生成する。
第2の実施形態では、複数回の光照射に対応する複数の部分画像データの画像値群の統計値を特徴情報として生成する。
注目位置における画像値群に対して統計値演算を行うには、複数の光照射に対応する部分画像データを用意する必要がある。しかし、光照射回数が多くなると、すべての光音響画像データを保存するためのメモリ容量も莫大となり、システムのメモリリソースを圧迫する。その結果、システムの使用上、様々な不都合が生じる。そこで、本実施形態では、統計値演算を行うための中間特徴情報を生成する処理を行う前に、複数の部分画像データを生成する工程を行う。ただし、第1の実施形態で説明した方法で、1回分の光照射毎に部分画像データを更新する処理を行い、メモリ容量の増加の抑制を図る。
本実施形態では、統計値として分散値を生成する例を説明する。なお、本実施形態に係る処理を適用可能な統計値は分散値に限らない。例えば、期待値、尖度、エントロピー、偏差、共分散、標準偏差、相関係数などのあらゆる統計値の生成に本実施形態に係る処理を適用することができる。
本実施形態においても、第1の実施形態で用いた装置を用いる。また、第1の実施形態とはS500の工程の内容が異なる。なお、その他の工程の説明については詳細な説明を省略する。
本実施形態に係るS500における特徴情報の生成方法の詳細を、図16に示すフローチャートを用いて説明する。図7に示す工程と同様の工程には、同一の符号を付し、詳細な説明を省略する。
一般的に分散値ρ2は、例えばn個のデータの集合体すなわち標本f1、f2、f3...fnが存在する場合に、n個のデータの平均値Aを用いて、以下の式(9)にて表現される。
すなわち、上記分散値の演算を行う場合、n個のデータの集合体すなわち標本f1、f2、f3...fn、そして平均値Aのすべてが既知である必要がある。そこで、本実施形態では、コンピュータ150がまず複数の部分画像データの平均値Aを生成し、平均値Aの算出後にΣ(xi−A)2を中間特徴情報として生成する例を説明する。
コンピュータ150は、記憶部152に保存された信号データを用いて部分画像データを生成し、記憶部152に保存する(S510)。
コンピュータ150は、記憶部152に保存された部分画像データを用いて、部分画像データの画像値を累積加算した累積加算画像データを生成する(S570)。コンピュータ150は、生成された累積加算画像データを記憶部152に保存する。
なお、既に記憶部152に累積加算画像データが保存されている場合、コンピュータ150は、記憶部152に保存された累積加算画像データに新たに生成された部分画像データを累積加算し、累積加算画像データを更新する。すなわち、コンピュータ150は、累積加算画像データの更新された部分については、記憶部152のデータを書き換える。
コンピュータ150は、S570で部分画像データを用いた累積加算画像データを更新する処理を実行した後に、累積加算画像データを生成する処理に用いた部分画像データを記憶部152から削除する(S540)。このように累積加算処理を施した部分画像データを、その他の部分画像データに対する累積加算処理が完了する前に削除することにより、同時にメモリを占有するデータを低減することができる。
コンピュータ150は、全ての光照射に対応する信号データに対してS510、S570、S540の処理を行ったかを判定する(S550)。全ての信号データに対して処理を行っていない場合、S510に進み、S510、S570、S540の処理を繰り返す。全ての信号データに対して処理を完了した場合、S580に進む。なお、所定数の信号データに対してS510、S570、S540の処理を完了したところで、S580に進むように制御してもよい。また、所定の信号データに対してS510、S570、S540の処理を完了したところで、S580に進むように制御してもよい。
コンピュータ150は、記憶部152に保存された累積加算画像データを、累積加算回数で除算することにより、平均画像データを生成し、保存する(S580)。一方、コンピュータ150は、平均画像データを生成した後に、累積加算画像データを記憶部152から削除する。ここで、画素によって累積加算回数が異なる場合、画素ごとの累積回数を示す情報をS570で生成しておく必要がある。すなわち、コンピュータ150は、S570で累積加算回数画像データを更新してもよい。
コンピュータ150は、記憶部152に平均画像データに保存された状態で、再度部分画像データを生成し、保存する(S510)。
コンピュータ150は、記憶部152に保存された平均画像データおよび部分画像データを用いて、式(9)に示す統計値演算の一部の処理である式(10)に示す処理を実行する(S530)。
コンピュータ150は、平均画像データを参照し、注目位置の平均値Aが分かれば、1回の光照射毎に得られる部分画像データにおける注目位置の画像値fiに着目し、画像値と平均値との差分、すなわち偏差を求めることができる。本実施形態においては、この偏差が中間特徴情報に相当する。コンピュータ150は、式(10)に示す処理によって生成された中間特徴情報を記憶部152に保存する。
なお、既に記憶部152に中間特徴情報が保存されている場合、コンピュータ150は、記憶部152に保存された中間特徴情報と新たに生成された部分画像データとを用いて、式(10)にしたがって中間特徴情報を更新する。すなわち、コンピュータ150は、中間特徴情報の更新された部分については、記憶部152のデータを書き換える。
このように本実施形態においても、第1の実施形態と同様に、中間特徴情報の生成を1回の光照射毎に個別に分解して行うことができる。
コンピュータ150は、S530で部分画像データを用いた中間特徴情報を更新する処理を実行した後に、中間特徴情報を生成する処理(中間処理)に用いた部分画像データを記憶部152から削除する(S540)。このように中間処理を施した部分画像データを、その他の部分画像データに対する中間処理が完了する前に削除することにより、同時にメモリを占有するデータを低減することができる。
コンピュータ150は、全ての光照射に対応する信号データに対してS510、S530、S540の処理を行ったかを判定する(S550)。全ての信号データに対して処理を行っていない場合、S510に進み、S510、S530、S540の処理を繰り返す。全ての信号データに対して処理を完了した場合、S560に進む。なお、所定数の信号データに対してS510、S530、S540の処理を完了したところで、S560に進むように制御してもよい。また、所定の信号データに対してS510、S530、S540の処理を完了したところで、S560に進むように制御してもよい。
なお、全ての信号データに対してS530の処理が完了した後に、記憶部152から平均画像データを削除してもよい。
コンピュータ150は、記憶部152に保存されたS530で生成した式(10)に示す中間特徴情報を用いて、式(9)にしたがって、特徴情報としての分散値ρ2を生成する(S560)。なお、画素によって累積加算回数が異なる場合、S570で生成した累積加算回数画像データも用いて、コンピュータ150は、式(9)に示す分散値ρ2を生成してもよい。
以上の処理では、複数の部分画像データを全てメモリに保存しておく必要はない。代わりに、1回の光照射毎に得られる部分画像データを参照すればよく、分散値を1回の光照射毎に分解して計算できる。
分散値保存用のメモリ空間は、所望の計算領域に対応する分散値を計算できればよい。分散値保存用のメモリ空間は、中間特徴情報のサイズ以上であってもよく、平均画像データのすべての画素に対応した計算値を保存できてもよい。なお、明らかに画像データの存在しないボクセル領域については、分散値の計算値を保存しなくてもよい。これにより冗長なメモリ空間を削除することもできる。
本実施形態において必要なメモリリソースは以下の通りとなる。
{1}平均画像データ保存用のメモリ空間
{2}部分画像データ保存用のメモリ空間
{3}分散値保存用のメモリ空間
{4}(必要に応じて)累積加算回数保存用のメモリ空間
{1}平均画像データ保存用のメモリ空間
{2}部分画像データ保存用のメモリ空間
{3}分散値保存用のメモリ空間
{4}(必要に応じて)累積加算回数保存用のメモリ空間
例えば、500回の光照射を行って1つの平均画像データを生成する場合に、1回の光照射で得られる部分画像データのデータサイズが500MBだとすると、全ての部分画像データを保存するには250GBのメモリ空間が必要となる。しかし、本実施形態においては、1回の光照射毎に得られる部分画像データを保存しておけばよいので、500MBのメモリ空間を用意すればよい。
そこで、平均画像データ保存用のメモリ空間のデータサイズが1GBだとすると、部分画像データ保存用のメモリ空間、分散値保存用のメモリ空間、そして累積加算回数保存用のメモリ空間はそれぞれ1GBずつあればよい。そのため、本実施形態における分散値の演算に必要なメモリリソースは、合計で1GB+1GB+1GB+1GB=4GB程度でよい。
つまり、全ての部分画像データを保存して分散値を計算する場合に比して、本実施形態においては、4GB/250GB*100=1.6%程度のメモリリソース使用量で分散値が計算できることとなる。
このように、本実施形態においては、複数回の部分画像データから注目位置における分散値を求める演算を少量のメモリリソースで実現することができる。
本実施形態においても、特徴情報としての分散値に基づいた画像を表示させることにより、ユーザーは注目位置にターゲットが存在する可能性を把握しやすくなる。
なお、分散値以外の統計値にも本実施形態に係る処理は適用可能である。ここで、特徴情報として尖度、エントロピー、または相関係数を算出する場合の例を説明する。
<変形例1>
まず、尖度を算出する場合について説明する。尖度Kは、以下の式(11)で表現される。
まず、尖度を算出する場合について説明する。尖度Kは、以下の式(11)で表現される。
ここで、Eh2は、一般的には注目位置における画像値fiの平均値Aまわりの2次モーメントと呼ばれるものであり、分散ρ2と等価である。ここで、ρは注目位置における画像値fiの標準偏差である。Eh2は以下の式(12)で表現される。
そして、Eh4は一般的には注目位置における画像値fiの平均値Aまわりの4次モーメントと呼ばれるものである。Eh4は注目位置における画像値fiと平均値Aとの差分、つまり偏差の4乗をとった値の期待値である。Eh4は以下の式(13)で表現される。
図16に示すフローチャートと類似のフローで尖度Kを算出することができる。ここでは、図16に示すフローチャートとの相違点について説明する。尖度を算出する場合、S530において、コンピュータ150は、式(10)に示す中間特徴情報を生成・更新するだけでなく、以下の式(14)に示す中間特徴情報も生成・更新する。
そして、S560において、コンピュータ150は、記憶部152に保存された式(10)に示す中間特徴情報および式(14)に示す中間特徴情報を用いて、式(11)〜式(13)にしたがって特徴情報として尖度Kを生成し、記憶部152に保存する。
なお、画素によって累積加算回数が異なる場合、S570で生成した累積加算回数画像データも用いて、コンピュータ150は、式(11)〜式(13)にしたがって尖度Kを生成してもよい。
尖度Kの算出において必要なメモリリソースは以下の通りとなる。
{1}平均画像データ保存用のメモリ空間
{2}部分画像データ保存用のメモリ空間
{3}分散値保存用のメモリ空間
{4}偏差期待値保存用のメモリ空間
{5}尖度保存用のメモリ空間
{6}(必要に応じて)累積加算回数保存用のメモリ空間
{1}平均画像データ保存用のメモリ空間
{2}部分画像データ保存用のメモリ空間
{3}分散値保存用のメモリ空間
{4}偏差期待値保存用のメモリ空間
{5}尖度保存用のメモリ空間
{6}(必要に応じて)累積加算回数保存用のメモリ空間
例えば、500回の光照射を行って1つの平均画像データを生成する場合に、1回の光照射で得られる部分画像データのデータサイズが500MBだとすると、全ての部分画像データを保存するには250GBのメモリ空間が必要となる。
平均画像データのデータサイズが1GBだとすると、部分画像データ保存用のメモリ空間、分散値保存用メモリ空間、偏差期待値保存用のメモリ空間、尖鋭保存用のメモリ空間、累積加算回数保存用のメモリ空間は1GBずつあればよい。つまり、尖度の計算に必要なメモリリソースは、合計で1GB×6=6GB程度でよい。よって、全ての部分画像データを保存して尖度を計算する場合に比して、本方法では6GB/250GB*100=2.4%程度のメモリリソース使用量で尖度が計算できることとなる。
<変形例2>
次に、エントロピーを算出する場合について説明する。エントロピーHは、例えば以下の式(15)で表現される。
次に、エントロピーを算出する場合について説明する。エントロピーHは、例えば以下の式(15)で表現される。
Piは、画像値がiとなる確率を示し、複数の部分画像データの標本を画像値の度数でヒストグラム化した場合に、画像値iとなる階級に存在する画像データ数を総画像データ数で除算した値とすることもできる。式(15)で表現されるエントロピーは、平均情報量と呼ばれることもある指標である。
図16に示すフローチャートと類似のフローでエントロピーHを算出することができる。ここでは、図16に示すフローチャートとの相違点について説明する。エントロピーを算出する場合、S570において、コンピュータ150は、累積加算処理を行うのではなく、複数の部分画像データの画像値群の最大値および最小値を算出する処理を行う。この処理についても、1回分の光照射に対応する部分画像データに対する処理に分解して実行することができる。ここで、図17を用いて、複数の部分画像データの画像値群の最大値および最小値を求める手順について説明を行う。
コンピュータ150は、1回目の光照射に対応する画素j(注目位置)の画像値f1を、最大値保存用のメモリ空間2000と最小値保存用のメモリ空間2010に保存する。
続いて、コンピュータ150は、2回目の光照射に対応する画素jの画像値f2と、1回目の光照射に対応する画素jの画像値f1とを比較する。コンピュータ150は、2回目の光照射に対応する画素jの画像値f2が1回目の光照射に対応する画素jの画像値f1よりも大きければ、2回目の画像値f2を最大値保存用のメモリ空間2000に上書きする。一方、コンピュータ150は、2回目の光照射に対応する画素jの画像値f2が1回目の光照射に対応する画素jの画像値f1よりも小さければ、2回目の画像値f2を最小値保存用のメモリ空間2010に上書きする。
続いて、コンピュータ150は、3回目の光照射に対応する画素jの画像値f3と、最大値保存用のメモリ空間2000に保存された画素jの画像値とを比較する。コンピュータ150は、3回目の光照射に対応する画素jの画像値f3が最大値保存用のメモリ空間2000に保存された画素jの画像値よりも大きければ、3回目の画像値f3を最大値保存用のメモリ空間2000に上書きする。一方、コンピュータ150は、3回目の光照射に対応する画素jの画像値f3が最大値保存用のメモリ空間2000に保存された画素jの画像値よりも小さければ、3回目の画像値f3を最小値保存用のメモリ空間2010に上書きする。また、3回目の光照射に対応する画素jの画像値f3が、最大値保存用のメモリ空間2000に保存された画素jの画像値よりも小さく、最小値保存用のメモリ空間2010に保存された画素jの画像値よりも大きい場合、最大値と最小値の更新処理(上書き処理)は行わない。
コンピュータ150は、このような中間処理を各光照射に対応する部分画像データの各画素に対して行う。すると最終的には、最大値保存用のメモリ空間2000には画素jにおける部分画像データの最大値が保存される。そして、最小値保存用のメモリ空間2010には画素jにおける部分画像データの最小値が保存される。
また、コンピュータ150は、最大値と最小値を探索する処理において、注目位置における部分画像データの要素数のカウントを行い、要素数保存用のメモリ空間に要素数nを記録保存しておく。注目位置における部分画像データの要素数とは、注目位置において、部分画像データが重なり合った数である。
続いて、エントロピーを算出する場合、S530において、中間特徴情報として最大値と最小値との間に設定された各階級の画像値の数(度数)を生成する。以下、中間特徴情報としての度数を生成する方法を説明する。
まず、コンピュータ150は、最大値と最小値の間を複数の階級に分割する。たとえば、コンピュータ150は、画素jの画像値の最大値が1000、最小値が−1000の場合、1000から−1000の範囲を40の階級に分割する。そして、それぞれの階級に対応する度数保存用のメモリ空間を定義する。この場合に、例えば40の階級のそれぞれに対応する度数保存用のメモリ空間[1:40]を定義する。度数保存用のメモリ空間は、注目位置の各画像値範囲(階級)の画像値の数(度数)を保存するものである。
コンピュータ150は、複数の部分画像データの画素jの各画像値を1〜40の階級に割り振り、各階級における画像値の数をカウントする。図17に各階級の度数を示したヒストグラム2100を示す。例えば、コンピュータ150は、度数保存用のメモリ空間[1]2020の画素jに対応する箇所に、−1000〜−951の画像値の数を保存する。そして、コンピュータ150は、度数保存用のメモリ空間[2]2030の画素jに対応する箇所に、−950〜−901の画像値の数を保存する。さらに、度数保存用のメモリ空間[40]2040の画素jに対応する箇所に、951〜1000の画素値の数を保存する、といった具合に各階級の度数を保存する。
画素ごとに部分画像データの最大値と最小値は異なり得るため、例えば同じ度数保存用のメモリ空間[x](x=1〜40)であっても、画素ごとに対応する画像値のレンジは異なり得る。上記の例では、度数保存用のメモリ空間[2]2030の画素jに対応する箇所には−950〜−901の画像値の数が保存されると述べた。一方、複数の部分画像データにおける画素(j+1)の最大値が2000、最小値が−2000である場合に、画素(j+1)の1階級は100の幅をもつ。よって、度数保存用のメモリ空間[2]2030の画素(j+1)に対応する箇所には−1900〜−1801の画像値の数が保存されることとなる。
画素ごとに部分画像データの最大値と最小値が異なる場合であっても、ヒストグラム作成に用いる度数データを生成する階級の数をすべての画素で同一にすれば、すべての画素に対して同じ数の度数保存用のメモリ空間を用意すればよいため、処理は簡便になる。画素ごとに異なる階級数を設定したい場合は、その分だけ用意する度数保存用のメモリ空間を増やせばよい。
コンピュータ150は、度数保存用のメモリ空間[1:40]を用いて、複数回の光照射で得られた部分画像データの画像値をチェックし、例えばある画素jの値が上記40の階級のどの階級に該当するかを判定し、カウント値を度数保存用のメモリ空間に書き込む。
例えば、コンピュータ150は、1回目の部分画像データにおける画素jに対応する画像値が970である場合、951〜1000の画像値の度数を保存する度数保存用のメモリ空間[40]2040の画素jに対応する箇所2041に1を書き込む。コンピュータ150は、2回目の部分画像データにおける画素jに対応する画像値が−970である場合、−1000〜−1901の画像値の度数を保存する度数保存用のメモリ空間[1]2020の画素jに対応する箇所2021に1を書き込む。コンピュータ150は、3回目の部分画像データにおける画素jに対応する画像値が−990である場合、−1000〜−1901の画像値の度数を保存する度数保存用のメモリ空間[1]2020の画素jに対応する箇所2021にすでに保存されているカウント数1に1を加算した2を書き込む。
複数の光照射に対応する複数の部分画像データを対象に画像値の度数をカウントすると、画素jにおける40個の階級に対応した度数データが完成する。このように中間処理することで、注目位置の画像値のヒストグラムデータを得ることができる。すなわち、エントロピーを算出する場合、度数が中間特徴情報として生成され、保存される。
S560においては、コンピュータ150が度数保存用のメモリ空間[i]に保存されている画素jの度数C(j,i)(i=1〜階級数:この例では40)を用いて、式(15)にしたがって、特徴情報としてのエントロピーHを算出する。コンピュータ150は、度数Cを、要素数保存用のメモリ空間に保存されている画素jの要素数nで割ることで、式(15)におけるPi=C(j,i)/nを求めることができる。
なお、Piを保存するPi保存用のメモリ空間は、度数保存用のメモリ空間と別に用意してもよいが、度数保存用のメモリ空間の値を要素数nで割った値をそのまま度数保存用のメモリ空間に上書きし、Pi保存用のメモリ空間として転用してもよい。
例えば、コンピュータ150は、画素jにおいて、度数保存用のメモリ空間[1]2020のカウント数が1であり、画素jの要素数nが100であれば、P1=1/100、log2P1=log2(1/100)=−6.64、P1*log2P1=−0.0664を演算する。また、コンピュータ150は、度数保存用のメモリ空間[1]2020のカウント数が3であれば、P2=3/100、log2P2=log2(3/100)=−5.06であるから、P2*log2P2=−0.152を演算する。このように、Pi*log2Piをi=1〜40まで順次計算し、エントロピー保存用のメモリ空間の画素jに累積加算する。
こうすると、P1*log2P1+P2*log2P2+ P3*log2P3+……+P40*log2P40の演算が行われ、最後に負値を乗算することで、式(15)においてi=40である場合の演算が完了し、エントロピーHが求まる。最終的に求まったエントロピーは、エントロピー保存用メモリ空間に保存する。
エントロピーの演算で必要とされるメモリ空間は、以下の通りとなる。
{1}度数保存用のメモリ空間(階級数分)
{2}要素数保存用のメモリ空間
{3}部分画像データ保存用のメモリ空間
{4}最大値保存用のメモリ空間
{5}最小値保存用のメモリ空間
{6}エントロピー保存用のメモリ空間
{1}度数保存用のメモリ空間(階級数分)
{2}要素数保存用のメモリ空間
{3}部分画像データ保存用のメモリ空間
{4}最大値保存用のメモリ空間
{5}最小値保存用のメモリ空間
{6}エントロピー保存用のメモリ空間
エントロピーの演算においては、度数データを得るために、階級の数だけメモリ空間を用意する必要がある。1つのメモリ空間の容量が1GBとすると、そのデータの保存に必要なメモリ容量は、{1}1GB×40+{2}1GB+{3}1GB+{4}1GB+{5}1GB+{6}1GB=45GBでよい。
一方、500回の光照射を行う場合に1回の光照射で得られる部分画像データのデータサイズが500MBだとすると、全ての部分画像データを保存するには、少なくともメモリ容量が250GBも必要となる。
よって、階級数<部分画像データ数である場合、複数回の光照射に対応する複数の画像データを全て保存しておくためのメモリ容量よりは使用するメモリリソースを少なくすることができる。
<変形例3>
次に、相関係数を算出する場合について説明する。相関係数rは、例えば以下の式(16)で表現される。
次に、相関係数を算出する場合について説明する。相関係数rは、例えば以下の式(16)で表現される。
図16に示すフローチャートと類似のフローで相関係数を算出することができる。ここでは、図16に示すフローチャートとの相違点について説明する。
相関係数を算出する場合、S530において、コンピュータ150は、式(17)、式(18)、および式(19)に示す中間処理を行い、その処理結果を中間特徴情報として生成し、記憶部152に保存する。
式(17)は、部分画像データfiとテンプレートデータgiの共分散に相当する。式(18)は、部分画像データfiの分散値に相当する。式(19)は、テンプレートデータgiの分散値に相当する。
相関係数を算出する場合、S560において、コンピュータ150は、記憶部152に記憶された式(17)、式(18)、および式(19)に示す中間処理の結果である中間特徴情報を用いて、式(16)にしたがって、特徴情報としての相関係数rを算出する。
ここで、画素によって累積加算回数nが異なる場合、画素ごとの累積回数を示す情報をS570で生成しておく必要がある。すなわち、コンピュータ150は、S570で累積加算回数画像データを更新してもよい。
以上の相関係数の演算で必要とされるメモリ空間は、以下の通りである。
{1}部分画像データ保存用のメモリ空間
{2}テンプレートデータ保存用のメモリ空間
{3}累積加算回数保存用のメモリ空間
{4}部分画像データの平均画像データ保存用のメモリ空間
{5}テンプレートデータの平均画像データ保存用のメモリ空間
{6}共分散保存用のメモリ空間
{7}部分画像データの標準偏差保存用のメモリ空間
{8}テンプレートデータの標準偏差保存用のメモリ空間
{9}相関係数保存用のメモリ空間
{1}部分画像データ保存用のメモリ空間
{2}テンプレートデータ保存用のメモリ空間
{3}累積加算回数保存用のメモリ空間
{4}部分画像データの平均画像データ保存用のメモリ空間
{5}テンプレートデータの平均画像データ保存用のメモリ空間
{6}共分散保存用のメモリ空間
{7}部分画像データの標準偏差保存用のメモリ空間
{8}テンプレートデータの標準偏差保存用のメモリ空間
{9}相関係数保存用のメモリ空間
1種類のメモリ空間の容量が例えば1GB必要だとした場合、トータル9GBのメモリ空間を確保すれば、相関係数の演算が可能となる。
一方、500回の光照射を行う場合に1回の光照射で得られる部分画像データのデータサイズが500MBだとすると、全ての部分画像データを保存するには、少なくともメモリ容量が250GBも必要となる。
つまり、全ての部分画像データを保存して相関係数を演算する場合に比して、本実施形態の方法によれば9GB/250GB*100=3.6%程度のメモリリソース使用量で相関係数が計算できることとなる。
なお、相関係数保存用のメモリ空間は必ずしも個別に持つ必要はない。例えば共分散保存用のメモリ空間のデータを標準偏差保存用のメモリ空間のデータで除算するときに、除算結果で共分散保存用のメモリのデータを置き換えるようにしてもよい。こうすれば、相関係数保存用のメモリ空間を個別に持つ必要はない。このようにすでに用意されたメモリ空間のデータを演算結果で置き換えることで、演算結果を保存するために、追加でメモリ空間を用意する必要がなくなる。同様の効果を持ついかなる手法も採用することができ、特定の方法に限定されるものではない。
<実施例2>
ここで、シミュレーションにおいて本実施形態に係る処理を適用したときの効果を説明する。特に、本実施形態に係る尖度またはエントロピーの演算処理を適用したときの効果を説明する。図18(a)は、本実施形態で説明した演算をシミュレーションするのに用いた被検体モデル1600を示す。
ここで、シミュレーションにおいて本実施形態に係る処理を適用したときの効果を説明する。特に、本実施形態に係る尖度またはエントロピーの演算処理を適用したときの効果を説明する。図18(a)は、本実施形態で説明した演算をシミュレーションするのに用いた被検体モデル1600を示す。
被検体モデル1600としては、表面付近に血管1610が存在し、表面から20[mm]の深さの箇所にY軸方向に走行する0.2[mm]の血管1611が存在するモデルを作成した。そして、複数回光照射したときに被検体モデル1600内の血管1610及び1611から発生した光音響波を、被検体モデル1600の紙面下側に設けられた受信部が受信するときの受信信号をシミュレーションにより作成した。なお、光照射毎に光音響波の受信部の位置を変更して受信信号を作成した。続いて、シミュレーションにより得られた受信信号を用いて再構成処理を行い、1回の光照射で得られた光音響画像データに対して、本実施形態で説明した尖度またはエントロピーの演算処理を適用した。図18(b)は、図18(a)に示した被検体モデルのうち、表面から20[mm]の深さの箇所にY軸方向に走行する0.2[mm]の血管1011のXY平面断面である。
図19(a)は、非特許文献1に記載のUBPで再構成して得られた光照射毎の部分画像データをボクセルもしくはピクセルごとに本実施形態に係る尖度演算処理を適用し、プロットした尖度画像である。
図19(b)は、非特許文献1に記載のUBPで再構成して得られた光照射毎の部分画像データをボクセルもしくはピクセルごとに本実施形態に係るエントロピー演算処理適用し、プロットしたエントロピー画像である。
また、表面から20[mm]の深さのXY平面での画像データには、表面付近の血管1610に由来する受信信号に基づいたアーティファクトも含まれている。ところが、図19(a)に示す尖度画像では、血管1611の周囲に表面付近の血管1610に由来する受信信号に基づいたアーティファクトの領域、つまりターゲット領域以外の領域がほぼ0(黒色)となり、アーティファクトが抑制された画像となっている。
また、図19(b)に示すエントロピー画像では、血管1611のエントロピー値がほぼ0(黒色)に描出されている。その一方で、血管1611の周囲に表面付近の血管1610に由来する受信信号に基づいたアーティファクトが0よりも有意に大きな数値(灰色)をとる。そのため、エントロピー画像によれば、血管1611と表面付近の血管1610に由来する受信信号に基づいたアーティファクトとの差異が明確に視認できることがわかる。
本明細書において、画素としてピクセルあるいはボクセルの一方のみについて説明を行った部分についても、必ずしもその片方に限定されるものではない。本発明は、2次元画像のピクセルにも3次元画像のボクセルにも適用可能な発明である。画像の表示については2次元、3次元で行ってよく、またボリュームレンダリングやサーフェスレンダリングなどの画像処理を行って表示してもよい。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
150 コンピュータ
160 表示部
160 表示部
Claims (14)
- 被検体の注目位置における複数の画像データの画像値群の特徴を表す特徴情報を取得する情報処理方法であって、
前記被検体への複数回の光照射により前記被検体から発生する光音響波を受信することにより生成された、前記複数回の光照射に対応する複数の信号データを取得し、
前記複数の信号データのそれぞれに基づいて、前記複数回の光照射に対応する複数の部分画像データを生成し、
前記複数の部分画像データを記憶手段に保存し、
前記記憶手段に保存された前記複数の部分画像データのそれぞれに対して、前記特徴情報を取得する処理の一部の処理を実行することにより中間特徴情報を生成し、1つの部分画像データに対して前記特徴情報を取得する処理の一部の処理を実行すると前記中間特徴情報を更新し、
前記特徴情報を取得する処理の一部の処理を実行した後に、前記記憶手段から当該処理が実行された部分画像データを削除し、
更新後の中間特徴情報を前記記憶手段に保存し、
前記記憶手段に記憶された前記更新後の中間特徴情報を用いて、前記特徴情報を生成し、
前記特徴情報を前記記憶手段に保存する
ことを特徴とする情報処理方法。 - 被検体の注目位置における複数の画像データの画像値群の特徴を表す特徴情報を取得する情報処理方法であって、
前記被検体への第1光照射により前記被検体から発生する光音響波を受信することにより生成された第1信号データを取得し、
前記第1信号データに基づいて、第1部分画像データを生成し、
前記第1部分画像データを記憶手段に保存し、
前記記憶手段に保存された前記第1部分画像データに対して、前記特徴情報を取得する処理の一部の処理を実行することにより、中間特徴情報を生成し、
前記中間特徴情報を生成した後に、前記記憶手段から前記第1部分画像データを削除し、
前記中間特徴情報を前記記憶手段に保存し、
前記第1光照射とは異なるタイミングでの前記被検体への第2光照射により前記被検体から発生する光音響波を受信することにより生成された第2信号データを取得し、
前記第2信号データに基づいて、第2部分画像データを生成し、
前記第2部分画像データを前記記憶手段に保存し、
前記記憶手段に保存された前記第2部分画像データに対して、前記特徴情報を取得する処理の一部の処理を実行することにより、前記中間特徴情報を更新し、
前記第2部分画像データに対する前記特徴情報を取得する処理の一部の処理を実行した後に、前記記憶手段から前記第2部分画像データを削除し、
更新後の中間特徴情報を前記記憶手段に保存し、
前記記憶手段に記憶された前記更新後の中間特徴情報を用いて、前記特徴情報を生成し、
前記特徴情報を前記記憶手段に保存する
ことを特徴とする情報処理方法。 - 請求項1または2に記載の情報処理方法をコンピュータに実行させるためのプログラム。
- 被検体の注目位置における複数の画像データの画像値群の特徴を表す特徴情報を取得する情報処理装置であって、
信号データ取得手段、画像データ生成手段、記憶制御手段、および特徴情報生成手段を有し、
前記信号データ取得手段は、前記被検体への複数回の光照射により前記被検体から発生する光音響波を受信することにより生成された、前記複数回の光照射に対応する複数の信号データを取得し、
前記画像データ生成手段は、前記複数の信号データのそれぞれに基づいて、前記複数回の光照射に対応する複数の部分画像データを生成し、
前記記憶制御手段は、前記複数の部分画像データを記憶手段に保存し、
前記特徴情報生成手段は、前記記憶手段に保存された前記複数の部分画像データのそれぞれに対して、前記特徴情報を取得する処理の一部の処理を実行することにより中間特徴情報を生成し、1つの部分画像データに対して前記特徴情報を取得する処理の一部の処理を実行すると前記中間特徴情報を更新し、
前記記憶制御手段は、1つの部分画像データに対する前記特徴情報を取得する処理の一部の処理を実行した後に、前記記憶手段から当該処理が実行された部分画像データを削除し、
前記記憶制御手段は、更新後の中間特徴情報を前記記憶手段に保存し、
前記特徴情報生成手段は、前記記憶手段に記憶された前記更新後の中間特徴情報を用いて、前記特徴情報を生成し、
前記記憶制御手段は、前記特徴情報を前記記憶手段に保存する
ことを特徴とする情報処理方法。 - 前記特徴情報生成手段は、前記注目位置における前記複数の画像データの画像値列と、前記注目位置における前記複数のテンプレートデータのテンプレートデータ列との相関を示す情報を前記特徴情報として生成する
ことを特徴とする請求項4に記載の情報処理装置。 - 前記複数のテンプレートデータのそれぞれは、前記複数回の光照射のそれぞれにおいて、前記注目位置に光吸収体が存在するときに生成されうる画像データの画像値の推定値である
ことを特徴とする請求項5に記載の情報処理装置。 - 前記特徴情報生成手段は、i回目の光照射(1≦i≦n)における前記注目位置における前記画像データの画像値をfi、前記注目位置における前記テンプレートデータをgiとしたときに、次の式に示す前記中間特徴情報を生成し、
前記特徴情報生成手段は、前記記憶手段に保存された前記中間特徴情報を用いて、次の式に示す前記特徴情報としての相関値R(f,g)を生成する
ことを特徴とする請求項5または6に記載の情報処理装置。 - 前記画像データ生成手段は、前記複数の信号データから合成画像データを生成し、
前記特徴情報生成手段は、前記注目位置における前記複数の部分画像データの画像値群と、前記注目位置における前記複数の部分画像データの統計値とを用いて、前記特徴情報を取得する
ことを特徴とする請求項4に記載の情報処理装置。 - 前記特徴情報生成手段は、前記注目位置における前記複数の部分画像データの画像値群と、前記注目位置における前記複数の部分画像データの統計値とを用いて、分散値、期待値、エントロピー、偏差、共分散、標準偏差、および相関係数の少なくとも一つを前記特徴情報として生成する
ことを特徴とする請求項8に記載の情報処理装置。 - 表示制御手段を更に有し、
前記特徴情報生成手段は、前記記憶手段に保存された前記複数の部分画像データのそれぞれを合成する処理を実行することにより合成画像データを生成し、1つの部分画像データに対して合成処理を実行すると前記合成画像データを更新し、
前記記憶制御手段は、1つの部分画像データに対する前記特徴情報を取得する処理の一部の処理および前記合成処理を実行した後に、前記記憶手段から当該処理が実行された部分画像データを削除し、
前記記憶制御手段は、更新後の合成画像データを前記記憶手段に保存し、
前記画像データ生成手段は、前記記憶手段に記憶された前記更新後の徴情報を用いて、前記特徴情報を生成し、
前記表示制御手段は、前記合成画像データと前記特徴情報とに基づいた画像を表示手段に表示させる
ことを特徴とする請求項4に記載の情報処理装置。 - 前記表示制御手段は、前記注目位置にターゲットが存在する可能性を識別できるように前記合成画像データに基づいた画像を、前記表示手段に表示させる
ことを特徴とする請求項10に記載の情報処理装置。 - 前記表示制御手段は、前記合成画像データに基づいた第1の画像と、前記特徴情報に基づいた第2の画像とを含む画像を前記表示手段に表示させる
ことを特徴とする請求項10に記載の情報処理装置。 - 前記記憶制御手段は、前記特徴情報を生成した後に、前記更新後の中間特徴情報を前記記憶手段から削除する
ことを特徴とする請求項4に記載の情報処理装置。 - 被検体の注目位置における複数の画像データの画像値群の特徴を表す特徴情報を取得する情報処理装置であって、
信号データ取得手段、画像データ生成手段、記憶制御手段、および特徴情報生成手段を有し、
前記信号データ取得手段は、前記被検体への第1光照射により前記被検体から発生する光音響波を受信することにより生成された第1信号データを取得し、
前記画像データ生成手段は、前記第1信号データに基づいて、第1部分画像データを生成し、
前記記憶制御手段は、前記第1部分画像データを記憶手段に保存し、
前記特徴情報生成手段は、前記記憶手段に保存された前記第1部分画像データに対して、特徴情報を取得する処理の一部の処理を実行することにより、中間特徴情報を生成し、
前記記憶制御手段は、前記中間特徴情報を前記記憶手段に保存し、
前記記憶制御手段は、前記中間特徴情報を生成した後に前記記憶手段から前記第1部分画像データを削除し、
前記信号データ取得手段は、前記第1光照射とは異なるタイミングでの前記被検体への第2光照射により前記被検体から発生する光音響波を受信することにより生成された第2信号データを取得し、
前記画像データ生成手段は、前記第2信号データに基づいて、第2部分画像データを生成し、
前記記憶制御手段は、前記第2部分画像データを前記記憶手段に保存し、
前記特徴情報生成手段は、前記記憶手段に保存された前記第2部分画像データに対して、前記特徴情報を取得する処理の一部の処理を実行することにより、前記中間特徴情報を更新し、
前記記憶制御手段は、前記第2部分画像データに対する前記特徴情報を取得する処理の一部の処理を実行した後に、前記第2部分画像データを前記記憶手段から削除し、
前記記憶制御手段は、更新後の中間特徴情報を前記記憶手段に保存し、
前記特徴情報生成手段は、前記記憶手段に記憶された前記更新後の中間特徴情報を用いて、前記特徴情報を生成し、
前記記憶制御手段は、前記特徴情報を前記記憶手段に保存する
ことを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018001345A JP2019118686A (ja) | 2018-01-09 | 2018-01-09 | 情報処理装置、情報処理方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018001345A JP2019118686A (ja) | 2018-01-09 | 2018-01-09 | 情報処理装置、情報処理方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019118686A true JP2019118686A (ja) | 2019-07-22 |
Family
ID=67306772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018001345A Pending JP2019118686A (ja) | 2018-01-09 | 2018-01-09 | 情報処理装置、情報処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019118686A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021049073A (ja) * | 2019-09-24 | 2021-04-01 | 国立大学法人 東京大学 | 超音波撮像装置 |
-
2018
- 2018-01-09 JP JP2018001345A patent/JP2019118686A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021049073A (ja) * | 2019-09-24 | 2021-04-01 | 国立大学法人 東京大学 | 超音波撮像装置 |
JP7258352B2 (ja) | 2019-09-24 | 2023-04-17 | 国立大学法人 東京大学 | 超音波撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10531798B2 (en) | Photoacoustic information acquiring apparatus and processing method | |
JP6576424B2 (ja) | 表示制御装置、画像表示方法、及びプログラム | |
JP6742745B2 (ja) | 情報取得装置および表示方法 | |
JP6742734B2 (ja) | 被検体情報取得装置および信号処理方法 | |
KR20170074171A (ko) | 광음향장치, 정보 취득장치, 정보 취득방법, 및 프로그램 | |
JP2019024733A (ja) | 画像処理装置、画像処理方法、プログラム | |
EP3329843B1 (en) | Display control apparatus, display control method, and program | |
JP2018061716A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6921782B2 (ja) | 表示制御装置、画像表示方法、及びプログラム | |
US20200275840A1 (en) | Information-processing apparatus, method of processing information, and medium | |
JP2019118686A (ja) | 情報処理装置、情報処理方法、プログラム | |
KR20200067254A (ko) | 정보 처리장치, 정보 처리방법, 및 비일시적인 기억매체 | |
JP6882108B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
JP2018143764A (ja) | 画像生成装置、画像生成方法、プログラム | |
WO2018230409A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2019097804A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2020110362A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6512969B2 (ja) | 処理装置、光音響装置、処理方法、及びプログラム | |
JP6929048B2 (ja) | 表示制御装置、表示方法、及びプログラム | |
JP7277212B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6929204B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20200305727A1 (en) | Image processing device, image processing method, and program | |
WO2020040174A1 (ja) | 画像処理装置、画像処理方法、プログラム |