JP2020028669A - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP2020028669A JP2020028669A JP2018157794A JP2018157794A JP2020028669A JP 2020028669 A JP2020028669 A JP 2020028669A JP 2018157794 A JP2018157794 A JP 2018157794A JP 2018157794 A JP2018157794 A JP 2018157794A JP 2020028669 A JP2020028669 A JP 2020028669A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- dimensional image
- image data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
- A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
- A61B5/418—Evaluating particular organs or parts of the immune or lymphatic systems lymph vessels, ducts or nodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0204—Acoustic sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0275—Measuring blood flow using tracers, e.g. dye dilution
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Vascular Medicine (AREA)
- Immunology (AREA)
- Acoustics & Sound (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
被検体への光照射により前記被検体内から発生した光音響波の受信信号データに基づいて生成された3次元画像データを処理する画像処理装置であって、
前記3次元画像データから第1物質に対応する第1領域を抽出した第1の3次元画像データを取得する、第1の3次元画像取得手段と、
前記3次元画像データから第2物質に対応する第2領域を抽出した第2の3次元画像データを取得する第2の3次元画像取得手段と、
前記第1の3次元画像データから、前記第1領域の3次元位置情報を関連付けた第1の2次元画像データを取得する第1の2次元画像取得手段と、
前記第2の3次元画像データから、前記第2領域の3次元位置情報を関連付けた第2の2次元画像データを取得する第2の2次元画像取得手段と、
を有することを特徴とする画像処理装置である。
本発明の別の一つの側面は、
被検体への光照射により前記被検体内から発生した光音響波の受信信号データに基づいて生成された3次元画像データを処理する画像処理方法であって、
前記3次元画像データから第1物質に対応する第1領域を抽出した第1の3次元画像データを取得する、第1の3次元画像取得ステップと、
前記3次元画像データから第2物質に対応する第2領域を抽出した第2の3次元画像データを取得する第2の3次元画像取得ステップと、
前記第1の3次元画像データから、前記第1領域の3次元位置情報を関連付けた第1の2次元画像データを取得する第1の2次元画像取得ステップと、
前記第2の3次元画像データから、前記第2領域の3次元位置情報を関連付けた第2の2次元画像データを取得する第2の2次元画像取得ステップと、
を有することを特徴とする画像処理方法である。
なお、分光画像は、複数の波長のそれぞれに対応する光音響信号を用いて生成された、被検体中の特定物質の濃度を示す画像であってもよい。使用する造影剤の光吸収係数スペクトルと、特定物質の光吸収係数スペクトルとが異なる場合、分光画像中の造影剤の画像値と分光画像中の特定物質の画像値とは異なる。よって、分光画像の画像値に応じて造影剤の領域と特定物質の領域とを区別することができる。なお、特定物質としては、ヘモグロビン、グルコース、コラーゲン、メラニン、脂肪や水など、被検体を構成する物質が挙
げられる。この場合にも、特定物質の光吸収係数スペクトルとは異なる光吸収スペクトルを有する造影剤を選択する必要がある。また、特定物質の種類に応じて、異なる算出方法で分光画像を算出してもよい。
ここで、Iλ 1(r)は第1波長λ1の光照射により発生した光音響波に基づいた計測値であり、Iλ 2(r)は第2波長λ2の光照射により発生した光音響波に基づいた計測値である。εHb λ 1は第1波長λ1に対応するデオキシヘモグロビンのモラー吸収係数[mm−1mol−1]であり、εHb λ 2は第2波長λ2に対応するデオキシヘモグロビンのモラー吸収係数[mm−1mol−1]である。εHbO λ 1は第1波長λ1に対応するオキシヘモグロビンのモラー吸収係数[mm−1mol−1]であり、εHbO λ 2は第2波長λ2に対応するオキシヘモグロビンのモラー吸収係数[mm−1mol−1]である。rは位置である。なお、計測値Iλ 1(r)、Iλ 2(r)としては、吸収係数μa λ 1(r)、μa λ 2(r)を用いてもよいし、初期音圧P0 λ 1(r)、P0 λ 2(r)を用いてもよい。
いた第1光音響画像および第2波長λ2の光照射により発生した光音響波に基づいた第2光音響画像の比を示す画像を分光画像としてもよい。すなわち、第1波長λ1の光照射により発生した光音響波に基づいた第1光音響画像および第2波長λ2の光照射により発生した光音響波に基づいた第2光音響画像の比に基づいた画像を分光画像としてよい。なお、式(1)の変形式にしたがって生成される画像も、第1光音響画像および第2光音響画像の比によって表現できるため、第1光音響画像および第2光音響画像の比に基づいた画像(分光画像)といえる。
図1を用いて本実施形態に係るシステムを説明する。図1は、本実施形態に係るシステムの構成を示すブロック図である。本実施形態に係るシステムは、光音響装置1100、記憶装置1200、画像処理装置1300、表示装置1400、及び入力装置1500を備える。装置間のデータの送受信は有線で行われてもよいし、無線で行われてもよい。
画像処理装置1300の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
System)などの記憶装置1200としての画像サーバ1210と接続されている。これにより、画像データを画像サーバ1210上に保存したり、画像サーバ1210上の画像データを液晶ディスプレイ1410に表示したりすることができる。
本実施形態に係る光音響装置1100は、駆動部130、信号収集部140、コンピュータ150、プローブ180、及び導入部190を有する。プローブ180は、光照射部110、及び受信部120を有する。図4は、本実施形態に係るプローブ180の模式図を示す。測定対象は、導入部190により造影剤が導入された被検体100である。駆動部130は、光照射部110と受信部120を駆動し、機械的な走査を行う。光照射部110が光を被検体100に照射し、被検体100内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部120は、光音響波を受信することによりアナログ信号としての電気信号(光音響信号)を出力する。
また、コンピュータ150は、光音響装置に含まれる構成の駆動制御も行う。また、表示部160は、コンピュータ150で生成された画像の他にGUIなどを表示してもよい。入力部170は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部170を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。
(光照射部110)
光照射部110は、光を発する光源111と、光源111から射出された光を被検体100へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
光源111が発する光のパルス幅としては、熱閉じ込め条件および応力閉じ込め条件を考慮すると、100ns以下のパルス幅であることが好ましい。また、光の波長として400nmから1600nm程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長(400nm以上、700nm以下)を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織(水や脂肪など)において典型的に吸収が少ない波長(700nm以上、1100nm以下)の光を用いてもよい。
なお、光照射部110が光学系112を備えずに、光源111から直接被検体100に光を照射してもよい。
受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
光音響波を構成する周波数成分は、典型的には100KHzから100MHzであり、トランスデューサ121として、これらの周波数を検出することのできるものを採用してもよい。
被検体に多く入射させるために、支持体122の被検体100側の表面に、鏡面加工もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体122は半球殻形状であり、半球殻上に複数のトランスデューサ121を支持できるように構成されている。この場合、支持体122に配置されたトランスデューサ121の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ121から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体122はトランスデューサ121を支持できる限り、いかなる構成であってもよい。支持体122は、1Dアレイ、1.5Dアレイ、1.75Dアレイ、2Dアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ121が複数の受信手段に相当する。
また、支持体122は音響マッチング材を貯留する容器として機能してもよい。すなわち、支持体122をトランスデューサ121と被検体100との間に音響マッチング材を配置するための容器としてもよい。
受信部120と被検体100との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
受信部120と保持部200の間の空間は、光音響波が伝播することができる媒質で満たされる。この媒質には、光音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
保持部200は、取り付け部201に取り付けられている。取り付け部201は、被検体の大きさに合わせて複数種類の保持部200を交換可能に構成されていてもよい。例えば、取り付け部201は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。
駆動部130は、被検体100と受信部120との相対位置を変更する部分である。駆動部130は、駆動力を発生させるステッピングモータなどのモータと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることがで
きる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。
なお、駆動部130は、被検体100と受信部120との相対的な位置を変更できれば、受信部120を固定し、被検体100を移動させてもよい。被検体100を移動させる場合は、被検体100を保持する保持部を動かすことで被検体100を移動させる構成などが考えられる。また、被検体100と受信部120の両方を移動させてもよい。
駆動部130は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部130は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。
また、本実施形態では、駆動部130は光照射部110と受信部120を同時に駆動して走査を行っているが、光照射部110だけを駆動したり、受信部120だけを駆動したりしてもよい。
なお、プローブ180が、把持部が設けられたハンドヘルドタイプである場合、光音響装置1100は駆動部130を有していなくてもよい。
信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140から出力されるデジタル信号は、コンピュータ150に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部110から光射出を検出し、信号収集部140がこの検出結果をトリガーに同期して上記処理を開始してもよい。
情報処理装置としてのコンピュータ150は、画像処理装置1300と同様のハードウェアで構成されている。すなわち、コンピュータ150の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
コンピュータ150の記憶機能を担うユニットは、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、コンピュータ150の記憶機能を担うユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)などのディスプレイである。また、表示部160は、画像や装置を操作するためのGUIを表示してもよい。
なお、表示部160と表示装置1400は同じディスプレイであってもよい。すなわち、1つのディスプレイが表示部160と表示装置1400の両方の機能を担っていてもよい。
入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
なお、入力部170と入力装置1500は同じ装置であってもよい。すなわち、1つの装置が入力部170と入力装置1500の両方の機能を担っていてもよい。
導入部190は、被検体100の外部から被検体100の内部へ造影剤を導入可能に構成されている。例えば、導入部190は造影剤の容器と被検体に刺す注射針とを含むことができる。しかしこれに限られず、導入部190は、造影剤を被検体100に導入することができる限り種々のものを適用可能である。導入部190は、この場合、例えば、公知のインジェクションシステムやインジェクタなどであってもよい。なお、制御装置としてのコンピュータ150が、導入部190の動作を制御することにより、被検体100に造影剤を導入してもよい。また、ユーザーが導入部190を操作することにより、被検体100に造影剤を導入してもよい。
被検体100はシステムを構成するものではないが、以下に説明する。本実施形態に係るシステムは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指または足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。さらに、被検体100に導入する造影剤を光吸収体とすることができる。光音響イメージングに用いる造影剤としては、インドシアニングリーン(ICG)、メチレンブルー(MB)などの色素、金微粒子、及びそれらの混合物、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を採用してもよい。また、生体を模したファントムを被検体100としてもよい。
なお、本実施形態に係るシステムを構成する各装置は、それぞれが別々のハードウェア
で構成されていてもよいし、全ての装置が1つのハードウェアで構成されていてもよい。本実施形態に係るシステムの機能は、いかなるハードウェアで構成されていてもよい。
光音響装置1100のコンピュータ150は、検査に関する情報を取得する。例えばコンピュータ150は、HIS(Hospitai Information System)やRIS(Radiology Information System)などの院内情報システムから送信された検査オーダー情報を取得する。検査オーダー情報には、検査に用いるモダリティの種類や検査に使用する造影剤などの情報が含まれている。モダリティが光音響イメージングである場合、検査オーダー情報には照射される光に関する情報が含まれる。本発明の主たる実施形態は、少なくとも単一の波長の光照射を被検体に照射することで被検体情報を取得し、分光情報を取得する場合は複数の波長のそれぞれの光を被検体に照射することで得られる被検体情報を取得する。光に関する情報には、波長ごとの光のパルス長、繰り返し周波数、強度などを含めることができる。
170を用いて造影剤に関する情報を入力することのできる入力機能を備えていてもよい。アイテム2600においては、造影剤の種類や濃度などの造影剤に関する情報を複数の選択肢の中からプルダウンなどの方法で入力できてもよい。なお、表示装置1400に図12に示すGUIを表示してもよい。
導入部190は、被検体に対して造影剤を導入する。ユーザーが、導入部190を用いて被検体に造影剤を導入したときに、ユーザーが入力部170を操作することにより、造影剤が導入されたことを表す信号を入力部170から制御装置としてのコンピュータ150に送信してもよい。また、導入部190が被検体100に造影剤が導入されたことを表す信号をコンピュータ150に送信してもよい。なお、導入部190を用いずに造影剤を被検体に投与してもよい。例えば、被検体としての生体が噴霧された造影剤を吸引することにより、造影剤が投与されてもよい。
造影剤の導入後に被検体100内の造影対象に造影剤が行き渡るまで時間をおいてから後続の処理を実行してもよい。
図14(A)は、1.0mg/mLの濃度のICGを導入したときの左前腕伸側の分光画像を示す。図14(B)は、5.0mg/mLの濃度のICGを導入したときの左前腕伸側の分光画像を示す。図14(B)中の破線および矢印で示した領域にリンパ管が描出されている。
図15(A)は、0.5mg/mLの濃度のICGを導入したときの右下腿内側の分光画像を示す。図15(B)は、5.0mg/mLの濃度のICGを導入したときの左下腿内側の分光画像を示す。図15(B)中の破線および矢印で示した領域にリンパ管が描出されている。
認することができる。そのため、造影剤としてICGを採用する場合、その濃度は2.5mg/mL以上であってもよい。なお、生体内でのICGの希釈を考慮すると、ICGの濃度は5.0mg/mLより大きくてもよい。ただし、ジアグノグリーンの可溶性を鑑みると、10.0mg/mL以上の濃度で水溶液に溶かすことは困難である。
また、コンピュータ150は、GUI上で上記数値範囲以外のICGの濃度がユーザーから指示された場合にアラートを通知してもよい。通知方法としては、表示部160へのアラートの表示や、音やランプの点灯などのあらゆる方法を採用することができる。
また、コンピュータ150は、GUI上で造影剤の種類としてICGが選択された場合に、被検体に導入するICGの濃度として上記数値範囲を表示部160に表示させてもよい。
よっては、分光画像中の造影剤に対応する画像値が60%〜100%となってしまう場合がある。前述したように、このような波長の組み合わせを選択してしまうと、分光画像中の血管の領域と造影剤の領域とを識別することが困難となってしまう。そのため、図9に示す波長の組み合わせにおいて、分光画像中の造影剤に対応する画像値が60%より小さくなる、または、100%より大きくなるような波長の組み合わせを選択することが好ましい。さらには、図9に示す波長の組み合わせにおいて、分光画像中の造影剤に対応する画像値が負値となるような波長の組み合わせを選択することが好ましい。
光照射部110は、S100で取得した情報に基づいて決定された波長を光源111に設定する。光源111は、決定された波長の光を発する。光源111から発生した光は、光学系112を介してパルス光として被検体100に照射される。そして、被検体100
の内部でパルス光が吸収され、光音響効果により光音響波が生じる。このとき、導入された造影剤もパルス光を吸収し、光音響波を発生する。光照射部110はパルス光の伝送と併せて信号収集部140へ同期信号を送信してもよい。また、光照射部110は、複数の波長のそれぞれについて、同様に光照射を行う。
信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、光音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を保存する。複数の走査位置での撮影を指定された場合には、指定された走査位置において、S300およびS400の工程を繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号である受信信号データの生成を繰り返す。なお、コンピュータ150は、発光をトリガーとして、発光時の受信部120の位置情報を駆動部130の位置センサからの出力に基づいて取得し、記憶してもよい。
3次元光音響画像取得手段としてのコンピュータ150は、記憶された信号データに基づいて、光音響画像を生成する。コンピュータ150は、生成された光音響画像を記憶装置1200に出力し、記憶させる。
する第1光音響画像を生成することができる。また、コンピュータ150は、第2波長の光照射により得られた信号データに対して再構成処理を行うことにより、第2波長に対応する第2光音響画像を生成することができる。このように、コンピュータ150は、複数の波長の光に対応する複数の光音響画像を生成することができる。
3次元分光画像取得手段としてのコンピュータ150は、複数の波長に対応する複数の光音響画像に基づいて、分光画像を生成する。コンピュータ150は、分光画像を記憶装置1200に出力し、記憶装置1200に記憶させる。前述したように、コンピュータ150は、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率など、被検体を構成する物質の濃度に相当する情報を示す画像を分光画像として生成してもよい。また、コンピュータ150は、第1波長に対応する第1光音響画像と第2波長に対応する第2光音響画像との比を表す画像を分光画像として生成してもよい。本実施形態では、コンピュータ150が、第1光音響画像と第2光音響画像とを用いて、式(1)にしたがった画像を分光画像として生成する例を説明する。本工程におけるコンピュータ150のことを、3次元分光画像取得手段だと考えてもよい。また、S500とS600両方において、コンピュータ150のことを3次元光音響画像取得手段だと考えてもよい。
複数回の光照射と、それに引き続く音響波受信と画像再構成が行われることにより、複数回の光照射に対応する時系列の3次元画像データが生成される。3次元画像データとしては光音響画像データや分光画像データが利用できる。ここでの光音響画像データは吸収係数等の分布を示す画像データを指し、分光画像データは複数の波長の光が被検体に照射されたときに、それぞれの波長に対応する光音響画像データに基づいて生成される濃度等
を示す画像データを指す。
画像処理装置1300は、記憶装置1200から光音響画像または分光画像を読み出し、光音響画像または分光画像に基づいてリンパ管と血管に関する情報を取得する。取得される情報として、ボリュームデータにおけるリンパ管および血管の位置を示す情報がある。なお、上述したように、本ステップの処理は少なくとも一つの波長に由来する光音響画像に基づいて実施することもでき、複数の波長のそれぞれに由来する光音響画像から作成された分光画像を利用することもできる。本工程では、画像処理装置1300が、3次元血管画像取得手段、および、3次元リンパ画像取得手段として機能して情報処理を担う。
画像処理装置1300は、S700で取得した3次元のリンパ領域に関する情報および血管領域に関する情報から、2次元のリンパ領域に関する情報および血管領域に関する情報を取得する。本工程では、画像処理装置1300が、2次元血管画像取得手段、および、2次元リンパ画像取得手段として機能して情報処理を担う。具体的には、2次元血管画像取得手段としての画像処理装置1300は、あるボリュームデータに由来する3次元血管画像データに基づいて、2次元血管画像データと、それに対応付けられた血管深さ情報を取得する。また、2次元リンパ画像取得手段としての画像処理装置1300は、あるボリュームデータに由来する3次元リンパ画像データに基づいて、2次元リンパ画像データと、それに対応付けられたリンパ深さ情報を取得する。深さ情報は、ボリュームデータ中の特定領域の3次元位置情報とも言える。血管深さ情報は血管領域の3次元位置情報を示し、リンパ深さ情報はリンパ領域の3次元位置情報を示す。
も、三次元画像を二次元にレンダリングする際の表示領域や視線方向などの設定条件は、観察対象や装置構成に合わせて任意に指定できる。
保存制御手段としての画像処理装置1300は、S800で算出した2次元血管画像データと血管深さ情報を関連付けて記憶装置1200に保存する。また、2次元リンパ画像データとリンパ深さ情報を関連付けて記憶装置1200に保存する。保存の方法は任意であり、例えば、2次元血管画像データの画素ごとに血管であるかどうかを示すフラグと深度を対応付けた配列を利用してもよい。2次元リンパ画像データについても同様である。
このように2次元画像データを保存する場合、3次元画像データに比べてデータ量を圧縮できる。そのため、記憶装置1200の記憶容量を低減できる。特に時系列のボリュームデータを生成する場合に増加するデータ量を低減する際に、本工程の保存方法は効果を発揮する。
表示制御手段としての画像処理装置1300は、2次元リンパ画像データを、リンパ深さ情報が示されるような形式で表示装置1400に表示させる。また、表示制御手段としての画像処理装置1300は、2次元血管画像データを、血管深さ情報が示されるような形式で表示装置1400に表示させる。さらに、表示制御手段としての画像処理装置1300は、リンパ深さ情報が示された2次元リンパ画像と、血管深さ情報が示された2次元血管画像とを、リンパと血管の対応関係がユーザーに理解しやすいような形式で表示してもよい。例えば、血管画像とリンパ画像を並列表示したり、重畳表示したりできる。特に、リンパと血管が近い深さにあるかどうかをユーザーが理解しやすくすることが好ましい。
さらに本実施形態では、S900において2次元画像データと深さ情報を関連付けて保存している。画像処理装置1300は、このデータを用いてボリュームデータを生成して、簡易的な3次元画像を表示装置に表示してもよい。具体的には、画像処理装置1300は、2次元画像データに関連付けられた深さ情報を用いて2次元画像データ中の画像値を3次元空間に割り当てる。これにより、比較的データ量の少ない2次元画像データを用いた場合でもユーザーに3次元画像を提示可能となる。
本実施形態の画像処理装置は、このような深さ情報付きの表示に加えて、または、深さ情報付きの表示とは別に、光音響画像や分光画像を表示してもよい。例えば、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置に表示させてもよい。かかる表示の一例を説明する。
に対応する画像値の数値範囲に含まれる場合、光音響画像の画像値に対応する明度を、血管に対応するそれよりも小さくしてもよい。すなわち、造影剤の領域と血管の領域を比べたときに、光音響画像の画像値が同じであれば、血管の領域よりも造影剤の領域の明度を小さくしてもよい。ここで変換テーブルとは、複数の画像値のそれぞれに対応する明度を示すテーブルである。また、分光画像の画像値が造影剤に対応する画像値の数値範囲に含まれる場合、光音響画像の画像値に対応する明度を、血管に対応するそれよりも大きくしてもよい。すなわち、造影剤の領域と血管の領域を比べたときに、光音響画像の画像値が同じであれば、血管の領域よりも造影剤の領域の明度を大きくしてもよい。また、分光画像の画像値によって、光音響画像の画像値を明度に変換しない光音響画像の画像値の数値範囲が異なっていてもよい。
イドバーなどのGUIを、図12に追加することも好ましい。これにより、例えばリンパ管内を流体が流れる様子をユーザーが把握しやすくなる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
1200 記憶装置
1300 画像処理装置
Claims (33)
- 被検体への光照射により前記被検体内から発生した光音響波に基づいて生成された3次元画像データを処理する画像処理装置であって、
前記3次元画像データから前記被検体内の第1物質に対応する第1領域を抽出した第1の3次元画像データを取得する第1の3次元画像取得手段と、
前記3次元画像データから前記被検体内の第2物質に対応する第2領域を抽出した第2の3次元画像データを取得する第2の3次元画像取得手段と、
前記第1の3次元画像データから、前記第1領域の3次元位置情報を関連付けた第1の2次元画像データを取得する第1の2次元画像取得手段と、
前記第2の3次元画像データから、前記第2領域の3次元位置情報を関連付けた第2の2次元画像データを取得する第2の2次元画像取得手段と、
を有することを特徴とする画像処理装置。 - 前記第1の2次元画像データと前記第2の2次元画像データとを保存手段に保存する保存制御手段を有することを特徴とする請求項1に記載の画像処理装置。
- 前記保存制御手段が、前記第1の2次元画像データと前記第2の2次元画像データとを関連付けて前記保存手段に保存することを特徴とする請求項2に記載の画像処理装置。
- 前記第1領域は血管領域であり、前記第2領域はリンパ領域であることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記第1の2次元画像データに基づく第1の2次元画像と、前記第2の2次元画像データに基づく第2の2次元画像を表示装置に表示させる表示制御手段をさらに有する
ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記表示制御手段は、前記第1の2次元画像および前記第2の2次元画像に、前記3次元位置情報に基づく画像処理を行う
ことを特徴とする請求項5に記載の画像処理装置。 - 前記表示制御手段は、前記第1の2次元画像および前記第2の2次元画像の明度、彩度および色相の少なくとも1つを、前記3次元位置情報に基づいて補正する画像処理を行うことを特徴とする請求項6に記載の画像処理装置。
- 前記表示制御手段は、前記第1の2次元画像および前記第2の2次元画像を、前記表示装置に、並列表示、重畳表示、および、切り替え可能な表示のいずれかの方法で表示させる
ことを特徴とする請求項5から7のいずれか1項に記載の画像処理装置。 - 前記表示制御手段は、前記第1領域の3次元位置情報を関連付けた第1の2次元画像データから生成した3次元画像と、前記第2領域の3次元位置情報を関連付けた第2の2次元画像データから生成された3次元画像を、前記表示装置に表示させる
ことを特徴とする請求項5から8のいずれか1項に記載の画像処理装置。 - 前記3次元画像データは、光照射により前記被検体内から発生した光音響波に由来する光音響画像データである
ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。 - 前記3次元画像データは、第1波長の光照射により発生した光音響波に基づいた第1光
音響画像、および、第2波長の光照射により発生した光音響波に基づいた第2光音響画像に基づいて生成された分光画像である
ことを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。 - 前記3次元画像データは、前記被検体への複数回の光照射により発生した光音響波に基づいて生成された、前記複数回の光照射のそれぞれに対応する画像を含む時系列の3次元画像データである、
ことを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。 - 前記表示制御手段は、時系列に生成された複数の第1の2次元画像と第2の2次元画像を動画像として表示させる
ことを特徴とする請求項5から9のいずれか1項に記載の画像処理装置。 - 前記表示制御手段は、前記動画像を早送り表示可能である
ことを特徴とする請求項13に記載の画像処理装置。 - 前記表示制御手段は、前記動画像を繰り返し表示可能である
ことを特徴とする請求項13または14に記載の画像処理装置。 - 前記3次元画像データから前記被検体内の第3物質に対応する第3領域を抽出した第3の3次元画像データを取得する、第3の3次元画像取得手段と、
前記3次元画像データから、前記第3領域の3次元位置情報を関連付けた第3の2次元画像データを取得する第3の2次元画像取得手段と、
を有することを特徴とする請求項1から15のいずれか1項に記載の画像処理装置。 - 被検体への光照射により前記被検体内から発生した光音響波に基づいて生成された3次元画像データを処理する画像処理方法であって、
前記3次元画像データから前記被検体内の第1物質に対応する第1領域を抽出した第1の3次元画像データを取得するステップと、
前記3次元画像データから前記被検体内の第2物質に対応する第2領域を抽出した第2の3次元画像データを取得するステップと、
前記第1の3次元画像データから、前記第1領域の3次元位置情報を関連付けた第1の2次元画像データを取得するステップと、
前記第2の3次元画像データから、前記第2領域の3次元位置情報を関連付けた第2の2次元画像データを取得するステップと、
を有することを特徴とする画像処理方法。 - 前記第1の2次元画像データと前記第2の2次元画像データとを保存手段に保存する保存制御ステップを有することを特徴とする請求項17に記載の画像処理方法。
- 前記保存制御ステップでは、前記第1の2次元画像データと前記第2の2次元画像データとを関連付けて前記保存手段に保存することを特徴とする請求項18に記載の画像処理方法。
- 前記第1領域は血管領域であり、前記第2領域はリンパ領域であることを特徴とする請求項17から19のいずれか1項に記載の画像処理方法。
- 前記第1の2次元画像データに基づく第1の2次元画像と、前記第2の2次元画像データに基づく第2の2次元画像を表示装置に表示させる表示制御ステップをさらに有する
ことを特徴とする請求項17から20のいずれか1項に記載の画像処理方法。 - 前記表示制御ステップでは、前記第1の2次元画像および前記第2の2次元画像に、前記3次元位置情報に基づく画像処理を行う
ことを特徴とする請求項21に記載の画像処理方法。 - 前記表示制御ステップでは、前記第1の2次元画像および前記第2の2次元画像の明度、彩度および色相の少なくとも1つを、前記3次元位置情報に基づいて補正する画像処理を行う
ことを特徴とする請求項22に記載の画像処理方法。 - 前記表示制御ステップでは、前記第1の2次元画像および前記第2の2次元画像を、前記表示装置に、並列表示、重畳表示、および、切り替え可能な表示のいずれかの方法で表示させる
ことを特徴とする請求項21から23のいずれか1項に記載の画像処理方法。 - 前記表示制御ステップでは、前記第1領域の3次元位置情報を関連付けた第1の2次元画像データから生成した3次元画像と、前記第2領域の3次元位置情報を関連付けた第2の2次元画像データから生成された3次元画像を、前記表示装置に表示させる
ことを特徴とする請求項21から24のいずれか1項に記載の画像処理方法。 - 前記3次元画像データは、光照射により前記被検体内から発生した光音響波に由来する光音響画像データである
ことを特徴とする請求項17から25のいずれか1項に記載の画像処理方法。 - 前記3次元画像データは、第1波長の光照射により発生した光音響波に基づいた第1光音響画像、および、第2波長の光照射により発生した光音響波に基づいた第2光音響画像に基づいて生成された分光画像である
ことを特徴とする請求項17から26のいずれか1項に記載の画像処理方法。 - 前記3次元画像データは、前記被検体への複数回の光照射により発生した光音響波に基づいて生成された、前記複数回の光照射のそれぞれに対応する画像を含む時系列の3次元画像データである、
ことを特徴とする請求項17から26のいずれか1項に記載の画像処理方法。 - 前記表示制御ステップでは、時系列に生成された複数の第1の2次元画像と第2の2次元画像を動画像として表示させる
ことを特徴とする請求項21から25のいずれか1項に記載の画像処理方法。 - 前記表示制御ステップでは、前記動画像を早送り表示可能である
ことを特徴とする請求項29に記載の画像処理方法。 - 前記表示制御ステップでは、前記動画像を繰り返し表示可能である
ことを特徴とする請求項29または30に記載の画像処理方法。 - 前記3次元画像データから前記被検体内の第3物質に対応する第3領域を抽出した第3の3次元画像データを取得するステップと、
前記3次元画像データから、前記第3領域の3次元位置情報を関連付けた第3の2次元画像データを取得するステップと、
を有することを特徴とする請求項17から31のいずれか1項に記載の画像処理方法。 - 請求項17から32のいずれか1項に記載の画像処理方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018157794A JP7108985B2 (ja) | 2018-08-24 | 2018-08-24 | 画像処理装置、画像処理方法、プログラム |
PCT/JP2019/032560 WO2020040172A1 (ja) | 2018-08-24 | 2019-08-21 | 画像処理装置、画像処理方法、プログラム |
US17/180,928 US20210177269A1 (en) | 2018-08-24 | 2021-02-22 | Image processing apparatus and image processing method and non-transitory computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018157794A JP7108985B2 (ja) | 2018-08-24 | 2018-08-24 | 画像処理装置、画像処理方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020028669A true JP2020028669A (ja) | 2020-02-27 |
JP2020028669A5 JP2020028669A5 (ja) | 2021-10-28 |
JP7108985B2 JP7108985B2 (ja) | 2022-07-29 |
Family
ID=69593249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018157794A Active JP7108985B2 (ja) | 2018-08-24 | 2018-08-24 | 画像処理装置、画像処理方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210177269A1 (ja) |
JP (1) | JP7108985B2 (ja) |
WO (1) | WO2020040172A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7362561B2 (ja) * | 2020-07-30 | 2023-10-17 | 富士フイルム株式会社 | 放射線画像処理装置、方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013176414A (ja) * | 2012-02-28 | 2013-09-09 | Fujifilm Corp | 光音響画像生成装置及び方法 |
JP2018015262A (ja) * | 2016-07-28 | 2018-02-01 | 国立大学法人京都大学 | 光音響イメージング装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5417699A (en) * | 1992-12-10 | 1995-05-23 | Perclose Incorporated | Device and method for the percutaneous suturing of a vascular puncture site |
JP5448353B2 (ja) * | 2007-05-02 | 2014-03-19 | キヤノン株式会社 | 光干渉断層計を用いた画像形成方法、及び光干渉断層装置 |
JP5809850B2 (ja) * | 2011-06-01 | 2015-11-11 | オリンパス株式会社 | 画像処理装置 |
JP6278295B2 (ja) * | 2013-06-13 | 2018-02-14 | 国立大学法人 筑波大学 | 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置及びその画像処理プログラム |
JP6305699B2 (ja) * | 2013-07-01 | 2018-04-04 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置及び超音波イメージングプログラム |
JP6925816B2 (ja) * | 2017-02-09 | 2021-08-25 | 株式会社小松製作所 | 位置計測システム、作業機械、及び位置計測方法 |
JP7030455B2 (ja) * | 2017-09-06 | 2022-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2018
- 2018-08-24 JP JP2018157794A patent/JP7108985B2/ja active Active
-
2019
- 2019-08-21 WO PCT/JP2019/032560 patent/WO2020040172A1/ja active Application Filing
-
2021
- 2021-02-22 US US17/180,928 patent/US20210177269A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013176414A (ja) * | 2012-02-28 | 2013-09-09 | Fujifilm Corp | 光音響画像生成装置及び方法 |
JP2018015262A (ja) * | 2016-07-28 | 2018-02-01 | 国立大学法人京都大学 | 光音響イメージング装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210177269A1 (en) | 2021-06-17 |
JP7108985B2 (ja) | 2022-07-29 |
WO2020040172A1 (ja) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018202147A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20210169397A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP2023123874A (ja) | 光音響イメージングシステム、光音響イメージングシステムの制御方法、および、プログラム | |
JP2018126454A (ja) | 被検体情報取得装置および表示方法 | |
JP7108985B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6921782B2 (ja) | 表示制御装置、画像表示方法、及びプログラム | |
JP7013215B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7205821B2 (ja) | システム | |
JP7118718B2 (ja) | 被検体情報取得装置、被検体情報処理方法、およびプログラム | |
JP7144805B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7125709B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7142832B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2020039640A1 (ja) | 情報処理装置、システム、情報処理方法、プログラム | |
JP7226728B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7187336B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7314371B2 (ja) | 被検体情報取得装置、被検体情報処理方法、およびプログラム | |
JP7277212B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020028670A (ja) | 画像処理装置、システム、画像処理方法、プログラム | |
JP2019000387A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020028668A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2020162746A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020018466A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2018088998A (ja) | 表示制御装置、表示方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181102 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210819 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7108985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |