JP2018161467A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2018161467A
JP2018161467A JP2018045346A JP2018045346A JP2018161467A JP 2018161467 A JP2018161467 A JP 2018161467A JP 2018045346 A JP2018045346 A JP 2018045346A JP 2018045346 A JP2018045346 A JP 2018045346A JP 2018161467 A JP2018161467 A JP 2018161467A
Authority
JP
Japan
Prior art keywords
subject
dimensional data
image
image processing
voxels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018045346A
Other languages
English (en)
Inventor
寿文 福井
Hisafumi Fukui
寿文 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2018161467A publication Critical patent/JP2018161467A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10084Hybrid tomography; Concurrent acquisition with multiple different tomographic modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Acoustics & Sound (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】三次元データを二次元画像に変換する画像処理装置において、奥行き方向の情報を区別しやすい画像を提供する。【解決手段】被検体の特性情報を複数のボクセルによって表した三次元データを取得する情報取得手段と、前記被検体の表面形状に関する情報を取得する形状情報取得手段と、前記表面形状に関する情報に基づいて、前記ボクセルのそれぞれについて、前記被検体の表面から当該ボクセルに対応する前記被検体内の位置までの距離を算出する距離算出手段と、前記ボクセルのそれぞれに対して、前記算出した距離に応じたぼかし処理を含むフィルタ処理を行うフィルタ手段と、前記フィルタ処理後の前記三次元データに基づいて二次元画像を生成する画像生成手段と、を有する。【選択図】図1

Description

本発明は、被検体を撮像して得られた画像を処理する装置に関する。
近年、医療分野において、被検体内の構造情報や、生理的情報、すなわち機能情報をイメージングするための研究が進められている。このような技術の一つとして、近年、光音響トモグラフィ(PAT:PhotoAcoustic Tomography)が提案されている。
レーザ光などの光を被検体である生体に照射すると、光が被検体内の生体組織で吸収される際に音響波(典型的には超音波)が発生する。この現象を光音響効果と呼び、光音響効果により発生した音響波を光音響波と呼ぶ。被検体を構成する組織は、光エネルギーの吸収率がそれぞれ異なるため、発生する光音響波の音圧も異なったものとなる。PATでは、発生した光音響波を探触子で受信し、受信信号を数学的に解析することにより、被検体内の特性情報を取得することができる。
特性情報とは、初期音圧分布、光吸収エネルギー密度分布、光吸収係数分布などの光学特性値の分布である。また、これらの情報を複数波長の光を用いて取得することにより、被検体内の特定物質の濃度(血液中のヘモグロビン濃度や、血液の酸素飽和度など)を定量的に計測することができる。
光音響トモグラフィでは、被検体情報を三次元情報として取得することができる。
一般的に、画像の表示は二次元平面上にて行うため、三次元情報を二次元平面に投影する必要がある。被検体を測定して得られた三次元データを二次元画像に変換する方法として、奥行き方向において最大値を持つボクセルを投影する最大値投影法、視点から見て最も手前に位置する信号のみを可視化するサーフェイスレンダリング法などが知られている。
特許文献1には、光音響トモグラフィにより取得された三次元画像データを、最大値投影法にて二次元平面に投影する方法が記載されている。
特開2013−176414号公報
ところが、特許文献1に記載の方法では、三次元データを二次元画像に変換する場合、奥行き方向の情報を区別しにくいという課題がある。
本発明はこのような従来技術の課題に鑑みてなされたものであり、三次元データを二次元画像に変換する画像処理装置において、奥行き方向の情報を区別しやすい画像を提供することを目的とする。
本発明に係る画像処理装置は、
被検体の特性情報を複数のボクセルによって表した三次元データを取得する情報取得手段と、前記被検体の表面形状に関する情報を取得する形状情報取得手段と、前記表面形状に関する情報に基づいて、前記ボクセルのそれぞれについて、前記被検体の表面から当該
ボクセルに対応する前記被検体内の位置までの距離を算出する距離算出手段と、前記ボクセルのそれぞれに対して、前記算出した距離に応じたぼかし処理を含むフィルタ処理を行うフィルタ手段と、前記フィルタ処理後の前記三次元データに基づいて二次元画像を生成する画像生成手段と、を有することを特徴とする。
また、本発明に係る画像処理方法は、
被検体の特性情報を複数のボクセルによって表した三次元データを取得する情報取得ステップと、前記被検体の表面形状に関する情報を取得する形状情報取得ステップと、前記表面形状に関する情報に基づいて、前記ボクセルのそれぞれについて、前記被検体の表面から当該ボクセルに対応する前記被検体内の位置までの距離を算出する距離算出ステップと、前記ボクセルのそれぞれに対して、前記算出した距離に応じたぼかし処理を含むフィルタ処理を行うフィルタステップと、前記フィルタ処理後の前記三次元データに基づいて二次元画像を生成する画像生成ステップと、を含むことを特徴とする。
また、本発明に係る非一時的記憶媒体は、
被検体の特性情報を複数のボクセルによって表した三次元データを取得する情報取得ステップと、前記被検体の表面形状に関する情報を取得する形状情報取得ステップと、前記表面形状に関する情報に基づいて、前記ボクセルのそれぞれについて、前記被検体の表面から当該ボクセルに対応する前記被検体内の位置までの距離を算出する距離算出ステップと、前記ボクセルのそれぞれに対して、前記算出した距離に応じたぼかし処理を含むフィルタ処理を行うフィルタステップと、前記フィルタ処理後の前記三次元データに基づいて二次元画像を生成する画像生成ステップと、を含む画像処理方法をコンピュータに実行させるためのプログラムが記録されたことを特徴とする。
本発明によれば、三次元データを二次元画像に変換する画像処理装置において、奥行き方向の情報を区別しやすい画像を提供することができる。
第一の実施形態に係る被検体情報取得装置の機能ブロックを示す図。 被検体情報を二次元画像に変換する処理のフローチャート図。 被検体の表面形状を取得する処理を説明する図。 被検体の例を表す図。 被検体に対して測定を行った結果を表す図。 ユーザに提供される画面の例を表す図。 第二の実施形態に係る被検体情報取得装置の機能ブロックを示す図。
以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。
本発明は、被検体から伝播する音響波に基づいて生成した被検体内部の特性情報を、二次元画像に変換する技術に関する。よって本発明は、画像処理装置または画像処理方法として捉えることができる。また、当該画像処理装置を含む被検体情報取得装置、画像処理方法を含む被検体情報取得方法として捉えることもできる。
本発明はまた、これらの方法をCPUやメモリ等のハードウェア資源を備える情報処理装置に実行させるプログラムや、そのプログラムを格納した記憶媒体や、情報処理装置として捉えることもできる。
本発明の画像処理装置は、被検体に光(電磁波)を照射することにより被検体内で発生した音響波を受信して、被検体の特性情報を画像データとして取得する光音響効果を利用した装置に適用することができる。この場合、特性情報とは、光音響波を受信することにより得られる受信信号を用いて生成される、被検体内の複数位置のそれぞれに対応する特性値の情報である。
光音響測定により取得される特性情報は、光エネルギーの吸収率を反映した値である。例えば、光照射によって生じた音響波の発生源、被検体内の初期音圧、あるいは初期音圧から導かれる光エネルギー吸収密度や吸収係数、組織を構成する物質の濃度を含む。また、物質濃度として酸化ヘモグロビン濃度と還元ヘモグロビン濃度を求めることにより、酸素飽和度分布を算出できる。また、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率なども求められる。
被検体内の各位置の特性情報に基づいて、二次元または三次元の特性情報分布が得られる。分布データは画像データとして生成され得る。特性情報は、数値データとしてではなく、被検体内の各位置の分布情報として求めてもよい。すなわち、初期音圧分布、エネルギー吸収密度分布、吸収係数分布や酸素飽和度分布などの分布情報である。
本明細書における音響波とは、典型的には超音波であり、音波、音響波と呼ばれる弾性波を含む。探触子等により音響波から変換された電気信号を音響信号とも呼ぶ。ただし、本明細書における超音波または音響波という記載には、それらの弾性波の波長を限定する意図はない。光音響効果により発生した音響波は、光音響波または光超音波と呼ばれる。光音響波に由来する電気信号を光音響信号とも呼ぶ。
(第一の実施形態)
<システム構成>
図1は、第一の実施形態に係る被検体情報取得装置の構成を示す機能ブロック図である。
第一の実施形態に係る被検体情報取得装置は光音響装置であり、光源101、光学系102、音響整合材105、音響波探触子106、信号処理部107、データ処理部108、表示部109を有している。なお、符号103は被検体であり、符号104は光吸収体である。
<<被検体103>>
被検体103は、本実施形態に係る被検体情報取得装置の一部を構成するものではないが、以下に説明する。本実施形態に係る被検体情報取得装置は、人や動物の悪性腫瘍や血管疾患、血糖値などの診断や化学治療の経過観察を行う装置である。よって、被検体としては、生体、具体的には人体や動物の乳房や指、手足などが想定される。
被検体の内部には、生体であれば水や脂肪、タンパク質、酸化ヘモグロビン、還元ヘモグロビンなど、光吸収係数の大きい光吸収体が存在するため、光照射に起因して光音響波が発生する。被検体としてファントムを用いる場合、光学特性を模擬した物質を光吸収体として内部に封入することで、光音響波の発生および測定が可能となる。
<<光源101>>
光源101は、被検体に照射するパルス光を発生させる装置である。光源は、大出力を得るためレーザ光源であることが望ましいが、レーザの代わりに発光ダイオードやフラッシュランプ等を用いることもできる。光源としてレーザを用いる場合、固体レーザ、ガスレーザ、色素レーザ、半導体レーザなど様々なものが使用できる。
また、パルス光の波長は、被検体を構成する成分のうち特定の成分に吸収される特定の
波長であって、被検体内部まで光が伝搬する波長であることが望ましい。具体的には、被検体が生体である場合、700nm以上1200nm以下であることが望ましい。この領域の光は比較的生体深部まで到達することができ、深部の情報を得ることができる。
また、光音響波を効果的に発生させるためには、被検体の熱特性に応じて十分短い時間に光を照射させなければならない。被検体が生体である場合、光源から発生するパルス光のパルス幅は数10ナノ秒以下が好適である。
なお、光照射のタイミング、波形、強度等は、不図示の制御手段によって制御される。
<<光学系102>>
光学系102は、光源101から発せられたパルス光を伝送する部材である。光源から出射された光は、レンズやミラーなどの光学部品により、所定の光分布形状に加工されながら被検体に導かれ、照射される。なお、光ファイバなどの光導波路などを用いて光を伝搬させることも可能である。
光学系102は、例えば、レンズ、ミラー、プリズム、光ファイバ、拡散板、シャッターなどの光学機器などを含んでいてもよい。このような光学部品は、光源から発せられた光が被検体に所望の形状で照射されれば、どのようなものを用いてもかまわない。なお、光はレンズで集光させるより、ある程度の面積に広げる方が、生体への安全性ならびに診断領域を広げられるという観点で好ましい。
<<音響波探触子106>>
音響波探触子106は、被検体103の内部から到来する音響波を受信して、電気信号に変換する手段である。音響波検出素子は、探触子、音響波探触子、音響波検出器、音響波受信器、トランスデューサとも呼ばれる。
生体から発生する音響波は、100KHzから100MHzの超音波であるため、音響波検出素子には、上記の周波数帯を受信できる素子を用いる。具体的には、圧電現象を用いたトランスデューサ、光の共振を用いたトランスデューサ、容量の変化を用いたトランスデューサなどを用いることができる。
また、音響素子は、感度が高く、周波数帯域が広いものを用いることが望ましい。具体的にはPZT(チタン酸ジルコン酸鉛)などを用いた圧電素子、PVDF(ポリフッ化ビニリデン)などの高分子圧電膜材料、CMUT(容量性マイクロマシン超音波トランスデューサ)、ファブリペロー干渉計を用いたものなどが挙げられる。ただし、ここに挙げたものだけに限定されず、探触子としての機能を満たすものであれば、どのようなものであってもよい。
音響波探触子106と被検体103との間には、音響インピーダンスを整合させるための部材である音響整合材105が配置される。音響整合材105には、ジェルや水、オイルなどを利用することができる。
信号処理部107は、取得した電気信号を増幅してデジタル信号に変換する手段である。
信号処理部107は、受信信号を増幅する増幅器、アナログの受信信号をデジタル変換するA/D変換器、受信信号を記憶するFIFO等のメモリと、FPGAチップ等の演算回路を用いて構成されてもよい。また、信号処理部107は、複数のプロセッサや演算回路から構成されていてもよい。
データ処理部108は、デジタル変換された信号(以下、光音響信号)に基づいて、被検体の内部の光吸収係数や酸素飽和度等といった被検体情報を取得する手段である。具体的には、収集された電気信号から三次元の被検体内の初期音圧分布を生成する。初期音圧分布の生成には、例えば、ユニバーサルバックプロジェクション(Universal
Back−projection、以下UBP)アルゴリズムやディレイアンドサム(Delay and Sum)アルゴリズムを用いることができる。
また、データ処理部108は、被検体に照射される光量に関する情報に基づいて、被検体内の三次元の光強度分布を生成する。三次元の光強度分布は、二次元の光強度分布に関する情報から光拡散方程式を解くことで取得できる。また、光音響信号から生成された被検体内の初期音圧分布と、三次元の光強度分布とを用いて、被検体内の吸収係数分布を得ることができる。また、複数の波長における吸収係数分布を演算することで、被検体内の酸素飽和度分布を得ることができる。
また、データ処理部108は、後述する方法で、三次元の吸収係数分布を二次元画像に変換する。
データ処理部108が、本発明における形状情報取得手段、距離算出手段、画像生成手段、表示制御手段である。
データ処理部108は、CPUとRAM、および不揮発メモリ、制御ポートを有するコンピュータで構成してもよい。不揮発メモリに格納されたプログラムがCPUで実行されることにより、各モジュールの制御が行われる。データ処理部108は、汎用コンピュータや専用に設計されたワークステーションであってもよい。
また、データ処理部108の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されていてもよい。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
また、データ処理部108の記憶機能を担うユニットは、ROM(Read only
memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体や、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、これらのユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。データ処理部108の制御機能を担うユニットは、CPUなどの演算素子で構成される。
表示部109は、データ処理部で取得した情報及びその加工情報を表示する手段であり、典型的にはディスプレイ装置である。表示部109は、複数の表示部を備え、並列表示が可能な構成であってもよい。
<被検体の測定方法>
次に、本実施形態に係る被検体情報取得装置によって、被検体である生体を測定する方法について説明する。
まず、光源101から発せられたパルス光を被検体103に照射する。被検体の内部を伝搬した光のエネルギーの一部が血液などの光吸収体に吸収されると、熱膨張により当該光吸収体から音響波が発生する。生体内にがんが存在する場合は、がんの新生血管において他の正常部の血液と同様に光が特異的に吸収され、音響波が発生する。生体内で発生した光音響波は、音響波探触子106で受信される。
音響波探触子106が受信した信号は、信号処理部107で変換されたのち、データ処理部108で解析される。解析結果は、生体内の特性情報(例えば、初期音圧分布や吸収係数分布)を表す画像データに変換され、表示部109を介して出力される。本実施形態では、データ処理部108が吸収係数分布を表す三次元データをまず生成し、当該三次元データを二次元画像に変換して表示部109に出力する。
次に、データ処理部108が、取得した三次元の吸収係数分布(以下、三次元データ)
を、二次元画像に変換する方法について説明する。図2は、データ処理部108が行う処理のフローチャート図である。
まず、ステップS11で、被検体情報である三次元データを取得する。当該三次元データは、三次元空間上のボクセルによって表現されたデータである。本実施形態では、被検体情報に対応する三次元空間内の座標を(X,Y,Z)と表す。
次に、ステップS12で、被検体103の正面となる方向(正面方向)を決定する。正面方向とは、三次元空間内において、被検体画像を提供するユーザの視点が位置する方向である。当該方向は固定されていてもよいし、ユーザの入力(例えば、画面上において被検体を移動/回転させる操作)に応じて変更されてもよい。
次に、ステップS13で、ユーザの視点を基準とする座標系を設定し、三次元データに対して座標変換を行う。ここでは、設定された正面方向と平行な軸であるZ軸、当該Z軸と直交するX軸およびY軸からなる座標系を設定し、三次元データの座標変換を行う。ここでは、Z軸の正方向をユーザの視点側であるものとする。また、変換後の座標系における座標を(X’,Y’,Z’)と表す。
次に、ステップS14で、変換後の座標系におけるX’およびY’の組み合わせのそれぞれについて、Z軸における位置を正方向から負方向に変化させながら走査し、最初に値が得られた(すなわち信号が存在する)ボクセルの座標を記録する。これにより、被検体の表面形状を表すデータ(以下、形状データ)を得ることができる。
ここで、被検体表面の座標を得る方法の具体例を、図3を参照しながら説明する。
符号301〜304は、X’−Y’平面をZ’軸方向に動かす様子を示したものである。図3の例では、符号301から符号304へ進むにつれてZ軸の座標が小さくなる。
ここで、符号302の位置において、ボクセル305の位置に信号が観測されたものとする。この場合、ボクセル305の座標にZ’座標を加えたものを、三次元空間中における被検体表面の座標であると判定する。この処理を、X’−Y’平面上のボクセル全てについて行うことで、被検体表面の立体的な形状データを取得することができる。
ただし、あるボクセルに信号が観測されたとしても、隣接するボクセルに信号が観測されない場合(例えばボクセル306)、当該ボクセルについては信号を観測していないものとして扱う。これは、ノイズを考慮した処理である。すなわち、隣接ボクセルと連続的に信号が観測された位置を、被検体の表面とみなす。例えば、データ処理部108は、隣接するボクセル間のボクセル値の差が所定の値よりも小さい場合に、対応する位置を被検体の表面とみなす処理を行うことができる。
なお、ここでは光音響信号を用いて被検体の形状データを取得する例を挙げたが、他の手段によって形状データを取得してもよい。例えば、超音波、核磁気共鳴、X線などを用いて測定されたデータを、被検体の形状データとして利用してもよい。
なお、データ処理部108が、取得した形状データが示す形状が光音響信号を取得したときの被検体の形状と異なる場合、形状データを補正してもよい。すなわち、データ処理部108が、取得した形状データの示す形状と光音響信号を取得したときの被検体の形状とが対応するように、形状データを補正してもよい。例えば、データ処理部108が、形状データの示す形状をアフィン変換等にしたがって変形させ、変形後の形状を示す形状データを取得してもよい。
図2に戻って説明を続ける。
ステップS15で、被検体の内部(表面より内側)に存在する各ボクセルについて、被検体表面までの距離を求める。以下、ここで求めた距離を、ボクセル深度と称する。なお、被検体表面とボクセルとの距離とは、被検体表面における法線方向の距離のことを指す。
次に、ステップS16で、各ボクセルが保持している値に対して、対応するボクセル深度を用いてフィルタ処理を行う。ここでは、フィルタの方法として以下の2つの方法を例示する。もちろん、例示したフィルタ以外を適用してもよい。
(1)ボクセル深度が大きいほど、ボクセル値が小さくなるフィルタ処理を行う
当該方法によると、被検体の表面(例えば人の皮膚)から奥行き方向に遠ざかる(すなわち、ユーザの視点から遠ざかる)ほど、ボクセルに対応づいた値が小さくなる(二次元画像に変換した際の輝度が小さくなる)ようなフィルタ処理が行われる。例えば、ボクセル深度が大きいほど、ボクセル値に対する重みを小さくするフィルタ処理を適用してもよい。
(2)ボクセル深度が大きいほど、ボケの強度が強くなるフィルタ処理を行う
当該方法によると、被検体の表面から奥行き方向に遠ざかるほど、ボクセルに対応づいた値がより強く散乱する(二次元画像に変換した際のボケの強度が大きくなる)ようなフィルタ処理が行われる。例えば、ガウスぼかしを適用し、被検体表面からの距離に基づいて、ぼかし半径を変化させることで、被検体表面からの距離が遠いボクセルの画像を強くぼかすように処理する。すなわち、被検体表面からの距離が遠いほど、ガウシアン分布の半径を大きくして、三次元データにガウシアン分布をコンボリューションする。
次に、ステップS17で、フィルタ処理後の三次元データを用いて、所望のレンダリング方法により二次元画像を生成し、表示部109に出力する。例えば、レンダリング方法としては、最大値投影法、最小値投映法、ボリュームレンダリング、サーフェイスレンダリングなどの公知のレンダリング方法を採用することができる。
例えば、上記(1)のフィルタ処理後の三次元データを最大値投影法により投影すると、ボクセル深度の大きい位置の透明度が高い二次元画像を表示させることができる。また、上記(2)のフィルタ処理後の三次元データを最大値投影法により投影すると、ボクセル深度の大きい位置でのボケ具合が高い二次元画像を表示させることができる。このようにして、奥行き感を表現した二次元画像を表示させることができる。その結果、医師等の使用者は、奥行き方向の情報を区別しやすい二次元画像を確認して診断を行うことができる。
本実施形態では(1)または(2)のフィルタ処理のように三次元データのボクセル値を変更するフィルタ処理を適用した。ただし、これらのフィルタ処理以外にも、ボクセル深度に応じて透明度、または、ボケ具合を変更することのできるフィルタ処理であれば、いかなる方法を採用してもよい。
なお、フィルタ処理後の三次元データをメモリに保存した後に、メモリに保存されたフィルタ処理後の三次元データを投影することにより二次元画像を生成してもよい。また、三次元データを投影する際にフィルタ処理を適用してもよい。このような処理も、フィルタ処理後の三次元データに基づいて二次元画像を生成するものと等価である。
ここで、図4に示したような円錐形である被検体401に対して光音響測定を行い、生成された三次元データに対してフィルタ処理を行う例を挙げる。被検体401には、底面と平行な直線状の光吸収体4本と、表面に沿った円状の光吸収体4つが配置されている。本例では、被検体の頂点側を手前とし、底面側と奥側として光音響測定を行う。
図5に示した画像502は、取得した三次元データを、従来の最大値投影法を用いて二次元化した画像である。画像502では、すべての線が同じ輝度で描写されていることがわかる。また、画像503は、三次元データを、従来のボリュームレンダリングの手法を
用いて二次元化した画像である。画像503では、視点からの距離に応じて線の輝度が変化していることがわかる。
画像504は、取得した三次元データを、本発明に係る方法によって二次元化した画像である。画像504では、最も近い被検体表面からの距離に基づいて、ボクセルに対してぼかしフィルタを適用する。このようしてぼかしフィルタを適用した三次元ボクセルを最大値投映法により二次元画像として表示する。
画像505,506,507は、それぞれ画像502,503,504の中心付近を拡大したものである。図からもわかるように、画像505からは、光吸収体の位置関係を把握することはできない。これに対して、画像506および507では、光吸収体の位置関係を把握することが容易になっている。
同様に、画像508,509,510は、それぞれ画像502,503,504の右下付近を拡大したものである。図からもわかるように、画像508および509と比較して、画像510では、光吸収体の深度(表面からの距離)が把握しやすくなっている。
なお、図5の例では、被検体表面と光吸収体の位置関係を示すため、被検体の表面に近い光吸収体を強調し、被検体の深部にある光吸収体をぼかす処理を行ったが、他の方法も採用可能である。例えば、被検体の深部にある光吸収体に対してより小さい輝度を与え、表面付近にある光吸収体に対してより大きい輝度を与えるようなフィルタ処理を行ってもよい。
図6は、表示部109に表示されるユーザインタフェースの例である。当該ユーザインタフェースは、マウス等のポインティングシステムを用いて操作するウィンドウシステムによって表示される。
ウィンドウ601には、取得した光音響信号を被検体ごとに一覧表示するリスト表示部602と、光音響信号を画像化して表示する画像表示部603が配置されている。また、画像表示部における画像の表示方法を変更するための切り替えボタン604が配置されている。
画像表示部603には、リスト表示部602にて選択した被検体に対応する光音響画像が表示される。画像表示部603には、切り替えボタン604にて選択された画像処理方法によって二次元化された被検体画像が表示される。
本実施形態では、切り替えボタン604を押下することで、任意の画像処理方法を選択することができる。選択可能な画像処理方法として、例えば、断層画像の三断面表示、ボリュームレンダリングデータの二次元射影、最大値投影法、本発明に係る表示方法などが挙げられる。
なお、リスト表示部602と画像表示部603は、同じウィンドウ上に配置してあっても、別のウィンドウ上に配置してあってもよい。また、画像処理方法を選択するためのボタンは、切り替えボタン604のようにウィンドウ上に配置されなくてもよい。例えば、ウィンドウに付属するメニュー605に配置してもよい。
また、本実施形態では、画像表示部603にて表示した画像を、ポインティングデバイスなどを用いて回転させることができる。ここで、任意の向きを正面として決定すると、切り替えボタン604にて選択した方法を用いて、三次元データが二次元画像に変換される。また、切り替えボタン604によって、本発明に係る方法を選択していた場合、決定
した姿勢に応じた座標変換がステップS13で行われる。
(第二の実施形態)
第二の実施形態は、半球状の音響波探触子を用いて人の乳房に対する測定を行い、乳房内の血管を可視化する実施形態である。また、第二の実施形態に係る被検体情報取得装置は、複数の波長を用いて測定を行うことで、乳房内の酸素飽和度分布を取得する。これにより、乳房内における動脈と静脈の位置を判断することができる。
第二の実施形態では、音響波探触子106が、半球状の支持部材に取り付けられている。なお、図7では、音響波探触子が支持部材の一部に取り付けられている例を示したが、音響波探触子106は、支持部材上を移動可能な構成であってもよい。また、複数の音響素子を支持部材の内側に分散して配置することで音響波探触子106を構成してもよい。
その他の構成は第一の実施形態と同様であるため、説明は省略する。
光源101から、光学系102を通じて被検体103に相当する乳房703にパルス光を照射すると、吸収体104に相当する血管内の赤血球704で光の吸収が起きる。
赤血球704は、酸素化ヘモグロビンと脱酸素化ヘモグロビンを含み、照射される波長ごとに吸収量が異なる。このことを利用して、光源101から複数の波長の光を照射することで、被検体内の酸素飽和度の分布を得ることができる。複数の波長とは、例えば、756ナノメートルと、797ナノメートルの二種類の波長である。
赤血球704から得られた光音響波は、音響整合材105を通じて音響波探触子106に到達し、電気信号(光音響信号)に変換される。得られた光音響信号は、信号処理部107を介してデータ処理部108に送信される。
データ処理部108では、複数の波長ごとに得られた光音響信号を用いて、ボクセルごとの酸素飽和度を計算する。
また、乳房703の形状データを取得した後、光音響信号が検出されたボクセルと被検体表面との距離を計算し、得られた距離に基づいて、各ボクセルに対するフィルタ処理を行なう。具体的には、皮膚表面からの距離が大きいボクセルは透明化処理を行う。フィルタ処理後の画像は、奥行き方向に重なるボクセルでそれぞれ信号が有る場合には、より深い位置のボクセルが透明化されているために、被検体表面に近いボクセルのみを投影されることで、立体感のある二次元画像として表示部109に出力される。
赤血球704は、血管を流れる血液中に存在しているため、乳房内の赤血球を画像化することで血管像を描出することができる。また、複数の波長を用いて酸素飽和度を計算すると、血管内の酸素飽和度分布を得ることができるため、関心領域内の血管が動脈であるか、静脈であるかを把握できるようになる。
光音響測定によって得られた画像上において血管の動静脈の区別をする場合、血管の連続性が視認しやすいことが重要となる。本発明に係る方法によって二次元画像を生成することで、被検体組織の深さと血管の連続性、血管同士の重なりを判別することが可能となる。すなわち、画像化された血管の動静脈の区別が容易になる。
なお、本実施形態において、複数の波長に対応する複数の三次元データのそれぞれにフィルタ処理を実行した後に、フィルタ処理後の複数の三次元データに基づいて酸素飽和度分布を算出してもよい。このとき、複数の三次元データの夫々に異なるフィルタ処理を実行してもよい。例えば、短波長側の波長ではメラニンの吸収が強くなり、深部で発生する音響波の振幅が小さくなるため、深部の画質が低下する場合がある。そこで、長波長側の波長に比べて、短波長側の波長に対応する三次元データに対して、表面からの距離が大きくなるにつれてボケの強度を強くしたり、輝度を弱くしたりしてもよい。これにより、波長間における三次元データの画質の違いを小さくすることができる。
なお、第二の実施形態に、被検体の形状を測定する手段を追加してもよい。例えば、超音波を被検体に送信し、反射波に基づいて当該被検体の形状を取得する検出装置713を追加してもよい。
(その他の実施形態)
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。
例えば、本発明は、上記処理の少なくとも一部を実施する被検体情報取得装置として実施することもできる。また、本発明は、上記処理の少なくとも一部を含む被検体情報取得方法として実施することもできる。
また、本発明は、被検体情報取得装置が取得した三次元データに対して画像処理を行う画像処理装置として実施することもできる。また、本発明は、当該画像処理装置が行う画像処理方法として実施することもできる。
また、上記方法をコンピュータに実行させるためのプログラムや、当該プログラムが記憶された非一時的記憶媒体として実施することもできる。
上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、実施形態の説明では、対象のボクセルが被検体の表面に近いほど視認性を高める(値を大きく補正する)フィルタ処理を例示したが、被検体の表面との距離に基づいてフィルタの強度を決定するものであれば、他のフィルタ処理を行ってもよい。例えば、被検体の深部であるほど値を大きく補正してもよい。
また、本発明における「複数のボクセル」は、取得した三次元データの全領域である必要はない。例えば、取得した三次元データを構成する一部のボクセルに対してのみ、実施形態で説明したようなフィルタ処理を行うようにしてもよい。また、残りのボクセルについては、フィルタ処理の結果を反映させる(例えば補間などを行う)ようにしてもよい。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の1以上の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータにおける一つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、FPGAやASIC)によっても実現可能である。
107:信号処理部、108:データ処理部

Claims (15)

  1. 被検体の特性情報を複数のボクセルによって表した三次元データを取得する情報取得手段と、
    前記被検体の表面形状に関する情報を取得する形状情報取得手段と、
    前記表面形状に関する情報に基づいて、前記ボクセルのそれぞれについて、前記被検体の表面から当該ボクセルに対応する前記被検体内の位置までの距離を算出する距離算出手段と、
    前記ボクセルのそれぞれに対して、前記算出した距離に応じたぼかし処理を含むフィルタ処理を行うフィルタ手段と、
    前記フィルタ処理後の前記三次元データに基づいて二次元画像を生成する画像生成手段と、
    を有することを特徴とする、画像処理装置。
  2. 前記フィルタ手段は、前記ボクセルのそれぞれに対して、前記被検体の表面からの距離が大きいほどボケの強度を強くする前記フィルタ処理を行う
    ことを特徴とする、請求項1に記載の画像処理装置。
  3. 前記画像生成手段は、前記フィルタ処理後の前記三次元データを用いて、投影により前記二次元画像を生成する
    ことを特徴とする、請求項1に記載の画像処理装置。
  4. 前記形状情報取得手段は、隣接ボクセルと連続的に信号が観測された位置を、被検体の表面とみなす処理によって、前記被検体の表面形状に関する情報を取得する
    ことを特徴とする、請求項1に記載の画像処理装置。
  5. 前記三次元データは、前記被検体への光照射により発生した音響波に基づいて生成されたデータである
    ことを特徴とする、請求項1に記載の画像処理装置。
  6. 前記三次元データは、複数の波長の光照射に対応する複数の三次元データを含み、
    前記フィルタ手段は、前記複数の三次元データのそれぞれに互いに異なるフィルタ処理を行う
    ことを特徴とする、請求項5に記載の画像処理装置。
  7. 前記フィルタ手段は、前記複数の三次元データに対して、光照射の波長が小さいほどボケの強度を強くするフィルタ処理を行う
    ことを特徴とする、請求項6に記載の画像処理装置。
  8. 被検体の特性情報を複数のボクセルによって表した三次元データを取得する情報取得ステップと、
    前記被検体の表面形状に関する情報を取得する形状情報取得ステップと、
    前記表面形状に関する情報に基づいて、前記ボクセルのそれぞれについて、前記被検体の表面から当該ボクセルに対応する前記被検体内の位置までの距離を算出する距離算出ステップと、
    前記ボクセルのそれぞれに対して、前記算出した距離に応じたぼかし処理を含むフィルタ処理を行うフィルタステップと、
    前記フィルタ処理後の前記三次元データに基づいて二次元画像を生成する画像生成ステップと、
    を含むことを特徴とする、画像処理方法。
  9. 前記フィルタステップでは、前記ボクセルのそれぞれに対して、前記被検体の表面からの距離が大きいほどボケの強度を強くする前記フィルタ処理を行う
    ことを特徴とする、請求項8に記載の画像処理方法。
  10. 前記画像生成ステップでは、前記フィルタ処理後の前記三次元データを用いて、
    投影により前記二次元画像を生成する
    ことを特徴とする、請求項8に記載の画像処理方法。
  11. 前記形状情報取得ステップでは、隣接ボクセルと連続的に信号が観測された位置を、被検体の表面とみなす処理によって、前記被検体の表面形状に関する情報を取得する
    ことを特徴とする、請求項8に記載の画像処理方法。
  12. 前記三次元データは、前記被検体への光照射により発生した音響波に基づいて生成されたデータである
    ことを特徴とする、請求項8に記載の画像処理方法。
  13. 前記三次元データは、複数の波長の光照射に対応する複数の三次元データを含み、
    前記フィルタステップでは、前記複数の三次元データのそれぞれに互いに異なるフィルタ処理を行う
    ことを特徴とする、請求項12に記載の画像処理方法。
  14. 前記フィルタステップでは、前記複数の三次元データに対して、光照射の波長が小さいほどボケの強度を強くするフィルタ処理を行う
    ことを特徴とする、請求項13に記載の画像処理方法。
  15. 被検体の特性情報を複数のボクセルによって表した三次元データを取得する情報取得ステップと、
    前記被検体の表面形状に関する情報を取得する形状情報取得ステップと、
    前記表面形状に関する情報に基づいて、前記ボクセルのそれぞれについて、前記被検体の表面から当該ボクセルに対応する前記被検体内の位置までの距離を算出する距離算出ステップと、
    前記ボクセルのそれぞれに対して、前記算出した距離に応じたぼかし処理を含むフィルタ処理を行うフィルタステップと、
    前記フィルタ処理後の前記三次元データに基づいて二次元画像を生成する画像生成ステップと、
    を含む画像処理方法をコンピュータに実行させるためのプログラムが記録された非一時的記憶媒体。
JP2018045346A 2017-03-27 2018-03-13 画像処理装置および画像処理方法 Pending JP2018161467A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017061164 2017-03-27
JP2017061164 2017-03-27

Publications (1)

Publication Number Publication Date
JP2018161467A true JP2018161467A (ja) 2018-10-18

Family

ID=63581146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018045346A Pending JP2018161467A (ja) 2017-03-27 2018-03-13 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US10438382B2 (ja)
JP (1) JP2018161467A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7447344B2 (en) * 2004-04-16 2008-11-04 Siemens Medical Solutions Usa, Inc. System and method for visualization of pulmonary emboli from high-resolution computed tomography images
JP4832927B2 (ja) * 2006-03-14 2011-12-07 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
JP5599709B2 (ja) * 2007-09-03 2014-10-01 コーニンクレッカ フィリップス エヌ ヴェ ボクセルデータの可視化
EP2312534A3 (en) * 2009-10-15 2011-07-06 Hitachi Aloka Medical, Ltd. Ultrasonic volume data processing device
JP5518096B2 (ja) * 2009-12-17 2014-06-11 キヤノン株式会社 測定システム、画像形成方法及びプログラム
GB2478329B (en) * 2010-03-03 2015-03-04 Samsung Electronics Co Ltd Medical image processing
US20130109963A1 (en) * 2011-10-31 2013-05-02 The University Of Connecticut Method and apparatus for medical imaging using combined near-infrared optical tomography, fluorescent tomography and ultrasound
JP5762995B2 (ja) 2012-02-28 2015-08-12 富士フイルム株式会社 光音響画像生成装置及び方法

Also Published As

Publication number Publication date
US20180276855A1 (en) 2018-09-27
US10438382B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
JP6504826B2 (ja) 情報処理装置および情報処理方法
US10531798B2 (en) Photoacoustic information acquiring apparatus and processing method
JP2010088627A (ja) 生体情報処理装置および生体情報処理方法
JP6335612B2 (ja) 光音響装置、処理装置、処理方法、及びプログラム
JP2013255697A (ja) 被検体情報取得装置およびその制御方法
US20170325693A1 (en) Photoacoustic apparatus and control method of photoacoustic apparatus
JP6732476B2 (ja) 被検体情報取得装置
US20170265750A1 (en) Information processing system and display control method
EP3329843B1 (en) Display control apparatus, display control method, and program
KR101899838B1 (ko) 광음향 장치 및 정보 취득장치
US20180228377A1 (en) Object information acquiring apparatus and display method
JP6486056B2 (ja) 光音響装置および光音響装置の処理方法
JP6469133B2 (ja) 処理装置、光音響装置、処理方法、およびプログラム
JP2018126389A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018207692A1 (en) Display control apparatus, image display method, and program
JP6776115B2 (ja) 処理装置および処理方法
JP2019088346A (ja) 光音響装置および被検体情報取得方法
US20200275840A1 (en) Information-processing apparatus, method of processing information, and medium
US20190099083A1 (en) Information processing apparatus and information processing method
US20200085345A1 (en) Object information acquisition apparatus and method of controlling the same
JP2018161467A (ja) 画像処理装置および画像処理方法
WO2018230409A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019083887A (ja) 情報処理装置および情報処理方法
US11599992B2 (en) Display control apparatus, display method, and non-transitory storage medium
WO2017222033A1 (en) Apparatus and information processing method

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116