JP2018089371A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2018089371A
JP2018089371A JP2017228155A JP2017228155A JP2018089371A JP 2018089371 A JP2018089371 A JP 2018089371A JP 2017228155 A JP2017228155 A JP 2017228155A JP 2017228155 A JP2017228155 A JP 2017228155A JP 2018089371 A JP2018089371 A JP 2018089371A
Authority
JP
Japan
Prior art keywords
subject
image
image data
photoacoustic
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017228155A
Other languages
English (en)
Inventor
阿部 浩
Hiroshi Abe
浩 阿部
一仁 岡
Kazuhito Oka
一仁 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2018089371A publication Critical patent/JP2018089371A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0475Special features of memory means, e.g. removable memory cards
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0091Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Power Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)

Abstract

【課題】 本発明は、視認性の高い光音響画像データの画像を表示することのできる装置を提供することを目的とする。
【解決手段】 本発明は、被検体への光照射により発生する光音響波に由来するボリュームデータである光音響画像データの画像を表示手段に表示させる情報処理装置であって、被検体の表面の位置情報を取得する第1の手段と、被検体の表面の位置情報に基づいて、被検体の表面に倣った面における光音響画像データの画像を表示手段に表示させる第2の手段とを有する。
【選択図】 図1

Description

本発明は、光音響画像データの表示を制御する装置に関する。
光音響イメージングは、光を照射することで光吸収体から発生した音響波を受信して光吸収体の空間分布を画像化することができるイメージング技術である。光音響イメージングを生体に適用することで、ヘモグロビンを含む血管などの光吸収体を画像化することができる。
特許文献1は、光音響イメージング原理を利用して3次元空間(XYZ空間)の光音響画像データを生成し、ある平面の光音響画像データの断層画像を表示することを開示する。特許文献1は、プローブがX方向に配列された複数の超音波振動子を有し、プローブをY方向に走査する場合に、XZ断面の光音響画像データの断層画像を表示することを開示する。
特開2013−233386号公報
しかしながら、光音響画像データの画像を表示する際に3次元空間のある平面を表示断面とすると、視認性の低い画像となってしまう場合がある。
そこで、本発明は、視認性の高い光音響画像データの画像を表示することのできる装置を提供することを目的とする。
本発明は、被検体への光照射により発生する光音響波に由来するボリュームデータである光音響画像データの画像を表示手段に表示させる情報処理装置であって、被検体の表面の位置情報を取得する第1の手段と、被検体の表面の位置情報に基づいて、被検体の表面に倣った面における光音響画像データの画像を表示手段に表示させる第2の手段とを有する。
本発明に係る装置によれば、視認性の高い光音響画像データの画像を表示することができる。
本発明及び比較例に係る表示断面を示す模式図 本実施形態に係る光音響装置を示すブロック図 本実施形態に係るプローブを示す模式図 本実施形態に係るコンピュータとその周辺の構成を示すブロック図 本実施形態に係る表示方法を示すフロー図 本実施形態に係る画像の生成方法を示す模式図 本実施形態に係る画像の別の生成方法を示す模式図 本実施形態に係る画像の生成方法を示す模式図 本実施形態に係るGUIを示す模式図
本発明は、光照射により発生した光音響波に由来するボリュームデータとしての光音響画像データの表示方法に関する発明である。光音響画像データは、光音響波の発生音圧(初期音圧)、光吸収エネルギー密度、及び光吸収係数、被検体を構成する物質の濃度(酸素飽和度など)などの少なくとも1つの被検体情報の3次元空間分布を表すボリュームデータである。
図1(a)は、直方体の再構成領域1010を設定し、再構成されたボリュームデータとしての光音響画像データの模式図を示す。図1(a)に示す光音響画像データには、被検体100の画像データが含まれている。図1(a)に示す光音響画像データは、紙面下方向から光が照射され得られたものである。
典型的には、照射光の被検体100の内部での光フルエンスは、被検体100の表面から指数関数的に減衰していく。そのため、典型的には、被検体100の表面から離れるにしたがって発生する光音響波の音圧は低減する傾向があり、被検体100の表面から離れるにしたがって光音響画像データのS/Nが低下する傾向がある。図1(a)の点線1021及び1022は、光フルエンスの略等値面を示す。点線1021の略等値面の方が、点線1022の略等値面よりも高い光フルエンスの面を示す。なお、前述したように、光フルエンスの略等値面は、被検体100の表面に倣った形状となる傾向がある。
このような特性を有する光音響画像データに対して、比較例として、任意の平面で切り出して断層画像を表示する多断面再構成(MPR:Multi Planar Reconstruction)を適用する場合を考える。光音響画像データを図1(a)に一点差線で示した平面1031で切り出した場合、図1(b)に示す断層画像が表示される。図1(b)に示すように、平面1031の各位置に到達する光フルエンスには大きなばらつきがある。そのため、断層画像内のS/Nにも大きなばらつきが生じ、画質にも大きなばらつきが生じるため、断層画像の視認性は低い。すなわち、画質の低い冗長な領域を含む断層画像が表示されることとなる。
そこで、本発明者は、被検体100の表面に倣った面の光音響画像データを抽出して、光音響画像データの画像を生成し、表示することを見出した。これにより、被検体100の表面に倣った面に対応する光フルエンスの略等値面を表示断面とする光音響画像データの画像を生成することができる。そのため、画像内の各位置のS/Nのばらつきが小さく、視認性の高い画像が表示されることとなる。これにより、医師等のユーザーは、画像内の画質のバラつきの小さい画像を確認して診断できるため、診断能が向上する。被検体100が乳房等の生体である場合、典型的に被検体100の表面に倣った面は曲面となる。
また、被検体100の表面に倣った複数の面における画像を生成し、表示してもよい。被検体100の表面の法線方向に光音響画像データの画像を送って表示してもよい。すなわち、被検体100の表面に倣った複数の画像を、所定の時間間隔やユーザーの指示に基づいて決定されたタイミングで順番に表示してもよい。例えば、略等値面1021の光音響画像データを切り出した画像と、略等値面1022の光音響画像データを切り出した画像とを順番に表示してもよい。
また、光音響画像データと併せて、超音波診断装置、CT、MRIなどの別のモダリティで得られたボリュームデータ(3次元の画像データ)を表示する場合にも、被検体100の表面に倣った画像を表示してもよい。この場合、光音響画像データの画像と、別のモダリティで得られた画像データの画像とを並列表示、重畳表示、または切り替え表示等により、比較できるように表示してもよい。なお、光音響画像データと別のモダリティで得られた画像データにおける被検体100の形状が異なる場合、形状の差異が小さくなるように少なくとも一方の画像データを変形させてもよい。そして、変形処理を行った後に、被検体100の表面に倣った面におけるそれぞれの画像データの画像を生成し、比較できるように表示してもよい。
なお、被検体の表面に倣った厚みを有する層に対応する光音響画像データを投影することにより、被検体の表面に倣った画像を生成し、表示してもよい。このとき、被検体の表面の法線方向に投影することにより、被検体の表面に倣った面の2次元の投影画像を生成してもよい。このような投影方法により、各投影方向における光フルエンスの空間分布が同程度となるため、画像内でのS/Nのばらつきを小さくなる。このように被検体の表面に倣った厚みを有する層に対応する光音響画像データを投影して得られる2次元の投影画像を、被検体の表面に倣った面の光音響画像データの画像としてもよい。なお、被検体の表面に倣った厚みを有する層は、被検体の表面に倣った面が中心を通る層であってもよいし、被検体の表面に倣った面がいずれかの面を構成する層であってもよい。すなわち、被検体の表面に倣った厚みを有する層は、被検体の表面に倣った面に沿った層であれば、いかなる層であってもよい。
なお、図1では、紙面下方向から広い領域に光照射が行われた例を説明したが、その他の方法で光照射がなされた場合にも、上記で説明した表示方法で画像の表示を行うことができる。例えば、局所的に光を照射する場合や複数の位置に光照射を行う場合に、本発明に係る画像の表示方法を適用してもよい。
なお、光音響画像データの画像とは、光音響画像データの画像値に輝度を割り当てた画像であってもよいし、光音響画像データの画像値に係数を掛けた値に輝度を割り当てた画像であってもよい。また、光音響画像データの画像とは、光音響画像データの画像値やこれに係数を掛けた値に色相、明度、彩度のいずれかを割り当てた画像であってもよい。すなわち、光音響画像データの画像とは、光音響画像データの画像値に基づいた画像であれば、どのように表現された画像であってもよい。
以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
以下、本実施形態の光音響装置の構成及び情報処理方法について説明する。
本実施形態において、光音響装置を用いた例を説明する。図2を用いて本実施形態に係る光音響装置の構成を説明する。図2は、光音響装置全体の概略ブロック図である。本実施形態に係る光音響装置は、光照射部110及び受信部120を含むプローブ180、駆動部130、信号収集部140、コンピュータ150、表示部160、及び入力部170を有する。
図3は、本実施形態に係るプローブ180の模式図を示す。測定対象は、被検体100である。駆動部130は、光照射部110と受信部120を駆動し、機械的な走査を行う。光照射部110が光を被検体100に照射し、被検体100内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部120は、光音響波を受信することによりアナログ信号としての電気信号(光音響信号)を出力する。
信号収集部140は、受信部120から出力されたアナログ信号をデジタル信号に変換し、コンピュータ150に出力する。コンピュータ150は、信号収集部140から出力されたデジタル信号を、超音波または光音響波に由来する信号データとして記憶する。
コンピュータ150は、記憶されたデジタル信号に対して信号処理を行うことにより、被検体100に関する情報(被検体情報)を表すボリュームデータ(光音響画像)を生成する。また、コンピュータ150は、得られたボリュームデータの画像を表示部160に表示させる。ユーザーとしての医師は、表示部160に表示された画像を確認することにより、診断を行うことができる。表示画像は、ユーザーやコンピュータ150からの保存指示に基づいて、コンピュータ150内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどに保存される。
また、コンピュータ150は、光音響装置に含まれる構成の駆動制御も行う。また、表示部160は、コンピュータ150で生成された画像の他にGUIなどを表示してもよい。入力部170は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部170を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。
以下、本実施形態に係る光音響装置の各構成の詳細を説明する。
(光照射部110)
光照射部110は、光を発する光源111と、光源111から射出された光を被検体100へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
光源111が発する光のパルス幅としては、1ns以上、100ns以下のパルス幅であってもよい。また、光の波長として400nmから1600nm程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長(400nm以上、700nm以下)を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織(水や脂肪など)において典型的に吸収が少ない波長(700nm以上、1100nm以下)の光を用いてもよい。
光源111としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Nd:YAGレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Nd:YAGレーザー光を励起光とするTi:saレーザーやOPO(Optical Parametric Oscillators)レーザーを光源として用いてもよい。また、光源111としてフラッシュランプや発光ダイオードを用いてもよい。また、光源111としてマイクロウェーブ源を用いてもよい。
光学系112には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体100とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系112の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
なお、光照射部110が光学系112を備えずに、光源111から直接被検体100に光を照射してもよい。
(受信部120)
受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
トランスデューサ121を構成する部材としては、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミック材料や、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ(CMUT:Capacitive Micro−machined Ultrasonic Transducers)、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値(例えば、音圧に比例した値)を表したものである。
光音響波を構成する周波数成分は、典型的には100KHzから100MHzであり、トランスデューサ121として、これらの周波数を検出することのできるものを採用することができる。
支持体122は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体122の被検体100側の表面に鏡面もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体122は半球殻形状であり、半球殻上に複数のトランスデューサ121を支持できるように構成されている。この場合、支持体122に配置されたトランスデューサ121の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ121から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体122はトランスデューサ121を支持できる限り、いかなる構成であってもよい。支持体122は、1Dアレイ、1.5Dアレイ、1.75Dアレイ、2Dアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ121が複数の受信手段に相当する。
また、支持体122は音響マッチング材210を貯留する容器として機能してもよい。すなわち、支持体122をトランスデューサ121と被検体100との間に音響マッチング材210を配置するための容器としてもよい。
また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を時系列のデジタル信号に変換するA/D変換器を備えてもよい。すなわち、受信部120が後述する信号収集部140を備えてもよい。
なお、音響波を様々な角度で検出できるようにするために、理想的には被検体100を全周囲から囲むようにトランスデューサ121を配置してもよい。ただし、被検体100が大きく全周囲を囲むようにトランスデューサを配置できない場合は、半球状の支持体122上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。
なお、トランスデューサの配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはあらゆる受信部120を採用することができる。
受信部120と被検体100との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
図3(a)は、プローブ180の側面図を示し、図3(b)は、プローブ180の上面図(図3(a)の紙面上方向から見た図)を示す。図2に示された本実施形態に係るプローブ180は、開口を有する半球状の支持体122に複数のトランスデューサ121が3次元に配置された受信部120を有する。また、図2に示されたプローブ180は、支持体122の底部に光学系112の光射出部が配置されている。
本実施形態においては、図2に示すように被検体100は、保持部200に接触することにより、その形状が保持される。本実施形態では、被検体100が乳房の場合に、伏臥位の被検者を支持する寝台に乳房を挿入するための開口を設けて、開口から鉛直方向に垂らされた乳房を測定する形態を想定している。
受信部120と保持部200の間の空間は、光音響波が伝播することができる媒質(音響マッチング材210)で満たされる。この媒質には、光音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
保持手段としての保持部200は被検体100の形状を測定中に保持するために使用される。保持部200により被検体100を保持することによって、被検体100の動きの抑制および被検体100の位置を保持部200内に留めることができる。保持部200の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。
保持部200は、被検体100を保持できる硬度を有する材料であることが好ましい。保持部200は、測定に用いる光を透過する材料であってもよい。保持部200は、インピーダンスが被検体100と同程度の材料で構成されていてもよい。乳房等の曲面を有するものを被検体100とする場合、凹型に成型した保持部200であってもよい。この場合、保持部200の凹部分に被検体100を挿入することができる。
保持部200は、取り付け部201に取り付けられている。取り付け部201は、被検体の大きさに合わせて複数種類の保持部200を交換可能に構成されていてもよい。例えば、取り付け部201は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。
また、保持部200には保持部200の情報が登録されたタグ202が設置されていてもよい。例えば、タグ202には、保持部200の曲率半径、曲率中心、音速、識別ID等の情報を登録することができる。タグ202に登録された情報は、読み取り部203により読み出され、コンピュータ150に転送される。保持部200が取り付け部201に取り付けられたときに容易にタグ202を読み取るために、読み取り部203は取り付け部201に設置されていてもよい。例えば、タグ202はバーコードであり、読み取り部203はバーコードリーダである。
(駆動部130)
駆動部130は、被検体100と受信部120との相対位置を変更する部分である。本実施形態では、駆動部130は、支持体122をXY方向に移動させる装置であり、ステッピングモーターを搭載した電動のXYステージある。駆動部130は、駆動力を発生させるステッピングモーターなどのモーターと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、などを用いたポテンショメータなどを用いることができる。
なお、駆動部130は被検体100と受信部120との相対位置をXY方向(2次元)に変更させるものに限らず、1次元または3次元に変更させてもよい。移動経路は平面的にスパイラル状やライン&スペースで走査してもよいし、さらに3次元的に体表に沿うように傾けてもよい。また、被検体100の表面からの距離を一定に保つようにしてプローブ180を移動させてもよい。このとき駆動部130は、モーターの回転数をモニターするなどしてプローブの移動量を計測してもよい。
なお、駆動部130は、被検体100と受信部120との相対的な位置を変更できれば、受信部120を固定し、被検体100を移動させてもよい。被検体100を移動させる場合は、被検体100を保持する保持部を動かすことで被検体100を移動させる構成などが考えられる。また、被検体100と受信部120の両方を移動させてもよい。
駆動部130は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部130は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。すなわち、光音響装置は、駆動部130を有さずに、ユーザーがプローブ180を把持して操作するハンドヘルドタイプであってもよい。
また、本実施形態では、駆動部130は光照射部110と受信部120を同時に駆動して走査を行っているが、光照射部110だけを駆動したり、受信部120だけを駆動したりしてもよい。
(信号収集部140)
信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140は、FPGA(Field Programmable Gate Array)チップなどで構成されてもよい。信号収集部140から出力されるデジタル信号は、コンピュータ150内の記憶部152に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、信号収集部140は、光照射部110の光射出部に取り付けられた光検出センサと接続されており、光が光照射部110から射出されたことをトリガーに、同期して処理を開始してもよい。また、信号収集部140は、フリーズボタンなどを用いてなされる指示をトリガーに同期して、当該処理を開始してもよい。
(コンピュータ150)
情報処理装置としてのコンピュータ150は、演算部151、記憶部152、制御部153を含む。各構成の機能については処理フローの説明の際に説明する。
演算部151としての演算機能を担うユニットは、CPUやGPU(GraphicsProcessing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部151は、入力部170から、被検体音速や保持部の構成などの各種パラメータを受けて、受信信号を処理してもよい。
記憶部152は、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部152は、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部152は、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
記憶部152は、後述する方法で演算部151により生成される光音響画像を示す画像データを保存することができる。
制御部153は、CPUなどの演算素子で構成される。制御部153は、光音響装置の各構成の動作を制御する。制御部153は、入力部170からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、制御部153は、記憶部152に格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。
コンピュータ150は専用に設計されたワークステーションであってもよい。また、コンピュータ150の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ150の少なくとも一部の構成は単一のハードウェアで構成されてもよい。
図4は、本実施形態に係るコンピュータ150の具体的な構成例を示す。本実施形態に係るコンピュータ150は、CPU154、GPU155、RAM156、ROM157、外部記憶装置158から構成される。また、コンピュータ150には、表示部160としての液晶ディスプレイ161、入力部170としてのマウス171、キーボード172が接続されている。
また、コンピュータ150および複数のトランスデューサ121は、共通の筺体に収められた構成で提供されてもよい。ただし、筺体に収められたコンピュータで一部の信号処理を行い、残りの信号処理を筺体の外部に設けられたコンピュータで行ってもよい。この場合、筺体の内部および外部に設けられたコンピュータを総称して、本実施形態に係るコンピュータとすることができる。すなわち、コンピュータを構成するハードウェアが一つの筺体に収められていなくてもよい。
(表示部160)
表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)FED、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。コンピュータ150により得られた被検体情報等に基づく画像や特定位置の数値等を表示する装置である。表示部160は、画像や装置を操作するためのGUIを表示してもよい。なお、被検体情報の表示にあたっては、表示部160またはコンピュータ150において画像処理(輝度値の調整等)を行った上で表示することもできる。表示部160は、光音響装置とは別に提供されていてもよい。コンピュータ150は、光音響画像データを有線または無線で表示部160へ送信することができる。
(入力部170)
入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
入力部170は、観察したい位置や深さの情報などを入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示部160に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。
なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった1つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった1つの装置として構成されてもよい。
また、光音響装置の各構成間で送受信される情報は、有線または無線でやりとりがなされる。
(被検体100)
被検体100は光音響装置を構成するものではないが、以下に説明する。本実施形態に係る光音響装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、メチレンブルー(MB)、インドシニアングリーン(ICG)などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。
次に、本実施形態に係る表示制御を含む情報処理方法を、図5を参照して説明する。なお、各工程は、コンピュータ150が光音響装置の構成の動作を制御することにより実行される。
(S310:制御パラメータを設定する工程)
ユーザーが、被検体情報の取得のために必要な光照射部110の照射条件(繰り返し周波数や波長など)やプローブ180の位置などの制御パラメータを、入力部170を用いて指定する。コンピュータ150は、ユーザーの指示に基づいて決定された制御パラメータを設定する。
(S320:プローブを指定位置に移動させる工程)
制御部153が、ステップS310で指定された制御パラメータに基づいて、駆動部130にプローブ180を指定の位置へ移動させる。ステップS310において複数位置での撮像が指定された場合には、駆動部130は、まずプローブ180を最初の指定位置へ移動させる。なお、駆動部130は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ180を移動させてもよい。なお、ハンドヘルド型の場合、ユーザーがプローブ180を把持して所望の位置まで移動させてもよい。
(S330:光を照射する工程)
光照射部110は、S310で指定された制御パラメータに基づいて、被検体100に光を照射する。
光源111から発生した光は、光学系112を介してパルス光として被検体100に照射される。そして、被検体100内部でパルス光が吸収され、光音響効果により光音響波が生じる。光照射部110はパルス光の伝送と併せて信号収集部140へ同期信号を送信する。
(S340:光音響波を受信する工程)
信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を記憶部152に保存する。ステップS301で複数の走査位置での撮像を指定した場合には、指定した走査位置において、S320−S340のステップを繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。
(S350:光音響画像データを生成する工程)
コンピュータ150内の演算部151は、記憶部152に記憶された信号データに基づいて、ボリュームデータとしての光音響画像データを生成し、記憶部152に保存する。信号データを3次元のボリュームデータに変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法、フーリエドメインでの逆投影法、モデルベース法(繰り返し演算法)などのあらゆる手法を採用することができる。例えば、タイムドメインでの逆投影法として、Universal back−projection(UBP)、Filtered back−projection(FBP)、または整相加算(Delay−and−Sum)などが挙げられる。例えば、演算部151は、光音響画像データとして、音響波の発生音圧(初期音圧)の3次元空間分布を取得する再構成の手法として、式(1)で表されるUBP法を採用してもよい。
Figure 2018089371
ここで、rは再構成する位置(再構成位置、注目位置とも呼ぶ)を示す位置ベクトル、p(r,t)は再構成する位置での初期音圧、cは伝搬経路の音速を示す。また、ΔΩは再構成する位置からi番目のトランスデューサ121を見込む立体角、Nは再構成に用いるトランスデューサ121の個数を示す。式(1)は、受信信号p(r,t)に微分等の処理を行い、それらに立体角の加重をかけて整相加算すること(逆投影)を示している。式(1)のtは、注目位置とトランスデューサ121とを結ぶ音線を光音響波が伝搬する時間(伝搬時間)である。なお、b(r、t)の計算においては、他にも演算処理を施してもよい。例えば、周波数フィルタリング(ローパス、ハイパス、バンドパス等)、デコンボリューション、包絡線検波、ウェーブレットフィルタリング、等である。
また、演算部151は、被検体100に照射された光の被検体100の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を取得してもよい。この場合、吸収係数分布情報を光音響画像データとして取得してもよい。また、複数の波長の光を用いて、S330、S340の工程を実行し、演算部151は、複数の波長の光のそれぞれに対応する吸収係数分布情報を取得してもよい。そして、演算部151は、複数の波長の光のそれぞれに対応する吸収係数分布情報に基づいて、分光情報として被検体100を構成する物質の濃度の空間分布情報を、光音響画像データとして取得してもよい。
(S360:被検体の表面の位置情報を取得する工程)
第1の手段としてのコンピュータ150は、被検体100の表面の位置情報を取得し、記憶部152に保存する。位置情報は、表面の座標そのものであってもよいし、表面の位置を関数で表現した情報であってもよい。
例えば、コンピュータ150は、光学3次元カメラが取得した被検体100の表面の位置情報を受け取り、被検体100の表面の位置情報を取得してもよい。また、コンピュータ150が、光学3次元カメラや他のモダリティ―(超音波診断装置、CT、MRI等)が撮像した被検体100の3次元画像データに基づいて、被検体100の表面の位置情報を取得してもよい。この場合、コンピュータ150は、被検体100の3次元の画像データに対してエッジ検出処理などの画像処理を行うことにより、被検体100の表面位置情報を取得してもよい。なお、光学3次元カメラや他のモダリティについては、本実施形態に係る光音響装置と一体の装置であってもよいし、別の装置であってもよい。
また、コンピュータ150は、S350で取得した光音響画像データに基づいて、被検体100の表面の位置情報を取得してもよい。この場合も、光音響画像データに対してエッジ検出処理などの画像処理を行うことにより、被検体100の表面の位置情報を取得してもよい。例えば、コンピュータ150は、光音響画像データにガウシアンなどの平滑化フィルタを適用した後に、平滑化後の光音響画像データ中の略等値面を被検体100の表面と定義することができる。すなわち、ボリュームデータ中の略等しい値が連続する面を、被検体100の表面として定義することができる。なお、平滑化後の光音響画像データ中の完全に等しい値から構成される面だけでなく、画像値のバラつきが所定の範囲内の面も略等値面として定義してもよい。光音響画像データの値が略等しいとみなせる数値範囲を、ユーザーが入力部170を用いて指定してもよい。被検体100の表面の候補となる曲面や曲線は、撮影される被検体100の形状に即して事前に次数や係数などを設定しておいてもよい。これにより、被検体100の表面を定義するために要する処理時間を低減できる。
また、コンピュータ150が、S350で取得した光音響画像データをレンダリングして表示部160に表示させ、表示されたレンダリング画像を用いて被検体100の表面の位置情報を取得してもよい。例えば、ユーザーが入力部170を操作することにより、レンダリング画像中に被検体100の表面と思われる複数位置をクリックする。そして、コンピュータ150がそれらの位置を補間して結ぶことにより表面を定義し、被検体100の表面の位置情報を取得してもよい。また、ユーザーがレンダリング画像を確認しながら、被検体100の表面と思われる位置の座標を直接入力することにより、コンピュータ150は被検体100の表面の位置情報を取得してもよい。レンダリングとしては、サーフェイスレンダリングやボリュームレンダリングなど所望の手法を選択することができる。
(S370:光音響画像データの画像を表示する工程)
第2の手段としてのコンピュータ150は、S350で得られた光音響画像データの画像を表示部160に表示させる。このとき、コンピュータ150は、S360で取得された被検体100の表面の位置情報に基づいて、被検体100の表面に倣った面における光音響画像データの画像を生成し、表示部160に表示させる。生成された画像は、表示される断面を示す情報と関連づけられて記憶部152に記憶される。表示される断面を示す情報は、断面に対応する座標群や断面を表す関数など、断面の位置を表すことができる限り、いかなる表現であってもよい。また、厚みを有する層を投影することにより画像を生成する場合、断面を示す情報は、厚みを有する層の位置を表すことのできる表現であればいかなる表現であってもよい。なお、被検体に倣った面は、典型的に被検体の表面に平行な面となる。
図6、図7、及び図8を参照して、光音響画像データの画像を表示する方法の具体例を説明する。
まず、図6(a)を参照して、被検体100の表面に倣った面1040に対応する光音響画像データの画像を表示する方法を説明する。符号1050は、表示部160の画像の表示領域のピクセルを仮想的に定義したものである。
コンピュータ150は、面1040に対応する光音響画像データのボクセル値を紙面下方向に投影することにより、複数のピクセル1050の値を決定する。そして、コンピュータ150は、このようにして決定された複数のピクセル1050の値を表示部160に送信し、表示部160は複数のピクセル1050から構成される画像を表示する。
ここで、図6(b)を用いて、面1040に対応する光音響画像データの生成方法の一例を説明する。領域1041は、面1040の一部を示す領域である。太線で囲まれた領域1042は、複数のピクセル1050のうち、ある一つのピクセル1051の値を決めるために用いられるボクセル群を示す。領域1042の光音響画像データのボクセル値をすべて加算した数値をピクセル1051に出力する。光音響画像データを構成するボクセルを細かく補間した後に、領域1041が含まれるボクセルを特定し、ピクセル1051に出力する値を決定してもよい。なお、領域1042の光音響画像データのボクセル値をすべて加算した数値を、ボクセル数で割った値をピクセル1051に出力してもよい。
図6においては、面1040に対応する光音響画像データのボクセル値を紙面下方向に投影することにより画像を生成する例を説明したが、いかなる方向に投影してもよい。ユーザーが入力部170を用いて投影方向を指定してもよい。なお、表示ピクセルに対してボクセルの過不足が生じる場合、コンピュータ150は、ボクセル値を補間することにより表示ピクセルに対応する値を決定してもよい。
次に、図7を参照して、被検体100の表面に倣った厚みを有する層1060に対応する光音響画像データを投影することにより得られた画像を表示する方法を説明する。
図7(a)に示すように、コンピュータ150は、層1060に対応する光音響画像データを紙面下方向に投影し、被検体100の表面に倣った面1040における画像を生成する。このようにして得られた面1040における画像を図7(b)に示すように、複数のピクセル1050に投影することにより、表示部160に表示される画像を生成する。なお、図7(a)及び図7(b)に示す表示方法は、図7(c)に示すように、被検体100の表面に倣った厚みを有する層1060に対応する光音響画像データを紙面下方向に投影した投影画像を表示することと等価である。投影手法としては、最大値投影(MIP:Maximum Intensity Projection)、最小値投影(MinIP:Minimum intensity Projetion)、平均値投影、中央値投影など、いかなる手法を採用してもよい。このとき、再構成ボクセルが厚みの層方向と一致していない場合は、投影方向の領域誤差が小さくなるように、法線面に略平行になるような極座標変換などを行ってもよい。また、再構成ボクセルを分割し、補間された空間で投影処理を実行してもよい。なお、図7(a)では、投影により層1060の中心を示す面の画像を生成したが、被検体100の表面に倣った面であれば、投影により層におけるいずれの面の画像が生成されてもよい。例えば、投影により層1060の被検体100の表面に近い境界の画像を生成してもよいし、投影により層1060の被検体100の表面から遠い境界の画像を生成してもよい。
図8(a)に示すように、コンピュータ150は、被検体100の表面に倣った厚みを有する層1060に対応する光音響画像データを投影して画像を生成してもよい。すなわち、コンピュータ150は、被検体100の表面の法線方向に層1060に対応する光音響画像データを投影して、面1040における画像を生成してもよい。そして、コンピュータ150は、図8(b)に示すように、面1040におけるボクセル値を複数のピクセル1050に投影して複数のピクセル1050の値を決定する。コンピュータ150は、複数のピクセル1050の値に基づいて、表示部160に面1040における画像を表示させる。
ところで、図8(a)に示す投影方法で画像を生成し、画像を2次元画像として表示すると、2次元画像の中心部に比べて周辺部は歪んだ画像となってしまう。そのため、コンピュータ150は、画像の投影方向、すなわち複数のピクセル1050の位置を変更できるように構成されていてもよい。また、ユーザーが、入力部170を用いて、画像の投影方向を指定してもよい。これにより、観察したい領域の歪みが少ない表示画像を生成することができる。すなわち、観察した領域が表示画像の中心部に位置するように投影方向を設定することができる。
なお、図6−8では、面1040における画像を仮想的な複数のピクセル1050に投影することにより画像を表示する例を説明したが、画像を表示できる方法であれば、いかなる方法を採用してもよい。例えば、曲面である面1040における画像を、曲面である面1040の展開図で表示してもよい。
なお、コンピュータ150が、関心領域内の、被検体100の表面に倣った面の画像を表示してもよい。また、ユーザーがその表示画像を確認しながら入力部170を用いて手動で表示断面の再設定を行ってもよい。コンピュータ150は、入力部170を用いたユーザーの指示や光音響画像データのボクセル値の評価により関心領域(ROI:Resion of Interest)を設定してもよい。
例えば、まずコンピュータ150が、光音響画像データをレンダリング表示し、ユーザーがレンダリングされた画像に対して入力部170を用いてROIを設定してもよい。また、他のモダリティで得られた画像データのレンダリング画像に対して、ユーザーが入力部170を用いてROIを指定してもよい。このとき、ユーザーは、レンダリング画像に対して任意の領域を指示し、その領域をROIとして設定してもよい。また、ユーザーは、レンダリング画像に対して任意の位置を指示し、その指示された位置を含む所定の範囲をROIとして設定してもよい。また、ユーザーは、表示部160に表示された複数の領域の中から所望な領域を選択し、その領域をROIとして設定してもよい。選択対象である複数の領域は、レンダリング画像に重畳されていてもよい。
また、コンピュータ150は、光音響画像データのボクセル値が所定の数値範囲内となる領域をROIとしてもよい。例えば、コンピュータ150は、光音響画像データのボクセル値が所定の閾値より大きい領域をROIとして設定してもよい。また、コンピュータ150は、他のモダリティで得られた画像データを同様に評価することによりROIを設定してもよい。
また、複数の方法で設定されたROIの重畳領域をROIとして更新してもよい。なお、ROIの設定方法としては、ユーザーが入力部170を用いて指定する方法や他のモダリティで得られた画像データに基づいて設定する方法などを採用することができる。例えば、他のモダリティで得られた画像データの表示画像に対して、ユーザーが入力部170を用いてROIを設定してもよい。そして、コンピュータ150は、他のモダリティの表示画像中のROIに対応する光音響画像中のROIを設定することができる。
また、コンピュータ150は、面1040における画像に対して解析を行い、解析結果を表示部160に表示してもよい。ここでの解析とは、単位面積当たりの血管密度や血管の分岐数、進展方向、酸素飽和度の統計処理などを指す。
また、他モダリティで得られた画像データも存在する場合は、光音響画像データと他のモダリティで得られた画像データを比較できるように表示してもよい。なお、光音響画像データの画像の表示において、被検体100の表面に倣った画像を表示する場合、他のモダリティで得られた画像データについても、被検体100の表面に倣った画像を表示してもよい。このように、マルチモダリティにおいて画像を表示することにより、モダリティ間での画像の視認性のばらつきが小さくなり、診断能の向上に寄与する。例えば、各モダリティの画像データを、並列表示、重畳表示、切り換え表示などを表示方法で比較して表示してもよい。また、それらの画像データをカラーマップを変えて重畳して表示してもよい。なお、光音響画像データと別のモダリティで得られた画像データにおける被検体100の形状が異なる場合、コンピュータ150は、形状の差異が小さくなるように少なくとも一方の画像データを変形させてもよい。そして、コンピュータ150は、変形処理を行った後に、被検体100の表面に倣った面におけるそれぞれの画像データの画像を生成し、比較できるように表示してもよい。画像データ間の形状の差異を小さくするための変形処理については、公知のあらゆる手法を採用することができる。
なお、コンピュータ150が、照射光の、被検体100内部における光フルエンス分布情報に基づいて光フルエンスの略等値面を定義し、その面における光音響画像データの画像を表示部160に表示させてもよい。第3の手段としてのコンピュータ150は、照射光の、被検体100の内部における光フルエンス分布情報(光フルエンスの3次元空間分布)を算出してもよい。
例えば、コンピュータ150は、式(2)に示す光拡散方程式を解くことにより、被検体100の内部における光フルエンスの3次元空間分布を算出してもよい。
Figure 2018089371
ここで、Dは拡散係数、μは吸収係数、Sは照射光の入射強度、φは到達する光フルエンス、rは位置、tは時間を示す。さらに、コンピュータ150は、光フルエンスの空間分布の略等しい値が連続する面を、被検体100の表面に倣った面(光フルエンスの略等値面)として定義することができる。なお、光フルエンスが完全に等しい値から構成される面だけでなく、光フルエンスのバラつきが所定の範囲内の面も略等値面として定義してもよい。光フルエンスの値が略等しいとみなせる数値範囲を、ユーザーが入力部170を用いて指定してもよい。光フルエンスの略等値面の候補となる曲面や曲線は、撮影される被検体100の形状に即して事前に次数や係数などを設定しておいてもよい。これにより、光フルエンスの空間分布に基づいて被検体100の表面に倣った面(光フルエンスの略等値面)を定義するために要する処理時間を低減できる。
以上の表示方法により、画像内の各位置のS/Nのばらつきが小さく、視認性の高い画像が表示されることとなる。これにより、医師等のユーザーは、画像内の画質のバラつきの小さい画像を確認して診断できるため、診断能が向上する。
次に、本実施形態に係る表示方法を実現するGUIの一例を説明する。図9(a)及び図9(b)は、表示部160に表示されるGUIの模式図を示す。
画像表示エリア910には、被検体の表面に倣った面における画像が表示される。
深度変更バー930は、画像表示エリア910に表示される画像の断面の位置を設定するGUIである。深度変更バー930のスライダーは、被検体の表面からの距離(深度)に対応しており、スライダーを変更すると、画像表示エリア910に表示される画像の断面が変更される。深度変更バー930で設定された深度は、深度表示欄920に表示される。なお、ユーザーが深度表示欄920に直接深度情報(被検体の表面からの距離の値)を入力するなど、深度表示欄920を深度情報の変更が可能なGUIとして使用してもよい。また、外部のハードウェア上のつまみなどとしての入力部170を入力インターフェースとして使用してもよい。例えば、ユーザーが入力部170としてのマウスのホイールを操作することにより、被検体の表面に倣った面における画像を、被検体の表面の法線方向に画像送りして表示してもよい。すなわち、被検体の表面に倣った複数の面における画像を、ユーザーの指示に基づいて切り替えて表示してもよい。
参考画像表示エリア940には、画像表示エリア910に表示されている画像の断面950が表示されている。すなわち、参考画像表示エリア940には、深度変更バー930で設定された深度に対応する断面950が表示される。参考画像表示エリア940に表示される被検体の参考画像は、光音響画像データや他のモダリティで得られた画像データのレンダリング画像であってもよい。また、参考画像表示エリア940に表示される被検体の参考画像は、光学カメラにより撮影した光学画像であってもよい。また、参考画像表示エリア940に表示される被検体の参考画像は、被検体を模式した図であってもよい。参考画像表示エリア940を確認することで、現在どの断面の画像が表示されているのかをユーザーは把握することができる。
また、GUIは、深度情報の他に、その他の表示パラメータを設定できるように構成されていてもよい。また、深部情報は、深度変更バー930で設定する方法以外に、あらゆる方法で設定されてもよい。例えば、参考画像表示エリア940にユーザーがマウスクリック等で所望の位置を指示すると、コンピュータ150がその位置を含む被検体の表面に倣った面を定義し、深度情報を設定してもよい。
また、図9(b)に示すように、被検体の表面に倣った複数の断面における画像を並列表示させてもよい。
第1の画像表示エリア911には、第1の深度変更バー931で設定された第1の深度(被検体の表面から第1の距離)における第1の画像が表示される。第1の深度表示欄921には、第1の深度変更バー931で設定された第1の深度を示す情報が表示される。
一方、第2の画像表示エリア912には、第2の深度変更バー932で設定された第2の深度(被検体の表面から第2の距離)における第2の画像が表示される。第2の深度表示欄922には、第2の深度変更バー932で設定された第2の深度を示す情報が表示される。
参考画像表示エリア940には、第1の画像表示エリア911に表示されている画像の第1の断面951が表示されている。すなわち、参考画像表示エリア940には、第1の深度変更バー931で設定された第1の深度に対応する第1の断面951が表示されている。
また、参考画像表示エリア940には、第2の画像表示エリア912に表示されている画像の第2の断面952が表示されている。参考画像表示エリア940には、第2の深度変更バー932で設定された第2の深度に対応する第2の断面952が表示されている。
なお、他のモダリティで得られた画像データの画像を、光音響画像データの画像と合わせて表示してもよい。例えば、図9(a)の画像表示エリア910に、設定された深度におけるそれぞれの画像を重畳して表示してもよい。また、図9(b)の第1の画像表示エリア911に光音響画像データの画像を表示し、第2の画像表示エリア912に他のモダリティで得られた画像データの画像を表示してもよい。この場合、各画像表示エリアに対応する深度を独立に設定してもよいし、各画像表示エリアに対応する深度を同期させて設定してもよい。また、第1の画像表示エリア911に光音響画像データの画像と他のモダリティで得られた画像データの画像との重畳画像を表示し、第2の画像表示エリア912にいずれかの画像を表示させてもよい。このように、被検体の表面に倣った面における画像を表示する限り、あらゆる表示態様であらゆるモダリティの画像データの画像を表示させてもよい。なお、本実施形態に係るGUIは、当該表示から、平面を断面とした画像データの画像の表示に切り替え可能であってもよい。
このように、本実施形態に係るGUIでは、ユーザーの指示に基づいて表示パラメータ(深度情報など)が決定され、変更された表示パラメータに応じて画像が更新して表示される。これにより、ユーザーは表示パラメータに応じた画像を確認しつつ、所望の表示パラメータを設定することができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
150 コンピュータ
160 表示部

Claims (17)

  1. 被検体への光照射により発生する光音響波に由来するボリュームデータである光音響画像データの画像を表示手段に表示させる情報処理装置であって、
    前記被検体の表面の位置情報を取得する第1の手段と、
    前記被検体の表面の位置情報に基づいて、前記被検体の表面に倣った面における前記光音響画像データの前記画像を前記表示手段に表示させる第2の手段と、
    を有する
    ことを特徴とする情報処理装置。
  2. 前記第2の手段は、
    前記被検体の表面の位置情報に基づいて、前記被検体の表面に倣った複数の面における前記光音響画像データの前記画像を前記表示手段に表示させる
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記第2の手段は、前記複数の面における前記光音響画像データの前記画像を、ユーザーの指示に応じて切り替えて前記表示手段に表示させる
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記第2の手段は、前記複数の面における前記光音響画像データの前記画像を、前記表示手段に並べて表示させる
    ことを特徴とする請求項2に記載の情報処理装置。
  5. 前記第2の手段は、
    モダリティにより得られた画像データを取得し、
    前記被検体の表面に倣った面における前記画像データの画像と、当該面における前記光音響画像データの前記画像との重畳画像を前記表示手段に表示させる
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記第2の手段は、
    モダリティにより得られた画像データを取得し、
    前記被検体の表面に倣った面における前記画像データの画像と、当該面における前記光音響画像データの前記画像とを前記表示手段に並べて表示させる
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  7. 前記第2の手段は、
    前記被検体の表面の位置情報に基づいて、前記被検体の表面に倣った厚みを有する層を決定し、
    前記層に対応する前記光音響画像データを所定の方向に投影した前記画像を生成する
    ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。
  8. 前記第2の手段は、
    前記被検体の表面の位置情報に基づいて、前記被検体の表面の法線方向を決定し、
    前記層に対応する前記光音響画像データを前記被検体の表面の法線方向に投影して前記画像を生成する
    ことを特徴とする請求項7に記載の情報処理装置。
  9. 前記第2の手段は、ユーザーの指示に基づいて前記厚みを決定する
    ことを特徴とする請求項7または8に記載の情報処理装置。
  10. 前記第2の手段は、
    前記光音響画像データのレンダリング画像を前記表示手段に表示させ、
    前記レンダリング画像に基づいて、関心領域を設定し、
    前記関心領域内の前記被検体の表面に倣った面における前記光音響画像データの前記画像を前記表示手段に表示させる
    ことを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。
  11. 前記第2の手段は、
    前記レンダリング画像に対するユーザーの指示に基づいて、前記関心領域を設定する
    ことを特徴とする請求項10に記載の情報処理装置。
  12. 前記第1の手段は、
    前記光音響画像データに基づいて、前記被検体の表面の位置情報を取得する
    ことを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。
  13. 前記第1の手段は、
    前記光音響画像データに平滑化フィルタを適用し、平滑化された前記光音響画像データを生成し、
    平滑化された前記光音響画像データの画像値のバラつきが所定の範囲内の面を前記被検体の表面として定義し、前記被検体の表面の位置情報を取得する
    ことを特徴とする請求項12に記載の情報処理装置。
  14. 被検体への光照射により発生する光音響波に由来するボリュームデータである光音響画像データの画像を表示手段に表示させる情報処理装置であって、
    前記被検体に照射された光の、前記被検体の内部における光フルエンス分布情報を取得する手段と、
    前記光フルエンス分布情報に基づいて、光フルエンスの略等値面を定義する手段と、
    前記面における前記光音響画像データの前記画像を前記表示手段に表示させる手段と、
    を有する
    ことを特徴とする情報処理装置。
  15. 被検体への光照射により発生する光音響波に由来するボリュームデータである光音響画像データの画像の表示方法であって、
    前記被検体の表面の位置情報を取得し、
    前記被検体の表面の位置情報に基づいて、前記被検体の表面に倣った面における前記光音響画像データの前記画像を表示する
    ことを特徴とする情報処理方法。
  16. 被検体への光照射により発生する光音響波に由来するボリュームデータである光音響画像データの画像の表示方法であって、
    前記被検体に照射された光の、前記被検体の内部における光フルエンス分布情報を取得し、
    前記光フルエンス分布情報に基づいて、光フルエンスの略等値面を定義し、
    前記略等値面における前記光音響画像データの前記画像を表示する
    ことを特徴とする情報処理方法。
  17. 請求項15または16に記載の情報処理方法をコンピュータに実行させるプログラム。
JP2017228155A 2016-11-30 2017-11-28 情報処理装置、情報処理方法、及びプログラム Pending JP2018089371A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016233208 2016-11-30
JP2016233208 2016-11-30

Publications (1)

Publication Number Publication Date
JP2018089371A true JP2018089371A (ja) 2018-06-14

Family

ID=60569637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017228155A Pending JP2018089371A (ja) 2016-11-30 2017-11-28 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20180146931A1 (ja)
EP (1) EP3329843B1 (ja)
JP (1) JP2018089371A (ja)
KR (1) KR20180062393A (ja)
CN (1) CN108113650A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020028668A (ja) * 2018-08-24 2020-02-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6942622B2 (ja) * 2017-12-19 2021-09-29 株式会社日立製作所 光走査装置、カテーテル装置、及び距離計測装置
US10874305B2 (en) * 2018-01-15 2020-12-29 Microsoft Technology Licensing, Llc Sensor device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093384A (ja) * 2001-09-27 2003-04-02 Aloka Co Ltd 超音波三次元断面画像表示装置
JP2013128760A (ja) * 2011-11-22 2013-07-04 Fujifilm Corp 光音響画像生成装置および光音響画像生成方法
JP2015065975A (ja) * 2013-09-26 2015-04-13 キヤノン株式会社 被検体情報取得装置およびその制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5675142B2 (ja) * 2010-03-29 2015-02-25 キヤノン株式会社 被検体情報取得装置、被検体情報取得方法、および被検体情報取得方法を実行するためのプログラム
JP2013233386A (ja) 2012-05-11 2013-11-21 Fujifilm Corp 光音響画像生成装置、システム、及び方法
JP6192297B2 (ja) * 2013-01-16 2017-09-06 キヤノン株式会社 被検体情報取得装置、表示制御方法、およびプログラム
JP2014233602A (ja) * 2013-06-05 2014-12-15 キヤノン株式会社 被検体情報取得装置、被検体情報取得装置の制御方法
JP6304970B2 (ja) * 2013-08-09 2018-04-04 キヤノン株式会社 画像処理装置、画像処理方法
JP2015054025A (ja) * 2013-09-11 2015-03-23 キヤノン株式会社 被検体情報取得装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093384A (ja) * 2001-09-27 2003-04-02 Aloka Co Ltd 超音波三次元断面画像表示装置
JP2013128760A (ja) * 2011-11-22 2013-07-04 Fujifilm Corp 光音響画像生成装置および光音響画像生成方法
JP2015065975A (ja) * 2013-09-26 2015-04-13 キヤノン株式会社 被検体情報取得装置およびその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020028668A (ja) * 2018-08-24 2020-02-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
KR20180062393A (ko) 2018-06-08
CN108113650A (zh) 2018-06-05
US20180146931A1 (en) 2018-05-31
EP3329843A1 (en) 2018-06-06
EP3329843B1 (en) 2020-04-29

Similar Documents

Publication Publication Date Title
JP6576424B2 (ja) 表示制御装置、画像表示方法、及びプログラム
US10945678B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium
EP3329843B1 (en) Display control apparatus, display control method, and program
US20190029526A1 (en) Image processing apparatus, image processing method, and storage medium
US20200163554A1 (en) Image generating apparatus, image generating method, and non-transitory computer-readable medium
KR20200067254A (ko) 정보 처리장치, 정보 처리방법, 및 비일시적인 기억매체
JP6921782B2 (ja) 表示制御装置、画像表示方法、及びプログラム
JP2018061716A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019102969A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2018230409A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6929048B2 (ja) 表示制御装置、表示方法、及びプログラム
JP7277212B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018143764A (ja) 画像生成装置、画像生成方法、プログラム
US20200305727A1 (en) Image processing device, image processing method, and program
JP6929204B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020110362A (ja) 情報処理装置、情報処理方法、プログラム
JP2019097804A (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220419