JP2017104550A - 光音響装置、表示制御方法、プログラム - Google Patents

光音響装置、表示制御方法、プログラム Download PDF

Info

Publication number
JP2017104550A
JP2017104550A JP2016238661A JP2016238661A JP2017104550A JP 2017104550 A JP2017104550 A JP 2017104550A JP 2016238661 A JP2016238661 A JP 2016238661A JP 2016238661 A JP2016238661 A JP 2016238661A JP 2017104550 A JP2017104550 A JP 2017104550A
Authority
JP
Japan
Prior art keywords
image data
subject
image
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016238661A
Other languages
English (en)
Inventor
福谷 和彦
Kazuhiko Fukutani
和彦 福谷
隆一 七海
Ryuichi Nanami
隆一 七海
卓郎 宮里
Takuro Miyazato
卓郎 宮里
中野 浩太
Kota Nakano
浩太 中野
潤平 城野
Junpei Kino
潤平 城野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2017104550A publication Critical patent/JP2017104550A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/24Probes
    • G01N29/2418Probes using optoacoustic interaction with the material, e.g. laser radiation, photoacoustics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/39Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using tunable lasers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/24Probes
    • G01N29/2437Piezoelectric probes
    • G01N29/245Ceramic probes, e.g. lead zirconate titanate [PZT] probes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4436Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with a reference signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8965Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using acousto-optical or acousto-electronic conversion techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S3/00Lasers, i.e. devices using stimulated emission of electromagnetic radiation in the infrared, visible or ultraviolet wave range
    • H01S3/05Construction or shape of optical resonators; Accommodation of active medium therein; Shape of active medium
    • H01S3/08Construction or shape of optical resonators or components thereof
    • H01S3/08086Multiple-wavelength emission
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S3/00Lasers, i.e. devices using stimulated emission of electromagnetic radiation in the infrared, visible or ultraviolet wave range
    • H01S3/09Processes or apparatus for excitation, e.g. pumping
    • H01S3/091Processes or apparatus for excitation, e.g. pumping using optical pumping
    • H01S3/094Processes or apparatus for excitation, e.g. pumping using optical pumping by coherent light
    • H01S3/094076Pulsed or modulated pumping
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Vascular Medicine (AREA)
  • Plasma & Fusion (AREA)
  • Signal Processing (AREA)
  • Ceramic Engineering (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】 本発明は、画像データの信頼度の低い領域をユーザーが区別することができるように、画像データを表示させる光音響装置を提供することを目的とする。【解決手段】 本発明に係る光音響装置は、電気信号を用いて、第1の画像生成方法により第1の画像データを取得し、電気信号を用いて、第1の画像生成方法とは異なる第2の画像生成方法により第2の画像データを取得し、第1の画像データと第2の画像データとの差分画像データの画像値が所定の数値範囲内の領域を差分領域として設定し、第1の画像データと第2の画像データを用いて、差分領域とその他の領域とを区別できる画像データを表示手段に表示させる。【選択図】 図1

Description

本発明は、被検体に光を照射することにより発生した光音響波に由来する画像データを取得する光音響装置に関する。
被検体からの音響波に基づいて被検体情報を取得する技術として、光音響イメージング(PAI:Photoacoustic Imaging)という技術がある。光音響イメージングは、パルス光が被検体に照射されることにより、被検体内で光の吸収により音響波(光音響波)が発生する光音響効果を利用し、被検体内を画像化する技術である。
通常、光音響イメージングでは、画像化する領域に対して音響波の測定領域が不十分な場合、フィルタードバックプロジェクション法やフーリエ変換法など解析的画像再構成法では、音波発生源の形状を完全に再現することができないことが知られている。例えば、被検体の全周囲方向からではなく、ある特定の方向からしか音響波を受信できない場合(「Limited view条件」と呼ばれる)に音響波の測定領域が不十分であるといえる。
上述した課題を解決する方法として、特許文献1には、被検体の構造に関する情報(被検体の特徴的な構造に由来する特性情報)に基づいて画像データを生成することが開示されている。この方法によれば、Limited view条件であっても、光音響波の発生音源の形状を再現できる。
特開2014−180492号公報
しかしながら、特許文献1に記載の方法では、音波発生源の構造特性が画像データの生成に用いた被検体の構造に関する情報とは異なる場合に、実際の構造とは異なる構造を示す画像データを生成する可能性がある。すなわち、特許文献1に記載の方法で得られる画像データには、信頼度の高い領域(実際の構造と一致した画像領域)と信頼度の低い領域(実際の構造とは異なる構造を示す画像領域)の両方が含まれている可能性がある。
そこで、本発明は、画像データの信頼度の低い領域をユーザーが区別することができるように、画像データを表示させる光音響装置を提供することを目的とする。
本発明に係る光音響装置は、光を被検体に照射する光照射手段と、光が照射されることにより被検体から発生する音響波を電気信号に変換する受信手段と、電気信号を用いて画像データを取得する処理手段と、表示制御手段と、を有し、処理手段は、電気信号を用いて、第1の画像生成方法により第1の画像データを取得し、電気信号を用いて、第1の画像生成方法とは異なる第2の画像生成方法により第2の画像データを取得し、表示制御手段は、第1の画像データと第2の画像データとの差分画像データの画像値が所定の数値範囲内の領域を差分領域として設定し、第1の画像データと第2の画像データを用いて、差分領域とその他の領域とを区別できる画像データを表示手段に表示させる。
本発明に係る光音響装置によれば、画像データの信頼度の低い領域をユーザーが区別することができるように、画像データを表示させることができる。
第1の実施形態に係る光音響装置の模式図である。 第1の実施形態に係るコンピュータの具体例を示した図である。 第1の実施形態に係る信号処理のフローチャートである。 第1の実施形態に係るシミュレーションモデルを示す図である。 第1の実施形態に係る光吸収体のモデル図及び画像データを示す図である。 第1の実施形態に係るGUIを示す図である。 第2の実施形態に係る血管モデルを示す図である。 第2の実施形態に係るGUIを示す図である。
以下、図面を参照しつつ本発明をより詳細に説明する。なお、同一の構成要素には原則として同一の参照番号を付して、説明を省略する。
[第1の実施形態]
(基本的構成)
図1を参照しながら、本実施形態に係る被検体情報取得装置としての光音響装置の構成を説明する。図1は本実施例に係る光音響装置を示す概略図である。光音響装置は、光照射部100、受信部400、信号データ収集部600、コンピュータ700、表示部800、入力部900、及び保持部1200を備える。測定対象は、被検体1000である。
光照射部100がパルス光130を被検体1000に照射し、被検体1000内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波と呼ぶ。受信部400は、光音響波を受信することによりアナログ信号としての電気信号を出力する。信号データ収集部600は、受信部400から出力されたアナログ信号としての電気信号をデジタル信号に変換し、コンピュータ700に出力する。コンピュータ700は、信号データ収集部600から出力されたデジタル信号を、光音響波に由来する信号データとして記憶する。なお、光を照射してから、信号データとして記憶されるデジタル信号を出力するまでの過程を「光音響測定」と呼ぶ。
コンピュータ700は、記憶されたデジタル信号に対して信号処理を行うことにより、被検体1000に関する情報(被検体情報)を表す画像データを生成する。また、コンピュータ700は、得られた画像データに対して画像処理を施した後に、画像データを表示部800に出力する。表示部800は、被検体1000に関する情報の画像を表示する。ユーザーとしての医師は、表示部800に表示された被検体に関する情報の画像を確認することにより、診断を行うことができる。
本実施例に係る光音響装置により得られる被検体情報は、光音響波の発生音圧(初期音圧)、光吸収エネルギー密度、光吸収係数、及び被検体を構成する物質の濃度に関する情報などの少なくとも1つである。物質の濃度に関する情報とは、オキシヘモグロビン濃度、デオキシヘモグロビン濃度、総ヘモグロビン濃度、または酸素飽和度等である。総ヘモグロビン濃度とは、オキシヘモグロビン濃度およびデオキシヘモグロビン濃度の和のことである。酸素飽和度とは、全ヘモグロビンに対するオキシヘモグロビンの割合のことである。本実施形態に係る光音響装置は、被検体内の各位置(2次元または3次元の空間の各位置)における上記情報の値を表す画像データを取得する。
以下、本実施例に係る光音響装置の各構成について説明する。
(光照射部100)
光照射部100は、パルス光130を発する光源110と、光源110から射出されたパルス光130を被検体1000へ導く光学系120とを含む。
光源110が発する光のパルス幅としては、1ns以上、100ns以下のパルス幅であってもよい。また、光の波長としては400nmから1600nm程度の範囲の波長であってもよい。生体表面近傍の血管を高解像度でイメージングする場合は、血管での吸収が大きい波長(400nm以上、700nm以下)としてもよい。一方、生体の深部をイメージングする場合には、生体の背景組織(水や脂肪など)において典型的に吸収が少ない波長(700nm以上、1100nm以下)の光を用いてもよい。
光源110としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変換が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Nd:YAGレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源110として用いてもよい。また、Nd:YAGレーザー光を励起光とするTi:saレーザーやOPO(Optical Parametric Oscillators)レーザーを光源110として用いてもよい。
光学系120には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体1000とする場合、パルス光のビーム径を広げて照射することが好ましいため、光学系120の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系120の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
なお、光照射部100が光学系120を備えずに、光源110から直接被検体1000にパルス光130を照射してもよい。
(受信部400)
受信部400は、音響波を受信することにより電気信号を出力する受信素子411−414からなる受信素子群410と、受信素子群410を支持する支持体420とを含む。
各受信素子411−414を構成する部材としては、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミック材料や、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ(CMUT:Capacitive Micro−machined Ultrasonic Transducers)、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを受信素子として採用してもよい。また、受信素子により得られる信号は時間分解信号である。つまり、受信素子により得られる信号の振幅は、各時刻で受信素子で受信される音圧に基づく値(例えば、音圧に比例した値)を表したものである。
支持体420は、機械的強度が高い金属材料などから構成されていてもよい。本実施例において支持体420は半球殻形状であり、半球殻上に受信素子群410を支持できるように構成されている。この場合、各受信素子の指向軸は半球の曲率中心付近に集まる。そして、これらの受信素子から出力された電気信号群を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体420は受信素子群410を支持できる限り、いかなる構成であってもよい。支持体420は、1Dアレイ、1.5Dアレイ、1.75Dアレイ、2Dアレイと呼ばれるような平面又は曲面内に、複数の受信素子を並べて配置してもよい。
また、本実施例において支持体420は音響マッチング液1500を貯留する容器として機能する。
また、受信部400が、受信素子から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部400が、受信素子から出力される時系列のアナログ信号を時系列のデジタル信号に変換するA/D変換器を備えてもよい。すなわち、受信部400が信号データ収集部600を備えてもよい。
なお、音響波を様々な角度で検出できるようにするために、理想的には被検体1000を全周囲から囲むように受信素子群410を配置することが好ましい。ただし、被検体1000が大きく全周囲を囲むように受信素子を配置できない場合は、図1に示したように半球状の支持体上に受信素子群410を配置して全周囲を囲む状態に近づけてもよい。
なお、受信素子の配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはどのような受信部400を採用してもよい。
(信号データ収集部600)
信号データ収集部600は、各受信素子411−414から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号データ収集部600は、FPGA(Field Programmable Gate Array)チップなどで構成されてもよい。信号データ収集部600から出力されるデジタル信号は、コンピュータ700内の記憶部710に記憶される。信号データ収集部600は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、信号データ収集部600は、光照射部100の光射出部に取り付けられた光検出センサと接続されており、パルス光130が光照射部100から射出されたことをトリガーに、同期して処理を開始してもよい。
(コンピュータ700)
コンピュータ700は、記憶部710、再構成部730、画像処理部750、及び制御部770を含む。各構成の機能については処理フローの説明の際に説明する。
記憶部710は、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部710は、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。
再構成部730または画像処理部750等の処理手段としての演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
制御部770は、CPUなどの演算素子で構成される。制御部770は、光音響装置の各構成の動作を制御する。制御部770は、入力部900からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、制御部770は、記憶部710に格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。
コンピュータ700は専用に設計されたワークステーションであってもよい。また、コンピュータ700の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ700の少なくとも一部の構成は単一のハードウェアで構成されてもよい。
図2は、本実施例に係るコンピュータ700の具体的な構成を示す。本実施例に係るコンピュータ700は、CPU701、GPU702、RAM703、ROM704、外部記憶装置705から構成される。また、コンピュータ700には、表示部800としての液晶ディスプレイ801、入力部900としてのマウス901、キーボード902が接続されている。
(表示部800)
表示部800は、液晶ディスプレイや有機EL(Electro Luminescence)などのディスプレイである。コンピュータ700により得られた被検体情報等に基づく画像や特定位置の数値等を表示する装置である。表示部800は、画像や装置を操作するためのGUIを表示してもよい。
(入力部900)
入力部900は、ユーザーが操作可能な、マウスやキーボードなどで構成されることができる。また、表示部800をタッチパネルで構成し、表示部800を入力部900としてもよい。
なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった1つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった1つの装置として構成されてもよい。
(被検体1000)
被検体1000は光音響装置を構成するものではないが、以下に説明する。本実施例に係る光音響装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的としてもよい。よって、被検体1000としては生体、具体的には人体や動物の乳房や頸部、腹部などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。
(保持部1200)
保持部1200は被検体の形状を測定中に保持するために使用される。保持部1200により被検体1000を保持することによって、被検体の動きの抑制および被検体1000の位置を保持部1200内に留めることができる。保持部1200の材料には、PET−G等を用いることができる。
保持部1200は、被検体1000を保持できる硬度を有する材料であることが好ましい。保持部1200は、測定に用いる光を透過する材料であってもよい。保持部1200は、インピーダンスが被検体1000と同程度の材料で構成されていてもよい。乳房等の曲面を有するものを被検体1000とする場合、凹型に成型した保持部1200であってもよい。この場合、保持部1200の凹部分に被検体1000を挿入することができる。
なお、被検体1000を保持する必要がない場合、光音響装置は保持部1200を備えていなくてもよい。
(音響マッチング液1500)
音響マッチング液1500は光音響装置の構成ではないが説明する。音響マッチング液1500は、保持部1200と受信素子411−414との間を音響波伝搬させるためのものである。音響マッチング液1500には、水、超音波ジェルなどを用いてもよい。音響マッチング液1500は音響波減衰が少ないものであってもよい。照射光が音響マッチング液を透過する場合、照射光に対して透明であってもよい。なお、被検体1000と保持部1200との間にも音響マッチング液1500が満たされている。
本実施形態においては、支持体420が音響マッチング液1500を貯留する容器としても機能する。なお、被検体情報取得装置は、支持体420とは別に、受信素子411−414と被検体1000との間に音響マッチング液1500を貯留することができる容器を備えていてもよい。
被検体1000と保持部1200との間にも音響マッチング液1500が配置されてもよい。本実施形態では、被検体1000と保持部1200とは音響的に整合しているとして説明する。
次に、コンピュータ700で行われる光音響画像形成方法の詳細に関して、図3に示すフローを用いて説明する。なお、図3に示すフローは、受信部400から出力された電気信号に由来する信号データが、コンピュータ700の記憶部710に保存された後のフローを示す。
(S100:被検体の構造に関する情報を用いずに画像データを生成する工程)
本工程において、コンピュータ700は、被検体の構造に関する情報を用いずに画像データを生成する画像生成方法を実行する。この画像生成方法は本発明の第1の画像生成方法に相当し、この方法により得られる画像データは本発明の第1の画像データに相当する。
再構成部730は、記憶部710から読み出した信号データを用いて第1の画像生成方法を実行することにより第1の画像データを生成し、記憶部710に保存する。本実施形態では第1の画像生成方法として、解析的画像再構成法であるUBP再構成を採用した例を説明する。一般的に、解析的画像再構成法とは、以下の光音響波動方程式を解析的に解いた式を用いて画像再構成を行う方法である。
Figure 2017104550

ここで、p(r,t)は検出器の位置rで、時刻tに検出される理想的な光音響信号、cは音速、p(r)は初期音圧分布である。なお、δはデルタ関数である。解析的画像再構成法としては、具体的にはフィルタードバックプロジェクション法やフーリエ変換法などが様々な方法がある。
例えば、ユニバーサルバックプロジェクション(UBP)と呼ばれる方法は以下の式で表すことができる。
Figure 2017104550

ここで、Sは音源を囲む検出表面、Ωは立体角度で半無限平面では2π、無限円柱、球面では4πとなる。dΩは任意の観測点Pに対する検出器dSの立体角である。[]の投影データを式(2)の積分に従って逆投影することで初期音圧分布P(r)を得ることができる。
解析的画像再構成法を用いた場合、理想的な受信素子(全帯域・ポイント検出)を、無限平面、無限円柱、または球面に隙間なく配置したときに音源を完全に再現した画像データを取得することができる。
一方、図1で示すように半球状の支持体420に受信素子群410を配置した受信部400からの信号を用いて解析的画像再構成を行うと、音源を再現することができない。この理由を図4に示すモデルを用いたシミュレーションの結果を参照しつつ説明する。本シミュレーションでは、受信素子群が半球上に配置された受信部1400が、リング状の光吸収体1100(音源モデル)から発生した光音響波を受信するモデルを仮定した。このとき、リング状の光吸収体1100からは360度すべての方向に音響波1600が伝搬する。方向1600Aに伝搬した音響波は受信部1400で受信されるが、方向1600Bに伝搬した音響波は受信部1400で受信されない。その結果、解析的画像再構成法においては音響波が受信されていない領域では音響波は受信されていない受信素子が存在するとみなされる。また、音源から音響波は発生しているが再構成画像上には画像化されないということ生じる。
図5(a)は、図4にも示した音源モデルである光吸収体1100を示す。また、図5(b)は、受信部1400から出力された信号を用いて解析的画像再構成法(UBP再構成)により得られた光吸収体1100の第1の画像データである。図5(b)から理解されるように、UBP再構成により得られた画像では、光吸収体1100の真ん中部分の画像を視認することができない。この現象はLimited View問題として言われ、解析的画像再構成を用いて、実際の音源画像が得られない条件をLimited View条件と言う。ただし、解析的な画像再構成により得られた画像データは、明確に画像化されている構造に関しては信頼度が高いデータとなる。これは後述する被検体の構造に関する情報を用いた画像生成方法と比べて、画像データの取得の際の推定度合いが小さいためである。
なお、ここでは解析的画像再構成の例を示したが、以下に示す被検体の構造に関する情報を用いない画像生成方法であれば、いかなる画像生成方法により第1の画像データを生成してもよい。例えば、第1の画像データを取得するための画像生成方法としては、被検体の構造に関する情報を考慮しないタイムリバーサル法やTikhonovの正則化項を入れたモデルベース法などが挙げられる。
(S200:被検体の構造に関する情報に基づいて画像データを生成する工程)
本工程において、コンピュータ700は、被検体の構造に関する情報に基づいて画像データを生成する画像データ生成方法を実行する。この画像生成方法は本発明の第2の画像生成方法に相当し、この方法により得られる画像データは本発明の第2の画像データに相当する。以下、これらの画像生成方法について詳細に説明する。
本工程においては、本工程においては、再構成部730が、記憶部710から読み出した信号データを用いて被検体の構造に関する情報に基づいた画像生成方法を実行することにより第2の画像データを生成してもよい。すなわち、再構成部730が、被検体の構造に関する情報に基づいた再構成を実行してもよい。また、画像処理部750が、S100で取得された第1の画像データと被検体の構造に関する情報とに基づいて第2の画像データを生成する画像生成方法を実行してもよい。このようにして得られた第2の画像データは記憶部710に保存される。以下、それぞれの画像生成方法について説明する。
(被検体の構造に関する情報に基づいた再構成)
まずは被検体の構造に関する情報を定義する。本発明における被検体の構造に関する情報とは、被検体内部の計測対象の特徴的な構造に由来する特性情報のことである。例えば、被検体の構造に関する情報とは、計測対象が血管の場合、その構造的な特性のことである。これらの特性情報は計測前に知ることができるため事前情報とも呼ばれる。
被検体の構造に関する情報を用いた再構成では、例えば、以下のような式を解くことで被検体内部の計測対象に特徴的な構造に由来する特性情報を導入した再構成を行うことができる。
Figure 2017104550

ここでEはコスト関数である。pdは受信部400の各受信素子から出力された信号(時間分解信号)である。pcは被検体内の音源分布(初期音圧分布)データを適当に仮定したときにそこから発生した音響波が各受信素子から出力される信号を数値計算(シミレーション)で求めたものである。p0は前述した仮定された音源分布データである。
式(3)の右辺の第一項目は最小二乗項である。まず、適当に仮定した被検体内の音源分布(p)において各受信素子位置で得られるべき光音響信号(pc)をシミュレーションで推定する。次に、推定した仮定信号(pc)と計測で得られた実測信号(pd)を比較する。そして、仮定信号と実測信号の差が所定の数値範囲内で一致しているのであれば、そのときに仮定した音源分布(p)が最適解(^p0)であるとする。式(3)の右辺の第一項は、これらの機能のための項である。
右辺の第二項のf(p)は正則化項、制約条件項、ペナルティー項と呼ばれる。正則化項は、その前項の最小二乗コスト関数の解に制約条件を付与して、より適切な解に絞る項である。また、λは任意の定数であり、最小二乗項と正則化項とのバランスを取るためのものであり、通常は予め設定される値である。このとき、右辺の第二項で定義された関数(正則化項)は仮定された音源分布pを変数とする。この関数で評価された値を含むコスト関数Eが可能な限り最小化するような被検体内の音源分布(p)が最適解の候補となる。
すなわち、再構成部730は、実測信号と仮定信号との差と、被検体の構造に関する情報に基づいた正則化項とを含むコスト関数を最適化手法により解くモデルベース再構成を行うことにより第2の画像データを取得することができる。
本実施形態における正則化項は、被検体の構造に関する情報に基づいて再構成部730により設定される項である。例えば、光音響イメージングを生体に適用した場合に、400−1100nmの光を用いる場合を考える。この場合、典型的にヘモグロビンの吸収係数が脂肪や水など他の組成よりも高いため、ヘモグロビンを多く含む血管(血液)がイメージングされる。そのため、最適化問題の解(最適推定解)としては、血管構造の特徴を多く含む解を決定することが好ましい。すなわち、本実施形態における正則化項は、血管構造のような被検体の特徴的な構造を多く含む解を最適解とするような制約条件を与える正則化項である。
正則化項の決定方法としては、被検体の特徴的な構造の機械学習により正則化項を決定してもよい。血管構造は造影剤を用いたX線CTやMRIで3次元的な血管構造を画像化できることが知られている。CTやMRIで様々な血管を撮影し、信号処理技術によりその撮影画像から血管画像の特徴を記述する基底画像(φ)を生成することができる。例えば、主成分分析、独立主成分分析、非負行列因数分解、スパース信号分解などである。このような方法により画像の特徴を記述する基底画像が得られれば、光音響イメージングで得られる血管画像p0,vesselは基底画像を用いて、以下の式のように近似的に表現できる。
Figure 2017104550

ここでa(i=0・・・n)は各基底での係数である。なお、得られた基底を並べた基底行列をΦ=(φ、・・・、φ)、得られた係数を並べた係数ベクトルをa=(a0、a1、・・・、an)とすると、式(4)は行列を用いてp0,vessel=Φaで表現できる。
通常、基底ベクトルの数nと画像の次元は一致するが、基底ベクトルの数nを画像の次元よりも大きくすることもでき、そのような場合は過完備な基底行列と呼ばれる。なお、このような場合、基底はフレームと呼ばれることがある。過完備な基底行列で、光音響イメージングで得られる血管画像p0,vesselを分解した場合、係数ベクトルは一意に定まらない。さらに、スパース信号分解と呼ばれる方法で、画像の基底(フレーム)を生成すると、係数ベクトルaのうちの少数のanのみが非ゼロの値をとり、残りの係数の大部分はゼロとなるような基底を生成することができる。このような方法で生成された基底を用いると、少ない基底で効率的に画像を表現できる。つまり、過完備な基底行列で係数ベクトルに冗長性を持たせ、かつ、少ない基底で表現することで、画像をより良い近似画像で表現できるようになり、さらに、ノイズに対しても頑健になる。
本実施形態においても、再構成部730が生成した基底φで効率よく表現できる解を推定する正則化項を設定することにより、音源分布(血管構造)を精度よく再現できるようになる。例えば、スパース信号分解で過完備な基底行列Φを生成し、可能な限り少ない基底で血管画像が構成されると仮定する(スパース表現)場合は、式(5)となるコスト関数Eを最小化すればよい。
Figure 2017104550
つまり、再構成部730は、少ない基底で画像は構築されるという制約条件を与えることで、無駄な情報を除外して、より血管の特徴を含む画像が再構成されやすくなる。なお、ここでは光音響イメージングにおいて、血管がイメージングされる例を示したが、使用する光の波長や計測部位によっては、血管以外の組織構造をイメージングできる。例えば、脂質を多く含むプラークやメラニンを多く含む組織などをイメージングすることができる。そのような場合が、脂質を多く含むプラークやメラニンを多く含む組織などの特徴を表現できる基底を使えばよい。
以下、具体的な計算例を示す。例えば、式(1)において空間の離散化を行い、行列で表現すると、式(1)は以下の式で表現できる。
Figure 2017104550
ここでpは受信素子から出力される信号を表現する列ベクトルである。pは離散化した音源分布(初期音圧分布)を表現する列ベクトルである。Aはある微小音源から発生する光音響波が受信素子で受信され、信号に変換されることを表現したフォワードモデル行列(行列で表現したオペレーター)である。なお、実際には光音響波の伝搬や受信素子の受信特性を正確にモデル化したフォワードモデル行列を生成する。そのために、受信素子のサイズ効果(指向性)・インパルス応答などの受信素子の受信特性、入射光のパルス幅、光音響波の反射や減衰などを考慮したフォワードモデル行列Aを予め生成し、記憶部710に保存する。例えば、被検体への光照射により発生した光音響波を受信部400の各受信素子で受信した信号群を縦ベクトル(p)として記憶部710に保存する。ここで、行列Aが正則であれば、逆行列を持つため、初期音圧分布pは式(7)で表現できる。
Figure 2017104550
ここでA−1はAの逆行列である。この式から分かるように、行列Aの逆行列を受信音圧ベクトルの掛けることで、音源分布pを求めることができる。反対に、再構成部730は、仮定された音源分布(行列ベクトル)pにフォワードモデル行列Aを掛けることにより、式(3)におけるpを求めることができる。
ただし、図1の示すような半球状の受信部400を用いた場合は、上述したようにLimited View条件であるため、行列Aは正則でない。そのため、逆行列を持たない。その場合、式(3)に示したようなコスト関数Eを最小にするpを求める条件付き最適化問題を解く。
ところで、血管構造の特徴としては、血管の分岐モデルとして知られているMurray‘s lawがある。再構成部730は、被検体の構造に関する情報に基づいた正則化項をMurry’s lawにしたがって設定してもよい。Murry‘s lawによれば分岐前の血管の太さをr、分岐後の血管の太さをr、rとすると、式(8)に示す関係となる。
Figure 2017104550
また、分岐後の分岐角度をそれぞれθ及びθとすると、式(9)および式(10)に示す関係となる。
Figure 2017104550
Figure 2017104550
つまり、Murry‘s lawを用いて数値的に様々な血管画像を生成し、それらの画像データを機械学習することで血管の特徴的な構造を表現する冗長的な基底であるフレーム(d)を生成することができる。本実施形態ではこれが被検体の構造に関する情報となる。ここでフレーム行列(辞書)をD=(d0、・・・、dn)、係数ベクトルをα=(α1、・・・、αn)とすると、推定される音源分布p0は以下の式で表現される。
Figure 2017104550

つまり、音源分布pは、被検体の構造に関する情報である辞書Dのフレーム(d)の組み合わせで表現できる。このような場合において、より少ないフレームで音源分布pが構成される(スパース表現)とすると、以下の式を解くことで、最適な音源分布pを求めることができる。
Figure 2017104550
なお、最適な音源分布は最小のフレームで構成されるという制約を導入してもよい。
再構成部730は、図5(a)で示したリング状の光吸収体から発生した光音響波に由来する信号データに対して当該再構成を行うことにより、図5(c)に示す画像データを得ることができる。つまり、当該再構成により、図5(b)よりも図5(a)に近い画像を形成できる。ところが、被検体の構造に関する情報が表す構造と被検体の構造とが一致しないような場合、図5(a)で示したリング状の光吸収体は図5(d)のように再構成されることもある。このような場合、図5(d)の画像データのみをユーザーに提示しても、ユーザーはどの領域が信頼度の高い領域であるのか判断できない。
なお、被検体の構造に関する情報を用いた再構成法はここで示したスパース表現を用いた再構成法に限らず、仮定した音源分布中の被検体の特徴的な構造の含有度の評価を導入できる再構成ならばどのような再構成法でもあってもよい。
(被検体の構造に関する情報に基づいた画像補正処理)
この方法は、画像処理部750が、S100で再構成部730により得られた第1の画像データを被検体の構造に関する情報に基づいた画像処理で補正する方法である。まず、画像処理部750は、記憶部710に保存された第1の画像データを読み出す。上記でも述べたが、Limited View条件下では図1のような装置では図5(b)のように完全に音源の形状を再現できない第1の画像データが得られる。このような完全に音源の形状を再現できない第1の画像データをg、補正画像データをg〜とする。本実施形態の被検体の構造に関する情報を用いた画像処理方法は、例えば、以下の式で定式化できる。
Figure 2017104550
g〜は最適な補正画像データである。右辺の第一項目は最小二乗項であり、第二項のf(g〜)は正則化項、λは正則化項の重みを表すパラメーターである。 被検体の構造に関する情報を用いた再構成は、信号データに対して音源分布pを仮定し、実測信号と仮定信号との差を含むコスト関数を最適化する最適化問題を解く方法であった。一方、当該画像処理は第1の画像データに対して補正画像データg〜を仮定し、第1の画像データと補正画像データ(仮定画像データ)との差を含むコスト関数を最適化する最適化問題を解くことにより補正画像データg〜の最適解を取得する。なお、画像処理部750は、正則化項f(g〜)として、被検体の構造に関する情報を用いた再構成における正則化項f(p)と同様のものを設定することができる。
画像処理部750が当該画像処理を行うことにより、図5(b)に示す第1の画像データを図5(c)に示す補正画像データ(第2の画像データ)とすることができる。ただし、被検体の構造に関する情報が表す構造と被検体の構造とが一致しないような場合、図5(d)のように再構成されることもある。このような場合、図5(d)の画像データのみをユーザーに提示しても、ユーザーはどの領域が信頼度の高い領域であるのか判断できない。
なお、被検体の構造に関する情報を用いた画像処理はスパース表現を用いた画像処理に限らず、第1の画像データ中の被検体の特徴的な構造の含有度の評価を導入できる画像処理法ならばどのような方法でもよい。
以上で説明したように、本実施形態では、コンピュータ700が、受信部400から得られる信号と被検体の構造に関する情報とに基づいて第2の画像データを生成する。
(S300:第2の画像データを表示する工程)
表示制御部としての制御部770は、S200で得られた第2の画像データを記憶部710から読み出し、表示部800に転送し、表示部800に表示させる。ところが、この第2の画像データは被検体の構造に関する情報を用いて推定されている。そのため、画像データ中の場所によっては受信部400からの信号を根拠とせず、被検体の構造に関する情報だけで構成された領域が存在し、信頼度の低い領域を含んでいる可能性がある。また、第2の画像データを表示しただけでは、ユーザーは表示された画像データの各位置における信頼度の高低を判別することができない。
(S400:第1の画像データと第2の画像データとの差分領域とその他の領域を区別できるように第2の画像データを表示する工程)
表示制御部としての制御部770は、第1の画像データと第2の画像データとの差分領域とその他の領域を区別できるように第2の画像データを表示部800に表示させる。このように第2の画像データを表示させることにより、第2の画像データのうち、被検体の構造に関する情報に由来して推定された領域と、受信部400から出力された信号に由来する信頼度の高い領域とを区別することができる。
例えば、制御部770は、第1の画像データと第2の画像データとを用いて差分領域を抽出し、その領域を異なる表示方法で表示させることができる。まず、制御部770は、記憶部710から第1の画像データと第2の画像データを読み出し、第1の画像データと第2の画像データとの差分を示す差分画像データを生成する。制御部770は、差分画像データの画像値のうち、所定の数値範囲に含まれるピクセルまたはボクセルを特定し、特定されたピクセルまたはボクセルを差分領域として設定する。例えば、制御部770は、差分画像データの画像値のうち、所定の閾値を超えるピクセルまたはボクセルを特定し、差分領域を設定する。そして、制御部770は、第2の画像データのうち、差分領域に含まれるピクセルまたはボクセルの表示方法と、その他の領域に含まれるピクセルまたはボクセルの表示方法とを変えることにより、各領域を区別して表示させる。例えば、制御部770は、領域ごとに色を変えることや点滅の有無を変えることなどにより、第2の画像データ中の各領域を区別できるように第2の画像データを表示させることができる。
また、制御部770は、第1の画像データの画像値を色相及び彩度の少なくとも一方に対応付け、第2の画像データの画像値を明度に対応付けて第2の画像データを表示部800に表示させてもよい。これにより、ユーザーは、第2の画像データ中の、第1の画像データで規定される信頼度の高い領域と、第1の画像データには現れない信頼度の低い領域とを異なる色で確認できる。
また、制御部770は、第1の画像データと第2の画像データとを異なる色相で重畳表示させることができる。このとき、第1の画像データと第2の画像データとが重畳する領域については信頼度の高い第1の画像データの色で表示してもよい。信頼度の高い画像データをベースに画像を表示することにより、誤診断につながる可能性のある信頼度の低い領域を区別しやすくなる。また、第1の画像データと第2の画像データとが重畳する領域についてはいずれの画像データの色相とも異なる色相で表示してもよい。なお、第1の画像データと第2の画像データとの表示方法を変えて表示部800に表示させる場合、画像間の比較を容易とするために画像を重畳させることが好ましい。
図6は、表示部800に表示されたGUI(Graphic User Interface)の例を示す。GUIには、表示画面810、UBPアイコン821、構造推定アイコン822、差分領域アイコン823、矢印アイコン830が表示されている。ユーザーが入力部900を操作することにより矢印アイコン830を動かし、各種アイコン821、822、823を選択することができる。
図6(a)は、UBPアイコン821が選択されたときのGUIを示す。UBPアイコン821が選択されると、制御部770は記憶部710から第1の画像データを読み出し、表示画面810に表示させる。すなわち、UBPアイコン821は、第1の画像データと関連付けられている。
図6(b)は、構造推定アイコン822が選択されたときのGUIを示す。構造推定アイコン822が選択されると、制御部770は記憶部710から第2の画像データを読み出し、表示画面810に表示させる。すなわち、構造推定アイコン822は、第2の画像データと関連付けられている。
図6(c)は、差分領域アイコン823が選択されたときのGUIを示す。差分領域アイコン823が選択されると、制御部770は記憶部710から第1の画像データ及び第2の画像データを読み出す。そして、制御部770は、S400で説明した方法により差分領域とその他の領域が区別できるように第2の画像データを表示画面810に表示させる。ここでは、差分領域とその他の領域とで色を変えて第2の画像データが表示されている。すなわち、差分領域アイコン823は、第1の画像データ及び第2の画像データの両方と関連付けられている。
以上のように、制御部770は、第1の画像データを表示するモードと、第2の画像データを表示するモードと、差分領域を区別できるように第2の画像データを表示するモードを切り替えるように制御する。このように表示させる画像データを切り替えられることにより、ユーザーが表示された情報の信頼度を複数の画像から総合的に判断して診断を行うことができる。
なお、図6においてアイコンに付された用語はいかなる用語でもよい。また、各表示モードを選択する方法は、GUI上の矢印アイコン等を利用する形態だけでなく、各表示モードを切り替えることができればいかなる方法でもよい。例えば、表示モードの切り替えはボタン等のハードウェアによる入力部によって行われてもよいし、制御部が自動で切り替えてもよい。
また、光音響装置は、差分領域を区別できるように第2の画像データを表示するモードのみを備えた装置であってもよい。この場合も、被検体の構造に関する情報に由来して推定された領域を区別して画像データを表示することができる。
[第2の実施形態]
本実施形態では、第2の画像データを表示するときに、被検体の構造の推定度合いを変更することができる形態を説明する。なお、本実施形態では、図7に示す血管の画像データを第1の実施形態で説明した光音響装置により取得する場合を考える。
図8は、本実施形態における表示部800に表示されるGUIの例を示す。図6と同様の構成には同じ符号を付し、説明を省略する。図8に示すGUIには、推定度小アイコン841及び推定度大アイコン842が表示されている。これらのアイコン841及び842は、式(3)、(5)、(12)、(13)等に示されるλに関連付けられたアイコンである。推定度小アイコン841は小さなλに関連付けられたアイコンであり、推定度大アイコン842は大きなλに関連付けられたアイコンである。推定度小アイコン841が選択された場合、小さいλで計算が行われることとなる。一方、推定度大アイコン842が選択された場合、推定度小アイコン841が選択された場合と比べて大きなλで計算が行われることとなる。すなわち、本実施形態では、被検体の構造に関する情報に基づいた画像データの推定の度合いを設定できる。
図8(a)は、UBPアイコン821が選択されたときのGUIを示す。図8(a)の表示画面810に示された第1の画像データを、図7に示す計測対象である血管と比較すると、領域811a、811b、811c、811dの血管を再現することができていないことが理解される。図8(a)に示すように第1の画像データに対応付けられたUBPアイコン821が選択された場合は、アイコン841及び842は無効であり、選択することができない。
図8(b)は、差分領域アイコン823及び推定度小アイコン841が選択されたときのGUIを示す。推定度小アイコン841が選択されると、再構成部730または画像処理部750は記憶部710に保存された推定度小アイコン841に対応するλを読み出し、第2の画像データを生成する。そして、制御部770は、推定度小アイコン841に対応するλを用いて取得された第2の画像データを用いて、S400で説明した方法で第2の画像データを表示する。図8(b)に示すように、推定度小アイコン841に対応するλに基づいて構造812aと構造812bを推定することができる。
図8(c)は、差分領域アイコン823及び推定度大アイコン842が選択されたときのGUIを示す。推定度大アイコン842が選択されると、再構成部730または画像処理部750は記憶部710に保存された推定度大アイコン842に対応するλを読み出し、第2の画像データを生成する。そして、制御部770は、推定度大アイコン842に対応するλを用いて取得された第2の画像データを用いて、S400で説明した方法で第2の画像データを表示する。図8(c)に示すように、推定度大アイコン842に対応するλに基づいて、構造813a及び813b、構造814a、814b、814cを推定することができる。図7に示す血管と図8(c)に示す画像データを比較すると、構造813a及び813bについては血管を正しく再現することができている。しかしながら、構造814a、814b、814cについては、図7に示す計測対象である血管には存在しない構造であり、推定により生成された偽像である。
これらのことからも理解されるように、構造の推定度合いを大きくするにつれて、第1の画像データでは現れなかった被検体の構造を推定する可能性は高くなる傾向がある。一方で、推定度合いを大きくすると、実際には存在しない被検体の構造を推定してしまう可能性も高くなる。そのため、本実施形態のように、ユーザーが入力部900により推定度合いを設定できることにより、ユーザーのニーズに合わせた構造の画像データを表示させることができる。例えば、第1の画像データでも十分に被検体の構造を描出できている場合、推定度合いを小さくし、偽像を少なくすることができる。一方、第1の画像データで十分に被検体の構造を描出できていない場合には、ユーザーの判断で偽像の可能性も含め、描出される構造を増やすように推定度合いを高くすることができる。
なお、本実施形態では、大小の2つの不連続な推定度合いから入力部により選択する例を説明したが、入力部によりいかなる方法で推定度合いを指定してもよい。例えば、推定度に対応するλを連続的に変更できるような入力部であってもよい。
[第3の実施形態]
正常血管と、腫瘍周辺等に生成される異常血管とでは特徴的な構造が異なると考えられている。そのため、正常血管の構造に関する情報に基づいた構造の推定では、異常血管の構造を正しく再現することができない。反対に、異常血管の構造に関する情報に基づいた構造の推定では、正常血管の構造を正しく再現することができない。そこで、本実施形態では、第2の画像データを表示するときに、正常血管の特徴的な構造に基づいた推定を行うモードと、異常血管の特徴的な構造に基づいた推定を行うモードとを変更することができる形態を説明する。なお、本実施形態では、第1の実施形態で説明した光音響装置により画像データを取得する場合を考える。
本実施形態では、記憶部710に、正常血管の構造を多く含むときにコスト関数が最適化するような正則化項と、異常血管の構造を多く含むときにコスト関数が最適化するような正則化項とが保存されている。また、入力部900は、正常血管推定モードまたは異常血管推定モードを指定できるように構成されている。正常血管推定モードは、正常血管の構造を多く含むときにコスト関数が最適化するような正則化項と関連付けられている。異常血管推定モードは、異常血管の構造を多く含むときにコスト関数が最適化するような正則化項と関連付けられている。
そして、ユーザーが入力部900を用いて正常血管推定モードを選択すると、再構成部730または画像処理部750は記憶部710に保存された正常血管推定モードに対応する正則化項を読み出し、第2の画像データを生成する。一方、ユーザーが入力部900を用いて異常血管推定モードを選択すると、再構成部730または画像処理部750は記憶部710に保存された異常血管推定モードに対応する正則化項を読み出し、第2の画像データを生成する。
このように、複数種類の血管構造に対応した推定モードを切り替えられることにより、ユーザーが注目している血管に適した推定を行うことができる。例えば、画像全体に占める正常血管に対する異常血管の割合が小さい場合、まずは正常血管推定モードで血管の全体的な走行を確認する。そして、その中から異常血管が含まれると思われる領域を見つけたときに異常血管推定モードに切り替えて、異常血管と思われる領域の観察を行うことが考えられる。この場合、構造推定モードまたは差分領域モードを選択したときの初期設定としては正常血管推定モードが設定されていることが好ましい。
なお、第2の実施形態や第3の実施形態のように第2の画像データの再生成を対話的に指定する場合、被検体の構造に関する情報に基づいた再構成ではリアルタイムに第2の画像データを再表示できない可能性がある。このような場合、コンピュータ700は、被検体の構造に関する情報に基づいた再構成に比べて処理量の少ない、被検体の構造に関する情報に基づいた画像補正処理を行うことが好ましい。ここでリアルタイムに表示するとは、ユーザーによる再生成の指示から0.1秒以内に第2の画像データを表示できることを指す。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100 光照射部
400 受信部
700 コンピュータ
800 表示部

Claims (18)

  1. 光を被検体に照射する光照射手段と、
    光が照射されることにより前記被検体から発生する音響波を電気信号に変換する受信手段と、
    前記電気信号を用いて画像データを取得する処理手段と、
    表示制御手段と、
    を有し、
    前記処理手段は、
    前記電気信号を用いて、第1の画像生成方法により第1の画像データを取得し、
    前記電気信号を用いて、前記第1の画像生成方法とは異なる第2の画像生成方法により第2の画像データを取得し、前記表示制御手段は、
    前記第1の画像データと前記第2の画像データとの差分画像データの画像値が所定の数値範囲内の領域を差分領域として設定し、
    前記第1の画像データと前記第2の画像データを用いて、前記差分領域とその他の領域とを区別できる画像データを表示手段に表示させる
    ことを特徴とする光音響装置。
  2. 前記処理手段は、
    前記電気信号を用いて、前記被検体の構造に関する情報を用いずに前記第1の画像データを取得し、
    前記電気信号と前記被検体の構造に関する情報とに基づいて前記第2の画像データを取得する
    ことを特徴とする請求項1に記載の光音響装置。
  3. 前記処理手段は、前記電気信号と仮定信号との差と、前記被検体の構造に関する情報に基づいた正則化項とを含むコスト関数を最適化手法により解くモデルベース再構成を行うことにより前記第2の画像データを取得する
    ことを特徴とする請求項2に記載の光音響装置。
  4. 前記処理手段は、前記電気信号を用いて第3の画像データを取得し、前記第3の画像データを前記被検体の構造に関する情報に基づいて補正することにより前記第2の画像データを取得する
    ことを特徴とする請求項2に記載の光音響装置。
  5. 前記処理手段は、前記第3の画像データと仮定画像データとの差と、前記被検体の構造に関する情報に基づいた正則化項とを含むコスト関数を最適化手法により解くモデルベース再構成を行うことにより前記第2の画像データを取得する
    ことを特徴とする請求項4に記載の光音響装置。
  6. 前記被検体の構造に関する情報は、血管の構造に関する情報である
    ことを特徴とする請求項2から5のいずれか1項に記載の光音響装置。
  7. 前記表示制御手段は、前記差分領域と前記その他の領域とを異なる色相で前記表示手段に表示させる
    ことを特徴とする請求項1から6のいずれか1項に記載の光音響装置。
  8. 前記表示制御手段は、前記第1の画像データの画像値を色相及び彩度の少なくとも一方に対応付け、前記第2の画像データの画像値を明度に対応付けた前記画像を前記表示手段に表示させる
    ことを特徴とする請求項1から6のいずれか1項に記載の光音響装置。
  9. 前記表示制御手段は、前記第1の画像データを第1の色、前記第2の画像データを前記第1の色とは異なる第2の色で前記表示手段に表示させる
    ことを特徴とする請求項1から6のいずれか1項に記載の光音響装置。
  10. 前記表示制御手段は、前記第1の画像データと前記第2の画像データとが重畳する領域を、前記第1の色及び前記第2の色とは異なる第3の色で前記表示手段に表示させる
    ことを特徴とする請求項9に記載の光音響装置。
  11. 前記表示制御手段は、前記第1の画像データと前記第2の画像データとが重畳する領域を、前記第1の画像データに対応付けた前記第1の色で前記表示手段に表示させる
    ことを特徴とする請求項9に記載の光音響装置。
  12. 前記表示制御手段は、前記差分領域を点滅させて前記表示手段に表示させる
    ことを特徴とする請求項1から6のいずれか1項に記載の光音響装置。
  13. 光を被検体に照射する光照射手段と、
    光が前記被検体に照射されることにより前記被検体から発生する音響波を電気信号に変換する受信手段と、
    前記電気信号と前記被検体の構造に関する情報とに基づいて画像データを取得する処理手段と、ユーザーの指示に基づいて、前記被検体の構造に関する情報に由来する推定の度合いを設定し、前記推定の度合いに基づいて、前記被検体の構造に関する情報に由来して推定された領域とその他の領域とを区別できるように前記画像データを表示手段に表示させる表示制御手段と、
    を有する
    ことを特徴とする光音響装置。
  14. 前記処理手段は、
    前記被検体の構造に関する情報として、正常血管の構造に関する情報または異常血管の構造に関する情報を取得し、
    前記正常血管の構造に関する情報または前記異常血管の構造に関する情報に基づいて前記画像データを取得する
    ことを特徴とする請求項13に記載の光音響装置。
  15. 光が被検体に照射されることにより前記被検体から発生した光音響波に由来する電気信号を用いて得られた画像データの表示制御方法であって、
    前記電気信号を用いて第1の画像生成方法により得られた第1の画像データを表示する工程と、
    前記電気信号を用いて前記第1の画像生成方法とは異なる第2の画像生成方法により得られた第2の画像データを表示する工程と、
    前記第1の画像データと前記第2の画像データとの差分画像データの画像値が所定の数値範囲内の領域を差分領域として設定する工程と、
    を有し、
    前記第2の画像データを表示する工程は、前記差分領域とその他の領域とを区別できるように前記第2の画像データを表示するモードを含む
    ことを特徴とする表示制御方法。
  16. 前記第2の画像データを表示する工程は、前記差分領域とその他の領域とを区別できるように前記第2の画像データを表示するモードと、前記差分領域と前記その他の領域とを区別できないように前記第2の画像データを表示するモードと、を含む
    ことを特徴とする請求項15に記載の表示制御方法。
  17. 光が被検体に照射されることにより前記被検体から発生する音響波に由来する電気信号と、前記被検体の構造に関する情報とを用いて取得された画像データの表示制御方法であって、
    ユーザーの指示に基づいて、前記被検体の構造に関する情報に由来する推定の度合いを設定する設定工程と、
    前記設定工程で設定された前記推定の度合いに基づいて、前記被検体の構造に関する情報に由来して推定された領域とその他の領域とを区別できるように画像データを表示する表示工程と、
    を有する
    ことを特徴とする表示制御方法。
  18. 請求項15から17のいずれか1項に記載の表示制御方法をコンピュータに実行させるためのプログラム。
JP2016238661A 2015-12-09 2016-12-08 光音響装置、表示制御方法、プログラム Withdrawn JP2017104550A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015240581 2015-12-09
JP2015240581 2015-12-09

Publications (1)

Publication Number Publication Date
JP2017104550A true JP2017104550A (ja) 2017-06-15

Family

ID=57542711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016238661A Withdrawn JP2017104550A (ja) 2015-12-09 2016-12-08 光音響装置、表示制御方法、プログラム

Country Status (5)

Country Link
US (1) US20170168150A1 (ja)
EP (1) EP3178380A1 (ja)
JP (1) JP2017104550A (ja)
KR (1) KR20170068388A (ja)
CN (1) CN106852684A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200985A1 (ja) * 2020-03-30 2021-10-07 テルモ株式会社 プログラム、情報処理方法、情報処理システムおよび学習モデルの生成方法
WO2023243075A1 (ja) * 2022-06-17 2023-12-21 株式会社アドバンテスト 光音響波測定装置、方法、プログラム、記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6425527B2 (ja) * 2013-12-17 2018-11-21 キヤノン株式会社 光音響装置、信号処理方法、およびプログラム
JP7277212B2 (ja) * 2019-03-28 2023-05-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN110503015B (zh) * 2019-08-09 2022-03-15 电子科技大学 一种基于局部结构保持类子字典学习的目标识别方法
CN115153453B (zh) * 2022-09-06 2022-12-30 山西大学 一种量子增强的全光光声信号探测装置及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361103B2 (ja) * 2000-10-24 2013-12-04 株式会社東芝 画像処理装置
US8036730B1 (en) * 2002-04-19 2011-10-11 Fonar Corporation Temporal magnetic resonance imaging
DE602006014865D1 (de) * 2005-12-14 2010-07-22 Koninkl Philips Electronics Nv Verfahren und einrichtung zum miteinander in beziehung setzen von medizinischen 3d-datenbild-ansichtsebenen
US7680240B2 (en) * 2007-03-30 2010-03-16 General Electric Company Iterative reconstruction of tomographic image data method and system
US9295449B2 (en) * 2012-01-23 2016-03-29 Ultrasonix Medical Corporation Landmarks for ultrasound imaging
JP5840069B2 (ja) * 2012-05-08 2016-01-06 富士フイルム株式会社 光音響画像生成装置、システム、及び方法
JP6238539B2 (ja) 2013-03-21 2017-11-29 キヤノン株式会社 処理装置、被検体情報取得装置、および、処理方法
KR101511085B1 (ko) * 2013-11-01 2015-04-14 삼성메디슨 주식회사 광 음향 장치 및 그 동작방법
KR20150084559A (ko) * 2014-01-14 2015-07-22 삼성메디슨 주식회사 광 음향 장치 및 그 동작방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200985A1 (ja) * 2020-03-30 2021-10-07 テルモ株式会社 プログラム、情報処理方法、情報処理システムおよび学習モデルの生成方法
WO2023243075A1 (ja) * 2022-06-17 2023-12-21 株式会社アドバンテスト 光音響波測定装置、方法、プログラム、記録媒体

Also Published As

Publication number Publication date
EP3178380A1 (en) 2017-06-14
KR20170068388A (ko) 2017-06-19
US20170168150A1 (en) 2017-06-15
CN106852684A (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
JP2017104550A (ja) 光音響装置、表示制御方法、プログラム
JP6335612B2 (ja) 光音響装置、処理装置、処理方法、及びプログラム
JP6132466B2 (ja) 被検体情報取得装置及び被検体情報取得方法
JP2017070385A (ja) 被検体情報取得装置およびその制御方法
JP2018011950A (ja) 超音波及び光音響波に由来する情報を取得する装置、方法、及びプログラム
JP2017119094A (ja) 情報取得装置、情報取得方法、及びプログラム
JP2018011949A (ja) 超音波画像及び光音響画像を表示させる装置、方法、及びプログラム
JP2017029610A (ja) 光音響装置、信頼度取得方法、プログラム
JP6656229B2 (ja) 光音響装置
US20180228377A1 (en) Object information acquiring apparatus and display method
JP6664176B2 (ja) 光音響装置、情報処理方法、およびプログラム
JP6521761B2 (ja) 情報処理装置および表示制御方法
JP6598528B2 (ja) 被検体情報取得装置および被検体情報取得方法
EP3329843B1 (en) Display control apparatus, display control method, and program
JP6486056B2 (ja) 光音響装置および光音響装置の処理方法
JP2018102359A (ja) 処理装置および処理方法
WO2019102969A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2018230409A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019063516A (ja) 情報処理装置および情報処理方法
WO2023047601A1 (ja) 画像生成方法、画像生成プログラムおよび画像生成装置
JP7277212B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017042603A (ja) 被検体情報取得装置
JP6513121B2 (ja) 処理装置、被検体情報取得装置、光音響画像の表示方法、及びプログラム
JP2017012692A (ja) 光音響装置、情報取得装置、情報取得方法、およびプログラム
WO2018101258A1 (en) Display control apparatus, display method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191129

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200703