JP2018094400A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2018094400A
JP2018094400A JP2017230589A JP2017230589A JP2018094400A JP 2018094400 A JP2018094400 A JP 2018094400A JP 2017230589 A JP2017230589 A JP 2017230589A JP 2017230589 A JP2017230589 A JP 2017230589A JP 2018094400 A JP2018094400 A JP 2018094400A
Authority
JP
Japan
Prior art keywords
light
imaging device
amount
signal
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017230589A
Other languages
English (en)
Other versions
JP6998529B2 (ja
Inventor
貴真 安藤
Takamasa Ando
貴真 安藤
照弘 塩野
Teruhiro Shiono
照弘 塩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2018094400A publication Critical patent/JP2018094400A/ja
Application granted granted Critical
Publication of JP6998529B2 publication Critical patent/JP6998529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain

Abstract

【課題】対象物の内部情報を、対象物に接触しない状態で、かつ、対象物表面からの反射成分によるノイズを抑制した状態で測定する。
【解決手段】本開示の一態様に係る撮像装置は、対象物の内部の測定に用いられる装置であって、前記対象物に照射するためのパルス光を発光する光源と、前記パルス光の照射に対応して、前記対象物から戻った光を検出する光検出器と、演算部と、を備え、前記演算部は、前記光検出器により検出された前記対象物から戻った光の光量の時間的な安定性を判定する。
【選択図】図1A

Description

本開示は、対象物の内部の測定に用いられる撮像装置に関する。
生体計測の分野では、対象物に光を照射し対象物内部を透過した光の情報から対象物の内部情報を取得する方法が用いられる。この方法において、対象物表面からの反射成分である表面反射成分がノイズとなることがある。これら表面反射成分によるノイズを取り除き所望の内部情報のみを取得する方法として、例えば生体計測の分野では、特許文献1に開示された方法がある。特許文献1は、光源と光検出器を一定の間隔で離した状態で測定部位に密着させて測定する方法を開示している。
特開平11―164826号公報 特開平4―189349号公報
しかし、特許文献1に記載の方法では、光検出器を測定部位に密着させるため、被験者の心理的あるいは身体的な負担が大きい、装着するのに時間を要する、また、頭部が圧迫されるため長時間の使用が困難という課題があった。
本開示は、対象物の内部情報を、対象物に接触しない状態で、かつ、対象物表面からの反射成分によるノイズを抑制した状態で測定し得る技術を提供する。
本開示の一態様に係る撮像装置は、
対象物の内部の測定に用いられる装置であって、
前記対象物に照射するためのパルス光を発光する光源と、
前記パルス光の照射に対応して、前記対象物から戻った光を検出する光検出器と、
演算部と、を備える。
前記演算部は、
前記光検出器により検出された前記対象物から戻った光の光量の時間的な安定性を判定する。
本開示によれば、対象物の内部情報を、対象物に接触しない状態で、かつ、対象物の表面からの反射成分によるノイズを抑制した状態で測定できる。
図1Aは、実施の形態1の撮像装置及び撮像装置が対象物を撮影する様子を示す模式図である。 図1Bは、イメージセンサの構成の一例を示す図である。 図1Cは、制御回路による動作の概略を示すフローチャートである。 図2は、表面反射成分の波形、内部散乱成分の波形、表面反射成分と内部散乱成分とを合わせた波形、及び電子シャッタのOPEN、CLOSEのタイミングを示す図である。 図3は、実施の形態1における撮像装置の本測定前の動作を示すフローチャートである。 図4Aは、測定環境判定部の判定の一例を示す図である。 図4Bは、測定環境判定部の判定の一例を示す図である。 図4Cは、測定環境判定部の判定の一例を示す図である。 図4Dは、測定環境判定部の判定の一例を示す図である。 図5Aは、撮像装置で得られた撮影画像と対象物の検出領域を表示するディスプレイの一例を示す図である。 図5Bは、撮像装置で得られた撮影画像と対象物の検出領域を表示するディスプレイの一例を示す図である。 図5Cは、サイズ及び位置が調整されたあとの検出領域を示す図である。 図5Dは、領域最大化機能により最大化された検出領域を示す図である。 図5Eは、撮影画像上の複数の検出領域を示す図である。 図6Aは、測定環境判定部において、検出領域が正しくないと判定された際にディスプレイに出力されるエラーメッセージの一例を示す図である。 図6Bは、対象物の検出領域の調整を容易にするためにディスプレイ上に表示された補助線を示す図である。 図6Cは、検出領域を撮像装置の向き・位置を調整することで調整するための調整ステージの図である。 図6Dは、対象物を固定するための固定冶具を示す図である。 図7Aは、光量調整が必要な状況を示す図である。 図7Bは、光量調整が必要な状況を示す図である。 図7Cは、1フレーム内の複数の発光パルス、そのセンサ上での光信号、複数のシャッタタイミング、電荷蓄積タイミングの関係を示す図である。 図8Aは、信号安定性判定部における判定の例を示す図である。 図8Bは、信号安定性判定部における判定の例を示す図である。 図9は、信号安定性判定部で、信号が安定していないと判定された際にディスプレイに出力されるエラーメッセージの一例を示す図である。 図10Aは、実施の形態2の撮像装置及び撮像装置が対象物を撮影する様子を示す模式図である。 図10Bは、実施の形態2における撮像装置の本測定中の動作を示すフローチャートである。 図11Aは、異常値判定部における判定の例を示す図である。 図11Bは、異常値判定部における判定の例を示す図である。 図12Aは、異常値判定部で、異常値が発生したと判定された際にディスプレイに出力されるエラーメッセージの一例を示す図である。 図12Bは、異常値判定部で、異常値が発生したと判定された際にディスプレイに出力されるエラーメッセージの一例を示す図である。
本開示は、例えば、以下の項目に記載の態様を含む。
[項目1]
本開示の項目1に係る撮像装置は、
対象物の内部の測定に用いられる装置であって、
前記対象物に照射するためのパルス光を発光する光源と、
前記パルス光の照射に対応して、前記対象物から戻った光を検出する光検出器と、
演算部と、を備える。
前記演算部は、
前記光検出器により検出された前記対象物から戻った光の光量の時間的な安定性を判定する。
[項目2]
項目1に記載の撮像装置において、
光検出器は、前記対象物から戻った光を信号電荷に変換して蓄積するイメージセンサであり、
前記演算部は、前記イメージセンサにおける、前記信号電荷の蓄積量の時間的な安定性を判定することにより、前記光検出器により検出された前記対象物から戻った光の光量の時間的な安定性を判定してもよい。
[項目3]
項目1または2に記載の撮像装置において、
前記演算部は、さらに、
前記対象物の環境が前記対象物の内部の測定に適しているか否かを判定し、
前記パルス光の光量を調整してもよい。
[項目4]
項目3に記載の撮像装置において、
前記演算部は、前記パルス光の単位時間あたりの発光回数を調整することにより、前記パルス光の光量を調整してもよい。
[項目5]
項目2に記載の撮像装置において、
前記イメージセンサは、前記信号電荷に基づき、前記対象物の第1画像を取得し、
前記演算部は、さらに、前記第1画像内における、前記対象物の内部の測定に用いる領域の位置を決定してもよい。
[項目6]
項目5に記載の撮像装置において、
前記対象物は生体であり、
前記領域は、前記生体の特定部位内であって、
前記演算部は、さらに、前記特定部位内において前記領域が最大となるように前記領域の大きさを調整してもよい。
[項目7]
項目5または6に記載の撮像装置は、
ディスプレイをさらに備え、
前記ディスプレイは、前記第1画像と、前記領域を示す第2画像とを重畳して表示してもよい。
[項目8]
項目7に記載の撮像装置において、
前記ディスプレイは、さらに、前記領域の位置を決定するための補助線を、前記第1画像および前記第2画像に重畳して表示してもよい。
[項目9]
項目1から8のいずれかに記載の撮像装置において、
前記演算部は、さらに、前記対象物の内部の測定中の異常を判定してもよい。
[項目10]
項目2に記載の撮像装置において、
前記イメージセンサは、前記対象物から戻った光のうち、前記対象物の内部で散乱された成分に対応する前記信号電荷を蓄積してもよい。
[項目11]
項目1から10のいずれかに記載の撮像装置において、
前記対象物は生体であってもよく、
前記演算部は、前記光検出器からの信号を基に前記生体の血流変化を示す情報を生成してもよい。
[項目12]
本開示の項目12に係る撮像方法は、
対象物の内部の測定に用いられる方法であって、
パルス光を前記対象物に照射し、前記パルス光の照射に対応して、前記対象物から戻った光を光検出器により検出するステップと、
前記光検出器により検出された前記対象物から戻った光の光量の時間的な安定性を判定するステップと、を含む。
[項目13]
項目12に記載の撮像方法において、
光検出器は、前記対象物から戻った光を信号電荷に変換して蓄積するイメージセンサであり、
前記判定するステップにおいて、
前記イメージセンサにおける、前記信号電荷の蓄積量の時間的な安定性を判定することにより、前記光検出器により検出された前記対象物から戻った光の光量の時間的な安定性を判定してもよい。
[項目14]
項目12または13に記載の撮像方法において、
前記対象物の環境が前記対象物の内部の測定に適しているか否かを判定するステップと、
前記パルス光の光量を調整するステップと、をさらに含んでいてもよい。
[項目15]
項目12から14のいずれかに記載の撮像方法において、
前記対象物は生体であってもよく、
前記光検出器からの信号を基に前記生体の血流変化を示す情報を生成するステップをさらに含んでいてもよい。
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIまたはICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。
本開示の一態様によれば、対象物の内部情報を、対象物に接触しない状態で、かつ、対象物の表面からの反射成分によるノイズを抑制した状態で、測定できる。また、本開示の一態様によれば、非接触測定による誤差要因を排除して、対象物を安定して測定できる。
以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
以下、実施の形態について、図面を参照しながら具体的に説明する。
(実施の形態1)
[1.撮像装置]
まず、第1の実施形態に係る撮像装置100の構成について、図1Aから図3を用いて説明する。
図1Aは、本実施形態に係る撮像装置100を示す模式図である。撮像装置100は、光源102と、光電変換部104と電荷蓄積部106を含むイメージセンサ110と、制御回路120と、発光光量調整部130と、測定環境判定部140と、信号安定性判定部150と、を備える。イメージセンサ110は光検出器に相当する。発光光量調整部130、測定環境判定部140、及び信号安定性判定部150は、演算部に相当する。
[1−1.光源102]
光源102は、対象物101に光を照射する。光源102から照射されて対象物101に到達した光は、対象物101の表面で反射する成分である表面反射成分I1と、対象物101の内部で1回反射もしくは散乱、または多重散乱する成分である内部散乱成分I2になる。表面反射成分I1は、直接反射成分、拡散反射成分、及び散乱反射成分の3つを含む。直接反射成分は、入射角と反射角が等しい反射成分である。拡散反射成分は、表面の凹凸形状により拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。対象物101を人の額とした場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以降、本開示では、対象物101の表面反射成分I1はこれら3つの成分を含むものとして説明する。また、内部散乱成分I2は、表面近傍の内部組織によって散乱して反射する成分を含まないものとして説明する。
表面反射成分I1、内部散乱成分I2は反射または散乱により進行方向が変化し、その一部がイメージセンサ110に到達する。光源102は、パルス光を所定の時間間隔あるいはタイミングで複数回発生させる。光源102が発生させるパルス光は、立ち下り時間がゼロに近くてもよく、例えば矩形波である。一般に、対象物101の内部散乱成分I2の後端の広がりが4nsであることを考慮すると立ち下がり時間はその半分以下である2ns以下であってもよく、1ns以下であってもよい。光源102が発生させるパルス光の立ち上り時間は任意である。後述する本開示の撮像装置を用いた測定では、パルス光の時間軸における立下り部分を使用し、立ち上り部分を使用しないためである。光源102は、例えば、パルス光の立ち下り部分が時間軸に対して直角に近く、時間応答特性が急進なLDなどのレーザである。
光源102から出射されるパルス光の波長は、例えば略650nm以上略950nm以下に設定され得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。この波長域は対象物101内部まで光が透過しやすい波長帯域である。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。
本開示の撮像装置100は、非接触で対象物101を測定するため、対象物101が人である場合、網膜への影響を考慮する。このため、各国それぞれが保有するレーザ安全基準のクラス1を満足してもよい。この場合、被爆放出限界AELが1mWを下回るほどの低照度の光が対象物101に照射される。ただし、光源102自体はクラス1を満たしていなくてもよい。例えば、拡散板またはNDフィルタなどが光源102の前に設置されて光が拡散あるいは減衰されることによりレーザ安全基準のクラス1が満たされれば良い。
特許文献2等に記載の従来のストリークカメラは、生体内部の深さ方向において異なる場所にある情報(例えば、吸収係数及び散乱係数)を、区別して検出するために使用されていた。したがって、所望の空間分解能で測定するために、パルス幅がフェムト秒またはピコ秒の極超短パルス光が用いられていた。一方、本開示の撮像装置100は、表面反射成分I1から内部散乱成分I2を区別して検出するために使用される。
したがって、光源102が発光するパルス光は、極超短パルス光である必要は無く、パルス幅は任意である。脳血流を計測するために額に光をあてる場合、内部散乱成分I2の光量は、表面反射成分I1のそれと比較し、数1000から数万分の1と非常に小さくなる。さらに、レーザ安全基準を考慮すると、照射できる光の光量が小さく、内部散乱成分I2の検出は難しくなる。したがって、光源102が、比較的パルス幅の大きいパルス光を発生させることによって、時間遅れを伴う内部散乱成分の積算量を増加させ、検出光量を増やしSN比を向上させることができる。
光源102は、例えば、パルス幅3ns以上のパルス光を発光する。あるいは、光源102は、パルス幅5ns以上、さらに10ns以上のパルス光を発光してもよい。一方、パルス幅が大きすぎても使用しない光が増えて無駄となるため、光源102は、例えば、パルス幅50ns以下のパルス光を発生させる。あるいは、光源102は、パルス幅30ns以下、さらに20ns以下のパルス光を発光してもよい。
なお、光源102の照射パターンとしては、照射領域内において、均一な強度分布であってもよい。特許文献1等に開示の方法は、検出器と光源を3cm離し、空間的に表面反射成分I1を低減するため、離散的な光照射とせざるを得ない。一方、本開示の撮像装置100は、時間的に表面反射成分I1を分離して低減させる方法のため、対象物101上の照射点直下においても内部散乱成分I2も検出できるためである。測定解像度を高めるために対象物101に空間的に全面にわたって照射してもよい。
[1−2.イメージセンサ110]
イメージセンサ110は、光源102から出射され対象物101から反射した光を受光する。イメージセンサ110は、2次元に配置された複数の画素を有し、対象物101の2次元情報を一度に取得する。イメージセンサ110は、例えば、CCDイメージセンサまたはCMOSイメージセンサである。
イメージセンサ110は、電子シャッタを有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する1回の信号蓄積の期間、すなわち露光期間の長さであるシャッタ幅と、1回の露光期間が終了し次の露光期間が開始するまでの時間であるシャッタタイミングとを制御する回路である。以降、電子シャッタが露光している状態を「OPEN(開いた状態)」、電子シャッタが露光を停止している状態を「CLOSE(閉じた状態)」として説明する場合がある。
イメージセンサ110は、電子シャッタによってシャッタタイミングをサブナノ秒、例えば、30psから1nsで調整できる。距離測定を目的としている従来のTOFカメラは、被写体の明るさの影響を補正するため、光源102が発光したパルス光が被写体から反射されて戻った光の全てを検出する。したがって、従来のTOFカメラでは、シャッタ幅が光のパルス幅よりも大きい必要があった。これに対し、本実施形態の撮像装置100では、被写体の光量を補正する必要が無いため、シャッタ幅はパルス幅よりも大きい必要は無く、例えば、1から30ns程度である。本実施形態の撮像装置100によれば、シャッタ幅を縮小できるため、検出信号に含まれる暗電流を低減することができる。
対象物101が人の額であり脳血流などの情報を検出する場合、内部での光の減衰率が非常に大きく100万分の1程度である。このため、内部散乱成分I2を検出するには、1パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス1での照射では特に光量が微弱である。この場合、光源102がパルス光を複数回発光し、それに応じてイメージセンサ110も電子シャッタによって複数回露光することで検出信号を積算して感度を向上する。
以下、イメージセンサ110の構成例を説明する。
イメージセンサ110は、撮像面上に2次元的に配列された複数の光検出セルである画素を有する。各画素は、受光素子(例えばフォトダイオード)を有する。
図1Bは、イメージセンサ110の構成の一例を示す図である。図1Bにおいて、二点鎖線の枠で囲まれた領域が1つの画素201に相当する。画素201には1つのフォトダイオードが含まれる。図1Bでは2行2列に配列された4画素のみを示しているが、実際にはさらに多数の画素が配置される。画素201は、フォトダイオードと、ソースフォロワトランジスタ309と、行選択トランジスタ308と、リセットトランジスタ310とを含む。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。
図示されるように、ソースフォロワトランジスタ309の入力端子および出力端子の一方(典型的にはソース)と、行選択トランジスタ308の入力端子および出力端子のうちの一方(典型的にはドレイン)とが接続されている。ソースフォロワトランジスタ309の制御端子であるゲートは、フォトダイオードに接続されている。フォトダイオードによって生成された信号電荷(正孔または電子)は、フォトダイオードとソースフォロワトランジスタ309との間の電荷蓄積ノードである電荷蓄積部である浮遊拡散層204、205、206、207に蓄積される。
図1Bには示されていないが、フォトダイオードと浮遊拡散層204、205、206、207との間には、スイッチが設けられ得る。このスイッチは、制御回路120からの制御信号に応じて、フォトダイオードと浮遊拡散層204、205、206、207との間の導通状態を切り替える。これにより、浮遊拡散層204、205、206、207への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。
浮遊拡散層204、205、206、207に蓄積された信号電荷は、行選択回路302によって行選択トランジスタ308のゲートがONにされることにより、読み出される。この際、浮遊拡散層204、205、206、207の信号電位に応じて、ソースフォロワ電源305からソースフォロワトランジスタ309およびソースフォロワ負荷306へ流入する電流が増幅される。垂直信号線304から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ−デジタル(AD)変換回路307によってデジタル信号データに変換される。このデジタル信号データは、列選択回路303によって列ごとに読み出され、イメージセンサ110から出力される。行選択回路302および列選択回路303は、1つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路120は、全ての信号電荷を読み出した後、リセットトランジスタ310のゲートをオンにすることで、全ての浮遊拡散層をリセットする。これにより、1つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ110による一連のフレームの撮像が完結する。
本実施の形態では、CMOS型のイメージセンサ110の例を説明したが、イメージセンサ110はCCD型であっても、単一光子計数型素子であっても、増幅型イメージセンサ(EMCCD、ICCD)であっても構わない。
[1−3.制御回路120]
制御回路120は、光源102のパルス光の発光タイミングと、イメージセンサ110のシャッタタイミングとの時間差を調整する。これ以降、当該時間差を「位相」または「位相遅れ」と称することがある。光源102の「発光タイミング」とは、光源102が発光するパルス光が立ち上りを開始する時間である。制御回路120は、発光タイミングを変化させて位相を調整しても良いし、シャッタタイミングを変化させて位相を調整しても良い。
制御回路120は、イメージセンサ110の受光素子で検出された信号からオフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光、蛍光灯などの環境光、外乱光による信号成分である。光源102が発光しない状態、つまり光源102の駆動をOFFにした状態で、イメージセンサ110が信号を検出することで環境光、外乱光によるオフセット成分が見積もられる。
制御回路120は、例えば中央演算処理装置(CPU)またはマイクロコンピュータ等のプロセッサと、メモリとを有する集積回路であり得る。制御回路120は、例えばメモリに記録されたプログラムを実行することにより、発光タイミングとシャッタタイミングとの調整、オフセット成分の見積り、及びオフセット成分の除去等を行う。なお、制御回路120が画像処理等の演算処理を行う演算回路を備えていてもよい。そのような演算回路は、例えばデジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)等のプログラマブルロジックデバイス(PLD)、または中央演算処理装置(CPU)もしくは画像処理用演算プロセッサ(GPU)とコンピュータプログラムとの組み合わせによって実現され得る。なお、制御回路120および演算回路は、統合された1つの回路であってもよいし、分離された個別の回路であってもよい。
図1Cは、制御回路120による動作の概略を示すフローチャートである。詳細は後述するが、制御回路120は、概略的には図1Cに示す動作を実行する。制御回路120は、まず、光源102に所定時間だけパルス光を発光させる(ステップS101)。このとき、イメージセンサ110の電子シャッタは露光を停止した状態にある。制御回路120は、パルス光の一部が対象物101の表面から反射してイメージセンサ110に到達する期間が完了するまで、電子シャッタに露光を停止させる。次に、制御回路120は、当該パルス光の他の一部が対象物101の内部を散乱してイメージセンサ110に到達するタイミングで、電子シャッタに露光を開始させる(ステップS102)。所定時間経過後、制御回路120は、電子シャッタに露光を停止させる(ステップS103)。続いて、制御回路120は、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する(ステップS104)。この判定がNoの場合、Yesと判定するまで、ステップS101からステップS103を繰り返す。ステップS104においてYesと判定すると、制御回路120は、各浮遊拡散層に蓄積された信号電荷に基づく画像を示す信号をイメージセンサ110に生成させて出力させる(ステップS105)。
以上の動作により、測定対象の内部で散乱された光の成分を高い感度で検出することができる。なお、複数回の発光および露光は必須ではなく、必要に応じて行われる。
[1−4.その他]
撮像装置100は、対象物101の2次元像をイメージセンサ110の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサ110の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化すると対象物101の2次元像の拡大率が変更し、イメージセンサ110上の2次元像の解像度が変化する。したがって、対象物101までの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
また、撮像装置100は、対象物101とイメージセンサ110の間に光源102から発する光の波長の帯域またはその近傍の光のみを通過させる帯域通過フィルタを備えてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、多層膜フィルタまたは吸収フィルタによって構成される。光源102の温度及びフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は20から100nm程度の幅を持たせてもよい。
また、撮像装置100は、光源102と対象物101との間、及びイメージセンサ110と対象物101との間にそれぞれ偏光板を備えてもよい。この場合、光源102側に配置される偏光板とイメージセンサ側に配置される偏光板の偏光方向は直交ニコルの関係である。これにより、対象物101の表面反射成分I1のうち正反射成分(入射角と反射角が同じ成分)がイメージセンサ110に到達することを防ぐことができる。つまり、表面反射成分I1がイメージセンサ110に到達する光量を低減させることができる。
[2.動作]
本開示の撮像装置100は、表面反射成分I1から内部散乱成分I2を区別して検出する。対象物101を人の額とした場合、検出したい内部散乱成分I2による信号強度は非常に小さくなる。前述のように、レーザ安全基準を満たす非常に小さな光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質及び血流による光の散乱並びに吸収が大きいためである。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、さらに数十分の1の大きさに相当し非常に小さくなる。したがって、検出したい信号成分の数千から数万倍である表面反射成分I1をできるだけ混入させずに撮影する。
以下、本実施の形態における撮像装置100の動作を説明する。
図1Aに示すように、光源102が対象物101にパルス光を照射すると、表面反射成分I1および内部散乱成分I2が発生する。表面反射成分I1及び内部散乱成分I2はその一部がイメージセンサ110に到達する。内部散乱成分I2は、光源102から発せられてイメージセンサ110に到達するまでに対象物101の内部を通過するため光路長が表面反射成分I1に比べて長くなる。したがって、内部散乱成分I2は、イメージセンサ110に到達する時間が表面反射成分I1に対して平均的に遅れる。
図2は、光源102から矩形パルス光が発せられて対象物101から反射した光がイメージセンサ110に到達する光信号を表す図である。図2において、信号Aは、表面反射成分I1の波形を示している。信号Bは、内部散乱成分I2の波形を示している。信号Cは、表面反射成分I1と内部散乱成分I2とを合わせた波形を示している。信号Dは、電子シャッタのOPEN、CLOSEのタイミングを示している。横軸は時間を表し、縦軸は、信号AからCにおいては光の強度を、信号Dにおいては電子シャッタのOPENまたはCLOSEの状態を表している。
信号Aに示すように、表面反射成分I1は矩形を維持する。一方、信号Bに示すように、内部散乱成分I2はさまざまな光路長を経た光の合算であるため、パルス光の後端で、表面反射成分I1よりも立ち下り時間が長くなる特性を示す。信号Cから、内部散乱成分I2の割合を高めて抽出するためには、信号Dに示すとおり、表面反射成分I1の後端以降(表面反射成分I1が立ち下がった時またはその後)に電子シャッタが露光を開始すれば良い。このシャッタタイミングは、制御回路120によって調整される。上述したとおり、本開示の撮像装置100は表面反射成分I1から内部散乱成分I2を区別して検出できれば良いため、発光パルス幅及びシャッタ幅は任意である。したがって、従来のストリークカメラを使用した方法と異なり、撮像装置100を簡便な構成で実現でき、撮像装置100のコストを大幅に低下させることができる。
図2の信号Aからわかるように、表面反射成分I1の後端が垂直に立ち下がっている。言い換えると、表面反射成分I1が立下りを開始してから終了するまでの時間がゼロである。しかし、現実的には光源102が照射するパルス光自体が完全な垂直で無かったり、対象物101の表面に微細な凹凸があったり、表皮内での散乱により、表面反射成分I1の後端が垂直に立ち下がらないことがある。また、対象物101は一般に不透明な物体である場合が多いことから、表面反射成分I1は内部散乱成分I2よりも非常に光量が大きくなる。したがって、表面反射成分I1の後端が垂直な立下り位置からわずかにはみ出した場合であっても、内部散乱成分I2が埋もれてしまい問題となる。また、電子シャッタの読み出し期間中の電子移動に伴う時間遅れにより、図2の信号Dに示すような理想的なバイナリな読み出しが実現できないことがある。したがって、制御回路120は電子シャッタのシャッタタイミングを表面反射成分I1の立ち下り直後よりやや遅らせても良い。例えば、電子シャッタの精度からすると、電子シャッタのシャッタタイミングを表面反射成分I1の立ち下り直後より1ns以上で遅らせても良い。尚、電子シャッタのシャッタタイミングを調整する代わりに、制御回路120は光源102の発光タイミングを調整しても良い。制御回路120は、電子シャッタのシャッタタイミングと光源102の発光タイミングとの時間差を調整すればよい。なお、非接触で脳活動時の血流量または血流内成分の変化を計測する場合は、あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分I2がさらに減少してしまうため、表面反射成分I1の後端近傍にシャッタタイミングを留めておいてもよい。対象物101の散乱による時間遅れが4nsであるため、シャッタイミングの最大の遅らせ量は4ns程度である。
光源102がパルス光を複数回発光し、各パルス光に対して同じ位相のシャッタタイミングで複数回露光することで、内部散乱成分I2の検出光量を増幅しても良い。
なお、対象物101とイメージセンサ110の間に帯域通過フィルタを配置することに替えて、またはそれに加えて、制御回路120が、光源102を発光させない状態で同じ露光時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、イメージセンサ110の受光素子で検出された信号から差分除去される。これによってイメージセンサ110上で発生する暗電流成分を除去することができる。
図3は、実施の形態1における撮像装置100の本測定前の動作を示すフローチャートである。スタートのあと、撮像装置100は、測定環境判定部140で、対象物101の環境が測定に適した状態であるか否かの確認を実施する(ステップS201)。測定環境の確認の結果、対象物101の環境が測定に適した状態でないと判定された場合(ステップS202でNo)、エラーを出力する(ステップS210)。エラーが出力された場合、対処後、再度測定環境確認を実施する。測定に適した環境であると判定されれば(ステップS202でYes)、そのあとに発光光量調整部130で光量調整を実施する(ステップS203)。さらに、光量調整完了後、信号安定性判定部150で検出信号の安定を測定する(ステップS204)。検出信号が安定でないと判定された場合(ステップS205でNo)、エラーを出力する(ステップS220)。エラーが出力された場合、対処後、再度信号安定性測定を実施する。検出信号が安定であると判定された場合(ステップS205でYes)、本測定を開始する(ステップS206)。この順序で実施することで無駄なく、また、正しく生体の血流変化の測定を非接触かつ高精度で実施することができる。例えば、信号安定性判定を測定環境判定の前に実施すると、仮に対象物101が撮像装置100で捉えられておらず、他の静止物体を撮影している場合も信号安定性判定部150は信号が安定であると誤って判断し、次のステップに進んでしまう。また、発光光量の調整を測定環境判定の前に実施しても、同様の理由で対象物101以外のものを撮影していた場合は、誤って光量を調整してしまう。また、信号安定性測定を光量調整の前に実施した場合、光量が低すぎたり、高すぎたりすると撮像装置100の検出データのSNが低下したり飽和したりする。したがって、図3に示すように、測定環境判定、発光光量調整、信号安定性判定をこの順序で実施することが本開示の撮像装置100を用いた生体計測において最適となる。
以下、図3のシーケンスの各機能について順次詳細を述べる。図4Aから図4Dは、測定環境判定部140による判定の一例を示す。測定環境判定部140は、検出領域400が対象物101の所望の位置に存在し、測定に影響する外乱誤差要因が存在しないかを確認する機能を有する。例えば、前頭葉の脳血流変化をオキシヘモグロビン及びデオキシヘモグロビンの変化により観察したい場合、対象物101として額部を撮影することになる。このとき、図4Aのように、検出領域400に額以外のものが写り込んでいなければ、測定環境判定部140は測定に適した環境であると判定する。しかし、図4Bのように髪の毛及びヘアバンドなど額以外のものが検出領域400に含まれている場合、または図4Cのように検出領域400が測定したい場所と異なる場合は、測定環境判定部140は測定に適していない環境であると判定し、エラーを出力する。また、図4Dのように、外乱光が混入する場合もある。外乱光が混入しているかは、光源102からパルス光を発光させずにシャッタにより信号を取得するモードを追加し、外乱光に相当するオフセット成分の画素値を確認することで判断できる。外乱光は、照射する光源の波長に近い750から850nmの近赤外線光を含む光であり、太陽光の他、白熱電球、ハロゲン光、キセノン光などの室内照明などが要因となる。わずかな外乱光は、撮像装置100による光源102の照射をOFFとしてシャッタ動作して見積もったオフセット成分を、差分演算処理をすることにより除去する。しかし、極端にオフセット成分が多い場合はフォトダイオードのダイナミックレンジが低下する。したがって、例えば、オフセット成分がダイナミックレンジの半分を満たす場合は、測定環境判定部140は測定に適していない環境であると判定する。
図5Aのように、撮像装置100は被験者の顔を撮影するカメラとしての機能も兼ね備えるため、被験者、検査者が測定できる環境であるか認識できるようにカメラ画像をディスプレイ500に表示する。このとき、撮影画像510に重畳して検出領域400を表示する。撮影画像510内に遮蔽物の写りこみが無ければ、検出領域400を拡大し撮影画像510の領域全体と一致させても良い。このようにすることで、撮像装置100のイメージセンサの画素を無駄なく使用することができ、より高解像度な測定を実現できる。また、図5Bのように、タブレットまたはスマートフォンをディスプレイ500として無線接続すれば、家庭内及び訪問先などいつでもどこでもよりカジュアルな測定を実現できる。
図5Cのように初期の検出領域400に測定したいもの以外が混入している場合、検出領域400をユーザが手動で変更することができる。撮影画像510上に位置調整用アイコン520が表示され、検出領域400の位置及びサイズをドラッグ操作または座標入力により変更することができる。被験者の額が小さく初期の検出領域400では髪の毛または眉毛を含んでしまう場合は被験者の額の大きさに合わせ検出領域400を縮小する。また、撮影画像510の領域に目、眉毛、鼻などの特徴量を含めて測定しておけば、自動調整ボタンを押下することで顔認識演算により、額部の所定の領域に検出領域400が自動に設定される。髪の毛等の遮蔽物が額を遮っていたり、特徴量が正しく検出されなかったりした場合は、検出領域400の設定ができない旨のエラーが返される。また、自動調整で領域最大化をONにすると、図5Dのように額露出部を画像処理検出し、額全体を検出領域400に設定することができる。このように、検出領域400設定用GUIを用いることで、脳血流の2次元分布を正しく、容易に、あるいは、額全体で最大限に取得できるように調整することが可能となる。
また、図5Eのように検出領域400を複数設けても良い。検出領域400を増やすには画面上をタップする。検出領域400を削除するには、削除したい検出領域400をロングタップする。検出領域400を特定箇所に複数設けることで、着目する脳活動部位に特化した評価が可能となる。特定部位の情報のみのためデータ処理の負荷及び転送量も低減できる。
検出領域400内に髪の毛及び眉毛などの測定対象以外のものが含まれる状態で測定を開始しようとすると、図6Aのように文字、音声、エラー音等による検出領域400が正しいか確認するように促すエラーが出力される。測定対象以外のものが含まれるかの判断は撮像装置100で取得された画像を用いた画像処理で実現される。例えば、検出領域400内の強度分布でコントラストが局所的に極端な変化が見られる場合は測定対象以外のものが混入したと判断する。コントラストの極端な変化とは、注目画素の周囲において画素値が、例えば、2割以上変化した場合である。コントラストの変化は、Sobel、Laplacian,Canny等によるエッジ検出フィルタを用いると容易に検出できる。また、別の方法として、外乱要因の特徴量のパターンマッチングまたは機械学習による判別でもよい。額部を検出する場合の外乱要因は髪の毛、眉毛等、ある程度決まっているため、学習を用いた方法でも事前学習にそれほど多くのデータは必要無いため実現しやすい。なお、ほくろ、しみ等の微細なコントラストの変化は無視できるようにサイズによる例外処理及び平滑化後の判定を加えても良い。
図6Aのエラーが出力された場合は、画面上で検出領域400の変更をする。この場合、検出領域400の手動または自動調整をする。また、撮影画像510の領域が所望の位置から極端にずれ、画面上でのソフト的な検出領域400の変更ができない場合は、被験者自身がディスプレイ500を確認しながら移動することで所望の位置に検出領域400を設定する。このとき、図6Bのように被験者が検出領域400に対し、左右上下どの位置にいるか把握しやすいように補助線530をディスプレイ500上に表示すると良い。補助線530をもとに、検出領域400の中心と被験者の額の中心の調整がスムーズにできるようになる。被験者自身がディスプレイ500を見ながら調整する場合、調整しやすいように撮影画像510として左右反転したミラー像として表示すると良い。また、検査者がディスプレイ500を確認しながら撮像装置100の角度及び位置を変更し、検出領域400を調整しても良い。撮像装置100には図6Cのように、x、y、z方向及び傾き(パン、チルト、回転)といった調整ステージ540が取り付けられており、被験者の額に光照射及びカメラ検出できるように撮像装置100の向きを調整できるようになっている。さらに、図6Dのように被験者はあご及び頭の固定冶具550で固定することで、より動き影響誤差を低減した測定をすることができる。検査者が撮像装置100を動かして調整することで、被験者が自ら調整するよりも被験者への負担を低減でき、取得する脳血流情報への心理的なノイズ影響も低下させることができる。
図7A及び図7Bに示すように、対象物101の違いにより、撮像装置100で検出される撮影画像510の明るさが変化する。これは、対象物101の肌の色、つまり、メラニン色素による光の吸収度の違いに起因する。対象物101が明るすぎると、撮影画像510が飽和し測定できなくなり、暗すぎると検出光量のSNに影響するため良くない。したがって、発光光量調整部130は対象物101の明るさに応じて光源102の光量を調整する。また、対象物101の発汗状態及び皮膚形状により、表面反射率及び拡散率に個人差がある。図7Bに示すように、対象物101にてかり710が見られる場合も、飽和しないように発光光量調整部130は光量を調整する。
撮像装置100は、脳内まで到達後、反射し戻ってきた非常にわずかな光を検出するため、いかに検出光量を確保するかが重要となる。したがって、画像処理でのデジタルゲイン調整ではSNが向上しないため、光源102の光量を高めて感度を確保する。しかし、レーザの安全性基準クラス1を守ることを鑑みると、照射できる光量には限界がある。そのため、本実施形態の撮像装置100は、光源102の1パルスあたりの光量を増加する代わりに、図7Cに示すように、1フレーム内のパルス光の発光回数を調整する光量調整機能を有する。図7Cにおいて、信号Eは、光源102から出射されるパルス光の波形を示している。信号Cは、表面反射成分I1と内部散乱成分I2とを合わせた波形を示している。信号Dは、電子シャッタのOPEN、CLOSEのタイミングを示している。信号Fは、電荷蓄積部での電荷蓄積のタイミングを示している。横軸は時間を表し、縦軸は、信号C及びEにおいては光の強度を、信号Dにおいては電子シャッタのOPENまたはCLOSEの状態を、信号Fにおいては電荷蓄積部のOPENまたはCLOSEの状態を表している。1フレーム内に光源102が発光するパルス数を変更することで対象物101への照射光量及び撮像装置100での検出光量を調整することができる。パルス数変更による光量調整のほうがレーザダイオードの電流値を変更する方法よりもレーザ強度の安定性も良い。このとき、1フレーム内のシャッタ回数も発光パルス数の変化に同期して増減する。図7Cに示すように、1フレーム内には、演算、出力処理の時間を確保すれば、それ以外の期間、パルス光を増加することができる。したがって、1フレーム当たりのパルス光を変更するということは、単位時間あたり発光する平均的なパルス光の数を変更することを意味する。
図8A及び図8Bは、撮像装置100の信号安定性判定部150の機能を示す図である。信号安定性判定部150は、被験者がレスト状態での検出信号の時系列データの安定性を確認する。レスト状態とは被験者が何も考えていない状態である。被験者をレスト状態に誘導にするには、無地の画像を見続けさせたり、点またはプラスマークのみの画像を見続けさせたりする。このとき、図8Aに示すように、被験者の脳血流信号には増減が見られず、一定値であるのが理想である。しかし、被験者の状態によっては、図8Bに示すように、検出信号が安定しない。安定しない要因の一つとしては、被験者の精神状態が無心状態でなかった場合である。この場合、図9に示すように、ディスプレイ500上に信号が安定していない旨の出力をし、被験者を落ち着かせる、時間を置く等の対策をしてから再度信号安定性を確認する。また、信号安定性評価中に被験者が動いたり、眉を動かしたりすると検出信号が変動する。体動による検出信号の変化は、オキシヘモグロビン、デオキシヘモグロビンを算出することで判断できる。非接触で測定しているため、体動が発生すると撮像装置100と対象物101間の距離が変動し、対象物101上の照射光量が変化し、対象物101に入射する光量が増減する。したがって、体動は検出信号の変動をもたらすため、オキシヘモグロビン、デオキシヘモグロビンともにプラスマイナス同じ方向に同時に大きく変動する。そのため、オキシヘモグロビン、デオキシヘモグロビンの変動を観察しておき、体動特有の信号変化を検出した際に、被験者に動かないように指示するエラー応答を撮像装置100は出力する。また、光源102が安定していないために検出信号が安定していないことがある。これはレーザが温度変化により発光強度が単調に減少することが起因しており、これに伴いオキシヘモグロビン、デオキシヘモグロビン信号ともに単調に増加しているように見える。したがって、この単調変化の現象をもとに、光源102が安定しているか判断することができる。この場合、撮像装置100は光源102が安定するまで待つ指示を出したり、温度による光源102の強度変化をキャリブレーション補正する処理を施したりすることで対応する。信号安定性判定部150による安定度判定により、誤差要因を低減・排除したより正確な測定が可能となる。
測定環境確認、光量調整、検出信号安定確認で問題が無ければ、そのあとに、本測定を開始する。
(実施の形態2)
本実施の形態2は、撮像装置800に測定中に異常値の発生を検出する異常値判定部810を含む。ここでは、本実施形態において実施の形態1と同様の内容についての詳細な説明は省略する。異常値判定部810は、演算部に相当する。
図10Aは、実施の形態2の撮像装置800及び撮像装置800が対象物101を撮影する様子を示す模式図である。実施の形態1と異なり、異常値判定部810が追加されている。図10Bは、実施の形態2における撮像装置800の本測定中の動作を示すフローチャートである。実施の形態2では、本測定を実施中に(ステップS902)、異常値の判定を行う(ステップS904)。異常値判定部810により、異常値が発生していると判定された場合(ステップS906でYes)、対象物101の環境が測定に適した状態であるか否かの確認を実施する(ステップS201)。異常値とは、測定中に検出信号にイレギュラーな値が発生していないかを確認するものである。例えば、髪の毛などによる遮蔽物、外乱光及び体動が異常値発生の一要因である。測定中に髪の毛などの遮蔽物が混入すると、髪の毛が光吸収するため、検出信号が極端に低下し、脳血流信号は擬似的に増加するため判別可能である。または、撮像装置800のカメラ画像で異物が混入されているか画像認識で判断する。また、外乱光が混入すると、検出したオフセット成分が極端に増加することから判別する。また、体動が発生した場合には、オキシヘモグロビン(HbO2)、デオキシヘモグロビン(Hb)の値が同時に急激に変化するため、判別することができる。図11Aは、異常値判定部810で異常値が発生していないと判定された場合の脳血流変化の時系列データである。タスクに対してオキシヘモグロビンが増加することが多いが、デオキシヘモグロビンは逆に減る、あるいは微増する傾向が見られることが多い。一方、図11Bは、測定中に被験者の体動により検出信号が大きく変動した例である。体動に対して、額上で照射光量が増減するため、オキシヘモグロビン、デオキシヘモグロビンの見かけ上の値はともに同じ方向に増減する。異常値判定部810はヒトの一般的な血流変化(0.1mM・mm程度)を超える信号値である場合はエラーを表示する。例えば、HbO2で1mM・mm以上である場合は異常値エラーを出力する。また、血流変化は急激に起こらないため、時系列波形がほぼ90°で変化する場合、あるいは、1秒間に0.1mM・mm以上の血流変動がある場合には、異常値の可能性が高いため、異常値エラーの応答をする。また、体動の有無は撮像装置800の画像データから動体検知画像処理演算により検出してもよい。動体検知として、例えば、オプティカルフロー、テンプレートマッチング、ブロックマッチング、背景差分といった手法を用いる。
異常値判定部810が、本測定中に異常値が発生したと判定した場合、図12A及び図12Bに示すように、異常値の発生または体動による検出領域のずれが発生した旨、ディスプレイ500上に出力する。操作者は必要に応じて、異常値要因の対策をした後、実施の形態1に示した本測定前の測定環境確認から実施し直す。
本開示における撮像装置は、例えば、非接触で対象物の内部情報を取得するカメラ、測定機器等に有用である。本開示における撮像装置は、例えば、生体・医療センシング等に応用できる。
100、800 撮像装置
101 対象物
102 光源
104 光電変換部
106 電荷蓄積部
110 イメージセンサ
120 制御回路
130 発光光量調整部
140 測定環境判定部
150 信号安定性判定部
400 検出領域
500 ディスプレイ
510 撮影画像
520 位置調整用アイコン
530 補助線
540 調整ステージ
550 固定冶具
710 てかり
810 異常値判定部

Claims (15)

  1. 対象物の内部の測定に用いられる撮像装置であって、
    前記対象物に照射するためのパルス光を発光する光源と、
    前記パルス光の照射に対応して、前記対象物から戻った光を検出する光検出器と、
    演算部と、を備え、
    前記演算部は、
    前記対象物から戻った光の光量の時間的な安定性を判定する、撮像装置。
  2. 前記光検出器は、前記対象物から戻った光を信号電荷に変換して蓄積するイメージセンサであり、
    前記演算部は、前記イメージセンサにおける、前記信号電荷の蓄積量の時間的な安定性を判定することにより、前記対象物から戻った光の光量の時間的な安定性を判定する、
    請求項1に記載の撮像装置。
  3. 前記演算部は、さらに、
    前記対象物の環境が前記対象物の内部の測定に適しているか否かを判定し、
    前記パルス光の光量を調整する、
    請求項1または2に記載の撮像装置。
  4. 前記演算部は、前記パルス光の単位時間あたりの発光回数を調整することにより、前記パルス光の光量を調整する、
    請求項3に記載の撮像装置。
  5. 前記イメージセンサは、前記信号電荷に基づき、前記対象物の第1画像を取得し、
    前記演算部は、さらに、前記第1画像内における、前記対象物の内部の測定に用いる領域の位置を決定する、
    請求項2に記載の撮像装置。
  6. 前記対象物は生体であり、
    前記領域は、前記生体の特定部位内であって、
    前記演算部は、さらに、前記特定部位内において前記領域が最大となるように前記領域の大きさを調整する、
    請求項5に記載の撮像装置。
  7. ディスプレイをさらに備え、
    前記ディスプレイは、前記第1画像と、前記領域を示す第2画像とを重畳して表示する、
    請求項5または6に記載の撮像装置。
  8. 前記ディスプレイは、さらに、前記領域の位置を決定するための補助線を、前記第1画像および前記第2画像に重畳して表示する、
    請求項7に記載の撮像装置。
  9. 前記演算部は、さらに、前記対象物の内部の測定中の異常を判定する、
    請求項1から8のいずれかに記載の撮像装置。
  10. 前記イメージセンサは、前記対象物から戻った光のうち、前記対象物の内部で散乱された成分に対応する前記信号電荷を蓄積する、
    請求項2に記載の撮像装置。
  11. 前記対象物は生体であり、
    前記演算部は、前記光検出器からの信号を基に前記生体の血流変化を示す情報を生成する、
    請求項1から10のいずれかに記載の撮像装置。
  12. 対象物の内部の測定に用いられる撮像方法であって、
    パルス光を前記対象物に照射し、前記パルス光の照射に対応して、前記対象物から戻った光を光検出器により検出するステップと、
    前記対象物から戻った光の光量の時間的な安定性を判定するステップと、を含む、
    撮像方法。
  13. 光検出器は、前記対象物から戻った光を信号電荷に変換して蓄積するイメージセンサであり、
    前記判定するステップにおいて、
    前記イメージセンサにおける、前記信号電荷の蓄積量の時間的な安定性を判定することにより、前記対象物から戻った光の光量の時間的な安定性を判定する、
    請求項12に記載の撮像方法。
  14. 前記対象物の環境が前記対象物の内部の測定に適しているか否かを判定するステップと、
    前記パルス光の光量を調整するステップと、をさらに含む、
    請求項12または13に記載の撮像方法。
  15. 前記対象物は生体であり、
    前記光検出器からの信号を基に前記生体の血流変化を示す情報を生成するステップをさらに含む、
    請求項12から14のいずれかに記載の撮像方法。
JP2017230589A 2016-12-15 2017-11-30 撮像装置 Active JP6998529B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016243291 2016-12-15
JP2016243291 2016-12-15

Publications (2)

Publication Number Publication Date
JP2018094400A true JP2018094400A (ja) 2018-06-21
JP6998529B2 JP6998529B2 (ja) 2022-01-18

Family

ID=62556179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017230589A Active JP6998529B2 (ja) 2016-12-15 2017-11-30 撮像装置

Country Status (3)

Country Link
US (1) US20180168454A1 (ja)
JP (1) JP6998529B2 (ja)
CN (1) CN108234892A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044854A1 (ja) * 2018-08-30 2020-03-05 パナソニックIpマネジメント株式会社 生体計測装置、及び生体計測方法
JP2021019675A (ja) * 2019-07-24 2021-02-18 株式会社デンソー 生体計測装置及び生体計測方法
WO2022138063A1 (ja) * 2020-12-25 2022-06-30 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、及び、コンピュータプログラム
JP7418872B2 (ja) 2020-01-17 2024-01-22 キャプメット・インコーポレイテッド 酸素飽和度測定デバイス、それに使用するように構成されたプローブ、および酸素飽和度測定方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10799129B2 (en) * 2016-01-07 2020-10-13 Panasonic Intellectual Property Management Co., Ltd. Biological information measuring device including light source, light detector, and control circuit
WO2019129740A1 (en) * 2017-12-29 2019-07-04 Sony Semiconductor Solutions Corporation Imaging device and method
JP7366032B2 (ja) * 2018-01-18 2023-10-20 ブライトシード・エルエルシー 組織の特徴を検出及び/又は判定するためのシステム及び方法
CN112435279B (zh) * 2019-08-26 2022-10-11 天津大学青岛海洋技术研究院 一种基于仿生脉冲式高速相机的光流转换方法
CN110719403A (zh) * 2019-09-27 2020-01-21 北京小米移动软件有限公司 图像处理方法、装置及存储介质
EP4075776B1 (en) * 2021-04-12 2023-11-01 Nokia Technologies Oy Mapping pulse propagation

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999000053A1 (fr) * 1997-06-27 1999-01-07 Toa Medical Electronics Co., Ltd. Dispositif permettant d'examiner un organisme vivant et automate permettant d'analyser le sang d'une maniere non invasive au moyen dudit dispositif
JP2003126057A (ja) * 2001-10-19 2003-05-07 Hitachi Medical Corp 画像処理装置
JP2007143627A (ja) * 2005-11-24 2007-06-14 Ge Medical Systems Global Technology Co Llc 画像診断装置
JP2010008871A (ja) * 2008-06-30 2010-01-14 Funai Electric Co Ltd 液晶表示装置
JP2010051822A (ja) * 2009-12-07 2010-03-11 U-Medica Inc 自律神経機能評価装置
JP2012085721A (ja) * 2010-10-18 2012-05-10 Fujifilm Corp 医用画像処理装置および方法、並びにプログラム
JP2012161558A (ja) * 2011-02-09 2012-08-30 Aisin Seiki Co Ltd 心身状態誘導システム
WO2012150657A1 (ja) * 2011-05-02 2012-11-08 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
US20140276089A1 (en) * 2013-03-14 2014-09-18 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
JP2014212796A (ja) * 2013-04-22 2014-11-17 株式会社デンソー 脈波計測装置
WO2015185706A1 (en) * 2014-06-06 2015-12-10 Koninklijke Philips N.V. Device, system and method for detecting apnoea of a subject

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5056914A (en) * 1990-07-12 1991-10-15 Ball Corporation Charge integration range detector
JP3521187B2 (ja) * 1996-10-18 2004-04-19 株式会社東芝 固体撮像装置
JP5194529B2 (ja) * 2007-04-06 2013-05-08 新日鐵住金株式会社 表面欠陥検査システム、方法及びプログラム
JP4271247B2 (ja) * 2007-04-10 2009-06-03 ファナック株式会社 レーザ装置
JP4473337B1 (ja) * 2009-07-31 2010-06-02 株式会社オプトエレクトロニクス 光学的情報読取装置及び光学的情報読取方法
US8840562B2 (en) * 2009-09-24 2014-09-23 Covidien Lp Signal processing warping technique
JP2011197755A (ja) * 2010-03-17 2011-10-06 Hitachi Kokusai Electric Inc 撮像装置
KR101121264B1 (ko) * 2010-03-30 2012-03-22 김길겸 입체 영상 카메라 장치 및 이의 구동 방법
WO2012165602A1 (ja) * 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 認知機能障害判別装置、認知機能障害判別システム、およびプログラム
JP2013125012A (ja) * 2011-12-16 2013-06-24 Toshiba Corp 対象物撮像装置
CN103207416A (zh) * 2012-01-11 2013-07-17 陈宏乔 具自调节功能的人体红外探测器及其工作方法
BR112015002570A2 (pt) * 2012-08-09 2018-05-22 Koninklijke Philips Nv sistema de tratamento radioterapêutico de um paciente; método de controle dos movimentos do paciente; e produto de programa de computador para utilização em um método de controle dos movimentos de pacientes.
US10098576B2 (en) * 2014-03-14 2018-10-16 Covidien Lp Regional saturation shock detection method and system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999000053A1 (fr) * 1997-06-27 1999-01-07 Toa Medical Electronics Co., Ltd. Dispositif permettant d'examiner un organisme vivant et automate permettant d'analyser le sang d'une maniere non invasive au moyen dudit dispositif
JP2003126057A (ja) * 2001-10-19 2003-05-07 Hitachi Medical Corp 画像処理装置
JP2007143627A (ja) * 2005-11-24 2007-06-14 Ge Medical Systems Global Technology Co Llc 画像診断装置
JP2010008871A (ja) * 2008-06-30 2010-01-14 Funai Electric Co Ltd 液晶表示装置
JP2010051822A (ja) * 2009-12-07 2010-03-11 U-Medica Inc 自律神経機能評価装置
JP2012085721A (ja) * 2010-10-18 2012-05-10 Fujifilm Corp 医用画像処理装置および方法、並びにプログラム
JP2012161558A (ja) * 2011-02-09 2012-08-30 Aisin Seiki Co Ltd 心身状態誘導システム
WO2012150657A1 (ja) * 2011-05-02 2012-11-08 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
US20140276089A1 (en) * 2013-03-14 2014-09-18 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
JP2014212796A (ja) * 2013-04-22 2014-11-17 株式会社デンソー 脈波計測装置
WO2015185706A1 (en) * 2014-06-06 2015-12-10 Koninklijke Philips N.V. Device, system and method for detecting apnoea of a subject

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044854A1 (ja) * 2018-08-30 2020-03-05 パナソニックIpマネジメント株式会社 生体計測装置、及び生体計測方法
CN112188866A (zh) * 2018-08-30 2021-01-05 松下知识产权经营株式会社 生物体计测装置及生物体计测方法
JPWO2020044854A1 (ja) * 2018-08-30 2021-08-26 パナソニックIpマネジメント株式会社 生体計測装置、及び生体計測方法
JP2021019675A (ja) * 2019-07-24 2021-02-18 株式会社デンソー 生体計測装置及び生体計測方法
JP7338294B2 (ja) 2019-07-24 2023-09-05 株式会社デンソー 生体計測装置及び生体計測方法
JP7418872B2 (ja) 2020-01-17 2024-01-22 キャプメット・インコーポレイテッド 酸素飽和度測定デバイス、それに使用するように構成されたプローブ、および酸素飽和度測定方法
WO2022138063A1 (ja) * 2020-12-25 2022-06-30 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、及び、コンピュータプログラム

Also Published As

Publication number Publication date
US20180168454A1 (en) 2018-06-21
CN108234892A (zh) 2018-06-29
JP6998529B2 (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
JP6998529B2 (ja) 撮像装置
JP6399373B2 (ja) 撮像装置
JP6887097B2 (ja) 撮像装置
JP7065421B2 (ja) 撮像装置および対象物の内部の情報を取得する方法
JP6814967B2 (ja) 撮像装置
US20210049252A1 (en) Identifying device and identifying method
CN112188866A (zh) 生物体计测装置及生物体计测方法
JP7142246B2 (ja) 生体計測装置、ヘッドマウントディスプレイ装置、および生体計測方法
JP7417867B2 (ja) 光計測装置
WO2020137276A1 (ja) 撮像装置
JP2021141949A (ja) 測定装置、およびプログラム
WO2023090188A1 (ja) 光検出システム、処理装置、光検出システムを制御する方法、およびプログラム
WO2022138063A1 (ja) 生体計測装置、生体計測方法、及び、コンピュータプログラム
JP2020032105A (ja) 生体計測装置、生体計測システム、制御方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R151 Written notification of patent or utility model registration

Ref document number: 6998529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151