JP2001309896A

JP2001309896A - 撮像方法及び撮像装置

Info

Publication number: JP2001309896A
Application number: JP2000129418A
Authority: JP
Inventors: Toshiyuki Hosokawa; 敏幸細川
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 2000-04-28
Filing date: 2000-04-28
Publication date: 2001-11-06
Anticipated expiration: 2020-04-28
Also published as: JP3723045B2

Abstract

(57)【要約】【課題】神経活動のような信号が高速で伝達あるいは
伝播する対象を充分なスピードと精度で撮像してその動
画像データを記憶できる撮像方法及び装置を提供するこ
とにある。【解決手段】撮像素子１１により撮像した動画像信号
から、ピーク検出保持部１３により所定期間内での各画
素ごとのピーク値とピークに達したときのピーク時間と
を検出し、ピーク値はＡ／Ｄ変換せずにアナログ信号状
態のままでいったん保持し、撮像終了後にＡ／Ｄ変換回
路１４でＡ／Ｄ変換してデジタルメモリ１５にデジタル
記憶する。これにより、撮像速度がＡ／Ｄ変換回路１４
の変換速度によって制約を受けず、また変換時間を気に
せずにＡ／Ｄ変換精度を十分に高くとることが可能とな
る。また記憶される情報は、画素ごとのピーク値とピー
ク時間のみであるため、記憶容量の節減が可能である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光学的変化点が高
速で移動するような対象を撮像し、比較的少ない記憶容
量で高速に記憶し再生できる撮像方法及び撮像装置に関
する。

【０００２】本発明は、たとえば神経生理学の分野にお
ける神経活動の光学的測定に有用なものであり、電位感
受性色素を用いて染色された神経網中の興奮電位の伝播
を光学的に測定する場合、Ａ／Ｄ変換回路の精度や変換
速度に制限されることなく神経電位が高速伝播する様子
を的確に撮像し、再生可能に記憶することができる。

【０００３】本発明は、その他にも爆発現象の観測や発
光を伴う化学反応の観察などに広く適用することが可能
である。

【０００４】

【従来の技術】（１）神経生理の光学的測定近年、神経生理学の分野では、神経電位の伝達を調べる
際に電位感受性色素を用いて神経細胞を染色し、電位の
変化によってその色素の吸光度または蛍光発光度が変化
するのを光学的に測定する方法がとられるようになって
きた。この神経活動の光学的測定方法は、これまでに用
いられていた多点電極による直接的な測定方法に比べる
と神経細胞への侵襲が少なく、かつ、きわめて多くの電
極を用いて測定した場合に匹敵する２次元的な電位伝播
の記録が容易に得られる利点をもつ。次に、従来の神経
活動に関する光学的測定技術について説明する。（２）光学的測定の歴史神経活動に関する光学的測定の技術的変遷を以下に示
す。〔段階１〕まず１９６８年に、L.Cohen らはイカの巨大
軸索を用いた実験で、電位依存性の光学的に確認できる
神経活動固有の変化を発見したのが端緒である。従来の
微小電極を細胞に刺入し電位を調べる方法に代わり、光
学的測定の検討が始められたのは、それ以降であった。
その後、１９７０年代に入って、Cohen ，Grinvald ら
により電位感受性色素の開発が進められて、多くの研究
者によりほぼ同時にフォトダイオードを格子状に配列し
たImage-Recording Devices が作製され、これが電位感
受性色素を用いた光学測定の画像読み込みに使用される
ようになった。当時のものは、フォトダイオード１個ご
とに増幅器まで信号線が引かれ、ここで増幅された後、
コンピューター処理される方法をとっていた。画像の分
解能は１０×１０チャンネル程度であった。〔段階２〕上記〔段階１〕の方法で、その後１９８５年
までにTank、Ahmed らにより２５６チャンネルのものが
作製されるに到ったが、この方法は配線数の増加に伴う
基板上の配線部分の面積が増加するとともに増幅器数が
増加するため、この方法では１０００チャンネルが限界
といわれている。〔段階３〕次の段階として、ビデオカメラ（ＣＣＤカメ
ラ）を用いる方法が検討された。ＣＣＤカメラは約５０
０×５００の空間分解能をもつ上、フォトダイオードア
レイを使用する場合と異なり、外部回路を簡略化できる
というメリットがある。しかし１画面の時間分解能が１
画面のスキャンに要する時間（＝画像読み込み速度、通
常３３msec）に制約されるため、神経活動のような急速
な変化に追従するのは難しく、適用しにくい。また高速
シャッターを併用した場合でも、光のショットノイズを
低減するために、同一変化について撮られた画像をかな
りの枚数重ね合わせて、時間平均をとらなければなら
ず、１サンプルの計測に数時間を要するほどであった。〔段階４〕１９９３年になって、富士フイルムマイクロ
デバイス（株）は、専用のＭＯＳイメージセンサーを開
発するとともに、富士写真フイルム（株）は、0.1 ％の
光量変化分を検出できて、画像読み込み速度0.6 msecを
実現可能な、高速、高時間分解能、高感度の二次元光量
差分計測装置（ＨＲ△ｒｏｎｌ７００：登録商標）を完
成させた。この装置により、神経電位変化の様な急速な
変化を計測する場合でも、１回の計測だけでトータルの
Ｓ／Ｎ比を大幅に改善することができた。（３）光学的測定に使用される電位感受性色素電位感受性色素には、大別して以下の２種類がある。い
ずれも細胞膜に吸着されることにより染色される。

【０００５】吸収変化型：電位変化により吸収係数が変
化する。

【０００６】例・・・ＲＨ−１５５、ＲＨ一４８２、ＸＶＩＩ蛍光変化型：電位変化により蛍光発光効率が変化する。

【０００７】例・・・ＲＨ−４１４、ＲＨ−７９５、ＸＸＶなお電位感受性色素については、測定を行う際に神経細
胞に対する以下の要因を考慮する必要がある。 i ）色素の組織への浸透性 ii）色素の薬理学的影響（毒性） iii ）光力学的ダメージ及び色素の退色上記した例の各色素は、この３つの要因を含めていずれ
も実用レベルにある。（４）光学的測定の信号レベルと応答速度このような電位感受性色素を用いる従来の光学的測定に
おいては、得られる信号のレベルと応答速度は、次のよ
うなものになる。

【０００８】たとえば神経生理実験の場合、光量変化
は、 △Ｉ／ｌ＝α×１０^-4 ：α＝１〜１０程度になる。また神経生理では、数msec〜１０数msecの
現象が多く、測定系の時間分解能としては、フレーム速
度１msec以下が要求される。前述した（２）光学的測定
の歴史の〔段階１〕と〔段階２〕では、空間分解能が不
十分（最高２５６チャンネル）であるため、神経活動の
微細なパターンをとらえることはできないとされてい
た。〔段階３〕になると、空間分解能は十分（５００×
５００）となったが、Ｓ／Ｎ比が低下したので、神経の
電位変化の様な微小な変化の場合には、Ｓ／Ｎ比向上の
ためかなりの回数の画像の時間平均化が必要であった
（脳スライスの例では、１サンプルに数時間を要し
た）。そして〔段階４〕に至り、ようやく１２８×１２
８の空間分解能で０. １％以下の変化量を高速に検出で
きるようになった。（５）光学的測定におけるノイズの影響神経活動に伴う光量変化は微弱であるため、光学的にＳ
／Ｎ良く測定するためには、ノイズの種類と性質につい
て理解しておく必要がある。ノイズの種類測定上影響を受けやすいノイズとして、ショットノイ
ズ、暗ノイズ、外来ノイズとその他のノイズがある。ｉ）ショットノイズ光の量子ノイズは、光量Ｉの平方根に比例する。

【０００９】Noise ∝ √I Ｓ／Ｎ＝Ｉ／√I ＝ √Ｉ例えば、１０¹⁰個の光量の場合、量子ノイズはｌ０⁵個
であるので、Ｓ／Ｎ比はｌ０⁵となる。 ii）暗ノイズフォトディテクタの暗電流ノイズをいう。

【００１０】光が全くない状態でも、フォトディテクタ
により発生するノイズであり、温度に依存するため環境
温度に注意することが必要である。特に冷却することも
有用である。 iii ）外来ノイズ光源、光路の振動、標本の動きに由来するノイズであ
り、高光量域では相対的にショットノイズに比べると顕
著である。環境を整えることが重要である。 iv）その他のノイズ回路ノイズと１／ｆノイズとがある。光量と出力信号、ノイズ量の関係図９に、神経生理の光学的測定時における光量と出力信
号、ノイズ量の関係をグラフで示す。図の横軸は光入力
の光量を示し、縦軸は光を電気的に検出したときの出力
信号のレベルを示す。光入力の光量に対して出力信号の
レベルは比例して変化するが、量子ノイズは光量の平方
根に比例して増加する。また暗（電流）ノイズは光入力
に対してある低いレベルの一定値をとり、回路ノイズと
１／ｆノイズも、通常低いレベルにある。信号レベルを測定するシステムの必要条件 i ）神経生理の光学的測定においては、図９のグラフに
示されるように、ノイズのうちで最も影響の大きいのは
量子ノイズである。

【００１１】前述の（４）で述べた光量変化 △Ｉ／ｌ
＜０．１％（＝１. ０×１０^-3）を検出するためには、
前述の一ｉ）より、Ｓ／Ｎ比即ち、この量子ノイズと
光量の比率が１０³以上あることが必要である。そのた
めには１０⁶個以上のフォトン（センサ上では光電子）
を信号量として捉える必要があり、センサの飽和レべル
は、それ以上にする必要がある。また、光源としては必
要光量を照射できるランプを光学系に置き、一方でロス
を少なくすることが必要である。ここで、光源もゆらぎ
の極めて少ないもの（△Ｐ／Ｐ＜１０^-4）が必要である
ことはいうまでもない。 ii）神経活動の速度から考えて１msecの時間分解能を必
要とする。 iii ）イメージング（画像としてより明瞭なものにする
処理）のために、空間解像度は、最低１００×１００画
素以上とする。１画素は電極の観測点１点と考えてよ
い。また空間解像力は多ければ多いほど良いといえる。
iv）受光面積は試料を観察する上である程度の大きさが
必要であるが、以下のような制約を受ける。

【００１２】受光面積＝画素数×画素サイズの関係が成り立つが、Ｓ／Ｎ比を確保しかつ画像の高速
読み出しを可能にするためには、１ピクセル（画素）の
面積が大きく、かつ画素数があまり多くないことが要求
される。画素面積の大きさは同時に受光電荷量をも決め
るため、Ｓ／Ｎ比７２デシベルを確保するために、受光
光量１０⁷個／画素の電荷を蓄積できることが望まし
い。その結果、光学的測定システムには、画素面積７０
μm 平方、画素数１２８×１２８、フレーム時間０. ６
msecという値が必要になる。前述した（２）の〔段階
４〕中で述べた従来の代表的な光学的測定システムであ
るＨＲ△ron １７００は、これらの値に基づいて開発さ
れている。このシステムの詳細を以下に示す。（６）ＨＲ△ron １７００の性能と構成画素構成ｉ）画素サイズ：７０μm 平方画素数：１２８×１２８受光部サイズ：８. ９６μm 平方 ii）開口率：７５％開口率とは、受光サイズに対してセンサが実効的に光を
受けることのできる面積の比率を指す。この値が減少す
ると光量、解像度に影響を与える。従来の方法（並列出
力、並列増幅）では多画素化に伴い開口率が激減してし
まうためＭＯＳ型センサを用いて、上述の開口率を得て
いる。時間分解能：０. ６ msec ／fm or １６６７ frms ／
sec 取扱い信号量：飽和信号量：１. ０×１０⁷e −／pi
xel Ｓ／Ｎ比：△ｌ／ｌ＜０. １％ＨＲ△ｒｏｎｌ７００の構成：図１０に、ＨＲ△ｒｏ
ｎｌ７００の信号処理部のブロック構成を示す。

【００１３】図１０において、１はカメラユニット、２
はバッファ増幅器、３−１〜３−３は差動増幅器Ａ１〜
Ａ３、４−１〜４−４はＡ／Ｄ変換回路、５は参照メモ
リ、５−１〜５−３は参照メモリを構成するＳＲＡＭ１
〜ＳＲＡＭ３、６−１〜６−３はＤ／Ａ変換器、７はマ
ルチプレクサＭＰＸ、８はＤＲＡＭで構成された主メモ
リである。

【００１４】動作は次のように行われる。カメラユニッ
ト１内部の図示されていないフォトセンサより入力され
た信号は、カメラユニット１内部の初段増幅器により増
幅されたあと、信号処理部のバッファ増幅器２に入力さ
れる。信号処理部は、２ないし８の参照番号で示される
ブロックで構成され、より微少な光量変化を見るため
に、差動増幅器Ａ１〜Ａ３（３−１〜３−３）と参照メ
モリ５を用いて、前フレームの対応画素の値との間で一
次差分、二次差分、三次差分を連続的に検出し、０．１
％（保証値）の光量変化を確実に捉えられるようにす
る。以下、具体的に説明する。 i ）信号処理部では、初期化時に、神経活動が始められ
ていない測定開始前の画像（バックグラウンド）を取り
込み、Ａ／Ｄ変換回路４−１でアナログ・デジタル変換
して、参照画像データとして参照メモリ５のＳＲＡＭ１
（５−１）に記憶する。 ii）測定開始によって測定画像の信号が入力されると同
時に、ＳＲＡＭ１から参照画像を読み出し、Ｄ／Ａ変換
撮像信号は神経活動の光学的測定におけるものであり、
測定中は検出したピーク値をアナログ信号形式で保持
し、測定終了後にアナログ信号形式で保持されているピ
ーク値をデジタル信号形式に変換すること６−１でデジ
タル・アナログ変換して、差動増幅器３−１において、
測定画像と参照画像の各順次の対応画素間の差分をたと
えば１０倍（増幅倍率はソフトにより可変である）に増
幅する（変化分増幅という）。増幅された出力は、Ａ／
Ｄ変換回路４−２でアナログ・デジタル変換して、一次
差分画像データとしてＳＲＡＭ２（５−２）に記憶す
る。なお、ＳＲＡＭ１には、参照画像の読み出しと同時
にＡ／Ｄ変換回路４−１でアナログ・デジタル変換され
た入力画像のデータが記憶される。 iii ）変化分増幅を高精度に行うためにii）の処理を３
段階行う。つまり、差動増幅器Ａ２（３−２）では、差
動増幅器３−１からの出力信号と、ＳＲＡＭ２から読み
出した先行フレームの一次差分画像のデータをＤ／Ａ変
換回路６−２でデジタル・アナログ変換した信号との差
分をとり、結果をたとえば１０倍に増幅したものをＡ／
Ｄ変換回路４−３でアナログ・デジタル変換して、二次
差分画像データとしてＳＲＡＭ３（５−３）に記憶す
る。同様に、差動増幅器Ａ３（３−３）では、差動増幅
器Ａ２（３−２）からの二次差分信号と、ＳＲＡＭ３
（５−３）から読み出した先行フレームの二次差分画像
データをＤ／Ａ変換撮像信号は神経活動の光学的測定に
おけるものであり、測定中は検出したピーク値をアナロ
グ信号形式で保持し、測定終了後にアナログ信号形式で
保持されているピーク値をデジタル信号形式に変換する
こと６−３でデジタル・アナログ変換した二次差分信号
との差分をとり、結果を１０倍に増幅したものをＡ／Ｄ
変換回路４−４でアナログ・デジタル変換して、三次差
分画像データとしてマルチプレクサＭＰＸ（７）へ出力
する。

【００１５】マルチプレクサＭＰＸ（７）は、Ａ／Ｄ変
換撮像信号は神経活動の光学的測定におけるものであ
り、測定中は検出したピーク値をアナログ信号形式で保
持し、測定終了後にアナログ信号形式で保持されている
ピーク値をデジタル信号形式に変換すること４−１〜４
−４から出力された各入力画像のデータと一次、二次、
三次の各差分のデータとを画素単位に合成して、主メモ
リＤＲＡＭ（８）に書き込む。これにより変化分増幅１
０００倍が可能となり、０．１％以下の光量変化を捉え
ることができる。 iv）画像読み込み処理速度を速めるため、カメラユニット１の出力は並列
８bit 出力にしている。変化分増幅して取り込まれた変
化分の信号は各画素毎に８bit のデータとして最高３０
００フレーム分の記憶容量をもつ主メモリ８に記録され
る。このデータはパソコン画面上での各種表示及びビデ
オ信号（ＮＴＳＣ規格）に変換して出力すること等がで
きる。ｖ) ビデオディスプレイへの表示読み込まれたデータは、１フレーム当たり１／１５〜１
／１６秒のスピードで画面に２５６階調表示を行う事が
できる。１フレーム当たり０．６msecの画像を３０〜１
００倍程度のスローモーションで表示できる。ｖi ）測定結果の保存測定結果は内蔵ＩＣメモリに記憶されている。ＩＣメモ
リは１０００〜３０００フレーム分とすることができ
る。データ量は３０００フレームで４８メガバイトであ
る。このＩＣメモリのデータをパソコン経由でＭＯディ
スク等のメディアに転送し、保存することができる。ま
た保存してあるデータをネットワークを介してダウンロ
ードすることも可能である。

【００１６】

【発明が解決しようとする課題】これまで作られたＣＣ
Ｄカメラは，いかに早く撮影しようとしても，およそ１
ミリ秒に１枚（変換精度を８bit として）撮るのが限界
であった。これは，各フォトセルごとにデータを読み出
し，それをＡ／Ｄ変換するためである。例えば，フォト
セルが１万個あり、Ａ／Ｄ変換に１マイクロ秒かかると
すれば，全体の処理を終えるためには１０ミリ秒必要と
なる。一方、神経生理学の研究では、０．１ミリ秒に１
枚を１２bit 程度の精度で計測できることが期待される
が、Ａ／Ｄ変換回路は高速であるほど高価であるし，そ
のスピードにはマイクロ秒前後に限界がある。また，Ａ
／Ｄ変換の精度とスピードは反比例し、精度を上げれば
処理スピードは遅くなる。そのためＡ／Ｄ変換を並列化
することが考えられるが、Ａ／Ｄ変換回路は回路自体が
複雑であり，たとえばフォトセルごとにＡ／Ｄ変換回路
を持たせるのは現実的でない。このように、従来の神経
生理の光学的測定に用いられるシステムでは、充分なス
ピードと精度で神経活動の動画像データを得るのが困難
であった。

【００１７】本発明の課題は、神経活動のような信号が
高速で伝達あるいは伝播する対象を充分なスピードと精
度で撮像してその動画像データを記憶できる撮像方法及
び装置を提供することにある。

【００１８】

【課題を解決する手段】本発明の概要本発明は、神経活動のように信号が高速で伝達あるいは
伝播する対象の撮像では、必ずしもぞれぞれのフレーム
で対象の完全な映像が必要なわけではなく，信号の伝達
の様子や対象の変化の様子が分かれば良いことが多いこ
とに着目してなされた。

【００１９】そのため本発明は、信号伝達の様子をピー
ク値の移動として捉え、動画像の各フレームの画像に
は、そのフレームの時間にピーク値をもった画素の情報
のみを簡素化して表示することで、全体の情報量を削減
し、高速、高精度での撮像処理を可能にしている。測定
期間中に画素ごとのピーク値が検出され、検出された時
間とピーク値が画素ごとに保持される。このピーク値
は、Ａ／Ｄ変換によるスピードと精度の衝突の問題を回
避するため、測定期間中はアナログ信号形式のままで記
憶され、測定終了後にＡ／Ｄ変換してデジタル記憶しな
おす方法がとられる。これにより、計測計測時にはＡ／
Ｄ変換回路の性能を考慮する必要なしに最適の条件で撮
像を行うことが可能となる。本発明の構成本発明は、以下のように構成することができる。（１）複数フレームの撮像信号について、所定の期間
内に画素ごとにピーク値と該ピーク値に達した時間とを
検出し、検出した画素ごとのピーク値と該ピーク値に達
した時間とをそれぞれ出力可能に記憶することを特徴と
する撮像方法の構成。（２）前項（１）の撮像方法において、各画素ごとの
ピーク値はいったんアナログ信号形式で保持したあと、
デジタル信号形式に変換して記憶することを特徴とする
構成。（３）前項（１）または（２）の撮像方法において、
各画素ごとのピーク値の検出と保持は最初のピーク値で
あることを特徴とする構成。（４）前項（１）または（３）のいずれかの撮像方法
において、撮像信号は神経活動の光学的測定におけるも
のであり、測定中は検出したピーク値をアナログ信号形
式で保持し、測定終了後に該アナログ信号形式で保持さ
れているピーク値をデジタル信号形式に変換することを
特徴とする構成。（５）所定の期間内における複数フレームの撮像信号
について、各画素ごとのピーク値と該ピーク値に達した
ピーク時間とを検出して保持し、その後保持されている
各画素ごとのピーク値とピーク時間とを読み出し、出力
画像を生成することを特徴とする撮像方法の構成。（６）前項（５）の撮像方法において、出力画像は各
画素ごとのピーク値をピーク時間に基づいて画面に表示
する動画像であることを特徴とする撮像方法。（７）前項（５）の撮像方法において、出力画像は、
各画素ごとのピーク値をカラーあるいは濃度で表示した
ピーク値画像と各画素ごとのピーク時間をカラーあるい
は濃度で表示したピーク時間画像であることを特徴とす
る構成。（８）複数のフォトセルからなる撮像素子の出力信号
から、所定期間内に画素ごとのピーク値と該ピーク値に
達したときのピーク時間とを検出し、ピーク値はアナロ
グ信号形式で保持するピーク検出保持部を備えているこ
とを特徴とする撮像装置の構成。（９）前項（８）の撮像装置において、撮像素子の出
力信号はビデオ信号形式であることを特徴とする構成。（１０）前項（８）の撮像装置において、さらに、ピー
ク検出保持部にアナログ信号形式で保持されているピー
ク値を読み出してデジタル信号形式に変換するＡ／Ｄ変
換回路と、変換結果のデジタルピーク値とピーク検出保
持部から読み出したピーク時間とを画素対応で記憶する
デジタルメモリとを備えていることを特徴とする構成。（１１）前項（１０）の撮像装置において、さらに、デ
ジタルメモリから各画素のピーク値とピーク時間とを読
み出し、出力画像を生成する画像処理部を備えているこ
とを特徴とする構成。（１２）前項（１１）の撮像装置において、生成する出
力画像は、各画素ごとのピーク値をピーク時間に基づい
て画面に表示する動画像であることを特徴とする構成。（１３）前項（１１）の撮像装置において、生成する出
力画像は、各画素ごとのピーク値をカラーあるいは濃度
で表示したピーク値画像と、各画素ごとのピーク時間を
カラーあるいは濃度で表示したピーク時間画像とである
ことを特徴とする構成。本発明構成の説明次に、図１により本発明の基本的な構成を説明する。

【００２０】図１において、１１は撮像素子、１２は信
号結合部、１３はピーク検出保持部、１４はＡ／Ｄ変換
回路、１５はデジタルメモリ、１６は画像処理部、１７
は表示部である撮像素子１１は、基板上にそれぞれ光を
検出する複数のフォトセルをｍ行ｎ列の格子状に配列し
たものであり、ＣＣＤカメラも含まれる。図で、撮像素
子１１の個々のフォトセルはＰ_ij（ｉ＝１，２，‥‥，
ｍ，ｊ＝１，２，‥‥，ｎ）で表わされている。

【００２１】信号結合部１２は、撮像素子１１の個々の
フォトセルＰ_ijから出力されるセンサ信号を画素対応で
次段のピーク検出保持部１３の各ピーク検出保持回路単
位に結合する機能をもつ。各フォトセルＰ_ijが出力する
センサ信号をそのままピーク検出保持部１３の個々のピ
ーク検出保持回路単位に並列結合する場合と、各フォト
セルＰ_ijのセンサ信号をいったんビデオ信号形式にシリ
アライズしてからピーク検出保持部１３の個々のピーク
検出保持回路単位に分配する場合とがある。

【００２２】ピーク検出保持部１３は、撮像素子１１の
フォトセルＰ_ijの数と同じ数のピーク検出保持回路単位
Ａ_ij（ｉ＝１，２，‥‥，ｍ，ｊ＝１，２，‥‥，
ｎ）をもつ。ピーク検出保持回路単位Ａ_ijの詳細につい
ては後述されるが、個々のＡ_ijは、対応するフォトセル
Ｐ_ijが所定の複数フレーム期間に光を検出しアナログ信
号形式で出力したセンサ信号からピーク値とそのピーク
値に達したピーク時間とを検出し、ピーク値をアナログ
信号形式でいったん保持する機能をもつ。ここでピーク
値をアナログ信号形式で保持するのは、先に述べた理由
により測定時にＡ／Ｄ変換回路１４を介在させると精度
と速度が損なわれるためである。

【００２３】ピーク検出保持部１３の各ピーク検出保持
回路単位Ａ_ijにピーク値とピーク時間が全て取得される
と測定段階は終了し、次に読み出し動作が行われる。Ａ
₁₁からＡ_mnまで、順次のピーク検出保持回路単位Ａ_ijか
ら保持されているピーク値とピーク時間が読み出され
る。ピーク値はＡ／Ｄ変換回路１４でアナログ・デジタ
ル変換され、デジタル信号形式となって、ピーク時間デ
ータとともにデジタルメモリ１５の対応する所定のデー
タ記憶単位Ｄ_ij（ｉ＝１，２，‥‥，ｍ，ｊ＝１，
２，‥‥，ｎ）に格納される。

【００２４】デジタルメモリ１５は，ＳＤＲＡＭなどの
読み書き可能な一般的なメモリであり、またデータ記憶
単位Ｄ_ijは物理的なアドレスを意味するものではなく、
画素（Ｓ_ijで表わされる）単位にそのピーク値とピーク
時間のデータが参照可能なように管理されている記憶領
域を指している。

【００２５】画像処理部１６は、デジタルメモリ１５の
データ記憶単位Ｄ_ijにアクセスして、画像生成処理を行
う。画像生成処理では、撮像素子１１で撮像されたもと
の動画像の情報をピーク値とピーク時間の情報に縮退さ
せた動画像の形で出力画像を生成することができ、ある
いはピーク値画像とピーク時間画像を組み合わせた静止
画像の形の出力画像などを生成することができる。生成
された出力画像は、ＣＲＴディスプレイなどの表示部１
７の画面に表示される。また出力画像は、印刷された
り、ファイル保存されることができる。

【００２６】次に全体の動作を説明する。動作は、撮像
段階と、信号形式変換段階と、画像生成段階に分けるこ
とができる。

【００２７】撮像段階では、たとえば神経回路の電位伝
播を発光部位の移動の形で光学的に測定する場合、電位
感受性色素で染色された対象神経を刺激すると同時に撮
像素子１１により所定の測定時間の間撮像する。このと
き個々のフォトセルＰ₁₁〜Ｐ _mnから出力されるセンサ信
号は、信号結合部１２を介してピーク検出保持部１３の
対応するピーク検出保持回路単位Ａ₁₁〜Ａ_mnに入力さ
れ、個々にピーク値とピーク時間が検出保持される。こ
のピーク値は、アナログ信号形式で保持され、ピーク時
間はデジタル信号形式で保持されている。この撮像段階
の動作は、神経回路の電位伝播速度に追従できる程度に
充分に高速に行うことができ、かつ取得されたピーク値
とピーク時間の精度は高く保たれる。

【００２８】次に信号変換段階を実行する。まずピーク
検出保持部１３の各ピーク検出保持回路単位Ａ₁₁〜Ａ_mn
に順次アクセスして、それぞれに対で保持されているピ
ーク値とピーク時間を読み出し、アナログ信号形式のピ
ーク値はＡ／Ｄ変換回路１４でデジタル信号形式に変換
して、ピーク時間とともにデジタルメモリ１５の対応す
るデータ記憶単位Ｄ₁₁〜Ｄ_mnに格納する。なお、ピーク
検出保持部１３からのピーク値とピーク時間の読み出し
は並行に行う必要はなく、ピーク値の読み出しとピーク
時間の読み出しとを一方づつまとめて処理してもよい。
またピーク検出保持回路単位Ａ₁₁〜Ａ_mnを複数に分割す
るとともにＡ／Ｄ変換回路１４を複数個並列に設け、ピ
ーク検出保持部１３からのピーク値の読み出しとＡ／Ｄ
変換の処理をそれぞれ並列多重化して高速化を図ること
もできる。この段階での動作時間とデータ精度は、主に
Ａ／Ｄ変換回路１４の変換精度と変換速度により決まる
が、一般にこの段階の動作時間に厳しい制約が課される
ことはないから、必要なデータ精度が得られるような任
意の性能のＡ／Ｄ変換回路を採用することが可能であ
る。

【００２９】次の画像生成段階は随時実行することがで
きる。画像処理部１６は画像生成処理のプログラムを起
動し、デジタルメモリ１５の各データ記憶単位Ｄ₁₁〜Ｄ
_mnにアクセスしてデータを読み出し、必要な動画像ある
いは静止画像を生成して、表示部１７の画面に出力す
る。

【００３０】

【発明の実施の形態】次に、本発明を実施する際の細部
と好適な実施の形態について述べる。

【００３１】図２は、図１の撮像素子１１における各フ
ォトセルによる光検出動作を単純化して示したものであ
る。図２の（ａ）には、撮像素子１１におけるフォトセ
ルの配列を８×８としたときの各Ｐ_ij（ｉ＝１，２，‥
‥，８，ｊ＝１，２，‥‥，８）の位置と、撮像され
る測定対象の神経回路Ｌが示されている。神経回路Ｌ上
の黒い部分は電位変化により生じた発光部であり、矢印
で示す方向に伝播しているものとされる。また図２の
（ｂ）から（ｉ）までは、フレーム１からフレーム８ま
での順次のフレームにおいてそれぞれ発光部からの光を
検出したフォトセルと出力されるセンサ信号のレベルを
示している。なお、検出信号レベルが０に近いフォトセ
ルについては表示を省略してある。たとえば、図２の
（ｂ）のフレーム１においては、Ｐ₅₂とＰ₆₂が光を検出
し、それぞれが出力するセンサ信号のレベルは、Ｐ₅₂＝
２、Ｐ₆₂＝７であることが示されている。

【００３２】これらの各フレームにおいて光を検出した
フォトセルから出力されるセンサ信号は、図１のピーク
検出保持部１３の対応するピーク検出保持回路単位に入
力され、画素（Ｓ_ij：ここでは簡単化のために、画素Ｓ
_ijとフォトセルＰ_ijとは１対１に対応しているものとさ
れる）ごとのピーク値とピーク時間の検出及び保持が行
われる。ピーク値はたとえばセンサ信号の微分値が０に
なったことで検出される。図２の例では、フレーム１
（ｂ）からフレーム３（ｄ）にかけて、Ｐ₅₂のセンサ信
号レベルは２→６→０のように変化するので、画素Ｓ₅₂
はフレーム２の時間にピーク値＝６となり、ピーク時間
はフレーム２の時間であるとされる。ピーク時間は、別
にカウンタを設けてクロックをカウントし、ピーク検出
時にカウントを停止させることによって検出することが
できる。

【００３３】各画素で検出されたピーク値とピーク時間
の画素分布を示すマップ画像の実際例を図３に示す。図
３のマップ画像は、生理学的モデルとされる長期増強の
際の神経伝達の様子をＣＣＤカメラで撮り、本発明の手
法にしたがって画素ごとにピーク値とピーク時間を検出
し、それらのデータに基づいてソフト的に生成したもの
である。もとはＣＣＤカメラから0.6 ミリ秒に１フレー
ム出力される複数フレームの動画像であるが、図３で
は、検出された画素ごとのピーク値とピーク時間の分布
を示すマップ画像を組み合わせ表示して、静止画像から
神経伝達のおおよその様子が分かるようにされている。

【００３４】図３において、左のＡ１，Ａ２はパルス電
気刺激（tetanus ）による長期増強処理の前後（Ａ１が
増強前、Ａ２が増強後）のピーク値マップであり、右の
Ｂ１，Ｂ２はピーク時間マップである。

【００３５】図３のピーク値マップＡ１，Ａ２は、画面
の各画素で検出されたピーク値の大きさをカラーの色相
あるいは白黒の濃度で表わしたものである。Ａ１，Ａ２
は便宜上ここでは白黒画像で示されているが、実際には
Ｃのカラーバーにしたがって、各画素ごとに信号無しが
白で信号のピーク値が強くなるにつれて黄色から黒に変
化するように表示を設定されている。増強前のＡ１に比
べて増強後のＡ２では全体的に黒っぽい領域が増加して
おり、増強により各画素のピーク値が大きくなっている
ことが分かる。

【００３６】図３のピーク時間マップＢ１，Ｂ２も便宜
上白黒画像で示されているが、実際にはＣのカラーバー
にしたがって各画素にピークの出現する時間がカラー表
示されている。この図では、時間は青から始まって緑，
黄色を経て赤で終わるように色設定されている。Ｂ３の
例では、信号が左中央から右上方に伝わっていることが
色変化で示されている。

【００３７】図４の（ａ）、（ｂ）は、図１の信号結合
部１２についての異なる２つの好適な態様を概略的に示
したものである。

【００３８】図４の（ａ）は、撮像素子１１の各フォト
セルＰ_ijとピーク検出保持部１３の各ピーク検出保持回
路単位Ａ_ijとを、複数の信号線１２ａを用いて並列接続
した構成例であり、集積回路技術を用いて製作すること
によりコンパクト化と高速化が可能であるが、集積構造
は複雑になる。なお、ピーク検出保持部１３の各ピーク
検出保持回路単位Ａ_ijに対する読み出しアクセスは順次
的に行われ、読み出されたピーク値は、Ａ／Ｄ変換回路
１４でデジタル信号に変換された後、デジタルメモリ１
５に画素Ｓ_ijと対応させてピーク値Ｅ_Pとして格納さ
れ、また読み出されたピーク時間はそのままＴ_Pとして
格納される。

【００３９】図４の（ｂ）は、撮像素子としてＣＣＤを
用いた構成例である。ＣＣＤ２０中の個々のフォトセン
サの出力信号はいったん直列のビデオ信号形式で取り出
し、ピーク検出保持部１３の各ピーク検出保持回路単位
Ａ_ijにそれぞれ画素と対応をとって所定のタイミングで
分配する。ビデオ信号を画素単位に切り出して各ピーク
検出保持回路単位Ａ_ijに分配するには、Ｘデコーダ２１
とＹデコーダ２２を用いて各ピーク検出保持回路単位Ａ
_ijを画素順に選択し、選択したＡ_ijへのビデオ信号入力
を、所定のタイミングでゲーティングするか、Ａ_ijの機
能をイネーブルにしなければならない。ＣＣＤが大量に
生産されている現状から考えると，この（ｂ）の構成が
実現容易である。なおこのＸデコーダ２１とＹデコーダ
２２を用いたピーク検出保持回路単位Ａ_ijの選択機構
は、図４の（ａ）の構成でピーク検出保持回路単位Ａ_ij
からデータを読み出す際にも必要である。

【００４０】図５及び図６により、ピーク検出保持部１
３の細部構成を説明する。

【００４１】図５では、ピーク検出保持部１３の各ピー
ク検出保持回路単位Ａ_ijは１３ａで表わされている。ピ
ーク検出保持回路単位１３ａは、ピーク値検出・保持回
路１３ｂとカウンタ１３ｅで構成されている。ピーク値
検出・保持回路１３ｂは、撮像素子１１から出力される
アナログのセンサ信号を入力してピーク値を検出し、保
持するアナログ回路である。カウンタ１３ｅはクロック
を入力としてカウント動作する同期カウンタであり、ピ
ーク値検出・保持回路１３ｂがピーク値を検出したとき
出力する信号によりカウントを図示省略されているレジ
スタに記録して、そのときのカウント値によりピークと
なった時間を表示する。制御回路１８は、画像領域の順
次の画素について、その画素に対応するピーク検出保持
回路単位１３ａの選択信号をピーク検出保持部１３に送
るとともに、デジタルメモリ１５に画素対応のアドレス
を送る。これにより、デジタルメモリ１５のアドレスに
は、選択されたピーク検出保持回路単位１３ａのピーク
値検出・保持回路１３ｂから読み出されたピーク値（さ
らにＡ／Ｄ変換回路１４でデジタル信号に変換された結
果の）とカウンタ１３ｅから読み出されたピーク時間と
が書き込まれる。このようにして、全ての画素について
ピーク値とピーク時間のデータが、ピーク検出保持部１
３からデジタルメモリ１５に取り込まれる。

【００４２】図６は、ピーク検出保持回路単位１３ａの
さらに詳細を示す。ピーク値検出・保持回路１３ｂは、
ピーク値保持回路１３ｃとピーク値検出回路１３ｄで構
成される。ピーク値保持回路１３ｃはいわゆるサンプル
・ホールド回路であり、入力信号に追従してそのレベル
をキャパシタに蓄積しておき、ピーク値検出回路１３ｄ
からホールド信号が与えられた時点でキャパシタに蓄積
されているレベルをピーク値として読み出し可能に保持
する。ピーク値検出回路１３ｄは、信号のピークを信号
レベルの正から負への変化点で検出する微分回路で構成
でき、ピークを検出すると、ピーク値保持回路１３ｃに
ホールド信号を送り、カウンタ１３ｅにピーク検出信号
を送る。カウンタ１３ｅは計測開始とともにクロックの
カウントを行い、ピーク検出信号が入力されるとその時
点のカウント値を保持する。ひとつの画素において、ピ
ーク値はいくつも出現する可能性があるので、最大のピ
ーク値のデータが取得されるように構成される。

【００４３】図６の左側の要素は主に測定時に使用さ
れ、右側の要素は測定後に使用される。測定開始に先立
ってＣＣＤカメラのフォーカス合わせが行われるが、そ
の場合はＣＣＤカメラからのビデオ信号は直接Ａ／Ｄ変
換回路１４に送られ、デジタル信号に変換されて、モニ
タ画面に画像表示される。ここで表示されている画像が
鮮明になるようにフォーカス調整を行う。

【００４４】図７及び図８は、それぞれ異なる出力画像
生成処理例のフローである。

【００４５】図７のフローの処理では、ピーク値による
動画像が生成される。まずフレーム時間を０に初期化
し、所定の時間が到来するごとにフレーム画像を更新す
る。任意のフレーム時間において、デジタルメモリから
その時間にピーク時間を持つすべての画素とピーク値を
検索し、それらの画素位置にそれぞれのピーク値を設定
する。この場合、ピーク値は予め定められた濃度値ある
いは色相のカラー値に変換して設定されることができ
る。連続するフレーム時間ごとにこの処理を繰り返し
て、生成したフレーム画像を画面に表示すれば、もとの
測定対象像における発光部の伝播の様子を、発光のピー
ク値に画像情報を縮退させた動画像として再生すること
ができる。この場合、フレーム時間を任意に変更して、
たとえばスローモーションで再生することも可能であ
る。

【００４６】また動画像として再生する他の手法として
は、予め標準的な波形をパターン化しておいて、各画素
のピーク値とピーク時間にそのパターンを当てはめ、一
種の補間によりピーク値以外の元の信号変化部分を擬似
的に再現してもよい。たとえば神経科学の場合には、ひ
とつの神経ポイントにおける電気生理学的な反応は、他
の任意の神経ポイントにおける反応と非常に類似してお
り、ピーク値とピーク時間さえ分かれば、そのポイント
の全反応波形を簡単に類推することができるので、この
手法はきわめて有効である。同様に、任意のポイントに
おける反応波形が類似していることが保証される現象で
あれば、本発明により取得されたピーク値とピーク時間
のデータから、ほぼ完全に実際の映像を動画像として再
現することできる。

【００４７】図８のフローの処理では、図３に示したよ
うなピーク値マップとピーク時間マップからなる静止画
像が生成される。この処理は、デジタルメモリから、全
画素のピーク値とピーク時間を順次読み出してそれぞれ
を適当な濃度あるいはカラー値に変換し、ピーク値マッ
プとピーク時間マップの画像に設定する。

【００４８】

【発明の効果】本発明による撮像方法及び撮像装置で
は、撮像段階ではＡ／Ｄ変換処理を行わず、撮像後にＡ
／Ｄ変換処理を行うようになるため、撮像時にはＡ／Ｄ
変換速度に制約されずに撮像速度を上げて、撮像後に十
分に時間をかけて高精度でのＡ／Ｄ変換を行うことが可
能になる。これにより、従来ネックとなっていたＡ／Ｄ
変換の精度と速度とのジレンマが無くなり，神経活動の
光学的測定におけるような高速の現象でも、高速、高精
度で撮像、記憶して、容易に再生することができるよう
になる。また必要とされるメモリ資源も著しく節減でき
る利点がある。

【図面の簡単な説明】

【図１】本発明の基本構成図である。

【図２】撮像素子におけるフォトセルの光検出動作の説
明図である。

【図３】本発明により生成される出力画像の実際例を示
す図である

【図４】信号結合部の異なる実施の態様を示す構成図で
ある。

【図５】ピーク検出保持部の細部を示す構成図である。

【図６】ピーク検出保持回路単位の詳細構成図である。

【図７】出力画像生成処理の１例のフローである。

【図８】出力画像生成処理例の他の１例のフローであ
る。

【図９】神経生理の光学的測定における光量と出力信
号、ノイズ量の関係を示すグラフである。

【図１０】従来例の二次元光量差分計測装置の信号処理
部のブロック図である。

【符号の説明】

１１：撮像素子１２：信号結合部１３：ピーク検出保持部１４：Ａ／Ｄ変換回路１５：デジタルメモリ１６：画像処理部１７：表示部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/91 Ｈ０４Ｎ 5/91 Ｊ

Claims

【特許請求の範囲】

【請求項１】複数フレームの撮像信号について、所定
の期間内に画素ごとにピーク値と該ピーク値に達した時
間とを検出し、検出した画素ごとのピーク値と該ピーク
値に達した時間とをそれぞれ出力可能に記憶することを
特徴とする撮像方法。
【請求項２】請求項１の撮像方法において、各画素ご
とのピーク値はいったんアナログ信号形式で保持したあ
と、デジタル信号形式に変換して記憶することを特徴と
する撮像方法。
【請求項３】請求項１または請求項２の撮像方法にお
いて、各画素ごとのピーク値の検出と保持は最初のピー
ク値であることを特徴とする撮像方法。
【請求項４】請求項１ないし請求項３のいずれかの撮
像方法において、撮像信号は神経活動の光学的測定にお
けるものであり、測定中は検出したピーク値をアナログ
信号形式で保持し、測定終了後に該アナログ信号形式で
保持されているピーク値をデジタル信号形式に変換する
ことを特徴とする撮像方法。
【請求項５】所定の期間内における複数フレームの撮
像信号について、各画素ごとのピーク値と該ピーク値に
達したピーク時間とを検出して保持し、その後保持され
ている各画素ごとのピーク値とピーク時間とを読み出
し、出力画像を生成することを特徴とする撮像方法。
【請求項６】請求項５の撮像方法において、出力画像
は各画素ごとのピーク値をピーク時間に基づいて画面に
表示する動画像であることを特徴とする撮像方法。
【請求項７】請求項５の撮像方法において、出力画像
は、各画素ごとのピーク値をカラーあるいは濃度で表示
したピーク値画像と各画素ごとのピーク時間をカラーあ
るいは濃度で表示したピーク時間画像であることを特徴
とする撮像方法。
【請求項８】複数のフォトセルからなる撮像素子の出
力信号から、所定期間内に画素ごとのピーク値と該ピー
ク値に達したときのピーク時間とを検出し、ピーク値は
アナログ信号形式で保持するピーク検出保持部を備えて
いることを特徴とする撮像装置。
【請求項９】請求項８の撮像装置において、撮像素子
の出力信号はビデオ信号形式であることを特徴とする撮
像装置。
【請求項１０】請求項８の撮像装置において、さら
に、ピーク検出保持部にアナログ信号形式で保持されて
いるピーク値を読み出してデジタル信号形式に変換する
Ａ／Ｄ変換回路と、変換結果のデジタルピーク値とピー
ク検出保持部から読み出したピーク時間とを画素対応で
記憶するデジタルメモリとを備えていることを特徴とす
る撮像装置。
【請求項１１】請求項１０の撮像装置において、さら
に、デジタルメモリから各画素のピーク値とピーク時間
とを読み出し、出力画像を生成する画像処理部を備えて
いることを特徴とする撮像装置。
【請求項１２】請求項１１の撮像装置において、生成
する出力画像は、各画素ごとのピーク値をピーク時間に
基づいて画面に表示する動画像であることを特徴とする
撮像装置。
【請求項１３】請求項１１の撮像装置において、生成
する出力画像は、各画素ごとのピーク値をカラーあるい
は濃度で表示したピーク値画像と、各画素ごとのピーク
時間をカラーあるいは濃度で表示したピーク時間画像と
であることを特徴とする撮像装置。