JP2012029728A

JP2012029728A - ホワイトバランス調整方法および撮像装置

Info

Publication number: JP2012029728A
Application number: JP2010169802A
Authority: JP
Inventors: Kazuaki Kojima; 数明小嶋; Koji Tanimoto; 孝司谷本; Takayuki Sato; 隆幸佐藤
Original assignee: Kyushu University NUC; Kochi University NUC; Sanyo Electric Co Ltd; Sanyo Semiconductor Co Ltd
Current assignee: Kyushu University NUC; Kochi University NUC; Sanyo Electric Co Ltd; System Solutions Co Ltd
Priority date: 2010-07-28
Filing date: 2010-07-28
Publication date: 2012-02-16
Anticipated expiration: 2030-07-28
Also published as: US9900484B2; US20120026339A1; JP5507376B2

Abstract

【課題】ＩＲ光画像と、ＲＧＢ画像を効果的に表示する。
【解決手段】所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップ（Ｓ１１，Ｓ１２）と、被写体にＲＧＢ光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、ＲＧＢ光源のＲＧＢ別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップ（Ｓ１３，Ｓ１４）と、を有する。
【選択図】図２

Description

赤外光画像と、ＲＧＢ画像を同時に表示するためのホワイトバランス調整方法に関する。

肝機能検査試薬として用いられているインドシアニングリーンを用いて、外科手術におけるナビゲーション、すなわち血管手術前後における血流の確認、リンパ管手術前後におけるリンパ流の確認、癌手術におけるリンパ節の位置確認が近年可能になってきた。これはインドシアニングリーンに７８０ｎｍの赤外線を照射すると発する８３０−８７０ｎｍの近赤外蛍光をとらえることで可能になっている。この帯域の近赤外光は、生体組織の透過率が比較的高いため、皮膚や臓器の表面から観察することが可能なことで、より有効な手段となっている。

同様の近赤外光を使用したカメラシステムは、内視鏡への展開が要望されており、今後内視鏡への応用が進むことは確実である。さらには顕微鏡カメラなどにも展開されることが予想される。

すでに製品化されている近赤外蛍光をとらえる内視鏡システムは、画像が白黒であったり、近赤外光以外による画像が不鮮明であったりして、手術のナビゲーションとしての仕様には不十分である。また、微細な癌組織などの確認のためには、高解像度のカメラが要求されるが、このようなカメラシステムはまだ存在しない。

特開２００３−１３５３９３号公報特開２００６−２１７４４１号公報

近赤外蛍光とカラー画像を同時に取り込めるカメラシステムは、特殊なカラーフィルターと特殊な画像処理を採用したセンサーを使用することで達成されている。また、近赤外画像と可視光カラー画像を別々に取り込み、後段の処理で重ね合わせることでも達成可能である。しかし、今後高解像度版のカメラシステムなどを開発する場合に、専用の特殊センサーを開発したり、画像を重ね合わせるための複数のセンサーを用いたシステムが必要になったりし、莫大な開発工数が必要となる。

特殊なカラーフィルターを備えることなく単一のセンサーによって実現可能であり、さらに後段での重ね合わせ処理が必要なく、リアルタイムで近赤外画像とカラー画像を同時に取り込めるカメラシステムが望まれる。

本発明は、汎用のイメージセンサーを用いて、近赤外光画像と可視光カラー画像を同時に得られるカメラシステムであり、所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップと、被写体にＲＧＢ光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、ＲＧＢ光源のＲＧＢ別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップと、を含む。

また、本発明に係る撮像装置は、所定波長の赤外光を被写体に照射する赤外線照射手段と、被写体にＲＧＢ光を照射する手段であって、射出光強度がＲＧＢ独立して調整可能なＲＧＢ光源と、被写体からの光から前記赤外線照射手段から発生される所定波長の赤外線を除去するフィルタと、このフィルタを通った光を受光して撮像信号を出力するカメラと、前記赤外線照射手段からの赤外線を被写体に照射しているときに、前記カメラで受光した撮像信号について白色となるようにホワイトバランスを調整するホワイトバランス調整手段と、前記ＲＧＢ光源からの光を被写体に照射しているときに、前記ホワイトバランス調整手段におけるホワイトバランスを固定した状態で前記ＲＧＢ光源からのＲＧＢ別の射出強度を調整してカメラからの撮像信号のホワイトバランスを調整するＲＧＢ調整手段と、を含む。

本発明に係るホワイトバランスの調整によれば、特殊なカラーフィルターを備えないイメージセンサーを用いて、インドシアニングリーンなどから発生される赤外光画像と、通常の臓器などのＲＧＢ画像を同時に取り込み、同時に表示することが可能となる。このため、容易に内視鏡、顕微鏡カメラなどに最適なイメージセンサーを用いた手術ナビゲーション用のカメラシステムを提供可能となる。

撮影システムの全体構成を示す図である。処理の手順を示すフローチャートである。映像信号処理回路の詳細を示した図である。

以下、本発明の実施形態について、図面に基づいて説明する。

図１は、実施形態に係るホワイトバランス調整装置を含む撮影システムの構成を示す図である。カメラ本体１０には、外部からの照射光を受け入れ、照射光をガイドして、被写体１４に向けて射出する照射光ガイド１２が内蔵されている。また、被写体１４からの光を受け入れてガイドする受け入れ光ガイド１８が内蔵されている。この受け入れ光ガイド１８は、受け入れ光を赤外線フィルタ２０を介し、イメージセンサ１６に導く。図１は、内視鏡を示す図となっているが、内視鏡以外にも外光（本発明に含まれる照明以外による光）の影響が少ない用途には、同様に本発明は有効である。

カメラ本体１０は、基部１０ａが比較的大きくなっており、ここにイメージセンサ１６が内蔵されている。この基部１０ａの背面に照射光ガイド１２の光受け入れ端が形成されている。また、イメージセンサ１６からの映像信号の出力部も基部１０ａの背面に形成されている。一方、カメラ本体１０の先端側は、細長の棒状部１０ｂとなっており、その先端１０ｃに照射光ガイド１２からの照射光を射出する射出部と、被写体１４からの光を受け入れて受け入れ光ガイド１８に導入する光受け入れ部が形成されている。

本実施形態においては、棒状部１０ｂを、患者の臓器内部などを挿入して、先端１０ｃから照射光を対象となる患部（被写体１４）に照射し、被写体から発生される近赤外光および可視光の映像を撮影する。

なお、照射光ガイド１２、受け入れ光ガイド１８は、可視光および赤外光を通す光ファイバで構成されており、照射光の射出部や被写体からの光の受け入れ部には、必要に応じてレンズなどの光学系が配置される。また、イメージセンサ１６としては、ＣＣＤ(Charge Coupled Device)撮像装置が用いられているが、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像装置などでもかまわない。

さらに、イメージセンサ１６の前段には、特定波長の赤外光を除去する赤外線フィルタ２０が設けられている。これは、後述する照射赤外光がそのまま反射された光をイメージセンサ１６に入力されるのを防止するためである。

カメラ本体１０の背面の照射光ガイド１２の光受け入れ部には光源装置２２からの照射光が供給される。本実施形態では、フレキシブルな光ファイバなどによって、カメラ本体１０の背面の照射光受け入れ部と、光源装置２２の光射出部が接続されている。光源装置２２は、赤外光（ＩＲ光）ＬＥＤ(Light Emitting Diode)２４と、ＲＧＢの独立光源を有する可視光ＬＥＤ２６を有している。そして、ＩＲ光ＬＥＤ２４と、可視光ＬＥＤ２６からの射出光がレンズ２８を介し、カメラ本体１０の照射光ガイド１２に供給される。

また、ＩＲ光ＬＥＤ２４、可視光ＬＥＤ２６からの照射光の射出は、ＬＥＤ駆動制御回路３０によって制御される。特に、本実施形態において、ＩＲ光ＬＥＤ２４の射出光は、７８０ｎｍの赤外光であり、可視光ＬＥＤ２６は、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の光をそれぞれ射出する３つのＬＥＤを含んでおり、ＬＥＤ駆動制御回路３０によって、ＲＧＢの射出光強度が独立して制御可能である。

イメージセンサ１６からの画像信号は、信号処理回路４０に供給される。この信号処理回路４０は、映像信号処理回路４２と、カメラ制御回路４４が設けられ、カメラ制御回路４４によってイメージセンサ１６の動作が制御され、イメージセンサ１６からの映像信号が映像信号処理回路４２に供給されて、ここで各種の処理がされて、出力信号（ＮＴＳＣ映像信号、ＲＧＢ信号など）が外部のモニタ５０に供給され、ここに撮影された映像が表示される。なお、信号処理回路４０には、制御回路４６が設けられ、映像信号処理回路４２、カメラ制御回路４４の処理動作を制御している。

また、この制御回路４６は、映像信号処理回路４２におけるホワイトバランス調整や、ＬＥＤ駆動制御回路３０におけるＲＧＢ別の発光強度の調整なども行う。

このような撮像システムにおいて、通常はＩＲ光ＬＥＤ２４と、可視光ＬＥＤ２６の両方が点灯し、赤外光と可視光の両方がレンズ２８、照射光ガイド１２を介し被写体１４に照射される。

被写体からの光は、赤外線フィルタ２０において、ＩＲ光ＬＥＤ２４から出力され、そのまま反射された７８０ｎｍの光が除去され、イメージセンサ１６に至る。被写体１４は、人体など生体の臓器であり、予めインドシアニングリーンが投与されている。従って、インドシアニングリーンが存在する血管などにおいて、８３０−８７０ｎｍの近赤外蛍光が発生し、この近赤外蛍光と、可視光ＬＥＤ２６からの可視光の被写体１４による反射光がイメージセンサ１６に撮影される。

ここで、本撮影システムにおいては、通常の撮影に先立って、図２に示すような手順で映像におけるホワイトバランスの調整を行う。

まず、ＩＲ光源である、ＩＲ光ＬＥＤ２４のみを点灯する（Ｓ１１）。この状態で、映像信号処理回路４２において、オートホワイトバランス機能（ＡＷＢ機能）によって、出力される映像信号が白くなるようにホワイトバランスを調整する（Ｓ１２）。

ここで、ＩＲ光ＬＥＤ２４からの７８０ｎｍの赤外光を被写体に照射した場合、７８０ｎｍの光のそのままの反射光と、インドシアニングリーンからの８３０−８７０ｎｍの近赤外蛍光の２種類の光のみが被写体１４より発生せられる。７８０ｎｍの光は、赤外線フィルタ２０によって除去されるため、インドシアニングリーンからの８３０−８７０ｎｍの近赤外蛍光の２種類の光のみがイメージセンサ１６に入射する。そして、この近赤外蛍光についての色がホワイトバランス調整機能によって、白色に設定される。すなわち、そのときの入射光によってイメージセンサ１６において発生される、ＲＧＢ信号のバランスが白色に調整される。イメージセンサ１６は、ＲＧＢ独立の画素を有しており、これら画素の出力信号がＲＧＢ信号になる。インドシアニングリーンによる近赤外蛍光のみが入射した場合も、イメージセンサ１６が入射近赤外光に応じてＲＧＢ別の映像信号を生成するので、このときのＲＧＢのバランス（それぞれに乗算するウェイト）を調整することで、そのとき出力される映像信号を白色にできる。なお、近赤外蛍光に対した映像信号は、白以外の色にも設定を変更することで対応可能である。

次に、ＩＲ光源（ＩＲ光ＬＥＤ２４）を消灯し、可視光源（可視光ＬＥＤ２６）のみを点灯する（Ｓ１３）。この状態で、上述のようにして調整したホワイトバランスを固定しおき、可視光ＬＥＤ２６におけるＲＧＢ各色の射出光強度を調整し、イメージセンサ１６からの出力におけるホワイトバランスを調整する（Ｓ１４）。このホワイトバランス調整は、通常行われているオートホワイトバランス調整装置における色温度の検出に基づいて行ってもよいし、モニタ５０の表示を見てのユーザの入力に応じて行ってもよいし、両者を組み合わせてもよい。なお、オートホワイトバランス調整といっても、この場合のホワイトバランスの調整は、ＲＧＢの光源側の調整であり、通常の映像信号側の処理ではない。

このようにして、カメラの映像信号処理側のホワイトバランスは、固定した状態で、可視光画像におけるホワイトバランスの調整が可視光光源のＲＧＢ射出強度の調整によって行われる。ここで、本実施形態における映像は、内視鏡を用いた手術などついて行う。従って、外光が全くない条件で、上述の設定を行うことができる。

このようにして、インドシアニングリーンからの近赤外光についての映像は白色に設定され、可視光については照射光のＲＧＢの強度バランスを調整して映像信号におけるホワイトバランス調整がなされる。そこで、この状態で、ＩＲ光源（ＩＲ光ＬＥＤ２４）、ＲＧＢ光源（可視光ＬＥＤ２６）からの両方を点灯し、映像信号を得る（Ｓ１５）。この場合に得られる画像は、「通常の画像＋ＩＲ発光部分が白色」という画像になる。インドシアニングリーンからの近赤外光についての映像は白色とすることが好適である。体内の組織や体液は白色を有するものがない。近赤外光の映像を白色に設定することで、体内の組織や体液と、インドシアニングリーンからの近赤外光と、を区別して観察することが容易になる。また、映像信号には、通常は体内の画像には表示されないはずの白色の像が表示されるため、インドシアニングリーンからの近赤外光の確認を一層容易にする。

このように、本実施形態では、ＩＲ画像として、イメージセンサ１６のＲＧＢの各色画素から信号をすべて利用する。従って、入射光の効率の高い利用がはかれ、微弱な近赤外蛍光についても十分な白色画像を得ることができる。

また、通常画像におけるホワイトバランスも十分調整ができるため、得られた映像信号における画像を見やすいものにできる。

なお、上述のようなホワイトバランスの調整は、電源投入時に自動的に行ってもよいが、ユーザのボタン操作などの指示に基づき、開始することが好適である。そして、Ｓ１１〜Ｓ１５の動作を自動的に行うとよい。また、ＩＲ光についてのホワイトレベルの調整、ＲＧＢ光によるホワイトレベルの調整の両時点において、一旦動作を停止し、ユーザの確認を得ることも好適である。そして、ユーザが変更したい場合には、ボタン操作などによる指示を取り込み、設定値を変更して、次の動作に進むことが好適である。

図３には、図１の映像信号処理回路４２などをより詳細に表した図を示す。イメージセンサ１６からの映像信号は、映像信号処理回路４２のＡＦＥ（オート・フロント・エンド）６０に入力される。このＡＦＥ６０は、イメージセンサ１６からの映像信号を増幅、Ａ／Ｄ変換などし、後処理回路に処理できるデータにする。ＡＦＥ６０からのデジタルの映像信号は映像データ処理回路６２に入力され、ここで映像信号をモニタ５０において表示させるための各種処理が行われる。映像データ処理回路６２においては、ゲイン調整、ガンマ補正、色補正、輪郭強調、画素欠陥補正などの処理が行われる。そして、この映像データ処理回路６２からの出力信号が出力インタフェース（Ｉ／Ｆ）７０を介しモニタ５０に供給され、ここに表示される。

映像データ処理回路６２には、露光制御部６４が接続されている。この露光制御部６４は、映像データから露光時間を制御する。すなわちカメラ制御回路４４の駆動回路４４ａを制御することで、イメージセンサ１６の電荷転送タイミングを制御して、１画面の露光時間を制御する。また、映像データ処理回路６２には、ＷＢ制御部６６も接続されている。このＷＢ制御部は、上述したように、近赤外光のみが入力されて時に、出力信号が白表示になるようにＲＧＢのバランスを制御する。例えば、ＲＧＢ各信号への係数がａ，ｂ，ｃであると、ａＲ＋ｂＧ＋ｃＢが白色なるａ、ｂ、ｃを求める。そして、このＷＢ制御部６６には、レジスタ６８が接続されており、求められた係数ａ，ｂ，ｃは、このレジスタ６８に記憶され、以後の映像データ処理において用いられる。

なお、レジスタ６８には、ＡＦＥ６０における増幅率についてのデータも記憶され、ＡＦＥ６０の増幅回路のゲインが記憶されている設定値によって制御される。さらに、露光制御部６４における露光の設定値もレジスタ６８に記憶される。

また、ホワイトバランス制御部６６、露光制御部６４は、制御回路４６にも接続されている。制御回路４６は、内部の光源バランス制御部４６ａにより、ＬＥＤ駆動制御回路３０を制御し、可視光ＬＥＤ２６のＲＧＢのバランスを制御する。この可視光ＬＥＤ２６におけるＲＧＢ別のバランスについてのデータもレジスタ６８に記憶される。また、露光制御部６４は、明るさに応じて、ＬＥＤの発光量を制御してもよく、この場合の設定値もレジスタ６８に記憶される。

さらに、レジスタ６０内に記憶されている設定値は、外部からの制御信号によっても書き換え可能になっている。従って、ユーザの好みにより、また映像の内容を見ながらユーザが入力した調整信号に応じて、レジスタ６８内の設定値が変更でき、これによってホワイトバランスなども調整が可能になっている。

ここで、イメージセンサ１６として、ＣＣＤを利用した場合について説明したが、ＣＭＯＳを使用した場合には、その出力がデジタルであり、ＡＦＥ６０におけるＡ／Ｄ変換は不要である。さらに、露光時間の制御も不要となる。

なお、一般的なカメラでは、赤外ノイズを除去するＩＲカットフィルタを備えている。本実施形態では、上述のように、インドシアニングリーンからの赤外光を受光する必要があり、ＩＲカットフィルタは除去する。

また、インドシアニングリーンからの近赤外蛍光は比較的強度が小さい。そこで、近赤外蛍光の強度に応じて、可視光ＬＥＤ２６のホワイトバランスの調整の際に、全体的な強度も調整するとよい。すなわち、近赤外蛍光の受光に応じて白色発光が十分視認できるように、可視光ＬＥＤ２６の強度を調整する。これによって、弱い近赤外光についても、十分な表示が行える。なお、上述した赤外線フィルタ２０によって、可視光を少し減衰することも好適である。

さらに、薬剤としては、インドシアニングリーンに限定されることはなく、赤外光によって励起されて照射光と異なる波長の発光を生じるものであれば、本実施形態と同様に適切なホワイトバランスの調整を行うことができる。

１０カメラ本体、１０ａ基部、１０ｂ棒状部、１０ｃ先端、１２照射光ガイド、１４被写体、１６イメージセンサ、１８受け入れ光ガイド、２０赤外線フィルタ、２２光源装置、２４ＩＲ光ＬＥＤ、２６可視光ＬＥＤ、２８レンズ、３０駆動制御回路、４０信号処理回路、４２映像信号処理回路、４４カメラ制御回路、４４ａ駆動回路、４６制御回路、４６ａ光源バランス制御部、５０モニタ、６０レジスタ、６２映像データ処理回路、６４露光制御部、６６ＷＢ制御部、６６ホワイトバランス制御部、６８レジスタ。

Claims

所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップと、
被写体にＲＧＢ光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、ＲＧＢ光源のＲＧＢ別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップと、
を含むホワイトバランス調整方法。
所定波長の赤外光を被写体に照射する赤外線照射手段と、
被写体にＲＧＢ光を照射する手段であって、射出光強度がＲＧＢ独立して調整可能なＲＧＢ光源と、
被写体からの光から前記赤外線照射手段から発生される所定波長の赤外線を除去するフィルタと、
このフィルタを通った光を受光して撮像信号を出力するカメラと、
前記赤外線照射手段からの赤外線を被写体に照射しているときに、前記カメラで受光した撮像信号について白色となるようにホワイトバランスを調整するホワイトバラン調整手段と、
前記ＲＧＢ光源からの光を被写体に照射しているときに、前記ホワイトバランス調整手段におけるホワイトバランスを固定した状態で前記ＲＧＢ光源からのＲＧＢ別の射出強度を調整してカメラからの撮像信号のホワイトバランスを調整するＲＧＢ調整手段と、
を含む撮像装置。