JP2013090885A - 色調調整装置および電子内視鏡装置 - Google Patents

Abstract

【課題】照明用光の経時的な分光分布の変化による撮影画像の色調変化を防止する。
【解決手段】光源２１の光をライトガイド２２を介して照射し、撮像素子１４を用いて画像を撮影する。撮像素子１４からの画像信号のホワイトバランスを前段映像信号処理回路１８において調整する。ライトガイド２２の分岐ファイバ束２２Ａからの光を白色板２４に照射し、その反射光を受光センサ３２で受光する。受光センサ３２で検出される分光分布と、メモリ３４に記録された撮像素子１４の分光感度分布および撮像系で用いられる色変換マトリクスの値に基づいて、ライトガイド２２を介した照明光の下、白色板２４を撮像素子１４で撮影したときのＲＧＢ信号を推定する。推定されたＲＧＢ信号に基づきホワイトバランス調整処理を行う。
【選択図】図１

Description

本発明は、撮影された画像の色調を調整するための色調整装置に関する。

一般に内視鏡では、光源の光をライトガイドを通して挿入部先端へと導き照明光として利用している。そのため光源の分光分布が変化すると、取得画像のカラーバランスが変化して診察等に悪影響を及ぼす。例えば、切替え可能な２つの光源を備えた電子内視鏡装置では、光源の切替えにより分光分布が変化する。このような電子内視鏡としては、光源毎に予めホワイトバランス調整時の補正データを用意し、切り替えられた光源に合わせてホワイトバランス処理を補正しカラーバランスを一定に維持する構成が知られている（特許文献１）。

また内視鏡装置における照明光の分光分布の変化としては、光量調整用の絞りによる影響も知られている。すなわち内視鏡では、一般的光量調整用の絞りを通してライトガイドに光束が入射されるが、光束の分光分布は空間的に一様ではなく、光束の中心ほど色温度が高い。そのため絞りの大きさによりライトガイドへ入射する光の分光分布が変化し、取得画像のカラーバランスが一定しない。このような問題に対しては、絞りの大きさに応じて光路上に補正フィルタを挿脱し、ライトガイドに入射する光の分光分布の変動を抑える構成が知られている（特許文献２）。

特開２００４−１２１５４９号公報 特開平７−２９９０２８号公報

ところで光源の分光分布の変化には上述したものの他、経時的なものが存在する。例えば、光源は経時劣化によりその分光分布が変化する。また、照明用の光源には一般的にハロゲンランプやメタルハライドランプ、キセノンランプなどが用いられるが、これらのランプの分光分布は点灯直後から安定するわけではなく、安定するまでには一定の時間が掛かる。

本発明は、照明光の分光分布の経時変化にかかわらず撮影される画像の色調を一定に維持することを課題としている。

本発明の色調調整装置は、照明光の分光分布を検出する測色手段と、撮像素子の分光感度分布と分光分布に基づき照明光が照射された基準白色体を撮像素子で撮影したときのＲＧＢ信号を推定するＲＧＢ信号推定手段と、推定されたＲＧＢ信号に基づき撮像素子からの画像信号に対しホワイトバランス調整を行うホワイトバランス調整手段とを備えたことを特徴としている。

ＲＧＢ信号推定手段は、例えば撮像系で用いられる色変換マトリクスを用いてＲＧＢ信号の推定を行う。また色調調整装置は更に基準白色体を備え、測色手段は白色板で反射された照明光の分光分布を検出してもよい。ＲＧＢ信号推定手段は、例えば基準白色体の分光反射率を用いてＲＧＢ信号の推定を行う。照明光は、ライトガイドを介した光であることが好ましい。ライトガイドの一部が分岐され、分岐されたファイバ束を介した光が測色手段で受光されることが好ましい。ホワイトバランス調整手段は、例えば光源の点灯から光源が安定するまでの所定時間に亘ってのみ連続してホワイトバランス調整を行う。

本発明の電子内視鏡装置は、上記色調調整装置を備えたことを特徴としている。

本発明の色調調整方法は、照明光の分光分布を検出し、撮像素子の分光感度分布と照明光の分光分布に基づき照明光が照射された基準白色体を撮像素子で撮影したときのＲＧＢ信号を推定し、推定されたＲＧＢ信号に基づき撮像素子からの画像信号に対しホワイトバランス調整を行うことを特徴としている。

本発明によれば、光源の分光分布を経時的に一定に維持することができる。

第１実施形態の色調調整装置を搭載した電子内視鏡装置の構成を示すブロック図である。 本実施形態の色調調整処理のフローチャートである。 ホワイトバランス調整処理のフローチャートである。 第２実施形態の色調調整装置を搭載した電子内視鏡装置の構成を示すブロック図である。 第３実施形態の色調調整装置を搭載した電子内視鏡装置の構成を示すブロック図である。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態の色調調整装置を搭載した電子内視鏡装置の構成を示すブロック図である。なお、図１では、照明系と撮像系に関する一部の構成のみが示され、その他の多くの構成は省略されている。

電子内視鏡装置１０は、可撓管状の挿入部を備えるスコープ１１と、スコープ１１が着脱自在に接続されるプロセッサ装置１２と、プロセッサ装置１２に着脱自在に接続されるモニタ１３から主に構成される。

スコープ１１の挿入部先端には例えばＣＣＤなどの撮像素子１４が設けられる。撮像素子１４の駆動は例えばスコープ１１内に設けられた撮像素子駆動回路１５からの駆動信号に基づき制御され、撮像素子駆動回路１５は、プロセッサ装置１２内に設けられたタイミングコントローラ１６からのクロック信号に基づいて駆動信号を生成する。撮像素子１４の撮像面には撮像レンズ１４Ａを介して被写体像が形成され、被写体像の画像信号が生成される。

撮像素子１４から出力される画像信号は、例えばスコープ１１内のアナログフロントエンド（ＡＦＥ）１７を介してデジタル信号に変換され、プロセッサ装置１２内の前段映像信号処理回路１８に送られる。前段映像信号処理回路１８では、ホワイトバランス処理を含む従来周知の所定の画像処理が映像信号に施され、画像メモリ１９に一時的に保持される。

画像メモリ１９に保持された映像信号は、所定のタイミングで後段映像信号処理回路２０へと出力される。後段映像信号処理回路２０において映像信号は所定規格の映像信号へと変換され、例えばモニタ１３へと出力される。なお、前段信号処理回路１８、画像メモリ１９、後段映像信号処理回路２０における一連の処理は、タイミングコントローラ１６からのクロック信号に基づいて行われる。

被写体の撮影に必要な照明光は、例えばプロセッサ装置１２内に設けられた光源２１から集光レンズ２５を介してスコープ１１内に配設されたライトガイド（光ファイバ）２２に入射され、ライトガイド２２を通してスコープ１１の挿入部先端まで伝送される。挿入部先端まで伝送された光は照明レンズ２３を介して被写体に向けて照射される。なお光源２１には、例えばハロゲンランプやメタルハライドランプ、キセノンランプなどが用いられる。

ライトガイド２２は、その一部の分岐ファイバ束２２Ａが例えばスコープ１１のプロセッサ装置１２との接続に用いられるコネクタ部１１Ａ内で分岐され分岐ファイバ束２２Ａを形成する。分岐ファイバ束２２Ａの先端は、コネクタ部１１Ａ内に配置され、その先にはホワイトバランスの基準とする白色板（白色体）２４が、分岐ファイバ束２２Ａからの光軸に対し例えば４５°傾けて配置される。すなわち、ライトガイド２２に入射された光の一部は分岐ファイバ束２２Ａにより、コネクタ部１１Ａ内において分岐ファイバ束２２Ａの光軸に対して傾けられた白色板２４に向けて照射される。

コネクタ部１１Ａ内には分光測定可能な受光センサ３２が設けられ、受光センサ３２は、分岐ファイバ束２２から照射される光が白色板２４で鏡面反射される方向に配置される。すなわち、分岐ファイバ束２２Ａから照射された光は、白色板２４で反射され受光センサ３２において受光される。なお本実施形態において、白色板２４には、通常のホワイトバランス調整に使用されるホワイトバランス治具と同じ分光反射率を有する素材（例えば同一の素材）が用いられる。

受光センサ３２は、コネクタを介してプロセッサ装置１２内の前段映像信号処理回路１８に電気的に接続され、受光センサ３２で検出された分光分布データは、プロセッサ装置１２内に設けられたメモリ３４に記録されたＲＧＢ信号算出のための撮像系の基礎データ（後述）とともに前段映像信号処理回路１８でのホワイトバランス処理に用いられる。

次に図２、図３のフローチャート（および図１）を参照して、本実施形態の色調調整処理について説明する。

図２は、本実施形態の色調調整処理全体のフローを示すもので、光源２１が点灯され、撮像が開始されると所定の時間間隔で繰り返し実行される。ステップＳ１００では、メモリ３４からＲＧＢ信号算出のための撮像系の基礎データが前段映像信号処理回路１８に読み出される。ステップＳ１０２では、分光測色計である受光センサ３２で分光測定が行われ、分光分布データが前段映像信号処理回路１８に入力される。

ステップＳ１０４では、前段映像信号処理回路１８において、受光センサ３２で得られた分光分布データと撮像系の基礎データに基づいて現在の照明光を白色板２４に照射し、これを撮像素子１４で撮影したときに得られるであろうＲＧＢ信号が推定される。すなわち、第１実施形態では、撮像系の基礎データとして撮像素子１４の分光感度特性と色変換マトリクスに関するデータがメモリ３４に記録されており、ＲＧＢ信号は、測定された分光分布と撮像素子１４の分光感度特性の積を波長λで積分して撮像素子１４で得られる色信号（ＲＧＢ信号やＣ／Ｍ／Ｙ／Ｇの補色信号）を推定し、これに撮像系で用いられる色変換マトリクスを乗ずることで求められる。

例えば、受光センサ３２で測定された分光分布をφ（λ）、撮像素子１４がＲＧＢフィルタを用いた原色ＣＣＤで、ＲＧＢの各色に対応する画素の分光感度分布をそれぞれｒ（λ）、ｇ（λ）、ｂ（λ）とするとき、撮像素子１４で得られる色信号Ｒ０、Ｇ０、Ｂ０は、
Ｒ０＝∫ｒ（λ）・φ（λ）ｄλ
Ｇ０＝∫ｇ（λ）・φ（λ）ｄλ
Ｂ０＝∫ｇ（λ）・φ（λ）ｄλ
として求められる。また、色変換マトリクスをＭ１とすると、ホワイトバランス調整処理に用いられるＲＧＢ信号Ｒ、Ｇ、Ｂは、（Ｒ，Ｇ，Ｂ）^Ｔ＝Ｍ１・（Ｒ０，Ｇ０，Ｂ０）^Ｔとして求められる。なお、ここで上付き添え字Ｔは転置を表す。また、（Ｒ０，Ｇ０，Ｂ０）を直接ホワイトバランス調整処理によって求める場合には、色変換マトリクスＭ１に関する構成を省略することができる。

なお、撮像素子１４が補色フィルタを用いるときには、Ｃ／Ｍ／Ｙ／Ｇの画素に対応する分光感度分布ｃ（λ）、ｍ（λ）、ｙ（λ）、ｇ（λ）に対し同様の計算が行われ、撮像素子１４で得られる色信号Ｃ０、Ｍ０、Ｙ０、Ｇ０が求められ、（Ｃ０，Ｍ０，Ｙ０，Ｇ０）^Ｔに対して３×４行列の色変換マトリクスが演算されてホワイトバランスの調整に用いられるＲＧＢ信号が求められる。

次にステップＳ１０６において、算出されたＲＧＢ信号に基づきホワイトバランス調整処理が実行され、その後処理はステップＳ１０２に戻り、同様の処理が繰り返される。

図３は、ホワイトバランス調整処理（ステップＳ１０６）における処理内容を示すフローチャートである。

ホワイトバランス調整処理では、まずステップＳ２００において算出されたＲＧＢ信号におけるＲ信号、Ｇ信号の比Ｒ／Ｇの値が１であるか否か（例えば、｜Ｒ／Ｇ−１｜＜所定値であるか否か）が判定される。Ｒ／Ｇの値が１でないと判断される場合には、Ｇ信号に対してＲ信号のレベルが高い、あるいは低いので、ステップＳ２０４において前段映像信号処理回路１８のＲ信号のゲインが、Ｒ／Ｇが１となるように変更され、ステップＳ２０４においてＢ信号、Ｇ信号の比Ｂ／Ｇの値が１であるか否か（例えば、｜Ｂ／Ｇ−１｜＞所定値であるか否か）が判定される。なお、ステップＳ２００においてＲ／Ｇの比が１であると判断される場合には、Ｇ信号に対するＲ信号のレベルは適正なので直ちにステップＳ２０４が実行される。

ステップＳ２０４においてＢ／Ｇの比が１でないと判断される場合には、Ｇ信号に対してＢ信号のレベルが高い、あるいは低いので、ステップＳ２０６において前段映像信号処理回路１８のＢ信号のゲインが、Ｂ／Ｇの値が１となるように変更され、本ホワイトバランス調整処理は終了し、図２のステップＳ１０２以下の処理が繰り返される。なお、ステップＳ２０４においてＢ／Ｇの比が１であると判断される場合には、Ｇ信号に対するＢ信号のレベルは適正なので直ちに本ホワイトバランス調整処理は終了し、図２のステップＳ１０２以下の処理が繰り返される。

以上のように、第１実施形態の色調調整装置によれば、治具を用いたホワイトバランス調整作業を行わなくとも、内視鏡観察中に光源の経時的な分光分布の変化に合わせたホワイトバランス調整を高精度に行うことができる。そのため照明光の分光分布が撮影中に経時的に変化しても、撮影された画像の色調を一定に維持できる。また、ライトガイドを通した照明光が検出されているので、ライトガイドの経時劣化による影響も補正することができる。

また本実施形態では、明るさに最も影響する緑色（Ｇ）を基準にＲ、Ｂ信号のゲインを調整しているので、ホワイトバランス調整処理における明るさへの影響を低減している。

次に図４のブロック図を参照して電子内視鏡装置に適用される本発明の第２実施形態の色調調整装置について説明する。

第１実施形態の色調調整装置では、ホワイトバランス調整にスコープに内蔵された白色板を用いた。しかし、第２実施形態の色調調整装置は、ホワイトバランス調整処理に白色板を用いず、白色板の分光反射率データを用いる。なお、その他の構成は第１実施形態と同様である。したがって、第１実施形態と同一の構成に関しては同一参照符号を用いその説明を省略する。

図４に示されるように、第２実施形態のスコープ１１のコネクタ部１１Ａには、白色板は設けられず、分岐ファイバ束２２Ａから照射される光は受光センサ３２で直接受光される。またメモリ３４には、第１実施形態における撮像系の基礎データに加え、ホワイトバランス調整に用いられる白色板の分光反射率Ｗ（λ）が記録されている。すなわち第２実施形態の図２のステップＳ１０４では、測定された分光分布φ（λ）と、撮像素子１４の分光感度特性と、分光反射率Ｗ（λ）の積を波長λで積分することで、撮像素子１４で得られる色信号を求め、これに撮像系で用いられる色変換マトリクスを乗ずることでホワイトバランス調整処理に用いられるＲＧＢ信号が求められる。

例えば、撮像素子１４がＲＧＢフィルタを用いた原色ＣＣＤのとき、撮像素子１４で得られる色信号Ｒ０、Ｇ０、Ｂ０は、
Ｒ０＝∫ｒ（λ）・φ（λ）・Ｗ（λ）ｄλ
Ｇ０＝∫ｇ（λ）・φ（λ）・Ｗ（λ）ｄλ
Ｂ０＝∫ｇ（λ）・φ（λ）・Ｗ（λ）ｄλ
として求められる。なおその後の処理は第１実施形態と同様に行われる。

以上のように、第２実施形態においても第１実施形態と同様の効果を得ることができる。また、第２実施形態では白色板を用いていないので、より小型に、白色板の経時変化の影響も考慮することなく、色調調整装置を構成することができる。

次に図５に、本発明の第３実施形態の色調調整装置が適用された電子内視鏡装置のブロック図を示す第３実施形態の色調調整装置は、第１実施形態の白色板に替えて積分球を用いる。すなわち、スコープ１１のコネクタ部１１Ａには積分球３０が配置され分岐ファイバ束２２Ａの先端が接続され、光源２１からの光がライトガイド２２を介して積分球３０内に照射される。積分球には、例えばホワイトバランス治具と略同等の材質、分光反射率を持つものが用いられ、積分球３０からの光は受光センサ３２において受光・検出される。

以上のように、第３実施形態においても第１、２実施形態と同様の効果を得ることができる。また、第３実施形態では白色板に替えて積分球を用いたことにより白色板を使用するときよりも、ムラの無い反射光を検出することができ、より高い精度でホワイトバランス調整を行うことができる。

なお、ライトガイドがプロセッサ装置内で分岐できる構成、あるいは分岐ファイバ束の先端をプロセッサ装置内に戻す構成を設け、受光センサや白色板、積分球をプロセッサ装置内に配置してもよい。

本実施形態の色調調整処理は、点灯開始から光源が安定するまでの所定時間に亘ってのみ実行する構成とすることもできる。また、この所定時間内のみ連続的に実行し、その後は光源やライトガイドの経時劣化による変動を補正するために５分〜１０分など、一定間隔をおいて調整する構成であってもよく、この場合、補正が行われる頻度（間隔）を調整可能としてもよい。

また、第１実施形態で用いられる白色板の分光反射率が通常使用されるホワイトバランス治具と異なる場合には、第２実施形態で用いられるＷ（λ）を補正関数に置き換えることでホワイトバランス治具を使用したときのホワイトバランス調整に合わせることができる。なお、本実施形態の分岐ファイバ束および受光センサをプロセッサ装置内に配置することも可能である。

本実施形態では、撮像系の基本データや白色板の分光反射率を保存したメモリがプロセッサ装置に設けられたが、メモリはスコープ側（例えばコネクタ部）に設けられてもよい。この場合、スコープに搭載された撮像素子に対応した分光感度分布がメモリに記録される。また、色変換マトリクスを用いた色変換やホワイトバランス調整の一部または全てをスコープ側で行ってもよい。

１０ 電子内視鏡装置
１１ スコープ
１２ プロセッサ装置
１３ モニタ
１４ 撮像素子
１８ 前段映像信号処理回路
２１ 光源
２２ ライトガイド
２２Ａ 分岐ファイバ束
２４ 白色板
３０ 積分球
３２ 受光センサ
３４ メモリ

Claims (9)

1. 照明光の分光分布を検出する測色手段と、
   撮像素子の分光感度分布と前記分光分布に基づき前記照明光が照射された基準白色体を前記撮像素子で撮影したときのＲＧＢ信号を推定するＲＧＢ信号推定手段と、
   前記ＲＧＢ信号に基づき前記撮像素子からの画像信号に対しホワイトバランス調整を行うホワイトバランス調整手段と
   を備えることを特徴とする色調調整装置。
2. 前記ＲＧＢ信号推定手段が更に撮像系で用いられる色変換マトリクスを用いて前記ＲＧＢ信号の推定を行うことを特徴とする請求項１に記載の色調調整装置。
3. 前記色調調整装置が更に前記基準白色体を備え、前記測色手段が前記白色板で反射された前記照明光の分光分布を検出することを特徴とする請求項２に記載の色調調整装置。
4. 前記ＲＧＢ信号推定手段が更に前記基準白色体の分光反射率を用いて前記ＲＧＢ信号の推定を行うことを特徴とする請求項２に記載の色調調整装置。
5. 前記照明光がライトガイドを介した光であることを特徴とする請求項２に記載の色調調整装置。
6. 前記ライトガイドの一部が分岐され、分岐されたファイバ束を介した光が前記測色手段で受光されることを特徴とする請求項５に記載の色調調整装置。
7. 前記ホワイトバランス調整手段が光源の点灯から前記光源が安定するまでの所定時間に亘ってのみ連続してホワイトバランス調整を行うことを特徴とする請求項２に記載の色調調整装置。
8. 請求項１に記載の色調調整装置を備えたことを特徴とする電子内視鏡装置。
9. 照明光の分光分布を検出し、
   撮像素子の分光感度分布と前記分光分布に基づき前記照明光が照射された基準白色体を前記撮像素子で撮影したときのＲＧＢ信号を推定し、
   前記ＲＧＢ信号に基づき前記撮像素子からの画像信号に対しホワイトバランス調整を行う
   ことを特徴とする色調調整方法。
   

Images