JP2021177604A - 画像処理方法、撮像装置及び画像処理装置 - Google Patents

Abstract

【課題】内視鏡システムによって表示される画像の画質の劣化を抑えた上で、網目模様を実質的に除去することが可能な画像処理方法を提供する。【解決手段】観察対象の表面で反射した後に入射した光を伝送する複数のコアを含むイメージガイドファイバを有する内視鏡と、前記内視鏡を接続可能であり、前記光を検知して電気信号に変換するイメージセンサ及び前記イメージセンサによって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部を有する撮像装置と、を備える内視鏡システムにおける画像処理方法であって、基準面を撮影して基準画像データを生成するステップと、前記基準画像データに施すと、前記基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出するステップと、観察対象を撮影して観察画像データを生成するステップと、前記観察画像データを構成する複数の画素データの各々に、前記輝度ムラ補正演算を施すステップとを含む画像処理方法。【選択図】図７

Description

本発明は画像処理方法、撮像装置及び画像処理装置に関する。

複数のコアを含むイメージガイドファイバを有する内視鏡が知られている。複数のコアの各々は、観察対象の表面で反射した後に入射した光を伝送する。複数のコアの隙間はクラッドで充填されている。入射した光はコアとクラッドの界面で全反射を繰り返しながら伝送され、コア内に閉じ込められる。一方、クラッドは光を殆ど伝送しないため、内視鏡に接続された表示装置に表示される観察対象の画像の領域において、クラッドに対応する領域の輝度が低くなる。これによって、観察者は、所謂網目模様を視認する。

特許文献１には、このような網目模様を除去する技術が開示されている。具体的には、表示される観察対象の画像において、コアに対応する領域及びその外側のクラッドに対応する領域の色を、当該コアに対応する領域の一点の色に置き換える。これによって、クラッドに対応する領域の色がコアに対応する領域の色に基づいて補完され、網目模様を除去又は低減することができるとされている。

特開平８−１９１４３９号公報

しかしながら、特許文献１に開示された方法では、コアに対応する領域及びその外側のクラッドに対応する領域の色を、当該コアに対応する領域の一点の色に置き換えることにより、当該コアに対応する領域に各点の異なる輝度と色度の情報が単一の輝度と色度に置き換えられるため、表示される画像の解像度が劣化する。

本発明の目的は、内視鏡システムによって表示される画像の解像度の劣化を抑えた上で、網目模様を実質的に除去することが可能な画像処理方法を提供することにある。

上記目的を達成するための主たる発明は、観察対象の表面で反射した後に入射した光を伝送する複数のコアを含むイメージガイドファイバを有する内視鏡と、前記内視鏡を接続可能であり、前記光を検知して電気信号に変換するイメージセンサ及び前記イメージセンサによって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部を有する撮像装置と、を備える内視鏡システムにおける画像処理方法であって、基準面を撮影して基準画像データを生成するステップと、前記基準画像データに施すと、前記基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出するステップと、観察対象を撮影して観察画像データを生成するステップと、前記観察画像データを構成する複数の画素データの各々に、前記輝度ムラ補正演算を施すステップとを含む画像処理方法である。本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

本発明によれば、内視鏡システムによって表示される画像の解像度の劣化を抑えた上で、網目模様を実質的に除去することが可能な画像処理方法を提供することができる。

実施形態の内視鏡システムの全体構成を説明する概略図である。 実施形態の内視鏡の構成を示す図である。 実施形態の内視鏡における挿入部の断面を示す図である。 実施形態の内視鏡における挿入部の断面を示す図である。 実施形態の撮像装置の機能ブロック図である。 実施形態のイメージセンサに到達する光の経路を説明する図である。 実施形態の画像処理方法のフローチャートである。 実施例の画像処理条件及び評価結果を示す表である。 実施例１の条件で基準画像に画像処理を施した場合の表示画像である。 実施例１の条件で観察画像に画像処理を施した場合の表示画像である。 実施例２の条件で基準画像に画像処理を施した場合の表示画像である。 実施例２の条件で観察画像に画像処理を施した場合の表示画像である。 比較例１の条件で基準画像に画像処理を施した場合の表示画像である。 比較例１の条件で観察画像に画像処理を施した場合の表示画像である。 比較例２の条件で基準画像に画像処理を施した場合の表示画像である。 比較例２の条件で観察画像に画像処理を施した場合の表示画像である。 実施例３の条件で基準画像に画像処理を施した場合の表示画像である。 実施例３の条件で観察画像に画像処理を施した場合の表示画像である。 比較例３の条件で基準画像に画像処理を施した場合の表示画像である。 比較例３の条件で観察画像に画像処理を施した場合の表示画像である。 比較例４の条件で基準画像に画像処理を施した場合の表示画像である。 比較例４の条件で観察画像に画像処理を施した場合の表示画像である。 比較例５の条件で基準画像に画像処理を施した場合の表示画像である。 比較例５の条件で観察画像に画像処理を施した場合の表示画像である。

＜実施形態＞
＝＝内視鏡システム＝＝
図１は、本実施形態の内視鏡システム１の構成を説明する図である。内視鏡システム１は、内視鏡２と、撮像装置３と、光源装置４と、表示装置５とを備えている。

［内視鏡］
図２は、本実施形態の内視鏡２の構成を説明する図である。内視鏡２は、たとえば、涙道のような生体内部（すなわち、観察対象）を観察することを目的とした医療機器である。本実施形態の内視鏡２は、挿入部２１と、把持部２２と、リード部２３とを有している。

挿入部２１は、観察対象に挿入される細長の部材である。挿入部２１は、図１及び図２示すように、その基端部が把持部２２に接続される。

図３は、挿入部２１の長さ方向と垂直な面であって、イメージガイドファイバ２１２が通る面における断面図である。図４は、挿入部２１の軸心を通る面の断面図である。挿入部２１は、対物レンズ２１１と、イメージガイドファイバ２１２と、ライトガイドファイバ２１３と、外装パイプ２１４とを有している。

対物レンズ２１１は、観察対象の表面で反射した光を集光するためのレンズである。対物レンズ２１１は、挿入部２１の先端部に設けられている。

イメージガイドファイバ２１２は、対物レンズ２１１を介して入射した光を、撮像装置３に伝送する。イメージガイドファイバ２１２は、複数のコア２１２ａ、クラッド２１２ｂ及びジャケット２１２ｃを含んでいる。複数のコア２１２ａの各々は、観察対象の表面で反射し、対物レンズ２１１を介して入射した光を伝送する。複数のコア２１２ａの各々の材質は、例えば、石英、ガラス、プラスチック等である。

クラッド２１２ｂは、複数のコア２１２ａの外側の隙間を充填する。クラッド２１２ｂの材質は、例えば石英、ガラス、プラスチック等であって、コア２１２ａに比べて屈折率が小さい材質である。ジャケット２１２ｃは、複数のコア２１２ａ及びクラッド２１２ｂを被覆する。

ライトガイドファイバ２１３は、観察対象を照明する。本実施形態では、挿入部２１は、５本のライトガイドファイバ２１３を有している。本実施形態のライトガイドファイバ２１３は、コア２１３ａ及びクラッド２１３ｂを含んでいる。コア２１３ａは、光源装置４からの光を伝送する。クラッド２１３ｂは、コア２１３aの外側を充填する。コア２１３ａ及びクラッド２１３ｂの材質は特に限定されない。たとえば、コア２１２ａ及びクラッド２１２ｂと同様の材質で形成される。

外装パイプ２１４は、管状の部材であって、その内部に、イメージガイドファイバ２１２及びライトガイドファイバ２１３が配置される。外装パイプ２１４は、ステンレス鋼等の金属で構成される。外装パイプ２１４の内部において、対物レンズ２１１、イメージガイドファイバ２１２及びライトガイドファイバ２１３の外側は充填剤２１４ａで充填されている。

把持部２２は、内視鏡２を使用する際に観察者が把持する部分である。把持部２２の一端には、挿入部２１の基端部が接続されている。把持部２２の他端には、リード部２３が接続されている。

リード部２３は、把持部２２に連結されている。リード部２３は、分岐部２３ａを介して２つに分岐している。分岐した一方の末端にはイメージガイドプラグ２３ｂが設けられ、他方の末端にはライトガイドプラグ２３ｃが設けられている。

イメージガイドプラグ２３ｂには、挿入部２１から把持部２２及び分岐部２３ａを通って延出するイメージガイドファイバ２１２の端部が接続されている。ライトガイドプラグ２３ｃには、挿入部２１から把持部２２及び分岐部２３ａを通って延出するライトガイドファイバ２１３の端部が接続されている。

［撮像装置］
図５は、本実施形態の撮像装置３の機能ブロック図である。図６は、本実施形態のイメージセンサ３１に到達する光の経路を説明する図である。撮像装置３は、内視鏡２からの光を検知して観察対象の画像データを生成し、当該画像データに画像処理を施す。そして、画像処理が施された画像データに対応する出力信号を表示装置５に出力する。撮像装置３には、内視鏡端子３ａが設けられている（図１参照）。内視鏡端子３ａに内視鏡２のイメージガイドプラグ２３ｂを接続することにより、撮像装置３に対して内視鏡２が接続される。撮像装置３は、接眼レンズ３０と、イメージセンサ３１と、画像生成部３２と、画像処理部３３と、出力信号生成部３４とを有している。

（接眼レンズ）
接眼レンズ３０は、図６に示すように、イメージガイドファイバ２１２に伝送された光を集光し、観察対象の拡大された像をイメージセンサ３１上に結像させる。

（イメージセンサ）
イメージセンサ３１は、接眼レンズ３０を介して光を検知し、当該光の強度に応じた電気信号に変換する。イメージセンサ３１としては、例えば、ＣＭＯＳ、ＣＣＤ等を用いることができる。

イメージセンサ３１には、複数の画素が設けられている。複数の画素は、行列状に配列されている。本実施形態では、複数の画素の各々には、赤、緑又は青の光を検知する受光素子が、それぞれ１つずつ配置されている。受光素子としては、例えばフォトダイオード等を用いることができる。

（画像生成部）
画像生成部３２は、イメージセンサ３１によって変換された電気信号に基づいて、画像データを生成する。画像データは、画像を表現するためのデータである。画像データは、複数の画素データから構成される。複数の画素データの各々は、画素情報と、色情報とを有している。

画素情報は、複数の画素データの各々に対応する画素を特定する情報である。画素情報は、例えば一の整数ｉ（ｉ＝１〜Ｎｐ）で表現さてもよい。Ｎｐは、イメージセンサ３１に設けられた画素の数に対応する値である。または、画素情報は、画素が配置された行及び列を示す二の整数ｍ及びｎ（ｍ＝１〜Ｎｒ、ｎ＝１〜Ｎｃ）で表現されてもよい。Ｎｒ及びＮｃはそれぞれ、イメージセンサ３１に行列状に配置された複数の画素の行及び列の数に対応する値である。

色情報は、画素情報によって特定される画素に配置された受光素子が検知した光の色を表現する情報である。色情報は、ＲＧＢ空間を用いた表現（以下、ＲＧＢ表現）を用いる。具体的に、ＲＧＢ表現による色情報は、Ｒ、Ｇ及びＢそれぞれの輝度値で示される。Ｒ、Ｇ及びＢの輝度値はそれぞれ、例えば、０〜１の範囲で、２５６階調で表される。

本実施形態では、複数の画素データの各々は、ＲＧＢ表現による色情報（Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ））を有している。ｉは、対応する画素情報である。Ｒ（ｉ）、Ｇ（ｉ）及びＢ（ｉ）はそれぞれ、画素情報ｉで特定される画素に配置された、赤、緑及び青の光を検知する受光素子が出力した電気信号に基づいて定められる。

後述する本実施形態の画像処理方法において、画像生成部３２が生成する画像データは、基準画像データ及び観察画像データである。基準画像データは、内視鏡システム１に対してキャリブレーションを施すための画像データである。基準画像データは、予め用意された基準面を撮影して生成された画像データである。基準面は、単色且つ無彩色である色が施された平板等の表面である。

観察画像データは、観察対象を撮影して生成された画像データである。観察画像データは、所定の時間間隔で、複数生成される。複数の観察画像データの各々は、表示装置５に観察対象の動画を表示するためのフレームのもとになる画像データである。

以下、単に「画像データ」と呼称する場合、基準画像データ及び観察画像データのいずれも当てはまる。

（画像処理部）
画像処理部３３は、画像生成部３２によって生成された画像データに対し、輝度ムラ補正、色ムラ補正、及び平滑化を施す。

輝度ムラ補正は、輝度ムラを除去又は低減させるために画像データに施す処理である。輝度ムラとは、表示装置５に表示された画像（以下、表示画像）の各所における明るさのばらつきをいう。以下、輝度ムラが生じる原因について説明する。

コア２１２ａに入射した光は、コア２１２ａとクラッド２１２ｂとの界面で全反射を繰り返しながら伝搬する。しかし、イメージガイドファイバ２１２の製造工程において生じるばらつきや、長期間の使用に伴う変形や劣化等により、コア２１２ａを伝搬する光が、コア２１２ａとクラッド２１２ｂとの界面で全反射せず、その一部がクラッド２１２ｂ側へ入射する場合がある。このような場合、基準面や観察対象が単色であっても、その表面で反射し、コア２１２ａに入射して伝搬し、イメージセンサ３１へ到達する光の量は、コア２１２ａ毎にばらつきがある。

このため、画像データに対して、輝度ムラ補正を施さないと、表示画像に輝度ムラが生じる場合がある。輝度ムラ補正の具体的な処理の手順については後述する。

尚、本実施形態の輝度ムラ補正によって、所謂網目模様を実質的に除去することができる。網目模様とは、クラッド２１２ｂに起因して、表示画像に生じる網目状の模様をいう。以下、網目模様が生じる原因について説明する。

クラッド２１２ｂ側へ入射した光の一部は、クラッド２１２ｂを伝搬してイメージセンサ３１へ到達する。クラッド２１２ｂを伝搬してイメージセンサ３１へ到達する光の量は、複数のコア２１２ａを伝搬してイメージセンサ３１へ到達する光の量に比べて微小である。このため、表示装置５に表示される観察対象の画像において、クラッド２１２ｂに対応する領域の輝度が他の領域の輝度に比べて低くなる。これにより、クラッド２１２ｂに対応する領域が、網目模様として視認される。

また、色ムラ補正は、色ムラを除去又は低減させるために、画像データに施す処理である。色ムラとは、表示画像の各所における色彩のばらつきをいう。以下、色ムラが生じる原因について説明する。

前述のように、コア２１２ａを伝搬する光が、コア２１２ａとクラッド２１２ｂとの界面で全反射せず、その一部がクラッド２１２ｂ側へ入射する場合がある。このとき、一部の波長領域の光のみがクラッド２１２ｂ側へ入射する場合がある。このような場合、観察対象の表面が無彩色であっても、当該観察対象の表面で反射し、コア２１２ａに入射して伝搬し、イメージセンサ３１へ到達する光は、有彩色となる場合がある。

このため、画像データに対して、色ムラ補正を施さないと、表示装置５に表示される観察対象の画像に色ムラが生じる場合がある。色ムラ補正の具体的な処理の手順については後述する。

平滑化は、表示装置５に表示される観察対象の画像からノイズを除去したり、当該画像をぼかしたりするための処理である。平滑化は、例えば、行列状に配列された複数の画素の各々に対応する画素データの色情報を、その画素を中心とした複数の画素（例えば、９個又は２５個）の画素データの色情報の平均値に置き換えることによって実現できる。平滑化は、所定の平滑化フィルタを用いて実行する。所定の平滑化フィルタは、コア２１２ａの径、コア２１２ａの密度、接眼レンズ３０の像倍率及びイメージセンサ３１の画素の密度に基づいて決定される。

コア２１２ａの密度とは、ジャケット２１２ｃの内部におけるコア２１２ａの数密度であり、具体的には、コア２１２ａの本数を、ジャケット２１２ｃの内部の断面積で除した数である。画素の密度とは、例えば１インチあたりに配置される画素の数（ｐｐi）で定義される密度である。

平滑化において、平均値を取るための画素の数が大きいほど、網目模様の低減具合は大きくなるが、表示画像の解像度の劣化具合が大きくなる。

特に、平滑化において、平均値を取るための画素の数を増加させることにより、網目模様を実質的に除去することができるが、表示画像の解像度が著しく劣化する。

一方、表示画像の解像度の劣化が肉眼で視認することができない条件での平滑化（弱い平滑化）を実行した場合、肉眼で容易に視認できる程度の網目模様が残る。しかし、弱い平滑化とともに、輝度ムラ補正を実行した場合、表示画像の解像度の劣化を抑えた上で、網目模様を除去することができる。平滑化の具体的な処理の手順については後述する。

尚、本明細書において、画像生成部３２によって生成された直後の画像データに対して画像処理を施した後の画像データについて、「画像処理が施された画像データ」等と呼称する。ここでの「画像処理」は、輝度ムラ補正、色ムラ補正又は平滑化のいずれか一以上の画像処理を含む。

画像処理部３３が輝度ムラ補正及び色ムラ補正を実行する手順について説明する前に、ＹＵＶ表現について説明する。なお、輝度ムラ補正と色ムラ補正を実行する手順について、以下の説明ではＹＵＶ色空間を用いた方法で説明を行うが、用いられる色空間についてはこれに限定されるものではない。輝度の指標と彩度の指標を数値的に表現可能な色空間であればどのような色空間を用いても良く、たとえば、ＲＧＢ空間、ＣＩＥ−ＸＹＺ表色系、ＣＩＥ−Ｌ＊ａ＊ｂ色空間、ＨＳＩ空間６角錐モデル(ＨＳＶ)、ＨＳＩ空間双６角錐モデル（ＨＳＬ）などを用いても良い。また、各々の色空間での色情報の線形もしくは非線形変換を行った色空間を用いても良い。画像処理部３３は、輝度ムラ補正及び色ムラ補正を実行する際に、ＹＵＶ表現を用いて処理を実行する。具体的に、画像処理部３３は、先ず、ＲＧＢ表現による画像データの色情報を、ＹＵＶ表現による色情報に変換する。

ＹＵＶ表現による色情報は、Ｙ、Ｕ及びＶで示される。Ｙ、Ｕ及びＶは、ＲＧＢ表現による色情報に、所定の線形変換を施すことによって得られる。所定の線形変換の定義は幾つか提案されている。以下の説明では、ＩＴＵ−Ｒ ＢＴ.７０９の定義を用いて説明を行うが、これに限定されるものではなく、ＩＴＵ−Ｒ ＢＴ．６０１やＰＡＬ規格、などを用いても良い。ＩＴＵ−Ｒ ＢＴ.７０９の定義によるＹＵＶ表現による色情報は、ＲＧＢ表現による色情報に対して以下の線形変換を施すことにより得られる。

Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ
Ｕ＝０．５３８９（Ｂ−Ｙ）＝−０．１１４６Ｒ−０．３８５４Ｇ＋０．５０００Ｂ
Ｖ＝０．６３５０（Ｒ−Ｙ）＝０．５０００Ｒ−０．４５４２Ｇ−０．０４５８Ｂ

また、ＲＧＢ表現による色情報は、ＩＴＵ−Ｒ ＢＴ.７０９の定義によれば、ＹＵＶ表現による色情報に対して以下の線形変換を施すことにより得られる。
Ｒ＝Ｙ＋１．５７５Ｖ
Ｇ＝Ｙ−０．１８７Ｕ−０．４６８Ｖ
Ｂ＝Ｙ＋１．８５６Ｕ

Ｙは、色情報が表現する色の輝度を示す値である。Ｕ及びＶが０である場合のＹＵＶ表現での色情報（Ｙ，Ｕ，Ｖ）＝（Ｙ，０，０）は、輝度がＹである無彩色に対応する。また、Ｙが０である場合のＹＵＶ表現での色情報（Ｙ，Ｕ，Ｖ）＝（０，Ｕ，Ｖ）は、ＲＧＢ表現では（Ｒ，Ｇ，Ｂ）＝（０，０，０）となることから、黒に対応する。

Ｕは、それが０である場合の色情報（Ｙ，０，Ｖ）と比べた場合の、相対的なＢの輝度を示す値である。Ｖは、それが０である場合の色情報（Ｙ，Ｕ，０）と比べた場合の、相対的なＲの輝度を示す値である。

本明細書において、ＹＵＶ表現による色情報（Ｙ，Ｕ，Ｖ）のＹを「輝度成分」と呼称し、Ｕ及びＶを「色差成分」と呼称することがある。

輝度ムラ補正及び色ムラ補正の処理において、基準画像データを構成する複数の画素データの各々の色情報（Ｙｃ（ｉ），Ｕｃ（ｉ），Ｖｃ（ｉ））を用いる。ここで、ｉは画素を特定するための番号であり、前述のように、ｉは１〜Ｎｐの整数である（以下、同様）。

単色である基準面で反射する光の色情報は、当該基準面に亘って均一である。しかし、当該基準面で反射し、複数のコア２１２ａを伝搬してイメージセンサ３１に到達した光の輝度は、前述の理由により、均一になるとは限らない。

従って、基準面が単色であっても、イメージセンサ３１に到達した光の輝度成分Ｙｃ（ｉ）は、全てのｉ（ｉ＝１〜Ｎｐ）について一定であるとは限らない。

また、無彩色である基準面で反射する光の色情報は、色差成分が０となる。しかし、前述のように、基準面で反射し、複数のコア２１２ａを伝搬してイメージセンサ３１に到達した光は、有彩色になる場合がある。

従って、基準面が無彩色であっても、イメージセンサ３１に到達した光の色差成分Ｕｃ（ｉ）及びＶｃ（ｉ）は、０であるとは限らない。

以下、画像処理部３３が実行する輝度ムラ補正の具体的な処理の手順について説明する。輝度ムラ補正は、画像処理部３３が、輝度ムラ補正演算を導出し、画像データに対し、当該輝度ムラ補正演算を施すことによって実現される。

輝度ムラ補正演算は、それを基準画像データに対して施した場合に、当該基準画像データを構成する複数の画素データの各々の色情報の輝度成分を均一にする演算である。

以下、画像処理部３３が、輝度ムラ補正演算を導出する処理について説明し、次いで、輝度ムラ補正演算を画像データに施す処理について説明する。

輝度ムラ補正演算は、輝度ムラ補正値を用いた演算である。輝度ムラ補正演算を導出するために、先ず、輝度ムラ補正値を取得する。

輝度ムラ補正値は、予め設定された輝度値であるＹ０、及び基準画像データを構成する複数の画素データの各々の色情報（Ｙｃ（ｉ），Ｕｃ（ｉ），Ｖｃ（ｉ））の輝度成分Ｙｃ（ｉ）である。

輝度ムラ補正演算は、具体的には、任意の画像データを構成する複数の画素データの各々の色情報（Ｙ（ｉ），Ｕ（ｉ），Ｖ（ｉ））の輝度成分に、Ｙ０／Ｙｃ（ｉ）を乗じることにより、色情報（Ｙ（ｉ）Ｙ０／Ｙｃ（ｉ），Ｕ（ｉ），Ｖ（ｉ））に変換する演算である。

輝度ムラ補正演算を、基準画像データを構成する複数の画素データの各々に施すと、その色情報（Ｙｃ（ｉ），Ｕｃ（ｉ），Ｖｃ（ｉ））が、（Ｙ０，Ｕｃ（ｉ），Ｖｃ（ｉ））に変換される。つまり、前述のように、輝度ムラ補正演算によって、基準画像データを構成する複数の画素データの全ての色情報の輝度成分は均一になる。

次いで、画像処理部３３が実行する色ムラ補正の具体的な処理の手順について説明する。色ムラ補正は、画像処理部３３が、色ムラ補正演算を導出し、画像データに対し、当該色ムラ補正演算を施すことによって実現される。

色ムラ補正演算は、それを基準画像データに対して施した場合に、基準画像データを構成する複数の画素データの各々の色情報の色差成分を除去する演算である。

以下、画像処理部３３が、色ムラ補正値演算を導出する処理について説明し、次いで、色ムラ補正演算を画像データに施す処理について説明する。

色ムラ補正演算は、色ムラ補正値を用いた演算である。色ムラ補正演算を導出するために、先ず、色ムラ補正値を取得する。

色ムラ補正値は、基準画像データを構成する複数の画素データの各々の色情報（Ｙｃ（ｉ），Ｕｃ（ｉ），Ｖｃ（ｉ））の色差成分Ｕｃ（ｉ）及びＶｃ（ｉ）である。

色ムラ補正演算は、具体的には、画像データを構成する複数の画素データの各々の色情報（Ｙ（ｉ），Ｕ（ｉ），Ｖ（ｉ））のＵ（ｉ）を、色差補正値Ｕｃ（ｉ）だけ減じ、Ｖ（ｉ）を、色差補正値Ｖｃ（ｉ）だけ減じる演算である。

色ムラ補正演算を、基準画像データを構成する複数の画素データの各々に施すと、その色情報（Ｙｃ（ｉ），Ｕｃ（ｉ），Ｖｃ（ｉ））を、（Ｙｃ（ｉ），０，０）と変換する。つまり、前述のように、色ムラ補正演算によって、基準画像データを構成する複数の画素データの全ての色情報の色差成分は除去される。

以上、輝度ムラ補正、色ムラ補正及び平滑化について説明したが、画像処理部３３は、輝度補正、コントラスト補正、ホワイトバランス補正、ガンマ補正のような画像処理を施すこともできる。これらの処理については公知の手法を用いることが可能である。

（出力信号生成部）
出力信号生成部３４は、画像処理部３３によって処理された画像データに基づく出力信号を生成し、当該出力信号を表示装置５に出力する。

［光源装置］
光源装置４は、観察対象を照明するための光をライトガイドファイバ２１３に供給する。光源装置４には、ソケット４ａが設けられている（図１参照）。ソケット４ａに内視鏡２のライトガイドプラグ２３ｃを接続することにより、光源装置４に対して内視鏡２が接続される。これによって、光源装置４は、観察対象を照明するための光をライトガイドファイバ２１３に供給することができる。光源装置４は、光を発生させるＬＥＤもしくはハロゲンランプ等の光源を有する。

［表示装置］
表示装置５は、出力信号生成部３４が出力した出力信号に基づいて、観察対象の画像を表示する。

＜画像処理方法＞
本実施形態の撮像装置３が実行する画像処理方法について、詳細に説明する。図７は、本実施形態の画像処理方法を説明するフローチャートである。

本実施形態の画像処理方法は、基準画像データを生成するステップＳ１と、輝度ムラ補正演算を導出するステップＳ２と、色ムラ補正演算を導出するステップＳ３と、観察画像データを生成するステップＳ４と、輝度ムラ補正演算を施すステップＳ５と、色ムラ補正演算を施すステップＳ６と、平滑化するステップＳ７と、表示画面に表示するステップＳ８とを含む。以下、それぞれについて詳述する。

１．基準画像データを生成するステップＳ１
ステップＳ１において、画像生成部３２は、基準画像データを生成する。

具体的に、内視鏡２が接続された状態で観察者が光源装置４のスイッチをオンに切り替えた場合、光源装置４は光を発生させ、ライトガイドファイバ２１３に供給する。ライトガイドファイバ２１３は、供給された光を伝播し、内視鏡２の先端部から出射するので、観察者は、内視鏡２を基準面に向ける。これによって、光源装置４は、ライトガイドファイバ２１３を介して基準面を照明する。この状態で、観察者は、撮像装置３のキャリブレーションボタン（図示せず）を押す。これに応じて、画像生成部３２は、基準画像データを生成する。つまり、画像生成部３２は、基準画像データを構成する複数の画素データの各々の画素情報及び色情報（Ｒｃ（ｉ），Ｇｃ（ｉ），Ｂｃ（ｉ））を生成する。

２．輝度ムラ補正演算を導出するステップＳ２
ステップＳ２において、画像処理部３３は、輝度ムラ補正演算を導出する。

具体的に、先ず、ステップＳ１で画像生成部３２によって生成された基準画像データを構成する複数の画素データの各々の色情報（Ｒｃ（ｉ），Ｇｃ（ｉ），Ｂｃ（ｉ））を、ＹＵＶ空間で表現される色情報（Ｙｃ（ｉ），Ｕｃ（ｉ），Ｖｃ（ｉ））に変換する。

そして、画像処理部３３は、輝度ムラ補正値として、予め設定された輝度値Ｙ０、及び色情報の輝度成分Ｙｃ（ｉ）を取得する。

３．色ムラ補正演算を導出するステップＳ３
ステップＳ３において、画像処理部３３は、色ムラ補正演算を導出する。

先ず、画像処理部３３は、色ムラ補正値として、基準画像データを構成する複数の画素データの各々の色情報（Ｙｃ（ｉ），Ｕｃ（ｉ），Ｖｃ（ｉ））の色差成分Ｕｃ（ｉ）及びＶｃ（ｉ）を取得する。

４．観察画像データを生成するステップＳ４
ステップＳ４において、画像生成部３２は、観察画像データを生成する。

具体的に、ステップＳ４では、観察者は、光源装置４のスイッチをオンに維持する。そうすると、光源装置４からの光が、内視鏡２のライトガイドファイバ２１３を伝搬し、内視鏡２の先端部から出射する状態が維持されるので、観察者は、内視鏡２を観察対象に向ける。これによって、光源装置４は、ライトガイドファイバ２１３を介して観察対象を照明する。この状態で、観察者が、撮像装置３の撮影ボタン（図示せず）を押すことによって、撮像装置３は、観察を開始する。これに応じて、画像生成部３２は、観察対象の画像データを生成する。つまり、観察画像データを構成する複数の画素データの各々の画素情報及び色情報（Ｙ´（ｉ），Ｕ´（ｉ），Ｖ´（ｉ））が得られる。

５．輝度ムラ補正演算を施すステップＳ５
ステップＳ５において、画像処理部３３は、観察対象の画像データを構成する複数の画素データの各々に、輝度ムラ補正演算を施す。

具体的に、画像処理部３３は、画素データの各々の色情報（Ｙ´（ｉ），Ｕ´（ｉ），Ｖ´（ｉ））に対し、ステップＳ２で導出した輝度ムラ補正演算を施し、（Ｙ´（ｉ）Ｙ０／Ｙｃ（ｉ），Ｕ´（ｉ），Ｖ´（ｉ））に変換する。

６．色ムラ補正演算を施すステップＳ６
ステップＳ６において、画像処理部３３は、観察対象の画像データを構成する複数の画素データの各々に、色ムラ補正演算を施す。

具体的に、観察対象の画像データを構成する複数の画素データの各々の色情報（Ｙ´（ｉ），Ｕ´（ｉ），Ｖ´（ｉ））に、ステップＳ３で導出した色ムラ補正演算を施し、以下のように変換する。
（Ｙ´（ｉ），Ｕ´（ｉ），Ｖ´（ｉ））→（Ｙ´（ｉ），Ｕ´（ｉ）−Ｕｃ（ｉ），Ｖ´（ｉ）−Ｖｃ（ｉ））

７．平滑化するステップＳ７
ステップＳ７において、画像処理部３３は、観察対象の画像データを構成する複数の画素データの各々を平滑化する。

８．表示装置に表示するステップＳ８
ステップＳ８において、出力信号生成部３４は、ステップＳ５〜Ｓ７までの画像処理が施された観察画像データに基づく出力信号を生成し、当該出力信号を表示装置５に出力する。ステップＳ５〜Ｓ７までの画像処理が施された観察画像データを、観察対象の一フレームの画像データとする。表示装置５は、当該出力信号に基づいて、観察対象の一フレームの画像を表示する。

以上のステップにより、一フレームの画像データについて、本実施形態の画像処理方法が実行される。観察対象の観察を終了せずに継続する場合（ステップＳ９：Ｎｏ）は、ステップＳ４に戻り、後続するフレームの画像データについて同様の処理を行う。つまり、後続するフレームの画像データに対しても、ステップＳ２で導出した色ムラ補正演算及びステップＳ３で導出した色ムラ補正演算を用いた画像処理を施す。

尚、本実施形態の内視鏡システム１による画像処理方法の各ステップは、上記の順番に限定されるものではない。例えば、輝度ムラ補正演算を施すステップＳ５、色ムラ補正演算を施すステップＳ６、及び平滑化するステップＳ７を実行する順番は任意である。

また、色ムラ補正演算を施すステップＳ６及び平滑化するステップＳ７は任意のステップである。

以上から明らかなように、本実施形態の画像処理方法は、観察対象の表面で反射した後に入射した光を伝送する複数のコア２１２ａを含むイメージガイドファイバ２１２を有する内視鏡２と、内視鏡２を接続可能であり、接眼レンズ３０を介して光を検知して電気信号に変換するイメージセンサ３１及びイメージセンサ３１によって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部３２を有する撮像装置３と、を備える内視鏡システム１における画像処理方法であって、基準面を撮影して基準画像データを生成するステップと、基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出するステップと、観察対象を撮影して観察画像データを生成するステップと、観察画像データを構成する複数の画素データの各々に、輝度ムラ補正演算を施すステップとを含む。

このような画像処理方法によれば、複数の画素データの内、クラッド２１２ｂに対応する領域の複数の画素データの各々に対しても輝度ムラ補正が施される。クラッド２１２ｂに対応する領域の複数の画素データの補正前の輝度は、コア２１２ａに対応する領域の複数の画素データの補正前の輝度に比べて低い。しかし、輝度ムラ補正によって、クラッド２１２ｂに対応する領域の複数の画素データの補正後の輝度は、コア２１２ａに対応する領域の複数の画素データの補正後の輝度と同程度になる。その結果、表示装置５に表示される表示画像の網目模様が実質的に除去される。また、複数の画素データの各々に輝度ムラ補正演算を施しているため、表示画像の解像度の劣化を抑えることができる。

つまり、このような画像処理方法によれば、内視鏡システム１によって表示される画像の解像度の劣化を抑えた上で、網目模様を実質的に除去することができる。なお、網目模様を実質的に除去するとは、網目模様を肉眼で視認することが困難な程度に低減することをいう。

また、上記画像処理方法において、基準面は、無彩色であり、画像処理方法は、基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出するステップと、観察画像データを構成する複数の画素データの各々に、色ムラ補正演算を施すステップと、を含む。

このような画像処理方法によれば、更に、内視鏡システム１によって表示される画像の色ムラを除去することができる。

また、上記画像処理方法において、観察画像データを構成する複数の画素データの各々を、コア２１２ａの径、コア２１２ａの密度、接眼レンズ３０の像倍率及びイメージセンサ３１の画素密度に基づいて決定された平滑化フィルタを用いて平滑化するステップを含む。

このような画像処理方法によれば、更に、内視鏡システム１によって表示される画像の網目模様を除去することができる。

本実施形態の撮像装置３は、各々が光を検知して電気信号に変換するイメージセンサ３１と、イメージセンサ３１によって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部３２と、基準面を撮影して得られた基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出し、観察対象を撮影して得られた観察対象の画像データを構成する複数の画素データの各々に輝度ムラ補正演算を施す画像処理部３３と、を備える。

このような撮像装置３によれば、表示装置５に表示される画像の画質の劣化を抑えた上で、輝度ムラを除去し、網目模様を実質的に除去することができる。

また、上記撮像装置３において、画像処理部３３は、基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出し、観察対象の画像データを構成する複数の画素データの各々に色ムラ補正演算を更に施す。

このような撮像装置３によれば、更に、表示装置５に表示される画像の色ムラを除去することができる。

また、上記撮像装置３において、画像処理部３３は、観察対象の画像データを構成する複数の画素データの各々を平滑化する。

このような撮像装置３によれば、更に、表示装置５に表示される画像の網目模様を除去することができる。

＜変形例＞
本実施形態では、撮像装置３が画像処理部３３を備える態様を示したが、これに限られない。変形例として、撮像装置３とは別の構成として、撮像装置３に接続可能な画像処理装置を備え、当該画像処理装置が本実施形態の画像処理部３３と同様の機能を有する画像処理部を備える態様としてもよい。

変形例の画像処理装置は、基準面を撮影して得られた基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出し、観察対象を撮影して得られた観察画像データを構成する複数の画素データの各々に輝度ムラ補正演算を施す。

このような画像処理装置によれば、表示装置５に表示される画像の画質の劣化を抑えた上で、輝度ムラを除去し、網目模様を実質的に除去することができる。

また、上記画像処理装置において、基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出し、観察対象の画像データを構成する複数の画素データの各々に色ムラ補正演算を更に施す。

このような画像処理装置によれば、更に、表示装置５に表示される画像の色ムラを除去することができる。

また、上記画像処理装置において、観察対象の画像データを構成する複数の画素データの各々を平滑化する。

このような画像処理装置によれば、更に、表示装置５に表示される画像の網目模様を除去することができる。

観察対象を撮影して、表示装置５に表示された当該観察対象の画像（以下、表示画像）について評価を行った。具体的には、いずれの画像処理も施さない場合の表示画像と比較し、各画像処理条件による表示画像の、輝度ムラの低減具合、色ムラの低減具合、網目模様の低減具合及び解像度の劣化具合について評価を行った。

これらの評価は、観察者の目視により行った。図８は、実施例１〜３及び比較例１〜５の画像処理条件及び得られた表示画像についての評価結果をまとめた表である。以下、詳細に説明する。

［共通条件］
実施例１〜３及び比較例１〜５に共通する条件について説明する。基準画像を得るための基準面としては、白色の板の表面を用いた。観察対象としては、人間の手のひらを用いた。手のひらを開いた状態で、その手のひらの中央部に内視鏡の挿入部を正対させた状態で、手のひらを観察した。

本実施例では、内視鏡としては、ファイバーテック社製涙道ファイバースコープを用いた。撮像装置としては、ファイバーテック社製３ＣＭＯＳ ＨＤカメラ ＦＣ−３０４を用い、画像処理部を制御するプログラムを、上記実施形態と同様の制御を実行させるよう調整した。光源装置としてはファイバーテック社製 光源装置 ＦＬ−３０１を用いた。表示装置としては、池上通信機社製ＭＬＷ−２４２５Ｃを用いた。

内視鏡において、イメージガイドファイバの径は、０．３５ｍｍである。イメージガイドファイバが有するコアは１００００本である。コアの各々の径は３．５±０．５μｍである。コアの密度は、１０００００本／ｍｍ²である。

撮像装置において、イメージセンサには、３ｍｍ×５．４ｍｍの領域に複数の画素が配列されている。複数の画素は、１０８０行１９２０列の行列状に、計２０７３６００個配列されている。画素密度は、９００〜９２０ｐｐｉである。また、イメージガイドファイバとイメージセンサの間には接眼レンズがあり、イメージガイドファイバに伝送された光による像を拡大してイメージセンサに結像しており、その接眼レンズの像倍率は５．５±１倍とした。

［個別条件］
図８に、各実施例及び各比較例における、輝度ムラ補正及び色ムラ補正の有無を示した。具体的に、処理を実行した場合を「有」で示し、処理を実行しなかった場合を「無」で示している。平滑化については、処理を実行しなかった場合を「無」で示し、実行した場合を「強」または「弱」で示している。「弱」及び「強」はそれぞれ、複数の画素の各々に対応する画素データの色情報を、その画素を中心とした２５個及び４９個の画素の画素データの色情報の平均値に置き換える平滑化に対応する。「弱」及び「強」をそれぞれ、「弱い平滑化」及び「強い平滑化」と呼称する。

［評価方法］
網目模様の低減具合、輝度ムラの低減具合、色ムラの低減具合及び解像度の劣化具合について、二重丸、一重丸、三角又はバツの４段階で評価した。

ここで、網目模様の低減具合、輝度ムラの低減具合及び色ムラの低減具合については、以下の基準で評価を行った。バツは、顕著に視認できると評価された結果を示す。三角は、バツに比べて低減されているが、肉眼で容易に視認できると評価された結果を示す。一重丸は、実質的に除去されたと評価された結果を示す。実質的に除去されたとは、除去されたわけではないが、肉眼で視認することが困難な程度に低減されたと評価された結果を示す。二重丸は、除去されたと評価された結果を示す。除去されたとは、肉眼で視認することができない程度に低減されたと評価された結果を示す。

また、解像度の劣化具合については、平滑化が施されていない条件の一つであり、解像度が良好であると評価された比較例１を二重丸とし、これを基準に評価を行った。二重丸は、比較例１に比べて劣化していないと評価された結果を示す。ここで、劣化していないとは、肉眼で劣化を視認することができないことを示す。一重丸は、比較例１に比べて実質的に劣化していないと評価された結果を示す。ここで、実質的に劣化していないとは、劣化はしたが、肉眼で劣化を視認することは困難であることを示す。三角は、肉眼で容易に視認できる程度に劣化したと評価された結果を示す。バツは、著しく劣化したと評価された結果を示す。

［評価結果］
図８には、網目模様、輝度ムラ及び色ムラの低減具合並びに解像度の劣化具合についての評価結果が示されている。図９Ａ〜１６Ｂには、実施例１〜３及び比較例１〜５の条件で得られた、基準面及び観察対象の、表示画像を示している。

（輝度ムラ補正の効果）
実施例１と比較例１との評価結果を比較して、輝度ムラ補正の効果について考察する。図９Ａは、実施例１の条件で基準画像に画像処理を施した場合の表示画像である。図９Ｂは、実施例１の条件で観察画像に画像処理を施した場合の表示画像である。図１１Ａは、比較例１の条件で基準画像に画像処理を施した、つまりいずれの画像処理も施していない場合の表示画像である。図１１Ｂは、比較例１の条件で観察画像に画像処理を施した、つまりいずれの画像処理も施していない場合の表示画像である。

実施例１及び比較例１の表示画像を比較すると、基準画像及び観察画像について、輝度ムラ補正を画像データに施すことによって、輝度ムラの除去のみならず、網目模様が実質的に除去されていることがわかる。

（色ムラ補正の効果）
実施例２と実施例１との評価結果を比較して、色ムラ補正の効果について考察する。図１０Ａは、実施例２の条件で基準画像に画像処理を施した場合の表示画像である。図１０Ｂは、実施例２の条件で観察画像に画像処理を施した場合の表示画像である。

実施例２及び実施例１の表示画像を比較すると、基準画像及び観察画像について、色ムラ補正を画像データに施すことによって、色ムラが除去されることがわかる。また、基準画像及び観察画像について、色ムラ補正を画像データに施しても、網目模様は除去又は低減されないことがわかる。

（輝度ムラ補正と弱い平滑化との相乗効果）
実施例２、実施例３、比較例３及び比較例４の評価結果を比較することによって、輝度ムラ補正と弱い平滑化との相乗効果について考察する。図１０Ａは、実施例２の条件で基準画像に画像処理を施した場合の表示画像である。図１０Ｂは、実施例２の条件で観察画像に画像処理を施した場合の表示画像である。図１３Ａは、実施例３の条件で基準画像に画像処理を施した場合の表示画像である。図１３Ｂは、実施例３の条件で観察画像に画像処理を施した場合の表示画像である。図１４Ａは、比較例３の条件で基準画像に画像処理を施した場合の表示画像である。図１４Ｂは、比較例３の条件で観察画像に画像処理を施した場合の表示画像である。図１５Ａは、比較例４の条件で基準画像に画像処理を施した場合の表示画像である。図１５Ｂは、比較例４の条件で観察画像に画像処理を施した場合の表示画像である。

実施例２及び比較例３から、輝度ムラ補正又は弱い平滑化の一方を画像データに施すことのみによっては、網目模様は除去されたと評価できないことがわかる。つまり、これらのいずれか一方の画像処理のみによっては、網目模様を肉眼で視認することができない程度に低減された（つまり、二重丸）とは評価できないことがわかる。

一方、比較例４から、強い平滑化を画像データに施すことによって、網目模様が除去されることがわかる。しかし、強い平滑化を画像データに施すことによって、画像の解像度が劣化することがわかる。

実施例３から、輝度ムラ補正及び弱い平滑化を画像データに施すことによって、画像の解像度の劣化を伴わずに、網目模様が除去されることがわかる。

１：内視鏡システム
２：内視鏡
２１：挿入部
２１１：対物レンズ
２１２：イメージガイドファイバ
２１２ａ：コア
２１２ｂ：クラッド
２１２ｃ：ジャケット
２１３：ライトガイドファイバ
２１３ａ：コア
２１３ｂ：クラッド
２１４：外装パイプ
２１４ａ：充填剤
２２：把持部
２３：リード部
２３ａ：分岐部
２３ｂ：イメージガイドプラグ
２３ｃ：ライトガイドプラグ
３：撮像装置
３ａ：内視鏡端子
３０：接眼レンズ
３１：イメージセンサ
３２：画像生成部
３３：画像処理部
３４：出力信号生成部
４：光源装置
４ａ：ソケット
５：表示装置

Claims (9)

1. 観察対象の表面で反射した後に入射した光を伝送する複数のコアを含むイメージガイドファイバを有する内視鏡と、
   前記内視鏡を接続可能であり、接眼レンズを介して前記光を検知し、電気信号に変換するイメージセンサ及び前記電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部を有する撮像装置と、を備える内視鏡システムにおける画像処理方法であって、
   基準面を撮影して基準画像データを生成するステップと、
   前記基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出するステップと、
   観察対象を撮影して観察画像データを生成するステップと、
   前記観察画像データを構成する複数の画素データの各々に、前記輝度ムラ補正演算を施すステップと
   を含む画像処理方法。
2. 前記基準面は、無彩色であり、前記画像処理方法は、
   前記基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出するステップと、
   前記観察画像データを構成する複数の画素データの各々に、前記色ムラ補正演算を施すステップと、
   を含む請求項１に記載の画像処理方法。
3. 前記観察画像データを構成する複数の画素データの各々を、前記コアの径、前記コアの密度、前記接眼レンズの像倍率及び前記イメージセンサの画素密度に基づいて決定された平滑化フィルタを用いて平滑化するステップを含む請求項１又は２に記載の画像処理方法。
4. 光を検知して電気信号に変換するイメージセンサと、
   前記イメージセンサによって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部と、
   基準面を撮影して得られた基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出し、
   観察対象を撮影して得られた観察画像データを構成する複数の画素データの各々に前記輝度ムラ補正演算を施す画像処理部と、
   を備えた撮像装置。
5. 前記画像処理部は、
   前記基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出し、
   前記観察画像データを構成する複数の画素データの各々に前記色ムラ補正演算を施すことを特徴とする請求項４に記載の撮像装置。
6. 前記画像処理部は、
   前記観察画像データを構成する複数の画素データの各々を平滑化することを特徴とする請求項４又は５に記載の撮像装置。
7. 基準面を撮影して得られた基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出し、
   観察対象を撮影して得られた観察画像データを構成する複数の画素データの各々に前記輝度ムラ補正演算を施す画像処理装置。
8. 前記基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出し、
   前記観察画像データを構成する複数の画素データの各々に前記色ムラ補正演算を施すことを特徴とする請求項７に記載の画像処理装置。
9. 前記観察画像データを構成する複数の画素データの各々を平滑化することを特徴とする請求項７又は８に記載の画像処理装置。

Images