JP2017123997A - 撮像システムおよび処理装置 - Google Patents

Abstract

【課題】全体的な画像の明るさを向上した画像を取得することができる撮像システムおよび処理装置を提供すること。【解決手段】本発明にかかる撮像システムは、被写体から受光した光を光電変換して電気信号をそれぞれ生成する画素を複数並べてなり、該複数の画素が生成した複数の電気信号を含む撮像信号を生成する撮像部と、撮像信号が含む複数の電気信号に基づいて、当該撮像信号に基づく画像の明るさを示す測光値を生成する測光部と、複数の画素を所定数の画素ごとに分割した複数の画素群における複数の電気信号を加算することによって画素群ごとの信号値を生成するビニング処理部と、撮像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、撮像部が行う撮像処理における露光時間を長くする長時間露光制御、およびビニング処理部による撮像信号のビニング処理の少なくともいずれか一方を選択する明るさ制御部と、を備えた。【選択図】図２

Description

本発明は、撮像システムおよび処理装置に関する。

従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば先端に撮像素子が設けられ、可撓性を有する細長形状をなし、被検体内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が撮像した撮像信号に応じた体内画像の画像処理を行って、体内画像を表示部等に表示させる処理装置と、被検体内を照明するための照明光を出射する光源装置と、を備える。

内視鏡システムを用いて体内画像を取得する際には、被検体内に内視鏡を挿入した後、この内視鏡の先端から被検体内の生体組織に白色光等の照明光を照射し、撮像素子が体内画像を撮像する。挿入部は、撮像素子によって撮像された映像信号に対してＡ／Ｄ変換等の信号処理を行い、信号処理された映像信号を処理装置に出力する。医師等のユーザは、表示部等が表示する体内画像に基づいて被検体の臓器の観察を行う。

ところで、被検体内は、外部の光が入り込まず、照明光の光のみで画像を生成するため、暗い画像となる場合がある。外部の光が入り込まない被検体内であっても、明るい画像を生成することができる技術として、撮像素子の複数の画素をひとまとめにして、このまとめた画素群を一つの画素とみなして一つの画素あたりの明るさを上げる技術（ビニング機能）が知られている（例えば、特許文献１を参照）。ビニング機能は、複数の画素を一つの画素とみなすため、受光面積を大きくして、撮像素子の感度を上げることができる。

特開平１０−１５０６０１号公報

しかしながら、従来のビニング処理では、暗部を撮像した場合の画像の明るさを上げることはできるが、１フレームレベルで光量や露光時間を制御してビニング処理を行ったとしても、全体的な画像の明るさとして、十分に明るい画像を得ることができない場合があった。

本発明は、上記に鑑みてなされたものであって、全体的な画像の明るさを向上した画像を取得することができる撮像システムおよび処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像システムは、被写体から受光した光を光電変換して電気信号を生成する画素を複数並べてなり、該複数の画素がそれぞれ生成した複数の前記電気信号を含む撮像信号を生成する撮像部と、前記撮像信号が含む複数の電気信号に基づいて、当該撮像信号に基づく画像の明るさを示す測光値を生成する測光部と、前記複数の画素を所定数の画素ごとに分割した複数の画素群における複数の電気信号を加算することによって前記画素群ごとの信号値を生成するビニング処理部と、前記測光部の測光結果が、前記撮像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御、および前記ビニング処理部による前記撮像信号のビニング処理の少なくともいずれか一方を選択する明るさ制御部と、を備えたことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記明るさ制御部は、前記測光値と閾値とを比較した比較結果に基づいて、前記長時間露光制御および前記ビニング処理のうち少なくとも一方を選択することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記明るさ制御部は、前記ビニング処理部による前記ビニング処理を行わせるとともに、前記測光部の測光結果が、前記撮像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行うことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記明るさ制御部は、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行うとともに、前記測光部の測光結果が、前記撮像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、前記ビニング処理部に前記ビニング処理を行わせることを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記明るさ制御部は、前記画像の解像度およびフレームレートのいずれかを優先する制御を実行可能であり、前記画像の解像度を優先する制御を行う場合、前記測光値が第１閾値よりも小さく、かつ第２閾値よりも大きければ、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行い、前記測光値が前記第２閾値よりも小さければ、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行うとともに、前記ビニング処理部に前記ビニング処理を行わせる制御を行い、前記画像のフレームレートを優先する制御を行う場合、前記測光値が第１閾値よりも小さく、かつ第３閾値よりも大きければ、前記ビニング処理部による前記ビニング処理を行わせる制御を行い、前記測光値が前記第３閾値よりも小さければ、前記ビニング処理部に前記ビニング処理を行わせる制御を行うとともに、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行うことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記明るさ制御部は、前記撮像信号に基づく画像を構成する複数の前記電気信号を取得する際に要する通常の露光時間を増大させることによって前記長時間露光制御を行うことを特徴とする。

また、本発明にかかる処理装置は、位置情報をそれぞれ有する複数の電気信号を含む画像信号に信号処理を施す処理装置であって、前記複数の電気信号に基づいて、当該画像信号に基づく画像の明るさを示す測光値を生成する測光部と、前記位置情報に基づいて、所定数の電気信号ごとに加算処理を行って、該所定数の電気信号の加算信号値をそれぞれ生成するビニング処理部と、前記測光部の測光結果が、前記画像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、前記画像信号を取得する際の露光時間を長くする長時間露光制御、および前記ビニング処理部による前記画像信号のビニング処理の少なくともいずれか一方を選択する明るさ制御部と、を備えたことを特徴とする。

本発明によれば、全体的な画像の明るさを向上した画像を取得することができるという効果を奏する。

図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の実施の形態１にかかる内視鏡システムが行う画像取得処理を示すフローチャートである。 図４は、本発明の実施の形態２にかかる内視鏡システムが行う画像取得処理を示すフローチャートである。 図５は、本発明の実施の形態３にかかる内視鏡システムが行う画像取得処理を示すフローチャートである。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる処理装置を含む撮像システムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。

図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３と、処理装置３の信号処理により生成された体内画像を表示する表示装置４と、を備える。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。

先端部２４は、グラスファイバ等を用いて構成されて光源部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４（撮像部）と、を有する。

光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。受光部２４４ａには、カラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子２４４は、処理装置３から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて実現される。また、撮像素子２４４は、単板のイメージセンサであってもよいし、例えば３板方式などの複数のイメージセンサを用いるものであってもよい。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡２と処理装置３との間で信号を伝送するものであってもよい。

次に、処理装置３の構成について説明する。処理装置３は、撮像信号取得部３１と、ビニング処理部３２と、測光部３３と、表示画像生成部３４と、入力部３５と、制御部３６と、記憶部３７と、を備える。なお、本発明にかかる処理装置は、少なくともビニング処理部３２と、測光部３３と、表示画像生成部３４と、制御部３６とを用いて構成される。

撮像信号取得部３１は、内視鏡２から、撮像素子２４４が出力した撮像信号を受信する。撮像信号取得部３１は、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施す。撮像信号取得部３１は、上述した信号処理によりＲＧＢの色成分が付与された入力画像を含む入力画像信号を生成する。撮像信号取得部３１は、生成した入力画像信号をビニング処理部３２および測光部３３に入力する。

ビニング処理部３２は、撮像素子の複数の画素をひとまとめにして、このまとめた画素群を一つの画素（以下、ビニング画素ともいう）とみなして、この画素群に含まれる信号値（輝度値）を加算することにより、ビニング画素単位で信号値（輝度値）を生成することで、ビニング画像信号を生成する。このようなビニング処理により、解像度は低下するものの、明るさを向上した画像を得ることができる。ビニング処理部３２は、生成したビニング画像信号を表示画像生成部３４に入力する。

測光部３３は、撮像信号取得部３１から出力された入力画像信号における画像の明るさ、例えば信号レベル（輝度値）を測定する。測光部３３は、各画素の信号値の平均値を当該入力画像信号の信号レベルとして算出する。測光部３３は、画像の明るさを含む測定結果を制御部３６に入力する。なお、測光部３３は、平均値のほか、最大値、最小値、最頻値などを信号レベルとして算出するものであってもよい。

表示画像生成部３４は、ビニング処理部３２が生成したビニング画像信号に対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。入力された信号がＲＧＢの各色成分に分かれている場合は、各色成分について補間処理を施して、各画素位置にＲＧＢの色成分を付与した画像信号を生成する。表示画像生成部３４は、生成した画像信号を表示装置４に出力する。

入力部３５は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部３５は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。

制御部３６は、ＣＰＵ（Central Processing Unit）等を用いて構成され、撮像素子２４４および光源部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３６は、記憶部３７に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像素子２４４へ送信する。

また、制御部３６は、測光部３３による測定結果に基づいて、画像の明るさにかかる制御を行う明るさ制御部３６１を有する。明るさ制御部３６１は、例えば、ビニング処理部３２によるビニング画素の設定、例えば、画素群の数などを制御したり、撮像素子２４４が撮像信号を取得する際の露光時間を制御したりする。

記憶部３７は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部３７は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。

記憶部３７は、明るさ制御部３６１が明るさ制御を行なう際に用いる明るさ調整情報を記憶する明るさ調整情報記憶部３７１を有する。明るさ調整情報には、明るさ制御を行うための適正範囲であって、測光部３３により測定された信号レベルに対する明るさの適正範囲（上限値および下限値）や、ビニング画素における画素群の数、露光時間を設定する際のフレーム数などが含まれている。

また、記憶部３７は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する記憶部３７は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）やハードディスク等を用いて実現される。

続いて、光源部３ａの構成について説明する。光源部３ａは、照明部３０１と、照明制御部３０２と、を備える。照明部３０１は、照明制御部３０２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３０１は、光源３０１ａと、光源ドライバ３０１ｂと、を有する。

光源３０１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３０１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。なお、光源３０１ａは、赤色ＬＥＤ光源、緑色ＬＥＤ光源および青色ＬＥＤ光源を用いて構成し、照明光を出射するものであってもよい。また、光源３０１ａは、レーザー光源や、キセノンランプ、ハロゲンランプなどのランプを用いるものであってもよい。

光源ドライバ３０１ｂは、照明制御部３０２の制御のもと、光源３０１ａに対して電流を供給することにより、光源３０１ａに照明光を出射させる。

照明制御部３０２は、制御部３６からの制御信号（調光信号）に基づいて、光源３０１ａに供給する電力量を制御するとともに、光源３０１ａの駆動タイミングを制御する。

表示装置４は、映像ケーブルを介して処理装置３（表示画像生成部３４）が生成した画像信号Ｓ_Tに対応する表示画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro Luminescence）等のモニタを用いて構成される。

続いて、内視鏡システム１が行う画像取得処理について説明する。図３は、本発明の実施の形態１にかかる内視鏡システム１が行う画像取得処理を示すフローチャートである。以下、制御部３６の制御のもと、各部が動作するものとして説明する。また、露光時間は、通常は、通常露光時間（１フレームに応じた露光時間）に設定されているものとして説明する。

撮像信号取得部３１は、内視鏡２から撮像信号を取得すると、信号処理により赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の色成分が付与された画像を含む入力画像信号を生成し、ビニング処理部３２および測光部３３に入力する（ステップＳ１０１）。

ビニング処理部３２は、入力画像信号が入力されると、画素群に含まれる信号値（輝度値）を加算することにより、ビニング画素単位で信号値（輝度値）を生成することで、ビニング画像信号を生成する（ステップＳ１０２）。ビニング処理部３２は、生成したビニング画像信号を表示画像生成部３４に入力する。

測光部３３は、撮像信号取得部３１から出力された入力画像信号における画像の明るさ、例えば信号レベルを測定する（ステップＳ１０３）。測光部３３は、画像の明るさを含む測定結果を制御部３６に入力する。

その後、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている明るさの適正範囲における上限値とを比較し、信号レベルが上限値よりも大きいか否かを判断する（ステップＳ１０４）。この際の上限値は、ビニング処理後の画像の明るさを示す信号レベルが、画像処理により補正可能なレベルの上限を超えるか否かを判定する値として設定される。

明るさ制御部３６１は、信号レベルが上限値以下であると判断した場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０６に移行する。これに対して、明るさ制御部３６１は、信号レベルが上限値より大きいと判断した場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行する。

ステップＳ１０５では、明るさ制御部３６１が、光源３０１ａから出射される照明光の光量を低減する制御を行う。明るさ制御部３６１は、例えば、所定の割合、または所定量だけ光量を低減する。明るさ制御部３６１は、光源３０１ａの光量を低減させた後、ステップＳ１０９に移行する。

また、ステップＳ１０６では、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている閾値とを比較し、信号レベルが明るさの適正範囲における下限値より小さいか否かを判断する（ステップＳ１０６）。この際の下限値は、ビニング処理後の画像の明るさを示す信号レベルが、明瞭な画像を生成できるレベルに達するか否かを判定する値として設定される。

明るさ制御部３６１は、信号レベルが下限値以上であると判断した場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０８に移行する。これに対して、明るさ制御部３６１は、信号レベルが下限値より小さいと判断した場合（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。

ステップＳ１０７では、明るさ制御部３６１が、次に撮像処理を行う際の露光モードを長時間露光モードに設定する。具体的に、明るさ制御部３６１は、通常の露光時間が１フレームの撮像信号を取得する時間に設定されているのに対し、長時間露光モードでは、この１フレームに応じた時間よりも長い時間で露光するような露光時間に設定する。例えば、１．５フレーム分の露光時間で１フレームの撮像信号を取得するような設定にしたり、２フレーム分の露光時間で１フレームの撮像信号を取得するような設定にしたりする。明るさ制御部３６１による露光モード設定後、ステップＳ１０８に移行する。なお、０．２フレーム分の露光時間を順次加算して累積した露光時間となるようにしてもよいし、測光値と基準値との比をもとに露光時間を決定するものであってもよい。この場合、露光時間が上限に達した場合は、上限を維持した露光時間を設定するとともに、表示装置４などによって露光時間が上限に達した旨を報知してもよい。

ステップＳ１０８では、表示画像生成部３４が、ビニング処理部３２が生成したビニング画像信号に対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部３４は、生成した画像信号を表示装置４に出力する。表示装置４は、入力された画像信号に応じた画像を表示する。

表示画像生成部３４による画像信号の生成後、制御部３６は、新たな撮像信号の入力があるか否かを判断する（ステップＳ１０９）。制御部３６は、例えば、新たな撮像信号の入力があると判断すると（ステップＳ１０９：Ｙｅｓ）、ステップＳ１０２に戻って上述した処理を繰り返し、新たな撮像信号の入力がないと判断すると（ステップＳ１０９：Ｎｏ）、画像取得処理を終了する。

上述した本実施の形態１によれば、ビニング処理部３２が、入力された入力画像信号に対してビニング処理を行うとともに、明るさ制御部３６１が、測光部３３の測定結果に応じて、次のフレームの撮像処理における露光時間を調整するようにしたので、ビニング処理により画像の明るさを向上するとともに、露光時間の調整によって信号値を大きくすることで、全体的な画像の明るさを向上した画像を取得することができる。

なお、上述した本実施の形態１では、明るさ制御部３６１が、一つの閾値（下限値）を用いて露光時間を制御するものとして説明したが、複数の閾値であって、下限値や、下限値と上限値との間の一つまたは複数の値を含む複数の閾値と信号レベルとを比較して、当該信号レベルを含む閾値間の位置に応じて露光時間を設定するようにしてもよい。

また、上述した本実施の形態１において、ビニング処理（図３のステップＳ１０２）よりも先に測光処理（図３のステップＳ１０３）を行ってもよいし、同時に行ってもよい。

また、上述した本実施の形態１において、ビニング処理を撮像素子２４４で行って、撮像信号取得部３１が、ビニング処理後の撮像信号を取得するものであってもよい。この場合、画素により生成される電荷レベルでビニング処理が行われる。

（実施の形態２）
次に、本発明の実施の形態２について、図４を参照して説明する。上述した実施の形態１はビニング処理を行って、測定結果により露光時間を調整するものとして説明したが、本実施の形態２では、長時間露光に設定した後、測定結果に基づいて、入力画像信号に対してビニング処理を行うか否かを判断する。なお、本発明の実施の形態２にかかる内視鏡システムの構成は、上述した内視鏡システム１の構成と同じである。図４は、本発明の実施の形態２にかかる内視鏡システム１が行う画像取得処理を示すフローチャートである。以下、制御部３６の制御のもと、各部が動作するものとして説明する。

本実施の形態２では、明るさ制御部３６１が、まず、露光モードを長時間露光モードに設定する（ステップＳ２０１）。明るさ制御部３６１は、例えば、通常の１フレーム分の処理時間に応じた露光時間に対し、２フレーム分の処理時間に応じた時間を、１フレーム分の撮像信号を取得するための露光時間に設定する。

撮像信号取得部３１は、内視鏡２から撮像信号を取得すると、信号処理により赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の色成分が付与された画像を含む入力画像信号を生成し、ビニング処理部３２および測光部３３に入力する（ステップＳ２０２）。

測光部３３は、撮像信号取得部３１から出力された入力画像信号における画像の明るさ、例えば信号レベルを測定する（ステップＳ２０３）。測光部３３は、画像の明るさを含む測定結果を制御部３６に入力する。

その後、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている明るさの適正範囲における上限値とを比較し、信号レベルが上限値よりも大きいか否かを判断する（ステップＳ２０４）。この際の上限値は、長時間露光モードにおいて撮像信号取得部３１が取得した入力画像信号の画像の明るさを示す信号レベルが、画像処理により補正可能なレベルの上限を超えているか否かを判定する値として設定される。

明るさ制御部３６１は、信号レベルが上限値以下であると判断した場合（ステップＳ２０４：Ｎｏ）、ステップＳ２０６に移行する。これに対して、明るさ制御部３６１は、信号レベルが上限値より大きいと判断した場合（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０５に移行する。

ステップＳ２０５では、明るさ制御部３６１が、光源３０１ａから出射される照明光の光量を低減する制御を行う。明るさ制御部３６１は、例えば、所定の割合、または所定量だけ光量を低減する。明るさ制御部３６１は、光源３０１ａの光量を低減させた後、ステップＳ２０９に移行する。

また、ステップＳ１０６では、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている適正範囲の下限値とを比較し、信号レベルが下限値より小さいか否かを判断する（ステップＳ２０４）。この際の下限値は、長時間露光モードにおいて撮像信号取得部３１が取得した入力画像信号の画像の明るさを示す信号レベルが、明瞭な画像のレベルに達しているか否かを判定する値として設定される。

明るさ制御部３６１は、信号レベルが下限値以上であると判断した場合（ステップＳ２０６：Ｎｏ）、ステップＳ２０８に移行する。これに対して、明るさ制御部３６１は、信号レベルが閾値より小さいと判断した場合（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７に移行する。

ステップＳ２０７では、ビニング処理部３２は、入力された入力画像信号の画素群に含まれる信号値（輝度値）を加算することにより、ビニング画素単位で信号値（輝度値）を生成することで、ビニング画像信号を生成する。この際、ビニング処理部３２は、明るさ制御部３６１が設定した画素群の数（画素群の形成パターン）に応じて、画素群からなるビニング画素の信号値を生成する。明るさ制御部３６１は、明るさ調整情報記憶部３７１に記憶されている情報に基づいて、ビニング処理の設定を行う。ビニング処理部３２は、ビニング画像信号を生成後、ステップＳ２０８に移行する。

ステップＳ２０８では、表示画像生成部３４が、ビニング処理部３２が生成したビニング画像信号に対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部３４は、生成した画像信号を表示装置４に出力する。表示装置４は、入力された画像信号に応じた画像を表示する。

表示画像生成部３４による画像信号の生成後、制御部３６は、新たな撮像信号の入力があるか否かを判断する（ステップＳ２０９）。制御部３６は、例えば、新たな撮像信号の入力があると判断すると（ステップＳ２０９：Ｙｅｓ）、ステップＳ２０２に戻って上述した処理を繰り返し、新たな撮像信号の入力がないと判断すると（ステップＳ２０９：Ｎｏ）、画像取得処理を終了する。

上述した本実施の形態２によれば、明るさ制御部３６１が、長時間露光モードに設定するとともに、測光部３３の測定結果に応じて、ビニング処理部３２が、入力された入力画像信号に対してビニング処理を行うようにしたので、ビニング処理により画像の明るさを向上するとともに、露光時間の調整によって信号値を大きくすることで、全体的な画像の明るさを向上した画像を取得することができる。

なお、上述した本実施の形態２では、明るさ制御部３６１が、一つの閾値（下限値）を用いてビニング処理における画素群の数（画素群の形成パターン）を設定するものとして説明したが、複数の閾値であって、下限値や、下限値と上限値との間の一つまたは複数の値を含む複数の閾値と信号レベルとを比較して、当該信号レベルを含む閾値間の位置に応じて画素群の数（画素群の形成パターン）を設定するようにしてもよい。

（実施の形態３）
次に、本発明の実施の形態３について、図５を参照して説明する。上述した実施の形態１，２ではビニング処理または長時間露光制御のいずれかを行った後、測定結果により露光時間またはビニング処理の実施可否を判断するものとして説明したが、本実施の形態３では、明るさ制御部３６１が、制御部３６の制御のもと画像の解像度およびフレームレートのいずれかを優先する制御を実行可能であり、かつ判断結果に応じて、長時間露光制御および／またはビニング処理の実施可否を判断する。なお、本発明の実施の形態３にかかる内視鏡システムの構成は、上述した内視鏡システム１の構成と同じである。図５は、本発明の実施の形態３にかかる内視鏡システム１が行う画像取得処理を示すフローチャートである。以下、制御部３６の制御のもと、各部が動作するものとして説明する。なお、本実施の形態３では、明るさ調整情報記憶部３７１が、条件に応じた複数の閾値を記憶しているものとして説明する。

本実施の形態３では、まず、撮像信号取得部３１が、内視鏡２から撮像信号を取得すると、信号処理により赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の色成分が付与された画像を含む入力画像信号を生成し、ビニング処理部３２および測光部３３に入力する（ステップＳ３０１）。

測光部３３は、撮像信号取得部３１から出力された入力画像信号における画像の明るさ、例えば信号レベルを測定する（ステップＳ３０２）。測光部３３は、画像の明るさを含む測定結果を制御部３６に入力する。

その後、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている明るさの適正範囲における上限値とを比較し、信号レベルが上限値よりも大きいか否かを判断する（ステップＳ３０３）。この際の上限値は、撮像信号取得部３１が取得した入力画像信号の画像の明るさを示す信号レベルが、画像処理により補正可能なレベルの上限を超えているか否かを判定する値として設定される。

明るさ制御部３６１は、信号レベルが上限値以下であると判断した場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０５に移行する。これに対して、明るさ制御部３６１は、信号レベルが上限値より大きいと判断した場合（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０４に移行する。

ステップＳ３０４では、明るさ制御部３６１が、光源３０１ａから出射される照明光の光量を低減する制御を行う。明るさ制御部３６１は、例えば、所定の割合、または所定量だけ光量を低減する。明るさ制御部３６１は、光源３０１ａの光量を低減させた後、ステップＳ３１６に移行する。

また、ステップＳ３０５では、制御部３６が、入力部３５を介して解像度を優先する旨の指示信号が入力されたか否かを判断する（ステップＳ３０５）。制御部３６は、解像度を優先する旨の指示信号が入力されたと判断した場合（ステップＳ３０５：Ｙｅｓ）、画像取得モードを、解像度を優先するモードとして、ステップＳ３０６に移行する。

ステップＳ３０６では、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている第１閾値とを比較し、信号レベルが第１閾値より小さいか否かを判断する。この際の第１閾値は、適正範囲の下限値と略等しい値であって、画像の明るさを示す信号レベルが、明瞭な画像のレベルに十分に達しているか否かを判定する値として設定される。

明るさ制御部３６１は、信号レベルが第１閾値以上であると判断した場合（ステップＳ３０６：Ｎｏ）、ステップＳ３１５に移行する。これに対して、明るさ制御部３６１は、信号レベルが第１閾値より小さいと判断した場合（ステップＳ３０６：Ｙｅｓ）、ステップＳ３０７に移行する。

ステップＳ３０７では、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている第２閾値とを比較し、信号レベルが第２閾値より小さいか否かを判断する。この際の第２閾値は、第１閾値よりも小さく下限値よりも大きい値であって、撮像信号取得部３１が取得した入力画像信号の画像の明るさを示す信号レベルが、明瞭な画像を生成可能なレベルに達しているが、次のフレームの撮像処理では露光時間を調整することが好ましいレベルであるか、今回のフレームの信号レベルが明瞭な画像を生成するレベルに達しておらず、取得した撮像信号に対してビニング処理を施すとともに、次のフレームの撮像処理では露光時間を調整する必要があるレベルかを判定する値として設定される。

明るさ制御部３６１は、信号レベルが第２閾値以上であると判断した場合（ステップＳ３０７：Ｎｏ）、ステップＳ３０８に移行する。これに対して、明るさ制御部３６１は、信号レベルが第２閾値より小さいと判断した場合（ステップＳ３０７：Ｙｅｓ）、ステップＳ３０９に移行する。

ステップＳ３０８では、明るさ制御部３６１が、次に撮像処理を行う際の露光モードを長時間露光モードに設定する。明るさ制御部３６１は、上述したように、通常の露光時間が１フレームの撮像信号を取得する時間に設定されているのに対し、長時間露光モードでは、この１フレームに応じた時間よりも長い時間で露光するような露光時間に設定する。明るさ制御部３６１による明るさ調整処理後、制御部３６は、ステップＳ３１５に移行する。

また、ステップＳ３０９では、明るさ制御部３６１が、次に撮像処理を行う際の露光モードを長時間露光モードに設定するとともに、ビニング処理部３２に対し、今回入力された入力画像信号のビニング処理を行わせるように制御する。明るさ制御部３６１は、上述したように、通常の露光時間が１フレームの撮像信号を取得する時間に設定されているのに対し、長時間露光モードでは、この１フレームに応じた時間よりも長い時間で露光するような露光時間に設定する。この際、ステップＳ３０８の露光時間と同じ露光時間に設定してもよいし、露光時間よりも長い露光時間に設定してもよい。また、ビニング処理部３２は、入力された入力画像信号の画素群に含まれる信号値（輝度値）を加算することにより、ビニング画素単位で信号値（輝度値）を生成することで、ビニング画像信号を生成する。この際、ビニング処理部３２は、明るさ制御部３６１が設定した画素群の数（画素群の形成パターン）に応じて、画素群からなるビニング画素の信号値を生成する。ビニング処理部３２は、ビニング画像信号を生成後、ステップＳ３１５に移行する。

一方、制御部３６は、解像度を優先する旨の指示信号が入力されていないと判断した場合（ステップＳ３０５：Ｙｅｓ）、画像取得モードを、フレームレートを優先するモードとして、ステップＳ３１０に移行する。なお、本実施の形態３では、解像度優先モードとする指示入力があるか否かを判断し、解像度優先の指示がなければフレームレートを優先するものとして説明するが、入力部３５を介してユーザに解像度優先か、フレームレート優先かを選択させるようにしてもよい。

ステップＳ３１０では、明るさ制御部３６１が、通常露光モードに設定する。明るさ制御部３６１は、上述したように、１フレームの撮像信号を取得する処理時間に応じた時間を通常の露光時間として設定する。その後、制御部３６は、ステップＳ３１１に移行する。なお、予め通常露光モードに設定されている場合、明るさ制御部３６１は、露光もモードの設定を行わずにステップＳ３１１に移行する。

ステップＳ３１１では、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている第１閾値とを比較し、信号レベルが第１閾値より小さいか否かを判断する。

明るさ制御部３６１は、信号レベルが第１閾値以上であると判断した場合（ステップＳ３１１：Ｎｏ）、ステップＳ３１３に移行する。これに対して、明るさ制御部３６１は、信号レベルが第１閾値より小さいと判断した場合（ステップＳ３１１：Ｙｅｓ）、ステップＳ３１２に移行する。

ステップＳ３１２では、明るさ制御部３６１が、入力された信号レベルと、明るさ調整情報記憶部３７１に記憶されている第３閾値とを比較し、信号レベルが第３閾値より小さいか否かを判断する。この際の第３閾値は、第１閾値よりも小さく下限値よりも大きい値であって、ビニング処理部３２によるビニング処理後の画像の明るさを示す信号レベルが、次のフレームの撮像処理において露光時間を調整することが好ましいレベルであるか否かを判定する値として設定される。

明るさ制御部３６１は、信号レベルが第３閾値以上であると判断した場合（ステップＳ３１２：Ｎｏ）、ステップＳ３１３に移行する。これに対して、明るさ制御部３６１は、信号レベルが第２閾値より小さいと判断した場合（ステップＳ３１２：Ｙｅｓ）、ステップＳ３１４に移行する。

ステップＳ３１３では、ビニング処理部３２が、入力された入力画像信号の画素群に含まれる信号値（輝度値）を加算することにより、ビニング画素単位で信号値（輝度値）を生成することで、ビニング画像信号を生成する。この際、ビニング処理部３２は、明るさ制御部３６１が設定した画素群の数（画素群の形成パターン）に応じて、画素群からなるビニング画素の信号値を生成する。ビニング処理部３２は、ビニング画像信号を生成後、ステップＳ３１５に移行する。

また、ステップＳ３１４では、明るさ制御部３６１が、次に撮像処理を行う際の露光モードを長時間露光モードに設定するとともに、ビニング処理部３２に対し、今回入力された入力画像信号のビニング処理を行わせるように制御する。明るさ制御部３６１は、上述したように、通常の露光時間が１フレームの撮像信号を取得する時間に設定されているのに対し、長時間露光モードでは、この１フレームに応じた時間よりも長い時間で露光するような露光時間に設定する。また、ビニング処理部３２は、入力された入力画像信号の画素群に含まれる信号値（輝度値）を加算することにより、ビニング画素単位で信号値（輝度値）を生成することで、ビニング画像信号を生成する。この際、ビニング処理部３２は、明るさ制御部３６１が設定した画素群の数（画素群の形成パターン）に応じて、画素群からなるビニング画素の信号値を生成する。ビニング処理部３２は、ビニング画像信号を生成後、ステップＳ３１５に移行する。

ステップＳ３１５では、表示画像生成部３４が、撮像信号取得部３１が生成した入力画像信号、またはビニング処理部３２が生成したビニング画像信号に対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部３４は、生成した画像信号を表示装置４に出力する。表示装置４は、入力された画像信号に応じた画像を表示する。

表示画像生成部３４による画像信号の生成後、制御部３６は、新たな撮像信号の入力があるか否かを判断する（ステップＳ３１６）。制御部３６は、例えば、新たな撮像信号の入力があると判断すると（ステップＳ３１６：Ｙｅｓ）、ステップＳ３０２に戻って上述した処理を繰り返し、新たな撮像信号の入力がないと判断すると（ステップＳ３１６：Ｎｏ）、画像取得処理を終了する。

上述した本実施の形態３によれば、解像度優先およびフレームレート優先のいずれかを選択可能であり、それぞれの優先モードにおいて、信号レベルに応じてビニング処理および／または露光時間の調整を行うようにしたので、ビニング処理により画像の明るさを向上するとともに、露光時間の調整によって信号値を大きくすることで、全体的な画像の明るさを向上した画像を取得することができる。

上述した本実施の形態３において、第２閾値よりも小さい第３閾値を設けて、測光値が第３閾値以下の場合に、明るさ制御部３６１が、優先モードに応じたビニング処理強度（ビニング処理において加算する画素数）および／または露光時間の調整を行うようにしても良い。具体的には、解像度優先モードである場合に測光値が第３の閾値以下である場合には、Ｓ３０７において設定されたビニング処理を行いつつ、Ｓ３０７において設定される長時間露光モードよりも長い時間で露光を行い、フレームレート優先モードである場合に測光値が第３の閾値以下である場合には、Ｓ３１２において設定された長時間露光モードに設定しつつ、Ｓ３１２において設定されるビニング処理よりも画素加算数を増やすようにビニング処理を設定しても良い。

なお、上述した実施の形態１〜３では、撮像信号取得部３１が、ＲＧＢの各色成分が付与された画像を含む入力画像信号を生成するものとして説明したが、ＹＣｂＣｒ色空間に基づいて輝度（Ｙ）成分および色差成分を含むＹＣｂＣｒ色空間を有する入力画像信号を生成するものであってもよいし、色相（Hue）、彩度（Saturation Chroma）、明度（Value Lightness Brightness）の三つの成分からなるＨＳＶ色空間や、三次元空間を用いるＬ^*ａ^*ｂ^*色空間などを用いて、色と輝度とに分けた成分を有する入力画像信号を生成するものであってもよい。

また、上述した実施の形態１〜３において、明るさ制御部３６１が、入力部３５が受け付けた操作入力に応じてビニングの画素群数や、長時間露光モードにおける露光時間を設定するようにしてもよい。

また、上述した実施の形態１〜３では、光源部３ａから白色光が出射され、受光部２４４ａがＲＧＢの各色成分の光を受光する同時式の照明／撮像方式であるものとして説明したが、光源部３ａが、ＲＧＢの色成分の波長帯域の光を個別に順次出射して、受光部２４４ａが、各色成分の光をそれぞれ受光する面順次式の照明／撮像方式であってもよい。

また、上述した実施の形態１〜３では、光源部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３の機能を付与してもよい。

また、上述した実施の形態１〜３では、光源部３ａが、処理装置３とは一体であるものとして説明したが、光源部３ａおよび処理装置３が別体であって、例えば処理装置３の外部に照明部３０１および照明制御部３０２が設けられているものであってもよい。また、光源３０１ａが先端部２４の先端に設けられているものであってもよい。

また、上述した実施の形態１〜３では、本発明にかかる撮像システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１の撮像素子２４４、ビニング処理部３２、測光部３３および明るさ制御部３６１として機能するものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。本発明にかかる撮像システムは、体内、体外を問わず適用可能であり、外部で生成された撮像信号などの画像信号であって、画素の配置情報などの位置情報をそれぞれ有する複数の信号値を含む画像信号に対して所定数ごとに信号値を加算した加算信号値を生成するビニング処理を行うとともに、画像信号の取得にかかる露光時間について長時間露光制御を行うことが可能な処理装置を含むものである。

また、上述した実施の形態１〜３では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic View Finder）に映像を出力する場合にも適用可能である。

以上のように、本発明にかかる撮像システムおよび処理装置は、全体的な画像の明るさを向上した画像を取得するのに有用である。

１ 内視鏡システム
２ 内視鏡
３ 処理装置
３ａ 光源部
４ 表示装置
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
２５ 湾曲部
２６ 可撓管部
３１ 撮像信号取得部
３２ ビニング処理部
３３ 測光部
３４ 表示画像生成部
３５ 入力部
３６ 制御部
３７ 記憶部
３０１ 照明部
３０２ 照明制御部
３６１ 明るさ制御部
３７１ 明るさ調整情報記憶部

Claims (7)

1. 被写体から受光した光を光電変換して電気信号を生成する画素を複数並べてなり、該複数の画素がそれぞれ生成した複数の前記電気信号を含む撮像信号を生成する撮像部と、
   前記撮像信号が含む複数の電気信号に基づいて、当該撮像信号に基づく画像の明るさを示す測光値を生成する測光部と、
   前記複数の画素を所定数の画素ごとに分割した複数の画素群における複数の電気信号を加算することによって前記画素群ごとの信号値を生成するビニング処理部と、
   前記測光部の測光結果が、前記撮像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御、および前記ビニング処理部による前記撮像信号のビニング処理の少なくともいずれか一方を選択する明るさ制御部と、
   を備えたことを特徴とする撮像システム。
2. 前記明るさ制御部は、前記測光値と閾値とを比較した比較結果に基づいて、前記長時間露光制御および前記ビニング処理のうち少なくとも一方を選択する
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記明るさ制御部は、前記ビニング処理部による前記ビニング処理を行わせるとともに、前記測光部の測光結果が、前記撮像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行う
   ことを特徴とする請求項１に記載の撮像システム。
4. 前記明るさ制御部は、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行うとともに、前記測光部の測光結果が、前記撮像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、前記ビニング処理部に前記ビニング処理を行わせる
   ことを特徴とする請求項１に記載の撮像システム。
5. 前記明るさ制御部は、
   前記画像の解像度およびフレームレートのいずれかを優先する制御を実行可能であり、
   前記画像の解像度を優先する制御を行う場合、前記測光値が第１閾値よりも小さく、かつ第２閾値よりも大きければ、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行い、前記測光値が前記第２閾値よりも小さければ、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行うとともに、前記ビニング処理部に前記ビニング処理を行わせる制御を行い、
   前記画像のフレームレートを優先する制御を行う場合、前記測光値が第１閾値よりも小さく、かつ第３閾値よりも大きければ、前記ビニング処理部による前記ビニング処理を行わせる制御を行い、前記測光値が前記第３閾値よりも小さければ、前記ビニング処理部に前記ビニング処理を行わせる制御を行うとともに、前記撮像部が行う撮像処理における露光時間を長くする長時間露光制御を行う
   ことを特徴とする請求項１に記載の撮像システム。
6. 前記明るさ制御部は、前記撮像信号に基づく画像を構成する複数の前記電気信号を取得する際に要する通常の露光時間を増大させることによって前記長時間露光制御を行う
   ことを特徴とする請求項１〜５のいずれか一つに記載の撮像システム。
7. 位置情報をそれぞれ有する複数の電気信号を含む画像信号に信号処理を施す処理装置であって、
   前記複数の電気信号に基づいて、当該画像信号に基づく画像の明るさを示す測光値を生成する測光部と、
   前記位置情報に基づいて、所定数の電気信号ごとに加算処理を行って、該所定数の電気信号の加算信号値をそれぞれ生成するビニング処理部と、
   前記測光部の測光結果が、前記画像信号に基づく画像の明るさが所定の明るさよりも暗い場合に、前記画像信号を取得する際の露光時間を長くする長時間露光制御、および前記ビニング処理部による前記画像信号のビニング処理の少なくともいずれか一方を選択する明るさ制御部と、
   を備えたことを特徴とする処理装置。

Images