以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる画像処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態)
図1は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。
図1および図2に示す内視鏡システム1は、被検体内に先端部を挿入することによって被検体内の画像(以下、内視鏡画像ともいう)を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3aを有し、内視鏡2が撮像した画像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置3と、処理装置3の信号処理により生成された内視鏡画像を表示する表示装置4と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、処理装置3(光源部3aを含む)に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、光を受光して光電変換を行うことにより信号を生成する画素が2次元状に配列された撮像部244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。挿入部21は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像部244によって撮像する。
先端部24は、グラスファイバ等を用いて構成されて光源部3aが発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の左眼用光学系243aおよび右眼用光学系243bと、光学系243の結像位置に設けられ、左眼用光学系243aおよび右眼用光学系243bが集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像部244と、を有する。
左眼用光学系243aは、一または複数のレンズを用いて構成され、撮像部244の前段に設けられて被写体からの入射光を結像する。左眼用光学系243aは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。
右眼用光学系243bは、一または複数のレンズを用いて構成され、撮像部244の前段に設けられて被写体からの入射光を、左眼用光学系243aとは視差を有して結像する。右眼用光学系243bは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。
撮像部244は、左眼用撮像素子244_1aと、右眼用撮像素子244_1bと、左眼用信号処理部244_2aと、右眼用信号処理部244_2bとを備える。
左眼用撮像素子244_1aは、処理装置3から受信した駆動信号に従って、左眼用光学系243aからの光を光電変換して、一枚の画像を構成する1フレーム分の電気信号(左眼用画像信号)を生成する。具体的には、左眼用撮像素子244_1aは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が左眼用光学系243aからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する。左眼用撮像素子244_1aは、処理装置3から受信したシャッターデータに基づいて、露光処理が制御される。左眼用撮像素子244_1aの受光面には、カラーフィルタが設けられ、各画素が、赤色(R)、緑色(G)および青色(B)の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。
右眼用撮像素子244_1bは、処理装置3から受信した駆動信号に従って、右眼用光学系243bからの光を光電変換して、一枚の画像を構成する1フレーム分の電気信号(右眼用画像信号)を生成する。具体的には、右眼用撮像素子244_1bは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が右眼用光学系243bからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する。右眼用撮像素子244_1bは、処理装置3から受信したシャッターデータに基づいて、露光処理が制御される。右眼用撮像素子244_1bの受光面には、カラーフィルタが設けられ、各画素が、赤色(R)、緑色(G)および青色(B)の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。
左眼用撮像素子244_1aおよび右眼用撮像素子244_1bは、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。また、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bは、各々、単板のイメージセンサを用いて構成されるものであってもよいし、例えば3板方式等の複数のイメージセンサを用いて構成されるものであってもよい。
左眼用撮像素子244_1aにより得られる左眼用画像、および右眼用撮像素子244_1bにより得られる右眼用画像は、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像である。
なお、本実施の形態にかかる撮像部244は、左眼用光学系243aおよび右眼用光学系243bにそれぞれ対応する二つの撮像素子を有するものとして説明するが、一枚の画像を構成する1フレーム分の電気信号を生成する。なお、本実施の形態では、左眼用光学系243aおよび右眼用光学系243bがそれぞれ結像した光を、左眼用光学系243aおよび右眼用光学系243bに応じて二つの撮像素子により受光するものとして説明するが、同一の撮像素子によって受光領域を分けて受光するようにしてもよい。
左眼用信号処理部244_2aは、左眼用撮像素子244_1aから出力された左眼用画像データ(アナログ)に対してノイズ除去処理やクランプ処理を行うアナログ処理や、A/D変換処理を行うA/D変換処理を施し、左眼用画像を含む左眼用画像データ(デジタル)を、処理装置3に出力する。
右眼用信号処理部244_2bは、右眼用撮像素子244_1bから出力された右眼用画像データ(アナログ)に対してノイズ除去処理やクランプ処理を行うアナログ処理や、A/D変換処理を行うA/D変換処理を施し、右眼用画像を含む右眼用画像データ(デジタル)を、処理装置3に出力する。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、一または複数の信号線をまとめた集合ケーブル245と、を少なくとも内蔵している。集合ケーブル245は、画像信号を伝送するための信号線や、撮像部244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像部244)に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡2と処理装置3との間で信号を伝送するものであってもよい。
また、内視鏡2には、撮像部244が有する撮像素子に対応する感度補正パラメータなどの感度補正情報を記憶する感度補正情報メモリ27を有する。また、内視鏡2は、当該内視鏡2の情報を記憶するメモリ(図示せず)を有している。このメモリには、内視鏡2の種別、型番、左眼用撮像素子244_1a、右眼用撮像素子244_1bの種別等を示す識別情報を記録する。なお、メモリは、ホワイトバランス(WB)調整用のパラメータ等、左眼用撮像素子244_1a及び右眼用撮像素子244_1bが撮像した画像データに対する画像処理用の各種パラメータを記録していてもよい。
内視鏡2の処理装置3への装着時、処理装置3との通信処理によって、上述した内視鏡2の情報を処理装置3に出力する。或いは、内視鏡2の情報に対応した規則に従ってコネクタに接続ピンが設けてあり、処理装置3は、内視鏡2の装着時に処理装置3側の接続ピンと内視鏡2側の接続ピンとの接続状態をもとに内視鏡2の接続を認識する場合もある。
次に、処理装置3の構成について説明する。処理装置3は、画像統合部301と、感度補正部302と、第1画像処理部303と、第2画像処理部304と、OSD情報合成部305と、表示画像生成部306と、領域分割部307と、明るさ測定部308と、シャッターデータ生成部309と、入力部310と、記憶部311と、制御部312と、を備える。なお、本実施の形態では、感度補正部302、第1画像処理部303、第2画像処理部304、領域分割部307、明るさ測定部308、およびシャッターデータ生成部309によって信号処理部を構成している。
画像統合部301は、内視鏡2から、撮像部244が生成した内視鏡画像を表す左眼用画像データおよび右眼用画像データを受信する。なお、画像信号取得部31は、内視鏡2から光信号として画像信号を受信した場合は光電変換を行ってデジタルの画像信号を生成する。
画像統合部301は、受信した左眼用画像データおよび右眼用画像データを統合して一枚の統合画像データを生成する。図3は、本発明の一実施の形態にかかる内視鏡システムの画像統合部が統合した統合画像を説明する図である。画像合成部301は、図3に示すように左眼用画像WLと右眼用画像WRとを並べて配置することによって統合した一枚の統合画像WFを生成する。統合画像は、画素配列の水平ラインを揃えて左眼用画像WLと右眼用画像WRとを並べるようにしてもよいし(例えば図3を参照)、垂直ラインを揃えて左眼用画像WLと右眼用画像WRとを並べるようにしてもよい。なお、この左眼用画像WLと右眼用画像WRは、有効画素領域外のオプティカルブラック領域などの画素値を含んだ画像となっている。
感度補正部302は、画像統合部301から入力された統合画像の感度補正を行う。具体的に、感度補正部302は、統合画像に対して、内視鏡2から入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。これにより、内視鏡2が有する各撮像素子の感度に応じた補正処理を施すことができる。
第1画像処理部303は、感度補正部302から入力された統合画像に基づいて、各画素位置について輝度成分(例えばYCrCbのY成分)の画素値、およびRGBの各色成分の画素値を算出するとともに、左眼用画像および右眼用画像に対する画素欠陥補正、光学補正、色補正、オプティカルブラック減算、ノイズリダクション、ホワイトバランス調整、補間処理等の信号処理を施す。画素欠陥補正は、欠陥画素の周囲の画素の画素値に基づいて、欠陥画素の画素値を付与する。光学補正は、レンズの光学歪み等の補正を行う。色補正は、色温度の補正や、色偏差の補正を行う。
第2画像処理部304は、入力部310を介して設定入力された設定にしたがって、第1画像処理部303が画像処理を施した統合画像に対してズーム処理や、エンハンス処理を施す。具体的に、第2画像処理部304は、例えば、入力部310を介して赤色成分を強調する旨の設定がなされている場合、R成分を強調するエンハンス処理を施す。
感度補正部302、第1画像処理部303、第2画像処理部304および明るさ測定部308は、各々一つの回路を用いて構成されている。感度補正部302、第1画像処理部303、第2画像処理部304および明るさ測定部308は、CPU(Central Processing Unit)等の汎用プロセッサや、ASIC(Application Specific Integrated Circuit)、処理内容を書き換え可能なプログラマブルロジックデバイスであるFPGA(Field Programmable Gate Array)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
OSD情報合成部305は、内視鏡画像の表示領域を含む背景画像に、内視鏡画像に関する文字情報を合成した合成画像を生成する。具体的に、OSD情報合成部305は、後述するOSD情報記憶部311bを参照して、表示画面を構成する背景画像、例えば黒色の背景に対し、撮像した内視鏡画像に関する文字情報等を重畳して合成する。
表示画像生成部306は、OSD情報合成部305により合成処理が施された合成画像を含む画像信号が入力されると、表示装置4で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。具体的に、表示画像生成部306は、まず、画像信号から統合画像における左眼用画像および右眼用画像を抽出し、左眼用画像および右眼用画像を互いに離れた位置であって、視差を与える位置に配置していわゆるサイドバイサイド画像と呼ばれる視差画像を生成する。その後、表示画像生成部306は、生成した視差画像を、表示画面を構成する画像に重畳し、この画像を含む画像信号に対して圧縮処理等を行って、表示用の画像信号を生成する。表示画像生成部306は、生成した表示用の画像信号を表示装置4に送信する。なお、サイドバイサイド画像に限らず、例えば、左眼用画像のラインデータと右眼用画像のラインデータとを、視差を与えるシフト量分ずらして交互に配列させて統合したラインバイライン画像であってもよい。
領域分割部307は、統合画像における左眼用画像および右眼用画像のそれぞれに対して領域分割を行う。具体的に、領域分割部307は、例えば、図3に示すように、左眼用画像WLおよび右眼用画像WRをそれぞれ3×3の九つの領域(領域RL,RR)に分割する。なお、本実施の形態では、同じ面積を有する九つの領域に分割するものとして説明するが、各領域の大きさは同等であってもよいし、一部が異なっていてもよいし、互いに異なっていてもよい。また、九つに限らず、二つ以上の領域に分割するものであればよい。
明るさ測定部308は、領域分割部307が分割した各領域の明るさを検出して、左眼用画像および右眼用画像の明るさを測定する。具体的に、明るさ測定部308は、第1画像処理部303が算出した輝度成分の画素値に基づいて、各領域の平均画素値を明るさとして算出し、これらの平均画素値の平均値をそれぞれ算出して左眼用画像および右眼用画像の代表画素値を明るさとする。各領域の明るさ、ならびに左眼用画像および右眼用画像の各代表画素値は、平均値に限らず、最頻値、最大値および最小値のいずれかであってもよい。なお、輝度成分に限らず、設定された色味に応じて、RGBのうちのいずれかの色成分の画素値を用いるようにしてもよい。また、各領域に重み付けを行って、明るさを測定するようにしてもよい。
シャッターデータ生成部309は、明るさ測定部308が測定した左眼用画像および右眼用画像の明るさをもとに、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bのシャッターデータを生成する。具体的に、シャッターデータ生成部309は、左眼用画像および右眼用画像の明るさと、設定されている明るさ目標値と、後述するシャッター設定情報記憶部311aに記憶されている設定条件とをもとに、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bの露光時間(シャッター速度)を算出し、これをシャッターデータとする。シャッターデータは、制御部312を介して撮像部244に送信される。なお、シャッターデータ生成部309は、算出された明るさが、予め設定されている閾値を超えた場合は、シャッターデータを、予め設定されている最大露光時間、または撮像素子に応じた最大露光時間に設定する。
入力部310は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部310は、操作部22に設けられたスイッチや、外部のタブレット型のコンピュータ等の可搬型端末を含んでいてもよい。
記憶部311は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータや、所定の画像処理が施された画像情報と該画像情報に関する文字情報とを重畳した合成画像を生成する合成処理、いわゆるオンスクリーンディスプレイ(OSD)処理に関する情報等を記憶する。文字情報は、患者情報、機器情報及び検査情報等を示す情報である。また、記憶部311は、処理装置3の識別情報を記憶する。ここで、識別情報には、処理装置3の固有情報(ID)、年式およびスペック情報等が含まれる。
また、記憶部311は、処理装置3の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、CD−ROM、DVD−ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)等によって実現されるものであり、有線、無線を問わない。
また、記憶部311は、明るさ目標値に対する露光時間などのシャッターの設定条件を記憶するシャッター設定情報記憶部311aと、表示画像を構成する背景画像や、この背景画像に内視鏡画像等の情報に関する文字情報を重畳した合成画像を生成する合成処理、いわゆるオンスクリーンディスプレイ(OSD)処理に関する情報を記憶するOSD情報記憶部311bとを有する。文字情報は、患者情報、機器情報及び検査情報等を示す情報である。
以上の構成を有する記憶部311は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAM(Random Access Memory)やハードディスク等を用いて実現される。
制御部312は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成され、撮像部244および光源部3aを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御等を行う。制御部312は、記憶部311に記憶されている撮像制御のための制御情報データ(例えば、読み出しタイミング等)や、シャッターデータ生成部309が生成したシャッターデータを、集合ケーブル245に含まれる所定の信号線を介して駆動信号として撮像部244へ送信する。また、制御部312は、表示画像生成部306が生成した表示用の画像信号に応じた画像を表示装置4に表示させる制御を行う。
続いて、光源部3aの構成について説明する。光源部3aは、照明部321と、照明制御部322と、を備える。照明部321は、照明制御部322の制御のもと、被写体(被検体)に対して、異なる露光量の照明光を順次切り替えて出射する。照明部321は、光源321aと、光源ドライバ321bと、を有する。
光源321aは、白色光を出射するLED光源や、一または複数のレンズ等を用いて構成され、LED光源の駆動により光(照明光)を出射する。光源321aが発生した照明光は、ライトガイド241を経由して先端部24の先端から被写体に向けて出射される。また、光源321aは、LED光源や、レーザー光源、キセノンランプ、ハロゲンランプ等のいずれかを用いて実現される。
光源ドライバ321bは、照明制御部322の制御のもと、光源321aに対して電流を供給することにより、光源321aに照明光を出射させる。
照明制御部322は、制御部312からの制御信号(調光信号)に基づいて、光源321aに供給する電力量を制御するとともに、光源321aの駆動タイミングを制御する。
表示装置4は、映像ケーブルを介して処理装置3(表示画像生成部306)から受信した画像信号に対応する表示画像を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。
ユーザは、表示装置4に表示された視差画像を、偏光特性を有する眼鏡を介して観察する。これにより、ユーザは、左眼により左眼用画像を観察し、右眼により右眼用画像を観察することによって、立体画像を観察することができる。
続いて、内視鏡システム1が行う画像処理について説明する。図4は、本発明の一実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。以下、制御部312の制御のもと、各部が動作するものとして説明する。
まず、処理装置3が内視鏡2から撮像部244が生成した内視鏡画像を表す左眼用画像データおよび右眼用画像データを受信すると、画像統合部301が、左眼用画像および右眼用画像を統合した一枚の統合画像データを生成する。(ステップS101)。
ステップS101に続くステップS102において、感度補正部302は、画像統合部301から入力された統合画像に対して、内視鏡2から入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。
ステップS102に続くステップS103において、第1画像処理部303は、感度補正部302から入力された統合画像における左眼用画像および右眼用画像に対して第1画像処理を施す。第1画像処理部303は、上述したように、各画素位置について輝度成分(例えばYCrCbのY成分)の画素値、およびRGBの各色成分の画素値を算出するとともに、画素欠陥補正、光学補正、色補正、オプティカルブラック減算、ノイズリダクション、ホワイトバランス調整、補間処理等の信号処理を施す。
以下、第1信号処理部303により生成された統合画像に基づく表示画像の生成および表示処理(ステップS104A〜S104D)と、第1信号処理部303により算出された画素値に基づくシャッターデータの生成処理(ステップS105A〜S105C)とを並列に行う。
まず、統合画像に基づく表示画像の生成および表示処理について説明する。ステップS104Aにおいて、第2画像処理部304は、入力部310を介して設定入力された設定にしたがって、第1画像処理部303が画像処理を施した統合画像に対してズーム処理や、エンハンス処理などの第2画像処理を施す。
ステップS104Aに続くステップS104Bにおいて、OSD情報合成部305は、内視鏡画像の表示領域を含む背景画像に、内視鏡画像に関する文字情報(OSD情報)を合成した合成画像を生成する。
ステップS104Bに続くステップS104Cにおいて、表示画像生成部306は、OSD情報合成部305により合成処理が施された合成画像を含む画像信号が入力されると、視差画像を生成して合成画像に重畳した後、表示装置4で表示可能な態様の信号となるような信号処理を施した表示画像を含む表示用の画像信号を生成する。なお、ステップ104Cが生成する表示画像は、背景を有しない画像であって、視差画像に文字情報が重畳された画像であってもよい。
ステップS104Cに続くステップS104Dにおいて、制御部312は、OSD情報合成部305により生成された合成画像に、表示画像生成部306が生成した視差画像を重畳して信号処理が施された表示画像を、表示装置4に表示させる。
また、上述した統合画像に基づく表示画像の生成および表示処理(ステップS104A〜S104D)と並行して、第1信号処理部303により算出された画素値に基づくシャッターデータの生成処理を行う。
ステップS105Aにおいて、領域分割部307は、統合画像における左眼用画像および右眼用画像のそれぞれに対して領域分割処理を行う。領域分割部307は、例えば、図3に示すように、左眼用画像および右眼用画像をそれぞれ3×3の九つの領域に分割する。
ステップS105Aに続くステップS105Bにおいて、明るさ測定部308は、領域分割部307が分割した各領域の明るさを検出して、統合画像における左眼用画像および右眼用画像の明るさを測定する。明るさ測定部308は、画素値に基づいて、左眼用画像および右眼用画像の明るさを算出する。
ステップS105Bに続くステップS105Cにおいて、シャッターデータ生成部309は、明るさ測定部308が測定した左眼用画像および右眼用画像の明るさをもとに、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bのシャッターデータを生成する。シャッターデータ生成部309は、上述したように、左眼用画像および右眼用画像の明るさと、設定されている明るさ目標値と、後述するシャッター設定情報記憶部311aに記憶されている設定条件とをもとに、左眼用撮像素子244_1aおよび右眼用撮像素子244_1bの露光時間を算出する。生成されたシャッターデータは、制御部312を介して撮像部244に送信される。この送信されたシャッターデータは、当該フレームの次のフレームの撮像を行う際に適用される。
第1信号処理部303により生成された統合画像に基づく表示画像の生成および表示処理(ステップS104A〜S104D)と、第1信号処理部303により算出された画素値に基づくシャッターデータの生成処理(ステップS105A〜S105C)とが終了すると、制御部312は、新たな画像信号が内視鏡2から入力されたか否かを判断する(ステップS106)。制御部312は、例えば、新たな画像信号が内視鏡2から入力されたと判断すると(ステップS106:Yes)、ステップS101に戻って上述した処理を繰り返す。この際に取得された画像信号は、例えば、ステップS105Cにおいて生成されたシャッターデータに基づいて撮像された画像を含んでいる。これに対し、新たな画像信号は入力されていないと判断すると(ステップS106:No)、上述した画像処理を終了する。
上述した本発明の一実施の形態によれば、感度補正部302、第1画像処理部303、第2画像処理部304および明るさ測定部308を、各々一つの回路を用いて構成し、画像統合部301が統合した一枚の統合画像データを用いて表示画像の生成処理と、明るさ測定処理とを行うようにしたので、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる。
なお、上述した実施の形態では、領域分割部307が、左眼用画像および右眼用画像を分割するものとして説明したが、各画像の明るさを算出できるものであれば、領域分割部307を有しない構成とし、明るさ測定部308が、左眼用画像および右眼用画像の全部または一部の画素値に基づいて明るさを算出するようにしてもよい。
また、上述した実施の形態では、左眼用画像および右眼用画像の明るさをもとに、露光時間(シャッター速度)を制御するものとして説明したが、左眼用画像および右眼用画像の明るさをもとに、光源321aが発する光の強度を制御するようにしてもよいし、露光時間と光の強度を組み合わせて制御するようにしてもよい。この際、左眼用画像および右眼用画像のいずれかを用いて明るさが測定される。
(実施の形態の変形例)
本変形例では、右眼用画像および左眼用画像を統合する画像統合部を、内視鏡側に設ける。図5は、本発明の実施の形態の変形例にかかる内視鏡システムの概略構成を示すブロック図である。
図5に示す内視鏡システム1Aは、被検体内に先端部を挿入することによって被検体内の画像(以下、内視鏡画像ともいう)を撮像する内視鏡2Aと、内視鏡2Aの先端から出射する照明光を発生する光源部3aを有し、内視鏡2Aが撮像した画像信号に所定の信号処理を施すとともに、内視鏡システム1A全体の動作を統括的に制御する処理装置3Aと、処理装置3Aの信号処理により生成された内視鏡画像を表示する表示装置4と、を備える。
内視鏡2Aは、上述した内視鏡2の構成において、先端部24に代えて先端部24Aを備る。先端部24Aは、上述したライトガイド241、照明レンズ242と、左眼用光学系243aおよび右眼用光学系243b、撮像部244に加え、画像統合部246を備える。画像統合部246は、上述した画像統合部301と同様に、撮像部244から入力された左眼用画像データおよび右眼用画像データを統合して一枚の統合画像データを生成する。内視鏡2Aは、画像統合部246が生成した統合画像データを処理装置3Aに送信する。
処理装置3Aは、上述した感度補正部302、第1画像処理部303、第2画像処理部304、OSD情報合成部305、表示画像生成部306、領域分割部307、明るさ測定部308、シャッターデータ生成部309、入力部310、記憶部311、制御部312を備える。
感度補正部302は、内視鏡2Aから入力された統合画像の感度補正を行う。具体的に、感度補正部302は、内視鏡2Aから入力された統合画像に対して、内視鏡2Aから入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。本変形例によっても、内視鏡2Aが有する各撮像素子の感度に応じた補正処理を施すことができる。
その後の表示画像の生成および表示処理、および、シャッターデータの生成処理は、上述した実施の形態と同様であり、図4のフローチャートに従って実行される。
上述した本変形例によれば、上述した実施の形態と同様、感度補正部302、第1画像処理部303、第2画像処理部304および明るさ測定部308を、各々一つの回路を用いて構成し、画像統合部246が統合した一枚の統合画像データを用いて表示画像の生成処理と、明るさ測定処理とを行うようにしたので、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる。
また、上述した本変形例によれば、内視鏡2Aと処理装置3Aとの間の画像データの送受信について、画像統合部246により統合された統合画像データを処理装置3Aに送信するようにしたので、シリアルな画像データを送信することになり、画像データをパラレルに伝送する場合と比して、信号線を削減することができる。これにより、例えば挿入部21を細径化することが可能である。
なお、上述した変形例では、画像統合部246を内視鏡2Aに設けるものとして説明したが、さらに、処理装置3Aが有する構成を、内視鏡2Aに設けて、内視鏡2Aと表示装置4とを直接接続して、視差画像を表示する構成としてもよい。
上述した実施の形態では、左眼用撮像素子244_1aにより得られる左眼用画像、および右眼用撮像素子244_1bにより得られる右眼用画像が、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像であるものとして説明したが、例えば、同一の視野を有する画像であって、照明光の波長帯域が異なる画像や、異なる特性を有するフィルタを通過した光に基づく画像であってもよい。このように、本実施の形態にかかる内視鏡システム1,1Aは、被写体像の特性が異なる複数の画像を処理する構成において、処理装置の回路規模を小さくすることが可能である。また、例えば、双眼型のカプセル型内視鏡が撮像した、異なる被写体が写った異なる視野の画像の信号処理を行う場合でも、カプセル型内視鏡から受信した画像信号の処理を行う処理装置の回路規模を小さくすることが可能である。
また、上述した実施の形態では、処理装置3が、YCbCr色空間に基づく輝度(Y)成分の画素値、およびRGBの各色成分画素値を生成するものとして説明したが、色相(Hue)、彩度(Saturation Chroma)、明度(Value Lightness Brightness)の三つの成分からなるHSV色空間や、三次元空間を用いるL*a*b*色空間等を用いて、色と輝度とに分けた成分の画素値を生成するものであってもよい。
また、上述した実施の形態では、光源部3aからRGBの各色成分を含む白色の照明光が出射され、受光部が照明光による反射光を受光する同時式の照明/撮像方式であるものとして説明したが、光源部3aが、各色成分の光を個別に順次出射して、受光部が、各色成分の光をそれぞれ受光する面順次式の照明/撮像方式であってもよい。
また、上述した実施の形態では、光源部3aが内視鏡2とは別体で構成されているものとして説明したが、例えば、内視鏡2の先端に半導体光源を設ける等、光源装置を内視鏡2に設けた構成であってもよい。さらに、内視鏡2に処理装置3の機能を付与してもよい。
また、上述した実施の形態では、光源部3aが、処理装置3とは一体であるものとして説明したが、光源部3aおよび処理装置3が別体であって、例えば処理装置3の外部に照明部321および照明制御部322が設けられているものであってもよい。また、光源321aが先端部24の先端に設けられているものであってもよい。
また、上述した実施の形態では、本発明にかかる内視鏡システムは、観察対象が被検体内の生体組織等である軟性の内視鏡2を用いた内視鏡システム1であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管等の光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
以上のように、本発明にかかる画像処理システムおよび画像処理装置は、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくするのに有用である。