JP2019080114A - 撮像装置 - Google Patents

Abstract

【課題】観察するのに十分な画質を確保すること。【解決手段】実施形態の撮像装置は、イメージセンサと、相対位置変更部と、画像生成部とを備える。イメージセンサは、行列状に配置され、一定周期で生じる受光期間において、光軸に沿って入射された光を受けることにより電気信号を発生する複数の画素を含む。相対位置変更部は、前記複数の画素が光を受けない非受光期間において、前記光軸と前記イメージセンサの相対位置を変更する。画像生成部は、前記相対位置の変更前と変更後それぞれにおいて発生した前記電気信号に基づいて、画像を生成する。【選択図】図１

Description

本発明の実施形態は、撮像装置に関する。

撮像装置、例えば、内視鏡装置では、以前は、ＣＣＤ（Charge Coupled Device）イメージセンサが主流であったが、近年、低コスト化、単電源化、低消費電力化等の利点を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが主流になっている。ＣＭＯＳイメージセンサでは、ローリングシャッタ方式が一般的に多く採用されているが、グローバルシャッタ方式が採用される場合もある。

特開平６−２２５３１７号公報 特開平１１−３３１８５７号公報

本発明が解決しようとする課題は、観察するのに十分な画質を確保することができる撮像装置を提供することである。

実施形態の撮像装置は、イメージセンサと、相対位置変更部と、画像生成部とを備える。イメージセンサは、行列状に配置され、一定周期で生じる受光期間において、光軸に沿って入射された光を受けることにより電気信号を発生する複数の画素を含む。相対位置変更部は、前記複数の画素が光を受けない非受光期間において、前記光軸と前記イメージセンサの相対位置を変更する。画像生成部は、前記相対位置の変更前と変更後それぞれにおいて発生した前記電気信号に基づいて、画像を生成する。

図１は、第１の実施形態に係る撮像装置を備える撮像システムの構成例を示す図である。 図２は、第１の実施形態に係るイメージセンサの画素の配置および相対位置変更の一例を示す図である。 図３は、第１の実施形態に係るイメージセンサの画素の配置および相対位置変更の他の例を示す図である。 図４は、第１の実施形態に係る相対位置変更機構の一例を示す図である。 図５は、第１の実施形態に係る相対位置変更機構の他の例を示す図である。 図６は、比較例に係る撮像装置の動作の一例を説明するための図である。 図７は、第１の実施形態に係る撮像装置の動作の一例を説明するための図である。 図８は、第２の実施形態に係る撮像装置を備える撮像システムの構成例を示す図である。 図９は、ベイヤフィルタの配色の例を示す図である。

以下、図面を参照して、撮像装置の各実施形態を説明する。なお、実施形態は、以下の内容に限られるものではない。また、１つの実施形態や変形例に記載された内容は、原則として他の実施形態や変形例にも同様に適用される。

（第１の実施形態）
図１は、第１の実施形態に係る撮像装置１０を備える撮像システム１の構成例を示す図である。図１に示されるように、第１の実施形態に係る撮像システム１は、撮像装置１０と、光源３０と、光ファイバ３１とを備える。

撮像装置１０は、例えば、医療用の硬性内視鏡として用いられ、被検体１００の体内を撮像する装置である。撮像装置１０は、スコープ１１と、カメラヘッド１２と、カメラケーブル１３と、ＣＣＵ（Camera Control Unit）１４とを備える。

スコープ１１は、撮像が行われる際に、被検体１００の体内に挿入される。スコープ１１の先端には、対物レンズ１１ａが設けられている。スコープ１１は、屈曲しない硬性を有する。

カメラヘッド１２は、色分解光学系１２ａと、イメージセンサ１２ｂ、１２ｃ、１２ｄと、イメージセンサ制御回路１２ｇと、相対位置変更機構１２ｈとを備える。色分解光学系１２ａは、例えば、３分解ダイクロイックプリズムである。色分解光学系１２ａは、例えば、入射された光を赤色（Ｒ）の光、緑色（Ｇ）の光及び青色（Ｂ）の光に分光する。イメージセンサ１２ｂ、１２ｃ、１２ｄは、例えば、ＣＭＯＳイメージセンサである。イメージセンサ１２ｂは、例えば、赤色に対応し、色分解光学系１２ａの赤色の分光の出射面に貼り付けられる。イメージセンサ１２ｃは、例えば、緑色に対応し、色分解光学系１２ａの緑色の分光の出射面に貼り付けられる。イメージセンサ１２ｄは、例えば、青色に対応し、色分解光学系１２ａの青色の分光の出射面に貼り付けられる。イメージセンサ１２ｂ、１２ｃ、１２ｄの撮像面が貼り付けられる色分解光学系１２ａの端面は、光路上で対物レンズ１１ａの結像面と略一致するように形成されている。

イメージセンサ１２ｂ、１２ｃ、１２ｄのそれぞれは、複数の画素（撮像要素）を備える。複数の画素は、各イメージセンサ１２ｂ、１２ｃ、１２ｄの撮像面において行列状に配置される。イメージセンサ１２ｂ、１２ｃ、１２ｄの各画素は、イメージセンサ制御回路１２ｇによる駆動制御により、光を受光することにより映像信号（電気信号）を発生し、発生した映像信号を出力する。例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄの各画素は、光源３０により被検体１００の体内組織に照射された光の戻り光（反射光）を受光することにより、映像信号を出力する。

イメージセンサ１２ｂ、１２ｃ、１２ｄは、例えば、複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に映像信号を出力する処理を、１フレーム（画像）毎に繰り返すローリングシャッタ方式のイメージセンサである。ここで、露光とは、例えば、画素が電荷を蓄積可能となることを意味する。受光とは、実際に光を受けて電荷を蓄積することを意味する。イメージセンサ１２ｂ、１２ｃ、１２ｄは、例えば、カメラケーブル１３を介して、ＣＣＵ１４に映像信号を出力する。なお、イメージセンサ１２ｂ、１２ｃ、１２ｄからは、アナログ信号又はデジタル信号の映像信号が出力される。

イメージセンサ制御回路１２ｇは、後述される制御回路１４ａから出力される制御信号、並びに、後述するタイミング信号発生回路１４ｃから出力される水平同期信号及び垂直同期信号等の各種の同期信号に基づいてイメージセンサ１２ｂ、１２ｃ、１２ｄを駆動制御する。

相対位置変更機構１２ｈは、制御回路１４ａから出力される制御信号、並びに、タイミング信号発生回路１４ｃから出力される同期信号に基づいて対物レンズ１１ａからの入射光の光軸とイメージセンサ１２ｂ、１２ｃ、１２ｄの相対位置を周期的に変更（光軸シフト）する。相対位置変更機構１２ｈは、例えば、モータやアクチュエータ等の駆動機構を含む。相対位置変更機構１２ｈは、相対位置変更部の一例である。

図２は、第１の実施形態に係るイメージセンサ１２ｂ、１２ｃ、１２ｄの画素の配置および相対位置変更の一例を示す図である。図２の左側では、相対位置変更前のイメージセンサ１２ｂ、１２ｃ、１２ｄの画素の配置（入射光による結像に対する相対的な位置）が模式的に示されている。この例では、空間画素ずらし法により、緑色（Ｇｃｈ）に対応するイメージセンサ１２ｃの画素に対して、赤色（Ｒｃｈ）に対応するイメージセンサ１２ｂの画素と青色（Ｂｃｈ）に対応するイメージセンサ１２ｄの画素とが、縦方向及び横方向に半画素（１／２画素）ずれて配置されている。相対位置変更機構１２ｈは、図２の左側に示される状態から、相対位置変更（光軸シフト）により、図２の右側に示されるように、全ての画素を縦方向及び横方向に半画素ずらす。すなわち、相対位置変更機構１２ｈは、複数の画素の２次元の並びの斜め方向に半画素に対応する距離だけ、光軸とイメージセンサ１２ｂ、１２ｃ、１２ｄの相対位置を変更する。相対位置の復帰により、相対位置は、図２の右側の状態から左側の状態に戻る。

図３は、第１の実施形態に係るイメージセンサ１２ｂ、１２ｃ、１２ｄの画素の配置および相対位置変更の他の例を示す図である。図３の左側では、相対位置変更前のイメージセンサ１２ｂ、１２ｃ、１２ｄの画素の配置（入射光による結像に対する相対的な位置）が模式的に示されている。この例では、緑色（Ｇｃｈ）に対応するイメージセンサ１２ｃの画素と、赤色（Ｒｃｈ）に対応するイメージセンサ１２ｂの画素と、青色（Ｂｃｈ）に対応するイメージセンサ１２ｄの画素とが、同じ位置に配置されている。すなわち、空間画素ずらし法は用いられていない。相対位置変更機構１２ｈは、図３の左側に示される状態から、相対位置変更（光軸シフト）により、図３の右側に示されるように、全ての画素を縦方向及び横方向に半画素ずらす。相対位置の復帰により、相対位置は、図３の右側の状態から左側の状態に戻る。

図４は、第１の実施形態に係る相対位置変更機構１２ｈの一例を示す図である。図４は、例えば、光軸と交差する位置に配置された、ガラス等の光透過性のある材料により形成された平行板１２ｉにより光軸シフトが行われる場合を示している。図１のカメラヘッド１２の場合、例えば、色分解光学系１２ａとスコープ１１の間の光軸と交差する位置に平行板１２ｉが配置される。図４の上段では、平行板１２ｉが入射光の光軸に垂直に維持され、入射光はそのままの状態で色分解光学系１２ａに入射する。図４の下段では、平行板１２ｉが相対位置変更機構１２ｈの駆動制御により傾けられることで、入射光の光軸が平行移動され、入射光は色分解光学系１２ａの異なる位置に入射する。

図５は、第１の実施形態に係る相対位置変更機構１２ｈの他の例を示す図である。図５は、例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄが貼り付けられた色分解光学系１２ａ自体の平行移動により光軸シフトが行われる場合を示している。図１のカメラヘッド１２の場合、例えば、色分解光学系１２ａを支持する台座等に機械的な駆動機構が設けられる。図５の上段では、入射光は例えば色分解光学系１２ａの所定の位置（中心部等）を中心に入射する。図５の下段では、色分解光学系１２ａが相対位置変更機構１２ｈの駆動制御により平行移動されることで、入射光の光軸が相対的に平行移動され、入射光は色分解光学系１２ａの異なる位置に入射する。

図１に戻り、カメラケーブル１３は、カメラヘッド１２とＣＣＵ１４との間で映像信号、制御信号及び同期信号を送受信するための信号線を収容するケーブルである。

ＣＣＵ１４は、カメラヘッド１２から出力された映像信号に基づいて画像データを生成し、ＣＣＵ１４に接続されたディスプレイ１０１に画像データを出力する。ＣＣＵ１４は、制御回路（ＭＰＵ：Micro-Processing Unit）１４ａと、画像処理回路（ＤＳＰ：Digital Signal Processor）１４ｂと、タイミング信号発生回路（ＴＧ：Timing Generator）１４ｃと、出力回路（Ｏｕｔｐｕｔ Ｉ／Ｆ）１４ｄと、記憶回路１４ｅとを備える。イメージセンサ１２ｂ、１２ｃ、１２ｄがアナログ信号の映像信号を出力する場合、ＣＣＵ１４は、図示しないＡＤ（Analog to Digital）コンバータ等を備える。かかるＡＤコンバータは、例えば、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力されたアナログ信号の映像信号をデジタル信号の映像信号に変換する。すなわち、ＡＤコンバータは、アナログ形式の映像信号をデジタル形式の映像信号に変換する。

制御回路１４ａは、撮像装置１０の各種の構成要素を制御する。例えば、制御回路１４ａは、イメージセンサ制御回路１２ｇ、相対位置変更機構１２ｈ、画像処理回路１４ｂ及びタイミング信号発生回路１４ｃに対して制御信号を出力して、カメラヘッド１２、画像処理回路１４ｂやタイミング信号発生回路１４ｃを制御する。制御回路１４ａは、例えば、記憶回路１４ｅに記憶された撮像装置１０の制御プログラムを読み込み、読み込んだ制御プログラムを実行することで、撮像装置１０の各種の構成要素を制御する制御処理を実行する。或いは、制御回路１４ａは、内部に図示しない記憶回路を有しており、当該記憶回路に記憶された制御プログラムを実行する。

画像処理回路１４ｂは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｃから出力された水平同期信号及び垂直同期信号等の各種の同期信号に基づいて、デジタル信号である映像信号に対して各種の信号処理を施す。例えば、画像処理回路１４ｂは、イメージセンサ１２ｂ、１２ｃ、１２ｄからデジタル信号の映像信号が出力される場合には、この映像信号に対して各種の信号処理を施す。又は、画像処理回路１４ｂは、イメージセンサ１２ｂ、１２ｃ、１２ｄからアナログ信号の映像信号が出力される場合には、ＡＤコンバータによりデジタル形式に変換された映像信号に対して各種の信号処理を施す。画像処理回路１４ｂは、画像生成部の一例である。

画像処理回路１４ｂは、信号処理として、イメージセンサ１２ｂ、１２ｃ、１２ｄの配置に空間画素ずらし法（図２の左側に示されたような配置）が用いられている場合、画素のずれを考慮した画素補間処理を行う。この画素補間処理は、例えば、モアレの除去のために行われるものであり、空間的にずれた位置で撮像された信号を処理に用いることで、モアレの原因となる偽信号成分の打消しが可能となる。また、画像処理回路１４ｂは、相対位置変更機構１２ｈにより相対位置を変更する前と後の映像信号に基づき、画素補間処理を行う。

画像処理回路１４ｂは、映像信号に対して信号処理が施された結果得られたＲＧＢ信号を、ディスプレイ１０１に表示される画像を示す画像データとして出力回路１４ｄに出力する。このように、画像処理回路１４ｂは、デジタル形式に変換された映像信号に基づいて、画像データを生成して出力する。

タイミング信号発生回路１４ｃは、図示しない発振回路により生成されたクロック信号を基に水平同期信号及び垂直同期信号や、撮像装置１０全体の同期をとるためのその他の同期信号等の各種の同期信号を生成する。そして、タイミング信号発生回路１４ｃは、生成された各種の同期信号をイメージセンサ制御回路１２ｇ、相対位置変更機構１２ｈ、制御回路１４ａや画像処理回路１４ｂに出力する。

また、タイミング信号発生回路１４ｃは、クロック信号、及び、制御回路１４ａから出力された制御信号を基に、光源制御信号を生成する。光源制御信号は、光源３０から出射される光を制御するとともに撮像装置１０全体の同期をとるための制御信号である。ここでは、相対位置変更機構１２ｈの制御タイミングと連動し、相対位置の変更と復帰の過渡期において光源３０を消灯させ、相対位置の安定期において点灯するように制御している。また、ローリングシャッタ方式のイメージセンサを用いる場合、複数の画素の各行の露光期間に共通するグローバル露光期間に光源３０の点灯期間を同期させることで、映像信号の歪みを防止するようにしている。そして、タイミング信号発生回路１４ｃは、生成した光源制御信号を光源３０に出力する。タイミング信号発生回路１４ｃは、例えば、ＦＰＧＡ（Field Programmable Gate Array）により実現される。制御回路１４ａ、タイミング信号発生回路１４ｃ及びイメージセンサ制御回路１２ｇは、イメージセンサ駆動部の一例である。

出力回路１４ｄは、画像処理回路１４ｂから出力されたＲＧＢ信号（画像データ）をディスプレイ１０１に出力する。これにより、ディスプレイ１０１は、ＲＧＢ信号に基づいた画像を表示する。出力回路１４ｄは、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）ドライバＩＣ（Integrated Circuit）やＳＤＩ（Serial Digital Interface）ドライバＩＣなどにより実現される。

記憶回路１４ｅは、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。記憶回路１４ｅは、各種のプログラムを記憶する。例えば、記憶回路１４ｅは、制御回路１４ａが内部に記憶回路を有していない場合、制御回路１４ａにより実行される制御プログラムを記憶する。また、記憶回路１４ｅには、画像処理回路１４ｂにより映像信号が格納される。

光源３０は、光源制御信号に基づいて、白色光を出射する。光源３０は、駆動回路３０ａと、白色ＬＥＤ（Light Emitting Diode）３０ｂとを備える。駆動回路３０ａは、タイミング信号発生回路１４ｃから出力される光源制御信号に基づいて、白色ＬＥＤ３０ｂを駆動させて点灯させる駆動制御を行う。白色ＬＥＤ３０ｂは、駆動回路３０ａによる駆動制御により、白色光を出射する。白色光は、例えば、可視光である。光ファイバ３１は、光源３０からの白色光をスコープ１１の先端部に導いて、スコープ１１の先端部から出射させる。

また、本実施形態では、イメージセンサ１２ｂ、１２ｃ、１２ｄとして、いわゆるマルチフレーム露光が可能なイメージセンサが用いられる。すなわち、本実施形態では、イメージセンサ１２ｂ、１２ｃ、１２ｄの露光期間は、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間と同一である。そして、制御回路１４ａは、露光期間よりも、読み出し期間が短くなるようにイメージセンサ１２ｂ、１２ｃ、１２ｄを制御するための制御信号をイメージセンサ制御回路１２ｇに出力する。

具体例を挙げて説明すると、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレートを、Ａ［ｆｐｓ（frame per second）］とする。この場合、読み出し期間を、１／（Ｍ・Ａ）［ｓ］とすることが可能なイメージセンサを、撮像装置１０のイメージセンサ１２ｂ、１２ｃ、１２ｄとして用いる。すなわち、１／(Ｍ・ｎ・Ａ)［ｓ］毎に、各行の映像信号を出力することが可能なイメージセンサをイメージセンサ１２ｂ、１２ｃ、１２ｄとして用いる。ただし、ただし、「Ｍ」は、１よりも大きい数であり、「ｎ」は、イメージセンサ１２ｂ、１２ｃ、１２ｄの画素の行数である。以下、Ｍ＝２の場合を例に挙げて説明するが、Ｍは、２とは異なる数であって１よりも大きい数であってもよい。

そして、制御回路１４ａは、露光期間１／Ａ［ｓ］よりも短い読み出し期間１／（２Ａ）［ｓ］で１フレームの映像信号をイメージセンサ１２ｂ、１２ｃ、１２ｄに出力させるための制御信号をイメージセンサ制御回路１２ｇに出力する。

後述する例では、Ａ＝６０の場合を例に挙げて説明する。つまり、露光期間と、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間とが同一の１／６０［ｓ］であり、読み出し期間が１／１２０［ｓ］である場合とする。

以上、第１の実施形態に係る撮像システム１の撮像装置１０の構成例について説明した。ここで、比較例に係る撮像装置について説明する。比較例に係る撮像装置は、上述した第１の実施形態における相対位置変更機構１２ｈを有さず、入射光の光軸とイメージセンサ１２ｂ、１２ｃ、１２ｄの相対位置の変更を行わない。また、比較例に係る撮像装置は、光源３０による点灯を連続して行い、点灯・消灯の繰り返しは行わない。また、比較例に係る撮像装置は、相対位置の変更が行われないことに対応し、画像処理回路１４ｂにおける信号処理において、相対位置を変更する前と後の映像信号に基づく画素補間処理を行わない。ただし、比較例は、図２の左側に示されたような３板式における空間画素ずらし法を用いているものとし、画像処理回路１４ｂにおける信号処理において、画素のずれを考慮した画素補間処理を行うものとする。更に、比較例は、いわゆるマルチフレーム露光は行わず、１フレーム露光を行うものとする。

図６は、比較例に係る撮像装置の動作の一例を説明するための図である。図６には、比較例に係る撮像装置の光源制御信号と、イメージセンサが備える複数の画素の各行の露光タイミングと、イメージセンサから出力される映像信号の出力タイミングと、撮像装置から出力される映像信号の出力タイミングとの関係の一例が示されている。図６に示されるように、比較例に係る撮像装置では、光源制御信号は撮像の行われる間は常に点灯を指示する値であり、光源は点灯の状態に維持される。また、１フレーム目の露光タイミングとして、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。比較例に係る撮像装置では、露光期間は、１／６０［ｓ］である。

そして、図６に示されるように、比較例に係る撮像装置では、露光が終了した行から順に映像信号が出力される。すなわち、最初の行から最後の行に向かって行毎に、１フレーム目の映像信号が順々に出力される。ここで、比較例に係る撮像装置では、イメージセンサから１フレームの映像信号が出力される期間（読み出し期間）は、露光期間と同じ１／６０［ｓ］である。そして、図６に示されるように、２フレーム目以降も同様の処理が行われる。

ここで、比較例に係る撮像装置では、３板式における空間画素ずらし法が用いられ、画素のずれを考慮した画素補間処理が行われる。そのため、赤色、緑色、青色の比率が同じになる無彩色に近い画像についてはモアレが有効に除去される。しかし、無彩色から遠ざかるほどモアレ除去の効果は小さくなり、画質の低下が発生してしまう場合がある。

また、比較例に係る撮像装置では、イメージセンサは、複数の画素の全ての行において、光を受光する期間（受光期間）が露光期間と同じ期間である。そのため、最初の行から最後の行に向かって、各行の受光期間が順々に時間軸方向にずれている。このように、比較例に係る撮像装置では、行毎に受光期間が異なるため、動きの速い被写体については画像に歪みが発生してしまう場合がある。

その他の比較例として、イメージセンサに３板式のデュアルグリーン方式や４板撮像方式が適用されるものが考えられる。３板式のデュアルグリーン方式は、緑色の分光に対して互いに半画素ずらされた２枚のイメージセンサを用い、赤色と青色についてはフィルタにより１枚のイメージセンサを兼用するようにしたものであり、「Ｇ１／Ｇ２／ＲＢ」と略記できる。４板撮像方式は、緑色の分光に対して互いに半画素ずらされた２枚のイメージセンサを用い、赤色と青色についてもそれぞれ１枚ずつのイメージセンサを用いるようにしたものであり、「Ｇ１／Ｇ２／Ｒ／Ｂ」と略記できる。

ここで、３板式のデュアルグリーン方式では、緑色と無彩色の画像についてはモアレ除去を行うことができるが、その他の色、例えば赤色又は青色の単色系については効果が小さいと共に、赤色と青色が１枚のイメージセンサで兼用されるため、赤色と青色の画素数が少なく、解像度が低下するという問題がある。４板撮像方式では、緑色と無彩色の画像についてはモアレ除去を行うことができるが、その他の色、例えば赤色又は青色の単色系については効果が小さいという問題がある。また、いずれの比較例も、ローリングシャッタ方式に起因する画像の歪みを解消することはできない。このように、比較例は、画像を観察する医師等のユーザにとって、観察するのに画質が十分でないという問題がある。

そこで、第１の実施形態に係る撮像装置１０は、上述した構成のもと、ユーザが観察するのに十分な画質を確保することができるように、以下の動作を行う。

図７は、第１の実施形態に係る撮像装置１０の動作の一例を説明するための図である。図７には、第１の実施形態に係る撮像装置１０のタイミング信号発生回路１４ｃから光源３０に与えられる光源制御信号と、相対位置変更機構１２ｈによる相対位置変更（光軸シフト）の状態と、イメージセンサ１２ｂ、１２ｃ、１２ｄが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｂ、１２ｃ、１２ｄから出力される映像信号の出力タイミングと、出力回路１４ｄから出力される映像信号の出力タイミングとの関係の一例が示されている。

タイミング信号発生回路１４ｃから光源３０に与えられる光源制御信号は、例えば、１／６０［ｓ］の周期の矩形信号であり、１／１２０［ｓ］毎にローレベルとハイレベルの信号出力を繰り返す。例えば、図７に示された時刻ｔ０から時刻ｔ１の間は消灯を指示するローレベルの信号となり、時刻ｔ１から時刻ｔ２の間は点灯を指示するハイレベルの信号となり、その後も動作中はこれが繰り返される。光源３０の駆動回路３０ａは、光源制御信号に基づいて、光源制御信号がハイレベルの期間のみ、白色ＬＥＤ３０ｂに白色光を出射させる。

相対位置変更機構１２ｈによる相対位置変更（光軸シフト）は、例えば、１／６０［ｓ］の周期で行われ、シフト状態（0.5pixel shift）への移行とノーマル状態（No shift）への復帰とが繰り返される。例えば、図７に示された時刻ｔ０でシフト状態への移行が開始され、時刻ｔ１までに移行が完了する。また、時刻ｔ２の経過の後にノーマル状態への復帰が開始され、時刻ｔ３までに復帰が完了する。

イメージセンサ１２ｂ、１２ｃ、１２ｄが備える複数の画素の各行の露光タイミングは、例えば、倍速の２フレーム露光により、１／１２０［ｓ］のフレームの２個分の１／６０［ｓ］が１フレームとして用いられている。例えば、図７に示された時刻ｔ０から時刻ｔ２が、あるフレームの最初の行の露光期間であり、その後も１行毎に順次露光が開始され、時刻ｔ１から時刻ｔ３がそのフレームの最後の行の露光期間である。なお、光源制御信号により、この露光期間のうち時刻ｔ１から時刻ｔ２だけが受光期間（Shift0）となり、この期間はイメージセンサ１２ｂ、１２ｃ、１２ｄの複数の画素の各行の露光期間に共通する期間（グローバル露光期間）である。そのため、被写体の動きが速い場合であっても、画像の歪みが防止される。また、あるフレームの露光期間に続いて、次のフレームの露光期間が開始し、これらが繰り返される。すなわち、あるフレームの最初の行の露光が終了する時刻ｔ２から次のフレームの最初の行の露光が開始する。このフレームにおける受光期間はNormal1で表されている。その次のフレームの受光期間はShift1、その次のフレームの受光期間はNormal2で表されている。

イメージセンサ１２ｂ、１２ｃ、１２ｄから出力される映像信号の出力タイミングは、例えば、フレームの最初の行における露光の終了時点から最後の行の露光の終了時点までである。例えば、図７に示された最初のフレームについては、時刻ｔ２から時刻ｔ３の期間にイメージセンサ１２ｂ、１２ｃ、１２ｄから映像信号（Shift0）が出力される。イメージセンサ１２ｂ、１２ｃ、１２ｄから出力された映像信号は、続くフレームの映像信号を処理する際において使用されるため、少なくとも次のフレームについての処理が行われるまでは記憶回路１４ｅにより記憶される。次のフレームにおける映像信号はNormal1で表されている。その次のフレームの映像信号はShift1、その次のフレームの映像信号はNormal2で表されている。

撮像装置１０の出力として出力回路１４ｄから出力される映像信号は、相対位置変更（光軸シフト）が行われない状態でイメージセンサ１２ｂ、１２ｃ、１２ｄから取得された映像信号と、相対位置変更（光軸シフト）が行われた状態でイメージセンサ１２ｂ、１２ｃ、１２ｄから取得された映像信号とから、画素補間処理により得られた映像信号である。出力回路１４ｄから出力される映像信号の出力タイミングは、イメージセンサ１２ｂ、１２ｃ、１２ｄから映像信号が出力されてから次のフレームの映像信号が出力されるまでの間が１フレーム分とされる。図７の例では、時刻ｔ２から時刻ｔ４において、映像信号Video0（(Normal0+Shift0)/2）が出力されている。(Normal0+Shift0)/2は映像信号Normal0と映像信号Shift0の２つから画素補間処理により得られた映像信号であることを示している。なお、最初のフレームであるため、ノーマル状態の映像信号Normal0は存在せず、映像信号Video0は、時刻ｔ２から時刻ｔ３の間にイメージセンサ１２ｂ、１２ｃ、１２ｄから取得された映像信号Shift0だけに基づくものとなる。また、時刻ｔ４から時刻ｔ６において、時刻ｔ２から時刻ｔ３の間にイメージセンサ１２ｂ、１２ｃ、１２ｄから取得された映像信号Shift0と、時刻ｔ４から時刻ｔ５の間にイメージセンサ１２ｂ、１２ｃ、１２ｄから取得された映像信号Normal1に基づく映像信号Video1（(Normal1+Shift0)/2）が出力されている。続くフレームについても同様であり、映像信号Video2（(Normal1+Shift1)/2）、映像信号Video3（(Normal2+Shift1)/2）が順に出力される。

画像処理回路１４ｂにより行われる画素補間処理により、モアレが有効に除去され、高画質化が図られる。すなわち、相対位置の変更により得られた半画素ずれた位置の信号が用いられることで、全ての色についてモアレの除去が可能となり、高画質化が図られる。別言すれば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３板式の場合、相対位置の変更により、疑似的に６板式（Ｇ１／Ｇ２／Ｒ１／Ｒ２／Ｂ１／Ｂ２）が実現されることになり、無彩色に限られずに全ての色の映像信号に対してモアレの除去が可能になる。

（第１の実施形態の変形例）
前述した第１の実施形態では、硬性内視鏡に適用された例について説明したが、スコープが軟性を有する軟性内視鏡に適用されるものでもよい。また、適用対象は、医療用途に限られない。

また、前述した第１の実施形態では、ローリングシャッタ方式のイメージセンサを用いた例について説明したが、複数の画素の各行について共通するグローバル露光期間を有するグローバルシャッタ方式のイメージセンサを用いてもよい。グローバルシャッタ方式のイメージセンサは、複数の画素の露光を同時に開始し、複数の画素で発生した電気信号を一括して出力する処理を、１フレーム毎に繰り返す。

また、前述した第１の実施形態では、外部照明がない状態では受光が行われない体内等の空間の撮像を想定しているが、外光がある空間の撮像に適用することも可能である。この場合、例えば、カメラヘッド１２において、スコープ１１の対物レンズ１１ａから色分解光学系１２ａに向かう光軸の経路の途中に機械式又は電気式のシャッタが設けられる。機械式のシャッタは、例えば、光路を開閉（透過・遮光）する稼働部材により構成される。電気式のシャッタは、例えば、透過・遮光の切り替えが可能な液晶フィルタにより構成される。外光がある空間でのみ使用される場合、光源３０及び光ファイバ３１は不要となる。

そして、シャッタは、タイミング信号発生回路１４ｃにより発生される光源制御信号と同じタイミングの信号に基づき、相対位置変更機構１２ｈによる相対位置変更が行われる過渡期は遮光を行い、相対位置変更が完了して受光が行われるグローバル露光期間にのみ透過を行う。

（第２の実施形態）
次に、第２の実施形態に係る撮像装置について説明する。第２の実施形態において、第１の実施形態と同様の構成については、同一の符号を付して説明を省略する場合がある。第２の実施形態に係る撮像装置は、カメラヘッドに単板式のイメージセンサを用いた点が第１の実施形態と異なる。

図８は、第２の実施形態に係る撮像装置１０を備える撮像システム１の構成例を示す図である。図８において、カメラヘッド１２は、ベイヤフィルタ１２ｅと、イメージセンサ１２ｆと、イメージセンサ制御回路１２ｇと相対位置変更機構１２ｈとを備える。ベイヤフィルタ１２ｅは、イメージセンサ１２ｆの露光面に配置され、イメージセンサ１２ｆの各画素に入射する色を赤色・緑色・青色等のいずれかに限定するものである。図９は、ベイヤフィルタ１２ｅの配色の例を示す図であり、隣接する４つの画素のうち、２つが緑色に割り当てられ、残りの２つが赤色及び青色に割り当てられている。

図８に戻り、イメージセンサ１２ｆは、例えば、ＣＭＯＳイメージセンサである。イメージセンサ１２ｆの撮像面は、スコープ１１の対物レンズ１１ａの結像面と略一致するように配置される。イメージセンサ１２ｆは、複数の画素（撮像要素）を備える。複数の画素は、イメージセンサ１２ｆの撮像面において行列状に配置される。イメージセンサ１２ｆの各画素は、イメージセンサ制御回路１２ｇによる駆動制御により、光を受光することにより映像信号（電気信号）を発生し、発生した映像信号を出力する。例えば、イメージセンサ１２ｆの各画素は、光源３０により被検体１００の体内組織に照射された光の戻り光（反射光）を受光することにより、映像信号を出力する。

イメージセンサ１２ｆは、前述したローリングシャッタ方式又はグローバルシャッタ方式のいずれであってもよい。また、イメージセンサ１２ｆからは、アナログ信号又はデジタル信号の映像信号が出力される。

イメージセンサ制御回路１２ｇは、前述した第１の実施形態と同様であるが、制御対象が単板式のイメージセンサ１２ｆとなるため、対象の違いに応じた制御の違いは存在する。

相対位置変更機構１２ｈは、前述した第１の実施形態と同様であり、相対位置変更（光軸シフト）の具体的手法についても図４又は図５に示されたものと同様である。なお、色分解光学系１２ａ及びイメージセンサ１２ｂ、１２ｃ、１２ｄがベイヤフィルタ１２ｅ及びイメージセンサ１２ｆに置き換わる。ただし、前述した第１の実施形態では、斜め方向（縦方向及び横方向）に半画素（１／２画素）に対応する距離だけずらしていたが、図９に示されたような配色のベイヤフィルタ１２ｅを伴ったイメージセンサ１２ｆに対しては、斜め方向に半画素に対応する距離ずらす場合に加え、斜め方向、横方向又は縦方向に１画素に対応する距離ずらすことが効果的である。すなわち、図９に示されたような配色では、１画素おきに同じ色となっているため、１画素ずらすことで同じ色について中間的な位置の情報を取得できるからである。

図８において、ＣＣＵ１４の構成及び動作については、前述した第１の実施形態と同様であるが、制御対象が単板式のイメージセンサ１２ｆとなるため、対象の違いに応じた制御の違いは存在する。例えば、イメージセンサ１２ｆの解像度と同じ解像度のＲＧＢの映像信号を取得する場合、画像処理回路１４ｂにより、画素毎に、当該画素の周辺の画素から出力される映像信号に基づいて、当該画素で直接得られない残りの２色の各映像信号を推定する推定処理が実行される。また、相対位置変更の画素ずらしの量が変わる場合は、画素補間処理におけるパラメータに変更が生ずる。

第２の実施形態によれば、単板式のイメージセンサ１２ｆが用いられることにより、カメラヘッド１２を小型に構成することができ、その小型の筐体において、高画質化が図られる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 撮像システム
１０ 撮像装置
１２ｂ〜１２ｄ、１２ｆ イメージセンサ
１２ｈ 相対位置変更機構
１４ｂ 画像処理回路

Claims (8)

1. 行列状に配置され、一定周期で生じる受光期間において、光軸に沿って入射された光を受けることにより電気信号を発生する複数の画素を含むイメージセンサと、
   前記複数の画素が光を受けない非受光期間において、前記光軸と前記イメージセンサの相対位置を変更する相対位置変更部と、
   前記相対位置の変更前と変更後それぞれにおいて発生した前記電気信号に基づいて、画像を生成する画像生成部と、
   を備えた撮像装置。
2. 前記イメージセンサは、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のセンサであり、
   前記受光期間と、前記複数の画素の各行の露光期間に共通するグローバル露光期間とが同期するように、前記イメージセンサを駆動させるイメージセンサ駆動部を備えた、請求項１に記載の撮像装置。
3. 前記イメージセンサは、前記複数の画素の露光を同時に開始し、前記複数の画素で発生した前記電気信号を一括して出力する処理を、１フレーム毎に繰り返す、グローバルシャッタ方式のセンサであり、
   前記受光期間と、前記露光の期間とが同期するように、前記イメージセンサを駆動させるイメージセンサ駆動部を備えた、請求項１に記載の撮像装置。
4. 前記受光期間に光を発する光源を備え、
   前記複数の画素は、前記光源から発せられた光の反射光を受光する、請求項１〜３のいずれか一つに記載の撮像装置。
5. 前記イメージセンサは、緑、赤及び青の各色に分光された光をそれぞれ受光する３板式のセンサであり、
   前記相対位置変更部は、前記複数の画素の２次元の並びの斜め方向に半画素に対応する距離だけ前記光軸と前記イメージセンサの相対位置を変更する、請求項１〜４のいずれか一つに記載の撮像装置。
6. 前記イメージセンサは、前記複数の画素に緑、赤又は青のいずれかの色のフィルタが配置された単板式のセンサであり、
   前記相対位置変更部は、前記複数の画素の２次元の並びの縦、横又は斜めの方向に１画素に対応する距離だけ前記光軸と前記イメージセンサの相対位置を変更する、請求項１〜４のいずれか一つに記載の撮像装置。
7. 前記相対位置変更部は、前記光軸と交差する位置に配置された光透過性のある平板を駆動することにより、前記光軸と前記イメージセンサの相対位置を変更する、請求項１〜６のいずれか一つに記載の撮像装置。
8. 前記相対位置変更部は、前記イメージセンサを駆動することにより、前記光軸と前記イメージセンサの相対位置を変更する、請求項１〜６のいずれか一つに記載の撮像装置。

Images