JP2014183909A

JP2014183909A - 撮像システム

Info

Publication number: JP2014183909A
Application number: JP2013059736A
Authority: JP
Inventors: Wataru Ono; 渉大野
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2013-03-22
Filing date: 2013-03-22
Publication date: 2014-10-02
Anticipated expiration: 2033-03-22
Also published as: JP6099445B2

Abstract

【課題】撮像素子で露光してから電荷を読み出すまでの一連の処理をライン毎に異なるタイミングで行ったとしても、画像のぶれや歪み、混色を抑制することができる撮像システムを提供する。
【解決手段】被写体を照明する照明光を出射する照明部３１と、撮像信号を生成する画素が二次元状に配列された受光部２４４ｆと、水平ラインごとに撮像信号を順次読み出す読み出し部２４４ｇと、１フレーム期間である第１の期間、照明部に照明光の消灯を行わせた後、１フレーム期間以上である第２の期間、照明部に照明光を出射させる一連の処理を照明部に実行させる照明制御部３２と、読み出し部が受光部から読み出した第１の期間における第１の撮像信号と第２の期間における第２の撮像信号とを加算することによって、第２の期間に出射された照明光に対応する画像信号を生成する画像処理部４０２と、を備えた。
【選択図】図２

Description

本発明は、撮影用の複数の画素のうち読み出し対象として任意に指定された画素から光電変換後の電気信号を画像情報として出力可能である撮像システムに関する。

従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、たとえば可撓性を有する細長形状をなし、被検体の体腔内に挿入される撮像装置と、撮像装置の先端に設けられた体内画像を撮像する撮像素子と、被検体を照明する照明光を出射する光源装置と、撮像素子が撮像した体内画像に所定の画像処理を行う処理装置と、処理装置が画像処理を行った体内画像を表示可能な表示装置とを有する。内視鏡システムを用いて体内画像を取得する際には、被検体の体腔内に挿入部を挿入した後、この挿入部の先端から体腔内の生体組織に照明光を照射し、撮像素子が体内画像を撮像する。医師等のユーザは、表示装置が表示する体内画像に基づいて、被検体の臓器の観察を行う。

このような内視鏡システムが有する撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを適用する場合がある。ＣＭＯＳセンサは、ライン毎にタイミングをずらして露光または読み出しを行うローリングシャッタ方式によって画像データを生成する。

上述した内視鏡システムにおいて、隣接するフレーム間の混色を防止するために、フレームごとに照明処理および読み出し処理を行う技術が開示されている（例えば、特許文献１を参照）。また、撮像対象物からの光が背景光によって埋もれないようにするため、隣接するフレームの画像信号を加算して一つの画像を得る技術が開示されている（例えば、特許文献２を参照）。

特開２０１０−０６８９９２号公報特開２００２−２８１３８７号公報

図１５は、従来の内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。ローリングシャッタ方式によって画像データＤ１０１〜Ｄ１０９を生成する場合、ＣＭＯＳ型の撮像素子で露光してから電荷を読み出すまでの一連の処理をライン毎に異なるタイミングで行っているため、１フレーム分（図１５のＦ１など）の画像信号を得るには実質的に１フレーム分の読み出し期間以上の期間を要する。これにより、撮像素子や被写体が動いた場合、ぶれの目立つ画像となってしまう。特に、撮像素子や被写体の動きが速い場合、画像の歪みが大きくなるという問題があった。

また、図１５に示すように、１フレーム期間に応じた期間Ｔｅ１００で連続して照明を行なう場合であって、交互に光の波長や強度が互いに異なる複数種の照明光を周期的に出射する場合、あるフレームの読み出し期間中に、照明処理が次の照明期間に移行するため、１フレームの画像において照明光が混色するという問題が生じていた。

これらの画像の歪みや混色を防止するため、読み出し開始ラインから終了ラインまでの全ラインで露光時間が一致している同時露光期間（図１５の期間Ｔｍ１００）で照明処理を行う方法も挙げられるが、照明期間が短く、鮮明な画像を得ることができない場合があった。

本発明は、上記に鑑みてなされたものであって、撮像素子で露光してから電荷を読み出すまでの一連の処理をライン毎に異なるタイミングで行ったとしても、画像のぶれや歪み、混色を抑制することができる撮像システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像システムは、被写体を照明する照明光を出射する照明部と、光を受光して光電変換を行うことにより撮像信号を生成する画素が二次元状に配列された受光部と、前記受光部から水平ラインごとに前記撮像信号を順次読み出す読み出し部と、前記読み出し部が前記受光部の最初の水平ラインの読み出し開始から次の最初の水平ラインの読み出し開始までの期間に相当する１フレーム期間である第１の期間、前記照明部に前記照明光の消灯を行わせた後、前記１フレーム期間以上である第２の期間、前記照明部に前記照明光を出射させる一連の処理を前記照明部に実行させる照明制御部と、前記読み出し部が前記受光部から読み出した前記第１の期間における第１の撮像信号と前記第２の期間における第２の撮像信号とを加算することによって、前記第２の期間に出射された前記照明光に対応する画像信号を生成する画像処理部と、を備えたことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記照明制御部は、前記読み出し部による前記第１および第２の期間の読み出しタイミングと同期して前記照明部に前記一連の処理を実行させることを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、少なくとも静止画撮影を行う旨の指示信号の入力を受け付ける入力部を備え、前記照明制御部は、前記入力部が前記指示信号の入力を受け付けていない場合は前記照明部に連続して照明光を出射させ、前記入力部が前記指示信号の入力を受け付けた場合は前記照明部に前記一連の処理を実行させ、前記画像処理部は、前記入力部に前記指示信号の入力がない場合は連続して出射される前記照明光に応じて撮像信号をもとに表示用の画像信号を生成し、前記入力部に前記指示信号の入力があった場合は前記第１の撮像信号と前記第２の撮像信号とを加算することによって、表示用の画像信号を順次生成することを特徴とする。

本発明によれば、同一の照明期間を含む複数のフレームに応じた撮像信号を加算して、一つの画像信号を生成するようにしたので、撮像素子で露光してから電荷を読み出すまでの一連の処理をライン毎に異なるタイミングで行ったとしても、画像のぶれや歪み、混色を抑制することができるという効果を奏する。

図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本発明の実施の形態１にかかる内視鏡システムの要部の機能構成を示すブロック図である。図３は、本発明の実施の形態１にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図４は、本発明の実施の形態１にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミングおよび撮像素子の露光と読み出しタイミングを説明する図である。図５は、本発明の実施の形態１の変形例１−１にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図６は、本発明の実施の形態１の変形例１−２にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図７は、本発明の実施の形態１の変形例１−３にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図８は、本発明の実施の形態２にかかる内視鏡システムの要部の機能構成を示すブロック図である。図９は、本発明の実施の形態２にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図１０は、本発明の実施の形態２の変形例２−１にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図１１は、本発明の実施の形態３にかかる内視鏡システムの要部の機能構成を示すブロック図である。図１２は、本発明の実施の形態３にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図１３は、本発明の実施の形態４にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図１４は、本発明の実施の形態４の変形例４−１にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図１５は、従来の内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、撮像システムの一例として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本発明の実施の形態１にかかる内視鏡システムの要部の機能構成を示すブロック図である。

図１および図２に示す内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した体内画像に所定の画像処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置４と、処理装置４が画像処理を施した体内画像を表示する表示装置５と、を備える。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。

先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、を有する。

光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成するセンサ部２４４ａと、センサ部２４４ａが出力した電気信号に対してノイズ除去やＡ／Ｄ変換を行うアナログフロントエンド部２４４ｂ（以下、「ＡＦＥ部２４４ｂ」という）と、ＡＦＥ部２４４ｂが出力したデジタル信号（画像信号）をパラレル／シリアル変換して外部に送信するＰ／Ｓ変換部２４４ｃと、センサ部２４４ａの駆動タイミング、ＡＦＥ部２４４ｂおよびＰ／Ｓ変換部２４４ｃにおける各種信号処理のパルスを発生するタイミングジェネレータ２４４ｄと、撮像素子２４４の動作を制御する撮像制御部２４４ｅと、を有する。撮像素子２４４は、ＣＭＯＳセンサである。

センサ部２４４ａは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が２次元状に配列され、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する受光部２４４ｆと、受光部２４４ｆの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として順次読み出す読み出し部２４４ｇと、を有する。また、読み出し部２４４ｇは、受光部２４４ｆから水平ライン毎に電気信号（撮像信号）を順次読み出してＡＦＥ部２４４ｂへ出力する。

ＡＦＥ部２４４ｂは、電気信号（アナログ）に含まれるノイズ成分を低減するノイズ低減部２４４ｈと、電気信号の増幅率（ゲイン）を調整して一定の出力レベルを維持するＡＧＣ（Automatic Gain Control）部２４４ｉと、ＡＧＣ部２４４ｉを介して出力された画像情報（画像信号）としての電気信号をＡ／Ｄ変換するＡ／Ｄ変換部２４４ｊと、を有する。ノイズ低減部２４４ｈは、たとえば相関二重サンプリング（Correlated Double Sampling）法を用いてノイズの低減を行う。

撮像制御部２４４ｅは、処理装置４から受信した設定データに従って先端部２４の各種動作を制御する。撮像制御部２４４ｅは、ＣＰＵ（Central Processing Unit）や各種プログラムを記録するレジスタ等を用いて構成される。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置４、光源装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。

つぎに、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。

照明部３１は、被写体を照明する照明光を出射する。照明部３１は、光源３３と、光源ドライバ３４と、を有する。

光源３３は、白色ＬＥＤを用いて構成され、照明制御部３２の制御のもと、白色光を発生する。光源３３が発生した光は、集光レンズ（図示せず）およびライトガイド２４１を経由して先端部２４から被写体に向けて照射される。

光源ドライバ３４は、光源３３に対して照明制御部３２の制御のもとで電流を供給することにより、光源３３に白色光を発生させる。

照明制御部３２は、照明部３１による照明光の出射および消灯の制御を行なう。また、照明制御部３２は、照明部３１が出射する照明光の強度を一定に保つなど、照明部３１が出射する照明光の強度を可変制御する。なお、本明細書において、１フレーム期間とは、先頭ラインの読み出し開始から、次の先頭ラインの読み出し開始までの期間のことをいう。

次に、処理装置４の構成について説明する。処理装置４は、Ｓ／Ｐ変換部４０１と、画像処理部４０２と、明るさ検出部４０３と、調光部４０４と、読出アドレス設定部４０５と、駆動信号生成部４０６と、入力部４０７と、記録部４０８と、制御部４０９と、基準クロック生成部４１０と、を備える。

Ｓ／Ｐ変換部４０１は、撮像素子２４４から入力された画像情報（撮像信号）をシリアル／パラレル変換して画像処理部４０２に出力する。なお、画像情報には、撮像信号および撮像素子２４４を補正する補正パラメータ等が含まれる。

画像処理部４０２は、Ｓ／Ｐ変換部４０１から入力された画像情報をもとに、表示装置５が表示する体内画像情報（画像信号）を生成する。画像処理部４０２は、画像情報に対して、所定の画像処理を実行して体内画像情報を生成する。ここで、画像処理としては、同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理、複数の画像データを合成する合成処理およびフォーマット変換処理等である。さらに、画像処理部４０２は、読み出し部２４４ｇが受光部２４４ｆから読み出した複数のフレームに応じた画像情報を加算して一つの体内画像を生成する。また、画像処理部４０２は、Ｓ／Ｐ変換部４０１から入力された画像情報を制御部４０９または明るさ検出部４０３へ出力する。

明るさ検出部４０３は、画像処理部４０２から入力される画像情報から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部４０９へ出力する。また、明るさ検出部４０３は、検出した明るさレベルをもとにゲイン調整値を算出し、ゲイン調整値を画像処理部４０２へ出力する。

調光部４０４は、制御部４０９の制御のもと、明るさ検出部４０３が算出した光照射量をもとに光源装置３が発生する光量や発光タイミング等を設定し、この設定した条件を含む調光信号を光源装置３へ出力する。

読出アドレス設定部４０５は、センサ部２４４ａの受光面における読み出し対象の画素および読み出し順序を設定する機能を有する。すなわち、読出アドレス設定部４０５は、ＡＦＥ部２４４ｂがセンサ部２４４ａから読み出す画素のアドレスを設定する機能を有する。また、読出アドレス設定部４０５は、設定した読み出し対象の画素のアドレス情報を画像処理部４０２へ出力する。

駆動信号生成部４０６は、撮像素子２４４を駆動するための駆動用のタイミング信号を生成し、集合ケーブル２４５に含まれる所定の信号線を介してタイミングジェネレータ２４４ｄへ送信する。このタイミング信号は、読み出し対象の画素のアドレス情報を含む。

入力部４０７は、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。

記録部４０８は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。記録部４０８は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部４０８は、処理装置４の識別情報を記録する。ここで、識別情報には、処理装置４の固有情報（ＩＤ）、年式、スペック情報、伝送方式および伝送レート等が含まれる。

制御部４０９は、ＣＰＵ等を用いて構成され、撮像素子２４４および光源装置３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４０９は、撮像制御のための設定データを、集合ケーブル２４５に含まれる所定の信号線を介して撮像制御部２４４ｅへ送信する。制御部４０９は、撮像素子２４４の各ラインの露光タイミングと読み出しタイミングを含む同期信号を光源装置３に出力する。

基準クロック生成部４１０は、内視鏡システム１の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム１の各構成部に対して生成した基準クロック信号を供給する。

次に、表示装置５について説明する。表示装置５は、映像ケーブルを介して処理装置４が生成した体内画像情報に対応する体内画像を受信して表示する。表示装置５は、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイを用いて構成される。

以上の構成を有する内視鏡システム１の撮影時における光源装置３が出射する照明光の出射タイミング、撮像素子２４４の露光と読み出しタイミングおよび画像処理部４０２による処理について説明する。

図３は、内視鏡システム１の撮影時における光源装置３が出射する照明光の出射タイミング、撮像素子２４４の露光と読み出しタイミングおよび画像処理部４０２による処理を模式的に示す図である。図３（ａ）は、時間を示す。図３（ｂ）は、光源装置３が出射する照明光の出射タイミングを示す。図３（ｃ）は、撮像素子２４４の露光および読み出しタイミングを示す。図３（ｄ）は、画像処理部４０２による画像生成処理の内容を示す。なお、実施の形態１では、１フレームの水平ラインにおいて、読み出し開始のラインと読み出し終了のラインとの間において、同時露光期間Ｔｍ１が短い、またはほぼゼロであるものとして説明する。

図３に示すように、照明制御部３２は、照明部３１を制御することによって、撮像素子２４４のフレームレートに同期して照明部３１に照明光を出射または消灯する制御を行う。

具体的には、照明制御部３２は、読み出し部２４４ｇが受光部２４４ｆのフレームＦ１−１の最初の水平ラインから次のフレームＦ１−２の最初の水平ラインを読み出すまでの期間（１フレーム期間）、照明部３１による照明光の消灯を行う（消灯期間Ｔｓ１、第１の期間）。

続いて、照明制御部３２は、読み出し部２４４ｇが受光部２４４ｆのフレームＦ１−２の最初の水平ラインから次のフレームＦ２−１の最初の水平ラインを読み出すまでの期間（１フレーム期間）、照明部３１に照明光を出射させる（照明期間Ｔｅ１、第２の期間）。この際、読み出し部２４４ｇは、照明期間Ｔｅ１において出射された照明光によって露光された画素を含むフレームＦ１−１，Ｆ１−２の撮像データＤ１−１，Ｄ１−２（第１および第２の撮像信号）を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。

さらに、画像処理部４０２は、撮像データＤ１−１と撮像データＤ１−２とを加算した画像データＤｄ１（画像信号）を生成する。具体的には、画像処理部４０２は、撮像データＤ１−１と撮像データＤ１−２とを画素毎に輝度値を加算することによって、画像データＤｄ１を生成する。これにより、照明期間Ｔｅ１の照明光で露光された画像に対応する画像信号が生成される。

その後、照明制御部３２は、読み出し部２４４ｇが受光部２４４ｆのフレームＦ２−１の最初の水平ラインから次のフレームＦ２−２の最初の水平ラインを読み出すまでの１フレーム期間、照明部３１による照明光の消灯を行う（消灯期間Ｔｓ２）。続いて、照明制御部３２は、読み出し部２４４ｇが受光部２４４ｆのフレームＦ２−２の最初の水平ラインから次のフレームＦ３−１の最初の水平ラインを読み出すまでの１フレーム期間、照明部３１に照明光を出射させる（照明期間Ｔｅ２）。この際、読み出し部２４４ｇは、照明期間Ｔｅ２において出射された照明光によって露光された画素を含むフレームＦ２−１，Ｆ２−２の撮像データＤ２−１，Ｄ２−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ２−１と撮像データＤ２−２とを加算した画像データＤｄ２を生成する。

このように、照明制御部３２は、フレームＦ２−２に続くフレームＦ３−１，Ｆ３−２、フレームＦ４−１，Ｆ４−２、フレームＦ５−１・・・においても、１フレーム期間ごとに照明光の消灯および出射を繰り返す。読み出し部２４４ｇは、各フレームに応じた撮像データＤ３−１，Ｄ３−２、撮像データＤ４−１，Ｄ４−２、撮像データＤ５−１・・・を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ３−１および撮像データＤ３−２、撮像データＤ４−１および撮像データＤ４−２を加算した画像データＤｄ３，Ｄｄ４をそれぞれ生成する。

図４は、内視鏡システム１の撮影時における光源装置３が出射する照明光の出射タイミングおよび撮像素子の露光と読み出しタイミングを説明する図である。読み出し部２４４ｇによって第ｎラインの読み出しを行う際、フレームＦ１−１における照明光照射時の読み出し期間をＴ１_ｎ、フレームＦ１−２における照明光照射時の読み出し期間をＴ２_ｎ、１フレーム期間に応じた読み出し期間をＴｆ、フレームＦ１−１およびフレームＦ１−２の間のリセット期間をＴｒとすると、照明光の出射にかかる照明期間Ｔｅ１は、下式（１）の関係を満たしている。
Ｔ１_ｎ＋Ｔ２_ｎ＝Ｔｆ−Ｔｒ・・・（１）

また、次のラインである第ｎ＋１ラインでは、下式（２）を満たす。
Ｔ１_ｎ＋１＋Ｔ２_ｎ＋１＝Ｔｆ−Ｔｒ・・・（２）

ここで、読み出し期間Ｔｆおよびリセット期間Ｔｒは定数であるため、式（１）、（２）より、下式（３）の関係が成り立つ。
Ｔ１_ｎ＋Ｔ２_ｎ＝Ｔ１_ｎ＋１＋Ｔ２_ｎ＋１・・・（３）
すなわち、第ｎラインにおける露光期間と、第ｎ＋１ラインにおける露光期間とは、等しい。なお、照明期間Ｔｅ１が読み出し期間Ｔｆと等しい場合は、式（１）より、下式（１）’の関係が成り立つ。
Ｔ１_ｎ＋Ｔ２_ｎ＝Ｔｅ１−Ｔｒ・・・（１）’

このとき、Ｔｆ（Ｔｅ１）＞＞Ｔｒである場合、例えば式（１）におけるＴ１_ｎ＋Ｔ２_ｎは、Ｔ１_ｎ＋Ｔ２_ｎ≒Ｔｆとなり、フレームＦ１−１およびＦ１−２の撮像データＤ１−１，Ｄ１−２の和（画像データＤｄ１）は、照明期間Ｔｅ１において連続して読み出されて生成された画像データであるといえる。これにより、撮像データＤ１−１，Ｄ１−２が加算されて得られた画像データＤｄ１は、同時性が保たれ、ラインごとに歪みのない画像となる。

以上説明した本発明の実施の形態１によれば、同一の照明期間を含む複数のフレームに応じた撮像信号を加算して、一つの画像データ（画像信号）を生成するようにしたので、撮像素子で露光してから電荷を読み出すまでの一連の処理をライン毎に異なるタイミングで行ったとしても、画像のぶれや歪みを抑制することができる。

また、本発明の実施の形態１によれば、照明制御部３２が、照明期間の前後を消灯期間として照明部３１を制御するようにしたので、異なる照明期間によって露光された画像信号が画像生成に使用されることがなく、画像における混色を防止することができる。

（変形例１−１）
図５は、本実施の形態１の変形例１−１にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図５における（ａ）〜（ｄ）は、図３の（ａ）〜（ｄ）と同様である。上述した実施の形態１では、１フレームの水平ラインにおいて、読み出し開始のラインと読み出し終了のラインとの間において、同時露光期間Ｔｍ１が短いものとして説明したが、変形例１−１のように１ラインの読み出し期間の１／２以上の同時露光期間Ｔｍ２であっても適用可能である。

（変形例１−２）
図６は、本実施の形態１の変形例１−２にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図６における（ａ）〜（ｄ）は、図３の（ａ）〜（ｄ）と同様である。上述した実施の形態１では、照明制御部３２による照明部３１の照明光の出射タイミングを、読み出し部２４４ｇの読み出し開始タイミングと同期させて行うものとして説明したが、変形例１−２では、読み出し部２４４ｇの読み出し開始タイミングと異なるタイミングで照明光を出射する。

図６に示すように、照明制御部３２が、読み出し部２４４ｇの読み出し開始タイミングと異なるタイミングで照明光を出射する場合、１フレーム期間に応じた照明光の照明期間Ｔｅ１１は、三つのフレーム（フレームＦ１−１，Ｆ１−２，Ｆ１−３）を含む。この際、読み出し部２４４ｇは、照明期間Ｔｅ１１において出射された照明光によって露光された画素を含むフレームＦ１−１，Ｆ１−２，Ｆ１−３の撮像データＤ１−１，Ｄ１−２，Ｄ１−３を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ１−１、撮像データＤ１−２および撮像データＤ１−３を加算した画像データＤｄ１１を生成する。

このとき、照明制御部３２は、照明期間Ｔｅ１１の前後に１フレーム期間に応じた消灯期間Ｔｓ１１ａ，Ｔｓ１１ｂを設ける。すなわち、照明制御部３２は、一つの加算画像データＤｄ１１を生成する場合において、消灯、照明、消灯の順で照明部３１を制御する。

このように、照明制御部３２は、フレームＦ１−３に続くフレームＦ２−１，Ｆ２−２，Ｆ２−３においても、１フレーム期間以上の期間（照明期間Ｔｅ１２）、照明部３１による照明光を出射し、照明期間Ｔｅ１２の前後の期間であって、１フレーム期間に応じた期間（消灯期間Ｔｓ１２ａ，Ｔｓ１２ｂ）、照明部３１を消灯する制御を行なう。さらに、照明制御部３２は、フレームＦ２−３に続くフレームＦ３−１，Ｆ３−２，Ｆ３−３においても、１フレーム期間以上の期間（照明期間Ｔｅ１３）、照明部３１による照明光を出射し、照明期間Ｔｅ１３の前後の期間であって、１フレーム期間に応じた期間（消灯期間Ｔｓ１３ａ，Ｔｓ１３ｂ）、照明部３１を消灯する制御を行なう。照明制御部３２は、この照明処理を繰り返す。

この際、読み出し部２４４ｇは、各フレームに応じた撮像データＤ２−１，Ｄ２−２，Ｄ２−３、撮像データＤ３−１，Ｄ３−２，Ｄ３−３、・・・を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ２−１、撮像データＤ２−２および撮像データＤ２−３、撮像データＤ３−１、撮像データＤ３−２および撮像データＤ３−３をそれぞれ加算した画像データＤｄ１２，Ｄｄ１３を生成する。

（変形例１−３）
図７は、本実施の形態１の変形例１−３にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図７における（ａ）〜（ｄ）は、図３の（ａ）〜（ｄ）と同様である。上述した実施の形態１では、照明制御部３２による照明部３１の照明光の照明期間Ｔｅ１が、１フレーム期間に応じた期間であるものとして説明したが、変形例１−３では、１フレーム期間以上として照明光を出射する。

図７に示すように、照明制御部３２が、読み出し部２４４ｇの読み出し開始タイミングと同期させて１フレーム期間以上の期間（照明期間Ｔｅ２１）、照明部３１から照明光を出射する場合、この照明期間Ｔｅ２１は、三つのフレーム（フレームＦ１−１，Ｆ１−２，Ｆ１−３）を含む。この際、読み出し部２４４ｇは、照明期間Ｔｅ２１において出射された照明光によって露光された画素を含むフレームＦ１−１，Ｆ１−２，Ｆ１−３の撮像データＤ１−１，Ｄ１−２，Ｄ１−３を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ１−１、撮像データＤ１−２および撮像データＤ１−３を加算した画像データＤｄ２１をそれぞれ生成する。

このとき、照明制御部３２は、照明期間Ｔｅ２１の前に１フレーム期間に応じた消灯期間Ｔｓ２１を設ける。すなわち、照明制御部３２は、一つの画像データＤｄ２１を生成する場合において、消灯、照明の順で照明部３１を制御する。

このように、照明制御部３２は、フレームＦ１−３に続くフレームＦ２−１，Ｆ２−２，Ｆ２−３、フレームＦ３−１，Ｆ３−２，Ｆ３−３・・・においても、１フレーム期間に応じた期間（消灯期間Ｔｓ２２，Ｔｓ２３）、照明部３１の消灯をそれぞれ行った後、１フレーム期間以上の期間（照明期間Ｔｅ２２，Ｔｅ２３・・・）、照明部３１による照明光の出射をそれぞれ行う制御を繰り返す。読み出し部２４４ｇは、各フレームに応じた撮像データＤ２−１，Ｄ２−２，Ｄ２−３、撮像データＤ３−１，Ｄ３−２，Ｄ３−３・・・を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ２−１、撮像データＤ２−２および撮像データＤ２−３、撮像データＤ３−１、撮像データＤ３−２および撮像データＤ３−３を加算した画像データＤｄ２２，Ｄｄ２３をそれぞれ生成する。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図８は、本実施の形態２にかかる内視鏡システムの要部の機能構成を示すブロック図である。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、一つの光源３３によって単一の照明光の照射を行っていたが、実施の形態２では、複数（本実施の形態２では二つ）の光源３３ａ，３３ｂによって照明光の出射を行う。

まず、本実施の形態２にかかる内視鏡システム１ａの光源装置３ａの構成について説明する。光源装置３ａは、照明部３１ａと、照明制御部３２ａと、を備える。

照明部３１ａは、被写体を照明する照明光を出射する。照明部３１ａは、光源３３ａ，３３ｂと、光源３３ａ，３３ｂに応じて設けられる第１光源ドライバ３４ａおよび第２光源ドライバ３４ｂと、を有する。

光源３３ａは、白色ＬＥＤを用いて構成され、照明制御部３２ａの制御のもと、白色光を発生する。光源３３ａが発生した光は、集光レンズ（図示せず）およびライトガイド２４１を経由して先端部２４から被写体に向けて照射される。

第１光源ドライバ３４ａは、光源３３ａに対して照明制御部３２ａの制御のもとで電流を供給することにより、光源３３ａに白色光を発生させる。

光源３３ｂは、出射面側にフィルタが取り付けられた白色ＬＥＤを用いて構成され、照明制御部３２ａの制御のもと、フィルタにより抽出された青色光を発生する。光源３３ｂが発生した光は、集光レンズおよびライトガイド２４１を経由して先端部２４から被写体に向けて照射される。また、光源３３ｂからの青色光は、ＮＢＩ（Narrow Band Imaging：挟帯域光観察）用の照明光として用いられる。なお、光源３３ｂは、例えばフィルタを設けずに青色ＬＥＤによって構成されるものであってもよい。

第２光源ドライバ３４ｂは、光源３３ｂに対して照明制御部３２ａの制御のもとで電流を供給することにより、光源３３ｂに青色光を発生させる。

照明制御部３２ａは、照明部３１ａによる照明光の出射および消灯の制御を行なう。また、照明制御部３２ａは、照明部３１ａの光源３３ａ，３３ｂを選択したり、照明部３１ａが出射する照明光の強度を一定に保つなど、照明部３１ａが出射する照明光の強度を可変制御したりする。

図９は、本実施の形態２にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。図９における（ａ）〜（ｄ）は、図３の（ａ）〜（ｄ）と同様である。

図９に示すように、照明制御部３２ａは、照明部３１ａを制御することによって、撮像素子２４４のフレームレートに同期して照明部３１ａに照明光を出射または消灯する制御を行う。

具体的には、照明制御部３２ａは、まず、１フレーム期間に応じた期間、照明部３１ａによる照明光の消灯を行う（消灯期間Ｔｓ３１）。

続いて、照明制御部３２ａは、１フレーム期間に応じた期間、照明部３１ａの光源３３ａに照明光を出射させる（第１照明、照明期間Ｔｅ３１）。この際、読み出し部２４４ｇは、照明期間Ｔｅ３１において出射された照明光によって露光された画素を含むフレームＦ１−１，Ｆ１−２の撮像データＤ１−１，Ｄ１−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ１−１と撮像データＤ１−２とを加算した画像データＤｄ３１を生成する。

その後、照明制御部３２ａは、１フレーム期間に応じた期間（消灯期間Ｔｓ３２）、照明部３１ａの消灯を行う。続いて、照明制御部３２ａは、読み出し部２４４ｇが受光部２４４ｆの１フレーム期間、照明部３１ａの光源３３ｂに照明光を出射させる（第２照明、照明期間Ｔｅ３２）。この際、読み出し部２４４ｇは、期間Ｔｅ２において出射された照明光によって露光された画素を含むフレームＦ２−１，Ｆ２−２の撮像データＤ２−１，Ｄ２−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ２−１と撮像データＤ２−２とを加算した画像データＤｄ４１を生成する。

このように、照明制御部３２ａは、フレームＦ２−２に続くフレームＦ３−１，Ｆ３−２、フレームＦ４−１，Ｆ４−２、フレームＦ５−１、・・・においても、１フレーム期間に応じた期間（消灯期間Ｔｓ３３，Ｔｓ３４、・・・）、照明部３１ａの消灯をそれぞれ行い、１フレーム期間に応じた期間（照明期間Ｔｅ３３，Ｔｅ３４、・・・）、光源３３ａ，３３ｂのいずれかによる照明光の照明をそれぞれ行う制御を繰り返す。この際、読み出し部２４４ｇは、各フレームに応じた撮像データＤ３−１，Ｄ３−２、撮像データＤ４−１，Ｄ４−２、撮像データＤ５−１・・・を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ３−１および撮像データＤ３−２、撮像データＤ４−１および撮像データＤ４−２を加算した画像データＤｄ３２，Ｄｄ４２をそれぞれ生成する。

実施の形態２では、図９において光源３３ａ，３３ｂによる照明光の照明を交互に行うものとしているが、交互の照明処理に限らず、所定の回数ごとに切り替えるようにしてもよい。

以上説明した本発明の実施の形態２によれば、異なる光源を有する場合であっても、同一の照明期間を含む複数のフレームに応じた撮像信号を加算して、一つの画像データ（画像信号）を生成するようにしたので、撮像素子で露光してから電荷を読み出すまでの一連の処理をライン毎に異なるタイミングで行ったとしても、各照明光による画像のぶれや歪みを抑制することができる。

また、本発明の実施の形態２によれば、照明制御部３２ａが、照明期間の前後を消灯期間として照明部３１ａを制御するようにしたので、異なる照明期間によって露光された画像信号が画像生成に使用されることがなく、画像における混色を防止することができる。

なお、本発明の実施の形態２では、ＮＢＩ用の照明光を用いるものとして説明したが、ＡＦＩ（Auto Fluorescence Imaging：蛍光観察）用の照明光やＩＲＩ（Infrared Imaging：赤外光観察）用の照明光等を用いる場合であっても適用することができる。

（変形例２−１）
図１０は、本実施の形態２の変形例２−１にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。上述した実施の形態２では、照明制御部３２ａによる照明部３１ａの光源３３ｂの照明光の照射期間Ｔｅ３２，Ｔｅ３４が、１フレーム期間に応じた期間であるものとして説明したが、変形例２−１では、１フレーム期間以上の期間、光源３３ｂによる照明光を照射する。

図１０に示すように、照明制御部３２ａが、読み出し部２４４ｇの読み出し開始タイミングと同期させて１フレーム期間に応じた期間（消灯期間Ｔｓ４１）、照明部３１ａの消灯を行った後、１フレーム期間以上（本変形例２−１では２フレーム期間）の期間（照明期間Ｔｅ４１）、光源３３ｂによる照明光を出射する（第２照明）。この場合、照明期間Ｔｅ４１は、三つのフレーム（フレームＦ１−１，Ｆ１−２，Ｆ１−３）を含む。この際、読み出し部２４４ｇは、期間Ｔｅ４１において出射された照明光によって露光された画素を含むフレームＦ１−１，Ｆ１−２，Ｆ１−３の撮像データＤ１−１，Ｄ１−２，Ｄ１−３を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ１−１、撮像データＤ１−２および画像データＤ１−３を加算した画像データＤｄ５１を生成する。

続いて、照明制御部３２ａは、１フレーム期間に応じた期間（消灯期間Ｔｓ５１）、照明部３１ａの消灯を行った後、１フレーム期間に応じた期間（照明期間Ｔｅ５１）、照明部３１ａの光源３３ａに照明光を出射させる（第１照明）。この際、読み出し部２４４ｇは、照明期間Ｔｅ５１において出射された照明光によって露光された画素を含むフレームＦ２−１，Ｆ２−２の撮像データＤ２−１，Ｄ２−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ２−１と撮像データＤ２−２とを加算した画像データＤｄ６１を生成する。

このように、照明制御部３２ａは、フレームＦ２−２に続くフレームＦ３−１，Ｆ３−２，Ｆ３−３においても、１フレーム期間に応じた期間（消灯期間Ｔｓ４２）、照明部３１ａの消灯を行った後、１フレーム期間以上の期間（照明期間Ｔｅ４２）、光源３３ｂによる照明光を出射させる制御を行なう。読み出し部２４４ｇは、各フレームに応じた撮像データＤ３−１，Ｄ３−２，Ｄ３−３を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、撮像データＤ３−１、撮像データＤ３−２および撮像データＤ３−３を加算した画像データＤｄ５２を生成する。

その後、照明制御部３２ａは、上述したように、消灯、第２照明、消灯、第１照明を繰り返して、光源３３ａ，３３ｂによる照明処理によって得られた加算画像データを生成する。これにより、照明光自体が暗い場合や、照明光の届き難い遠点を撮像する場合においても、露光時間を確保するとともに、画像のぶれや歪み、混色を抑制することができる。

なお、上述した変形例２−１では、第２照明にかかる照明期間が２フレーム期間に相当するものとして説明したが、照明光の強度などにより３フレーム期間以上の期間に相当する照明期間を設定することも可能である。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図１１は、本実施の形態３にかかる内視鏡システムの要部の機能構成を示すブロック図である。図１２は、本実施の形態３にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、一つの光源３３によって単一の照明光の照射を行っていたが、実施の形態３では、異なる波長の照明光を選択的に出射して照明を行う。

まず、本実施の形態３にかかる内視鏡システム１ｂの光源装置３ｂの構成について説明する。光源装置３ｂは、照明部３１ｂと、照明制御部３２ｂと、を備える。

照明部３１ｂは、照明制御部３２ｂの制御のもと、被写体に対して、波長帯域が互いに異なる複数の照明光を順次切り替えて出射する。照明部３１ｂは、光源３３と、光源ドライバ３４と、回転フィルタ３５と、駆動部３６と、駆動ドライバ３７と、を有する。

光源部３３は、白色ＬＥＤおよび一または複数のレンズ等を用いて構成され、光源ドライバ３４の制御のもと、白色光を回転フィルタ３５へ出射する。光源部３３が発生させた白色光は、回転フィルタ３５およびライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。

光源ドライバ３４は、照明制御部３２ｂの制御のもと、光源部３３に対して電流を供給することにより、光源部３３に白色光を出射させる。

回転フィルタ３５は、光源部３３が出射する白色光の光路上に配置され、回転することにより、光源部３３が出射した白色光のうち所定の波長帯域の光のみを透過させる。具体的には、回転フィルタ３５は、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）それぞれの波長帯域を有する光を透過させる赤色フィルタ３１１、緑色フィルタ３１２および青色フィルタ３１３を有する。回転フィルタ３５は、回転することにより、赤、緑および青の波長帯域（例えば、赤：６００ｎｍ〜７００ｎｍ、緑：５００ｎｍ〜６００ｎｍ、青：４００ｎｍ〜５００ｎｍ）の光を順次透過させる。これにより、光源部３１ａが出射する白色光（Ｗ照明）は、狭帯域化した赤色光（Ｒ照明）、緑色光（Ｇ照明）および青色光（Ｂ照明）いずれかの光を内視鏡２に順次出射（面順次方式）することができる。

駆動部３６は、ステッピングモータやＤＣモータ等を用いて構成され、回転フィルタ３５を回転動作させる。

駆動ドライバ３７は、照明制御部３２ｂの制御のもと、駆動部３６に所定の電流を供給する。

照明制御部３２ｂは、読み出し部２４４ｇの読み出し開始タイミングと同期させて１フレーム期間に応じた消灯期間Ｔｓ６１で消灯した後、受光部２４４ｆの最初のラインの読み出し開始までの期間（１フレーム期間）に応じた期間（第１照明期間Ｔｅ６１）、照明部３１ｂに照明光（例えば赤色フィルタ３１１を透過した光）を出射させる。第１照明期間Ｔｅ６１の終了後、１フレーム期間に応じた期間（消灯期間Ｔｓ６２）、照明部３３ｂの消灯を行った後、次の受光部２４４ｆの最初のラインの読み出し開始までの期間（１フレーム期間）に応じた期間（第２照明期間Ｔｅ６２）、第１の期間における照明光と波長帯域が異なる照明光（例えば緑色フィルタ３１２を透過した光）を照明部３１ｂに出射させる。第２照明期間Ｔｅ６２の終了後、１フレーム期間に応じた期間（消灯期間Ｔｓ６３）、照明部３３ｂの消灯を行った後、次の受光部２４４ｆの最初のラインの読み出し開始までの期間（１フレーム期間）に応じた期間（第３照明期間Ｔｅ６３）、第１および第２照明期間における照明光と波長帯域が異なる照明光（例えば青色フィルタ３１３を透過した光）を照明部３１ｂに出射させる一連の処理を照明部３１ｂに繰り返し実行させる。

具体的には、照明制御部３２ｂは、第１照明期間Ｔｅ６１にＲ照明を照明部３１ｂに出射させ、第２照明期間Ｔｅ６２にＧ照明を照明部３１ｂに出射させ、第３照明期間Ｔｅ６３にＢ照明を照明部３１ｂに出射させる。その後、照明制御部３２ｂは、上述した第１〜第３の期間に応じた照明期間Ｔｅ６４，Ｔｅ６５および消灯期間Ｔｓ６４，Ｔｓ６５による一連の照明処理を繰り返す。

読み出し部２４４ｇは、第１照明期間Ｔｅ６１において出射された照明光（Ｒ照明）によって露光された画素を含むフレームＦ１−１の第１Ｒ撮像データＤｒ１−１を受光部２４４ｆから読み出して画像処理部４０２へ出力する。第１照明期間Ｔｅ６１において出射された照明光（Ｒ照明）によって露光された画素を含むフレームＦ１−２の第２Ｒ撮像データＤｒ１−２を受光部２４４ｆから読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、第１Ｒ撮像データＤｒ１−１および第２Ｒ撮像データＤｒ１−２を加算したＲ加算撮像データＤｒ１を生成する。

また、読み出し部２４４ｇは、第２照明期間Ｔｅ６２において出射された照明光（Ｇ照明）によって露光された画素を含むフレームＦ２−１の第１Ｇ撮像データＤｇ１−１を受光部２４４ｆから読み出して画像処理部４０２へ出力する。続けて、読み出し部２４４ｇは、第２照明期間Ｔｅ６２において出射された照明光（Ｇ照明）によって露光された画素を含むフレームＦ２−２の第２Ｇ撮像画像データＤｇ１−２を受光部２４４ｆから読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、第１Ｇ撮像データＤｇ１−１および第２Ｇ撮像データＤｇ１−２を加算したＧ加算撮像データＤｇ１を生成する。

さらに、読み出し部２４４ｇは、第３照明期間Ｔｅ６３において出射された照明光（Ｂ照明）によって露光された画素を含むフレームＦ３−１の第１Ｂ撮像データＤｂ１−１を受光部２４４ｆから読み出して画像処理部４０２へ出力する。続けて、読み出し部２４４ｇは、第３照明期間Ｔｅ６３において出射された照明光（Ｂ照明）によって露光された画素を含むフレームＦ３−２の第２Ｂ撮像データＤｂ１−２を受光部２４４ｆから読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、上述したように、第１Ｂ撮像データＤｂ１−１および第２Ｂ撮像データＤｂ１−２を加算したＢ加算撮像データＤｂ１を生成する。

このように、読み出し部２４４ｇは、順次照明されるＲ照明、Ｇ照明、Ｂ照明に対して、各照明の照明期間を含む複数のフレームの画像データを加算することによって、各照明に応じた加算画像データを得ることができる。また、読み出し部２４４ｇは、その後も第１照明期間Ｔｅ６４において出射された照明光（Ｒ照明）によって露光された画素を含むフレームＦ４−１，フレームＦ４−２の第１Ｒ撮像データＤｒ２−１および第２Ｒ撮像データＤｒ２−２を受光部２４４ｆから読み出して画像処理部４０２へ出力し、画像処理部４０２が、第１Ｒ撮像データＤｒ２−１および第２Ｒ撮像データＤｒ２−２を加算したＲ加算撮像データＤｒ２を生成する。さらに、第２照明期間Ｔｅ６５においても同様に、照明光（Ｇ照明）によって露光された画素を含むフレームＦ５−１，フレームＦ５−２の第１Ｇ撮像データＤｇ２−１および第２Ｇ撮像データＤｇ２−２を受光部２４４ｆから読み出して画像処理部４０２へ出力し、画像処理部４０２が、第１Ｇ撮像データＤｇ２−１および第２Ｇ撮像データＤｇ２−２を加算したＧ加算撮像データＤｇ２を生成する。

ここで、画像処理部４０２は、各照明により得られたＲ加算撮像データ、Ｇ加算撮像データおよびＢ加算撮像データを加算して、白色画像データを生成する。具体的には、画像処理部４０２は、Ｒ加算撮像データＤｒ１、Ｇ加算撮像データＤｇ１およびＢ加算撮像データＤｂ１を加算して、白色画像データＷ１を生成する。さらに、画像処理部４０２は、次の照明処理（Ｒ照明）によりＲ加算撮像データＤｒ２が得られると、Ｇ加算撮像データＤｇ１、Ｂ加算撮像データＤｂ１およびＲ加算撮像データＤｒ２を加算して、白色画像データＷ２を生成する。続けて、画像処理部４０２は、次の照明処理（Ｇ照明）によりＧ加算画像データＤｇ２が得られると、Ｂ加算撮像データＤｂ１、Ｒ加算撮像データＤｒ２およびＧ加算撮像データＤｇ２を加算して、白色画像データＷ３を生成する。このように、画像処理部４０２は、順次生成されるＲ加算撮像データ、Ｇ加算撮像データおよびＢ加算撮像データを用いて、白色画像データを生成する。

以上説明した本発明の実施の形態３によれば、異なる波長の照明光が照射される場合であっても、同一の照明期間を含む複数のフレームに応じた撮像信号を加算して、一つの画像データ（画像信号）を生成するようにしたので、撮像素子で露光してから電荷を読み出すまでの一連の処理をライン毎に異なるタイミングで行ったとしても、画像のぶれや歪みを抑制することができる。

また、本発明の実施の形態３によれば、照明制御部３２ｂが、照明期間の前後を消灯期間として照明部３１ｂを制御するようにしたので、異なる照明期間によって露光された画像信号が画像生成に使用されることがなく、画像における混色を防止することができる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。図１３は、本実施の形態４にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。なお、上述した実施の形態１などと同一の構成には同一の符号を付して説明する。また、本実施の形態４にかかる内視鏡システムは、上述した実施の形態１にかかる内視鏡システムと同一の構成を有する。このため、以下においては、内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理について説明する。本実施の形態４では、動画と静止画を選択的に表示する場合の撮像について説明する。

制御部４０９は、入力部４０７から動画撮影にかかる指示信号の入力を受け付けた旨の信号が入力されると（入力部４０７が静止画撮影を行う旨の指示信号の入力を受け付けていない場合）、照明制御部３２に対して、連続して照明光を出射するよう指示する。照明制御部３２は、制御部４０９の制御のもと、光源３３に照明光を出射させる。この際、読み出し部２４４ｇは、照明光によって露光された画素を含むフレームＦ１−１，Ｆ１−２，Ｆ１−３の撮像データＤ１−１，Ｄ１−２，Ｄ１−３を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。

画像処理部４０２は、撮像データＤ１−１，Ｄ１−２，Ｄ１−３に対して同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理、複数の画像データを合成する合成処理およびフォーマット変換処理等を施して、表示装置５が表示するための画像データＤｍ１〜Ｄｍ３を生成する。

ここで、制御部４０９は、入力部４０７から静止画撮影にかかる指示信号の入力を受け付けた旨の入力があると、照明制御部３２に対して、静止画撮影のための照明処理を行うよう指示する。照明制御部３２は、まず、１フレームに応じた期間（消灯期間Ｔｓ７１）、照明部３１の消灯を行う。

続いて、照明制御部３２は、１フレーム期間に応じた期間（照明期間Ｔｅ７１）、照明部３１に照明光を出射させる。この際、読み出し部２４４ｇは、照明期間Ｔｅ７１において出射された照明光によって露光された画素を含むフレームＦ２−１，Ｆ２−２の撮像データＤ２−１，Ｄ２−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、撮像データＤ２−１と撮像データＤ２−２とを加算した画像データＤｄ７１を生成する。

その後、制御部４０９は、動画撮影にかかる照明処理の制御に戻る。制御部４０９は、照明制御部３２に対して、連続して照明光を出射するよう指示する。照明制御部３２は、制御部４０９の制御のもと、１フレームに応じた期間（消灯期間Ｔｓ７２）、照明部３１の消灯を行った後、照明部３１に照明光を出射させる。この際、読み出し部２４４ｇは、フレームＦ３−１，Ｆ３−２，Ｆ３−３，Ｆ３−４の撮像データＤ３−１，Ｄ３−２，Ｄ３−３，Ｄ３−４を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。

画像処理部４０２は、撮像データＤ３−１，Ｄ３−２，Ｄ３−３，Ｄ３−４に対して同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理、複数の画像データを合成する合成処理およびフォーマット変換処理等を施して、表示装置５が表示するための画像データＤｍ４〜Ｄｍ７を生成する。

上述した処理により、動画撮影期間で得られた表示用の画像情報には、各フレームＦ１−１，Ｆ１−２，Ｆ１−３，Ｆ３−１，Ｆ３−２，Ｆ３−３，Ｆ３−４に応じた撮像データＤ１−１〜Ｄ１−３，Ｄ３−１〜Ｄ３−４であって、画像処理が施された画像データＤｍ１〜Ｄｍ７が用いられ、静止画撮影期間で得られた表示用の画像情報には、照明期間Ｔｅ７１において出射された照明光によって露光された画素を含むフレームＦ２−１，Ｆ２−２の撮像データＤ２−１，Ｄ２−２をもとに生成された画像データＤｄ７１が用いられる。

これにより、画像のぶれや歪み、混色があまり気にならない動画撮影の場合には、連続したフレームの画像データを用いた画像が表示装置５に表示され、画像のぶれや歪み、混色の影響を感じうる静止画撮影の場合には、前後に消灯期間を設け、同一の照明期間を含む複数のフレームの画像データを加算して得られた加算画像データを用いた画像が表示装置５に表示される。

以上説明した本発明の実施の形態４によれば、動画撮影中に静止画撮影を行う場合、前後に消灯期間を設け、同一の照明期間を含む複数のフレームに応じた画像信号を加算して、一つの画像データ（加算画像データ）を静止画用に生成するようにしたので、撮像素子で露光してから電荷を読み出すまでの一連の処理をライン毎に異なるタイミングで行ったとしても、画像のぶれや歪みを抑制することができる。

また、本発明の実施の形態４によれば、照明制御部３２が、照明期間の前後を消灯期間として照明部３１を制御するようにしたので、異なる照明期間によって露光された画像信号が画像生成に使用されることがなく、画像における混色を防止することができる。

（変形例４−１）
図１４は、本実施の形態４の変形例４−１にかかる内視鏡システムの撮影時における光源装置が出射する照明光の出射タイミング、撮像素子の露光と読み出しタイミングおよび画像処理部による処理を模式的に示す図である。上述した実施の形態４では、実施の形態１にかかる内視鏡システムの構成における照明処理について説明したが、実施の形態２にかかる内視鏡システム１ａの構成（複数の光源を有する構成、図８参照）であっても適用できる。

制御部４０９は、入力部４０７により動画撮影にかかる指示の入力があると、照明制御部３２ａに対して、連続して照明光を出射するよう指示する。具体的には、照明制御部３２ａは、制御部４０９の制御のもと、光源３３ａおよび光源３３ｂによる照明光を交互に連続して出射させる。この際、読み出し部２４４ｇは、光源３３ａからの照明光（第１照明）によって露光された画素を含むフレームＦ１−１，Ｆ１−２の撮像データＤ１−１，Ｄ１−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。また、読み出し部２４４ｇは、光源３３ｂからの照明光（第２照明）によって露光された画素を含むフレームＦ２−１の画像データＤ２−１を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。

画像処理部４０２は、撮像データＤ１−１，Ｄ１−２，Ｄ２−１に対して同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理、複数の画像データを合成する合成処理およびフォーマット変換処理等を施して、表示装置５が表示するための画像データＤｍ１１〜Ｄｍ１３を生成する。

ここで、制御部４０９は、入力部４０７により静止画撮影にかかる指示の入力があると、照明制御部３２ａに対して、静止画撮影のための照明処理を行うよう指示する。照明制御部３２ａは、まず、１フレームに応じた期間（消灯期間Ｔｓ１０１）、照明部３１ａの消灯を行う。

続いて、照明制御部３２ａは、１フレーム期間に応じた期間（照明期間Ｔｅ８１）、照明部３１ａの光源３３ａに照明光を出射させる（第１照明）。この際、読み出し部２４４ｇは、照明期間Ｔｅ８１において出射された照明光によって露光された画素を含むフレームＦ３−１，Ｆ３−２の撮像データＤ３−１，Ｄ３−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、撮像データＤ３−１と撮像データＤ３−２とを加算した画像データＤｄ８１を生成する。

続いて、照明制御部３２ａは、１フレームに応じた期間（消灯期間Ｔｓ１０２）、照明部３１ａの消灯を行った後、１フレーム期間に応じた期間（照明期間Ｔｅ９１）、照明部３１ａの光源３３ｂに照明光を出射させる（第２照明）。この際、読み出し部２４４ｇは、照明期間Ｔｅ９１において出射された照明光によって露光された画素を含むフレームＦ４−１，Ｆ４−２の撮像データＤ４−１，Ｄ４−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。さらに、画像処理部４０２は、撮像データＤ４−１と撮像データＤ４−２とを加算した画像データＤｄ９１を生成する。

その後、制御部４０９は、動画撮影にかかる照明処理の制御に戻る。制御部４０９は、照明制御部３２ａに対して、連続して照明光を出射するよう指示する。具体的には、照明制御部３２ａは、制御部４０９の制御のもと、１フレームに応じた消灯期間Ｔｓ１０３で照明部３１ａの消灯を行った後、光源３３ａおよび光源３３ｂによる照明光を交互に連続して出射させる。この際、読み出し部２４４ｇは、フレームＦ４−２に続くフレームＦ０−１、Ｆ２−２（第２照明）の撮像データＤ０−１，Ｄ２−２を受光部２４４ｆからそれぞれ読み出して画像処理部４０２へ出力する。

画像処理部４０２は、撮像データＤ０−１，Ｄ２−２に対して同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理、複数の画像データを合成する合成処理およびフォーマット変換処理等を施して、表示装置５が表示するための画像データＤｍ１４，Ｄｍ１５を生成する。

上述した処理により、動画撮影期間で得られた表示用の画像情報には、各フレームＦ０−１，Ｆ１−１，Ｆ１−２，Ｆ２−１，Ｆ２−２，Ｆ３−１，Ｆ３−２，Ｆ４−１，Ｆ４−２に応じた撮像データＤ０−１，Ｄ１−１，Ｄ１−２，Ｄ２−１，Ｄ２−２であって、画像処理が施された画像データＤｍ１１〜Ｄｍ１５が用いられ、静止画撮影期間で得られた表示用の画像情報には、照明期間Ｔｅ８１，Ｔｅ９１において出射された照明光によって露光された画素を含むフレームＦ３−１，Ｆ３−２，Ｆ４−１，Ｆ４−２の撮像データＤ３−１，Ｄ３−２，Ｄ４−１，Ｄ４−２をもとに生成された画像データＤｄ８１，Ｄｄ９１が用いられる。

これにより、複数の光源を用いて照明処理が行われる際であっても、画像のぶれや歪み、混色があまり気にならない動画撮影の場合には、連続したフレームの画像データを用いた画像が表示装置５に表示され、画像のぶれや歪み、混色の影響が生じうる静止画撮影の場合には、前後に消灯期間を設け、同一の照明期間を含む複数のフレームの撮像データを加算して得られた画像データを用いた画像が表示装置５に表示される。

１，１ａ，１ｂ内視鏡システム
２内視鏡
３，３ａ，３ｂ光源装置
４処理装置
５表示装置
２１挿入部
２２操作部
２３ユニバーサルコード
２４先端部
２５湾曲部
２６可撓管部
３１，３１ａ，３１ｂ照明部
３２，３２ａ，３２ｂ照明制御部
３３，３３ａ，３３ｂ光源
３４，３４ａ，３４ｂ光源ドライバ
３５回転フィルタ
３６駆動部
３７駆動ドライバ
２２１湾曲ノブ
２２２処置具挿入部
２２３スイッチ
２４１ライトガイド
２４２照明レンズ
２４３光学系
２４４撮像素子
２４４ａセンサ部
２４４ｂアナログフロントエンド（ＡＦＥ）部
２４４ｃＰ／Ｓ変換部
２４４ｄタイミングジェネレータ
２４４ｅ撮像制御部
２４４ｆ受光部
２４４ｇ読み出し部
２４４ｈノイズ低減部
２４４ｉＡＧＣ部
２４４ｊＡ／Ｄ変換部
２４５集合ケーブル
４０１Ｓ／Ｐ変換部
４０２画像処理部
４０３明るさ検出部
４０４調光部
４０５読出アドレス設定部
４０６駆動信号生成部
４０７入力部
４０８記録部
４０９制御部
４１０基準クロック生成部

Claims

被写体を照明する照明光を出射する照明部と、
光を受光して光電変換を行うことにより撮像信号を生成する画素が二次元状に配列された受光部と、
前記受光部から水平ラインごとに前記撮像信号を順次読み出す読み出し部と、
前記読み出し部が前記受光部の最初の水平ラインの読み出し開始から次の最初の水平ラインの読み出し開始までの期間に相当する１フレーム期間である第１の期間、前記照明部に前記照明光の消灯を行わせた後、前記１フレーム期間以上である第２の期間、前記照明部に前記照明光を出射させる一連の処理を前記照明部に実行させる照明制御部と、
前記読み出し部が前記受光部から読み出した前記第１の期間における第１の撮像信号と前記第２の期間における第２の撮像信号とを加算することによって、前記第２の期間に出射された前記照明光に対応する画像信号を生成する画像処理部と、
を備えたことを特徴とする撮像システム。
前記照明制御部は、前記読み出し部による前記第１および第２の期間の読み出しタイミングと同期して前記照明部に前記一連の処理を実行させることを特徴とする請求項１に記載の撮像システム。
少なくとも静止画撮影を行う旨の指示信号の入力を受け付ける入力部を備え、
前記照明制御部は、前記入力部が前記指示信号の入力を受け付けていない場合は前記照明部に連続して照明光を出射させ、前記入力部が前記指示信号の入力を受け付けた場合は前記照明部に前記一連の処理を実行させ、
前記画像処理部は、前記入力部に前記指示信号の入力がない場合は連続して出射される前記照明光に応じて撮像信号をもとに表示用の画像信号を生成し、前記入力部に前記指示信号の入力があった場合は前記第１の撮像信号と前記第２の撮像信号とを加算することによって、表示用の画像信号を順次生成することを特徴とする請求項１または２に記載の撮像システム。