JP2007228099A - 撮像装置 - Google Patents

Abstract

【課題】表示装置のフレームレートに応じて露光時間の異なる画像をより多く撮影して合成に用いて、被写体の階調を忠実に再現したダイナミックレンジを拡大した画像データを得ることができ、複数のフレームレートで画像データを出力可能で、かつフレームレートの異なる複数の表示装置に対して同時に画像データを出力できる撮像装置を実現する。
【解決手段】本発明の撮像装置は、記憶装置又は表示装置へ送信するための出力フレームレートに応じて、前記撮像素子の露光時間の数を決定して、更に複数の異なる露光時間を決定して、撮像素子に複数の異なる露光時間で露光制御を行い、露光制御によって生成された複数の撮影画像を画像合成部で合成させる制御を行う制御部を有する。
【選択図】図３

Description

本発明は、デジタル画像を広いダイナミックレンジで撮影でき、複数のフレームレートで画像データを出力可能な撮像装置に関するものである。

テレビカメラ、ビデオカメラ等の画像入力手段として、ＣＣＤやＣＭＯＳをはじめとする固体撮像素子が多く利用されている。これらは、静止画撮影等に用いられる銀塩写真システムに比べてダイナミックレンジが狭く、被写体の輝度の高い箇所（明領域）と被写体の輝度の低い箇所（暗領域）の輝度差が大きい条件での撮影時には問題がある。即ち、明領域において階調が失われる白とび、又は暗領域において階調が失われる黒つぶれ等が発生する。

そこで、固体撮像素子のダイナミックレンジ拡大の方法として、露光時間の異なる複数の画像を撮影し、これらの複数の画像データを合成して、ダイナミックレンジの拡大された１つの画像を得る方法が提案されている。

合成方法としては、先ず画像信号の加算や、特許文献１に示されているように、露光時間の異なる複数の画像を撮影して白とびや黒つぶれ等が発生していない共通領域を抽出して共通領域における輝度を一致させる、そして、複数の画像のうち１つを標準画像と決めて標準画像における白とびや黒つぶれ箇所を他の画像の同一箇所に置換する方法がある。

ところで近年、１台のカメラで撮影した画像を複数の表示装置に表示するために複数の表示方式に変換する場合がある。
例えば監視カメラにおいて、表示装置として、テレビ受像機、ＰＣ用モニタ、携帯電話画面などがある。これらに対して各々異なるフレームレートで画像データを出力することが必要となる。

特開平７−１３１７１８号公報

しかしながら、特許文献１においては、決められた数の露光時間の異なる画像を撮影して合成する。そのため、例えば６０ｆｐｓ（フレーム／秒）で表示するための画像を出力するために１２０ｆｐｓで撮像可能な撮像素子を用いた場合、撮影された露光時間の異なる２画像で合成する。ところが、これより遅いフレームレート、例えば３０ｆｐｓで表示する表示装置に出力する場合にも、露光時間の組み合わせは表示装置のフレームレートに応じた変更が行われない。

そのため、３０ｆｐｓで表示する表示装置に対しては、露光時間の異なる画像を４画像撮影する時間があるにもかわらず、２種類の露光時間で撮影された画像を合成に用いるため、撮像素子の撮影能力を生かすことができない。更に、表示装置毎に適したダイナミックレンジ拡大処理をすることができない。
また、３０ｆｐｓで表示する表示装置と６０ｆｐｓで表示する表示装置に同時に出力することもできない。

本発明は以上の点を考慮してなされたもので、表示装置のフレームレートに応じて露光時間の異なる画像をより多く撮影して合成に用いて、被写体の階調を忠実に再現したダイナミックレンジを拡大した画像データを得ることができ、かつフレームレートの異なる複数の表示装置に対して同時に画像データを出力できる撮像装置を提案しようとするものである。

本発明の撮像装置は、入射される光に応じてアナログ画像信号を出力する撮像素子、前記撮像素子を駆動するタイミングジェネレータ、前記アナログ画像信号をデジタル画像信号に変換して出力するＡ／Ｄ変換部、前記デジタル画像信号を色調補正して撮影画像を生成する現像処理部、前記撮影画像を複数記憶するフレームメモリ、前記フレームメモリに記憶された複数の撮影画像を合成して合成画像を生成する画像合成部、前記合成画像を記憶する出力フレームメモリ、前記出力フレームメモリから読み出される前記合成画像を外部又は内部にある記憶装置又は表示装置に送信する通信部、及び撮像装置全体を制御する制御部を備えてなり、前記制御部は、記憶装置又は表示装置へ送信するための出力フレームレートに応じて、前記撮像素子の露光時間の数を決定し、更に複数の異なる露光時間を決定して前記撮像素子に複数の異なる露光時間で露光制御を行い、前記露光制御によって生成された複数の撮影画像を前記画像合成部で合成させる制御を行う。

本発明の撮像装置によれば、１出力フレーム分の画像を生成する期間においてアナログ画像信号を出力可能な最大数のフレーム数を用いて画像合成を行うことによって、撮像素子の撮像フレームレートを最大限に活かして、より明部と暗部の輝度差の大きい被写体に対応して撮影することができる。

また、各フレームの白とび、黒つぶれ等、適正露光部分ではない階調が失われた箇所を避け、可能な限り各フレームの中から適正露光部分の中心に近い箇所を合成に用いることによって、撮像素子の撮像フレームレートを最大限に活かして、被写体の階調を忠実に再現したダイナミックレンジを拡大した画像を得ることができる。

更に、要求出力フレームレートが複数存在する時には、最も高い要求出力フレームレートの画像に適合した複数の異なる露光時間で撮影を行うことによって、複数の要求フレームレートに対応して、通信部からダイナミックレンジ拡大を行った画像を出力することができる。

以下、本発明の実施形態を図面に基づいて説明する。
図１は構成を示すブロック図、図２は制御の流れを表すフローチャート、図３は撮像装置１の最も高い出力フレームレートに応じた露光時間の異なる撮像フレームを生成する動作を示す説明図、図４と図５は画像合成方法の一例を示す説明図である。

図１に従って、本発明の実施形態の全体構成を説明する。
撮像装置１は、露光時間を異ならせて順次アナログ画像信号を撮像フレームレートで出力するＣＣＤ、ＣＭＯＳ等の撮像素子１２、撮像素子１２を駆動するタイミングジェネレータ（ＴＧ）１３、アナログ画素信号をデジタル画素信号に変換して出力するＡ／Ｄ変換部１４を有する。

また、デジタル画素信号を色調補正して撮影画像を生成する現像処理部１５、撮影画像から適正な露光量で撮像された画素の検出を行う適正露光部分検出部２１、撮影画像を撮像フレームとして記憶するフレームメモリ１６を有する。

また、フレームメモリ１６に記憶された露光時間の異なる複数の撮像フレームを読み出して合成した合成画像を生成する画像合成部１７、合成画像を記憶する出力フレームメモリ１８を有する。

また、インターネット、ＬＡＮ等のネットワーク３を介して外部装置２に対して合成画像から生成された出力フレームを画像データとして送信及び外部装置２から撮影指示の受信を行う通信部１９を有する。

また、撮像装置１に対する撮影指示等のコマンドを入力するための操作キーからなるコマンド入力部２０、撮像装置１全体を制御するＣＰＵを含む制御部１１から構成される。
コマンド入力部２０又は外部装置２による撮影指示には、外部装置２に送信する画像のフレームレートを示す要求出力フレームレートが含まれている。

撮像フレームは、撮像素子１２の１回の露光動作によって得られる画像情報を指し、外部装置２に対する送信時における出力フレームは、外部装置２の表示手段の表示エリアに同時に表示する画像情報又は記憶フォーマットにおける１画面分の画像情報を指す。
インターレス動作時においてはＯＤＤ（奇数行）用画像情報、ＥＶＥＮ（偶数行）用画像情報を別の出力フレームとする。

次に、図２を用いて、制御部１１による制御の流れについて説明する。
制御部１１が、コマンド入力部２０又は通信部１９を介して外部装置から撮像装置１の動作に関する指示を受けるために待機している時には、以下の動作を行う。即ち、コマンド入力部２０又は外部装置２から撮影指示を受けると（ステップＳ１０１）、タイミングジェネレータ（ＴＧ）１３、撮像素子１２１６、Ａ／Ｄ変換部１４、現像処理部１５を駆動して、撮像装置１の撮影動作を開始する。

制御部１１は、１出力フレーム分の画像を生成する期間において撮像素子１２が出力可能な最多撮像フレーム数を用いて画像合成を行うために、撮像フレームレートと要求出力フレームレートを比較して最多撮像フレーム数を決定する（ステップＳ１０２）。
要求出力フレームレートの異なる複数の撮影指示を受けた時、又は複数の要求出力フレームレートを含む撮影指示を受けた時は、撮像フレームレートと要求されている中で最も高い要求出力フレームレートを比較して最多撮像フレーム数を決定する。

次に、最多撮像フレーム数に応じた複数の異なる露光時間を決定する（ステップＳ１０３）。
決定した複数の露光時間によって撮像素子に撮影を実行させ、これによって生成された複数の撮像フレームはそれぞれフレームメモリ１６に記憶される（ステップＳ１０４）。
そして、制御部１１は、画像合成において各画素の輝度を複数の撮像フレームから選択する際の基準となる基準輝度を決定する（ステップＳ１０５）。この基準輝度を基に、画像合成部１７が各撮像フレームから画素を選択して画像合成を行うように制御する（ステップＳ１０６）。

次に、制御部１１は、画像合成部１７が合成した画像を外部装置２へ送信する階調深さになるように階調圧縮を実行するように制御して、合成画像が出力フレームメモリ１８に記憶される（ステップＳ１０７）。
出力フレームメモリ１８に記憶された出力フレームのフレームレートが要求出力フレームレートと一致しているかどうか判定される（ステップＳ１０８）。一致している時は、制御部１１の指示によって出力フレームメモリ１８から読み出されて（ステップＳ１０９）、画像データとして通信部１９から外部装置２へ送信される（ステップＳ１１１）。
また一致していない時は、出力フレームのフレームレートを要求出力フレームレートへ変換して（ステップＳ１１０）、画像データとして通信部１９から送信される（ステップＳ１１１）。

フレームレートの変換は、制御部１１による出力フレームメモリ１８からの読み出し動作によって行い、出力フレームを選択的に読み出して、画像データとして通信部１９から外部装置２へ送信される。
例えば、出力フレームメモリに記憶されている出力フレームが６０ｆｐｓのフレームレートである時、要求出力フレームレートが３０ｆｐｓの画像を要求している外部装置２には、１フレーム送信して次のフレームを送信しない。要求出力フレームレート３５ｆｐｓの画像を要求している外部装置２には、１フレームを送信して次の１フレーム又は２フレームを送信しないというパターンで、１秒間６０フレームの画像からできるだけ均一な間隔で３５フレームを選択して送信する。

次に、図３を用いて、最多撮像フレーム数の決定方法について具体的に説明する。
最多撮像フレーム数は、出力フレームの１期間において生成可能な撮像フレームの数である。
最多撮像フレーム数＝撮像フレームレート／要求出力フレームレート
の式による計算結果において小数部分を切り捨てることによって求められる。

例えば、撮像フレームレートが１２０ｆｐｓ、要求出力フレームレートが６０ｆｐｓである時の最多撮像フレーム数は２となる。撮像フレームレートが１２０ｆｐｓ、要求出力フレームレートが３５ｆｐｓである時の最多撮像フレーム数は３となる。撮像フレームレートが１２０ｆｐｓ、要求出力フレームレートが３０ｆｐｓである時の最多撮像フレーム数は４となる。

撮像フレームレートが１２０ｆｐｓ、要求出力フレームレートが６０ｆｐｓである時の露光時間の異なる２つの撮像フレームは、それぞれ撮像フレームＡ、撮像フレームＢとして順に出力される。撮像フレームレートが１２０ｆｐｓ、要求出力フレームレートが３５ｆｐｓである時の露光時間の異なる３つの撮像フレームはそれぞれ撮像フレームＡ、撮像フレームＢ、撮像フレームＣとして順に出力される。撮像フレームレートが１２０ｆｐｓ、要求出力フレームレートが３０ｆｐｓである時の露光時間の異なる４つの撮像フレームはそれぞれ撮像フレームＡ、撮像フレームＢ、撮像フレームＣ、撮像フレームＤとして順に出力される。

但し、撮像フレームレートと要求出力フレームレートの値によって順に撮像フレームを出力していく時に、次の撮像フレームが生成された時点において、次の出力フレームの画像を生成する期間に達していない場合がある。
例えば、撮像フレームレートが１２０ｆｐｓ、要求出力フレームレートが３５ｆｐｓである時には、図３のように、撮像フレームＡ、撮像フレームＢ、撮像フレームＣが順に出力される。その後、次の出力フレームの画像を生成する期間に達していない時に出力される撮像フレームが一定の間隔で発生する。

図３では、斜線で示しており、これを空撮像フレームという。空撮像フレームは次の出力フレームの画像合成に用いない。空撮像フレームについて露光時間は任意に定めて撮像素子１２によって撮影してもよいし、撮影をしなくてもよい。

単一の外部装置２の記憶手段に記憶するための画像データと表示手段に表示するための画像データの出力フレームレートが異なる時がある。或いは複数の外部装置２の必要としている画像データの出力フレームレートが異なる時がある。これらのように、コマンド入力部２０又は外部装置２による撮影指示に含まれている要求出力フレームレートが異なる場合には、最も高い要求出力フレームレートを、前述の式の要求出力フレームレートに代入して最多撮像フレーム数を求める。

例えば、撮像フレームレートが１２０ｆｐｓ、要求出力フレームレートが３０ｆｐｓ、３５ｆｐｓ、６０ｆｐｓの３種類である時は、６０ｆｐｓがもっとも高い要求出力フレームレートであり、最多撮像フレーム数は２となる。

ここで、図６を用いて最多撮像フレーム数の決定における実際の制御の流れを説明する。
制御部１１は、コマンド入力部２０又は外部装置２から撮影指示を受けた時（ステップＳ２０１）、まず要求出力フレームレートが１つであるか複数であるかを確認する（ステップＳ２０２）。

要求出力フレームレートが複数である時、要求出力フレームレートの中から最も高い要求出力フレームレートを選択する（ステップＳ２０３）。それが１つである時はその要求出力フレームレートを用いて、先述の通りに撮像フレーム数を算出、決定する（ステップＳ２０４）。

撮像フレーム数の決定後、撮影動作中は常に撮像フレーム数を制御部１１において保持しておく（ステップＳ２０５）。ここで、新規の要求出力フレームレートがコマンド入力部２０又は外部装置から指定された（ステップＳ２０６）時には、再度、撮像フレーム数を算出、決定するように制御する。

次に、図４と図５を用いて、複数の露光時間の決定方法について具体的に説明する。
複数の露光時間を決定するために、撮影対象範囲又は撮影対象範囲の一部分の撮像を外部装置２への画像データ送信前に行う。
そして、適正露光部分検出部２１が、現像処理部１５において生成された撮影画像の一定輝度Ｈ以上の画素は白とび部分、一定輝度Ｌ以下の画素は黒つぶれ部分とみなし、Ｌ＜輝度＜Ｈとなる画素を適正露光部分として検出する。

更に、露光時間を変化させて撮影画像の生成と適性露光部分の検出を繰り返し実行する。
例えば２つの異なる露光時間で撮像を行う場合、制御部１１は適正露光部分検出結果によって白とび部分が無い又は少ない露光時間Ｔ−１、黒つぶれ部分が無い又は少ない露光時間Ｔ＋１を決定する。
露光時間の長さの関係はＴ−１ ＜ Ｔ＋１とする。

露光時間Ｔ−１で撮影される撮像フレームをＡ、露光時間Ｔ＋１で撮影される撮像フレームをＢとする。図４に示すように、撮像フレームＡと撮像フレームＢの両方において適正露光部分となる画素が、少なくとも１画素以上、両方の撮像フレームに存在するように露光時間Ｔ−１と露光時間Ｔ＋１は決定される。

露光時間Ｔ−１、露光時間Ｔ＋１は、撮像素子１２が２つの撮像フレームを出力した後、撮影対象範囲又は撮影対象範囲の一部分の輝度に応じて、或いは、コマンド入力部２０又は外部装置２による指示により変更してもよい。
インターレス動作時は、撮像フレームＡがＯＤＤフレームである場合は撮像フレームＢもＯＤＤフレーム、撮像フレームＡがＥＶＥＮフレームである場合は撮像フレームＢもＥＶＥＮフレームとする。

また、例えば４つの異なる露光時間で撮像を行う場合、制御部１１は適正露光部分検出結果によって白とび部分が無い又は少ない露光時間Ｔ−２、露光時間Ｔ−１、黒つぶれ部分が無い又は少ない露光時間Ｔ＋１、露光時間Ｔ＋２を決定する。露光時間の長さの関係はＴ−２＜Ｔ−１＜Ｔ＋１＜Ｔ＋２とする。

露光時間Ｔ−２で撮影される撮像フレームをＡ、露光時間Ｔ−１で撮影される撮像フレームをＢ、露光時間Ｔ＋１で撮影される撮像フレームをＣ、露光時間Ｔ＋２で撮影される撮像フレームをＤとする。図５に示すように露光時間の最も近い２つの撮像フレームの両方において適正露光部分となる画素が、少なくとも１画素以上、両方の撮像フレームに存在するように決定される。即ち、撮像フレームＡと撮像フレームＢ、撮像フレームＢと撮像フレームＣ、撮像フレームＣと撮像フレームＤの両方において適正露光部分となる画素が、少なくとも１画素以上、両方の撮像フレームに存在するように各露光時間は決定される。

露光時間Ｔ−２、露光時間Ｔ−１、露光時間Ｔ＋１、露光時間Ｔ＋２は、撮像素子１２が４つの撮像フレームを出力した後、撮影対象範囲又は撮影対象範囲の一部分の輝度に応じて、或いは、コマンド入力部２０又は外部装置２による指示により変更してもよい。
インターレス動作時は、撮像フレームＡがＯＤＤフレームである場合は撮像フレームＢ〜ＤもＯＤＤフレーム、撮像フレームＡがＥＶＥＮフレームである場合は撮像フレームＢ〜ＤもＥＶＥＮフレームとする。

次に、図４と図５を用いて、画像合成方法について具体的に説明する。
例えば２つの異なる露光時間で撮像を行う場合、画像合成において各画素の輝度を複数の撮像フレームから選択する際の基準となる基準輝度とする。そして、図４に示すように撮像フレームＡと撮像フレームＢの適正露光部分の輝度範囲が重複する輝度重複部分の中心値付近にＡ−Ｂ輝度を決定する。

画像合成部１７では、Ａ−Ｂ輝度未満の画素は撮像フレームＡ、Ａ−Ｂ輝度以上は撮像フレームＢの画素値を選択し、図４において斜線で示した選択部分の画素値を元に画像合成を行う。
この時、撮像フレーム毎に例えば０から２５５までの数値で輝度が表現されているとすると、Ａ−Ｂ輝度は撮像フレームＡの画素値で例えば１７０と表現され、撮像フレームＢの画素値では例えば８０と表現される。

そのため、画像合成部１７による画像合成は、撮像フレームＢのＡ−Ｂ輝度を表現する画素値である８０が撮像フレームＡにおける表現である１７０となるように、撮像フレームＢの画素値を換算して実行される。
また、例えば、４つの異なる露光時間で撮像を行う場合には、以下のように実行される。
画像合成において各画素の輝度を複数の撮像フレームから選択する際の基準となる基準輝度とする。図５に示すように、撮像フレームＡと撮像フレームＢの適正露光部分の輝度範囲が重複する輝度重複部分の中心値付近にＡ−Ｂ輝度を決定する。また、撮像フレームＢと撮像フレームＣの適正露光部分の輝度範囲が重複する輝度重複部分の中心値付近にＢ−Ｃ輝度を決定する。撮像フレームＣと撮像フレームＤの適正露光部分の輝度範囲が重複する輝度重複部分の中心値付近にＣ−Ｄ輝度を決定する。

画像合成部１７では、Ａ−Ｂ輝度未満の画素は撮像フレームＡの画素値を選択する。また、Ａ−Ｂ輝度以上かつＢ−Ｃ輝度未満の画素は撮像フレームＢを選択する。また、Ｂ−Ｃ輝度以上かつＣ−Ｄ輝度未満の画素は撮像フレームＣ、Ｃ−Ｄ輝度以上の画素は撮像フレームＤの画素値を選択する。そして、図５において斜線で示した選択部分の画素値を元に画像合成を行う。

この時、撮像フレーム毎に例えば０から２５５までの数値で輝度が表現されているとすると、Ａ−Ｂ輝度は撮像フレームＡの画素値で例えば１７０と表現され、撮像フレームＢの画素値では例えば８０と表現される。
そのため、画像合成部１７による画像合成は、撮像フレームＢのＡ−Ｂ輝度を表現する画素値である８０が撮像フレームＡにおける表現である１７０となるように、撮像フレームＢの画素値を換算して実行される。

また、Ｂ−Ｃ輝度は撮像フレームＢの画素値で例えば１６０と表現され、撮像フレームＣの画素値では例えば７０と表現される。
そのため、撮像フレームＣのＢ−Ｃ輝度を表現する画素値である７０が撮像フレームＢにおける表現である１６０となるように、撮像フレームＣの画素値を換算して、その後、撮像フレームＡにおける表現となるように換算して画像合成が実行される。

撮像フレームＤについても同様に、撮像フレームＡとの合成において撮像フレームＡの輝度表現に対して整合するように画素値を換算換算して画像合成が実行される。
これまで、１出力フレーム分の画像を生成する期間において２つ以上の撮像フレームを出力可能な場合について説明を行ってきた。しかしながら、２つ以上の撮像フレームを出力できない場合は、画像合成を行わずに、制御部１１の指示によって画像データとして通信部１９から送信される。

この時には、フレームメモリ１６から読み出して送信してもよいし、フレームメモリ１６から出力フレームメモリ１８に画像データを移動してから送信してもよい。
勿論、現像処理部１５から出力フレームメモリ１８に撮影画像を直接記憶するようにしてもよい。出力フレームのフレームレートと要求出力フレームレートが一致していない時はフレームレートを変換してから送信する。

以上のように、本実施形態では、１出力フレーム分の画像を生成する期間において撮像素子１２が出力可能な最多撮像フレーム数を用いて画像合成を行う。これにより、撮像フレームレートを最大限に活かして、より明部と暗部の輝度差の大きい被写体に対応して撮影することができる。

また、要求出力フレームレートに最適な撮像フレーム数を用いる。それと共に、各撮像フレームの露光時間の最も近い２つの撮像フレームの両方において適正露光部分となる画素が、少なくとも１画素以上、両方の撮像フレームに存在するように、最適な露光時間の組み合わせを選択する。更に、各フレームの白とび、黒つぶれ等、適正露光部分ではない階調が失われた箇所を避け、可能な限り各撮像フレームの中から適正露光部分の輝度中心に近い箇所を合成に用いる。これにより、撮像フレームレートを最大限に活かして、被写体の階調を忠実に再現したダイナミックレンジを拡大した画像を得ることができる。

更に、要求出力フレームレートが複数存在する時には、最も高い要求出力フレームレートの１出力フレーム分の画像を生成する期間において撮像素子１２が出力可能な最多撮像フレーム数を用いて画像合成を行う。これにより、通信部１９から複数の要求出力フレームレートに対応して、ダイナミックレンジ拡大を行った画像を出力することができる。

ここで、画像合成方法として、各撮像フレームから基準輝度を基に画素値を選択、換算する方法を示したが、他の画像合成方法を用いても、本発明の要求出力フレームレートに応じて露光時間の組み合わせを決定することにより、同様に効果を得ることが可能である。
また、複数の要求出力フレームレートに対応して画像データを生成するための出力フレームレートの変換は、出力フレームメモリ１８からの読み出し動作によって実現する方法を示した。しかしながら、予め変換したうえで要求出力フレームレート毎に画像データを出力フレームメモリ１８に記憶するようにしてもよい。

また、出力フレームメモリ１８に記憶する前の出力フレーム、あるいは出力フレームメモリ１８から読み出し後の画像データを、外部装置２に応じて解像度を変換するようにしてもよい。
また、ネットワーク３を介して外部装置２と接続する例を挙げたが、外部装置２と専用の通信線経由、又は直接接続する構成にしてもよい。

なお、本実施形態における図２及び図６の一連のステップのプログラムコード等は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明の実施形態に含まれる。

具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記録媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、以下のものを用いることができる。即ち、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）である。

また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。また、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。

本発明の実施例に係る撮像装置１の構成を示すブロック図である。 本発明の実施例に係る撮像装置１の制御部１１に含まれるＣＰＵの動作を表すフローチャートである。 本発明の実施例に係る撮像装置の最も高い要求出力フレームレートに応じた露光時間の異なる撮像フレームを生成する動作を示す説明図である。 本発明に係る撮像装置における画像合成方法の一例を示す説明図である。 本発明に係る撮像装置における画像合成方法の一例を示す説明図である。 本発明に係る撮像装置１の制御部１１に含まれるＣＰＵの撮像フレーム数を決定する際の詳細な動作を表すフローチャートである。

符号の説明

１ 撮像装置
２ 外部装置
３ ネットワーク
１１ 制御部
１２ 撮像素子
１３ タイミングジェネレータ（ＴＧ）
１４ Ａ／Ｄ変換部
１５ 現像処理部
１６ フレームメモリ
１７ 画像合成部
１８ 出力フレームメモリ
１９ 通信部
２０ コマンド入力手段
２１ 適正露光部分検出部

Claims (12)

1. 入射される光に応じてアナログ画像信号を出力する撮像素子、前記撮像素子を駆動するタイミングジェネレータ、前記アナログ画像信号をデジタル画像信号に変換して出力するＡ／Ｄ変換部、前記デジタル画像信号を色調補正して撮影画像を生成する現像処理部、前記撮影画像を複数記憶するフレームメモリ、前記フレームメモリに記憶された複数の撮影画像を合成して合成画像を生成する画像合成部、前記合成画像を記憶する出力フレームメモリ、前記出力フレームメモリから読み出される前記合成画像を外部又は内部にある記憶装置又は表示装置に送信する通信部、及び撮像装置全体を制御する制御部を備えてなり、
   前記制御部は、記憶装置又は表示装置へ送信するための出力フレームレートに応じて、前記撮像素子の露光時間の数を決定し、更に複数の異なる露光時間を決定して前記撮像素子に複数の異なる露光時間で露光制御を行い、前記露光制御によって生成された複数の撮影画像を前記画像合成部で合成させる制御を行うことを特徴とする撮像装置。
2. 前記出力フレームレートを入力するコマンド入力部を有することを特徴とする請求項１に記載の撮像装置。
3. 前記通信部は記憶装置又は表示装置からコマンドを受信し、前記出力フレームレートはコマンド又はコマンドの一部として前記通信部を介して記憶装置又は表示装置から入力されることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記出力フレームレートは記憶装置又は表示装置において記憶又は再生するフレームレートであることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記記憶装置又は表示装置は、ハードディスク、リムーバブルディスク、モニタ、及びこれらを内蔵しているその他の装置であることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記出力フレームレートは送信先毎に異なることを許容することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記複数の異なる露光時間の数は、出力フレームレートの１出力フレーム期間において撮像素子が出力可能な最多撮像画像数以下であり、前記出力フレームレートが複数存在する場合は、最も高い出力フレームレートの１出力フレーム期間において前記撮像素子が出力可能な最多撮像画像数以下であることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記複数の異なる露光時間の数は、出力フレームレートの１出力フレーム期間において撮像素子が出力可能な最多撮像画像数であり、前記出力フレームレートが複数存在する場合は、最も高い出力フレームレートの１出力フレーム期間において前記撮像素子が出力可能な最多撮像画像数であることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
9. 更に撮影画像から適正な露光量である画素と適正でない露光量である画素を判別する適正露光部分検出部を有し、前記複数の異なる露光時間の組み合わせは、露光時間の最も近い２つの撮像フレームの両方において適正な露光量である画素が、少なくとも１画素以上、両方の撮像フレームに存在するように決定されることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記適正露光部分検出部は、予め定められた範囲内の輝度を持つ画素を適正な露光量である画素と判断することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 前記画像合成部による合成画像の階調深さを送信先に応じて変更することを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記出力フレームメモリに記憶された合成画像のフレームレートと出力フレームレートが異なる時には、出力フレームレートに変換してから送信することを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。

Images