JP2015104003A - 画像表示方法、イメージセンサ及び撮像装置 - Google Patents

Abstract

【課題】ＣＭＯＳ型のイメージセンサによる撮像中の露光量に関する設定の変更に伴い破棄されるフレーム画像を軽減し、フレーム画像のライブビュー表示を高速化すること。
【解決手段】本発明にかかる画像表示方法は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサにより取得された画像信号からなるフレーム画像を逐次、画面に表示する撮像装置を用いた画像表示方法であって、フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整し、ゲイン値の調整後のフレーム画像を画面に表示する。
【選択図】図３

Description

本発明は、画像表示方法、イメージセンサ及び撮像装置に関する。

近年のデジタルカメラ等のカメラシステムには、カメラ（固体撮像素子、イメージセンサ）により撮像されたフレーム画像をリアルタイムに液晶モニタに表示する、いわゆるライブビュー表示機能が搭載されている。

特許文献１には、ターレット絞りのデジタルカメラにおいて、絞り切替時のブランキング時間による露出不足を補うために、撮影感度であるゲインを調整する技術が開示されている。

特開２０１１−０４４８７２号公報

ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサを搭載したデジタルカメラにおいて、ライブビュー表示中にカメラの露光量に関する設定が変更された場合（例えば、フレームレートの切替や絞りの駆動制御）、ライブビュー表示が一旦中断されてしまうという問題点がある。

ここで、ＣＭＯＳ型のイメージセンサでは、フレーム画像内のライン単位（または画素単位）で順次露光を行うローリングシャッタ方式で撮像が行われる。例えば、まず、あるフレームの撮影中にフレームレート（露光時間、シャッター速度）の切替が行われると、その時に撮影されたフレーム内でラインごと又は画素ごとに露光量が不均一になる箇所が発生してしまう。そのため、通常は、当該フレームを破棄して（いわゆる捨てフレームとして処理し）、切替後のフレームレートにより撮影が開始されたフレームからライブビュー表示を再開する。このような場合、ユーザの体感としては、ライブビュー表示が一旦途切れるように見える。それは、捨てフレーム分のライブビュー表示がスキップされ、次のフレームが表示されるまでの待ち時間が発生する。そのため、上述した問題が発生し得る。

ここで、フレーム内で露光量が不均一になる箇所が発生する点について補足する。図１０は、本発明が解決しようとする課題の発生を説明するための図である。ここでは、時刻ｔ４と時刻ｔ５の間にフレームレートの設定が６０ＦＰＳから１２０ＦＰＳへ切り替えられた場合を示す。まず、ＣＣＤＶＤ／ＬＣＤＶＳＹＮＣ（以下、「フレーム同期信号」と呼ぶ。）が、時刻ｔ１から時刻ｔ４までは６０ＦＰＳのフレームレートで発生している。そのため、フレームＦ１〜Ｆ３までは、フレーム内の各ライン及び各画素で露光時間が共通し、露光量が均一となっている。例えば、フレームＦ１の先頭ラインについては、時刻ｔ１から時刻ｔ２の期間に露光されて、ＣＭＯＳイメージセンサにより画像信号として出力される（フレーム画像出力Ｆ１ｏｕｔ）。以降、フレームＦ１の２番目のラインから最終ラインまでが、時刻ｔ２までにライン毎に順次、露光される。そのため、フレームＦ１の最終ラインの露光が終わり画像信号として出力されるのは、時刻ｔ３の時点となる。また、フレームＦ２の先頭ラインについては時刻ｔ２から時刻ｔ３の期間に、また、フレームＦ２の最終ラインは時刻ｔ３から時刻ｔ４の期間に、それぞれ露光される。そのため、フレームＦ１〜Ｆ３までは、フレーム内の各ライン及び各画素で露光時間が共通し、露光量が均一となっている。

そして、時刻ｔ４と時刻ｔ５の間にフレームレートが６０ＦＰＳから１２０ＦＰＳへ変更されるため、次にフレーム同期信号が発生するのは時刻ｔ６ｘではなく時刻ｔ６となる。つまり、フレーム間隔がＴＺ１からＴＺ２へ短縮される。これに伴い、フレームＦ４内の先頭ラインＬＦからラインＬＭまでは、フレーム間隔ＴＺ１での露光時間が確保される。しかしながら、フレームＦ４内のラインＬＭ以降、最終ラインＬＬまでは、露光が中断されることとなる。そのため、フレームＦ４は、十分な露光時間が確保できない。

例えば、フレームＦ４では、後半のラインＬＭ以降、最終ラインＬＬまでは、前半の先頭ラインＬＦからラインＬＭまでと比べて、露光量が不足する。それ故、フレームＦ４内の各画素の露光量は不均一となり得る。そこで、通常は、フレームＦ４が破棄され、切替後のフレームレート１２０ＦＰＳで初めから露光されたフレームＦ５が撮影されたのちに、出力される。つまり、ライブビュー表示としては、フレーム画像出力Ｆ３ｏｕｔが表示された後、フレーム画像出力Ｆ５ｏｕｔが表示されるまでの間に、待ち時間が発生する。

ここで、カメラの露光量に関する設定が変更される場合としては、上述したフレームレートの変更の他に、カメラの絞り幅（開口面積、つまりレンズの明るさ）の変更といった場合が挙げられる。例えば、あるフレームの撮影中に、当初の絞り位置から目的の絞り位置まで移動した場合にも同様の問題が生じ得る。尚、「撮影されたフレーム内でラインごと又は画素ごとに露光量が不均一になる箇所が発生してしまう」現象については、撮像中に露光量に関する設定が変更されないとしても、外部環境等の影響によりフレーム画像内で画素間の露光量が異なる場合にも発生し得る。

尚、上述した特許文献１は、ターレット絞りの切替を対象としており、捨てフレームが発生するわけではない。そして、特許文献１では、ＣＣＤを対象としており、撮影中の設定変更時に１フレーム内に露光量の不均一は生じず、上述した課題は発生しない。よって、特許文献１では、上述した課題を解決することはできない。

本発明は、このような問題を解決するためになされたものであり、ＣＭＯＳ型のイメージセンサによる撮像中の露光量に関する設定の変更に伴い破棄されるフレーム画像を軽減し、フレーム画像のライブビュー表示を高速化できる画像表示方法、イメージセンサ及び撮像装置を提供することを目的とする。

本発明の第１の態様にかかる画像表示方法は、
ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサにより取得された画像信号からなるフレーム画像を逐次、画面に表示する撮像装置を用いた画像表示方法であって、
前記フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整し、
前記ゲイン値の調整後のフレーム画像を前記画面に表示する。

本発明の第２の態様にかかるイメージセンサは、
ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサであって、
フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整し、当該ゲイン値の調整後のフレーム画像を画面への表示用に出力するゲイン制御部
を備える。

本発明の第３の態様にかかる撮像装置は、
ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサにより取得された画像信号からなるフレーム画像を逐次、画面に表示する撮像装置であって、
前記フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整するゲイン制御部と、
前記ゲイン値の調整後のフレーム画像を前記画面に表示する表示部と、
を備える。

本発明により、ＣＭＯＳ型のイメージセンサによる撮像中の露光量に関する設定の変更に伴い破棄されるフレーム画像を軽減し、フレーム画像のライブビュー表示を高速化できる画像表示方法、イメージセンサ及び撮像装置を提供することができる。

本発明の実施の形態１にかかるイメージセンサを含むカメラシステムの構成を示すブロック図である。 本発明の実施の形態１にかかる撮像画像の表示方法の流れを示すフローチャートである。 本発明の実施の形態１にかかる効果を説明するための図である。 本発明の実施の形態１の変形例にかかるイメージセンサを含むカメラシステムの構成を示すブロック図である。 本発明の実施の形態２にかかるイメージセンサを含むカメラシステムの構成を示すブロック図である。 本発明の実施の形態２にかかる効果を説明するための図である。 本発明の実施の形態２の変形例にかかるイメージセンサを含むカメラシステムの構成を示すブロック図である。 本発明の実施の形態３にかかる効果を説明するための図である。 本発明の実施の形態３にかかる効果の例を示す図である。 本発明が解決しようとする課題の発生を説明するための図である。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

本発明の実施の形態としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサにより取得された画像信号からなるフレーム画像を逐次、画面に表示する撮像装置を用いた画像表示方法が挙げられる。そして、当該画像表示方法は、前記フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整し、前記ゲイン値の調整後のフレーム画像を前記画面に表示するものである。

また、本発明の実施の形態をＣＭＯＳ型のイメージセンサとして捉えた場合、フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整し、当該ゲイン値の調整後のフレーム画像を画面への表示用に出力するゲイン制御部を備えるものといえる。

さらに、本発明の実施の形態をゲイン制御部と表示部とを備える撮像装置として捉えた場合、ゲイン制御部は、前記フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整し、表示部は、前記ゲイン値の調整後のフレーム画像を前記画面に表示するものといえる。

＜実施の形態１＞
本発明の実施の形態１では、露光量に関する設定が変更された場合としてフレームレートが変更された場合について説明する。ここではまず、ゲイン制御部がＣＭＯＳ型のイメージセンサの内部に存在する場合について説明する。つまり、フレームレート切替時にイメージセンサの内部でゲイン制御を行う場合を示す。

図１は、本発明の実施の形態１にかかるイメージセンサ１１０を含むカメラシステム１００の構成を示すブロック図である。カメラシステム１００は、例えば、ライブビュー表示が可能なデジタルカメラであり、撮像装置の一例である。カメラシステム１００は、ＣＭＯＳ１１０と、画像入力コントローラ１２０と、画像信号処理回路１３０と、圧縮処理回路１４０と、ＬＣＤ（Liquid Crystal Display）１５１と、ＬＣＤドライバ１５２と、メディアコントローラ１５３と、記録メディア１５４と、ＶＲＡＭ（Video Random Access Memory）１６０と、メモリ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）１７０と、ＭＰＵ（Micro-Processing Unit）１８０とを備える。尚、画像入力コントローラ１２０、画像信号処理回路１３０、圧縮処理回路１４０、ＬＣＤドライバ１５２、メディアコントローラ１５３、ＶＲＡＭ１６０、メモリ１７０及びＭＰＵ１８０は、データバスに接続されている。また、図１において、光学装置等の一般的な構成は図示及び説明を省略する。

ＣＭＯＳ１１０は、固体撮像素子のうち相補性金属酸化膜半導体とも呼ばれる。また、ＣＭＯＳ１１０は、上述したように、フレーム画像内のライン単位（または画素単位）で順次露光を行うローリングシャッタ方式で撮像を行う。そのため、ＣＭＯＳ１１０は、フレーム画像を撮像するためには、先頭ラインから最終ラインまでライン単位で露光を開始する。そして、ＣＭＯＳ１１０は、後述するＴＧ１８２からの指示によるフレームレートの切替を検知し、指示されたフレームレートに基づきフレーム同期信号を発生させる。

ＣＭＯＳ１１０は、ＣＤＳアンプ１１１と、ＡＤ変換器１１２と、ゲイン制御部１１３とを備える。ＣＤＳアンプ１１１は、フォトダイオード（不図示）ごとに変換された電荷を増幅し、ＡＤ変換器１１２へ出力する。ＡＤ変換器１１２は、ＣＤＳアンプ１１１から入力されたアナログ信号をデジタル信号へ変換し、ゲイン制御部１１３へ出力する。

ゲイン制御部１１３は、ＡＤ変換器１１２から入力されたデジタル信号についてゲイン値を所定値に調整するように制御する。尚、デジタル信号とは、フレーム画像のうちライン単位の画像信号である。ここで、ゲイン制御部１１３は、フレーム画像の取得中にフレームレートが低速から高速に変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整する。具体的には、ゲイン制御部１１３は、フレーム画像のうち変更前のフレームレートによる露光が打ち切られた（中断された）ラインを特定し、特定されたラインからフレーム画像の最終ラインに向けて、変更前のフレームレートに対応するゲイン値から変更後のフレームレートに対応するゲイン値までライン毎にゲイン値を増加させる。尚、露光が打ち切られたラインとフレームレートに対応するゲイン値とは、変更前後のフレームレートの組み合わせに応じて予め決定された値を用いてもよい。または、後述するＭＰＵ１８０により指定された値を用いても良い。さらに、ゲイン制御部１１３が変更前後のフレームレートからゲイン値を算出してもよい。また、ゲイン制御部１１３は、ライン単位でデジタル信号が入力され、ラインごとにゲイン値を調整する。尚、本発明の実施の形態にかかるゲイン制御部１１３は、画素ごとにゲイン値を調整してもよい。

画像入力コントローラ１２０は、ゲイン制御部１１３からゲイン値の調整後のフレーム画像を入力し、ＶＲＡＭ１６０等へ送信する。画像入力コントローラ１２０は、例えば、ＤＭＡ（Direct Memory Access）である。

画像信号処理回路１３０は、ＡＦ（Auto Focus）評価値、ＡＥ（Auto Exposure）評価値を算出し、メモリ１７０に格納する。ここで、画像信号処理回路１３０は、ユーザによる手動設定又は自動判定によりＡＦ評価値及びＡＥ評価値を算出する。

圧縮処理回路１４０は、撮像されたフレーム画像について、JPEG（Joint Photographic Experts Group）やMPEG（Moving Picture Experts Group）等の圧縮方式により圧縮処理を行う回路である。

ＬＣＤ１５１は、表示部材であり、画面の一例である。ＬＣＤドライバ１５２は、ＶＲＡＭ１６０から読み出された画像データ１６１をＬＣＤ１５１に表示させる。

メディアコントローラ１５３は、記録メディア１５４を制御し、記録メディア１５４に画像データ１６１を格納し、記録メディア１５４から画像データ等を読み出す。記録メディア１５４は、画像データ１６１等記録する媒体である。

ＶＲＡＭ１６０は、ＬＣＤ１５１に表示するための画像データ１６１を保存するグラフィック用メモリである。メモリ１７０は、ＡＦ評価値１７１及びＡＥ評価値１７２を保存する記憶装置であり、ここでは、ＳＤＲＡＭとする。

ＭＰＵ１８０は、カメラシステム１００における各種処理を制御する制御装置である。ＭＰＵ１８０は、画像処理選択手段１８１及びＴＧ（Timing Generator）１８２を備える。画像処理選択手段１８１は、メモリ１７０に格納されたＡＦ評価値１７１及びＡＥ評価値１７２に基づいて、ＣＭＯＳ１１０に設定するためのパラメータを決定する。画像処理選択手段１８１は、ＴＧ１８２に対してフレームレート（露光時間）の設定を指示する。また、画像処理選択手段１８１は、ゲイン制御部１１３に対してゲイン値の設定等を行うことができる。ＴＧ１８２は、ＣＭＯＳ１１０に対してフレームレートの設定を行う。

図２は、本発明の実施の形態１にかかる撮像画像の表示方法の流れを示すフローチャートである。まず、ＭＰＵ１８０は、ＣＭＯＳ１１０にフレームレートの設定を行う（Ｓ１１）。具体的には、まず、画像信号処理回路１３０は、ＡＦ評価値１７１及びＡＥ評価値１７２を算出し、メモリ１７０に格納する。次に、画像処理選択手段１８１は、メモリ１７０からＡＦ評価値１７１及びＡＥ評価値１７２を読み出し、ＣＭＯＳ１１０に設定するパラメータ（フレームレート等）を決定する。そして、画像処理選択手段１８１は、ＴＧ１８２に対してフレームレートの設定を指示する。ＴＧ１８２は、画像処理選択手段１８１からの指示に応じてＣＭＯＳ１１０に対してフレームレートの設定を行う。また、画像処理選択手段１８１は、ゲイン制御部１１３に対して１００％の露光量が確保された場合のゲイン値を設定する。

次に、ＣＭＯＳ１１０は、設定されたフレームレートに基づいて撮像を開始する（Ｓ１２）。そして、ＣＭＯＳ１１０は、設定が変更されていないと判定し（ステップＳ１３でＮＯ）、ＣＭＯＳ１１０は、ライン単位に露光し、ゲイン制御部１１３は、設定されたゲイン値を維持して（Ｓ１７）、画像信号を画像入力コントローラ１２０に出力する。その後、画像入力コントローラ１２０は、ＶＲＡＭ１６０に画像データ１６１を保存し、ＬＣＤドライバ１５２は、画像データ１６１をＬＣＤ１５１にライブビュー表示する（Ｓ１８）。そして、ステップＳ１２へ戻る。

ここで、ＭＰＵ１８０は、フレームレートを低速から高速へ変更するものとする。この場合、変更後のフレームレートによりステップＳ１１が実行される。そのため、ＣＭＯＳ１１０は、設定が変更されていると判定する（ステップＳ１３でＹＥＳ）。具体的には、ＣＭＯＳ１１０は、ＴＧ１８２により設定された高速のフレームレートの処理に切り替えて、ＣＤＳアンプ１１１の動作を再開する。つまり、ＣＭＯＳ１１０は、高速のフレームレートによりフレーム同期信号を発生させる。そのため、あるフレーム画像内で露光時間が不十分なラインデータが発生する。ＣＤＳアンプ１１１は、露光したラインデータをＡＤ変換器１１２へ送信する。そして、ＡＤ変換器１１２は、ラインデータをＡ／Ｄ変換し、ゲイン制御部１１３へ出力する。

ここで、ゲイン制御部１１３は、処理対象がフレームレートの変更前のラインである場合には、ゲイン値を維持する（Ｓ１４）。一方、ゲイン制御部１１３は、処理対象のラインが、露光が中断されたものである場合には、ゲイン値を増加させる（Ｓ１５）。その後、フレームレートの変更前後に跨ったラインを含むフレーム画像についてライブビュー表示を行う（Ｓ１６）。すなわち、これまで捨てフレームとして破棄されていたものについて、表示させることができる。具体的には、ゲイン制御部１１３がゲイン値の調整後の各ラインデータを画像入力コントローラ１２０へ出力し、画像入力コントローラ１２０は、ＶＲＡＭ１６０へ画像データ１６１として保存する。ＬＣＤドライバ１５２は、ＶＲＡＭ１６０から画像データ１６１を読み出し、ＬＣＤ１５１に表示する。

図３は、本発明の実施の形態１にかかる効果を説明するための図である。ここでは、上述した図１０と同じ、フレームＦ４の露光中に、フレームレートが６０ＦＰＳから１２０ＦＰＳへ切り替わった場合について、本発明の実施の形態１を適用した場合について説明する。課題で説明したようにフレームＦ４がライン間で露光量が異なっている。そこで、ゲイン制御部１１３は、ラインＬＭから最終ラインＬＬまでのゲイン調整期間ＴＺ３についてゲインｇ１を徐々に増加させるように調整する。つまり、フレームレート６０ＦＰＳにおける露光時間が十分な先頭ラインＬＦからラインＬＭに対してはライン間で露光量の差がないため、ゲイン値を維持する。一方、ラインＬＭから最終ラインＬＬまでについては、時刻ｔ６で露光が中断されているため、先頭ラインＬＦからラインＬＭと比べて露光量が不足している。そのため、ラインＬＭから最終ラインＬＬまでの各ラインの露光量を先頭ラインＬＦからラインＬＭまでの各ラインの露光量に近付けるようにゲイン値を増加させる。具体的には、ラインＬＭから最終ラインＬＬに向けてフレームレート６０ＦＰＳに対応するゲイン値からフレームレート１２０ＦＰＳに対応するゲイン値まで単調増加させる。これにより、フレームＦ４内の各ライン間で、露光量が均一となり得る。つまり、ライン毎に徐々ゲインを上昇していくことで、ローリングシャッタ後段データの露光量不足をゲインによって補うことができる。それ故、撮像時点では、露光量にばらつきのあったフレーム画像について、切替後の１２０ＦＰＳで先頭ラインから露光したかのようなフレーム画像としてライブビュー表示することができる。

＜実施の形態１の変形例＞
続いて、本発明の実施の形態１の変形例として、ゲイン制御部がＣＭＯＳ型のイメージセンサの外部に存在する場合について説明する。つまり、フレームレート切替時にイメージセンサの外部でゲイン制御を行う場合を示す。

図４は、本発明の実施の形態１の変形例にかかるイメージセンサ１１０ａを含むカメラシステム１０１の構成を示すブロック図である。カメラシステム１０１における上述したカメラシステム１００との違いは、主に、ＣＭＯＳ１１０ａ、ゲイン制御部１１３ａ及びＭＰＵ１８０ａである。以下、カメラシステム１００との違いを中心に説明し、共通部分については適宜、説明を省略する。

ＣＭＯＳ１１０ａは、ＣＤＳアンプ１１１及びＡＤ変換器１１２を内蔵するが、ゲイン制御部１１３ａを内蔵していない。つまり、ＡＤ変換器１１２は、アナログ信号から変換したデジタル信号をゲイン制御部１１３ａへ出力する。

ゲイン制御部１１３ａは、ＡＤ変換器１１２からデジタル信号、つまりラインデータを入力する。また、ゲイン制御部１１３ａは、ＭＰＵ１８０ａからライン毎のゲイン値の調整値の設定を受け付け、当該設定に基づき各ラインのゲイン値を調整する。その他の処理は、ゲイン制御部１１３と同様である。

ＭＰＵ１８０ａは、ＭＰＵ１８０と同様に、カメラシステム１０１における各種処理を制御する。ＭＰＵ１８０ａは、ゲイン制御部１１３ａに対してライン毎のゲイン値の調整値の設定を行う。その他の処理は、ＭＰＵ１８０と同様である。

このように、カメラシステム１００及び１０１はいずれも、ＣＭＯＳ型のイメージセンサによる撮像中の露光量に関する設定の変更（特にフレームレートの変更）に伴い破棄されるフレーム画像を軽減し、フレーム画像のライブビュー表示を高速化できる。例えば、１２０ＦＰＳでは約８．３３ｍｓの短縮が実現可能である。特に、オートフォーカス処理については、フレームレート切替により、捨てフレームが発生することは、大きなマイナス要因となる。そのため、本発明の実施の形態により、従来は取得出来なかったフレームレート切替直後のフレーム画像データを取得することが出来るようになる。このことから、フレームレート切替後の検波データ取得Ｄｅｌａｙの短縮及び、ライブビュー表示停止時間を短縮するという効果を奏する。

＜実施の形態２＞
本発明の実施の形態２では、露光量に関する設定が変更された場合としてレンズ等の光学装置の絞り幅の設定が変更された場合について説明する。ここではまず、ゲイン制御部がＣＭＯＳ型のイメージセンサの内部に存在する場合について説明する。つまり、絞り駆動時にイメージセンサの内部でゲイン制御を行う場合を示す。

図５は、本発明の実施の形態２にかかるイメージセンサ１１０を含むカメラシステム２００の構成を示すブロック図である。カメラシステム２００における上述したカメラシステム１００との違いは、主に、ＭＰＵ１８０ｂであり、また、光学装置１９０を図に明示した点である。以下、カメラシステム１００との違いを中心に説明し、共通部分については適宜、説明を省略する。

ＭＰＵ１８０ｂの画像処理選択手段１８１は、光学装置１９０内の絞り部分に対して開閉制御開始の信号を送る。また、ＭＰＵ１８０ｂは、ゲイン制御部１１３に対して絞り制御により発生する露光時間の変化情報を設定する。例えば、画像処理選択手段１８１は、絞り部分に対して閉制御開始の信号を送る。これに伴い、光学装置１９０の絞り部分が閉制御を開始する。そのため、目的の絞り位置へ移動する際、露光量が均一でないフレーム画像が発生する。

ゲイン制御部１１３は、ＭＰＵ１８０ｂにより設定された露光時間の変化情報に基づいて、ＡＤ変換器１１２から出力されたラインデータに対して、画素又はラインごとにゲイン値を調整し、画像入力コントローラ１２０へ出力する。

図６は、本発明の実施の形態２にかかる効果を説明するための図である。ここでは、時刻ｔ１４から時刻ｔ１６の間に光学装置１９０の絞り制御を変更した場合を示す。具体的には、絞り駆動開始時刻ｔｄ１から絞り駆動完了時刻ｔｄ２の絞り駆動期間ＴＺ４において、光学装置１９０の絞り制御が開から閉へ変更された。つまり、絞り駆動開始時刻ｔｄ１において、ＭＰＵ１８０ｂは、光学装置１９０内の絞り部分に対して閉制御開始の信号を送ったことを示す。

この場合、ＭＰＵ１８０ｂは、ゲイン制御部１１３に対して絞り駆動開始時刻ｔｄ１から絞り駆動完了時刻ｔｄ２の間にゲイン値を徐々に増加させるように調整する指示を行う。これにより、ゲイン制御部１１３は、ゲインｇ２のようにゲイン値を調整する。すなわち、ゲイン制御部１１３は、絞り駆動期間ＴＺ４にライン単位でゲイン値を調整する。そのため、絞り駆動時に、絞り駆動中に露光したデータに対してゲイン調整を行うことができ、絞り駆動中のフレーム画像を取得することができる。

＜実施の形態２の変形例＞
続いて、本発明の実施の形態２の変形例として、ゲイン制御部がＣＭＯＳ型のイメージセンサの外部に存在する場合について説明する。つまり、絞り駆動時にイメージセンサの外部でゲイン制御を行う場合を示す。

図７は、本発明の実施の形態２の変形例にかかるイメージセンサ１１０ａを含むカメラシステム２０１の構成を示すブロック図である。カメラシステム２０１における上述したカメラシステム２００との違いは、主に、ＣＭＯＳ１１０ａ、ゲイン制御部１１３ａ及びＭＰＵ１８０ｃである。以下、カメラシステム２００との違いを中心に説明し、共通部分については適宜、説明を省略する。

ＭＰＵ１８０ｃは、ゲイン制御部１１３ａに対してゲイン値の調整値をライン単位で設定を行う。ゲイン制御部１１３ａは、ＡＤ変換器１１２からデジタル信号、つまりラインデータを入力する。また、ゲイン制御部１１３ａは、ＭＰＵ１８０ｃからライン毎のゲイン値の調整値の設定を受け付け、当該設定に基づき各ラインのゲイン値を調整する。その他の処理は、ゲイン制御部１１３と同様である。

このように、カメラシステム２００及び２０１はいずれも、ＣＭＯＳ型のイメージセンサによる撮像中の露光量に関する設定の変更（特に絞り幅の変更）に伴い破棄されるフレーム画像を軽減し、フレーム画像のライブビュー表示を高速化できる。

＜実施の形態３＞
本発明の実施の形態３では、上述した実施の形態１又は２の応用例として、撮像中の露光量に関する設定の変更がされなくとも、撮像されたフレーム画像内で画素間の露光量が異なる場合には、画素間の露光量を近付けるように画素ごとにゲイン値を調整する場合について説明する。撮像されたフレーム画像内で画素間の露光量が異なる場合とは、例えば、撮影環境の光の当たり具合等により、フレーム画像内の特定の位置が暗い場合等を示す。例えば、図９の左側の図のように、中央のライン部分が暗いような場合である。

ここで、本発明の実施の形態３かかるゲイン制御部は、撮像中の設定変更にかかわらず、取得されたライン間の露光量を解析し、同一のフレーム画像内でライン間又は画素間で露光量が均一でないことを検出した場合に、上記同様に、ライン間又は画素間で露光量が近付くようにゲイン値を調整する。つまり、ゲイン制御部は、同一のフレーム画像内で露光量が不足しているライン又は画素を特定し、特定したライン又は画素に対してゲイン値を増加させることで、他のライン又は画素の露光量に近付ける。

図８は、本発明の実施の形態３にかかる効果を説明するための図である。この場合、ゲイン制御部は、フレームＦ１からＦ６において、中央のライン部分についてゲイン値を上昇させる（ｇ３）。これにより、例えば、図９の右側の図のように、ライブビュー表示されるフレーム画像のライン間及び画素間で露光量を均一にすることができる。

以上のように、本発明の実施の形態３にかかる手法は、上述した実施の形態１又は２に追加して適用することが可能であり、また、上述した実施の形態１又は２とは独立に実施することも可能である。

＜その他の実施の形態＞
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更及び組み合わせすることが可能である。

１００ カメラシステム
１０１ カメラシステム
１１０ ＣＭＯＳ
１１０ａ ＣＭＯＳ
１１１ ＣＤＳアンプ
１１２ ＡＤ変換器
１１３ ゲイン制御部
１１３ａ ゲイン制御部
１２０ 画像入力コントローラ
１３０ 画像信号処理回路
１４０ 圧縮処理回路
１５１ ＬＣＤ
１５２ ＬＣＤドライバ
１５３ メディアコントローラ
１５４ 記録メディア
１６０ ＶＲＡＭ
１６１ 画像データ
１７０ メモリ
１７１ ＡＦ評価値
１７２ ＡＥ評価値
１８０ ＭＰＵ
１８０ａ ＭＰＵ
１８０ｂ ＭＰＵ
１８０ｃ ＭＰＵ
１８１ 画像処理選択手段
１８２ ＴＧ
１９０ 光学装置
２００ カメラシステム
２０１ カメラシステム
ｇ１ ゲイン
ｇ２ ゲイン
ｇ３ ゲイン
ｔ１〜ｔ９、ｔ６ｘ 時刻
ｔ１１〜ｔ１７ 時刻
ｔｄ１ 絞り駆動開始時刻
ｔｄ２ 絞り駆動完了時刻
Ｆ１〜Ｆ７ フレーム
Ｆ１ｏｕｔ〜Ｆ７ｏｕｔ フレーム画像出力
ＴＺ１、ＴＺ２ フレーム間隔
ＴＺ３ ゲイン調整期間
ＴＺ４ 絞り駆動期間
ＬＦ 先頭ライン
ＬＭ ライン
ＬＬ 最終ライン

Claims (8)

1. ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサにより取得された画像信号からなるフレーム画像を逐次、画面に表示する撮像装置を用いた画像表示方法であって、
   前記フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整し、
   前記ゲイン値の調整後のフレーム画像を前記画面に表示する
   画像表示方法。
2. 前記フレーム画像の取得中に前記露光量に関する設定が変更された場合に、当該フレーム画像内のライン間で前記露光量が異なる場合には、当該ライン間の露光量を近付けるようにライン毎に前記ゲイン値を調整する
   ことを特徴とする請求項１に記載の画像表示方法。
3. 前記フレーム画像の取得中に前記露光量に関する設定が変更された場合として、前記フレーム画像の取得中にフレームレートが低速から高速に変更された場合を含む
   ことを特徴とする請求項１又は２に記載の画像表示方法。
4. 前記フレーム画像の取得中にフレームレートが低速から高速に変更された場合に、当該フレーム画像のうち前記変更前のフレームレートによる露光が打ち切られたラインを特定し、
   前記特定されたラインから前記フレーム画像の最終ラインに向けて、前記変更前のフレームレートに対応するゲイン値から前記変更後のフレームレートに対応するゲイン値までライン毎に前記ゲイン値を増加させる
   ことを特徴とする請求項３に記載の画像表示方法。
5. 前記フレーム画像の取得中に前記露光量に関する設定が変更された場合として、前記フレーム画像の取得中に光学装置の絞り幅が変更された場合を含む
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像表示方法。
6. 前記設定の変更がされなくとも、前記イメージセンサにより取得された前記フレーム画像内で画素間の露光量が異なる場合には、当該画素間の露光量を近付けるように画素ごとにゲイン値を調整する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像表示方法。
7. ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサであって、
   フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整し、当該ゲイン値の調整後のフレーム画像を画面への表示用に出力するゲイン制御部
   を備えるイメージセンサ。
8. ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサにより取得された画像信号からなるフレーム画像を逐次、画面に表示する撮像装置であって、
   前記フレーム画像の取得中に露光量に関する設定が変更された場合に、当該フレーム画像内の画素間の露光量を近付けるようにゲイン値を調整するゲイン制御部と、
   前記ゲイン値の調整後のフレーム画像を前記画面に表示する表示部と、
   を備える撮像装置。