JP2007195038A

JP2007195038A - 撮像装置および画像処理方法

Info

Publication number: JP2007195038A
Application number: JP2006012626A
Authority: JP
Inventors: Tomonori Yokoyama; 知典横山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-01-20
Filing date: 2006-01-20
Publication date: 2007-08-02

Abstract

【課題】フレームレートが変化した場合にも撮像画像の明るさが変化しない可変フレームレート撮像装置と、撮像画像の明るさを一定に保つ画像処理方法を提供する。
【解決手段】制御部１１２は、輝度検出部１０９により輝度情報Ｓ１０９や入力装置１１４によるフレームレート制御信号Ｓ１１４を参照して、絞り量制御信号Ｓ１１５ａ、駆動制御信号Ｓ１１５ｂ、増幅率設定信号Ｓ１１５ｃ、増幅率設定信号Ｓ１１５ｄ、ノイズ低減強度設定信号Ｓ１１５ｅを適宜生成し、絞り１０２、駆動信号発生部１１３、ＡＭＰ１０４、Ｄ−ＡＭＰ１０７、ＮＲ１１０を制御し、露光制御、ノイズ低減強度制御を行う。
【選択図】図１

Description

本発明は、撮像時にフレームレートを可変することができる撮像装置および画像処理方法に関するものである。

高速再生やスロー再生等の特殊な映像効果を容易に得ることができるように、撮像時にフレームレートを可変することができるビデオカメラ等の撮像装置が知られている。
このような撮像装置としては、たとえば特許文献１や特許文献２に記載されている。

特許文献１には、ダイナミックレンジが小さくならないように工夫された可変フレームレート撮像装置（ビデオカメラ）が記載されている。
また、特許文献２には、可変フレームレート撮像装置と、撮像画像の効率良い記録方法が記載されている。

このような撮像装置を用いることで、たとえば所定のフレームレートよりもフレームレートを低下して撮像を行い所定のフレームレートで再生すれば、簡単に高速再生画像を得ることができる。
また、フレームレートを高くして撮像を行い所定のフレームレートで再生すれば、簡単にスロー再生画像を得ることができる。
特開２０００−１２５２１０号公報特開２００４−７５４３号公報特公平５−４４２３２号公報

ところで、固体撮像素子の露光時間をフレーム間隔より長くすることができないため、フレームレートを高くした場合に、露光時間が短くなる場合がある。露光時間が短くなると、固体撮像素子が光電変換した出力信号レベルが小さくなり、撮像画像が暗くなってしまう。

固体撮像素子の出力信号レベルが変わった場合にも撮像画像の明るさを一定に保つ方法として、一般的にＡＥ(Auto Exposure)と呼ばれる露出調整機能が用いられている（たとえば特許文献３参照）。

しかし、既に提案されている技術では、固体撮像素子の出力信号レベルの変化を検出してから露出を調整するため、出力信号レベルが変化したフレームの露出を調整することができない。

また、既存の技術では、瞬間的に出力信号レベルが変化した場合に、撮像画像が不自然に見えないように、露出を緩やかに変化させることが行われている。

このように、既存の技術では、可変フレームレート撮像装置でフレームレートが変化した場合の出力信号レベルの変化に直ちに追従することができず、不自然な撮像画像が生成されてしまう。

本発明の目的は、フレームレートが変化した場合にも撮像画像の明るさが変化しない可変フレームレート撮像装置と、撮像画像の明るさを一定に保つ画像処理方法を提供することある。

本発明の第１の観点の撮像装置は、出力フレームレートを変更できる撮像素子と、前記撮像素子が出力する信号を所定の画像形式に変換する画像処理装置と、を少なくとも有し、前記画像処理装置は、前記撮像素子の出力フレームレートを変更するフレームレート変更手段と、出力する画像の明るさを調整する輝度制御手段と、を含み、前記画像処理装置が前記撮像素子のフレームレートを変化させたときに、前記画像処理装置が出力する画像の明るさを所定レベルに保持する。

好適には、前記輝度制御手段は、前後のフレームレートを参照して明るさを決定する。

好適には、前記撮像素子の出力信号振幅を増幅する増幅手段を有し、前記輝度制御手段は、決定した明るさを得るために前記増幅手段の増幅率を変更する。

好適には、撮像素子に入力される光量を変化させる光量調整手段を有し、前記輝度制御手段は決定した明るさを得るために前記光量調整手段を制御して撮像素子への入射光の光量を変化させる。

好適には、前記撮像素子の露光時間を変化させる露光時間調整手段を有し、前記輝度制御手段は、決定した明るさを得るために露光時間を変化させる。

好適には、ノイズ低減強度を変化させることのできるノイズ低減手段と、前記増幅手段の増幅率に応じてノイズ低減強度を決定するノイズ低減強度決定手段と、をさらに有する。

好適には、前記ノイズ低減強度決定手段は、前記増幅手段の増幅率に応じてノイズ低減強度を決定する。

好適には、撮像素子に入力される光量を変化させる光量調整手段を有し、前記輝度制御手段は、決定した明るさを得るために前記光量調整手段を制御して撮像素子への入射光の光量を変化させ、前記ノイズ低減強度決定手段は、前記光量調整手段の設定値に応じてノイズ低減強度を決定する。

好適には、前記撮像素子の露光時間を変化させる露光時間調整手段を有し、前記輝度制御手段は、決定した明るさを得るために露光時間を変化させ、前記ノイズ低減強度決定手段は、前記露光時間調整手段の設定値に応じてノイズ低減強度を決定する。

本発明の第２の観点は、出力フレームレートを変更できる撮像素子が出力する信号を所定の画像形式に変換して出力画像の明るさを調整する画像処理方法であって、前後のフレームレートを参照して明るさを決定するステップと、前記撮像素子のフレームレートを変化させたときに、出力する画像の明るさを前記決定した明るさとなるように調整する。

本発明によれば、フレームレートが変化した場合にも、明るさが変化せず自然な撮像画像が得ることが可能となる。
また、本発明によれば、フレームレートが変化した場合に撮像画像の明るさが変化しないように制御した際に、ノイズが増加することを抑えることが可能となる利点がある。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の実施形態に係る可変フレームレート撮像装置の構成例を示すブロック図である。

本撮像装置１００は、レンズ１０１、光量調整手段としての絞り１０２、固体撮像素子１０３、増幅器（ＡＭＰ）１０４、アナログデジタルコンバータ（ＡＤＣ）１０５、補正部１０６、デジタル増幅器（Ｄ−ＡＭＰ）１０７、画像処理部１０８、輝度検出部１０９、ノイズ低減部（ＮＲ）１１０、出力部１１１、圧縮部１１２、駆動信号発生部１１３、入力装置１１４、および制御部１１５を有している。
なお、輝度検出部１０９と制御部１１５は輝度制御機能を有し、また、制御部１１５は露光時間調整機能、ノイズ低減強度決定機能等を有する。

撮像装置１００において、レンズ１０１を通り、絞り１０２によって光量を制限された光が固体撮像素子１０３の受光面上に集光される。
レンズ１０１は、複数枚あっても良く、絞り１０２がそれらの間にあってもよい。
絞り１０２は、制御部１１５による絞り量制御信号Ｓ１１５ａに応じて開口面積を変化させることができる。

固体撮像素子１０３は、たとえばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサにより形成され、レンズ１０１、絞り１０２を通して集光された像を光電変換し、２次元にマトリクス状に配列された光電変換素子の受光量に応じた２次元映像信号を順次出力する。
固体撮像素子１０３上には、たとえば図２に示すベイヤー配列の色フィルタが付けられ、１つの光電変換素子にはＲ・Ｇ・Ｂのいずれか一色の光しか到達しないようになっている。

駆動信号発生部１１３は、制御部１１５による駆動制御信号Ｓ１１５ｂに応答して固体撮像素子１０３を駆動するための駆動信号Ｓ１１３を出力する。駆動信号Ｓ１１３には、たとえばリセットパルスや電荷転送パルスなどが含まれる。
駆動信号発生部１１３は、制御部１１５による駆動制御信号Ｓ１１５ｂに応じて駆動信号Ｓ１１３を変化させる。駆動信号Ｓ１１３を変化させることで、固体撮像素子１０３の露光時間や、出力フレームレートなどを変化させることが可能である。

ＡＭＰ１０４は、固体撮像素子１０３が出力するアナログ映像信号を増幅する。増幅率は可変であってもよく、たとえば制御部１１５による増幅率設定信号Ｓ１１５ｃによって変化する。

ＡＤＣ１０５は、ＡＭＰ１０４により増幅作用を受けたアナログ信号をデジタル信号に変換し、補正部１０６に出力する。

補正部１０６は、ＡＤＣ１０５によってデジタル信号に変換された映像信号の補正を行う。この補正処理には、たとえば、黒レベル調整や固体撮像素子１０３の欠陥画素の補正が含まれる。

Ｄ−ＡＭＰ１０７は、補正部１０６により補正処理を受けたデジタル信号を増幅し、デジタル映像信号Ｓ１０７として画像処理部１０８および輝度検出部１０９に出力する。
Ｄ−ＡＭＰ１０７の増幅率は可変であってもよく、たとえば制御部１１５による増幅率設定信号Ｓ１１５ｄによって変化する。
また、Ｄ−ＡＭＰ１０７は、補正部１０６の前段にあっても良い。

画像処理部１０８は、Ｄ−ＡＭＰ１０７によるデジタル映像信号Ｓ１０７を所望の画像フォーマットに変換する。画像フォーマットは、たとえばITU-R BT601やITU-R BT709で規定される輝度・色差形式であり、動画像でも静止画像でも良い。

輝度検出部１０９は、Ｄ−ＡＭＰ１０７によるデジタル映像信号Ｓ１０７の一部あるいは全体の領域の輝度あるいは輝度に順ずる値を検出し、輝度情報Ｓ１０９として制御部１１５に出力する。

図３は、本実施形態の輝度検出部１０９における輝度検出処理の一例を示す図である。

図３の例では、入力映像信号（画像）を１５×１５の基準枠に分割する。この基準枠の幅、高さは可変である。
基準枠単位で、入力画像を４つのウィンドウＷ０、Ｗ１、Ｗ２、Ｗ３に分割する。
図３の例では、ウィンドウＷ３の始点座標（６，２）、終点座標（Ｂ，８）を指定する。
そして、ウィンドウ毎に輝度を積分した結果をレジスタに格納する。このレジスタの情報をたとえば制御部１１５のファームウェアが参照する。

ＮＲ１１０は、画像処理部１０８が出力する画像のノイズを低減する。
ＮＲ１１０は、制御部１１５によるノイズ低減強度設定信号Ｓ１１５ｅによって、ノイズ低減量を変化させてもよい。
ＮＲ１１０は、たとえばローパスフィルタやハイパスフィルタを用いてり形成することが可能であり、ノイズ低減強度設定信号Ｓ１１５ｅはローパスフィルタの係数を指定するものでもよい。

図４は、本実施形態に係るノイズ低減部（ＮＲ）にパスフィルタを適用した構成例を示す図である。

図４のＮＲ１１０は、ノイズ成分を元画像から減算する方法を採用しており、ハイパスフィルタ１１０１、ノイズ抽出部１１０２、ゲイン調整部１１０３、および減算器１１０４により構成されている。

ハイパスフィルタ１１０１は、たとえば図４中に表１として示すようなフィルタ係数、フィルタ特性を有し、入力画像の高域成分を通過させる。

ノイズ抽出部１１０２は、ハイパスフィルタ１１０１の出力信号からノイズ成分を抽出する。
ハイパスフィルタ１１０１の出力レベルが基準値以上の信号は、ノイズではなくエッジの可能性が高いことから、出力が０に近づくようにする。Ｓ／Ｎが悪い場合は、ノイズのレベルが上がっていることから、基準値を高くする場合もある。

ゲイン調整部１１０３は、ノイズ抽出部１１０２で抽出したノイズ信号に掛けるゲインを調整する。
減算器１１０４は、入力画像からゲイン調整部１１０３でゲイン調整されたし信号を減算し出力画像を生成する。この生成画像が出力部１１１および圧縮部１１２に入力される。
このように、ゲインを掛けた信号を入力画像から減算するので、ゲイン量で効き目（効果）を変えることができる。

出力部１１１は、所定の画像フォーマットの信号を、図示しない表示装置や記憶装置に出力する。

圧縮部１１２は、所定の画像フォーマットの信号を圧縮し、JPEG、MPEGなどの圧縮画像フォーマットを生成する。

入力装置１１４は、ユーザの操作によってフレームレートを変化させるフレームレート制御信号Ｓ１１４を発生する。

制御部１１２は、輝度検出部１０９により輝度情報Ｓ１０９や入力装置１１４によるフレームレート制御信号Ｓ１１４を参照して、絞り量制御信号Ｓ１１５ａ、駆動制御信号Ｓ１１５ｂ、増幅率設定信号Ｓ１１５ｃ、増幅率設定信号Ｓ１１５ｄ、ノイズ低減強度設定信号Ｓ１１５ｅを適宜生成し、絞り１０２、駆動信号発生部１１３、ＡＭＰ１０４、Ｄ−ＡＭＰ１０７、ＮＲ１１０を制御し、露光制御、ノイズ低減強度制御を行う。

以下、本実施形態における露光制御およびノイズ低減強度制御の概要について説明する。

まず、露光制御について説明する。
図５は、本実施形態における露光制御について説明するためのフローチャートである。

図３に、本発明による露光制御方法を示す。
輝度検出部１０９により取得した輝度情報Ｓ１０９から制御量を決定する（ＳＴ１，ＳＴ２，ＳＴ３）。
次に、次のフレームでフレームレートが変化するかを判定する（ＳＴ４）。
フレームレートが変化するか否かは、図１におけるフレームレート制御信号Ｓ１１４を参照することで行われる。
フレームレートが変化しない場合は、制御量に応じて絞り量制御信号Ｓ１１５ａ、駆動制御信号Ｓ１１５ｂ、増幅率設定信号Ｓ１１５ｃ、増幅率設定信号Ｓ１１５ｄを設定し、処理を完了する（ＳＴ６）。
フレームレートが変化する場合は、露光時間が変化するか否かを判定する。たとえば、フレームレートが高くなる（フレーム間隔が短くなる）場合で、次のフレームとその次のフレームとの間隔が現在の露光時間よりも短い場合、露光時間はフレーム間隔以下に制限される。この時は露光時間が変化するので、変化分を打ち消すための補正量を計算し、制御量に付加する（ＳＴ７）。
フレームレートが低くなる場合は、露光時間の制限は現在よりも緩和されるため、補正量の計算および付加を行わなくてよいが、露光時間を長くしてＡＭＰ１０４の増幅率を小さくし、ノイズを削減するように補正量を計算し、制御量に付加してもよい。
最後に、制御量に応じて絞り量制御信号Ｓ１１５ａ、駆動制御信号Ｓ１１５ｂ、増幅率設定信号Ｓ１１５ｃ、増幅率設定信号Ｓ１１５ｄを設定し、処理を完了する（ＳＴ６）。

図６は、図１の撮像装置におけるＡＥフィードバック制御系を抽出して簡略化して示す図である。
図６においては、制御部１１５はマイクロコンピュータ（マイコン）により構成され、比較部１１５１、デバイス制御部１１５２、駆動部１１５３を含む。
また、図６においては、ＡＭＰ１０４の前段にサンプルホールド回路（Ｓ／Ｈ）１０４Ａが配置され、Ｓ／Ｈ１０４Ａ、ＡＭＰ１０４，ＡＤＣ１０５によりアナログフロントエンド２００が形成されている。また、画像処理部１０８と輝度検出部１０９は信号処理ＬＳＩ２０１に実装されている。

図７は、輝度検出部１０９で検出した輝度積分値と制御量との関係の一例を示す図である。

輝度検出部１０９で検出した輝度積分値と、絞り、シャッター、増幅器ゲインの制御量は、図７に示すように、予め決められた関係にある。
図７において、区間Ａではゲインのみを調整する。
区間Ｂではシャッター速度のみを調整する。
区間Ｃでは絞りのみを調整する。
なお、絞り、シャッター、ゲインの変化点、傾きはファームウェアにより設定可能で、モードにより変えることができる。このモードとしては、ポートレートモード、夜景モード等が含まれる。

次に、ノイズ低減強度制御の概要について説明する。
図８は、本実施形態におけるノイズ低減強度制御について説明するためのフローチャートである。

まず、次のフレームでフレームレートが変化するかを判定する（ＳＴ１１）。
フレームレートが変化するか否かは、図１におけるフレームレート制御信号Ｓ１１４を参照することで行われる。フレームレートが変化しない場合は、ノイズ低減強度を変化させずに処理を終了する。
フレームレートが変化する場合は、たとえば図５の露光制御処理によって制御量が決定されるのを待つ（ＳＴ１２）。
制御量が決定されたら、制御量に応じてノイズ低減強度を計算する（ＳＴ１３）。たとえば、ＡＭＰ１０４やＤ−ＡＭＰ１０７の増幅率が高くなる場合はノイズ低減強度を強くするように働く。増幅率以外に、絞り量や露光時間を参照し、適切なノイズ低減強度を計算するようにしてもよい。
最後に、計算結果に基づいてノイズ低減強度設定信号Ｓ１１５ｅを変化させ、処理を終了する（ＳＴ１４）。

以上説明したように、本実施形態によれば、制御部１１２は、輝度検出部１０９により輝度情報Ｓ１０９や入力装置１１４によるフレームレート制御信号Ｓ１１４を参照して、絞り量制御信号Ｓ１１５ａ、駆動制御信号Ｓ１１５ｂ、増幅率設定信号Ｓ１１５ｃ、増幅率設定信号Ｓ１１５ｄ、ノイズ低減強度設定信号Ｓ１１５ｅを適宜生成し、絞り１０２、駆動信号発生部１１３、ＡＭＰ１０４、Ｄ−ＡＭＰ１０７、ＮＲ１１０を制御し、露光制御、ノイズ低減強度制御を行うことから、フレームレートが変化した場合にも、明るさが変化せず自然な撮像画像が得られる可変フレームレート撮像装置を実現できる。
また、フレームレートが変化した場合に、撮像画像の明るさが変化しないように制御した際に、ノイズが増加することを抑えることが可能となる。

本発明の実施形態に係る可変フレームレート撮像装置の構成例を示すブロック図である。ベイヤー配列の色フィルタ例を示す図である。本実施形態の輝度検出部における輝度検出処理の一例を示す図である。本実施形態に係るノイズ低減部（ＮＲ）にパスフィルタを適用した構成例を示す図である。本実施形態における露光制御について説明するためのフローチャートである。図１の撮像装置におけるＡＥフィードバック制御系を抽出して簡略化して示す図である。輝度検出部で検出した輝度積分値と制御量との関係の一例を示す図である。本実施形態におけるノイズ低減強度制御について説明するためのフローチャートである。

符号の説明

１００・・・撮像装置、１０１・・・レンズ、１０２・・・絞り、１０３・・・固体撮像素子、１０４・・・増幅器（ＡＭＰ）、１０５・・・アナログデジタルコンバータ（ＡＤＣ）、１０６・・・補正部、１０７・・・デジタル増幅器（Ｄ−ＡＭＰ）、１０８・・・画像処理部、１０９・・・輝度検出部、１１０・・・ノイズ低減部（ＮＲ）、１１１・・・出力部、１１２・・・圧縮部、１１３・・・駆動信号発生部、１１４・・・入力装置、１１５・・・制御部。

Claims

出力フレームレートを変更できる撮像素子と、
前記撮像素子が出力する信号を所定の画像形式に変換する画像処理装置と、を少なくとも有し、
前記画像処理装置は、
前記撮像素子の出力フレームレートを変更するフレームレート変更手段と、
出力する画像の明るさを調整する輝度制御手段と、を含み、
前記画像処理装置が前記撮像素子のフレームレートを変化させたときに、前記画像処理装置が出力する画像の明るさを所定レベルに保持する
撮像装置。
前記輝度制御手段は、前後のフレームレートを参照して明るさを決定する
請求項１記載の撮像装置。
前記撮像素子の出力信号振幅を増幅する増幅手段を有し、
前記輝度制御手段は、決定した明るさを得るために前記増幅手段の増幅率を変更する
請求項２記載の撮像装置。
撮像素子に入力される光量を変化させる光量調整手段を有し、
前記輝度制御手段は決定した明るさを得るために前記光量調整手段を制御して撮像素子への入射光の光量を変化させる
請求項１記載の撮像装置。
撮像素子に入力される光量を変化させる光量調整手段を有し、
前記輝度制御手段は決定した明るさを得るために前記光量調整手段を制御して撮像素子への入射光の光量を変化させる
請求項３記載の撮像装置。
前記撮像素子の露光時間を変化させる露光時間調整手段を有し、
前記輝度制御手段は、決定した明るさを得るために露光時間を変化させる
請求項１記載の撮像装置。
前記撮像素子の露光時間を変化させる露光時間調整手段を有し、
前記輝度制御手段は、決定した明るさを得るために露光時間を変化させる
請求項５記載の撮像装置。
ノイズ低減強度を変化させることのできるノイズ低減手段と、
前記増幅手段の増幅率に応じてノイズ低減強度を決定するノイズ低減強度決定手段と、をさらに有する
請求項１記載の撮像装置。
ノイズ低減強度を変化させることのできるノイズ低減手段と、
前記増幅手段の増幅率に応じてノイズ低減強度を決定するノイズ低減強度決定手段と、をさらに有する
請求項７記載の撮像装置。
前記ノイズ低減強度決定手段は、前記増幅手段の増幅率に応じてノイズ低減強度を決定する
請求項９記載の撮像装置。
撮像素子に入力される光量を変化させる光量調整手段を有し、
前記輝度制御手段は、決定した明るさを得るために前記光量調整手段を制御して撮像素子への入射光の光量を変化させ、
前記ノイズ低減強度決定手段は、前記光量調整手段の設定値に応じてノイズ低減強度を決定する
請求項９記載の撮像装置。
前記撮像素子の露光時間を変化させる露光時間調整手段を有し、
前記輝度制御手段は、決定した明るさを得るために露光時間を変化させ、
前記ノイズ低減強度決定手段は、前記露光時間調整手段の設定値に応じてノイズ低減強度を決定する
請求項９記載の撮像装置。
出力フレームレートを変更できる撮像素子が出力する信号を所定の画像形式に変換して出力画像の明るさを調整する画像処理方法であって、
前後のフレームレートを参照して明るさを決定するステップと、
前記撮像素子のフレームレートを変化させたときに、出力する画像の明るさを前記決定した明るさとなるように調整する
画像処理方法。