JP2012137511A - カメラ装置、携帯端末、フレームレート制御プログラムおよびフレームレート制御方法 - Google Patents

Abstract

【構成】携帯電話機１０は、イメージセンサ（５２）およびＡＥ評価回路（６０）などを含むカメラモジュール３６を備える。また、カメラ機能が実行されると、露出評価値が露出目標値となるように露出が調整され、ＡＦ制御処理が実行される。たとえば、シャッターキーが操作されると、露出目標値が、通常撮影用の露出目標値よりも低いＡＦ制御用の露出目標値に変更される。また、露出目標値の変更に応じて、フレームレートと相関する露出評価値が露出目標値内となるように、フレームレートが増加される。そして、増加したフレームレートでイメージセンサ（５２）から出力されるフレーム毎の画像データに基づいて、ＡＦ制御処理が実行される。
【効果】フレーム毎の露出時間が短くなり、ＡＦ制御処理に係る時間が短縮されるため、撮影するときの操作性が向上する。
【選択図】図１

Description

この発明は、カメラ装置、携帯端末、フレームレート制御プログラムおよびフレームレート制御方法に関し、特にオートフォーカス（ＡＦ）によって画像にピントを合わせる、カメラ装置、携帯端末、フレームレート制御プログラムおよびフレームレート制御方法に関する。

従来、オートフォーカスによって画像にピントを合わせるカメラ装置を搭載した、携帯端末が広く知られており、この種の装置の一例が特許文献１に開示されている。この背景技術のオートフォーカスシステムは、同じ被写体像が照射される、撮影用の撮像素子とＡＦ（オートフォーカス）専用の撮像素子とを備えている。そのため、フォーカス制御では、ＡＦ専用の撮像素子から得られる映像信号に基づいてフォーカスレンズ群が調整される。また、フォーカスシステムでは、光量不足とならない範囲で電子シャッター速度およびフレームレートを高速化して、フォーカスの追従性を向上させている。
特開２００８−１４５７６０号公報［G02B 7/28, G03B 13/36, G02B 7/36, H04N 5/232］

特許文献１のオートフォーカスシステムは、フォーカス制御のために２つの撮像素子を動作させるため、オートフォーカスシステムが採用される回路の回路面積は大きくなり、消費電力も増大する。そのため、小型化がされ、消費電力を抑えることが課題である携帯電話機などの携帯端末に、特許文献１のオートフォーカスシステムが採用されることはない。

それゆえに、この発明の主たる目的は、新規な、カメラ装置、携帯端末、フレームレート制御プログラムおよびフレームレート制御方法を提供することである。

この発明の他の目的は、撮影するときの操作性を向上させることができる、カメラ装置、携帯端末、フレームレート制御プログラムおよびフレームレート制御方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、画像データを出力するイメージセンサおよびイメージセンサが出力する画像データの露出を自動調整し、そのときの露出の評価値を出力する出力部を有し、イメージセンサが出力する画像データのフレームレートを制御し、イメージセンサが出力するフレーム毎の画像データに基づいてＡＦ制御処理を行う、カメラ装置において、撮影操作がされたとき、通常撮影用の第１目標値から、第１目標値よりも小さいＡＦ制御用の第２目標値に変更する変更部、および出力部が出力する評価値が変更部によって変更された第２目標値の範囲内となるように、フレームレートを増加する増加制御部を備え、増加制御部によって増加されたフレームレートで出力される画像データに基づいて、ＡＦ制御処理が実行されることを特徴とする、カメラ装置である。

第１の発明では、カメラ装置（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）のイメージセンサ（５２）は、被写界の画像に対応する画像データを出力する。出力部（６０）は、画像データが出力されるフレームレートを制御することで、露出を調整し、そのときの露出の評価値を出力する。また、画像データを出力するフレームレートは制御されており、露出が調整されると、イメージセンサが出力するフレーム毎の画像データに基づいてＡＦ制御処理が行われる。変更部（２４，Ｓ３）は、たとえばシャッターキーを押下する撮影操作がされると、目標値を通常撮影用からＡＦ制御用に変更する。また、目標値が変更されると、増加制御部（２４，Ｓ７）は、評価値が第２目標値の範囲内となるように、イメージセンサのフレームレートを増加する。そして、フレームレートが増加されると、増加されたフレームレートで出力されるフレーム毎の画像データに基づいてＡＦ制御処理が実行される。

第１の発明によれば、フレームレートを増加することでフレーム毎の露出時間を短くし、ＡＦ制御処理の処理時間を短縮することができる。そして、ＡＦ制御処理に係る時間が短縮されるため、撮影するときの操作性が向上する。

第２の発明は、第１の発明に従属し、増加制御部によってフレームレートが増加されることによって、出力部が出力する評価値が第２目標値を下回ったとき、イメージセンサのフレームレートを減少させる減少制御部をさらに備える。

第２の発明では、減少制御部（２４，Ｓ１１）は、たとえば、フレームレートが増加されることで評価値が第２目標値を下回った場合、評価値が第２目標値を僅かに上回るように、フレームレートを減少させる。

第２の発明によれば、評価値が目標値を下回らない範囲で、フレームレートを限界まで増加することができるようになる。

第３の発明は、第１の発明に従属し、イメージセンサの出力のゲインを制御するゲイン制御部、増加制御部によってフレームレートが増加されることによって、出力部が出力する評価値が第２目標値を下回ったとき、イメージセンサの出力のゲインが最大かを判断する判断部、および判断部によってイメージセンサの出力のゲインが最大ではないと判断されたとき、イメージセンサの出力のゲインをアップするゲインアップ部をさらに備える。

第３の発明では、ゲイン制御部（６２）は、たとえばイメージセンサに接続されるＡＧＣを含む回路のゲインを制御する。判断部（２４，Ｓ２１）は、フレームレートの増加によって評価値が第２目標値を下回ったとき、ゲインが最大かを判断する。ゲインアップ部（２４，Ｓ２３）は、イメージセンサの出力が最大でなければ、ゲインをアップする。また、ゲインがアップされると、イメージセンサから出力される画像の輝度も上がる。

第３の発明によれば、フレームレートが最大値になる前に、評価値が目標値を下回ったとしても、ゲインをアップすることで評価値も上げることができるため、フレームレートをさらに増加させることができるようになる。

第４の発明は、第３の発明に従属し、判断部によってイメージセンサの出力のゲインが最大だと判断されたとき、フレームレートを減少させる減少制御部をさらに備える。

第４の発明では、減少制御部（２４，Ｓ１１）は、評価値が第２目標値を下回った状態で、イメージセンサの出力のゲインが最大だと判断されると、フレームレートを減少させる。

第４の発明によれば、評価値が目標値を下回った時点でゲインが最大値であれば、フレームレートを減少させる。つまり、第２の発明と同様、評価値が目標値を下回らない範囲で、フレームレートを限界まで増加することができる。

第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、ＡＦ制御処理が実行された後、第２目標値を第１目標値に戻す初期化部をさらに備える。

第５の発明でも、初期化部（２４，Ｓ１５）は、ＡＦ制御処理が実行された後、第２目標値を第１目標値に戻す。

第５の発明によれば、ＡＦ制御処理が終了すれば、目標値は通常撮影用に戻されるため、撮影処理では明るさが通常通り補正された画像を保存できる。

第６の発明は、第１の発明ないし第５の発明のいずれかに記載のカメラ装置を備える、携帯端末である。

第６の発明によれば、カメラ機能を有する携帯端末でも、第１の発明と同様、ＡＦ制御処理に係る時間が短縮されるため、撮影するときの操作性を向上させることができる。

第７の発明は、画像データを出力するイメージセンサ（５２）およびイメージセンサが出力する画像データの露出を調整し、そのときの露出の評価値を出力する出力部（６０）を有し、イメージセンサが出力する画像データのフレームレートを制御し、イメージセンサが出力するフレーム毎の画像データに基づいてＡＦ制御処理を行う、カメラ装置（１０）のプロセッサ（２４）を、撮影操作がされたとき、通常撮影用の第１目標値から、第１目標値よりも小さいＡＦ制御用の第２目標値に変更する変更部（Ｓ３）、および出力部が出力する評価値が変更部によって変更された第２目標値の範囲内となるように、フレームレートを増加する増加制御部（Ｓ７）として機能させ、増加制御部によって増加されたフレームレートで出力される画像データに基づいて、ＡＦ制御処理を実行させる、フレームレート制御プログラムである。

第７の発明でも、第１の発明と同様、ＡＦ制御処理に係る時間が短縮されるため、撮影するときの操作性を向上させることができる。

第８の発明は、画像データを出力するイメージセンサ（５２）およびイメージセンサが出力する画像データの露出を調整し、そのときの露出の評価値を出力する出力部（６０）を有し、イメージセンサが出力する画像データのフレームレートを制御し、イメージセンサが出力するフレーム毎の画像データに基づいてＡＦ制御処理を行う、カメラ装置（１０）のフレームレート制御方法であって、撮影操作がされたとき、通常撮影用の第１目標値から、第１目標値よりも小さいＡＦ制御用の第２目標値に変更し（Ｓ３）、そして出力部が出力する評価値が第２目標値の範囲内となるように、イメージセンサのフレームレートを増加し（Ｓ７）、増加されたフレームレートで出力される画像データに基づいて、ＡＦ制御処理が実行される、フレームレート制御方法である。

第８の発明でも、第１の発明と同様、ＡＦ制御処理に係る時間が短縮されるため、撮影するときの操作性を向上させることができる。

この発明によれば、撮影操作がされてから撮影終了までの時間の中で大きな割合を占める、ＡＦ制御処理の制御時間を短縮することができるため、撮影するときの操作性を向上させることができる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機の電気的な構成を示す図解図である。 図２は図１に示すカメラモジュールの電気的な構成を示す図解図である。 図３は図１に示すディスプレイに表示される画像明るさの変化を示す図解図である。 図４は図１に示すＲＡＭのメモリマップの一例を示す図解図である。 図５は図１に示すプロセッサの第１実施例のフレームレート制御処理の一例を示すフロー図である。 図６は図１に示すプロセッサの第２実施例のフレームレート制御処理の一例を示すフロー図である。

＜第１実施例＞
図１を参照して、この実施例の携帯電話機１０は、携帯端末の一種であり、コンピュータまたはＣＰＵと呼ばれるプロセッサ２４を含む。また、プロセッサ２４には、無線通信回路１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２０、キー入力装置２６、表示ドライバ２８、フラッシュメモリ３２、ＲＡＭ３４、カメラモジュール３６およびＬＥＤ制御回路３８が接続される。無線通信回路１４にはアンテナ１２が接続され、Ａ／Ｄ変換器１６にはマイク１８が接続され、Ｄ／Ａ変換器２０にはスピーカ２２が接続される。また、表示ドライバ２８にはディスプレイ３０が接続される。さらに、ＬＥＤ制御回路３８にはＬＥＤ４０が接続される。なお、携帯電話機１０は、カメラモジュール３６を備えることから、カメラ装置と呼ばれることもある。

プロセッサ２４は携帯電話機１０の全体制御を司る。ＲＡＭ３４は、プロセッサ２４の作業領域（描画領域を含む）ないしバッファ領域として用いられる。フラッシュメモリ３２には、携帯電話機１０の文字、画像、音声、音および映像のようなコンテンツのデータが記録される。

Ａ／Ｄ変換器１６は、当該Ａ／Ｄ変換器１６に接続されたマイク１８を通して入力される音声ないし音についてのアナログ音声信号を、デジタル音声信号に変換する。Ｄ／Ａ変換器２０は、デジタル音声信号をアナログ音声信号に変換（復号）して、図示しないアンプを介してスピーカ２２に与える。したがって、アナログ音声信号に対応する音声ないし音がスピーカ２２から出力される。なお、プロセッサ２４は、アンプの増幅率を制御することで、スピーカ２２から出力される音声の音量を調整することができる。

キー入力装置２６は操作部と呼ばれ、撮影を行うためのシャッターキー、カーソルキー、通話キーおよび終話キーなどを備える。そして、使用者が操作したキーの情報（キーデータ）はプロセッサ２４に入力される。また、キー入力装置２６に含まれる各キーが操作されると、クリック音が鳴る。したがって、使用者は、クリック音を聞くことで、キー操作に対する操作感を得ることができる。

表示ドライバ２８は、プロセッサ２４の指示の下、当該表示ドライバ２８に接続されたディスプレイ３０の表示を制御する。なお、表示ドライバ２８は表示する画像データを一時的に記憶するビデオメモリ（図示せず）を含む。

カメラモジュール３６は、カメラ機能を実行するために必要な素子や回路から構成されている。なお、カメラモジュール３６については、図２を用いて詳細に説明するため、ここでの説明は省略する。

ＬＥＤ制御回路３８は、プロセッサ２４の指示の下、当該ＬＥＤ制御回路３８に接続されたＬＥＤ４０の発光を制御する。また、カメラ機能が実行されている場合、ＬＥＤ４０はフラッシュとして発光することがある。なお、ＬＥＤ制御回路３８およびＬＥＤ４０は、発光部と呼ばれることもある。

無線通信回路１４は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、使用者がキー入力装置２６を用いて電話発信（発呼）を指示すると、無線通信回路１４は、プロセッサ２４の指示の下、電話発信処理を実行し、アンテナ１２を介して電話発信信号を出力する。電話発信信号は、基地局および通信網（図示せず）を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ２４は通話処理を実行する。

通常の通話処理について具体的に説明すると、相手の電話機から送られてきた変調音声信号はアンテナ１２によって受信される。受信された変調音声信号には、無線通信回路１４によって復調処理および復号処理が施される。そして、これらの処理によって得られた受話音声信号は、Ｄ／Ａ変換器２０によってアナログ音声信号に変換された後、スピーカ２２から出力される。一方、マイク１８を通して取り込まれた送話音声信号は、Ａ／Ｄ変換器１６によってデジタル音声信号に変換された後、プロセッサ２４に与えられる。デジタル音声信号に変換された送話信号には、プロセッサ２４の指示の下、無線通信回路１４によって符号化処理および変調処理が施され、アンテナ１２を介して出力される。したがって、変調音声信号は、基地局および通信網を介して相手の電話機に送信される。

また、相手の電話機からの電話発信信号がアンテナ１２によって受信されると、無線通信回路１４は、電話着信（着呼）をプロセッサ２４に通知する。これに応じて、プロセッサ２４は、表示ドライバ２８を制御して、着信通知に記述された発信元情報（電話番号など）をディスプレイ３０に表示する。また、これとほぼ同時に、プロセッサ２４は、図示しないスピーカから着信音（着信メロディ、着信音声と言うこともある。）を出力させる。

そして、使用者が通話キーを用いて応答操作を行うと、無線通信回路１４は、プロセッサ２４の指示の下、電話着信処理を実行する。さらに、通信可能状態が確立され、プロセッサ２４は上述した通常の通話処理を実行する。

また、通話可能状態に移行した後に終話キーによって通話終了操作が行われると、プロセッサ２４は、無線通信回路１４を制御して、通話相手に通話終了信号を送信する。通話終了信号の送信後、プロセッサ２４は通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、プロセッサ２４は通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、プロセッサ２４は通話処理を終了する。

図２を参照して、カメラモジュール３６は撮影部とも呼ばれ、フォーカスレンズ５０、イメージセンサ５２、ＣＤＳ／ＡＧＣ／ＡＤ回路５４、ＲＡＷ画像データ処理回路５６、Ｙ／Ｃデータ処理回路５８、ＡＥ評価回路６０、ゲイン制御回路６２、露出時間制御回路６４、ＴＧ６６、ＡＦ評価回路６８、ＡＦ駆動回路７０およびＡＦモータ７２を含む。

被写体の光学像は、フォーカスレンズ５０を通して、イメージセンサ５２の撮像面に照射される。イメージセンサ５２の撮像面には、たとえばＳＸＧＡ（１２８０×１０２４画素）に対応する受光素子が配置されている。また、撮像面では、光電変換によって、被写体の光学像に対応するＲＡＷ画像信号（生画像信号）が生成される。

たとえば、使用者によってカメラ機能を実行する操作がされると、プロセッサ２４はスルー画像処理を実行するべく、プリ露出（プリ露光とも言う。）および間引き読み出しの繰り返しを、ＡＥ評価回路６０および露出時間制御回路６４を介して、ＴＧ６６に命令する。ＴＧ６６は、イメージセンサ５２の撮像面のプリ露出と、これによって得られた電荷の間引き読み出しとを実行するべく、複数のタイミング信号をイメージセンサ５２およびＣＤＳ／ＡＧＣ／ＡＤ回路５４に与える。撮像面で生成されたＲＡＷ画像信号は、１／３０〜１／１５秒に一回の割合で発生する垂直同期信号Ｖｓｙｎｃに応答して、ラスタ走査に従う順序で読み出される。

また、タイミング信号によってイメージセンサ５２と同期されている、ＣＤＳ／ＡＧＣ／ＡＤ回路５４は、イメージセンサ５２から出力されたＲＡＷ画像信号に対して、相関二重サンプリング、自動ゲイン調整およびＡ／Ｄ変換の一連の処理を施す。また、ＣＤＳ／ＡＧＣ／ＡＤ回路５４は、これらの処理を施した、ＲＡＷ画像データをＲＡＷ画像データ処理回路５６に出力する。ＲＡＷ画像データ処理回路５６は、ＲＡＷ画像データに対して白バランス調整などを施して、Ｙ／Ｃデータ処理回路５８およびＡＥ評価回路６０に画像データを出力する。

Ｙ／Ｃデータ処理回路５８は、入力された画像データに対して色分離およびＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データをプロセッサ２４に出力する。プロセッサ２４は、ＹＵＶ形式の画像データをＲＡＭ３４に格納（一時記憶）する。また、格納されたＹＵＶ形式の画像データは、ＲＧＢ形式の画像データに変換される。そして、プロセッサ２４は、ＲＧＢ形式の画像データを表示ドライバ２８に与え、ＲＧＢ形式の画像データがディスプレイ３０に出力される。これによって、被写体を表す低解像度のスルー画像がディスプレイ３０に表示される。

一方、出力部と呼ばれるＡＥ評価回路６０では、入力された画像データに基づいて、被写界の明るさを示す露出評価値（または露光評価値とも言う。）を作成する。また、露出評価値とは、イメージセンサ５２によって取り込まれる画像において設定されている、ＡＥ評価領域の輝度の平均値のことである。

作成された露出評価値はプロセッサ２４に出力され、プロセッサ２４は露出評価値が入力されると、ＡＥ評価回路６０にＡＥ制御処理の実行命令を与える。ＡＥ制御処理の実行命令を受けたＡＥ評価回路６０は、露出評価値が第１レジスタ６０ａに格納されている通常撮影用の露出目標値（第１露出目標値）となるように、ゲイン制御回路６２および露出時間制御回路６４を制御する。

まず、ＡＥ評価回路６０は露出時間制御回路６４を制御することで、フレームレートを変化させ、適切な露出時間（または露光時間とも言う。）に調節する。ここで、フレームレートが増加すると露出時間が短くなるため、画像の輝度が低くなる。また、フレームレートが減少すると露出時間が長くなるため、画像の輝度が高くなる。

たとえば、屋外などの明るい環境ではフレームレートが３０ｆｐｓ〜１５ｆｐｓにされるが、低照度環境ではフレームレートが１０ｆｐｓ〜３ｆｐｓ程度に調整される。つまり、露出評価値が小さい低照度環境では、１フレームの露出時間を長くして画像を明るくするために、フレームレートを減少させる。これにより、低照度環境でも、明るい画像をイメージセンサ５２によって取り込むことができるようになる。

次に、ＡＥ評価回路６０は、ゲイン制御部とも呼ばれるゲイン制御回路６２を制御することで、ＣＤＳ／ＡＧＣ／ＡＤ回路５４のゲインが適切な値となるように調節する。たとえば、ゲインが高くなるとＲＡＷ画像信号が増幅されるため、画像の輝度が高くなる。また、ゲインが低くなるとＲＡＷ画像信号が増幅されなくなるため、画像の輝度が低くなる。

なお、プロセッサ２４は、露出評価値や使用者の操作に基づいて、ＬＥＤ４０を発光させて、画像の輝度を上げることがある。

また、ＡＥ評価回路６０は、画像を適切な明るさに調整すると、画像データをＡＦ評価回路６８に出力する。ＡＦ評価回路６８は、画像データに基づいて被写界の合焦度を示すＡＦ評価値を出力する。プロセッサ２４は、ＡＦ評価値に基づいて、フォーカスレンズ５０のレンズ位置を変化させる命令を、ＡＦ駆動回路７０に与える。ＡＦ駆動回路７０は、プロセッサ２４から与えられた命令に基づいて、ＡＦモータ７２を駆動させてフォーカスレンズ５０のレンズ位置を変化させる。

たとえば、使用者によってシャッターキーが操作されると、プロセッサ２４は、ＡＥ評価回路６０に命令を発行することで画像を適正な明るさに調整し、ＡＦ制御処理を実行する。ＡＦ制御処理が実行されると、プロセッサ２４は、フレーム毎にＡＦ評価値を記録しながらフォーカスレンズ５０を移動させる。また、プロセッサ２４は、いわゆる山登り検索によってＡＦ評価値のピーク（最大値）を検索して、ＡＦ評価値がピークとなるレンズ位置に、フォーカスレンズ５０を移動させたうえで、本撮影処理を実行する。これによって、被写体にピントが合った画像データが保存される。

また、本撮影処理が実行されると、イメージセンサ５２から出力されるＲＡＷ画像信号には信号処理が施され、その処理結果がＲＡＭ３４に一旦格納される。さらに、フラッシュメモリ３２に対する記録処理が実行され、プロセッサ２４を通してＲＡＭ３４から画像データが読み出される。そして、プロセッサ２４は、読み出した画像データに、Ｅｘｉｆフォーマットのメタ情報を関連付けて、一つのファイルとしてフラッシュメモリ３２に記録する。さらに、プロセッサ２４は、図示しないスピーカから、本撮影処理が実行されていること通知する音を出力させる。

なお、携帯電話機１０にメモリカードが接続される場合、画像データはメモリカードに保存されてもよい。

たとえば、フレームレートが１５ｆｐｓであり、フォーカスレンズ５０が２５段階調整可能であるときに、ＡＦ評価値のピークが２５番目に有るとした場合、ＡＦ制御処理の処理時間は、約１．７秒となる。これに対して、低照度環境でフレームレートが３ｆｐｓに減少した場合、ＡＦ制御処理の処理時間は、約８．３秒になってしまう。このとき、低照度環境ではＡＦ制御処理の間もＬＥＤ４０をフラッシュとして発光させることが考えられるが、ＬＥＤ４０を最大出力で長時間発光させることは難しいため、ＡＦ制御中のＬＥＤ４０は、長時間発光できる程度の明るさで発光する。この場合、十分な光量が得られないため、露出時間はあまり短くならない。結果として、ＡＦ制御処理の処理時間が長くなるため、ＬＥＤ４０を発光させるための消費電力が大きくなる。

ところが、撮影前の構図を決めるときや、撮影をするときに比べて、ＡＦ制御中は画像の明るさに対する要求はほとんど無く、注意が払われることも無い。そのため、ＡＦ制御中に表示されるスルー画像が多少暗くなったとしても、使用者が気にすることはほとんど無いと考えられる。

そこで、本実施例では、ＡＦ制御処理が実行されている間だけ、ＡＦ評価値によってピークを判定できる最低限の明るさまでフレームレートを増加する（明るさを抑える）ことで、ＡＦ制御処理の処理時間を短くして、撮影に要する時間を短くする。

まず、ＡＦ制御処理が実行されている間は、通常撮影用の露出目標値よりも低い、ＡＦ制御用の露出目標値（第２露出目標値）が設定される。具体的に説明すると、ＡＦ制御用の露出目標値は、ＡＥ評価回路６０の第２レジスタ６０ｂに格納されている。そのため、シャッターキーの操作が通知されると、ＡＥ評価回路６０は露出目標値を読み出すレジスタを、第１レジスタ６０ａから第２レジスタ６０ｂに変更する。そして、露出評価値が、第２レジスタ６０ｂに格納されたＡＦ制御用の露出目標値の範囲内となるように、フレームレートが増加される。また、プロセッサ２４は、フレームレートが増加されると、ＡＦ制御処理を実行した後に、露出目標値（露光目標値とも言う。）を元に戻す命令をＡＥ評価回路６０に与える。さらに、プロセッサ２４は、本撮影処理を実行することで、画像データを保存する。

上述のようにフレームレートが変更された場合、ディスプレイ３０の表示は図３（Ａ）−図３（Ｃ）のように変化する。まず、図３（Ａ）を参照して、シャッターキーが操作される前には、ピントが合っていない被写界像が表示される。次に、図３（Ｂ）を参照して、シャッターキーが操作されると、表示される画像が暗くなり、ＡＦ制御処理によってピントが合った画像が表示される。そして、図３（Ｃ）を参照して、ＡＦ制御処理が終了すると露出目標値が元に戻るため、ディスプレイ３０に表示される画像も、元の明るさに戻る。このとき、表示されている画像に対応する画像データがフラッシュメモリ３２に保存される。このように、ＡＦ制御処理が終了すれば、露出目標値は通常撮影用に戻されるため、本撮影処理では、明るさが通常通り補正された画像を保存できる。

そして、フレームレートが３ｆｐｓから１０ｆｐｓに増加された場合、ＡＦ制御処理の処理時間は、約１／３の時間である約２．５秒となる。したがって、撮影に要する時間が短くなるため、撮影時における使用者の操作性が向上する。また、ＬＥＤ４０をフラッシュとして発光させている場合は、発光時間も１／３の時間で済むようになり、消費電力を抑えることができる。

また、本実施例では、フレームレートを増加した結果、露出評価値がＡＦ制御の露出目標値を下回った場合、フレームレートを１段階減少させる。つまり、フレームレートを１段階減少させることで、露出評価値がＡＦ制御用の露出目標値を上回った状態に戻すことができる。そして、このように処理することで、露出評価値が露出目標値を下回らない範囲で、フレームレートを限界まで増加することができる。なお、たとえばフレームレートが１５ｆｐｓのときに、フレームレートが１段階減少されると、フレームレートは１４ｆｐｓとなる。

さらに、露出評価値がＡＦ制御用の露出目標値を下回る前に、フレームレートが最大値に達した場合、これ以上、露出時間を短くすることができないため、露出評価値がＡＦ制御用の露出目標値に達していなくても、ＡＦ制御処理が実行される。

図４は、ＲＡＭ３４のメモリマップを示す図である。ＲＡＭ３４のメモリマップには、プログラム記憶領域３０２およびデータ記憶領域３０４が含まれる。また、プログラムおよびデータの一部は、フラッシュメモリ３２から一度に全部または必要に応じて部分的かつ順次的に読み出され、ＲＡＭ３４に記憶されてからプロセッサ２４によって処理される。

プログラム記憶領域３０２には、携帯電話機１０を動作させるためのプログラムが記憶されている。たとえば、携帯電話機１０を動作させるためのプログラムは、フレームレート制御プログラム３１０、ＡＦ制御プログラム３１２および撮影プログラム３１４などから構成されている。フレームレート制御プログラム３１０は、イメージセンサ５２のフレームレートを制御するためのプログラムであり、シャッターキーが操作されると実行される。ＡＦ制御プログラム３１２は、フォーカスレンズ５０によってピントを合わせるためのプログラムである。撮影プログラム３１４は、イメージセンサ５２によって取り込まれた画像をフラッシュメモリ３２に保存するためのプログラムである。

なお、図示は省略するが、携帯電話機１０を動作させるためのプログラムには、電話着信状態を通知するためのプログラムおよび外部と通信するためのプログラムなどが含まれる。

続いて、データ記憶領域３０４には、露出評価値バッファ３３０、ＡＦ評価値バッファ３３２、フレームレートフラグ３３４、ＡＥフラグ３３６およびＡＧＣフラグ３３８が設けられる。露出評価値バッファ３３０には、ＡＥ評価回路６０から出力された露出評価値が格納される。ＡＦ評価値バッファ３３２には、ＡＦ評価回路６８から出力されたＡＦ評価値が格納される。

フレームレートフラグ３３４は、フレームレートが最大値か否かを判断するためのフラグであり、ＡＥ評価回路６０の出力に基づいてオン／オフが切り替わる。たとえばフレームレートフラグ３３４は、１ビットのレジスタで構成される。フレームレートフラグ３３４がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、フレームレートフラグ３３４がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。

ＡＥフラグ３３６は、露出評価値が露出目標値を下回ったか否かを判断するためのフラグであり、ＡＥ評価回路６０の出力に基づいてオン／オフが切り替わる。また、ＡＧＣフラグ３３８は、ＣＤＳ／ＡＧＣ／ＡＤ回路５４における、ゲインレベルが最大値か否かを判断するためのフラグであり、ＡＥ評価回路６０を介してゲイン制御回路６２が出力する信号に基づいてオン／オフが切り替わる。

なお、図示は省略するが、データ記憶領域３０４には、ディスプレイ３０に表示される画像や文字列のデータなどが記憶されると共に、携帯電話機１０の動作に必要なカウンタや、フラグも設けられる。

プロセッサ２４は、Android（登録商標）およびREXなどのLinux（登録商標）ベースのOSや、その他のOSの制御下で、図５に示すフレームレート制御処理などを含む、複数のタスクを並列的に処理する。

図５はフレームレート制御処理のフロー図である。たとえば、使用者によってシャッターキーが操作されると、プロセッサ２４は、ステップＳ１でフレームレートが最大値か否かを判断する。つまり、フレームレートフラグ３３４がオンであるか否かを判断する。ステップＳ１で“ＹＥＳ”であれば、つまりフレームレートが最大値であれば、これ以上フレームレートを増加することができないため、ステップＳ３−Ｓ１１の処理を実行することなく、ステップＳ１３でＡＦ制御処理を実行する。

一方、ステップＳ１で“ＮＯ”であれば、つまりフレームレートが最大値でなければ、ステップＳ３で露出目標値をＡＦ制御用に変更する。つまり、プロセッサ２４は、ＡＦ評価回路６０に対して、第２レジスタ６０ｂに格納されたＡＦ制御用の露出目標値に基づく、ＡＥ制御処理の実行命令を与える。そして、ＡＥ評価回路６０では、露出目標値を読み出す元を、第１レジスタ６０ａから第２レジスタ６０ｂに変更する。なお、ステップＳ３の処理を実行するプロセッサ２４は変更部として機能する。

続いて、ステップＳ５では、ステップＳ１と同様にフレームレートが最大値か否かを判断する。ステップＳ５で“ＮＯ”であれば、つまりフレームレートが最大値でなければ、ステップＳ７でフレームレートを増加する。たとえば、露出評価値がＡＦ制御用の目標値の間（半分）の値となるように、フレームレートを増加する。また、具体的には、プロセッサ２４はＡＥ評価回路６０に対して露出時間の短縮命令を与え、ＡＥ評価回路６０は露出時間制御回路６４を制御することで、フレームレートを増加する。ただし、他の実施例では、露出評価値がＡＦ制御用の露出目標値となるように、フレームレートが増加されてもよい。なお、ステップＳ７の処理を実行するプロセッサ２４は増加制御部として機能する。

続いて、ステップＳ９では、露出評価値が露出目標値を下回るか否かを判断する。つまり、フレームレートが増加されると露出評価値が下がるため、ＡＥ評価回路６０によって現在の露出評価値が露出目標値を下回っていると判断され、ＡＥフラグ３３６がオンにされているかを判断する。ステップＳ９で“ＮＯ”であれば、つまり露出評価値が露出目標値を下回っていなければ、フレームレートをさらに増加するためにステップＳ５に戻る。また、フレームレートが増加された結果、ステップＳ５で“ＹＥＳ”であれば、つまりフレームレートが最大値になれば、ステップＳ１３に進む。

ステップＳ９で“ＹＥＳ”であれば、つまり露出評価値が露出目標値を下回っていれば、ステップＳ１１でフレームレートを減少させる。つまり、露出評価値が露出目標値を上回るようにするために、フレームレートを１段階減少させる。また、具体的には、プロセッサ２４は、ＡＥ制御回路６０に対して、露出時間延長補正命令を与える。命令を受けたＡＥ制御回路６０は、露出時間制御回路６４を制御することで、フレームレートを１段階減少させる。なお、ステップＳ１１の処理を実行するプロセッサ２４は、減少制御部として機能する。

続いて、ステップＳ１３では、ＡＦ制御処理を実行する。つまり、プロセッサ２４は、ＡＦ評価値のピークを検索し、ＡＦ評価値が最大となるレンズ位置に、フォーカスレンズ５０を移動させる。続いて、ステップＳ１５では、露出目標値を元に戻す。つまり、プロセッサ２４は、ＡＦ評価回路６０に対して、第１レジスタ６０ａに格納された通常撮影用の露出目標値に基づく、ＡＥ制御処理の実行命令を与える。そして、ＡＥ評価回路６０では、露出目標値を読み出す元を、第１レジスタ６０ａに戻す。また、ステップＳ１５の処理が終了すると、プロセッサ２４はフレームレート制御処理を終了して、撮影処理を実行する。なお、ステップＳ１５の処理を実行するプロセッサ２４は初期化部として機能する。

このように、第１実施例では、ＡＦ制御に最適化された露出目標値を使用することで、フレームレートを増加することができる。そのため、従来のＡＦ制御処理よりも、ＡＦ制御処理の処理時間を短縮することができる。

＜第２実施例＞
第２実施例では、フレームレートを減少させたときに、露出評価値が露出目標値を下回った場合、ＣＤＳ／ＡＧＣ／ＡＤ回路５４のゲインをアップさせて、露出評価値が露出目標値を上回るようにする。これにより、フレームレートが最大値になる前に、露出評価値が露出目標値を下回ったとしても、ゲインをアップすることで露出評価値も上げることができるため、フレームレートをさらに増加させることができるようになる。また、露出評価値が露出目標値を下回った時点でゲインが最大値であれば、フレームレートを減少させる。つまり、第２実施例でも、第１実施例と同様、露出評価値が露出目標値を下回らない範囲で、フレームレートを限界まで増加することができる。

なお、一般的には、ＣＤＳ／ＡＧＣ／ＡＤ回路５４のゲインをアップした場合、ＲＡＷ画像信号のノイズも増幅されるため、本撮影処理ではゲイン制御の限界は制限される場合が多い。ところが、ＡＦ制御処理では画像が保存されるわけではないので、ＡＦ制御処理に特化してゲインの最大値を規定することができる。

ここで、第２実施例では、第１実施例の電気的な構成などは同じであるため、ブロック図やメモリマップなどの詳細な説明は省略する。

図６は、第２実施例のフレームレート制御処理のフロー図である。なお、ステップＳ９とステップＳ１１との間にステップＳ２１，Ｓ２３の処理が追加された以外は、第１実施例と同じであるため、重複する説明は省略する。

プロセッサ２４は、ステップＳ１でフレームレートが最大値か否かを判断し、“ＮＯ”であれば、ステップＳ３で露出目標値をＡＦ制御用に変更する。続いて、ステップＳ５でフレームレートが最大値か否かを判断し、“ＮＯ”であれば、ステップＳ７でフレームレートを増加する。続いて、ステップＳ９で露出評価値が露出目標値を下回るか否かを判断する。

ステップＳ９で“ＹＥＳ”であれば、つまり露出評価値がＡＦ制御用の露出目標値を下回っていれば、ステップＳ２１でゲインが最大か否かを判断する。つまり、ゲイン制御回路６２によってＣＤＳ／ＡＧＣ／ＡＤ回路５４のゲインが最大とされ、ＡＧＣフラグ３３８がオンにされているか否かを判断する。ステップＳ２１で“ＮＯ”であれば、つまりＣＤＳ／ＡＧＣ／ＡＤ回路５４のゲインをさらにアップすることが可能であれば、ステップＳ２３で、露出目標値を上回るまでゲインをアップし、ステップＳ５に戻る。つまり、ステップＳ２３の処理が実行されると、ＡＥ評価回路６０は、露出評価値がＡＦ制御用の露出目標値を上回るまで、ＣＤＳ／ＡＧＣ／ＡＤ回路５４のゲインをアップさせる。なお、ステップＳ２１の処理を実行するプロセッサ２４は判断部として機能し、ステップＳ２３の処理を実行するプロセッサ２４はゲインアップ部として機能する。

また、ステップＳ２１で“ＹＥＳ”であれば、つまりＣＤＳ／ＡＧＣ／ＡＤ回路５４のゲインが最大であれば、ステップＳ１１でフレームレートを減少させる。続いて、ステップＳ１３でＡＦ制御処理を実行し、ステップＳ１５で露出目標値を元に戻す。

そして、ステップＳ１５の処理が終了すれば、プロセッサ２４はフレームレート制御処理を終了して、撮影処理を実行する。

このように、第２実施例では、単純な露出時間とゲイン補正との制御のみで、ＡＦ制御処理を高速化することができる。

なお、ステップＳ２３の処理によってゲインをアップしても、露出評価値が露出目標値を上回らない場合、ステップＳ５ではなくステップＳ１１に進み、フレームレートを減少させる。

以上の説明から分かるように、携帯電話機１０は、イメージセンサ５２およびＡＥ評価回路６０などを含むカメラモジュール３６を備える。また、カメラモジュール３６を利用するカメラ機能が実行されると、ＡＥ評価回路６０は露出評価値が露出目標値となるように露出を調整する。さらに、露出の調整が終わるとフレーム毎の画像データに基づいてＡＦ制御処理が実行される。たとえば、キー入力装置２６に含まれるシャッターキーが操作されると、通常撮影用の露出目標値が、その露出目標値よりも小さいＡＦ制御用の露出目標値に変更される。また、露出目標値の変更に応じて、フレームレートと相関する露出評価値が露出目標値内となるように、フレームレートが増加される。そして、増加したフレームレートで出力される、フレーム毎の画像データに基づいてＡＦ制御処理が実行される。

したがって、ＡＦ制御処理に係る時間が短縮されるため、撮影するときの操作性を向上させることができる。

特に、低照度環境下では、撮影時の最適な画質を目標とした露出状態と、ＡＦ制御中の露出状態とを分けることで、シャッターキーの操作から撮影終了までの時間の中で、大きな割合を占めるＡＦ制御処理の制御時間が短縮されるため、使用者の操作性がより向上する。

また、ＡＦ制御中にＬＥＤ４０をフラッシュとして発光させる場合、ＡＦ制御処理の処理時間が短縮されるので、ＬＥＤ４０の発光時間も短縮されるため、消費電力を削減するとともに、ＬＥＤ４０の寿命を延長させることができる。

なお、他の実施例では、ＡＥ評価回路６０に含まれるレジスタは１つだけでもよい。この場合、プロセッサ２４は、実行する処理に応じて、通常撮影用またはＡＦ制御用の露出目標値を１つのレジスタに設定する。

また、他の実施例では、ＡＦ制御処理におけるピークの検索には、山登り検索ではなく全検索が採用されてもよい。

また、携帯電話機１０の通信方式はＣＤＭＡ方式であるが、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、Ｗ−ＣＤＭＡ方式、ＧＳＭ方式、ＴＤＭＡ方式、ＦＤＭＡ方式およびＰＨＳ方式などが採用されてもよい。

また、本実施例で用いられたフレームレート制御プログラム３１０は、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体にフレームレート制御プログラム３１０を記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、フレームレート制御プログラム３１０が本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。

さらに、本実施例は、携帯電話機１０のみに限らず、スマートフォンおよびＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）に適用されてもよい。

そして、本明細書中で挙げた画素数や、ｆｐｓ、レンズ位置の数および処理時間などの具体的な数値は、いずれも単なる一例であり、製品の仕様などの必要に応じて適宜変更可能である。

１０ … 携帯電話機
１２ … アンテナ
１４ … 無線通信回路
２４ … プロセッサ
２６ … キー入力装置
３６ … カメラモジュール
５０ … フォーカスレンズ
５２ … イメージセンサ
５４ … ＣＤＳ／ＡＧＣ／ＡＤ回路
６０ … ＡＥ評価回路
６０ａ，６０ｂ … 第１レジスタ、第２レジスタ
６２ … ゲイン制御回路
６４ … 露出時間制御回路
６６ … ＴＧ
６８ … ＡＦ評価回路

Claims (8)

1. 画像データを出力するイメージセンサおよび前記イメージセンサが出力する画像データの露出を調整し、そのときの露出の評価値を出力する出力部を有し、前記イメージセンサが出力する画像データのフレームレートを制御し、前記イメージセンサが出力するフレーム毎の画像データに基づいてＡＦ制御処理を行う、カメラ装置において、
   撮影操作がされたとき、通常撮影用の第１目標値から、前記第１目標値よりも小さいＡＦ制御用の第２目標値に変更する変更部、および
   前記出力部が出力する評価値が前記変更部によって変更された前記第２目標値の範囲内となるように、フレームレートを増加する増加制御部を備え、
   前記増加制御部によって増加されたフレームレートで出力される画像データに基づいて、ＡＦ制御処理が実行されることを特徴とする、カメラ装置。
2. 前記増加制御部によってフレームレートが増加されることによって、前記出力部が出力する評価値が前記第２目標値を下回ったとき、フレームレートを減少させる減少制御部をさらに備える、請求項１記載のカメラ装置。
3. 前記イメージセンサの出力のゲインを制御するゲイン制御部、
   前記増加制御部によってフレームレートが増加されることによって、前記出力部が出力する評価値が前記第２目標値を下回ったとき、前記イメージセンサの出力のゲインが最大かを判断する判断部、および
   前記判断部によって前記イメージセンサの出力のゲインが最大ではないと判断されたとき、前記イメージセンサの出力のゲインをアップするゲインアップ部をさらに備える、請求項１記載のカメラ装置。
4. 前記判断部によって前記イメージセンサの出力のゲインが最大だと判断されたとき、フレームレートを減少させる減少制御部をさらに備える、請求項３記載のカメラ装置。
5. 前記ＡＦ制御処理が実行された後、前記第２目標値を前記第１目標値に戻す初期化部をさらに備える、請求項１ないし４のいずれかに記載のカメラ装置。
6. 請求項１ないし５のいずれかに記載のカメラ装置を備える、携帯端末。
7. 画像データを出力するイメージセンサおよび前記イメージセンサが出力する画像データの露出を調整し、そのときの露出の評価値を出力する出力部を有し、前記イメージセンサが出力する画像データのフレームレートを制御し、前記イメージセンサが出力するフレーム毎の画像データに基づいてＡＦ制御処理を行う、カメラ装置のプロセッサを、
   撮影操作がされたとき、通常撮影用の第１目標値から、前記第１目標値よりも小さいＡＦ制御用の第２目標値に変更する変更部、および
   前記出力部が出力する評価値が前記変更部によって変更された前記第２目標値の範囲内となるように、フレームレートを増加する増加制御部として機能させ、
   前記増加制御部によって増加されたフレームレートで出力される画像データに基づいて、ＡＦ制御処理を実行させる、フレームレート制御プログラム。
8. 画像データを出力するイメージセンサおよび前記イメージセンサが出力する画像データの露出を調整し、そのときの露出の評価値を出力する出力部を有し、前記イメージセンサが出力する画像データのフレームレートを制御し、前記イメージセンサが出力するフレーム毎の画像データに基づいてＡＦ制御処理を行う、カメラ装置のフレームレート制御方法であって、
   撮影操作がされたとき、通常撮影用の第１目標値から、前記第１目標値よりも小さいＡＦ制御用の第２目標値に変更し、そして
   前記出力部が出力する評価値が前記第２目標値の範囲内となるように、フレームレートを増加し、
   増加されたフレームレートで出力される画像データに基づいて、ＡＦ制御処理が実行される、フレームレート制御方法。

Images