JP2023077932A - 電子機器及びその制御方法 - Google Patents

Abstract

【課題】 撮像素子の駆動切り替えの応答性を向上すること。【解決手段】 撮像素子と、前記撮像素子の駆動方法の切り替えを伴う指示を入力する入力手段と、前記指示の入力に伴って、予め決められた条件に基づいて、前記撮像素子の駆動方法を、第１の切替方法と第２の切替方法のいずれかにより切り替える制御手段を有し、前記第１の切替方法では、前記指示の入力に伴って前記撮像素子を待機状態にして駆動方法を切り替え、前記第２の切替方法では、予め決められたフレームレートで前記撮像素子を駆動しながら、前記指示が入力された後の次にフレームが切り替わるタイミングで前記撮像素子の駆動方法を切り替える。【選択図】 図７

Description

本発明は、電子機器及びその制御方法に関し、特に電子機器に含まれる撮像素子の駆動切替技術に関するものである。

デジタルカメラや、カメラ機能を備えた電子機器（以下、まとめて「撮像装置」と呼ぶ。）には、ライブビュー（ＬＶ）モード、動画撮影モード、静止画撮影モードを有するものがある。

ＬＶモードは、撮像素子から出力された画像信号に対する現像処理を行うことで得られる画像を表示装置に一定のフレームレートで表示させる撮影モードである。

動画撮影モードは、撮像素子から出力された画像信号に対する現像処理を行うことで得られる一定のフレームレートの動画を記録メディアに記録する撮影モードである。動画撮影モードで記録される動画データには、例えば、高精細な４Ｋや、通常のＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）等の記録サイズが存在する。また、記録するフレームレートとして、６０ｆｐｓや３０ｆｐｓ等が存在する。

静止画撮影モードは、撮像素子から出力された画像信号に対する現像処理を行うことで得られる静止画を記録メディアに記録する撮影モードである。静止画撮影モードでは、静止画の記録サイズを選択することができる、例えば、２４Ｍピクセルの撮像素子であれば、２４Ｍピクセルでの記録や１２Ｍピクセルでの記録等が存在する。

通常、ＬＶ画像と動画や静止画では画像データの解像度が異なるため、撮像素子の駆動方法が異なる。そのため、撮影モードを変更する際に、撮像素子の駆動方法を変更するための駆動切替が発生する。

例えば、ＬＶモードから動画撮影モードに切り替える場合、ＬＶモードで駆動中の撮像素子からの画像データの出力を一旦停止し、動画撮影モードでの駆動に撮像素子を切り替えたあと、再度撮像素子から画像データを出力する。このため、表示装置には前フレームの画像が表示されたり、画像データが存在しなくなるために黒画像等の固定色表示が行われたりする。

特許文献１では、撮像素子内のメモリに画像データを格納し、メモリから画像を読み出す構成とし、駆動切替時には欠陥フレームとなる画像データの格納を停止して、駆動切替前の画像データを読み出すことが開示されている。

また、特許文献２では、動画撮影中に静止画撮影が指示された場合に、動画撮影のブランキング期間中に静止画撮影を行うことで、表示がストップしている状態（フレームストップ）を回避する方法が開示されている。

特開２０１５－１８６２３４号公報 特開２０２０－１８４６９９号公報

特許文献１に記載された方法の場合、撮像素子からは駆動切替前の画像データが出力されるため、電子機器の表示装置には、２フレームもしくはそれ以上の間、同じ画像が表示され、画像が静止している状態となってしまう。

また、特許文献２の場合、動画撮影のフレームレートが遅い場合には、静止画撮影を開始するまでの応答性が悪い。

本発明は上記問題点を鑑みてなされたものであり、撮像素子の駆動切り替えの応答性を向上することを目的とする。

上記目的を達成するために、本発明の電子機器は、撮像素子と、前記撮像素子の駆動方法の切り替えを伴う指示を入力する入力手段と、前記指示の入力に伴って、予め決められた条件に基づいて、前記撮像素子の駆動方法を、第１の切替方法と第２の切替方法のいずれかにより切り替える制御手段を有し、前記第１の切替方法では、前記指示の入力に伴って前記撮像素子を待機状態にして駆動方法を切り替え、前記第２の切替方法では、予め決められたフレームレートで前記撮像素子を駆動しながら、前記指示が入力された後の次にフレームが切り替わるタイミングで前記撮像素子の駆動方法を切り替える。

本発明によれば、撮像素子の駆動切り替えの応答性を向上することができる。

本発明の実施形態における撮像素子の概略構成を示すブロック図。 実施形態における撮像素子の画素配列図。 実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における第１の駆動切替方法による切り替え動作を示すタイミング図。 第１の実施形態におけるＬＶ駆動のフレームレートが高い場合の第２の駆動切替方法による切り替え動作を示すタイミング図。 第１の実施形態におけるＬＶ駆動のフレームレートが低い場合の第２の駆動切替方法による切り替え動作を示すタイミング図。 第１の実施形態における駆動切替方法の判断処理を示すフローチャート。 第１の実施形態の変形例における駆動切替方法の判断処理を示すフローチャート。 第１の実施形態の変形例におけるＬＶ駆動のフレームレートが低い場合の切り替え動作を示すタイミング図。 第２の実施形態におけるＬＶ駆動のフレームレートが低い場合の第１の駆動切替方法による切り替え動作を示すタイミング図。 第２の実施形態におけるＬＶ駆動のフレームレートが低い場合の第２の駆動切替方法による切り替え動作を示すタイミング図。 第３の実施形態における駆動切替方法の判断処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
●装置構成
図１は、本発明の第１の実施形態における撮像素子の概略構成を示すブロック図である。

撮像素子３０６は、複数の画素１０１がマトリックス状に配列され、水平方向（行方向）において、転送信号線１０３、リセット信号線１０４、及び行選択信号線１０５に接続されている。また、垂直方向（列方向）において、各列に設けられた複数の垂直出力線１０２のいずれかに接続されている。これにより、複数の行単位で画素から信号を読み出すことができる。

また、撮像素子３０６は、カラムＡＤＣブロック１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４からなる駆動回路と、切り替えスイッチ１１６、パラレル・シリアル（Ｐ／Ｓ）変換部１１７を有する。切り替えスイッチ１１６は、水平信号線１１５－ａ、水平信号線１１５－ｂを介して出力される２系統の画像信号を切り替えて出力する。

タイミング制御回路１１４は、後述する全体制御演算部３０９から入力された垂直同期信号（ＶＤ信号）１１８、水平同期信号０（ＨＤ０信号）１１９、水平同期信号１（ＨＤ１信号）１２０に合わせて、撮像素子３０６の駆動タイミングを制御する。撮像素子３０６には、ＳＩＯ通信信号１２１が入力される。

画像信号は、タイミング制御回路１１４のタイミングに合わせてＰ／Ｓ変換部１１７にてパラレル・シリアル変換を行い、撮像素子３０６の外部へと送られる。また、読み出し駆動として、全画素から画像信号を読み出す駆動、垂直方向を１／３や１／５に間引いた画素から画像信号を読み出す駆動、垂直方向の上下部分を除いた画素行から画像信号を読み出す駆動等から選択することが可能である。

撮像素子３０６は、待機状態、読み出し状態、露光状態に制御される。
待機状態では、画素１０１からの画像信号読み出しや、後述する撮像信号処理回路３０７への画像データの転送を行わない。読み出し状態では、画素１０１から画像信号の読み出しを行って撮像信号処理回路３０７へ画像データの転送を行う。露光状態では、画素１０１の読み出しや撮像信号処理回路３０７への画像データの転送を行わず、画素１０１を露光して電荷を蓄積する。

図２は、カラーフィルタ２０２により覆われた撮像素子３０６の画素配列を模式的に示した図である。一例として、カラーフィルタ２０２にはベイヤー配列が適用され、奇数行の画素には、左から順に赤（Ｒ）と緑（Ｇｒ）のカラーフィルタ２０２が交互に設けられ、また、偶数行の画素には、左から順に緑（Ｇｂ）と青（Ｂ）のカラーフィルタが交互に設けられる。また、オンチップマイクロレンズ２０１がカラーフィルタ２０２の上に構成されている。

図３は、上記構成を有する撮像素子３０６を用いた第１の実施形態における撮像装置の概略構成を示したブロック図である。

図３において、レンズ駆動部３０２によってレンズ部３０１のズーム、フォーカス等が駆動制御される。メカシャッタ３０３、絞り３０４は、シャッタ・絞り駆動部３０５によって駆動制御される。レンズ部３０１及びメカシャッタ３０３を介して入射する被写体像は、絞り３０４により適切な光量に調整され、レンズ部３０１により撮像素子３０６上の撮像面に結像される。

撮像素子３０６の撮像面に結像した被写体像は、画素１０１にて光電変換され、さらにゲイン調整、及びアナログ信号からデジタル信号へのＡ／Ｄ変換が行われ、Ｒ、Ｇｒ、Ｇｂ、Ｂの信号として取り込まれ、撮像信号処理回路３０７に送られる。

撮像信号処理回路３０７では、撮像素子３０６から出力された画像信号を用いて所定の演算処理が行われ、得られた演算結果に基づいて全体制御演算部３０９が露光制御、焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。ＡＥ処理によって、撮像素子３０６に与えるＶＤ信号１１８の間隔を長くしたり短くしたりすることでフレームレートを変更することが可能である。
また、撮像信号処理回路３０７では、撮像素子３０６から出力された画像信号を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

また、撮像信号処理回路３０７では、撮像素子３０６から出力された画像信号に対してキズ画素補正やシェーディング処理を実施し、現像処理を行う。現像処理では、ノイズを軽減するローパスフィルタ処理や被写体のボケを補正するシャープネス補正、画像のコントラストを調整するコントラスト補正、偽色を補正する偽色補正等を実施する。

そして、撮像信号処理回路３０７により処理された画像信号は、全体制御演算部３０９の指示によって、記録媒体制御インターフェース（Ｉ／Ｆ）部３１０を介して記録媒体３１２へ記録されたり、表示部３１１に表示されたりする。表示部３１１は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）とＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を含む。表示部３１１に、撮像信号処理回路３０７により処理された画像信号を逐次表示することで、ライブビュー（ＬＶ）画像表示を実現することができる。

記録媒体３１２は、半導体メモリ等の着脱可能な記憶媒体であり、記録媒体３１２に記録された画像信号は、逆に記録媒体制御Ｉ／Ｆ部３１０を介して読み出すことができる。
第１メモリ部３０８は、画像信号を一時的に記憶するために用いられる。第２メモリ部３１４は、全体制御演算部３０９での演算結果を記憶する。
外部インターフェース（Ｉ／Ｆ）部３１３は、外部コンピュータ等と通信を行うために為のインターフェースである。

操作部３１５は、ユーザーが各種設定や指示を行うために用いられ、静止画撮影の開始を指示するためのシャッタレリーズボタンや、動画撮影の開始及び終了を指示するための記録ボタン、メニューボタン、撮影した画像を確認するための再生ボタン等を含む。
シャッタレリーズボタンは、スイッチＳＷ１とスイッチＳＷ２の２段スイッチとなっており、操作途中（例えば半押し）でスイッチＳＷ１がＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の静止画撮影の準備を指示する。また、操作完了（例えば全押し）でスイッチＳＷ２がＯＮとなり、静止画撮影を指示する。
記録ボタンは、１回押下すると動画記録が指示され、動画記録中に押下すると、動画記録の停止が指示される。なお、シャッタレリーズボタンや記録ボタンは、これらの構成に限られるものでは無く、静止画撮影及び動画撮影の開始及び終了の指示を行えるものであればよい。

全体制御演算部３０９は、撮像装置全体の制御と各種演算を行う。全体制御演算部３０９では、操作部３１５よりユーザーが設定した条件に応じて、ＬＶモード、静止画撮影モード、動画撮影モードを含む撮像装置全体の制御を行う。

●第１の駆動切替方法
図４は、第１の実施形態における撮像素子３０６の第１の駆動切替方法による切り替え動作を示すタイミング図である。

なお、以下の説明では、ＬＶモードにおける撮像素子３０６の駆動を低画質駆動、動画撮影モードにおける撮像素子３０６の駆動を高画質駆動とする。また、ＬＶモードにおける撮像素子３０６のフレームレートを３０ｆｐｓ（３３ｍｓ）、動画撮影モードにおける撮像素子３０６のフレームレートを３０ｆｐｓ（３３ｍｓ）とする。また、ＬＶモードまたは動画撮影モードにおける撮像素子３０６からの信号の読み出し時間は、２ｍｓとする。また、表示部３１１は、第１の実施形態では６０ｆｐｓで動作しているものとする。

更に、以下の説明において、ＳＩＯ通信信号１２１により行われる制御内容が異なるため、制御内容に応じて、ＳＩＯ（１）～（４）通信と記載して区別する。

ＬＶモードにおいて操作部３１５によって動画記録開始が指示されると、全体制御演算部３０９は、撮像素子３０６への駆動切替要求として、ＳＩＯ（１）通信を行う。ＳＩＯ（１）通信では、次のＶＤ信号のタイミングで撮像素子３０６が待機状態になる設定を行う。このＳＩＯ（１）通信を行うタイミングは、動画記録開始指示がブランキング期間のどのタイミングで発生するかによって変わる。

図４（ａ）は、ＶＤ信号の入力前１ｍｓ期間の設定禁止期間に動画記録開始指示が入力された場合を示す図である。この場合、ＳＩＯ（１）通信を次のＶＤ信号が発生した直後に行うため、撮像素子３０６の露光（ｎ＋１）に対応する信号の読み出しは途中で停止され、表示（ｎ＋１）となるはずの画像データを得ることができない。結果として、表示（ｎ）の画像が、表示部３１１に２フレーム期間以上、続けて表示されることになり、画像が停止して見える現象が発生する。

ＳＩＯ（１）通信により、次のＶＤ信号の入力に伴って撮像素子３０６が待機状態になると、全体制御演算部３０９は、待機状態中にＳＩＯ（２）通信を行う。ＳＩＯ（２）通信では、撮像素子３０６の駆動を変更し、変更後の駆動に合わせてＶＤ信号、ＨＤ０信号を撮像素子３０６に送ると共に、リセット信号線１０４を介して露光時間を設定し、更に、カラムＡＤＣブロック１１１にゲインの設定を行う。

次に、全体制御演算部３０９は、表示部３１１の表示タイミングに合わせて、その次のＶＤ信号を発行し（Ｓｙｎｃ同期期間）、撮像素子３０６が読み出し状態へ変更され、高画質駆動による露光（ｎ＋２）が開始される。Ｓｙｎｃ同期期間は、３ｍｓから１６ｍｓであるため、動画記録開始指示が入力されてから高画質駆動により得られた画像（表示（ｎ＋２））が表示部３１１に表示されるまでに、最短で約３７ｍｓ、最長で約５０ｍｓの時間を要する。

図４（ｂ）は、読み出し完了後のブランキング（ＢＬＫ）期間が始まった直後に動画記録開始指示が入力された場合を示す図である。この場合、ＳＩＯ（１）通信は、読み出し終了直後に行われる。全体制御演算部３０９は、駆動切替要求のＳＩＯ（１）通信が完了するとＶＤ信号を発行し、撮像素子３０６を待機状態へ変更する。撮像素子３０６の待機状態中には、撮像素子３０６からは画像データが転送されなくなる。そのため、表示部３１１の画像の更新は行われなくなり、画像表示が一時停止した状態となる。

撮像素子３０６が待機状態になると、全体制御演算部３０９は、ＳＩＯ（２）通信を行う。ＳＩＯ（２）通信では、撮像素子３０６の駆動を変更し、変更後の駆動に合わせてＶＤ信号、ＨＤ０信号を撮像素子３０６に送ると共に、リセット信号線１０４を介して露光時間を設定し、更に、カラムＡＤＣブロック１１１にゲインの設定を行う。

次に、全体制御演算部３０９は、表示部３１１の表示タイミングに合わせて、その次のＶＤ信号を発行し（Ｓｙｎｃ同期期間）、撮像素子３０６が読み出し状態へ変更され、高画質駆動用による露光（ｎ＋２）が開始される。

しかし、表示（ｎ＋１）として示される画像が表示部３１１に表示される期間が１６ｍｓ長くなるため、表示に滑らかさが無くなり、画像が停止して見える現象が発生する。また、Ｓｙｎｃ同期期間は、３ｍｓから１６ｍｓであるため、動画記録開始指示が入力してから高画質駆動により得られた画像（表示（ｎ＋２））が表示部３１１に表示されるまでに、最短で約３６ｍｓ、最長で４９ｍｓの時間を要する。

このように、第１の駆動切替方法では、画像が停止して見える現象が発生する一方、動画記録開始指示が入力してから画像が切り替わるまでの切り替え時間は、約３６ｍｓから約５０ｍｓの間に収まる。

●第２の駆動切替方法
図５は、第１の実施形態における撮像素子３０６の第２の駆動切替方法として、シームレス駆動切替方法による切り替え動作を示すタイミング図である。

図５においても、ＬＶモードにおける撮像素子３０６の駆動を低画質駆動、動画撮影中における撮像素子３０６の駆動を高画質駆動とする。また、ＬＶモードにおける撮像素子３０６のフレームレートを３０ｆｐｓ（３３ｍｓ）、動画撮影モードにおける撮像素子３０６のフレームレートを３０ｆｐｓ（３３ｍｓ）とする。また、ＬＶモードまたは動画撮影モードにおける撮像素子３０６からの信号の読み出し時間は２ｍｓとする。また、表示部３１１は、第１の実施形態では６０ｆｐｓで動作しているものとする。

ＬＶモードにおいて操作部３１５によって動画記録開始が指示されると、全体制御演算部３０９は、撮像素子３０６への駆動切替要求として、ＳＩＯ（３）通信を行う。ＳＩＯ（３）通信では、次のＶＤ信号で撮像素子３０６からの信号の読み出しが低画質駆動、露光が高画質駆動となる設定を行う。このＳＩＯ（３）通信を行うタイミングは、動画記録開始指示がブランキング期間のどのタイミングで発生するかによって変わる。

図５（ａ）は、ＶＤ信号の入力前１ｍｓ期間の設定禁止期間に動画記録開始指示が入力された場合を示す図であり、動画記録開始指示が入力されて画像が切り替わるまでに、最も時間がかかる場合を示している。この場合、ＳＩＯ（３）通信を次のＶＤ信号で読み出しが完了した直後に行う。

この時、低画質駆動と高画質駆動でＨＤの時間（水平期間）が異なる場合には、低画質駆動はＨＤ０信号を使用し、高画質駆動ではＨＤ１信号を使用して撮像素子３０６のタイミングを制御するように変更する。また、高画質駆動用のＶＤ信号を撮像素子３０６に送ると共に、リセット信号線１０４を介して高画質駆動用の露光時間を設定し、更に、カラムＡＤＣブロック１１１に低画質用のゲインを設定する。

次に、３３ｍｓ後にＶＤ信号が発生すると、ＳＩＯ（４）通信を行う。ＳＩＯ（４）通信は、次のＶＤ信号で読み出しが高画質駆動、露光が高画質駆動となる設定を行う。また、リセット信号線１０４を介して高画質駆動用の露光時間を設定し、更に、高画質駆動用のカラムＡＤＣブロック１１１のゲインの設定を行う。

この場合、動画記録開始指示が入力されてから高画質駆動の画像（表示（ｎ＋３））が表示部３１１に表示されるまでに、約６７ｍｓの時間を要する。

図５（ｂ）は、ＶＤ信号の入力前１ｍｓよりも前に動画記録開始指示が入力された場合を示す図であり、動画記録開始指示が入力されてから画像切り替わるまでに、最も時間がかからない場合を示している。図５（ａ）とは異なり、動画記録開始指示が入力されるとすぐにＳＩＯ（３）通信を行い、３３ｍｓ間隔のＶＤ信号が発生すると、ＳＩＯ通信（４）を行う。

この場合、動画記録開始指示が入力されてから高画質駆動の画像（表示（ｎ＋３））が表示部３１１に表示されるまでに、約３４ｍｓの時間を要する。

図５に示す第２の駆動切替方法の場合、図４の第１の駆動切替方法と異なり、撮像素子３０６を待機状態に遷移させる設定を行わずに、撮像素子３０６の露光と撮像素子３０６からの読み出しを止めないように制御する。このため、表示部３１１に表示される画像は、表示（ｎ）、表示（ｎ＋１）、表示（ｎ＋２）、表示（ｎ＋３）で表されているように、表示が一時停止する現象が発生しない。また、動画記録開始指示が入力されてから画像が切り替わるまでの切り替え時間は、約３４ｍｓから約６７ｍｓとなり、第１の駆動切替方法と同程度のばらつきとなる。しかしながら、このばらつきは、切り替え前のフレームレートが遅い場合に、より顕著になる。

図６は、撮像素子３０６のフレームレートが遅い場合のシームレス駆動切替方法を示すタイミング図である。

ここでは、ＬＶモードにおける撮像素子３０６の駆動を低画質駆動、動画撮影モードにおける撮像素子３０６の駆動を高画質駆動とする。また、ＬＶモードにおける撮像素子３０６のフレームレートを１５ｆｐｓ（６６ｍｓ）、動画撮影モードにおける撮像素子３０６のフレームレートを３０ｆｐｓ（３３ｍｓ）とする。また、ＬＶモードまたは動画撮影モードにおける撮像素子３０６からの信号の読み出し時間は２ｍｓとする。

図６において、ＶＤ信号の入力前１ｍｓの設定禁止期間におけるタイミング１で、動画記録開始指示が入力された場合、動画記録開始指示から高画質駆動により得られた画像（表示（ｎ＋２））が表示部３１１に表示されるまでに、１ｍｓの設定禁止期間と６６ｍｓの１ＶＤ期間と露光（３）の３３ｍｓの、約１００ｍｓの時間を要する。

一方、設定禁止期間直前のタイミング２で動画記録開始指示が入力された場合、動画記録開始指示から高画質駆動により得られた画像（表示（ｎ＋２））が表示部３１１に表示されるまでに、次のＶＤ信号までの１ｍｓと露光（３）の３３ｍｓの、約３４ｍｓの時間を要する。すなわち、動画記録開始指示が入力するタイミングによって、６６ｍｓのばらつきが生じる。

このように、第２の駆動切替方法では、低画素駆動時のフレームレートが遅くなるにつれて、切り替えにかかる時間のばらつきが大きくなる。

●駆動切替制御
図７は、第１の実施形態において、動画記録開始指示が入力してから、高画素駆動への切り替え時間のばらつきを抑える駆動切替判断処理を示すフローチャートである。

動画記録開始指示が入力されると、Ｓ７０１において、現在のフレームレートが高フレームレートかどうかを判断する。ここでは、現在のフレームレートを予め決められた閾値Ｔ１（例えば、３０ｆｐｓ）と比較し、現在のフレームレートが閾値Ｔ１以上である場合に高フレームレートであると判断する。
現在のフレームレートが高フレームレートであると判断された場合には、Ｓ７０２に進んで、第２の駆動切替方法により切り替えを実施する。現在のフレームレートが高フレームレートでは無いと判断された場合には、Ｓ７０３に進んで、第１の駆動切替方法により切り替えを実施する。

上述したように、第１の駆動切替方法では、画面が一瞬ストップする現象が生じるものの、切り替え時間は、最短で約３６ｍｓ、最長で約５０ｍｓの間に収まる。そのため、現在のフレームレートが高フレームレートではない場合に、第２の駆動切替方法では無く、第１の駆動切替方法を行うことで、切り替えにかかる時間のばらつきを抑えることができる。

一方、現在のフレームレートが高フレームレートである場合には、第２の駆動切替方法を実施することにより、第１の駆動切替方法よりも滑らかな画像表示が可能であると共に、切り替え時間のばらつきは第１の駆動切替方法と同程度に収まる。

上記の通り第１の実施形態によれば、ＬＶ表示から動画撮影への駆動切替時の表示の滑らかさをできる限り保ちつつ、切り替え時間のばらつきを抑えることができる。

＜変形例＞
図６で示したように、第２の駆動切替方法であるシームレス駆動切替方法では、フレームレートが遅くなるにつれて、次の駆動への切り替えに要する時間のばらつきが大きくなる課題がある。この課題に対し、本変形例では、更に、動画記録開始指示が入力されたタイミングに応じて第１の駆動切替方法と第２の駆動切替方法のいずれを用いるかを判断することで、更に、駆動切替時の表示の滑らかさを維持しつつ、切り替え時間のばらつきを抑える。

図８は、本変形例において、動画記録開始指示が入力されてから、高画素駆動への切り替え時間のばらつきを抑える駆動切替判断処理を示すフローチャートである。なお、図７に示す処理と同様の処理には同じステップ番号を付して説明を省略する。

Ｓ７０１において、現在のフレームレートが高フレームレートでは無いと判断された場合、Ｓ８０１に進む。Ｓ８０１では、動画記録開始指示が入力されたタイミングが次のＶＤ信号が入力するまでに予め決められた閾値Ｔ２以下であるかどうかを判断する。
閾値Ｔ２以下であれば、Ｓ７０２に進んで第２の駆動切替方法により切り替えを実施し、閾値Ｔ２より長ければ、Ｓ７０３に進んで第１の駆動切替方法により切り替えを実施する。ここで閾値Ｔ２は、例えば、第１の駆動切替方法で発生する切り替え時間に応じて設定することが考えらえる。第１の駆動切替方法では、表示部３１１のタイミングに合わせて、ＶＤ信号を発行するＳｙｎｃ同期が最大１６ｍｓ存在するため、その時間と１ｍｓの設定禁止期間を合わせた１７ｍｓ時間とする。

図９は、低フレームレート（ここでは１５ｆｐｓ）である場合に、動画記録開始指示のタイミングに応じて行われる駆動切替の一例を示すタイミング図である。動画記録開始指示のタイミングが次のＶＤ信号から１７ｍｓ以下であれば、第２の駆動切替方法により駆動切替を実施する。それ以外のタイミングであれば第１の駆動切替方法により駆動切替を実施する。

以上のように動作させることにより、駆動切替時の表示の滑らかさをできる限り保ちつつ、切り替えにかかる時間のばらつきを更に抑えることができる。

なお、本発明は上述した実施形態に限定されるものではなく、ＬＶモードから別のＬＶモードへの駆動切替時、動画撮影モードから別の動画撮影モードへの駆動切替時にも適用可能である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、ＬＶモードから動画撮影モードへの切り替え時における、撮像素子３０６の駆動切替について説明した。これに対して第２の実施形態では、ＬＶモードから静止画撮影モードへの切り替え時における、撮像素子３０６の駆動切替について説明する。
なお、第２の実施形態における撮像装置の構成は、第１の実施形態において図１乃至図３を参照して説明したものと同様であるため、ここでは説明を省略する。

●第１の駆動切替方法
図１０は、第２の実施形態における撮像素子３０６の第１の駆動切替方法による切り替え動作を示すタイミング図である。なお、静止画撮影モードからＬＶモードへの切り替えには第２の駆動切替方法を用いた場合を示している。

なお、以下の説明では、ＬＶモードにおける撮像素子３０６の駆動を低画質駆動、静止画撮影モードにおける撮像素子３０６の駆動を高画質駆動とする。また、ＬＶモードにおける撮像素子３０６のフレームレートを３０ｆｐｓ（３３ｍｓ）、静止画撮影モードにおける撮像素子３０６のフレームレートを６０ｆｐｓ（１６ｍｓ）とする。また、ＬＶモードまたは静止画撮影モードにおける撮像素子３０６からの信号の読み出し時間は、２ｍｓとする。また、表示部３１１は、第２の実施形態では３０ｆｐｓで動作しているものとする。
更に、以下の説明において、ＳＩＯ通信信号１２１により行われる制御内容が異なるため、制御内容に応じて、ＳＩＯ（５）～（１１）通信と記載して区別する。

ＬＶモードにおいて操作部３１５のスイッチＳＷ２のＯＮ動作によって静止画撮影が指示されると、全体制御演算部３０９は、撮像素子３０６への駆動切替要求としてＳＩＯ（５）通信を行う。ＳＩＯ（５）通信では、次のＶＤ信号のタイミングで撮像素子３０６が待機状態になる設定を行う。このＳＩＯ（５）通信を行うタイミングは、静止画撮影指示がブランキング期間のどのタイミングで発生するかによって変わる。

図１０は、ＶＤ信号の入力前１ｍｓ期間の設定禁止期間に静止画撮影指示が入力された場合を示す図であり、静止画撮影指示が入力されて画像が切り替わるまでに、最も時間がかかる場合を示している。この場合、ＳＩＯ（５）通信を次のＶＤ信号が発生した直後に行うため、撮像素子３０６の露光（ｎ＋１）に対応する信号の読み出しは途中で停止され、表示（ｎ＋１）となるはずの画像を得ることができない。結果として、表示（ｎ）の画像が、表示部３１１に２フレーム期間以上、続けて表示されることになり、画像が停止して見える現象が発生する。

ＳＩＯ（５）通信により、次のＶＤ信号の入力に伴って撮像素子３０６が待機状態になると、全体制御演算部３０９は、待機状態の間にＳＩＯ（６）通信を行う。ＳＩＯ（６）通信では、撮像素子３０６の駆動を変更し、変更後の駆動に合わせてＶＤ信号、ＨＤ０信号を撮像素子３０６に送ると共に、リセット信号線１０４を介して露光時間を設定し、更に、カラムＡＤＣブロック１１１にゲインの設定を行う。

次に、全体制御演算部３０９は、表示部３１１の表示タイミングに合わせて次のＶＤ信号を発行し（Ｓｙｎｃ同期期間）、撮像素子３０６が蓄積状態へ変更され、静止画撮影の露光が開始される。Ｓｙｎｃ同期期間は、３ｍｓから１６ｍｓであるため、駆動切替要求が入力されてから静止画駆動の露光が開始されるまでに、最長で約１７ｍｓの時間を要する。

次に、静止画用の電荷蓄積が完了すると、ＶＤ信号が発行され、ＳＩＯ（７）通信を行う。ＳＩＯ（７）通信では、次のＶＤ信号で読み出しが静止画駆動、露光が高画質駆動となるように設定を行う。また、静止画駆動と高画質駆動でＨＤの時間（水平期間）が異なる場合には、静止画駆動にはＨＤ０信号を使用し、高画質駆動ではＨＤ１信号を使用して撮像素子３０６のタイミングを制御するように変更する。また、高画質駆動用のＶＤ信号を撮像素子３０６に送ると共に、リセット信号線１０４を介して高画質駆動用の露光時間を設定し、更に、カラムＡＤＣブロック１１１に静止画用のゲインの設定を行う。

次に、１６ｍｓ後にＶＤ信号が発生すると、ＳＩＯ（８）通信を行う。ＳＩＯ（８）通信では、次のＶＤ信号で読み出しが高画質駆動、露光が高画質駆動の設定を行う。また、リセット信号線１０４を介して高画質駆動用の露光時間を設定すると共に、カラムＡＤＣブロック１１１に高画質駆動用のゲインを設定する。

なお、Ｓｙｎｃ同期期間が、３ｍｓから１６ｍｓであるため、この場合、静止画撮影指示が入力されてから次に得られる高画質駆動の画像（表示（ｎ＋２））が表示部３１１に表示されるまでに、最短で約３７ｍｓ、最長で約５０約ｍｓの時間を要する。なお、静止画撮影指示が設定禁止期間以外で入力された場合、ＳＩＯ（５）通信がすぐに行われるため、最短で約３６ｍｓ、最長で４９ｍｓの時間を要する。

このように、第１の駆動切替方法では、画像が停止して見える現象が発生する一方、静止画撮影指示が入力されてから画像が切り替わるまでの切り替え時間は、約３６ｍｓから約５０ｍｓの間に収まる。また、上述したように、静止画撮影指示が入力されてから、静止画駆動の露光が開始されるまでに、最長で約１７ｍｓの時間を要する。

●第２の駆動切替方法
図１１は、第２の実施形態における撮像素子３０６の第２の駆動切替方法として、シームレス駆動切替方法による切り替え動作示すタイミング図である。また、静止画撮影モードからＬＶモードへの切り替えに第２の駆動切替方法を用いた場合を示している。

図１１においても、ＬＶモードにおける撮像素子３０６の駆動を低画質駆動、静止画撮影モードにおける撮像素子３０６の駆動を高画質駆動とする。また、ＬＶモードにおける撮像素子３０６のフレームレートを３０ｆｐｓ（３３ｍｓ）、動画撮影モードにおける撮像素子３０６のフレームレートを６０ｆｐｓ（１６ｍｓ）とする。また、ＬＶモードまたは静止画撮影モードにおける撮像素子３０６からの信号の読み出し時間は、２ｍｓとする。また、表示部３１１は、第２の実施形態では３０ｆｐｓで動作しているものとする。

ＬＶモードにおいて操作部３１５によって静止画撮影が指示されると、全体制御演算部３０９は、撮像素子３０６への駆動切替要求としてＳＩＯ（９）通信を行う。ＳＩＯ（９）通信では、次のＶＤ信号で読み出しが高画質駆動、露光が静止画駆動となるように設定を行う。また、高画質駆動と静止画駆動でＨＤの時間（水平期間）が異なる場合には、高画質駆動はＨＤ０信号を使用し、静止画駆動ではＨＤ１信号を使用して撮像素子３０６のタイミングを制御するように変更する。また、静止画駆動用のＶＤ信号を撮像素子３０６に送ると共に、リセット信号線１０４を介して静止画駆動用の露光時間を設定し、更に、高画質用のカラムＡＤＣブロック１１１のゲインの設定を行う。

ここで、ＶＤ信号の入力前１ｍｓの設定禁止期間におけるタイミング１で、静止画撮影指示が入力された場合、静止画撮影指示が入力されてから、静止画駆動の露光が開始されるまでに、１ｍｓの設定禁止期間と３３ｍｓの１ＶＤ期間と露光（３）の３３ｍｓの、約３４ｍｓの時間を要する。

一方、設定禁止期間直前のタイミング２で静止画撮影指示が入力された場合、静止画撮影指示が入力されてから、静止画駆動の露光が開始されるまでに、１ｍｓの設定禁止期間に相当する約１ｍｓの時間を要する。すなわち、静止画撮影指示が入力するタイミングによって、３３ｍｓのばらつきが生じる。

次に、１６ｍｓ後にＶＤ信号が発行されると、ＳＩＯ（１０）通信を行う。ＳＩＯ（１０）通信は、次のＶＤ信号で読み出しが静止画駆動、露光が高画質駆動となるように設定を行う。また、高画質駆動用のＶＤ信号を撮像素子３０６に送ると共に、リセット信号線１０４を介して高画質駆動用の露光時間を設定し、更に、静止画駆動用のカラムＡＤＣブロック１１１のゲインの設定を行う。

次に、１６ｍｓ後にＶＤ信号が発生すると、ＳＩＯ通信（１１）を行う。ＳＩＯ（１１）通信では、次のＶＤ信号で読み出しが高画質駆動、露光が高画質駆動となるように設定を行う。また、リセット信号線１０４を介して高画質駆動用の露光時間を設定すると共に、カラムＡＤＣブロック１１１に高画質駆動用のゲインを設定する。

●駆動切替制御
第２の実施形態においても、第１の実施形態において図７のフローチャートで示したように、切り替え前のフレームレートが遅い場合に、第２駆動切替方法ではなく、第１の駆動切替方法を用いて切り替えを行うことで、静止画撮影指示から静止画駆動に切り替えられるまでの時間のばらつきを抑える。ただし、第２の実施形態における例では、Ｓ７０１における判断において、例えば、６０ｆｐｓ以上のフレームレートが高フレームレートであるものと判断する。
なお、上述した変形例において図８のフローチャートで示したように切替方法を判断しても良い。その場合、閾値Ｔ２として、例えば、第１の駆動切替方法における最長時間である１７ｍｓに設定する。

上記の通り第２の実施形態によれば、ＬＶモードから静止画撮影モードへの駆動切替時の表示の滑らかさをできる限り保ちつつ、切り替え時間のばらつきを抑えることができる。

なお、本発明は上述した実施形態に限定されるものではなく、例えば、動画撮影モードから静止画撮影モードへの駆動切替時、静止画撮影モードから動画撮影モードへの駆動切替時等に適用することも可能である。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、撮像素子３０６の駆動切替時に、第１の駆動切替方法と第２の駆動切替方法のいずれにより切り替えを行うかを判定する別の方法について説明する。
なお、第３の実施形態における撮像装置の構成は、第１の実施形態において図１乃至図３を参照して説明したものと同様であるため、ここでは説明を省略する。

図１２は、第３の実施形態において、動画記録開始指示や静止画撮影指示等の撮像素子３０６の駆動切替を伴う指示が入力された場合に、第１の駆動切替方法と第２の駆動切替方法のいずれを用いるか判断する処理を示すフローチャートである。

ここでは、例えば、ＥＶＦを用いた表示を行う場合には、垂直方向を１/３に間引いた駆動で、ＬＣＤを用いた表示を行う場合には、垂直方向を１/５に間引いた読み出し駆動とする。このように、操作部３１５の操作によって、表示部３１１のＥＶＦとＬＣＤ間で表示を切り替える場合にも撮像素子３０６の駆動切替を行う。

駆動切替方法の判断処理が開始されると、Ｓ１１０１において、表示部３１１のＥＶＦとＬＣＤ間の表示切り替えに伴う撮像素子３０６の駆動切替であるかどうかを判断する。
ＥＶＦとＬＣＤ間の表示切り替えに伴う撮像素子３０６の駆動切替であると判断された場合には、Ｓ１１０２に進んで、第１の駆動切替方法による切り替えを実施する。Ｓ１１０１において、ＥＶＦとＬＣＤ間の表示切り替えに伴う撮像素子３０６の駆動切替では無いと判断された場合には、Ｓ１１０３へ進む。

Ｓ１１０３では、動画撮影モードから動画撮影モードへの撮像素子３０６の駆動切替であるかどうかを判断する。例えば、４Ｋ記録サイズの動画撮影モード（全画素の信号を読み出して４Ｋ記録サイズの動画を生成する撮影モード）からＦＨＤ記録サイズの動画撮影モード（垂直方向を１／２に間引いた画素の信号を読み出してＦＨＤ記録サイズの動画を生成する撮影モード）へ変更する場合である。
Ｓ１１０３において、動画撮影モードから動画撮影モードへの撮像素子３０６の駆動切替であると判断された場合には、Ｓ１１０８に進んで、第２の駆動切替方法による切り替えを実施する。Ｓ１１０３において、動画撮影モードから動画撮影モードへの撮像素子３０６の駆動切替ではないと判断された場合には、Ｓ１１０４へ進む。

Ｓ１１０４では、画像が表示されない撮影モードへの撮像素子３０６の駆動切替であるかどうかを判断する。画像が表示されない撮影モードとは、例えば、フリッカを検知するために垂直方向を１／３２に間引いた画素の信号を読み出す撮影モードである。
Ｓ１１０４において、画像が表示されない撮影モードへの撮像素子３０６の駆動切替であると判断された場合には、Ｓ１１０２に進んで、第１の駆動切替方法による切り替えを実施する。Ｓ１１０４において、画像が表示されない撮影モードへの撮像素子３０６の駆動切替ではないと判断された場合には、Ｓ１１０５へ進む。

Ｓ１１０５では、画角変化を伴う撮影モードへの撮像素子３０６の駆動切替であるかどうかを判断する。画角変化を伴う撮影モードとは、例えば、画像を拡大するように垂直方向をクロップして画像データを読み出す撮影モードである。
Ｓ１１０５において、画角変化を伴う撮影モードへの撮像素子３０６の駆動切替であると判断された場合には、Ｓ１１０２に進んで、第１の駆動切替方法による切り替えを実施する。Ｓ１１０５において、画角変化を伴う撮影モードへの駆動切替ではないと判断された場合には、Ｓ１１０６へ進む。

Ｓ１１０６では、被写体が明るい場合など被写体輝度の変化に応じた撮像素子３０６の駆動切替であるかどうかを判断する。Ｓ１１０６において、被写体が明るい場合の撮像素子３０６の駆動切替ではないと判断された場合には、Ｓ１１０２に進んで、第１の駆動切替方法による切り替えを実施する。Ｓ１１０６において、被写体が明るい場合の撮像素子３０６の駆動切替であると判断された場合には、Ｓ１１０７へ進む。

Ｓ１１０７では、駆動切替要求タイミングが次のＶＤ信号から予め決められた閾値Ｔ２以内かどうかを判断する。Ｓ１１０７において、駆動切替要求タイミングが次のＶＤ信号から閾値Ｔ２以内の撮像素子３０６の駆動切替であると判断された場合には、Ｓ１１０８に進んで、第２の駆動切替方法による切り替えを実施する。
Ｓ１１０７において、駆動切替要求タイミングが次のＶＤ信号から閾値Ｔ２以内の撮像素子３０６の駆動切替ではないと判断された場合には、Ｓ１１０２に進んで、第１の駆動切替方法による切り替えを実施する。

以上のように第１の駆動切替方法と第２の駆動切替方法とを切り替えて動作させることにより、駆動切替時の画像の表示をできる限り滑らかにすると共に、切り替え時間のばらつきを低減させることができる。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１１８：ＶＤ信号、１１９：ＨＤ０信号、１２０：ＨＤ２信号、１２１：ＳＩＯ通信、３０６：撮像素子、３０９：全体制御演算部、３１１：表示部、３１５：操作部

Claims (11)

1. 撮像素子と、
   前記撮像素子の駆動方法の切り替えを伴う指示を入力する入力手段と、
   前記指示の入力に伴って、予め決められた条件に基づいて、前記撮像素子の駆動方法を、第１の切替方法と第２の切替方法のいずれかにより切り替える制御手段を有し、
   前記第１の切替方法では、前記指示の入力に伴って前記撮像素子を待機状態にして駆動方法を切り替え、
   前記第２の切替方法では、予め決められたフレームレートで前記撮像素子を駆動しながら、前記指示が入力された後の次にフレームが切り替わるタイミングで前記撮像素子の駆動方法を切り替える
   ことを特徴とする電子機器。
2. 前記制御手段は、前記撮像素子の駆動方法を切り替える前のフレームレートが予め決められた第１の閾値よりも低い場合に前記第１の切替方法により切り替えを行い、前記第１の閾値以上である場合に、前記第２の切替方法により切り替えを行うことを特徴とする請求項１に記載の電子機器。
3. 前記制御手段は、前記撮像素子の駆動方法を切り替える前のフレームレートが予め決められた第１の閾値よりも低く、かつ、前記指示が入力されたタイミングが、前記次にフレームが切り替わるタイミングから予め決められた第２の閾値よりも前の場合に前記第１の切替方法により切り替えを行い、それ以外の場合に、前記第２の切替方法により切り替えを行うことを特徴とする請求項１に記載の電子機器。
4. 前記指示は、ライブビューを行っているときの動画記録の指示と、ライブビューを行っているときの静止画撮影の指示とを含むことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 複数の表示部を更に有し、
   前記制御手段は、前記指示が画像を表示する表示部を変更する指示である場合、前記駆動方法の切り替え時に、前記表示部に画像の表示を行わない設定の場合、前記指示が、画角の変化を伴う指示である場合、被写体の明るさが予め決められた明るさよりも明るいと判断された場合の少なくともいずれか１つの条件に該当する場合に、前記第１の切替方法により切り替えを行うことを特徴とする請求項１に記載の電子機器。
6. 前記条件のいずれにも該当しない場合に、前記第２の切替方法により切り替えを行うことを特徴とする請求項５に記載の電子機器。
7. 前記制御手段は、被写体の明るさが予め決められた明るさよりも明るく、かつ、前記指示が入力されたタイミングが、前記次にフレームが切り替わるタイミングから予め決められた第２の閾値以内の場合に前記第２の切替方法により切り替えを行い、被写体の明るさが予め決められた明るさよりも暗い場合、または、前記指示が入力されたタイミングが、前記次にフレームが切り替わるタイミングから前記第２の閾値よりも前の場合に、前記第１の切替方法により切り替えを行うことを特徴とする請求項１に記載の電子機器。
8. 前記制御手段は、動画記録中に、異なる解像度での動画記録に切り替える場合に、前記第２の切替方法により切り替えを行うことを特徴とする請求項１に記載の電子機器。
9. 撮像素子の駆動方法の切り替えを伴う指示の入力に応じて、予め決められた条件に基づいて、前記撮像素子の駆動方法を、第１の切替方法と第２の切替方法のいずれかにより切り替える切り替え工程を有し、
   前記第１の切替方法では、前記指示の入力に伴って前記撮像素子を待機状態にして駆動方法を切り替え、
   前記第２の切替方法では、予め決められたフレームレートで前記撮像素子を駆動しながら、前記指示が入力された後のフレームが切り替わるタイミングで前記撮像素子の駆動方法を切り替える
   ことを特徴とする電子機器の制御方法。
10. コンピュータに、撮像素子を除く請求項１乃至８のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images