JP2012070213A - 撮像装置 - Google Patents

Abstract

【課題】 ズーム中に絞りが駆動された場合、絞り駆動の様子を表示あるいは記録させることなく、滑らかにズームを行う。
【解決手段】 撮像手段によって得られた画像信号を格納するメモリと、自動で露出制御を行う露出制御手段と、露出制御手段によって絞りを駆動させる絞り制御手段と、メモリに格納された画像信号を変倍する電子ズーム手段と、ズーム中に絞りが駆動される間は、メモリに格納された絞り駆動前の画像信号を電子ズーム手段により変倍させて（Ｓ２１０〜Ｓ２１３）表示あるいは記録させる電子ズーム制御手段とを有する。
【選択図】 図３

Description

本発明は、ズーム中に絞りが駆動される間は、絞り駆動前の画像信号を電子的に変倍して表示あるいは記録する撮像装置に関する。

デジタルビデオカムコーダーやレンズを内蔵したデジタルカメラでは、光学変倍手段（以後、光学ズームと言う）とあわせて、電子変倍手段（以後、電子ズームと言う）を備えたものが一般的となっている。また、ズーム中は画角が変わるため、撮像される画像の明るさも変化する。刻一刻と変わる明るさに対して自動で露出制御が行なわれるものが一般的である。

電子ズーム中の露出制御に関し特開平９−８３８６１号公報（特許文献１）では、電子ズームをして高倍率になった場合、手振れによる画角変化に伴う自動露出制御が過敏に働くのを防ぐため、拡大率が高くなるにつれ制御の応答性を遅くする技術が公開されている。

一方、レンズ交換式のデジタルカメラ用のレンズは静止画用に設計されたものも多く、絞り制御が段階的にしか駆動できないものも多く存在する。このようなレンズで動画撮影を行った場合、絞りばねを駆動すると、絞りばねが動く様子が記録される。

これに関して、絞りばねが駆動している最中はその前のフレームを記録している撮像装置もある。このような撮像装置で撮影された動画像を再生すると、動いている被写体が一瞬止まったように見える。

特開平９−８３８６１

上記のように絞り制御が段階的にしか行えないレンズを装着したデジタルカメラにて電子ズームあるいは光学ズーム（以後、両者をあわせて単にズームという）を行い、その最中に絞りばねを駆動すると、絞りばね駆動中の様子が表示あるいは動画記録されてしまう。これを防ぐために絞りばねを駆動する前のフレームを挿入することになる。ズーム中は動いている被写体のみならず、画面全体が一瞬止まって見えることになるため、不連続性が目立って見えてしまうという問題があった。

（発明の目的）
本発明の目的は、ズーム中に絞りが駆動された場合、絞り駆動の様子を表示あるいは記録させることなく、滑らかにズームを行うことができる撮像装置を提供することである。

上記目的を達成するために、本発明の撮像装置は、被写体像を電気的な画像信号に変換する撮像手段と、前記撮像手段によって得られた画像信号を格納するメモリと、自動で露出制御を行う露出制御手段と、前記露出制御手段によって絞りを駆動させる絞り制御手段と、前記メモリに格納された画像信号を変倍する電子ズーム手段と、ズーム中に前記絞りが駆動される間は、前記メモリに格納された絞り駆動前の画像信号を前記電子ズーム手段により変倍させて表示あるいは記録させる電子ズーム制御手段とを有することを特徴とするものである。

本発明によれば、ズーム中に絞りが駆動された場合、絞り駆動の様子を表示あるいは記録させることなく、滑らかにズームを行うことができる。

本発明の実施例である撮像装置を示すブロック図である。 実施例のライブビュー動作を示すフローチャートである。 実施例のズーム中絞り駆動時のライブビュー動作を示すフローチャートである。 実施例の電子ズームボタンの一例を示す図である。 実施例のズームインとズームアウトの切り出しの違いを示す概念図である。 実施例の効果を示す図である。

本発明を実施するための形態は、以下の実施例に示す通りである。

撮像装置は被写体の像を電気的な画像信号に変換する撮像素子が含まれ、この撮像素子で得られた電気信号をＡ／Ｄ変換器で変換する。得られた画像データはいったんメモリに置かれ、ＶＲＡＭ（Ｖｉｄｅｏ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のサイズにあわせて変倍して撮像装置に内蔵されたＴＦＴなどに表示する。これを１秒間に２４回、約３０回乃至は約６０回行うことでいわゆるライブビューを実現する。

得られた画像が暗い場合は撮像素子の感度をあげたり、蓄積時間を延ばしたり、画像処理時にデジタルゲインをかけて明るくすることが可能である。またレンズの絞りが絞られている場合にはこれを開けることで明るくすることも可能である。

逆に得られた画像が明るい場合には、撮像素子の感度を落としたり、蓄積時間を短くしたり、画像処理時にデジタルゲインを１倍以下として暗くすることができる。また、レンズの絞りを閉じることでも暗く調整することが可能である。

撮像素子の感度変更や、画像処理でのデジタルゲインは瞬時に変更可能であるが、絞りの変更は機械的な駆動が必要であり、正しい絞りになるまでにはタイムラグが生じてしまう。

このタイムラグはレンズの種類あるいは絞りの駆動量などによって変わってくる。例えばライブビューのフレームレートが６０ｆｐｓの場合であって、絞り駆動に３０ｍｓｅｃかかる場合、最大で３フレームに絞り駆動中の様子が映ってしまうことになる。

ライブビュー時の撮像素子の駆動が、画素行間で露光期間がずれるローリングシャッターである場合は、その期間中画面の上部と下部で明るさが異なることになる。

このような画像を表示あるいは動画像として記録しないようにするため、絞り駆動中は絞り駆動を行う前の画像を表示あるいは記録する。この場合、動いている被写体は一瞬止まって見えてしまう。

一方、撮像装置に内蔵あるいは取り付けたレンズが１つの焦点距離しか撮影できない場合、当然ながら光学ズームが行えない。このような単焦点レンズであっても、また光学ズーム可能なレンズであってもその範囲を超えてズームを行いたいと言う要望にこたえて、信号処理によって拡大あるいは縮小する電子ズーム機能が内蔵された撮像装置も提供されている。

電子ズームあるいは光学ズームを行うと時間と共に画角が変わり、適正な露出も変化する。ズーム中、絞りばねを駆動すると上述のとおり絞りばね駆動前のフレームが数フレーム表示されることになる。ズーム中は画角の変化が止まり、その影響が画面全体にわたるため目立ってしまう。

これを解決するために本発明の実施例では、絞り駆動前のフレームの画像をメモリに格納し、絞り駆動中は撮像素子からではなくメモリに格納された画像を信号処理によって切り出しあるいは変倍し、表示あるいは動画記録する。

以下、本発明の好適な一実施例について、図面を参照して詳細に説明する。

図１は、本発明の一実施例である、画像処理機能を有する撮像装置の構成を示すブロック図である。本実施例においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルカメラを例に挙げて説明するが、本発明はレンズを内蔵したデジタルカメラについても適用できる。

図１に示すように、本実施例の撮像装置は、主にカメラ本体１００と、交換レンズタイプのレンズユニット３００とを備えて構成されている。

レンズユニット３００において、３１０は複数のレンズから成る撮像レンズ、３１２は絞り、３０６はレンズユニット３００をカメラ本体１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインターフェース、３２２はレンズユニット３００をカメラ本体１００と電気的に接続するコネクタである。

３４０は、露出制御部４８からの絞り駆動指示に基づいて、後述するカメラ本体１００のシャッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する絞り制御部である。３４２は撮像レンズ３１０のフォーカシングを制御するフォーカス制御部である。３４４は撮像レンズ３１０のズーミングを制御するズーム制御部である。カメラ本体１００に具備された操作部７０の操作によってズーム制御部３４４は不図示のモーターを駆動して光学ズームを行う。または、手動でズーミング操作を行った場合は、そのズーミング速度を検知する機能も含まれる。

３５０はレンズユニット３００全体を制御するレンズシステム制御部である。レンズシステム制御部３５０は、動作用の定数、変数、プログラムなどを記憶するメモリを備えている。更に、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。３５８は光学情報格納メモリであり、カメラ本体１００へ送る各種レンズ情報を記憶している。

次に、カメラ本体１００の構成について説明する。

１０６はカメラ本体１００とレンズユニット３００を機械的に結合するレンズマウント、１３０，１３２はミラーで、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダ１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。１２はフォーカルプレーン式のシャッター、１４はＣＣＤ、ＣＭＯＳセンサ等からなり、被写体像を電気的な画像信号に光電変換する撮像素子である。撮像素子１４の前方には、光学ローパスフィルタ等の光学素子１４ａが配置されている。

１６は、撮像素子１４から出力されるアナログ信号（出力信号）をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御部５０がシャッター制御部４０、焦点調節部４２を制御するための、コントラスト方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

１５はマイクロフォンであり、マイクロフォン１５から出力されるアナログ信号（出力信号）をデジタル信号に変換するため、Ａ／Ｄ変換器１６に入力する。２１は音声処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して、必要に応じて風の音や絞り３１２のノイズ音を軽減するノイズキャンセル処理など、所定の音声処理を行う。また、音声処理部２１は、得られた演算結果に基づいてゲインを自動でコントロールするＡＧＣも行う。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、音声処理部２１、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、音声処理部２１、メモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４と音声再生メモリ２５或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ方式のＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダ（ＥＶＦ）機能、つまりライブビュー機能を実現することができる。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。

２５は音声再生メモリ、２６はＤ／Ａ変換器、２９はスピーカー等から成る音声再生部であり、音声再生メモリ２５に書き込まれた再生用の音声データはＤ／Ａ変換器２６を介して音声再生部２９により出力される。

３０は撮影した静止画像あるいは動画像を格納するためのメモリであり、ＶＲＡＭを包含するものである。メモリ３０は所定枚数の静止画像あるいは所定量の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、動画撮影時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

３２は公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮伸長部である。圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。また、動画像データを所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する機能も有する。

４０はシャッター制御部であり、露出制御部４８からの蓄積時間指示に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。４２はＡＦ（オートフォーカス）処理を行うための焦点調節部である。撮像レンズ３１０に入射した光線を絞り３１２、マウント３０６，レンズマウント１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の合焦状態を測定する。

４６はＡＥ（自動露出）処理を行うための測光制御部である。撮像レンズ３１０に入射した光線を、絞り３１２、マウント３０６，レンズマウント１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の測光状態を測定する。

撮像素子１４に結像した画像を連続的に電気信号に変換し表示するライブビューでは、得られた画像のヒストグラム等から測光状態を測定する。この時、画面中心あるいはフォーカスエリアなどに重み付けをして測光状態を測定する。

露出制御部４８は測光制御部４６の測光状態から、最適なＩＳＯ感度、絞り値、シャッター速度を決定する。それに基づいてシャッター制御部４０にシャッター速度を指示し、Ｉ／Ｆ１２０を通して絞り制御部３４０に絞り値を指示する。また、撮像素子１４と画像処理部２０にＩＳＯ感度を指示し、最適な露出となるように制御する。

ライブビューではシャッター１２は常に開いており、露出制御部４８は蓄積時間を撮像素子１４に指示して電子シャッターで蓄積時間をコントロールする。

また、焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理部２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。さらに、測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理部２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。

５０はカメラ本体１００全体を制御するシステム制御部であり、周知のＣＰＵなどを内蔵する。５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、通知部５４はこれらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置される。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

５６は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられ、現在の設定値などを保持する。

６０，６２，６４，６５，７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード等の各機能撮影モードを切り替え設定することができる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モード、動画記録モードなどの各機能撮影モードを切り替え設定することもできる。

６２は撮影準備用のシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４は露光開始用のシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、ミラー１３０とシャッター１２を駆動して撮像素子１４に被写体の像を結像させる。続いて撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像データを読み出し、圧縮伸張部３２で圧縮を行い、記録媒体２００に書き込むか、あるいはＩ／Ｆ９０を介して接続されたコンピュータ等に送信する。

モードダイヤルスイッチ６０を動画撮影モードに切り替えた場合、上述した露光処理、現像処理を行い、メモリ３０に格納された画像をＤ／Ａ変換器２６でアナログ信号に変換して画像表示部２８に表示する。この動作を例えば１秒間に約３０回繰り返すことでいわゆるライブビュー機能を行う。

動画記録スイッチ６５が押されると、上述した画像処理に加え、マイクロフォン１５から読み出した音声信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に書き込む。先の画像データと音声データをメモリ３０から読み出し、圧縮伸張部３２で圧縮を行い、記録媒体２００に書き込むか、あるいはＩ／Ｆ９０を介して外部に接続されたコンピュータ等に送信する。

６６は電子ズーム制御部である。操作部７０によって電子ズーム操作が行われているかを判別し、現在の変倍率、ライブビューのフレームレートなどから撮像素子１４の読み出し範囲や画像処理部２０で行う画素補間処理のリサイズ率の決定などを行う。７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、ズーム操作ボタンなども含む。また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ライブビューの開始指示／終了指示を設定するスイッチがある。

８０は電源制御部で、電池検出回路、電圧検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２，８４はコネクタ、８６は一次電池、二次電池、ＡＣアダプター等からなる電源部である。

９０はメモリカードやハードディスク等の記録媒体やパーソナルコンピュータ（以下ＰＣ）とのインターフェース、９２はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。９８はコネクタ９２に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知部である。

１０４は光学ファインダであり、撮像レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導き、光学像として結像させて表示することができる。これにより、画像表示部２８による電子ビューファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

１１２は、通信Ｉ／Ｆであり、大型で高解像度のテレビなどと接続して通信することが出来るインターフェースである。カメラ内の画像データを通信することでテレビに表示することが可能である。また、画像データのほかにＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）によりテレビとの間でコマンドの送受信をすることも可能である。ＣＥＣによる送受信されるコマンドとしては、テレビの電源状態、再生開始、再生終了、リモコン十字キー操作などがある。

１２０はレンズマウント１０６内でカメラ本体１００をレンズユニット３００と接続するためのインターフェースである。

１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。

２００はメモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインターフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。

以下、ライブビューのフローについて図２を用いて説明する。モードダイヤルスイッチ６０を変更して動画モードにする、あるいは操作部７０の操作によってライブビューの開始が指示されると、シャッター１２、ミラー１３０を駆動し、撮像素子１４に被写体の像が結像するようにする（Ｓ１０２）。撮像素子１４、Ａ／Ｄ変換器１６などがパワーセーブモードになっている場合などは電源を供給し、初期設定などを行う（Ｓ１０３）。

撮像素子１４の露光を開始し（Ｓ１０５）、撮像素子１４から得られた信号をＡ／Ｄ変換器１６でデジタル信号へと変換する（Ｓ１０６）。デジタルズームの変倍率によって必要な領域を切り出し（Ｓ１０７）、得られた画像信号を画像処理部２０で現像する（Ｓ１０８）。

現像した画像はデジタルズームの変倍率、出力するデバイス（例えばＬＣＤや外部接続されたモニタなど）に適したＶＲＡＭサイズにリサイズを行い（Ｓ１０９）、メモリ３０内のＶＲＡＭに格納する（Ｓ１１０）。露出制御部４８で得られた画像信号から適正な露光量を計算し（Ｓ１１１）、シャッター制御部４０を介して撮像素子１４に対して蓄積時間とセンサーの感度を設定する（Ｓ１１２）。また、画像処理部２０に対してデジタルゲインを設定する（Ｓ１１３）。

撮像素子１４、画像処理部２０でのゲイン変更のほかに絞りを変更して露出を制御する必要がある場合は、レンズの種類、絞りばねの駆動量、レンズの種別などによって絞りばね駆動時間を算出する（Ｓ１１６）。絞りばねの駆動時間に関するパラメーターはここにあげたものに限定されるものではなく、レンズなどの設計に応じて適宜選択する必要がある。続いて、シャッター制御部４８により決定された絞りに絞りばねを駆動する（Ｓ１１７）。そして得られた画像を表示する（Ｓ１１９）。

露光量算出（Ｓ１１１）で絞りばねの駆動が必要ないと判定（Ｓ１１５）された場合は、そのままステップＳ１１０でＶＲＡＭに格納された画像データを表示する（Ｓ１１９）。

ステップＳ１２０はライブビューの終了指示があったか否かを判定することを含む。ライブビューの終了指示があればステップＳ１２１に進み、なければステップＳ１０４に戻って終了指示があるまでステップＳ１０４〜Ｓ１２０を繰り返す。ステップＳ１２１ではシャッター１２を閉じ、ミラー１３０を下ろして、撮像素子１４、Ａ／Ｄ変換器１６などをパワーセーブモードにする（Ｓ１２２）。

ライブビューのフレームレートが例えば５９．９４ｆｐｓの場合、１フレームあたりの時間は約１６．６８ｍｓｅｃである。したがって絞りばねの駆動時間が３０ｍｓｅｃの場合、３フレーム分の画像が絞りばね駆動中の画像となりうる。撮像素子の駆動が、画素行間で露光期間がずれるローリングシャッタである場合は、その期間中画面の上部と下部で明るさが異なることになる。

ステップＳ１１４で絞り駆動中であると判定した場合は、ＶＲＡＭに格納された絞り駆動前の画像データを表示する（Ｓ１１８）。

なお、本実施例ではＶＲＡＭを複数枚用意し、絞り駆動開始前の画像を保持しているが、例えば絞り駆動中はステップＳ１１０のＶＲＡＭ格納を行わないことで実施も可能である。

また、ステップＳ１１４の絞り駆動中かどうかの判定は、ステップＳ１１７の絞り駆動処理からステップＳ１１６で算出した絞り駆動時間の時間が経過したか否かを判断することが簡便である。また、所定のフレームが経過したかを判断する方法も簡便な方法であるが、これらに限定されるものではない。

続いて電子ズーム中の場合について図３を用いて説明する。

図２の場合と同様、モードダイヤルスイッチ６０を変更して動画モードにする、あるいは操作部７０の操作によってライブビューの開始が指示されると、シャッター１２、ミラー１３０を駆動し、撮像素子１４に被写体の像が結像するようにする（Ｓ２０２）。撮像素子１４、Ａ／Ｄ変換器１６などがパワーセーブモードになっている場合などは電源を供給し、初期設定などを行う（Ｓ２０３）。

電子ズームを行っていない場合は図２で説明したように露光（Ｓ２３０）、画像信号の読み出し（Ｓ２３１）を行う。続いて現在の変倍率に応じて切り出し領域を算出する（Ｓ２３２）。例えば変倍率が１倍の場合は撮像素子１４全面の画像を必要とするので切り出し領域は全面となる。変倍率が１倍よりも大きい場合は必要な領域を切り出せばよい。例えば変倍率が２倍の場合は水平方向１／２、垂直方向１／２を切り出す。画像の切り出しサイズと出力するデバイス（例えばＬＣＤや外部接続されたモニタなど）に適したＶＲＡＭサイズにリサイズを行うが、そのリサイズ率を計算する（Ｓ２３３）。

ステップＳ２３４では撮像素子１４から出力され、Ａ／Ｄ変換された画像信号を実際に切り出し、ステップＳ２４０で現像を行う。ステップＳ２３３で計算したリサイズ率にしたがってリサイズを行い（Ｓ２４１）、ＶＲＡＭに格納する（Ｓ２４２）。

図２で説明したとおり、露出制御部４８で得られた画像信号から適正な露光量を計算し（Ｓ２４３）、シャッター制御部４０を介して撮像素子１４に対して蓄積時間とセンサーの感度を設定する（Ｓ２４４）。また、画像処理部２０に対してデジタルゲインを設定する（Ｓ２４５）。そしてステップＳ２４２でＶＲＡＭに格納した画像データを表示する（Ｓ２４６）。

なお、電子ズームを行っていない場合に被写体が変わり、最適な露光量が変わった場合など、絞り駆動を行う必要がある場合は図２で説明したとおりであるので、割愛する。

図４に本実施例における電子ズームの指示ボタンの例を示す。例えば一眼レフ方式のデジタルカメラの背面の右上部にズームイン（拡大）を行うためのＴｅｌｅボタン、ズームアウト（縮小）を行うためのＷｉｄｅボタンを設置する。

Ｔｅｌｅボタンが押された場合（Ｓ２０５）、この段階では絞りばねが駆動しておらず、ステップＳ２３０の露光処理を行う。なお、電子ズームを行っていない場合に被写体が変わったなどの理由で絞りばねが駆動している最中に電子ズームのボタンが押された場合は無視することとする（フローチャートには不図示）。

続いて上述のように画像信号を読み出し（Ｓ２３１）、切り出し領域とりサイズ率を算出する（Ｓ２３２、Ｓ２３３）。

ライブビューのフレームレートがｎｆｐｓ、ｔ秒後にＺｏ倍にする速度で拡大する場合、１フレームあたりの拡大率Ｚは以下の計算式になる。
Ｚ＝^ｎｔ√（Ｚ_０） ・・・（１）
（１）式にしたがって計算された変倍率（変倍速度）をもとに、切り出し領域およびリサイズ率を計算する。

その後の処理については上述したとおりである。

続いて電子ズーム中の露光量算出（Ｓ２４３）によって絞りばねを駆動する場合について説明する。絞りばねを駆動する場合は、レンズの種類、絞りばねの駆動量、レンズの個体差などを考慮して絞りばね駆動時間を算出する（Ｓ２２０）。なお、この時間は固定値にしておいてもよい。例えば開放から最大絞りまであるいはその逆の時間がレンズの製品仕様などで決まっている場合はそれを固定値として利用する。

計算された絞りばね駆動時間をフレームレートで除算し、絞り駆動中に何フレームが影響を受けるかを計算する。そのフレーム数から切り出し領域を算出する（Ｓ２２１）。

例えば、フレームレートが３０ｆｐｓ、等倍から４倍まで拡大するのに必要な時間が２秒である場合、ｎ＝３０、Ｚｏ＝４、ｔ＝２を（１）式に代入すると、１フレームあたり約１．０２３倍していけばよいことになる。逆に４倍から等倍にするときはその逆数すなわち、０．９７７２倍にしていけばよい。

電子ズームがズームイン（拡大）しているときは、切り出し領域は現在のフレームの切り出し領域でよく、その画像を中間画像（中間画像信号）として、メモリ３０に含まれる、ＶＲＡＭとは異なるワークメモリに保管する（Ｓ２２４）。そして、実際に絞りばねを駆動する（Ｓ２２５）。そして、上述したとおり、ステップＳ２０４からステップＳ２４７の処理を繰り返す。

次のフレームは絞りばねが駆動中であるので、撮像素子１４に結像した画像は絞りばね駆動中の画像である。したがってこの画像は使用せず、ステップＳ２２４で保管した中間画像を呼び出し（Ｓ２１０）、これをリサイズする。リサイズ率は中間画像を保存したフレームから何フレームかから計算する。中間画像からａフレーム後のリサイズ率Ｚａは以下の（２）式で表される。
Ｚａ＝Ｚ^ａ ・・・（２）
先の例では、Ｚ＝１．０２３だったので、ａ＝３フレームの時は、１．０７１倍になる。このようにリサイズ率を計算する（Ｓ２１１）。切り出し領域算出（Ｓ２１２）、必要な領域の切り出し（Ｓ２１３）は主にズームアウト（縮小）時に行うため、ズームイン（拡大中）の切り出し領域は絞りばねを駆動する直前のフレームと同等の領域とする
。

続いて中間画像を現像して（Ｓ２４０）、リサイズする（Ｓ２４２）。後は上述したとおりであり、これを絞りばね駆動中は繰り返す。このときの概念図を図５（ａ）に示した。

また、図５（ｂ）で表したとおり、中間画像をリサイズし、それをまた中間画像として用いてもよい。この場合、次のフレームのリサイズ率を求めるだけでよいので、（２）式で示したａフレーム後のリサイズ率を計算する必要はなく、処理を簡便化することができる。ただし、絞りばね駆動中にズームイン（拡大）から、ズームアウト（縮小）に操作された場合は対処できないと言う欠点もある。

また、ＶＲＡＭに中間画像を格納することでメモリの節約にもなる。しかしこの場合、ＶＲＡＭサイズが変わるようなイベントが発生した場合には対処できないと言う問題もある。例えば、通信Ｉ／Ｆ１１２に高解像度のモニタが接続されており、これに表示をしているときに電子ズームを行い、絞り駆動処理が入ったとする。このときに通信Ｉ／Ｆ１１２からケーブルが抜かれてカメラに内蔵されたＬＣＤに表示が切り替わったとする。高解像度モニタ接続時はフルハイビジョン、すなわち１９２０ピクセル×１０８０ピクセルの表示が可能なＶＲＡＭサイズであったが、内蔵されたＬＣＤ用のＶＲＡＭは例えば７２０ピクセル×４８０ピクセルのようにフルハイビジョン用のＶＲＡＭよりも小さく、アスペクト比も異なる。このような場合、ＶＲＡＭをリサイズする方式であると対処できないため、電子ズーム中の絞りばね駆動時は、ＶＲＡＭが変更されるようなイベントは絞りばね駆動後まで処理しないようにする（Ｓ２２６）ことも好ましい形態である。なお、ステップＳ２２６でイベントを禁止した場合、絞り駆動が終了後にイベントの許可を行う（不図示）。

このようにＶＲＡＭサイズが変わるようなイベントとしては、上述した画像の表示装置の変更のほかに、動画記録の開始あるいは終了、画像表示サイズや動画記録解像度の変更などがあげられるが、これに限定されるものではない。

次にズームアウト（縮小）の場合を説明する。ズームアウトを行っている場合に絞り駆動が行われた場合は、ズームインの場合と切り出し領域の算出方法が異なる。ズームイン中の切り出し領域は現在のフレームと同等でも良いが、ズームアウト中の場合は絞りばね駆動時間によって切り出し領域のサイズを今のフレームよりも大きく、すなわち広い画角の画像を用意しなければならない。

例えば、絞りばね駆動が３フレームに及ぶ場合、３フレーム後は先の縮小率（１フレームあたり０．９７７２倍）の場合、０．９７７２の３乗＝０．９３３１倍に縮小されていることになる。したがって現在のフレームの領域よりも１÷０．９３３１≒１．０７２倍の領域、つまり絞り駆動終了時の切り出し領域を切り出しておく必要がある。ステップＳ２２１の切り出し領域算出はこのように行う。

ここで切り出す画像サイズは絞りばね駆動時間後の縮小率にそって計算したものであるため、今表示するべきサイズよりも小さい（画角が広い）ことになる。したがってそれを考慮してリサイズ率を計算する必要がある（Ｓ２２２）。この場合、１．０７２倍に拡大すれば現在のフレームと同じ大きさとなる。

続いてズームインのときと同じように画像を切り出し（Ｓ２２３）、中間画像として保管し（Ｓ２２４）、絞りばねを駆動する（Ｓ２２５）。さらに現像（Ｓ２４０）からＶＲＡＭの表示（Ｓ２４６）までを行う。

次のフレームは（Ｓ２２４）でメモリに格納した中間画像を読み出し（Ｓ２１０）、リサイズ率を計算する（Ｓ２１１）。リサイズ率の計算は例えば（３）式で表される。
Ｚａ＝（１／Ｚ）^{（ｘ−ａ）} ・・・（３）
ここでｘは絞り駆動中のフレーム数である。

絞り駆動に３フレーム分必要（ｘ＝３）となり、１フレームあたりの縮小率Ｚが０．９７７２倍の場合で、２フレーム目（ａ＝２）の拡大率は、（３）式から約１．０２３倍になる。ちなみに中間画像はすでに０．９３３１倍に縮小されているため、これを乗算するとトータルで０．９５４９倍となる（絞り駆動時を１倍とした場合）。

この時、中間画像はステップＳ２２３で必要な領域よりも画角が大きめに切り取られているため、絞り駆動後からのフレーム数に応じて必要な領域を再計算し（Ｓ２１２）、切り出す（Ｓ２１３）。そして現像（Ｓ２４０）からＶＲＡＭに格納された画像の表示（Ｓ２４６）を行い、絞り駆動期間繰り返すことで絞り駆動前の画像をスムーズに拡大、あるいは縮小して表示することが可能となる。ズームアウト時の概念図を図５（ｃ）に示した。

ズーム方法が、電子ズームではなく光学ズームの場合について説明する。操作部７０のボタンまたはレバーによって光学的にズーム制御部（３４４）を介して光ズームを行う場合、レンズの超音波モーター（不図示）あるいはステッピングモーター（不図示）の駆動量から単位時間あたりの拡大率、つまり光ズームの変倍速度を求めることが可能である。したがって、電子ズームと同様に（１）式から１フレームあたりの拡大率Ｚを求めることができ、光ズーム中の動作を上述した電子ズーム中の動作とまったく同じ方法で実施することが可能である。

一方、レンズ３００に具備された不図示のズームレンズを手動で回転させてズーム操作を行うレンズの場合、ズームリングの回転速度をズーム制御部３４４で検知する。この回転速度からズーム速度を算出する。そして電子ズームと同様に（１）式から１フレームあたりの拡大率Ｚを求め、上述した電子ズームとまったく同じ方法で実施することが可能である。

動画記録スイッチ６５より動画記録開始の指示があった場合は、ＶＲＡＭではなく、記録用の画像を取得し、音声データとあわせて圧縮して動画像とする。このときの画像データは、ＶＲＡＭとはサイズが異なることが多いため、ＶＲＡＭとは別の、メモリ３０に含まれるワークメモリに格納する。しかしながらこれまで説明してきたとおりの方法で動画像記録用画像も同じように処理することが可能である。

本発明の効果を図６に示した。図６（ａ）は、絞り駆動を行わない場合である。ズームイン（拡大）操作を行うと、時間（フレーム）と共に被写体が拡大されていく。絞りばねを駆動した場合は絞りばねが駆動している期間は絞りばね駆動前のフレームを表示あるいは動画記録する従来例を図６（ｂ）に示した。絞り駆動中は絞りばね駆動中の絵が表示あるいは動画記録されないように、絞りばね駆動前の画像（３）を連続して表示あるいは動画記録する。絞りばね駆動が終わると画像（３）から画像（６）になるため拡大率が一気に上がって不連続性が目立ってしまう。次に本発明の実施した結果を図６（ｃ）に示した。本発明では、絞りばね駆動中は、絞りばね駆動前の画像（３）を信号処理で拡大した（３’）および（３”）を表示あるいは動画記録する。絞りばね駆動後は画像（６）が表示あるいは動画記録され、拡大率は絞りばねを駆動しない図６（ａ）と同じになる。したがって、ズーム中に絞り駆動を行った場合でも、画面全体が一瞬停まって見えることを防止し、スムーズに表示、動画記録が可能となる。

１４ 撮像素子
２０ 画像処理部
２８ 画像表示部
３０ メモリ
４８ 露出制御部
５０ システム制御部
６６ 電子ズーム制御部
３１２ 絞り

Claims (5)

1. 被写体像を電気的な画像信号に変換する撮像手段と、
   前記撮像手段によって得られた画像信号を格納するメモリと、
   自動で露出制御を行う露出制御手段と、
   前記露出制御手段によって絞りを駆動させる絞り制御手段と、
   前記メモリに格納された画像信号を変倍する電子ズーム手段と、
   ズーム中に前記絞りが駆動される間は、前記メモリに格納された絞り駆動前の画像信号を前記電子ズーム手段により変倍させて表示あるいは記録させる電子ズーム制御手段とを有することを特徴とする撮像装置。
2. 前記絞りが駆動される絞り駆動時間を算出する算出手段を有し、
   前記電子ズーム制御手段は、前記算出手段により算出された前記絞り駆動時間によって、前記メモリに格納される画像信号のリサイズ率を決定することを特徴とする請求項１に記載の撮像装置。
3. ズーム中であって絞り駆動中である場合は、前記メモリのサイズが変更されるイベントを禁止することを特徴とする請求項１または２に記載の撮像装置。
4. 前記電子ズーム制御手段は、ズームがズームインである場合には、絞り駆動開始前の切り出し領域の中間画像信号を基として前記電子ズーム手段により変倍を行わせ、ズームがズームアウトである場合には、絞り駆動終了時の切り出し領域を算出し、該切り出し領域の中間画像信号を基として前記電子ズーム手段により変倍を行わせることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 光学ズームの変倍速度を検出する検出手段を有し、
   前記電子ズーム制御手段は、前記検出手段により検出された光ズームの変倍速度に応じて、光ズーム中に前記絞りが駆動される間は、前記メモリに格納された絞り駆動前の画像信号を前記電子ズーム手段により変倍させることを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。

Images