JP2011119931A - 撮像装置、撮像方法および撮像プログラム - Google Patents

Abstract

【課題】ディスプレイに表示される画像と実際に記録される画像とのタイムラグを減少し、ユーザーにとって真に撮影したい瞬間を撮り損ねにくくする。
【解決手段】表示制御部３０は、撮像素子１０の第１のデータ出力範囲の画素のみから信号電荷を１００ｆｐｓで取得し、取得した信号電荷に基づいてサブディスプレイ２０ｂに拡大画像を表示させることができる。また、表示制御部３０は、撮像素子の全領域の画素から信号電荷を６０ｆｐｓで取得し、取得した信号電荷に基づいてサブディスプレイ２０ｂに非拡大画像を表示させることもできる。そして、表示制御部３０は、操作部５０に対して所定の操作が行われると、拡大画像の表示と非拡大画像の表示とを切換えて表示することができる。
【選択図】図２

Description

本発明は、撮像装置、撮像方法および撮像プログラムに関し、特に、撮像素子が被写体から受光した光に基づいて画像データを生成する撮像動作を行う撮像装置、撮像方法および撮像プログラムに関する。

近年、デジタルスチルカメラ（以下、ＤＳＣと略す）が普及しており、従来はフィルム式カメラを利用していた分野で利用されることも多くなってきた。しかしながら、ＤＳＣにはフィルム式カメラに親しんできたプロ写真家やハイアマチュアと呼ばれるユーザーにとって満足できない点も多く、ＤＳＣが完全にフィルム式カメラを代替するには至っていない。そこで、このようなユーザーの要望に応えるために、様々な工夫が行われている。その１つとして、スルー画を表示するディスプレイの解像度が低いために、ディスプレイを見てもピントの合焦度合を十分に確認できないという問題を解決するために、スルー画の一部を拡大表示する機能を設けることについて、特許文献１，２に開示されている。

特開２００６−２２２９７９号公報 特開２００５−３２８２２５号公報

本発明の発明者は、ＤＳＣの他の課題として、撮像素子で撮影してからスルー画を表示するまでの各種処理における遅延時間に着目している。
図７は、従来のＤＳＣのシャッターを切った前後において、実際に記録される画像とプレビュー画像とのタイムラグについての説明図である。同図に示すように、撮像装置においては、撮像素子の「Ｒｅａｄ遅延」とＶＲＡＭ（Video Random Access Memory）への「書込み遅延」とディスプレイの「表示遅延」とがある。「Ｒｅａｄ遅延」は、撮像素子の露光が完了してから撮像素子の信号電荷を出力完了するまでに必要な時間である。「書込み遅延」は、ディスプレイ１画面あたりの画像データをＶＲＡＭに書込むのに必要な時間である。「表示遅延」は、ディスプレイに１画面分の画像を表示するのに要する時間である。

例えば、フレームレートが６０ｆｐｓの撮像素子では、約１６ｍｓｅｃの「Ｒｅａｄ遅延」が発生する。また、ＮＴＳＣ方式で画像表示する場合は、フレームレートが約３０ｆｐｓであるため１画面あたり約３２ｍｓｅｃの「表示遅延」が発生する。また、ＶＲＡＭでもその書込み速度に応じた「書込み遅延」が発生するが、現在のところ「Ｒｅａｄ遅延」や「表示遅延」に比べると微小である。従って、ユーザーがプレビュー画面を見てシャッターを押したときには、すでに少なくとも約４８ｍｓｅｃの遅延が発生していることになる。これに加えて、ＤＳＣではシャッターボタンが押されてから撮影準備処理を行うため「撮像処理遅延」も発生することになる。このような事情から、従来のＤＳＣでは、ユーザー所望の瞬間で撮影することが難しく、撮り損ねがおこる可能性があった。

本発明は上記課題に鑑みてなされたものであり、ディスプレイに表示される画像と記録される画像とのタイムラグを減少させ、よりユーザー所望の瞬間に近い画像を撮影できるようにして撮り損ねが発生しにくい撮像装置、撮像方法および撮像プログラムの提供を目的とする。

上記課題を解決するために、本発明では、撮像素子が被写体から受光した光を光電変換した信号電荷に基づいて画像データを生成する撮像動作を行う撮像装置に、画像を表示する表示部と、撮像素子の一部である第１領域の画素のみから信号電荷を取得し、取得した信号電荷に基づいて上記表示部に第１スルー画を表示させる第１表示制御部と、上記第１領域と上記第１領域を含まない第２領域とに含まれる画素から信号電荷を取得し、取得した信号電荷に基づいて上記表示部に上記第１のスルー画よりも低いフレームレートで第２スルー画を表示させる第２表示制御部と、上記第１表示制御部による動作と上記第２表示制御部による動作とを切換える切換部と、を備えさせている。ここで、上記第１領域や上記第２領域は、連続的に形成された領域である。ただし、上記第１表示制御部や上記第２表示制御部は、対象領域から信号電荷を取得するにあたって、間引いた画素から信号電荷を取得してもよい。また、画素を間引く際は、信号電荷を取得する対象領域から満遍なく画素を選択することが好ましい。

上記構成において、上記第１表示制御部と上記第２表示制御部は、上記撮像素子において光電変換によって生成された信号電荷を取得する際に、特定の領域で生成された信号電荷を取得対象とする。従って、信号電荷の取得処理においても、取得された信号電荷に基づいて上記表示部に上記第１スルー画や第２スルー画を表示するための各種処理においても、上記特定の領域以外の領域において生成された信号電荷に基づく処理を行わずに済む。よって、上記表示部に表示される上記第１のスルー画と記録される画像とのタイムラグが減少する。

また、上記第１のスルー画と第２のスルー画とでフレームレートに格差をつけているため、ユーザーにとって撮像時に重要度の高い領域については高フレームレートで信号電荷を取得することにより該信号電荷に基づいて行われる表示も高フレームレートとし、重要度が低い領域については低フレームレートで信号電荷を取得することにより該信号電荷に基づいて行われる表示も高フレームレートとする。よって、重要度の高い領域の画像について、上記表示部に表示される上記第１のスルー画と記録される画像とのタイムラグが減少する。

本発明の選択的な一態様として、上記第２表示制御部は、上記第１のスルー画を上記第２のスルー画よりも高い倍率で表示する構成としてもよい。上述のように、上記第１のスルー画は上記第２のスルー画よりも高フレームレートで表示している。このように高頻度で表示すべき画像は、低頻度で表示すべき画像よりも重要度が高く、細部が鮮明に確認できる方がよい。従って、上記第１のスルー画を上記第２のスルー画よりも高い倍率で表示すると、ユーザーにとって上記第１領域の細部確認が容易になり、撮り損ねが発生しにくくなる。

本発明の選択的な一態様として、上記第１表示制御部は、上記第２表示制御部の信号電荷の取得開始位置から離れた位置から上記信号電荷の取得を開始する構成としてもよい。上記第１表示制御部は、上記第１領域の信号電荷の取得が完了しないと上記第１のスルー画の表示処理を開始できない。また、撮像素子における信号電荷の読取走査は、走査対象の画素が多いほど走査時間が長くなるため、読取走査が上記撮像素子の全画素について実行されるとそれだけ読取時間が長くなる。上記読取走査の順番において第１領域よりも先に読み込まれる部位があれば、その分だけ第１領域の走査開始および走査完了は遅くなる。そこで、上記第１表示制御部は、上記撮像素子を制御して上記読取走査の開始位置を、上記第２表示制御部の信号電荷の取得開始位置から離れた位置とする。この離れた位置は、上記第２表示制御部の信号電荷の取得開始位置と上記第１領域の読取先頭位置よりも手前との間のいずれかの位置とする。このようにすると、上記第１領域の信号電荷がより速く取得され、上記表示部に表示される上記第１のスルー画と記録される画像とのタイムラグが減少する。

本発明の選択的な一態様として、上記第１表示制御部は、上記第１領域の電荷を上記撮像素子から取得完了すると、上記第１のスルー画を上記表示部に表示させるための表示動作を開始する構成としてもよい。すなわち、上記第１領域の信号電荷の取得が完了した後に上記撮像素子の他の領域に対する読取走査が継続されていても、この読取走査の完了を待つことなく上記表示部に上記第１のスルー画を表示させるための表示動作を開始する。よって、上記表示部に表示される上記第１のスルー画と記録される画像とのタイムラグが減少する。

本発明の選択的な一態様として、上記第１表示制御部は、上記第１領域の画素のみから取得された信号電荷に基づいて上記表示部の一部に上記第１のスルー画像を表示するとともに、上記第１領域と上記第１領域を含まない第２領域とに含まれる画素から取得した信号電荷に基づいて上記第１のスルー画よりも低いフレームレートで第３のスルー画を上記表示部の一部を除く他の部分に表示しており、上記表示部において上記第１のスルー画像は上記第３のスルー画像よりも高い頻度で更新される構成としてもよい。よって、上記表示部に表示される上記第１のスルー画と記録される画像とのタイムラグを減少しつつ、大２領域の画像についても概略を把握できるようになる。

上述した撮像装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、本発明は上記撮像装置を備える撮像システム、上述した装置の構成に対応した工程を有する撮像方法、上述した装置の構成に対応した機能をコンピューターに実現させる撮像プログラム、該プログラムを記録したコンピューター読み取り可能な記録媒体、等としても実現可能である。これら撮像システム、撮像方法、撮像プログラム、該プログラムを記録した媒体、の発明も、上述した作用、効果を奏する。むろん、請求項２〜４に記載した構成も、前記システムや前記方法や前記プログラムや前記記録媒体に適用可能である。

本実施形態の構成を示すブロック図である。 第１実施形態にかかるデータの流れを示す説明図である。 撮像とプレビューとの間のタイムラグについての説明図である。 第２実施形態にかかるデータの流れを示す説明図である。 第３実施形態にかかるデータの流れを示す説明図である。 第４実施形態にかかるデータの流れを示す説明図である。 従来のＤＳＣにおける撮像とプレビュー画像との間のタイムラグについての説明図である。

以下、下記の順序に従って本発明の実施形態を説明する。
（１）本実施形態の構成：
（２）拡大表示の第１実施形態：
（３）拡大表示の第２実施形態：
（４）拡大表示の第３実施形態：
（５）拡大表示の第４実施形態：
（６）まとめ：

（１）本実施形態の構成：
本実施形態では、撮像素子の撮像領域の一部である拡大表示領域から得られる画像情報に基づいて、拡大表示領域の画像を拡大した拡大画像を表示部に表示する。このとき表示される拡大画像の元となる画像データは、撮像素子の全撮像領域から取得して作成された画像データから一部を切り出して作成するのではなく、撮像素子を制御することにより上記拡大画像の表示に必要な画像情報を優先的に出力させる。そのために、本実施形態では、以下の構成を備えている。

図１は、本実施形態の構成を示すブロック図である。同図に示すように本実施形態にかかる撮像装置１００はデジタルスチルカメラで構成されており、撮像素子１０と表示部２０と表示制御部３０と記憶部４０と操作部５０と圧縮部６０とを備えている。撮像装置１００は、撮像素子が被写体から受光した光に基づいて画像データを生成し、操作部５０に対して行われる操作に応じて、該画像データに基づいて上記表示部に画像を表示させたり、該画像データを上記記憶部４０に記憶させたりする。

撮像素子１０は、受光面の受光量に応じた画像を表す電気信号を出力するものであり、例えば、ＣＣＤやＣＭＯＳで構成することができる。受光面には、複数の光電変換素子が離散的に配置されており、各光電変換素子の電荷が画素を構成する。受光面と被写体の間には、レンズ群や絞り等によって構成された不図示の光学系が配置されている。レンズ群や絞りは、不図示の駆動機構によってレンズ位置や絞り量を調整することが可能であり、表示制御部３０は駆動機構を制御することによって撮像素子１０の受光面に投射される光学像の明るさを調整したり、光学像のピントを調整して結像させたりすることができる。

上記撮像素子１０の一例として、単板式の撮像素子であるインターライン型のＣＣＤイメージセンサーの構成について簡単に説明する。単板式の撮像素子ででは、受光面にカラー画像情報を作成するための色フィルタが設けてある。色フィルタには、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の原色フィルタや、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー），Ｇ（グリーン）の補色フィルタがあり、本実施形態では、原色フィルタがベイヤー配列で設けられている場合を例にとって説明することにする。なお、色フィルタや撮像素子を構成する光電変換素子の配置は、格子状やハニカム状など様々な配置を採用可能である。

インターライン型のＣＣＤイメージセンサーは、複数のフォトダイオードを１列に並べた感光部と複数のＣＣＤを１列に並べた垂直転送ＣＣＤとが１列ごとに交互に配置されており、各垂直転送ＣＣＤの一方の端部に沿って水平転送ＣＣＤが配置されている。水平転送ＣＣＤは、各垂直転送ＣＣＤの端部と接続されている。また、各画素のフォトダイオードと画素に対応する垂直転送ＣＣＤの各素子との間は、アナログスイッチとしてはたらくトランスファーゲートで接続されている。また、水平転送ＣＣＤの端部には、信号電荷を電圧信号に変換する出力回路が接続されている。
これらの複数の垂直転送ＣＣＤやトランスファーゲートは、データを出力させる行やデータを出力させない行を駆動信号により指定可能であり、垂直方向の映像出力範囲を限定することができる。すなわち、表示制御部３０はＣＣＤイメージセンサーとしての撮像素子１０を制御することにより、複数行を指定して画像信号を出力させる動作と、全行から画像情報を出力させる動作とを切換えて実行可能である。なお、ＣＭＯＳイメージセンサーであれば、画像信号を出力させる範囲を行と列の双方で限定した出力動作を行うことも可能である。

表示制御部３０は、以上のようにして撮像素子１０から出力された電圧信号に基づいて画像データＤ１を生成し、表示部２０に出力する。
本実施形態の表示部２０は、主として撮影済みの画像を表示したり撮像装置１００の各種設定を行うメニュー画面を表示したり目的で利用されるメインディスプレイ２０ａと、光学系から入力される光学像をリアルタイムで表示することによって画像の構図やピントを確認するために用いられるサブディスプレイ２０ｂとを備えている。表示部２０は、メインディスプレイ２０ａの表示を制御するためのディスプレイコントローラーとサブディスプレイ２０ｂの表示を制御するためのディスプレイコントローラーとを備えている。表示制御部３０は、各ディスプレイコントローラーに画像データを入力することにより、所望の画像データに基づいた画像をメインディスプレイ２０ａやサブディスプレイ２０ｂに表示させることができる。

なお、メインディスプレイ２０ａとサブディスプレイ２０ｂは一般に液晶ディスプレイで構成されるが、むろん有機ＥＬディスプレイ、ブラウン管ディスプレイ、プラズマディスプレイ等の表示装置で構成することもできる。また、本実施形態のサブディスプレイ２０ｂはいわゆるＥＶＦ（Electric View Finder）とするが、むろん他の目的で設けられたサブディスプレイを使用することを妨げるものではない。

また、表示制御部３０は、画像処理部３１と表示画像作成部３２とＶＲＡＭ３３とを備えている。画像処理部３１は、撮像素子１０から入力された画像情報に対して各種画像処理を行うものであり、本実施形態では、アナログフロントエンド（ＡＥＦ）、デモザイク部、リニアマトリックス部、ガンマ補正部、を備えている。

ＡＥＦは撮像素子から入力される電気信号を量子化してデジタル画像信号に変換するＡ／Ｄ変換を行う。デモザイク部は、単板式の撮像素子から得られたカラー画像信号において各画素で欠落している色成分を周辺画素の画素値にもとづいて補完する処理を行う。リニアマトリックス部は、入力ＲＧＢ信号に対して３×３のマトリックス係数を掛け、ディスプレイで再現したときに好ましい色再現となるＲＧＢ信号を出力する。ガンマ補正部は、特定のガンマ特性を有したディスプレイにおいて正しい階調特性で表示されるように、ＲＧＢ信号にガンマ補正を行う。

以上の各部で画像処理が施されて作成された画像データＤ１は、これから撮像スルー画の構図やピントなどをユーザーが調整している間、すなわち操作部５０のシャッターボタンが操作されるまでは表示画像作成部３２に出力される。以下、このような状態をプレビューモードと呼ぶことにする。
表示画像作成部３２は、画像処理部から出力された画像データＤ１に基づいて表示部２０のアスペクト比や画素数に適合するように拡大や縮小したプレビュー用の表示用画像データＤ２を作成し、ＶＲＡＭ１６に記憶する。撮像素子１０は、プレビューモードにおいて周期的に撮像を行っており、所定時間おきに新たな画像データＤ１が作成される。表示画像作成部３２は、新たな画像データＤ１が作成されるたびに表示用画像データＤ２を作成し、ＶＲＡＭ１６の表示用画像データＤ２を更新している。

このようにしてＶＲＡＭ１６に記憶された表示用画像データＤ２は、プレビューモードにおいて適宜サブディスプレイ２０ｂのディスプレイコントローラーに入力されており、サブディスプレイ２０ｂにプレビュー画像が表示される。すなわち、撮像範囲などの撮像条件が変更されたときには、この変更に追随して変更された画像がサブディスプレイ２０ｂに表示されることになる。むろん、このようなプレビューを、メインディスプレイ２０ａに行ってもよい。表示制御部３０は、操作部５０に対して行われた操作に応じて、プレビューの表示先をメインディスプレイ２０ａとサブディスプレイ２０ｂとの任意の組合せで選択することができる。

一方、撮影スルー画の構図を決定してユーザーがシャッターボタンを押すと、作成された画像データＤ１は圧縮部６０に出力される。以下、このような状態を記録モードと呼ぶことにする。
圧縮部６０は、表示制御部３０の制御に従って、画像データＤ１を圧縮して圧縮画像データを生成する。圧縮形式は、ＪＰＥＧ形式のように非可逆圧縮であってもよいし、ＰＮＧ形式のように可逆圧縮であってもよい。また、圧縮部６０は、画像データを圧縮せずにビットマップ形式で出力してもよい。このようにして作成された圧縮画像データは、記憶部４０に出力される。なお、表示制御部３０は、シャッターボタンが押されたときに、圧縮部６０を介さずに、ＡＦＥから出力されるデモザイク前の画像データであるＲＡＷデータをそのまま記憶部４０に出力させることもできる。

以上のようにして各部を制御する表示制御部３０は、所定のプログラムに従って撮像装置１００の全体を制御する制御部３４が制御主体となっている。制御部３４は、例えば、通信バスで互いに接続されたＣＰＵ３４ａ（演算処理部）とＲＡＭ３４ｂ（揮発性の半導体メモリー）とフラッシュメモリー３４ｃ（不揮発性の半導体メモリー）で構成することができる。ＣＰＵ３４ａは、ＲＡＭ３４ｂをワークエリアとして利用しつつフラッシュメモリー３４ｃに記憶されている撮像プログラムを実行することにより、ＤＳＣ１００の全体の動作を制御する。

また、制御部３４に対して各種の操作入力を行うための操作部５０は、ボタンやスイッチやダイヤル等の操作入力手段を備えている。ユーザーは、これら操作入力手段に対して所定の操作を行うことにより操作に応じた制御信号を制御部３４に入力し、制御部３４は制御信号に応じた制御処理を実行することになる。

（２）拡大表示の第１実施形態：
図２は、撮像装置１００において行われる拡大表示の第１実施形態にかかるデータの流れを示す説明図である。
同図に示すように、表示制御部３０は、撮像素子１０に対して拡大表示領域の指定を行う。撮像素子１０の解像度（画素数）は、一般に表示部２０の解像度（画素数）よりも高いため、表示部２０に撮像素子１０の撮像した画像を表示するときには解像度変換が行われる。このとき、画像全体が表示部２０に表示されるように画像の全部を一律に低解像度に変換している。これに対し、拡大表示領域では、画像の一部を指定して高解像度に変換して表示させる。すなわち、拡大表示を行う場合は、画像全体を表示する場合よりも高い倍率で表示されることになる。

拡大表示領域は、例えば、領域内に含まれる被写体への合焦度合いを評価するためのピント領域や、デジタル処理によって拡大画像を作成すべきデジタルズーム範囲などである。拡大表示領域は、固定された領域であっても良いし、ユーザーが操作部５０に所定の操作を行うことにより設定される領域であっても良い。また、ユーザーによって拡大表示領域の位置・範囲・サイズなどの設定が変更できてもよく、ユーザーによって変更されると、表示制御部３０は撮像素子１０に拡大表示領域の変更を指示する。この拡大表示領域は本実施形態において第１領域を構成する。

一方、ユーザーが拡大表示を設定していなければ、表示制御部３０は撮像素子１０に対して拡大表示領域の指定を行わない。拡大表示領域が指定されなければ、撮像素子１０からは撮像素子１０の全体から取得した画像情報が出力されるので、表示制御部３０はこの画像情報に基づいてサブディスプレイ２０ｂに表示用画像を表示する。すなわち、第１実施形態においては、撮像素子１０の全領域が第２領域を構成する。
あるいは、操作部５０に対して所定の操作が行われると、表示制御部３０は拡大表示と通常表示とを切換える。すなわち、操作部５０が本実施形態において切換部を構成する。このような表示方式の切換えは以降の第２〜第４実施形態においても同様に可能であるものとする。

拡大表示領域が設定されると、撮像素子１０は、拡大表示領域を描画するための画像信号を選択的に出力する。すなわち、撮像素子１０は拡大表示領域の画像を形成するために必要な拡大表示領域を含む範囲をデータ出力範囲とし、このデータ出力範囲のフォトダイオードに蓄積された信号電荷のみを選択的に出力する。逆に言えば、データ出力範囲以外のフォトダイオードに蓄積された信号電荷を出力しないようにする。なお、ＣＣＤではライン出力が基本であるため、図２ではデータ出力範囲として行の指定を行っている。すなわち撮像素子１０がＣＣＤのようなライン出力型の場合は、連続的に指定された複数の行を含んだ領域が本実施形態の第１領域を構成することになる。むろん、ＣＭＯＳのように行と列の双方でデータ出力範囲を指定できるのであれば、連続的に指定された複数の画素を含んだ領域が本実施形態の第１領域を構成することになる。

撮像素子１０からデータ出力範囲の画像信号が出力されると、画像処理部３１は各種画像処理を行って画像データＤ１を作成する。そして、表示画像作成部３２が画像データＤ１に基づいて表示用画像データＤ２を生成し、ＶＲＡＭ３３に保存する。なお、ＣＣＤのように拡大表示領域以外を含む範囲をデータ出力範囲とする場合は、画像処理部３１と表示画像作成部３２の行う処理の何れかの段階で拡大表示領域以外の不要部分を削除する。これは後述の第２〜第４実施形態でも同様である。そして、表示画像作成部３２は、拡大表示領域の画像データに対してサブディスプレイのアスペクト比と画素数に合致するようにアスペクト比変換と画素数変換を実行し、ＶＲＡＭ３３に保存する。その結果、サブディスプレイ２０ｂには、拡大表示領域の画像が画面全体に表示されることになる。むろん、拡大表示領域の画像は画面全体への表示に限定する必要はなく、画面の一部に表示してもよい。

このように拡大表示領域の画像を画面全体に表示する制御動作を行う表示制御部３０が、本実施形態において第１の表示制御部を構成する。また、従来のように、撮像素子１０の全領域の画像を画面全体に表示する制御を行う表示制御部３０が、本実施形態において第２の表示制御部を構成する。むろん、第２表示制御部を構成する表示制御部３０も、画像を画面全体に表示する必要は無く、画面の一部を表示範囲としてもよい。これは、後述の第２〜第４実施形態でも同様である。また第１の表示制御部によって表示部に表示される画像が第１のスルー画を構成し、第２の表示制御部によって表示される画像が第２のスルー画を構成する。この第１および第２表示制御部とスルー画との関係は、後述の第２〜第４実施形態でも同様である。

ここで、図３を参照して、撮像とプレビューとの間のタイムラグについて説明する。なお、図３の上図には本発明を適用した撮像装置１００におけるタイムラグの説明図を示してあり、図３の下図には比較のために背景技術で示した従来のＤＳＣの撮影時におけるタイミング関係を示してある。同図に示すように、本実施形態では、プレビューモードにおいて、データ出力範囲のみから画像信号を出力させている。そのため撮像素子のＲｅａｄ時間が減少し、撮像と表示の間のタイムラグが減少することが分かる。また、１フレームあたりの読取走査の時間が短縮されることにともなって、撮像素子のフレームレートを上げることも出来る。フレームレートを上げると、実際の映像とプレビュー画像とのタイムラグを減少し、ユーザーが狙った瞬間の映像により近い瞬間の画像を記録できるようになる。

（３）拡大表示の第２実施形態：
図４は、撮像装置１００において行われる拡大表示の第２実施形態にかかるデータの流れを示す説明図である。本実施形態では、拡大表示を行いつつ、拡大表示に利用されない余剰領域に通常の表示が行われるようにする。また、拡大表示領域に描画される画像の更新頻度は、余剰領域に描画される画像の更新頻度よりも高くしてある。

図４に示すように、撮像素子１０には、第１のデータ出力範囲と第２のデータ出力範囲とが設定される。第１のデータ出力範囲は、第１実施形態と同様に、ユーザーが操作部５０を介して行う所定の操作によって設定された拡大表示領域を含む範囲である。第２データ出力範囲は、撮像素子１０の全領域である。なお、第２のデータ出力範囲は、上記第１のデータ出力範囲を含みつつ、第１のデータ出力範囲の周辺等をも含むように設定された領域であれば様々に設定することができる。

また、第１のデータ出力範囲と第２のデータ出力範囲とでは異なるフレームレートになっている。フレームレートは、領域の重要度に応じて決定されており、重要度の高い領域はフレームレートを高くする。図４では、撮影者にとって構図やピントを決定する際に重要な第１のデータ出力範囲のフレームレートを約１００ｆｐｓとし、撮影者にとって重要度の低い第２のデータ出力範囲のフレームレートを約２０ｆｐｓとしてある。このように領域に重要度に応じてフレームレートを変更してあるため、重要度の高い領域については高い更新頻度でプレビューされる。よって、重要度の高い領域のプレビューと実際の被写体とのタイムラグを減少することができる。

画像処理部３１と表示画像作成部３２は、約２０ｆｐｓで第２のデータ出力範囲から取得した画像信号に基づいて、アスペクト比や画素数をサブディスプレイ２０ｂに適合させた表示用画像データＤ２２をＶＲＡＭ３３に記憶する。一方、画像処理部３１と表示画像作成部３２は、第２のデータ出力範囲から画像信号を取得する間に第１のデータ出力範囲から画像信号を５回取得して、取得した画像信号に基づいてアスペクト比や画素数をサブディスプレイ２０ｂの拡大画像表示範囲に適合させた表示用画像データＤ２１を作成してＶＲＡＭ３３に記憶する。

表示制御部３０は、表示用画像データＤ２１に基づいて図４の拡大画像表示範囲を描画し、表示用画像データＤ２２に基づいて図４の通常画像表示範囲を描画する。すると、拡大画像表示範囲については高い頻度で更新され、通常画像表示範囲については低い頻度で更新される。よって、重要な部位については、実際の映像とプレビュー画像とのライムラグを減少し、ユーザーが狙った瞬間の映像により近い瞬間の画像を記録できるようになる。また、重要度の低い周辺領域も、サブディスプレイ２０ｂの表示に基づいて確認できるようになる。

このように高フレームレートで拡大表示領域の画像を画面全体に表示しつつ低フレームレートで撮像素子の全領域の画像を画面全体に表示する制御動作を行う表示制御部３０が、本実施形態において第１の表示制御部を構成する。また通常画像表示範囲に表示される画像が、本実施形態における第３のスルー画を構成する。また、従来のように、撮像素子１０の全領域の画像を画面全体に表示する制御を行う表示制御部３０が、本実施形態において第２の表示制御部を構成する。

（４）拡大表示の第３実施形態：
図５は、撮像装置１００において行われる拡大表示の第３実施形態にかかるデータの流れを示す説明図である。第３実施形態においても、ユーザーが操作部５０に所定の操作を行うことにより拡大表示領域を設定されている。ただし、表示制御部３０は撮像素子１０に対する拡大表示領域の指定を行う必要は無く、設定された拡大表示領域に基づいて撮像素子１０から入力される画像データの１フレームを構成する各画素データを監視している。

撮像素子１０の出力データは、図５に示す順になっている。すなわち、各ラインデータを構成する複数の画素データについては左端の画素データから列順次に出力され、各フレームを構成する複数のラインデータについては上端から行順次に出力される。すなわち、各フレーム内では画素Ｐ１のデータが最初に出力されるとともに画素Ｐ４のデータが最後に出力され、ラインＬ１のラインデータが最初に出力されるとともにラインＬ４のラインデータが最後に出力される。また、各フレーム内に設定された拡大表示領域では、画素Ｐ２のデータが最初に出力されるとともに画素Ｐ３のデータが最後に出力され、ラインＬ２のラインデータが最初に出力されるとともにラインＬ３のラインデータが最後に出力される。なお、ラインデータの出力順や画素データの出力順における左右や上下は一例であり、適宜変更可能である。

表示制御部３０は、以上の順序で出力される画素データやラインデータを監視することにより、各フレーム内で拡大表示領域のデータ入力の完了したタイミングを検知する。すなわち、各フレームにおいて、画素Ｐ３のデータもしくはラインＬ３のラインデータの入力が完了したことを検知すると、拡大表示領域のデータ入力が完了したと判断する。

拡大表示領域のデータ入力の完了を検出すると、表示制御部３０は、表示画像作成部３２に表示用画像の作成を開始させるとともに作成した表示用画像データでＶＲＡＭ３３を更新させ、次のフレームに移り、画素Ｐ１のデータの入力を開始する。このため、画素Ｐ３のデータ入力から画素Ｐ４のデータ入力までの所要時間の分だけ、もしくはラインＬ３のラインデータ入力からラインＬ４のラインデータ入力までの所要時間の分だけ、ＶＲＡＭ３３における表示画像データの更新タイミングが速くなる。よって、ＶＲＡＭ３３上のデータに基づくサブディスプレイ２０ｂ上の画像も、更新タイミングが速くなり、ユーザーにとっての撮影タイムラグが減少する。

このように第１のデータ取得範囲のデータ入力が完了したことを検知して拡大表示領域の画像を表示部に表示する制御動作を行う表示制御部３０が、本実施形態において第１の表示制御部を構成する。また、従来のように、各フレームの読取開始位置を撮像素子１０の撮像領域における先頭画素として取得した画像信号に基づいて表示部に画像を表示する制御を行う表示制御部３０が、本実施形態において第２の表示制御部を構成する。

（５）拡大表示の第４実施形態：
図６は、撮像装置１００において行われる拡大表示の第４実施形態にかかるデータの流れを示す説明図である。本実施形態でも、ユーザーが操作部５０に所定の操作を行うことにより拡大表示領域を設定されている。また、表示制御部３０が撮像素子１０に対して拡大表示領域の指定や変更指示を行う点は上述した第１実施形態と同様であるが、撮像素子１０は拡大表示領域に応じて設定されるデータ出力範囲以外の画像信号も出力する。ただし、撮像素子１０は、１フレーム分の画像データを出力するにあたって、データ出力範囲の先頭データから出力を開始する。

図６には、画素とラインとに第３実施形態と同様の符号を付して示してある。同図に示すように、第４実施形態では、最初に画素Ｐ２を含むラインＬ２のラインデータが出力される。そして、ラインＬ２〜Ｌ３のラインデータを出力し、その後ラインＬ３〜Ｌ４のラインデータを出力する。さらに、上端のラインに戻ってラインＬ１〜ラインＬ２の１つ上のラインのラインデータを出力して１フレーム分の画像信号の出力が完了する。従って、撮像素子１０の出力する各フレームデータにおいては、その先頭にデータ出力範囲のデータが配置されることになる。

そして第３実施形態と同様に、表示制御部３０は、画素データやラインデータを監視することにより、各フレーム内で拡大表示領域のデータ入力の完了したタイミングを検知し、拡大表示領域のデータ入力の完了を検出すると、表示制御部３０は、表示画像作成部３２に拡大画像の作成を開始させるとともに、ライン４とライン１とに含まれるデータ入力の完了を検出すると、作成した拡大画像の上下にそれぞれライン１とライン４の画像を合成して表示用画像データを作成する。またラインＬ１のデータ出力が完了したならばラインＬ２のデータ出力を開始させ、表示用画像データが完成すれば作成した表示用画像データでＶＲＡＭ３３を更新させる。すなわち、各フレームにおいて、画素Ｐ３のデータもしくはラインＬ３のラインデータの入力が完了したことを検知すると、拡大表示領域のデータ入力が完了したと判断する。このように第４実施形態では、例えばフレームレートが６０ｆｐｓであって垂直方向の１／４がデータ出力範囲である場合には、わずか４ｍｓｅｃで拡大画像の作成が開始されるため、１フレーム全体の入力後に表示画像の作成を開始する場合に比べて１２ｍｓｅｃも速くＶＲＡＭ３３の表示画像データが更新される。よって、ユーザーにとっての撮影タイムラグがさらに減少する。

以上、各フレームの読取開始位置を第１のデータ取得範囲の先頭とし、第１のデータ取得範囲のデータ入力が完了すると拡大表示領域の画像を表示部に表示する制御動作を行う表示制御部３０が、本実施形態において第１の表示制御部を構成する。また、従来のように、各フレームの読取開始位置を撮像素子１０の撮像領域における先頭画素として取得した画像信号に基づいて表示部に画像を表示する制御を行う表示制御部３０が、本実施形態において第２の表示制御部を構成する。

（６）まとめ：
以上説明した実施形態によれば、表示制御部３０は、撮像素子１０の第１のデータ出力範囲の画素のみから信号電荷を１００ｆｐｓで取得し、取得した信号電荷に基づいてサブディスプレイ２０ｂに拡大画像を表示させることができる。また、表示制御部３０は、撮像素子の全領域の画素から信号電荷を６０ｆｐｓで取得し、取得した信号電荷に基づいてサブディスプレイ２０ｂに非拡大画像を表示させることもできる。そして、表示制御部３０は、操作部５０に対して所定の操作が行われると、拡大画像の表示と非拡大画像の表示とを切換えて表示することができる。よって、ユーザーは、ディスプレイに表示される画像と実際に記録される画像とのタイムラグを減少し、ユーザーにとって真に撮影したい瞬間を撮り損ねにくい表示を選択することが出来るようになる。

なお、本発明は上述した実施形態や変形例に限られず、上述した実施形態および変形例の中で開示した各構成を相互に置換したり組合せを変更したりした構成、公知技術並びに上述した実施形態および変形例の中で開示した各構成を相互に置換したり組合せを変更したりした構成、等も含まれる。

１００…デジタルスチルカメラ、１０…撮像素子、２０…表示部、２０ａ…メインディスプレイ、２０ｂ…サブディスプレイ、３０…表示制御部、３１…画像処理部、３２…表示画像作成部、３３…ＶＲＡＭ、３４…制御部、３４ａ…ＣＰＵ、３４ｂ…ＲＡＭ、３４ｃ…フラッシュメモリー、４０…記憶部、５０…操作部、６０…圧縮部

Claims (7)

1. 撮像素子が被写体から受光した光を光電変換した信号電荷に基づいて画像データを生成する撮像動作を行う撮像装置であって、
   画像を表示する表示部と、
   撮像素子の一部である第１領域の画素のみから信号電荷を取得し、取得した信号電荷に基づいて上記表示部に第１のスルー画を表示させる第１表示制御部と、
   上記第１領域と上記第１領域を含まない第２領域とに含まれる画素から信号電荷を取得し、取得した信号電荷に基づいて上記表示部に上記第１のスルー画よりも低いフレームレートで第２のスルー画を表示させる第２表示制御部と、
   上記第１表示制御部による動作と上記第２表示制御部による動作とを切換える切換部と、
   具備することを特徴とする撮像装置。
2. 上記第２表示制御部は、上記第１のスルー画を上記第２のスルー画よりも高い倍率で表示する請求項１記載の撮像装置。
3. 上記第１表示制御部は、上記第２表示制御部の信号電荷の取得開始位置から離れた位置から上記信号電荷の取得を開始する請求項１又は請求項２に記載の撮像装置。
4. 上記第１表示制御部は、上記第１領域の電荷を上記撮像素子から取得完了すると、上記第１のスルー画を上記表示部に表示させるための表示動作を開始する請求項１〜請求項３の何れか１項に記載の撮像装置。
5. 上記第１表示制御部は、上記第１領域の画素のみから取得された信号電荷に基づいて上記表示部の一部に上記第１のスルー画像を表示するとともに、上記第１領域と上記第１領域を含まない第２領域とに含まれる画素から取得した信号電荷に基づいて上記第１のスルー画よりも低いフレームレートで第３のスルー画を上記表示部の一部を除く他の部分に表示しており、
   上記表示部において上記第１のスルー画像は上記第３のスルー画像よりも高い頻度で更新されている請求項１〜請求項４の何れか１項に記載の撮像装置。
6. 撮像素子が被写体から受光した光を光電変換した信号電荷に基づいて画像データを生成する撮像動作を行う撮像方法であって、
   画像を表示する表示工程と、
   撮像素子の一部である第１領域の画素のみから信号電荷を取得し、取得した信号電荷に基づいて表示部に第１のスルー画を表示させる第１表示制御工程と、
   上記第１領域と上記第１領域を含まない第２領域とに含まれる画素から信号電荷を取得し、取得した信号電荷に基づいて上記表示部に上記第１のスルー画よりも低いフレームレートで第２のスルー画を表示させる第２表示制御工程と、
   上記第１表示制御部による動作と上記第２表示制御部による動作とを切換える切換工程と、
   具備することを特徴とする撮像方法。
7. 撮像素子が被写体から受光した光を光電変換した信号電荷に基づいて画像データを生成する撮像動作をコンピューターに実行させるための撮像プログラムであって、
   画像を表示する表示機能と、
   撮像素子の一部である第１領域の画素のみから信号電荷を取得し、取得した信号電荷に基づいて表示部に第１のスルー画を表示させる第１表示制御機能と、
   上記第１領域と上記第１領域を含まない第２領域とに含まれる画素から信号電荷を取得し、取得した信号電荷に基づいて上記表示部に上記第１のスルー画よりも低いフレームレートで第２のスルー画を表示させる第２表示制御機能と、
   上記第１表示制御部による動作と上記第２表示制御部による動作とを切換える切換機能と、
   具備することを特徴とする撮像プログラム。

Images