JP2017099031A - 画像表示機器及び画像表示機器の表示制御方法 - Google Patents

Abstract

【課題】高倍率ズーム機能を備えた撮影機器において、長焦点側のズーム設定をした時に手ブレ等の影響で主要被写体がファインダ視野外へ外れて見失ってしまっても再度ファインダ視野内に捕らえ直すことを容易にした画像表示機器を提供する。
【解決手段】対象物を狙うための撮影光学系２６と撮像素子１３とからなる撮像部と、撮像部から出力される画像信号を受けて画像を表示する表示部１８と、表示部の表示を制御する表示制御部１１ｅと、対象物を撮像する画角を変更する画角変更部２６ａ，１１ｂと、画角変更部による画角変更の実行前の画角にて取得した画像信号を記憶する画像記憶部１４，１６とを具備し、表示制御部は、表示部に表示される画像に重畳させて画像記憶部に記憶された画像信号に基く補助表示制御を行ない、補助表示の画像に重畳させて画像記憶部に記憶された画像信号に対する撮像部により撮像する画角を示す表示制御を行う。
【選択図】図１

Description

この発明は、高倍率ズーム機能を備えた撮影機器において所望の撮影対象物（被写体）を確実にファインダ視野内に補足し得る構成を備えた画像表示機器及び画像表示機器の表示制御方法に関するものである。

従来、撮影光学系により結像された光学像を光電変換素子等によって順次画像信号に変換し、これにより得られた画像信号を所定の形態の画像データとして記録媒体に記録し得ると共に、この記録媒体に記録された画像データを画像として再生表示する画像表示機器、例えば液晶表示装置（ＬＣＤ）等を備えて構成された撮影機器、例えばデジタルカメラやビデオカメラ等が一般に実用化され広く普及している。

また、近年、この種の撮影機器において適用される撮影光学系として、光学ズーム倍率が例えば２０倍以上の高倍率ズームレンズを備えたものが実用化されつつある。さらに、これに加えて、撮像画像データに対して所定の画像処理を施すことによって、さらなる拡大画像を生成し得るいわゆる電子ズーム機能を備えたものが普及している。この電子ズーム機能を持つ撮影機器では、最短焦点距離に対するズーム倍率が例えば８０倍等といった極めて高倍率のズーム機能をもつものがある。

この種の高倍率ズーム機能を備えた撮影機器を用いて撮影を行なう際に、短焦点側に設定されている状態から急激なズーミングを行なった場合、撮影を所望する主要被写体がファインダ視野内、詳しくはファインダとして使用する表示機器（背面表示パネル若しくはＥＶＦ（Electric View Finder））の画像表示範囲内から外れてしまい、主要被写体を見失ってしまうことがある。このように、ファインダ視野内から見失ってしまった主要被写体をファインダ視野内（画像表示範囲内）に捉え直すことは、設定ズーム域が長焦点側に設定されている程、困難になるという問題点がある。

従来のカメラにおいては、例えば特開２００１−６９４９６号公報等によって開示されている監視カメラ等のように、操作者がカメラの撮影位置や撮影方向を指定する簡単な操作を行うことで、カメラの向きを目標位置に合わせることができるように構成したものが提案され実用化されている。

特開２００１−６９４９６号公報

ところが、上記特開２００１−６９４９６号公報等によって開示されている手段は、固定されて撮影可能範囲が特定された監視カメラであって、特定の撮影範囲内における所望の位置や方向を指定することによって、カメラの向きを目標位置に合わせるような制御を行なうというものである。つまり、上記公報に記載の手段は、撮影しようとする被写体を目標としているのではなく、所望の撮影範囲を指定してカメラの向きを容易に遠隔制御することを目的とした技術である。

したがって、一般的な撮影機器（カメラ）を用いた撮影を行なう際に、上述したような状況、即ち急激なズーミングによって所望の被写体をファインダ視野内から見失うといった状況下において、その所望の被写体にカメラの向きを合わせて、ファインダ視野内に所望の被写体を再度表示させるといった場合には、上記公報に記載の手段は対応することができないと言える。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮影光学系として高倍率の光学ズームレンズを備えていたり、高倍率の電子ズーム機能が備えられた撮影機器等に適用される画像表示機器において、長焦点距離側のズーム設定をした時に手ブレ等の影響によって、撮影を所望する被写体がファインダ視野内の撮影可能領域から外れて見失ってしまったとしても、再度ファインダ視野内に捕らえ直すことが容易にできるように操作性を改善した画像表示機器及び画像表示機器の表示制御方法を提供することである。

上記目的を達成するために、本発明の一態様の画像表示機器は、対象物を狙うための撮像光学系と撮像素子とからなる撮像部と、上記撮像部から出力される画像信号を受けて画像を表示する表示部と、上記表示部の表示を制御する表示制御部と、上記対象物を撮像する画角を変更する画角変更部と、上記画角変更部による画角変更の実行前の画角にて取得した画像信号を記憶する画像記憶部とを具備し、上記表示制御部は、表示部に表示される画像に重畳させて画像記憶部に記憶された画像信号に基く補助表示制御を行ない、補助表示の画像に重畳させて画像記憶部に記憶された画像信号に対する撮像部により撮像する画角を示す表示制御を行う。
また、本発明の一態様の画像表示機器の表示制御方法は、観察画角を変更して画像データを取得可能な画像表示機器の表示制御方法において、第１の画像データを取得して記憶するステップと、第２の画像データを繰り返し取得して上記第２の画像データに基いて表示を行うステップと、観察画角の変更に応じて、上記第２の画像データに基いて表示される画像に重畳させて、上記記憶された第１の画像データに基く補助表示を行ない、上記補助表示の画像に重畳させて上記記憶された第１の画像信号に対して上記変更された観察画角を示す表示を行うステップとを有する。

本発明によれば、撮影光学系として高倍率の光学ズームレンズを備えていたり、高倍率の電子ズーム機能が備えられた撮影機器等に適用される画像表示機器において、長焦点距離側のズーム設定をした時に手ブレ等の影響によって、撮影を所望する被写体がファインダ視野内の撮影可能領域から外れて見失ってしまったとしても、再度ファインダ視野内に捕らえ直すことが容易にできるように操作性を改善した画像表示機器及び画像表示機器の表示制御方法を提供することができる。

本発明の第１の実施形態の撮影機器（カメラ）の内部主要構成を概略的に示すブロック構成図 図１の撮影機器（カメラ）を用いて撮影者が所望の被写体の撮影を行なっている際の様子を示す概念図 図２の状況において短焦点域側のズーム設定から長焦点域側へと理想的にズーミングが行なわれた場合に取得し得る各理想画像の範囲を概念的に示す概念図 図２に示す状況におけるズーミング時に手ブレが生じた場合の従来カメラのファインダ画像の変化を示す概念図 図１の撮影機器（カメラ）において、ズーミング実行中にファインダ画像にずれが生じた場合のようすを説明する図 図１の撮影機器（カメラ）の撮影モード時の処理シーケンスを示すフローチャート 本発明の第２の実施形態の撮影機器（カメラ）を主要被写体に向けた場合に撮影機器（カメラ）の垂直方向の姿勢を説明する図 図７の状態にある撮影機器（カメラ）の表示部に表示されるファインダ画面を示す図 本発明の第２の実施形態の撮影機器（カメラ）を主要被写体に向けた場合に撮影機器（カメラ）の水平方向の姿勢を説明する図 図９の状態にある撮影機器（カメラ）の表示部に表示されるファインダ画面を示す図 本発明の第２の実施形態の撮影機器（カメラ）の撮影モード時の処理シーケンスを示すフローチャート 図１１の処理シーケンス中におけるターゲット選択処理サブルーチン（図１１のステップＳ２００）のフローチャート 図１１の処理シーケンス中におけるターゲット座標算出／予測処理サブルーチン（図１１のステップＳ３００）のフローチャート 図１１の処理シーケンス中におけるアシスト画面背景用静止画保存処理サブルーチン（図１１のステップＳ４００）のフローチャート 図１１の処理シーケンス中におけるアシスト表示処理サブルーチン（図１１のステップＳ５００）のフローチャート 本発明の第２の実施形態の撮影機器（カメラ）におけるファインダ画像を示し、ズームレンズを短焦点側に設定したときのファインダ画像を例示する図 図１６の状況からズームレンズを長焦点側に設定したときのファインダ画像を例示する図 図１６の状況からズームレンズを長焦点側に設定したときのファインダ画像を例示する別の図 図１６の状況からズームレンズを長焦点側に設定したときのファインダ画像を例示するさらに別の図 図１６の状況からズームレンズを長焦点側に設定したときのファインダ画像を例示し、表示部の表示範囲から主要被写体を見失った状態のアシスト表示の例を示す図 図１６の状況からズームレンズを長焦点側に設定したときのファインダ画像を例示し、表示部の表示範囲から主要被写体を見失った状態のアシスト表示の別の例を示す図

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量，構成要素の形状，構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。

［第１の実施形態］
本発明の第１の実施形態は、高倍率ズームレンズを構成する撮影光学系を具備し、この撮影光学系の光学レンズ等によって形成された光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像や動画像を表わすデジタルデータとして記録媒体に記録し、また記録媒体に記録されたデジタル画像データに基いて静止画像や動画像を表示機器に再生表示し得るように構成される撮影機器（以下、単にカメラという）を例示するものである。なお、この種の撮影機器は、上述したように画像を表示する表示機器を備えていることから、画像表示機器としての機能も有している。

まず、本発明の第１の実施形態の撮影機器であるカメラの概略的な構成について以下に説明する。図１は、本発明の第１の実施形態の撮影機器（カメラ）の内部主要構成を概略的に示すブロック構成図である。

本実施形態の撮影機器であるカメラ１は、図１に示すように、カメラボディ１０とレンズ鏡筒２０とによって構成されている。本カメラ１は、カメラボディ１０に対してレンズ鏡筒２０が着脱自在に構成されるいわゆるレンズ交換式カメラである。なお、本実施形態では、レンズ交換式カメラを例に挙げて説明するものであるが、本発明を適用し得るカメラとしては、この形態に限られることはなく、例えばカメラボディ１０とレンズ鏡筒２０とが一体に構成された形態のカメラであっても全く同様に適用することができる。

カメラボディ１０は、信号処理制御部１１と、ボディ側通信部１２と、撮像素子１３と、記録部１４と、操作部１５と、一時記録部１６と、加速度角速度センサ１７と、表示部１８と、タッチパネル１８ｂと、時計部１９と、回動判定部３０と、顔検出部３１と、方位センサ３２等を有して構成されている。

信号処理制御部１１は、本カメラ１の全体の動作を統括的に制御する制御部としての機能を備え、各種構成ユニットの制御信号を処理すると共に、撮像素子１３によって取得した画像信号（画像データ）に対する各種の信号処理等を行う信号処理部としての機能を備えた回路部である。

信号処理制御部１１の内部には、ズーム判定部１１ａと、画像処理部１１ｂと、タッチ判定部１１ｃと、画像比較部１１ｄと、表示制御部１１ｅと、動体予測部１１ｆと、手ブレ判定部１１ｇと、座標判定部１１ｈと、理想画像作成部１１ｉ等の各種の回路部が具備されている。

このうち、ズーム判定部１１ａは、手動ズーム操作に基く手動ズーミングであるか、若しくはカメラボディ１０側の操作部１５に含まれるズームレバー等（不図示）又はレンズ鏡筒２０側の操作部２３に含まれるズームスイッチ等（不図示；詳細は後述する）を操作することによってなされる電動ズーミングであるか等を検出し判定する回路部である。その判定処理は、例えばズームリング，ズームレバー，ズームスイッチ等が操作されることにより生じる指示信号を受けて行われる。さらに、ズーム判定部１１ａは、さらにズーミング方向、即ち実行されたズーム操作が、短焦点（広角）側から長焦点（望遠）側へのズーミングか、若しくはその逆方向かの判定をも行なう。

画像処理部１１ｂは、撮像素子１３によって取得された画像データに基いて各種の画像処理を施す信号処理回路部である。

タッチ判定部１１ｃは、タッチパネル１８ｂからの指示入力信号を受けて、その指示内容を判定する信号処理回路である。タッチ判定部１１ｃによる判定結果に基いて、信号処理制御部１１内における各種の制御が実行される。

画像比較部１１ｄは、撮像素子１３によって連続的に取得される複数の画像データ、即ちライブビュー画像を形成する複数の画像データと、理想的なズーミングがなされた時の画角変化を予想して得られるズーム量に応じた複数の理想画像とを比較する画像比較処理を行なう回路部である。

表示制御部１１ｅは、表示部１８を駆動制御する制御回路部である。表示制御部１１ｅは、撮像素子１３及びレンズ２６等（後述する）からなる撮像部によって生成され取得された画像データを受けて、これを表示部１８の表示パネル上に画像として表示させるための制御を行う。

ここで、上記撮像部は、撮影対象とする対象物（被写体）からの光を透過させて被写体の光学像を結像させる撮影光学系であるレンズ２６等（後述する）と、このレンズ２６によって結像された被写体像を受けて光電変換処理を行う撮像素子１３とを含んで構成されるユニットである。

動体予測部１１ｆは、撮像素子１３によって連続的に取得される複数の画像データに基いて、被写体のフレーム間における動きベクトルを算出して動体を検出し、その動体の画像中における移動方向や移動速度を予測演算する像移動量算出処理等を実行する回路部である。この動体予測部１１ｆによって検出された動体を主要被写体として設定するようにしてもよい。この場合、動体予測部１１ｆは主要被写体設定部としても機能する。

手ブレ判定部１１ｇは、撮像素子１３によって連続的に取得される複数の画像データ若しくは加速度角速度センサ１７や方位センサ３２等からの出力に基いて、カメラ１の姿勢状態等を判定し、カメラ１に加わる手ブレ等を演算により判定する回路部からなる姿勢判定部である。また、手ブレ判定部１１ｇは、上記画像比較部１１ｄによる画像比較処理の結果に基いて、カメラ１のずれ量やずれ方向等を判定する回路部としても機能する。

座標判定部１１ｈは、撮像素子１３によって取得される画像データに基いて、画像内における特定の被写体像の位置を特定し、その座標を演算により判定する回路部である。

理想画像作成部１１ｉは、レンズ２６のズーム倍率が短焦点側に設定されている状態で設定された撮影対象とする主要被写体（図３等で示す符号１０１参照）に対し、理想的なズーミングがなされた時の画角変化（撮影領域の変化）の具合を予想して、そのズーミング中のズーム量に応じた複数の画像データを作成する画像信号処理回路部である。

ここで、主要被写体とは、撮影者が撮影を所望する主体となる被写体である。通常の場合、撮影者は、主要被写体に向けてカメラ１を構え、その主要被写体をファインダ視野内に入れた状態で、ズーミング，焦点調節操作等を行なう。この場合において、ズーミングは、主要被写体をファインダ視野の略中心に配置するようにしてなされるのが普通である。また、焦点調節操作は、主要被写体の主要な部位、例えば人物等では目の位置等に対して行われる。したがって、例えばファインダ視野内の略中央部に配置された被写体に対して、焦点調節操作がなされた場合に、その被写体を主要被写体として設定すればよい。この場合、焦点調節を行なうためのＡＦ選択エリアの位置によって、焦点調節操作がなされた領域を判別することができる。

また、理想的なズーミングとは、主要被写体（１０１）が常にファインダ視野内の略中央部分に配置され続けるように行われるズーミングをいう。また、このような理想的なズーミングが行なわれた場合に、取得されるであろうと予想される複数の画像を理想画像というものとする。つまり、理想画像は、主要被写体（１０１）が常にファインダ視野内の略中央部分に配置されている状態の画像であって、ズーミングによる連続的な画角変化中の任意のタイミングに対応する画像をいうものとしている（後述の図３参照）。この理想画像は、上述したように、ズーミングによる画角変化に基いて演算によって予想し、例えば広角端画像データに基いてトリミング処理等を施すことによって作成することができるものである。そして、理想画像作成部１１ｉは、上記理想画像のうち、ズーム倍率を例えば最大の高倍率（最望遠側）に設定した場合に取得し得る理想画像を基準画像として作成する。この基準画像は、後述するように、一時記録部１６に一時的に記録される（後述する図６のステップＳ１０４の処理参照）。

撮像素子１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）等の回路素子を用いたＣＣＤイメージセンサー若しくはＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；金属酸化膜半導体）等を用いたＭＯＳ型イメージセンサー等の固体撮像素子である光電変換素子等が適用される。撮像素子１３によって生成されたアナログ画像信号は、信号処理制御部１１の画像処理部１１ｂへと出力されて各種の画像信号処理が実行される。

記録部１４は、撮像素子１３から出力され上記画像処理部１１ｂにて処理済みの画像信号を受けて、これを所定の形態に変換する信号処理回路部と、この信号処理回路部によって生成された画像データを記録する記録媒体と、この記録媒体を駆動制御する制御部等を含んで構成される構成部である。ここで行われる画像信号の変換処理としては、例えば信号圧縮処理等を行って記録形態の画像データ変換する処理や、記録媒体に記録済みの画像データを読み込んで伸長処理等を施して画像信号を復元させる信号処理等である。なお、この種の圧縮伸長処理については、記録部１４に含まれる信号処理回路部で行なう形態に限られることはなく、例えば信号処理制御部１１内に同様の信号処理回路部を設け、それによって実行するような形態としてもよい。

一時記録部１６は、撮像素子１３によって取得された画像データ等を一時的に記録しておく回路部であって、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），ＲＡＭ（Random Access Memory）等の半導体メモリ素子等が適用される
。

操作部１５は、カメラ１のカメラボディ１０の外装部分に設けられる通常の押しボタン式若しくはスライド式，ダイヤル式等の形態の各種の操作部材であって、例えばシャッターリリースボタン（特に図示せず）等、各種の一般的な操作部材を含めた操作用の構成部を指すものである。

なお、本実施形態のカメラ１においては、上記操作部１５とは別の操作用の操作部材として、タッチパネル１８ｂを有している。このタッチパネル１８ｂは、表示部１８の表示面上に配置されており、撮影者が表示パネル上に表示中の画像に対応する所定領域に対してタッチ操作やスライド操作等を行うことによって、各種の操作指示信号が発生するように構成された操作部材である。このタッチパネル１８ｂからの指示入力信号は、信号処理制御部１１のタッチ判定部１１ｃに送られて、その操作入力が判定される。

表示部１８は、撮像素子１３から出力された画像データ等若しくは記録部１４により伸長処理された画像データ等に基いて、上記表示制御部１１ｅの制御下において画像表示を行う構成部である。表示部１８としては、例えば液晶ディスプレイ（ＬＣＤ；Liquid Crystal Display），プラズマディスプレイ（ＰＤＰ；Plasma Display），有機エレクトロルミネッセンスディスプレイ（ＯＥＬ；Organic Electro-Luminescence Display）等の表示パネルが適用される。この表示部１８は、撮影記録済みの画像データに基く画像を再生表示する機能を備えると共に、撮像素子１３から出力された画像データを順次連続的に受けて画像を表示し続けることで、撮影動作時の撮影範囲を観察，確認を行なうファインダとしても機能する。なお、表示部としては、機器背面に設けた表示パネルのほかに、電子ビューファインダ（ＥＶＦ；Electric View Finder）として利用する小型パネルを設けてもよい。通常のカメラの場合、ファインダを用いて観察し得る範囲をファインダ視野というが、上述したように、本実施形態のカメラ１においては、ファインダとして撮像素子１３から出力された画像データに基く画像を表示させる表示機器を用いている。このことから、本実施形態のカメラ１によるファインダである表示部１８で観察し得る観察像は、画像データに基く表示画像である。したがって、以下の説明においては、ファインダとしての表示部１８に表示される画像をファインダ画像というものとする。

時計部１９は、いわゆるリアルタイムクロック（Real-Time Clock；ＲＴＣ）と言われるコンピュータの内部時計である。時計部１９は、例えばデータファイル等の日時情報の付与を行ったり、制御処理中における計時や時間制御等の際に利用される。

加速度角速度センサ１７は、カメラ１の水平垂直を基準とした姿勢、即ち撮影光学系の光軸の垂直方向に対する傾き状態（例えば仰角）を検出したり、カメラ１の構え方、即ち縦位置，横位置等の構え方についての姿勢状態、換言すれば画像の上下方向を判定したり（加速度センサ）、光軸に直交する軸周りのカメラ１の回転量を測定する角速度センサ等を含む検出信号処理回路部である。加速度角速度センサ１７としては、例えば角速度センサとしてのジャイロセンサ等が適用される。

方位センサ３２は、カメラ１の撮影光学系の光軸が向いている方位を検出する検出信号処理回路部である。方位センサ３２としては、例えば地磁気センサ，電子コンパス等が適用される。

ボディ側通信部１２は、後述するレンズ側通信部２２との間で電気的に接続することによって、カメラボディ１０とレンズ鏡筒２０との間で制御信号，情報信号等をやり取りするカメラボディ１０側の通信用信号処理回路部である。

回動判定部３０は、上記加速度角速度センサ１７等によって検出されるカメラ１の姿勢変化情報に基いて、カメラ１が光軸周りに回動されたか否か、回動された場合にその回動方向等を判定する判定回路部である。この回動判定部３０による判定結果を受けて、画像処理回路１１ｂにおいて、表示部１８の表示パネル上に表示中の画像の上下左右関係を適正に表示させるための表示画像回転処理が行なわれる。

顔検出部３１は、撮像素子１３によって取得され画像処理部１１ｂにて画像処理がなされて出力される画像データに基いて表される画像中において、人間の顔や特定種類の動植物等（例えば犬，猫，鳥，花等）の被写体に対応する画像が存在するかどうかを検出するための被写体検出部としての画像信号処理回路部である。顔検出部３１としては、顔画像を検出するだけでなく、これに加えて、例えば色検出やパターン検出等を行なうものも含めてよい。そして、信号処理制御部１１は、顔検出部３１によって検出された被写体に対しては、動体予測部１１ｆとの連繋によって動体予測制御を行ないつつ、自動的に画像内での動体追尾を行なって、常に追尾被写体にピントを合わせ続けるといった制御を行う。

レンズ鏡筒２０は、レンズ制御部２１と、レンズ側通信部２２と、レンズ側操作部２３と、ズーム駆動部２４ａと、フォーカス駆動部２４ｂと、ズームレンズ位置検出部２５ａと、フォーカスレンズ位置検出部２５ｂと、撮影光学系であるレンズ２６と、レンズ側記録部２７等によって主に構成されている。

レンズ制御部２１は、上記カメラボディ１０側の信号処理制御部１１の制御下においてレンズ鏡筒２０側の各構成ユニットの動作を制御する制御部である。

操作部２３は、レンズ側の切り換え操作、例えば通常撮影モードと近接撮影モードとの切り換えや、自動焦点調節動作（オートフォーカス（ＡＦ）動作）と手動焦点調節動作（マニュアルフォーカス（ＭＦ）動作）等の操作や、焦点調節操作を行なうピントリング，ズーム操作を行なうズームリング等、若しくは電動用ズームスイッチ等の操作部材を含む総体をいう。

ズーム駆動部２４ａは、上記レンズ２６のうちズーム動作に関与するズーム光学系の駆動を行うための駆動モータ及びその駆動力を伝達する駆動機構等を含む駆動ユニットである。また、フォーカス駆動部２４ｂは、上記レンズ２６のうちフォーカス動作に関与するフォーカス光学系の駆動を行うための駆動モータ及びその駆動力を伝達する駆動機構等を含む駆動ユニットである。

ズームレンズ位置検出部２５ａは、ズーム光学系の光軸上の位置を検出する位置検出回路である。また、フォーカスレンズ位置検出部２５ｂは、フォーカス光学系の光軸上の位置を検出する位置検出回路である。

レンズ側記録部２７は、本レンズ鏡筒２０に関する各種の情報等を予め記録させた記録媒体を含む記録用回路部である。この記録部２７に記録されている各種情報は、レンズ制御部２１から各通信部２２，１２を介してカメラボディ１０側へと伝達されて、適宜必要に応じて利用されるものである。このレンズ側記録部２７としては、例えばＥＥＰＲＯＭ，ＲＯＭ（Read Only Memory），フラッシュメモリ等の不揮発性半導体メモリ素子等が適用される。

レンズ２６の内部には、複数の光学レンズ等によって構成され被写体の光学像を結像させる撮影光学系や、この撮影光学系の個々の光学レンズをそれぞれ保持する複数の鏡筒部材や、これら複数の鏡筒部材をそれぞれ個別に光軸方向に進退させる駆動用鏡筒等のほか、撮影光学系のうちの一部であるズーム光学系を制御するズーム制御部２６ａと、撮影光学系のうちの一部であるフォーカス光学系を制御するピント制御部２６ｂと、撮影光学系を透過する光束の光量を調整する絞り機構と、この絞り機構を駆動制御する絞り制御部２６ｃ等が具備されている。なお、上述したように、上記レンズ２６とカメラボディ１０の撮像素子１３とによって撮像部が構成される。

なお、本実施形態では、レンズ２６に含まれる撮影光学系として、例えば２０〜５０倍程度の光学ズーム倍率を実現し得るいわゆる高倍率の光学ズームレンズが適用される。また、本実施形態のレンズ鏡筒２０における撮影光学系であるレンズ２６は、ズーム駆動部２４ａに含まれる駆動モータ等によって進退移動されることによってズーミングを行ない得るいわゆる電動式ズーム機構を具備している。その具体的な構成については、従来のカメラに適用される一般的な構成の電動式高倍率ズームレンズと略同様の構成からなるものとして、詳細説明及び図示は省略する。

また、上記レンズ鏡筒２０の形態としては、電動式ズーム機構を備えたものに限られることはなく、例えばレンズ鏡筒外周面に設けられたレンズ操作部のうちのズームリングを撮影者が任意に回動操作することによってズーミングを行ない得る手動式ズーム機構を備えたものであってもよい。

レンズ側通信部２２は、上記ボディ側通信部１２との間で電気的に接続することによって、レンズ鏡筒２０とカメラボディ１０との間で制御信号，情報信号等をやり取りするレンズ鏡筒２０側の通信用信号処理回路部である。

なお、カメラボディ１０，レンズ鏡筒２０は、上述した構成部以外にもその他の各種構成ユニット等を有して構成されているものであるが、それらの各種構成ユニット等は、本発明に直接関連しない構成であるので、従来の一般的なカメラと同様の構成を具備するものとして、その詳細説明及び図示を省略している。

例えば、撮影光学系の光路を開閉し、撮影動作の際に撮影光学系を透過する光束の光量を調整するためのシャッター機構については図示及び説明を省略しているが、本実施形態のカメラ１においても、従来のカメラと同様の通常のシャッター機構を有している。このシャッター機構は、カメラボディ１０側に配設するフォーカルプレーンシャッターでもよいし、レンズ鏡筒２０側に配設するレンズシャッターでもよい。シャッター機構がカメラボディ１０側に配設されている場合には、シャッター機構は主にボディー側の制御部によって制御される。また、シャッター機構がレンズ鏡筒２０側に配設されている場合には、シャッター機構は主にボディー側の制御部の制御下においてレンズ制御部２１を介して制御される。

また、本実施形態のカメラ１に適用されているレンズ鏡筒２０は、高倍率の光学ズームレンズとして構成しているが、これに代えて（若しくは加えて）、カメラボディ１０側に電子ズーム機能が備わっていてもよい。この電子ズーム機能を実現するための構成は、例えば信号処理制御部１１内の画像処理部１１ｂ等によって、撮像素子１３で取得した画像データに対して所定の画像処理を施す等、従来一般に実用化されている手段を用いればよい。さらに、レンズ鏡筒２０自体は、高倍率の光学ズームレンズでなくとも、カメラボディ１０側に高倍率の電子ズーム機能を備えているような構成でもよい。したがって、カメラ１においては、光学ズーム機能を制御するためにズーム制御部２６ａを備え、また、これに代えて（若しくは加えて）、電子ズーム機能を制御するための電子的なズーム制御部を備えるようにすればよい。

このように構成された本実施形態のカメラ１を用いて撮影を行なう際に、レンズ２６が広角寄りに設定されている状態から急激なズーミング操作若しくは迅速な電動ズーム動作が行なわれる際の様子を以下に説明する。図２は、本実施形態のカメラを用いて撮影者が所望の被写体の撮影を行なっている際の様子を示す概念図である。図３は、図２の状況において短焦点域側のズーム設定から長焦点域側へと理想的にズーミングが行なわれた場合に取得し得る各理想画像の範囲を概念的に示す概念図である。

図２に示す状況は、次のようなものである。即ち、撮影者１００は撮影を行なおうとして、自身の前方に広がる風景に相対してカメラ１を構えている。この場合において、撮影者１００は、自身の前方風景のうち遠方（図２の例では建物の上方）にいる鳥１０１を主要被写体として撮影を行なおうとしており、その方向にカメラ１のレンズ鏡筒２０を向けている状況を示している。なお、図２において点線で示す枠５０は、カメラ１において所定の焦点領域、例えばレンズ鏡筒２０の光学ズーム設定を最短焦点域付近若しくは最短焦点域から２〜３倍程度のズーム設定した時に撮影されるべき領域を示している。

図３は、このときのカメラ１の表示部１８の全表示領域１８ａを概念的に示している。そして、図３に示す状態から、撮影者１００がさらにズーミングを行なう場合、主要被写体１０１が常に画像中央部近傍に配置されるようになるのが望ましい。即ち、図３の枠５０の画像が表示部１８の表示パネルに表示されている状態において、ズーミングが行なわれると、通常の場合、撮影領域は、図３の表示領域１８ａの四隅から延びる矢印符号Ｚに示すように狭まっていくことになる。つまり、ズーミング実行中においては、図３で示す点線枠５１，５２，５３の順に撮影領域が狭まる方向で変化する。なお、ズーミング中において、実際に表示部１８の表示パネルに表示されるファインダ画像は、各時点において上記点線枠５１，５２，５３で示す領域内の画像が表示パネルの表示領域いっぱいに拡大されて表示される形態となる。

このように、撮影者１００が撮影を所望する主要被写体１０１が判明しており、かつその主要被写体１０１が撮影領域の中央部分、即ち表示部１８に表示されるファインダ画像の略中央部近傍に配置されている状況において適切なズーミングがなされた場合、そのズーミングによる撮影領域の変化の具合は、カメラ１の信号処理制御部１１によって予想することができる。

ところが、高倍率ズーム機能の長焦点域側に設定して撮影を行なう場合、撮影領域が極めて狭い範囲となることから、特にカメラ１を手持ちで撮影を行なう場合には、手ブレ等がわずかでも生じると撮影対象とする主要被写体がファインダ画像の範囲内から外れてしまい見失ってしまうということがある。図４はこのような場合の状況を示している。

図４は、図２に示す状況におけるズーミング時に手ブレが生じた場合のファインダ画像の変化を示す概念図である。このうち、図４（Ａ）はズーミング開始時のファインダ画像（図３と同じ状態）の表示状態と、ズーミングによる撮影領域の変化を示している。実線で示す枠５０は。図３の枠５０に相当する。この状態でズーミングが行なわれ、そのズーミングの実行中においてカメラ１の向きが図４（Ａ）に示す矢印Ｙ１方向へずれたとする。その場合、図４（Ａ）で示す点線枠５１ａ，５２ａ，５３ａの順にズーミングに伴って撮影領域が狭まる方向で変化することになる。なお、図４（Ａ），図４（Ｂ），図４（Ｃ）において符号Ｔで示す点線枠は、主要被写体１０１を明示するために表示されるターゲット枠である。このターゲット枠Ｔは、例えば撮影者１００が撮影を所望する主要被写体１０１を指定する等の操作や、若しくは顔検出部３１によって検出された被写体の近傍に表示されるものである。図４（Ａ）の状態では、主要被写体１０１を含むターゲット枠Ｔが、ファインダ画像の略中央部近傍に設定されているものとする。

ここで、図４（Ａ）の状態から、上述したように、ズーミング中に矢印Ｙ１方向へのずれが生じたとすると、図４（Ａ）の点線枠５１ａに対応するファインダ画像は図４（Ｂ）のようになる。この図４（Ｂ）の状態では、図４（Ａ）の状態から拡大された主要被写体１０１を含むターゲット枠Ｔは、ファインダ画像の略中央部分よりも若干ずれた位置（本例ではファインダ画像下端寄りの位置）となっている。

続いてズーミングがなされた後の図４（Ａ）の点線枠５２ａに対応するファインダ画像は図４（Ｃ）のようになる。この図４（Ｃ）の状態では、図４（Ｂ）の状態から拡大された主要被写体１０１を含むターゲット枠Ｔは、さらにファインダ画像下端寄りの位置に表示されている。

さらに続いて、ズーミングがなされた後の図４（Ａ）の点線枠５３ａに対応するファインダ画像は図４（Ｄ）のようになる。この図４（Ｄ）の状態では、図４（Ｃ）の状態からさらに画像が拡大されることによって、主要被写体１０１を含むターゲット枠Ｔは、ファインダ画像の下端縁よりも外側に外れてしまった状態、即ち主要被写体１０１がファインダ画像内から完全に見失ってしまった状態を示している。

このように、撮影を所望する目標物となる遠方被写体としての主要被写体１０１を、例えばファインダ画像の略中央部近傍に設定してズーミングを行なうような場合、高倍率ズーム機能の長焦点域においては、わずかな手ブレ等が影響して、主要被写体１０１をファインダ画像内から見失ってしまうことがある。

そこで、本実施形態のカメラ１においては、ファインダ画像中における主要被写体１０１の位置を常に把握し得るようなターゲットマークを表示させると共に、ファインダ画像として連続的に表示されるライブビュー画像の各フレーム画像と、対応する理想画像とを比較する画像比較処理を行なって、ズーミングの実行中に生じた手ブレ等に起因するカメラ１（ファインダ画像）のずれを判定し、そのずれ量やずれ方向等の視覚的な情報を同ファインダ画像中に表示して、撮影者に手ブレ等の発生を知らせる手段を有している。

図５は、本実施形態のカメラ１において、ズーミング実行中にファインダ画像にずれが生じた場合のようすを説明する図である。このうち、図５（Ａ）は、ズーミング実行中のある時点におけるファインダ画像（図３の枠５０に相当する）を示し、この状態から長焦点域へのズーミングを行なった場合のファインダ画像の変化を点線で示している。この場合において、ファインダ画像中には、水平線４０ａ及び垂直線４０ｂからなるターゲットマークＴ１が表示される。ターゲットマークＴ１は、主要被写体１０１のある付近を交点とするように、即ち主要被写体１０１に照準を合わせた形態で表示される。ターゲットマークＴ１は、例えばカメラ１の手ブレ等によるファインダ画像内の主要被写体１０１の像移動、若しくは主要被写体１０１が動体である場合における実際の移動に伴うファインダ画像内での像移動に従って、その主要被写体１０１をファインダ画像内において追跡移動する。

図５（Ｂ）は、図５（Ａ）の点線枠５１で示すファインダ画像が表示部１８の表示パネルに拡大表示されている状態を示す図である。この時点におけるファインダ画像としては理想的な画像枠５１内の理想画像が表示されている。同時にターゲットマークＴ１の交点、即ち主要被写体１０１はファインダ画像内における略中央部に配置された状態にある。

図５（Ｃ）は、図５（Ｂ）の状態において手ブレ等が生じた場合のファインダ画像を例示し、これに理想画像を重ねて示している。なお、図５（Ｃ）で示すファインダ画像は、図４（Ａ）の点線枠５１ａ，図４（Ｂ）に対応している。図５（Ｂ）の状態で手ブレ等が生じて、例えば図５に示す矢印Ｙ１方向に（上方に）カメラ１の向きがずれた場合を想定する。このとき、図５（Ｂ）のファインダ画像は、符号５４で示すような位置変化が生じることになる。ここで、図５（Ｃ）の領域５４ａ＋５４ｃで示される枠領域は、手ブレ等が生じなかった場合の理想画像である。この理想画像に対して、手ブレ等に起因してカメラ１の向きに符号５４で示す変化が生じると、手ブレ等が生じた場合のファインダ画像は、図５（Ｃ）の領域５４ａ＋５４ｂの枠領域で示す範囲となる。ここで、領域５４ａ＋５４ｂで示されるファインダ画像を手ブレ画像というものとする。なお、領域５４ａは主要被写体１０１を含む画像領域である。また、領域５４ｂは、手ブレ等に伴って余分に表示される画像領域である。つまり、領域５４ｂは、理想画像に対して本来表示されるべきではない領域であり、また、理想画像と手ブレ画像との差異領域である。そして、領域５４ｃは、手ブレ等が伴って理想画像のうちの表示されなくなる領域である。つまり、領域５４ｃは、理想画像において本来表示されるべき領域である。

また、図５（Ｃ）の手ブレ画像（５４ａ＋５４ｂ）においては、ターゲットマークＴ１の交点（即ち主要被写体１０１）は、略中央部から下方寄りにずれていることがファインダ画像を見るだけでわかる。さらに、本実施形態のカメラ１においては、図５（Ｃ）の手ブレ画像（ファインダ画像）では、余分となる差異領域５４ｂの半透明表示若しくは暗転表示等（図５（Ｃ）においては領域５４ｂを点線ハッチングで表記している）の補助表示を行なって、当該領域５４ｂと、その他の領域５４ａとを一目で判別できるように明確な表示を行なっている。これらに加えて、さらにターゲットマークＴ１の表示、例えば線の太さや表示色等をずれの状況に応じて変化させる等によって、手ブレ等の発生を告知するようにすることができる。図５（Ｃ）に示す例では、ターゲットマークＴ１の表示を、図５（Ｂ）の状態に比べて若干太く表示させている。この場合において、ターゲットマークＴ１のうち、手ブレ等の生じている方向のマーク、即ち図５（Ｃ）の例では水平線４０ａのみを太線表示としている。

このように、本実施形態のカメラ１においては、ファインダ画像を見るだけで、主要被写体１０１に対してカメラ１の向きがずれていることが判る。これと同時に、カメラ１の向きのずれ方向やずれ量も容易に判別できる。したがって、撮影者は、主要被写体１０１が略中央部分（若しくは所望の位置）に配置されるような理想画像となるように、カメラ１の向きを容易に修正することができる。ズーミングは光学ズームでも電子ズームでもよく、この観察範囲、領域の切り換えを観察画角変更という言葉で表せば、電子的な望遠鏡のような画像表示機器などにも応用可能なことは明らかである。つまり、観察画角を変更して画像取得可能な画像表示機器において、画角を狭くする際の理想的な画角変化画像を予想して生成した複数の理想画像データを作成する理想画像作成部と、上記理想画像と、画角変更操作に基いて取得された画像とを逐次比較する画像比較部と、をさらに具備すればこの発明は応用可能である。そして、上記画像比較部は、画像比較処理の結果に基いて理想画像と取得画像との差異領域を判別し、上記差異領域を上記補助表示として視認可能に表示する表示制御部があれば、図４、図５で説明したことは達成可能である。視認可能表示は、黒や半透明ではなく、枠と区別できるように、明らかに被写体とは異なる色にしてもよい。また、この部分にガイド表示を行ってもよい。

図５（Ｄ）は、図５（Ｃ）の状態からさらにずれが生じた場合のファインダ画像の例を示している。なお、図５（Ｄ）で示すファインダ画像は、図４（Ａ）の点線枠５２ａ，図４（Ｃ）に対応している。図５（Ｄ）の差異領域５４ｂｂは、図５（Ｃ）の状態に比べて広くなっている（領域５４ｂ＜領域５４ｂｂ）。つまり、図５（Ｄ）の状態は図５（Ｃ）の状態に比べてカメラ１の向きのずれ量が増加していることを示している。これに伴って、図５（Ｄ）の領域５４ａａは、図５（Ｃ）の領域５４ａに比べてその範囲が狭まっている（領域５４ａ＞領域５４ａａ）。この場合にも、差異領域５４ｂｂを半透明表示若しくは暗転表示等の補助表示によって明確化すると共に、主要被写体１０１に照準を合わせたターゲットマークＴ１を合わせて表示している。

図５（Ｅ）は、図５（Ｄ）の状態からさらにずれが生じた場合のファインダ画像の例を示している。なお、図５（Ｅ）で示すファインダ画像は、図４（Ａ）の点線枠５３ａ，図４（Ｄ）に対応している。つまり、ファインダ画像から主要被写体１０１を完全に見失った状態を示している。図５（Ｅ）の差異領域５４ｂｂｂは、図５（Ｄ）の状態に比べて広くなっていて（領域５４ｂｂ＜領域５４ｂｂｂ）、ファインダ画像の殆どを差異領域５４ｂｂｂが占めている。本実施形態のカメラ１においては、このような状況になったときには、図５（Ｅ）に示すように、差異領域５４ｂｂｂを半透明表示若しくは暗転表示等の補助表示を行なう。これに加えて、ファインダ画像の略中央部近傍には、予め一時的に記録しておいた基礎画像を所定サイズに縮小しアイコン化した画像を表示させ、加えてずれ方向を明示する矢印アイコン５６等の補助表示を表示させる。この矢印アイコン５６は、その矢印の示す方向の表示パネルによる表示範囲外に、主要被写体１０１が存在していることを指し示す指標である。カメラ１の向きのずれ量に応じて、矢印アイコン５６の大きさを変化させるような表示制御を行なうようにしてもよい。

このように本実施形態のカメラ１は、撮影動作時に表示部１８に表示される画像（ファインダ画像）に、所定の条件（例えば顔検出機能等）に基いて検出された主要被写体１０１を交点とする水平垂直線４０ａ，４０ｂからなるターゲットマークＴ１を追跡表示させると共に、ズーミング実行中に手ブレ等が生じてカメラ１の向きが主要被写体１０１からずれた場合（ファインダ画像が理想画像に対してずれが生じた場合）には、表示部１８のファインダ画像に、理想画像に対するずれ領域（５４ｂ，５４ｂｂ，５４ｂｂｂ）を明確に表わすことのできる補助表示（半透明表示等）を行なうようにしている。したがって、撮影者は、通常の場合必ず行なわれる行為、即ちファインダ画像を観察するという行為に伴って、主要被写体１０１に対するカメラ１の向きのずれ方向やずれ量を容易に知ることができる。したがって、高倍率ズーム機能を用いたズーミングを行なった場合に、手ブレ等に起因するカメラ１の向きのずれが生じても、また、たとえファインダ画像内から主要被写体１０１を完全に見失ったとしても、カメラ１の向きの修正を確実に実行し、ファインダ画像の略中央部分、若しくはファインダ画像の表示範囲内の所望の位置に、主要被写体１０１を確実に配置することができ、よって理想的な画像を撮影することができる。

次に、上述したようなファインダ画像の表示制御等の作用を実現するための処理シーケンスを、図６のフローチャートを用いて以下に説明する。図６は、本実施形態の撮影機器（カメラ）の撮影モード時の処理シーケンスを示すフローチャートである。

まず、本実施形態のカメラ１が電源オン状態とされて起動している状態にあり、かつ動作モードが撮影モードに設定されている状態にあるものとする。

この状態にあるとき、ステップＳ１０１において、信号処理制御部１１は、撮像素子１３及びレンズ２６等からなる撮像部，表示部１８等を制御してライブビュー画像表示処理を実行する。

続いて、ステップＳ１０２において、信号処理制御部１１は、操作部１５若しくはタッチパネル１８ｂ等からの指示信号を監視すると共に、ズーム判定部１１ａによる判定結果等に基いて、短焦点（広角）側から長焦点（望遠）側へのズーム操作（望遠側ズーム操作という）が行なわれたか否かの確認を行なう。この時点において望遠側ズーム操作が行われる場合は、次のような状況であると考えられる。即ち、撮影者は、カメラ１を構え、そのレンズ２６の光軸を、撮影を所望する主要被写体に向けていることになる。

このとき、カメラ１のファインダ画像内（表示部１８のライブビュー画像内）には、その主要被写体１０１が捉えられており、かつ主要被写体１０１がファインダ画像の略中央部分近傍に配置された状態となっている。

こうして、撮影者が主要被写体１０１をファインダ画像内に捉えた状態で自動焦点調節操作等の通常の撮影動作に先立って行なう操作を行なうと、ピントが合った瞬間に主要被写体１０１に対する被写体検出部（顔検出部３１等）において顔，色，パターン検出等が行われ、主要被写体１０１として判別するのと同時に、その主要被写体１０１を自動的に動体追尾する制御がなされる。このような動作の流れによって主要被写体１０１が設定される。したがって、主要被写体１０１を設定する手段であり主要被写体設定部としては、例えば被写体検出部（３１）や自動焦点調節動作を実行するピント制御部（２６ｂ）等が含まれる。

このステップＳ１０２の処理にて、短焦点（広角）側から長焦点（望遠）側へのズーム操作が行なわれたことが確認された場合には、次のステップＳ１０３の処理に進む。また、その旨が確認されない場合には、ステップＳ１２１の処理に進む。

ステップＳ１０３において、信号処理制御部１１は、一時記録部１６に所定の基準画像データが既に記録されているか否かの確認を行なう。この基準画像データは、理想画像作成部１１ｉによって作成された基準画像を表わす画像データである。ここで、基準画像データが未だ記録されていないことが確認された場合には、次のステップＳ１０４の処理に進む。また、基準画像データが記録済みであることが確認された場合には、ステップＳ１０６の処理に進む。

ステップＳ１０４において、信号処理制御部１１の理想画像作成部１１ｉは、表示中のライブビュー画像データ、即ち撮像部からの出力データに基いて、上記ステップＳ１０２の処理にて実行された望遠側ズーム操作の開始時点で設定済みの主要被写体１０１を含む基準画像を記録する基準画像記録処理を実行する。つまり、この基準画像記録処理は、上記ステップＳ１０２の処理の望遠側ズーム操作の開始直前のファインダー画像について、その略中央部分の所定の領域の画像を基準画像として切り取り、その基準画像データを一時記録部１６に一時的に仮記録する処理である。

続いて、ステップＳ１０５において、信号処理制御部１１は、撮像部，表示部１８等を制御して、表示部１８に表示中のライブビュー画像若しくはファインダ画像に対して所定のターゲットマーク表示を行なう表示制御処理を実行する。ここで、ターゲットマークとは、設定された主要被写体（１０１）を表示部１８の表示画面上において明示するためのマーク表示，アイコン表示等である。ターゲットマークを表示させるための表示用画像データ，アイコンデータ等は、例えば記録部１４の一部、若しくはカメラボディ１０内のいずれかの部位に設けられた内蔵メモリ（不図示）等に予め記憶されているものとする。ターゲットマークは、図４の例では符号Ｔで示す枠線表示であり、図５の例では水平垂直線４０ａ，４０ｂからなり、符号Ｔ１で示す二本の直線である。

ステップＳ１０６において、信号処理制御部１１は、通信部１２，２２を介してレンズ制御部２１を制御する。レンズ制御部２１は、ズーム駆動部２４ａを介してズーム制御部２６ａを制御してレンズ２６の長焦点（望遠）側へのズーミングを実行する（望遠側ズーム動作処理）。その後、ステップＳ１０７の処理に進む。

ステップＳ１０７において、信号処理制御部１１の画像比較部１１ｄは、上述のステップＳ１０６の望遠側ズーム動作によるズーム量に応じて都度取得される複数の画像データ（撮像部からの出力データ）と、これら各画像データのそれぞれのズーム量に対応する理想画像とを比較する画像比較処理を行なう。

続いて、ステップＳ１１１において、信号処理制御部１１は、上述のステップＳ１０７の処理による画像比較処理結果に基いて、画像比較が可能であるか否かの確認を行なう。ここで、画像比較が可能であることが確認された場合には、次のステップＳ１１２の処理に進む。また、画像比較が不可能であることが確認された場合には、ステップＳ１１７の処理に進む。

次に、ステップＳ１１２において、信号処理制御部１１は、表示制御部１１ｅを介して表示部１８の制御を行なって、表示部１８において本来見えなくて良い所（上記差異領域；図５（Ｃ）参照）を半透明表示や暗転表示等の補助表示（図５（Ｃ），図５（Ｄ）図５（Ｅ）参照）を行なう。

ここで、カメラ１の向きが大幅にずれてしまって差異領域がファインダ画像の殆どを占めてしまうような状況になった場合には、次のステップＳ１１３において、信号処理制御部１１は、同様に表示制御部１１ｅを介して表示部１８の制御を行なって、表示部１８の上記差異領域（半透明表示部分若しくは暗転表示部分）に、上記ステップＳ１０４の処理にて一時記録部１６に一時記録しておいた仮記録画像、即ち基本画像を重畳表示させる（図５（Ｅ）参照）。

一方、上述のステップＳ１０２の処理にて、短焦点（広角）側から長焦点（望遠）側へのズーム操作が確認されない場合にステップＳ１２１の処理に進むと、このステップＳ１２１において、信号処理制御部１１は、操作部１５若しくはタッチパネル１８ｂ等からの指示信号を監視すると共に、ズーム判定部１１ａによる判定結果等に基いて、長焦点（望遠）側から短焦点（広角）側へのズーム操作が行なわれたか否かの確認を行なう。ここで、長焦点（望遠）側から短焦点（広角）側へのズーム操作が行なわれたことが確認された場合には、次のステップＳ１２２の処理に進む。また、その旨が確認されない場合には、ステップＳ１３１の処理に進む。

ステップＳ１２２において、信号処理制御部１１は、表示制御部１１ｅを介して表示部１８等を制御して、表示部１８に表示中の補助表示、例えば半透明補助表示（図５（Ｃ），図５（Ｄ）参照）や仮記録画像表示（図５（Ｅ）参照）等の表示を終了させ、通常のライブビュー画像のみの表示とする。

続いて、ステップＳ１２３において、信号処理制御部１１は、通信部１２，２２を介してレンズ制御部２１と連繋して、ズーム駆動部２４ａを介してズーム制御部２６ａを制御し、レンズ２６の短焦点（広角）側へのズーミングを実行する。その後、ステップＳ１３１の処理に進む。

そして、ステップＳ１３１において、信号処理制御部１１は、操作部１５若しくはタッチパネル１８ｂ等からの指示信号を監視して、撮影動作を実行するための操作がなされてその旨の指示信号が発生したか否かの確認を行なう。ここで、撮影操作が確認されない場合には、上述のステップＳ１０１の処理に進み、以降の処理を繰り返す。一方、撮影操作が確認された場合には、所定の撮影処理シーケンスへ移行する。なお、本実施形態のカメラ１における撮影処理シーケンスは、従来一般的な形態の撮影機器（カメラ）と同様の処理シーケンスであるものとして、その詳細についての図示及び説明は省略する。

なお、上述のステップＳ１１１の処理にて、画像比較が不可能であると判定される場合とは、例えば上記ステップＳ１０６の処理における望遠側ズーム動作によって実際に取得された画像と、この画像のズーム量に対応する理想画像とが、大幅に異なるような場合、例えばズーミング中にカメラ１の向き等に大きなずれが生じる等に起因して、実際に取得された画像と理想画像とが大きく異なる画像となってしまったような場合や、主要被写体が高速に移動する動体等である場合等が考えられる。このような場合（画像比較不可能な場合）には、上述したように、ステップＳ１１７の処理に進む。

すると、このステップＳ１１７において、信号処理制御部１１は、別の方法での判定処理を実行する。これに続いて、ステップＳ１１８において、信号処理制御部１１は、上記ステップＳ１１７の処理による別方法によって所定の補助表示を行なう。なお、上記ステップＳ１１７，Ｓ１１８の処理（別方法）については、本発明の第２の実施形態として、その詳細を後述するものとする。

以上説明したように上記第１の実施形態によれば、高倍率ズーム機能を備えた撮影機器（カメラ１）において、ファインダ画像（表示部１８のライブビュー画像）内に撮影を所望する主要被写体１０１を設定した後、望遠側ズーム動作を行なうと、カメラ１は、設定した主要被写体１０１を中心とする理想画像を作成し、その理想画像と実際のズーミングに伴って連続的に取得される画像との画像比較を行なって、理想画像に対する実際の画像のずれ量やずれ方向を判別する。そして、カメラ１は、その判別結果に基いて表示部１８のライブビュー画像に重畳させて、カメラ１の向きのずれ量やずれ方向等を明示する補助表示（半透明表示，暗転表示等）を行なう。

このような構成により、撮影者は、この補助表示をガイドとして主要被写体１０１がファインダ画像の略中央部分に配置されるように、カメラ１の向きを修正すれば、容易に主要被写体１０１をファインダ画像内に捉え続けることができる。

また、主要被写体１０１がファインダ画像外にはずれて完全に見失ってしまった場合には、基準画像の表示や矢印アイコン等の補助表示を行うことで、撮影者は、カメラ１の向きの修正方向や修正量等を把握することができる。したがって、撮影者は、極めて容易にファインダ画像内に主要被写体１０１を捉え直すことが容易にできる。

上述の第１の実施形態においては、予め作成した理想画像と、実際に取得した画像とを比較することで、手ブレ等に起因する撮影機器の向き、即ちファインダ画像のずれ量やずれ方向を判別するように構成した。しかしながら、画像比較処理によってはファインダ画像のずれを判別することができない場合がある（例えばずれが大きかったり主要被写体が動体である場合等；上述の図６のフローチャートのステップＳ１１１参照）。そのような場合には、上述の第１の実施形態における図６のフローチャートにて説明したように、別の方法での判定処理を行ない（図６ステップＳ１１７）、別方法による補助表示を行なう（図６ステップＳ１１８）。この別方法の判定処理，補助表示を、次の第２の実施形態として説明する。

［第２の実施形態］
本発明の第２の実施形態の撮影機器の基本的な構成は、上述の第１の実施形態と略同様であって、その制御シーケンスを若干異ならせたものである。したがって、上述の第１の実施形態と同様の構成については、同じ符号を附してその詳細説明を省略し、異なる部分についてのみ以下に説明する。

図７〜図１８は、本発明の第２の実施形態を示す図である。このうち図７は、本実施形態の撮影機器（カメラ）を主要被写体に向けた場合に撮影機器（カメラ）の垂直方向の姿勢を説明する図である。図８は、図７の状態にある撮影機器（カメラ）の表示部に表示されるファインダ画面を示す図である。図９は、本実施形態の撮影機器（カメラ）を主要被写体に向けた場合に撮影機器（カメラ）の水平方向の姿勢を説明する図である。図１０は、図９の状態にある撮影機器（カメラ）の表示部に表示されるファインダ画面を示す図である。

図１１は、本実施形態の撮影機器（カメラ）の撮影モード時の処理シーケンスを示すフローチャートである。図１２は、図１１の処理シーケンス中におけるターゲット選択処理サブルーチン（図１１のステップＳ２００）のフローチャートである。図１３は、図１１の処理シーケンス中におけるターゲット座標算出／予測処理サブルーチン（図１１のステップＳ３００）のフローチャートである。図１４は、図１１の処理シーケンス中におけるアシスト画面背景用静止画保存処理サブルーチン（図１１のステップＳ４００）のフローチャートである。図１５は、図１１の処理シーケンス中におけるアシスト表示処理サブルーチン（図１１のステップＳ５００）のフローチャートである。

図１６〜図１９は、本実施形態の撮影機器（カメラ）におけるファインダ画像を示す図である。このうち図１６は、ズームレンズを短焦点側に設定したときのファインダ画像を例示する図である。図１７は、ズームレンズを長焦点側に設定したときのファインダ画像を例示する図であって、表示部の表示範囲から主要被写体を見失ってしまった状態において、サブ画面に全体イメージを表示している状態を示している。図１８は、ズームレンズを長焦点側に設定したときのファインダ画像を例示する図であって、表示部の表示範囲から主要被写体を見失ってしまった状態を示している。図１９は、ズームレンズを長焦点側に設定したときのファインダ画像を例示する図であって、表示部の表示範囲内に主要被写体を捉えている状態を示している。図２０，図２１は、ズームレンズを長焦点側に設定したときのファインダ画像を例示する図であって、表示部の表示範囲から主要被写体を見失ってしまった状態におけるアシスト表示（補助表示）の例を示している。このうち、図２０は、ファインダ画像に表示し得る領域に対して、比較的近い位置に主要被写体が存在する場合の補助矢印アイコンの形態を示す図である。図２１は、ファインダ画像に表示し得る領域に対して、主要被写体が遠くに存在する場合の補助矢印アイコンの形態を示す図である。

本実施形態においては、ファインダ画像内における主要被写体の位置情報として、撮影機器（カメラ）を基準とした座標情報を演算により取得して持つようにしている。つまり、この座標情報は、例えば撮影機器（カメラ）の姿勢（水平状態），向き（方位）を基準として、その基準状態からの傾き角度等の情報である。

本実施形態のカメラ１においては、撮影者によってファインダ画像内に主要被写体が設定されると、その主要被写体の画像内における位置が演算により算出される。この場合における主要被写体の設定は、上述の第１の実施形態と同様に、次のように行われる。

即ち、
カメラ１のファインダ画像内（表示部１８のライブビュー画像内）に撮影を所望する主要被写体を捉える。
その主要被写体をファインダ画像の略中央部分近傍に配置するようにカメラ１の姿勢を維持し続ける。
主要被写体をファインダ画像内に捉えた状態で合焦動作等の通常の撮影動作に先立って行なう操作を行なう。
ピントが合った瞬間に主要被写体に対する顔，色，パターン検出等が行われて主要被写体が判別される。このとき同時に、該主要被写体の動体追尾制御が自動的に開始される。

このようにして主要被写体が設定されると、続いて、主要被写体の画像内における位置を、カメラ１の光軸Ｏが向いている仰角や方位等に基いて算出する演算処理が実行される。この場合における主要被写体位置を算出する演算処理は、例えばカメラ１の信号処理制御部１１内の座標判定部１１ｈ等が主に行なう。主要被写体位置算出演算処理は、次のように行われる。

ここで、カメラ１が主要被写体１０１に向けられている状態として、図７，図９に示す状態を例示する。また、カメラ１がこのような状態にある時の表示部１８のファインダ画像は、図８，図１０に示すようになる。このような状況にあるときのファインダ画像内における主要被写体（ターゲット）位置の算出処理の流れを以下に例示する。

まず、矩形状のファインダ画像内における主要被写体１０１の垂直方向（Ｙ方向）の位置Ｙｔを求める（図７，図８参照）。ここで図７，図８に示す符号は次の通りである。
Ｏ：撮影光学系（レンズ２６）の光軸線
Ｈ：水平線
Ｇｖ：画面垂直方向の画角端（図７では上端のみを示す）
Ｓｖ：撮影光学系（レンズ２６）と主要被写体１０１とを結んだ仮想線
Ｙ：ファインダ画像の垂直方向の幅寸法（ピクセル）
Ｙｔ：光軸線から主要被写体までの垂直方向の離間距離（ピクセル）
θａｖ：撮影光学系（レンズ）２６の垂直方向の画角の２分の１
θａｖ＝１８０／π×２ａｔａｎ（Ｙ／２ｆ）／２ ［ｄｅｇ．］
ここで、ｆ＝焦点距離である。
θｂｖ：光軸線Ｏと主要被写体１０１の位置を示す仮想線Ｓｖとのなす角（被写体角度）
θｂｖ＝θａｖ×（Ｙｔ／（Ｙ／２））
θｃｖ：水平線Ｈと光軸線Ｏとのなす角度。このθｃｖは加速度角速度センサ１７の検出結果より取得される。なお、近年の加速度センサ，角速度センサ等は、被写体までの距離が１０ｍ程度の場合、角度約０．１度程度の精度を有するものが実用化されており、鳥程度の大きさの被写体の位置を特定するのには充分な精度である。
θｄｖ：水平線と被写体位置とのなす角（垂直方向）
θｄｖ＝θｂｖ＋θｃｖ
このようにして、ファインダ画面内における主要被写体１０１の垂直方向の位置が算出される。

次に、矩形状のファインダ画像内における主要被写体１０１の水平方向（Ｘ方向）の位置Ｘｔを求める（図９，図１０参照）。ここで、図９，図１０に示す符号は次の通りである。なお、図７，図８と同じ符号の説明は省略する。また、平面上で表わす方位角は、北（Ｎ）を基準（０度）として時計周りに、東（Ｅ）を９０度、南（Ｓ）を１８０度、西（Ｗ）を２７０度とする角度で表わすのが一般的である。本実施形態においても、従来一般的な形態に準じる。即ち、
Ｎ：方位角の基準（０度）であって北（Ｎ）を示す
Ｅ：方位角の基準から時計周りに９０度の位置であって東（Ｅ）を示す
Ｓ：方位角の基準から時計周りに１８０度の位置であって南（Ｓ）を示す
Ｗ：方位角の基準から時計周りに２７０度の位置であって西（Ｗ）を示す
Ｇｈ：画面水平方向の画角端（図９では左端のみを示す）
Ｓｈ：撮影光学系（レンズ２６）と主要被写体１０１とを結んだ仮想線
Ｘ：ファインダ画像の水平方向の幅寸法（ピクセル）
Ｘｔ：光軸線から主要被写体までの水平方向の離間距離（ピクセル）
θａｈ：撮影光学系（レンズ）２６の水平方向の画角の２分の１
θａｈ＝１８０／π×２ａｔａｎ（Ｘ／２ｆ）／２ ［ｄｅｇ．］
ここで、ｆ＝焦点距離である。
θｂｈ：光軸線Ｏと主要被写体１０１の位置を示す仮想線Ｓｈとのなす角（被写体角度）
θｂｈ＝θａｈ×（Ｘｔ／（Ｘ／２））
θｃｈ：方位角Ｏ度線Ｎと光軸線Ｏとのなす角度。このθｃｈは方位センサ３２の検出結果より取得される。
θｄｈ：方位角０度線Ｎと被写体位置とのなす角（水平方向）
θｄｈ＝θｂｈ＋θｃｈ

次に、本実施形態の撮影機器（カメラ）を用いた撮影動作時において、表示部に表示されるファインダ画像の表示形態の概念を、図１６〜図１９を用いて説明する。

本実施形態においては、ズーミング経過中の表示部１８のライブビュー画像（ファインダ画像）内の一部の領域に補助的な小画面を表示させるようにしている。この補助的小画面をアシスト画面というものとする。このアシスト画面には、例えばズーミングを開始する直前の画像、即ちレンズ２６の短焦点（広角）側に設定しているときに、上記理想画像作成部１１ｉ（図１参照）によって作成された静止画像等を表示させるようにする。

例えば、図１６は、ズームレンズを短焦点側に設定したときの表示部１８の表示領域１８ａ（ファインダ画像）を例示するものである。図１６において、撮影を所望する主要被写体を符号１０１で示し、この場合は飛ぶ鳥をターゲット（主要被写体）とするものとする。この例示においては、主要被写体１０１はファインダ画像内を移動している。図１６のファインダ画像内においては、主要被写体１０１が所定の時間後に移動した様子を符号１０１ｘで示している。

この図１６に示す状態（短焦点状態）から、長焦点側へのズーミングを行なうと、本実施形態の撮影機器（カメラ１）においては、その表示部１８の表示領域１８ａ（ファインダ画像）内には、図１７に示すように、ライブビュー画像内の所定の領域にアシスト画面枠６０が表示される。このアシスト画面６０内には、予め主要被写体を設定した後、ズーミングを行なう直前の画像６０ａが表示されるようになっている。この画像６０ａは、ズーミング前の状態、即ちレンズ２６が短焦点側に設定されている状態で取得された静止画像である。本実施形態においては、この画像６０ａをズーミング前に予め一時記録するようにしている。なお、この画像６０ａは、上述したようにアシスト画面枠６０内に表示する画像であることからアシスト画面背景画像というものとする。

また、この画像６０ａには、その略中央部近傍に枠表示６１が表示されている。この枠表示６１は、アシスト画面背景画像６０ａの画角に対して現在設定されているレンズ２６の焦点距離に対応する画角を示す指標枠である。したがって、図１７に示す例では、表示部１８の表示領域１８ａ内には、現在リアルタイムで取得中のライブビュー画像が表示される（主要被写体の一部のみが表示されている）と共に、アシスト画面枠６０が表示されている。この場合においては、アシスト画面枠６０内には一時記録済みのアシスト画面背景画像６０ａがアシスト画面枠６０の全領域を使って表示されていると共に、これに重畳させて、現在設定されている焦点距離に対応する枠表示６１が合わせて表示されている。

一方、図１８は、長焦点側にズーミングしたときのファインダ画像の別の状態（アシスト表示）を例示する図である。図１８の表示例では、表示部１８の表示範囲内から主要被写体１０１がはずれた状態となっている。つまり、図１８で示す状態は、カメラ１の向きが主要被写体からずれてしまい、ファインダ画像内から主要被写体を見失った状態を示している。この状態となったときには、アシスト画面枠６０には、外縁周囲に余白部を持たせて縮小されたアシスト画面背景画像６０ａと、そのアシスト画面背景画像６０ａ内の所定領域に現在のズーム設定（焦点距離）に対応する枠表示６１とが表示されており、さらにアシスト画面背景画像６０ａの外縁周囲余白部に、動体予測部１１ｆによって予測される位置に主要被写体を表わすアイコン画像６０ｂが表示されている。なお、主要被写体を表わすアイコン画像６０ｂは、例えば主要被写体が設定されたときに、撮像素子１３により取得される撮像画像データに基いて作成される。また、記録部１４等に予め用意されたアイコン画像集の中から、撮像素子１３により取得される撮像画像データに基いて顔検出部３１によって検出された顔，動植物等の被写体に対応するアイコン画像を読み出して使用するようにしてもよい。

このようなアシスト画面枠６０をライブビュー画像（ファインダ画像）の一部として表示させることにより、本実施形態の撮影機器（カメラ１）においては、見失った主要被写体のおおまかな予測位置を把握することができるようなアシスト表示がなされる。したがって、撮影者は、主要被写体の予測位置がアシスト画面枠６０内に含まれるようにカメラ１の向きを修正するだけで、主要被写体をライブビュー画像（ファインダ画像）内に捉え直すことができるようになる。

なお、図１９は、長焦点側にズーミングしたときのファインダ画像の別の状態を例示する図である。この例では、表示部１８の表示領域１８ａ内に主要被写体が捉えられている状態を示している。

図２０，図２１は、長焦点側にズーミングしたときのファインダ画像のさらに別の状態（アシスト表示）を例示する図である。

図２０は、主要被写体１０１がファインダ画像の表示範囲内からはずれた直後の状態を示している。また、図２１は、図２０の状態の後の状況、即ち主要被写体１０１がさらにファインダ画像の表示範囲内から遠ざかった状態を示している。

このような状況となったとき、本実施形態の撮影機器（カメラ１）においては、表示部１８のファインダ画像内において、主要被写体１０１の画面外におけるおおまかな位置を指し示すための指標として矢印アイコン６３ａ，６３ｂを表示する。

図２０の例では、主要被写体１０１が画面右上隅近傍から画面外に外れていく状況である。このとき、主要被写体１０１の存在を示すための矢印アイコン６３ａは、その主要被写体１０１が退出した近傍、即ちファインダ画像の画面右上隅近傍に表示される。

図２１の例では、図２０の状態から時間が経過して、主要被写体１０１はファインダ画面から遠ざかった状況である。このとき、主要被写体１０１の存在を示すための矢印アイコン６３ｂは、上記矢印アイコン６３ａと略位置に表示される。この場合において、図２０の矢印アイコン６３ａに比べて、図２１の矢印アイコン６３ｂの方を、小サイズで表示している。ここで、主要被写体１０１が画面外へ外れた後、ファインダ画像の表示範囲から遠ざかった度合いを、矢印アイコン（６３ａ，６３ｂ）のサイズの変化で表わすようにした例である。したがって、例えば、表示部１８のファインダ画像の表示範囲内から主要被写体１０１を見失ってしまったような状況下において、上記矢印アイコンのサイズが大きければ、主要被写体１０１が近傍にあることがわかる。そこで撮影者は矢印アイコンの指し示す方向にカメラ１を向け直せば、再度ファインダ画像の表示範囲内に主要被写体１０１を捉え直すことができる可能性が高い。一方、上記矢印アイコンのサイズが小さい場合には、主要被写体１０１が遠くにあることを示している。この場合には、撮影者は矢印アイコンの指し示す方向に、大きくカメラ１を振る必要があることがわかる。そうすれば、再度ファインダ画像の表示範囲内に主要被写体１０１を捉え直すことができる可能性がある。

上記図２０，図２１に示す例では、矢印アイコン（６３ａ，６３ｂ）のサイズを、主要被写体が遠ざかる程、小さく表示するようにした。この場合には、矢印アイコンの大きさ変化を大から小へと変位させ、主要被写体の遠ざかる距離に比例するように設定する。

この例に限ることはなく、ほかの例としては、例えば主要被写体が遠ざかる程、矢印アイコンが大きく表示されるようにしてもよい。この場合には、矢印アイコンの大きさを、主要被写体を捉え直すのに必要なカメラの向きの修正量に比例させるよう設定する。いずれの場合にも、画面画に外れた主要被写体の位置情報に応じて、矢印アイコンのサイズを変化させて表示することで、撮影者は直感的に操作することができる。

次に、本実施形態の撮影機器（カメラ）における撮影動作の処理シーケンスを、図１１のフローチャートを用いて以下に説明する。カメラ１が電源オン状態とされて起動している状態にあるものとする。

この状態にあるとき、ステップＳ１５０において、信号処理制御部１１は、現在設定されている動作モードが撮影モードであるか否かの確認を行なう。ここで、撮影モードに設定されていることが確認された場合には、次のステップＳ１５１の処理に進む。また、撮影モード以外に設定されていることが確認された場合には、ステップＳ１８１の処理に進む。

ステップＳ１８１において、信号処理制御部１１は、現在設定されている動作モードが再生モードであるか否かの確認を行なう。ここで、再生モードに設定されていることが確認された場合には、所定の再生処理シーケンスへ移行する。なお、本実施形態のカメラ１における再生処理シーケンスは、従来一般的な形態の撮影機器（カメラ）と同様の処理シーケンスであるものとして、その詳細についての図示及び説明は省略する。一方、再生モード以外に設定されていることが確認された場合は、他の動作モードへ移行するようにしてもよいが、それらの他の動作モードについては、本発明に直接関係しないので、その詳細説明及び図示は省略し、図１１のフローチャートにおいては、簡易的に、上述のステップＳ１５０の処理に戻ることとしている。

上述のステップＳ１５０の処理にて撮影モードの設定が確認されて、ステップＳ１５１の処理に進むと、このステップＳ１５１において、信号処理制御部１１は、撮像素子１３及びレンズ２６等からなる撮像部等を制御して撮像動作処理を開始する。なお、詳細は省略するが、この撮像動作処理を開始するトリガーとしては、例えば撮像動作を開始するための操作部材であるシャッタレリーズ操作の第１段操作、即ち第１（１ｓｔ．：ファースト）レリーズ操作、若しくはタッチパネル１８ｂの任意の位置へのタッチ操作等である。したがって、実際には撮影者がこれら所定の第１レリーズ操作を行なうことで、撮像動作処理が開始する。

ステップＳ１５２において、信号処理制御部１１は、自動露出（ＡＥ；Auto Exposure）制御処理を開始する。

続いて、ステップＳ１５３において、信号処理制御部１１は、撮像部からの出力を受けて測光を行ない、その測光結果に基いて所定の露出演算処理を実行する。
ステップＳ１５４において、信号処理制御部１１は、ＡＥ処理が完了したか否か、即ち安定した露出値が設定されたか否かの確認を行なう。ここで、ＡＥ処理が完了するまで、上記ステップＳ１５０〜Ｓ１５４と同様の処理を繰り返し、ＡＥ処理が完了したことが確認された場合には、次のステップＳ１５５の処理に進む。

ステップＳ１５５において、信号処理制御部１１は、自動焦点調節（ＡＦ；Auto Focus）制御処理を開始する。なお、このＡＦ制御処理を開始するトリガーとしては、例えばタッチパネル１８ｂのタッチ操作等である。つまり、撮影者が、表示部１８に表示中のライブビュー画像を見ながら所望の被写体に対応する位置をタッチパネル１８ｂを介してタッチ操作することによってＡＦ処理制御処理は開始する。

続いて、ステップＳ１５６において、信号処理制御部１１は、撮像部からの出力を受けて、通信部１２，２２を介してレンズ制御部２１と連繋して、フォーカス駆動部２４ｂを介してピント制御部２６ｂを制御し、ピント位置制御処理を実行する。

次に、ステップＳ１５７において、信号処理制御部１１は、撮像部からの出力（取得した画像データ）に基く所定の画像処理を実行する。

ステップＳ１５８において、信号処理制御部１１は、顔検出部３１からの出力に基いて被写体の顔，色，パターン検出等を行なう顔検出処理を実行する。

続いて、ステップＳ１５９において、信号処理制御部１１は、撮像素子１３によって連続的に取得される複数の画像データに基いて、被写体のフレーム間における動きベクトルを算出する像移動量算出処理を実行する。この像移動量算出処理は、例えば動体予測部１１ｆ等において行われる。

ステップＳ１６０において、信号処理制御部１１は、撮像部，表示部１８等を制御してライブビュー画像表示処理を実行する。その後、ステップＳ１６１の処理に進む。

ステップＳ１６１において、信号処理制御部１１は、現在設定されている動作モードが撮影モードのうちの動画撮影を行うための動画モードであるか否かの確認を行なう。ここで、動画モードに設定されていることが確認された場合には、ステップＳ１６２の処理に進み、このステップＳ１６２において、所定の動画記録処理を実行する。また、動画モードに設定されていない場合には、ステップＳ２００の処理に進む。

なお、上述のステップＳ１５１〜Ｓ１６０，Ｓ１６２の各処理における個々の具体的な処理は、従来一般のカメラにおいて広く普及している一般的な処理が行われるものとして、その詳細説明は省略する。

次に、ステップＳ２００において、信号処理制御部１１は、ターゲット選択処理を実行する。図１２にターゲット選択処理サブルーチンのフローチャートを示す。なお、ここで、ターゲットとは、撮影を所望する主要被写体をいうものとする。

図１２のターゲット選択処理シーケンスが実行されると、まず、ステップＳ２０１において、信号処理制御部１１は、撮像素子１３から出力され連続的に生成されるライブビュー画像データに基いて、ファインダ画像内に所望のターゲット（主要被写体１０１）が存在するか否かの確認を行なう。ここで、ファインダ画像内に所望のターゲット（主要被写体１０１）が存在しない場合には、次のステップＳ２０２の処理に進む。また、ファインダ画像内に所望のターゲット（主要被写体１０１）が存在することが確認された場合には、ステップＳ２１０の処理に進む。

ステップＳ２０２において、信号処理制御部１１は、例えば上述の図１１のステップＳ１５１，Ｓ１５５等の処理においてタッチ操作がなされたか否かの確認を行なう。ここで、タッチ操作が確認されない場合には、次のステップＳ２０３の処理に進む。また、所定のタッチ操作が確認された場合には、ステップＳ２０８の処理に進む。

続いて、ステップＳ２０８において、信号処理制御部１１は、上述のステップＳ２０２において確認されたタッチ操作等の指示を受けて、タッチ操作が行なわれた位置座標（タッチ位置座標）にある被写体を、ターゲット（主要被写体）であると判断し、これをターゲットとして選択する。その後、ステップＳ２１０の処理に進む。

一方、ステップＳ２０３において、信号処理制御部１１は、上述の図１１のステップＳ１５８の顔検出処理の結果に基いて、ファインダ画像内に顔（若しくは所定の色，パターン等）が検出されたか否かの確認を行なう。ここで、ファインダ画像内に顔等が検出されていない場合には、次のステップＳ２０４の処理に進む。また、ファインダ画像内に顔等が検出された場合には、ステップＳ２０７の処理に進む。

ステップＳ２０７において、信号処理制御部１１は、上記顔検出処理の結果、検出されたファインダ画像内の顔等を含む画像領域をターゲット（主要被写体）であると判断し、これをターゲットとして選択する。その後、ステップＳ２１０の処理に進む。

一方、ステップＳ２０４において、信号処理制御部１１は、上述の図１１のステップＳ１５９の像移動量算出処理の結果に基いて、ファインダ画像内に動体が存在するか否かの確認を行なう。ここで、ファインダ画像内に動体が確認されない場合には、次のステップＳ２０５の処理に進む。また、ファインダ画像内に動体が確認された場合には、ステップＳ２０６の処理に進む。

ステップＳ２０６において、信号処理制御部１１は、確認されたファインダ画像内の動体を含む画像領域をターゲット（主要被写体）であると判断し、これをターゲットとして選択する。その後、ステップＳ２１０の処理に進む。

一方、ステップＳ２０５において、信号処理制御部１１は、上述の図１１のステップＳ１５５等処理にてＡＦ選択エリアの選択設定がされているか否かの確認を行なう。ここで、ＡＦ選択エリアの設定が確認されない場合には、一連の処理を終了し、図１１の元の処理シーケンスに戻る（リターン）。また、ＡＦ選択エリアの設定が確認された場合には、ステップＳ２０９の処理に進む。

ステップＳ２０９において、信号処理制御部１１は、ファインダ画像内に設定されたＡＦ選択エリアを含む画像領域をターゲット（主要被写体）であると判断し、これをターゲットとして選択する。その後、ステップＳ２１０の処理に進む。

ステップＳ２１０において、信号処理制御部１１は、上述のステップＳ２０６〜Ｓ２０９の各処理にて選択設定されたターゲット（主要被写体）を含む画像の情報を抽出する処理を実行する。この情報抽出処理は、例えば画像処理部１１ｂ等において行われる。

続いて、ステップＳ２１１において、信号処理制御部１１は、上述のステップＳ２１０の処理にて抽出されたターゲット画像をアイコン化するターゲット画像アイコン生成処理を実行する。その後、一連の処理を終了し、図１１の元の処理シーケンスに戻る（リターン）。そして、図１１に戻ると、次のステップＳ３００の処理に進む。

なお、上述のステップＳ２０１〜Ｓ２０５の各処理のうちいずれの処理によってもターゲットの選択に失敗して、図１１の処理シーケンスに戻る（リターンする）場合は、例えば手ブレ等が大きかったり、ファインダ画像内における被写体の移動量が大きい等の起因して、主要被写体を捉えることができなかった等の状況が考えられる。したがって、そのような場合は、次のステップＳ３００以降の処理を継続し得ないことから、上述のステップＳ１００の処理に戻る処理シーケンスとしてもよい。

次に、ステップＳ３００において、信号処理制御部１１は、ターゲット座標算出／予測処理を実行する。図１３にターゲット座標算出／予測処理サブルーチンのフローチャートを示す。

図１３のターゲット座標算出／予測処理シーケンスが実行されると、まず、ステップＳ３０１において信号処理制御部１１は、ライブビュー画像内にターゲット（主要被写体）が存在するか否かの確認を行なう。ここで、ターゲット（主要被写体）が存在することが確認された場合には、ステップＳ３０４の処理に進む。また、ターゲット（主要被写体）が存在しない場合には、ステップＳ３０２の処理に進む。

ステップＳ３０２において信号処理制御部１１は、ターゲット（主要被写体）位置情報が複数あるか否かの確認を行なう。ここで、ターゲット（主要被写体）位置情報が複数ある場合には、ステップＳ３０３の処理に進む。また、ターゲット（主要被写体）位置情報が複数ない場合には、一連の処理を終了し、図１１の元の処理シーケンスに戻る（リターン）。

ステップＳ３０３において信号処理制御部１１は、ターゲット位置予測情報を算出する処理を実行する。その後、一連の処理を終了し、図１１の元の処理シーケンスに戻る（リターン）。

一方、上述のステップＳ３０１の処理にて、ターゲット（主要被写体）の存在が確認されてステップＳ３０４の処理に進むと、このステップＳ３０４において信号処理制御部１１は、方位センサ３２からの情報を取得する。ここで取得した情報は、データとして一時記録部１６に一時的に記録される。

次いで、ステップＳ３０５において信号処理制御部１１は、加速度角速度センサ１７からの情報を取得する。ここで取得した情報は、データとして一時記録部１６に一時的に記録される。

続いて、ステップＳ３０６において信号処理制御部１１は、通信部１２，２２を介してレンズ制御部２１との連繋により、レンズ鏡筒２０側から焦点距離情報を取得する。ここで取得した情報は、データとして一時記録部１６に一時的に記録される。

次に、ステップＳ３０７において信号処理制御部１１は、ターゲット位置情報を算出する処理を実行する。このターゲット位置情報算出処理は、例えば上述の図７〜図１０で説明した算出処理を用いる。

続いて、ステップＳ３０８において信号処理制御部１１は、上述のステップＳ３０７の処理にて算出されたターゲット位置情報をデータとして、例えば一時記録部１６に一時的に記録保持する処理を行なう。その後、一連の処理を終了し、図１１の元の処理シーケンスに戻る（リターン）。そして、図１１に戻ると、次のステップＳ４００の処理に進む。

次に、ステップＳ４００において、信号処理制御部１１は、アシスト画面背景用静止画保存処理を実行する。図１４にアシスト画面背景用静止画保存処理のフローチャートを示す。

図１４のアシスト画面背景用静止画保存処理シーケンスが実行されると、まず、ステップＳ４０１において信号処理制御部１１は、アシスト画面背景画像が存在するか否かの確認を行なう。ここで、アシスト画面背景画像が存在しない場合には、ステップＳ４０２の処理に進む。また、アシスト画面背景画像が存在する場合には、ステップＳ４０３の処理に進む。

ステップＳ４０２において、信号処理制御部１１は、確認されたアシスト画面背景画像を静止画像として一時記録部１６に一時的に保存する処理を実行する。その後、一連の処理を終了し、図１１の元の処理シーケンスに戻る（リターン）。

一方、ステップＳ４０３において、信号処理制御部１１は、旧背景画像焦点距離と現在の焦点距離とを比較する処理を行なう。ここで、「旧背景画像焦点距離＞現在の焦点距離」である場合には、ステップＳ４０２の処理に進む。また、「旧背景画像焦点距離≦現在の焦点距離」である場合、即ち長焦点側から短焦点側へ向けてのズーミングである場合には、一連の処理を終了し、図１１の元の処理シーケンスに戻る（リターン）。そして、図１１に戻ると、次のステップＳ５００の処理に進む。

次に、ステップＳ５００において、信号処理制御部１１は、アシスト表示処理を実行する。図１５にアシスト表示処理のフローチャートを示す。

図１５のアシスト表示処理シーケンスが実行されると、まず、ステップＳ５０１において信号処理制御部１１は、撮像部から連続的に出力される画像データに基いて主要被写体（ターゲット）を見失った（ロストした）か否かの確認を行なう。ここで、ターゲットロスト状態が確認されない場合は、図１１の元の処理シーケンスに戻る（リターン）。そして、図１１に戻ると、次のステップＳ１６３の処理に進む。ターゲットロスト状態を確認した場合には、ステップＳ５０２の処理に進む。

ステップＳ５０２において信号処理制御部１１は、現在ズーム動作中であるか否かの確認を行なう。ここで、ズーム動作中であることが確認された場合には、ステップＳ５０６の処理に進む。また、ズーム動作中ではないことが確認された場合には、ステップＳ５０３の処理に進む。

ステップＳ５０３において信号処理制御部１１は、表示制御部１１ｅを介して表示部１８等を制御して、表示中のライブビュー画像内の所定の領域にアシスト画面を表示させ、そのアシスト画面内にアシスト画面背景用静止画を表示させる（図１７符号６０参照）。

次に、ステップＳ５０４において信号処理制御部１１は、現在の予測位置にターゲット画像アイコンを表示させる（図１７符号６０ａ，図１８符号６０ｂ参照）。

続いて、ステップＳ５０５において信号処理制御部１１は、現在のカメラの向いている方向の枠表示を行なう（図１７〜図１９符号６１参照）。その後、図１１の元の処理シーケンスに戻る（リターン）。そして、図１１に戻ると、次のステップＳ１６３の処理に進む。

上述のステップＳ５０２の処理にて、ズーム動作中である場合に、ステップＳ５０６の処理に進むと、このステップＳ５０６において信号処理制御部１１は、アシスト用の矢印アイコンのサイズを算出する。このサイズ算出処理は、動体予測部１１ｆによる出力結果等に基いて演算がなされる。

続いて、ステップＳ５０７において信号処理制御部１１は、アシスト用の矢印アイコンを表示させる制御を行なう。その後、図１１の元の処理シーケンスに戻る（リターン）。そして、図１１に戻ると、次のステップＳ１６３の処理に進む。

図１１に戻って、ステップＳ１６３において、信号処理制御部１１は、操作部１５からの指示信号を監視して、第２（２ｎｄ．：セカンド）レリーズ操作が実行されたか否かの確認を行なう。ここで、第２レリーズ操作が実行されたことが確認された場合には、次のステップＳ１６４の処理に進む。また、第２レリーズ操作の実行が、例えば所定の時間、確認されない場合には、ステップＳ１５０の処理に戻る。

第２レリーズ操作が実行されたことが確認されて、ステップＳ１６３の処理に進むと、このステップＳ１６３において、信号処理制御部１１は、静止画撮影動作処理を実行する。これにより、上記第２レリーズ操作の実行時点における静止画像データが取得され、記録部１４に所定の形態の画像データとして記録された後、上記ステップＳ１５０の処理に戻る。

以上説明したように、上記第２の実施形態によれば、高倍率ズーム機能を備えた撮影機器（カメラ１）において、ファインダ画像（表示部１８のライブビュー画像）内に撮影を所望する主要被写体１０１を設定すると、カメラ１は、設定した主要被写体１０１のファインダ画像内における位置情報を演算により算出し、さらに、その動体予測を行なう。望遠側ズーム動作を行なうと、ライブビュー画像内の所定の領域にアシスト画面枠６０を表示させ、このアシスト画面枠６０内に予め取得済みのアシスト画面背景用静止画を表示させ、そのアシスト画面背景用静止画上に主要被写体を表わすターゲット用アイコンを表示させる。

このような構成により、撮影者は、アシスト画面枠６０内の表示をガイドとして主要被写体１０１がファインダ画像の略中央部分に配置されるように、カメラ１の向きを修正すれば、容易に主要被写体１０１をファインダ画像内に捉え続けることができる。

また、主要被写体１０１がファインダ画像外にはずれて完全に見失ってしまった場合には、アシスト用の矢印アイコン（図２０，図２１符号６３ａ，６３ｂ）を表示させるようにしたので、ファインダ画像から外れた位置にあるべき主要被写体のおおまかな位置を知ることができ、これをガイドとして、撮影者は再度主要被写体１０１をファインダ画像内に捉え直すことが容易にできる。
なお、上記各実施形態においては、ズーミングによる遠距離被写体の拡大について説明したが、顕微鏡などでは近距離対象物についても同様の問題が起こりうるので、例えば対物レンズ入れ変え時などに、こうした補助表示は操作者にとって大変有効になる。

また、本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストリールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮影機器を実現することができる。

本発明は、デジタルカメラ等の撮影機能に特化した電子機器である撮影機器に限られることはなく、高倍率ズーム機能（光学ズーム，電子ズームに関りなく）を備え、かつ撮影機能を備えた他の形態の電子機器、例えば携帯電話，スマートフォン，録音機器，電子手帳，パーソナルコンピュータ，タブレット端末機器，ゲーム機器，携帯テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮影機能付き電子機器にも広く適用することができる。
さらに、撮像素子を用いて画像を取得し、その取得画像を表示機器に表示する機能を有する電子機器、例えば望遠鏡，双眼鏡，顕微鏡等の観察用機器に対しても同様に適用することができる。

１……カメラ，
１０……カメラボディ，
１１……信号処理制御部，
１１ａ……ズーム判定部，
１１ｂ……画像処理部，
１１ｃ……タッチ判定部，
１１ｄ……画像比較部，
１１ｅ……表示制御部，
１１ｆ……動体予測部，
１１ｇ……手ブレ判定部，
１１ｈ……座標判定部，
１１ｉ……理想画像作成部，
１２……ボディ側通信部，
１３……撮像素子，
１４……記録部，
１５……操作部，
１６……一時記録部，
１７……加速度角速度センサ，
１８……表示部，
１８ｂ……タッチパネル，
１９……時計部，
２０……レンズ鏡筒，
２１……レンズ制御部，
２２……レンズ側通信部，
２３……レンズ側操作部，
２４ａ……ズーム駆動部，
２４ｂ……フォーカス駆動部，
２５ａ……ズームレンズ位置検出部，
２５ｂ……フォーカスレンズ位置検出部，
２６……レンズ，
２６ａ……ズーム制御部，
２６ｂ……ピント制御部，
２６ｃ……制御部，
２７……レンズ側記録部，
３０……回動判定部，
３１……顔検出部，
３２……方位センサ

Claims (20)

1. 対象物を狙うための撮像光学系と撮像素子とからなる撮像部と、
   上記撮像部から出力される画像信号を受けて画像を表示する表示部と、
   上記表示部の表示を制御する表示制御部と、
   上記対象物を撮像する画角を変更する画角変更部と、
   上記画角変更部による画角変更の実行前の画角にて取得した画像信号を記憶する画像記憶部と、
   を具備し、
   上記表示制御部は、表示部に表示される画像に重畳させて画像記憶部に記憶された画像信号に基く補助表示制御を行ない、補助表示の画像に重畳させて画像記憶部に記憶された画像信号に対する撮像部により撮像する画角を示す表示制御を行うことを特徴とする画像表示機器。
2. 上記補助表示は、上記画角変更部による画角変更の実行中に行われることを特徴とする請求項１に記載の画像表示機器。
3. 上記表示制御部は、上記画角変更部により設定された画角と、上記画角変更の実行前に取得した画像信号に対応する画角に基づいて上記設定された画角を示す表示を生成することを特徴とする請求項１または請求項２に記載の画像表示機器。
4. 上記撮像部から出力される画像信号に基いて上記対象物を設定する主要被写体設定部を有し、
   上記表示制御部は、上記主要被写体設定部が対象部を設定できなくなった場合に、上記記憶部に記憶された画像を縮小させ外縁周囲に余白部を付加した画像を生成し、上記記憶された画像信号に基づく補助表示に代えて、補助表示とすることを特徴とする請求項１〜請求項３のいずれか一項に記載の画像表示機器。
5. 上記画角変更に基いて、上記主要被写体設定部により設定された主要被写体の位置を演算する主要被写体位置演算部を有し、
   上記主要被写体位置演算部は、上記撮像部の出力に基づき上記設定された主要被写体の位置を予測し、上記余白部に、上記予測される主要被写体の位置を示すアイコン画像を表示することを特徴とする請求項４に記載の画像表示機器。
6. 上記撮像部から出力される画像信号に基いて上記対象物を設定する主要被写体設定部を有し、
   上記表示制御部は、上記主要被写体設定部が、上記対象部が上記画像信号の範囲から退出したと判定する場合に、上記主要被写体が退出したと判定される位置の近傍に退出方向を示すアイコン画像を表示することを特徴とする請求項１〜請求項３のいずれか一項に記載の画像表示機器。
7. 上記画角変更に基いて、上記主要被写体設定部により設定された上記対象物である主要被写体の位置を演算する主要被写体位置演算部を有し、
   上記主要被写体位置演算部は、上記撮像部の出力される画像信号に基づき上記主要被写体の位置を予測して上記退出を判定することを特徴とする請求項６に記載の画像表示機器。
8. 上記表示制御部は、上記退出したと判定した時からの時間の経過に応じて、上記退出方向を示すアイコン画像を変更することを特徴とする請求項６または請求項７に記載の画像表示機器。
9. 上記主要被写体位置演算部は、加速度センサ，または、角速度センサ，または、方位センサの検出結果に基いて主要被写体の位置を演算することを特徴とする請求項５または請求項７に記載の画像表示機器。
10. 上記主要被写体設定部は、被写体検出部であり顔検出部であることを特徴とする請求項４〜請求項９のいずれか一項に記載の画像表示機器。
11. 上記主要被写体設定部は、上記撮像部から順次出力される画像信号のフレーム間における動きベクトルを算出し、上記動きベクトルに基き上記対象部を検出して設定することを特徴とする請求項４〜請求項９のいずれか一項に記載の画像表示機器。
12. 上記画角変更部は、上記撮影光学系を駆動させて画角変更を行なわしめることを特徴とする請求項１〜請求項１１のいずれか一項に記載の画像表示機器。
13. 上記撮像部から出力される画像信号に画像処理を施す画像処理部を有し、
    上記画角変更部は、上記画像処理部を制御して電子的な画角変更を行なわしめることを特徴とする請求項１〜請求項１１のいずれが一項に記載の画像表示機器。
14. 観察画角を変更して画像データを取得可能な画像表示機器の表示制御方法において、
    第１の画像データを取得して記憶するステップと、
    第２の画像データを繰り返し取得して上記第２の画像データに基いて表示を行うステップと、
    観察画角の変更に応じて、上記第２の画像データに基いて表示される画像に重畳させて、上記記憶された第１の画像データに基く補助表示を行ない、上記補助表示の画像に重畳させて上記記憶された第１の画像信号に対して上記変更された観察画角を示す表示を行うステップと、
    を有することを特徴とする表示制御方法。
15. 上記第２の画像データを取得した時の観察画角と上記第１の画像データを取得した時の観察画角に基づいて上記変更された観察画角を示す表示を行うことを特徴とする請求項１４に記載の表示制御方法。
16. 上記第１の画像信号に基いて上記対象物を主要被写体として設定し、
    上記第２の画像信号に基いて主要被写体を検出できなくなった場合に、上記第１の画像を縮小させ外縁周囲に余白部を付加した画像を生成し、上記第１の画像信号に基づく補助表示に代えて、補助表示とすることを特徴とする請求項１４または請求項１５に記載の表示制御方法。
17. 上記観察画角の変更に基いて上記主要被写体の位置を予測し、上記余白部に、上記予測される主要被写体の位置を示すアイコン画像を表示することを特徴とする請求項１６に記載の表示制御方法。
18. 上記第１の画像信号に基いて上記対象物を主要被写体と設定し、
    上記主要被写体が上記第２の画像信号の範囲から退出したと判定する場合に、上記主要被写体が退出したと判定される位置の近傍に退出方向を示すアイコン画像を表示することを特徴とする請求項１４または請求項１５に記載の表示制御方法。
19. 上記観察画角の変更に基いて上記主要被写体の位置を予測して上記退出を判定することを特徴とする請求項１８に記載の表示制御方法。
20. 上記退出したと判定した時からの時間の経過に応じて、上記退出方向を示すアイコン画像を変更することを特徴とする請求項１８または請求項１９に記載の表示制御方法。

Images