JP2004112537A - 撮像装置、撮像方法、およびその方法を実行するプログラム - Google Patents

Abstract

【課題】撮像面上に投影された被写体像の合焦領域を検出して追跡し撮影に同期して記録することができる撮像装置、撮像方法、およびその方法を実行させるプログラムを提供する。
【解決手段】デジタルスチルカメラ１は、光学系を介して入射して撮像面に投影された被写体像を映像信号として出力する撮像部３と、被写体像における合焦領域を検出する合焦領域手段およびその合焦領域を追跡する追跡手段を有する画像処理部４と、映像信号を記録する映像信号記録手段および映像信号記録時にその時の合焦領域を関連させて記録する付加情報記録手段であるシステム制御部２と、を備える。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置、撮像方法、およびその方法を実行するプログラムに関する。
【０００２】
【従来の技術】
撮像装置を用いた撮像において、撮像された映像信号の編集、管理、検索、表示などのアプリケーションのために、その映像信号に付加情報を加えて、記録する重要性が高まっている。とりわけ、撮像画面上の合焦位置（以下、焦点検出領域と呼ぶ）を記録しておいて、撮影後、該焦点検出領域を基にユーザーの撮影意図を確認したいという要望があった。あるいは、特定の被写体のみを管理・検索したいという要望に対して、撮像画面上に合焦位置の記録を残す方式が求められていた。
【０００３】
このような要望に応えるべく、特開２００１−１２８０４４号公報の発明は、撮影画面内において合焦させた撮影によって得られた画像データと、撮影画面上における合焦位置を規定した合焦位置データとを記録するデジタルカメラを開示している。
【０００４】
【特許文献１】
特開２００１−１２８０４４号公報　（第３−６頁、第１−９図）
【０００５】
【発明が解決しようとする課題】
しかし、同号公報の発明によると、シャッターボタンを半押ししてフォーカスロック操作を行った後にカメラを動かして視野を変化させて撮影した場合、合焦位置が変化してしまうという問題点があった。このため、フォーカスロック操作中のカメラの動きによって、誤った合焦位置が記録されてしまうという問題点があった。
【０００６】
本発明は、上述の問題点に鑑みてなされたものであり、撮像面上に投影された被写体像における合焦領域（焦点検出領域）を検出して追跡し、そして記録することで合焦位置が変化した場合でも、常に正しい合焦位置を記録することができる撮像装置、撮像方法、その方法を実行させるプログラム、そのプログラムを格納した記録媒体、およびその撮像装置を備えたカメラを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する撮像手段と、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出手段と、前記被写体像において移動する前記合焦領域を追跡する追跡手段と、前記映像信号を記録する映像信号記録手段と、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録手段と、を備えたことを特徴とする撮像装置である。
【０００８】
この請求項１の発明によれば、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する撮像手段と、被写体像において焦点が検出された合焦領域を検出する合焦領域検出手段と、被写体像において移動する合焦領域を追跡する追跡手段と、映像信号を記録する映像信号記録手段と、映像信号記録時における合焦領域を、記録時の映像信号に関連させて記録する付加情報記録手段とを備えたことによって、合焦領域を追跡して映像記録時にその位置を関連させて記録可能となるので、映像編集時に利便性の高い撮像装置を提供できる。
【０００９】
また、請求項２にかかる発明は、請求項１に記載の撮像装置において、前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出手段を、更に備え、前記追跡手段は、前記類似度算出手段によって算出された類似度に基づいて前記合焦領域を追跡することを特徴とする。
【００１０】
この請求項２の発明によれば、映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出手段を備えることによって、追跡手段が類似度算出手段によって算出された類似度に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡できる。
【００１１】
また、請求項３にかかる発明は、請求項１または２に記載の撮像装置において、前記撮像装置の方向を検出する方向検出手段を、更に備え、前記追跡手段は、前記方向検出手段によって算出された方向に基づいて前記合焦領域を追跡することを特徴とする。
【００１２】
この請求項３の発明によれば、撮像装置の方向を検出する方向検出手段を備えてその検出された方向に基づいて合焦領域を追跡することによって、より正確に合焦領域を追跡できるので、より正確に合焦領域を、特に撮影する向きを変更するときに正確に合焦領域を追跡できる。
【００１３】
また、請求項４にかかる発明は、請求項１〜３のいずれか１に記載の撮像装置において、前記合焦領域検出手段の検出動作を一時停止させる焦点固定手段を、更に備えたことを特徴とする。
【００１４】
この請求項４の発明によれば、合焦領域検出手段の検出動作を一時停止させる焦点固定手段を備えることによって、簡易な操作で操作者が焦点検出動作を制御することができるので、合焦領域検出手段の動作を減らし電力消耗を減らすことができる。
【００１５】
また、請求項５にかかる発明は、請求項４に記載の撮像装置において、前記追跡手段は、前記焦点固定手段の動作に同期して追跡動作を行うことを特徴とする。
【００１６】
この請求項５の発明によれば、追跡手段が、焦点固定手段の動作に同期して追跡動作を行うことによって、焦点固定手段により追跡動作を停止することができるので、合焦領域の追跡に要する処理コストおよび消費電力を軽減することができる。
【００１７】
また、請求項６にかかる発明は、請求項１〜５のいずれか１に記載の撮像装置において、前記合焦領域を表示する表示手段を、更に備えたことを特徴とする。
【００１８】
この請求項６の発明によれば、合焦領域を表示する表示手段を更に備えたことによって、合成領域を表示手段によって視認することができるので、簡易な構成で操作者が所望の撮影動作を実行できているかどうかを確認することができる。
【００１９】
また、請求項７にかかる発明は、請求項１〜６のいずれか１に記載の撮像装置において、前記追跡手段は、前記合焦領域が前記撮像面上において映像信号の記録可能な範囲外にあると判定した場合、警告を発する警告手段を、更に具備することを特徴とする。
【００２０】
この請求項７の発明によれば、追跡手段が、合焦領域は撮像面の映像信号の記録可能な範囲外にあると判定した場合、警告を発することができるので、簡易な構成で操作者が所望の撮影動作を実行できているかどうかを知ることができる。
【００２１】
また、請求項８にかかる発明は、請求項１〜７のいずれか１に記載の撮像装置において、前記付加情報記録手段は、前記合焦領域の追跡結果を記したテキストデータを記録することを特徴とする。
【００２２】
この請求項８の発明によれば、付加情報記録手段は、合焦領域の追跡結果を記したテキストデータを記録できることによって、簡易な構成によって合焦領域の移動を知ることができるので、合焦領域の移動のテキストデータによる記録から操作者が後になって撮影意図・動作を容易に確認することが可能となる。
【００２３】
また、請求項９にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【００２４】
この請求項９の発明によれば、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、撮像面上での合焦領域を検出する合焦領域検出ステップと、移動する合焦領域を追跡する追跡ステップと、映像信号を記録する映像信号記録ステップと、映像信号記録時における合焦領域を、記録時の映像信号に関連させて記録する付加情報記録ステップとを備えることによって、合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できる。
【００２５】
また、請求項１０にかかる発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出ステップと、算出された前記類似度に基づいて前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【００２６】
この請求項１０の発明によれば、撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、被写体像における合焦領域を検出するステップと、映像信号と所定の時間前に撮像された映像信号との類似度を算出するステップと、その類似度に基づいて合焦領域を追跡する追跡ステップと、映像信号を記録するステップと、映像信号記録時における合焦領域を記録時の映像信号に関連させて記録する付加情報記録ステップとを備えることによって、類似度に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡でき映像編集時に利便性の高い撮像方法を提供できる。
【００２７】
また、請求項１１の発明は、光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、前記光学系の主軸方向を検出する方向検出ステップと、検出された前記光学系の主軸方向に基づいて前記合焦領域を追跡する追跡ステップと、前記映像信号を記録する映像信号記録ステップと、前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、を含むことを特徴とする撮像方法である。
【００２８】
この請求項１１の発明によれば、撮像面に投影された被写体像を映像信号として出力するステップと、被写体像における合焦領域を検出するステップと、光学系の主軸方向を検出するステップと、その光学系の主軸方向に基づいて合焦領域を追跡すると、映像信号を記録するステップと、映像信号記録時における合焦領域を記録時の映像信号に関連させて記録する付加情報記録ステップと、を備えることによって、検出された方向に基づいて合焦領域を追跡することができるので、より正確に合焦領域を追跡でき映像編集時に利便性の高い撮像方法を提供できる。
【００２９】
また、請求項１２にかかる発明は、請求項９〜１１のいずれか１つに記載された方法をコンピュータに実行させることを特徴とするプログラムであるので、請求項９〜１１のいずれか１つに記載された方法をコンピュータによって実行できる。
【００３０】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる撮像装置、撮像方法、およびその方法を実行するプログラム、の好適な実施の形態を、実施の形態１とその静止画撮影モード、動画撮影モード、焦点検出領域の追跡、焦点検出領域の記録、実施の形態２とその焦点検出領域の追跡、本発明の実施の形態による撮像装置を備えたカメラ、実施の形態３とそのプログラムの動作、および実施の形態４の順番で、詳細に説明する。
【００３１】
（実施の形態１）
まず、デジタルスチルカメラを例に、本発明の実施の形態を説明する。図１は、本発明にかかる実施の形態１によるデジタルスチルカメラの機能的構成を示すブロック図である。図１を参照しながら、デジタルスチルカメラ装置１の機能的構成を述べる。
【００３２】
システム制御部２は、デジタルスチルカメラ装置１全体の制御を行うＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、メモリ、およびタイマーを含む。撮像部３は、撮像のために設けられた光学系部品（レンズ及びレンズ駆動モータ）、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＣＤ駆動回路、およびＡ／Ｄ変換器を含む。画像処理部４は、撮像部３で得られた画像信号に種々の画像処理を施すと共に、撮像部３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してフォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ
Ｐｒｏｃｅｓｓｏｒ）、およびメモリを含む。
【００３３】
ＬＣＤ表示制御部５は、画像処理部４で処理された画像信号をＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し、ＬＣＤへ表示するために設けられたＤ／Ａ変換器、オンスクリーンディスプレイコントローラを含む。ＬＣＤ６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示する。
【００３４】
ファインダー表示制御部７は、画像処理部で処理された画像信号をファインダー内部に設置された表示器へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し、該表示器へ表示するために設けられたＤ／Ａ変換器、およびオンスクリーンディスプレイコントローラを含む。ファインダー表示器８は、前記撮像部３の光学系に入射する像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示する。
【００３５】
記録メディアインターフェイス部９は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラを含む。記録メディア１０は、圧縮された画像信号や画像に纏わる種々の情報を記憶する、例えばフラッシュメモリであり、デジタルスチルカメラ装置１から着脱可能とする。ハードキーインターフェイス部１１は、後述するレリーズＳＷ１５、図示されていないキー、ダイアル等のユーザーインターフェイスのためのハードウェアの状態を検出するために設けられたパラレルポートである。
【００３６】
（静止画撮影モード）
図２は、実施の形態１にかかるデジタススチルカメラのレリーズＳＷの構成図である。図２に基づいてその動作を示す。ＲＬ１（１６）は、レリーズＳＷを半押ししたときオンされる接点、ＲＬ２（１７）は、レリーズＳＷを完全に押したときにオンされる接点、そしてＣＯＭ（１８）は、ＲＬ１（１６）およびＲＬ２（１７）の双方で共通な接点である。レリーズＳＷ（１５）は、２ストローク（２段階）の動作を検出できる様に構成されている。ＲＬ１（１６）、ＲＬ２（１７）の接点の状態は、前述したように、ハードキーインターフェイス部１１を通じてシステム制御部２で判別される。
【００３７】
図３は本発明の実施の形態１にかかるデジタルスチルカメラにおける静止画撮影手順を示すフローチャートである。ユーザーは撮影に先立ち、カメラに付随する種々のキー、ダイヤル（不図示）を操作し、撮影モード（静止画撮影モード、動画撮影モード）を決定する。ユーザーの操作内容はハードキーインターフェイス部１１を通じてシステム制御部２で判別される（ステップＳ３０１）。静止画撮影モードの場合（ステップＳ３０１のＮｏ）、後述する撮影準備（ステップＳ３０２）以降の処理が実行される。動画撮影モード（ステップＳ３０１のＹｅｓ）では後述するように図４（後述）に示す動画撮影のフローチャートに従って動作する（ステップＳ３０３）。
【００３８】
デジタルスチルカメラ装置を用いた撮影の準備作業が実行開始されると、システム制御部２は、モードに応じた処理パラメタを画像処理部４へ設定する。撮像部３は画像処理部４からの制御に従い、実際の撮影に先だって、プレビュー画像を表示するための撮像動作を開始する。撮像されたデータは連続的に画像処理部４へ送られ、画像処理部４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、その画像データをＬＣＤ表示制御部５へ送る。ＬＣＤ表示制御部５では、画像データを信号処理してＬＣＤ６へ表示し、ユーザーへ撮像状態を提示する。また、ファインダー表示制御部７では、デジタルスチルカメラ１の種々の状態をファインダー表示器８へ表示し、ユーザーへ撮像状態を提示する（ステップＳ３０２）。
【００３９】
撮影の準備が整った後、システム制御部２が前記レリーズＳＷの半押し、すなわちＲＬ１接点がオンになったと判定すると（ステップＳ３０４のＹｅｓ）、焦点検出（ＡＦ）、自動露出（ＡＥ）、オートホワイトバランス（ＡＷＢ）のアルゴリズムプログラムを起動し、画像処理部４から得られる各種評価データを基に、画像処理部４、及び、撮像部３を制御して調整を行う（ステップＳ３０５）。ここで、レリーズＳＷの半押し状態の判定は、モード設定と同様にしてハードキーインターフェイス部１１を通じてシステム制御部２で実行される。
【００４０】
上記の処理が終了すると、デジタルスチルカメラ装置１は、前記撮像部３の撮像範囲において合焦領域（以下、焦点検出領域と呼ぶ）の追跡を開始する（ステップＳ３０６）。この追跡動作については具体的に後述する。
【００４１】
ここで図４を参照する。図４はファインダ又はＬＣＤに表示された焦点検出領域を示す模式図であり、（ａ）は焦点検出領域が表示された場合であり、（ｂ）は焦点検出領域が画面から外れて警告表示が出た場合を示す。焦点検出領域が追跡されると、前記ＬＣＤ６又は前記ファインダー表示器８において、図４（ａ）のように、該焦点検出領域の位置を示すポインタ２１を表示する。また、焦点検出領域が画面から外れて焦点検出領域の追跡に失敗した場合には、図４（ｂ）に示すように、ユーザーにその旨を警告するインジケータ２２が表示される（ステップＳ３０７）。
【００４２】
システム制御部２は、引き続きハードキーインターフェイス部１１を通じて、前記レリーズＳＷの状態を監視し（ステップＳ３０８）、レリーズＳＷが全押し、すなわちＲＬ２接点がオンになったと判定すると（ステップＳ３０８のＹｅｓ）、撮影動作（後述）を開始する（ステップＳ３０９）。ここで、レリーズＳＷの全押し状態の判定は、レリーズＳＷの半押し状態の検出動作と同様にして、ハードキーインターフェイス部１１を通じてシステム制御部２で実行される。
【００４３】
そして、撮像部３は画像処理部４からの制御に従い、所定の画像を取り込み画像処理部４へ送り、画像処理部４は、撮影モードに応じた画像処理、圧縮処理を行う。そして、システム制御部２は、圧縮された画像データ及び追跡された焦点検出領域を読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部９を通じて記録メディア１０へ記録する（ステップＳ３１０）。焦点検出領域の記録については、後述する。
【００４４】
以上で画像の撮影及び記録を完了すると、焦点検出領域の追跡処理を終了する（ステップＳ３１２）。
【００４５】
ここで、ステップＳ３０８において、ＲＬ２接点がオフであると判定されると、システム制御部２は、ＲＬ１接点の状態を検出する（ステップＳ３１１）。ＲＬ１接点がオンであると判定されると、ステップＳ３０６に戻り、ステップＳ３１１までの処理を繰り返す。またＲＬ１接点が解除されたと判定されると、ＡＥ、ＡＦ、ＡＷＢの処理及び焦点検出領域の追跡処理を終了する（ステップＳ３１２）。最後に、各動作を電源オフ検出で終了した場合には、電源をオフして終了する（ステップＳ３１３）。
【００４６】
（動画撮影モード）
図５は、実施の形態１による動画撮影の流れを示すフローチャートである。この動画撮影モードを説明する。動画撮影モードへは、図３に示した動画撮影モードか否かの判定においてＹｅｓの場合（ステップＳ３０１のＹｅｓ）、動画撮影モードが選択されて、動画撮影へと移行（ステップＳ３０３）する。
【００４７】
図５のフローチャートを参照すると、まず、デジタルスチルカメラ装置１において、動画撮影の準備を整える作業が実行される（ステップＳ５０１）。準備作業における動作は、ステップＳ３０２と同様である。
【００４８】
撮影の準備が整うと、レリーズＳＷが押下され、半押しの状態すなわちＲＬ１接点がオンになったと判定されると（ステップＳ５０２のＹｅｓ）、既に述べたように、焦点検出（ＡＦ）、自動露出（ＡＥ）、オートホワイトバランス（ＡＷＢ）の処理が開始される（ステップＳ５０３）。また、ＲＬ１接点がオフであると判定されると（ステップＳ５０２のＮｏ）、後述するステップＳ５１５の処理に進む。
【００４９】
システム制御部２は、引き続きハードキーインターフェイス部１１を通じて、前記レリーズＳＷの状態を監視し、そのままレリーズＳＷが押し込まれると、即ちＲＬ２接点がオンになると（ステップＳ５０４）、後述する動画の記録動作を開始する（ステップＳ５０６以降のステップ）。逆に、レリーズＳＷの半押しが解除されると、即ちＲＬ１接点がオフになる（ステップＳ５０５のＮｏ）と、前述のＡＦ、ＡＥ、ＡＷＢ処理を終了する（ステップＳ５１４）。
【００５０】
記録動作を開始すると（ステップＳ５０６）、システム制御部２は、ハードキーインターフェイス部１１を通じて、前記レリーズＳＷの状態を監視し、レリーズＳＷの全押し状態（ＲＬ２接点オン）を検知すると（ステップＳ５０７のＹｅｓ）、動画の記録を終了する（ステップＳ５１２）。レリースＳＷの全押し状態を検知しなければ（ステップＳ５０７のＮｏ）、ステップＳ５０８以降の処理を実行する。すなわち、記録動作中のレリーズＳＷの全押しが検知されるまで、記録動作を継続する。
【００５１】
ここで、記録動作中に、前記レリーズＳＷの半押しが検知される（ＲＬ１接点オン）と（ステップＳ５０８のＹｅｓ）、まず、システム制御部２は、動画記録中のＡＦ処理を一時的に停止する（ステップＳ５０９）。すなわち、動画記録中のレリーズＳＷの半押し操作は、焦点検出動作を一時停止させる手段として機能する。
【００５２】
次に、焦点検出領域を追跡する動作を開始する。即ち、デジタルスチルカメラ装置１は、撮像部３の撮像範囲において焦点検出領域の追跡を開始する（ステップＳ５１０）。この焦点検出領域追跡の動作については詳細は後述する。以上のように、焦点検出の一時停止と焦点検出領域の追跡動作は、同期して実行される。これにより、焦点検出領域の追跡に要する処理コストや消費電力を低減できる。一方、記録動作中に、前記レリーズＳＷが解除されていた場合（ステップＳ５０８のＮｏ）は、上述の焦点検出追跡動作を実行しない。
【００５３】
焦点検出領域が追跡されると、前記ＬＣＤ６又は前記ファインダー表示器８において、図４（ａ）のように、該焦点検出領域の位置を示すポインタ２１が表示される。また、焦点検出領域が画面から外れるなど、焦点検出領域の追跡に失敗した場合には、図４（ｂ）のように、ユーザーにその旨を警告するインジケータ２２が表示される（ステップＳ５１１）。また、焦点検出追跡動作を実行しなかった場合、既定の焦点検出領域の位置（例えば画面中央）にポインタ２１を表示させてもよい。
【００５４】
上記のステップＳ５０７〜Ｓ５１１の処理は、レリーズＳＷの全押し（ＲＬ２接点オン）が検知される（ステップＳ５０７のＮｏ）まで、繰り返し実行される。動画の記録を終了した場合（ステップＳ５１２）、システム制御部２は、動画データに関連して、焦点検出領域の追跡履歴を記録メディア１０へ書き込む（ステップＳ５１３）。この動作については、後述する。
【００５５】
最後に、撮影モードの変更操作、あるいは電源オフ操作を検知すると、図５に描かれた手順のフローを終了する（ステップＳ５１５のＹｅｓ）。そして、検知しなければ（ステップＳ５１５のＮｏ）、ステップＳ５０２〜ステップＳ５１４の処理が繰り返し実行される。
【００５６】
（焦点検出領域の追跡）
図６は、実施の形態１による撮像装置における焦点検出領域の追跡動作を示すフローチャートである。まず、システム制御部２は、焦点検出領域の追跡処理が初期状態であるかどうかを判断する（ステップＳ６０１）。初期状態とは、すなわちレリーズＳＷの半押し（ＲＬ１接点オン）が検知されてから、初めて追跡処理を実行する場合である（ステップＳ６０１のＹｅｓ）。この場合、撮像部３が現在取得している画像（以下、現画像と呼ぶ）のうち、焦点検出領域に対応する所定の領域（以下、テンプレートと呼ぶ）を切り出し、メモリに記録する。即ち、テンプレートの生成・記録である（ステップＳ６０２）。例えば、撮像部３の焦点検出領域が画面中央に固定されている場合、画面中央の領域がテンプレートとして切り出され、記録される。また、焦点検出領域が予め複数設定されている場合、ハードキーインターフェイス部１１などのユーザーインターフェイスを通じて選択された焦点検出領域に対応するテンプレートが切り出されて記録される。以上で、処理は終了する。
【００５７】
一方、初期状態でない場合には（ステップＳ６０１のＮｏ）、前回の処理で記録されたテンプレートをメモリから読み出す（ステップＳ６０３）。そして、現画像において、読み出されたテンプレートと類似度が高い領域を検出する、即ち、テンプレートマッチングを行う（ステップＳ６０４）。
【００５８】
ここで、前記類似度の高い部分を検出する手段として、テンプレートマッチングを利用した場合の動作を、図７に基づいて説明する。図７は、実施の形態１による撮像装置における焦点検出領域の追跡動作を説明する説明図であり、（ａ）はテンプレートの一例であり、（ｂ）は現画像の一例を示す模式図である。今、図７（ａ）のように、テンプレートの大きさが、（横の長さ）かける（縦の長さ）が（２ｄｕ＋１）×（２ｄｖ＋１）であると仮定する。このテンプレート２３を、図７（ｂ）のように現画像２４上で移動させ、テンプレート２３と現画像２４における点（ｍ，ｎ）との正規化相互相関値Ｓを、次式に基づき計算する。
【００５９】
【数１】

【００６０】
ここで、（１）式における各記号の意味は以下の通りである。
【００６１】
Ｉ_１（ｕ，ｖ）：テンプレート上の点（ｕ，ｖ）における画素値
Ｉ_２（ｕ，ｖ）：現画像上の点（ｕ，ｖ）における画素値
以上の計算に基づいて、正規化相互相関値Ｓが最大となる現画像における点（ｍ，ｎ）を求める。
【００６２】
次に、前記テンプレートマッチングの成否を判定する（ステップＳ６０５）。ここで、テンプレートマッチング成否の判定基準は、例えば正規化相互相関値Ｓの閾値θを予め決めておき、Ｓの値がθ以上ならば成功、θ以下ならば失敗とする手法をとればよい。成功と判定された場合には、ステップＳ６０４で求められた点（ｍ，ｎ）を現画像における焦点検出領域として、システム制御部２に出力すると同時に、現画像の点（ｍ，ｎ）を中心とする大きさ（２ｄｕ＋１）×（２ｄｖ＋１）の領域を、テンプレートとして更新する（ステップＳ６０６のＹｅｓ）。また、失敗と判定された場合（ステップＳ６０６のＮｏ）には、テンプレートの更新は行わずに、追跡に失敗したことを示す信号をシステム制御部２に出力する（ステップＳ６０７）。以上で、処理を終了する。
【００６３】
（焦点検出領域の記録）
静止画の場合、焦点検出領域に関するデータは、取得した画像におけるヘッダ情報に記録される。例えば、デジタルスチルカメラの静止画のフォーマットとしてＥｘｉｆ（ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）を採用する場合、そのヘッダ情報中のＭａｋｅｒＮｏｔｅと呼ばれる製造者が自由に利用できるフィールド、又はＵｓｅｒＣｏｍｍｅｎｔと呼ばれるユーザーが任意のコメントを記述することができるフィールドに、該焦点検出領域の位置を記録する。
【００６４】
図８は、実施の形態１にかかる撮像装置の焦点検出領域の記録動作を示す図である。動画の場合は、図８のように、左から秒単位の時刻、焦点検出領域の横方向の座標ｕ、焦点検出領域の縦方向の座標ｖという順に、テキスト情報として記録される。このテキスト情報は、動画と共にテキストファイルとして記録メディアに記録される。このとき、動画データとテキストファイルは、関連して記録される。例えば、動画ファイルの名前が”Ｖｉｄｅｏ０１．ａｖｉ”（ａｖｉは、Ａｕｄｉｏ　Ｖｉｄｅｏ　Ｉｎｔｅｒｌｅａｖｉｎｇの略）である場合、そのテキストファイルの名前は”Ｖｉｄｅｏ０１．ｔｘｔ”と、拡張子以前の名前が揃えられた形で記録される。
【００６５】
（実施の形態２）
実施の形態２は、撮像部３の向きを検出することにより焦点領域を追跡する点が、実施の形態１と異なる。図９は、本実施の形態２によるデジタルスチルカメラの構成を示す機能的ブロック図である。図１のデジタルスチルカメラと異なる点は、姿勢検出センサ１２が追加されていることである。図中、同一符号は、実施の形態１と同一又は相当する部分を示す。
【００６６】
姿勢検出部１２は、撮像部３の通例光軸である主軸の向きを検出するために設けられた姿勢検出センサ、該センサからの信号を取得するＡ／Ｄ変換器、及び該Ａ／Ｄ変換器により取得されたデータに演算処理を施すＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ　ａｎｄ　Ｌｏｇｉｃａｌ　Ｕｎｉｔ　演算論理ユニット）を含んでなる。ここで姿勢検出センサは、例えば加速度センサ、磁気センサ、角速度センサ（ジャイロ）、又はそれらの組み合わせにより構成される。
【００６７】
その撮影の動作については、静止画撮影モード及び動画撮影モードともに実施の形態１と同様であり、既に述べたようにそれぞれ図３、図５のフローチャートに従って動作する。
【００６８】
（焦点検出領域の追跡）
図１０は実施の形態２による焦点検出領域の追跡処理の流れを示すフローチャートである。ここで、姿勢検出センサの一例として、加速度センサと磁気センサを使用した場合の、焦点検出領域の追跡動作を、図１０のフローチャートに基づいて説明する。
【００６９】
まず、システム制御部２は、姿勢検出センサの検出信号より、絶対座標系に対する現在の撮像部３の姿勢を算出し、メモリに記録する（ステップＳ１００１）。図１１は、実施の形態２において想定する絶対座標系を示す模式図である。ここで、絶対座標系は図１１に示すように、東向きをＸ軸、重力の向きをＹ軸、北向きをＺ軸とする右手系ＸＹＺ座標系を採る。加速度センサは重力加速度を、また磁気センサは地磁気を検出するのに使用され、これらのセンサの出力信号により、絶対座標系に対する撮像部３の向きを計算することができる。ここで、焦点検出領域の追跡処理が前述の初期状態である場合（ステップＳ１００２のＹｅｓ）には、以上で処理を終了する。
【００７０】
一方、初期状態でない場合（ステップＳ１００２のＮｏ）には、前時刻で記録された焦点検出領域及び撮像部３の姿勢を、メモリより読み出し（ステップＳ１００３）、これらの情報と現在の撮像部３の姿勢を利用して、現在の焦点検出領域を算出しメモリに記録する（ステップＳ１００４）。
【００７１】
ここで、現在の焦点検出領域を算出する方法について説明する。図１２は実施の形態２によるカメラ座標系および画像座標系を示す模式図である。まず、図１２に示されている２つの座標系を定義する。
【００７２】
カメラ座標系Ｏ−ｃａｍ（ｃａｍｅｒａ　ｃｏｏｒｄｉｎａｔｅ　ｓｙｓｔｅｍ）
・ｘ軸：画面右向きを正
・ｙ軸：画面下向きを正
・ｚ軸：光軸、対象に向かう向きを正
・原点Ｏ：カメラの光学中心
・ｆ：焦点距離
画像座標系Ｏ−ｉｍａ（ｉｍａｇｅ　ｃｏｏｒｄｉｎａｔｅ　ｓｙｓｔｅｍ）
・ｕ軸：画面右向きを正
・ｖ軸：画面下向きを正
・（ｕ_０，ｖ_０）：画面中心、すなわち光軸と画面とが交わる画像座標
【００７３】
カメラ座標系の光学系は、中心射影モデル（ｐｅｒｓｐｅｃｔｉｖｅ　ｐｒｏｊｅｃｔｉｏｎ　ｍｏｄｅｌ）で記述されると仮定する。また、画像座標系は、画素を基本単位とする。また、以下の変数を定義する。
【００７４】
Ｒ_{Ｗ，ｔ−１}：前時刻ｔ−１における、絶対座標系に対する撮像部３の姿勢を表す回転行列
Ｒ_Ｗ，ｔ：現在の時刻ｔの、絶対座標系に対する撮像部３の姿勢を表す回転行列
【００７５】
上記２つの回転行列より、前時刻から現在にかけての撮像部３の姿勢の変化を示す回転行列Ｒを、次式に基づき計算する。
【００７６】
【数２】

【００７７】
ここで、Ｒ_{Ｗ，ｔ−１}の右上の添え字Ｔは、行列の転置を表す。
【００７８】
この回転行列Ｒにより表される姿勢の変化により、前時刻における焦点検出領域（ｕ_ｔ−１，ｖ_ｔ−１）は、現在の時刻において、次式に示される点（ｕ_ｔ，ｖ_ｔ）に移動する。
【００７９】
【数３】

【００８０】
但し、
【００８１】
【数４】

【００８２】
【数５】

【００８３】
であり、これらの行列Ａ_ｔ−１、Ａ_ｔは、それぞれ前時刻、現在における、カメラ座標系と画像座標系との関係を示すもので、カメラ内部行列（ｃａｍｅｒａ　ｉｎｔｒｉｎｓｉｃ　ｍａｔｒｉｘ）と呼ばれる（参考文献：徐　剛，辻　三郎：『３次元ビジョン』，共立出版（１９９８））。
【００８４】
また、ｋ_ｕ、ｋ_ｖは、それぞれｘ軸、ｙ軸を基準とした時のｕ軸、ｖ軸の単位、すなわち画素密度を表す。また、ｆ_ｔ−１、ｆ_ｔは、それぞれ前時刻、現在における焦点距離を表す変数である。また、ｓは（３）式の左辺の第３成分を１にするための定数である。一般に、ｋ_ｕ、ｋ_ｖの値は、ＣＣＤの設計仕様より容易に知ることができる。また、焦点距離の値は、撮像部３において、レンズ駆動モータの位置をエンコーダにより読み取るなどの方法により、検出することができる。以上の計算により、現在の焦点検出領域の位置（ｕ_ｔ，ｖ_ｔ）が算出される。
【００８５】
続いて、以上の処理で算出された点（ｕ_ｔ，ｖ_ｔ）が、画面内にあるか否かを判定し（ステップＳ１００５）、画面内にある場合には、ステップＳ１００４で求められた点（ｕ_ｔ，ｖ_ｔ）を、現在の焦点検出領域として、システム制御部２に出力する（ステップＳ１００６のＹｅｓ）。また、画面外にあると判定された場合には（ステップＳ１００６のＮｏ）、追跡に失敗したことを示す信号をシステム制御部２に出力する（ステップＳ１００７）。以上で、処理を終了する。
【００８６】
この実施の形態２による撮像装置は、角度の変化を検知して合焦領域の移動を角度に基づいて追跡することができるので、有効に合焦領域を追跡できる。その場合、静止している被写体を、被写体までの距離をあまり変えずにカメラの向きを変えて撮影する場合に、特に有効である。なぜなら、距離が実質的に変化せずにそのアングル、即ち角度が変化することにより、合焦領域の移動を角度によって検出して追跡するからである。実際の撮影場面としては、例えば、被写体に対して中央部分で合焦させ、フォーカスロックして、その被写体を画面の端に持って来るように構図を変えて撮影する場合に特に有効である。
【００８７】
（実施の形態３）
実施の形態３は、実施の形態１または２における撮像方法をコンピュータに実行させるプログラムである。本発明にかかる撮像装置は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）や携帯情報端末により、その機能を実現させることができる。近年、各種処理プログラムを読み取ることにより、種々の機能を実現可能なデジタルカメラも登場するようになった。また、レンズの向きを回動可能としたカメラを具備したノート型ＰＣや、カメラを搭載したＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）及び携帯電話が普及するようになった。このような機器に、実施の形態１又は２で説明した機能を実現する処理プログラムを実行させることにより、その機能を実現させることができる。また、このプログラムは、各種媒体やインターネット等の電気通信回線を介して、上記の機器で読み取り可能としうる。
【００８８】
（プログラムの動作）
動作の内容は、上述の実施の形態１および２における撮像動作と同様である。以下、カメラを具備したノート型ＰＣにおいて、このプログラムを実行することにより、上述の実施の形態で説明した動作を実現する場合の具体例を説明する。
【００８９】
ＡＦ（自動焦点動作）等の処理は、カメラの内部で実行される。撮影モードの選択、撮影の開始・終了の制御、焦点検出動作の一時停止（既述の実施の形態におけるレリーズＳＷの半押し操作に相当）、画像及び焦点検出領域の表示は、任意のユーザー・インターフェイスを介して行われる。その一例を、以下に記す。
【００９０】
・撮影モードの選択：カーソルキー
・撮影の開始・終了の制御：リターンキー
・焦点検出動作の一時停止：スペースキー
・画像及び焦点検出領域の表示：ＬＣＤに表示
【００９１】
図１３は、実施の形態３によるプログラムを格納された記憶媒体を用いる説明図である。例えば、図１３（ａ）に示されるように、該プログラムを格納したＣＤ−ＲＯＭ２５を、カメラを具備したノート型ＰＣに装着し、適宜そのプログラムを実行させることにより、その機能を実現させることができる。
【００９２】
図１３（ｂ）に示されるように、上記のプログラムを格納したスマートメディア２６を、それを読み取り可能なデジタルスチルカメラに装着し、適宜そのプログラムを実行させることにより、実施の形態１または２による撮像装置としての機能を実現させることができる。なお、プログラムを格納する記録媒体は上記に限られず、例えばＣＤ−ＲＷやＤＶＤ−ＲＯＭ等の他の媒体であってもよいことはいうまでもない。
【００９３】
以上の各実施の形態は、本発明のごく一例を説明したにすぎない。すなわち、本発明の権利範囲を上記実施の形態の通りに不当に限定・縮小すべきではなく、下記のように、本発明の構成要素を別の要素に変更した例も、本発明と均等の発明として権利範囲に含まれる。
【００９４】
例えば、各実施の形態において、２ストロークの動作を検出できるレリーズＳＷ、及び静止画・動画撮影機能を具備したデジタルスチルカメラを例に挙げて説明したが、静止画撮影専用のデジタルスチルカメラ、及び動画撮影専用のビデオカメラにおいて、上記実施の形態と同様の機能を有するものであっても、本願の権利範囲に含まれる。ここで、該ビデオカメラが、上述の実施の形態で説明したのと同様の動作を実現する為に、焦点検出動作を一時停止するボタンを具備することは、更に好適である。
【００９５】
また、焦点検出領域をＬＣＤ６又はファインダー表示器８に表示する形態は、上記の実施の形態に限定されない。例えば、該表示機能を具備しない撮像装置（請求項６を除く請求の範囲に該当）、焦点検出領域を追跡している時にのみ該表示を行う撮像装置であっても適用可能である。
【００９６】
また、焦点検出領域の記録については、１秒毎に焦点検出領域の位置をテキストファイルに記録すると説明したが、各々のフレーム毎に記録する、またある一定数のフレーム毎に記録するなど、別の形態とすることも可能である。また、ファイルフォーマットはテキストファイルではなく、ＭＰＥＧ−７（ＭＰＥＧはＭｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐの略）等の内容記述ファイルとして記録してもよい。このほか、静止画、動画共に、該焦点検出領域を画像データの中に、ウォーターマーク（電子透かし）として挿入するといった形態としても良い。
【００９７】
また、実施の形態２において、加速度センサと磁気センサを組み合わせて使用することにより、撮像部の姿勢を検出すると説明したが、ジャイロなどの他の素子を使用しても同様の動作を実現することが可能である。
【００９８】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、簡易な構成により、合焦領域を追跡して映像記録時に合焦領域と関連させて記録できるので、映像編集時に利便性の高い撮像装置を提供できるという効果を奏する。
【００９９】
請求項２にかかる発明によれば、請求項１の発明による効果に加えて、追跡手段が類似度算出手段によって算出された類似度に基づいて合焦領域を追跡するので、より正確に合焦領域を追跡できるという効果を奏する。
【０１００】
請求項３にかかる発明によれば、請求項１または２の発明による効果に加えて、撮像装置の方向を検出して合焦領域を追跡することによって、より正確に合焦領域を追跡でき、特にカメラを構えた向きを変更して撮影する場合に正確に合焦領域を追跡できるという効果を奏する。
【０１０１】
請求項４にかかる発明によれば、請求項１〜３のいずれか１つの発明による効果に加えて、簡易な操作で操作者が焦点検出動作を制御することができるので、合焦領域検出手段の動作を減らし電力消耗を減らすことができるという効果を奏する。
【０１０２】
請求項５にかかる発明によれば、請求項４の発明による効果に加えて、焦点固定手段により追跡動作を停止することができるので、合焦領域の追跡に要する処理コストおよび消費電力を軽減することができる。
【０１０３】
請求項６にかかる発明によれば、請求項１〜５のいずれか１つの発明による効果に加えて、合成領域を表示手段によって視認することができるので、簡易な構成で操作者が所望の撮影動作を実行可能か否かを確認することができるという効果を奏する。
【０１０４】
請求項７にかかる発明によれば、請求項１〜６のいずれか１つの発明の効果に加えて、合焦領域が記録可能な範囲外にある場合、警告を発するので、簡易な構成により操作者が所望の撮影動作を実行可能か否かを知ることができるという効果を奏する。
【０１０５】
請求項８にかかる発明によれば、請求項１〜７のいずれか１つの発明の効果に加えて、合焦領域の移動のテキストデータによる記録を得ることができるので、操作者が後になって撮影意図・動作を容易に確認することができるという効果を奏する。
【０１０６】
請求項９にかかる発明によれば、撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【０１０７】
請求項１０にかかる発明によれば、映像信号の類似度を算出してそれに基づいて撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【０１０８】
請求項１１にかかる発明によれば、撮像装置の光学系の方向に基づいて撮像面上の合焦領域を追跡して映像記録時にその位置を関連させて記録可能な撮影が可能となるので、映像編集時に利便性の高い撮像方法を提供できるという効果を奏する。
【０１０９】
請求項１２にかかる発明によれば、請求項９〜１１のいずれか１つに記載された方法をコンピュータによって実行できるので、撮像装置を備えたコンピュータを用いて、合焦領域を追跡し撮影時に記録し映像編集時に利便性の高い撮像方式を提供できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明にかかる実施の形態１によるデジタルスチルカメラの機能的構成を示すブロック図である。
【図２】実施の形態１にかかるデジタススチルカメラのレリーズＳＷの構成図である。
【図３】本発明の実施の形態１にかかるデジタルスチルカメラにおける静止画撮影手順を示すフローチャートである。
【図４】ファインダ又はＬＣＤに表示された合焦領域を示す模式図であり、（ａ）は合焦領域が表示された場合であり、（ｂ）は合焦領域が画面から外れて警告表示が出た場合を示す。
【図５】実施の形態１による動画撮影の流れを示すフローチャートである。
【図６】実施の形態１による撮像装置における合焦領域の追跡動作を示すフローチャートである。
【図７】実施の形態１による撮像装置における合焦領域の追跡動作を説明する説明図であり、（ａ）はテンプレートの一例であり、（ｂ）は現画像の一例を示す模式図である。
【図８】実施の形態１にかかる撮像装置の合焦領域の記録動作を示す図である。
【図９】本実施の形態２によるデジタルスチルカメラの構成を示す機能的ブロック図である。
【図１０】実施の形態２による合焦領域の追跡処理の流れを示すフローチャートである。
【図１１】実施の形態２において想定する絶対座標系を示す模式図である。
【図１２】実施の形態２によるカメラ座標系および画像座標系を示す模式図である。
【図１３】実施の形態４によるプログラムを格納された記憶媒体を用いる説明図である。
【符号の説明】
１　デジタルスチルカメラ
２　システム制御部
３　撮像部
４　画像処理部
５　ＬＣＤ表示制御部
６　ＬＣＤ
７　ファインダー表示制御部
８　ファインダー表示器
９　記録メディアインターフェイス部
１０　記録メディア
１１　ハードキーインターフェイス部
１５　レリーズＳＷ
１６　ＲＬ１
１７　ＲＬ２
１８　ＣＯＭ
２１　ポインタ
２２　インジケータ
２３　テンプレート
２４　現画像
２５　ＣＤ−ＲＯＭ
２６　スマートメディア

Claims (12)

1. 光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する撮像手段と、
   前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出手段と、
   前記被写体像において移動する前記合焦領域を追跡する追跡手段と、
   前記映像信号を記録する映像信号記録手段と、
   前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録手段と、
   を備えたことを特徴とする撮像装置。
2. 前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出手段を、更に備え、
   前記追跡手段は、前記類似度算出手段によって算出された類似度に基づいて前記合焦領域を追跡することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像装置の方向を検出する方向検出手段を、更に備え、
   前記追跡手段は、前記方向検出手段によって検出された方向に基づいて前記合焦領域を追跡することを特徴とする請求項１または２に記載の撮像装置。
4. 前記合焦領域検出手段の検出動作を一時停止させる焦点固定手段を、更に備えたことを特徴とする請求項１〜３のいずれか１つに記載の撮像装置。
5. 前記追跡手段は、前記焦点固定手段の動作に同期して追跡動作を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記合焦領域を表示する表示手段を、更に備えたことを特徴とする請求項１〜５のいずれか１つに記載の撮像装置。
7. 前記追跡手段は、前記合焦領域が前記撮像面上において映像信号の記録可能な範囲外にあると判定した場合、警告を発する警告手段を、更に具備することを特徴とする請求項１〜６のいずれか１つに記載の撮像装置。
8. 前記付加情報記録手段は、前記合焦領域の追跡結果を記した追跡データを記録することを特徴とする請求項１〜７のいずれか１つに記載の撮像装置。
9. 光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、
   前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、
   前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、
   前記映像信号を記録する映像信号記録ステップと、
   前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、
   を含むことを特徴とする撮像方法。
10. 光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、
    前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、
    前記映像信号と、所定の時間前に撮像された映像信号との類似度を算出する類似度算出ステップと、
    算出された前記類似度に基づいて前記被写体像において移動する前記合焦領域を追跡する追跡ステップと、
    前記映像信号を記録する映像信号記録ステップと、
    前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、
    を含むことを特徴とする撮像方法。
11. 光学系を介して入射し撮像面に投影された被写体像を映像信号として出力する映像信号出力ステップと、
    前記被写体像において焦点が検出された合焦領域を検出する合焦領域検出ステップと、
    前記光学系の主軸方向を検出する方向検出ステップと、
    検出された前記光学系の主軸方向に基づいて前記合焦領域を追跡する追跡ステップと、
    前記映像信号を記録する映像信号記録ステップと、
    前記映像信号記録時における前記合焦領域を、前記記録時の映像信号に関連させて記録する付加情報記録ステップと、
    を含むことを特徴とする撮像方法。
12. 請求項９〜１１のいずれか１つに記載された方法をコンピュータに実行させることを特徴とするプログラム。

Images