JP2012124614A

JP2012124614A - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP2012124614A
Application number: JP2010272009A
Authority: JP
Inventors: Yasushi Kachi; 泰加地; Kazuhiro Namiki; 和広並木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-12-06
Filing date: 2010-12-06
Publication date: 2012-06-28

Abstract

【課題】撮影時のカメラワークに対応した視覚効果を与えるサムネイルを作成して表示できるようにする。
【解決手段】動画撮影時におけるカメラワークの記録状況から、動画を代表するカメラワークを所定の方針で特定し、そのカメラワークを表現する情報を作成することにより、それぞれの動画コンテンツ記録時を代表するカメラワーク情報をユーザに提供できるようにして、動画コンテンツの撮影時のカメラワークを視覚的に容易かつ迅速に把握できるようにする。
【選択図】図３

Description

本発明は撮像装置及び撮像装置の制御方法に関し、特に、撮影時のカメラワークを特定して表示するために用いて好適な技術に関する。

動画撮影において、撮影の仕方を工夫するユーザの間では、対象のシーンを複数のカメラワークで撮影することがある。カメラワークとは、撮影対象に対する範囲や方向、または焦点距離などを変えながら撮影することによって、撮影した動画に臨場感や躍動感を与える効果を持つ撮影技術である。

例えば、カメラワークには、パンやティルト、そしてズーミングなどがある。パンとは、Panoramic Viewingの略で、パノラマのように見ることであり、三脚に載せたカメラを水平方向に回転させ、横長の撮影エリアを１ショットで見せる技法である。また、ティルトとは、カメラを垂直方向に振ることである。ティルト・ダウンは上から下へ、ティルト・アップは下から上へカメラ・アングルを変えることである。ズーミングとは、レンズの焦点距離を変えることであり、広角から望遠へ焦点距離を変えることをズームイン、望遠から広角へ焦点距離を変えることをズームアウトと呼ぶ。以上のようなカメラワークで撮影を行った後、ユーザは編集時にカメラワークが異なる同一シーンの動画コンテンツを実際に再生しながら比較して評価する。

このように動画を再生した場合に、映像に同期した撮影時におけるカメラワーク情報を示す技術が特許文献１で紹介されている。この技術では、カメラワーク情報に対応したパターン図形を定義しており、ユーザはあらかじめそのパターン図形が示すカメラワーク情報を覚えておく。そして、ユーザは動画を再生したとき、カメラワークが実行されたシーンで映像と同期して表示されるパターン図形を同時に確認することができる。そのため、ユーザは動画コンテンツの撮影時のカメラワークを視覚的に容易かつ迅速に把握しながら動画を再生することができる。

特開２００２−１１８７７１号公報

しかしながら、特許文献１の方法では、ユーザは動画コンテンツの記録時に実施したカメラワークを把握するために、動画コンテンツを実際に再生しながら確認する必要がある。本来カメラワークが実行された対象のシーンを見つけるために動画を再生しなければならないため時間がかかる。特に、例えば、記録した動画コンテンツの再生時間が長いとき、または記録した動画コンテンツが多いときなどでは、実際に再生して確認する作業に要する時間が増大し、編集作業の効率が悪くなる問題点があった。
本発明は前述の問題点に鑑み、撮影時のカメラワークに対応した視覚効果を与えるサムネイルを作成して表示できるようにすることを目的とする。

本発明の撮像装置は、被写体を撮像して動画像データを生成して記録媒体に記録する撮像装置であって、動画像記録時における前記撮像装置の動作情報を記録する装置動作記録手段と、前記動作情報に対応するカメラワーク種別を判別するカメラワーク判別手段と、
動画像データから前記カメラワーク種別を判別したフレーム範囲を特定するフレーム範囲特定手段と、前記カメラワーク種別と前記フレーム範囲とを対応づけてカメラワーク情報として記録するカメラワーク管理手段と、前記カメラワーク情報の中から、所定の方法に従って動画像を代表するカメラワーク種別を特定する表現対象カメラワーク特定手段と、動画像の代表画像を一覧表示する時に、前記表現対象カメラワーク特定手段により特定したカメラワーク種別を表現する情報を作成するカメラワーク表現情報作成手段とを備えることを特徴とする。

本発明によれば、カメラワークが異なる同一シーンの動画コンテンツの中から、再生する動画コンテンツを選択する画面において、それぞれの動画コンテンツ記録時を代表するカメラワーク情報をユーザに提供することができる。これにより、そのカメラワークが実行された対象のシーンを見つけることが容易になり、編集作業の効率を向上させることができる。

再生記録装置の内部構成例を示すブロック図である。再生記録装置の外観の一例を示す図である。カメラワーク情報作成部の動作を説明するフローチャートである。装置動作記録部の内部構成の一例を示すブロック図である。カメラワーク情報の一例を示す図である。代表カメラワーク表現情報作成部の構成例を示すブロック図である。代表カメラ表現作成部の動作を説明するフローチャートである。特定したカメラワークＩＤのカメラワーク情報の例を示す図である。各カメラワーク種別のアイコンの外観の一例を示す図である。３つの動画の画像サムネイルを描画した様子を示す図である。３つの動画の画像サムネイルを含む動画のサムネイル一覧を示す図である。カメラワーク種別の検出した順番を表現した例を示す図である。カメラワーク管理部の構成例を示すブロック図である。各検出処理がそれぞれのカメラワークを検出した状況を示す図である。カメラワーク情報を検出した順番にまとめて作成する様子を示す図である。カメラワーク種別を表現した例を示す図である。パノラマ撮影表示が可能な撮影装置の構成例を示すブロック図である。パノラマ画像を作成する処理手順を説明する図である。静止画とパノラマ画像が混合したサムネイル表示の一例を表す図である。サムネイル表示の表示方法の一例を説明するフローチャートである。撮影方向が判別できるパノラマ画像表示の変形手法を説明する図である。パノラマ画像の表示形態の例を示す図である。パノラマ画像の表示形態の例を示す図である。パノラマ画像の撮影方向と垂直な辺を変形した例を示す図である。パノラマ画像の撮影方向に水平な辺の角度を変えた例を示す図である。

（第１の実施形態）
以下、添付図面に従って本発明にかかる第１の実施形態の詳細について説明する。第１の実施形態では、被写体を撮像して動画像データを生成して記録媒体に記録する動画撮影時におけるカメラワークの記録状況から、動画の中で検出した代表的なカメラワークを特定する。そして、その情報を動画の代表画像のサムネイル画面で表現する撮像装置の例を再生記録装置として説明する。

図１は、本実施形態の再生記録装置１００の内部構成例を示すブロック図である。
再生記録装置１００は、バス１０１、システム制御部１０２、操作入力部１０６、カメラ部１０７、画像データ記録部１１３、データ復号化部１１４、表示画像処理部１１５を有する。また、表示部インターフェース１１６、表示部１１７、カメラワーク情報作成部１１８、代表カメラワーク表現情報作成部１２７を有している。なお、図１では再生記録装置１００に電源を供給するバッテリーを省略している。

バス１０１は、各構成間の制御信号、またはデータ信号のための伝送路である。システム制御部１０２は、ＣＰＵ１０３、処理プログラム等が格納されたＲＯＭ１０４及びＣＰＵの作業領域としてのＲＡＭ１０５を備えている。システム制御部１０２は、バス１０１を介して以下で説明する各構成を統括制御する。

操作入力部１０６は、ユーザが装置を操作するインターフェースであり、ユーザが電源のON／OFF、または機能の設定や実行を指示するためのボタンを配置している。カメラ部１０７は、レンズ１０８、撮像部１０９、Ａ／Ｄ（アナログ−デジタル）変換部１１０、カメラ信号処理部１１１、データ符号化部１１２から構成される。

次に、カメラ部１０７の動作について説明する。
まず、レンズ１０８は、被写体光を撮像部１０９に導く。レンズ１０８は、ＣＰＵ１０３から出力される制御信号に対応してズーム動作や焦点整合動作などを行う。撮像部１０９は、ＣＣＤやＣＭＯＳ等を使って被写体を撮像し、得られた被写体光を電気信号に変換してＡ／Ｄ変換部１１０に出力する。Ａ／Ｄ変換部１１０は、アナログ信号をデジタル信号に変換する。カメラ信号処理部１１１は、Ａ／Ｄ変換部１１０により出力されたデジタル信号に対して、露出調整、γ補正、ホワイトバランス等の画像処理を行い、映像信号をデータ符号化部１１２に出力する。データ符号化部１１２は、供給されたデジタル映像信号をMPEG形式で符号化する。ＣＰＵ１０３は、カメラ部１０７の全体を制御する。以上がカメラ部１０７の動作に関する説明である。

画像データ記録部１１３は、カメラ部１０７のデータ符号化部１１２が符号化したデジタル映像信号をSDカードなどの記録メディアに記録する。データ復号化部１１４は、画像データ記録部１１３から読み出した符号化されたデジタル映像信号を復号化してデジタル映像信号に変換する。ここでは、画像データ記録部１１３に記録されているMPEG形式の動画データを復号化するが、これに限定されるわけではなく、データ復号化部１１４は、前述したデータ符号化部１１２が対応している符号化方式を復号化できるものとする。

表示画像処理部１１５は、後述する表示部１１７で表示する画面のイメージを作成するために必要な画像処理を行う。例えば、サムネイル表示画面を作成する場合、表示画像処理部１１５は、あらかじめ任意の場所に記録しているGUI部品を取得し、背景となる画面の画像情報の作成や、または前述した画像データ記録部１１３から画像データを取得し、画像情報の作成を行う。そして、さらに表示画像処理部１１５は、後述する代表カメラワーク表現情報作成部１２７から、画像のサムネイル枠の描画方法を指示する情報を取得し、その指示情報に従ってサムネイル枠の画像情報を作成する。表示画像処理部１１５は、最後に、作成した複数の画像情報を1つの画面に表示するための統一した画像情報として作成する。

表示部インターフェース１１６は、データ復号化部１１４で生成したデジタル映像信号や表示画像処理部１１５で作成した画像情報を表示部１１７で表示するのに適した信号に変換・調整し、表示部１１７に出力する。カメラワーク情報作成部１１８は、動画撮影時におけるカメラワークを記録し、カメラワーク情報として作成するユニットであって、装置動作記録部１１９、カメラワーク判別部１２４、フレーム範囲特定部１２５、カメラワーク管理部１２６から構成される。

装置動作記録部１１９は、動画記録時における装置の動作情報を記録する。例えば、装置動作記録部１１９は、撮影中に行われたカメラワークを装置本体の動きや操作入力部１０６の入力状態から検出し、動作情報として記録する。カメラワーク判別部１２４は、動作情報から実際に行われたカメラワーク種別を判別する。カメラワーク種別とは、右パン、左パン、上ティルト、下ティルト、ズームイン、ズームアウトなどといったカメラワークの種類を特定するものである。フレーム範囲特定部１２５は、前述したカメラワーク種別を判別した動画のフレーム範囲を特定する。カメラワーク管理部１２６は、カメラワーク種別とフレーム範囲とを対応づけて、動画撮影時におけるカメラワークの記録状況をカメラワーク情報として記録する。

代表カメラワーク表現情報作成部１２７は、動画撮影時に行った代表的なカメラワークを特定し、動画像のサムネイル表示画面で代表的なカメラワークを画面に表現するための情報を作成する。以上が、再生記録装置の内部構成についての説明である。

図２は、以上で説明した再生記録装置１００の外観を示す図であり、（ａ）は再生記録装置１００を側面から見た様子を示し、（ｂ）は前面から見た様子を示している。ただし、ここで操作入力部１０６は、電源ボタン１３２、選択ボタン１３３、撮影ボタン１３４、ズーム調整スティック１３５から構成されるものとする。

ユーザは、電池ボックス１３６に電池を入れた後、電源ボタン１３２を押して再生記録装置１００を起動させる。再生記録装置１００が起動すると、LCD（液晶ディスプレー）からなる表示部１１７には、案内用の操作画面が表示される。表示部１１７は、開閉式の蓋に取り付けられており、ユーザはこの蓋を開いて出力される操作画面を見る。再生記録装置１００には、２つの動作モード（動画撮影モードと動画再生モード）が用意されている。ユーザは操作画面に従って選択ボタン１３３を操作することにより、両モードを切り換えることができる。

再生記録装置１００を動画撮影モードに設定しているとき、レンズ１０８から入力された被写体光は撮像部１０９に取り込まれ、内部処理された後に表示部１１７に映像で表示される。そして、ユーザが、撮影ボタン１３４を押したタイミングで動画記録を開始する。また、ユーザはズーム調整スティック１３５を左右に倒してズームを調整する。そして、ユーザが撮影ボタン１３４を再度押すと動画記録が停止する。

再生記録装置１００を動画再生モードに設定しているとき、ユーザは撮影した動画を表示部１１７に表示されるサムネイル画面で確認できる。そして、選択ボタン１３３を操作することにより、所望の動画を選択して再生する。以下では、カメラワーク情報作成部１１８が、動画撮影時におけるカメラワークを記録し、その記録状況をカメラワーク情報として作成する方法について説明する。

図３は、カメラワーク情報作成部１１８の動作を説明するフローチャートである。ここでは、動作モードは動画撮影モードに設定されている状態のまま変わらないものとし、さらに、ユーザは複数の種類のカメラワークを同時には行わないものとして説明する。

はじめに、ユーザが動画記録を開始する操作を行ったことを示すユーザ操作情報を受けて、Ｓ３０１の処理を開始する。Ｓ３０１では、装置動作記録部１１９は、動画像記録時における装置動作を検出する。ここで装置動作記録部１１９は、動画像記録時における装置動作を一定のフレーム間隔で周期的に検出する。

図４に、装置動作記録部１１９の内部構成の一例を示す。装置動作記録部１１９は、装置動作記録統括部１２０、角速度検出手段として機能するＸ方向回転速度検出部１２１、同じく角速度検出手段として機能するＹ方向回転速度検出部１２２、操作情報検出部１２３から構成される。Ｘ方向回転速度検出部１２１とＹ方向回転速度検出部１２２は、それぞれＸ方向、Ｙ方向の回転速度を検出し、装置動作記録統括部１２０に通知する。また、操作情報検出部１２３は、ユーザが操作入力部１０６を介したズーム操作を検出し、装置動作記録統括部１２０に通知する。

以上の動作が行われることによって装置動作記録統括部１２０が装置動作を検出したとき、そのことをフレーム範囲特定部１２５に通知し、Ｓ３０２の処理へ進む。Ｓ３０２では、フレーム範囲特定部１２５は、現在の動画フレームのタイムコードを記録する。

Ｓ３０３では、装置動作記録統括部１２０は、通知元の検出部から装置動作情報、すなわち、前述した回転速度や前述したズーム操作情報を取得し、カメラワーク判別部１２４に通知する。
Ｓ３０４では、カメラワーク判別部１２４は、Ｓ３０３で取得した装置動作情報から、カメラワーク種別を特定し、カメラワーク管理部１２６に通知する。以下に、カメラワーク種別の特定方法について具体的に説明する。

ユーザが動画記録時にパン操作を行ったときに発生する再生記録装置１００の回転速度の方向は、Ｘ方向回転速度検出部１２１が検出する回転速度の方向と一致している。そのため、カメラワーク判別部１２４は、装置動作情報からＸ方向の回転速度が所定の大きさ以上であることを判断したとき、その回転方向と合わせて“右パン”、あるいは“左パン”のいずれかのカメラワーク種別を判別する。Ｙ方向回転速度検出部１２２が検出する回転速度も同様であり、カメラワーク判別部１２４は、Ｙ方向の回転速度の値から“上ティルト”、あるいは“下ティルト”のいずれかのカメラワーク種別を判別する。

一方、ユーザが操作入力部１０６を介してズーム操作を行ったとき、操作情報検出部１２３は、“テレズーム”キー、あるいは“ワイドズーム”キーのうち、ユーザにより押されたキーの情報を検出する。そして、カメラワーク判別部１２４は、そのキー情報から“テレズーム”、あるいは“ワイドズーム”のいずれかのカメラワーク種別を判別する。

Ｓ３０５では、カメラワーク管理部１２６は、現在のカメラワークＩＤ（＝Ｎ）のカメラワーク種別がすでに特定されているか否かを判定する。カメラワークＩＤとは、１回の動画中で記録した２つ以上のカメラワーク種別を区別するためにカメラワーク管理部１２６が付与するＩＤ（整数値）である。Ｎは、動画の記録を開始する時点で１に初期化される整数の値であり、動画を記録してからはじめて検出したカメラワークＩＤは、“１”である。なお、同じカメラワーク種別であっても、動画フレームが不連続に検出されたカメラワークに対しては、それぞれに異なるカメラワークＩＤが付与される。

Ｓ３０６は、カメラワークＩＤ（＝Ｎ）のカメラワーク種別がまだ特定されていない場合の処理である。このとき、Ｓ３０２でフレーム範囲特定部１２５が記録した動画フレームのタイムコードは、検出したカメラワークが行われたときの開始点を示す。フレーム範囲特定部１２５は、すでに記録した動画フレームのタイムコードをカメラワークＩＤ（＝Ｎ）の開始点のタイムコードとして記録する。

Ｓ３０７では、カメラワーク管理部１２６は、カメラワークＩＤ（＝Ｎ）のカメラワーク種別として、Ｓ３０４で特定したカメラワーク種別を記録し、その後、Ｓ３０１の処理に戻る。以降、単位フレームごとにＳ３０１で装置動作の検出を確認し、装置動作の検出が連続した場合はＳ３０１〜Ｓ３０５の処理を繰り返す。

Ｓ３０８は、Ｓ３０１で装置動作の検出の結果が、未検出であった場合の処理である。ここでは、カメラワーク管理部１２６がカメラワークＩＤ（＝Ｎ）のカメラワーク種別をまだ特定していなければ、再度Ｓ３０１の処理に戻る。一方、すでにカメラワークＩＤ（＝Ｎ）のカメラワーク種別を特定している場合、それはカメラワークの装置動作が終了して検出されなくなったことを示す。そのときはＳ３０９の処理に進む。

Ｓ３０９では、フレーム範囲特定部１２５は、現在の動画フレームのタイムコードをカメラワークＩＤ（＝Ｎ）の終了点のタイムコードとして記録する。
Ｓ３１０では、カメラワーク管理部１２６は、フレーム範囲特定部１２５からカメラワークＩＤ（＝Ｎ）を検出した動画フレームの開始点と終了点のタイムコードを取得する。これにより、カメラワーク管理部１２６は、カメラワークＩＤ（＝Ｎ）の開始点と終了点のそれぞれを、カメラワークを検出した動画フレーム範囲として記録する。

そして、カメラワーク管理部１２６は、すでにＳ３０４で記録済みであるカメラワーク種別と合わせて、カメラワークＩＤ（＝Ｎ）に対応するカメラワーク種別と、それを検出した動画フレームのタイムコードの範囲を、カメラワーク情報として作成する。図５（ａ）にデータ構造をもったカメラワーク情報の一例を示す。

このカメラワーク情報中の動画ファイル名とは、カメラワークを検出した動画のファイル名を示す。ただし、ここで、カメラワーク管理部１２６は、カメラワーク情報を作成する際に、検出した動画フレームのタイムコードの範囲が一定の間隔以下となったカメラワークＩＤは、カメラワーク情報として記録しない。これは、前述したタイムコードの範囲が一定の間隔以下であるカメラワークはノイズである可能性が高いからである。

Ｓ３１１では、カメラワーク管理部１２６は、現在のカメラワークＩＤ（Ｎ）の値を＋１インクリメントする。そして、次に実行されるカメラワークを検出する処理を行うために、Ｓ３０１の処理に戻る。
以上が、カメラワーク情報作成部１１８が、動画撮影時におけるカメラワークの記録状況をカメラワーク情報として作成する方法の説明である。

次に、実際にユーザが再生記録装置１００を利用して、カメラワークを変えながら同じシーンを３回記録した場合において、カメラワーク情報作成部１１８が生成したカメラワーク情報の例を示す。

図５（ｂ）、図５（ｃ）、図５（ｄ）は、それぞれ動画Ａ、動画Ｂ、動画Ｃの記録時に作成したカメラワーク情報である。例えば動画Ａでは、カメラワーク種別を特定したカメラワークＩＤを３つ記録している。これは、動画記録中においてユーザが実行したカメラワークを、検出した順に記録していることを示している。また、図５（ｃ）と図５（ｄ）も同様に、それぞれ４つと１つの検出したカメラワーク情報を示している。

以下では、代表カメラワーク表現情報作成部１２７が、動画の代表画像のサムネイル表示画面において、動画撮影時に行ったカメラワークを画面に表現するための情報を時系列で作成する例について説明する。ここでは、図５（ｂ）〜図５（ｄ）のように時系列で記録した３つの動画のカメラワーク情報を利用する。

図６に示すように、代表カメラワーク表現情報作成部１２７は、表現対象カメラワーク特定部１２８、文字情報作成部１２９、アイコン作成部１３０、サムネイル枠作成部１３１から構成される。

図７は、図６の各構成の説明を含め、代表カメラワーク表現情報作成部１２７の動作を説明するフローチャートである。ただし、以下の説明では、代表カメラワーク表現情報作成部１２７が、動画像の代表画像再生時に表現するカメラワーク種別を、最も広いフレーム範囲に連続して記録されたカメラワーク種別として特定する。そして、それを動画の代表画像のサムネイル表示画面で表現する例を示す。

Ｓ７０１では、表現対象カメラワーク特定部１２８は、カメラワーク情報作成部１１８から３つの動画（動画Ａ、動画Ｂ、動画Ｃ）のカメラワーク情報を取得する。
Ｓ７０２では、表現対象カメラワーク特定部１２８は、それぞれの動画に対して、検出したカメラワークＩＤにおけるカメラワーク検出時間を算出する。具体的には、カメラワークＩＤを検出した動画フレームのタイムコードの範囲（開始点と終了点）をもとに、開始点と終了点のタイムコードの差を求めてカメラワーク検出時間を算出する。

Ｓ７０３では、表現対象カメラワーク特定部１２８は、Ｓ７０２で求めたカメラワーク検出時間の中で、最も長い検出時間をもつカメラワークＩＤをそれぞれの動画から１つずつ特定する。このようにして、３つの動画（動画Ａ、動画Ｂ、動画Ｃ）のそれぞれで特定したカメラワークＩＤのカメラワーク情報の例を、図８（ａ）、図８（ｂ）、図８（ｃ）に示す。

Ｓ７０４では、文字情報作成部１２９は、特定したカメラワークＩＤのカメラワーク種別を表現する、文字情報を作成する。この文字情報とは、動画のサムネイル画面でその動画の記録時に行ったカメラワーク種別を文字で示すものである。文字情報作成部１２９は、動画Ａの文字情報を “右パン”、動画Ｂの文字情報を“上ティルト”、動画Ｃの文字情報を“テレズーム”として記録する。

Ｓ７０５では、アイコン作成部１３０は、特定したカメラワークＩＤのカメラワーク種別を表現する、アイコン情報を作成する。このアイコン情報とは、動画の代表画像のサムネイル画面でその動画の記録時に行ったカメラワーク種別を、視覚効果を与えるアイコンで示すものである。図９に、アイコン作成部１３０が作成する、各カメラワーク種別のアイコンの外観の一例を示す。

Ｓ７０６では、サムネイル枠作成部１３１は、特定したカメラワークＩＤのカメラワーク種別を表現する、サムネイル枠の描画指示情報を作成する。このサムネイル枠の描画指示情報とは、サムネイル画面で画像のサムネイルを表示するとき、サムネイルの枠の色、形状、大きさ、画面上の位置などの描画方法を、表示画像処理部１１５に指示する情報である。サムネイル枠作成部１３１は、視覚効果を与えるサムネイル枠の描画指示情報を、カメラワーク種別に応じて作成する。

図１０は、サムネイル枠作成部１３１が作成する描画指示情報をもとにして、表示画像処理部１１５が３つの動画（動画Ａ、動画Ｂ、動画Ｃ）の画像サムネイルを描画した様子を示す。この描画指示情報の例では、はじめにサムネイルの枠を、撮影した画像の枠よりも狭い範囲に指定して作成し、そして、カメラワーク種別に応じて、枠に指定する範囲を動的に移動する指示を与えている。

ただし、ここでは、枠の範囲外の画像部分は見えないようにする。（ａ）に示すように、“右パン”では枠の範囲を少しずつ右に移動する。また、（ｂ）に示すように、“上ティルト”では枠の範囲を少しずつ上に移動する。また、（ｃ）に示すように、“テレズーム”では枠の範囲を少しずつ狭くするように指示している。そして、枠の範囲は一定時間ごとに元の位置に戻り、再び上記の変化を繰り返す。

このように、サムネイル枠作成部１３１は、サムネイルの枠の範囲を動的に変えて視覚的な効果を与える描画指示情報を作成することによって撮影時のカメラワーク種別を表現する。以上で、代表カメラワーク表現情報作成部１２７が、動画のサムネイル表示画面において、動画撮影時に行ったカメラワークを画面に表現するための情報を作成する例の説明を終了する。

ユーザは、再生記録装置１００を動画再生モードに設定し、動画Ａ、動画Ｂ、動画Ｃを含む動画のサムネイル一覧を、図１１（ａ）〜図１１（ｃ）のように表示部１１７で確認することができる。

図１１（ａ）は、動画のカメラワーク情報を文字で表現したサムネイル一覧表示の画面である。また、図１１（ｂ）は、動画のカメラワーク情報をアイコンで表現したサムネイル表示画面である。そして、図１１（ｃ）は、動画のカメラワーク情報をサムネイル枠の変形や移動で表現したサムネイル表示画面である。ユーザは、操作入力部１０６を操作することによって、図１１（ａ）、図１１（ｂ）、図１１（ｃ）の表示形式を変更することができる。

ところで、１つの動画の記録において、ユーザは複数のカメラワークを、順番を変えながら撮影することがある。このような場合、代表的なひとつのカメラワーク種別を特定して表現するのではなく、順番に行ったカメラワークの内容をユーザに示す方がよい。例えば、前述の内容を考慮して、カメラワーク情報作成部１１８は、図５（ｂ）で示した動画Ａのカメラワーク情報からサムネイル表示画面で表現するカメラワーク種別の情報を作成する際に、カメラワーク種別の検出した順番を示す情報を作成することもできる。

図１２（ａ）は、カメラワーク種別の検出した順番を文字情報で示す例である。図１２（ｂ）は、カメラワーク種別の検出した順番をアイコンで示す例である。図１２（ｃ）は、動画の代表画像のサムネイル枠を動的に変化させて、カメラワーク種別の検出した順番を示す例である。カメラワーク情報作成部１１８は、検出したカメラワーク種別の順番を、このように表現するように表現情報を作成すればよい。

前述したように、本実施形態の再生記録装置によれば、ユーザはカメラワークが異なる同一シーンの動画コンテンツの中から、再生する動画コンテンツを選択する画面において、それぞれの動画コンテンツ記録時を代表するカメラワーク情報を容易に把握できる。

（第２の実施形態）
以下、添付図面に従って本発明にかかる第２の実施形態の詳細について説明する。
第１の実施形態では、ユーザは複数の種類のカメラワークを同時に行わないことを前提として再生記録装置１００の動作について説明した。それに対して、第２の実施形態では、ユーザが共通のフレーム範囲において複数の種類のカメラワークを同時に行う場合、再生記録装置１００がカメラワーク種別を検出する方法について説明する。第２の実施形態における再生記録装置の内部構成は、第１の実施形態で説明したものと同様である。そのため、第２の実施形態では、第１の実施形態の前述した内部構成の説明を省略する。

以下では、第２の実施形態におけるカメラワーク情報作成部１１８が、動画撮影時におけるカメラワークを記録し、それをカメラワーク情報として作成する方法を説明する。以降、第１の実施形態で説明した構成の同一の符号も用いて説明を行う。

図１３に示すように、動画の記録を開始したとき、カメラワーク管理部１２６は、検出管理処理部１２６１を起動する。そして、検出管理処理部１２６１は、さらに各カメラワークを検出する処理を行うパン検出処理部１２６２、ティルト検出処理部１２６３、ズーム検出処理部１２６４を起動し、それぞれにカメラワーク検出処理ＩＤ（整数）を付与して管理する。ここでは、パン操作を検出する処理のＩＤを“１”、ティルト操作を検出する処理のＩＤを“２”、そして、ズーム処理を検出する処理のＩＤを“３”とする。

ところで、第１の実施形態では、カメラワーク管理部１２６は、パン操作、ティルト操作、ズーム操作をまとめて検出する処理を１つ起動していた。それに対して、第２の実施形態のカメラワーク管理部１２６は、パン検出処理部１２６２、ティルト検出処理部１２６３、ズーム検出処理部１２６４の３つの検出処理部を起動する。各検出処理部は、基本的には図３のフローチャートで示した方法に従ってそれぞれのカメラワークのみを検出してカメラワーク情報を作成する。

例えば、パン検出処理部１２６２は、パン操作の“右パン”、“左パン”のカメラワーク種別のみを検出し、検出した順番にカメラワークＩＤを“１”、“２”、“３”…と付与してカメラワーク情報を記録する。同様に、ティルト検出処理部１２６３は、ティルト操作の“上ティルト”、“下ティルト”のカメラワーク種別のみを検出する。また、ズーム検出処理部１２６４は、ズーム操作の“テレズーム”、“ワイドズーム”のカメラワーク種別のみを検出してカメラワーク情報を記録する。

次に、ユーザが複数の種類のカメラワークを同時に行って動画Dを撮影した場合、上記の方法を適用してカメラワークを検出した例を示す。図１４は、各検出処理がそれぞれのカメラワークを検出した状況を示す図である。これによると、タイムコードＴＤ２〜タイムコードＴＤ３の間は、“右パン”と“上ティルト”を同時に検出している。また、タイムコードＴＤ４〜タイムコードＴＤ５の間は、“上ティルト”と“ワイドズーム”を同時に検出している。

以上の検出状況であった場合に、カメラワーク管理部１２６が、カメラワーク検出処理ＩＤごとに記録したカメラワーク情報を、さらに検出した順番にまとめて作成する様子を図１５に示す。ここで作成したカメラワーク情報には、同時に実行したカメラワークもそれぞれ記録している。また、カメラワーク管理部１２６は、カメラワークを記録した順番にカメラワークＩＤを更新している。

このように、特定のカメラワークを組み合わせたカメラワーク情報に関しては、それを表現する方法を定義することができる。例えば、第１の実施形態で説明した方法に従って、カメラワーク情報作成部１１８が、文字情報、アイコン情報、サムネイル枠の描画指示情報を作成し、同時に実行された“右パン”と“上ティルト”のカメラワーク種別を表現した例を図１６に示す。

ここでは、アイコン情報としては、図１５（ａ）の“右パン・上ティルト”を表現するために、（ｂ）のように目が右上を向いたキャラクターのアイコンを作成している。また、サムネイル枠の描画指示情報としては、“右パン・上ティルト”を表現するために、（ｃ）のように、サムネイル枠を右上に向かって動的に移動するように作成している。

（第３の実施形態）
次に、カメラワークの一例として、パノラマ撮影方向の表示例を説明する。
近年、デジタルカメラに代表される撮像装置には、少しずつ重なるように撮影した複数枚の静止画から合成することで、一枚の画像を作成するパノラマ作成モードを有するものがある。
図１７は、本実施形態のパノラマ撮影表示モードを備えた撮像装置の回路構成例を示すブロック図である。

図１７に示すブロック図において、光学系１７０１は撮像レンズ１０、ズーム機能、焦点調節機能、及び絞り調節機能を含み、撮像レンズ１０を介して集光された被写体像を信号変換部１７０２にある撮像素子１２の撮像面上に結像させる。

信号変換部１７０２は、撮像素子１２、信号変換回路を含み、前述した光学系１７０１を介して撮像素子１２に結像した画像を電気的に変換し、Ａ/Ｄ変換器１３でデジタルデータに変換して一定の周期で出力する。撮像素子１２は多数の光電変換素子が二次元的に配列された構成を有し、撮像レンズ１０によって結像された被写体光学像を画素単位の映像信号に変換する。撮像素子１２は、例えばCMOSイメージセンサやCCDイメージセンサである。

信号処理部１７０３は、信号変換部１７０２からの出力を処理して、輝度、色差信号等の信号成分から、画像データをＤＲＡＭ等の内部記憶装置１４に転送し、一時的に記憶する。また、スルー画を表示させるため、取り込んだ画像データを間引いて表示部１７０６で表示する。また、シャッタ操作がされるとその時点の画像データを表示部１７０６に送って静止画表示させる。

信号処理部１７０３は、また、画像記録保存の際に内部記憶装置１４に書き込まれている画像データを読み出してJPEG圧縮処理を施す。そして、再生時にフラッシュメモリ、HDDなどの記録用メモリ１５に保存されていた画像データに伸張処理を施して画像データを再生する。ただし、記録用メモリ１５はフラッシュメモリやHDDに限らず、外部メモリとして、メモリーカード、ＤＶＤや高容量の光ディスクなどでもよい。内部記憶装置１４は、作業用メモリとして用いられ、撮像した画像を一時的に記憶するプレーンバッファの領域やJPEGに圧縮/伸張するための作業用メモリとして用いられる。

制御部１７０４は、ＣＰＵ、ＲＡＭ、プログラム格納用ＲＯＭ及びタイマ等を有したマイクロプロセッサ構成を有している。ＣＰＵは、前述の各回路等にバスラインを介して接続し、プログラム格納用ＲＯＭに格納されている制御プログラムにより、撮像装置１７００全体の制御を行う。また、操作部１７０５からの状態信号に対応してプログラム格納用ＲＯＭに格納されている各モードに対応の処理プログラムやパノラマ撮影処理プログラムを取り出して、撮像装置１７００の各機能の実行制御を行う。例えば、撮像や記録画像の再生機能の実行等を行う他にパノラマ撮影モード時の各画像の位置合わせ処理等を行う。また、本実施形態におけるパノラマ画像の画像変形処理も行う。

操作部１７０５は、撮影者が撮像装置に指示を与えるためのユーザーインターフェースであり、キー、ボタン、タッチパネル等の入力デバイスを備えている。
表示部１７０６は、ビデオエンコーダ、液晶画面（ＬＣＤ）等から構成されており、制御部１７０４の表示制御により、撮像時のスルー画像及び、再生時の再生画像、処理選択時の選択用メニューや操作指示用のメッセージ等の表示を行う。

ジャイロセンサ１７０７は、撮像装置本体のブレ、振動を検出し、その情報を制御部１７０４に伝える。ジャイロセンサ１７０７によりブレの角変位、角速度、角加速度などの検出情報を受けた制御部１７０４は検出したブレや振動を打ち消す演算を行う。また、本実施形態においては、手ブレや振動よりも大きな撮像装置の動きを検出し、制御部１７０４にてその方向を画像のヘッダ情報に記録する。

ここで、図１８にパノラマ画像を合成する画像生成処理を示す。図１８において、（ａ）では撮像装置１７００で、ある風景を一定方向に動かし、一枚一枚撮影している図である。撮影されたパノラマ画像の始点となる画像を撮影する。

次に、撮影者１８０１を中心として撮像装置１７００を一定方向に動かし、始点となる画像に合成するシーンを撮影する。それを、複数回行う。（ｂ）は、（ａ）で撮影された画像の３枚を示す。各画像間には（ｃ）に示すようにオーバーラップ部分１８０３が存在する。ここでは、複数の画像の画像データを比較して相対位置を検出し、それらが重なるように合成する処理を行うことで、（ｄ）の様な１枚のパノラマ画像を作成する。また、合成されたパノラマ画像の撮影方向を示す情報を取得する撮影方向取得処理を行い、合成時には、撮影されたパノラマ画像のヘッダ情報に撮影方向を記録する。

図１８（ａ）において、２枚目以降の画像に撮像装置を一定方向に動かした情報をそれぞれの画像のヘッダ情報に記録している。合成する画像の始点側から終点側までの画像における撮像装置１７００の動き情報が連続して、同方向だと判断できれば合成し、パノラマ画像のヘッダ情報に撮影方向として記録する。

ここで、撮影方向１８０２は内蔵されているジャイロセンサ１７０７により、撮影した場面から次に撮影する場面に撮像装置を移動させたときの撮像装置の移動として検出される。ジャイロセンサ１７０７の出力の直流成分が規定値よりも大きい場合には撮像装置１７００を動かしていると判断し、角速度からその方向を決める。また、作成されたパノラマ画像を後述する表示画像の変形に用いるための、パノラマ画像の撮影方向に水平な辺の画素数、またはパノラマ画像のアスペクト比をヘッダ情報として記録する。また、撮影者１８０１が予め、撮影方向を決め、撮像装置に設定しておくことで、撮影方向を判断する。

図１９に、合成画像でない静止画とパノラマ画像が混合したサムネイル表示の一例を表す。図１９では、通常撮像装置で撮影された静止画をサムネイル表示するとサムネイル１９０１のように表示する。このサムネイル表示においてパノラマ画像も同時に表示する場合、サムネイル１９０２、１９０３、１９０４のようにサムネイル１９０１と等しい表示領域の大きさに変形した形態で表示する。

本実施形態では、図１９で表したサムネイル表示の表示方法を、図１７の撮像装置の構成図と図２０のフローチャートを用いて説明する。
Ｓ２０００において、撮影モードから、操作部１７０５にある再生ボタンが押されることでサムネイル表示モードに切り替わり、Ｓ２００１へと進む。

Ｓ２００１では、記録用メモリ１５からサムネイル表示させる画像を読み込み、パノラマ画像か否かを判別する。判別する際には、画像のヘッダ情報に記録されるパノラマ画像情報により判別できる。
Ｓ２００２では、Ｓ２００１でパノラマ画像と判別できる場合は、パノラマ画像のヘッダ情報に記録されているパノラマ撮影方向を参照し、撮影方向が記録されている場合、Ｓ２００３に進む。パノラマ撮影方向が記録されてない場合は合成していない静止画として表示するためＳ２００４に進みサムネイル表示する。
Ｓ２００３では、Ｓ２００２で取得した撮影方向から、パノラマ画像を撮影方向に応じた画像変形を行う。

本実施形態では撮影方向が判別できるパノラマ画像表示を実現するために、画像の幾何学方式である射影変換を用いて行う。変形手法として図２１を用いて説明する。
射影変換について簡単に説明する。ここでは変換する画像を画像P、変換後の画像を画像Oとする。元の画像Pの座標（ｘ、ｙ）が変換後の画像Oの座標（Ｘ、Ｙ）に対応するときの関係が数１として成り立つ。

前述した（１）、（２）式において、a₀、b₀、c₀、a₁、b₁、c₁、a₂、b₂、c₂、は変換方法を決定するパラメータである。９個のパラメータがあり、（１）、（２）式の右辺の分子・分母を一つのパラメータで割ることにより、８つの式が成り立つため、４点の変換前後の座標値が分かれば、変換パラメータは一意に定まる。

そこで、本実施形態では、図２１の様な変換元のパノラマ画像の座標枠２１００、変換先座標枠２１０１のそれぞれ４つの頂点A（ｘ₀、ｙ₀）、B（ｘ₁、ｙ₁）、C（ｘ₂、ｙ₂）、D（ｘ₃、ｙ₃）、A' （Ｘ₀'、Ｙ₀'）、B' （Ｘ₁'、Ｙ₁'）、C' （Ｘ₂'、Ｙ₂'）、D' （Ｘ₃'、Ｙ₃'）の座標値を前記（１）、（２）に代入して解くことにより、パラメータを決定する。求められたパラメータを式（１）、（２）に代入し、パノラマ画像の各画素位置の座標に対応する変形後の座標位置を求める（矢印２１０２）。

図２０のフローチャートの説明に戻る。
Ｓ２００４では、Ｓ２００３で変形した画像を通常の静止画と同表示領域に表示する。
Ｓ２００５では現在のサムネイル表示を切り替えたい場合、Ｓ２００１に戻り、新たに記録用メモリ１５に記録されている画像を読み込み、ページを変更しない場合は、Ｓ２００６に進む。サムネイル表示されているページを切り替える際には、操作部１７０５の十字キー等で操作することでページを切り替える。

Ｓ２００６では、サムネイル表示を終了するか否かを判断する。この判断は、操作部１７０５で画像の表示を終了させる操作、例えば再生ボタンが再度押され、撮影モードに切り替えが行われた場合Ｓ２００７に進み、撮像装置の撮影モードに戻る。また、撮影モードの切り替えが行われない場合はＳ２００４に戻り、サムネイル表示を継続する。

本実施形態におけるパノラマ画像の表示形態の例を図２２を用いて説明する。
図２２（ａ）は、複数の画像により合成されたパノラマ画像であり、図２２（ｂ）は撮像装置で撮影された画像を表示する表示部の表示領域である。パノラマ画像図２２（ａ）は、表示領域２００とアスペクト比が異なるため、そのままではパノラマ画像全体が表示できない。

図２２（ｃ）では、本実施形態の撮影方向を考慮したパノラマ画像の表示形態を示している。図２２（ｃ）において、撮影方向は撮影者の向かって左側から順次、撮影された複数枚の画像を重複した箇所で継ぎ合わせ、パノラマ画像を生成したものを表示した。

本実施形態は、パノラマ画像の撮影方向に対して、垂直なパノラマ画像の辺２０２'の長さを変化させ、画像に奥行きを持たせたように表示することで、画像を一律に小さくすることなく、パノラマ画像の全体像と撮影方向を明確にすることができる。

本実施形態で説明したパノラマ画像の表示方法は、図２２（ｃ）では、辺２０２'を画像の水平方向に対して上方向垂直に縮小した。しかし、図２２（ｄ）のように辺２０２'を画像の水平方向に対して下方向に垂直に縮小してもよいし、図２２（ｅ）のように画像の水平方向に対して上方向、下方向に縮小してもよい。また、図２２（ｆ），（ｇ），（ｈ）は撮影方向を撮影者の向かって右側から順次撮影した場合であり、辺２０１'を変形させることで撮影方向の判別ができる。

図２３（ａ）は、縦方向にパノラマ画像を作成した場合のサムネイル表示における表示方法の一例を示す図である。図２３（ｂ）〜（ｄ）において、撮影方向は撮影者に向かって下側から順次撮影された複数枚の画像を重複した箇所で継ぎ合わせ、パノラマ画像を生成したものを表示したときのパノラマ表示例を示す図である。ここでも、前述した実施形態と同様に、撮影方向に垂直な辺２０４'を変化させる。また、撮影方向が上側から順次、撮影された場合、図２３（ｅ）、（ｆ）、（ｇ）のように撮影方向に対して垂直な辺２０３'を変化させることで方向を判別できる。

前述のような変形方法により、パノラマ画像が合成していない静止画と一緒に表示する場合、煩雑な表示にはならず、従来技術が持つ表示が一律に小さくなってしまうことや、不自然となってしまうことを解消し、撮影方向が分かるパノラマ画像の表示ができる。

なお、本実施形態においては、撮像装置に適用した場合を例にして説明したが、本発明はこの実施形態に限定されない。すなわち、本発明は、パーソナルコンピューターなどの撮像装置に適用してもよい。また、撮像装置の有する背面液晶装置などのディスプレイにマルチ再生表示する際にも、本発明は適用可能である。さらに、携帯電話端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画像選択および確認のためのディスプレイ、デジタルフォトフレームなど、画像を表示可能な装置に本発明は適用可能である。

（第４の実施形態）
次に、図２４を用いて本発明の第４の実施形態を説明する。本実施形態の撮像装置の構成及び画像変形の基本的な制御は、第３の実施形態と同様であるため、重複する説明は省略する。
本実施形態では、図２４の撮影方向が分かるように表示領域７００に表示するためにパノラマ画像の変形制御に必要な変形パラメータについて説明する。

本実施形態のパノラマ画像の表示方法の一例を図２４（ａ）〜（ｄ）に示す。
図２４（ａ）〜（ｄ）で示すのは、パノラマ画像を生成するために使用するパノラマ画像の撮影方向に水平な辺の画素数、またはアスペクト比に応じて段階的にパノラマ画像の撮影方向と垂直な辺を変形した一例である。

図２４における（１）〜（４）は、画像の表示領域７００の辺７０２を５等分しており、パノラマ画像を生成する際に使用する撮影方向に水平な辺の画素数によって辺７０２'の長さを決定する。本実施形態における変形条件を下記に示す。
すなわち、撮像装置で普段撮影する静止画１枚の水平画素数を基準とし、パノラマ画像の撮影方向に対して水平な画素数から辺７０２'の長さの変形量を決める。

図２４（ａ）では、（１）の点に辺７０２'と辺７０３'とが交わる点が重なるようにパノラマ画像を変形させる変形条件をパノラマ画像の撮影方向に対して水平な辺の画素数が前述した基準となる静止画１枚の水平画素数の２倍未満である場合とする。

図２４（ｂ）では、（２）の点に辺７０２'と辺７０３'とが交わる点が重なるようにパノラマ画像を変形させる変形条件をパノラマ画像の撮影方向に対して水平な辺の画素数が前述した基準となる静止画１枚の水平画素数の２倍以上３倍未満である場合とする。

図２４（ｃ）では、（３）の点に辺７０２'と辺７０３'とが交わる点が重なるようにパノラマ画像を変形させる変形条件をパノラマ画像の撮影方向に対して水平な辺の画素数が前述した基準となる静止画１枚の水平画素数の３倍以上４倍未満である場合とする。

図２４（ｄ）では、（４）の点に辺７０２'と辺７０３'とが交わる点が重なるようにパノラマ画像を変形させる変形条件をパノラマ画像の撮影方向に対して水平な辺の画素数が前述した基準となる静止画１枚の水平画素数の４倍以上である場合とする。なお、前述の変形パラメータであるパノラマ画像のアスペクト比においても同様に画像のヘッダ情報に記録されている変形パラメータの量的情報に応じて撮影方向の垂直な辺を変化させる。

前述した表示方法の制御を行うことで、パノラマ画像の大きさの概略見当が付き、撮影した画像の始点側を大きく表示し、長いパノラマ画像を表示する際に生じた、パノラマ画像が一律に小さくなる。これにより、画像の内容がわかりづらいといった課題を解消することができる。

（第５の実施形態）
次に、本発明の第５の実施形態を図２５を用いて説明する。
図２５では、変形パラメータが与えられたときに、変形結果としてパノラマ画像の撮影方向に水平な辺の水平基準である辺７０３からの角度を変えることを表している。

パノラマ画像の生成に使用するパノラマ画像の撮影方向に水平な辺の画素数、またはパノラマ画像のアスペクト比などの変形パラメータが与えられたときに、撮影方向に水平な辺の水平基準である辺７０３からの角度θを段階的に変えるようにしている。

パノラマ画像の撮影方向に水平な辺の画素数に応じて角度θをθ₁、θ₂、θ₃、θ₄、の値が決まる。ただし、θ₁＜θ₂＜θ₃＜θ₄である。本実施形態における変形条件を下記に示す。
撮像装置で普段撮影する静止画１枚の水平画素数を基準とし、パノラマ画像の撮影方向に対して水平な画素数から水平な辺の水平基準である７０３からの角度θを決める。

図２５（ａ）では、水平な辺の水平基準である辺７０３からの角度の大きさがθ₁になるようにパノラマ画像を変形させる変形条件は、パノラマ画像の撮影方向に対して水平な画素数が前述した基準となる静止画１枚の水平画素数の２倍未満である場合とする。

図２５（ｂ）では、水平な辺の水平基準である辺７０３からの角度の大きさがθ₂になるようにパノラマ画像を変形させる変形条件は、パノラマ画像の撮影方向に対して水平な画素数が、基準となる静止画１枚の水平画素数の２倍以上３倍未満である場合とする。

図２５（ｃ）では、水平な辺の水平基準である辺７０３からの角度の大きさがθ₃になるようにパノラマ画像を変形させる変形条件は、パノラマ画像の撮影方向に対して水平な画素数が、基準となる静止画１枚の水平画素数の３倍以上４倍未満である場合とする。

図２５（ｄ）では、水平な辺の水平基準である辺７０３からの角度の大きさがθ₄になるようにパノラマ画像を変形させる変形条件はパノラマ画像の撮影方向に対して水平な画素数が前述した基準となる静止画１枚の水平画素数の４倍以上である場合とする。なお、前述の変形パラメータであるパノラマ画像のアスペクト比においても同様に、画像のヘッダ情報に記録されている変形パラメータの量的情報に応じて撮影方向に水平な辺の水平基準である辺７０３からの角度θを変える。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００再生記録装置、１０１バス、１０２システム制御部、１０３ＣＰＵ、１０４ＲＯＭ、１０５ＲＡＭ、１０６操作入力部、１０７カメラ部、１０８レンズ、１０９撮像部、１１０Ａ／Ｄ変換部、１１１カメラ信号処理部、１１２データ符号化部、１１３画像データ記録部、１１４データ復号化部、１１５表示画像処理部１１６表示部インターフェース、１１７表示部、１１８カメラワーク情報作成部、１１９装置動作記録部、１２０装置動作記録統括部、１２１Ｘ方向回転速度検出部、１２２Ｙ方向回転速度検出部、１２３操作情報検出部、１２４カメラワーク判別部、１２５フレーム範囲特定部、１２６カメラワーク管理部、１２７カメラワーク表現情報作成部、１２８表現対象カメラワーク特定部、１２９文字情報作成部、１３０アイコン作成部、１３１サムネイル枠作成部

Claims

被写体を撮像して動画像データを生成して記録媒体に記録する撮像装置であって、
動画像記録時における前記撮像装置の動作情報を記録する装置動作記録手段と、
前記動作情報に対応するカメラワーク種別を判別するカメラワーク判別手段と、
動画像データから前記カメラワーク種別を判別したフレーム範囲を特定するフレーム範囲特定手段と、
前記カメラワーク種別と前記フレーム範囲とを対応づけてカメラワーク情報として記録するカメラワーク管理手段と、
前記カメラワーク情報の中から、所定の方法に従って動画像を代表するカメラワーク種別を特定する表現対象カメラワーク特定手段と、
動画像の代表画像を一覧表示する時に、前記表現対象カメラワーク特定手段により特定したカメラワーク種別を表現する情報を作成するカメラワーク表現情報作成手段と、
を備えることを特徴とする撮像装置。
前記装置動作記録手段は、前記撮像装置の角速度を検出する角速度検出手段を備え、
前記角速度検出手段により検出された角速度を記録することを特徴とする請求項１に記載の撮像装置。
前記カメラワーク判別手段は、前記角速度検出手段により検出された角速度からパン、ティルトのうちいずれかをカメラワーク種別として判別することを特徴とする請求項２に記載の撮像装置。
ユーザ操作情報を検出する操作情報検出手段を備え、
前記装置動作記録手段は、前記操作情報検出手段により検出されたユーザ操作情報を記録することを特徴とする請求項１に記載の撮像装置。
前記カメラワーク判別手段は、前記操作情報検出手段により検出されたユーザ操作情報からズーム操作をカメラワーク種別として判別することを特徴とする請求項４に記載の撮像装置。
前記カメラワーク管理手段は、前記カメラワーク判別手段により検出されたカメラワーク種別のうち、前記フレーム範囲が所定の間隔以下である対象をカメラワーク情報に記録しないことを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
前記カメラワーク判別手段は、共通のフレーム範囲において複数のカメラワーク種別を判別し、前記カメラワーク管理手段は、判別された複数のカメラワーク種別を記録することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
前記代表画像とは、動画を代表する画像のサムネイルであることを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
前記カメラワーク表現情報作成手段は、前記カメラワーク種別を示す文字情報、またはカメラワーク種別に対応する視覚効果を与える情報を作成することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
前記視覚効果とは、アイコンを表示すること、または代表画像を表示する枠の色、形状、大きさ、画面上の位置のうち少なくとも１つ以上に変化を与えることを特徴とする請求項９に記載の撮像装置。
前記カメラワーク表現情報作成手段は、動画像の代表画像再生時に表現するカメラワーク種別を、最も広いフレーム範囲に連続して記録されたカメラワーク種別とすることを特徴とする請求項１〜１０の何れか１項に記載の撮像装置。
１つの動画像データにおいて、不連続である複数のフレーム範囲にカメラワーク種別が記録されている場合、前記カメラワーク表現情報作成手段は、カメラワーク種別を時系列で記録された順番に従って文字情報を作成すること、カメラワーク種別に対応するアイコンを時系列で記録された順番に従って画面に並べること、時系列で記録された順番に従って、動的にカメラワーク種別に対応する枠の変化を与えること、何れかでカメラワーク種別を示すことを特徴とする請求項１〜１１の何れか１項に記載の撮像装置。
前記カメラワーク表現情報作成手段は、複数のカメラワーク種別が共通のフレーム範囲に同時に記録されているとき、前記複数のカメラワーク種別の組み合わせに対応づけた枠の変化を与えることを特徴とする請求項１〜１２の何れか１項に記載の撮像装置。
前記記録媒体から動画像データを再生する再生手段と、
前記カメラワーク表現情報作成手段が作成した情報を基にして、動画像を代表するカメラワークを表現するカメラワーク表現手段とを備えることを特徴とする請求項１〜１３の何れか１項に記載の撮像装置。
撮影した画像を表示する機能を備える撮像装置であって、
複数枚の画像から１枚のパノラマ画像を合成する画像生成手段と、
前記画像生成手段により合成されたパノラマ画像の撮影方向を示す情報を取得する撮影方向取得手段と、
前記画像生成手段により合成されたパノラマ画像を、前記撮影方向取得手段により取得した撮影方向に応じて変形させる画像変形手段と、
前記画像変形手段により変形されたパノラマ画像を表示する画像表示手段と、
を備えることを特徴とする撮像装置。
前記撮影方向取得手段は、撮影した場面から次に撮影する場面に撮像装置を移動させたときの撮像装置の移動を検出するジャイロセンサと、前記ジャイロセンサの信号により撮影方向を検出する検出手段と、前記検出手段により検出した撮影方向を画像のヘッダ情報に記録する記録手段とを備えていることを特徴とする請求項１５に記載の撮像装置。
前記画像変形手段は、前記撮影方向取得手段により取得した撮影方向から撮影の終点を判別し、前記判別した終点側のパノラマ画像における撮影方向に対する垂直な辺を縮小することにより前記パノラマ画像を変形させることを特徴とする請求項１５に記載の撮像装置。
被写体を撮像して動画像データを生成して記録媒体に記録する撮像装置の制御方法であって、
動画像記録時における前記撮像装置の制御方法の動作情報を記録する装置動作記録工程と、
前記動作情報に対応するカメラワーク種別を判別するカメラワーク判別工程と、
動画像データから前記カメラワーク種別を判別したフレーム範囲を特定するフレーム範囲特定工程と、
前記カメラワーク種別と前記フレーム範囲とを対応づけてカメラワーク情報として記録するカメラワーク管理工程と、
前記カメラワーク情報の中から、所定の方法に従って動画像を代表するカメラワーク種別を特定する表現対象カメラワーク特定工程と、
動画像の代表画像を一覧表示する時に、前記表現対象カメラワーク特定工程により特定したカメラワーク種別を表現する情報を作成するカメラワーク表現情報作成工程と、
を備えることを特徴とする撮像装置の制御方法。
撮影した画像を表示する機能を備える撮像装置の制御方法であって、
複数枚の画像から１枚のパノラマ画像を合成する画像生成工程と、
前記画像生成工程により合成されたパノラマ画像の撮影方向を示す情報を取得する撮影方向取得工程と、
前記画像生成工程により合成されたパノラマ画像を、前記撮影方向取得工程により取得した撮影方向に応じて変形させる画像変形工程と、
前記画像変形工程により変形されたパノラマ画像を表示する画像表示工程と、
を備えることを特徴とする撮像装置の制御方法。
被写体を撮像して動画像データを生成して記録媒体に記録する撮像装置の制御方法の各工程をコンピュータに実行させるプログラムであって、
動画像記録時における前記撮像装置の制御方法の動作情報を記録する装置動作記録工程と、
前記動作情報に対応するカメラワーク種別を判別するカメラワーク判別工程と、
動画像データから前記カメラワーク種別を判別したフレーム範囲を特定するフレーム範囲特定工程と、
前記カメラワーク種別と前記フレーム範囲とを対応づけてカメラワーク情報として記録するカメラワーク管理工程と、
前記カメラワーク情報の中から、所定の方法に従って動画像を代表するカメラワーク種別を特定する表現対象カメラワーク特定工程と、
動画像の代表画像を一覧表示する時に、前記表現対象カメラワーク特定工程により特定したカメラワーク種別を表現する情報を作成するカメラワーク表現情報作成工程と、
をコンピュータに実行させることを特徴とするプログラム。
撮影した画像を表示する機能を備える撮像装置の制御方法の各工程をコンピュータに実行させるプログラムであって、
複数枚の画像から１枚のパノラマ画像を合成する画像生成工程と、
前記画像生成工程により合成されたパノラマ画像の撮影方向を示す情報を取得する撮影方向取得工程と、
前記画像生成工程により合成されたパノラマ画像を、前記撮影方向取得工程により取得した撮影方向に応じて変形させる画像変形工程と、
前記画像変形工程により変形されたパノラマ画像を表示する画像表示工程と、
をコンピュータに実行させることを特徴とするプログラム。
請求項２０または２１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。