JP2010268326A - 画像再生装置 - Google Patents

Abstract

【構成】ＣＰＵ２６は、撮像装置１６によって捉えられた被写界を表す動画像を記録媒体４０から選択し、撮像装置１６のパンおよび／またはチルト範囲に対応する広がりを有する合成静止画像を選択された動画像に基づいて作成する。作成された合成静止画像は、ＬＣＤモニタ３６に表示される。ＣＰＵ２６はまた、撮像装置１６のパンおよび／またはチルト量が基準を下回る期間に対応する長さと合成静止画像の広がりよりも小さい広がりとを有する部分動画像を、記録媒体４０から選択された動画像から抽出する。抽出された部分動画像は、ＬＣＤモニタ３６に表示された合成静止画像上で再生される。
【効果】記録画像の視認性が向上する。
【選択図】図２

Description

この発明は、画像再生装置に関し、特にビデオカメラに適用され、撮像面によって捉えられた被写界を表す動画像を記録媒体から再生する、画像再生装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、記録メディアには、録画開始操作から録画終了操作までの間に捉えられた被写界の動画像と、静止画撮像シャッタ操作に応答して捉えられた被写界の静止画像とが記録される。また、静止画撮像シャッタ操作は、録画開始操作から録画終了操作までの間においても受け付けられる。

マッチング処理部は、こうして記録メディアに記録された動画像および静止画像を参照し、動画像を形成する複数フレームのうち静止画像に最も近似するフレームを静止画像にリンクさせる。再生時、動画像および静止画像は、このようなリンクを参照して画面上に並んで表示される。

特開２００９−４８８５号公報

しかし、背景技術では、静止画像と動画像とが画面上の互いに異なる位置に表示されるため、記録画像の視認性に限界がある。

それゆえに、この発明の主たる目的は、記録画像の視認性を向上させることができる、画像再生装置を提供することである。

この発明に従う画像再生装置(10：実施例で相当する参照符号。以下同じ)は、撮像面によって捉えられた被写界を表す動画像を記録媒体(40)から選択する選択手段(S1)、撮像面のパンおよび／またはチルト範囲に対応する第１の広がりを有する合成静止画像を選択手段によって選択された動画像に基づいて作成する作成手段(S3~S21)、撮像面のパンおよび／またはチルト量が基準を下回る特定期間に対応する長さと第１の広がりよりも小さい第２の広がりとを有する部分動画像を選択手段によって選択された動画像から抽出する抽出手段(S23~S59)、および抽出手段によって抽出された部分動画像を作成手段によって作成された合成静止画像と関連付けて再生する再生手段(S71~S81)を備える。

好ましくは、作成手段は被写界に現れた特異点を参照して動画像を形成する複数の静止画像の位置を検出する位置検出手段(S7, S9)を含む。

さらに好ましくは、再生手段は抽出手段によって抽出された部分動画像を形成する静止画像の再生位置を位置検出手段の検出結果を参照して調整する調整手段(S73)を含む。

好ましくは、抽出手段は、選択手段によって選択された動画像を形成する複数の静止画像の各々と基準静止画像との重複サイズを算出する算出手段(S31)、および算出手段によって算出された重複サイズが基準に対応する閾値を上回る期間を特定期間として定義する定義手段(S41, S45)を含む。

さらに好ましくは、抽出手段は、算出手段によって注目される静止画像から既定数先行する静止画像を基準静止画像として指定する指定手段(S39, S49)、および特定期間と異なる期間に指定手段を起動する起動手段(S35, S37)をさらに含む。

好ましくは、第２の広がりは撮像面の画角に相当する。

好ましくは、第１の広がりの大きさがエラー条件に合致するとき選択手段を再起動する再起動手段(S15~S17)がさらに備えられる。

この発明に従う画像再生方法は、画像再生装置(10)のプロセッサ(26)に、撮像面によって捉えられた被写界を表す動画像を記録媒体(40)から選択する選択ステップ(S1)、撮像面のパンおよび／またはチルト範囲に対応する第１の広がりを有する合成静止画像を選択ステップによって選択された動画像に基づいて作成する作成ステップ(S3~S21)、撮像面のパンおよび／またはチルト量が基準を下回る特定期間に対応する長さと第１の広がりよりも小さい第２の広がりとを有する部分動画像を選択ステップによって選択された動画像から抽出する抽出ステップ(S23~S59)、および抽出ステップによって抽出された部分動画像を作成ステップによって作成された合成静止画像と関連付けて再生する再生ステップ(S71~S81)を実行させるための、画像再生プログラムである。

この発明に従う画像再生方法は、画像再生装置(10)によって実行される画像再生方法であって、撮像面によって捉えられた被写界を表す動画像を記録媒体(40)から選択する選択ステップ(S1)、撮像面のパンおよび／またはチルト範囲に対応する第１の広がりを有する合成静止画像を選択ステップによって選択された動画像に基づいて作成する作成ステップ(S3~S21)、撮像面のパンおよび／またはチルト量が基準を下回る特定期間に対応する長さと第１の広がりよりも小さい第２の広がりとを有する部分動画像を選択ステップによって選択された動画像から抽出する抽出ステップ(S23~S59)、および抽出ステップによって抽出された部分動画像を作成ステップによって作成された合成静止画像と関連付けて再生する再生ステップ(S71~S81)を備える。

この発明によれば、合成静止画像は、撮像面のパンおよび／またはチルト範囲に対応する広がりを有する。また、部分動画像は、撮像面のパンおよび／またはチルト量が基準を下回る期間に対応する長さと、合成静止画像の広がりよりも小さい広がりとを有する。さらに、部分動画像は、合成静止画像と関連付けて再生される。これによって、記録画像の視認性が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例に適用されるレジスタの構成の一例を示す図解図である。 図２実施例に適用されるテーブルの構成の一例を示す図解図である。 撮像面によって捉えられる被写界および撮像面のパンおよび／またはチルト動作ないしフレーミング動作の一例を示す図解図である。 レジスタ設定動作の一部を示す図解図である。 合成静止画像の作成動作の一部を示す図解図である。 合成静止画像の再生動作の一例を示す図解図である。 部分動画像の抽出動作の一部を示す図解図である。 部分動画像の抽出動作の他の一部を示す図解図である。 部分動画像の抽出動作のその他の一部を示す図解図である。 部分動画像の抽出動作のさらにその他の一部を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この発明の画像再生装置は、基本的に次のように構成される。選択手段１は、撮像面によって捉えられた被写界を表す動画像を記録媒体２から選択する。作成手段３は、撮像面のパンおよび／またはチルト範囲に対応する第１の広がりを有する合成静止画像を、選択手段１によって選択された動画像に基づいて作成する。抽出手段４は、撮像面のパンおよび／またはチルト量が基準を下回る特定期間に対応する長さと第１の広がりよりも小さい第２の広がりとを有する部分動画像を、選択手段１によって選択された動画像から抽出する。再生手段５は、抽出手段４によって抽出された部分動画像を作成手段３によって作成された合成静止画像と関連付けて再生する。

このように、合成静止画像は、撮像面のパンおよび／またはチルト範囲に対応する広がりを有する。また、部分動画像は、撮像面のパンおよび／またはチルト量が基準を下回る期間に対応する長さと、合成静止画像の広がりよりも小さい広がりとを有する。さらに、部分動画像は、合成静止画像と関連付けて再生される。これによって、記録画像の視認性が向上する。
［実施例］

図２を参照して、この実施例のビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞り機構１４を含む。被写界の光学像は、これらの部材を経てイメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が撮像面で生成される。

キー入力装置２８の操作によって撮像モードが選択されると、ＣＰＵ２６は、撮像タスクの下で、動画取り込み処理のためにドライバ１８ｃを起動する。ドライバ１８ｃは、周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが繰り返し出力される。

信号処理回路２０は、イメージセンサ１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、これによって作成されたＹＵＶ形式の画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２に書き込む。ＬＣＤドライバ３４は、ＳＤＲＡＭ３２に格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ３６を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。

ＡＥ評価回路２２は、信号処理回路２０から出力されたＹデータのうち評価エリア（図示せず）に属するＹデータを、垂直同期信号Ｖｓｙｎｃに応答して積分する。ＣＰＵ２６は、ＡＥ評価回路２４から出力された積分値つまりＡＥ評価値に基づいて、絞り量および／または露光期間を調整する。この結果、ＬＣＤモニタ３６に表示されるスルー画像の明るさが適応的に調整される。

ＡＦ評価回路２４は、評価エリアに属する一部のＹデータを信号処理回路２０の出力から切り出し、切り出されたＹデータの高周波成分を垂直同期信号Ｖｓｙｎｃに応答して個別に積分する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された積分値つまりＡＦ評価値に基づいて、フォーカスレンズ１２の位置を継続的に調整する。この結果、ＬＣＤモニタ３６に表示されるスルー画像の鮮鋭度が適応的に調整される。

キー入力装置２８によって記録開始操作が行われると、ＣＰＵ２６は、Ｉ／Ｆ３８に記録処理の開始を命令する。Ｉ／Ｆ３８は、動画ファイルを記録媒体４０内に作成し、ＳＤＲＡＭ３２に格納された画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２から読み出し、そして読み出された画像データを動画ファイルに格納する。

キー入力装置２８によって記録終了操作が行われると、ＣＰＵ２６は、Ｉ／Ｆ３８に記録処理の終了を命令する。Ｉ／Ｆ３８は、ＳＤＲＡＭ３２からの画像データの読み出しを終了し、動画ファイルをクローズする。動画ファイルには、記録開始操作から記録終了操作までの間に撮像面で捉えられた被写界を表す複数フレームの画像データが蓄積される。

キー入力装置２８の操作によって再生モードが選択されると、ＣＰＵ２６は、記録媒体４０に記録された複数の動画ファイルのいずれか１つの選択を操作者に促す。操作者がキー入力装置２８の操作によって所望の動画ファイルを選択すると、ＣＰＵ２６は、データ読み出し命令をＩ／Ｆ３８に向けて発行し、画像表示命令をＬＣＤドライバ３４に向けて発行する。

Ｉ／Ｆ３８は、所望の動画ファイルに格納された複数フレームの画像データを読み出し、読み出された複数フレームの画像データをメモリ制御回路３０を介してＳＤＲＡＭ３２に書き込む。ＬＣＤドライバ３４は、ＳＤＲＡＭ３２に格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づく動画像をＬＣＤモニタ３６に表示する。

キー入力装置２８の操作によって特殊再生モードが選択されたときは、次のような処理がＣＰＵ２６によって実行される。

ＣＰＵ２６はまず、上述と同様、記録媒体４０に記録された動画ファイルの選択を操作者に促す。操作者によって所望の動画ファイルが選択されると、ＣＰＵ２６は、変数ＭおよびＮを“０”および“１”に設定し、変数ＭおよびＮの値が記述されたデータ読み出し命令をＩ／Ｆ３８に向けて発行する。Ｉ／Ｆ３８は、フレームＦ＿ＭおよびＦ＿Ｎの画像データを所望の動画ファイルから読み出し、読み出された２フレームの画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２に書き込む。

ＣＰＵ２６は続いて、ＳＤＲＡＭ３２に格納された２フレームの位置ずれを検出する。検出にあたっては、各フレームの画像データに現れた背景画像の特異点が参照される。また、パン方向のずれ量は“ΔＰ＿ＭＮ”として検出され、チルト方向のずれ量は“ΔＴ＿ＭＮ”として検出される。検出されたずれ量ΔＰ＿ＭＮおよびΔＴ＿ＭＮは、その後、数式１に従って個別に積算される。
［数式１］
ΔＰ＿Ｎ＝ΔＰ＿Ｍ＋ΔＰ＿ＭＮ
ΔＴ＿Ｎ＝ΔＴ＿Ｍ＋ΔＴ＿ＭＮ
ΔＰ＿Ｎ：パン方向の積算ずれ量（ただし、ΔＰ＿０＝０）
ΔＴ＿Ｎ：チルト方向の積算ずれ量（ただし、ΔＴ＿０＝０）

数式１に従って算出された積算ずれ量ΔＰ＿ＮおよびΔＴ＿Ｎは、図３に示すレジスタＲＧＳＴ１に設定される。より具体的には、積算ずれ量ΔＰ＿ＮおよびΔＴ＿Ｎは、レジスタＲＧＳＴ１のカラムＮに記述される。

変数ＭおよびＮは、フレームＦ＿Ｎが所望の動画ファイルの末尾フレームに一致するまでインクリメントされる。また、積算ずれ量ΔＰ＿ＮおよびΔＴ＿Ｎの算出処理は、変数ＭおよびＮがインクリメントされる毎に実行される。この結果、所望の動画ファイルを作成する際に発生したパンおよび／またはチルト量を表す情報がレジスタＲＧＳＴ１に蓄積される。

図５を参照して、４人の人物の振る舞いを動画ファイルに収めるべくＦ＿０→Ｆ＿１→Ｆ＿２→Ｆ＿３…の要領でフレーミングが行われた場合、パン方向の積算ずれ量ΔＰ＿１，ΔＰ＿２，ΔＰ＿３…およびチルト方向の積算ずれ量ΔＴ＿１，ΔＴ＿２，ΔＴ＿３…は図６に示す要領で算出される。なお、図５〜図６では、背景に存在する特異点の図示を省略している。

フレームＦ＿Ｎが末尾フレームに一致すると、ＣＰＵ２６は、レジスタＲＧＳＴ１の記述に基づいて撮像面のパンおよび／またはチルト範囲を特定し、特定されたパンおよび／またはチルト範囲に相当する広がりを有する合成静止画像データをＳＤＡＲＭ３２上で作成し、そして画像表示命令をＬＣＤドライバ３４に向けて発行する。合成静止画像データの作成にあたっては、所望の動画ファイルに格納された複数フレームの画像データに対する画像合成処理が実行される。

ＬＣＤドライバ３４は、こうして作成された合成静止画像データをメモリ制御回路３０を通して読み出し、対応する合成静止画像をＬＣＤモニタ３６に表示する。したがって、図５に示すパンおよび／またはチルト動作が行われたとき、合成静止画像データは図７に示す要領で作成され、合成静止画像は図８に示す要領でＬＣＤモニタ３６に表示される。

なお、レジスタＲＧＳＴ１から読み取られるパンおよび／またはチルト量が無視できる量であれば、選択された動画ファイルは特殊再生モードに適していないとみなされる。このときは、既定のエラー処理が実行された後、別の動画ファイルの選択が促される。

合成静止画像の作成＆表示が完了すると、ＣＰＵ２６は、変数Ｋを“１”に設定し、上述の変数ＭおよびＮを再度“０”および“１”に設定する。ＣＰＵ２６はさらに、変数Ｍの値を図４に示すテーブルＴＢＬ１のＫ番目のカラムに動画開始フレーム番号として記述し、フラグＦＬＧｍｖを“１”に設定する。

なお、フラグＦＬＧｍｖは部分動画像の抽出処理の実行／中断を識別するためのフラグであり、“ＦＬＧｍｖ＝０”が中断状態を示す一方、“ＦＬＧｍｖ＝１”が実行状態を示す。

ＣＰＵ２６はその後、フレームＦ＿ＭおよびＦ＿Ｎの間で重複する画像のサイズを“ＤＰ＿ＳＺ”として算出し、重複サイズＤＰ＿ＳＺの大きさとフラグＦＬＧｍｖの状態を参照して次のような処理を実行する。

フラグＦＬＧｍｖが“０”でかつ重複サイズＤＰ＿ＳＺが閾値ＴＨ１以下であれば、ＣＰＵ２６は、フレーミングが安定しておらず、部分動画像の抽出は開始すべきではないとみなし、変数Ｎの値を変数Ｍに設定し、変数Ｎをインクリメントする。したがって、部分動画像の抽出が中断されているときは、変数ＭおよびＮは連続する２つの数値を示す。

フラグＦＬＧｍｖが“０”でかつ重複サイズＤＰ＿ＳＺが閾値ＴＨ１を上回れば、ＣＰＵ２６は、フレーミングが安定したため部分動画像の抽出を開始すべきとみなし、変数Ｍの値をテーブルＴＢＬ１のＫ番目のカラムに動画開始フレーム番号として記述する。ＣＰＵ２６はさらに、フラグＦＬＧｍｖを“１”に設定し、変数Ｎをインクリメントする。

変数Ｍのインクリメントは部分動画像の抽出が開始された時点で停止され、変数Ｍは部分動画像の先頭フレームの番号と同じ値を示し続ける。したがって、フレームＦ＿Ｍは重複サイズＤＰ＿ＳＺを算出する際の基準フレームとなる。

フラグＦＬＧｍｖが“１”でかつ重複サイズＤＰ＿ＳＺが閾値ＴＨ２を上回れば、ＣＰＵ２６は、フレーミングが依然として安定しており、部分動画像の抽出を継続すべきであるとみなし、単に変数Ｎをインクリメントする。

フラグＦＬＧｍｖが“１”でかつ重複サイズＤＰ＿ＳＺが閾値ＴＨ２以下であれば、ＣＰＵ２６は、フレーミングが不安定になったため部分動画像の抽出を終了すべきとみなし、変数Ｎの値から“１”を減算した値をテーブルＴＢＬ１のＫ番目のカラムに動画終了フレーム番号として記述するとともに、フラグＦＬＧｍｖを“０”に更新する。ＣＰＵ２６はさらに、次の部分動画像の抽出に備えるために、変数Ｋをインクリメントし、変数Ｎの値を変数Ｍに設定し、そして変数Ｎをインクリメントする。

フレームＦ＿Ｎが末尾フレームと一致すると、重複サイズＤＰ＿ＳＺの算出処理が停止される。また、ＦＬＧｍｖ＝１であれば、終端処理が追加的に実行される。終端処理によって、変数Ｎの値がテーブルＴＢＬ１のＫ番目のカラムに動画終了フレーム番号として記述される。

したがって、図５に示す要領でフレーミングが実行された場合、部分動画像は図９〜図１２に示す要領で抽出される。

まず、図９に示すフレーム番号Ｆ＿０が動画開始フレーム番号としてテーブルＴＢＬの１番目のカラムに記述される。重複サイズＤＰ＿ＳＺの算出処理は、基準となるフレームＦ＿０とこれに続くフレームＦ＿１，Ｆ＿２，Ｆ＿３…の各々とに注目して実行される。重複サイズＤＰ＿ＳＺはフレームＦ＿６が注目されたときに閾値ＴＨ２以下となり、フレームＦ＿５の番号である“５”が動画終了フレーム番号としてテーブルＴＢＬ１の１番目のカラムに記述される。こうして、図９の下段に示す部分動画像が抽出される。

部分動画像の抽出処理が中断されると、重複サイズＤＰ＿ＳＺの算出処理は隣接する２つのフレームに注目して実行され、重複サイズＤＰ＿ＳＺは図１０に示すフレームＦ７およびＦ８が注目されたときに閾値ＴＨ１を上回る。この結果、フレームＦ＿７の番号である“７”が、動画開始フレーム番号としてテーブルＴＢＬ１の２番目のカラムに記述される。

重複サイズＤＰ＿ＳＺの算出処理はその後フレームＦ＿７とフレームＦ＿９，Ｆ＿１０，Ｆ＿１１…の各々とに注目して実行され、重複サイズＤＰ＿ＳＺはフレームＦ＿１６が注目されたときに閾値ＴＨ２以下となる。この結果、フレーム番号Ｆ＿１５の番号である“１５”が、動画終了フレーム番号としてテーブルＴＢＬ１の２番目のカラムに記述される。こうして、図１０の下段に示す部分動画像が抽出される。

同様にして、重複サイズＤＰ＿ＳＺは図１１に示すフレームＦ＿１８およびＦ＿１９が注目されたときに閾値ＴＨ１を上回り、フレーム番号Ｆ＿１８の番号である“１８”が動画開始フレーム番号としてテーブルＴＢＬ１の３番目のカラムに記述される。重複サイズＤＰ＿ＳＺの算出処理はその後フレームＦ＿１８とフレームＦ＿２０，Ｆ＿２１，Ｆ＿２２…の各々とに注目して算出され、重複サイズＤＰ＿ＳＺはフレームＦ＿２６が注目されたときに閾値ＴＨ２以下となる。この結果、フレーム番号Ｆ＿２５の番号である“２５”が動画終了フレーム番号としてテーブルＴＢＬ１の３番目のカラムに記述される。こうして、図１１の下段に示す部分動画像が抽出される。

重複サイズＤＰ＿ＳＺはまた、図１２に示すフレームＦ＿２７およびＦ＿２８が注目されたときに閾値ＴＨ１を上回る。この結果、フレーム番号Ｆ＿２７の番号である“２７”が、動画開始フレーム番号としてテーブルＴＢＬ１の４番目のカラムに記述される。図１２によれば、部分動画像の抽出処理が実行されている途中で、末尾フレームであるフレームＦ＿３４が指定される。このときは終端処理が実行され、フレームＦ＿３４の番号である“３４”は動画終了フレーム番号としてテーブルＴＢＬ１の４番目のカラムに記述される。こうして、図１２の下段に示す部分動画像が抽出される。

ＣＰＵ２６はその後、テーブルＴＢＬ１の記述を参照して部分動画像を形成する画像データを特定し、特定された画像データのＳＤＲＡＭ３２への読み出しをＩ／Ｆ３８に命令する。部分動画像を形成する画像データは、Ｉ／Ｆ３８によって記録媒体４０からＳＤＲＡＭ３２に転送される。

したがって、図９〜図１２に示す要領で動画像が抽出されたときは、フレームＦ＿０〜Ｆ＿５の画像データ，フレームＦ＿７〜Ｆ＿１５の画像データ，フレームＦ＿１８〜Ｆ＿２５の画像データならびにフレームＦ＿２７〜Ｆ＿３４の画像データがＳＤＲＡＭ３２に確保される。

その後にキー入力装置２８上で再生開始操作が行われると、ＣＰＵ２６はＫ個の動画再生タスクを起動する。起動したＫ個の動画再生タスクは、テーブルＴＢＬ１の１番目のカラムからＫ番目のカラムにそれぞれ対応し、かつ互いに並列して実行される。これによって、抽出されたＫ個の部分動画像がＬＣＤモニタ３６に表示された合成静止画像上で再生される。Ｋ個の部分動画像の再生が終了すると、ＬＣＤモニタ３６の表示状態は再生開始操作前の状態に復帰する。

Ｐ番目（Ｐ：１〜Ｋ）のカラムに対応する動画再生タスクにおいて、ＣＰＵ２６は、まずＰ番目のカラムに記述された動画開始フレーム番号を変数Ｑに設定する。ＣＰＵ２６は次に、レジスタＲＧＳＴ１を参照してフレームＦ＿Ｑの位置を特定し、垂直同期信号Ｖｓｙｎｃの発生に応答してＬＣＤドライバ３４に再生命令を与える。再生命令には、フレーム番号ＱとフレームＦ＿Ｑの位置とが記述される。

ＬＣＤドライバ３４は、フレームＦ＿Ｑの画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２から読み出し、読み出された画像データに基づく画像を画面上の指定位置に表示する。変数Ｑは垂直同期信号が発生する毎にインクリメントされ、上述したフレームＦ＿Ｑの再生動作はインクリメントされた変数Ｑに対応して繰り返し実行される。これによって、部分動画像が合成静止画像上で再生され、かつ部分動画像の再生位置が撮影時のフレーミングを考慮して調整される。Ｐ番目のカラムに対応する動画再生タスクは、変数ＱがＰ番目のカラムに記述された動画終了フレーム番号を上回った時点で終了される。

ＣＰＵ２６は、特殊再生モードが選択されたとき、図１３〜図１６に示す特殊再生制御タスクおよび図１７に示す動画再生タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。

図１３を参照して、ステップＳ１では、記録媒体４０に記録された動画ファイルの選択を操作者に促す。所望の動画ファイルが操作者によって選択されると、ステップＳ３に進む。ステップＳ３では、レジスタＲＧＳＴ１を初期化し、変数ＭおよびＮをそれぞれ“０”および“１”に設定する。ステップＳ５では、選択された動画ファイルに格納されたフレームＦ＿ＭおよびＦ＿Ｎの画像データをＳＤＲＡＭ３２に取り込むべく、対応するデータ読み出し命令をＩ／Ｆ３８に与える。この結果、連続する２フレームの画像データが記録媒体４０からＳＤＲＡＭ３２に転送される。

ステップＳ７では、ＳＤＲＡＭ３２に取り込まれた２フレームの位置ずれを検出する。検出にあたっては、各フレームの画像データに現れた背景の特異点が参照される。また、パン方向のずれ量は“ΔＰ＿ＭＮ”として検出され、チルト方向のずれ量は“ΔＴ＿ＭＮ”として検出される。

ステップＳ９では、検出されたずれ量ΔＰ＿ＭＮおよびΔＴ＿ＭＮを上述の数式１に従って個別に積算し、これによって算出された積算ずれ量ΔＰ＿ＮおよびΔＴ＿Ｎを図３に示すレジスタＲＧＳＴ１に設定する。

ステップＳ１１では、フレームＦ＿Ｎが選択された動画ファイルの末尾フレームであるか否かを判別する。判別結果がＮＯであれば、ステップＳ１３で変数ＭおよびＮをインクリメントしてからステップＳ５に戻る。判別結果がＹＥＳであればステップＳ１５に進み、選択された動画ファイルの作成時に発生したパンおよび／またはチルト量をレジスタＲＧＳＴ１の記述を参照して判別する。

注目するパンおよび／またはチルト量が無意味な量であれば、選択された動画ファイルは特殊再生モードに適していないとみなし、ステップＳ１７のエラー処理を経てステップＳ１に戻る。一方、注目するパンおよび／またはチルト量が有意な量であれば、選択された動画ファイルは特殊再生モードに適しているとみなし、ステップＳ１９に進む。

ステップＳ１９では、レジスタＲＧＳＴ１の記述を参照して撮像面のパンおよび／またはチルト範囲を特定する。ステップＳ２１では、特定されたパンおよび／またはチルト範囲に相当する広がりを有する合成静止画像データをＳＤＲＡＭ３２上で作成し、表示命令をＬＣＤドライバ３４に向けて発行する。この結果、合成静止画像がＬＣＤモニタ３６に表示される。

ステップＳ２３では、テーブルＴＢＬ１を初期化するとともに、テーブルＴＢＬ１を形成するカラムを特定するための変数Ｋを“１”に設定する。ステップＳ２５では、上述の変数ＭおよびＮを再度“０および”１“に設定する。ステップＳ２７では、変数Ｍの値をテーブルＴＢＬ１のＫ番目のカラムに動画開始フレーム番号として記述する。ステップＳ２９では、部分動画像の検出が開始されたことを表明するべく、フラグＦＬＧｍｖを”１“に設定する。

ステップＳ３１では、フレームＦ＿ＭおよびＦ＿Ｎの間で重複する画像のサイズを“ＤＰ＿ＳＺ”として算出する。ステップＳ３３ではフラグＦＬＧｍｖが“１”であるか否かを判別し、ステップＳ３５では重複サイズＤＰ＿ＳＺが閾値ＴＨ１を上回るか否かを判別し、そしてステップＳ３７では重複サイズＤＰ＿ＳＺが閾値ＴＨ２以下であるか否かを判別する。

ステップＳ３３およびＳ３９の各々でＮＯと判別されると、フレーミングが安定しておらず、部分動画像の抽出を開始すべきではないとみなし、ステップＳ３９で変数Ｎの値を変数Ｍに設定する。変数Ｍの設定が完了すると、ステップＳ５１に進む。

ステップＳ３３でＮＯと判別されかつステップＳ３５でＹＥＳと判別されると、フレーミングが安定したため部分動画像の抽出を開始すべきとみなし、ステップＳ４１およびＳ４３で上述のステップＳ２７およびＳ２９と同様の処理を実行する。処理が完了すると、ステップＳ５１に進む。

ステップＳ３３でＹＥＳと判別されかつステップＳ３７でＮＯと判別されたときは、フレーミングが依然として安定しており、部分動画像の抽出を継続すべきであるとみなし、そのまま５１に進む。

ステップＳ３３およびＳ３７の各々でＹＥＳと判別されると、フレーミングが不安定になったため部分動画像の抽出を終了すべきとみなし、ステップＳ４５に進む。ステップＳ４５では、変数Ｎの値から“１”を減算した値をテーブルＴＢＬ１のＫ番目のカラムに動画終了フレーム番号として記述する。ステップＳ４７では、部分動画像の検出が中断されたことを表明するべく、フラグＦＬＧｍｖを“０”に更新する。ステップＳ４９では、変数Ｋをインクリメントするとともに変数Ｎの値を変数Ｍに設定し、その後にステップＳ５１に進む。

ステップＳ５１では変数Ｎをインクリメントし、ステップＳ５３ではフレームＦ＿Ｎが末尾フレームであるか否かを判別する。判別結果がＮＯであればステップＳ３１に戻り、判別結果がＹＥＳであればステップＳ５５でフラグＦＬＧｍｖの状態を判別する。ＦＬＧｍｖ＝０であればステップＳ５９に進み、ＦＬＧｍｖ＝１であれば終端処理のためにステップＳ５７に進む。ステップＳ５７では、変数Ｎの値をテーブルＴＢＬ１のＫ番目のカラムに動画終了フレーム番号として記述する。ステップＳ５７の処理が完了すると、ステップＳ５９に進む。

ステップＳ５９では、部分動画像を形成する画像データをテーブルＴＢＬ１の記述に基づいて特定し、特定された画像データのＳＤＲＡＭ３２への読み出しをＩ／Ｆ３８に命令する。部分動画像を形成する画像データは、Ｉ／Ｆ３８によって記録媒体４０からＳＤＲＡＭ３２に転送される。

ステップＳ６１では、再生開始操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ６３でＫ個の動画再生タスクを起動する。起動したＫ個の動画再生タスクは、テーブルＴＢＬ１の１番目のカラムからＫ番目のカラムにそれぞれ対応し、互いに並列して実行される。ステップＳ６５では、部分動画像の再生が終了したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ６７で再生開始操作前の表示状態に復帰する。復帰処理が完了すると、ステップＳ６１に戻る。

図１７を参照して、Ｐ番目（Ｌ：１〜Ｋ）のカラムに対応する動画再生タスクでは、まずステップＳ７１でＰ番目のカラムに記述された動画開始フレーム番号を変数Ｑに設定する。ステップＳ７３では、レジスタＲＧＳＴ１を参照してフレームＦ＿Ｑの位置を特定する。垂直同期信号Ｖｓｙｎｃが発生すると、ステップＳ７５からステップＳ７７に進み、フレームＦ＿Ｑの画像データの再生をＬＣＤドライバ３４に命令する。再生命令には、フレーム番号ＱとステップＳ７３で特定されたフレームＦ＿Ｑの位置が記述される。

ＬＣＤドライバ３４は、フレームＦ＿Ｑの画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２から読み出し、読み出された画像データに基づく画像をＬＣＤモニタ３６上の所望の位置に表示する。

ステップＳ７９では変数ＱがＬ番目のカラムに記述された動画終了フレーム番号を上回ったか否かを判別する。判別結果がＮＯであれば、ステップＳ８１で変数ＱをインクリメントしてからステップＳ７３に戻る。判別結果がＹＥＳであれば、処理を終了する。

以上の説明から分かるように、ＣＰＵ２６は、撮像面によって捉えられた被写界を表す動画像を記録媒体４０から選択し(S1)、撮像面のパンおよび／またはチルト範囲に対応する広がりを有する合成静止画像を選択された動画像に基づいて作成する(S3~S21)。ＣＰＵ２６はまた、撮像面のパンおよび／またはチルト量が基準を下回る期間に対応する長さと合成静止画像の広がりよりも小さい広がりとを有する部分動画像を、記録媒体４０から選択された動画像から抽出する(S23~S59)。抽出された部分動画像は、合成静止画像上で再生される(S71~S81)。

このように、合成静止画像は、撮像面のパンおよび／またはチルト範囲に対応する広がりを有する。また、部分動画像は、撮像面のパンおよび／またはチルト量が基準を下回る期間に対応する長さと、合成静止画像の広がりよりも小さい広がりを有する。さらに、部分動画像は、合成静止画像上で再生される。これによって、記録画像の視認性が向上する。

なお、この実施例ではビデオカメラを想定しているが、この発明は再生専用機に適用してもよい。

また、この実施例では、変数Ｎの値から“１”を減算した値をテーブルＴＢＬ１のＫ番目のカラムに動画終了フレーム番号として記述するようにしている（図１５のステップＳ４５参照）。しかし、ステップＳ４５では、“１”を減算することなく、変数Ｎの値をテーブルＴＢＬ１のＫ番目のカラムに動画終了フレーム番号として記述するようにしてもよい。

さらに、この実施例では、抽出された部分動画像を合成静止画像上で再生するようにしているが、このように部分動画像と合成静止画像とを同時に再生するものに限らず、部分動画像を合成静止画像と関連付けて再生するものであればよい。この場合、たとえば、部分動画像と合成静止画像とを所定時間毎に切り換えて再生するものや、部分動画像の再生終了後に合成静止画像の再生するものを想定することができる。

１０ …ビデオカメラ
１２ …フォーカスレンズ
１６ …イメージセンサ
２６ …ＣＰＵ
２８ …キー入力装置
３６ …ＬＣＤモニタ
４０ …記録媒体
４２ …フラッシュメモリ

Claims (9)

1. 撮像面によって捉えられた被写界を表す動画像を記録媒体から選択する選択手段、
   前記撮像面のパンおよび／またはチルト範囲に対応する第１の広がりを有する合成静止画像を前記選択手段によって選択された動画像に基づいて作成する作成手段、
   前記撮像面のパンおよび／またはチルト量が基準を下回る特定期間に対応する長さと前記第１の広がりよりも小さい第２の広がりとを有する部分動画像を前記選択手段によって選択された動画像から抽出する抽出手段、および
   前記抽出手段によって抽出された部分動画像を前記作成手段によって作成された合成静止画像と関連付けて再生する再生手段を備える、画像再生装置。
2. 前記作成手段は前記被写界に現れた特異点を参照して前記動画像を形成する複数の静止画像の位置を検出する位置検出手段を含む、請求項１記載の画像再生装置。
3. 前記再生手段は前記抽出手段によって抽出された部分動画像を形成する静止画像の再生位置を前記位置検出手段の検出結果を参照して調整する調整手段を含む、請求項２記載の画像再生装置。
4. 前記抽出手段は、前記選択手段によって選択された動画像を形成する複数の静止画像の各々と基準静止画像との重複サイズを算出する算出手段、および前記算出手段によって算出された重複サイズが前記基準に対応する閾値を上回る期間を前記特定期間として定義する定義手段を含む、請求項１ないし３のいずれかに記載の画像再生装置。
5. 前記抽出手段は、前記算出手段によって注目される静止画像から既定数先行する静止画像を前記基準静止画像として指定する指定手段、および前記特定期間と異なる期間に前記指定手段を起動する起動手段をさらに含む、請求項４記載の画像再生装置。
6. 前記第２の広がりは前記撮像面の画角に相当する、請求項１ないし５のいずれかに記載の画像再生装置。
7. 前記第１の広がりの大きさがエラー条件に合致するとき前記選択手段を再起動する再起動手段をさらに備える、請求項１ないし６のいずれかに記載の画像再生装置。
8. 画像再生装置のプロセッサに、
   撮像面によって捉えられた被写界を表す動画像を記録媒体から選択する選択ステップ、
   前記撮像面のパンおよび／またはチルト範囲に対応する第１の広がりを有する合成静止画像を前記選択ステップによって選択された動画像に基づいて作成する作成ステップ、
   前記撮像面のパンおよび／またはチルト量が基準を下回る特定期間に対応する長さと前記第１の広がりよりも小さい第２の広がりとを有する部分動画像を前記選択ステップによって選択された動画像から抽出する抽出ステップ、および
   前記抽出ステップによって抽出された部分動画像を前記作成ステップによって作成された合成静止画像と関連付けて再生する再生ステップを実行させるための、画像再生プログラム。
9. 画像再生装置によって実行される画像再生方法であって、
   撮像面によって捉えられた被写界を表す動画像を記録媒体から選択する選択ステップ、
   前記撮像面のパンおよび／またはチルト範囲に対応する第１の広がりを有する合成静止画像を前記選択ステップによって選択された動画像に基づいて作成する作成ステップ、
   前記撮像面のパンおよび／またはチルト量が基準を下回る特定期間に対応する長さと前記第１の広がりよりも小さい第２の広がりとを有する部分動画像を前記選択ステップによって選択された動画像から抽出する抽出ステップ、および
   前記抽出ステップによって抽出された部分動画像を前記作成ステップによって作成された合成静止画像と関連付けて再生する再生ステップを備える、画像再生方法。

Images