JP2014027560A - 画像処理装置 - Google Patents

Abstract

【構成】３０ｆｐｓのフレームレートを有するメイン画像データは、メイン記録開始操作からメイン記録終了操作までの期間に、メモリＩ／Ｆ４０によって記録媒体４２内のメインファイルに記録される。また、３００ｆｐｓのフレームレートを有するサブ画像データは、サブ記録開始操作からサブ記録終了操作までの期間に、メモリＩ／Ｆ４０によって記録媒体４２内のサブファイルに記録される。こうしてメインファイルおよびサブファイルに収められたメイン画像データおよびサブ画像データは、ＬＣＤモニタ３２に選択的に再生される。また、再生対象となる画像データは、サブ画像区間に行われたサブ再生開始操作およびサブ再生終了操作の各々に応答して切換えられる。
【効果】特定期間に現れた被写体の視認性が向上する。
【選択図】図２

Description

この発明は、画像処理装置に関し、特に共通のシーンを表す複数の動画像を互いに異なる態様で再生する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、テレ／ワイド同時撮りモードに設定されると、右撮像系のズームレンズおよび左撮像系のズームレンズが異なるズーム位置に設定される。ワイド側画像は右撮像系で撮影され、テレ側画像は左撮像系で撮影される。テレ側画像はモニタ画面の全域に表示され、ワイド側画像はモニタ画面の一部に割り当てられた枠内に縮小表示される。使用者は、ワイド側の画像およびテレ側の画像の各々の撮影範囲を認識し、かつ被写体の細かい部分を確認することができる。

特開２０１１−４５０３９号公報

しかし、背景技術では、動画像の記録を想定していないため、再生画像に現れた被写体の視認性に限界がある。

それゆえに、この発明の主たる目的は、被写体の視認性を高めることができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、第１フレームレートを有する第１動画像を撮像手段(16)の出力に基づいて作成する処理を第１期間に実行する第１作成手段(S3~S5, S11~S19, S31)、第１フレームレートよりも高い第２フレームレートを有する第２動画像を撮像手段の出力に基づいて作成する処理を第１期間に属する第２期間に実行する第２作成手段(S7~S9, S21~S27, S33~S39, S51~S65)、第１作成手段によって作成された第１動画像および第２作成手段によって作成された第２動画像のいずれか一方を再生する再生手段(S81~S85, S97~S101, S105~S107, S111, S115)、および第２期間に対応する期間に発行された切り換え指示に応答して再生手段の再生対象を切り換える切り換え手段(S95, S103, S109, S113)を備える。

好ましくは、第２期間を定義する期間定義指示をユーザから受け付ける受け付け手段(38)がさらに備えられる。

好ましくは、第２期間に対応する期間に報知を発生する処理を再生手段による第１動画像の再生処理に関連して実行する報知手段(S89~S93)がさらに備えられ、切り換え指示はユーザから受け付けた指示に相当する。

好ましくは、第２作成手段は第１動画像を形成する複数のフレームの中から第２期間の始期に対応するフレームを検出するフレーム検出手段(S33~S35)を含み、再生手段はフレーム検出手段の検出結果を参照して第２動画像の再生開始フレームを特定する再生開始フレーム特定手段(S105)を含む。

さらに好ましくは、再生手段は第１動画像の再生フレームを繰り返し識別する再生フレーム識別手段(S83, S99)をさらに含み、再生開始フレーム特定手段は再生フレーム識別手段の識別結果をさらに参照して再生開始フレームを特定する。

好ましくは、再生手段による再生フレームレートは第１動画像および第２動画像の間で共通する。

この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(36)に、第１フレームレートを有する第１動画像を撮像手段(16)の出力に基づいて作成する処理を第１期間に実行する第１作成ステップ(S3~S5, S11~S19, S31)、第１フレームレートよりも高い第２フレームレートを有する第２動画像を撮像手段の出力に基づいて作成する処理を第１期間に属する第２期間に実行する第２作成ステップ(S7~S9, S21~S27, S33~S39, S51~S65)、第１作成ステップによって作成された第１動画像および第２作成ステップによって作成された第２動画像のいずれか一方を再生する再生ステップ(S81~S85, S97~S101, S105~S107, S111, S115)、および第２期間に対応する期間に発行された切り換え指示に応答して再生ステップの再生対象を切り換える切り換えステップ(S95, S103, S109, S113)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、第１フレームレートを有する第１動画像を撮像手段(16)の出力に基づいて作成する処理を第１期間に実行する第１作成ステップ(S3~S5, S11~S19, S31)、第１フレームレートよりも高い第２フレームレートを有する第２動画像を撮像手段の出力に基づいて作成する処理を第１期間に属する第２期間に実行する第２作成ステップ(S7~S9, S21~S27, S33~S39, S51~S65)、第１作成ステップによって作成された第１動画像および第２作成ステップによって作成された第２動画像のいずれか一方を再生する再生ステップ(S81~S85, S97~S101, S105~S107, S111, S115)、および第２期間に対応する期間に発行された切り換え指示に応答して再生ステップの再生対象を切り換える切り換えステップ(S95, S103, S109, S113)を備える。

この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(36)を備える画像処理装置(10)に供給される外部制御プログラムであって、第１フレームレートを有する第１動画像を撮像手段(16)の出力に基づいて作成する処理を第１期間に実行する第１作成ステップ(S3~S5, S11~S19, S31)、第１フレームレートよりも高い第２フレームレートを有する第２動画像を撮像手段の出力に基づいて作成する処理を第１期間に属する第２期間に実行する第２作成ステップ(S7~S9, S21~S27, S33~S39, S51~S65)、第１作成ステップによって作成された第１動画像および第２作成ステップによって作成された第２動画像のいずれか一方を再生する再生ステップ(S81~S85, S97~S101, S105~S107, S111, S115)、および第２期間に対応する期間に発行された切り換え指示に応答して再生ステップの再生対象を切り換える切り換えステップ(S95, S103, S109, S113)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(46)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(36)を備える画像処理装置(10)であって、外部制御プログラムは、第１フレームレートを有する第１動画像を撮像手段(16)の出力に基づいて作成する処理を第１期間に実行する第１作成ステップ(S3~S5, S11~S19, S31)、第１フレームレートよりも高い第２フレームレートを有する第２動画像を撮像手段の出力に基づいて作成する処理を第１期間に属する第２期間に実行する第２作成ステップ(S7~S9, S21~S27, S33~S39, S51~S65)、第１作成ステップによって作成された第１動画像および第２作成ステップによって作成された第２動画像のいずれか一方を再生する再生ステップ(S81~S85, S97~S101, S105~S107, S111, S115)、および第２期間に対応する期間に発行された切り換え指示に応答して再生ステップの再生対象を切り換える切り換えステップ(S95, S103, S109, S113)を内部制御プログラムと協働して実行するプログラムに相当する。

第１動画像および第２動画像は共通の撮像手段の出力に基づき、かつ第２フレームレートは第１フレームレートよりも高い。したがって、第１動画像および第２動画像には共通の被写体が現れ、かつこの被写体の動きは、第２動画像を再生する場合に遅くなる。

また、第１動画像は第１期間に作成される一方、第２動画像は第１期間に属する第２期間に作成され、切り換え指示は第２期間に対応する期間に発行される。したがって、再生すべき動画像は、第２期間に対応する期間に第１動画像および第２動画像の間で切り換えられる。

この結果、第２期間に現れた被写体の動きは、再生対象が第１動画像から第２動画像に切り換えられることで遅くなり、再生対象が第２動画像から第１動画像に切り換えられることで速くなる。こうして、特定期間に現れた被写体の視認性が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 図２実施例に適用されるサブ画像情報テーブルの一例を示す図解図である。 メイン画像データおよびサブ画像データの関係の一例を示す図解図である。 （Ａ）はカメラモードの下で作成されるメインファイルの構造の一例を示す図解図であり、（Ｂ）はカメラモードの下で作成されるサブファイルの構造の一例を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 この発明の他の実施例の構成を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。第１作成手段１は、第１フレームレートを有する第１動画像を撮像手段５の出力に基づいて作成する処理を第１期間に実行する。第２作成手段２は、第１フレームレートよりも高い第２フレームレートを有する第２動画像を撮像手段５の出力に基づいて作成する処理を第１期間に属する第２期間に実行する。再生手段３は、第１作成手段１によって作成された第１動画像および第２作成手段２によって作成された第２動画像のいずれか一方を再生する。切り換え手段４は、第２期間に対応する期間に発行された切り換え指示に応答して再生手段３の再生対象を切り換える。

第１動画像および第２動画像は共通の撮像手段５の出力に基づき、かつ第２フレームレートは第１フレームレートよりも高い。したがって、第１動画像および第２動画像には共通の被写体が現れ、かつこの被写体の動きは、第２動画像を再生する場合に遅くなる。

また、第１動画像は第１期間に作成される一方、第２動画像は第１期間に属する第２期間に作成され、切り換え指示は第２期間に対応する期間に発行される。したがって、再生すべき動画像は、第２期間に対応する期間に第１動画像および第２動画像の間で切り換えられる。

この結果、第２期間に現れた被写体の動きは、再生対象が第１動画像から第２動画像に切り換えられることで遅くなり、再生対象が第２動画像から第１動画像に切り換えられることで速くなる。こうして、特定期間に現れた被写体の視認性が向上する。
［実施例］

図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。シーンを表す光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。

ユーザ操作を受け付けるキー入力装置３８に向けてカメラモードを選択するモード選択操作が行われると、ＣＰＵ３６は、メイン画像記録タスクの下で動画取り込み処理を実行するべく、ドライバ１８ｃを起動する。ドライバ１８ｃは、１／３０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。露光動作および電荷読み出し動作は１／３０秒に１回の割合（垂直同期信号Ｖｓｙｎｃが１回発生する毎に１回の割合）で実行され、露光動作によって生成された生画像データは３０ｆｐｓのフレームレートでイメージセンサ１６から出力される。

なお、後述するサブ画像記録タスクの下でサブ画像記録処理が行われる期間においては、ドライバ１８ｃは、１／３０秒に１０回の割合（垂直同期信号Ｖｓｙｎｃが１回発生する毎に１０回の割合）で露光動作および電荷読み出し動作を実行する。生画像データは、３００ｆｐｓのフレームレートでイメージセンサ１６から出力される。

前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４の生画像エリア２４ａ（図３参照）に書き込まれる。

後処理回路２６は、生画像エリア２４ａに格納された生画像データをメモリ制御回路２２を通して読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換の一連の処理を施し、これによって作成されたＹＵＶ形式の画像データつまりメイン画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂ（図３参照）に書き込む。

なお、サブ画像記録処理に関係なく、後処理回路２６は、１／３０秒に１フレームの割合で生画像エリア２４ａから生画像データを読み出し、１／３０秒に１フレームの割合でメイン画像データを作成する。作成されたメイン画像データは、１／３０秒に１フレームの割合でＹＵＶ画像エリア２４ｂに書き込まれる。

ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データを読み出し、読み出されたメイン画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。なお、ＬＣＤドライバ３０も、サブ画像記録処理に関係なく、１／３０秒に１フレームの割合でＹＵＶ画像エリア２４ｂからメイン画像データを読み出す。

前処理回路２０はまた、生画像データを簡易的にＹデータに変換し、変換されたＹデータをＣＰＵ３６に与える。ＣＰＵ３６は、パラメータ調整タスクの下でＹデータにＡＥ処理を施し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。ＣＰＵ３６はまた、ＡＦ起動条件が満足されるときに、Ｙデータの高周波成分にＡＦ処理を施す。フォーカスレンズ１２はドライバ１８ａによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。

キー入力装置３８に向けてメイン記録開始操作が行われると、ＣＰＵ３６は、メイン画像記録タスクの下でＩ／Ｆ４０を通して記録媒体４２にアクセスし、メインファイルおよびサブファイルを記録媒体４２に新規に作成する（作成されたメインファイルおよびサブファイルはオープンされる）。

メインファイルにはＭＯＶ＊＊＊＊．ＭＡＩＮ（＊＊＊＊は識別番号、以下同じ）のファイル名が割り当てられ、サブファイルにはＭＯＶ＊＊＊＊．ＳＵＢのファイル名が割り当てられる。ここで、同時に作成されるメインファイルおよびサブファイルには共通の識別番号が割り当てられ、同時に作成されたメインファイルおよびサブファイルは識別番号によって互いに関連付けられる。

メインファイルおよびサブファイルが作成されると、ＣＰＵ３６は、メイン画像記録処理の開始をメモリＩ／Ｆ４０に命令する。ＣＰＵ３６はまた、垂直同期信号Ｖｓｙｎｃが発生する毎に（＝１／３０秒毎に）、メインフレーム番号を“１”からインクリメントする。記録される各フレームのメイン画像データは、こうしてインクリメントされるメインフレーム番号によって識別される。メモリＩ／Ｆ４０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データを垂直同期信号Ｖｓｙｎｃが発生する毎にメモリ制御回路２２を通して読み出し、読み出されたメイン画像データを記録媒体４２に上述の要領で作成されたメインファイルに書き込む。

キー入力装置３８に向けてサブ記録開始操作が行われると、ＣＰＵ３６は、サブ画像記録タスクの下でイメージセンサ１６のフレームレートを３０ｆｐｓから３００ｆｐｓに変更する。イメージセンサ１６からは、１／３００秒に１フレームの割合で生画像データが出力される。

ＣＰＵ３６は続いて、後処理回路２８を起動し、サブ画像記録処理の開始をメモリＩ／Ｆ４０に命令する。後処理回路２８は、生画像エリア２４ａに格納された生画像データを１／３００秒に１フレームの割合で読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換の一連の処理を施す。この結果、ＹＵＶ形式のサブ画像データが１／３００秒に１フレームの割合で作成される。作成されたサブ画像データは、１／３００秒に１フレームの割合でＹＵＶ画像エリア２４ｃに書き込まれる。メモリＩ／Ｆ４０は、ＹＵＶ画像エリア２４ｃに格納されたサブ画像データを１／３００秒に１フレームの割合で読み出し、読み出されたサブ画像データを記録媒体４２に作成されたサブファイルに同じ割合で書き込む。

キー入力装置３８に向けてサブ記録終了操作が行われると、ＣＰＵ３６は、後処理回路２８を停止し、サブ画像記録処理の終了をメモリＩ／Ｆ４０に命令し、イメージセンサ１６のフレームレートを３００ｆｐｓから３０ｐｓに戻す。後処理回路２８は生画像エリア２４ａからの生画像データの読み出しを停止し、メモリＩ／Ｆ４０はサブ画像データのサブファイルへの書き込みを終了する。

ＳＤＲＡＭ２４のワークエリア２４ｄには、図４に示すサブ画像情報テーブルＴＢＬが準備される。サブ記録開始操作が行われたとき、ＣＰＵ３６は、メモリ制御回路２２を通してワークエリア２４ｄにアクセスし、現メインフレーム番号をＨＳ開始フレーム番号としてサブ画像情報テーブルＴＢＬに記述する。ＣＰＵ３６はまた、サブ記録終了操作が行われたとき、現メインフレーム番号をＨＳ終了フレーム番号としてサブ画像情報テーブルＴＢＬに記述する。

この実施例では、サブ記録終了操作はサブ画像記録処理の実行中にのみ受け付けられ、ＨＳ開始フレーム番号およびＨＳ終了フレーム番号は対をなしてサブ画像情報テーブルＴＢＬに記述される。この１対のＨＳ開始フレーム番号およびＨＳ終了フレーム番号によって、サブ画像区間が定義される。したがって、メイン画像記録処理の途中でサブ記録開始操作およびサブ記録終了操作が２回ずつ行われると、サブ画像区間１および２が図５に示す要領で定義される。

キー入力装置３８に向けてメイン記録終了操作が行われると、ＣＰＵ３６は、メイン画像記録タスクの下で、メイン画像記録処理の終了をメモリＩ／Ｆ４０を命令する。この結果、ＹＵＶ画像エリア２４ｂからのメイン画像データの読み出しが終了される。ＣＰＵ３６はその後、オープン状態にあるサブファイルをクローズし、ワークエリア２４ｄ上のサブ画像情報テーブルＴＢＬをメインファイルのヘッダに書き込み、そしてメインファイルをクローズする。この結果、互いに関連するメインファイルおよびサブファイルが図６（Ａ）および図６（Ｂ）に示す要領で完成する。

なお、サブファイルに画像データが存在しなければ、サブ画像情報テーブルＴＢＬの書き込みは省略され、サブファイルは削除される。

キー入力装置３８に向けたモード選択操作によって再生モードが選択されると、ＣＰＵ３６は、画像再生タスクの下で以下の処理を実行する。まず、記録媒体４２に記録された複数のメインファイルのいずれか１つを、キー入力装置３８に向けたファイル指定操作に従って指定する。

指定されたメインファイルに対応するサブファイルが記録媒体４２に存在する場合、ＣＰＵ３６は、このメインファイルのヘッダに記述されたサブ画像情報テーブルＴＢＬをメモリＩ／Ｆ４０を通して取得する。取得されたサブ画像情報テーブルＴＢＬは、メモリ制御回路２２を通してＳＤＲＡＭ２４のワークエリア２４ｄに書き込まれる。

キー入力装置３８に向けてメイン再生開始操作が行われると、ＣＰＵ３６は、メイン画像再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令し、かつ垂直同期信号Ｖｓｙｎｃが発生する毎にメインフレーム番号を“１”からインクリメントする。

メモリＩ／Ｆ４０は、上述の要領で指定されたメインファイルから現メインフレーム番号に対応する１フレームのメイン画像データを読み出し、読み出されたメイン画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂに書き込む。ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データをメモリ制御回路２２を通して読み出し、読み出されたメイン画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、連続する複数のメイン画像データに基づく動画像つまりメイン動画像がモニタ画面に表示される。

現メインフレーム番号がサブ画像情報テーブルＴＢＬの記述によって定義されたサブ画像区間に入ると、ＣＰＵ３６は、マーカ表示命令をキャラクタジェネレータ３４に与える。キャラクタジェネレータ３４は、サブ画像の存在を報知するマーカを示すキャラクタデータを作成し、作成されたキャラクタデータをＬＣＤドライバ３０に与える。ＬＣＤドライバ３０は与えられたキャラクタデータに基づいてマーカをモニタ画面に多重表示する。

なお、現メインフレーム番号がサブ画像区間から外れると、ＣＰＵ３６は、マーカ非表示命令をキャラクタジェネレータ３４に与える。この結果、マーカがモニタ画面から消失する。

マーカが表示されている期間にキー入力装置３８に向けてサブ再生開始操作が行われると、ＣＰＵ３６は、メインファイル再生処理の終了をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令し、現メインフレーム番号に対応するサブフレームを現サブ画像区間を定義するＨＳ開始フレーム番号とサブ画像データのフレームレート（＝３００ｆｐｓ）とに基づいて検出する。

ＣＰＵ３６は続いて、サブ画像再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。ＣＰＵ３６はまた、垂直同期信号Ｖｓｙｎｃが１０回発生する毎にメインフレーム番号をインクリメントする。

メモリＩ／Ｆ４０は、上述の要領で検出されたサブフレームから始まるサブ画像データをサブファイルから読み出し、読み出されたサブ画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｃに書き込む。ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｃに格納されたサブ画像データをメモリ制御回路２２を通して読み出し、読み出されたサブ画像データに基づいてＬＣＤモニタ３２を駆動する。

ここで、サブファイルからＹＵＶ画像エリア２４ｃへのサブ画像データの転送およびＹＵＶ画像エリア２４ｃからＬＣＤドライバ３０へのサブ画像データの転送はいずれも、垂直同期信号Ｖｓｙｎｃに応答して（１／３０秒に１フレームの割合で）実行される。この結果、サブ画像データに基づく動画像つまりサブ動画像の動きの速さは記録時の１／１０に低下する。

サブ再生終了操作が行われるか或いは現メインフレーム番号が現時点のサブ画像区間を定義するＨＳ終了フレーム番号に達すると、ＣＰＵ３６は、サブ画像再生処理の終了をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。この結果、サブ動画像の再生が終了される。

ＣＰＵ３６はその後、メイン画像再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令し、かつ垂直同期信号Ｖｓｙｎｃが発生する毎にメインフレーム番号をインクリメントする。メイン画像再生処理は、こうしてインクリメントされるメインフレーム番号に相当するフレームのメイン画像データに対して実行される。この結果、メイン動画像がＬＣＤモニタ３２に表示される。

ＣＰＵ３６は、図７〜図９に示すメイン画像記録タスク，図１０に示すパラメータ調整タスク，図１１に示すサブ制御タスク，および図１２〜図１４に示す画像再生タスクを含む複数のタスクをマルチタスクＯＳに下で並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。

図７を参照して、ステップＳ１では動画取り込み処理を実行する。これによって、スルー画像がＬＣＤモニタ３２に表示される。ステップＳ３ではメイン記録開始操作が行われたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５〜Ｓ７の処理に進む。ステップＳ５〜Ｓ７では、メモリＩ／Ｆ４０を通して記録媒体４２にアクセスし、オープン状態のメインファイルおよびサブファイルを記録媒体４２に新規に作成する。

ステップＳ９ではサブ画像記録タスクを起動し、ステップＳ１１ではメインフレーム番号を“１”に設定し、そしてステップＳ１３ではメイン画像記録処理の開始をメモリＩ／Ｆ４０に命令する。メモリＩ／Ｆ４０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データをメモリ制御回路２２を通して読み出し、読み出されたメイン画像データをステップＳ５で作成されたメインファイルに書き込む。

ステップＳ１５では、メイン記録終了操作が行われたか否かを判別する。判別結果がＮＯであればステップＳ１７に進み、垂直同期信号Ｖｓｙｎｃの発生を待ってメインフレーム番号をインクリメントする。インクリメントが完了すると、サブ記録開始操作が行われたか否かをステップＳ３３で判別し、サブ記録終了操作が行われたか否かをステップＳ３７で判別する。

ステップＳ３３の判別結果がＹＥＳであればステップＳ３５に進み、現メインフレーム番号をＨＳ開始フレーム番号として設定する。また、ステップＳ３７の判別結果がＹＥＳであればステップＳ３９に進み、現メインフレーム番号をＨＳ終了フレーム番号として設定する。ＨＳ開始フレーム番号およびＨＳ終了フレーム番号は、メモリ制御回路２２を通してワークエリア２４ｃ上のサブ画像情報テーブルＴＢＬに書き込まれる。ステップＳ３５またはＳ３７の処理が完了すると、ステップＳ１５に戻る。なお、ステップＳ３３の判別結果およびステップＳ３７の判別結果のいずれもＮＯであれば、そのままステップＳ１５に戻る。

この実施例では、サブ記録終了操作はサブ画像記録処理の実行中にのみ受け付けられ、ＨＳ開始フレーム番号およびＨＳ終了フレーム番号は対をなしてサブ画像情報テーブルＴＢＬに記述される。この１対のＨＳ開始フレーム番号およびＨＳ終了フレーム番号によって、サブ画像区間が定義される。

ステップＳ１５の判別結果がＹＥＳに更新されるとステップＳ１９に進み、メイン画像記録処理の終了をメモリＩ／Ｆ４０に命令する。メモリＩ／Ｆ４０は、ＹＵＶ画像エリア２４ｂからのメイン画像データの読み出しを終了する。

ステップＳ２１ではサブ画像記録タスクを終了し、ステップＳ２３ではステップＳ７で作成されたサブファイルにサブ画像データが収められているか否かを判別する。判別結果がＹＥＳであればステップＳ２５に進み、オープン状態にあるサブファイルをクローズする。ステップＳ２７では、ワークエリア２４ｃ上のサブ画像情報テーブルＴＢＬをメモリ制御回路２２を通して読み出し、読み出されたサブ画像情報テーブルをステップＳ５で作成されたメインファイルのヘッダに書き込む。ステップＳ２３の判別結果がＮＯであればステップＳ２９に進み、オープン状態にあるサブファイルを削除する。

ステップＳ３１では、メモリＩ／Ｆ４０を通して記録媒体４２にアクセスし、オープン状態にあるメインファイルをクローズする。メインファイルのクローズが完了すると、ステップＳ３に戻る。

図１０を参照して、ステップＳ４１ではフォーカス，絞り量および露光時間を初期化する。ステップＳ４３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ４５でＡＥ処理を実行する。これによって、スルー画像の明るさが適度に調整される。ステップＳ４７ではＡＦ起動条件が満足されるか否かを判別し、ＮＯであればそのままステップＳ４３に戻る一方、ＹＥＳであればステップＳ４９でＡＦ処理を実行してからステップＳ４３に戻る。ＡＦ処理の結果、フォーカスレンズ１２は合焦点に配置され、これによってスルー画像の鮮鋭度が向上する。

図１１を参照して、ステップＳ５１ではサブ記録開始操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ５３でイメージセンサ１６のフレームレートを３０ｆｐｓから３００ｆｐｓに変更する。イメージセンサ１６からは１／３００秒に１フレームの割合で生画像データが出力される。

なお、サブ記録開始操作に関係なく、後処理回路２６は、１／３０秒に１フレームの割合で生画像エリア２４ａから生画像データを読み出し、１／３０秒に１フレームの割合でメイン画像データを作成する。作成されたメイン画像データは、１／３０秒に１フレームの割合でＹＵＶ画像エリア２４ｂに書き込まれる。

ステップＳ５３の処理が完了すると、ステップＳ５５で後処理回路２８を起動し、ステップＳ５７でサブ画像記録処理の開始をメモリＩ／Ｆ４０に命令する。後処理回路２８は、生画像エリア２４ａに格納された生画像データを１／３００秒に１フレームの割合で読み出し、読み出された生画像データを１／３００秒に１フレームの割合でサブ画像データに変換する。変換されたサブ画像データは、１／３００秒に１フレームの割合でＹＵＶ画像エリア２４ｃに書き込まれる。メモリＩ／Ｆ４０は、ＹＵＶ画像エリア２４ｃに格納されたサブ画像データを１／３００秒に１フレームの割合で読み出し、読み出されたサブ画像データをステップＳ７で作成されたサブファイルに同じ割合で書き込む。

ステップＳ５９では、サブ記録終了操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ６１で後処理回路２８を停止し、ステップＳ６３でサブ画像記録処理の終了をメモリＩ／Ｆ４０に命令する。後処理回路２８は生画像エリア２４ａからの生画像データの読み出しを停止し、メモリＩ／Ｆ４０はサブ画像データのサブファイルへの書き込みを終了する。ステップＳ６３の処理が完了すると、ステップＳ９５でイメージセンサ１６のフレームレートを３００ｆｐｓから３０ｐｓに戻し、その後にステップＳ５１に戻る。

図１２を参照して、ステップＳ７１では、記録媒体４２に記録された複数のメインファイルのいずれか１つをファイル指定操作に応答して指定する。ステップＳ１０３では、指定されたメインファイルに対応するサブファイルが記録媒体４２に存在するか否かを判別する。判別結果がＮＯであれば、ステップＳ７９でフラグＦＬＧｓｕｂを“０”に設定し、ステップＳ８１に進む。これに対して、判別結果がＹＥＳであればステップＳ７５に進み、メインファイルのヘッダに記述されたサブ画像情報テーブルＴＢＬをメモリＩ／Ｆ４０を通して取得する。取得されたサブ画像情報テーブルＴＢＬは、メモリ制御回路２２を通してＳＤＲＡＭ２４のワークエリア２４ｄに書き込まれる。ステップＳ７７ではフラグＦＬＧｓｕｂを“１”に設定し、設定が完了するとステップＳ８１に進む。

ステップＳ８１ではメイン再生開始操作が行われたか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ８３でメインフレーム番号を“１”に設定する。ステップＳ８５では、メイン画像再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。

メモリＩ／Ｆ４０は、ステップＳ７１で指定されたメインファイルから現メインフレーム番号に対応する１フレームのメイン画像データを読み出し、読み出されたメイン画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂに書き込む。ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｂに格納されたメイン画像データをメモリ制御回路２２を通して読み出し、読み出されたメイン画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、現フレームのメイン画像がモニタ画面に表示される。

ステップＳ８７ではフラグＦＬＧｓｕｂが“１”を示すか否かを判別し、ステップＳ８９では現メインフレーム番号がサブ画像情報テーブルＴＢＬの記述によって定義されたサブ画像区間に属するか否かを判別する。ステップＳ８７の判別結果がＮＯであればそのままステップＳ９９に進み、ステップＳ８９の判別結果がＮＯであればステップＳ９３でマーカ非表示命令をキャラクタジェネレータ３４に与えてからステップＳ９７に進む。

ステップＳ８７の判別結果およびステップＳ８９の判別結果のいずれもがＹＥＳであれば、ステップＳ９１でマーカ表示命令をキャラクタジェネレータ３４に与える。ステップＳ９５ではサブ再生開始操作が行われたか否かを判別し、ステップＳ９７ではメイン再生終了操作が行われるかまたは現メインフレーム番号がメインファイルの末尾フレームに到達するという論理和条件が満足されたか否かを判別する。

ステップＳ９５の判別結果およびステップＳ９７の判別結果のいずれもがＮＯであればステップＳ９９に進み、垂直同期信号Ｖｓｙｎｃの発生を待ってメインフレーム番号をインクリメントする。インクリメントが完了すると、ステップＳ８７に戻る。これに対して、ステップＳ９５の判別結果がＮＯでかつステップＳ９７の判別結果がＹＥＳであれば、ステップＳ１０１でメインファイル再生処理の終了をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。この結果、メイン画像データに基づく動画像つまりメイン動画像の再生が終了される。ステップＳ１１１の処理が完了すると、ステップＳ７１に戻る。

ステップＳ９５の判別結果がＹＥＳであれば、ステップＳ１０３でメインファイル再生処理の終了をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。ステップＳ１０５では、現メインフレーム番号に対応するサブフレームを現サブ画像区間を定義するＨＳ開始フレーム番号とサブ画像データのフレームレート（＝３００ｆｐｓ）とに基づいて検出する。

ステップＳ１０７では、サブ画像再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。メモリＩ／Ｆ４０は、ステップＳ１０５で算出されたサブフレーム番号に相当するフレームから始まるサブ画像データをサブファイルから読み出し、読み出されたサブ画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｃに書き込む。ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｃに格納されたサブ画像データをメモリ制御回路２２を通して読み出し、読み出されたサブ画像データに基づいてＬＣＤモニタ３２を駆動する。

ここで、サブファイルからＹＵＶ画像エリア２４ｃへのサブ画像データの転送およびＹＵＶ画像エリア２４ｃからＬＣＤドライバ３０へのサブ画像データの転送はいずれも、垂直同期信号Ｖｓｙｎｃに応答して（１／３０秒に１フレームの割合で）実行される。この結果、サブ画像データに基づく動画像つまりサブ動画像の動きの速さは記録時の１／１０に低下する。

ステップＳ１０９ではサブ再生終了操作が行われるかまたは現メインフレーム番号が現時点のサブ画像区間を定義するＨＳ終了フレーム番号に達するという論理和条件が満足されたか否かを判別する。判別結果がＮＯであればステップＳ１１１に進み、垂直同期信号Ｖｓｙｎｃが１０回発生するのを待ってメインフレーム番号をインクリメントする。インクリメントが完了すると、ステップＳ１０９に戻る。

ステップＳ１０９の判別結果がＮＯからＹＥＳに更新されると、ステップＳ１１３でサブ画像再生処理の終了をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。この結果、サブ動画像の再生が終了される。ステップＳ１１５では、メイン画像再生処理の開始をメモリＩ／Ｆ４０およびＬＣＤドライバ３０に命令する。メイン画像再生処理は、現メインフレーム番号に相当するフレームのメイン画像データに対して実行される。ステップＳ１１５の処理が完了すると、ステップＳ８７に戻る。

以上の説明から分かるように、３０ｆｐｓのフレームレートを有するメイン画像データは、メイン記録開始操作からメイン記録終了操作までの期間に実行されるメイン画像記録処理によってメインファイルに記録される(S3~S5, S11~S19, S31)。また、３００ｆｐｓのフレームレートを有するサブ画像データは、サブ記録開始操作からサブ記録終了操作までの期間に実行されるサブ画像記録処理によってサブファイルに記録される(S7~S9, S21~S27, S33~S39, S51~S65)。ここで、サブ記録開始操作およびサブ記録終了操作は、メイン記録開始操作からメイン記録終了操作までの期間に受け付けられる。

こうしてメインファイルおよびサブファイルに収められたメイン画像データおよびサブ画像データは、選択的に再生される(S81~S85, S97~S101, S105~S107, S111, S115)。また、再生対象となる画像データは、サブ画像区間に行われたサブ再生開始操作およびサブ再生終了操作の各々に応答して切換えられる(S95, S103, S109, S113)。

メイン画像データおよびサブ画像データは共通のイメージセンサ１６の出力に基づき、かつサブ画像データのフレームレートはメイン画像データのフレームレートよりも高い。したがって、メイン画像データおよびサブ画像データには共通の被写体が現れ、かつこの被写体の動きは、サブ画像データを再生する場合に遅くなる。

また、メイン画像データはメイン画像記録処理によって記録される一方、サブ画像データはメイン画像記録処理と並列して一時的に実行されるサブ画像記録処理によって記録され、サブ再生開始操作およびサブ再生終了操作はサブ画像区間に受け付けられる。したがって、再生すべき画像データは、サブ画像区間にメイン画像データおよびサブ画像データの間で切換えられる。

この結果、サブ画像記録処理が実行される期間に現れた被写体の動きは、再生対象がメイン画像データからサブ画像データに切り換えられることで遅くなり、再生対象がサブ画像データからメイン画像データに切り換えられることで速くなる。こうして、サブ画像記録処理が実行される期間に現れた被写体の視認性が向上する。

なお、この実施例では、メイン画像データおよびサブ動画像データを共通のイメージセンサ１６の出力に基づいて作成するようにしているが、共通のシーンを捉える２つのイメージセンサを準備し、一方のイメージセンサの出力に基づいてメイン画像データを作成するとともに、他方のイメージセンサの出力に基づいてサブ画像データを作成するようにしてもよい。このとき、好ましい実施例では、２つのイメージセンサが共通の方向を向く姿勢で互いに近接した位置に設けられる。また、他の好ましい実施例では、共通のレンズを通して入射された光学像が、分光器によって２つのイメージセンサに分配される。

また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、図１４に示すように通信Ｉ／Ｆ４６をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

さらに、この実施例では、ＣＰＵ３６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２６，２８ …後処理回路
３０ …ＬＣＤドライバ
３４ …キャラクタジェネレータ
３６ …ＣＰＵ

Claims (10)

1. 第１フレームレートを有する第１動画像を撮像手段の出力に基づいて作成する処理を第１期間に実行する第１作成手段、
   前記第１フレームレートよりも高い第２フレームレートを有する第２動画像を前記撮像手段の出力に基づいて作成する処理を前記第１期間に属する第２期間に実行する第２作成手段、
   前記第１作成手段によって作成された第１動画像および前記第２作成手段によって作成された第２動画像のいずれか一方を再生する再生手段、および
   前記第２期間に対応する期間に発行された切り換え指示に応答して前記再生手段の再生対象を切り換える切り換え手段を備える、画像処理装置。
2. 前記第２期間を定義する期間定義指示をユーザから受け付ける受け付け手段をさらに備える、請求項１記載の画像処理装置。
3. 前記第２期間に対応する期間に報知を発生する処理を前記再生手段による前記第１動画像の再生処理に関連して実行する報知手段をさらに備え、
   前記切り換え指示はユーザから受け付けた指示に相当する、請求項１または２記載の画像処理装置。
4. 前記第２作成手段は前記第１動画像を形成する複数のフレームの中から前記第２期間の始期に対応するフレームを検出するフレーム検出手段を含み、
   前記再生手段は前記フレーム検出手段の検出結果を参照して前記第２動画像の再生開始フレームを特定する再生開始フレーム特定手段を含む、請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記再生手段は前記第１動画像の再生フレームを繰り返し識別する再生フレーム識別手段をさらに含み、
   前記再生開始フレーム特定手段は前記再生フレーム識別手段の識別結果をさらに参照して前記再生開始フレームを特定する、請求項４記載の画像処理装置。
6. 前記再生手段による再生フレームレートは前記第１動画像および前記第２動画像の間で共通する、請求項１ないし５のいずれかに記載の画像処理装置。
7. 画像処理装置のプロセッサに、
   第１フレームレートを有する第１動画像を撮像手段の出力に基づいて作成する処理を第１期間に実行する第１作成ステップ、
   前記第１フレームレートよりも高い第２フレームレートを有する第２動画像を前記撮像手段の出力に基づいて作成する処理を前記第１期間に属する第２期間に実行する第２作成ステップ、
   前記第１作成ステップによって作成された第１動画像および前記第２作成ステップによって作成された第２動画像のいずれか一方を再生する再生ステップ、および
   前記第２期間に対応する期間に発行された切り換え指示に応答して前記再生ステップの再生対象を切り換える切り換えステップを実行させるための、画像処理プログラム。
8. 画像処理装置によって実行される画像処理方法であって、
   第１フレームレートを有する第１動画像を撮像手段の出力に基づいて作成する処理を第１期間に実行する第１作成ステップ、
   前記第１フレームレートよりも高い第２フレームレートを有する第２動画像を前記撮像手段の出力に基づいて作成する処理を前記第１期間に属する第２期間に実行する第２作成ステップ、
   前記第１作成ステップによって作成された第１動画像および前記第２作成ステップによって作成された第２動画像のいずれか一方を再生する再生ステップ、および
   前記第２期間に対応する期間に発行された切り換え指示に応答して前記再生ステップの再生対象を切り換える切り換えステップを備える、画像処理方法。
9. メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
   第１フレームレートを有する第１動画像を撮像手段の出力に基づいて作成する処理を第１期間に実行する第１作成ステップ、
   前記第１フレームレートよりも高い第２フレームレートを有する第２動画像を前記撮像手段の出力に基づいて作成する処理を前記第１期間に属する第２期間に実行する第２作成ステップ、
   前記第１作成ステップによって作成された第１動画像および前記第２作成ステップによって作成された第２動画像のいずれか一方を再生する再生ステップ、および
   前記第２期間に対応する期間に発行された切り換え指示に応答して前記再生ステップの再生対象を切り換える切り換えステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
10. 外部制御プログラムを取り込む取り込み手段、および
    前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
    前記外部制御プログラムは、
    第１フレームレートを有する第１動画像を撮像手段の出力に基づいて作成する処理を第１期間に実行する第１作成ステップ、
    前記第１フレームレートよりも高い第２フレームレートを有する第２動画像を前記撮像手段の出力に基づいて作成する処理を前記第１期間に属する第２期間に実行する第２作成ステップ、
    前記第１作成ステップによって作成された第１動画像および前記第２作成ステップによって作成された第２動画像のいずれか一方を再生する再生ステップ、および
    前記第２期間に対応する期間に発行された切り換え指示に応答して前記再生ステップの再生対象を切り換える切り換えステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。

Images