JP2009004885A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】動画像と静止画像をその撮像タイミングを対応付けて表示する。
【解決手段】編集処理部５４には、マッチング処理部５５、動画像編集部５６、および静止画像編集部５７が含まれる。マッチング処理部５５は、記録メディア１２に記録されている動画像信号と静止画像信号の対に対してリンク情報を生成する。具体的には、各静止画像と動画像の各フレームとの差分（より詳細には、対応する画素同士の差分の絶対値の総和）をそれぞれ演算し、各静止画像に対して差分が最小となる動画像のフレームを検出して、検出したフレームを静止画像に撮像タイミングが最も近いものと判定する。本発明は、ビデオカメラ、ビデオプレーヤなどに適用できる。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば同一の被写体を同時期に撮像された動画像と静止画像を対応付けて表示できるようにした画像処理装置、画像処理方法、およびプログラムに関する。

従来、動画像の撮像を継続しながら静止画像も撮像することができるビデオカメラが存在する。撮像した動画像から静止画像を生成したり、連続的に撮像された静止画像を時間的に繋ぎ合わせて動画像のように再生したりする技術も存在する。

また、撮像された画像に生じてしまった被写体の動きボケやピントボケを補正する技術として、いわゆるクラス分類適応処理（例えば、特許文献１参照）、ＥＴ処理（実世界推定処理）（例えば、特許文献２参照）などが存在する（いずれも後述）。さらに、クラス分類適応処理を用いて、画像の解像度を変換し、高画質化する技術（例えば、特許文献３参照）も存在する。

特開２００５−３２８１１７号公報 特開２００６−２４１９２号公報 特許第３３２６８７９号公報

しかしながら、動画像を撮像しながら静止画像も同時に撮像する場合、例えば静止画像の画角を重視したために動画像の画角が不自然に変動してしまったり、逆に、動画像を重視したために静止画像の撮像タイミングを逃してしまったりすることがある。

また、上述したように、動画像と静止画像を同時に撮像したり、動画像と静止画像の一方から他方を生成したりする技術は存在するが、動画像と静止画像の撮像タイミングを対応付けて両方を同時に表示したり、一方の補正や編集に他方を利用したりする提案は行われていない。

本発明はこのような状況に鑑みてなされたものであり、動画像と静止画像をその撮像タイミングを対応付けて表示できるようにするものである。

本発明の一側面である画像処理装置は、動画像および静止画像の表示を制御する画像処理装置において、動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツを取得する取得手段と、前記動画像コンテンツと前記静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報を生成する生成手段と、前記リンク情報に基づき、前記動画像コンテンツと前記静止画像コンテンツと同一画面上に対応付けて表示させる再生手段とを含む。

前記生成手段は、前記静止画像コンテンツの静止画像と、前記動画像コンテンツの各フレーム画像との類似度に基づいて前記リンク情報を生成するようにすることができる。

前記再生手段は、前記リンク情報に基づき、前記動画像コンテンツまたは前記静止画像コンテンツのうち、メインとされた一方の再生タイミングに対応してサブとされた他方を同一画面上に表示させるようにすることができる。

本発明の一側面である画像処理装置は、前記動画像コンテンツまたは前記静止画像コンテンツの一方に対し、前記動画像コンテンツおよび前記静止画像コンテンツを用いて画像補正処理を行う画像補正処理手段をさらに含むことができる。

本発明の一側面である画像処理装置は、前記画像補正処理における補正パラメータを設定する設定手段をさらに含むことができる。

本発明の一側面である画像処理方法は、動画像および静止画像の表示を制御する画像処理装置の画像信号処理方法において、動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツを取得し、前記動画像コンテンツと前記静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報を生成し、前記リンク情報に基づき、前記動画像コンテンツと前記静止画像コンテンツと同一画面上に対応付けて表示させるステップを含む。

本発明の一側面であるプログラムは、動画像および静止画像の表示を制御する画像処理装置の制御用のプログラムであって、動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツを取得し、前記動画像コンテンツと前記静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報を生成し、前記リンク情報に基づき、前記動画像コンテンツと前記静止画像コンテンツと同一画面上に対応付けて表示させるステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報が生成され、リンク情報に基づき、動画像コンテンツと静止画像コンテンツと同一画面上に対応付けて表示させる。

本発明の一側面によれば、動画像と静止画像をその撮像タイミングを対応付けて表示することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面である画像処理装置は、動画像および静止画像の表示を制御する画像処理装置（例えば、図３の記録再生編集装置１３）において、動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツを取得する取得手段（例えば、図３のメディアドライブ５３）と、前記動画像コンテンツと前記静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報を生成する生成手段（例えば、図３のマッチング処理部５５）と、前記リンク情報に基づき、前記動画像コンテンツと前記静止画像コンテンツと同一画面上に対応付けて表示させる再生手段（例えば、図３の再生部５９）とを含む。

本発明の一側面である画像処理装置は、前記動画像コンテンツまたは前記静止画像コンテンツの一方に対し、前記動画像コンテンツおよび前記静止画像コンテンツを用いて画像補正処理を行う画像補正処理手段（例えば、図３の動画像編集部５６および静止画像編集部５７）をさらに含むことができる。

本発明の一側面である画像処理装置は、前記画像補正処理における補正パラメータを設定する設定手段（例えば、図３の操作部５２、および図８の編集設定領域１２１）をさらに含むことができる。

本発明の一側面である画像処理方法およびプログラムは、動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツを取得し（例えば、図９のステップＳ２）、前記動画像コンテンツと前記静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報を生成し（例えば、図９のステップＳ４）、前記リンク情報に基づき、前記動画像コンテンツと前記静止画像コンテンツと同一画面上に対応付けて表示させる（例えば、図９のステップＳ６）ステップを含む。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明を適用した画像処理システムの構成例を示している。この画像処理システム１は、動画像および静止画像を撮像する撮像装置１１、撮像された動画像および静止画像が記録される記録メディア１２、記録メディア１２から動画像および静止画像を読み出し両者を対応付けて表示させる記録再生編集装置１３、並びに対応付けられた動画像および静止画像を表示する表示装置１４から構成される。

撮像装置１１は、動画像を撮像しながら任意のタイミングで静止画像も撮像することができるカメラであり、撮像結果として得られる動画像信号および静止画像信号を記録メディア１２に記録する。なお、動画像信号と静止画像信号とを同一の記録メディア１２に記録してもよいし、それぞれを異なる記録メディア１２に記録するようにしてもよい。以下、同時に撮像された動画像信号と静止画像信号を「対応する動画像信号と静止画像信号の対」と称する。なお、動画像信号に対応する静止画像信号には、１枚以上の静止画像が含まれるものとする。

図２は、撮像装置１１の詳細な構成例を示している。撮像装置１１は、撮像装置１１の全体を制御する制御部２１、ユーザからの操作を入力する操作部２２、撮像装置１１の動きを検出する動き検出部２３、被写体を撮像して画像信号を生成する撮像部２４、撮像部２４から出力される画像信号に所定の処理を施す信号処理部２５、信号処理部２５の作業領域として利用されるメモリ２９、信号処理部２５から出力される動画像信号や静止画像信号を記録メディア１２に記録するメディアドライブ３０、撮像される画像を表示してファインダとして機能するとともに撮像済みの画像を表示してモニタとして機能する表示部３１から構成される。

制御部２１は、操作部２２から入力されるユーザの操作（録画開始操作、録画終了操作静止画撮像シャッタ操作、ズームイン操作、ズームアウト操作、各種の設定操作など）に対応する操作信号に基づき、撮像装置１１の各部を制御する。操作部２２は、撮像装置１１の筐体に設けられるボタンやスイッチ、表示部３１の表面に設けられるタッチパネルなどからなり、ユーザの操作を受け付け、対応する操作信号を制御部２２に出力する。

動き検出部２３は、ジャイロセンサなどから構成され、手振れなどによる撮像装置１１の動きを検出し検出結果を制御部２１に通知する。撮像部２４は、ズームレンズ、シャッタ機構、絞り機構、CCDなどの受光素子を含む。

信号処理部２５には、動画像処理部２６、静止画像処理部２７、およびリンク情報生成部２８が含まれる。動画像処理部２６は、制御部２１の制御に基づき、撮像部２４から入力される画像信号を基に、例えばDVI，MPEG2など符号化方式によって符号化した動画像信号を生成する。静止画像処理部２７は、制御部２１の制御に基づき、撮像部２４から入力される画像信号を基にして例えばJPEGなど符号化方式によって符号化した静止画信号を生成する。リンク情報生成部２８は、制御部２１の制御に基づき、対応する動画像信号と動画像信号の対に対して、それぞれの撮像タイミングを示すリンク情報を生成する。具体的には、シャッタタイミングに応じ、各静止画像を動画像のフレーム番号やタイムコードに対応付け、各静止画像が動画像のどのフレームに対応するか（撮像タイミングが最も近いか）を示すリンク情報を生成する。生成された動画像信号、静止画像信号、およびリンク情報はメディアドライブ３０によって記録メディア１２に記録される。なお、動画像撮像時におけるズームレンズの焦点距離の推移を示す情報、撮像装置１１の動き（手振れなど）を示す情報も記録メディア１２に記録するようにする。

図１に戻る。記録再生編集装置１３は、記録メディア１２から、対応する動画像信号と静止画像信号の対を読み出し、両者に対応するリンク情報も記録されている場合にはそれを読み出し、記録されていない場合にはリンク情報を生成し、リンク情報に基づいて、対応する動画像信号と静止画像信号の対を、表示装置１４に表示させる。また、記録再生編集装置１３は、動画像信号と静止画像信号を用い、動画像信号に対して編集処理を行う。また、動画像信号と静止画像信号を用い、静止画像信号に対して編集処理を行う。

なお、動画像信号および静止画像に対する編集処理とは、画質改善補正（手振れ補正、動きボケ補正、ピントボケ補正、ノイズ除去補正、色調補正、解像度変換補正）、スケーリング（拡大／縮小）補正、回転補正、撮像位置補正、撮像タイミング補正などの画像信号処理を指す。ここで特に、撮像タイミング補正とは、撮像された静止画像を、前後に撮像された静止画像や対応する動画像を用いて補正することにより、あたかも実際のシャッタタイミングよりも若干早いまたは遅いタイミングで撮像したような静止画像に補正する画像処理である。

図３は、記録再生編集装置１３の詳細な構成例を示している。記録再生編集装置１３は、記録再生編集装置１３の全体を制御する制御部５１、ユーザからの操作を入力する操作部５２、記録メディア１２から動画像信号や静止画像信号などを読み出すメディアドライブ５３、読み出された動画像信号や静止画像信号などに対して編集処理を行う編集処理部５４、編集処理部５４による処理結果を記憶する記憶部５８、記憶部５８に記憶された編集済みの動画像信号と静止画像信号を対応付けて表示装置１４の画面内に表示させる再生部５９から構成される。

制御部５１は、操作部５２から入力されるユーザの操作（動画像信号または静止画像信号に対する再生操作、各種編集処理におけるパラメータ設定操作など）に対応する操作信号に基づき、記録再生編集装置１３の各部を制御する。また、各種操作や設定に使用されるGUIの表示も制御する。そして、操作部５２やGUIを用いてユーザから指定された設定値に応じ、編集処理部５４の動画像編集部５６に画質改善補正を実行させる。操作部５２は、表示装置１４に表示されるGUIなどに対するユーザの操作に対応する操作信号を制御部５１に出力する。

編集処理部５４には、マッチング処理部５５、動画像編集部５６、および静止画像編集部５７が含まれる。編集処理部５４は、編集結果を記憶部５８に出力するが、メディアドライブ５３に出力して記録メディア１２に記録させることもできる。

マッチング処理部５５は、記録メディア１２に記録されている動画像信号と静止画像信号の対に対してリンク情報が記録されていない場合、当該動画像信号と静止画像信号の対に対してリンク情報を生成する。具体的には、各静止画像と動画像の各フレームとの差分（より詳細には、対応する画素同士の差分の絶対値の総和）をそれぞれ演算し、各静止画像に対して差分が最小となる動画像のフレームを検出して、検出したフレームを静止画像に撮像タイミングが最も近いものと判定する。

図４は、動画像編集部５６および静止画像編集部５７の構成例を示している。動画像編集部５６は、記録メディア１２に記録されている撮像装置１１の動き（手振れなど）を示す情報に基づき、画像信号処理部７３によって動画像信号に対して手振れ補正など画質改善補正、スケーリング補正、撮像位置補正などを行う。

なお、撮像装置１１の動き（手振れなど）を示す情報が記録メディア１２に記録されていない場合、手振れ検出部７２により、例えば代表点マッチング法などによって動画像の全フレームに亘る動き（手振れなど）を検出するようになされている。

画像改善補正には、例えば、クラス分類適応処理、ＥＴ処理（実世界推定処理）を適用することができる。静止画像編集部５７は、動き検出部８１により画像内の動きを検出し、画像信号処理部８２により静止画像信号に対して動きボケ補正、ピントボケ補正、解像度変換などの画質改善補正、撮像タイミング補正を行う。画像改善補正、撮像タイミング補正には、クラス分類適応処理、ＥＴ処理を適用することができる。ただし、各補正に用いる処理は、クラス分類適応処理、ＥＴ処理に限定する必要はなく、同様の目的を有するその他様々な処理を用いることができる。

ここで、クラス分類適用処理とは、例えば上述した特許文献１，３にも記載されている手法であり、補正または生成しようとしている画素（注目画素）をその空間的特徴に応じた係数を用いて補正演算するものである。具体的には、例えば、注目画素を中心としてその近傍に位置する複数の画素からなる画素群（第１のタップ）を設定し、第１のタップを構成する複数の画素の組み合わせに応じて、注目画素の属する空間的特徴を示すクラス（予め複数用意されている）を決定する。さらに、注目画素を中心としてその近傍（空間方向だけでなく時間方向も含む。また、動画像のフレームだけでなく、静止画像も含む）に位置する複数の画素からなる画素群（第２のタップ）を設定し、設定した第２のタップを構成する複数の画素と、決定したクラスに応じて予め用意されている係数とを用いた演算によって注目画素の画素値を決定する手法である。ボケ補正の演算で用いる係数は、ボケのある画像の画素値とボケのない画像の画素値との関係をクラス毎に学習することで求められる。また、解像度変換の演算で用いる係数は、新たに生成される画像に対応する教師画像の画素値と変換前の画像に対応する生徒画像の画素値との関係をクラス毎に学習することで求められる。

また、ＥＴ処理（実世界推定処理）とは、例えば上述した特許文献２にも記載されている手法であり、ボケのない画像からボケ画像を生成するための実世界におけるボケモデルを、撮像素子が受光する光の積分特性を考慮して構築し、ボケ画像に対してボケモデルに対応する変換の逆変換を適用することにより真の画像を得ることによりボケ除去を行う手法である。

図５は、動画像信号に対するスケーリング補正の一例を示している。例えば、運動会で大勢の生徒が演技しているグランドの全体を動画像として撮像しながら自分の子供だけを大きく静止画像で撮像することを考える。この場合、ユーザは動画像を撮像している画角からズームアップして静止画像を撮像し、その後ズームアウトする操作を行うが、この様な操作により、動画像についても同図Ａに示す状態から同図Ｂに示す状態にズームアップされ、その後、同図Ｃに示す状態までズームアウトされることになる。このようにズーミングは動画像に対してユーザが意図していたことではないので、スケーリング補正により、動画像再生時の画角が一定になるように補正することができる。具体的には、例えば同図Ｄを基準とした場合、同図Ｂのようにズームアップされている動画像については縮小することにより同図Ｅに示すように、基準となる同図Ｄに画角を合わせることができる。また、同図Ｃのようにズームアウトされている動画像については拡大することにより同図Ｆに示すように、基準となる同図Ｄに画角を合わせることができる。なお、縮小のスケーリング補正によって背景が不足してしまう場合、背景の画素を、例えば、前後するフレームから補間するようにしてもよい。

図６は、動画像信号に対する撮像位置補正の一例を示している。例えば、動画像を比較的長い時間撮像している場合、撮像姿勢を工夫することで手振れを防ぐことはできるが、画像内における被写体の位置がずれてしまうことがある。すなわち、同図Ａ，Ｂ，Ｃに示すように、被写体が長い撮像時間中に画像内で上下左右に移動してしまうことがある。このような動画像は撮像位置補正により、画像内において被写体が常に同じ位置に存在するように補正することができる。具体的には、例えば同図Ｄを基準とした場合、同図Ｂのように画像内において被写体が基準よりも上に位置するときには画像全体を下方向にずらすことにより同図Ｅに示すように、基準となる同図Ｄと被写体の位置を一致させることができる。また、同図Ｃのように被写体が画像内において基準よりも下に位置するときには画像全体を上方向にずらすことにより同図Ｆに示すように、基準となる同図Ｄと被写体の位置を一致させることができる。なお、図６では、撮像位置を上下方向に補正する場合を示したが、撮像位置を左右方向や斜め方向に補正することもできる。

図３に戻る。記憶部５８は、編集処理部５４の編集結果である動画像信号および静止画像信号を記憶するとともに、編集処理に際しても各種の設定値（以下、編集パラメータと記述する）も記憶する。

再生部５９は、記憶部５８に記憶されている編集済みの動画像信号および静止画像信号を再生して表示装置１４の１画面内に表示させる。また、再生部５９は、メディアドライブ５３によって記録メディア１２から読み出された動画像信号および静止画像信号を再生して表示装置１４の１画面内に表示させることができる。

次に、記録再生編集装置１３によって編集された、対応する動画像信号と静止画像信号の対が表示装置１４に表示されるときの表示例について、図７および図８を参照して説明する。

図７Ａは、画面１００の全体が動画像表示領域１１１とされている状態である。図７Ｂは、画面１００上に動画像表示領域１１１と複数の静止画像が表示される静止画像表示領域１１３が設けられている状態である。動画像表示領域１１１に付随して設けられたスクロールバー１１２は、動画像の時間的推移を表すとともにGUIとしての機能を有しており、ユーザはスクロールバー１１２を操作することにより動画像の再生ポイントを移動させることができる。静止画像表示領域１１３に付随して設けられたスクロールバー１１４は、動画像に対応する複数の静止画像のうち、画面上に表示されているものの時間な位置を表すとともにGUIとしての機能を有しており、ユーザはスクロールバー１１４を操作することにより表示される静止画像を変更することができる。

また、図７Ｂにおいては、ユーザは動画像または静止画像の一方をメイン、他方をサブに指定することができ、メインに指定されている画像がユーザによって選択されると、サブに指定されている画像が、選択されたメインの画像の再生タイミングに対応して変更される。例えば、静止画像がメイン、動画像がサブに指定されている場合、ユーザが静止画像表示領域１１３に表示されている複数の静止画像のうちのいずれかを選択すると、動画像表示領域１１１に表示されている動画像の再生ポイントが、選択された静止画像の撮像タイミングまで移動される。また反対に、動画像がメイン、静止画像がサブに指定されている場合、ユーザが動画像表示領域１１１に表示されている動画像を選択する（クリックする等）と、静止画像表示領域１１３の表示が、選択された動画像の再生ポイントに対応する静止画像に変更される。

従ってユーザは、例えば、動画像を視聴しながらその有意（重要）ポイントに対する静止画像を速やかに検索することができる。反対に、有意（重要）な静止画像に対応する動画像の再生ポイントを速やかに検索することができる。

図７Ｃは、図７Ｂの表示例に追加して編集済動画像表示領域１１６が設けられている状態である。図７Ｄは、画面１００の全体が編集済動画像表示領域１１６とされている状態である。図７Ｄのように、画面１００の全体が編集済動画像表示領域１１６とされた場合、編集済動画像に重畳して編集パラメータ１１７が表示される。

図８Ａは、図７Ｂの表示例に追加して編集設定領域１２１が設けられている状態である。図８Ｂは、動画像信号に対する編集として手振れ補正が行われるときの編集設定領域１２１の表示例を示している。図８Ｂにおいて、実線は動画像信号に発生している手振れの軌跡を示しており、破線は手振れ補正の設定状態を示している。ユーザは、破線の形状（傾き、曲率、始点、終点など）を任意に変更することができ、これにより手振れ補正の設定を変更することができる。

図８Ｃは、動画像信号に対する編集としてスケーリング補正が行われるときの編集設定領域１２１の表示例を示している。図８Ｃにおいて、実線は動画像撮像時の焦点距離の変化の軌跡を示しており、破線はスケーリング補正の設定状態を示している。ユーザは、破線の形状（傾き、曲率、始点、終点など）を任意に変更することができ、これによりスケーリング補正の設定を変更することができる。

なお、図７および図８は、画面の一表示例であり、動画像表示領域１１１の位置やサイズなど、静止画像表示領域１１３の位置、表示する静止画像の枚数、サイズなどは、図７および図８に限定されるものではない。

次に、再生記録編集装置１３による再生処理（以下、コンテンツ再生処理と称する）について、図９のフローチャートを参照して説明する。以下、対応する動画像信号および静止画像信号の対を、コンテンツ対とも称し、それぞれコンテンツＸｖ，Ｘｐ（Ｘは任意文字）とも称する。

このコンテンツ再生処理はユーザからコンテンツの再生開始を指示する操作が行われたときに開始される。

ステップＳ１において、再生記録編集装置１３の制御部５１は、ユーザから同期再生（動画像と静止画像を対応付けて表示させる再生）が指示されたのか、通常再生（動画像または静止画像の一方を表示させる再生）が指示されたのかを判定する。同期再生が指示されたと判定された場合、処理はステップＳ２に進められる。反対に、通常再生が指示されたと判定された場合、処理はステップＳ１２に進められる。

ユーザから同期再生が指示された場合、ステップＳ２において、制御部５１は、記録メディア１２に記録されているコンテンツ対のリストをユーザに提示して同期再生するコンテンツ対を選択させ、選択されたコンテンツ対をメディアドライブ５３に読み出させて再生部５９に供給させる。選択されたコンテンツ対を、コンテンツＡｖ，Ａｐとする。

ステップＳ３において、再生部５９は、供給されたコンテンツ対にリンク情報（撮像タイミングの対応関係を示す情報）があるか否かを判定する。リンク情報がないと判定された場合、処理はステップＳ４に進められる。ステップＳ４において、編集処理部５４のマッチング処理部５５が、選択されたコンテンツ対に対するリンク情報を生成して記録部５８を介して再生部５９に出力する。なお、ステップＳ３において、供給されたコンテンツ対にリンク情報があると判定された場合、ステップＳ４の処理は省略される。

ステップＳ５において、再生部５９は、コンテンツ対を構成するコンテンツＸｖ，Ｘｐの少なくとも一方に編集パラメータが存在するか否か（すなわち、編集済みか否か）を判定する。編集パラメータが存在すると判定された場合、処理はステップＳ６に進められる。

ステップＳ６において、再生部５９は、編集パラメータに基づいてコンテンツ対を再生する。すなわち、例えば図７Ｃに示された表示例のように、コンテンツ対に編集結果（各種の補正処理）を反映した状態で表示装置１４に表示させる。

ステップＳ７において、制御部５１は、ユーザからコンテンツ対のメインとサブの切り替えを指示する操作が行われたか否かを判断し、当該操作が行われたと判断した場合、ステップＳ８において、メインとサブを入れ替える。すなわち、いままでコンテンツＡｖ（動画像）がメイン、コンテンツＡｐ（静止画像）がサブとされていた場合、コンテンツＡｐ（静止画像）をメイン、コンテンツＡｖ（動画像）をサブに変更する。なお、再生の間、メインとされているコンテンツに対してユーザは早送り再生、早戻し再生などの変速再生、一時停止などのトリックプレイを指示することができる。

ステップＳ９において、制御部５１は、コンテンツ対の再生が終了したか、あるいは同期再生停止を指示するユーザの操作が行われたかを判定する。コンテンツ対の再生が終了せず、かつ、ユーザから当該操作が行われていないと判定された場合、処理はステップＳ６に戻されて同期再生が継続される。そして、ステップＳ９において、コンテンツ対の再生が終了したと判定されるか、あるいはユーザから当該操作が行われたと判定された場合、コンテンツ再生処理が終了される。

なお、ステップＳ５において、コンテンツ対を構成するコンテンツＸｖ，Ｘｐのいずれにも編集パラメータがない（編集されていない）と判定された場合、処理はステップＳ１０に進められる。ステップＳ１０において、再生部５９は、編集されていないコンテンツ対を再生する。すなわち、例えば図７Ｂに示された表示例のような画面を表示装置１４に表示させる。なお、ステップＳ１０においても、ユーザはコンテンツ対のメインとサブの切り替えることが可能である。

ステップＳ１１において、制御部５１は、コンテンツ対の再生が終了したか、あるいは同期再生停止を指示するユーザの操作が行われたかを判定する。コンテンツ対の再生が終了せず、かつ、ユーザから当該操作が行われていないと判定された場合、処理はステップＳ１０に戻されて同期再生が継続される。そして、ステップＳ１１において、コンテンツ対の再生が終了したと判定されるか、あるいはユーザから当該操作が行われたと判定された場合、コンテンツ再生処理が終了される。

一方、ユーザから通常再生が指示された場合、ステップＳ１２において、制御部５１は、記録メディア１２に記録されているコンテンツのリストをユーザに提示して通常再生するコンテンツを選択させ、選択されたコンテンツを再生部５９に供給させる。選択されたコンテンツを、コンテンツＢ（動画像信号または静止画像信号）とする。

ステップＳ１３において、再生部５９は、コンテンツＢに編集パラメータがあるか否か（すなわち、編集済みか否か）を判定する。編集パラメータがあると判定された場合、処理はステップＳ１４に進められる。

ステップＳ１４において、再生部５９は、編集パラメータに基づいてコンテンツＢを再生する。すなわち、例えば図７Ｄに示された表示例のような画面を表示装置１４に表示させる。

なお、ステップＳ１３において、コンテンツＢに編集パラメータがない（編集されていない）と判定された場合、処理はステップＳ１５に進められる。ステップＳ１５において、再生部５９は、編集されていないコンテンツＢを再生する。すなわち、例えば図７Ａに示された表示例のような画面を表示装置１４に表示させる。

ステップＳ１６において、制御部５１は、コンテンツＢの再生が終了したか、あるいは通常再生停止を指示するユーザの操作が行われたかを判定する。コンテンツＢの再生が終了せず、かつ、ユーザから当該操作が行われていないと判定された場合、処理はステップＳ１３に戻されて通常再生が継続される。そして、ステップＳ１６において、コンテンツＢの再生が終了したと判定されるか、あるいはユーザから当該操作が行われたと判定された場合、コンテンツ再生処理が終了される。以上で、コンテンツ再生処理の説明を終了する。

次に、再生記録編集装置１３によるコンテンツ編集処理について、図１０のフローチャートを参照して説明する。このコンテンツ編集処理はユーザからコンテンツの編集開始を指示する操作が行われたときに開始される。

ステップＳ３１において、再生記録編集装置１３の制御部５１は、ユーザから同期編集（動画像と静止画像を対応付けて表示させた状態で編集すること）が指示されたのか、通常編集（動画像または静止画像の一方を表示させた状態で編集すること）が指示されたのかを判定する。同期編集が指示されたと判定された場合、処理はステップＳ３２に進められる。反対に、通常編集が指示されたと判定された場合、処理はステップＳ３６にスキップされる。

ユーザから同期編集が指示された場合、ステップＳ３２において、制御部５１は、記録メディア１２に記録されているコンテンツ対のリストをユーザに提示して同期編集するコンテンツ対を選択させ、選択されたコンテンツ対をメディアドライブ５３に読み出させて編集処理部５４に供給させる。選択されたコンテンツ対を、コンテンツＡｖ，Ａｐとする。

ステップＳ３３において、編集処理部５４は、供給されたコンテンツ対にリンク情報があるか否かを判定する。リンク情報がないと判定された場合、処理はステップＳ３４に進められ、マッチング処理部５５がコンテンツ対に対するリンク情報を生成する。なお、ステップＳ３３において、供給されたコンテンツ対にリンク情報があると判定された場合、ステップＳ３４の処理は省略される。

ステップＳ３５において、制御部５１は、コンテンツ対を構成するコンテンツＡｖ，Ａｐのどちらを編集するかユーザに選択させる。

ステップＳ３６において、編集処理部５４は、選択された編集対象のコンテンツ（コンテンツＡｖまたはコンテンツＡｐ）に編集パラメータが存在するか否か（すなわち、既に編集が行われ、その編集結果が保存されているか否か）を判定する。編集パラメータが存在すると判定された場合、処理はステップＳ３７に進められる。ステップＳ３７において、編集処理部５４は、選択されたコンテンツが動画像であるか静止画像であるかに対応し、存在する編集パラメータを動画像編集部５６または静止画像編集部５７にロードする。以下、選択された編集対象のコンテンツが動画像信号であると仮定し、存在する編集パラメータが動画像編集部５６にロードされたとして説明を継続する。

動画像編集部５６は、ロードされた編集パラメータに基づいてコンテンツ対のコンテンツＡｖを補正し、補正結果を記憶部５８を介して再生部５９に出力する。他方、静止画像編集部５７は、コンテンツ対のコンテンツＡｐをそのまま記憶部５８を介して再生部５９に出力する。再生部５９は、記憶部５８を介して入力されたコンテンツ対を、例えば図８Ａに示されたような編集設定領域１２１を含む画面を表示装置１４に表示させる。

ステップＳ３８において、動画像編集部５６は、例えば画面上の編集設定領域１２１を利用したユーザの補正設定操作に対応する制御部５１からの制御に基づき、編集パラメータを変更し、変更された編集パラメータに応じてコンテンツＡｖに編集処理（各種の補正）する。具体的には、画質改善補正（手振れ補正、動きボケ補正、ピントボケ補正、ノイズ除去補正、色調補正、解像度変換補正）、スケーリング（拡大／縮小）補正、回転補正、撮像位置補正、撮像タイミング補正などの画像信号処理である。この編集結果は直ちに表示装置１４の画面上の動画像に反映される。

ステップＳ３９において、制御部５１は、ユーザから編集終了を指示する操作が行われたか否かを判定し、編集終了を指示する操作が行われるまでステップＳ３８に戻り、編集を継続する。そして、ユーザから編集終了を指示する操作が行われた場合、処理はステップＳ４０に進められる。

ステップＳ４０において、制御部５１は、例えば画面上に「編集結果を保存しますか？”YES”or”NO”」等と表示することにより、編集結果を示す編集パラメータを保存するか否かユーザに選択させる。ユーザが編集パラメータの保存に同意した場合、処理をステップＳ４１に進め、ステップＳ３８の処理で変更されている現状の編集パラメータをコンテンツＡｖに対応付けて記録メディア１２に記録させる。反対に、ユーザが編集パラメータの保存に同意しなかった場合、処理をステップＳ４２に進め、ステップＳ３８の処理で変更されている現状の編集パラメータをクリアする。以上で、コンテンツ編集処理は終了される。

なお、ステップＳ３１において、ユーザから通常編集が指示されたと判定された場合、処理はステップＳ４３に進められる。ステップＳ４３において、制御部５１は、記録メディア１２に記録されているコンテンツのリストをユーザに提示して通常編集するコンテンツを選択させる。これ以降、処理はステップＳ３６に進められ、上述した同期編集の場合と同様に処理が進められることになる。以上、コンテンツ編集処理の説明を終了する。

以上説明したように、本発明を適用した画像処理システム１の記録再生編集装置１３によれば、並行して撮像された動画像と静止画像を対応付けて再生するとともに、これらの一方を両方に基づいて編集（補正処理）を行い、表示させることができる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの記録媒体２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理システムの構成例を示すブロック図である。 図１の撮像装置の構成例を示すブロック図である。 図１の記録再生編集装置の構成例を示すブロック図である。 図３の動画像編集部および静止画像編集部５７の構成例を示すブロック図である。 スケーリング補正を説明するための図である。 撮像位置補正を説明するための図である。 動画像と静止画像を同期再生した時の表示例を示す図である。 編集設定字の表示例を示す図である。 コンテンツ再生処理を説明するフローチャートである。 コンテンツ編集処理を説明するフローチャートである。 汎用のコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像処理システム， １１ 撮像装置， １２ 記録メディア， １３ 記録再生編集装置， １４ 表示装置， ２１ 制御部， ２２ 操作部， ２３ 動き検出部， ２４ 撮像部， ２８ リンク情報生成部， ５１ 制御部， ５２ 操作部， ５４ 編集処理部， ５５ マッチング処理部， ５６ 動画像編集部， ５７ 静止画像編集部， ５８ 記憶部， ５９ 再生部， ７１ 動き検出部， ７２ 手振れ検出部， ７３ 画像信号処理部， ７４ クラス分類適応部， ８１ 動き検出部， ８２ 画像信号処理部， ８３ クラス分類適応部，１１１ 動画像表示領域， １１３ 静止画像表示領域， １１６ 編集済動画像表示領域， １２１ 編集設定領域

Claims (7)

1. 動画像および静止画像の表示を制御する画像処理装置において、
   動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツを取得する取得手段と、
   前記動画像コンテンツと前記静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報を生成する生成手段と、
   前記リンク情報に基づき、前記動画像コンテンツと前記静止画像コンテンツと同一画面上に対応付けて表示させる再生手段と
   を含む画像信号処理装置。
2. 前記生成手段は、前記静止画像コンテンツの静止画像と、前記動画像コンテンツの各フレーム画像との類似度に基づいて前記リンク情報を生成する
   請求項１に記載の画像信号処理装置。
3. 前記再生手段は、前記リンク情報に基づき、前記動画像コンテンツまたは前記静止画像コンテンツのうち、メインとされた一方の再生タイミングに対応してサブとされた他方を同一画面上に表示させる
   請求項１に記載の画像信号処理装置。
4. 前記動画像コンテンツまたは前記静止画像コンテンツの一方に対し、前記動画像コンテンツおよび前記静止画像コンテンツを用いて画像補正処理を行う画像補正処理手段を
   さらに含む請求項１に記載の画像信号処理装置。
5. 前記画像補正処理における補正パラメータを設定する設定手段を
   さらに含む請求項４に記載の画像信号処理装置。
6. 動画像および静止画像の表示を制御する画像処理装置の画像信号処理方法において、
   動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツを取得し、
   前記動画像コンテンツと前記静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報を生成し、
   前記リンク情報に基づき、前記動画像コンテンツと前記静止画像コンテンツと同一画面上に対応付けて表示させる
   ステップを含む画像信号処理方法。
7. 動画像および静止画像の表示を制御する画像処理装置の制御用のプログラムであって、
   動画像からなる動画像コンテンツと１枚以上の静止画像からなる静止画像コンテンツを取得し、
   前記動画像コンテンツと前記静止画像コンテンツとの撮像タイミングの相関関係を示すリンク情報を生成し、
   前記リンク情報に基づき、前記動画像コンテンツと前記静止画像コンテンツと同一画面上に対応付けて表示させる
   ステップを含む処理をコンピュータに実行させるプログラム。

Images