JP2010232813A - 映像編集プログラムおよび映像編集装置 - Google Patents

Abstract

【課題】一般ユーザーが撮像したイベント映像を、プロフェショナルが撮像し編集した映像と同じようなレベルの映像に自動編集する。
【解決手段】映像の内容を解析して映像に映されているイベントを識別する（Ｓ５）とともに、複数のシナリオの中から識別結果のイベントに対応するシナリオを選択し（Ｓ９）、選択されたシナリオにしたがって映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施し、映像から新規映像を生成する。
【選択図】図２

Description

本発明は、映像編集プログラムおよび映像編集装置に関する。

各種テーマやイベントに相応しい映像を撮影するために、テーマやイベントの種類に応じた一連の撮影指示命令群を撮影装置に与え、撮影者にその撮影命令群にしたがって撮影を行わせるようにした動画シーケンス合成用ディジタルビデオシステムが知られている。

特表２００７−５２９９５１号公報

上述したシステムによれば、あたかもイベントごとの脚本に沿ってプロのカメラマンが撮影したような見栄えのよい映像を撮影することができるが、一連の撮影指示命令群にしたがって撮影を行わなければならず、非常に煩雑で煩わしい上に、場合によってはイベント自体の流れを一連の撮影指示命令群に合わせなければならない可能性もあり、イベントの盛り上がりを妨げるおそれもある。

(１) 請求項１の発明は、映像の内容を解析し、映像に映されているイベントを識別するイベント識別手順と、複数のシナリオの中からイベント識別手順で識別されたイベントに対応するシナリオを選択するシナリオ選択手順と、シナリオ選択手順により選択されたシナリオにしたがって、映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施す画像処理手順とをコンピューターに実行させ、映像から新規映像を生成する。
(２) 請求項２の発明は、請求項１に記載の映像編集プログラムにおいて、イベント識別手順では、映像の少なくとも色情報、エッジ情報、動き情報のいづれか１つを用いて映像に映されているイベントを少なくとも１つ識別する。
(３) 請求項３の発明は、請求項１または請求項２に記載の映像編集プログラムにおいて、画像処理手順では、撮像された映像のフレーム画像から一部の領域を切り出して新規フレーム画像を生成する疑似カメラワーク処理を行う。
(４) 請求項４の発明は、請求項３に記載の映像編集プログラムにおいて、画像処理手順では、映像を構成する連続したフレーム画像のそれぞれから切り出す領域の大きさと位置を変えて新規フレーム画像を生成する疑似カメラワーク処理を行う。
(５) 請求項５の発明は、請求項１〜４のいずれか一項に記載の映像編集プログラムにおいて、シナリオ選択手順では、同一イベントに対する適用条件の異なる複数のシナリオの中から、イベント識別手順で解析された映像の内容とシナリオごとの適用条件とを照合し、適用条件が合致するシナリオを選択する。
(６) 請求項６の発明は、請求項１〜５のいずれか一項に記載の映像編集プログラムにおいて、シナリオには、映像を編集するための手法と手順が規定されている。
(７) 請求項７の発明は、請求項６に記載の映像編集プログラムにおいて、シナリオには、映像の中の予め指定された人または物を中心に編集するための手法と手順が記録されており、画像処理手順では、映像を構成する複数のフレーム画像から人または物を検索しながら、シナリオにしたがって映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施す。
(８) 請求項８の発明は、請求項６または請求項７に記載の映像編集プログラムにおいて、シナリオには、イベント映像に含まれる複数のシーンに対するシーンごとの優先順位、シーンごとの再生時間、シーンの切り換え、シーンごとの再生順序が規定されている。
(９) 請求項９の発明は、請求項８に記載の映像編集プログラムにおいて、画像処理手順では、映像の複数のシーンの中に、イベントに対応するシナリオに規定されたシーンごとの再生時間を超えるシーンがある場合には、当該シーンの一部をカットして映像の中の他のシーンを挿入し、シナリオに規定されたシーンごとの再生時間内に収まるように編集する。
(１０) 請求項１０の発明は、請求項８または請求項９に記載の映像編集プログラムにおいて、画像処理手順では、予め指定された新規映像の再生時間に応じて、シナリオに規定されたシーンごとの再生時間を設定する。
(１１) 請求項１１の発明は、請求項１０に記載の映像編集プログラムにおいて、画像処理手順では、予め指定された新規映像の複数の再生時間のそれぞれに対し、シナリオに規定されたシーンごとの再生時間を設定し、前記複数の再生時間に対応する新規映像を生成する。
(１２) 請求項１２の発明は、請求項８〜１１のいずれか一項に記載の映像編集プログラムにおいて、画像処理手順では、イベント識別手順で解析された映像の内容と識別されたイベント、および映像の中の予め指定された人または物の情報に基づいて新規映像のタイトル画像を生成する。
(１３) 請求項１３の発明は、請求項１〜１２のいずれか一項に記載の映像編集プログラムにおいて、イベント識別手順では、撮像時刻の差が所定時間以内、または撮像場所の間の距離が所定距離以内の複数の映像の内容を解析し、複数の映像に映されているイベントを識別し、シナリオ選択手順では、イベント識別手順で識別された複数の映像の中から同一のイベントが映されている映像を選別し、当該イベントに対応するシナリオを選択し、画像処理手順では、シナリオ選択手順により選択されたシナリオにしたがって、同一のイベントが映されている映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施す。
(１４) 請求項１４の発明は、請求項１３に記載の映像編集プログラムにおいて、画像処理手順では、同一のイベントが映されている第１および第２の映像をそれぞれ構成する複数のシーンの中で、第１の映像のシーンと第２の映像のシーンとをつなぎ合わせる場合に、それぞれのシーンの中の被写体の動きが連続するようにそれぞれのシーンをカットしてつなぎ合わせる。
(１５) 請求項１５の発明は、請求項１３または請求項１４に記載の映像編集プログラムにおいて、画像処理手順では、同一のイベントが映されている第１および第２の映像において、第１の映像の中に予め指定された人または物が他の被写体により遮られるシーンがある場合には、当該シーンをカットして当該シーンを撮像した時刻の第２の映像のシーンを挿入する。
(１６) 請求項１６の発明は、請求項１〜１５のいずれか一項に記載の映像編集プログラムにおいて、映像には撮像時の周囲の音声が記録されており、画像処理手順では、疑似カメラワーク処理に応じて音声の音量と左右の音量バランスとの少なくとも一方を変更する。
(１７) 請求項１７の発明は、映像を記憶する記憶装置と、請求項１〜１６のいずれか一項に記載の映像編集プログラムを実行するコンピューターと、映像を表示する表示装置とを備える。

本発明によれば、一般ユーザーが撮像したイベント映像から、プロフェッショナルが撮像し編集した映像と同じようなレベルの映像が容易に得られる。

一実施の形態の映像編集装置の構成を示すブロック図 一実施の形態の映像編集装置の編集動作を示すフローチャート 図２に続く、一実施の形態の映像編集装置の編集動作を示すフローチャート 主人公の設定方法を示す図 主人公の設定方法を示す図 主編集対象の映像の解析結果を示すタイミングチャート 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 映像の編集過程を示す１フレームの画像 一実施の形態の編集により生成された映像中のフレーム画像を示す図 タイトル画像の一例を示す図 徒競争の後で撮像した運動会の映像ファイルの中から抽出した静止画または動画の一例を示す図

図１は一実施の形態の映像編集装置１の構成を示すブロック図である。記憶装置２は各種の記録媒体２ａを挿入可能なスロットを備えており、記録媒体２ａから読み出された映像（動画像）データと音声データを含む映像ファイルを記憶する一方、編集により生成された映像ファイルを記録媒体２ａに書き込む。なお、この映像編集装置１による編集対象の映像は、ビデオカメラやデジタルスチルカメラにより撮像された動画像はもちろんのこと、デジタルカメラにより撮像された一連の静止画像も含まれる。また、一実施の形態の映像編集装置１では、映像のみならず、映像と一緒に録音された音声も映像の編集に合わせて編集される。さらには、映像ファイルは、不図示のネットワークを介して本映像編集装置１に読み込む構成としてもよく、この場合には、本映像編集装置１は必ずしも記録装置２を含まなくてもよい。

マイクロコンピューター３はソフトウエア形態による制御部３ａ、画像解析部３ｂおよび画像処理部３ｃを備えており、映像と音声の編集処理を行う。制御部３ａは一連の編集処理を制御する。画像解析部３ｂは、編集対象の映像ファイルに含まれる映像データと音声データを解析し、例えばどのような“イベント”を撮影したものか、あるいはどのような被写体が写っているかなど、映像の内容を識別する。画像処理部３ｃは、画像解析部３ｂによる解析結果の映像内容に応じた“シナリオ”を選択し、シナリオにしたがって映像ファイルの中の映像データと音声データを編集し、新しい映像ファイルを生成する。

ここで“イベント”とは、この明細書ではビデオカメラやデジタルスチルカメラで撮像する各種の催しや行事のことを言う。この一実施の形態では、イベントの例として運動会、徒競争、誕生会などを例に挙げて説明する。イベントによっては階層的に展開されるものがあり、例えば運動会のイベントの中に徒競争や玉入れなどの各種イベントが存在する。イベントの映像の中にはいろいろなシーン（場面）があり、例えば運動会の徒競争イベントにはスタートシーン、走っているシーン、ゴールシーンなどがある。

また、“シナリオ”とは、この明細書では映像と音声を編集するための手法や手順を規定した脚本や絵コンテなどを言う。上述したようにイベント映像の中にはいろいろなシーンが含まれており、シナリオにはこれらのシーンに対するシーンごとの選別（カット）、シーンごとの優先順位、シーンごとの再生時間、シーンの切り換え、シーンごとの再生順序などが規定されており、イベントに対応するシナリオにしたがって編集を行うことをによって、プロカメラマンが撮像して編集したイベント映像のような映像が得られる。

操作部４は各種操作部材を有し、記録媒体２ａから読み込まれた複数の映像ファイルの中から編集対象の映像ファイルを選択したり、編集する映像の中で主人公を選択したりするなど、映像と音声の編集のためのユーザーの操作指示を入力する。表示装置５は、編集前後の映像や主人公の選択画面などを表示する。スピーカー６は、編集前後の映像とともに録音された音声を再生する。

なお、この一実施の形態では、ビデオカメラなどの撮像装置により撮像された映像を入力して編集を行う映像編集装置１を例に挙げて説明するが、撮像装置に一実施の形態の映像編集装置１の全部または一部を内蔵し、撮像装置で撮像から編集までを実行する構成としてもよい。このような一実施の形態の映像編集装置１の全部または一部を内蔵した撮像装置では、別の撮像装置で撮像した映像を取り込んで編集することもできる。

ところで、通常、ビデオカメラなどの撮像装置により各種イベントの映像を撮像する場合には、主人公の顔を大きく撮像するためにズームイン（クローズアップ）したり、主人公を追いかけて撮像装置をパンニングしたり、あるいは不要と思われるシーン（場面）をカットしたりする、すなわち撮像しないようにするなど、カメラワークを駆使して主人公を中心とした見栄えのよい映像を撮像しようとする。しかし、一般のユーザーではプロのカメラマンが撮像したような見栄えのよい映像を撮像するのは難しく、カメラワークを駆使して撮像した映像を編集しても、ズームインして撮像した拡大映像からズームアウトした縮小映像を取得したり、撮像装置のパンニングを行った後でパンニング前の撮像範囲の映像を取得したり、あるいはカット期間の映像を取得することはできないため、ユーザーの意図する映像を生成することは難しい。

そこで、この一実施の形態では、撮像装置により映像を撮像するときに、広い範囲で発生している事象をくまなく取得できるように広角で撮像し、広角で撮像された映像を編集対象とする。そして、広角で撮像された映像を構成するフレーム画像の中の一部の領域をトリミングにより切り出してあたかも撮像時にズームインまたはズームアウトしたかのように編集したり、トリミング範囲を変更してあたかも撮像時に撮像装置をパンニングしたかのように編集したり、あるいは同一シーンの一部を削除してあたかも撮像時にカットを行ったかのように編集する。このような編集を行うことによって、あたかも撮像時にカメラワークを駆使して撮像したかのような擬似的なカメラワークを実現でき、撮像時に実際にカメラワークを行った場合と同様な映像効果を得ることができる。

なお、ユーザーが撮像時にズーミング、パンニング、カットなどのカメラワークを駆使して撮像した映像を編集対象としても構わないし、第１の撮像装置により広角で撮像した映像と、第２の撮像装置によりカメラワークを駆使して撮像した映像とを組み合わせて編集してもよい。

一方、原画像の中の一部の領域をトリミングにより切り出して編集した画像からなる映像を生成する場合に、切り出し領域が変化するたびに表示装置５の表示画面の画素数が変わると見づらい映像になってしまうため、原画像からトリミングにより切り出して生成した画像の画素数が常に一定になるように、例えば表示装置５の有効表示画素数に合わせて、画像処理部３ｃで画素数変換処理を行う。なお、画素数変換による拡大倍率が大きいほど、すなわちトリミング領域の画素数が少ないほど、画質の劣化が大きくなるため、トリミング領域の大きさを所定の画質基準を満たす大きさ以下にならないように制限を設ける。なお、広角で撮像したフレーム画像の一部の領域をトリミングにより切り出して新しいフレーム画像を生成し、それらを繋げて新しい映像を作成するので、撮像時に手ぶれがあって映像にブレが生じている場合には、トリミング時に手ぶれ補正を行う。

また、この一実施の形態では、１台の撮像装置により撮像された映像を編集対象とすることはもちろん、複数台の撮像装置により撮像された複数の映像も編集対象とする。詳細を後述するが、この一実施の形態では２台の撮像装置Ｘと撮像装置Ｙで運動会の徒競争を撮像する例を示す。

図２および図３は、一実施の形態の映像編集装置１の編集動作を示すフローチャートである。また、図４および図５は主人公の設定方法を示す図、図６は主編集対象の映像の解析結果を示すタイミングチャート、図７〜図１８は映像の編集過程を示す１フレームの画像である。これらの図により、一実施の形態の映像編集動作を説明する。ここでは架空の幼稚園児“Ｎａｏちゃん”が参加した運動会の徒競争を撮像した映像を、Ｎａｏちゃんを主人公とした映像に編集する例を説明する。なお、主人公は特に上述の例に限定されず、誰（例えば犬）でもよく、移動する車のなどのような物体であってもよい。ステップ１において、ユーザーが操作部４により指定した映像ファイルを主編集対象ファイルとして設定する。なお、主編集対象ファイルの設定に先立ち、記録媒体２ａから複数の映像ファイルが記憶装置２に読み込まれて記憶されているものとする。

ステップ２では主編集対象ファイルの映像において主人公を設定し、主人公の登場時間を算出する。この一実施の形態では二通りの主人公設定方法の内のいずれか、または両方で主人公を設定する。第１の設定方法は、上述した主編集対象ファイルの映像を表示装置５に表示し、映像の中の主人公が写っている１フレームをフリーズさせた状態で操作部４のマウスを用いてユーザーにより主人公とする被写体をポイントさせ、フレーム画像上の主人公の領域を抽出して設定する方法である。第２の設定方法は、予め記憶装置２に登録され記憶されている主人公候補リストを表示装置５に表示させ、操作部４のマウスを用いてユーザーにより主人公を選択させて設定する方法である。

第１の主人公設定方法では、図４に示すように、設定された主人公の領域の画像データ(例えば、図中の破線で囲む領域内の画像データ）をテンプレート画像として記憶装置２に記憶し、映像中の各フレーム画像とテンプレートマッチングを行いながら主人公を追尾する。このテンプレートマッチングにより主人公の追尾によれば、途中で主人公を見失った場合でも主人公の位置を推定することが可能である。一方、第２の主人公設定方法では、図５に示すように、主人公候補リストから選択された主人公の詳細なデータに基づいて映像中の各フレーム画像において個人認証をおこない、主人公を追尾する。第２の主人公設定方法によれば、主人公の名前、住所などの個人情報を自動的に取得することができ、新規映像のタイトル字幕やナレーションに個人情報を用いることができる。

主人公を設定することによって、映像中のフレームごとに主人公の存在、位置、大きさなどを検出することができ、それにより全映像再生時間に対する主人公が写っている時間、すなわち主人公の登場時間を算出することができる。なお、主人公候補リストの中に主人公とする人物が記憶されておらず、第１の主人公設定方法でしか主人公を設定できない場合には、主人公の名前などの個人情報が得られないので、表示装置５とスピーカー６により主人公の個人情報を操作部４により入力するように促す。

ステップ３において、記憶装置２に記憶されている映像ファイルの中から、ユーザーが指定した主編集対象ファイルの撮像時刻に近い（所定時間以内）の映像ファイルを抽出する。なお、ＧＰＳ受信機内蔵の撮像装置により撮像された映像ファイルには撮像位置が記録されているので、主編集対象ファイルの撮像位置に近い（所定距離以内）の映像ファイルを抽出するようにしてもよいし、主編集対象ファイルの撮像時刻に近く（所定時間以内）、かつ主編集対象ファイルの撮像位置に近い（所定距離以内）の映像ファイルを抽出してもよい。このようにして抽出された映像ファイルは、主編集対象ファイルと同一のイベントを撮像したと考えられる。

ステップ４では、主編集対象ファイルと、主編集対象ファイルの撮像時刻（または位置）に近いとして抽出した各映像ファイルの中から、主人公を検索して主人公の登場時間を算出する。続くステップ５において、各映像ファイルに記録されている映像データを解析し、各映像ファイルに写っている映像のイベントを判別する。イベントの判別は、映像に映っている主人公などの主要被写体の動作の認識処理や、主人公などの服装の特徴抽出、あるいは認識処理などを行うことによって実現される。動作の認識処理は、例えば特開平５−４６５８３号公報に開示されるように、画像をメッシュ状に分割し、各メッシュの内部で算出した特徴量（オプティカルフロー等）をベクトルとし、この特徴量ベクトルの時系列変化を確率的状態遷移モデルで認識する方法や、特開２００５−２１５９２７号公報に開示されるように、行動を認識する場合における認識処理を第１ステップと第２ステップとの２段階構成とし、第１ステップの動作要素抽出部では、画像データを処理して検出される動きの情報の時系列変化に基づき短時間に行われる一定の動作パターンを認識するとともに、第２ステップの行動認識部では、認識対象とする期間に含まれる一定の動作パターンの割合に基づき、長期間に亘る動作を認識する方法、さらには特開２００８−１４０２６７号公報に開示されるような高次局所自己相関特徴を用いて動作を認識する方法などを用いることができる。また、服装などの特徴抽出は、例えば、認識された顔の位置の下部領域の色情報、エッジ情報、テクスチャ情報を抽出することによって実現することができる。さらに、これらの抽出された情報をもとに、体操服やウェディングドレスなど、イベント特有の服装を認識することができる。なお、イベント判別に際して映像ファイルに記録されている音声データを参照し、より正確なイベント判別を行ってもよい。また、イベント特有の被写体（例えば「運動会」のイベントであれば、万国旗）を認識してイベントを判別する構成としてもよい。このようなイベント特有の被写体の種類は、その認識手法と共に制御部３ａに、各イベントに対応付けられて予め記録されている。

ここで、イベントの判別方法を説明する。例えば、主編集対象ファイルＡは２００８年１０月１０日 １１：００〜１１：２０に撮像されたもので、その映像から(ａ1)体操服を着た複数の人たち（ここでは、幼稚園児たち）が同じ方向に走っている、(ａ2)走っている方向にゴールのテープを持った人たちがいる、(ａ3)ゴールに向かって走った複数の幼稚園児たちが数字の旗の所に移動ししゃがんでいる、(ａ4)走っている幼稚園児たちを多くの人たちが見ている、(ａ5)万国旗が風にはためいている、などのシーンが認識された場合には、主編集対象ファイルＡの映像は「運動会」の「徒競争」であると識別する。また、主編集対象ファイルＡと撮像時刻が近い映像ファイルＢ（２００８年１０月１０日 １４：００〜１４：０５に撮像）の映像から、主編集対象ファイルＡで設定した主人公が「＊＊＊幼稚園 運動会」の看板の脇でメダルを手にポーズをとっているシーンが認識された場合には、主編集対象ファイルＢの映像は「運動会」であると識別する。さらに、主編集対象ファイルＡと撮像時刻が近い映像ファイルＣ（２００８年１０月１０日 ０９：００〜０９：１５に撮像）から、主編集対象ファイルＡで設定した主人公と同じ体操服を着た幼稚園児たちが体操をしているシーンが認識された場合には、映像ファイルＣの映像は「運動会」であると識別する。

一方、主編集対象ファイルＡと撮像時刻が近い映像ファイルＤ（２００８年１１月２５日 １１：００〜１１：０５に撮像）から、(ｄ1)子供がみんなで歌を歌っている、(ｄ2)屋内である、(ｄ3)ケーキが写っている、(ｄ4)暗い部屋の中にローソクがともっている、(ｄ5)一人の子供がローソクを吹き消している、(ｄ6)その後、部屋が明るくなる、などのシーンが認識された場合には、映像ファイルＤの映像は「誕生会」であると識別する。映像ファイルＡ〜Ｄの映像シーンの解析結果から、ファイルＡ〜Ｃのイベントは運動会であり、ファイルＤのイベントは誕生会であると識別する。この一実施の形態では、主編集対象ファイルＡと明らかにイベントの種類が異なる映像ファイルＤは編集対象から除外される。

なお、主編集対象ファイルと撮像時刻（または位置）が近いとして抽出された映像ファイルの内、主編集対象ファイルのイベントと異なる種類が記録されている映像ファイルを自動的に削除する例を示すが、操作部４を介してユーザーにより手動で編集対象から除外するか否かを指示させるようにしてもよい。また、異なる種類のイベントが記録された映像ファイルを同時に編集し、それぞれ新しい映像ファイルを生成する構成としてもよい。

ステップ６において、各映像ファイルのイベント判別結果に基づいて編集イベントを設定する。映像ファイルＡ〜Ｃはどれも「運動会」のイベント映像であるが、上述した映像シーンの解析結果から映像ファイルＡは「運動会」の中の「徒競争」、映像ファイルＢは「メダル獲得」、映像ファイルＣは「準備体操」のそれぞれイベント映像である。この一実施の形態では、ユーザーが最初に指定した主編集対象ファイルのイベントを編集イベントに設定し、表示装置５にその旨のメッセージを表示する。ユーザーが主編集対象ファイル以外のイベントを編集イベントにする場合には、操作部４により映像ファイルの中から希望する編集イベントの映像ファイルを主編集対象ファイルに指定させる。ここでは、主編集対象ファイルＡの「徒競争」が編集イベントに設定された場合を例に挙げて説明する。なお、「徒競争」を編集イベントに設定した場合でも、映像ファイルＢの「メダル獲得」と映像ファイルＣの「準備体操」の映像も編集対象とし、徒競争の新しい映像ファイルを生成する際に映像ファイルＢとＣに記録されている映像の一部を用いることができるようにしておく。

編集イベント設定後のステップ７において、主人公の登場時間に基づいて編集の適否を判定する。この一実施の形態では、「徒競争」に関係のある映像ファイルＡ〜Ｃにおける主人公の登場時間を合算し、映像ファイルＡ〜Ｃの全再生時間に占める主人公登場時間の割合が所定の割合未満である場合にはステップ８へ進み、主人公を記録する新しい映像を作成してもユーザーが満足する内容にならないとして表示装置５およびスピーカー６により警告を行い、処理を終了する。この場合、ユーザーは操作部４により主人公を設定し直して編集を最初からやり直すことができる。

なお、主人公の登場時間を算出する際には次の点を考慮する必要がある。上述したように、この一実施の形態では広角で撮像された画像をトリミングし、トリミング領域を拡大して新しい画像を生成する場合があり、この場合には撮像画像中の主人公の大きさが小さいと拡大倍率が大きくなって画質が低下する。そこで、撮像画像中の主人公の大きさが所定の大きさより小さい場合には、主人公が検出されていてもそのシーンを主人公の登場時間に算入しない。

また、主人公の登場時間の算出に際して撮像画像中の主人公のぼけ具合を考慮する。映像中の各フレーム画像における主人公の位置は、上述した第１の主人公設定方法による被写体追尾処理または第２の主人公設定方法による個人認証処理によって特定することができる。したがって、主人公を含む所定の大きさの領域内における画像の周波数成分を分析することによって、主人公のぼけ具合を判別することができる。主人公領域における高周波数成分の比率が所定値より低い場合には主人公のぼけ具合が大きいと判定し、主人公が検出されていてもそのシーンを主人公の登場時間に算入しない。

なお、撮像用画素の二次元配列中に焦点検出用画素を配列し、撮影画面の複数の位置において撮影光学系の焦点調節状態、すなわちデフォーカス量を検出する構成を備えた撮像装置では、各フレーム画像の画像データとともに撮影画面の複数の位置のデフォーカス量データが記録されているので、主人公の領域のデフォーカス量が所定値以上の場合には主人公にピントが合っていないと判断し、主人公が検出されていてもそのシーンを主人公の登場時間に算入しない構成とすることができる。

さらに、複数の撮像装置により同一のイベントを撮像した複数の映像から新しい映像を生成する場合には、同じ時刻に複数の撮像装置で主人公が登場する映像がそれぞれ撮像されていても、これらの主人公の登場時間を合算しないようにしてもよい。

編集対象の撮像映像の全再生時間に占める主人公の登場時間の割合の他に、イベントごとに予め定めたクライマックスシーンが編集対象の撮像映像の中に存在するか否かに基づいて、設定された主人公による新しい編集映像の生成の適否を判定する構成としてもよい。編集対象の撮像映像の中にクライマックスシーンがない場合には、設定された主人公による新しい編集映像を作成してもユーザーが満足する内容にならないとして表示装置５およびスピーカー６により警告を行い、処理を終了する。

さらに、編集イベントの中の予め定められたシーン、例えば徒競争の場合にはスタート、走っている最中、ゴールなどのシーンの撮像映像の時間が、各シーンごとに設定される再生時間よりも短い場合には、主人公を記録する新しい映像を作成してもユーザーが満足する内容にならないとして表示装置５およびスピーカー６により警告を行い、処理を終了するようにしてもよい。

このように、編集に先立ち、主人公を設定して新規映像の生成の適否を判定することによって、プロがカメラワークを駆使した映像のような見栄えのよい映像が生成可能か否かを事前に知ることができ、無駄になる可能性が高い編集作業を中止させることができる。なお、新規映像の生成に適していないと判定された場合には、主人公の指定画面を表示装置５に表示し、主人公を囲む赤色の枠を点滅させて警告するようにしてもよい。

編集イベントの撮像映像が主人公を中心とした新しい映像を生成するのに適していると判定された場合にはステップ９へ進み、記憶装置２に予め記憶されている複数のシナリオ（脚本）の中から編集イベントに適合するシナリオ（脚本）を選択し読み出す。シナリオは、インターネット上のサーバーに予め記憶されている複数のシナリオの中から編集イベントに適合するものを選択し、ダウンロードするようにしてもよい。

以下に、「徒競争」の編集イベントに適合するシナリオの一例を示す。ここでは、(１)タイトル画像の挿入、(２)運動会を特徴付けるシーン、例えば青空を背景にした運動会の旗が風になびいているシーンからトリミング領域の大きさを変えずに、徒競争のスタート地点にカット変更の後、スタート地点にズームインするシーン、(３)スタートラインに整列した幼稚園児とピストルを持つスターターを写したシーン、(４)ピストルをうつシーンへ切り換えて競争する幼稚園児全員が写る範囲にズーミングしてスタートシーン、(５)競争する園児がゴールに近づくにつれて主人公にズームイン、(６)主人公が着順位の旗の所へ移動して座るまでを追うシーン、(７)園児が退場門から退場するシーン、(８)フェードアウト後、エンド画面にフェードイン、の一連のシーンから構成される。

また、参考までに「誕生会」のイベントに応じたシナリオの一例を示す。このシナリオは、(１)タイトル画像の挿入、(２)主人公のアップ（ハッピーバースディの歌を歌い始める）、(３)歌い終えるまでの間に、主人公を中心として全員が写るようにパンニングしてズームアウト（喜んでいるシーン）、(４)照明が消えてろうそくがともされたケーキをアップ、(５)主人公とケーキが写るようにパンニングしてズームアウト、(６)主人公がろうそくを消す、(７)明かりがともされる、(８)全員が拍手している様子が写るようにズームアウト、の一連のシーンから構成される。

ステップ１０において、編集後の映像再生時間（映像放映時間）を設定し、再生時間に応じてシナリオの各シーンに優先順位を付けるとともに各シーンの時間を設定する。再生時間はユーザーが操作部４により任意の長さに指定することもできるが、ここでは予め設定されている３種類の再生時間、１分、３分および５分の映像を同時に生成する例を示す。１分の映像はいわゆるダイジェストバージョンであり、イベントの中の最も重要なシーンに高い優先順位を設定して短い再生時間でイベントのあらましを見せるようにしたものである。３分の映像はショートバージョンであり、イベントの中の重要なシーンに高い優先順位を設定して適当な再生時間でイベントの全体像を見せるようにしたものである。最長の５分の映像はロングバージョンであり、イベントの中のシナリオを構成するのに必要なシーンに高い優先順位を設定してイベントの詳しい内容を見せるようにしたものである。このような３種類のバージョンの映像を同時に生成しておけば、再生目的に応じたバージョンの映像を選んで見ることができる。なお、シナリオの中の各シーンの時間は、再生時間すなわち再生バージョンと優先順位とに応じて適切な長さが自動的に設定される。

上述した徒競争のシナリオの各シーンの優先順位と時間を設定した例を示す。例えば再生時間３分のショートバージョンでは、(１)タイトル画像の挿入（〜３秒、優先順位４）、(２)運動会を特徴付けるシーン、例えば青空を背景にした運動会の旗が風になびいているシーンからトリミング領域の大きさを変えずに、徒競争のスタート地点にカット変更の後、スタート地点にズームインするシーン（〜１０秒、優先順位５）、(３)スタートラインに整列した幼稚園児とピストルを持つスターターを写したシーン（〜１５秒、優先順位６）、(４)ピストルをうつシーンへ切り換えて競争する幼稚園児全員が写る範囲にズーミングしてスタートシーン（〜１９秒、優先順位１）、(５)競争する園児がゴールに近づくにつれて主人公にズームイン（〜３５秒、優先順位２）、(６)主人公が着順位の旗の所へ移動して座るまでを追うシーン（〜４０秒、優先順位３）、(７)園児が退場門から退場するシーン（〜５０秒、優先順位７）、(８)フェードアウト後、エンド画面にフェードイン（〜５秒、優先順位８）、のように設定する。

ステップ１１では、編集イベント、撮像日時、主人公などの情報から生成する映像のタイトル画像を作成する。この一実施の形態では、１０月１０日に撮像された幼稚園の運動会で主人公Ｎａｏちゃんが徒競争で１着になった映像を生成することから、「Ｎａｏちゃんの運動会−かけっこ編− ２００８年１０月１０日」というタイトル字幕を決定する。また、タイトル字幕の背景シーンとしては、主人公を含む主要な被写体が写っていないイベントの特徴的なシーン、例えば運動会の場合には青空を背景に万国旗が風になびいているシーンを選択する。

続くステップ１２において、主編集対象映像を解析し、各シーンの無編集時の再生時間を算出する。主編集対象ファイルの映像データを解析すると、図６に示すような一連のシーンに分割される。時刻ｔ０において図７に示すように４人の選手がスタートラインに整列し、時刻ｔ１で図９に示すように４人の選手がピストルを合図にスタートする。なお、主人公のＮａｏちゃんは手前から２番目のコースを走る選手である。時刻ｔ２では図１０に示すように４人の選手がそれぞれのコースを走っているが、時刻ｔ３で図１１に示すように一人の選手がコースを外れ、時刻ｔ４で図１２に示すように再びコースに戻って走り続けている。

選手が走っている最中の時刻ｔ５で２台の撮像装置の内の撮像装置Ｘの前に人が入り、図１３に示すように撮像装置Ｘによる映像では走っている選手が見えなくなったが、図１４に示すように別の撮像装置Ｙの映像では走っている選手を捉えている。そして、時刻ｔ６において図１５に示すように主人公のＮａｏちゃんが１着でゴールインし、時刻ｔ７で図１６〜図１７に示すように選手たちがそれぞれの着順位の旗の所へ移動している。時刻ｔ８では図１８に示すように主人公のＮａｏちゃんが１着の旗の所で待っている。これらの各シーンの無編集時の再生時間を算出する。なお、図７〜図１８に示されるフレーム画像の内、図１４のみが撮像装置Ｙ（図７の右端に“Ｙ”で示す）により撮像されたフレーム画像であり、そのほかはすべて撮像装置Ｘによるフレーム画像である。

次に、ステップ１３では各シーンの無編集時の再生時間と新しい映像の再生時間とに基づいて、制御部３ａが、疑似カメラワーク、すなわちカット、パンニング、ズームイン、ズームアウトなどの擬似的なカメラワークを決定する。例えば図７に示す運動会の徒競争を広角で撮像した映像のフレーム画像において、図８に示すように、(ａ)部をトリミングにより切り出してタイトル画像の背景に映し出した後、(ｃ)部を切り出して入場門から選手が入場するシーンを映す、つまり擬似的なカットを行う。その後、トリミング領域を(ｃ)部から(ｄ)部へ徐々に縮小させながら移動し、スタートラインに整列する選手とピストルを持ったスターターをクローズアップする、つまり疑似的なパンニングとズームインを行う。このようにして編集された映像は、あたかも撮像時にカット、パンニング、ズームインなどのカメラワークが行われた映像であるかのように視聴させることができる。

ステップ１４において、イベントのシナリオ、シナリオの中の各シーンの優先順位と時間、主人公、タイトル文字、疑似カメラワークなどに基づいて編集対象ファイルの映像と音声の自動編集を行う。この自動編集については詳細を後述する。ステップ１５では編集後の新しい映像ファイルを記憶装置２に記憶するとともに、操作部４によるユーザーの指示にしたがって記録媒体２ａに記録する。

《映像と音声の自動編集処理》
図１９は、一実施の形態の編集により生成された映像中のフレーム画像を示す。図７〜図１８に示す編集前の映像の一連のフレーム画像と対比しながら、コンピューター３の制御部３ａ、画像解析部３ｂおよび画像処理部３ｃ（図１参照）で実行される一実施の形態の映像と音声の自動編集処理を説明する。なお、ここでは映像編集により３分間のショートバージョンの新規映像を生成する場合を例に挙げて、ショートバージョンのシナリオに定められた各シーンの優先順位とその再生時間にしたがって自動的に編集が行われる例を示すが、１分間のダイジェストバージョンおよび５分間のロングバージョンでは、それらのバージョンに応じたシナリオに定められたシーンの優先順位とその再生時間にしたがって自動編集が行われる。

ここで、以下の映像編集処理では、図７〜図１８に示すフレーム画像をトリミングして新しい画像を生成するとして説明を行うが、図７〜図１８に示すフレーム画像のトリミング処理は便宜的な説明であり、実際には編集するシーンのすべてのフレーム画像、あるいは編集するシーンの中の必要な範囲のフレーム画像に対して同様なトリミング処理を施し、これらの一連のフレーム画像をトリミングした一連の画像群から新規映像が生成される。

まず、徒競走の編集イベントに対するタイトル画像を作成する。図２０にタイトル画像の一例を示す。上述したように、タイトル文字「Ｎａｏちゃんの運動会−かけっこ編− ２００８年１０月１０日」は編集イベント、撮像日時、主人公などの情報に基づいて決定される。言語は操作部４により予めユーザーが選択した言語が適用される。なお、映像編集装置１にＧＰＳ受信機を内蔵する場合には、検出した現在位置の国の言語を適用する。また、日付は主編集対象ファイルの撮像データに記録されている日付データに基づいて生成される。字幕の背景シーンとしては、主人公を含む主要な被写体が写っていない、編集イベントに特有な特徴的なシーン、例えば運動会の場合には青空を背景に万国旗が風になびいているシーンなどが選択される。この一実施の形態では、図８に示すフレーム画像の一部（図８の(ａ)部）がトリミングされ、字幕の背景シーンとして用いられた例を示す。図１９(ａ)に示すように、このタイトル画像のシーンは所定時間、例えば３秒間継続される。

次に、タイトル画像の中の字幕が徐々にフェードアウトされ、図１９(ｂ)に示すように青空バックの万国旗のシーンが所定時間、例えば３秒間継続される。なお、図１９(ａ)と(ｂ)に示す６秒間のタイトルシーンを生成する際に、これらの画像が元の映像に６秒間分ない場合には、図７〜図１８に示す他の一連の画像から取得してもよい。

青空を背景に万国旗が風になびいているタイトルシーン（図１９(ｂ)参照）から、徒競争の選手たちが入場門から入場しスタートラインに整列するシーン（図１９(ｃ)参照）を生成するために、図８に示す画像から(ｃ)部をトリミング領域の大きさを変えずに切り出す。つまり、トリミングによる疑似的なカットを行ってシーンチェンジする。このシーンが所定時間例えば２秒間継続するように編集を行う。その後、スタートラインに整列する４人の選手を中央にしてピストルを持ったスターターも画面に入るシーン（図１９(ｄ)参照）を生成するために、図８に示す画像の中の(ｃ)部から(ｄ)部へトリミング領域の位置を変えながら徐々にトリミング領域を小さくする。つまり、擬似的なパンニングとズームインを行ってスタートラインの選手とスターターにクローズアップする。

なお、編集結果の再生時間が各バージョンの再生時間に対して余裕のある場合には、青空背景の万国旗のシーンからイベントを紹介するシーン、例えば徒競争のコース全体が画面に入るようなシーンへ疑似的なシーンチェンジを行い、所定時間継続した後に、スタートラインに整列する選手とスターターが画面に入るシーンに擬似的なパンニングとズームインを行うように編集してもよい。イベント映像の最初に、これから始まるイベントの周囲状況を説明する広角画像のシーンを挿入することによって、視聴者が容易にイベントの状況を理解することができる。なお、徒競争のコース全体が画面に入る画像は、撮像映像中の主人公の移動範囲を解析することによって、徒競争というイベントを紹介するのに適した画像として採用される。

次に、徒競争のスタートのシーン（図１９(ｅ)参照）を生成するために、図９に示す画像から(ｅ)部を切り出す。その後、４人の選手が走っているシーン（図１９(ｆ)参照）を生成するために、図１０に示す画像から(ｆ)部を切り出す。つまり、走っている選手達が画面に収まるように撮像装置をパンニングさせて撮像したかのように、擬似的なパンニングを行う。このとき、主人公が画面のほぼ中央に写し出されるように、徐々に擬似的なズームインを合わせて行ってもよい。

上述したように、各イベントのシナリオにはシーンごとに優先順位が割り当てられている。例えば徒競争のイベントでは、競技に不可欠なスタートとゴールのシーンを第１優先順位、走っているシーンを第２優先順位、１〜３等の旗の所に並んでいるシーンを第３優先順位、メダルを掛けてもらったシーンを第４優先順位、ゴールから旗の所へ移動するシーンを第５優先順位とする。ここで、例えば第２優先順位の走っているシーンは重要なシーンであるが、２００ｍ走のように走っている時間が長い場合には、途中の一部の映像をカットしてもよい。これにより、同じ構図が長く続くために視聴者が飽きてしまうのを避けることができる。しかしながら、主人公が他の選手を追い抜くシーンは、優先的に新規映像に組み入れる。このようなシーンは個人認証と被写体追尾の手法により検出することができる。

徒競走の途中で選手の一人がコースから外れた後、コースに戻るハプニングシーン（図１９(ｇ)、(ｈ)参照）を新規映像に組み入れるために、図１１に示す画像から(ｇ)部を、図１２に示す画像から(ｈ)部をそれぞれ切り出し、擬似的なパンニングとズームアウト、ズームインを行う。このようなハプニング（徒競走では選手のコースアウトや転倒）は主編集対象の映像を解析（個人認証と被写体追尾の手法による被写体移動軌跡の解析）した時点で認識されており、図１０の(ｆ)部から図１１の(ｇ)部を経て図１２の(ｈ)部へ至る一連のトリミング領域の変化を、急激で不自然な映像の変化とならないように徐々に拡大、縮小または移動させる。なお、選手が走っているシーンでは、選手の前（選手の走っていく方向）の部分が選手の後（選手の走ってきた方向）の部分よりも大きく写し出されるように、トリミング領域を設定する。

この一実施の形態では、トリミング領域の大きさに関わらず、切り出した画像の画素数が常に一定になるように画素数変換（解像度変換）を行う。そのため、トリミング領域の大きさを徐々に小さくすることによって、新しく生成される映像上ではズームインを行った場合と同様な効果が得られ、逆にトリミング領域の大きさを徐々に大きくすることによって、新しく生成される映像上ではズームアウトを行った場合と同様な効果が得られる。

次に、徒競走の途中で撮像中の撮像装置の前に人が入り込んだため、図１３に示すように走っている選手が人の影になって見えなくなっている。このような映像障害は、編集の前に行われる編集対象映像の解析により検出することができる。例えば、画像上で追尾していた主人公を含む選手達を突然見失い、しばらくして再び出現するような場合には、何らかの映像障害が発生したものと認識できる。このような映像障害がある場合には、当該障害のある映像を撮像した撮像装置以外の撮像装置で障害発生時刻に撮像された映像を検索する。映像障害の発生時刻には、別の撮像装置Ｙ（図１３の左端に示す）によって図１４に示す徒競争を広角で撮像した映像が撮像されている。この映像も編集に先立って解析されており、主人公のＮａｏちゃんが走っていることがすでに検出されている。

ところが、撮像装置Ｘはコース左側から徒競争を撮像したのに対し、撮像装置Ｙはコース右側から徒競争を撮像したので、選手の走っている方向が撮像装置ＸとＹでは逆になる。このような異なる撮像装置ＸとＹにより撮像された２つの映像において、同一被写体の移動方向の違いはそれらの映像を解析することによって容易に認識される。このような画像を単純につないで新しい映像にすると、視聴者に不自然さを感じさせてしまう。そこで、この一実施の形態では、映像障害が発生した撮像装置Ｘの映像から別の撮像装置Ｙへ切り換える際に、まったく別のシーンのカット映像を挿入し、視聴者の違和感を軽減する。

一実施の形態では、図１３に示す撮像装置Ｘの映像から図１４に示す撮像装置Ｙの映像に切り換える際に、図１３の(ｉ)部をトリミングにより切り出して挿入する。これにより、撮像装置Ｘによる図１９(ｈ)に示す画像と、撮像装置Ｙによる図１９(ｊ)に示す画像との間に、図１９(ｉ)に示すような撮像装置Ｙで徒競争を映している人と回りの徒競争を応援している人の画像が挿入される。なお、このようなカット映像の挿入時間は、所定時間（例えば３秒）とすることが望ましい。撮像装置Ｘによる映像に障害が発生している時間が上記所定時間を超えて継続している場合であっても、特に上記のような緊迫したシーンの間に挿入される場合には、視聴者の感じる緊迫感をとぎれさせないようにするために、カット映像の挿入時間は、上記の所定時間（例えば３秒）とすることが望ましい。また、予めシナリオに定められている、イベントに応じた複数のカット映像の中から、予め定められている順にカット映像を検索し、最初に検索されたカット映像を用いる。カット映像としては特に上記のような周辺環境を撮像した映像に限定されるものではなく、異なる視点から主人公を撮像した映像、例えばゴール方向から選手を映した映像などを用いる。さらに、挿入されるカット映像は必ずしも映像障害の発生時刻に撮像された映像に限定されず、編集対象のすべての映像の中から予め定めたカット映像を検索する。

撮像装置Ｘの映像から撮像装置Ｙの映像に切り換える際に、カットシーンを挿入する代わりに次のようにしてもよい。すなわち、撮像装置Ｘの映像で主人公などの主要被写体が画面右からフレームアウトするようにトリミングを行い、続いて撮像装置Ｙの映像で主要被写体が画面右からフレームインするようにトリミングを行って、撮像装置Ｙの映像に切り換える。あるいは、撮像装置Ｙの映像で主要被写体が画面左からフレームアウトするようにトリミングを行い、続いて撮像装置Ｘの映像で主要被写体が画面左からフレームインするようにトリミングを行い、撮像装置Ｘの映像から撮像装置Ｙの映像、あるいは撮像装置Ｙの映像から撮像装置Ｘの映像に切り換えてもよい。

映像障害の発生により切り換えられた撮像装置Ｙによる映像（図１９(ｊ)参照）は、図１４に示す撮像装置Ｙの画像から、映像障害発生前の撮像装置Ｘの画像のトリミング領域の大きさと同じ大きさの(ｊ)部を切り出して生成するのが望ましい。撮像装置Ｙの映像からふたたび撮像装置Ｘの映像に戻す際にも、映像の不連続による視聴者の違和感を軽減するためにカット映像を挿入する。すなわち、図１９(ｊ)に示す撮像装置Ｙの映像から図１９(ｌ)に示す撮像装置Ｘの映像に戻す際に、図１９(ｋ)に示すようなカット映像を挿入する。このカット映像は、図１９(ｉ)に示すカット映像と同様な方法で生成すればよい。ここでは、徒競争の映像の中から選手を応援する人たちを撮像した映像をカット映像に採用した例を示す。

一方、一実施の形態の編集装置１では、映像の編集と合わせて音声の編集も行う。音声の編集において、映像のトリミング領域の位置と大きさに応じて、再生状態における音声の指向性と大きさが最適なものとなるように変更される。例えば、徒競争を応援する観客にズームインした映像を新規映像とする場合には、再生音量を大きくする。つまり、トリミング領域を小さくするほど再生音量が大きくなるように音声を編集する。また、撮像画像の右端に近い領域をトリミング領域とする場合には、左右チャンネルの音声信号の内の右チャンネルの音声信号の増幅度を大きくする。つまり、左右の音量バランスを変更し、右側の音量を左側より大きくする。編集された音声は、音声データとして映像データとともに映像ファイルに書き込まれてもよいし、再生装置の音声出力回路の制御データ、すなわちアンプの増幅度と複数のマイクロフォンの混合比（指向性）として映像ファイルに書き込まれてもよい。

図１９(ｌ)に示す選手達がゴールするシーンは、図１５に示す撮像装置Ｘによる画像の(ｌ)部を切り出してトリミングする。その後、１着になった主人公をクローズアップした図１９(ｍ)に示すシーンを生成するために、図１５の(ｍ)部を切り出してトリミングする。つまり、擬似的なパンニングとズームインを行う。引き続き主人公が１着の旗の所まで移動する姿を追いかけたクローズアップシーン図１９(ｎ)、(ｏ)、(ｐ)を生成するために、テンプレートマッチングによる主人公の追尾処理を行い、図１６の(ｎ)部、図１７の(ｏ)部、図１８の(ｐ)の順に切り出してトリミングを行う。つまり、擬似的なパンニングとズームインを行う。

主人公がゴールしてから１着の旗の所へ移動するまでの時間が長い場合には、移動途中の一部の映像をカットし、前後の映像をオーバーラップさせる。オーバーラップは、カット部分より前の映像と後の映像との混合比を徐々に変化させて実現する。このオーバーラップにより、時間軸上でのスキップが違和感なく視聴者に受け入れられる。

１着の旗の所にいる主人公をクローズアップしたシーン図１９(ｐ)を所定時間、例えば４秒間継続させた後、図２１に示す主人公が１着のメダルを掛けてもらって喜んでいるシーン（図１９(ｇ)参照）を所定時間、例えば５秒間継続する。なお、図２１に示すシーンは、徒競争の後で撮像した運動会の映像ファイルの中から抽出した静止画または動画である。その後、フェードアウトして「ＥＮＤ」シーン図１９(ｒ)を挿入し、自動編集処理が終了する。

上述した一実施の形態において、映像の中で同じ構図が長く続くと視聴者が飽きてしまう。この度合いは編集された映像の視聴者と主人公との関係により異なる。つまり、主人公と視聴者が近い関係にある場合はある程度長い構図のシーンを許容できるが、遠い関係になるほど長い構図のシーンに飽きてしまう。テレビ放送のニュース番組などからも明らかなように１つの構図シーンは、１５〜３０秒程度までが適当である。ダイジェスト（１分）、ショート（３分）、ロング（５分）の再生時間バージョンの内、ロングバージョンは主人公に近い関係のある視聴者が見ることを前提に、１つの構図シーンをある程度長くするとともに、ゴールシーンやメダルシーンなどの優先順位を高くする。一方、ダイジェストバージョンとショートバージョンは主人公と比較的遠い関係にある視聴者が見ることを前提に、１つの構図シーンの長さが長くならないように、またゴールシーンやメダルシーンを際立たせないようにする。

同じシーンの再生時間が所定時間、例えば２０秒間以上となる場合、例えば徒競走の走っているシーンでは、視聴者を飽きさせないようにするために、ズームイン、ズームアウトなどの疑似カメラワークにより構図を変化させる。あるいは、走っている映像の一部を周辺環境の映像、例えば応援風景などに代え、走っているシーンを短縮してもよい。例えば、走っているシーンが２０秒あった場合、走っているシーンの途中に観客の応援するシーンを３秒間挿入し、スタートとゴールのシーンを残したままで走っているシーンを１０秒間カットすると、再生時間を７秒間短縮できる。走っているシーンの途中を１０秒間カットして前後の映像を単純につなぎ合わせると、視聴者に不自然さを感じさせるが、途中に応援風景を挿入することによって不自然さを感じさせずに再生時間を短縮できる。なお、逆に再生時間を延長する場合にも、途中に周辺環境の映像を挿入する手法が有効である。

上述した一実施の形態では、複数の撮像装置で運動会の徒競走を撮像し、一方の撮像装置に映像障害が生じた場合に他方の撮像装置の映像を用いる例を示した。複数の撮像装置で同一の被写体を広角で撮像した場合に、二つの映像の内のトリミング領域内の被写体までの撮影距離の短い映像を用いるようにしてもよい。例えば、上述した主人公が１着の旗の所で喜んでいるシーンでは、二つの映像の内、トリミング領域内の主人公と旗までの撮影距離が短い方の映像を採用した方が、主人公が大きく写っている新規映像を高画質で生成できる。あるいは、トリミング領域内の主要被写体の大きさが所定値以上の映像を採用してもよい。これにより、上述した画素数変換による画質劣化を低減させることができる。なお、いずれにしても主人公の顔が正面を向いている映像が望ましいのはもちろんである。

イベントごとにクライマックスシーンが定められている場合には、クライマックスシーンがスローモーションとなるように編集してもよい。例えば、徒競争イベントではゴールシーンが一つのクライマックスシーンであり、主人公の動作認識により検出したゴールシーンをスローモーションシーンに編集し直す。なお、クライマックスシーンをスローモーションに編集する場合には、スローモーションシーンの再生時間が定められた再生時間内に収まるようにする。

上述した一実施の形態では、動きが連続するシーン（徒競争の走っているシーン）の途中映像をカットして前後の映像をつなぎ込む際に、間に周辺環境の映像を挿入するか、あるいは前後の映像をオーバーラップさせてつなぎ込む例を示したが、他の映像を挿入することなく、かつオーバーラップさせずにつなぎ込む場合には、前後の映像のトリミング領域の大きさを異ならせるのが望ましい。同じ大きさのトリミング領域とすると、視聴者に違和感を与えることになる。また、この場合には、主要被写体の状態や動き、例えば主人公の顔の表情や手足の動きなどが連続するようにカットしてつなぐのが望ましい。例えば、前の映像で左足が前に出ている場合には、つなぎ込まれる後の映像では右足が前に出ていないようにカットする。

なお、元映像の画像解析結果に基づいて、音声あるいは字幕によるナレーションを自動的に挿入するようにしてもよい。例えば上述した徒競争イベントでは、図１９(ｍ)に示すゴールシーンで「Ｎａｏちゃん１着でゴールイン」などの音声または字幕によるナレーションを自動挿入する。字幕を挿入する場合には、字幕挿入部分を考慮してトリミング領域が決定される。音声を挿入する場合には、ゴールシーンの映像とともに録音された歓声などの音声は自動的に音量が小さくなるように制御され、音声ナレーションを聞こえやすくする。

上述した一実施の形態では、編集イベントに応じたシナリオを選択し、そのシナリオにしたがって自動編集を行う例を示したが、各イベントに対応するシナリオを複数記憶しておくようにしてもよい。あるいはインターネットを介して編集イベントに応じた複数のシナリオを取得するようにしてもよい。このような構成では、それぞれのシナリオに編集対象の映像の適用条件が規定されており、映像編集装置１の制御部３ａおよび画像解析部３ｂにより編集対象の映像が適用条件を満たすか否かが判別され、適用条件を満たすシナリオが選択される。

例えば編集イベントが上述した徒競争の場合には、下記のような複数のシナリオの中から編集対象の映像が適用条件を満たすシナリオが選択される。シナリオＡでは、(Ａ１)運動会の旗の映像が連続して１０秒間映っている、(Ａ２)スタートライン整列の５秒前から主人公が映っている、(Ａ３)走っている映像が１０〜１５秒間連続して映っている、(Ａ４)主人公が１着から３着までに入賞している、(Ａ５)ゴール後、旗の所へ移動するまでの映像がある、(Ａ６)旗の所から退場門までの映像がある、という適用条件が設定されている。また、シナリオＢでは、(Ｂ１)運動会の旗の映像が連続して１０秒間映っている、(Ｂ２)スタートライン整列の５秒前から主人公が映っている、(Ｂ３)走っている映像が１０〜１５秒間映っている、(Ｂ４)主人公が４着以下でゴールしている、という適用条件が設定されている。

さらに、シナリオＣでは、(Ｃ１)運動会の旗の映像が連続して１０秒間映っている、(Ｃ２)スタートライン整列の５秒前から主人公が映っている、(Ｃ３)走っている映像が１５秒間以上連続して映っている、(Ｃ４)主人公が１着から３着までに入賞している、(Ｃ５)ゴール後、旗の所へ移動するまでの映像がある、(Ｃ６)旗の所から退場門から退場するまでの映像が映っている、という適用条件が設定されている。そして、シナリオＤでは、(Ｄ１)運動会の旗の映像が１０秒間映っている、(Ｄ２)スタートライン整列の５秒前から主人公が映っている、(Ｄ３)走っている映像が２０秒以上連続して映っている、(Ｄ４)主人公が４着以下でゴールしている、という適用条件が設定されている。

シナリオＡ〜Ｄの適用条件において、シナリオＡとＢでは走っている映像が１０〜１５秒とされているのに対し、シナリオＣとＤでは走っている映像が２０秒以上連続していることとされている。同一のシーンを長く視聴させると視聴者が飽きるので、シナリオＣとＤでは、上述した手法で走っている映像の途中で周辺環境映像を例えば４秒間挿入する。また、シナリオＡとＣでは主人公が１〜３着で入賞し、シナリオＢとＤでは主人公が４着以下でゴールしたことを条件にしている。特にシナリオＡとＣの場合は、「ゴール後、旗の所へ移動するまでの映像が映っている」こと、および「旗の所から退場門から退場するまでの映像が映っている」ことも条件としている。このような適用条件によれば、徒競争の結果に応じて主人公が喜んだり、あるいはがっかりしたりする様子を的確に編集することが可能になる。

映像編集装置１の制御部３ａは、画像解析部３ｂによる編集対象映像の解析結果と、上述したシナリオＡ〜Ｄの適用条件とを対比し、編集対象映像がどの適用条件を満たしているかを判別する。編集対象映像が適用条件を満たすシナリオを検索した後、そのシナリオにしたがって編集対象映像の自動編集を行う。このように、一つのイベントに対して複数のシナリオを用意しておき、それらの中から編集対象映像に最適なシナリオを選択することによって、編集対象映像に最適な編集を行うことができる。

上述した変形例では、走っている映像の継続時間やゴールの着順などの映像の解析内容に応じたシナリオを選択する例を示したが、同じイベント映像であっても報道の映像表現と映画の映像表現とは異なる。例えば「映画監督ＸＹ風」や「ドキュメンタリー風」などの適用条件を設定したシナリオを用意し、それらの中から編集対象映像に応じて自動もしくは手動で選択するようにしてもよい。これにより、ユーザー好みの映像を生成することができる。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば、映像の内容を解析して映像に映されているイベントを識別するとともに、複数のシナリオの中から識別結果のイベントに対応するシナリオを選択し、選択されたシナリオにしたがって映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施すことによって、映像から新規映像を生成するようにしたので、一般ユーザーが撮像したイベント映像から、プロフェショナルが撮像し編集した映像と同じようなレベルの映像が容易に得られる。

また、一実施の形態とその変形例では、広角で撮像された映像のフレーム画像から一部の領域を切り出して新規フレーム画像を生成する疑似カメラワーク処理を行うようにした。一般のユーザーではプロのカメラマンが撮像したような見栄えのよい映像を撮像するのは難しく、カメラワークを駆使して撮像した映像を編集しても、ズームインして撮像した拡大映像からズームアウトした縮小映像を取得したり、撮像装置のパンニングを行った後でパンニング前の撮像範囲の映像を取得したり、あるいはカット期間の映像を取得することはできないため、ユーザーの意図する映像を生成することは難しい。一実施の形態とその変形例によれば、広い範囲で発生している事象をくまなく取得でき、撮像時のカメラワークのミスによる大事なシーンを取り逃がすようなことを防止することができる。

一実施の形態とその変形例によれば、映像を構成する連続したフレーム画像のそれぞれから切り出す領域の大きさと位置を変えて新規フレーム画像を生成する疑似カメラワーク処理を行うようにした。つまり、広角で撮像された映像を構成するフレーム画像の中の一部の領域をトリミングにより切り出してあたかも撮像時にズームインまたはズームアウトしたかのように編集したり、トリミング範囲を変更してあたかも撮像時に撮像装置をパンニングしたかのように編集したり、あるいは同一シーンの一部を削除してあたかも撮像時にカットを行ったかのように編集する。このような編集を行うことによって、あたかも撮像時にカメラワークを駆使して撮像したかのような擬似的なカメラワークを実現でき、撮像時に実際にカメラワークを行った場合と同様な映像効果を得ることができる。

一実施の形態とその変形例によれば、同一イベントに対する適用条件の異なる複数のシナリオの中から、解析された映像の内容とシナリオごとの適用条件とを照合し、適用条件が合致するシナリオを選択するようにしたので、編集対象映像に最適な編集を行うことができる。

一実施の形態とその変形例によれば、シナリオには映像の中の予め指定された人または物を中心に編集するための手法と手順が記録されており、映像を構成する複数のフレーム画像から予め指定された人または物を検索しながら、シナリオにしたがって映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施すようにしたので、主人公あるいは注目した物を中心とした新規映像を生成することができる。

一実施の形態とその変形例によれば、シナリオにはイベント映像に含まれる複数のシーンに対するシーンごとの優先順位、シーンごとの再生時間、シーンの切り換え、シーンごとの再生順序が規定されているので、編集対象映像に最適な編集を行うことができる。

一実施の形態とその変形例によれば、撮像時刻が所定時間以内または撮像場所が所定距離以内の複数の映像の内容を解析して複数の映像に映されているイベントを識別するとともに、識別された複数の映像の中から同一のイベントが映されている映像を選別して当該イベントに対応するシナリオを選択し、選択されたシナリオにしたがって同一イベントが映されている映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施すようにしたので、同一イベントを撮像した多くの映像から、一般ユーザーが撮像した多くのイベント映像から、プロフェショナルが撮像し編集した映像と同じレベルの映像が容易に得られる。

一実施の形態とその変形例によれば、疑似カメラワーク処理に応じて音声の音量と左右の音量バランスを変更するようにしたので、映像に合った効果的な音声が容易に得られる。

１；映像編集装置、２；記憶装置、３；コンピューター、４；操作部、５；表示装置、６；スピーカー

Claims (17)

1. 映像の内容を解析し、前記映像に映されているイベントを識別するイベント識別手順と、
   複数のシナリオの中から前記イベント識別手順で識別されたイベントに対応するシナリオを選択するシナリオ選択手順と、
   前記シナリオ選択手順により選択されたシナリオにしたがって、前記映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施す画像処理手順とをコンピューターに実行させ、
   前記映像から新規映像を生成することを特徴とする映像編集プログラム。
2. 請求項１に記載の映像編集プログラムにおいて、
   前記イベント識別手順では、前記映像の少なくとも色情報、エッジ情報、動き情報のいづれか１つを用いて前記映像に映されているイベントを少なくとも１つ識別することを特徴とする映像編集プログラム。
3. 請求項１または請求項２に記載の映像編集プログラムにおいて、
   前記画像処理手順では、撮像された前記映像のフレーム画像から一部の領域を切り出して新規フレーム画像を生成する疑似カメラワーク処理を行うことを特徴とする映像編集プログラム。
4. 請求項３に記載の映像編集プログラムにおいて、
   前記画像処理手順では、前記映像を構成する連続したフレーム画像のそれぞれから切り出す領域の大きさと位置を変えて新規フレーム画像を生成する疑似カメラワーク処理を行うことを特徴とする映像編集プログラム。
5. 請求項１〜４のいずれか一項に記載の映像編集プログラムにおいて、
   前記シナリオ選択手順では、同一イベントに対する適用条件の異なる複数のシナリオの中から、前記イベント識別手順で解析された前記映像の内容とシナリオごとの適用条件とを照合し、適用条件が合致するシナリオを選択することを特徴とする映像編集プログラム。
6. 請求項１〜５のいずれか一項に記載の映像編集プログラムにおいて、
   前記シナリオには、前記映像を編集するための手法と手順が規定されていることを特徴とする映像編集プログラム。
7. 請求項６に記載の映像編集プログラムにおいて、
   前記シナリオには、前記映像の中の予め指定された人または物を中心に編集するための手法と手順が記録されており、
   前記画像処理手順では、前記映像を構成する複数のフレーム画像から前記人または物を検索しながら、前記シナリオにしたがって前記映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施すことを特徴とする映像編集プログラム。
8. 請求項６または請求項７に記載の映像編集プログラムにおいて、
   前記シナリオには、イベント映像に含まれる複数のシーンに対するシーンごとの優先順位、シーンごとの再生時間、シーンの切り換え、シーンごとの再生順序が規定されていることを特徴とする映像編集プログラム。
9. 請求項８に記載の映像編集プログラムにおいて、
   前記画像処理手順では、前記映像の複数のシーンの中に、イベントに対応するシナリオに規定されたシーンごとの再生時間を超えるシーンがある場合には、当該シーンの一部をカットして前記映像の中の他のシーンを挿入し、シナリオに規定されたシーンごとの再生時間内に収まるように編集することを特徴とする映像編集プログラム。
10. 請求項８または請求項９に記載の映像編集プログラムにおいて、
    前記画像処理手順では、予め指定された前記新規映像の再生時間に応じて、シナリオに規定されたシーンごとの再生時間を設定することを特徴とする映像編集プログラム。
11. 請求項１０に記載の映像編集プログラムにおいて、
    前記画像処理手順では、予め指定された前記新規映像の複数の再生時間のそれぞれに対し、シナリオに規定されたシーンごとの再生時間を設定し、前記複数の再生時間に対応する複数の新規映像を生成することを特徴とする映像編集プログラム。
12. 請求項８〜１１のいずれか一項に記載の映像編集プログラムにおいて、
    前記画像処理手順では、前記イベント識別手順で解析された前記映像の内容と識別されたイベント、および前記映像の中の予め指定された人または物の情報に基づいて前記新規映像のタイトル画像を生成することを特徴とする映像編集プログラム。
13. 請求項１〜１２のいずれか一項に記載の映像編集プログラムにおいて、
    前記イベント識別手順では、撮像時刻の差が所定時間以内、または撮像場所の間の距離が所定距離以内の複数の映像の内容を解析し、前記複数の映像に映されているイベントを識別し、
    前記シナリオ選択手順では、前記イベント識別手順で識別された前記複数の映像の中から同一のイベントが映されている映像を選別し、当該イベントに対応するシナリオを選択し、
    前記画像処理手順では、前記シナリオ選択手順により選択されたシナリオにしたがって、前記同一のイベントが映されている映像を構成する複数のフレーム画像に対して擬似カメラワーク処理を施すことを特徴とする映像編集プログラム。
14. 請求項１３に記載の映像編集プログラムにおいて、
    前記画像処理手順では、前記同一のイベントが映されている第１および第２の映像をそれぞれ構成する複数のシーンの中で、前記第１の映像のシーンと前記第２の映像のシーンとをつなぎ合わせる場合に、それぞれのシーンの中の被写体の動きが連続するようにそれぞれのシーンをカットしてつなぎ合わせることを特徴とする映像編集プログラム。
15. 請求項１３または請求項１４に記載の映像編集プログラムにおいて、
    前記画像処理手順では、前記同一のイベントが映されている第１および第２の映像において、前記第１の映像の中に予め指定された人または物が他の被写体により遮られるシーンがある場合には、当該シーンをカットして当該シーンを撮像した時刻の前記第２の映像のシーンを挿入することを特徴とする映像編集プログラム。
16. 請求項１〜１５のいずれか一項に記載の映像編集プログラムにおいて、
    前記映像には撮像時の周囲の音声が記録されており、
    前記画像処理手順では、前記疑似カメラワーク処理に応じて前記音声の音量と左右の音量バランスとの少なくとも一方を変更することを特徴とする映像編集プログラム。
17. 映像を記憶する記憶装置と、
    請求項１〜１６のいずれか一項に記載の映像編集プログラムを実行するコンピューターと、
    映像を表示する表示装置とを備えることを特徴とする映像編集装置。

Images