JP2009267773A - 映像編集装置、撮影装置および映像編集方法 - Google Patents
映像編集装置、撮影装置および映像編集方法 Download PDFInfo
- Publication number
- JP2009267773A JP2009267773A JP2008115096A JP2008115096A JP2009267773A JP 2009267773 A JP2009267773 A JP 2009267773A JP 2008115096 A JP2008115096 A JP 2008115096A JP 2008115096 A JP2008115096 A JP 2008115096A JP 2009267773 A JP2009267773 A JP 2009267773A
- Authority
- JP
- Japan
- Prior art keywords
- video
- subject
- orientation
- editing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Studio Circuits (AREA)
Abstract
【課題】個々の編集者の編集意図にきめ細かく対応し、編集者の労力を軽減して効率良く編集できる映像編集技術を提供すること。
【解決手段】軌跡解析部214は、撮影装置1の位置と方位、及び映像中の被写体3の位置と方位を求めて、撮影装置と被写体の移動軌跡を作成する。作成した移動軌跡はデータ蓄積部215に蓄積し、表示部216に表示する。編集者が編集対象となる被写体を指定すると、検索部218は指定された被写体を含む映像をデータ蓄積部から検索して編集する。軌跡解析部214は、撮影装置を基準に被写体までの距離と方向を解析し、それを撮影装置の位置と方位に加算して被写体の位置と方位を推定する。
【選択図】図4
【解決手段】軌跡解析部214は、撮影装置1の位置と方位、及び映像中の被写体3の位置と方位を求めて、撮影装置と被写体の移動軌跡を作成する。作成した移動軌跡はデータ蓄積部215に蓄積し、表示部216に表示する。編集者が編集対象となる被写体を指定すると、検索部218は指定された被写体を含む映像をデータ蓄積部から検索して編集する。軌跡解析部214は、撮影装置を基準に被写体までの距離と方向を解析し、それを撮影装置の位置と方位に加算して被写体の位置と方位を推定する。
【選択図】図4
Description
本発明は、撮影された映像を各種記録メディアやインターネット等を介して共有し、閲覧や編集に供する技術に関する。
近年、個人で撮影された映像は、単なる鑑賞にとどまらず、様々な共有形態や編集によって利用することが可能となってきている。例えば、カムコーダ等で撮影した映像をDVD等のメディアに記録して知人の間で共有して閲覧することは広く行われている行為である。その際、撮影したままの映像ではなくて、内容に応じて良いシーンを選択する等の編集を行ってから閲覧に供することが可能となってきている。その際の技術では、撮影したデータをパーソナルコンピュータ上に取込み、ソフトウェアを用いて編集するか、もしくは、カムコーダ等の撮影装置の編集機能を用いる方法がある。また、インターネットの普及に伴い、撮影された映像をインターネットを介して共有し、閲覧や編集に供することか可能となってきている。
通常の映像編集作業では、映像をそのシーンの内容に基づいて編集することが多い。そのため編集者は、映像の内容を精査し、さらに、複数の映像を合成する場合には、全ての映像を見てそれらの映像の切り繋ぎを行う必要があった。その際、映像の品質を維持しながら、容易に映像編集を行えることが望ましい。
特許文献1には、動画像に人物や物の位置、視線、動きの方向等の情報を付加し、画面の連続性が維持されるような画面接続の規則を用いて動画像を繋ぎ合わせる動画像編集方法が開示される。特許文献2には、カメラの位置と被写体の位置をそれぞれGPSモジュールにて検出し、被写体までの距離と方位を算出するデジタルカメラが開示される。
撮影された映像の各部分の重要度は、撮影者や編集者の意図によって異なってくる。例えば、特定の人物に注目してその人物がよく映っているベストショットシーン等を集めたい場合など、どの人物に注目するかによって望ましい編集条件が異なってくる。また、通常の撮影では、カメラも被写体もその場所や方向が時々刻々変化するため、それらの移動による映像の変化を考慮して編集する必要がある。
前記特許文献1では、これらの変動状況の取り扱いに関しては特に記述がないため、カメラや被写体の移動や方向の変化を含む映像を編集する際には困難を生ずる。また前記特許文献2では、カメラから見た被写体の距離と方位を知ることはできるが、そのために被写体に位置センサ(GPS)を取り付ける必要があり、複雑な構成になる。
さらに、複数の撮影者によって様々な観点で撮影されたイベント映像等を撮影者間で共有し、各自所望の映像に編集したい場合には、各映像の撮影意図を考慮しながら全ての映像を閲覧して編集を行うことになる。特にカメラの数が多くなるほど、閲覧を中心とする労力が増大し編集作業の効率が低下する。
本発明の目的は、個々の編集者の編集意図にきめ細かく対応し、編集者の労力を軽減して効率良く編集できる映像編集技術を提供することである。
本発明の映像編集装置は、撮影装置にて撮影された映像から被写体と背景を分離する認識処理部と、撮影装置の位置と方位、及び上記分離した被写体の位置と方位を求めて、撮影装置と被写体の移動軌跡を作成する軌跡解析部と、映像と作成した移動軌跡を蓄積するデータ蓄積部と、データ蓄積部に蓄積されている移動軌跡を表示する表示部と、編集者により編集対象となる被写体を指定する指示入力部と、指定された被写体を含む映像をデータ蓄積部から検索して編集する検索部とを備える。
ここに軌跡解析部は、撮影装置を基準に被写体までの距離と方向を解析し、解析した被写体までの距離と方向を撮影装置の位置と方位に加算して、被写体の位置と方位を推定する。
また認識処理部は映像から背景の特徴量を抽出し、軌跡解析部は、抽出した特徴量を、予め撮影装置の位置と方位を変えて測定しておいた特徴量のデータと比較して、それらの特徴量が最も類似する位置と方位を、当該映像に対する撮影装置の位置と方位であると推定する。
本発明の撮影装置は、当該撮影装置の位置と方位を検出する位置・方位検出部と、撮影した映像から特徴量を抽出する映像処理部を備え、撮影した映像のデータに、撮影時の位置と方位のデータと映像の特徴量を付加して映像編集装置に送信する。
本発明の映像編集システムは、複数の撮影装置と編集サーバと閲覧端末とをネットワークで接続して映像を編集するものであって、編集サーバは、撮影装置にて撮影された映像から被写体と背景を分離する認識処理部と、撮影装置の位置と方位、及び分離した被写体の位置と方位を求めて、撮影装置と被写体の移動軌跡を作成する軌跡解析部と、映像と作成した移動軌跡を蓄積するデータ蓄積部と、閲覧端末から指定された被写体を含む映像をデータ蓄積部から検索して編集する検索部とを有し、閲覧端末は、編集サーバから送られた上記移動軌跡を表示する表示部と、編集者により編集対象となる被写体を指定する指示入力部とを有する。そして、撮影装置にて撮影された映像をネットワーク経由で編集サーバに蓄積し、編集者は閲覧端末から編集サーバにアクセスして、蓄積されている所望の映像に同一イベントの他の映像を追加して映像の閲覧と編集を行い、編集した映像をネットワーク経由で他の編集者に公開する。
本発明の映像編集方法は、撮影装置から、撮影時の該撮影装置の位置と方位のデータが付加された映像データを受け取り、映像から被写体と背景を分離し、撮影装置の位置と方位、及び分離した被写体の位置と方位を求めて、撮影装置と被写体の移動軌跡を作成し、作成した移動軌跡をデータ蓄積部に蓄積するとともに表示部に表示し、編集者により編集対象の被写体が指定されると、被写体を含む映像をデータ蓄積部から検索して編集する。
本発明の映像編集技術によれば、撮影装置と被写体の移動軌跡と方位を表示するので、個々の編集者の編集意図にきめ細かく対応し、編集者の労力を軽減して効率良く編集できる効果がある。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は、本発明に係る映像編集システムの一実施例を示す全体構成図である。撮影装置(カメラ)1は被写体3を撮影し、ユーザ(編集者)8は映像編集装置(編集装置)2にてカメラ1で撮影された映像を編集する。カメラ1は1台でもよいが、ここでは複数台用いるものとする。本実施例のカメラ1は映像録画機能を有し、一般に「カムコーダ」と呼ばれるカテゴリーも含む。撮影においては、映像データだけでなく、付加情報として撮影パラメータ(カメラの画角、位置や方位、撮影時刻など)も同時に取得し記録する。付加情報は映像編集のために必要となるものであり、以下「メタデータ」とも呼ぶ。以後、撮影データ7とは、映像データと付加情報(メタデータ)を合わせたものを指す。それぞれのカメラ1で撮影されたデータは、DVD等の記録メディア4に記録されて編集装置2に送付される。あるいは、有線通信5や無線通信6によって編集装置2に伝送される。編集装置2は例えばコンピュータ装置であり、編集用プログラムに従い付加情報(メタデータ)を用いて所定の映像処理を行う。本実施例では、カメラ1や被写体の3の移動軌跡を画面表示し、ユーザ8は軌跡画面上で所望の条件を指定することで、編集装置2は該当する映像を自動的に抽出し編集を行う。
図2は、本実施例の撮影装置(カメラ)1のハードウェア構成図である。各モジュールは、内部バスライン100によって接続され、撮影データや制御信号が伝送される。
カメラ1に入ってきた被写体3からの撮影光パターンは、レンズ・光学部101によって集光され、撮像部102が持つ撮像素子によって電子的信号に変換される。映像処理部103は画質改善の前処理や所定の映像コーディングを施し、映像データを得る。
本実施例では、カメラ1の位置および方位データを逐次検出する位置・方位検出部104を搭載する。位置センサ105としては例えばGPSを、方位センサ106としては例えば磁気方位センサを用いる。その他のセンサとして、図示しない重力方向を記録する重力センサや傾きセンサを用いてもよい。これらの位置および方位データは、撮影した映像に付随する付加情報(メタデータ)となる。
記録部107は、記録メディア108(4)に映像データと付加データを記録する。記録メディア108としては、記録可能なDVD、メモリカード、ハードディスク(リムーバブル)等を用いる。制御部109は、光学レンズの絞りや焦点制御と、記録部107の記録制御等を行う。操作部110はユーザからのボタン操作などを受け付け、制御部109に実行指令を出す。通信部111は、撮影データを有線5または無線6で編集装置2に送信する。このように、撮影データは記録メディア108に格納して編集装置2に送付されるか、有線5または無線6を介して送信される。その際、撮影した映像に付随する付加情報(メタデータ)として、カメラの位置および方位データを同時に送ることに特徴がある。
図3は、本実施例の映像編集装置2のハードウェア構成図である。編集装置2は、映像処理部と映像表示部とを備え、コンピュータ装置などで構成する。ただし、表示部は別体(外付け)で構成してもよい。各モジュールは、内部バスライン200によって接続される。
CPU(中央演算ユニット)201は全体の動作を制御し、RAM等のメモリ202とHDD等の記憶部203が接続される。記憶部203にはカメラ1から送られた撮影データ(映像、メタデータ)を格納する。映像の編集を行うためには、記憶部203から撮影データと実行プログラムをメモリ202にロードして、CPU201にて解析処理を行い、解析結果を再び記憶部203に書き込む処理を行う。映像解析結果は、グラフィックコントローラを介して表示部204にGUI(グラフィック・ユーザ・インタフェース)表示する。
インタフェース(IF)を介して入力デバイス205は、ユーザの各種操作を受け付ける。メディアドライブ206は、カメラ1から送付された記録メディア207を装着して記録されている撮影データを読み出す。通信部208は、有線5または無線6でカメラ1から送信された撮影データを受信する。また、実施例3にて後述するインターネットを介しての映像共有のための通信に用いる。その構成は、例えば、アナログ電話回線用のアナログモデム、ISDN回線用のモデム、ADSL用のルータ又はモデム、LAN用のアダプタ、無線電話用のアダプタ、無線通信用のアダプタなどが適用可能である。インターネット用とカメラ接続用で別々のアダプタであってもよい。
図4は、本実施例における映像編集装置2の機能構成図である。
画像処理部211では、入力された映像データをデコードして認識処理ができる形態にする。前処理部212では、映像に付加されているメタデータを処理し、またカメラ側で予め算出された特徴量(映像の平均色などで、後述する)がある場合はそれを取り出す。認識処理部213では、デコードされた映像から認識処理を行う。認識処理の内容は、被写体・背景の抽出と、特徴量の抽出などである。軌跡解析部214では、メタデータや抽出された特徴量を用いて、カメラ撮影軌跡の算出または推定処理、被写体軌跡の推定処理などを行い、データ蓄積部215に軌跡情報として格納する。表示部216では、解析されたカメラと被写体の軌跡結果をGUI表示する。指示入力部217は、ユーザからの編集の指示や修正を入力する。検索部218では上記軌跡情報を照合し、上記ユーザの編集指示に対応した部分映像(ショット)を検索し抽出する。抽出された映像は繋ぎ合わせてデータ蓄積部215に蓄積するとともに、表示部216に表示する。
画像処理部211では、入力された映像データをデコードして認識処理ができる形態にする。前処理部212では、映像に付加されているメタデータを処理し、またカメラ側で予め算出された特徴量(映像の平均色などで、後述する)がある場合はそれを取り出す。認識処理部213では、デコードされた映像から認識処理を行う。認識処理の内容は、被写体・背景の抽出と、特徴量の抽出などである。軌跡解析部214では、メタデータや抽出された特徴量を用いて、カメラ撮影軌跡の算出または推定処理、被写体軌跡の推定処理などを行い、データ蓄積部215に軌跡情報として格納する。表示部216では、解析されたカメラと被写体の軌跡結果をGUI表示する。指示入力部217は、ユーザからの編集の指示や修正を入力する。検索部218では上記軌跡情報を照合し、上記ユーザの編集指示に対応した部分映像(ショット)を検索し抽出する。抽出された映像は繋ぎ合わせてデータ蓄積部215に蓄積するとともに、表示部216に表示する。
以上、編集装置2の構成を説明したが、前述のカメラ1の処理能力に余裕がある場合には、カメラ1と編集装置2を一体とした構成も可能である。その場合、映像の転送の手間が省略されるという利便性が生じる。
このように本実施例の映像編集システムでは、カメラと被写体の移動軌跡情報を取得してGUI表示するので、ユーザはGUI上で所望の被写体を指定し、効率良く簡単に編集することができる。そのときGUI上には、カメラの位置と方位、被写体の位置と方位が表示されるので、きめ細かな編集が可能になり、ユーザの利便性が向上する。また、被写体の位置と方位は撮影した映像を解析することで推定するので、被写体に新たに位置センサを取り付ける必要がない。
次に、本実施例の映像編集方法について、工程に分けて詳細に説明する。
図5は、カメラ1にて撮影する工程の処理手順を示したフローチャート図である。
撮影を開始すると、まず、撮像部102から映像信号を入力し(S501)、記録のため、映像処理部103にて所定の映像コーディングを行う(S502)。
図5は、カメラ1にて撮影する工程の処理手順を示したフローチャート図である。
撮影を開始すると、まず、撮像部102から映像信号を入力し(S501)、記録のため、映像処理部103にて所定の映像コーディングを行う(S502)。
次に、映像処理部103は、映像の大まかな特徴量を抽出するための簡易特徴量抽出処理を行う(S503)。これは、後での編集処理の際に背景が同じシーンの候補を高速に検索するための前処理である。その内容は、例えば、映像を大きく2×2の4エリアに分割し、それぞれのエリアでの平均色を算出する。処理量削減のために、厳密に全画素の平均ではなく、10ピクセル間隔での色平均を用いてもよい。なお、信号処理能力に余裕がない場合には、簡易特徴量抽出処理を編集装置2側で行うようにしてもよい。また、本フロー図では、撮影中に逐次処理をする形態を示したが、撮影が終了した後に記録映像を読み出して一括処理してもよい。
これと並行して位置・方位検出部104は、カメラに搭載した位置、方位センサ105,106を用いてセンシングを行う(S504)。センシングデータと上記簡易特徴量データとを、編集段階で参照できるメタデータの形式に変換し(S505)、映像データとともに記録メディア108に記録する(S506)。撮影動作中は以上の処理を繰返し行う(S507)。
図6は、編集装置2にて映像を解析する工程の処理手順を示したフローチャート図である。
カメラ1から送られた映像およびメタデータを記憶部203から読み出し(S601)、認識処理部213は被写体と背景とに分離する(S602)。その際、動画から被写体の領域を分割する必要があるが、領域分割の手法は、色、テクスチャ、オプティカルフロー等があり、例えば参考文献1の技術を利用できる。なお、被写体が多数存在する複雑な映像の場合には、注目する被写体が映像中に登場した時点でユーザが手動で注目被写体の領域を指示し、以後自動で追跡する等のセミ・オート処理方法を併用できる。
[参考文献1]高木幹雄、下田陽久監修「新編 画像解析ハンドブック」東京大学出版会(2004年)。
カメラ1から送られた映像およびメタデータを記憶部203から読み出し(S601)、認識処理部213は被写体と背景とに分離する(S602)。その際、動画から被写体の領域を分割する必要があるが、領域分割の手法は、色、テクスチャ、オプティカルフロー等があり、例えば参考文献1の技術を利用できる。なお、被写体が多数存在する複雑な映像の場合には、注目する被写体が映像中に登場した時点でユーザが手動で注目被写体の領域を指示し、以後自動で追跡する等のセミ・オート処理方法を併用できる。
[参考文献1]高木幹雄、下田陽久監修「新編 画像解析ハンドブック」東京大学出版会(2004年)。
次に、メタデータとして位置、方位計測データがある場合(S603でYes)、位置算出部214はそれらのデータから撮影軌跡(カメラの移動軌跡)を算出する(S604)。基本的には、センサデータを加工することなくそのまま用いればよい。あるいは、外れ値等の除去処理等をしてもよい。一方、位置、方位計測データがない場合(S603でNo)、代用として映像パターンを解析して位置及び方位を推定する(S605)。撮影軌跡推定の手順は実施例2で説明する。
以上で得られた被写体の領域情報とカメラの撮影軌跡を用いて、被写体の移動軌跡を推定する(S606)。被写体軌跡推定の手順は図7を用いて述べる。カメラと被写体の両方の移動軌跡の推定結果を、データ蓄積部215に軌跡情報として映像データと一緒に格納する(S607)。
図7は、図6における被写体軌跡を推定する工程(S606)の詳細を示したフローチャート図である。
映像データを読み出し、対象となる被写体の映像パターンを取得する(S701)。映像パターンのサイズと、メタデータに含まれる撮影パラメータ(カメラ画角、被写体の実サイズ)を用いて、カメラから見た被写体までの距離と方向を算出する(S702)。例えば、人物であれば平均身長を用いておおまかな距離を算出する。一方方向は、カメラが水平であると仮定できる場合には、画像中の2次元的な位置から算出する。もしカメラが傾いて撮影された場合には、水平方向を画像パターンから推定し方向の修正を行う。あるいは撮影の際に重力センサや傾きセンサが利用できる場合には、そのデータを利用してもよい。その他の物体が被写体である場合にも同様に行う。
映像データを読み出し、対象となる被写体の映像パターンを取得する(S701)。映像パターンのサイズと、メタデータに含まれる撮影パラメータ(カメラ画角、被写体の実サイズ)を用いて、カメラから見た被写体までの距離と方向を算出する(S702)。例えば、人物であれば平均身長を用いておおまかな距離を算出する。一方方向は、カメラが水平であると仮定できる場合には、画像中の2次元的な位置から算出する。もしカメラが傾いて撮影された場合には、水平方向を画像パターンから推定し方向の修正を行う。あるいは撮影の際に重力センサや傾きセンサが利用できる場合には、そのデータを利用してもよい。その他の物体が被写体である場合にも同様に行う。
算出した距離を前記S604またはS605で求めたカメラの移動軌跡情報と付き合わせて、被写体の位置を推定する(S703)。これは、カメラの位置にS702で算出した被写体までの距離と方向を加算することで求める。
さらに、被写体の方位(絶対方角)を推定する(S704)。その手法は、まず、被写体の特徴的な面が画像面に対してどちらを向いているかを判定する。たとえば人物の場合は、顔がどちらを向いているかを判定する。顔画像抽出とその向きの判定に関しては、例えば、参考文献2の技術を利用できる。そして、画像面に対する被写体の向きを、前記したカメラの方位に加算することで、被写体の方位を推定する。
[参考文献2]岩井儀雄、勞世、山口修、平山高嗣、「画像処理による顔検出と顔認識」、情報処理学会研究報告コンピュータビジョンとイメージメディア、Vol.2005、No.38、2005−CVIM−149(2005年)。
[参考文献2]岩井儀雄、勞世、山口修、平山高嗣、「画像処理による顔検出と顔認識」、情報処理学会研究報告コンピュータビジョンとイメージメディア、Vol.2005、No.38、2005−CVIM−149(2005年)。
ここで、複数のカメラから撮影されたデータがある場合には(S705でYes)、それらの複数映像からの位置・方位の統合処理を行う(S706)。上述したそれぞれの単眼カメラを基準に求めた被写体の位置と方位の複数の推定値について、カメラ間で差が小さくなるように統合する処理を行い、推定の信頼度を上げる。具体的には、(1)単眼カメラで推定する際に用いた被写体の大きさ等の仮定を変動させて、推定値の差を最小化させる、(2)単眼での推定データを用いず、改めて被写体の特徴点同士のステレオマッチングを行う、等の手法を用いて最も差の少ない結果を採用する。計算量に制約がある場合には、まず(1)で処理し、一定量以上の矛盾が解消されない場合に(2)に切り替えるのがよい。以上の手順を行った後で、もしも複数の異なった解がある場合には、後段の処理のため複数の候補として保持しておいてもよい。さらに、それらの候補に何らかの信頼度が付与できる場合には、それらを付加したデータとするのがよい。
被写体の位置・方位の推定を終えると、1つ前の時間の同様の処理結果と付き合わせて、現在解析中の時刻における被写体の軌跡の断片を算出する(S707)。この段階でも、上述のように位置・方位の候補を複数挙げたり、信頼度を算出して重み付きのデータとして後段の処理に供しておいてもよい。
以上の解析処理を映像が終了するまで繰返し行い(S708)、各時刻にて整合処理を行う(S709)。整合処理では、上記において推定された被写体の軌跡(位置・方位)の断片を繋いで、1つの移動軌跡(位置・方位)として滑らかに連続するように結合する。これにより、被写体の移動軌跡の推定処理を完了する。
次に、カメラと被写体の移動軌跡情報を使って映像編集を行う手順を説明する。
図8は、編集装置2にて映像を閲覧・編集する工程の処理手順を示すフローチャート図である。
データ蓄積部215に格納してある映像から所望の映像の選択を行い、表示部204,216に編集作業用のGUIを表示させる(S801)。この際、後述の図9で示すように、選択した映像がカメラC1のものであった場合でも、時刻と場所を同じくする他のカメラC2の映像についての情報も同時に表示される。次にユーザ(編集者)は、GUI表示の中から注目する被写体を選択する(S802)。選択の方法は、指示入力部217により、GUI中の所望の被写体を例えばマウス等のポインティングデバイスで指示し、クリックして選択する。
図8は、編集装置2にて映像を閲覧・編集する工程の処理手順を示すフローチャート図である。
データ蓄積部215に格納してある映像から所望の映像の選択を行い、表示部204,216に編集作業用のGUIを表示させる(S801)。この際、後述の図9で示すように、選択した映像がカメラC1のものであった場合でも、時刻と場所を同じくする他のカメラC2の映像についての情報も同時に表示される。次にユーザ(編集者)は、GUI表示の中から注目する被写体を選択する(S802)。選択の方法は、指示入力部217により、GUI中の所望の被写体を例えばマウス等のポインティングデバイスで指示し、クリックして選択する。
被写体を選択すると、検索部218は軌跡情報215を照合し、該当する複数の映像を切り繋いでベストショットの候補を自動生成する(S803)。自動生成のルール(抽出パラメータ)は、格納の際に算出しておいた各被写体と各カメラの位置や方位などのデータ(軌跡情報)を基に、指定された被写体が最も大きく映っていて、かつカメラに正面向きに近い映像を優先的に抽出するようにする。なお、自動生成のルールはこれに限らず複数通り用意し、ユーザがどのルールを優先させるかの重み付けができるようにしてもよい。また、抽出する各映像の時間間隔の伸縮をどれだけ許すか等のパラメータも決めておく。時間軸の許容度が大きい程、撮影時刻の差が大きい過去もしくは未来方向の映像を取り込むことができる。
ユーザは自動生成された映像をチェックし修正を行う(S804)。修正作業は、GUIを用いて選択された映像の区間や長さを調整したり、不要な映像を削除することである。さらに、編集された映像がユーザの所望するものでなければ(S805でNo)、前記の抽出パラメータを変更して再度ベストショットの候補を生成する(S806)。
以下、GUIを用いた映像編集方法について、具体例を用いて説明する。
図9は、映像解析の結果を表示するGUIの画面例である。イベントの例として、建物の前の運動場で行われた運動会のようなものを想定する。画面900では、地図中にカメラと被写体の軌跡が表示される形式になっている。地図表示のため、絶対方角表示901の下、背景として、建物902,903やランドマークとなる静止物体904,905などが予め表示されている。これらの情報は電子地図情報を入手するか、予め測定もしくは手入力して表示する。
図9は、映像解析の結果を表示するGUIの画面例である。イベントの例として、建物の前の運動場で行われた運動会のようなものを想定する。画面900では、地図中にカメラと被写体の軌跡が表示される形式になっている。地図表示のため、絶対方角表示901の下、背景として、建物902,903やランドマークとなる静止物体904,905などが予め表示されている。これらの情報は電子地図情報を入手するか、予め測定もしくは手入力して表示する。
また画面900には、映像解析の結果である2台のカメラC1,C2の軌跡910,920(点線で示す)と、2人の人物M1,M2の軌跡930,940(実線で示す)を表示する。各軌跡に張り付いた複数の小さい矢印は、軌跡の各位置におけるカメラの方位911,921と人物の方位931,941を示したものである。
図10は、ユーザが所望の映像を編集するGUIの画面例である。図9で述べた地図画面900の下方に、編集状況を示す編集画面1000が追加して表示される。編集画面1000は、左側にカメラや被写体を区別するアイコンと、右側に各アイコンに対応する映像を連続サムネールにて表示する。この例では3段からなり、1段目1010にはカメラC1によって撮影された映像を、2段目1020にはカメラC2によって撮影された映像を示す。3段目1030には編集により抽出された映像を示す。ここでは、ユーザは被写体の中から人物M1を選択し、人物M1に関連するショットを抽出して編集した結果を示す。各矢印1040は、編集のためにカメラC1,C2の映像1010,1020からどの部分のショットを抽出したかを表わす。なお、抽出関係が分かれば、矢印以外の表示方法でもよい。
また地図画面900では、編集の結果選択された映像部分は太く強調して表示される。ここでは、カメラC1,C2の軌跡910,920では、符号1011,1012,1013,1021,1022の部分が選択され、人物M1,M2の軌跡930,940では、注目被写体として選択された人物M1の軌跡1031が選択されたことを示す。ユーザはこの地図画面900で、選択された映像部分1011,1012,1013,1021,1022に対し、マウス等のポインティングデバイスを操作して、それらの位置をずらし、長さを変更し、あるいは一部を削除するなどの修正を行うことができる。そして、修正結果を3段目1030に映像表示して直ちに確認することで、動的な編集を可能とする。
このように本実施例の映像編集方法では、ユーザはGUI表示されたカメラと被写体の移動軌跡を見ながら、所望の被写体を指定するだけで自動的に該当する映像を抽出して編集するので、ユーザの労力を軽減して効率良く編集できる。また編集パラメータとして、カメラと被写体の両方の位置と方位のデータを参照することで、例えば特定の人物が正面向きに大きく映っている映像を抽出するなど、きめ細かな編集が可能になる。
本実施例は、前記図6の映像解析工程で、メタデータとしてカメラの位置や方位の計測データがない場合に、映像パターンの処理でカメラの位置や方位を推定する場合である。
図11は、映像から撮影軌跡を推定する工程(S605)の詳細を示したフローチャート図である。
図11は、映像から撮影軌跡を推定する工程(S605)の詳細を示したフローチャート図である。
ある時刻の映像が入力された時(S1101)、背景の特徴量を算出する(S1102)。例えば、映像を大きく2×2の4エリアに分割し、それぞれのエリアでの平均色などを特徴量として用いる。ここに特徴量とは複数の数値から構成される量であり、複数の数値から構成されることを明記する際には特徴量ベクトルで表現する。この背景の特徴量(ベクトル)は、前記図5の撮影工程における簡易特徴量抽出処理(S503)で得られるものと同様であり、既に算出されている場合にはそれを用いても良い。
さらに、前のコマから全体の画面がどのように移動したかを示す背景変化状況を算出する(S1103)。算出内容は、前のコマとの画像差分を用いるなどして、カメラがどれだけ移動したか、相対的な移動量を求める。その方法は、通常の動画像処理を行う際のオプティカルフローを求める手段等を用いることで実現できる。
次に、算出した特徴量を背景データと照合してカメラの位置及び方位を推定する(S1104)。ここに背景データとは、特定の場所においてカメラの位置と方位をパラメータとして撮影し、背景がどのように見えるかを予め測定しておいたデータである。データの内容は、S1102で算出しておいた背景特徴量(ベクトル)と同じ方法で取得しておく。それらの特徴量(ベクトル)を比較し、最も類似した特徴量となるときの撮影パラメータ(カメラの位置・方位)を求め、当該映像を撮影したときのカメラの位置・方位を推定する。特徴量ベクトルの照合では、例えば、特徴量ベクトル間の異なりの程度を示す一般的な距離であるユークリッド距離を算出し、それが最も小さいものを最も類似した画像とすればよい。但し、後段の処理のため、位置・方位の候補を複数挙げたり、一致度とともに算出して重み付きのデータとしておいて、後段の処理に供することが望ましい。
ここで複数のカメラから撮影されたデータがある場合には(S1105でYes)、それらの位置・方位の統合処理を行う(S1106)。これは、別のカメラ中に現在位置・方位を解析しているカメラの映像が映っている場合に、それらの相対位置から、上記カメラの位置としてありうる候補を選択するために行うものである。
カメラの位置・方位の推定を終えると、1つ前の時刻の同様の処理結果と付き合わせて、現在解析中の時刻での撮影軌跡の断片として算出する(S1107)。具体的には、1つ前のコマで得られた推定候補に上記S1103で求めたカメラの移動量を考慮して、最も整合性が高い現在位置を決定する。例えば、1つ前のコマでの推定候補が「建物A正面」であり現在の移動状況が「左」であるとき、現在の位置候補が「建物Aから右10度」であれば整合している。もしも、現在の位置候補が「建物Aから左30度」であれば整合していない。なお、この段階でも、上述のように、位置・方位の候補を複数挙げたり、一致度とともに算出して重み付きのデータとして後段の処理に供しておくことが望ましい。
以上の処理を、映像が終了するまで繰返し行い(S1108)、各時刻にて整合処理を行う(S1109)。整合処理は、上記において推定された撮影軌跡(位置・方位)の断片を繋いで、1つのカメラの移動軌跡(位置・方位)として滑らかに連続するよう結合する。これにより、カメラの撮影軌跡の推定処理を完了する。
このように、メタデータとしてカメラの位置と方位の計測データがない場合においても、背景特徴量を照合することでカメラの位置と方位を推定することができる。よって、位置センサと方位センサを搭載していない撮影装置(カメラ)であっても、実施例1で述べた映像編集システムを構成することができるので、より一層システムの簡素化が図られる。
本実施例は、複数のユーザがネットワークを経由し共有する映像の閲覧・編集を行う場合である。
図12は、本実施例による共有映像の編集システムの構成を示す図である。撮影装置(カメラ)側の構成は実施例1(図1)と同様であるが、撮影データはインターネットを介して編集サーバに蓄積され、複数のユーザ(編集者)はインターネットを介して編集サーバにアクセスして蓄積されている撮影データを閲覧・編集する構成である。
図12は、本実施例による共有映像の編集システムの構成を示す図である。撮影装置(カメラ)側の構成は実施例1(図1)と同様であるが、撮影データはインターネットを介して編集サーバに蓄積され、複数のユーザ(編集者)はインターネットを介して編集サーバにアクセスして蓄積されている撮影データを閲覧・編集する構成である。
カメラ1で撮影された被写体3の映像データと付加情報(位置や方位などのメタデータ)は、記録メディア4、有線通信5、無線通信6などを介して取込み・送信装置9に格納される。取込み・送信装置9には編集機能はなくてよい。取込み・送信装置9はインターネット10に接続されており、カメラから送られた撮影データを、インターネット10経由で編集サーバ20に送信(アップロード)する。あるいは他の形態として、カメラ1がインターネットとの通信機能を持っている場合には、取込み・送信装置9を介さずにカメラ1から直接編集サーバ20に送信してもよい(経路11)。編集サーバ20の蓄積部21には、アップロードされた撮影データが蓄積される。このようにして編集サーバ20には、インターネット10に接続されている複数の撮影者(カメラ1や取込み・送信装置9)からの撮影データが蓄積される。ユーザ(編集者)8は、インターネット10に接続されている手元の閲覧端末22から編集サーバ20にアクセスし、蓄積されている撮影データに対して閲覧・編集を行う。編集サーバ20と閲覧端末22の構成と動作は、前記実施例1、2で説明した編集装置2と同様である。このようにして、複数のユーザ(編集者)がネットワークを介して共有する映像を閲覧し編集することができる。
上記の例では、撮影データを全て編集サーバに送信するものとしたが、送信する映像データの容量が大きい場合には、取込み・送信装置9においてある程度の前処理を行うことで、アップロード時の通信量を削減することができる。例えば、実施例1で述べた領域抽出などを済ませてから、その処理結果とサイズを小さくしたサムネール用の映像だけを送信することも可能である。
図13は、本実施例における共有する映像の編集手順を示したフローチャート図である。
本実施例では、1つの編集サーバ20を複数のユーザが利用することを想定する。撮影データを編集サーバ20にアップロードする(S1301)。編集サーバ20は、受信した撮影データ(映像、メタデータ)を解析して(S1302)、撮影軌跡の算出と被写体軌跡の推定を行う。映像の解析工程は、前記実施例1(図6、図7)と実施例2(図11)に説明した通りである。
本実施例では、1つの編集サーバ20を複数のユーザが利用することを想定する。撮影データを編集サーバ20にアップロードする(S1301)。編集サーバ20は、受信した撮影データ(映像、メタデータ)を解析して(S1302)、撮影軌跡の算出と被写体軌跡の推定を行う。映像の解析工程は、前記実施例1(図6、図7)と実施例2(図11)に説明した通りである。
ユーザは編集サーバ20にアクセスし、閲覧端末22にて編集対象の映像(イベント)を検索する。そのとき、他人がアップロードした同一イベントの映像がないかを検索する(S1303)。検索の結果、同一イベントの映像があれば(S1304でYes)、それを編集対象に追加する(S1305)。その後、選択した映像の閲覧・編集工程(S1306)に進む。ユーザが注目する被写体を選択すると、編集サーバ20はベストショットを自動生成し、ユーザはこれをチェック修正する。映像の編集工程は前記実施例1(図8)と同様である。
編集終了後、その映像をインターネット上に公開することができる(S1307)。編集された映像が他のユーザによって閲覧され、再編集を加えられたりして、複数のユーザ間で再利用することが可能になる。
なお、編集サーバ20にアップロードされた映像の閲覧と編集を行えるユーザを制限することもできる。例えば、コミュニティーに登録したユーザや、SNSのように友人として登録したユーザだけに公開することができる。その運用形態は、ウェブサイト管理技術を用いれば適宜設定することができる。
以上述べた本実施例による映像編集システムは、映像を記録して視聴するための機器、システム、およびサービスに広く適用可能である。例えば、カムコーダ、テレビ受像機、レコーダ、パーソナルコンピュータ、携帯電話などの機器、及び、それらの機器上で用いるソフトウェア、ネットワークサービス等に広く適用可能である。
1…撮影装置(カメラ)、
2…映像編集装置(編集装置)、
3…被写体、
8…ユーザ(編集者)、
9…取込み・送信装置、
10…インターネット、
20…編集サーバ、
22…閲覧端末、
103…映像処理部、
104…位置・方位検出部、
105…位置センサ、
106…方位センサ、
201…CPU(中央演算ユニット)、
204…表示部、
213…認識処理部、
214…軌跡解析部、
215…データ蓄積部、
216…表示部、
217…指示入力部、
218…検索部。
2…映像編集装置(編集装置)、
3…被写体、
8…ユーザ(編集者)、
9…取込み・送信装置、
10…インターネット、
20…編集サーバ、
22…閲覧端末、
103…映像処理部、
104…位置・方位検出部、
105…位置センサ、
106…方位センサ、
201…CPU(中央演算ユニット)、
204…表示部、
213…認識処理部、
214…軌跡解析部、
215…データ蓄積部、
216…表示部、
217…指示入力部、
218…検索部。
Claims (10)
- 撮影装置にて撮影された映像の編集を行う映像編集装置において、
上記撮影装置にて撮影された映像から被写体と背景を分離する認識処理部と、
上記撮影装置の位置と方位、及び上記分離した被写体の位置と方位を求めて、該撮影装置と該被写体の移動軌跡を作成する軌跡解析部と、
上記映像と上記作成した移動軌跡を蓄積するデータ蓄積部と、
上記データ蓄積部に蓄積されている上記移動軌跡を表示する表示部と、
編集者により編集対象となる被写体を指定する指示入力部と、
指定された被写体を含む映像を上記データ蓄積部から検索して編集する検索部と、
を備えることを特徴とする映像編集装置。 - 請求項1に記載の映像編集装置において、
前記軌跡解析部は、前記撮影装置を基準に前記分離した被写体までの距離と方向を解析し、解析した被写体までの距離と方向を前記撮影装置の位置と方位に加算して、該被写体の位置と方位を推定することを特徴とする映像編集装置。 - 請求項2記載の映像編集装置において、
前記軌跡解析部は、前記被写体が複数の撮影装置により撮影され、各撮影装置を基準に求めた被写体の位置と方位の複数の推定値が存在するとき、各推定値の差が小さくなるように統合することを特徴とする映像編集装置。 - 請求項1または2に記載の映像編集装置において、
前記認識処理部は前記映像から背景の特徴量を抽出し、
前記軌跡解析部は、上記抽出した特徴量を、予め撮影装置の位置と方位を変えて測定しておいた特徴量のデータと比較して、それらの特徴量が最も類似する位置と方位を、当該映像に対する前記撮影装置の位置と方位であると推定することを特徴とする映像編集装置。 - 請求項1に記載の映像編集装置において、
前記表示部は前記検索部にて編集された映像を表示し、
前記指示入力部は、編集された映像について編集者からの修正指示を受け付けることを特徴とする映像編集装置。 - 被写体を撮影して撮影した映像を映像編集装置に送信する撮影装置において、
当該撮影装置の位置と方位を検出する位置・方位検出部と、
撮影した映像から特徴量を抽出する映像処理部を備え、
撮影した映像のデータに、撮影時の位置と方位のデータと映像の特徴量を付加して上記映像編集装置に送信することを特徴とする撮影装置。 - 複数の撮影装置と編集サーバと閲覧端末とをネットワークで接続して映像を編集する映像編集システムにおいて、
上記編集サーバは、
上記撮影装置にて撮影された映像から被写体と背景を分離する認識処理部と、
上記撮影装置の位置と方位、及び上記分離した被写体の位置と方位を求めて、該撮影装置と該被写体の移動軌跡を作成する軌跡解析部と、
上記映像と上記作成した移動軌跡を蓄積するデータ蓄積部と、
上記閲覧端末から指定された被写体を含む映像を上記データ蓄積部から検索して編集する検索部とを有し、
上記閲覧端末は、
上記編集サーバから送られた上記移動軌跡を表示する表示部と、
編集者により編集対象となる被写体を指定する指示入力部とを有し、
上記撮影装置にて撮影された映像をネットワーク経由で上記編集サーバに蓄積し、
編集者は上記閲覧端末から上記編集サーバにアクセスして、蓄積されている所望の映像に同一イベントの他の映像を追加して映像の閲覧と編集を行い、編集した映像をネットワーク経由で他の編集者に公開することを特徴とする映像編集システム。 - 撮影装置にて撮影された映像の編集を行う映像編集方法において、
上記撮影装置から、撮影時の該撮影装置の位置と方位のデータが付加された映像データを受け取り、
上記映像から被写体と背景を分離し、上記撮影装置の位置と方位、及び上記分離した被写体の位置と方位を求めて、該撮影装置と該被写体の移動軌跡を作成し、
上記作成した移動軌跡をデータ蓄積部に蓄積するとともに表示部に表示し、
編集者により編集対象の被写体が指定されると、該被写体を含む映像を上記データ蓄積部から検索して編集することを特徴とする映像編集方法。 - 請求項8に記載の映像編集方法において、
前記被写体の移動軌跡を作成するために、前記撮影装置を基準に前記分離した被写体までの距離と方向を解析し、解析した被写体までの距離と方向を前記撮影装置の位置と方位に加算して、該被写体の位置と方位を推定することを特徴とする映像編集方法。 - 請求項8または9に記載の映像編集方法において、
前記撮影装置の移動軌跡を作成するために、前記映像から背景の特徴量を抽出し、該抽出した特徴量を、予め撮影装置の位置と方位を変えて測定しておいた特徴量のデータと比較して、それらの特徴量が最も類似する位置と方位を、当該映像に対する前記撮影装置の位置と方位であると推定することを特徴とする映像編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008115096A JP2009267773A (ja) | 2008-04-25 | 2008-04-25 | 映像編集装置、撮影装置および映像編集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008115096A JP2009267773A (ja) | 2008-04-25 | 2008-04-25 | 映像編集装置、撮影装置および映像編集方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009267773A true JP2009267773A (ja) | 2009-11-12 |
Family
ID=41393058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008115096A Pending JP2009267773A (ja) | 2008-04-25 | 2008-04-25 | 映像編集装置、撮影装置および映像編集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009267773A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012185730A (ja) * | 2011-03-07 | 2012-09-27 | Fujitsu Ltd | 画像処理プログラムおよび画像処理方法並びに画像処理装置 |
KR101614386B1 (ko) * | 2014-06-12 | 2016-04-21 | 한화테크윈 주식회사 | 영상 감시 시스템 |
WO2017002821A1 (ja) * | 2015-06-29 | 2017-01-05 | ヤマハ株式会社 | 映像処理装置、映像処理方法および記録媒体 |
JP2017027144A (ja) * | 2015-07-16 | 2017-02-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2017184132A (ja) * | 2016-03-31 | 2017-10-05 | サクサ株式会社 | 画像処理装置及び画像処理方法 |
-
2008
- 2008-04-25 JP JP2008115096A patent/JP2009267773A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012185730A (ja) * | 2011-03-07 | 2012-09-27 | Fujitsu Ltd | 画像処理プログラムおよび画像処理方法並びに画像処理装置 |
KR101614386B1 (ko) * | 2014-06-12 | 2016-04-21 | 한화테크윈 주식회사 | 영상 감시 시스템 |
WO2017002821A1 (ja) * | 2015-06-29 | 2017-01-05 | ヤマハ株式会社 | 映像処理装置、映像処理方法および記録媒体 |
JP2017017423A (ja) * | 2015-06-29 | 2017-01-19 | ヤマハ株式会社 | 映像処理装置 |
JP2017027144A (ja) * | 2015-07-16 | 2017-02-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2017184132A (ja) * | 2016-03-31 | 2017-10-05 | サクサ株式会社 | 画像処理装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4760892B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
EP1986128B1 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer program | |
US8174571B2 (en) | Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images | |
JP4755156B2 (ja) | 画像提供装置及び画像提供プログラム | |
US20130162672A1 (en) | Image processing device, image processing method, and program | |
JP7348754B2 (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP4490214B2 (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
KR20090112349A (ko) | 라이프로그 장치 및 정보 자동 태그 입력 방법 | |
JP6203188B2 (ja) | 類似画像検索装置 | |
JP2012105205A (ja) | キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置 | |
EP2053540B1 (en) | Imaging apparatus for detecting a scene where a person appears and a detecting method thereof | |
JP2009267773A (ja) | 映像編集装置、撮影装置および映像編集方法 | |
KR20150083491A (ko) | 단말과 서버간의 정보 동기화 방법 및 시스템 | |
JP4639043B2 (ja) | 動画像編集装置及び動画像編集方法 | |
JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4704240B2 (ja) | 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム | |
CN104519218A (zh) | 图像处理设备和图像处理方法 | |
JP2003032600A (ja) | 画像処理装置、インデックス作成システム、インデックス作成方法、記録媒体及びプログラム | |
AU2016277643A1 (en) | Using face detection metadata to select video segments | |
JP2005184348A (ja) | 映像処理装置および代表画像設定方法 | |
JP6146108B2 (ja) | 情報処理装置、画像表示システム、画像表示方法及びプログラム | |
JP2006115289A (ja) | 削除候補画像を表示する撮像装置 | |
JP2004241834A (ja) | 動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体 | |
WO2021008208A1 (en) | System and method for recommending a media capturing mode |