JP2007074503A - 動画像編集装置 - Google Patents

Abstract

【課題】 注目被写体の視認性を維持しつつその躍動感を失わない動画像の生成を行うこと。
【解決手段】 入力された動画像の各フレームにおいて対象物の位置を取得し、対象物を切り出し枠内に収めるように、対象物の位置に基づいてフレーム内において切り出し枠の位置を決定し、この切り出し枠によって囲まれる画像を切り出すことで動画像を再構築する。このとき、切り出し位置の垂直方向の成分について、水平方向の成分に比べて対象物の位置の影響が小さくなるように切り出し枠の位置を決定する。
【選択図】 図４

Description

本発明は、動画像のフレーミングをする装置に適用されて有効な技術に関する。

近年の撮像装置の小型化により、撮像時の手ぶれが撮像結果に顕著に現れるようになり問題となっている。また、素人にとっては、被写体を的確にフレーミングすることが難しい。このようなぶれや不的確なフレーミングが原因となり、注目被写体の視認性が低下するという問題が生じてしまう。

このような問題に対し、撮影時に被写体を画面の中央に保持する自動フレーミング技術が発案されている。例えば、広域な画像を撮像し、その中から注目被写体の含まれる部分画像を連続して切り出すことで、被写体がフレームアウトすることのない追跡画像を取得する技術が提案されている（特許文献１参照）。

他にも、画面中央に人物を据えた画像を取得し表示する技術や（特許文献２参照）、手動で指定された被写体を追従して撮像する技術（特許文献３参照）が提案されている。
特開２００４−２０７８８４号公報 特開２０００−０７８５６４号公報 特開平０６−０３８２１４号公報

いずれの従来技術においても、撮像画像中から注目被写体を抽出しその注目被写体を画面中心に捉えてフレーミングを行うことにより、対象物の視認性を高めることを目的としている。このようにしてフレーミングされた動画像では、常に注目被写体が画面中心に存在するため、視認性は向上する。しかしながら、このような方法による映像では、注目被写体の位置が画面中心から動くことが無く、躍動感が失われてしまうという問題がある。このような問題は、注目被写体の視認性向上を主目的とした監視カメラによる撮像などでは生じない。しかし、例えば家庭用デジタルビデオカメラによる撮像など、日常の情景を撮像することを目的とした場合などには問題となる。

そこで本発明はこれらの問題を解決し、注目被写体の視認性を維持しつつその躍動感を失わない動画像の生成を行うための装置や方法を提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明は、動画像編集装置であって、位置取得手段及び切り出し手段を備える。位置取得手段は、入力された動画像の各フレームにおいて対象物の位置を取得する。切り出し手段は、対象物を切り出し枠内に収めるように、フレームに予め設定されている基準位置と対象物の位置とに基づいてフレーム内において切り出し枠の位置を決定し、この切り出し枠によって囲まれる画像を切り出すことで動画像を再構築する。このとき、切り出し手段は、切り出し位置の垂直方向の成分について、水平方向の成分に比べて対象物の位置の影響が小さくなるように切り出し枠の位置を決定する。対象物とは、任意に設定されて良く、例えば人の頭部や顔や車やボールなどである。

このように構成された本発明によれば、動画像の各フレームから一部分が切り出されて新たな動画像が再構築される際に、その切り出し枠の位置が切り出し手段によって決定さ
れる。このため、水平方向の成分については、対象物の位置に応じて変化するため、注目被写体（対象物）の視認性を維持することができる。さらに、垂直方向の成分については、水平方向の成分に比べて対象物の位置の影響が小さく、言い換えれば対象物の位置に対する追従性が低い。このため、切り出し枠内での対象物の垂直方向の位置は、各フレームによって、水平方向の成分に比べて変化が大きい。このため、垂直方向の位置変化は切り出された画像において維持されるため、その躍動感を失わない動画像の生成を行うことが可能となる。

本発明の切り出し手段は、基準位置と対象物の位置との差を求め、差の水平方向の成分に対し第一の値を乗じ、差の垂直方向の成分に対し第一の値よりも小さい第二の値を乗じ、得られた両値と基準位置から、切り出し枠の位置を決定するように構成されても良い。

本発明の切り出し手段は、複数のフレームにおいて基準位置と対象物の位置との差を求め、差の水平方向の成分及び垂直方向の成分についてフレーム間の時系列変化を考慮した時系列水平成分及び時系列垂直成分を算出し、時系列水平成分に対し第一の値を乗じ、時系列垂直成分に対し第一の値よりも小さい第二の値を乗じ、得られた両値と基準位置から、切り出し枠の位置を決定するように構成されても良い。

本発明の切り出し手段は、フーリエ変換を行うことにより時系列水平成分及び時系列垂直成分を算出するように構成されても良い。

本発明は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。なお、本発明が方法で特定される場合、情報処理装置が画像の編集のみを実行するか、画像を編集しながら再生（上映）することを問わない。さらに、本発明は上記した方法で編集した動画像を記録した記録媒体で特定されても良い。

本発明によれば、注目被写体の視認性を維持しつつその躍動感を失わない動画像の生成を行うことが可能となる。

〔システム構成〕 図１は、動画像編集装置１の機能ブロック例を示す図である。以下、動画像編集装置の一実施例として、動画像編集装置１について説明する。なお、動画像編集装置１は、対象物として人の頭部を検出／追跡しフレーミングの対象とするが、他の物（例えば自動車やボールなど）を検出／追跡しフレーミングの対象とするように構成されても良い。

動画像編集装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。動画像編集装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２、一時記憶部３、頭部検出部４、頭部追跡部５及び切り出し部６等を含む装置として機能する。頭部検出部４、頭部追跡部５及び切り出し部６は、プログラムがＣＰＵによって実行されることにより実現される。また、頭部検出部４、頭部追跡部５及び切り出し部６は専用のチップとして構成されても良い。次に、動画像編集装置１が含む各機能部について説明する。

〈画像入力部〉 画像入力部２は、動画像のデータを動画像編集装置１へ入力するため
のインタフェースとして機能する。画像入力部２によって、動画像のデータが動画像編集装置１へ入力される。画像入力部２は、動画像編集装置１へ動画像のデータを入力するためのどのような既存技術を用いて構成されても良い。

例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して動画像のデータが動画像編集装置１へ入力されても良い。この場合、画像入力部２はネットワークインタフェースを用いて構成される。また、デジタルビデオカメラやパーソナルコンピュータや記録装置（例えばハードディスクドライブ）等から動画像のデータが動画像編集装置１へ入力されても良い。この場合、画像入力部２は、デジタルビデオカメラやパーソナルコンピュータや記録装置などと動画像編集装置１とをデータ通信可能に接続する規格（例えばＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）等の有線接続やｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続の規格）に応じて構成される。また、記録媒体（例えば各種フラッシュメモリやＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc、Digital Video Disc））に記録された動画像のデータが動画像編集装置１へ入力されても良い。この場合、画像入力部２は、記録媒体からデータを読み出す装置（例えばフラッシュメモリリーダやＣＤドライブやＤＶＤドライブ）を用いて構成される。

また、動画像編集装置１がデジタルビデオカメラ等の撮像装置又はデジタルビデオカメラ等の撮像装置を備える各種装置（例えばＰＤＡ（Personal Digital Assistant）や携帯電話機）の内部に含まれ、撮像された動画像のデータが動画像編集装置１へ入力されても良い。この場合、画像入力部２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像素子によって撮像された動画像のデータを動画像編集装置１に入力させるためのインタフェースとして構成されても良い。また、画像入力部２は上記された複数の場合に応じることが可能となるように構成されても良い。

〈一時記憶部〉 一時記憶部３は、記憶装置を用いて構成される。一時記憶部３に用いられる記憶装置には、揮発性記憶装置や不揮発性記憶装置など、どのような具体的技術が適用されても良い。

一時記憶部３は、画像入力部２を介して入力された動画像のデータを記憶する。一時記憶部３に記憶された動画像の各フレームのデータは、頭部検出部４、頭部追跡部５、切り出し部６によって読み出される。一時記憶部３は、少なくとも頭部検出部４、頭部追跡部５、切り出し部６による処理が完了するまでは、その処理の対象となっている動画像の各フレームのデータを保持する。

〈頭部検出部〉 頭部検出部４は、一時記憶部３から動画像のフレームのデータを読み出し、そこから人の頭部を検出し、検出された頭部の位置や大きさ等を示す頭部の情報を特定する。頭部検出部４は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出することで頭部を検出するように構成されても良い。また、頭部検出部４は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて頭部を検出するように構成されても良い。また、頭部検出部４は、肌の色に近い領域を検出し、その領域を顔として検出することで頭部を検出するように構成されても良い。また、頭部検出部４は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域や頭部らしい領域を頭部として検出するように構成されても良い。また、頭部検出部４による検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

〈頭部追跡部〉 頭部追跡部５は、頭部検出部４によって検出された頭部を、一時記憶
部３に記憶される動画像において追跡（トラッキング）する。また、頭部追跡部５は、動画像のフレームから複数の人の頭部が検出された場合、特定の基準に従って追跡処理の対象となる頭部を決定する。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。頭部追跡部５における追跡処理は、例えば頭部に含まれる特徴点（例えば、額、眉、目、耳、鼻、唇などにおける特徴点）を、前画像の特徴点の周辺で探索し追跡することによって実現できる。また、この追跡処理は、他の既存技術によって実現されても良い。

〈切り出し部〉 切り出し部６は、頭部追跡部５の追跡結果（即ち頭部の位置）に応じて、出力すべきフレームを切り出す。図２は、切り出し部６が切り出すフレームの位置の例を示す図である。基準点（Ｘ，Ｙ）は、切り出し部６による処理の基準となる点であり、時間ｔによって変化することがなく、任意に設定されて良い。図２では、基準点はフレームの中心点である。頭部中心点（ｘ（ｔ），ｙ（ｔ））は、頭部追跡部５の追跡結果から得られる点であり、ある時間ｔにおける被写体となった人物の頭部の中心位置を示す。頭部中心点は、被写体となった人物の頭部の位置を示す一例であり、頭部の中心である必要はなく、例えば顔の中心や、両目の中心や鼻や口の位置であっても良い。頭部中心ベクトル（Ｘｄ（ｔ），Ｙｄ（ｔ））は、基準点から頭部中心点を指すベクトルである。フレーム中心ベクトル（Ｘｓ（ｔ），Ｙｓ（ｔ））は、切り出し部６が算出すべきベクトルであり、基準点から、切り出し部６が切り出そうとするフレームの中心位置を指すベクトルである。以下、フレーム中心ベクトルの求め方の例について説明する。

切り出し部６は、基準点及び頭部中心点の位置に基づいてフレーム中心ベクトルを求める。このとき、切り出し部６は、フレーム中心ベクトルのＹ軸成分（垂直方向成分）のフレーム間の差が小さくなるように又はゼロとなるようにフレーム中心ベクトルを求める。具体的には、切り出し部６は、例えばフレーム中心ベクトルのＹ軸成分に対する頭部中心点の影響が、フレーム中心ベクトルのＸ軸成分（水平方向成分）に対する頭部中心点の影響よりも小さくなるように、又は影響がゼロとなるように、フレーム中心ベクトルを求めることができる。

このような処理を行うべく、切り出し部６は、例えば式１に基づきフレーム中心ベクトルが求められる。即ち、切り出し部６は、頭部中心ベクトルのＹ軸成分に対し、頭部中心ベクトルのＸ軸成分に乗じる値（ｊ）よりも小さい値（ｋ）又はゼロを乗じることにより、上記のような処理を実現することができる。

切り出し部６は、上述した処理によってフレーム中心ベクトルを算出すると、このフレーム中心ベクトルによって示された点を中心としてフレーム位置を決定する。フレーム位置は、フレーム中心ベクトルとフレームの縦横の長さによって決定することができる。フレームの縦横の長さは、予め定められていても良いし、ユーザが設定可能でも良い。

切り出し部６は、このようにして決定されたフレーム内の画像を切り出し、動画像蓄積部７へ出力する。

〈動画像蓄積部〉 動画像蓄積部７は、不揮発性記憶装置を用いて構成される。動画像蓄積部７は、動画像編集装置１内に設けられても良いし、図１のように動画像編集装置１の外部に設けられても良い。動画像蓄積部７は、切り出し部６によって切り出されたフレームによって構成される動画像を記憶する。

例えば、動画像編集装置１がデジタルビデオカメラに実装されている場合には、デジタルビデオカメラの記録媒体が動画像蓄積部７に相当する。また、例えば動画像編集装置１がパーソナルコンピュータに実装されている場合には、ハードディスクやＣＤ−ＲやＤＶＤ−Ｒ等が動画像蓄積部７に相当する。

〔動作例〕 図３は、動画像編集装置１の動作例を示すフローチャートである。画像入力部２を介して動画像が入力されると（Ｓ０１）、その動画像の各フレームのデータは一時記憶部３に記憶される。動画像編集装置１は、入力されたフレーム毎に以下の処理を行う。

まず、切り出し部６は、頭部検出部４又は頭部追跡部５の処理結果から、頭部中心点を取得する（Ｓ０２）。次に、切り出し部６は、基準点と頭部中心点とから、頭部中心ベクトルを算出し（Ｓ０３）、式１を用いてフレーム中心ベクトルを算出する（Ｓ０４）。そして、切り出し部６は、フレーム中心ベクトルによって定まるフレームを切り出し（Ｓ０５）、そのフレームによって構成される動画像のデータを出力する（Ｓ０６）。

〔作用／効果〕 図４（ａ）は、従来技術により切り出されるフレームの例である。また、図４（ｂ）は、従来技術により編集された動画像を再生した例である。また、図５（ａ）は、動画像編集装置１の切り出し部６が切り出すフレームの例である。図５（ｂ）は、動画像編集装置１により編集された動画像を再生した例である。

従来技術では、フレームの位置は、人の頭部の位置によってのみ決定され、基準点の位置から独立していた。従って、図４（ｂ）に示すようにそのフレームの略中心に常に人の頭部が位置していた。

これに対し、動画像編集装置１では、フレームの位置は人の頭部の位置（頭部中心点）及び基準点の位置によって決定される。このとき、フレームの縦方向の位置は、横方向（Ｘ軸方向）の位置に比べて、頭部中心点の影響を受けにくく、基準点の影響を大きく受ける。そして、各フレーム間で基準点の位置は不動である。このため、図５（ｂ）に示すように、人の頭部はＸ軸方向ではフレームの略中央に常に位置するものの、Ｙ軸方向では略中央に固定されることなく、フレーム間でその位置は変位する。即ち、動画像編集装置１によって切り出されたフレームにより構成される動画像を再生すると、Ｙ軸方向では人の頭部はその移動に伴って上下（垂直方向）に振れる。従って、人の頭部は、Ｘ軸方向では常に略中央に捉えられているため視認性が維持され、なおかつＹ軸方向では上下に自然に振れるため躍動感が失われることもない。

動画像編集装置１により出力された動画像は、例えば人が走る姿が撮像された動画像である場合には以下のような効果をも奏する。人が走る場合には、上下に小刻みに人の頭が移動する。このような姿を、従来のように人の頭部が常に中心にくるようにフレーミングがなされると、確かに人の頭部の視認性は確保されるものの、背景が上下に小刻みに振れてしまう。このため、躍動感が失われるのみでなく、背景がちらついて見にくい動画像が生成されてしまっていた。

これに対し、動画像編集装置１によりフレーミングがなされると、背景ではなく人の頭
部が上下に小刻みに移動する。このため、背景が小刻みに振れて見にくくなってしまうことが抑止される。

〔変形例〕 動画像編集装置１は、頭部追跡部５を備えないように構成されても良い。この場合、頭部検出部４は、一時記憶部３に記憶される動画像について検出処理を繰り返し実行することにより、頭部の追跡処理を行うように構成されても良い。

また、切り出し部６は、式２に基づきフレーム中心ベクトルを求めても良い。

式２において、Ｘｄ’（ｔ）、Ｙｄ’（ｔ）は、頭部中心ベクトル（Ｘｄ（ｔ），Ｙｄ（ｔ））の時系列変化を考慮して算出される値である。Ｘｄ’（ｔ）、Ｙｄ’（ｔ）の具体例としては、フーリエ変換によりＸｄ（ｔ）、Ｙｄ（ｔ）の低周波成分を取り出したもの、移動平均をとったもの、カルマンフィルタを通したものなどがある。低周波成分を取り出すことにより、高周波成分を除去され、見る者に対し不快感を与えるフレームの小刻みな振動を効果的に抑制することが可能となる。また、このような処理を行うことにより、反応遅れが生じてしまう場合があるが、カルマンフィルタによれば反応遅れを抑制することも可能となる。

また、動画像編集装置１は、加速度センサを有する撮像装置に実装されても良い。この場合、加速度センサによって効果的に手ぶれが抑制された動画像が撮像され、さらにその動画像に対し動画像編集装置１がフレーミングを行うことができる。このため、Ｘ軸方向のぶれがより効果的に抑制された動画像を生成することが可能となる。

動画像編集装置の機能ブロック例を示す図である。 切り出し部が切り出すフレームの位置の例を示す図である。 動画像編集装置の動作例を示すフローチャートである。 従来技術により切り出されるフレームと編集後の動画像の例を示す図である。 切り出し部が切り出したフレームと編集後の動画像の例を示す図である。

符号の説明

１ 動画像編集装置
２ 画像入力部
３ 一時記憶部
４ 頭部検出部
５ 頭部追跡部
６ 切り出し部
７ 動画像蓄積部

Claims (8)

1. 入力された動画像の各フレームにおいて対象物の位置を取得する位置取得手段と、
   前記対象物を切り出し枠内に収めるように、フレームに予め設定されている基準位置と前記対象物の位置とに基づいて前記フレーム内において切り出し枠の位置を決定し、この切り出し枠によって囲まれる画像を切り出すことで動画像を再構築する切り出し手段と、を備え、
   前記切り出し手段は、切り出し位置の垂直方向の成分について、水平方向の成分に比べて前記対象物の位置の影響が小さくなるように切り出し枠の位置を決定する、動画像編集装置。
2. 前記切り出し手段は、前記基準位置と前記対象物の位置との差を求め、前記差の水平方向の成分に対し第一の値を乗じ、前記差の垂直方向の成分に対し前記第一の値よりも小さい第二の値を乗じ、得られた両値と前記基準位置から、前記切り出し枠の位置を決定する請求項１に記載の動画像編集装置。
3. 前記切り出し手段は、複数のフレームにおいて前記基準位置と前記対象物の位置との差を求め、前記差の水平方向の成分及び垂直方向の成分についてフレーム間の時系列変化を考慮した時系列水平成分及び時系列垂直成分を算出し、前記時系列水平成分に対し第一の値を乗じ、前記時系列垂直成分に対し前記第一の値よりも小さい第二の値を乗じ、得られた両値と前記基準位置から、前記切り出し枠の位置を決定する請求項１に記載の動画像編集装置。
4. 前記切り出し手段は、フーリエ変換を行うことにより前記時系列水平成分及び時系列垂直成分を算出する請求項３に記載の動画像編集装置。
5. 前記対象物は、人間の頭部または顔である請求項１から４に記載の動画編集装置。
6. 情報処理装置が、入力された動画像の各フレームにおいて対象物の位置を取得する位置取得ステップと、
   前記情報処理装置が、前記対象物を切り出し枠内に収めるように、フレームに予め設定されている基準位置と前記対象物の位置とに基づいて前記フレーム内において切り出し枠の位置を決定し、この切り出し枠によって囲まれる画像を切り出すことで動画像を再構築する切り出しステップと、
   を含み、
   前記切り出しステップでは、前記情報処理装置は、切り出し位置の垂直方向の成分について、水平方向の成分に比べて前記対象物の位置の影響が小さくなるように切り出し枠の位置を決定する、動画像編集方法。
7. 情報処理装置に対し、
   入力された動画像の各フレームにおいて対象物の位置を取得する位置取得ステップと、
   前記対象物を切り出し枠内に収めるように、フレームに予め設定されている基準位置と前記対象物の位置とに基づいて前記フレーム内において切り出し枠の位置を決定し、この切り出し枠によって囲まれる画像を切り出すことで動画像を再構築する切り出しステップと、
   を実行させるためのプログラムであって、
   前記切り出しステップでは、切り出し位置の垂直方向の成分について、水平方向の成分に比べて前記対象物の位置の影響が小さくなるように切り出し枠の位置を決定する処理を情報処理装置に実行させるプログラム。
8. 情報処理装置が、入力された動画像の各フレームにおいて対象物の位置を取得する位置取得ステップと、
   前記情報処理装置が、前記対象物を切り出し枠内に収めるように、フレームに予め設定されている基準位置と前記対象物の位置とに基づいて前記フレーム内において切り出し枠の位置を決定し、この切り出し枠によって囲まれる画像を切り出すことで動画像を再構築する切り出しステップと、
   を含み、
   前記切り出しステップでは、前記情報処理装置は、切り出し位置の垂直方向の成分について、水平方向の成分に比べて前記対象物の位置の影響が小さくなるように切り出し枠の位置を決定する、動画像編集方法で編集した画像を録画した記録媒体。

Images