JP2007316957A - 画像トリミング装置、画像トリミング方法およびそのプログラム - Google Patents

Abstract

【課題】本発明は動画画像をトリミングする際に、動いている人物とその周囲の状況がわかるようなトリミングを行う。
【解決手段】顔領域抽出手段１１により動画画像Ｐの注目フレームから前記人物の顔を撮影した顔領域を抽出し、動きベクトル取得手段１３で顔領域が動いた動きベクトルを取得する。さらに、トリミング手段１５で、動きベクトルの向きに応じた、顔領域を含むトリミング枠を注目フレーム上に設定する。
【選択図】図１

Description

本発明は、被写体を撮影して得られた動画像の一部をトリミングする画像トリミング装置、画像トリミング方法およびそのプログラムに関するものである。

従来、デジタルカメラなどで撮影したデジタル画像の構図を整えるため不要な部分をトリミングして、電子アルバムなどにまとめることが行われており、通常、デジタル画像のトリミングはパソコンなどを用いて手作業で行われる。つまり、パソコンの写真編集ソフトで、ディスプレイに表示されているトリミング枠をデジタル画像から切り出したい部分と重ねあわせるように、マウスなどを用いてドラッギングして、編集者が望ましいと思う画像領域をトリミング枠内に入れてトリミング範囲を決定する。

同様にカメラで撮影した動画も、動画編集ソフトを使えばパソコンでトリミングして、動画像の１フレームから不要なものを除いて、最適なタイミングで撮影した画像になるように仕上げることができるようになってきた。

ところで、近年、撮像装置（ビデオカメラ）とネットワークを利用して、地理的に隔たった複数人の会議参加者（メンバ）が、会議机上に配置された撮像装置により撮影されたお互いの姿を確認しながら、マイク及びスピーカーを介して音声を交換できる遠隔会議システムが提案されているが、ビデオカメラから各メンバまでの距離が異なるため、ビデオカメラの撮影対象となるメンバの位置によって、モニタ上に表示されるメンバの映像の大きさが異なり不自然さがあった。そこで、ビデオカメラで撮影された動画画像の一部をトリミングして、メンバを一定のサイズで表示できるようにトリミングする手法を提案したものがある（例えば、特許文献１など）。
特開２００３−１１１０４１公報

しかしながら、特許文献１のように、遠隔会議システムで撮影された画像をトリミングする場合には、撮影される人物の位置はおおよそ決まっているので撮影された人物が中心にくるようにトリミングをすることはできるが、撮影したシーンの状況がわかるように、人物の周囲にある撮影したシーンを特徴付けるものを入れてトリミングを行うことはできない。

ビデオカメラで撮影した場合には動いている人物などを撮影することが多く、トリミングする際には人物が動いている周囲の状況がわかるように、例えば、人物と一緒に動いているボールなど周囲のものも仕上げ画像に含まれるようにトリミングすることが望まれる。

そこで、本発明は動画画像をトリミングする際に、動いている人物とその周囲の状況がわかるようなトリミングを行う画像トリミング装置、画像トリミング方法およびそのプログラムを提供することを目的とするものである。

本発明の画像トリミング装置は、人物を撮影して得られた動画画像を記憶する記憶手段と、
前記動画画像の注目フレームから前記人物の顔を撮影した顔領域を抽出する顔領域抽出手段と、
前記顔領域が動いた動きベクトルを取得する動きベクトル取得手段と、
前記動きベクトルの向きに応じた、前記顔領域を含むトリミング枠を前記注目フレーム上に設定するトリミング手段とを備えたことを特徴とするものである。

また、本発明の画像トリミング方法は、人物を撮影して得られた動画画像を記憶する記憶ステップと、
前記動画画像の注目フレームから前記人物の顔を撮影した顔領域を抽出する顔領域抽出ステップと、
前記顔領域が動いた動きベクトルを取得する動きベクトル取得ステップと、
前記動きベクトルの向きに応じた、前記顔領域を含むトリミング枠を前記注目フレーム上に設定するトリミングステップとを備えたことを特徴とするものである。

また、本発明のプログラムは、コンピュータを、
人物を撮影して得られた動画画像を記憶する記憶手段と、
前記動画画像の注目フレームから前記人物の顔を撮影した顔領域を抽出する顔領域抽出手段と、
前記顔領域が動いた動きベクトルを取得する動きベクトル取得手段と、
前記動きベクトルの向きに応じた、前記顔領域を含むトリミング枠を前記注目フレーム上に設定するトリミング手段として機能させることを特徴とするものである。

「動きベクトル」とは、物体が動いたことにより、フレーム間で変化の現れた部分の動きを表すベクトルをいい、注目フレームの前後に存在する注目フレームと比較することによって得られる。

また、トリミング手段が、前記注目フレームから前記動きベクトルと略同じ方向と同じ量動いた領域を注目領域とし、該注目領域および前記重要顔領域を含むようにトリミング枠を設定するものであってもよい。

また、トリミング手段が、前記重要顔領域の位置より該顔領域の動きベクトルが向いている方向に存在する領域が、該顔領域の動きベクトルが向いている方向の反対に存在する領域より多く含まれるようにトリミング枠を設定するものであってもよい。

また、画像トリミング装置に、前記顔領域内の顔の向きを検出する顔方向検出手段をさらに備えものとし、
前記トリミング手段が、前記顔の向き及び前記動きベクトルの組み合わせに応じて、前記顔領域の位置を基準に所定の範囲の画像を含むようにトリミング枠を設定するものであってもよい。

さらに、画像トリミング装置が、前記抽出された顔領域のうち注目する顔領域を判定する注目顔領域判定手段をさらに備えるものであって、
前記動きベクトル取得手段が、前記注目する顔領域から動きベクトルを取得し、
前記トリミング手段が、前記顔領域のうち注目する顔領域を用いてトリミング枠を設定するものでであってもよい。

本発明によれば、動画画像から人物の顔を撮影した顔領域を抽出し、その顔領域の動きベクトルを取得して、顔領域と動きベクトルの向きに応じて、トリミング枠を設定することにより、撮影した動画像中の人物の動きに応じて撮影シーンを特徴付ける画像部分を仕上げ画像に入れるようなトリミングを行うことができる。

顔領域の動きベクトルと略同じ方向と同じ量動いた領域と顔領域とを含むようにトリミング枠を設定することにより、撮影した人物と一緒に動いているものを仕上げ画像に入れるようなトリミングを行うことができる。

顔領域の位置より顔領域の動きベクトルが向いている方向に存在する領域多く含まれるようにトリミング枠を設定することにより、人物が追いかけているものや人物の近づこうとしているものなどを一緒に入れて撮影したシーンの特徴を入れた画像に仕上げることができる。

顔の向き及び前記動きベクトルの組み合わせに応じて、顔領域の位置を基準に所定の範囲の画像を含むようにトリミング枠を設定することにより、人物が見ているものとその人物の動きとを考慮したトリミングを行うことができる。

撮影した画像中から注目する顔領域を判定することによって、撮影の中心となる人物に注目したトリミングを行うことができる。

以下、図面を参照して本発明による画像トリミング装置の実施の形態について説明する。本実施形態の画像トリミング装置は、トリミングの機能を有するソフトウェアがインストールされたパソコンなどで構成される。図１は本発明の実施形態による画像トリミング装置の概略ブロック図である。

図１に示すように、画像トリミング装置１は、人物を撮影して得られた動画画像を記憶する記憶手段１０と、動画画像の注目フレームから人物の顔を撮影した顔領域を抽出する顔領域抽出手段１１と、抽出された顔領域の中から注目する顔領域を判定する注目顔領域判定手段１２、顔領域が動いた動きベクトルを取得する動きベクトル取得手段１３と、顔領域内の顔が向いている方向を検出する顔方向検出手段１４と、トリミング枠を注目フレーム上に設定するトリミング手段１５とを備える。

動画画像Pは、デジタルビデオカメラなどで撮影された連続した複数のフレームからなる。また、この複数のフレームの中の一つのフレームを注目フレームとして、トリミングが行なわれる。

記憶手段１０は、ＲＡＭ等からなるメモリである。この記憶手段１０には、インターフェース（不図示）を介して読み込まれた動画画像Pが記憶される。

顔領域抽出手段１１は、記憶手段１０に記憶されている動画画像Pの注目フレームから顔領域を抽出する。具体的には、例えば、肌色領域を顔の候補となる領域とし、この肌色領域を顔パターンと照合して肌色の領域が顔領域であるか否かを判定する。顔の候補となる肌色領域の検出方法としては、ＨＳＶ色空間での検出方法がある。これは、肌色画素のＨ成分(色相)とＳ成分(彩度)がＨＳＶ色空間のＨ−Ｓ平面上における特徴を利用して検出する。具体的には、ＲＧＢ（Red Green Blue）形式等で表された撮影画像PをＨＳＶ表色系に変換して、ＨＳＶ色空間にて肌色画素を検出し、隣接する肌色画素同士を連結することで、肌色領域を形成して行く。

次に、検出された肌色領域が顔領域かどうかを判定する。事前に用意された向き別の複数の顔パターンと照合することで判定を行う。まず、肌色画素同士を連結することで検出された顔の候補領域を顔パターンの寸法にあわせるように拡大／縮小したうえで、顔パターンとの相関度を求める。そして、顔パターンのうちのいずれかの相関度が予め決められた閾値以上の相関度を持つ顔の候補領域を顔領域であると判定する。複数の肌色領域が存在する場合には、各肌色領域が顔領域であるか否かを判定することで複数の顔領域を検出することができる。

注目顔領域判定手段１２は、注目フレームから抽出した各顔領域の位置、大きさ、あるいはこれらの組み合わせから、トリミングの際に注目する顔領域を判定する。通常は、撮影画像Pの中心付近に撮影の中心となる人物が存在するように撮影が行なわれるが、複数検出された顔領域の中には、注目する人物と一緒に撮影されただけであって、撮影者が撮影の対象としていない顔も含まれている。例えば、撮影画像Pの画像端の方に撮影されているものや、中心付近に存在する顔領域と比較すると非常に小さいものは、撮影対象ではない場合が多い。そこで、中心付近に存在するか否かや、顔の大きさなどに基づいて注目する顔領域を判定する。

顔領域が撮影画像Pの中心付近に存在するか画像端の近傍に存在するかは、例えば、複数抽出された顔領域の中心点と注目フレームの中心点との距離を比較して、注目フレームの中心点から相対的に近い位置にある顔領域が中心付近に存在する顔領域であると判定しても良いが、画像端から所定の範囲、例えば画像端と注目フレームの中心点を結ぶ線分を４等分した画像端側１/４の範囲にあるものは画像端の近傍に存在する画像であると判定し、この範囲以外の画像は中心付近に存在する画像であると判定するようにしても良い。さらに、複数の顔領域の相対位置と、注目フレームの中心点や画像端から所定の範囲内に存在しているか否かを組み合わせて中心付近に存在する画像であるか、画像端の近傍に存在する画像であるかを判定するようにしても良い。

動きベクトル取得手段１３は、注目する顔領域の動きを、注目フレームとその前後に存在するフレームとの違いから、注目フレーム内の動きを動きベクトルとして取得する（図２参照）。動きベクトルは、前後フレームのどちらか一方と注目フレームとに基づいて求めたものであってもよいし、前後フレームの両方と注目フレームとに基づいて求めたものであってもよい。あるいは、注目フレームに隣接するフレームでなくとも、注目フレームに近接するフレームから動きベクトルを求めたものでもよい。

MPEGなどで動画画像の圧縮符号化を行う際には、高い圧縮効率を得るために、動画の隣接するフレーム（現在とその前後のフレーム）は良く似ていることを利用して、フレーム間予測がおこなわれている。フレーム間予測では、前のフレームから現在のフレームを予測することが行われており、２つのフレームの画像間の差分(誤差)画像を動きベクトルとして符号化し、この動きベクトルを用いて前のフレームから動きベクトルの分だけ画像をずらして現在のフレームが生成する動き補償が行なわれている。この動き補償を行うためには、画像の動き量を推定する動きベクトルを探索(ME: Motion Estimation)し、動画画像Pを符号化する時に、動きベクトル(MV: Motion Vector)も同時に符号化して記録される。また、カメラがパンした場合を除くとフレーム全体が同一方向に動く場合は少なく、フレーム内では撮影された物体により動きが異なるので、フレームを複数の領域に分割し、小領域毎に動き補償が行なわれる。例えば、MPEGでは、16×16画素単位の矩形ブロック(マクロブロック、Macroblock)毎に、動きベクトルが符号化されている。そこで、MPEGなどの方式で記録されている動画画像Pを用いる場合には、注目する顔領域に該当する矩形ブロックの動きベクトルを用いることができる。

あるいは、動画画像Pの注目フレームとその前後に存在するフレームの差分画像を生成して、注目する顔領域の動きベクトルを取得するようにしてもよい。

顔方向検出手段１４は、抽出された顔領域内の画像から顔が向いている方向を検出する。具体的には、図３に示すように、例えば顔領域の中心点C2を求め、中心付近に存在する円形の形状を人物の目として抽出し、両目間を結んだ線分の中心点C１を求める。さらに、顔領域の中心点C２と両目の中心点C１を結ぶ線分と、点C１を通る両目を結ぶ線分の垂線とが成す角度θで顔の方向を検出する。この角度θから顔が右を向いているか、左を向いているか、あるいは、正面を向いているかを判定することができる。あるいは、人物の目が１つしか検出できない場合や、目が１つも検出できない場合には横を向いているか後ろを向いていると判定するようにしても良い。顔領域が複数存在する場合は、それぞれについて判定する。

トリミング手段１５は、注目する顔領域と、その顔領域の動きベクトルからトリミング範囲を決定してトリミング枠を設定する。例えば、図４に示すようにサッカーをしている人物を撮影したシーンでは、人物の移動している方向とほぼ同じ方向に同じ速さで動いているボールが、撮影したシーンを特徴づけるものである可能性が高い。あるいは、二人の人物が一緒に撮影されている場合、二人の動いている方向と速さが同じであれば、この二人は一緒に行動しているシーンを撮影した可能性が高い。そこで、トリミング手段１５は、動きベクトルと略同じ方向に略同じ量動いた領域を注目領域とし、この注目領域と注目する顔領域とがトリミング枠内に入るように設定する。

また、人物の移動している方向とボールが移動している方向が同じ方向でない場合にあっても、人物の移動している方向の先に、止まっているボールや人物に向かってきたボールなどそのシーンを特徴付ける画像部分が存在する場合がある。そこで、トリミング手段１５では、注目する顔領域の位置よりこの顔領域の動きベクトルが向いている方向に存在する領域が、注目する顔領域の動きベクトルが向いている方向の反対に存在する領域より多く含まれるようにトリミング枠を設定するようにしてもよい。

あるいは、人物の顔が向いている方向に、その人物が見つめている対象物が存在する場合が多く、その対象物がそのシーンを特徴付ける画像部分が存在する可能性が高い。そこで、トリミング手段１５では、顔の向きと動きベクトルの組み合わせからシーンを特徴付けるものが入るように、トリミング枠内に入れる画像の範囲を決めるようにしてもよい。例えば、顔が向いている方向と動きベクトルの方向がほぼ同じ方向であれば、おもに動きベクトルだけからトリミングする範囲を決めてもよいが、顔の向いている方向が右上を向いて、動きベクトルが右下を向いている場合にはトリミング枠内に入る画像を上下に広げるようにする。あるいは、顔の向いている方向と動きベクトルが反対を向いている場合には、上述の動きベクトルに基づいてトリミング枠を設定した後に、トリミング枠内の顔が向いている方向に存在する領域を増やすようにトリミング枠を動かしてもよい。

次に、本実施の形態の画像トリミング装置１を用いて、動画画像Pの内の注目フレームのトリミングするときの処理の流れについて図５のフローチャートに基づいて、MPEGで記録されているサッカーのシーンを撮影した撮影画像Pをトリミングする場合を例に、具体的に説明する。

MPEG形式の撮影画像Pを、画像トリミング装置２の入力手段を介してメモリ（記憶手段１０）に読み込む（S100）。ユーザは、ディスプレイ上に読み込んだ撮影画像Pの複数のフレームを図２のように表示し（S101）、撮影画像Pの中から注目する注目フレームを選択する（S102）。

顔領域抽出手段１１で注目フレームから顔領域を抽出する（S103）。顔領域が１つしか検出されない場合にはそれを注目する顔領域とするが、複数の顔領域が抽出された場合には、注目顔領域判定手段１２を用いて注目する顔領域の判定を行う(S104)。図４の例では、注目フレークの中心付近に存在し、他の顔領域より大きさの大きい顔領域を注目する顔領域（枠で囲んだ領域）とする。そこで、動きベクトル取得手段１３で、MPEGで記録されている注目フレームから顔領域に該当する矩形ブロックの動きベクトルを取得する（S105）。

次に、顔領域と同程度の動きベクトルを持っている矩形ブロックを探す。この顔領域と同程度の動きベクトルを持つ矩形ブロックに該当する画像部分は、注目する人物（顔領域）と同期して移動しているものが撮影された矩形ブロックであると推測できる。そこで、トリミング手段１５は、顔領域と、顔領域と同程度の動きベクトルを持っている画像部分を注目領域とがトリミング枠内に収まるようにトリミング枠を設定する。また、トリミング枠を大きさは、注目する人物の大きさが所定の割合になるように決めればよい。具体的には、顔領域の大きさが所定の割合になるようにしてもよいし、顔領域につながる同じ動きベクトル持つ領域を人物の領域とし、この人物の領域の大きさが所定の割合になるようにしてもよい。

あるいは、顔領域の位置より、この顔領域の動きベクトルが向いているほうに存在する領域が多く含まれるように、顔領域の動きベクトルの向きと大きさに応じて、顔領域の位置を基準にトリミング枠内に含まれる領域の左右の割合と上下の割合を予め決めておき、取得された動きベクトルに応じてトリミング枠を設定するようにしてもよい。

あるいは、取得された動きベクトルに応じてトリミング枠を設定した後、顔の向きに応じて、トリミング枠を移動させるようにしてもよい。

トリミング枠は、上述で説明したいずれかの方法で設定してトリミングを行うようにすればよい(S106)。また、仕上げ画像を生成する前に、トリミング枠のみを表示して、マウスなどのポインティングデバイスを用いて、ユーザが好みに合うように枠を広げることができるようにしてもよい。

上述では、複数顔領域が存在する場合には、注目する顔画像を判定して注目する顔領域の動きベクトルをみて、トリミング枠を設定する方法を説明したが、最初に検出された顔領域を基準にして、その顔領域の動きベクトルを取得してトリミング枠を設定するようにしてもよい。

あるいは、検出した顔全てについて、夫々の顔領域を基準にトリミング枠を設定し、仕上がりのトリミング画像からどの顔領域を基準にしたトリミングを行うのかをユーザに選択させるようにしてもよい。

また、上述では、顔領域の動きベクトルと同程度の動きベクトルを持つ領域、顔領域の動きベクトルの向き、顔の向きおよび動きベクトルの向きのいずれかの条件に基づいて、トリミング枠を決める場合について説明したが、顔領域の動きベクトルと同程度の動きベクトルを持つ領域と顔領域がトリミング枠内に含まれるようにするとともに、顔領域の動きベクトルが向いているほうが多くなるようにトリミング枠を決めたり、顔領域の動きベクトルと同程度の動きベクトルを持つ領域と顔領域がトリミング枠内に含まれるようにするとともに、動きベクトルと顔の向きに応じて顔領域の位置を基準としたトリミング枠に含める領域の割合を変えるようにしたりするなど、複数の条件に基づいてトリミング枠を設定するようにしてもよい。

以上詳細に説明したように、顔領域とその動きベクトルに基づいてトリミング枠を設定することにより、撮影したシーンを特徴付ける画像部分を含むようにトリミングを行うことができる。

画像トリミング装置の概略ブロック図 動画画像の一例 顔の向きを検出する方法を説明するための図 トリミングの基準となる顔領域を表す図 画像トリミング装置の動作を表したフローチャート トリミング枠を設定したフレームの一例

符号の説明

１ 画像トリミング装置
１０ 記憶手段
１１ 顔領域抽出手段
１２ 注目顔領域判定手段
１３ 動きベクトル取得手段
１４ 顔方向検出手段
１５ トリミング手段
P 動画画像

Claims (7)

1. 人物を撮影して得られた動画画像を記憶する記憶手段と、
   前記動画画像の注目フレームから前記人物の顔を撮影した顔領域を抽出する顔領域抽出手段と、
   前記顔領域が動いた動きベクトルを取得する動きベクトル取得手段と、
   前記動きベクトルの向きに応じた、前記顔領域を含むトリミング枠を前記注目フレーム上に設定するトリミング手段とを備えたことを特徴とする画像トリミング装置。
2. 前記トリミング手段が、前記注目フレームから前記動きベクトルと略同じ方向と同じ量動いた領域を注目領域とし、該注目領域および前記顔領域を含むようにトリミング枠を設定することを特徴とする請求項１または２記載の画像トリミング装置。
3. 前記トリミング手段が、前記顔領域の位置より該顔領域の動きベクトルが向いている方向に存在する領域が、該顔領域の動きベクトルが向いている方向の反対に存在する領域より多く含まれるようにトリミング枠を設定することを特徴とする請求項１から３いずれか記載の画像トリミング装置。
4. 前記顔領域内の顔の向きを検出する顔方向検出手段をさらに備え、
   前記トリミング手段が、前記顔の向き及び前記動きベクトルの組み合わせに応じて、前記顔領域の位置を基準に所定の範囲の画像を含むようにトリミング枠を設定することを特徴とする請求項１または２記載の画像トリミング装置。
5. 前記抽出された顔領域のうち注目する顔領域を判定する注目顔領域判定手段をさらに備え、
   前記動きベクトル取得手段が、前記注目する顔領域から動きベクトルを取得し、
   前記トリミング手段が、前記顔領域のうち注目する顔領域を用いてトリミング枠を設定するものであることを特徴とする請求項１から４いずれか記載の画像トリミング装置。
6. 人物を撮影して得られた動画画像を記憶する記憶ステップと、
   前記動画画像の注目フレームから前記人物の顔を撮影した顔領域を抽出する顔領域抽出ステップと、
   前記顔領域が動いた動きベクトルを取得する動きベクトル取得ステップと、
   前記動きベクトルの向きに応じた、前記顔領域を含むトリミング枠を前記注目フレーム上に設定するトリミングステップとを備えたことを特徴とする画像トリミング方法。
7. コンピュータを、
   人物を撮影して得られた動画画像を記憶する記憶手段と、
   前記動画画像の注目フレームから前記人物の顔を撮影した顔領域を抽出する顔領域抽出手段と、
   前記顔領域が動いた動きベクトルを取得する動きベクトル取得手段と、
   前記動きベクトルの向きに応じた、前記顔領域を含むトリミング枠を前記注目フレーム上に設定するトリミング手段として機能させるプログラム。