JP2010268163A - 映像処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 処理対象の映像から部分画像を切り出して、映像の性質に合わせて適切な仮想カメラワークを実現するための技術を提供する。
【解決手段】 画像から複数の部分画像を切り出して出力する画像処理装置は、オブジェクトを含む処理対象の画像を記憶手段から読み出す読出手段と、前記処理対象の画像から前記オブジェクトのオブジェクト領域を取得する取得手段と、前記取得したオブジェクト領域の分布状況を分析する分析手段と、前記オブジェクト領域の分布状況に基づいて、前記処理対象の画像から部分画像を切り出すための切り出し手法を決定する決定手段と、前記決定した切り出し手法を用いて、前記処理対象の画像から部分画像を切り出す切出手段と、を備える。
【選択図】 図１

Description

本発明は映像処理技術に関し、特に映像に仮想カメラワークを自動で付与する技術に関する。

近年、デジタルスティルカメラやデジタルビデオカムコーダの普及により、静止画像や映像の撮影が頻繁に行われている。さらに、記憶容量の大容量化に伴い、そのコンテンツ数は急激に増大している。一方、これらのコンテンツを視聴するには、スライドショーや映像の再生によりディスプレイ装置に全画面表示することが行われてきた。

コンテンツ数の増大に伴い、自動で出力映像の編集を行い、視聴する環境が強く求められている。このため、最近、一部のスライドショーにおいて、画像の一部を複数切り出して、切り出した順に映像として表示させることで、静止画ながら動きのある動画のように視聴する表示効果が用いられるようになった。

しかしながら、その表示効果は画一的なものが多く、視聴者の多くを満足するには至っていない。また、動画の編集には特殊な技能や多大な時間を要する。動画のフレーム毎に切り出し領域を自動で決定して、より劇的な映像効果を奏する映像再生を行う編集装置も知られているが、実際には視聴者が望むような編集が行えていない。特に、映像にあまり変化のない区間に対しては編集に使用するための手がかりとなる情報がなく、視聴者は退屈な視聴を強いられてしまう。

例えば、特許文献１の構成では、蓄積された映像の空間領域を切り出して仮想カメラワークを付与する編集において、フレームアウトしない、所定解像度以上、切り出し領域の移動が所定の速度以内などの制限を設けて、切り出し領域を決定している。切り出し領域の決定は画像特徴量、音声特徴量、その他の映像再生や映像配信に係るメタデータを用いて行っている。特に、画像特徴量はオブジェクトの存在する領域を用いている。

また、特許文献２では、静止画スライドショーにおいて、被写体人数および顔サイズを特定し、被写体人数が閾値をよりも多い場合、任意の人数以下になるように複数の領域を切り出して出力する構成が記載されている。

特許第０３７９３１４２号公報 特開２００６−３０９６６１号公報

しかしながら、特許文献１の構成では、映像の内容によって、特に被写体の動きがほぼ静止している場合などは、切り出す空間領域が一定となってしまい抑揚のない映像再生が強いられる。また、特許文献２では、ズーミング、パンニング、チルティングのような自然なカメラワークにならないだけでなく、画像の連続性が損なわれてしまう。例えば、被写体が整列している画像に特許文献２の表示手法を適用すると、被写体の順序関係が表示画像から把握しづらくなってしまう。

本発明は上記課題に鑑みなされたものであり、処理対象の映像から部分画像を切り出して、映像の性質に合わせて適切な仮想カメラワークを実現するための技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、
画像から複数の部分画像を切り出して出力する画像処理装置であって、
オブジェクトを含む処理対象の画像を記憶手段から読み出す読出手段と、
前記処理対象の画像から前記オブジェクトのオブジェクト領域を取得する取得手段と、
前記取得したオブジェクト領域の分布状況を分析する分析手段と、
前記オブジェクト領域の分布状況に基づいて、前記処理対象の画像から部分画像を切り出すための切り出し手法を決定する決定手段と、
前記決定した切り出し手法を用いて、前記処理対象の画像から部分画像を切り出す切出手段と、
を備える。

本発明によれば、処理対象の映像から部分画像を切り出して、映像の性質に合わせて適切な仮想カメラワークを実現するための技術を提供することができる。

映像処理装置の機能構成例を示すブロック図。 映像処理装置が実行する処理の手順例を示す処理フロー図。 映像処理装置が実行する処理の手順例を示す処理フロー図。 オブジェクトの分散の度合いを分析する処理の例を示す模式図。 仮想カメラワークの一例を示す模式図。 仮想カメラワークの一例を示す模式図。 仮想カメラワークの一例を示す模式図。 映像処理装置の機能構成例を示すブロック図。 仮想カメラワークの一例を示す模式図。 映像処理装置が実行する処理の手順例を示す処理フロー図。 映像処理装置の機能構成例を示すブロック図。 映像処理装置が実行する処理の手順例を示す処理フロー図。 映像処理装置が実行する処理の手順例を示す処理フロー図。 映像処理装置のハードウェア構成例を示すブロック図。

＜＜第１の実施形態＞＞
（映像処理装置のハードウェア構成）
まず、本実施形態に係る映像処理装置（画像処理装置）のハードウェア構成について、映像処理装置のハードウェア構成例を示す図１４を参照して説明する。尚、本実施形態に係る映像処理装置は、例えば、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）、携帯情報端末（ＰＤＡ）等で実現される。

図１４において、９９０はＣＰＵである。ＣＰＵ９９０は、後述するハードディスク装置９９５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ９９２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。

９９１はＲＯＭであり、内部には基本Ｉ／Ｏプログラム等のプログラム、基本処理において使用するフォントデータ、テンプレート用データ等の各種データを記憶する。９９２は各種データを一時記憶するためのＲＡＭであり、ＣＰＵ９９０の主メモリ、ワークエリア等として機能する。

９９３は記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）９９４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア９９４には、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が含まれる。

９９５は外部記憶装置であり、本実施形態では大容量メモリとして機能するハードディスク装置（以下、ＨＤと呼ぶ）を用いている。ＨＤ９９５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。

９９６は指示入力装置であり、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。指示入力装置９９６を用いて、ユーザは、本実施形態に係る映像処理装置に対して、装置を制御するコマンド等を入力指示する。９９７はディスプレイであり、指示入力装置９９６から入力されたコマンドや、それに対する映像処理装置の応答出力等を表示したりするものである。

９９９はシステムバスであり、映像処理装置内のデータの流れを司るものである。９９８はインターフェイス（以下、Ｉ／Ｆという）であり、このＩ／Ｆ９９８を介して外部装置とのデータのやり取りを行う。

尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。後述する各動作は、ＲＯＭ９９１等のコンピュータ読み取り可能な記憶媒体に格納されたプログラムをＣＰＵ９９０が実行することにより実行される。

（映像処理装置の機能構成）
本実施形態の構成では、処理対象の画像からオブジェクト領域を取得して、オブジェクト領域の分布状況を分析し、この分布状況に基づいて、処理対象の画像から部分画像を切り出すための切り出し手法を決定する。このため、画像の性質に合わせて仮想フレームワークを適切に実現することができる。

図１は、本実施形態に係る映像処理装置の機能構成例を示す図である。図１において、１０１は、オブジェクトを含む処理対象の画像（画像データ）が蓄積された記憶部である。本実施形態は、便宜上、記憶部を映像処理装置の機能構成とし、この記憶部から画像データを読み出す読出処理を行うが、ファイルサーバ等の他の装置内に記憶された画像データを通信回線を介して取得しても構わない。

１０２は、画像内のオブジェクトのオブジェクト領域、例えば、オブジェクトの位置および大きさを取得する物体領域取得部である。オブジェクトとは例えば顔や自動車などの物体のことであり、例えば、一般的に顔検知やオブジェクト検知等のモジュールによって画像内のオブジェクトの位置や大きさを解析することが可能である。本実施形態では、一連の処理の中でオブジェクトの位置および大きさを解析して取得する。ただし、オブジェクトの位置・大きさの取得法はこれに限られず、例えば、予め生成されたメタ情報を読み出して取得してもよい。

１０５は画像内に存在する全てのオブジェクトの位置と大きさからオブジェクト領域の分布状況を分析し、オブジェクトの分布情報を取得する物体分布情報取得部である。分布情報は、例えば、画像を格子状に分割し、各領域にオブジェクトが存在するか否かによりオブジェクトの分散の度合い（ばらつきの大きさ）を演算した結果に代表される情報である。後述するように、本実施形態では、分布情報は、オブジェクト領域の分布を近似する直線と前記オブジェクト領域との距離の分布を示す統計量で与えられる。ただし、後述する後段の処理のために画像内の全てのオブジェクトの位置および大きさを管理した情報であってもよい。

本実施形態では、１０３〜１０６の各機能要素によって、オブジェクト領域の分布状況に基づいて、処理対象の画像から部分画像を切り出すための切り出し手法（切り出し方法）を決定する。このため、オブジェクト領域の分布状況に合わせて適切な切り出し手法を自動的に選別して、部分画像を切り出す切出処理を行うことができる。以下、これらの各機能要素について説明する。

１０３は、オブジェクトの分布情報からオブジェクトの分布を直線に近似する近似部である。直線の近似方法は、例えば、最小二乗法により直線を求めることが一般的に広く知られている。さらに、最小二乗法を応用してオブジェクトの大きさも加味した加重平均で直線を求めることも有効である。いずれにしても、直線への近似方法はこれらに限定されない。

１０４は、直線とオブジェクトの位置との偏差からオブジェクトの分散の度合い（大きさ）を計算する計算部である。偏差を求める方法には、直線とオブジェクトの中心位置の乖離している距離で求める方法や、オブジェクト毎の最も直線に近い領域で求める方法などがあるが、その方法は問わない。分散の度合いを求める方法にも、画像内のオブジェクトの中で最も直線から離れているオブジェクトまでの距離を用いる方法や、直線と全てのオブジェクトの距離を用いて標準偏差を求める方法などがあるが、その方法は問わない。

図４は、これまで説明した画像内のオブジェクトとオブジェクトの分布を近似した直線、および直線とオブジェクトまでの距離の関係を例示した模式図である。４１０（図４（ａ））、４２０（図４（ｂ））、４３０（図４（ｃ））は同一の画像であり、便宜上、それぞれの関係を示すために分けて図示した。４１１〜４１５、４２１〜４２５、４３１〜４３５は、それぞれ画像内に存在するオブジェクトであり、下一桁が同じものは同一のオブジェクトを示している。図から分かるとおり、画像内に５個のオブジェクトが存在している。４２０および４３０上に示した破線直線４２６および４３６は、最小二乗法で求めたオブジェクトの分布を近似した直線であり、画像表示上では視認できない。４３０上に示した両方向矢印４３１−１〜４３５−１は、直線からオブジェクトの中心までの距離を示しており、この距離の値を用いて分散の度合い（大きさ）を計算することができる。

図１の説明に戻る。１０６は、オブジェクトの分散の度合いに応じて、境域を切り出す方法を選択する切り出し方法選択部である。例えば、舞台でのコーラスの発表を撮影したデジタルフォトのように、顔が一列又は複数列に帯状に並ぶようなオブジェクトの分散の度合いが小さい場合、各オブジェクトを順に仮想的なカメラでパンニングするような領域切り出し方法が選択される。

図５は、上記の仮想カメラワークの具体例を説明する図である。５００（図５（ａ））は画像全体であり、仮想カメラワークを説明するために、５００と同一の画像を５１１〜５１９（図５（ｂ）〜図５（ｊ））にも示した。５０１〜５０５は画像５００および５１１〜５１９に存在するオブジェクトである。破線直線で示した５０６は、オブジェクト５０１〜５０５の分布を近似した直線であり、画像データに存在するものではなく、便宜上、示したものである。５０１−１〜５０５−１はオブジェクトの分散の度合いを求めるために用いるオブジェクト５０１〜５０５と直線５０６までの距離をそれぞれ示したものである。このような分散の度合いが少ない場合、オブジェクト５０１〜５０５をパンニングしながらそれぞれを大きく表示するような切り出し方法に決定される。

図１の説明に戻る。１０７は、切り出し方法選択部１０６において選択された切り出し方法を用いて、オブジェクトの位置および大きさを用いて複数の切り出し領域を決定する切り出し領域決定部である。領域の切り出し方法は、複数の切り出す領域における各々の中心点を決定するために用いる。また、オブジェクトの位置および大きさは切り出し領域内にオブジェクトが収まるように切り出し領域を決定するために用いる。

図５を用いて具体的に説明する。５１１（図５（ｂ））上に示した破線直線５０７は、パンニングによる仮想カメラワークのカメラアングルの中心点の軌跡、すなわち、複数の切り出し領域の中心点を線で繋いだものである。明示していないが５１２〜５１９（図５（ｂ）〜図５（ｊ））上の破線直線も同一のものである。これは分布を近似した直線５０６と同一のものでも構わないし、オブジェクトの大きさ等による重み付けを行った別の直線でも構わない。

５１１〜５１９上に示した５１１−２〜５１９−２はそれぞれ切り出し領域を示している。この中で５１１−２が最初に出力される仮想カメラワークの始点である。始点の決定は特定の方法で行う必要はないが、便宜上、本実施形態では画像内の最も左にあるオブジェクトを含む領域を始点とした。５１１−２から順に５１９−２まで破線直線５０７に沿って切り出し領域が決定される。

切り出し領域の大きさは、オブジェクトとカメラアングルの中心点が最も近付いた際にオブジェクトが切り出し領域内に含まれるように設定することが望ましい。また、切り出す領域の数により切り出し領域毎の中心点の変位が変わるが、切り出す領域の数は仮想カメラワークを施す時間や出力する際のフレームレートによって決定される。さらには、仮想カメラワークが加減速するようなパンニング速度が非線形に変化する場合はこれも加味する必要がある。また、パンニングの始点の切り出し領域までは、オブジェクト全体を含む切り出し領域からズームインする仮想カメラワークのように複数の領域を切り出し、逆に終点からはズームアウトする仮想カメラワークのように複数の領域を順次切り出してもよい。

図１の説明に戻る。１０８は、決定した切り出し領域を画像から切り出す切り出し部である。１０９は、切り出した領域を表示画面や動画データとして出力する画像出力部である。１０８および１０９は一連の処理の中で時間的に連続する必要はなく、決定した切り出し領域の情報を中間ファイルとして保存し、この中間ファイルを用いて、後に処理しても構わない。さらには、中間ファイルを用いて別の装置で領域の切り出し処理および領域の出力処理を行ってもよいことは言うまでもないが、便宜上、本実施形態の機能構成とした。

（映像処理）
図２は、本実施形態に係る映像処理装置が実行する映像処理の開始から終了までの処理の一例を示すフロー図である。まず、画像内のオブジェクトの位置および大きさを取得する（Ｓ２０１）。取得にあたっては、前述のとおり、オブジェクト解析を用いても、既に解析された位置および大きさのメタ情報を読み出しても構わない。次に、取得したオブジェクトの位置および大きさからオブジェクトの分布情報を取得する（Ｓ２０２）。次に、取得した分布情報に応じて画像から複数の領域を切り出す方法を選択する（Ｓ２０３）。次に、選択された領域を切り出す方法に従ってオブジェクトの位置および大きさから切り出し領域を決定する（Ｓ２０４）。次に、決定した切り出し領域を順次切り出す（Ｓ２０５）。次に、複数の切り出した領域を順次出力して（Ｓ２０６）、処理を終了する。

図３は、図２におけるＳ２０３、Ｓ２０４の詳細な処理の一例を示す処理フロー図である。Ｓ３０１〜Ｓ３０４、Ｓ３１４の処理がＳ２０３に対応し、Ｓ３０５、Ｓ３０６、Ｓ３１５、Ｓ３１６の処理がＳ２０４に対応する。

まず、分布情報からオブジェクトの分布を直線で近似する（Ｓ３０１）。次に、近似したオブジェクトの分布を示す直線とオブジェクトの距離からオブジェクトの分散の度合い（ばらつき大きさ）を計算する（Ｓ３０２）。計算した分散の度合いが所定の値（予め定めた値）よりも小さいか否かを判定して、以下の処理を選択する（Ｓ３０３）。分散の度合いが所定の値より小さい場合（Ｓ３０３でＹＥＳ）はＳ３０４に進み、分散の度合いが所定の値以上の場合（Ｓ３０３でＮＯ）はＳ３１４に進む。このように、本実施形態では、処理が複雑でないオブジェクト領域の分布のばらつきの大きさに基づいて部分画像の切り出し手法を決定するため、実装が容易である。

Ｓ３０４では、パンニングのような仮想カメラワークになるように切り出し方法を選択する。次に、パンニングの際のカメラアングルの中心点の軌道および移動速度を決定する（Ｓ３０５）。次に、決定したカメラアングルの中心点とオブジェクトの位置および大きさを用いて切り出し領域を決定する（Ｓ３０６）。パンニングのような仮想カメラワークになる切り出しの例は図５を参照して前述している。そして、図３の処理を終了する。

一方、分散の度合いが所定の値以上の場合のＳ３１４では、各オブジェクトにズームインして、オブジェクト全体を含むようにズームアウトするような仮想カメラワークを繰り返すような切り出し方法に決定する。本実施形態では、このような切り出し手法を各オブジェクトに対してカメラチェンジするための切り出し手法と呼ぶ。。次に、ズームするオブジェクトの順序を決定する（Ｓ３１５）。次に、複数の切り出し領域各々の大きさを決定する（Ｓ３１６）。そして、図３の処理を終了する。

●分散が大きい場合の動作例１
既に分散の度合い（大きさ）が小さい場合（パンニングする場合）の切り出し領域については、（映像処理装置の機能構成）で図５を参照して説明した。同様に、図６を用いて分散の度合いが所定の値より大きい場合の切り出し領域に関して補足する。図６は分散の度合いが所定の値より大きい場合の切り出し領域の一例を示した図である。

６００（図６（ａ））は画像領域全体である。６１１〜６２５（図６（ｂ）〜図６（ｐ））は６００に示した同一の画像領域全体であるが切り出し領域の説明にあたり、便宜上、複数示した。６０１〜６０５は画像上に存在するオブジェクトである。６００上に示した破線直線６０６は、オブジェクトの分布を近似した直線であり、画像データには含まれないが便宜上明示した。６０１−１〜６０５−１は、オブジェクト６０１〜６０５とオブジェクト分布を近似した直線６０６との距離である。

図６のように、オブジェクトの分布を近似した直線とオブジェクトの位置との偏差が大きく、分散の度合い（大きさ）が大きな場合、パンニングのような仮想カメラワークではカメラアングルの軌跡が複雑な曲線を描くため、視聴するに耐えない。そこで、各オブジェクトに対してカメラチェンジするような仮想カメラワークを繰り返すように切り出し方法が決定される。

まず、カメラチェンジするオブジェクトの順番を決定する。図６の例では左に位置するオブジェクトから順番にカメラチェンジするように決定しているが、これに限られない。例えば、オブジェクトの大きい順、オブジェクトが中心から近い順、オブジェクトが鮮明な順などとしてもよい。６１１−２〜６２５−２は切り出し領域であり、番号の順に領域の切り出しおよび出力を行っていく。６１１−２〜６１３−２は最も左に存在するオブジェクト６０１にカメラチェンジする様子を模式的に描いている。同様に、６１４−２〜６１６−２は左から二番目、６１７−２〜６１９−２は左から三番目、６２０−２〜６２２−２は左から四番目、６２３−２〜６２５−２は左から五番目、即ち最も右のオブジェクト６０５にカメラチェンジしている。図を簡略化するためにカメラチェンジする際の切り出し領域のみを示したが、例えば、６１３−２〜６１４−２の間にズームアウトするような複数の領域の切り出しを行ってもよい。

●分散が大きい場合の動作例２
図３および図６で説明したオブジェクトの分散の度合いが大きい場合に関して、異なる切り出し方法についても補足する。図７は分散の度合いが所定の値より大きい場合の切り出し領域の例を示した図である。

７００（図７（ａ））は、図６の６００と同様に画像領域全体である。また、７００上に示された７０１〜７０６および７０１−１〜７０５−１は図６の６００上に示された６０１〜６０６および６０１−１〜６０５−１と同様のものである。このようにオブジェクトの分散の度合いが大きい場合、それぞれのオブジェクトがアップで出力されるように切り出し方法を選択することも可能である。例えば、７１１−２〜７１３−２は最も左のオブジェクト７０１を所定時間、大きく出力するように同一の領域を複数切り出している様子を示している。同様に７１４−２〜７１６−２は左から二番目、７１７−２〜７１９−２は左から三番目、７２０−２〜７２２−２は左から四番目、７２３−２〜７２５−２は左から五番目すなわち最も右のオブジェクト７０５を中心として同一領域を複数切り出している。

以上のように構成することで、スライドショーのように静止画を視聴する際に、視聴者が退屈せずに、より見やすい映像を自動で生成することができる。

＜＜第２の実施形態＞＞
以下、本発明における第２の実施形態を図面に基づいて説明する。なお、上記の第１の実施形態に準ずる個所（例えば、映像処理装置のハードウェア構成）については、説明を割愛する。図８は、本発明の第２の実施形態に係る映像処理装置の機能構成例を示す図である。

本実施形態では、複数のオブジェクトのオブジェクト間距離をさらに分析する。そして、オブジェクト領域のばらつきの大きさが所定値よりも小さい場合であっても、オブジェクト間距離が所定値以上であるときは、画像に含まれる各オブジェクトをズームインするための切り出し手法を決定する。そこで、本実施形態では、図８のように、計算部１０４（図８では８０４）の後段にオブジェクト間の距離を取得する距離取得部８１０を有している。なお、計算部８０４は、前述のように、オブジェクトの分布を近似した直線とオブジェクトの位置との距離から分散の度合い（大きさ）を計算する機能要素である。本実施形態に加えた機能構成により生ずる効果を、図面を用いて具体的に説明する。なお、８０１〜８０９の各機能要素は、第１の実施形態で説明した図１の１０１〜１０９と同様であるため、説明を省略する。

図９は、分散の度合いが所定の値より小さく、さらに、オブジェクト間の距離が所定の値より大きい場合の切り出し領域の例を示した図である。９００（図９（ａ））は、画像領域全体である。９０１および９０２は画像領域９００上に存在するオブジェクトである。９０６はオブジェクトの分布を近似した直線であり、分散の度合いが小さいことは自明である。９０８はオブジェクト９０１と９０２の距離を示している。

第１の実施形態では、分散の度合い（大きさ）が小さい場合、パンニングのような仮想カメラワークを行う切り出し方法に決定していた。しかしながら、オブジェクト間の距離９０８が大きい場合は、パンニングのような仮想カメラワークの途中、オブジェクトが存在しない領域を切り出して出力することになる。そこで、このような場合はそれぞれのオブジェクトに順次ズームインするような仮想カメラワークを行う切り出し方法に決定することで、視聴者の不快感をさらに低減することができる。

なお、図９において、９１１〜９１８（図９（ａ）〜図９（ｉ））は９００と同じ画像領域であり、９１１−２〜９１８−２は複数の切り出し領域を示している。また、第１の実施形態の図７に示した各々のオブジェクトがアップで出力されるように切り出し方法を選択してもよいことは言うまでもない。

図１０は、本実施形態における図２のＳ２０３、Ｓ２０４の詳細な処理の一例を示す処理フロー図である。まず、第１の実施形態と同様に計算した分散の度合い（大きさ）が所定値よりも小さいか否かを判定する（Ｓ１００１）。分散の度合いが所定値よりも小さい場合（Ｓ１００１でＹＥＳ）はＳ１００２へ進み、所定値以上の場合（Ｓ１００１でＮＯ）はＳ１０１２へ進む。

Ｓ１０１２では、既に第１の実施形態で説明した各オブジェクトにカメラチェンジする処理を行う。Ｓ１０１２で行う処理は図３のＳ３１４〜Ｓ３１６の処理に相当し、第１の実施形態で「分散が大きい場合の動作例」１、２として例示した処理と同様である。Ｓ１０１２を終えると、処理を終了する。

一方、Ｓ１００２では、オブジェクト間の距離を計算する。なお、本実施形態では、前記した近似直線に沿ってオブジェクト間距離を分析する。画像領域全体に３つ以上のオブジェクトが存在する場合は、例えば、近似直線に沿って隣接するオブジェクト間の距離の平均値を計算することができる。次に、Ｓ１００３において、オブジェクト間が所定の値よりも小さいか否かを判定する。

以下、オブジェクト間の距離により処理が分かれる（Ｓ１００３）。まず、オブジェクト間の距離が所定の値より小さい場合は既に第１の実施形態に示した（Ｓ１００３〜Ｓ１００６）。オブジェクト間の距離が大きい場合、各々のオブジェクトにズームインおよび全てのオブジェクトを含む領域にズームアウトを繰り返すような仮想カメラワークを行うように切り出し方法を選択する（Ｓ１０２４）。次に、ズームするオブジェクトの順序を決定する（Ｓ１０２５）。図９では便宜上、左のオブジェクトから順にズームインする例を示したが、順序の決定方法は言及しない。次に、複数の切り出し領域の大きさを順次決定する。

このように構成することで、スライドショーのように静止画を視聴する際に、視聴者が不快感を感じない映像を自動で生成することができる。

＜＜第３の実施形態＞＞
以下、本発明における第３の実施形態を図面に基づいて説明する。本実施形態では、処理対象の画像が複数のフレームから構成される動画像で、動画像を構成するフレーム画像から領域を切り出す処理を行う構成を説明する。なお、上記の第１の実施形態および第２の実施形態に準ずる個所（例えば、映像処理装置のハードウェア構成）については、説明を割愛する。

（映像処理装置の機能構成）
図１１は、本発明の第３の実施形態に係る映像処理装置の機能構成例を示す図である。図１１において、第１の実施形態で参照した図１と異なる点は、動画からフレーム画像を取り出す取り出し部１１１０と、フレーム間のオブジェクト位置および大きさの差異を演算する演算部１１１１を有していることである。本実施形態では、フレーム間におけるオブジェクト領域の変動の大きさを演算し、オブジェクト領域の分布状況と変動の大きさとに基づいて、フレームから部分画像を切り出すための切り出し手法を決定する。これにより、オブジェクトを含む部分画像を動画像から適切に切り出して、高品質の仮想カメラワークを実現することができる。１１０１〜１１０９の各機能要素は、第１の実施形態で説明した図１の１０１〜１０９と同様であるため、説明を省略する。

（映像処理）
図１２は、本実施形態に係る映像処理の一例を示す処理フロー図である。まず、動画データから複数のフレーム画像を取得し（Ｓ１２０１）、取得したフレームの各々からオブジェクトの位置及び大きさをそれぞれ取得する（Ｓ１２０２）。次にフレーム間のオブジェクトの位置および大きさの差異を演算し（Ｓ１２０３）、任意のフレームのオブジェクトの位置および大きさからオブジェクトの分布情報を取得する（Ｓ１２０４）。ここで、分布情報の取得の具体的な手順は第１の実施形態に記載したため、説明を割愛する。また、任意のフレームは複数のフレームを用いて、オブジェクトの位置や大きさの平均を演算するなどしても構わない。

次に、取得した分布情報を用いて各フレームから領域を切り出す方法を選択する（Ｓ１２０５）。決定の方法は第１の実施形態および第２の実施形態に記載したため、説明を割愛する。次に、決定した領域を切り出す方法およびオブジェクトの位置および大きさを用いて、各フレームから切り出す領域を決定する（Ｓ１２０６）。最後に、決定した切り出し領域を各フレームから切り出し（Ｓ１２０７）、切り出した領域をフレームの順序に従って順次出力する（Ｓ１２０８）。

ここで、動画の場合、一般的にオブジェクトに動きがあるため、切り出し手法の決定は静止画の場合と異なる手順で行う必要がある。以下、切り出す方法を選択する処理（切り出し方法選択処理）の手順を説明する。

●切り出し方法選択処理
図１３は、領域を切り出す方法を選択する処理の一例を示す処理フローを示した図である。まず、図１２で説明したように、フレーム間のオブジェクト位置および大きさの差異を演算し（Ｓ１３０１）、この差異が所定値より小さいか否かを判定して、処理を分岐させる（Ｓ１３０２）。

所定値より小さくない場合（Ｓ１３０２でＮＯ）、即ちオブジェクトの動きが大きい場合、切り出す方法を、オブジェクト領域の変位、例えばオブジェクトの位置および大きさの変位に合わせて順次変更する方法に決定する（Ｓ１３２３）。例えば、オブジェクト全体が右方向に移動していくような動画の区間であれば、仮想カメラワークとして右方向にパンニングするように切り出す方法に決定する。また、一部のオブジェクトが右方向に移動して、切り出し領域からフレームアウトするような場合は、仮想カメラワークとしてズームアウトしてオブジェクト全体がフレーム内に収まるように切り出す方法に決定する。さらには、オブジェクト全体が任意の領域に集合していくような場合は、仮想カメラワークとしてオブジェクト全体が収まるようにズームインするように切り出す方法に決定する。ここではいくつかの例を挙げたが、この限りではない。

次に、フレーム間の差異が所定値より小さい場合（Ｓ１３０２でＹＥＳ）について説明する。まず、差異が小さい動画区間の継続時間を演算し（Ｓ１３０３）、この継続時間が所定値（所定期間）より大きいか否かを判定して処理を分岐させる（Ｓ１３０４）。継続時間が所定期間以下の場合（Ｓ１３０４でＹＥＳ）、すなわち、すぐにオブジェクトが動き出す場合は、Ｓ１３１４へ進む。

Ｓ１３１４では、前述Ｓ１３２３の切り出し方法に備えて切り出し領域を変更しないように切り出す、すなわち、複数のフレームの各々の固定領域から部分画像を切り出す方法に決定する。ここで、オブジェクトが動き出く方向や、動き出した後の切り出す方法に備えて事前に切り出し領域を変更するための切り出し方法に決定しても構わない。

一方、継続時間が所定値より大きい場合（Ｓ１３０４でＮＯ）、すなわち、一定期間以上にわたりオブジェクトに動きがない場合はＳ１３０５へ進む。Ｓ１３０５では、第１の実施形態および第２の実施形態を含めたこれまで説明した方法、すなわち、処理対象の画像に含まれる各オブジェクトを順に大写しするための切り出し手法に決定することにより、仮想カメラワークを実現する。ここで、仮想カメラワークは次の仮想カメラワークに備えて、上記演算した継続時間内で完了することが望ましい。

以上のように構成することで、動画への仮想カメラワークにも適用でき、視聴者が退屈せずに、より見やすい映像を自動で生成することができる。

上記の各実施形態の構成によれば、映像の空間領域を切り出して仮想カメラワークを付与する編集において、視聴者が退屈しない映像表示を行うための仮想カメラワークの付与を自動で行うことができる。

Claims (12)

1. 画像から複数の部分画像を切り出して出力する画像処理装置であって、
   オブジェクトを含む処理対象の画像を記憶手段から読み出す読出手段と、
   前記処理対象の画像から前記オブジェクトのオブジェクト領域を取得する取得手段と、
   前記取得したオブジェクト領域の分布状況を分析する分析手段と、
   前記オブジェクト領域の分布状況に基づいて、前記処理対象の画像から部分画像を切り出すための切り出し手法を決定する決定手段と、
   前記決定した切り出し手法を用いて、前記処理対象の画像から部分画像を切り出す切出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記処理対象の画像は複数のオブジェクトを含み、
   前記分析手段は、前記オブジェクト領域の分布のばらつきの大きさを分析し、
   前記決定手段は、前記ばらつきの大きさが予め定めた値よりも小さい場合に、前記処理対象の画像に含まれる各オブジェクトを順にパンニングするための切り出し手法を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記ばらつきの大きさが前記予め定めた値以上である場合に、前記処理対象の画像に含まれる各オブジェクトに対してカメラチェンジするための切り出し手法を決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記分析手段は、前記複数のオブジェクトのオブジェクト間距離をさらに分析し、
   前記決定手段は、前記ばらつきの大きさが前記予め定めた値よりも小さい場合であっても、前記オブジェクト間距離が所定値以上であるときは、前記処理対象の画像に含まれる各オブジェクトをズームインするための切り出し手法を決定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記分析手段は、前記オブジェクト領域の分布を直線で近似し、当該直線と前記オブジェクト領域との距離の分布を示す統計量を前記ばらつきの大きさとして分析する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記分析手段は、前記直線に沿って前記オブジェクト間距離を分析する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記処理対象の画像は複数のフレームから構成される動画像であり、
   前記フレーム間における前記オブジェクト領域の変動の大きさを演算する演算手段をさらに備え、
   前記決定手段は、前記分布状況と前記変動の大きさとに基づいて、前記フレームから部分画像を切り出すための切り出し手法を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記決定手段は、前記変動の大きさが予め定めた値以上である場合に、前記オブジェクト領域の変位に合わせて前記部分画像の切り出し領域を変更していくための切り出し手法を決定する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、前記変動の大きさが前記予め定めた値より小さく、かつ、前記変動の大きさが前記予め定めた値より小さい期間が所定期間よりも長く継続した場合は、前記処理対象の画像に含まれる各オブジェクトを順に大写しするための切り出し手法を決定する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、前記変動の大きさが前記予め定めた値より小さく、かつ、前記変動の大きさが前記予め定めた値より小さい期間の継続が所定期間以下である場合は、前記複数のフレームの各々の固定領域から部分画像を切り出すための切り出し手法を決定する
    ことを特徴とする請求項８に記載の画像処理装置。
11. 画像から複数の部分画像を切り出して出力する画像処理装置の制御方法であって、
    読出手段が、オブジェクトを含む処理対象の画像を記憶手段から読み出す読出工程と、
    取得手段が、前記処理対象の画像から前記オブジェクトのオブジェクト領域を取得する取得工程と、
    分析手段が、前記取得したオブジェクト領域の分布状況を分析する分析工程と、
    決定手段が、前記オブジェクト領域の分布状況に基づいて、前記処理対象の画像から部分画像を切り出すための切り出し手法を決定する決定工程と、
    切出手段が、前記決定した切り出し手法を用いて、前記処理対象の画像から部分画像を切り出す切出工程と、
    を備えることを特徴とする画像処理装置の制御方法。
12. コンピュータを請求項１から１０のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのプログラム。

Images