JP2013162221A - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

Abstract

【課題】容易にいわゆる動写真などと称される画像を作成することができる情報処理装置、情報処理方法、情報処理プログラムを提供する。
【解決手段】複数の画像を連続表示することにより動作する被写体に対応する複数の画像中の領域を動領域として検出する動領域検出部と、動領域については複数の画像を連続表示し、動領域以外の領域については複数の画像のうちの一つの画像を連続表示するように表示制御を行う表示制御部とを備える情報処理装置である。
【選択図】図１

Description

本技術は、情報処理装置、情報処理方法、情報処理プログラムに関する。

従来から、画像、映像の分野において、連写撮影された複数のフレーム画像毎に動く主要被写体をそれぞれ抽出し、その抽出された動く主要被写体を任意の他の静止画像に貼付けて合成する技術がある。動く主要被写体を静止画像に合成することにより、新しい合成動画が作成され、その再生が可能になる。

そのような合成動画の作成などに用いられるために、処理対象画像中から動く主要被写体を抽出する画像処理装置が提案されている（特許文献１）。

特開２０１１−３５６３６号公報

合成動画にも様々な種類があり、近年、静止画像中において一部部分のみが動き続ける画像である、いわゆる「動写真」などと称される技術が注目を集めている。動写真を作成するためには、動く被写体を抽出の他に、被写体の動きの周期などを把握する必要があり、また、煩雑なプログラミング、画像処理などを行う必要があった。それらの必要な処理を簡単な操作、インターフェースで行うことができることが望まれている。

そこで、本技術は、いわゆる動写真を容易に作成することができる情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、複数の画像を連続表示することにより動作する被写体に対応する複数の画像中の領域を動領域として検出する動領域検出部と、動領域については複数の画像を連続表示し、動領域以外の領域については複数の画像のうちの一つの画像を連続表示するように表示制御を行う表示制御部とを備える情報処理装置である。

また、第２の技術は、複数の画像を連続表示することにより動作する被写体に対応する複数の画像中の領域を動領域として検出し、動領域については複数の画像を連続表示し、動領域以外の領域については複数の画像のうちの一つの画像を連続表示するように表示制御を行う情報処理方法である。

また、第３の技術は、複数の画像を連続表示することにより動作する被写体に対応する複数の画像中の領域を動領域として検出し、動領域については複数の画像を連続表示し、動領域以外の領域については複数の画像のうちの一つの画像を連続表示するように表示制御を行う情報処理方法をコンピュータに実行させる情報処理プログラムである。

本技術によれば、容易にいわゆる動写真を作成することができる。

図１は、本技術の第１の実施の形態に係る情報処理装置の構成を示すブロック図である。 図２は、画像を構成するブロックごとに求められる被写体の全画面動きのパターンの一例を示す図である。 図３は、被写体の動きの周期性を検出する手法について説明するための図である。 図４は、情報処理装置に入力される画像の一例を示す図である。 図５は、入力された画像から画像抽出部により抽出される基準画および参照画の一例を示す図である。 図６は、基準画および参照画から検出される動領域について説明するための図である。 図７は、表示制御部により行われる表示処理について説明するための図である。 図８は、本技術の第２の実施の形態に係る情報処理装置の構成を示すブロック図である。 図９は、動き補正部による処理について説明するための図である。 図１０は、動き補正部による処理について説明するための図である。 図１１は、本技術の第３の実施の形態に係る情報処理装置の構成を示すブロック図である。 図１２は、ユーザインターフェースについて説明するための図である。 図１３は、ユーザインターフェースについて説明するための図である。 図１４は、ユーザ入力処理部による処理およびユーザ入力処理部により設定された情報に基づいて表示制御部により行われる表示制御について説明するための図である。

以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以
下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．情報処理装置の構成］
［１−２．情報処理装置による処理］
＜２．第２の実施の形態＞
［２−１．情報処理装置の構成］
［２−２．情報処理装置による処理］
＜３．第３の実施の形態＞
［３−１．情報処理装置の構成］
［３−２．情報処理装置による処理］
＜４．変形例＞

＜１．第１の実施の形態＞
［１−１．情報処理装置の構成］
図１は、本技術に係る情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成され、所定のプログラムの実行により実現される。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭはＣＰＵのワークメモリとして用いられる。ＣＰＵはＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって画像抽出部１１、動領域検出部１３、繰り返し周期検出部１２、表示制御部１４および出力整形部１５として機能する。

ただし、情報処理装置１０は、プログラムによって実現されるのみでなく、画像抽出部１１、動領域検出部１３、繰り返し周期検出部１２、表示制御部１４および出力整形部１５、それぞれの機能を有するハードウェアを組み合わせた専用の装置として実現されてもよい。

本技術に係る情報処理装置１０は、画像において一部分のみが動き、その一部分以外は静止している、いわゆる「動写真」などと称される画像を作成する処理を行うものである。本明細書においてはそのような画像を動写真と称して説明を行う。

画像抽出部１１には外部から画像が入力される。入力画像は、連続撮影により取得された複数の静止画、または、動画を構成する複数のフレーム画像であってもよい。画像抽出部１１は、それら複数の入力画像から動写真の中において固定表示される領域（以下、固定領域と称する。）を構成し、動写真の基準となる一枚の画像（以下、基準画と称する。）を抽出する。

また、画像抽出部１１は、動写真において動かして表示する領域（以下、動領域と称する。）を構成するための複数枚の画像（以下、参照画と称する。）を抽出する。抽出された基準画と参照画は動領域検出部１３と繰り返し周期検出部１２とに供給される。なお、以下の説明においては、１枚の基準画と複数枚の参照画とからなる連続する一連の画像を「処理対象画像群」と称する。

基準画および参照画の抽出は、入力画像が連続撮影により取得された複数の静止画である場合には、例えば、１枚目の画像を基準画とし、所定数の２枚目以降の画像を参照画として行われることが考えられる。

また、基準画および参照画の抽出は、入力画像が動画を構成する複数のフレーム画像である場合、１枚目のフレーム画像を基準画とし、所定数の２枚目以降のフレーム画像を参照画として行われることが考えられる。なお、基準画の数は１枚であるが、参照画の数は複数枚であれば何枚であってもよい。画像抽出部１１において、参照画として抽出される画像の枚数は予めデフォルトで設定しておいてもよいし、ユーザが任意の数に設定、変更できるようにしてもよい。

さらに、情報処理装置１０にユーザからの入力を受け付ける入力部を接続し、その入力部を介して入力されるユーザの指定に従って基準画と参照画を抽出するようにしてもよい。

次に、繰り返し周期検出部１２について説明する。繰り返し周期検出部１２は、１枚の基準画と複数枚の参照画からなる処理対象画像群の中から被写体の動作の周期性を検出するものである。処理対象画像群に周期性がある場合、その周期が繰り返されるように基準画と参照画とを連続表示（ループ再生）させれば、動写真特有の被写体の動きを実現することができる。繰り返し周期検出部１２は、ループ再生が最も違和感なく行われるように見える周期性を検出するものである。繰り返し周期検出部１２は、特許請求の範囲における周期検出部に相当するものである。

処理対象画像群の中から周期性を検出する方法としては様々な方法がある。例えば、まず、基準画および各参照画のそれぞれを複数のブロックに分割し、そのブロックごとにブロックマッチングによって動きベクトルを求める。なお、ブロックのサイズは例えば、１６×１６のサイズとすることが考えられる。ただし、ブロックのサイズはこれに限られるものではなく、任意のサイズでもよいし、または、画像のサイズなどに応じて適宜設定するとよい。

そして、基準画について、全ブロックの動きベクトルから画像全体において支配的な一つの動きベクトルを決定する。その支配的な一つの動きベクトルを「全画面動き」と称する。例えば、ブロック単位の動きベクトルの中央値または平均値を全画面動きとする、数として最も多い動きベクトルを全画面動きとすることなどが考えられる。

そして、基準画の全画面動きと参照画の各ブロックについて動きベクトルとの残差を求める。そして、縦軸を動きベクトルの残差とし、横軸をその参照画の基準画からの時間としてグラフに表すと、参照画の各ブロックについて図２に示されるようなグラフが得られる。

被写体が全画面動きに従って動いている場合には、その被写体を構成するブロックについてのグラフは、図２Ａに示されるような、残差が一様に低いグラフとなる。また、動いているが、その動きに周期性がない被写体を構成するブロックについてのグラフは、図２Ｂに示されるような、周期性がなく、残差に不規則な変化があるグラフとなる。

一方、周期性を持って動く被写体を構成するブロックについてのグラフは、図２Ｃに示されるような一定の間隔で残差の大小が規則的に変化するグラフとなる。なお、図２Ａ乃至図２Ｃに示されるグラフは、あくまでグラフの形状の一例を示したものであり、必ず図２Ａ乃至図２Ｃに示される形状になるというものではない。

そして、得られたグラフの各々について、グラフの波形を基準画からの時刻の進み方向にずらしていく。そうすると、図２Ｃのグラフの波形には周期性があるため、図３Ｂに示されるようにグラフの波形を基準画からの時刻の進み方向にずらしていくと、図３Ｃに示されるように元の波形とずらした波形とがおおよそ重なることとなる。波形が重なった時点における波形の移動量ｘがそのブロックにおける繰り返し周期となる。なお、図３Ａは図２Ｃに示すグラフと同様のものである。図２Ａ、図２Ｂに示されるようなグラフでは波形を時計の進み方向にどれだけずらしても波形が重なることはないため、繰り返し周期は検出されない。

また、繰り返し周期を求める方法としては他にも、グラフ上で極小となる複数の極小点を求め、時間的に近いもの同士でその時間差分を取り、その平均値を取るなどの方法がある。または、離散フーリエ変換などの手法を用い、周波数成分に分解し、その係数のもっとも大きくなる周波数を繰り返し周期としてもよい。

このような処理によって、周期性を持つブロックと繰り返し周期とを求めることができる。この処理は全ての参照画について行われる。なお、繰り返し周期は、画像の枚数で定義される。基準画１枚と、参照画５枚で一つの繰り返し周期が構成される場合、繰り返し周期は画像６枚分となる。

なお、一つの参照画において繰り返し周期が複数ある場合（例えば、左右に往復移動する人と、左右に振れる時計の振り子がある場合など）には、例えば、共通の繰り返し周期を有するブロックにより構成される被写体の参照画において占める面積が大きい方を繰り返し周期とすればよい。すなわち、周期性を有するブロックにより構成される被写体が複数ある場合には、より大きい被写体の周期を繰り返し周期として検出するということである。これは繰り返し周期を有するブロックにより構成される被写体同士をブロック数で比較することにより行うことができる。これは、動写真作成においては、ユーザはより目立つ、大きな被写体を動かして、見る者に大きな印象を与える動写真を作成したいと願うであろうと考えられるからである。

ただし、より大きい被写体の周期を繰り返し周期として検出するだけでなく、小さい被写体の周期を繰り返し周期として検出してもよい。また、複数の繰り返し周期が検出された場合には、その旨をユーザに通知してユーザが繰り返し周期を選択することができるようにしてもよい。

次に、動領域検出部１３について説明する。動領域検出部１３は、連続する基準画および参照画において動作する領域（動領域）を、ユーザが動写真において動作させたい領域として推定・検出する処理を行うものである。動領域の検出は、繰り返し周期検出部１２により求められた繰り返し周期を用いることにより行うことができる。ブロックごとに求められた繰り返し周期が、画像全体の繰り返し周期と同一であるブロックは、繰り返し再生に適したブロックであるとして、そのブロックにより構成される領域を動領域とする。なお、画像中における動領域以外の領域は全て被写体が動作することがない固定領域となる。

次に、表示制御部１４について説明する。表示制御部１４は、繰り返し周期検出部１２および動領域検出部１３の検出結果に基づいて、情報処理装置１０に接続された外部の表示部における画像表示の制御を行うものである。表示制御部１４は、固定領域については基準画を連続して再生するように表示制御を行う。また、動領域については、繰り返し周期検出部１２により求められた繰り返し周期分、基準画から参照画を繰り返して再生するように表示制御を行う。これにより、入力画像は、動領域の被写体のみが動き、固定領域における被写体は一切動かない動写真として表示される。

表示部としては、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)ディスプレイなどがある。

次に、出力整形部１５について説明する。出力整形部１５は、レンダリング処理などの所定の画像処理を行うことによって、表示制御部１４の制御によって動写真として表示される処理対象画像群を動写真のデータとして出力する。出力するデータの形式としては例えば、ｇｉｆ（Graphics Interchange Format）、アニメーションｇｉｆ、ＭＰＥＧ（Moving Picture Experts Group）などがある。出力された動写真データは、通常の画像データ、動画データなどと同様にパーソナルコンピュータ、スマートフォン、携帯電話機、デジタルカメラなどの表示部を有する機器において再生可能である。また、インターネットブラウザ上においても再生可能である。

［１−２．情報処理装置による処理］
次に、上述のように構成された情報処理装置１０による動写真作成処理について説明する。説明は、入力画像として図４に示されるような複数枚の画像が入力された場合を例として行う。入力画像では、人物が画像中の左から右へ移動している。さらに、画像中右上の時計の振り子が左右に周期的に振れている。

そして、画像抽出部１１は、図５に示されるように、この入力画像群の中から１枚目の画像を基準画とし、それ以降の５枚の画像を参照画（参照画Ａ〜参照画Ｅ）として抽出する。なお、参照画の枚数である５枚というのはあくまで例示であり、上述したように参照画の数はデフォルトで設定しておいてもよいし、ユーザが任意の枚数を設定できるようにしてもよい。

次に、繰り返し周期検出部１２により、基準画および参照画から繰り返し周期が検出される。また、動領域検出部１３により、基準画および参照画から動領域が検出される。繰り返し周期検出部１２および動領域検出部１３による検出方法は上述の通りである。図５に示される処理対象画像群では、図６に示されるように、周期的に左右に振れている時計の振り子の動きの周期が繰り返し周期として検出され、その時計の振り子が動領域として検出される。時計の振り子は１枚の基準画と５枚の参照画の合計６つの画像を１つの周期として動作している。そして、基準画および参照画における動領域以外の領域は全て被写体が動かない固定領域となる。すなわち、基準画および参照画における時計の振り子以外の領域は全て固定領域となる。

そして、表示制御部１４によって、図７Ａに示されるように、固定領域は基準画を連続表示することにより被写体の動きのない静止画として表示される。また、図７Ｂに示されるように動領域については、基準画と参照画を繰り返し周期である６枚単位でループ再生することにより時計の振り子が繰り返し左右に振れる動画として表示される。この図７Ａの表示と図７Ｂの表示が同時に行われることにより、処理対象画像群を図７Ｃに示されるような、人物は動かず、時計の振り子だけが繰り返し動き続ける動写真として表示することができる。

この動写真として表示される処理対象画像群は、上述したように出力整形部１５により、ｇｉｆ、アニメーションｇｉｆ、ＭＰＥＧなどのファイル形式の動写真データとして出力される。

このようにして、本技術によれば、ユーザが複雑な画像処理、プログラミングなどを行わなくても、画像を入力するだけで、容易に動写真を作成することができる。また、画像における被写体の動作の周期を検出し、その周期に合わせて画像をループ再生させるので、違和感の少ない動写真を生成することができる。

なお、例えば、基準画１枚、参照画５枚の合計６枚の画像が抽出されたが、繰り返し周期が基準画１枚と参照画３枚の画像４枚で構成させている場合、画像４枚をループ再生すれば動写真が作成可能である。そのような場合には、残りの参照画２枚は使用する必要がないため、再生せずに破棄するようにしてもよい。

＜２．第２の実施の形態＞
［２−１．情報処理装置の構成］
次に、本技術の第２の実施の形態について説明する。図８は第２の実施の形態に係る情報処理装置２０の構成を示すブロック図である。第２の実施の形態は、動き補正部２１を備える点で第１の実施の形態と異なる。動き補正部２１以外の構成および処理は第１の実施形態と同様であるため、その説明を省略する。

動き補正部２１は、基準画と参照画において、撮像などの画像取得時における手ぶれなどによって生じる画像のずれを補正する処理である。撮像は手持ちの撮像装置で行われるのが一般的であるため、動き補正部２１による補正処理が必要となる。手ぶれなどによる画像のずれを補正しなければ、基準画と参照画を重ねあわせて連続表示した際に被写体の位置などにずれが生じて、動写真を見る者に違和感を与えることになる。なお、固定された撮像装置で取得された画像であれば、画像間のずれは存在してもわずかであるため、動き補正部２１による処理は不要である。

［２−２．情報処理装置による処理］
動き補正部２１における補正処理は、従来から広く用いられている電子手ブレ補正の手法を用いて行うことができる。したがって、動き補正部２１における補正処理の手法は特定の手法に限定されるものではない。例えば、動き補正部２１は、以下のようにして画像間のずれを補正することができる。

図９および図１０を参照して、動き補正部２１による処理の手法の一例について説明する。図９に示す基準画および参照画を用いて、動き補正部２１による処理について具体的に説明する。図９においては、参照画は基準画に対して右にずれている。

まず、基準画および参照画を複数のブロックに分割し、そのブロックごとにブロックマッチングによる動きベクトルを求める。なお、ブロックのサイズは例えば、１６×１６のサイズとすることが考えられる。ただし、ブロックのサイズはこれに限られるものではなく、任意のサイズでもよいし、または、画像のサイズなどに応じて設定するとよい。

そして、基準画および全参照画の各々について、全ブロックの動きベクトルから画像全体において支配的な一つの動きベクトルを決定する。例えば、ブロック単位の動きベクトルの中央値または平均値を画像全体の動きベクトルとする、数として最も多い動きベクトルを画像全体の動きベクトルとすることなどが考えられる。第１の実施例と同様に、その支配的な一つの動きベクトルを「全画面動き」とする。例えば、ブロック単位の動きベクトルの中央値または平均値を全画面動きとする、数として最も多い動きベクトルを全画面動きとすることなどが考えられる。

そして、図１０に示されるように、参照画の全画面動きを打ち消すように参照画をずらすことにより、参照画の構図が基準画の構図にマッチングすることとなる。なお、動きがゼロベクトルでない限り、ずらした後の参照画には、必ず、参照画中に存在してない領域（図１０の参照画においては右端）が生じることとなる。この領域については、図１０に示されるように基準画の同領域を利用して埋めること補うことできる。

動き補正部２１は、以上のような補正処理を全ての参照画に対して行う。これにより、全ての参照画の基準画に対するずれが極めて小さくなり、基準画と参照画を連続で表示した際にユーザに違和感を与えることがなくなる。なお、回転・ズームまで補正する必要がある場合には、ブロックごとの動きベクトルからアフィンパラメータを求めるようにしてもよい。

そして、情報処理装置２０においては、動き補正部２１による補正処理に加え、第１の実施の形態と同様に繰り返し周期検出部１２による処理、動領域検出部１３による処理が行われる。第２の実施の形態によれば、手ぶれなどによる画像間のずれを補正して動写真を作成するので、被写体のずれなどの違和感が少ない動写真を作成することができる。

なお、動き補正部２１、繰り返し周期検出部１２、動領域検出部１３による処理は、概念的にはそれぞれ独立した処理であり、その実行順序は問わず、または並列に処理する事も可能である。但し、お互い共通して必要な演算結果などを有効に共有利用することで、演算の高速化も可能である。

具体的には、第１の実施の形態の説明において、繰り返し周期検出部１２は基準画および参照画を複数のブロックに分割し、ブロックごとにブロックマッチングによる動きベクトルを求める処理を行った。これに対し、第２の実施の形態においては、周期検出処理と動領域検出処理の前に、動き補正部２１により各画像について動きベクトルを求める処理を行うようにする。そして、繰り返し周期検出部１２は、動き補正部２１によって求められた各画像の動きベクトルを流用することにより、繰り返し周期検出部１２において行われる処理を少なくすることができる。また、動領域検出部１３は、繰り返し周期検出部１２による検出結果を用いて動領域検出を行うことができる。これにより、回路規模の縮小、演算の高速化を実現することができる。

＜３．第３の実施の形態＞
［３−１．情報処理装置の構成］
次に、本技術の第３の実施の形態について説明する。図１１は第３の実施の形態に係る情報処理装置３０の構成を示すブロック図である。第３の実施の形態は、ユーザ入力処理部３１を備える点で第１の実施の形態と異なる。ユーザ入力処理部３１以外の構成は第１の実施形態と同様であるためその説明を省略する。

ユーザ入力処理部３１は、情報処理装置３０に接続された入力用ユーザインターフェースを介して入力された領域の指定を受け付け、その領域を動領域または固定領域として設定し、その情報を表示制御部１４に送信する。さらに、ユーザ入力処理部３１は、入力用ユーザインターフェースを介して入力された周期を繰り返し周期として設定し、その情報を表示制御部１４に送信する。そして、表示制御部１４はそれらの情報に基づいて表示制御をして処理対象画像群を動写真として表示するよう表示制御を行う。これにより、ユーザの意図を反映した動写真を作成することができる。

図１２はユーザによる入力のためのユーザインターフェースの一例を示す図である。図１２に示されるユーザインターフェースは、タッチパネルとディスプレイとからなるタッチスクリーンに表示されるソフトウェボタンにより構成されている。このユーザインターフェースに対してユーザによる入力が行われると、その入力内容を示す所定の制御信号がユーザ入力処理部３１に供給される。

図１２のユーザインターフェースには、ユーザインターフェースを動写真における動領域を指定するモードに切り替えるための「動かす」ボタン３１０３１０、ユーザインターフェースを動写真における固定領域を指定するためモードに切り替えるための「止める」ボタン３２０を備える。

また、繰り返し周期（ループ再生する画像の枚数）の入力を行うための繰り返し周期入力ボタン３３０、補正が完了したことを入力するための「完了」ボタン３４０を備える。繰り返し周期入力ボタン３３０の中央には繰り返し周期であるループ再生する画像の枚数が表示されており、その値を左右のボタンで変更可能となっている。これらのボタンは、タッチスクリーンにおいてアイコンとして表示されるソフトウェボタンで構成されている。ユーザは各ボタンに指などを接触させることによりモードの切り替え、繰り返し周期の変更、入力の完了を行うことができる。また、タッチスクリーン上に指などを接触させることにより領域の指定を行うことができる。

「動かす」ボタン３１０と「止める」ボタン３２０は二者択一であり、一方を選択／アクティブにすると、他方は非選択／ノンアクティブとなる。「動かす」ボタン３１０を選択すると、入力画像において動領域にしたい領域を指定する動領域入力モードとなる。「止める」ボタン３２０を選択すると、入力画像において固定領域にしたい領域を指定する固定領域入力モードとなる。

動領域入力モードにおいて、ユーザがタッチスクリーンに表示されている画像上に指を接触させて任意の領域をなぞると、そのなぞられた領域を示す情報がユーザ入力処理部３１に供給される。そして、ユーザ入力処理部３１により、そのなぞられた領域が動領域として設定される。なお、ユーザがなぞった領域を容易に把握することができるようにタッチスクリーンなどの表示部は、ユーザ入力処理部３１が受け付けた入力された領域を示す情報に基づいて、図１３に示されるように、なぞった領域（指などが通過した軌跡）が色付で表示するようにするとよい。

一方、固定領域入力モードにおいては、ユーザがタッチスクリーンに表示されている画像上に指を接触させて任意の領域をなぞると、そのなぞられた領域を示す情報がユーザ入力処理部３１に供給される。そして、ユーザ入力処理部３１により、そのなぞられた領域が固定領域として設定される。この場合も図１３に示されるように、ユーザがなぞった領域を容易に把握することができるようになぞった領域（指などが通過した軌跡）が色付で表示されるようにするとよい。

［３−２．情報処理装置による処理］
図１４を参照して、ユーザ入力処理部３１による処理について具体的に説明する。図１４には１枚の基準画と５枚の参照画が表されている。これらの画像には、左から右へ移動する人物と、振り子が左右に振れる時計が被写体として含まれている。

ユーザが動写真において人物を動かしたい場合には、「動かす」ボタン３１０に指などを接触させてユーザインターフェースを動領域入力モードにした後、図１４に示されるように、人物が移動する領域を選択領域として指などでなぞる。そうすると、ユーザ入力処理部３１は、この選択領域を動領域として設定し、この動領域を示す情報を表示制御部１４に供給する。表示制御部１４は、設定された動領域については、基準画から参照画をループ再生して連続表示させる。これにより、動写真において、人物を左から右へと繰り返し移動させることができる。

一方、ユーザが動写真において人物を動かたくはない場合には、「止める」ボタン３２０に指などを接触させて固定領域入力モードにした後、図１４に示されように人物が移動する領域を選択領域として指などでなぞる。この選択領域がユーザ入力処理部３１により固定領域として設定され、その固定領域を示す情報が表示制御部１４に供給される。上述のように、表示制御部１４は、固定領域については、基準画のみを連続表示させることにより、動写真における被写体が動かない状態を実現する。

基準画および参照画が連続再生されている状態において、タッチスクリーン上に指などを接触させて入力を行うことにより、全ての基準画および参照画に対して上述の入力を行うことができる。

また、ユーザ入力処理部３１は、繰り返し周期入力ボタン３３０で入力された繰り返し周期（再生枚数）に基づいて繰り返し周期を設定する。繰り返し周期ボタンに指などを接触させて繰り返し周期入力ボタン３３０の中央に表示されている繰り返し周期（再生枚数）を変更すると、図１４に示されるように、繰り返し周期（再生枚数）が設定される。

図１４に示されるように、ユーザの入力に基づき、ユーザ入力処理部３１が繰り返し周期を６に設定した場合には、表示制御部１４は、基準画および参照画Ａ〜Ｅの６枚の画像をループ再生する。繰り返し周期が５に設定された場合には、基準画および参照画Ａ〜Ｄの５枚の画像がループ再生されることになる。繰り返し周期が４に設定された場合には、基準画および参照画Ａ〜Ｃの４枚の画像がループ再生されることになる。繰り返し周期が３に設定された場合には、基準画および参照画Ａ〜Ｂの３枚の画像がループ再生されることになる。繰り返し周期が２に設定された場合には、基準画および参照画Ａの２枚の画像がループ再生されることになる。

このようにして、ユーザは繰り返し周期を任意に設定することができる。これにより、繰り返し周期検出部１２により推定された繰り返し周期では動写真における被写体の動きに違和感がある場合でもそれを修正することができる。また、あえて、被写体の動きが連続しない動写真を作成することも可能となる。

動領域、固定領域、繰り返し周期の設定がユーザが望むものとなった場合、「完了」ボタン３４０に対して入力を行うことにより、出力整形部１５により動写真のデータが出力される。

なお、動領域検出部１３、繰り返し周期検出部１２により、処理対象画像群における同領域と繰り返し周期が検出された場合であっても、表示制御部１４がユーザ入力処理部３１からの情報を優先して、ユーザ入力処理部３１からの情報に基づき処理対象画像群を連続表示するようにするとよい。これにより、動領域検出部１３、繰り返し周期検出部１２の検出結果に基づいた動写真をユーザの意図に沿ったものに補正することができる。

なお、ユーザインターフェースは図１２、図１３に示されるものに限られず、上述した、「動かす」、「止める」「繰り返し周期とその調整」「完了」を入力することができるものであれば、どのようなアイコンでもよいし、そのアイコンがどのように配置されていてもよい。

また、ユーザインターフェースはタッチスクリーンに限られず、入力を行えるものであればどのようなものでもよい。例えば、マウス、十字ボタンなどがある。マウス、十字ボタンなどで領域の指定を行う場合には、画像上に重畳して領域指定用の枠を表示し、その枠の大きさをマウス、十字ボタンの操作により調整して領域指定を行うようにするとよい。

このように、ユーザからの入力を受け付け、ユーザからの入力に応じて動領域、固定領域を設定して動写真を作成することにより、被写体の動作が周期的ではない場合であっても、その動作している被写体が連続して動作し続ける動写真を作成することができる。被写体が周期的に動作していない場合とは例えば、一方向に走行する車両、水などの液体の流れ、などがある。

なお、第２の実施の形態と第３の実施の形態とを組み合わせて、情報処理装置を動き補正部とユーザ入力処理部３１とを備えるように構成してもよい。

また、基準画をユーザが選択することができるようにしてもよい。これにより、動作する被写体であるが、動写真においては動作しない被写体の位置をユーザの好みに合わせて調整することができる。

この点について、図５を参照して具体的に説明する。なお、図５においては、時計の振り子が動領域であり、人物は固定領域に含まれるものとする。例えば、図５に示される画像において左端の画像を基準画とすると、動写真において人物は左端に固定されることとなる。また、右端の画像を基準画とすると、動写真において動写真において人物は右端に固定されることとなる。また、左から４番目の画像（図５においては、参照画Ｃ）を基準画とすると、人物は画像の略中央付近に固定されることとなる。これは、固定領域については基準画のみがループ再生されるため、固定領域に含まれる人物は動写真においては動作しないことになるからである。

ユーザ入力処理部３１により設定された情報に基づいて動写真が作成される場合、繰り返し周期検出部１２、動領域検出部１３は動作する必要がなく、不要な構成となる。

なお、上述の情報処理装置の処理機能はコンピュータによって実現することができる。その場合、この情報処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そして、そのプログラムがコンピュータで実行されることにより、上述の処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、光ディスク、半導体メモリなどのコンピュータで読み取り可能な記録媒体に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が提供または販売される。また、プログラムをサーバに格納しておき、ネットワークを介してそのプログラムを提供することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

なお、パーソナルコンピュータ、デジタルカメラなどの撮像装置、スマートフォン、携帯電話機、タブレット端末、携帯型ゲーム機、携帯型音楽プレーヤなどの機器が上述した情報処理装置としての機能を備えるようにしてもよい。また、情報処理装置の機能を実現するプログラムがインストールされることにより、上述の機器が情報処理装置としての機能を備えるようにしてもよい。

また、情報処理装置としての機能は、ネットワーク上に存在するサーバが提供するサービス、いわゆるクラウドサービスとして提供されてもよい。

本技術を実際に適用したアプリケーション例をいくつか説明する。まず、アプリケーション例の１つとしては、カメラやスマートフォンなどで、普通に静止画を撮るような感覚で気軽に動写真を撮れるアプリケーションが挙げられる。カメラまたはスマートフォンで、シャッターボタンを押下している間のカメラ画を内部メモリ等にバッファリングし、シャッター解放と共に本技術を適用する。この際、基準画は内部バッファの最初の１枚目とし、残りを参照画とすれば良い。自動生成、ユーザによる補正を経て、１つの動写真が簡易に生成される。

もう１つのアプリケーション例として、動画からの編集により動写真を作成する編集アプリケーションが挙げられる。この例は、パーソナルコンピュータやビデオカメラなどに適している。動画を再生しながら、動写真に適したシーンを探し、見つけた場合に、動写真とする開始フレーム及び終了フレームを指定することで、その間の画像から動写真を作成する。この場合、ユーザが目で見ながら、細かい範囲で基準画、参照画、周期を選択できるので、より完成度の高い動写真を作れると考えられる。

＜４．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

本技術は以下のような構成も取ることができる。

（１）複数の画像を連続表示することにより動作する被写体に対応する前記複数の画像中の領域を動領域として検出する動領域検出部と、
前記動領域については前記複数の画像を連続表示し、前記動領域以外の領域については前記複数の画像のうちの一つの画像を連続表示するように表示制御を行う表示制御部と
を備える情報処理装置。

（２）前記複数の画像を連続表示した際に生じる被写体の動きの周期性を検出する周期検出部をさらに備え、
前記表示制御部は、前記動領域検出部により前記動領域として検出され、さらに、前記周期検出部により前記周期性が検出された領域については、前記周期性が繰り返されるように前記複数の画像を連続表示する表示制御を行う
前記（１）に記載の情報処理装置。

（３）前記表示制御部は、前記複数の画像の前記周期性が検出された範囲の画像を連続表示することにより、前記周期性が繰り返されるように画像を連続表示する表示制御を行う
前記（１）または（２）に記載の情報処理装置。

（４）ユーザにより前記動領域として指定された前記複数の画像中の領域を前記動領域として設定し、該動領域を示す情報を前記表示制御部に供給するユーザ入力処理部をさらに備える
前記（１）から（３）のいずれかに記載の情報処理装置。

（５）前記ユーザ入力処理部は、ユーザにより前記動領域以外の領域として指定された前記複数の画像中の領域を前記動領域以外の領域として設定し、該動領域以外の領域を示す情報を前記表示制御部に供給する
前記（４）に記載の情報処理装置。

（６）前記表示制御部は、前記ユーザ入力処理部からの前記動領域を示す情報または／および前記動領域以外の領域を示す情報が供給された場合には、前記動領域を示す情報および／または前記動領域以外の領域を示す情報に基づいて前記表示制御を行う
前記（４）または（５）に記載の情報処理装置。

（７）前記複数の画像中の所定の画像以外の画像の前記所定の画像に対するずれを補正する処理を行う動き補正部をさらに備える
前記（１）から（６）のいずれかに記載の情報処理装置。

（８）前記動き補正部は、前記複数の画像の各々について画像全体の動きベクトルを算出し、該動きベクトルに基づいてずれを補正する処理を行う
前記（１）から（７）のいずれかに記載の情報処理装置。

（９）前記動領域検出部は、前記動き補正部により求められた動きベクトルを用いて前記動領域を検出する
前記（８）に記載の情報処理装置。

（１０）前記周期検出部は、前記動き補正部により求められた動きベクトルを用いて前記周期性を検出する
前記（８）または（９）に記載の情報処理装置。

（１１）複数の画像を連続表示することにより動作する被写体に対応する前記複数の画像中の領域を動領域として検出し、
前記動領域については前記複数の画像を連続表示し、前記動領域以外の領域については前記複数の画像のうちの一つの画像を連続表示するように表示制御を行う
情報処理方法。

（１２）複数の画像を連続表示することにより動作する被写体に対応する前記複数の画像中の領域を動領域として検出し、
前記動領域については前記複数の画像を連続表示し、前記動領域以外の領域については前記複数の画像のうちの一つの画像を連続表示するように表示制御を行う
情報処理方法をコンピュータに実行させる情報処理プログラム。

１０、２０、３０・・・情報処理装置
１１・・・・・・・・・画像抽出部
１２・・・・・・・・・繰り返し周期検出部
１３・・・・・・・・・動領域検出部
１４・・・・・・・・・表示制御部
１５・・・・・・・・・出力整形部

Claims (12)

1. 複数の画像を連続表示することにより動作する被写体に対応する前記複数の画像中の領域を動領域として検出する動領域検出部と、
   前記動領域については前記複数の画像を連続表示し、前記動領域以外の領域については前記複数の画像のうちの一つの画像を連続表示するように表示制御を行う表示制御部と
   を備える情報処理装置。
2. 前記複数の画像を連続表示した際に生じる被写体の動きの周期性を検出する周期検出部をさらに備え、
   前記表示制御部は、前記動領域検出部により前記動領域として検出され、さらに、前記周期検出部により前記周期性が検出された領域については、前記周期性が繰り返されるように前記複数の画像を連続表示する表示制御を行う
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記複数の画像の前記周期性が検出された範囲の画像を連続表示することにより、前記周期性が繰り返されるように画像を連続表示する表示制御を行う
   請求項１に記載の情報処理装置。
4. ユーザにより前記動領域として指定された前記複数の画像中の領域を前記動領域として設定し、該動領域を示す情報を前記表示制御部に供給するユーザ入力処理部をさらに備える
   請求項１に記載の情報処理装置。
5. 前記ユーザ入力処理部は、ユーザにより前記動領域以外の領域として指定された前記複数の画像中の領域を前記動領域以外の領域として設定し、該動領域以外の領域を示す情報を前記表示制御部に供給する
   請求項４に記載の情報処理装置。
6. 前記表示制御部は、前記ユーザ入力処理部からの前記動領域を示す情報または／および前記動領域以外の領域を示す情報が供給された場合には、前記動領域を示す情報および／または前記動領域以外の領域を示す情報に基づいて前記表示制御を行う
   請求項５に記載の情報処理装置。
7. 前記複数の画像中の所定の画像以外の画像の前記所定の画像に対するずれを補正する処理を行う動き補正部をさらに備える
   請求項１に記載の情報処理装置。
8. 前記動き補正部は、前記複数の画像の各々について画像全体の動きベクトルを算出し、該動きベクトルに基づいてずれを補正する処理を行う
   請求項７に記載の情報処理装置。
9. 前記動領域検出部は、前記動き補正部により求められた動きベクトルを用いて前記動領域を検出する
   請求項８に記載の情報処理装置。
10. 前記周期検出部は、前記動き補正部により求められた動きベクトルを用いて前記周期性を検出する
    請求項８に記載の情報処理装置。
11. 複数の画像を連続表示することにより動作する被写体に対応する前記複数の画像中の領域を動領域として検出し、
    前記動領域については前記複数の画像を連続表示し、前記動領域以外の領域については前記複数の画像のうちの一つの画像を連続表示するように表示制御を行う
    情報処理方法。
12. 複数の画像を連続表示することにより動作する被写体に対応する前記複数の画像中の領域を動領域として検出し、
    前記動領域については前記複数の画像を連続表示し、前記動領域以外の領域については前記複数の画像のうちの一つの画像を連続表示するように表示制御を行う
    情報処理方法をコンピュータに実行させる情報処理プログラム。

Images