JP2015185870A - 画像処理装置、画像処理方法、及び画像処理装置のプログラム - Google Patents

Abstract

【課題】容易かつ適切に、切り出し領域を順次移動させながら部分的な切り出しを連続して行う画像処理装置、画像処理方法、及び画像処理装置のプログラムを提供する。【解決手段】画像処理装置１０は、取得画像であるライブブュー画像、又は静止画像を対象に、容易かつ適切に、切り出し領域を順次移動させながら部分的な切り出しを連続して行う。このため、制御部１１は、取得画像に含まれる複数の撮影対象を特定し、複数の撮影対象のサイズ、または複数の撮影対象の取得画像内の位置に基づき、切り出し領域のサイズ、及び取得画像内の複数の撮影対象間を含む連続的な移動経路を設定し、取得画像内を移動経路に沿って順次連続的に移動しながら切り出し領域のサイズにしたがった部分的な画像の切り出しを行う。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及び画像処理装置のプログラムに関する。

例えば、特許文献１に、一つの静止画像から切り出し領域を順次移動させながら部分的な切り出しを行い、切り出した画像をつなげて動画を生成する技術が開示されている。

特開平１１−１８５０５１号公報

特許文献１に開示された技術は、撮像素子の画素数が大幅に増加してきたことに伴い、高画素数で撮影された静止画像を活用する方法としては有効であるが、移動経路の自動設定は画像サイズに基づくものしか行うことができず、より適切に設定するためには、切り出し領域のサイズや移動経路をユーザが設定する必要があるという問題があった。

本発明は、このような事情に鑑みなされたものであり、容易かつ適切に、切り出し領域を順次移動させながら部分的な切り出しを連続して行う画像処理装置、画像処理方法、及び画像処理装置のプログラムを提供することを目的とする。

本発明に係る第１の態様は、
取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定手段と、
特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定手段と、
前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理手段と、
を備えることを特徴とする画像処理装置を提供する。

本発明の第２の態様は、
取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定ステップと、
特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定ステップと、
前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理ステップと、
を含むことを特徴とする画像処理方法を提供する。

本発明の第３の態様は、
取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定機能と、
特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定機能と、
前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理機能と、
を実現することを特徴とする画像処理装置のプログラムを提供する。

本発明によれば、容易かつ適切に、切り出し領域を順次移動させながら部分的な切り出しを連続して行う画像処理装置、画像処理方法、及び画像処理装置のプログラムを提供することができる。

本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図１の顔特定テーブルのデータ構成の一例を示す図である。 経路設定画面および移動速度設定画面の一例を示す図である。 実施例１の動画化処理の動作を示すフローチャートである。 実施例１の動画化処理を画面上に展開して示した図である。 実施例２の動画化処理の動作を示すフローチャートである。 実施例２の動画化処理を画面上に展開して示した図である。 実施例３の動画化処理の動作を示すフローチャートである。 図８Ａの続きの動作を示すフローチャートである。 実施例３の動画化処理を画面上に展開して示した図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、単に、本実施形態という）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。

（実施形態の構成）
本実施形態は、画像処理装置１０としてデジタルカメラに適用した場合を例示したもので、図１は、このデジタルカメラの基本的な構成要素を示したブロック図である。

図１に示すように、本実施形態に係る画像処理装置１０（デジタルカメラ）は、静止画像のほかに動画の撮影も可能なコンパクトカメラや一眼レフカメラであり、制御部１１と、電源部１２と、記憶部１３と、操作部１４と、撮像部１５と、表示部１６と、により構成される。

制御部１１は、電源部１２（二次電池）からの電力供給によって動作し、記憶部１３に記憶された各種プログラムに応じてデジタルカメラ全体の動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリが内蔵されている。

記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図４、図６、図８Ａ，図８Ｂに示す処理手順に応じて本実施形態の画像処理装置１０を実現する画像処理装置１０のプログラムや各種のアプリケーション等が格納されるプログラム領域と、デジタルカメラが動作するために必要なテーブルや撮影された画像等を一時的に記憶するワーク領域等が割り当てられ記憶されている。なお、テーブルの一つとして、例えば、図２にそのデータ構成を示す顔特定テーブル１３０が記憶されている。顔特定テーブル１３０の詳細については後述する。記憶部１３は、例えば、ＳＤカード、ＩＣカード等、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよい。また、図示使用略してあるが、通信機能を介してネットワークに接続されている状態にあっては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部１４は、押しボタン式のキーとして、撮影可能な状態とする撮影モード（セルフタイマ撮影モード、連写撮影モードなど）、撮影済み画像を再生する再生モードなどを切替えるモード変更キー、撮影開始を指示するシャッタキー、露出やシャッタスピード等の撮影条件の設定操作を行う各種キー、あるいは、後述するように、表示画面を見ながら、画像から切り出し領域を順次移動させながら部分的な切り出しを行い、動画を生成する際の移動経路や移動速度の設定を行うキー（図示省略）を備えている。制御部１１は、ユーザによる操作部１４の操作キーの押下に対応して出力される入力操作信号に応じて、撮影処理、撮影条件の設定処理、再生処理を行う他に、上記した設定処理も行う。

撮像部１５は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮像可能なカメラ部を構成するもので、撮像レンズ、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。そして、撮像部１５は、静止画像のほかに動画の撮影も可能であり、光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。デジタル変換された画像データは、色補間処理（デモザイク処理）が施されて表示部１６にフルカラー表示される。また、ズーム機能も搭載されており、制御部１１の制御により、撮像画像の一部を画像処理により設定されたサイズに応じた拡大縮小（デジタルズーム）を行う。また、オートフォーカス処理（ＡＦ処理）、露出調整処理（ＡＥ処理）、オートホワイトバランス調整処理（ＡＷＢ）、画像圧縮処理、画像復元処理なども実行可能となっている。

表示部１６は、例えば、縦横比（横４：縦３）の表示画面を有した高精細液晶ディスプレイ、あるいは有機ＥＬ（ＯＬＥＤ）ディスプレイで、撮像画像を表示するモニタ画面（ライブビュー画面）になったり、撮影画像を再生する再生画面になったりする。なお、表示部１６は、表示パネル上にタッチパネルが積層配設された構成でもよい。この場合、タッチパネルは、撮影者の指等でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成し、例えば、静電容量方式、あるいは抵抗膜方式を採用しているが、その他の方式でもよい。

本実施形態に係る画像処理装置１０は、撮像素子から取得される撮像画像であるライブブュー画像、又は記憶部１３から取得される撮影画像である静止画像を対象に、容易かつ適切に、切り出し領域を順次移動させながら部分的な切り出しを連続して行う。このため、制御部１１は、取得画像に含まれる複数の撮影対象を特定する手段として機能する。複数の撮影対象のサイズ、または複数の撮影対象の取得画像内の位置に基づき、切り出し領域のサイズ、及び取得画像内の複数の撮影対象間を含む連続的な移動経路を設定する手段としても機能する。更には、取得画像内を移動経路に沿って順次連続的に移動しながら切り出し領域のサイズにしたがった部分的な画像の切り出しを行う手段としても機能する。

上記した複数の撮影対象を特定するために、制御部１１は、記憶部１３の所定の領域に記憶された顔特定テーブル１３０を参照し、顔特定テーブルに登録された名前の顔特徴情報にしたがい画像解析を行う。顔特定テーブル１３０には、更に、登録された顔のうち、どの顔から先に表示するのかを示す優先順位情報も登録されている。また、上記した連続的な移動経路を設定するために、制御部１１は、表示部１６に、例えば、図３（ａ）に示す経路設定画面、および図３（ｂ）に示す移動速度設定画面を表示し、ユーザが操作部１４を操作することにより入力される設定情報を取り込む。

ユーザは、経路設定を行うにあたり、図３（ａ）に示すように、移動方向（左から右へ向かう経路とするか、右から左へ向かう経路とするか）、撮影対象である顔の大きさが大きい人から小さい人に向かう経路とするか、顔が小さい人から大きい人に向かう経路とするか、あるいは、顔特定テーブル１３０にしたがう経路設定（登録されている人の顔を同じく登録済みの優先順位にしたがう経路とするか）を行うかを選択する。

また、ユーザは、その際の移動速度を設定するにあたり、図３（ｂ）に示すように、取得画像に含まれる複数の撮影対象である顔と顔との距離が短いものを基準に一定速度（例えば、３秒）とするか、顔と顔との距離に依存することなく、移動速度を一定時間に固定するかを表示部１６に表示された○のラジオボタンを操作部１４の操作によりいずれかを選択する。また、設定された移動速度内にあって、大きい顔に近づくにつれて、あるいは画面の中央に近い顔に近づくにつれて徐々に速度を落とすか、または、顔毎に一時停止するかを、表示部１６に表示された□のチェックボックスを操作部１４の操作により任意に選択することができる。○のラジオボタンと□のチェックボックスで選択される項目の組み合わせは任意である。

（実施形態の動作）
以下、図４以降を参照して図１に示す本実施形態に係る画像処理装置１０の動作について実施例毎、詳細に説明する。

（実施例１）
図４は、実施例１の画像処理装置１０による動画化処理の動作を示すフローチャートである。以下に説明する実施例１は、取得画像に含まれる一番顔が大きい人を基準に切り出し領域のサイズを決定する。図４によれば、制御部１１は、まず、表示部１６に表示される記憶部１３から取得した静止画像内の顔を画像解析により検出してその中心座標を特定する（ステップＳ１０１）。次に、経路設定情報から経路を特定し（ステップＳ１０２）、各顔の上下の長さを算出する（ステップＳ１０３）。そして、その中で一番長い顔を特定し（ステップＳ１０４）、最も長い顔の長さに定数ｂ（例えば、０．２）を乗算して余白を算出する（ステップＳ１０５）。

次に、制御部１１は、ステップＳ１０４で特定された最も長い顔の長さに、ステップＳ１０５で算出された余白を加算して、切り出し領域の上下の長さを算出する（ステップＳ１０６）。そして、算出された切り出し領域の上下の長さから、表示部１６が持つ、例えば、４：３のアスペクト比に合致した左右の長さを算出し（ステップＳ１０７）、切り出し領域のサイズを特定する（ステップＳ１０８）。すなわち、切り出し領域のサイズは、複数検出された顔のうち、一番上下の長い顔に所定の余白を加え所定のアスペクト比から算出される。

次に、制御部１１は、特定された切り出し領域を移動経路に沿って移動速度設定画面で設定された移動速度にしたがい移動させながら逐次切り出す（ステップＳ１０９）。このとき、切り出しは、特定された切り出し領域のサイズを固定して行われ、その移動速度は、一時停止も含めて先に設定済みであり、大きい顔に近づくほど速度を落とすか、あるいは画面の中央に近づくほど速度を落とす等、任意である。また、移動経路は、検出された複数の顔の中心座標と予め設定された経路設定情報に基づき特定することができる。切り出し領域の移動は、各中心座標を直線的につなげても、あるいはスプライン曲線等を用いて滑らかになるようにつなげてもよい。なお、変形例として、顔特定テーブル１３０に登録された顔のみを、登録された優先順位で切り出してもよい。

続いて、制御部１１は、切り出された切り出し画像を逐次所定のサイズにデジタルズームにより変更し（ステップＳ１１０）、所定のサイズに変更された切り出し画像をつなげて動画化する（ステップＳ１１１）。ここで、動画の画像サイズは、例えば、６４０×４８０ピクセルとし、切り出しの頻度は、３０フレームとする。上記したステップＳ１０９〜Ｓ１１１の処理は、設定された移動経路を全て移動し終わるまで（ステップＳ１１２“ＮＯ”）、繰り返し実行される。制御部１１は、移動経路を全て移動し終えたことを検出すると（ステップＳ１１２“ＹＥＳ”）、動画化された画像を記憶部１３の所定の領域に記憶するファイル化処理を実行（ステップＳ１１３）して上記した一連の動画化処理を終了する。
なお、動画には、１ファイルの動画以外に、複数の静止画を連続して表示するスライドも含まれる。

図５に、実施例１による動画化処理が表示画面上に展開して示してある。図５を参照しながら図４に示すフローチャートの説明を補足する。図５（ａ）に、制御部１１で検出された全ての顔を処理対象とし、移動経路が左から右に経路設定されている場合の切り出し領域の移動状態と、生成される動画を時系列に示されている。図５（ｂ）に、顔特定テーブル１３０に登録された顔を優先順位にしたがい経路設定されている場合の切り出し領域の移動状態と、生成される動画が時系列に示されている。

図５（ａ）は、取得画像に含まれる顔Ａ，Ｂ，Ｃ，Ｄの内、最も大きい顔Ｃを基準に点線枠で示す切り出し領域のサイズを決め、顔Ａから順に顔Ｄまで移動する動画化画像を生成する例が示されている。切り出し領域は、切り出し領域の中心が点線の矢印で示す経路上を移動していき、移動速度に応じて複数枚の画像を切り出していく。切り出された複数枚の画像をつなげると、同図下に、生成される動画として示すように遷移する。このように、切り出し領域のサイズが固定で、その中にそれぞれの顔がきれいに収まるように移動する。なお、一部図示を省略しているが、実際には、図５の「生成される画像」の顔Ｃが示されている画像のように、経路上を切り出し領域が移動する際に、画面隅等に隣接する位置の他の顔が入る場合には、その顔も写る。以降の例示においても図示を省略している場合があるが、経路上を切り出し領域が移動する際に、画面隅等に隣接する位置の他の顔が入る場合には同様に、その顔も写る。

図５（ｂ）は、顔特定テーブル１３０に登録された顔のみを登録された優先順位で切り出す場合を示す。ここでは、顔Ｃが一番、顔Ａが２番の順で優先順位が設定されており、切り出しを行う顔としては顔Ｂ，Ｄが設定されていないものとする。但し、上述したように、切り出し領域の移動中に切り出し領域内に入る顔Ｂ，Ｄは、写りこむことになる。図５（ｂ）中、顔Ｃから顔Ａに向かって複数枚画像を切り出し、その画像をつなげると、同図下に生成される動画として示すように遷移する。

（実施例１の効果）
上記したように、実施例１に係る画像処理装置１０は、制御部１１は、取得画像に含まれる複数の撮影対象を特定し、複数の撮影対象のサイズに基づき、切り出し領域のサイズ、及び取得画像内の複数の撮影対象間を含む連続的な移動経路を設定して、取得画像内を移動経路に沿って順次連続的に移動しながら切り出し領域のサイズにしたがった部分的な画像の切り出しを行う。このとき、切り出し領域のサイズが、複数の撮影対象のうち一番大きい撮影対象（顔）に合わせて設定されている。
なお、上記では、１の静止画像を基に切り出し領域を移動経路に沿って移動し、多数の画像を切り出す場合で説明してきたが、撮像素子から取得されるライブビュー画像でも、同様である。
つまり、例えば、画像処理装置１０が固定された状態でのライブビュー画像を上記と同様の移動経路に沿って切り出し領域を移動させ、順次、動画化するのに必要な切り出し画像を取得していけばよい。以降の他の実施例では特に説明しないが、上述のとおり、ライブビュー画像でも同様のことができる。

このため、実施例１に係る画像処理装置１０によれば、動画を生成するごとに切り出し領域のサイズや移動経路をユーザが設定することなく、容易かつ適切に切り出し領域を順次移動させながら部分的な切り出しを行うことが出来、したがって、取得画像であるライブブュー画像、又は静止画像を対象に、動画化が可能になる。なお、実施例１によれば、複数の撮影対象のうち一番大きい撮影対象に合わせて切り出し領域の設定を行うため、デジタルズーム倍率が変化せず、したがって、見やすい動画を生成することができる。

また、実施形態１に係る画像処理装置１０によれば、複数の撮影対象を順次連続的に切り出すように切り出し領域の移動経路が設定されていることにより、撮影対象を万遍なく撮影した動画を容易に生成することができる。更に、移動経路が任意に設定された撮影対象の順番（優先順位）に基づき設定されていることで、柔軟で使い勝手の良い動画生成が可能になり、ユーザに利便性を提供することができる。

（実施例２）
以下に説明する実施例２に係る画像処理装置１０において、実施例１との差異は、実施例１が、切り出し領域のサイズが固定であったのに対し、複数の顔の大きさが同じになるように顔毎に切り出し領域のサイズが決定され、画像サイズが同じサイズになるようにデジタルズーム比を変化させる点にある。

図６に実施例２に係る画像処理装置１０の動画化処理の動作がフローチャートで示されている。図６によれば、制御部１１は、まず、表示部１６に表示される取得画像の顔を画像解析により検出してその中心座標を特定する（ステップＳ２０１）。次に、経路設定情報から経路を特定し（ステップＳ２０２）、各顔の上下の長さを算出する（ステップＳ２０３）。そして、算出した各顔の長さに定数ｂ（例えば、０．２）を乗算して余白を算出する（ステップＳ２０４）。

次に、制御部１１は、ステップＳ２０３で特定された各顔の長さに、ステップＳ２０４で算出された余白を加算して、各顔の切り出し領域の上下の長さを算出する（ステップＳ２０５）。そして、算出された切り出し領域の上下の長さから、表示部１６が持つ、例えば、４：３のアスペクト比に合致した左右の長さを算出し（ステップＳ２０６）、各顔の切り出し領域のサイズを特定する（ステップＳ２０７）。すなわち、切り出し領域のサイズは、複数検出された顔毎に所定の余白を加え所定のアスペクト比から算出される。

次に、制御部１１は、特定された切り出し領域を、各顔の中心座標で特定されたサイズとなるように逐次そのサイズを変更しながら移動経路に沿って移動速度設定画面で設定された移動速度にしたがい移動させながら切り出す（ステップＳ２０８）。移動経路は、検出された複数の顔の中心座標と予め設定されている移動経路情報に基づき特定する。ここで、移動経路は、各中心座標を直線的につなげてもスプライン曲線等を用いて滑らかにしてもよい。切り出しは、各中心座標で特定された切り出し領域のサイズになるように変化させながら行う。なお、変形例として、顔特定テーブルに登録された顔のみを登録された優先順位で切り出してもよい。

続いて、制御部１１は、切り出された切り出し画像を逐次所定のサイズにデジタルズームにより変更し（ステップＳ２０９）、所定のサイズに変更された切り出し画像をつなげて動画化する（ステップＳ２１０）。ステップＳ２０８〜Ｓ２１０の処理は、設定された移動経路を全て移動し終わるまで（ステップＳ２１１“ＮＯ”）、繰り返し実行される。制御部１１は、移動経路を全て移動し終えたことを検出すると（ステップＳ２１１“ＹＥＳ”）、動画化された画像を記憶部１３の所定の領域に記憶するファイル化処理を実行（ステップＳ２１２）して上記した一連の動画化処理を終了する。

図７に、実施例２による動画化処理が表示画面上に展開して示してある。図７を参照しながら図６に示すフローチャートの説明を補足する。上記したように、実施例１との差異は、顔毎に切り出し領域のサイズが決定され、画像サイズが同じサイズになるようにデジタルズーム比を変化させることにある。このため、例えば、図７（ａ）に示すように、動画を生成する際、例えば、顔Ａから顔Ｂへ向かうとすれば、切り出し領域のサイズを徐々に小さくしながら画像の切り出しを行う。顔Ｂから顔Ｃに向かう場合は、逆に切り出し領域のサイズを少しずつ大きくしながら画像の切り出しを行う。そして、同図下に、生成される動画として示すように、生成された動画を再生すると顔が中心となる時点で顔のサイズが全て同じになるようになる。このため、例えば、顔Ｂは、再生の際にズームアップ（デジタルズーム）され大きく見える。
なお、この場合、各顔を基準に切り出し領域のサイズが決定され、動画の生成時に画像サイズが同じになるようにデジタルズーム比を変化させるので、顔が同じサイズになるようになっている。

また、図７（ｂ）に示すように、顔特定テーブル１３０に登録された顔のみを登録された優先順位で切り出す場合は、実施例１同様、顔Ｃから顔Ａに向かって複数枚画像を切り出し、その画像をつなげると、同図下に、生成される動画として示すように遷移する。

（実施例２の効果）
上記したように、実施例２に係る画像処理装置１０は、制御部１１は、取得画像に含まれる複数の撮影対象を特定し、複数の撮影対象のサイズに基づき、切り出し領域のサイズ、及び取得画像内の複数の撮影対象間を含む連続的な移動経路を設定して、取得画像内を移動経路に沿って順次連続的に移動しながら切り出し領域のサイズにしたがった部分的な画像の切り出しを行う。このとき、切り出し領域のサイズが、複数の撮影対象毎のサイズに応じて設定されている。

このため、実施例２に係る画像処理装置１０によれば、切り出し領域のサイズや移動経路をユーザが設定することなく、容易かつ適切に切り出し領域を順次移動させながら部分的な切り出しを行うことが出来、したがって、取得画像であるライブブュー画像、又は静止画像を対象に、動画化が可能になる。なお、実施例２によれば、取得された画像内における撮影対象の大きさに依存せず、撮影対象の大きさを一定にすることが出来、見やすい動画を生成することができる。

また、実施例２に係る画像処理装置１０によれば、複数の撮影対象を順次連続的に切り出すように切り出し領域の移動経路が設定されていることにより、撮影対象を万遍なく撮影した動画を容易に生成することができる。更に、移動経路が任意に設定された撮影対象の順番（優先順位）に基づき設定されていることで、柔軟で使い勝手の良い動画の生成が可能になり、ユーザに利便性を提供することができる。

なお、上記した実施形態１，２に係る画像処理装置１０において、動画の画像サイズ、切り出しの頻度は固定であるものとして説明したが、要求される画質に応じて任意に設定してもよい。また、移動経路は図３（ａ）に示す経路設定画面で設定可能な種類に限定されるものではなく、上から下や下から上であってもよく、この場合、切り出し領域のサイズは、顔の左右の長さから特定してもよい。
上記した実施形態１，２に係る画像処理装置１０において、切り出し領域の中心座標と検出された各顔の中心座標が一致することを前提として説明したが、顔の位置が静止画像の端部であることで、切り出し領域のサイズを確保するためにが静止画像に収まるように切り出し領域を内側にずらす必要があり、特定された切り出し領域のサイズでは顔の中心座標と切り出し領域の中心座標とが一致しない場合が起こりうる。この場合、移動経路を切り出し領域の中心座標をつなぐように設定してもよい。

（実施例３）
以下に説明する実施例３に係る画像処理装置１０は、実施例１，あるいは実施例２のように、取得画像の撮影対象である顔に個別に注目するのではなく、各顔が収まり、かつ移動経路が直線状、即ち最短となるように、取得画像の適当な範囲を切り出し領域とし、これを移動させることによって動画を作成している。

図８Ａ，８Ｂに実施例３に係る画像処理装置１０の動画化処理の動作がフローチャートで示されている。図８Ａにおいて、制御部１１は、まず、表示部１６の画面に表示されている取得画像の顔を画像解析により検出し（ステップＳ３０１）、更に、検出した各顔の上下端の座標を求める（ステップＳ３０２）。次に、制御部１１は、左右端の顔を特定し（ステップＳ３０３）、特定した左右端の顔の中心を結ぶ線分（移動経路）を特定してその傾きを算出する（ステップＳ３０４）。

そして、算出した傾きの絶対値が、例えば、１０°（ａ°）以下であれば（ステップＳ３０５“ＹＥＳ”）、移動経路の傾きを０°に補正する（ステップＳ３０６）。すなわち、制御部１１は、移動経路を、検出された複数の顔の両端の中心座標をつないだ線分として特定し、このとき、所定の傾きａ°以下の場合は、その線分の上下方向の中間位置を通る横方向の直線として傾きを０になるように補正している。
なお、傾きが大きい場合、例えば１０°（ａ°）を超える場合には（ステップＳ３０５“ＮＯ”）、傾きを０°にする補正を行わず、そのまま傾きのある直線を移動経路とする。

次に、制御部１１は、各顔の上下端をつなぐ線分と移動経路との交点から上下端までの長さを算出し、上側、下側毎に、最も長い長さ（最も長い顔）を特定し（ステップＳ３０７）、最も長い上下端間の距離に、定数ｂ（例えば、０．２）を乗算することにより余白を算出する（ステップＳ３０８）。そして、制御部１１は、特定された上下端に、算出された余白を加算して、切り出し領域の上下の長さを算出し（ステップＳ３０９）、算出された上下の距離から所定のアスペクト比（例えば、４：３）の左右の距離を算出する（ステップＳ３１０）。すなわち、制御部１１は、移動経路を移動しながら領域を切り出した際に、複数検出された顔が切れない上下の長さに所定の余白を加え、所定のアスペクト比から特定する。

次に、制御部１１は、切り出し領域のサイズを特定する（ステップＳ３１１）。制御部１１は、特定した切り出し領域のサイズが、取得画像のサイズのｃ％（例えば、横の長さが７０％）以下であると判定すると（ステップＳ３１２“ＹＥＳ”）、特定された切り出し領域を移動経路に沿って、設定された移動速度で移動させながら順次切り出しを行う（図８ＢのステップＳ３１３）。このとき、切り出しは、特定された切り出し領域サイズを固定して行う。なお、切り出し領域のサイズが取得画像のサイズのｃ％（例えば、横の長さが７０％）を超えると判定すると（ステップＳ３１２“ＮＯ”）、移動経路に沿った切り出し作業を行わないようにする。これは、切り出し領域がもとの取得画像に近い大きさの場合、この処理を行っても動画のように視覚され難く、処理の効果が得られないためである。

続いて、制御部１１は、切り出された切り出し画像を逐次所定のサイズに変更し（ステップＳ３１４）、所定のサイズに変更された切り出し領域をつなげて動画化する（ステップＳ３１５）。ステップＳ３１３〜Ｓ３１５の処理は、設定された移動経路を全て移動し終わるまで（ステップＳ３１６“ＮＯ”）、繰り返し実行される。制御部１１は、移動経路を全て移動し終えたことを検出すると（ステップＳ３１６“ＹＥＳ”）、動画化された画像を記憶部１３の所定の領域に記憶するファイル化処理を実行（ステップＳ３１７）して上記した一連の動画化処理を終了する。

図９に、実施例３による動画化処理が表示画面上に展開して示してある。図９を参照しながら図８Ａ，８Ｂに示すフローチャートの説明を補足する。図９（ａ）の取得画像から図９（ｂ）に示すように、制御部１１は、取得画像に含まれる各顔の上下端を調べている（図８のステップＳ３０１，Ｓ３０２）。そして、図９（ｃ）に示すように、左端と右端にある顔を特定し、顔の中心をつなぐ線を求めている（図８のステップＳ３０３，Ｓ３０４）。そして、図９（ｄ）に示すように、線の傾きが少ない場合は、線の中心を通る横向きの直線を求める（図８のステップＳ３０５，Ｓ３０６）。

そして、図９（ｅ）（ｆ）に示すように、その直線から全ての顔が収まる上下幅（を決め（図８のステップＳ３０７）、上下に少しばかりの余白を付加して切り出し領域の上下幅Ｘを決め、横幅Ｙは、表示部１６のアスペクト比に応じて決めている（図８のステップＳ３０８，Ｓ３０９）。図９（ｇ）に、切り出し領域の上下幅Ｘ，およびアスペクト比に応じて決めた横幅Ｙが示されている（ステップＳ３１０）。次に、図９（ｈ）に示すように、上下幅Ｘと横幅Ｙのサイズを切り出し領域Ｚとし、以降、領域Ｚを点線の矢印で示す経路上を移動していき、移動速度に応じて複数枚の画像を切り出していき、つなげながら動画を生成していく（ステップＳ３１１）。このようにして生成された動画を再生すれば図９（ｉ）に示すようになる。

（実施例３の効果）
上記したように、実施例３に係る画像処理装置１０は、制御部１１は、取得画像に含まれる複数の撮影対象を特定し、複数の撮影対象の取得画像内の位置に基づき、切り出し領域のサイズ、及び取得画像内の複数の撮影対象間を含む連続的な移動経路を設定して、取得画像内を移動経路に沿って順次連続的に移動しながら切り出し領域のサイズにしたがった部分的な画像の切り出しを行う。このとき、取得画像の適当な範囲を切り出し領域とし、移動経路が直線になるように設定されている。

このため、実施例３に係る画像処理装置１０によれば、切り出し領域のサイズや移動経路をユーザが設定することなく、容易かつ適切に切り出し領域を順次移動させながら部分的な切り出しを行うことが出来、したがって、取得画像であるライブブュー画像、又は静止画像を対象に、動画化が可能になる。また、切り出し領域の移動経路が直線状に順次切り出せるように、切り出し領域の移動経路を設定するとともに、直線の傾きが小さい場合は、傾きが０°となる補正を行っている。そして、複数の各撮影対象が収まるサイズに切り出し領域のサイズを設定することにより、撮影対象の位置関係によって移動経路が頻繁に上下動することはなく滑らかに移動するため、見やすい動画を生成することが出来る。また、切り出し領域のサイズが所定のサイズより小さい場合にのみ動画生成を行うことにより、切り出し領域のサイズが大きすぎ、動画生成の効果が薄いような場合の不要な動画生成を制限できる。

なお、実施例３に係る画像処理装置１０によれば、動画生成の際に切り出し領域が直線状に移動する場合のみ例示したが、直線状に限らず、円や矩形等任意の図形に沿って移動してもよい。また、実施例１〜実施例３による動画生成のいずれを実行するか選択可能とするメニュー画面を用意してユーザに選択させてもよい。この場合、使い勝手が増し、ユーザに一層の利便性を提供することができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態では、カメラの機能として説明してきたが、カメラに限らず、スマートフォン、ＰＣなどのようなものにも適用できることは明らかである。このように、多様な変更または改良を加えることが可能であることが当業者に明らかである。またそのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

〔付記〕
［請求項１］
取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定手段と、
特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定手段と、
前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理手段と、
を備えることを特徴とする画像処理装置。
［請求項２］
前記設定手段は、所定の条件として、特定された前記複数の撮影対象の全てが切り出されるように、前記切り出し領域の前記サイズ、及び前記移動経路を設定することを特徴とする請求項１に記載の画像処理装置。
［請求項３］
前記設定手段は、前記移動経路を、特定された複数の前記撮影対象の前記位置に応じて、前記複数の撮影対象を順次連続的に切り出すように設定することを特徴とする請求項２に記載の画像処理装置。
［請求項４］
前記設定手段は、前記移動経路を、任意に設定された複数の前記撮影対象の順番に基づき設定することを特徴とする請求項３に記載の画像処理装置。
［請求項５］
前記特定手段は、前記複数の撮影対象の前記取得画像内におけるサイズを更に特定し、
特定された前記複数の撮影対象のサイズに基づき、前記切り出し領域の前記サイズ、及び前記移動経路を更に設定することを特徴とする請求項２から請求項４のいずれか一項に記載の画像処理装置。
［請求項６］
前記設定手段は、前記切り出し領域の前記サイズを、前記複数の撮影対象のうち一番大きい撮影対象に合わせて設定することを特徴とする請求項５に記載の画像処理装置。
［請求項７］
前記設定手段は、前記切り出し領域の前記サイズを、前記複数の撮影対象毎のサイズに応じて設定し、
前記画像処理手段は、前記切り出し領域の前記サイズに応じてデジタルズームを行うことを特徴とする請求項５に記載の画像処理装置。
［請求項８］
前記設定手段は、前記切り出し領域の前記サイズを、任意に設定された複数の前記撮影対象に応じて設定することを特徴とする請求項６又は７に記載の画像処理装置。
［請求項９］
前記設定手段は、前記切り出し領域の前記サイズと前記移動経路との関係が前記所定の条件を満たすように、前記切り出し領域の前記サイズが大きくなるほど前記移動経路を短く、前記切り出し領域の前記サイズが小さくなるほど前記移動経路を長く設定することを特徴とする請求項２から請求項８のいずれか一項に記載の画像処理装置。
［請求項１０］
前記設定手段は、前記移動経路の長さが短くなるように又は直線性が高くなるように前記切り出し領域の前記サイズを設定することを特徴とする請求項９に記載の画像処理装置。
［請求項１１］
前記設定手段は、前記移動経路を傾きの無い直線に設定することを特徴とする請求項１０に記載の画像処理装置。
［請求項１２］
前記設定手段は、前記切り出し領域の前記サイズが、所定のサイズより小さくなる場合のみ、前記移動経路の前記設定、及び前記切り出し領域の前記設定を行うことを特徴とする請求項９から請求項１１のいずれか一項に記載の画像処理装置。
［請求項１３］
前記設定手段は、特定された前記複数の撮影対象の前記位置に基づき、前記切り出し領域が前記移動経路を移動する際の移動速度を設定することを特徴とする請求項１から請求項１２のいずれか１項に記載の画像処理装置。
［請求項１４］
前記画像処理手段により切り出された前記部分的な前記複数の画像から動画を生成する生成手段を更に備えることを特徴とする請求項１から請求項１３のいずれか１項に記載の画像処理装置。
［請求項１５］
前記特定手段は、前記取得画像を撮像手段により撮像される画像から取得することを特徴とする請求項１から請求項１４のいずれか１項に記載の画像処理装置。
［請求項１６］
前記特定手段は、前記取得画像を１の静止画像から取得することを特徴とする請求項１から請求項１５のいずれか１項に記載の画像処理装置。
［請求項１７］
取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定ステップと、
特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定ステップと、
前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理ステップと、
を含むことを特徴とする画像処理方法。
［請求項１８］
取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定機能と、
特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定機能と、
前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理機能と、
を実現することを特徴とする画像処理装置のプログラム。

１０…画像処理装置、１１…制御部、１２…電源部、１３…記憶部、１４…操作部、１５…撮像部、１６…表示部、１３０…顔特定テーブル

Claims (18)

1. 取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定手段と、
   特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定手段と、
   前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記設定手段は、所定の条件として、特定された前記複数の撮影対象の全てが切り出されるように、前記切り出し領域の前記サイズ、及び前記移動経路を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記移動経路を、特定された複数の前記撮影対象の前記位置に応じて、前記複数の撮影対象を順次連続的に切り出すように設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段は、前記移動経路を、任意に設定された複数の前記撮影対象の順番に基づき設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記特定手段は、前記複数の撮影対象の前記取得画像内におけるサイズを更に特定し、
   特定された前記複数の撮影対象のサイズに基づき、前記切り出し領域の前記サイズ、及び前記移動経路を更に設定することを特徴とする請求項２から請求項４のいずれか一項に記載の画像処理装置。
6. 前記設定手段は、前記切り出し領域の前記サイズを、前記複数の撮影対象のうち一番大きい撮影対象に合わせて設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、前記切り出し領域の前記サイズを、前記複数の撮影対象毎のサイズに応じて設定し、
   前記画像処理手段は、前記切り出し領域の前記サイズに応じてデジタルズームを行うことを特徴とする請求項５に記載の画像処理装置。
8. 前記設定手段は、前記切り出し領域の前記サイズを、任意に設定された複数の前記撮影対象に応じて設定することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記設定手段は、前記切り出し領域の前記サイズと前記移動経路との関係が前記所定の条件を満たすように、前記切り出し領域の前記サイズが大きくなるほど前記移動経路を短く、前記切り出し領域の前記サイズが小さくなるほど前記移動経路を長く設定することを特徴とする請求項２から請求項８のいずれか一項に記載の画像処理装置。
10. 前記設定手段は、前記移動経路の長さが短くなるように又は直線性が高くなるように前記切り出し領域の前記サイズを設定することを特徴とする請求項９に記載の画像処理装置。
11. 前記設定手段は、前記移動経路を傾きの無い直線に設定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記設定手段は、前記切り出し領域の前記サイズが、所定のサイズより小さくなる場合のみ、前記移動経路の前記設定、及び前記切り出し領域の前記設定を行うことを特徴とする請求項９から請求項１１のいずれか一項に記載の画像処理装置。
13. 前記設定手段は、特定された前記複数の撮影対象の前記位置に基づき、前記切り出し領域が前記移動経路を移動する際の移動速度を設定することを特徴とする請求項１から請求項１２のいずれか１項に記載の画像処理装置。
14. 前記画像処理手段により切り出された前記部分的な前記複数の画像から動画を生成する生成手段を更に備えることを特徴とする請求項１から請求項１３のいずれか１項に記載の画像処理装置。
15. 前記特定手段は、前記取得画像を撮像手段により撮像される画像から取得することを特徴とする請求項１から請求項１４のいずれか１項に記載の画像処理装置。
16. 前記特定手段は、前記取得画像を１の静止画像から取得することを特徴とする請求項１から請求項１５のいずれか１項に記載の画像処理装置。
17. 取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定ステップと、
    特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定ステップと、
    前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理ステップと、
    を含むことを特徴とする画像処理方法。
18. 取得画像に含まれる複数の撮影対象の該取得画像内における位置を特定する特定機能と、
    特定された前記複数の撮影対象の位置に基づき、切り出し領域のサイズ、及び前記取得画像内の前記複数の撮影対象間を含む連続的な移動経路を設定する設定機能と、
    前記取得画像内を設定された前記移動経路に沿って順次連続的に移動しながら設定された前記切り出し領域の前記サイズにしたがった部分的な画像の切り出しを行う画像処理機能と、
    を実現することを特徴とする画像処理装置のプログラム。

Images