JP2013254302A5 - - Google Patents

Description

第１の切り出し画像生成処理は、制約条件情報に基づいて、制約条件を満たす切り出し画像を生成する処理である。上述したように、制約条件には、例えば、切り出し画像の構図、切り出し画像のアスペクト比、切り出し画像の大きさ、切り出し画像の入力画像中の位置、及び切り出し画像の入力画像に対するズーム率が含まれる。さらに、制約条件には、切り出し画像の枚数、及び切り出し画像同士の重複の有無が含まれる。さらに、制約条件には、第１の動画条件及び第２の動画条件が含まれる。そこで、切り出し画像生成部５０は、これらの制約条件を満たす切り出し画像を入力画像から切り出す。なお、切り出し画像生成部５０は、指定のない制約条件については、任意に制約条件を設定し、その条件を満たす切り出し画像を入力画像から切り出す。

図６は、三分割構図の切り出し画像が切り出される例を示す。この例では、入力画像１００ａから切り出し画像２００ａが切り出される。切り出し画像２００ａは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、すべての被写体、すなわち顔画像１０１〜１０３が仮想線上に配置されている。特に、顔画像１０１は力点２０３ａ上に、顔画像１０３は力点２０３ｄ上に配置されている。なお、エフェクト画像生成部４０は、切り出し画像の構図に関する制約条件に、切り出し画像に含める被写体の種類（例えば、顔画像の種類）を含めてもよい。

図７は、対比・対角構図の切り出し画像が切り出される例を示す。この例では、入力画像１００ａから切り出し画像２００ｂが切り出されている。切り出し画像２００ａは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、顔画像１０１〜１０２が仮想線上に配置されている。なお、エフェクト画像生成部４０は、切り出し画像の構図に関する制約条件に、対角線上に配置する被写体の種類（例えば、顔画像の種類）を含めてもよい。

図８は、ズームアップ構図の切り出し画像が切り出される例を示す。この例では、入力画像１００ａから切り出し画像２００ｃが切り出されている。切り出し画像２００ｃは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、顔画像１０１が仮想線上に配置されている。なお、制約条件には、対角線上に配置する被写体の種類（例えば、顔画像の種類）を含めてもよい。また、制約条件にズームアップ構図が含まれる場合、制約条件のズーム率は正の値（入力画像よりも拡大する旨のズーム率）を示す場合が多くなる。ズームアップ構図は、特定の被写体を拡大して示すことにより、特定の被写体を目立たせるものだからである。

そして、切り出し画像生成部５０は、入力画像１００ｃから切り出し画像２００ｅを切りだす。切り出し画像２００ｅは、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂが設定されている。また、仮想線２０１ａ、２０１ｂ、２０２ａ、２０２ｂ同士の交点が力点２０３ａ、２０３ｂ、２０３ｃ、２０３ｄとなっている。そして、物体画像１５０ａが仮想線上に配置されている。図１２は、切り出し画像２００ｅを示す。なお、制約条件には、切り出し画像に含まれる被写体の種類、具体例には、仮想線上に配置する被写体の種類（どの人物の顔画像を仮想線上に含めるか等）を指定してもよい。

切り出し画像３３０、３４０中の顔画像１４１〜１７１は、いずれも仮想線上に配置されている。また、切り出し画像３３０、３４０のアスペクト比、及び大きさは表示領域１０２０、１０１０のアスペクト比及び大きさに一致する。また、切り出し画像３３０、３４０同士は重なっていない。したがって、切り出し画像３３０、３４０は制約条件を満たす。切り出し画像生成部５０は、切り出し画像３３０、３４０と、切り出し画像３３０、３４０が満たす制約条件とが関連付けられた切り出し画像情報を生成し、エフェクト画像生成部４０に出力する。

切り出し画像生成部５０は、入力画像１００ｅを解析することで、入力画像１００ｅから人物の顔画像１８１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、切り出し画像４００〜４２０を入力画像１００ｅから切り出す。

したがって、切り出し画像４００〜４２０中の顔画像１８１は、いずれも切り出し画像４００〜４２０の中心近傍に配置されている。また、切り出し画像４００〜４２０のアスペクト比、及び大きさは表示領域１１１０〜１１３０のアスペクト比及び大きさに一致する。また、切り出し画像４００〜４２０同士は重なっている。したがって、切り出し画像４００〜４２０は制約条件を満たす。切り出し画像生成部５０は、切り出し画像４００〜４２０と、切り出し画像４００〜４２０が満たす制約条件とが関連付けられた切り出し画像情報を生成し、エフェクト画像生成部４０に出力する。

エフェクト画像生成部４０は、切り出し画像４００〜４２０が満たす制約条件に基づいて、切り出し画像４００〜４２０に対応する表示領域を決定する。第５の例では、切り出し画像４００は表示領域１１２０に対応する。切り出し画像４００の大きさ、及びアスペクト比は表示領域１１２０のアスペクト比及び大きさに一致するからである。同様に、切り出し画像４１０、４２０は表示領域１１１０、１１３０に対応する。そこで、エフェクト画像生成部４０は、切り出し画像４００を表示領域１１２０に重畳し、切り出し画像４１０を表示領域１１１０に重畳し、切り出し画像４２０を表示領域１１３０に重畳する。これにより、エフェクト画像生成部４０は、図２３に示すエフェクト画像を生成する。

切り出し画像生成部５０は、入力画像１００ｂを解析することで、入力画像１００ｂから人物の顔画像１１１〜１３１を検出する。そして、切り出し画像生成部５０は、上記の制約条件に基づいて、目標画像２００ｄ−３、２００ｄ−６を入力画像１００ｂから切り出す。目標画像２００ｄ−３、２００ｄ−６は、制約条件を満たすものである。さらに、目標画像２００ｄ−６は、人物の顔画像１１１、１２１の視線方向上の被写体、すなわち人物の顔画像１３１を含んでいる。

そして、切り出し画像生成部５０は、入力画像１００ｂのアスペクト比及び大きさを表示領域のアスペクト比及び大きさに調整することで、初期画像２００ｄ−１を生成する。調整の方法は特に限定されない。例えば、入力画像１００ｂのアスペクト比が表示領域のアスペクト比に一致するように、入力画像１００ｂをｘ軸またはｙ軸方向にズーミングしてもよい。

まず、図３７に基づいて、第２の実施形態に係る画像処理装置３０００の構成について説明する。画像処理装置３０００は、画像取得部２０と、制約条件設定部４１と、切り出し画像生成部５０と、提示制御部６０と、提示部７０とを備える。なお、画像処理装置３０００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ディスプレイ、通信装置等のハードウェア構成を有する。ＲＯＭには、画像処理装置３０００に、画像取得部２０と、制約条件設定部４１と、切り出し画像生成部５０と、提示制御部６０と、提示部７０とを実現させるためのプログラムが記録されている。

その後、ユーザは、所望の方向にフリック操作を行う。提示制御部６０は、入力画像１００ｄのズーム率を維持した状態で、入力画像１００ｄをフリック操作の方向に移動させ、他の切り出し画像が提示された際に移動を停止する。これにより、ユーザは、各切り出し画像を容易に閲覧することができる。例えば、提示制御部６０は、図２５に示す画像を表示中に右斜め下方向へのフリック操作を検出した場合、入力画像１００ｄを右斜め下方向に移動させる。そして、提示制御部６０は、図２６に示すように、切り出し画像３７０が表示された際に、移動を停止する。

Claims (8)

1. 入力画像を解析し、前記入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する画像生成部を備える、画像処理装置。
2. 前記画像生成部は、前記制約条件に関する制約条件情報を取得し、前記入力画像の解析結果と、前記制約条件情報とに基づいて、前記入力画像から前記切り出し画像を切り出す、請求項１記載の画像処理装置。
3. 前記画像生成部は、入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像のパラメタに基づいて、前記切り出し画像が満たす制約条件を設定する、請求項１または２記載の画像処理装置。
4. 前記制約条件には、前記切り出し画像の構図、前記切り出し画像のアスペクト比、前記切り出し画像の大きさ、前記切り出し画像の前記入力画像中の位置、前記切り出し画像の前記入力画像に対するズーム率、前記切り出し画像の枚数、及び前記切り出し画像同士の重複の有無のうち、少なくとも１つが含まれる、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記制約条件には、前記切り出し画像が前記入力画像に含まれる被写体にズームインする動画であるという条件を含む、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記制約条件には、前記切り出し画像は前記入力画像に含まれる人物画像から前記人物画像の視線方向上の被写体までの領域を順に表示する動画であるという条件を含む、請求項５記載の画像処理装置。
7. 入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成すること、を含む、画像処理方法。
8. コンピュータに、
   入力画像の解析結果に基づいて、前記入力画像から切り出し画像を切り出し、前記切り出し画像と前記切り出し画像が満たす制約条件とが関連付けられた切り出し画像情報を生成する画像生成機能を実現させる、プログラム。