JP2016189507A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】撮影画像に対応する動画像の検索時間を短縮し、かつ、検索精度を向上させることができる画像処理装置等を提供する。【解決手段】外郭識別部が、合成画像の出力画像を撮影して取得された撮影画像に含まれるそれぞれの静止画像の外郭を識別する。レイアウト構造解析部が、それぞれの外郭の情報に基づいて、撮影画像に含まれる複数の静止画像のレイアウト構造を解析する。動画像特定部が、記憶部に記憶された複数の合成画像の関連付け情報の中から、撮影画像に含まれる複数の静止画像のレイアウト構造に対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、第１関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定する。【選択図】図２

Description

本発明は、ＡＲ（Augmented Reality, 拡張現実）技術により、複数の静止画像を含む合成画像の出力画像（プリント物）に関連付けられた動画像を再生表示する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

昨今、スマートフォンやタブレット端末等の携帯端末の普及が急速に進んでおり、携帯端末で撮影される静止画像（写真）の枚数が増えているが、それと同時に動画像が撮影される機会も多くなっている。現在では、動画像を利用したサービスとして、非特許文献１に示すように、写真等のプリント物を携帯端末で撮影（キャプチャ）すると、プリント物に関連付けられた動画像を、ＡＲ技術を使って、携帯端末の画面上に再生（ＡＲ再生）するシステムが提供されている。

このシステムでは、以下の（１）〜（６）のステップで、プリントに関連付けられた動画像のＡＲ再生が行われる。

（１）ユーザにより、携帯端末上で動作する専用のアプリケーションを使用して、複数の動画像の中からプリントに使用したい動画像が選択されると、選択された動画像がサーバへアップロードされる。
（２）サーバにおいて、携帯端末からアップロードされた動画像から代表シーンのフレーム画像が抽出される。
（３）サーバで抽出された代表シーンのフレーム画像が携帯端末へダウンロードされる。
（４）ユーザにより、携帯端末の画面に一覧表示された代表シーンのフレーム画像の中からプリントしたいフレーム画像が選択され、プリントの注文が行われる。
（５）サーバにおいて、ユーザにより注文された代表シーンのフレーム画像のプリントが生成され、このフレーム画像に関連付けられた動画像がＡＲ再生用に画像処理される。
（６）ユーザにより、配達されたプリントが携帯端末で撮影（キャプチャ）されると、このプリントに関連付けられたＡＲ再生用の動画像がサーバからダウンロードされ、ＡＲ技術により、携帯端末の画面にＡＲ再生される。

このシステムでは、上記のステップ（６）において、プリントが携帯端末で撮影（キャプチャ）された場合に、プリントを撮影して取得された撮影画像と、サーバに記憶された、動画像から抽出されたフレーム画像との間で類似判定が行われる。そして、撮影画像に対応するフレーム画像が検出された場合に、この撮影画像に対応するフレーム画像に関連付けられた動画像がサーバからダウンロードされ、ＡＲ技術により、携帯端末の画面にＡＲ再生される。

しかし、サーバに記憶されているフレーム画像の枚数が多くなると、フレーム画像の枚数に応じて類似判定に要する時間、つまり、撮影画像に対応する動画像を検索するための検索時間が長くなるという問題があった。

また、このシステムでは、撮影画像とフレーム画像との類似判定の結果、撮影画像と関係のない動画像が再生されることを防ぐために、例えば、数字やアルファベットを含む文字列からなるアクセスキーをユーザが入力することにより、ユーザを一意に識別し、各々のユーザが所有する動画像から抽出されたフレーム画像の中から、撮影画像に対応するフレーム画像が検出される。

これにより、撮影画像と関係のない動画像が再生されることを防止することはできるが、ＡＲ再生を行うたびに、ユーザがアクセスキーを入力する手間がかかるという問題があった。

ここで、本発明に関連性のある先行技術文献としては、複数の画像を所定の出力ページに所定の順序で配置するコマ割り方法等に関する特許文献１、ウェブサーバに記憶してある動画データを携帯通信端末に配信する動画配信サーバに関する特許文献２、複数の静止画、動画の中から、所望の画像を検索する画像処理技術に関する特許文献３、動画像情報の検索を効率的に行う動画像検索手法等に関する特許文献４、画像出力装置から画像を出力する際の画質調整機能を実行する画質調整方法等に関する特許文献５がある。

特許第５０７３６１２号公報 特開２００８−１９３１９７号公報 特開２００５−１７３８９７号公報 特開２００３−２１６９５４号公報 特開２００６−２３４８６９号公報

"動画フォト！サービス"、[online]、富士フイルム株式会社、[平成２７年２月９日検索]、インターネット＜URL: http://fujifilm.jp/personal/print/photo/dogaphoto/＞

本発明の目的は、上記従来技術の問題点を解消し、撮影画像に対応する動画像の検索時間を短縮し、かつ、検索精度を向上させることができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、複数の静止画像を含む合成画像の出力画像を撮影して取得された撮影画像に含まれるそれぞれの静止画像の外郭を識別する外郭識別部と、
外郭識別部により識別されたそれぞれの外郭の情報に基づいて、撮影画像に含まれる複数の静止画像のレイアウト構造を解析するレイアウト構造解析部と、
合成画像に含まれる複数の静止画像のレイアウト構造、および、合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む関連付け情報を合成画像に対応して記憶する記憶部と、
記憶部に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造解析部により解析された、撮影画像に含まれる複数の静止画像のレイアウト構造に対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、第１関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定する動画像特定部とを備えることを特徴とする画像処理装置を提供するものである。

さらに、外郭識別部により識別されたそれぞれの外郭に対応する、撮影画像に含まれるそれぞれの静止画像の画像特徴量を抽出する画像特徴量抽出部を備え、
記憶部は、さらに、合成画像に含まれるそれぞれの静止画像の画像特徴量の情報を含む関連付け情報を合成画像に対応して記憶するものであり、
動画像特定部は、さらに、第１関連付け情報の中から、画像特徴量抽出部により抽出された画像特徴量に対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出し、第２関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定するものであることが好ましい。

また、画像特徴量抽出部は、撮影画像に含まれるそれぞれの静止画像を２以上の分割領域に分割し、それぞれの分割領域の画像特徴量を抽出するものであり、
記憶部は、合成画像に含まれるそれぞれの静止画像のそれぞれの分割領域の画像特徴量の情報を含む関連付け情報を合成画像に対応して記憶するものであり、
動画像特定部は、第１関連付け情報の中から、画像特徴量抽出部により抽出されたそれぞれの分割領域の画像特徴量に対応するそれぞれの分割領域の画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出するものであることが好ましい。

また、撮影画像が、合成画像の出力画像に含まれる複数の静止画像のうちの一部の静止画像のみを含む場合、動画像特定部は、記憶部に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造解析部により解析された一部の静止画像のみのレイアウト構造に部分対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、第１関連付け情報の中から、画像特徴量抽出部により抽出された一部の静止画像のみの画像特徴量に部分対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出するものであることが好ましい。

さらに、動画像から複数のフレーム画像を抽出するフレーム画像抽出部と、
フレーム画像抽出部により抽出された複数のフレーム画像の中から選択された１枚以上のフレーム画像を含む２枚以上の画像を用いて合成画像を生成する合成画像生成部と、
合成画像生成部により生成された合成画像をプリントして出力画像を出力する出力部とを備えることが好ましい。

さらに、合成画像生成部により合成画像が生成された場合に、合成画像に含まれる複数の静止画像のレイアウト構造、および、合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む関連付け情報を生成する関連付け情報生成部を備え、
記憶部は、関連付け情報生成部により生成された関連付け情報を合成画像に対応して記憶するものであることが好ましい。

また、画像特徴量抽出部は、画像特徴量として、それぞれの静止画像の主色相、輝度、ボケ、エッジ、被写体人物のうちの少なくとも１つを抽出するものであることが好ましい。

また、外郭識別部は、外郭の数、それぞれの外郭の配置位置、大きさ、縦横比を含む、外郭の特徴を識別するものであることが好ましい。

また、レイアウト構造解析部は、合成画像および撮影画像に含まれる複数の静止画像を二分木で順次分割して木構造を作成することにより、レイアウト構造を解析するものであることが好ましい。

さらに、合成画像の出力画像を撮影して撮影画像を取得する画像撮影部と、
画像撮影部により出力画像が撮影された場合に、出力画像を表示する表示部と、
画像撮影部により出力画像が撮影された場合に、表示部に表示された出力画像に含まれるそれぞれの静止画像の外郭内に、動画像特定部により特定された、撮影画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像が再生されるように制御する制御部とを備えることが好ましい。

また、制御部は、画像撮影部により出力画像が撮影された場合に、出力画像を表示部に表示し、表示部に表示された出力画像に含まれるそれぞれの静止画像の外郭内に、動画像特定部により特定された、それぞれの静止画像に関連付けられたそれぞれの動画像を同時に再生するように制御するものであることが好ましい。

また、制御部は、画像撮影部により出力画像が撮影された場合に、出力画像を表示部に表示し、表示部に表示された出力画像に含まれるそれぞれの静止画像の外郭内に、動画像特定部により特定された、それぞれの静止画像に関連付けられたそれぞれの動画像を、あらかじめ設定された順序で１つずつ再生するように制御するものであることが好ましい。

また、制御部は、画像撮影部により出力画像が撮影された場合に、出力画像を表示部に表示し、表示部に表示された出力画像に含まれるそれぞれの静止画像の外郭内に、動画像特定部により特定された、それぞれの静止画像に関連付けられたそれぞれの動画像のうち、ユーザにより指定された動画像を再生するように制御するものであることが好ましい。

また、本発明は、外郭識別部が、複数の静止画像を含む合成画像の出力画像を撮影して取得された撮影画像に含まれるそれぞれの静止画像の外郭を識別するステップと、
レイアウト構造解析部が、外郭識別部により識別されたそれぞれの外郭の情報に基づいて、撮影画像に含まれる複数の静止画像のレイアウト構造を解析するステップと、
動画像特定部が、合成画像に含まれる複数の静止画像のレイアウト構造、および、合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む関連付け情報を合成画像に対応して記憶する記憶部に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造解析部により解析された、撮影画像に含まれる複数の静止画像のレイアウト構造に対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、第１関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定するステップとを含むことを特徴とする画像処理方法を提供する。

さらに、画像特徴量抽出部が、外郭識別部により識別されたそれぞれの外郭に対応する、撮影画像に含まれるそれぞれの静止画像の画像特徴量を抽出するステップを含み、
記憶部は、さらに、合成画像に含まれるそれぞれの静止画像の画像特徴量の情報を含む関連付け情報を合成画像に対応して記憶するものであり、
動画像特定部は、さらに、第１関連付け情報の中から、画像特徴量抽出部により抽出された画像特徴量に対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出し、第２関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定することが好ましい。

また、画像特徴量抽出部は、撮影画像に含まれるそれぞれの静止画像を２以上の分割領域に分割し、それぞれの分割領域の画像特徴量を抽出し、
記憶部は、合成画像に含まれるそれぞれの静止画像のそれぞれの分割領域の画像特徴量の情報を含む関連付け情報を合成画像に対応して記憶するものであり、
動画像特定部は、第１関連付け情報の中から、画像特徴量抽出部により抽出されたそれぞれの分割領域の画像特徴量に対応するそれぞれの分割領域の画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出することが好ましい。

また、撮影画像が、合成画像に含まれる複数の静止画像のうちの一部の静止画像のみを含む場合、動画像特定部は、記憶部に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造解析部により解析された一部の静止画像のみのレイアウト構造に部分対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、第１関連付け情報の中から、画像特徴量抽出部により抽出された一部の静止画像のみの画像特徴量に部分対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出することが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明では、合成画像の出力画像に含まれる複数の静止画像のレイアウト構造、さらには、それぞれの静止画像の画像特徴量を用いて関連付け情報を検索することにより、それぞれの静止画像に対応する動画像を特定することができる。そのため、本発明によれば、従来の画像処理装置のように、１枚ずつ静止画像の類似判定を行って、静止画像に対応する動画像を特定する場合よりも、対応する動画像を特定するまでの時間を大幅に短縮することができる。

また、本発明では、レイアウト構造、さらには、画像特徴量を用いて関連付け情報を検索することにより、従来の画像処理装置のように、１枚ずつ静止画像に対応する動画像を特定する場合よりも、対応する動画像を特定するための検索精度を向上させることができる。そのため、本発明によれば、アクセスキーを入力する手間を省くことができ、利便性を向上させることができる。また、検索精度が向上されるため、それぞれの静止画像から抽出する画像特徴量は、従来よりも簡単なものでもよいというメリットもある。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 合成画像および撮影画像に含まれる複数の静止画像を二分木で順次分割して木構造を作成する様子を表す一例の概念図である。 動画像特性部が、複数の関連付け情報の中から、撮影画像に対応する関連付け情報を検索する様子を表す一例の概念図である。 図１に示す携帯端末の内部構成を表す一実施形態のブロック図である。 合成画像および関連付け情報を生成し、合成画像の出力画像を出力する場合の画像処理装置の動作を表す一例のフローチャートである。 携帯端末からサーバへ動画像を送信する場合の様子を表す一例の概念図である。 動画像からフレーム画像を抽出する場合の様子を表す一例の概念図である。 複数のフレーム画像の中から２枚以上の画像を選択する場合の様子を表す一例の概念図である。 選択画像を用いて合成画像を作成する場合の様子を表す一例の概念図である。 合成画像に含まれる複数の静止画像のレイアウト構造、それぞれの静止画像の画像特徴量、および、それぞれの静止画像に関連付けられた動画像を表す一例の概念図である。 合成画像の出力画像がユーザにより撮影（キャプチャ）された場合に、出力画像に対応するＡＲ再生用の動画像を再生表示する場合の画像処理装置の動作を表す一例のフローチャートである。 携帯端末で合成画像の出力画像を撮影（キャプチャ）する様子を表す一例の概念図である。 複数の合成画像の関連付け情報の中から、撮影画像に対応する関連付け情報を検索する様子を表す一例の概念図である。 携帯端末の表示部に表示された、合成画像の出力画像に含まれる静止画像の外郭内に、静止画像に対応する動画像が再生される様子を表す一例の概念図である。 （Ａ）は、撮影画像が、合成画像の出力画像に含まれる複数の静止画像のうちの一部の静止画像のみを含む様子を表す一例の概念図、（Ｂ）は、撮影画像に含まれる一部の静止画像に部分対応する関連付け情報を検索する様子を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、複数の静止画像を含む合成画像の出力画像（プリント物）が撮影（キャプチャ）された場合に、出力画像に関連付けられた動画像を再生表示するものであり、サーバ１２と、携帯端末１４と、プリンタ１６とを備えている。サーバ１２、携帯端末１４およびプリンタ１６は、インターネット等のネットワーク１８を介して互いに接続されている。

図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。図２に示すサーバ１２は、フレーム画像抽出部２０と、合成画像生成部２２と、外郭識別部２４と、レイアウト構造解析部２６と、画像特徴量抽出部２８と、関連付け情報生成部３０と、記憶部３２と、動画像特定部３４と、動画像処理部３６と、第１転送部３８とを備えている。

フレーム画像抽出部２０は、動画像から複数のフレーム画像（動画を構成する一コマの画像）を抽出するものである。また、フレーム画像抽出部２０は、抽出されたフレーム画像からサムネイル画像を生成する。

ここで、動画像からフレーム画像を抽出する方法は限定されない。例えば、動画像からユーザが手動で所望のフレーム画像を抽出してもよいし、動画像から一定の時間間隔でフレーム画像を抽出してもよい。

あるいは、ＫＦＥ（Key Frame Extraction）技術を利用して、シーンの変わり目などのキーとなるフレーム画像を抽出してもよい。ＫＦＥでは、例えば、動画像の各々のフレーム画像を解析し、フレーム画像の色味、明るさ、ボケやブレ等を検出し、色味や明るさが大きく変わる前後のフレーム画像や、適正露出によりボケやブレがないフレーム画像が抽出される。

また、動画像において人物の顔の大きさや向き、顔の表情（笑顔、泣き顔等）を検出し、それらに基づいてフレーム画像を抽出してもよい。さらに、動画像に音声が含まれる場合には、音声が大きくなった時刻（タイムコード）の前後の動画像からフレーム画像を抽出してもよい。上述の方法で動画像からフレーム画像を抽出することで、動画像の代表的なシーンをフレーム画像として抽出することができる。

合成画像生成部２２は、フレーム画像抽出部２０により抽出された複数のフレーム画像の中から携帯端末１４のユーザにより選択された１枚以上のフレーム画像を含む２枚以上の画像（選択画像）を用いて、フォトブックやコラージュプリント等の合成画像を生成するものである。

ここで、フォトブックは、ユーザが所有する複数の静止画像から選択された一定数の静止画像を、写真アルバムのように、一定のレイアウトで一定数のページに配置した合成画像である。また、コラージュプリントは、ユーザが所有する複数の静止画像から選択された一定数の静止画像を、一定のレイアウトで１枚のプリントに配置した合成画像である。また、合成画像は、複数の静止画像を含むものであれば何でもよいし、フォトブックのように、複数の合成画像を含むものであってもよい。

外郭識別部２４は、合成画像の出力画像（プリント物）がユーザにより撮影され、撮影画像が取得された場合に、撮影画像に含まれるそれぞれの静止画像の外郭（outline）を識別するものである。

外郭識別部２４により識別される外郭の情報は、外郭の特徴を表すものであれば何ら限定されず、各種の外郭の特徴を識別することができる。例えば、外郭識別部２４は、外郭の特徴として、外郭の数、それぞれの外郭の配置位置、大きさ、縦横比等を識別することができる。
また、外郭の形状は通常四角形であるが、丸形や星形などのように、四角形でなくてもよい。外郭がフェードしている場合も、撮影画像の画素値変化を微分して、微分値が変化し始めた箇所をもって外郭とすることにより外郭を検出することができる。外郭は、合成画像の紙面（台紙）に対して傾斜していてもよいし、傾斜していなくてもよい。また、静止画像に額縁がある場合は、外郭に額縁を含めるかどうかを事前に決めておけばよい。

レイアウト構造解析部２６は、撮影画像が取得された場合に、外郭識別部２４により識別されたそれぞれの外郭の情報に基づいて、撮影画像に含まれる複数の静止画像のレイアウト構造を解析するものである。

レイアウト構造解析部２６は、例えば、合成画像および撮影画像に含まれる複数の静止画像を二分木で順次分割して木構造（論理構造）を作成することにより、レイアウト構造を解析することができる。

図３左側に示すように、合成画像が７枚の静止画像ｆ１〜ｆ７を含む場合、レイアウト構造解析部２６は、７枚の静止画像ｆ１〜ｆ７を、１つのグループに含まれる静止画像の数が２枚以下となるように、順次、２つのグループに分割する。

例えば、７枚の静止画像ｆ１〜ｆ７を、２つのグループに分割することができる最も長い直線で、３枚の静止画像ｆ１〜ｆ３のグループと、４枚の静止画像ｆ４〜ｆ７のグループに分割する。
続いて、３枚の静止画像ｆ１〜ｆ３を、同様に、１枚の静止画像ｆ１のグループと、２枚の静止画像ｆ２，ｆ３のグループに分割する。
また、４枚の静止画像ｆ４〜ｆ７のグループを、まず、１枚の静止画像ｆ４と、３枚の静止画像ｆ５〜ｆ７のグループに分割する。続いて、３枚の静止画像ｆ５〜ｆ７を、１枚の静止画像ｆ５と、２枚の静止画像ｆ６，ｆ７のグループに分割する。なお、この例のように、同じ大きさ、同じ縦横比の４枚の静止画像ｆ４〜ｆ７が横一列に配置されている場合、あるいは、縦一列に配置されている場合、どのような順序でどのように分割するかは適宜決定することができる。

その結果、図３右側に示すように、７枚の静止画像ｆ１〜ｆ７の木構造を作成することができる。また、この木構造は、（（ｆ１＋（ｆ２＋ｆ３））＋（ｆ４＋（ｆ５＋（ｆ６＋ｆ７））））という論理構造で表される。

画像特徴量抽出部２８は、撮影画像が取得された場合に、撮影画像の画像解析を行って、外郭識別部２４により識別されたそれぞれの外郭に対応する、撮影画像に含まれるそれぞれの静止画像の画像特徴量を抽出するものである。
また、画像特徴量抽出部２８は、合成画像生成部２２により合成画像が生成された場合に、合成画像に含まれるそれぞれの静止画像の画像特徴量を抽出する。

静止画像の画像特徴量は、静止画像の特徴を表すものであれば何ら限定されず、各種の画像特徴量を利用することができる。例えば、画像特徴量抽出部２８は、画像特徴量として、それぞれの静止画像の主色相、輝度、ボケ、エッジ、被写体人物のうちの少なくとも１つを抽出することができる。画像特徴量として、例えば、主色相を抽出する場合、静止画像に含まれる色のヒストグラムを作成し、最も出現頻度が高い色を主色相に決定することができる。

関連付け情報生成部３０は、合成画像生成部２２により合成画像が生成された場合に、合成画像に含まれる複数の静止画像のレイアウト構造、画像特徴量抽出部２８により抽出された、合成画像に含まれるそれぞれの静止画像の画像特徴量、および、合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む関連付け情報を生成するものである。

記憶部３２は、各種のデータを記憶するものである。記憶部３２には、例えば、携帯端末１４から送信されてきた動画像等の他、合成画像生成部２２により生成された合成画像が記憶され、関連付け情報生成部３０により生成された関連付け情報等が、合成画像に対応して記憶される。

動画像特定部３４は、記憶部３２に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造解析部２６により解析された、撮影画像に含まれる複数の静止画像のレイアウト構造に対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、第１関連付け情報の中から、画像特徴量抽出部２８により抽出された画像特徴量に対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出し、第２関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定するものである。

図４に示すように、例えば、レイアウト構造が、（（ｆ１＋（ｆ２＋ｆ３））＋（ｆ４＋（ｆ５＋（ｆ６＋ｆ７））））という論理構造で表され、かつ、撮影画像に含まれるそれぞれの静止画像の画像特徴量として、主色相が、静止画像ｆ１，ｆ２は緑、静止画像ｆ３〜５，ｆ７は青、静止画像ｆ６は赤である場合、動画像特定部３４は、レイアウト構造として、同じ（（ｆ１＋（ｆ２＋ｆ３））＋（ｆ４＋（ｆ５＋（ｆ６＋ｆ７）））））という論理構造を含む関連付け情報を検索して第１関連付け情報として検出し、画像特徴量として、同じ静止画像ｆ１，ｆ２は緑、静止画像ｆ３〜５，ｆ７は青、静止画像ｆ６は赤という主色相を含む第１関連付け情報を検索して第２関連付け情報として検出する。

その結果、この例では、例えば、撮影画像に含まれる静止画像ｆ１に関連付けられた動画像は、動画ファイルＡの３０ｓ（秒）の地点のフレームから開始される動画像であることが特定される。他の静止画像ｆ２〜ｆ７についても同様である。

動画像処理部３６は、動画像特定部３４により特定されたそれぞれの動画像、つまり、撮影画像に含まれるそれぞれの静止画像に対応するそれぞれの動画像から、ＡＲ再生用の動画像を生成するものである。

動画像処理部３６は、動画像のファイルサイズを小さくするために、例えば、動画像の解像度やビットレートを下げることにより、ファイルサイズが小さいＡＲ再生用の動画像を生成する。

第１転送部３８は、サーバ１２と携帯端末１４との間で、動画像、撮影画像などを含む、各種のデータを転送するものである。

続いて、図５は、図１に示す携帯端末の内部構成を表す一実施形態のブロック図である。携帯端末１４は、ユーザが使用するスマートフォン、タブレット端末などであり、図５に示すように、画像撮影部４０と、入力部４２と、表示部４４と、制御部４６と、第２転送部４８とを備えている。

画像撮影部４０は、合成画像の出力画像（ＡＲプリント）などを撮影（キャプチャ）して撮影画像を取得するものである。

入力部４２は、ユーザにより入力される各種の指示を入力するためのものである。
表示部４４は、画像撮影部４０により合成画像の出力画像が撮影された場合に、撮影された合成画像の出力画像を表示し、かつ、表示された合成画像の出力画像に含まれるそれぞれの静止画像の外郭内に、動画像特定部３４により特定された、撮影画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を再生して表示するものである。本実施形態では、タッチパネル５０が、入力部４２および表示部４４を構成するものとする。

制御部４６は、画像撮影部４０により合成画像の出力画像が撮影（キャプチャ）された場合に、撮影画像に対応するＡＲ再生用の動画像が表示部４４に再生して表示されるように制御するものである。

例えば、制御部４６は、表示部４４に表示された合成画像の出力画像に含まれるそれぞれの静止画像の外郭内に、動画像特定部３４により特定された、撮影画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像から生成されたそれぞれのＡＲ再生用の動画像が再生されるように制御する。

この場合、制御部４６は、撮影画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像から生成されたＡＲ再生用の動画像を同時に再生するように制御してもよいし、あるいは、それぞれの動画像から生成されたＡＲ再生用の動画像を、あらかじめ設定された順序で１つずつ再生するように制御したり、それぞれの動画像から生成されたＡＲ再生用の動画像のうち、ユーザにより指定されたＡＲ再生用の動画像を再生するように制御したりすることができる。

また、制御部４６は、動画像を表示部４４に再生させる場合、ＡＲ技術を使用して再生（ＡＲ再生）させてもよいし、ＡＲ技術を使用せず再生（通常再生）させてもよい。制御部４６は、動画像をＡＲ再生させる場合、撮影された出力画像を表示部４４に表示し、表示部４４に表示された出力画像の表示部分において動画像が再生されるように制御する。また、制御部４６は、動画像を通常再生させる場合、表示部４４の全面ないし任意のサイズのウィンドウ内において動画像が再生されるように制御する。

第２転送部４８は、携帯端末１４とサーバ１２との間で、動画像、撮影画像などを含む、各種のデータを転送するものである。

プリンタ１６は、合成画像生成部２２により生成された合成画像をプリントしてその出力画像（プリント物）を出力する本発明の出力部の一例となるものである。

次に、図６に示すフローチャートを参照しながら、合成画像および関連付け情報を生成し、合成画像の出力画像を出力する場合の画像処理装置１０の動作を説明する。

まず、ユーザにより、携帯端末１４のタッチパネル５０（入力部４２）を操作して、合成画像を作成するための動画像（動画像データ）が選択され、選択された動画像の送信指示が入力される（ステップＳ１）。

図７に示すように、ユーザにより、例えば、動画像ａ、ｂ、ｃの送信指示が入力される。

送信が指示された動画像は、第２転送部４８により、携帯端末１４からネットワーク１８を介してサーバ１２へ送信される。サーバ１２では、第１転送部３８により、携帯端末１４から送信されてきた動画像が受信され、記憶部３２に記憶される。

図７に示すように、動画像ａ、ｂ、ｃが携帯端末１４からサーバ１２へ送信（アップロード）され、記憶部３２に記憶される。

続いて、フレーム画像抽出部２０により、記憶部３２に記憶された動画像からフレーム画像（画像データ）が抽出され、抽出されたフレーム画像のサムネイル画像（画像データ）が生成される（ステップＳ２）。

図８に示すように、例えば、動画像ａから、フレーム画像ａ１〜ａ５が、動画像ｂから、フレーム画像ｂ１〜ｂ４が、動画像ｃから、フレーム画像ｃ１〜ｃ９が抽出される。

生成されたサムネイル画像は、サーバ１２から携帯端末１４へ送信される。携帯端末１４では、受信されたサムネイル画像が、タッチパネル５０（表示部４４）に一覧表示される。

続いて、ユーザにより、タッチパネル５０（入力部４２）を操作して、タッチパネル５０（表示部４４）に一覧表示されたサムネイル画像、および、ユーザが所有する静止画像の中から、１枚以上のサムネイル画像を含む２枚以上の画像が選択される（ステップＳ３）。

図９に示すように、例えば、フレーム画像ａ１〜ａ５のサムネイル画像からフレーム画像ａ１，ａ２，ａ５のサムネイル画像が、フレーム画像ｂ１〜ｂ４のサムネイル画像からフレーム画像ｂ１〜ｂ４のサムネイル画像が、フレーム画像ｃ１〜ｃ９のサムネイル画像からフレーム画像ｃ３〜ｃ６，ｃ９のサムネイル画像が選択される。

選択されたサムネイル画像を含む画像の情報は、携帯端末１４からサーバ１２へ送信される。サーバ１２では、合成画像生成部２２により、フレーム画像抽出部２０により動画像から抽出されたフレーム画像の中から、受信された１枚以上のサムネイル画像の情報に対応するフレーム画像が選択され、選択された１枚以上のフレーム画像を含む２枚以上の画像が選択画像として選択される。なお、サムネイル画像の代わりに、動画像から抽出されたフレーム画像を使用してもよい。

続いて、選択画像（画像データ）が、サーバ１２から携帯端末１４へ送信される。携帯端末１４では、受信された選択画像が、携帯端末１４のタッチパネル５０（表示部４４）に表示される。

続いて、ユーザにより、タッチパネル５０（入力部４２）を操作して、選択画像を用いて、合成画像を作成するためのレイアウト構造が決定され、フォトブックやコラージュプリント等の合成画像が作成される。

合成画像がフォトブックの場合、ページ数の選択、フォトブックで使用するテンプレートの選択（レイアウト構造の決定）が行われ（ステップＳ４）、さらに、画像の配置位置の選択、画像補正、トリミング、画像の拡大・縮小、回転等の画像処理等を含む、レイアウトの編集が行われる。続いて、決定されたレイアウト構造を用いて、図１０に示すように、例えば、フォトブックの見開きの１ページ目および２ページ目の合成画像が作成される。

なお、合成画像を生成するために使用するレイアウト構造は、合成画像生成部２２が、選択画像数および選択画像の縦横比（アスペクト比）などから自動で生成してもよいし、あるいは、あらかじめ用意された複数のレイアウト構造の中から、選択画像数と同じ外郭数を持つレイアウト構造をユーザが選択してもよい。つまり、合成画像のレイアウト構造および外郭の情報は既知である。

図１１に示すように、例えば、フォトブックの見開きの１ページ目の合成画像のレイアウト構造は、（（ａ１＋（ａ２＋ａ３））＋（ｂ１＋（ｂ２＋（ｂ３＋ｂ４））））という論理構造であり、見開きの２ページ目のレイアウト構造は、（（ｃ３＋ｃ４）＋（（ｃ５＋ｃ６）＋ｃ９））という論理構造である。

続いて、作成された合成画像の情報が、携帯端末１４からサーバ１２へ送信される。サーバ１２では、合成画像生成部２２により、受信された合成画像の情報に基づいて合成画像が生成される（ステップＳ５）。合成画像生成部２２により生成された合成画像は記憶部３２に記憶される。

続いて、画像特徴量抽出部２８により、合成画像に含まれるそれぞれの静止画像の画像特徴量が抽出される（ステップＳ６）。

例えば、フォトブックの見開きの１ページ目の合成画像に含まれる静止画像ａ１，ａ２の主色相は緑、静止画像ａ３の主色相は水色、静止画像ｂ１，ｂ２，ｂ４の主色相は青、静止画像ｂ３の主色相は赤であり、見開きの２ページ目に含まれる静止画像ｃ３，ｃ９の主色相は濃いオレンジ色、静止画像ｃ４，ｃ４の主色相は薄いオレンジ色、静止画像ｃ６の主色相は黄色である。

続いて、関連付け情報生成部３０により、合成画像に含まれる複数の静止画像のレイアウト構造、画像特徴量抽出部２８により抽出された、合成画像に含まれるそれぞれの静止画像の画像特徴量、および、合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む関連付け情報が生成される（ステップＳ７）。関連付け情報生成部３０により生成された関連付け情報は、記憶部３２に記憶される。

図１１に示すように、例えば、フォトブックの見開きの１ページ目に含まれる静止画像ａ１に関連付けられた動画像は、動画ファイルａの時刻ｔ＿ａ１の地点のフレームから開始される。その他の動画像についても同様である。

続いて、ユーザにより、タッチパネル５０（入力部４２）を操作して、プリントサイズやプリント枚数等が設定され、合成画像のプリント出力の指示が入力される。

プリント出力の指示は、携帯端末１４からサーバ１２へ送信される。受信されたプリント出力の指示に対応する合成画像がサーバ１２からプリンタ１６へ送信され、プリンタ１６により、合成画像の出力画像（プリント物）が出力される（ステップＳ８）。
合成画像の出力画像は、ユーザに配達される。

以上のようにして、合成画像および関連付け情報が生成されるとともに、合成画像の出力画像が出力される。

次に、図１２に示すフローチャートを参照しながら、合成画像の出力画像がユーザにより撮影（キャプチャ）された場合に、出力画像に対応するＡＲ再生用の動画像を再生表示する場合の画像処理装置１０の動作を説明する。

まず、画像撮影部４０により、合成画像の出力画像（プリント物）が撮影（キャプチャ）され、撮影画像（画像データ）が取得される（ステップＳ９）。撮影された合成画像の出力画像は、携帯端末１４のタッチパネル５０（表示部４４）に表示される。

図１３に示すように、例えば、フォトブックの見開きの１ページ目の合成画像の出力画像がユーザの携帯端末１４により撮影される。

取得された撮影画像は、第２転送部４８により、携帯端末１４からネットワーク１８を介してサーバ１２へ送信される。サーバ１２では、第１転送部３８により、携帯端末１４から送信されてきた撮影画像が受信される。

撮影画像が受信されると、外郭識別部２４により、撮影画像に含まれるそれぞれの静止画像の外郭が識別される（ステップＳ１０）。

図１３に示すように、例えば、７枚の静止画像ｆ１〜ｆ７が撮影画像に含まれていることが分かる。そして、外郭識別部２４により、それぞれの静止画像ｆ１〜ｆ７の配置位置、大きさ、縦横比等が識別される。

続いて、外郭識別部２４により識別されたそれぞれの外郭の情報に基づいて、撮影画像に含まれる複数の静止画像のレイアウト構造が、レイアウト構造解析部２６により解析される（ステップＳ１１）。

図１３に示すように、例えば、フォトブックの見開きの１ページ目の合成画像の出力画像の撮影画像のレイアウト構造は、（（ｆ１＋（ｆ２＋ｆ３））＋（ｆ１＋（ｆ２＋（ｆ３＋ｆ４））））という論理構造であることが分かる。

また、外郭識別部２４により識別されたそれぞれの外郭に対応する、撮影画像に含まれるそれぞれの静止画像の画像特徴量が、画像特徴量抽出部２８により抽出される（ステップＳ１２）。

例えば、フォトブックの見開きの１ページ目の合成画像の出力画像の撮影画像に含まれる静止画像ｆ１，ｆ２の主色相は緑、静止画像ｆ３の主色相は水色、静止画像ｆ４，ｆ５，ｆ７の主色相は青、静止画像ｆ６の主色相は赤であることが分かる。

続いて、動画像特定部３４により、まず、記憶部３２に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造解析部２６により解析された、撮影画像に含まれる複数の静止画像のレイアウト構造に対応するレイアウト構造を含む関連付け情報が検索されて第１関連付け情報として検出される（ステップＳ１３）。

続いて、動画像特定部３４により、第１関連付け情報の中から、画像特徴量抽出部２８により抽出された画像特徴量に対応する画像特徴量を含む第１関連付け情報が検索されて第２関連付け情報として検出され（ステップＳ１４）、第２関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像が特定される（ステップＳ１５）。

図１４に示すように、記憶部３２に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造として、（（ｆ１＋（ｆ２＋ｆ３））＋（ｆ１＋（ｆ２＋（ｆ３＋ｆ４））））という論理構造に対応する論理構造を含む関連付け情報が検索されて第１関連付け情報として検出され、第１関連付け情報の中から、画像特徴量として、静止画像ｆ１，ｆ２の主色相が緑、静止画像ｆ３の主色相が水色、静止画像ｆ４，ｆ５，ｆ７の主色相が青、静止画像ｆ６の主色相が赤に対応する主色相を含む第１関連付け情報が検索されて第２関連付け情報として検出される。

続いて、動画像処理部３６により、動画像特定部３４により特定された、撮影画像に含まれるそれぞれの静止画像に対応するそれぞれの動画像から、ＡＲ再生用の動画像が生成される。

図１５に示すように、例えば、静止画像ｆ１に対応する静止画像ａ１に関連付けられた動画像から、動画ファイルａの時刻ｔ＿ａ１の地点のフレームから開始されるＡＲ再生用の動画像が生成される。その他の動画像についても同様である。

続いて、動画像処理部３６により生成されたＡＲ再生用の動画像は、サーバ１２から携帯端末１４へ送信される。携帯端末１４では、サーバ１２から送信されてきたＡＲ再生用の動画像が受信される。

ＡＲ再生用の動画像が受信されると、制御部４６の制御により、撮影画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像から生成されたそれぞれのＡＲ再生用の動画像が、携帯端末１４のタッチパネル５０（表示部４４）に表示された、合成画像の出力画像に含まれるそれぞれの静止画像の外郭内に再生して表示される（ステップＳ１６）。

図１５に示すように、例えば、ユーザにより静止画像ｆ１が指定されると、静止画像ｆ１に対応する静止画像ａ１に関連付けられた動画像から生成されたＡＲ再生用の動画像がサーバ１２から携帯端末１４に送信され、静止画像ｆ１の外郭に再生して表示される。

以上のようにして、合成画像の出力画像が撮影されると、撮影画像に含まれるそれぞれの静止画像に対応するそれぞれの動画像が特定され、それぞれの動画像から生成されたＡＲ再生用の動画像が携帯端末１４で再生表示される。

画像処理装置１０では、合成画像の出力画像に含まれる複数の静止画像のレイアウト構造、さらには、それぞれの静止画像の画像特徴量を用いて関連付け情報を検索することにより、それぞれの静止画像に対応する動画像を特定することができる。そのため、従来の画像処理装置のように、１枚ずつ静止画像の類似判定を行って、静止画像に対応する動画像を特定する場合よりも、対応する動画像を特定するまでの時間を大幅に短縮することができる。

また、画像処理装置１０では、レイアウト構造、さらには、画像特徴量を用いて関連付け情報を検索することにより、従来の画像処理装置のように、１枚ずつ静止画像に対応する動画像を特定する場合よりも、対応する動画像を特定するための検索精度を向上させることができる。そのため、アクセスキーを入力する手間を省くことができ、利便性を向上させることができる。また、検索精度が向上されるため、それぞれの静止画像から抽出する画像特徴量は、従来よりも簡単なものでもよいというメリットもある。

なお、携帯端末１４を使用することに限定されず、画像撮影部４０、入力部４２、表示部４４、制御部４６、第２転送部４８等を備えるパーソナルコンピュータ等の制御装置を使用することもできる。

また、動画像処理部３６により、動画像からＡＲ再生用の動画像を生成することは必須ではなく、撮影画像に含まれるそれぞれの静止画像に対応するそれぞれの動画像をそのまま使用してもよい。

また、画像処理装置１０が、サーバ１２と、携帯端末１４とを備える例を挙げて説明したが、本発明はこれに限定されず、両者が一体となって構成されていてもよい。あるいは、サーバ１２が備える少なくとも一部の構成要素を携帯端末１４が備えていてもよいし、逆に、携帯端末１４が備える少なくとも一部の構成要素をサーバ１２が備えていてもよい。

また、画像特徴量抽出部２８は、撮影画像に含まれるそれぞれの静止画像を２以上の分割領域に分割し、それぞれの分割領域の画像特徴量を抽出してもよい。

この場合、記憶部３２には、合成画像に含まれるそれぞれの静止画像のそれぞれの分割領域の画像特徴量の情報を含む関連付け情報が、合成画像に対応して記憶され、動画像特定部３４により、第１関連付け情報の中から、画像特徴量抽出部２８により抽出されたそれぞれの分割領域の画像特徴量に対応するそれぞれの分割領域の画像特徴量を含む第１関連付け情報が検索されて第２関連付け情報として検出される。

また、図１６（Ａ）に示すように、撮影画像が、合成画像の出力画像に含まれる複数の静止画像のうちの一部の静止画像のみを含む場合、撮影画像に含まれる一部の静止画像のみの画像特徴量に基づいて動画像を特定してもよい。

この場合、動画像特定部３４は、記憶部３２に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造解析部２６により解析された一部の静止画像のみのレイアウト構造に部分対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、第１関連付け情報の中から、画像特徴量抽出部２８により抽出された一部の静止画像のみの画像特徴量に部分対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出する。

例えば、図１６（Ａ）に示すように、合成画像の出力画像には７枚の静止画像ｆ１〜ｆ７が含まれているのに対して、撮影画像には、３枚の静止画像ｆ１〜ｆ３のみが撮影されている場合、動画像特定部３４は、図１６（Ｂ）に示すように、３枚の静止画像ｆ１〜ｆ３を含むレイアウト構造に部分対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、３枚の静止画像ｆ１〜ｆ３の画像特徴量に部分対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出する。

なお、グレアなどで合成画像の出力画像に含まれる複数の静止画像のうちの一部の静止画像が見えない場合等でも、見ることができる残りの静止画像のみの画像特徴量に基づいて同様に動画像を特定することができる。

また、動画像特定部３４は、レイアウト構造および画像特徴量の両方を使用して動画像を特定しているが、これも限定されず、例えば、レイアウト構造のみ、あるいは、複数の静止画像の画像特徴量のみを使用して動画像を特定することもできる。

例えば、レイアウト構造のみを使用して動画像を特定する場合、記憶部３２には、合成画像に含まれる複数の静止画像のレイアウト構造、および、合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む関連付け情報が、合成画像に対応して記憶され、動画像特定部３４により、記憶部３２に記憶された複数の合成画像の関連付け情報の中から、レイアウト構造解析部２６により解析された、撮影画像に含まれる複数の静止画像のレイアウト構造に対応するレイアウト構造を含む関連付け情報が検索されて第１関連付け情報として検出され、第１関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像が特定される。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ サーバ
１４ 携帯端末
１６ プリンタ
１８ ネットワーク
２０ フレーム画像抽出部
２２ 合成画像生成部
２４ 外郭識別部
２６ レイアウト構造解析部
２８ 画像特徴量抽出部
３０ 関連付け情報生成部
３２ 記憶部
３４ 動画像特定部
３６ 動画像処理部
３８ 第１転送部
４０ 画像撮影部
４２ 入力部
４４ 表示部
４６ 制御部
４８ 第２転送部
５０ タッチパネル

Claims (23)

1. 複数の静止画像を含む合成画像の出力画像を撮影して取得された撮影画像に含まれるそれぞれの静止画像の外郭を識別する外郭識別部と、
   前記外郭識別部により識別されたそれぞれの外郭の情報に基づいて、前記撮影画像に含まれる複数の静止画像のレイアウト構造を解析するレイアウト構造解析部と、
   前記合成画像に含まれる複数の静止画像のレイアウト構造、および、前記合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む関連付け情報を前記合成画像に対応して記憶する記憶部と、
   前記記憶部に記憶された複数の合成画像の関連付け情報の中から、前記レイアウト構造解析部により解析された、前記撮影画像に含まれる複数の静止画像のレイアウト構造に対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、前記第１関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定する動画像特定部とを備えることを特徴とする画像処理装置。
2. さらに、前記外郭識別部により識別されたそれぞれの外郭に対応する、前記撮影画像に含まれるそれぞれの静止画像の画像特徴量を抽出する画像特徴量抽出部を備え、
   前記記憶部は、さらに、前記合成画像に含まれるそれぞれの静止画像の画像特徴量の情報を含む関連付け情報を前記合成画像に対応して記憶するものであり、
   前記動画像特定部は、さらに、前記第１関連付け情報の中から、前記画像特徴量抽出部により抽出された画像特徴量に対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出し、前記第２関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定するものである請求項１に記載の画像処理装置。
3. 前記画像特徴量抽出部は、前記撮影画像に含まれるそれぞれの静止画像を２以上の分割領域に分割し、それぞれの前記分割領域の画像特徴量を抽出するものであり、
   前記記憶部は、前記合成画像に含まれるそれぞれの静止画像のそれぞれの分割領域の画像特徴量の情報を含む関連付け情報を前記合成画像に対応して記憶するものであり、
   前記動画像特定部は、前記第１関連付け情報の中から、前記画像特徴量抽出部により抽出されたそれぞれの分割領域の画像特徴量に対応するそれぞれの分割領域の画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出するものである請求項２に記載の画像処理装置。
4. 前記撮影画像が、前記合成画像の出力画像に含まれる複数の静止画像のうちの一部の静止画像のみを含む場合、前記動画像特定部は、前記記憶部に記憶された複数の合成画像の関連付け情報の中から、前記レイアウト構造解析部により解析された前記一部の静止画像のみのレイアウト構造に部分対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出するものである請求項１に記載の画像処理装置。
5. 前記撮影画像が、前記合成画像の出力画像に含まれる複数の静止画像のうちの一部の静止画像のみを含む場合、前記動画像特定部は、前記記憶部に記憶された複数の合成画像の関連付け情報の中から、前記レイアウト構造解析部により解析された前記一部の静止画像のみのレイアウト構造に部分対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、前記第１関連付け情報の中から、前記画像特徴量抽出部により抽出された前記一部の静止画像のみの画像特徴量に部分対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出するものである請求項２または３に記載の画像処理装置。
6. さらに、動画像から複数のフレーム画像を抽出するフレーム画像抽出部と、
   前記フレーム画像抽出部により抽出された複数のフレーム画像の中から選択された１枚以上のフレーム画像を含む２枚以上の画像を用いて前記合成画像を生成する合成画像生成部と、
   前記合成画像生成部により生成された合成画像をプリントして出力画像を出力する出力部とを備える請求項１または４に記載の画像処理装置。
7. さらに、前記合成画像生成部により前記合成画像が生成された場合に、前記合成画像に含まれる複数の静止画像のレイアウト構造、および、前記合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む前記関連付け情報を生成する関連付け情報生成部を備え、
   前記記憶部は、前記関連付け情報生成部により生成された関連付け情報を前記合成画像に対応して記憶するものである請求項６に記載の画像処理装置。
8. さらに、動画像から複数のフレーム画像を抽出するフレーム画像抽出部と、
   前記フレーム画像抽出部により抽出された複数のフレーム画像の中から選択された１枚以上のフレーム画像を含む２枚以上の画像を用いて前記合成画像を生成する合成画像生成部と、
   前記合成画像生成部により生成された合成画像をプリントして出力画像を出力する出力部とを備える請求項２，３および５のいずれか１項に記載の画像処理装置。
9. 前記画像特徴量抽出部は、さらに、前記合成画像生成部により前記合成画像が生成された場合に、前記合成画像に含まれるそれぞれの静止画像の画像特徴量を抽出するものであり、
   さらに、前記合成画像生成部により前記合成画像が生成された場合に、前記合成画像に含まれる複数の静止画像のレイアウト構造、前記画像特徴量抽出部により抽出された、前記合成画像に含まれるそれぞれの静止画像の画像特徴量、および、前記合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む前記関連付け情報を生成する関連付け情報生成部を備え、
   前記記憶部は、前記関連付け情報生成部により生成された関連付け情報を前記合成画像に対応して記憶するものである請求項８に記載の画像処理装置。
10. 前記画像特徴量抽出部は、前記画像特徴量として、前記それぞれの静止画像の主色相、輝度、ボケ、エッジ、被写体人物のうちの少なくとも１つを抽出するものである請求項２，３，５，８および９のいずれか１項に記載の画像処理装置。
11. 前記外郭識別部は、前記外郭の数、前記それぞれの外郭の配置位置、大きさ、縦横比を含む、前記外郭の特徴を識別するものである請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記レイアウト構造解析部は、前記合成画像および前記撮影画像に含まれる複数の静止画像を二分木で順次分割して木構造を作成することにより、前記レイアウト構造を解析するものである請求項１〜１１のいずれか１項に記載の画像処理装置。
13. さらに、前記合成画像の出力画像を撮影して前記撮影画像を取得する画像撮影部と、
    前記画像撮影部により前記出力画像が撮影された場合に、前記出力画像を表示する表示部と、
    前記画像撮影部により前記出力画像が撮影された場合に、前記表示部に表示された出力画像に含まれるそれぞれの静止画像の外郭内に、前記動画像特定部により特定された、前記撮影画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像が再生されるように制御する制御部とを備える請求項１〜１２のいずれか１項に記載の画像処理装置。
14. 前記制御部は、前記画像撮影部により前記出力画像が撮影された場合に、前記出力画像を前記表示部に表示し、前記表示部に表示された出力画像に含まれるそれぞれの静止画像の外郭内に、前記動画像特定部により特定された、前記それぞれの静止画像に関連付けられたそれぞれの動画像を同時に再生するように制御するものである請求項１３に記載の画像処理装置。
15. 前記制御部は、前記画像撮影部により前記出力画像が撮影された場合に、前記出力画像を前記表示部に表示し、前記表示部に表示された出力画像に含まれるそれぞれの静止画像の外郭内に、前記動画像特定部により特定された、前記それぞれの静止画像に関連付けられたそれぞれの動画像を、あらかじめ設定された順序で１つずつ再生するように制御するものである請求項１３に記載の画像処理装置。
16. 前記制御部は、前記画像撮影部により前記出力画像が撮影された場合に、前記出力画像を前記表示部に表示し、前記表示部に表示された出力画像に含まれるそれぞれの静止画像の外郭内に、前記動画像特定部により特定された、前記それぞれの静止画像に関連付けられたそれぞれの動画像のうち、ユーザにより指定された動画像を再生するように制御するものである請求項１３に記載の画像処理装置。
17. 外郭識別部が、複数の静止画像を含む合成画像の出力画像を撮影して取得された撮影画像に含まれるそれぞれの静止画像の外郭を識別するステップと、
    レイアウト構造解析部が、前記外郭識別部により識別されたそれぞれの外郭の情報に基づいて、前記撮影画像に含まれる複数の静止画像のレイアウト構造を解析するステップと、
    動画像特定部が、前記合成画像に含まれる複数の静止画像のレイアウト構造、および、前記合成画像に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像の情報を含む関連付け情報を前記合成画像に対応して記憶する記憶部に記憶された複数の合成画像の関連付け情報の中から、前記レイアウト構造解析部により解析された、前記撮影画像に含まれる複数の静止画像のレイアウト構造に対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、前記第１関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定するステップとを含むことを特徴とする画像処理方法。
18. さらに、画像特徴量抽出部が、前記外郭識別部により識別されたそれぞれの外郭に対応する、前記撮影画像に含まれるそれぞれの静止画像の画像特徴量を抽出するステップを含み、
    前記記憶部は、さらに、前記合成画像に含まれるそれぞれの静止画像の画像特徴量の情報を含む関連付け情報を前記合成画像に対応して記憶するものであり、
    前記動画像特定部は、さらに、前記第１関連付け情報の中から、前記画像特徴量抽出部により抽出された画像特徴量に対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出し、前記第２関連付け情報に含まれるそれぞれの静止画像に関連付けられたそれぞれの動画像を特定する請求項１７に記載の画像処理方法。
19. 前記画像特徴量抽出部は、前記撮影画像に含まれるそれぞれの静止画像を２以上の分割領域に分割し、それぞれの前記分割領域の画像特徴量を抽出し、
    前記記憶部は、前記合成画像に含まれるそれぞれの静止画像のそれぞれの分割領域の画像特徴量の情報を含む関連付け情報を前記合成画像に対応して記憶するものであり、
    前記動画像特定部は、前記第１関連付け情報の中から、前記画像特徴量抽出部により抽出されたそれぞれの分割領域の画像特徴量に対応するそれぞれの分割領域の画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出する請求項１８に記載の画像処理方法。
20. 前記撮影画像が、前記合成画像に含まれる複数の静止画像のうちの一部の静止画像のみを含む場合、前記動画像特定部は、前記記憶部に記憶された複数の合成画像の関連付け情報の中から、前記レイアウト構造解析部により解析された前記一部の静止画像のみのレイアウト構造に部分対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出する請求項１７に記載の画像処理方法。
21. 前記撮影画像が、前記合成画像に含まれる複数の静止画像のうちの一部の静止画像のみを含む場合、前記動画像特定部は、前記記憶部に記憶された複数の合成画像の関連付け情報の中から、前記レイアウト構造解析部により解析された前記一部の静止画像のみのレイアウト構造に部分対応するレイアウト構造を含む関連付け情報を検索して第１関連付け情報として検出し、前記第１関連付け情報の中から、前記画像特徴量抽出部により抽出された前記一部の静止画像のみの画像特徴量に部分対応する画像特徴量を含む第１関連付け情報を検索して第２関連付け情報として検出する請求項１８または１９に記載の画像処理方法。
22. 請求項１７〜２１のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
23. 請求項１７〜２１のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images