JP2011155417A - 画像処理装置、及びプログラム - Google Patents

Abstract

【課題】撮影中における主要被写体の動きを表現する複数の主要被写体像を合成した画像において、各々の主要被写体像により表現されている主要被写体の撮影順を鑑賞者に把握させる。
【解決手段】異なる時間に撮影された複数の静止画像からそれぞれ抽出された主要被写体像を合成した合成画像として、指標付き合成画像１０２，Ｇ１０３を生成する。指標付き合成画像１０２，Ｇ１０３には、複数の主要被写体像Ｇ（６１），Ｇ（６５），Ｇ（６９）の相互における大きさの時間的な変化等を示す指標Ａを合成する。指標Ａにより、複数の主要被写体像Ｇ（６１），Ｇ（６５），Ｇ（６９）の撮影順が把握可能となる。
【選択図】図７

Description

本発明は、異なる時間に撮影された複数の静止画像からそれぞれ抽出された主要被写体像を合成することにより合成画像を生成する技術に関するものである。

従来、本出願人により、連続的に撮影された複数の静止画像から、各々の画像間で移動している主要被写体を表す領域の画像（以下、主要被写体像という。）を抽出し、抽出した主要被写体像を他の静止画像（撮影画像）に対して合成することにより合成画像を生成する機能を備えたデジタルカメラが開発されている（下記非特許文献１参照）。そして、このデジタルカメラにおいては、複数の静止画像から抽出した主要被写体像を個別に合成した合成画像を連続して表示することにより、主要被写体像のみが動く画像が鑑賞可能となっている。

カシオ デジタルカメラ EXILIM | EX-Z400 ダイナミックフォト、［online］、インターネット＜ＵＲＬ：http://dc.casio.jp/products/ex_z400/dp.html＞

しかし、上記のデジタルカメラにより生成された合成画像を印刷装置により印刷した場合、印刷された合成画像上には、連続撮影の際の各撮影時点における主要被写体がそれぞれ表現されたものとなるだけである。このため、合成画像の鑑賞者は、印刷された合成画像を観賞しただけでは、合成画像上において各々の主要被写体像により表現されている主要被写体の撮影順を把握することができないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮影中における主要被写体の動きを表現する複数の主要被写体像を合成した画像において、各々の主要被写体像により表現されている主要被写体の撮影順を鑑賞者に把握させることを目的とする。

本発明の第１の観点に係る画像処理装置にあっては、異なる時間に撮影された複数の静止画像から抽出された複数の主要被写体像を、抽出元の静止画像内での位置を維持した状態で合成した合成画像を生成する画像処理装置であって、前記複数の主要被写体像の相互における状態の時間的な変化を示す指標を表す指標データを生成する指標データ生成手段と、前記指標データ生成手段が生成した前記指標データを前記合成画像を表す合成画像データに対して合成することにより、指標付き合成画像を表す指標付き合成画像データを生成する合成画像データ生成手段と、前記合成画像データ生成手段が生成した指標付き合成画像データが表す指標付き合成画像を出力する画像出力手段と、を備えることを特徴とする。

また、本発明の第２の観点に係るプログラムにあっては、異なる時間に撮影された複数の静止画像から抽出された複数の主要被写体像を、抽出元の静止画像内での位置を維持した状態で合成した合成画像を生成する画像処理装置が有するコンピュータを、前記複数の主要被写体像の相互における状態の時間的な変化を示す指標を表す指標データを生成する指標データ生成手段と、前記指標データ生成手段が生成した前記指標データを前記合成画像を表す合成画像データに対して合成することにより、指標付き合成画像を表す指標付き合成画像データを生成する合成画像データ生成手段と、前記合成画像データ生成手段が生成した指標付き合成画像データが表す指標付き合成画像を画像出力手段に出力させる出力制御手段として機能させることを特徴とする。

本発明によれば、撮影中における主要被写体の動きを表現する複数の主要被写体像を合成した画像において、各々の主要被写体像により表現されている主要被写体の撮影順を鑑賞者に把握させることができる。

本発明の実施形態におけるフォトスタンドのハードウェア構成の概略を示すブロック図である。 記録メディアに記録されている静止画ファイルの例を示す図である。 フォトスタンドの機能の要部を示す機能ブロック図である。 フォトスタンドにおける合成画像の印刷処理を示すフローチャートである。 指標データ生成処理を示すフローチャートである。 主要被写体像削除処理を示すフローチャートである。 （ａ）は合成画像の例、（ｂ）及び（ｃ）は、及び指標付き合成画像の変化の例を示す遷移図である。 図７（ｂ）に対応する他の指標付き合成画像の例を示す図である。 （ａ）は合成画像の例、（ｂ）及び（ｃ）は、及び指標付き合成画像の変化の例を示す遷移図である。 指標付き合成画像に合成する指標の変形例を示す、図８に対応する図である。

以下、本発明を適用した実施形態を図に従って説明する。図１は、本発明の実施形態として例示するフォトスタンド１のハードウェア構成の概略を示すブロック図である。図１に示したフォトスタンド１は、デジタルカメラ等により撮影され画像データとして記録された画像を表示したり、印刷したりする装置である。また、フォトスタンド１は、本発明の画像処理装置としての機能を有する装置である。

フォトスタンド１は、ＣＰＵ（Central Processing Unit）１０１によってシステムの全体を制御される構成である。ＣＰＵ１０１には、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access memory）１０３、メディアコントローラ１０４、操作キー群２０１、ディスプレイ３０１、プリンタドライバ４０１が接続されている。

ＲＯＭ１０２には、ＣＰＵ１０１にシステム全体を制御させるための複数種のプログラムやデータが記憶されているメモリである。ＲＯＭ１０２に記憶されているプログラムには、ＣＰＵ１０１を本発明の指標データ生成手段、及び合成画像データ生成手段として機能させる印刷制御プログラム１０２ａが含まれる。

ＲＡＭ１０３は、ＣＰＵ１０１が必要に応じて種々のデータを一時的に記憶する作業用のメモリである。

メディアコントローラ１０４は、フォトスタンド１の本体に設けられているメモリカードスロットに着脱自在に装着された記録メディア５０と、ＣＰＵ１０１との間におけるデータの入出力を制御する入出力インターフェースである。

記録メディア５０には、背景技術で説明したデジタルカメラにより記録された複数の画像データが記録されている。複数の画像データは、ＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮され、画像サイズ等の付加情報と共に静止画ファイルとして記録メディア５０に記憶されている。

記録メディア５０に記憶されている複数の画像データには、撮影画像データと複数からなる一連の主要被写体データとが含まれている。撮影画像データは、通常の撮影によって取得された撮影画像を表す画像データである。

また、一連の主要被写体データは、背景技術で説明したデジタルカメラにおいて、主要被写体のみが動く画像を表示することを目的として生成された画像データである。つまり連続的に撮影された一連の撮影画像からそれぞれ抽出された複数の主要被写体像をそれぞれ表す画像データである。

一連の主要被写体データは、それぞれが主要被写体の抽出元の静止画像において、抽出した主要被写体を除く全ての領域を所定の背景色（例えばグレー）で塗りつぶした画像を表す画像データである。つまり主要被写体データは、静止画像から抽出した主要被写体を、抽出元の静止画像内での位置を保持した状態で表す画像データである。

図２は、記録メディア５０に記録されている複数の静止画ファイルの一例を示した図である。ファイル名の拡張子が「．ＪＰＧ」である静止画ファイルが、撮影画像データが格納されている静止画ファイルである。また、ファイル名の拡張子が「．ＪＰＥ」である静止画ファイルが、主要被写体データが格納されている静止画ファイルである。

主要被写体データが格納されている静止画ファイルには、各々の主要被写体像の抽出元の一連の静止画像（撮影画像）の撮影順を示す連続番号が接頭辞（「ＣＩＭＧ」）に付加されたファイル名（「ＣＩＭＧ００６１．ＪＰＥ」〜「ＣＩＭＧ００８０．ＪＰＥ」）が付与されている。以下の説明においては、ファイル名に含まれる連続番号を画像番号という。なお、図２は、一連の主要被写体データの取得元（主要被写体像の抽出元）の一連の静止画像が２０枚である場合の例を示した図である。

操作キー群２０１は、電源キー、及びユーザがフォトスタンド１の操作に使用する他の操作キーや操作ボタンから構成される。ＣＰＵ１０１は、操作キー群２０１における操作キー等の操作状態を定常的にスキャンすることにより、所定のキー操作によるユーザからの種々の指示を検知する。

ディスプレイ３０１は、例えばバックライト付きのカラー液晶表示パネルと、ＣＰＵ１０１から供給される画像データ等の表示データに応じてカラー液晶表示パネルを駆動する駆動回路とから構成される。

プリンタドライバ４０１は、ＣＰＵ１０１から供給される画像データ等に応じてプリンタ４０２を駆動し、プリンタ４０２に印刷動作を行わせる。プリンタ４０２は、インクジェット方式やレーザー方式、熱転写昇華型等の任意の印刷方式により画像をカラー印刷するものであり、印刷方式に応じた電子回路、及び機構的構成を備えている。

図３は、フォトスタンド１が有する機能の要部を示す機能ブロック図である。フォトスタンド１は制御部１０と、操作部２０、画像出力部６０を有している。制御部１０は合成画像データ生成部１１と、指標データ生成部１２、画像選択部１３、出力制御部１４、記憶部１５により構成されている。また、画像出力部６０は表示部３０と印刷部４０とによって構成されている。

操作部２０は、フォトスタンド１に対するユーザからの各種の指示を検知する機能部分であり、図１に示した操作キー群２０１により実現される。

表示部３０は、記録メディア５０に記録されている撮影画像データにより表される撮影画像や主要被写体データにより表される主要被写体像、さらにユーザがフォトスタンド１を操作する際に必要とする各種の操作画面を表示する。また、表示部３０は、後述する指標付き合成画像データにより表される指標付き合成画像も表示する。表示部３０は、図１に示したディスプレイ３０１により実現される。

画像選択部１３は、操作部２０において検知したユーザからの選択指示に応じて、記録メディア５０に記録されている撮影画像データと、記録メディア５０に記録されている一連の主要被写体データのうちから所定数の主要被写体データとを処理対象として選択する。また、画像選択部１３は、選択した撮影画像データと主要被写体データとを記録メディア５０から読み出す。画像選択部１３は、図１に示したＣＰＵ１０１とメディアコントローラ１０４とにより実現される。

指標データ生成部２１は、画像選択部１３が選択した複数の主要被写体データを対象として、各々の主要被写体データにより表される複数の主要被写体像の状態の時間的な変化を示す指標を表す指標データを生成する。指標データにより表される具体的な指標は、複数の主要被写体像の位置の時間的な変化を示す指標や、複数の主要被写体像の大きさの時間的な変化を示す指標である。指標データ生成部２１は、図１に示したＣＰＵ１０１により実現される。

合成画像データ生成部１１は、画像選択部１３が選択した撮影画像データに対して、画像選択部１３が選択した所定数の主要被写体データを合成することにより合成画像データを生成する。また、合成画像データ生成部１１は、合成画像データに対して、指標データ生成部２１が生成した指標データを合成することにより指標付き合成画像データを生成する。合成画像データ生成部１１は、図１に示したＣＰＵ１０１により実現される。

印刷部４０は、合成画像データ生成部１１が生成した指標付き合成画像データにより表される指標付き合成画像を印刷する機能部分であり、図１に示したプリンタドライバ４０１とプリンタ４０２とによって実現される。

出力制御部１４は、操作部２０で検知したユーザからの合成画像データの生成指示に応じ、合成画像データ生成部１１に指標付き合成画像データを生成させ、生成された指標付き合成画像データにより表される指標付き合成画像を表示部３０に表示させる。また、出力制御部１４は、操作部２０で検知したユーザからの印刷指示に応じ、合成画像データ生成部１１が生成した指標付き合成画像データにより表される指標付き合成画像を印刷部４０を印刷させる。出力制御部１４は、図１に示したＣＰＵ１０１により実現される。

記憶部１５は、画像選択部１３が記録メディア５０から読み出した撮影画像データ、及び主要被写体データ、指標データ生成部２１が生成した指標データ、合成画像データ生成部１１が生成した合成画像データ、及び指標付き合成画像データ等を記憶する。記憶部１５は、図１に示したＲＡＭ１０３により実現される。

次に、以上の構成からなるフォトスタンド１の動作について説明する。フォトスタンド１には、画像を印刷するための印刷モードとして次のモードが用意されている。すなわちフォトスタンド１には、記録メディア５０に記録されている複数の主要被写体データにより表される複数の主要被写体像を、抽出元の静止画像内での位置を維持した状態で表現する合成画像を生成して印刷する特定の印刷モードが設けられている。

フォトスタンド１が特定の印刷モードにおいて印刷する合成画像は、図７（ｃ）、図８（ｂ）、図９（ｃ）にそれぞれ例示したような指標付き合成画像Ｇ１０３，Ｇ１１２，Ｇ２０３である。

フォトスタンド１においては、ユーザが操作キー群２０１の所定の操作キーの操作により特定の印刷モードを設定すると、制御部１０（ＣＰＵ１０１）が、ＲＯＭ１０２に記憶されている印刷制御プログラム１０２ａに従って図４のフローチャートに示した印刷処理を実行する。以下、印刷処理の内容を具体的に説明する。

制御部１０は、ユーザにより特定の印刷モードが設定されると、背景画像データをユーザに選択させる（ステップＳ１）。ステップＳ１の処理において制御部１０は、記録メディア５０に記録されている複数の撮影画像データを読み出し、読み出した撮影画像データにより表される撮影画像を表示部３０（ディスプレイ３０１）の画面上に選択候補として表示する。

選択候補とする撮影画像の表示に際して、制御部１０は、例えば撮影画像を縮小した状態で画面上に一覧表示するか、ユーザによる所定のキー操作に応じて撮影画像を所定枚数ずつ、又は１枚ずつ送り表示する。そして、ステップＳ１の処理において制御部１０は、ユーザが所定のキー操作で選択した撮影画像データを記録メディア５０から読み出して記憶部１５（ＲＡＭ１０３）に記憶する。

次に、制御部１０は、ユーザにより選択された背景画像データに合成する主要被写体データを選択させる（ステップＳ２）。ステップＳ２の処理において制御部１０は、記録メディア５０に記録されている複数の主要被写体データを読み出し、読み出した主要被写体データにより表される主要被写体像を表示部３０の画面上に選択候補として表示する。なお、複数の主要被写体像の表示方法は、ステップＳ１の処理で撮影画像を表示する場合と同様である。さらに、制御部１０は、ユーザに操作キー群２０１の所定の操作キーを操作させて、表示部３０の画面上に選択候補として表示中のいずれかの主要被写体像を選択させる。

そして、ステップＳ２の処理においては、画像選択部１０（ＣＰＵ１０１）が、ユーザによる所定のキー操作によって選択された主要被写体像を表す主要被写体データが格納された静止画ファイルの画像番号（撮影順を示す連続番号）を記憶部１５に記憶する（ステップＳ３）。なお、以下の説明においては、主要被写体データが格納された静止画ファイルの画像番号を、単に主要被写体データの画像番号と表現する。

次に、制御部１０は、ユーザにより選択された主要被写体データが２以上であるか否かを、記憶部１５に一時記憶している画像番号の数により判断する（ステップ４Ｓ）。印刷処理の開始当初において主要被写体データは１つであるため（ステップＳ４：ＮＯ）、制御部１０は、合成画像データを生成する（ステップＳ５）。

すなわち制御部１０は、記憶部１５に記憶している画像番号の主要被写体データを記録メディア５０から読み出し、読み出した主要被写体データを、記憶部１５に記憶している背景画像データに合成した合成画像データを生成する。なお、制御部１０は、生成した合成画像データを他のデータとともに記憶部１５に記憶する。

しかる後、出力制御部１４（ＣＰＵ１０１）が、ステップＳ５で生成した合成画像データを表示部３０に供給することにより、合成画像データにより表される合成画像を表示部３０に表示させる（ステップＳ６）。

図７（ａ）は、ステップＳ６で表示部３０において表示される合成画像Ｇ１０１の例を示した図である。図７（ａ）は、記録メディア５０に記憶されている一連の主要被写体データによって表される主要被写体像がサッカーボールである場合の例である。また、図７（ａ）に示した合成画像Ｇ１０１は、背景画像データにより表される背景画像Ｇ０（具体的な表示は省略する。）に、画像番号が「６１」の主要被写体データにより表される主要被写体像Ｇ（６１）が合成されたものである。

その後、制御部１０は、ユーザから所定のキー操作による主要被写体像の追加指示があったか否かを確認する（ステップＳ１０）。追加指示が確認できなければ（ステップＳ１０：ＮＯ）、制御部１０は、ユーザから所定のキー操作による主要被写体像の削除指示があったか否かを確認する（ステップＳ１１）。また、削除指示が確認できなければ（ステップＳ１１：ＮＯ）、制御部１０は、ユーザから所定のキー操作による主要被写体像の印刷指示があったか否かを確認する（ステップＳ１２）。

そして、制御部１０は、ユーザから主要被写体像の追加指示があったときには（ステップＳ１０：ＹＥＳ）、ステップＳ２、ステップＳ３の処理を繰り返す。すなわち制御部１０は、ユーザに新たな主要被写体データを選択させ（ステップＳ２）、新たに選択された主要被写体データの画像番号を記憶部１５に新たに記憶する（ステップＳ３）。

ステップＳ２〜ステップＳ３の処理を繰り返した後には、ユーザにより選択された主要被写体データが２以上となるため（ステップＳ４：ＹＥＳ）、指標データ生成部１２（ＣＰＵ１０１）が指標データを生成する（ステップＳ７）。

図５は、ステップＳ７において指標データ生成部１２が実行する指標データ生成処理を示したフローチャートである。

指標データ生成処理において指標データ生成部１２は、まず、記憶部１５に記憶されている画像番号（撮影順を示す連続番号）を確認して、以下の処理を行う（ステップＳ１０１）。すなわち指標データ生成部１２は、記憶部１５に新たに記憶された主要被写体データと、記憶部１５に既に記憶されていた、新たに記憶した主要被写体データよりも画像番号が小さく、かつ最も近い画像番号の他の主要被写体データを記録メディア５０から読み出す。

次に、指標データ生成部１２は、読み出した双方の主要被写体データにおいて、各々の主要被写体データにより表される２つの主要被写体像の相互における状態の時間的な変化の内容を特定する（ステップＳ１０２）。ここで、指標データ生成部１２が特定する状態の時間的な変化の内容とは、２つの主要被写体像の抽出元である一方の撮影画像が撮影された時点と、他方の撮影画像が撮影された時点とのにおける主要被写体の状態の変化の内容である。

また、本実施形態において指標データ生成部１２が特定する状態の時間的な変化の内容は、主要被写体像（主要被写体）における位置の時間的な変化と、主要被写体像（主要被写体）における大きさの時間的な変化とのいずれか一方である。つまりステップＳ１０２において指標データ生成部１２は、ステップＳ１０１で読み出した画像番号の異なる２つの主要被写体データによりそれぞれ表される主要被写体像の相互において位置が変化しているのか、大きさが変化しているのかを特定する。

より具体的に説明すると、例えば指標データ生成部１２は、まず、画像番号が小さい側の主要被写体データにより表される主要被写体像を複数のマクロブロックに分割し、各々のマクロブロックについて、画像番号が大きい側の主要被写体データにより表される主要被写体像の対応する箇所を検索して動きベクトルを取得する。なお、指標データ生成部１２による動きベクトルの具体的な取得方法は、例えばブロックマッチング法等の周知の方法である。以下の説明においては、画像番号（撮影順を示す連続番号）が小さい側の主要被写体データにより表される主要被写体像を単に画像番号が小さい側の主要被写体像と表現し、かつ画像番号が大きい側の主要被写体データにより表される主要被写体像を単に画像番号が大きい側の主要被写体像と表現する。

そして、指標データ生成部１２は、取得したマクロブロック毎の動きベクトルに示される方向が、予め決められているは判断基準に照らしてほぼ同一方向である判断できる場合には、２つの主要被写体データにおいて主要被写体像の位置が変化していると特定する。また、指標データ生成部１２は、取得したマクロブロック毎の動きベクトルに示される方向が、予め決められているは判断基準に照らしてほぼ同一方向である判断できない場合には、２つの主要被写体データにおいて主要被写体像の大きさが変化していると特定する。

次に、指標データ生成部１２は、２つの主要被写体データにより表される主要被写体像の状態の変化が位置の変化であれば（ステップＳ１０３：ＹＥＳ）、主要被写体像の位置の時間的な変化を示す指標を表す指標データを生成する（ステップＳ１０４）。

指標データ生成部１２が生成する位置の時間的な変化を示す指標を表す指標データは、所定の方向を示す矢印を表す画像データである。ここで、矢印を表す画像データは、合成画像データ、又は指標付き合成画像データと同一サイズで、かつ透明部分として扱われる色の背景内に矢印が存在する画像を表す画像データである。

矢印を表す画像データ（指標データ）の生成に際して指標データ生成部１２は、まず、画像番号（撮影順を示す連続番号）が小さい側の主要被写体データと、画像番号が大きい側の主要被写体データとの２つの主要被写体データにより表される双方の主要被写体像の各々の中心位置を演算する。なお、主要被写体像の中心とは、主要被写体像を囲む最小面積の矩形の中心（重心であってもよい。）である。

次に、指標データ生成部１２は、矢印（位置の時間的な変化を示す指標）の長さとして、２つの主要被写体データにより表される双方の主要被写体像の中心間の距離の予め決められた割合（１／２等）の長さを取得する。また、指標データ生成部１２は、矢印の位置として、矢印の中心が、双方の主要被写体像の中心同士を結ぶ直線の中点と一致する位置を取得する。さらに、指標データ生成部１２は、矢印の方向として、双方の主要被写体像の中心同士を結ぶ直線に重なり、かつ画像番号が大きい側の主要被写体データにより表される主要被写体像（の中心）へ向かう方向を取得する。しかる後、指標データ生成部１２は、取得した方向を示し、かつ取得した長さを有する矢印を、取得した位置に配置した画像を表す画像データを指標データとして生成する。

一方、指標データ生成部１２は、２つの主要被写体データにより表される主要被写体像の状態の変化が大きさの変化であれば（ステップＳ１０３：ＮＯ）、主要被写体像の大きさの時間的な変化を示す指標を表す指標データを生成する（ステップＳ１０５）。

ステップＳ１０５において指標データ生成部１２は、まず、画像番号（撮影順を示す連続番号）が小さい側の主要被写体データと画像番号が大きい側の主要被写体データとにおいて、ハイパスフィルタを用いて主要被写体像の輪郭をそれぞれ検出する。次に指標データ生成部１２は、画像番号が小さい側の主要被写体像が、画像番号が大きい側の主要被写体像と比べて大きいか否かを判断する。

しかる後、指標データ生成部１２は、指標データとして、画像番号が小さい側の主要被写体像の輪郭線から画像番号が大きい側の主要被写体像の輪郭線に向かう方向を示し、かつ予め決められた長さを有する２つの矢印を表す画像データを生成する。ここで、２つの矢印を表す画像データは、ステップＳ１０４の処理で生成されるものと同様に、合成画像データ、又は指標付き合成画像データと同一サイズで、かつ透明部分として扱われる色の背景内に２つの矢印が存在する画像を表す画像データである。

また、２つの矢印は、画像番号が小さい側の主要被写体像の中央部を通る予め決められている傾きを有する仮想直線に、それぞれが重なるものである。なお、主要被写体像の中心とは、主要被写体像を囲む最小面積の矩形の中心（重心であってもよい。）である。

そして、ステップＳ１０５において指標データ生成部１２は、画像内での位置を以下の手順で決定し、決定した位置に２つの矢印を配置した画像を表す画像データを指標データとして生成する。

画像内での２つの矢印の位置の決定に際して指標データ生成部１２は、まず仮想直線が一端側及び他端側において画像番号が小さい側と大きい側との双方の主要被写体像の輪郭線と交差する４つの交点の位置を取得する。次に、指標データ生成部１２は、取得した４つの交点のうちで仮想直線の一端側における２つの交点の中間位置（以下、一端側の中間位置という。）と、仮想直線の他端側における２つの交点の中間位置（以下、他端側の中間位置という。）とを取得する。

しかる後、指標データ生成部１２は、中心が一端側の中間位置と一致する位置を一方側の矢印の位置として決定し、かつ中心が他端側の中間位置と一致する位置を他方側の矢印の位置として決定する。

そして、制御部１０は、以上の指標データ生成処理によって指標データ生成部１２により指標データを生成した後、図４のフローチャートに示した処理に戻り、引き続き、以下の処理を行う。

まず、合成画像データ生成部１１（ＣＰＵ１０１）が、指標データ生成処理において生成した指標データをステップＳ５の処理で生成した合成画像データに合成することにより指標付き合成画像データを生成する（ステップＳ８）。なお、合成画像データ生成部１１は、生成した指標付き合成画像データを他のデータとともに記憶部１５に記憶する。

しかる後、制御部１０は、生成した指標付き合成画像データを表示部３０に供給することにより、指標付き合成画像データにより表される指標付き合成画像を表示部３０に表示させる（ステップＳ９）。

図７（ｂ）は、表示部３０に、図７（ａ）に示した合成画像Ｇ１０１が表示されている間に、ユーザによって２つ目の主要被写体データが選択された場合に、表示部３０に表示される指標付き合成画像の例を示した図である。

図７（ｂ）に示した指標付き合成画像Ｇ１０２は、２つ目の主要被写体データとして、合成画像Ｇ１０１に合成されていた主要被写体像Ｇ（６１）と比べて位置が変化した主要被写体像Ｇ（６５）を表す、画像番号（撮影順を示す連続番号）が「６５」の主要被写体データが選択された場合の例である。すなわちステップＳ７の処理（図５の指標データ生成処理）で、指標データとして主要被写体像の位置の時間的な変化を示す指標データが生成された場合の例である。図７（ｂ）において、双方の主要被写体像Ｇ（６１），Ｇ（６５）の間において右上方向を示す矢印である指標Ａが指標データにより表された指標である。

一方、図８は、表示部３０に、図７（ａ）に示した合成画像Ｇ１０１が表示されている間に、ユーザによって２つ目の主要被写体データが選択された場合に、制御部１０がステップＳ９の処理でディスプレイ３０１に表示させる指標付き合成画像の他の例を示した図である。

図８に示した指標付き合成画像Ｇ１１２は、２つ目の主要被写体データとして、合成画像Ｇ１０１に合成されていた主要被写体像Ｇ（６１）と比べて位置が変化した主要被写体像Ｇ（６９）を表す、画像番号が「６９」の主要被写体データが選択された場合の例である。図８において、双方の主要被写体像Ｇ（６１），Ｇ（６９）の間において右方向を示す矢印である指標Ａが指標データにより表された指標である。つまり２つ目の主要被写体データが異なる場合には、主要被写体像の位置の時間的な変化を示す指標データとして異なる指標データで生成される。そして、異なる指標データにより表される指標が合成された異なる指標付き合成画像が表示部３０に表示されることとなる。

引き続き、制御部１０は、ユーザから主要被写体像の追加指示がさらにあったときには（ステップＳ１０：ＹＥＳ）、ユーザに３つ目の主要被写体データをさらに選択させた後（ステップＳ２）、ステップＳ３、ステップＳ７〜ステップＳ９の処理を繰り返す。これにより、制御部１０は、ステップＳ８の処理で指標データ生成部１２が生成した新たな指標付き合成画像データにより表される新たな指標付き合成画像を表示部３０に表示させる。

図７（ｃ）は、図７（ｂ）に示した指標付き合成画像Ｇ１０２の表示中に、３つ目の主要被写体データとして、ユーザにより画像番号（撮影順を示す連続番号）が「６９」の主要被写体データが選択された場合に、表示部３０に表示される新たな指標付き合成画像の例を示した図である。

すなわち図７（ｃ）に示した指標付き合成画像Ｇ１０３は、図７（ｂ）に示した指標付き合成画像Ｇ１０２に対して、主要被写体像Ｇ（６９）と、及び主要被写体像Ｇ（６５）と主要被写体像Ｇ（６９）との間に配置され右下方向を示す矢印である指標Ａが新たに合成されたものである。

以後、制御部１０は、ユーザから主要被写体像の追加指示がある毎に（ステップＳ１０：ＹＥＳ）、ステップＳ２、ステップＳ３、ステップＳ７〜ステップＳ９の処理を繰り返し、新たな指標付き合成画像を表示部３０に表示させる。

ここで制御部１０が、ステップＳ６、及びステップＳ９の処理において表示部３０にそれぞれ表示させる合成画像、及び指標付き合成画像の他の例を図９に示す。図９は、記録メディア５０に記憶されている一連の主要被写体データによって表される各々の主要被写体像の相互における状態の時間的な変化が、主要被写体像の大きさの変化である場合を前提とした例である。

図９（ａ）は、制御部１０がステップＳ６の処理で表示部３０に表示させる合成画像Ｇ２０１の例を示した図である。図９（ａ）に示した合成画像Ｇ２０１は、背景画像データにより表される背景画像Ｇ０（具体的な表示は省略する。）に、画像番号が「６１」の主要被写体データにより表される主要被写体像Ｇ（６１）が合成されたものである。なお、図９では主要被写体像の具体的な内容は省略する。

また、図９（ｂ）は、印刷処理の開始後の１回目のステップＳ９の処理で制御部１０が表示部３０に表示させる指標付き合成画像Ｇ２０２の例を示した図である。つまり図９（ｂ）は、表示部３０に、図９（ａ）に示した合成画像Ｇ２０１が表示されている間に、ユーザによって２つ目の主要被写体データが選択された場合に、表示部３０に表示される指標付き合成画像の例を示した図である。

図９（ｂ）に示した指標付き合成画像Ｇ２０２は、２つ目の主要被写体データが、合成画像Ｇ２０１に合成されていた主要被写体像Ｇ（６１）よりも大きさが小さく変化した主要被写体像Ｇ（６５）を表す、画像番号が「６５」の主要被写体データである場合の例である。この場合、ステップＳ７の処理（図５の指標データ生成処理）では、指標データ生成部１２により、指標データとして、主要被写体像の大きさの時間的な変化を示す指標データが生成されている。

図９（ｂ）において、双方の主要被写体像Ｇ（６１），Ｇ（６５）の輪郭線の間に配置され、画像番号（撮影順を示す連続番号）が小さい側の主要被写体像Ｇ（６１）から画像番号が大きい側の主要被写体像Ｇ（６５）の輪郭線に向かう方向を示す矢印である指標Ｂ，Ｂが、指標データにより表された指標である。

また、図９（ｃ）は、ユーザにより３つ目の主要被写体データとして、以下の主要被写体データが選択された場合に、表示部３０に表示される指標付き合成画像の例を示した図である。

図９（ｃ）に示した指標付き合成画像Ｇ２０３は、３つ目の主要被写体データが、指標付き合成画像Ｇ２０２に合成されていた主要被写体像Ｇ（６５）よりも大きさが更に小さく変化した主要被写体像Ｇ（６９）を表す、画像番号が「６９」の主要被写体データである場合の例である。この場合も、ステップＳ７の処理（図５の指標データ生成処理）では、指標データ生成部１２により、指標データとして、主要被写体像の大きさの時間的な変化を示す指標データが生成されている。

図９（ｃ）において、２つ目、及び３つ目の主要被写体像Ｇ（６５），Ｇ（６９）の輪郭線の間に配置され、画像番号が小さい側の主要被写体像Ｇ（６５）から画像番号が大きい側の主要被写体像Ｇ（６９）の輪郭線に向かう方向を示す矢印である指標Ｂ，Ｂが、指標データにより表された指標である。

一方、制御部１０は、ステップＳ６、又はステップＳ９の処理後に、ユーザから主要被写体像の削除指示があった場合には（ステップＳ１０：ＮＯ、ステップＳ１１：ＹＥＳ）、主要被写体像を削除する処理を行う（ステップＳ１３）。

図６は、ステップＳ１３において制御部１０が実行する主要被写体像削除処理を示したフローチャートである。

主要被写体像削除処理において制御部１０は、まず、記憶部１５に記憶されている画像番号（撮影順を示す連続番号）のデータ数から、現在選択されている主要被写体データの数が複数であるか否かを確認する（ステップＳ２０１）。

そして、制御部１０は、主要被写体データの数が複数でなければ（ステップＳ２０１：ＮＯ）、表示中の合成画像に替えて、記憶部１５に記憶してある背景画像データにより表される背景画像を表示部３０に表示させる（ステップＳ２０２）。なお、ステップＳ２０２の処理に際して制御部１０は、記憶部１５に記憶されている画像番号を削除する。しかる後、制御部１０は、主要被写体像削除処理から抜けて、図４に示したステップＳ２の処理へ移行する。

一方、制御部１０は、主要被写体データの数が複数であれば（ステップＳ２０１：ＹＥＳ）、ユーザに削除対象の主要被写体データを選択させる（ステップＳ２０３）。ステップＳ２０３の処理において制御部１０は、記憶部１５に記憶されている各々の画像番号の主要被写体データにより表される主要被写体像を、ユーザによる所定のキー操作に応じて順に、例えば現在表示中の主要被写体像に重ねてグレー表示する。そして、制御部１０は、ユーザから所定のキー操作による確定指示あった時点でグレー表示している主要被写体データを削除対象として特定する。そして、ユーザにより選択された主要被写体データの画像番号を記憶部１５から削除する（ステップＳ２０４）。

次に、制御部１０は、記憶部１５に画像番号が記憶されている残りの主要被写体データが２以上でなければ（ステップＳ２０５：ＮＯ）、残りの主要被写体データを背景画像データに合成した合成画像データを新たに生成する（ステップＳ２０６）。そして、制御部１０は、生成した合成画像データにより表される新たな合成画像を、表示中の指標付き合成画像に替えて表示部３０に表示させる（ステップＳ２０７）。しかる後、制御部１０は主要被写体像削除処理を終了し、図４に示した処理へ戻る。

一方、制御部１０は、記憶部１５に画像番号が記憶されている残りの主要被写体データが２以上であれば（ステップＳ２０５：ＹＥＳ）、まず、画像番号が最小の主要被写体データを背景画像データに合成した合成画像データを新たに生成する（ステップＳ２０８）。引き続き、制御部１０は、生成した合成画像データに、さらに画像番号が次に大きい主要被写体像データを合成した新たな合成画像データを生成する（ステップＳ２０９）。

次に、指標データ生成部１２が、ステップＳ２０９で合成画像データに新たに合成した主要被写体データと、記憶部１５に記憶されている、新たに合成した主要被写体データよりも画像番号が小さく、かつ最も近い画像番号の他の主要被写体データとに基づき指標データを生成する（ステップＳ２１０）。指標データ生成部１２が指標データを生成する際の具体な処理手順については、図４のステップＳ７の処理（図５の指標データ生成処理）と同様である。

そして、合成画像データ生成部１１が、生成した指標データを、ステップＳ２０９の処理で生成した合成画像データに合成し、指標付き合成画像データを生成する（ステップＳ２１１）。

以後、制御部１０は、画像番号が次に大きい主要被写体データがあれば（ステップＳ２１２：ＹＥＳ）、ステップＳ２０９〜ステップＳ２１１の処理を繰り返す。つまり制御部１０は、ユーザに削除されていない全ての主要被写体データのみを背景画像データに順に合成し直す。また、指標データ生成部１２が、主要被写体データを合成し直す毎に新たな指標データを生成し、合成画像データ生成部１１が、生成した指標データを合成した指標付き合成画像データを生成する。

そして、画像番号が次に大きい主要被写体データがなくなったら（ステップＳ２１２：ＮＯ）、制御部１０は、ステップＳ２１１の処理で最終的に生成した新たな指標付き合成画像データにより表される指標付き合成画像を表示部３０に表示させる（ステップＳ２１３）。しかる後、表示部３０は主要被写体像削除処理を終了し、図４に示した処理へ戻る。

したがって、例えば図７（ｃ）に示した指標付き合成画像Ｇ１０３が表示部３０に表示されている状態で、ユーザにより２つ目の主要被写体像Ｇ（６５）を削除するキー操作が行われた場合には、図８に示した指標付き合成画像Ｇ１１２が表示部３０に表示される。

その後、制御部１０は、ユーザから所定のキー操作による主要被写体像の印刷指示があれば（ステップＳ１１：ＮＯ、ステップＳ１２：ＹＥＳ）、指標付き合成画像Ｇ１０３を印刷する処理を行う（ステップＳ１４）。すなわち制御部１０は、印刷指示があった時点で生成している指標付き合成画像データを印刷部４０（プリンタドライバ４０１）へ供給し、印刷部４０（プリンタ４０２）に指標付き合成画像、例えば図７（ｃ）に示した指標付き合成画像Ｇ１０３を印刷させる。これにより、制御部１０は、特定の印刷モードにおける印刷処理を完了する。

以上のようにフォトスタンド１が特定の印刷モードで印刷する合成画像は、単に複数の主要被写体像を合成したものではなく、複数の主要被写体像の相互における状態（位置、又は大きさ）の時間的な変化を示す指標が同時に合成された指標付き合成画像である。

よって、指標付き合成画像の鑑賞者は、指標付き合成画像に合成されている１又は複数の指標によって、各々の主要被写体像により表現されている主要被写体の撮影順を把握することができる。

また、指標付き合成画像の印刷に際して、主要被写体像（主要被写体データ）として、撮影中における主要被写体の移動軌跡中の変曲点（移動方向が変化する点）に対応する主要被写体像をユーザに選択させれば、以下の効果も得ることができる。

すなわち指標付き合成画像に合成されている主要被写体像の数が少なくとも、指標付き合成画像の鑑賞者に、単なる主要被写体の撮影順に止まらず、撮影中における主要被写体の移動軌跡も把握させることができる。つまり、合成されている主要被写体像の数が少なくとも、撮影中における主要被写体の本来の動きを指標付き合成画像において表現することができる。

また、フォトスタンド１においては、ユーザが２以上の主要被写体像を選択（指定）する毎に、新たに選択した主要被写体像と既に表示中の画像番号が小さく、かつ最も近い主要被写体像との間に指標が存在する指標付き合成画像が表示部３０に表示される。このため、ユーザは、指標付き合成画像に逐次追加される指標を確認しながら、主要被写体像を選択することができ、所望とする画像内容の指標付き合成画像を比較的容易に印刷することができる。

（変形等）
次に、以上説明した実施形態の変形等について述べる。

本実施形態においては、指標付き合成画像において複数の主要被写体像の相互における状態（位置、又は大きさ）の時間的な変化を示す指標が、図７〜図９に示したように特定の方向を示す矢印である場合について説明した。しかし、指標付き合成画像に合成する指標は矢印以外にも特定の方向を示すものであれば、例えば図１０に示したような画像等に適宜変更することができる。図１０は、矢印以外の他の指標Ｃが合成された場合における、図８に対応する指標付き合成画像Ｇ３０１の例を示した図である。

また、フォトスタンド１には、例えば指標付き合成画像に合成する指標の種類を、複数の主要被写体像の相互において変化する状態の種類（位置、又は大きさ）に応じて変化させる構成を採用してもよい。

本実施形態においては、指標付き合成画像に合成する主要被写体像（主要被写体データ）をユーザに選択させた。つまりＣＰＵ１０１が合成画像データや指標付き合成画像データに合成する主要被写体データとして、ユーザに指示された主要被写体データを選択する構成について説明した。

しかし、フォトスタンド１には、ＣＰＵ１０１が、合成画像データや指標付き合成画像データに合成する主要被写体データを自動的に選択する構成を採用することもできる。ＣＰＵ１０１に主要被写体データを自動的に選択させる場合には、例えばＣＰＵ１０１に、画像番号が一定間隔にある主要被写体データのみを自動的に選択させてもよい。主要被写体データを自動的に選択する構成を採用すれば、指標付き合成画像の印刷時におけるユーザの作業負担を軽減することができる。

また、フォトスタンド１には、以下の構成を採用してもよい。例えば指標付き合成画像に合成する主要被写体像を３枚に固定し、ユーザには１枚目の主要被写体像と３枚目の主要被写体像のみを選択させる構成とする。そして、３枚の主要被写体像の残りの２枚目の主要被写体像をフォトスタンド１側で自動的に選択する構成としてもよい。２枚目の主要被写体像の選択に際しては、例えばＣＰＵ１０１に、１枚目の主要被写体像の画像番号と３枚目の主要被写体像の画像番号との中間の画像番号を自動的に計算させればよい。

また、フォトスタンド１には、本実施形態と異なり記録メディア５０に記録されている全ての主要被写体データにより表される主要被写体像を合成した指標付き合成画像を印刷する、本実施形態とは異なる特定の印刷モードを設けても構わない。

また、フォトスタンド１に、指標付き合成画像に合成する主要被写体像を自動的に選択させる場合には、ディスプレイ３０１には指標付き合成画像を表示させなくともよい。つまり指標付き合成画像に合成する主要被写体像を自動的に選択させる場合、フォトスタンド１には、指標付き合成画像データを出力する画像出力手段としてプリンタドライバ４０１、及びプリンタ４０２のみを有する構成を採用することができる。

また、例えばフォトスタンド１には、指標付き合成画像を印刷する特定の印刷モードに代えて、生成した指標付き合成画像データを記録メディア５０に記録する特定の動作モードである合成画像作成モードを設けてもよい。

また、本実施形態では、画像データとして記録されている画像を表示したり、印刷したりするフォトスタンド１に本発明を適用した場合について説明した。しかし、本発明は、本実施形態において説明した指標付き合成画像データの生成機能や、生成した指標付き合成画像データを出力する機能を備えたものであれば、任意の装置に適用することができる。任意の装置にはデジタルカメラや、カメラ付き携帯電話端末等が含まれる。

１ フォトスタンド
１０ 制御部
１１ 合成画像データ生成部
１２ 指標データ生成部
１３ 画像選択部
１４ 出力制御部
１５ 記憶部
２０ 操作部
２１ 指標データ生成部
３０ 表示部
４０ 印刷部
５０ 記録メディア
６０ 画像出力部
１０１ ＣＰＵ
１０２ ＲＯＭ
１０２ａ 印刷制御プログラム
１０３ ＲＡＭ
１０４ メディアコントローラ
２０１ 操作キー群
３０１ ディスプレイ
４０１ プリンタドライバ
４０２ プリンタ
Ａ〜Ｃ 指標
Ｇ１０１ 合成画像
Ｇ１０２ 指標付き合成画像
Ｇ１０３ 指標付き合成画像
Ｇ１１２ 指標付き合成画像
Ｇ２０２ 指標付き合成画像
Ｇ２０３ 指標付き合成画像

Claims (5)

1. 異なる時間に撮影された複数の静止画像から抽出された複数の主要被写体像を、抽出元の静止画像内での位置を維持した状態で合成した合成画像を生成する画像処理装置であって、
   前記複数の主要被写体像の相互における状態の時間的な変化を示す指標を表す指標データを生成する指標データ生成手段と、
   前記指標データ生成手段が生成した前記指標データを前記合成画像を表す合成画像データに対して合成することにより、指標付き合成画像を表す指標付き合成画像データを生成する合成画像データ生成手段と、
   前記合成画像データ生成手段が生成した指標付き合成画像データが表す指標付き合成画像を出力する画像出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記指標データ生成手段は、前記複数の主要被写体像の相互における位置の時間的な変化を示す指標を表す前記指標データ、前記複数の主要被写体像の相互における大きさの時間的な変化を示す指標を表す前記指標データ、の少なくとも１つを、前記複数の主要被写体像の状態の時間的な変化を示す指標を表す指標データとして生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記合成画像に合成すべき前記複数の主要被写体像を順に選択する選択手段をさらに備え、
   前記指標データ生成手段は、前記選択手段が新たな主要被写体像を選択する毎に、新たに選択された主要被写体像の状態の時間的な変化を示す指標を表す前記指標データを新たに生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記出力手段は、前記合成画像データ生成手段が生成した合成画像データにより表される合成画像を表示する表示手段であり、
   前記選択手段は、前記合成画像に合成すべき前記複数の主要被写体像として使用者により指示された主要被写体像を選択する
   ことを特徴とする請求項４に記載の画像処理装置。
5. 異なる時間に撮影された複数の静止画像から抽出された複数の主要被写体像を、抽出元の静止画像内での位置を維持した状態で合成した合成画像を生成する画像処理装置が有するコンピュータを、
   前記複数の主要被写体像の相互における状態の時間的な変化を示す指標を表す指標データを生成する指標データ生成手段と、
   前記指標データ生成手段が生成した前記指標データを前記合成画像を表す合成画像データに対して合成することにより、指標付き合成画像を表す指標付き合成画像データを生成する合成画像データ生成手段と、
   前記合成画像データ生成手段が生成した指標付き合成画像データが表す指標付き合成画像を画像出力手段に出力させる出力制御手段と
   して機能させることを特徴とするプログラム。

Images