JP2014179135A - 画像処理装置、方法、及びプログラム - Google Patents

Abstract

【課題】自然な見え方の合成画像を提示可能な画像処理装置、方法、及びプログラムを提供する。
【解決手段】画像処理装置は、第１算出手段と、選択手段と、抽出手段と、第２算出手段と、決定手段と、生成手段と、を備える。第１算出手段は、被写体を含む第１画像から前記被写体の姿勢情報を算出する。選択手段は、衣服を含む複数の第２画像から、前記姿勢情報に対応する第２画像を選択する。抽出手段は、前記第１画像の第１奥行情報から前記被写体の第１特徴を抽出し、前記第２画像の第２奥行情報から第２特徴を抽出する。第２算出手段は、前記第１特徴と前記第２特徴との第１ずれ量を算出する。決定手段は、前記第１ずれ量が大きいほど高い透過度を決定する。生成手段は、前記第１画像と、前記透過度に変更した前記第２画像と、を合成した合成画像を生成する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、方法、及びプログラムに関する。

試着対象の衣服を着用した状態を示す仮想画像を表示する技術が種々開示されている。例えば、試着対象の被写体の画像の特徴点と衣服の画像の特徴点とを抽出し、これらの特徴点が合うように衣服の画像を変形する。そして、変形した衣服の画像と被写体の画像とを合成した合成画像を表示する技術が提案されている。

特開２００５−２１６０９４号公報

しかしながら、従来技術では、着用した状態の衣服の姿勢と、被写体の姿勢とが異なると、試着対象の衣服の画像と被写体の画像とにずれが生じ、自然な見え方の合成画像を提示することは困難であった。

本発明が解決しようとする課題は、自然な見え方の合成画像を提示可能な画像処理装置、方法、及びプログラムを提供することである。

実施形態の画像処理装置は、第１算出手段と、選択手段と、抽出手段と、第２算出手段と、決定手段と、生成手段と、を備える。第１算出手段は、被写体を含む第１画像から前記被写体の姿勢情報を算出する。選択手段は、衣服を含む複数の第２画像から、前記姿勢情報に対応する第２画像を選択する。抽出手段は、前記第１画像の第１奥行情報から前記被写体の第１特徴を抽出し、前記第２画像の第２奥行情報から第２特徴を抽出する。第２算出手段は、前記第１特徴と前記第２特徴との第１ずれ量を算出する。決定手段は、前記第１ずれ量が大きいほど高い透過度を決定する。生成手段は、前記第１画像と、前記透過度に変更した前記第２画像と、を合成した合成画像を生成する。

実施の形態１の画像処理装置のブロック図。 実施の形態１の第２画像情報を格納したテーブルの一例の図。 実施の形態１の第２画像の一例の図。 実施の形態１の合成画像の一例の図。 実施の形態１の画像処理のフローチャート。 実施の形態１の合成画像の一例の図。 実施の形態１の合成画像の一例の図。 実施の形態２の画像処理装置を示すブロック図。 実施の形態２の画像処理のフローチャート。 実施の形態２の合成画像の一例の図。 実施の形態３の画像処理装置を示すブロック図。 実施の形態３の衣服情報生成処理のフローチャート。 実施の形態３の第２画像の一例の図。 実施の形態４の画像処理装置のブロック図。 実施の形態４の画像処理のフローチャート。 実施の形態４の合成画像の一例の図。 実施の形態のハードウェア構成の図。

以下に添付図面を参照して、画像処理装置、方法、及びプログラムの一の実施形態を詳細に説明する。

（実施の形態１）
図１は、本実施の形態の画像処理装置１０の機能的構成を示すブロック図である。画像処理装置１０は、記憶部１２（記憶手段）、撮像部１４（撮像手段）、選択部１６（選択手段）、第１算出部１８（第１算出手段）、抽出部２０（抽出手段）、第２算出部２２（第２算出手段）、決定部２４（決定手段）、生成部２６（生成手段）、及び提示部２８（提示手段）を備える。

撮像部１４は、衣服を試着する対象の被写体を撮像する。撮像部１４としては、公知のデジタルカメラ、デジタルビデオカメラ等が挙げられる。撮像部１４は、被写体の撮像によって、被写体を含む第１画像を取得する。撮像部１４は、第１画像を、第１算出部１８、抽出部２０、及び生成部２６へ出力する。

衣服を試着する対象の被写体は、人物に限られず、犬や猫等のペット、及び人体やペットの形状を模したマネキン等も含む。また、衣服とは、被写体が着用可能な品物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子等が挙げられる。

第１算出部１８は、撮像部１４によって得られた第１画像から、被写体の姿勢情報を算出する。姿勢情報とは、被写体の身体の構え方を示し、被写体の向きや動き等を示す。被写体の向きとは、撮像部１４に対する撮像時の被写体の向きを示す。例えば、被写体の向きとしては、顔及び身体が撮像部１４に対して正面を向いている正面方向、顔及び身体が撮像部１４に対して側面を向いている側面方向、正面方向及び側面方向以外の他の方向等がある。被写体の身体の動きとは、被写体の関節の角度の集合によって定まる身体の形を示す。

本実施の形態では、第１算出部１８は、姿勢情報として、被写体の向きを示す姿勢情報を算出する場合を説明するがこれに限られない。

第１算出部１８による姿勢情報の算出には、公知の方法を適用することができる。例えば、姿勢情報の算出には、第１画像における顔領域を公知の方法により抽出し、顔領域の向きを公知の方法により判別することによって、被写体の向きを示す姿勢情報を算出する方法を用いることができる。また、第１画像における被写体の輪郭の大きさや形状を示す情報に対応づけて姿勢情報を予め記憶する。そして、第１算出部１８は、第１画像の輪郭を公知の方法により抽出し、該輪郭の大きさや形状を示す情報に対応する姿勢情報を読み取ることによって、姿勢情報を算出してもよい。また、複数領域に分割した領域毎に印の着いた衣服を着用した状態の被写体を撮像部１４で撮像する。そして、撮像によって得られた第１画像における該印を示す印画像の各位置を算出した算出結果を用いて、姿勢情報を算出してもよい。

また、特開２００６−２４９６１８号公報に示される姿勢推定方法を用いて姿勢情報を算出してもよい。具体的には、被写体の三次元体型形状を示す情報に対応づけて姿勢情報を予め記憶する。そして、撮像部１４の撮像によって得られた第１画像の輪郭を公知の方法により抽出する。そして、各姿勢情報に対応する三次元体型形状を示す情報の各々について被写体モデルを生成し、被写体モデルを二次元画像に投影して輪郭を抽出する。そして、第１画像の輪郭に一致または最も類似する輪郭の被写体モデルに対応する姿勢情報を、読取ることによって、姿勢情報を算出する方法を用いてもよい。

記憶部１２は、第２画像を示す第２画像情報を記憶する。第２画像情報は、衣服の試着対象の被写体、または被写体を模した形状のマネキン等の人形に試着された状態で撮像された衣服の画像を示すことが好ましい。

本実施の形態では、記憶部１２は、第２画像情報を格納したテーブルを記憶する場合を説明する。図２には、記憶部１２に記憶される、第２画像情報を格納したテーブルのデータ構造の一例を示した。

図２に示すように、第２画像情報を格納したテーブルは、例えば、衣服番号と、姿勢情報と、第２画像情報と、衣服情報と、を対応づけて格納する。衣服番号は、衣服毎に一意に割り当てられた番号等の情報である。このため、姿勢情報が異なっていても、同じ衣服については、同じ衣服番号を割り当てるものとして説明する。姿勢情報は、上述したため説明を省略する。第２画像情報は、第２画像を示す画像情報である。衣服情報は、衣服を示す情報であり、例えば、衣服名、色、サイズ、素材、値段等の情報が含まれる。

なお、記憶部１２は、１種類の衣服（衣服番号）について、姿勢の異なる複数種類の姿勢情報及び各姿勢情報に対応する第２画像情報や衣服情報を格納してもよいし、１種類の衣服について、１種類の姿勢の姿勢情報を格納してもよい。

記憶部１２が、１種類の衣服について姿勢の異なる複数種類の姿勢情報及び各姿勢情報に対応する第２画像情報を格納する場合には、例えば、記憶部１２は、図３（Ａ）に示すように、同じ衣服について側面側から撮像された第２画像３１Ａと、側面方向を示す姿勢情報と、が該衣服を示す衣服番号に対応づけて格納する。また、記憶部１２は、図３（Ｂ）に示すように、同じ衣服について正面側から撮像された第２画像３１Ｂと、正面方向を示す姿勢情報と、を、該衣服を衣服番号に対応づけて格納する。

なお、記憶部１２における、第２画像情報を格納したテーブルは、衣服を識別するための衣服番号と、姿勢情報と、第２画像情報と、を少なくとも格納すればよく、衣服情報を格納しない形態であってもよい。

図１に戻り、説明を続ける。選択部１６は、第１算出部１８から受け付けた姿勢情報に対応する第２画像情報を記憶部１２から選択する。なお、姿勢情報に対応する第２画像情報が記憶部１２に複数記憶されている場合、すなわち、同じ姿勢情報に対応する異なる種類の衣服が記憶部１２に記憶されている場合には、選択部１６は、これらの複数の第２画像情報の内の１の第２画像情報を選択する。

なお、画像処理装置１０に図示を省略する操作部を設けた構成とし、選択部１６は、ユーザによる操作部の操作指示によって選択された衣服番号の第２画像情報の内の、第１算出部１８から受け付けた姿勢情報に対応する第２画像情報を選択してもよい。なお、操作部としては、各種情報を入力する公知の入力装置が挙げられ、例えば、キーボードやタッチパネル等が挙げられる。

選択部１６は、選択した第２画像情報を、抽出部２０及び生成部２６へ出力する。

抽出部２０は、第１画像の輪郭（第１輪郭と称する）を抽出し、該第１輪郭から被写体の第１特徴を抽出する。また、抽出部２０は、第２画像の輪郭（第２輪郭と称する）を抽出し、該第２輪郭から第２特徴を抽出する。

第１特徴及び第２特徴とは、被写体を特徴づける部分を示す。第１特徴及び第２特徴は、具体的には、少なくとも被写体の肩部及び腰部の何れか一方を示す。なお、第１特徴及び第２特徴としては、被写体を特徴づける部分であればよく、例えば、首部、胸部、脇部、膝部、大腿部、頭部、足首部、足先部等を含んでもよい。なお、以下では、第１特徴及び第２特徴を総称する場合には、単に特徴と称して説明する場合がある。

抽出部２０は、公知のエッジ抽出方法を用いたエッジ抽出法を用いて、第１画像の第１輪郭、及び第２画像の第２輪郭を抽出する。具体的には、エッジ抽出法としては、キャニー（Ｃａｎｎｙ）法、ソーベルオペレータ法、Ｐｒｅｗｉｔｔオペレータ法、Ｒｏｂｅｒｔｓ ｃｒｏｓｓ法等が挙げられるが、これらに限られない。

第１輪郭から第１特徴を抽出する方法、及び第２輪郭から第２特徴を抽出する方法としては、以下の方法を用いる。例えば、抽出部２０は、輪郭における特徴を示す線画像部分を識別するための識別情報を予め記憶する。この識別情報としては、例えば、曲率を示す情報が挙げられるがこれに限られない。

曲率を識別情報として用いて第１特徴及び第２特徴を抽出する方法の一例を説明する。例えば、抽出部２０は、肩部、腰部等の特徴毎に、各特徴に対応する曲率の範囲を示す情報を予め記憶する。具体的には、抽出部２０は、肩部に相当する曲線の曲率の取りうる範囲を、肩部を示す情報に対応づけて記憶する。抽出部２０は、腰部やその他の部位についても同様にして、曲率の範囲を予め記憶する。

そして、抽出部２０は、第１特徴及び第２特徴を複数領域に分割した各領域について曲率を算出し、算出した曲率に対応する特徴を示す情報が記憶されている場合に、該曲率を示す領域を線画像（第１特徴、第２特徴）として抽出する。

なお、曲率の算出には、公知の方法を用いる。例えば、抽出部２０は、下記方法により曲率を算出する。具体的には、抽出部２０は、まず、注目画素の近傍領域Ｓ（ｐ）の輪郭（第１輪郭、第２輪郭）の共分散行列Ｍ（式（１））を求める。

式（１）中、Ｍは、輪郭（第１輪郭、第２輪郭）の共分散行列を示し、Ｓ（ｐ）は、注目画素の近傍領域を示す。また、式（１）中、ｄＩ／ｄｘは、水平方向の微分オペレータを示し、ｄＩ／ｄｙは垂直方向の微分オペレータを示す。

そして、抽出部２０は、共分散行列Ｍの固有値（λ１，λ２）を用いて、下記式（２）により曲率を算出する。

曲率＝αλ１＋βλ２ ・・・式（２）

式（２）中、αは、定数であり、固有値λ１の重要度を表す。また、式（２）中、βは、定数であり、固有値λ２の重要度を表す。

なお、輪郭における特徴を示す線画像部分を識別するための識別情報としては、上記曲率に加えて、被写体の奥行を示す奥行情報や、画像の色情報を用いてもよい。

上記識別情報として、上記曲率に加えて奥行情報を用いる場合には、撮像部１４を、被写体の奥行きを示す奥行情報を更に取得する構成とする。この場合には、撮像部１４を、奥行きを取得する公知の装置を備えた構成とする。この奥行を取得する公知の装置としては、アクティブセンサーやステレオカメラ等が挙げられる。そして、この場合、撮像部１４は、第１画像とともに奥行情報を抽出部２０に出力する。

この場合、抽出部２０では、肩部、腰部等の特徴毎に、各特徴に対応する曲率の範囲、及び奥行情報を示す情報を予め記憶する。そして、抽出部２０は、第１特徴及び第２特徴を複数領域に分割した各領域について曲率を算出すると共に奥行情報を読み取り、算出した曲率及び読み取った奥行情報に対応する特徴を示す情報が記憶されている場合に、該曲率及び奥行を示す領域を特徴（第１特徴、第２特徴）として抽出する。

上記識別情報として、上記曲率に加えて色情報を用いる場合には、抽出部２０では、肩部、腰部等の特徴毎に、各特徴に対応する、曲率の範囲及び隣接する画素間の色値の差の範囲を示す情報を予め記憶する。具体的には、抽出部２０は、肩部に相当する曲線の曲率の取りうる範囲、及び肩部に相当する色値の差の範囲を、肩部を示す情報に対応づけて記憶する。抽出部２０は、腰部やその他の部位についても同様にして、曲率の範囲及び色値の差の範囲を予め記憶する。そして、抽出部２０は、第１特徴及び第２特徴を複数領域に分割した各領域について曲率を算出するとともに、隣接する画素間の色値の差を算出する。そして、抽出部２０は、算出した曲率及び色値の差に対応する特徴を示す情報が記憶されている場合に、該曲率及び色値の差を示す領域を特徴（第１特徴、第２特徴）として抽出する。

第１特徴および第２特徴を抽出する処理としては、他の方法を用いてもよい。例えば、撮像部１４が、肩部等の特徴に第１印の付与された衣服、及び第２印の付与されたベルト状の衣服を着用した状態の被写体を撮像する。そして、抽出部２０は、撮像によって得られた第１画像情報における該第１印の第１位置を基準に、肩部を抽出し、該第２印の第２位置を基準に腰部を抽出することによって、第１特徴および第２特徴を抽出してもよい。

図４には、本実施の形態の画像処理装置１０における画像合成の一例を示した。例えば、図４（Ａ）に示すように、撮像部１４で撮像した第１画像が、第１画像３０であり、選択部１６が選択した第２画像情報が図４（Ｄ）に示す第２画像３６であったとする。この場合、抽出部２０は、例えば、第１画像３０の第１輪郭として、例えば、図４（Ｂ）に示す第１輪郭３２を抽出する。また、抽出部２０は、例えば、第２画像３６の第２輪郭として、図４（Ｅ）に示す第２輪郭３８を抽出する。

そして、抽出部２０は、第１輪郭３２における、特徴点である、例えば肩部３２Ａに相当する第１特徴３４を抽出する（図４（Ｃ）参照）。同様に、抽出部２０は、第２輪郭３８における、肩部３８Ａに相当する第２特徴４０を抽出する（図４（Ｆ）参照）。そして、後述する生成部２６が、透過度を変更された第２画像と第１画像とを合成した合成画像４２を生成する（図４（Ｇ）参照）。

図１に戻り、説明を続ける。抽出部２０は、第１画像の第１輪郭から抽出した第１特徴、及び第２画像の第２輪郭から抽出した第２特徴を、第２算出部２２へ出力する。

第２算出部２２は、抽出部２０から受け付けた第１特徴と第２特徴のずれ量（以下、第１ずれ量と称する）を算出する。

この第１特徴と第２特徴とのずれ量の算出には、公知の算出方法を用いる。例えば、この第１特徴と第２特徴とのずれ量の算出方法としては、Ｃｈａｍｆｅｒ Ｍａｔｃｈｉｎｇ法、レベルセット法、及び単純類似度法等を用いる。

より具体的には、例えば、第２算出部２２は、第１特徴を構成する各画素の画素位置と、第２特徴を構成する各画素の画素位置と、の差の合計値を、第１ずれ量として算出する。

なお、第２算出部２２は、この第１ずれ量の算出時には、まず、第１特徴と第２特徴の合わせ込みを行うことが好ましい。具体的には、第２算出部２２は、第１特徴及び第２特徴の何れか一方を拡大、縮小、または位置変更を行い、拡大、縮小、または位置変更を行う毎に変更した後の第１特徴と第２特徴のずれ量を算出する。そして、この変更処理及びずれ量算出処理を予め定められた回数繰り返し、算出したずれ量の内の最小値を、第１特徴と第２特徴の第１ずれ量として算出する。なお、この変更処理及びずれ量算出処理の繰り返し回数は、予め定めて第２算出部２２に予め記憶しておけばよい。

第２算出部２２は、算出した第１ずれ量を、決定部２４へ出力する。

決定部２４は、第１ずれ量が大きいほど高い透過度を、第２画像の透過度として決定する。例えば、決定部２４は、第１ずれ量に対する透過度として、第１ずれ量が大きいほど高い透過度を算出する計算式または第１ずれ量と透過度を定めたテーブルを予め記憶する。そして、決定部２４は、第２算出部２２から受け付けた第１ずれ量を該計算式に代入することによって透過度を算出、または該第１ずれ量に対応する透過度を読み取ることによって透過度を決定する。

なお、決定部２４は、第１ずれ量が大きいほど高い透過度を決定すればよく、第１ずれ量と透過度との関係が一次直線によって示される式やテーブルを用いて透過度を決定してもよいし、該関係が二次曲線によって示される式やテーブルを用いて透過度を決定してもよい。また、決定部２４は、第１ずれ量が大きいほど連続的に高い透過度を決定してもよく、また、第１ずれ量が大きいほど、段階的に高い透過度を決定してもよい。

決定部２４は、第２画像の透過度として決定した透過度を、生成部２６へ出力する。

生成部２６は、決定部２４から透過度を示す透過度情報を受け付ける。また、生成部２６は、選択部１６から第２画像情報を受け付ける。また、生成部２６は、撮像部１４から第１画像を受け付ける。

そして、生成部２６は、選択部１６から受け付けた第２画像情報の透過度を、決定部２４から受け付けた透過度に変更する。そして、生成部２６は、変更した透過度の第２画像情報の第２画像を、撮像部１４から受け付けた第１画像情報の第１画像に合成し、合成画像を生成する。

詳細には、生成部２６は、合成画像における、第２画像と第１画像との重なる領域の画素値を、下記式（３）を用いて算出することによって、合成画像を生成する。

Ｉｏ＝α・β・Ｉｈ＋（１−α）（１−β）・Ｉｃ ・・・式（３）

式（３）中、Ｉｏは、合成画像における第２画像と第１画像との重なる領域の画素値を示す。また、Ｉｈは、第１画像における該重なる領域の画素値を示す。Ｉｃは、第２画像における該重なる領域の画素値を示す。また、式（３）中、αは、決定部２４が決定した透過度を示す。また、式（３）中、βは、合成対象の第２画像の透過度（合成前の透過度）を示す。

なお、式（３）中、α及びβは、透過度の最大値を「１」とし、透過度の最小値を「０」としたときの透過度を示している。

そして、生成部２６は、生成した合成画像の合成画像情報を、提示部２８へ出力する。

提示部２８は、生成部２６から合成画像情報を受け付ける。提示部２８は、合成画像を提示する装置である。なお、提示とは、本実施の形態では、表示、印刷、及び送信等を示す。提示部２８としては、液晶表示装置等の表示装置や、画像を印刷する印刷装置や、有線通信や無線通信等により外部装置へ情報を送信する公知の通信装置が挙げられる。提示部２８が、表示装置である場合には、提示部２８は、受け付けた合成画像情報の合成画像を表示する。また、提示部２８が通信装置である場合には、提示部２８は、合成画像情報を外部装置へと送信する。また、提示部２８が印刷装置である場合には、提示部２８は、合成画像情報の合成画像を印刷する。

次に、本実施の形態の画像処理装置１０で実行する画像処理を説明する。

図５は、本実施の形態の画像処理装置１０で実行する画像処理の手順を示すフローチャートである。

まず、撮像部１４が被写体の撮像によって第１画像を取得する（ステップＳ１００）。次いで、第１算出部１８が、撮像部１４の撮像によって得られた第１画像の第１画像情報から、被写体の姿勢情報を算出する（ステップＳ１０２）。

次に、抽出部２０が、ステップＳ１００の撮像によって得られた第１画像情報の第１輪郭を抽出し、第１輪郭から第１特徴を抽出する（ステップＳ１０４、ステップＳ１０６）。

次に、選択部１６が、上記ステップＳ１０２で算出された姿勢情報に対応する１の第２画像情報を記憶部１２から選択する（ステップＳ１０８）。

次に、抽出部２０が、ステップＳ１０８で選択された第２画像情報の第２輪郭を抽出し、第２輪郭から第２特徴を抽出する（ステップＳ１１０、ステップＳ１１２）。

次に、第２算出部２２は、ステップＳ１０６で抽出された第１特徴、及びステップＳ１１２で抽出された第２特徴の合わせ込みを行い、合わせ込み（第１特徴及び第２特徴の拡大、縮小、位置変更）によって算出したずれ量の内の最小値を算出する（ステップＳ１１４、ステップＳ１１６）。

次に、第２算出部２２は、上記ステップＳ１１０で第２輪郭の抽出に用いた第２画像情報の衣服番号と同じ衣服番号に、異なる姿勢情報に対応する、ずれ量未算出の第２画像情報が記憶部１２に格納されているか否かを判断する（ステップＳ１１８）。同じ衣服番号に、異なる姿勢情報に対応する、ずれ量未算出の第２画像情報が格納されている場合には、第２算出部２２は、肯定判断（ステップＳ１１８：Ｙｅｓ）する。そして、第２算出部２２は、ステップＳ１１０で第２輪郭の抽出に用いた第２画像情報の衣服番号に対応する、該第２画像情報とは異なる姿勢情報に対応する１の第２画像情報を記憶部１２から選択した後に上記ステップＳ１１０へ戻る（ステップＳ１２０）。

一方、ステップＳ１１８で否定判断すると（ステップＳ１１８：Ｎｏ）第２算出部２２は、上記ステップＳ１１０〜ステップＳ１２０の処理で算出したずれ量の内の最小値を、第１ずれ量として算出する（ステップＳ１２２）。

次に、決定部２４が、ステップＳ１２２で算出された第１ずれ量に基づいて、第１ずれ量が大きいほど高い透過度を決定する（ステップＳ１２４）。

次に、生成部２６が、上記ステップＳ１２２の処理によって算出した第１ずれ量の算出時に用いた第２特徴に対応する第２画像情報の透過度を、ステップＳ１２４で決定した透過度に変更し、透過度を変更した第２画像情報と、第１画像情報と、を合成した合成画像を生成する（ステップＳ１２６）。

次に、提示部２８が、ステップＳ１２６で生成された合成画像を提示する（ステップＳ１２８）。

なお、上記ステップＳ１０８〜ステップＳ１１２の処理は、上記ステップＳ１００〜ステップ１０６の処理時に所定時間毎に割り込む割り込み処理として実行してもよい。

上記ステップＳ１００〜ステップＳ１２８に示す画像処理を行うことによって、画像処理装置１０は、例えば、図６に示す合成画像を生成し、提示部２８に提示する。

図６には、本実施の形態の画像処理装置１０における画像合成の一例を示した。例えば、図６（Ｃ）に示すように、撮像部１４で撮像した第１画像が、被写体を正面方向から撮影した第１画像５０であり、選択部１６が選択した第２画像情報が図６（Ｂ）に示すように第２画像を正面方向から撮影した第２画像４６であったとする。そして、第２算出部２２の算出した第１ずれ量が、透過度「０」（透過度の最小値）に対応する値であったとする。なお、撮像部１４による撮像によって得られた第１画像の透過度は、透過度「０」であったとする。この場合には、画像処理装置１０は、上記画像処理を実行することによって、例えば、透過度「０」の第１画像５０上に、透過度「０」の第２画像４６を重ねた合成画像５２を生成し、提示部２８に提示する（図６（Ｅ）参照）。

一方、図６（Ａ）に示すように、撮像部１４で撮像した第１画像が、被写体を側面方向から撮影した第１画像４４であり、選択部１６が選択した第２画像情報が図６（Ｂ）に示すように第２画像を正面方向から撮影した第２画像４６であったとする。この場合、第１特徴と第２特徴との第１ずれ量は、図６（Ｅ）に示す合成画像の生成時に用いた第１ずれ量より大きくなる。例えば、この場合、第２算出部２２の算出した第１ずれ量が、透過度「１」（透過度の最大値）に対応する値であったとする。なお、撮像部１４による撮像によって得られた第１画像の透過度は、透過度「０」であったとする。この場合には、画像処理装置１０は、上記画像処理を実行することによって、例えば、透過度「０」の第１画像４４上に、透過度「１」の第２画像４６Ａを重ねた合成画像４８を生成し、提示部２８に提示する（図６（Ｄ）参照）。このため、図６（Ｄ）に示すように、合成画像４８には、第２画像４６Ａが透明な状態で提示される。

そして、さらに、図示は省略するが、第１ずれ量が大きくなるほど、第１画像に合成する第２画像の透過度は高くなることから、第１ずれ量が大きくなるほど、合成画像５２から合成画像４８に向かって高い透過度の第２画像が第１画像に合成されることとなる。

以上説明したように、本実施の形態の画像処理装置１０では、第１画像の第１輪郭から抽出した第１特徴と、第２画像の第２輪郭から抽出した第２特徴と、のずれ量を示す第１ずれ量が大きいほど、高い透過度を決定し、第１画像と、決定した透過度に変更した第２画像と、を合成した合成画像を提示する。

従って、本実施の形態の画像処理装置１０では、着用した状態の衣服の姿勢と、被写体の姿勢とが異なると、この姿勢が異なるほど、すなわち第１ずれ量が大きいほど、第２画像の透過度を高くして第１画像に合成するので、自然な見え方の合成画像を提示することができる。

なお、本実施の形態では、第２算出部２２は、第１特徴と第２特徴との第１ずれ量を算出する場合を説明した。しかし、第２算出部２２は、第１特徴と第２特徴の各々を複数の線領域に分割し、線領域毎に第１ずれ量を算出してもよい。そして、決定部２４は、第２画像における上記各線領域を含む複数の各領域について、各領域に含まれる線領域の第１ずれ量が大きいほど高い透過度を、領域毎に決定する。そして、生成部２６は、第２画像の該各領域の透過度を、決定された透過度に変更した第２画像を、第１画像に合成した合成画像を生成してもよい。

図７には、本実施の形態の画像処理装置１０における画像合成の一例を示した。抽出部２０が、第１画像の第１輪郭として、例えば、図７（Ａ）に示す第１輪郭５３を抽出し、図７（Ｂ）に示す第１特徴５４を抽出したとする。また、抽出部２０が、第２画像の第２輪郭として、例えば、図７（Ｄ）に示す第２輪郭５６を抽出し、図７（Ｅ）に示す第２特徴５７を抽出したとする。

そして、第２算出部２２は、第１特徴５４を複数の線領域５５に分割し（図７（Ｃ）参照）、第２特徴５７を複数の線領域５８に分割する（図７（Ｆ）参照）。そして、決定部２４は、第２画像における上記各線領域を含む複数の各領域について、各領域に含まれる線領域の第１ずれ量が大きいほど高い透過度を、領域毎に決定する。

すると、例えば、第１特徴及び第２特徴を複数の線領域に分割した各線領域の第１ずれ量が透過度の最小値「０」に対応するずれ量である場合には、生成部２６は、透過度「０」の第２画像を透過度「０」の第１画像に合成した合成画像５９を生成する（図７Ｇ）参照）。一方、第１特徴及び第２特徴を複数の線領域に分割した各線領域の内、被写体の肘から先の部分に相当する線領域の第１ずれ量が透過度の最大値「１」に対応するずれ量であったとする。そして、その他の線領域については、透過度の最小値「０」に対応するずれ量であったとする。この場合には、生成部２６は、第２画像における肘から先の部分に相当する線領域を含む領域の透過度を透過度「１」に変更し、その他の領域の透過度を透過度「０」とした第２画像を、透過度「０」の第１画像に合成した合成画像６０を生成する（図７（Ｈ）参照）。このため、例えば、被写体の肘から先の部分の第２画像からの第１ずれ量が大きい場合には、その部分の透過度が第１ずれ量に応じて高い第２画像を第１画像に合成した合成画像となる。このため、さらに、自然な見え方の合成画像を提示することができる。

なお、本実施の形態では、上述のように、抽出部２０は、公知のエッジ抽出方法を用いたエッジ抽出法を用いて、第１画像の第１輪郭、及び第２画像の第２輪郭を抽出する。そして、抽出部２０は、第１輪郭の曲率に基づいて第１特徴を抽出し、第２輪郭の曲率に基づいて第２特徴を抽出するとして説明した。

このエッジ抽出時に用いるフィルタサイズや、曲率算出時に用いる近傍領域は、固定であってもよいが、下記割合に応じて調整することが好ましい。具体的には、抽出部２０では、撮像部１４の撮像によって得られた撮像画像における被写体を示す第１画像の占める割合が大きいほど、フィルタサイズ及び近傍領域の大きさの少なくとも一方を大きくすることが好ましい。

撮像画像における第１画像の占める割合が大きいほど、フィルタサイズ及び近傍領域の大きさの少なくとも一方を大きくすることによって、被写体の移動等によって撮像画像における第１画像の占める割合が変化した場合であっても、精度よく第１輪郭、第２輪郭、第１特徴、及び第２特徴の各々を抽出することができる。

（実施の形態２）
本実施の形態では、撮像時間の異なる複数の第１画像を取得し、被写体に動き有りと判断したときに、連続する第１画像間における第１特徴のずれ量に応じて、透過度を更に調整する。

図８は、本実施の形態の画像処理装置１０Ｂの機能的構成を示すブロック図である。画像処理装置１０Ｂは、記憶部１２（記憶手段）、撮像部１４Ｂ（撮像手段）、選択部１６（選択手段）、第１算出部１８（第１算出手段）、検出部１９Ｂ（検出手段）、抽出部２０（抽出手段）、第２算出部２２（第２算出手段）、決定部２４Ｂ（決定手段）、生成部２６Ｂ（生成手段）、及び提示部２８（提示手段）を備える。

なお、実施の形態１における画像処理装置１０と同じ機能の部分には同じ符号を付与して詳細な説明を省略する。画像処理装置１０Ｂでは、撮像部１４Ｂ、検出部１９Ｂ、決定部２４Ｂ、及び生成部２６Ｂを備えた点が、実施の形態１と異なる。

撮像部１４Ｂは、衣服を試着する対象の被写体を撮像し、撮像時間の異なる複数の第１画像を得る。なお、この複数の第１画像は、撮像部１４Ｂが時間に応じて撮像した複数の静止画像であってもよいし、撮像部１４Ｂによって撮像された動画像を構成する各フレームであってもよい。

撮像部１４Ｂは、得られた複数の第１画像を、撮像によって第１画像を取得する毎に、順次、第１算出部１８、抽出部２０、検出部１９Ｂ、及び生成部２６Ｂへ出力する。

検出部１９Ｂは、撮像部１４Ｂから順次受け付ける第１画像から、前回の撮像時から被写体に動きがあったことを検出する。この被写体に動きがあったことの検出は、以下の方法により行う。具体的には、検出部１９Ｂは、時系列的に連続する第１画像の各々について、実施の形態１における抽出部２０と同様にして、第１画像の第１輪郭から第１特徴を算出する。そして、検出部１９Ｂは、さらに、時系列的に連続する第１画像の第１特徴間のずれを示す第２ずれ量を算出する。そして、この第２ずれ量が、被写体に動きがあったことを示す予め定めた値以上であるときに、検出部１９Ｂは、被写体に動きがあったと検出する。

そして、検出部１９Ｂは、被写体に動きがあったと検出すると、算出した第２ずれ量を決定部２４Ｂへ送信する。また、検出部１９Ｂは、被写体に動きがあったことを示す信号と、動きがあったことを検出された最新の第１画像（第２ずれ量の算出に用いた最新の第１画像）を生成部２６Ｂへ出力する。

決定部２４Ｂでは、実施の形態１の決定部２４と同様の処理を行うと共に、さらに、第２ずれ量が大きいほど高い透過度を決定する。具体的には、決定部２４Ｂでは、第２ずれ量が大きいほど高い透過度を算出する計算式または第２ずれ量と透過度を定めたテーブルを予め記憶する。そして、決定部２４Ｂは、第２ずれ量を該計算式に代入することによって透過度を算出、または該第２ずれ量に対応する透過度を読み取ることによって透過度を決定する。そして、決定した透過度を、生成部２６Ｂへ出力する。

生成部２６Ｂは、実施の形態１の生成部２６と同様の処理を行う。また、生成部２６Ｂは、検出部１９Ｂから第２ずれ量を受け付けた場合には、選択部１６から受け付けた第２画像情報の透過度を、決定部２４Ｂから受け付けた透過度に変更する。そして、生成部２６Ｂは、変更した透過度の第２画像情報の第２画像を、動きがあったことを検出された最新の第１画像（第２ずれ量の算出に用いた最新の第１画像）に合成し、合成画像を生成する。そして、生成した合成画像を、提示部２８へ出力する。

次に、本実施の形態の画像処理装置１０Ｂで実行する画像処理を説明する。

画像処理装置１０Ｂでは、実施の形態１における画像処理と同様の処理を行う（図５参照）。そしてさらに、図９に示す割り込み処理を所定時間毎に実行する。図９は、画像処理装置１０Ｂで実行する割り込み処理の手順を示すフローチャートである。

検出部１９Ｂが、被写体に動きが有ったか否かを判断する（ステップＳ２００）。被写体に動きがあったことを検出しなかった場合には（ステップＳ２００：Ｎｏ）、本ルーチンを終了する。一方、検出部１９Ｂが、被写体に動きがあったことを検出すると（ステップＳ２００：Ｙｅｓ）、検出部１９Ｂは、動き有りと検出した、時系列的に連続する第１画像の第１特徴間のずれを示す第２ずれ量を決定部２４Ｂへ出力する（ステップＳ２０４）。

次に、決定部２４Ｂが、第２ずれ量が大きいほど高い透過度を決定する（ステップＳ２０６）。そして、生成部２６Ｂが、検出部１９Ｂから第２ずれ量を受け付けると、選択部１６から受け付けた第２画像情報の透過度を、決定部２４Ｂから受け付けた透過度に変更する。そして、生成部２６Ｂは、変更した透過度の第２画像情報の第２画像を、動きがあったことを検出された最新の第１画像（第２ずれ量の算出に用いた最新の第１画像）に合成し、合成画像を生成する（ステップＳ２０８）。

提示部２８は、ステップＳ２０８で生成された合成画像を提示する（ステップＳ２１０）。

図１０には、本実施の形態の画像処理装置１０Ｂにおける合成画像の一例を示した。

例えば、図１０（Ａ）に示すように、撮像部１４Ｂで最初に撮像した第１画像が、被写体を正面方向から撮影した第１画像６２Ａであり、選択部１６が選択した第２画像情報が図１０（Ａ）に示すように第２画像を正面方向から撮影した第２画像６２Ｂであったとする。そして、第２算出部２２の算出した第１ずれ量が、透過度「０」（透過度の最小値）に対応する値であったとする。なお、撮像部１４Ｂによる撮像によって得られた第１画像の透過度は、透過度「０」であったとする。この場合には、画像処理装置１０Ｂは、上記画像処理を実行することによって、例えば、透過度「０」の第１画像上に、透過度「０」の第２画像を重ねた合成画像６２を生成し、提示部２８に提示する（図１０（Ａ）参照）。

そして、検出部１９Ｂによって被写体に動きがあったことが検出されると、時系列的に連続する第１画像６２Ａ（図１０（Ａ）参照）と第１画像６２Ｄ（図１０（Ｂ）参照）とから算出した第２ずれ量が大きいほど、高い透過度を決定する。例えば、被写体が正面を向いた状態（第１画像６２Ａ）から側面を向いた状態（第１画像６２Ｄ）に瞬時に動いたとする。そして、この第２ずれ量が、透過度「１」（透過度の最大値）に対応する値であったとする。この場合には、画像処理装置１０Ｂは、上記図９に示す割り込み処理を実行することによって、透過度「０」の第１画像６２Ｄ上に、透過度「１」の第２画像６２Ｃを重ねた合成画像６８を生成し、提示部２８に提示する（図１０（Ｂ）参照）。このため、図１０（Ｂ）に示すように、合成画像６８には、第２画像６２Ｃは提示されず、第１画像６２Ｄが提示された状態となる。

以上説明したように、本実施の形態の画像処理装置１０Ｂでは、撮像時間の異なる複数の第１画像を取得し、被写体に動き有りと判断したときに、連続する第１画像間における第１特徴の第２ずれ量に応じて、第２画像情報の透過度を更に調整する。

従って、実施の形態１における効果に加えてさらに、自然な見え方の合成画像を提示することができる。

（実施の形態３）
本実施の形態では、第２画像情報を作成すると共に第２特徴を作成する作成部を更に備えた場合を説明する。

図１１は、本実施の形態の画像処理装置１０Ｃの機能的構成を示すブロック図である。画像処理装置１０Ｃは、記憶部１２（記憶手段）、撮像部１４（撮像手段）、選択部１６（選択手段）、第１算出部１８（第１算出手段）、抽出部２０Ｃ（抽出手段）、第２算出部２２（第２算出手段）、決定部２４（決定手段）、生成部２６（生成手段）、及び提示部２８（提示手段）を備える。そして、更に、画像処理装置１０Ｃは、撮像部１１、及び作成部１３を備える。

なお、実施の形態１における画像処理装置１０と同じ機能の部分には同じ符号を付与して詳細な説明を省略する。画像処理装置１０Ｃでは、実施の形態１の画像処理装置１０（図１参照）の構成に加えて更に、撮像部１１及び作成部１３を備えた点が、実施の形態１と異なる。また、画像処理装置１０Ｃでは、抽出部２０に代えて抽出部２０Ｃを備えた点が、画像処理装置１０とは異なる。

撮像部１１は、衣服を撮像し、第２画像を含む画像情報を取得する。撮像部１１は、取得した画像情報を作成部１３へ出力する。

撮像部１１としては、公知のデジタルカメラ、デジタルビデオカメラ等が挙げられる。なお、本実施の形態では、衣服を撮像する撮像部１１と、被写体を撮像する撮像部１４と、を別体として設けた構成である場合を説明するが、これらの撮像部を一体的に設けた構成としてもよい。すなわち、撮像部１４で衣服を更に撮像し、第２画像を含む画像情報を作成部１３へ出力してもよい。

作成部１３は、撮像部１１から受け付けた画像情報の画像に含まれる第２画像を抽出し、第２画像の第２画像情報を生成する。また、作成部１３は、第２画像の第２輪郭を抽出し、第２輪郭から第２特徴を抽出する。この第２輪郭の抽出及び第２特徴の抽出は、実施の形態１で説明した抽出部２０と同様にして行なう。また、作成部１３は、第１算出部１８と同様にして、第２画像情報から姿勢情報を算出する。

作成部１３は、第２画像情報と、第２特徴を含む衣服情報と、姿勢情報と、を、衣服番号に対応づけて記憶部１２のテーブルに格納する（図２も参照）。

このため、記憶部１２は、衣服番号と、姿勢情報と、第２画像情報と、衣服情報と、を対応づけて格納したテーブルを記憶する。そして、この衣服情報として、実施の形態１で説明した衣服名、色、サイズ、素材、値段等の情報に加えて、更に、第２特徴を格納する。

ここで、衣服が、被写体に着用されたときに被写体の肩部の全体を覆わない形状であったとする。すなわち、衣服が、被写体の肩部の一部を覆う形状であったとする。この場合には、撮像部１１は、衣服の試着対象の被写体、または被写体を模した形状のマネキン等の人形に試着された状態の衣服を撮像することが好ましい。この場合、作成部１３では、撮像部１１から受け付けた画像情報の画像に含まれる第２画像及び該被写体または人形を示す画像（第１画像と称する）を抽出し、該第２画像及び該第１画像から、第２輪郭を抽出し、第２輪郭から第２特徴を抽出する。

抽出部２０Ｃは、実施の形態１で説明した抽出部２０の処理と同様の処理を行う。なお、抽出部２０Ｃでは、選択部１６で選択された第２画像情報に対応する第２特徴を記憶部１２から読み取ることによって、第２画像情報の第２特徴の抽出を行う点が、抽出部２０と異なる。

次に、本実施の形態の画像処理装置１０Ｃで実行する、衣服情報生成処理を説明する。

画像処理装置１０Ｃでは、実施の形態１における画像処理と同様の処理を行う（図５参照）。そして、この画像処理を実行する前、または該画像処理中の割り込み処理として、図１２に示す衣服情報生成処理を実行する。

図１２は、画像処理装置１０Ｃで実行する衣服情報生成処理の手順を示すフローチャートである。

撮像部１１が、衣服を撮像し、第２画像を含む画像情報を取得する（ステップＳ３００、ステップＳ３０２）。次に、作成部１３が、衣服情報を生成すると共に、姿勢情報を生成する（ステップＳ３０４）。次いで、作成部１３は、第２画像情報と、第２特徴を含む衣服情報と、姿勢情報と、を、衣服番号に対応づけて記憶部１２のテーブルに格納する（ステップＳ３０６）。

以上説明したように、本実施の形態の画像処理装置１０Ｃでは、第２画像情報を作成すると共に第２特徴を作成する作成部１３を備える。このため、効率良く画像処理を行うことができる。

従って、実施の形態１における効果に加えてさらに、自然な見え方の合成画像を提示することができる。

また、本実施の形態の画像処理装置１０Ｃの作成部１３では、上述のように、被写体、または被写体を模した形状の人形に試着された状態の衣服の撮像によって得られた画像から、第２画像及び該被写体または人形を示す第１画像を抽出する。そして、作成部１３では、該第２画像及び該第１画像から第２輪郭を抽出し、第２輪郭から第２特徴を抽出する。

このため、試着対象の第２画像が、図１３（Ａ）に示すように、肩部の全体を覆わない形状の第２画像７０である場合であっても、図１３（Ｂ）に示すように、第２画像７０及び被写体を示す第１画像７３から、肩部７２を含む第１特徴を抽出することができる。このため、第１のずれ量の算出時に誤差が生じることを抑制することができる。

なお、画像処理装置１０Ｃでは、作成部１３が第２特徴も生成する場合を説明したが、作成部１３では第２画像情報及び特徴情報を作成し、記憶部１２に記憶してもよい。そして、さらに、作成部１３は、第１画像の第１画像情報を記憶部１２に記憶してもよい。この場合には、抽出部２０Ｃでは、選択部１６で選択された第２画像情報及び第１画像情報から、抽出部２０と同様にして第２特徴を抽出する。

（実施の形態４）
本実施の形態では、被写体を映す対象の鏡のアスペクト比に応じて第２画像及び第１画像の少なくとも一方のアスペクト比を調整する。

図１４は、本実施の形態の画像処理装置１０Ｄの機能的構成を示すブロック図である。画像処理装置１０Ｄは、記憶部１２（記憶手段）、撮像部１４（撮像手段）、選択部１６（選択手段）、第１算出部１８（第１算出手段）、調整部２１Ｄ（調整手段）、抽出部２０（抽出手段）、第２算出部２２（第２算出手段）、決定部２４（決定手段）、生成部２６Ｄ（生成手段）、及び提示部２８（提示手段）を備える。

なお、実施の形態１における画像処理装置１０と同じ機能の部分には同じ符号を付与して詳細な説明を省略する。画像処理装置１０Ｄでは、調整部２１Ｄを更に備え、生成部２６に代えて生成部２６Ｄを備えた点が、実施の形態１と異なる。

調整部２１Ｄは、被写体を映す対象の鏡のアスペクト比を予め格納する。また、調整部２１Ｄは、撮像部１４から受け付けた第１画像のアスペクト比、及び選択部１６から受け付けた第２画像のアスペクト比の少なくとも一方を、鏡のアスペクト比に調整する。

なお、鏡のアスペクト比とは、鏡の縦方向（垂直方向）の最大長と、鏡の横方向（水平方向）の最大長と、の比を示す。また、第１画像のアスペクト比とは、第１画像における被写体の縦方向（重力方向）の最大長と、第１画像における被写体の横方向（水平方向）の最大長と、の比を示す。また、第２画像のアスペクト比とは、第２画像における衣服の縦方向の最大長と、第２画像における衣服の横方向の最大長と、の比を示す。なお、第２画像における衣服の縦方向とは、被写体に試着された状態の衣服の垂直方向（重力方向）と一致する。また、第２画像における衣服の横方向とは、被写体に試着された状態の衣服の水平方向と一致する。

なお、画像処理装置１０Ｄは、図示を省略する操作部を設けた構成としてもよい。なお、操作部としては、各種情報を入力する公知の入力装置が挙げられ、例えば、キーボードやタッチパネル等が挙げられる。そして、ユーザによる操作部の操作指示によって、該操作部から調整部２１Ｄに、第１画像及び第２画像のアスペクト比の調整の有無、及びアスペクト比を示す情報が出力されるようにしてもよい。

そして、調整部２１Ｄでは、ユーザによる該操作部の操作によってアスペクト比の調整が指示されたときに、操作部から受け付けたアスペクト比となるようにアスペクト比の調整を行ってもよい。

調整部２１Ｄは、アスペクト比を調整した第１画像及び第２画像を抽出部２０へ出力する。

生成部２６Ｄは、調整部２１Ｄでアスペクト比を調整された第１画像と、調整部２１Ｄでアスペクト比を調整され、決定部２４で決定した透過度に変更した第２画像と、を合成した合成画像を生成し、提示部２８へ出力する。なお、生成部２６Ｄによる合成画像の生成は、実施の形態１で説明した生成部２６と同様にして行う。

次に、本実施の形態の画像処理装置１０Ｄで実行する画像処理を説明する。

図１５は、本実施の形態の画像処理装置１０Ｄで実行する画像処理の手順を示すフローチャートである。なお、図１５では、調整部２１Ｄには、予め鏡のアスペクト比を示す情報、及び第１画像と第２画像の双方のアスペクト比の調整の実行を示す情報が記憶されているものとして説明する。なお、これらの情報は、上述したように、図示を省略する操作部のユーザによる操作指示によって変更可能である。

まず、撮像部１４が被写体の撮像によって第１画像を取得する（ステップＳ４００）。次いで、第１算出部１８が、撮像部１４の撮像によって得られた第１画像の第１画像情報から、被写体の姿勢情報を算出する（ステップＳ４０２）。

次に、調整部２１Ｄが、ステップＳ４００で取得した第１画像のアスペクト比を、被写体を映す対象の鏡のアスペクト比に調整する（ステップＳ４０３）。

次に、抽出部２０が、調整部２１ＤによるステップＳ４０３の処理によってアスペクト比を調整された第１画像情報の第１輪郭を抽出し、第１輪郭から第１特徴を抽出する（ステップＳ４０４、ステップＳ４０６）。

次に、選択部１６が、上記ステップＳ４０２で算出された姿勢情報に対応する１の第２画像情報を記憶部１２から選択する（ステップＳ４０８）。

次に、調整部２１Ｄが、ステップＳ４０８で選択された第２画像情報のアスペクト比を、被写体を映す対象の鏡のアスペクト比に調整する（ステップＳ４０９）。

次に、抽出部２０が、アスペクト比を調整された第２画像情報の第２輪郭を抽出し、第２輪郭から第２特徴を抽出する（ステップＳ４１０、ステップＳ４１２）。

次に、第２算出部２２は、ステップＳ４０６で抽出された第１特徴、及びステップＳ４１２で抽出された第２特徴の合わせ込みを行い、合わせ込み（第１特徴及び第２特徴の拡大、縮小、位置変更）によって算出したずれ量の内の最小値を算出する（ステップＳ４１４、ステップＳ４１６）。

次に、第２算出部２２は、上記ステップＳ４１０で第２輪郭の抽出に用いた第２画像情報の衣服番号と同じ衣服番号に、異なる姿勢情報に対応する、ずれ量未算出の第２画像情報が記憶部１２に格納されているか否かを判断する（ステップＳ４１８）。同じ衣服番号に、異なる姿勢情報に対応する、ずれ量未算出の第２画像情報が格納されている場合には、第２算出部２２は、肯定判断する（ステップＳ４１８：Ｙｅｓ）。そして、第２算出部２２は、ステップＳ４１０で第２輪郭の抽出に用いた第２画像情報の衣服番号に対応する、該第２画像情報とは異なる姿勢情報に対応する１の第２画像情報を記憶部１２から選択する（ステップＳ４２０）。

次に、調整部２１Ｄが、ステップＳ４２０で選択された第２画像情報のアスペクト比を、被写体を映す対象の鏡のアスペクト比に調整する（ステップＳ４２１）。そして、上記ステップＳ４１０へ戻る。

一方、ステップＳ４１８で否定判断すると（ステップＳ４１８：Ｎｏ）、第２算出部２２は、上記ステップＳ４１０〜ステップＳ４２１の処理で算出したずれ量の内の最小値を、第１ずれ量として算出する（ステップＳ４２２）。

次に、決定部２４が、ステップＳ４２２で算出された第１ずれ量に基づいて、第１ずれ量が大きいほど高い透過度を決定する（ステップＳ４２４）。

次に、生成部２６Ｄが、上記ステップＳ４２２の処理によって算出した第１ずれ量の算出時に用いた第２特徴に対応する、アスペクト比調整後の第２画像情報の透過度を、ステップＳ４２４で決定した透過度に変更する。そして、アスペクト比及び透過度を変更した第２画像情報と、アスペクト比を調整した第１画像情報と、を合成した合成画像を生成する（ステップＳ４２６）。

次に、提示部２８が、ステップＳ４２６で生成された合成画像を提示する（ステップＳ４２８）。

なお、上記ステップＳ４０８〜ステップＳ４１２の処理は、上記ステップＳ４００〜ステップ４０６の処理時に所定時間毎に割り込む割り込み処理として実行してもよい。

上記ステップＳ４００〜ステップＳ４２８に示す画像処理を行うことによって、画像処理装置１０Ｄは、例えば、図１６に示す合成画像を生成し、提示部２８に提示する。

図１６には、本実施の形態の画像処理装置１０Ｄにおける画像合成の一例を示した。アスペクト比の調整を行わない場合には、例えば、図１６（Ａ）に示すように、被写体７４のアスペクト比（Ｙ２：Ｘ２）と、被写体７４を映す鏡上に積層された提示部２８としての表示部（鏡）のアスペクト比（Ｙ１：Ｘ１）と、が異なる状態の合成画像７８が提示される。

一方、アスペクト比の調整を行う場合には、例えば、図１６（Ｂ）に示すように、被写体７４のアスペクト比（Ｙ２：Ｘ２）と、被写体７４を映す鏡上に積層された提示部２８としての表示部（鏡）のアスペクト比（Ｙ１：Ｘ１）と、が同じ合成画像８０が提示される。

従って、本実施の形態の画像処理装置１０Ｄでは、実施の形態１における効果に加えて、更に自然な見え方の合成画像を提示することができる。

次に、本実施の形態１〜実施の形態４の画像処理装置１０、画像処理装置１０Ｂ、画像処理装置１０Ｃ、及び画像処理装置１０Ｄのハードウェア構成について説明する。図１７は、本実施の形態の画像処理装置１０のハードウェア構成例を示すブロック図である。

実施の形態１〜実施の形態４の画像処理装置１０、画像処理装置１０Ｂ、画像処理装置１０Ｃ、及び画像処理装置１０Ｄは、提示部８０、通信Ｉ／Ｆ部８２、撮像部８４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、及びＨＤＤ９２等がバス９４により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８６は、画像処理装置１０、画像処理装置１０Ｂ、画像処理装置１０Ｃ、及び画像処理装置１０Ｄの全体の処理を制御する演算装置である。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２は、上述した各記憶部に格納されるデータを記憶する。通信Ｉ／Ｆ部８２は、外部装置や外部端末に通信回線等を介して接続し、接続した外部装置や外部端末との間でデータを送受信するためのインタフェースである。提示部８０は、上述した提示部２８に相当する。撮像部８４は、上述した撮像部１４、撮像部１１、及び撮像部１４Ｂに相当する。

本実施の形態１〜実施の形態４の画像処理装置１０、画像処理装置１０Ｂ、画像処理装置１０Ｃ、及び画像処理装置１０Ｄで実行される上記各種処理を実行するためのプログラムは、ＲＯＭ８８等に予め組み込んで提供される。

なお、本実施の形態１〜実施の形態４の画像処理装置１０、画像処理装置１０Ｂ、画像処理装置１０Ｃ、及び画像処理装置１０Ｄで実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、本実施の形態１〜実施の形態４の画像処理装置１０、画像処理装置１０Ｂ、画像処理装置１０Ｃ、及び画像処理装置１０Ｄで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態１〜実施の形態４の画像処理装置１０、画像処理装置１０Ｂ、画像処理装置１０Ｃ、及び画像処理装置１０Ｄにおける上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態１〜実施の形態４の画像処理装置１０、画像処理装置１０Ｂ、画像処理装置１０Ｃ、及び画像処理装置１０Ｄで実行される上記各種処理を実行するためのプログラムは、上述した各部（選択部１６、第１算出部１８、抽出部２０（抽出部２０Ｃ）、第２算出部２２、決定部２４（決定部２４Ｂ）、生成部２６（生成部２６Ｂ、生成部２６Ｄ）、検出部１９Ｂ、調整部２１Ｄ）を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭ８８等の記憶媒体から各プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、選択部１６、第１算出部１８、抽出部２０（抽出部２０Ｃ）、第２算出部２２、決定部２４（決定部２４Ｂ）、生成部２６（生成部２６Ｂ、生成部２６Ｄ）、検出部１９Ｂ、調整部２１Ｄが主記憶装置上に生成されるようになっている。

なお、上記ＨＤＤ９２に格納されている各種情報、すなわち記憶部１２に格納されている各種情報は、外部装置（例えばサーバ）に格納してもよい。この場合には、該外部装置とＣＰＵ８６と、を、ネットワーク等を介して接続した構成とすればよい。

なお、上記には、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０、１０Ｂ、１０Ｃ、１０Ｄ 画像処理装置
１１、１４、１４Ｂ 撮像部
１６ 選択部
１８ 第１算出部
２０、２０Ｃ 抽出部
２２ 第２算出部
２４、２４Ｂ 決定部
２６、２６Ｂ、２６Ｄ 生成部
１９Ｂ 検出部
２１Ｄ 調整部

Claims (17)

1. 被写体を含む第１画像から前記被写体の姿勢情報を算出する第１算出手段と、
   衣服を含む複数の第２画像から、前記姿勢情報に対応する第２画像を選択する選択手段と、
   前記第１画像の第１奥行情報から前記被写体の第１特徴を抽出し、前記第２画像の第２奥行情報から第２特徴を抽出する抽出手段と、
   前記第１特徴と前記第２特徴との第１ずれ量を算出する第２算出手段と、
   前記第１ずれ量が大きいほど高い透過度を決定する決定手段と、
   前記第１画像と、前記透過度に変更した前記第２画像と、を合成した合成画像を生成する生成手段と、
   を備えた画像処理装置。
2. 前記被写体に動きがあったことを検出する検出手段を更に備え、
   前記第２算出手段は、前記動きを検出した場合に、時系列に連続する前記第１画像の前記第１特徴間の第２ずれ量を更に算出し、
   前記決定手段は、前記第２ずれ量が大きいほど高い透過度を決定する、請求項１に記載の画像処理装置。
3. 前記抽出手段は、前記第１特徴及び前記第２特徴として、前記被写体の肩部及び腰部の少なくとも一方を抽出する、請求項１に記載の画像処理装置。
4. 前記第２算出手段は、前記第１特徴と前記第２特徴の各々を複数領域に分割した線領域毎に前記第１ずれ量を算出し、
   前記決定手段は、前記第２画像における前記線領域を含む領域毎に、各線領域に対応する該第１ずれ量が大きいほど高い透過度を決定する、
   請求項１に記載の画像処理装置。
5. 前記生成手段は、決定した前記透過度に応じて、前記第２画像における肘部から先の部分に相当する前記線領域を含む領域の透過度を変更した該第２画像と、前記第１画像と、を合成した前記合成画像を生成する、請求項４に記載の画像処理装置。
6. 前記第２画像を記憶する記憶手段を更に備えた、請求項１に記載の画像処理装置。
7. 前記記憶手段は、前記第２画像と前記第２特徴とを対応づけて予め記憶し、
   前記抽出手段は、前記第２画像に対応する前記第２特徴を読み取ることによって前記第２特徴を抽出する、
   請求項６に記載の画像処理装置。
8. 前記第２画像及び前記第２特徴の少なくとも一方を作成する作成手段を更に備えた請求項７に記載の画像処理装置。
9. 被写体を撮像し、前記第１画像を取得する撮像手段を更に備えた、請求項１に記載の画像処理装置。
10. 前記撮像手段は、衣服を撮像し前記第２画像を取得する、請求項９に記載の画像処理装置。
11. 前記第２画像は、衣服を前記被写体が着用した状態で撮像された画像である、請求項１に記載の画像処理装置。
12. 前記第２画像は、衣服を、前記被写体を模した形状の物体に着用させた状態で撮像された画像である、請求項１に記載の画像処理装置。
13. 前記第２画像及び前記第１画像の少なくとも一方のアスペクト比を、前記被写体を映す対象の鏡のアスペクト比に調整する調整手段を更に備えた、請求項１に記載の画像処理装置。
14. 前記合成画像を提示する提示手段を更に備えた、請求項１に記載の画像処理装置。
15. 前記抽出手段は、エッジ抽出によって前記第１画像の前記第１奥行情報及び前記第２画像の前記第２奥行情報を抽出し、前記第１奥行情報及び前記第２奥行情報の各々の曲率に応じて前記第１特徴及び前記第２特徴を抽出し、撮像画像における前記第１画像の占める割合が大きいほど、前記エッジ抽出に用いるフィルタの大きさ及び前記曲率の算出に用いる近傍領域の大きさの少なくとも一方を大きくする、請求項１に記載の画像処理装置。
16. 被写体を含む第１画像から前記被写体の姿勢情報を算出し、
    衣服を含む複数の第２画像から、前記姿勢情報に対応する第２画像を選択し、
    前記第１画像の第１奥行情報から前記被写体の第１特徴を抽出し、前記第２画像の第２奥行情報から第２特徴を抽出し、
    前記第１特徴と前記第２特徴との第１ずれ量を算出し、
    前記第１ずれ量が大きいほど高い透過度を決定し、
    前記第１画像と、前記透過度に変更した前記第２画像と、を合成した合成画像を生成する、
    ことを含む画像処理方法。
17. コンピュータを、
    被写体を含む第１画像から前記被写体の姿勢情報を算出する第１算出手段と、
    衣服を含む複数の第２画像から、前記姿勢情報に対応する第２画像を選択する選択手段と、
    前記第１画像の第１奥行情報から前記被写体の第１特徴を抽出し、前記第２画像の第２奥行情報から第２特徴を抽出する抽出手段と、
    前記第１特徴と前記第２特徴との第１ずれ量を算出する第２算出手段と、
    前記第１ずれ量が大きいほど高い透過度を決定する決定手段と、
    前記第１画像と、前記透過度に変更した前記第２画像と、を合成した合成画像を生成する生成手段と、
    して機能させる、画像処理プログラム。

Images