JP2015183302A - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】合成処理の簡略化を実現可能な衣服画像を提供する。
【解決手段】画像処理装置１２は、第１取得部２２と、第１生成部３０と、記憶制御部３６と、を備える。第１取得部２２は、合成対象となる衣服の第１衣服画像を取得する。第１生成部３０は、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成する。記憶制御部３６は、第２衣服画像を記憶部１８に記憶する。
【選択図】図１

Description

本発明の実施の形態は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

試着対象の衣服を着用した状態を示す仮想画像を表示する技術が開示されている。例えば、被写体が衣服を試着した状態を示す合成画像を表示する技術が開示されている。

特開２００６−２４９６１８号公報

しかしながら、従来では、撮影によって取得した衣服画像をそのまま記憶部に予め記憶し、被写体画像への合成に用いていた。このため、被写体画像への合成時には、自然な見え方の試着状態を示すように、衣服画像に各種編集処理を施す必要があった。このため、従来では、衣服画像と被写体画像との合成画像を容易に生成することは困難であった。

本発明が解決しようとする課題は、合成処理の簡略化を実現可能な衣服画像を提供することができる、画像処理装置、画像処理システム、画像処理方法、及びプログラムを提供することである。

実施の形態の画像処理装置は、第１取得部と、第１生成部と、記憶制御部と、を備える。第１取得部は、合成対象となる衣服の第１衣服画像を取得する。第１生成部は、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成する。記憶制御部は、第２衣服画像を記憶部に記憶する。

画像処理システムの機能的構成を示すブロック図。 衣服ＤＢのデータ構造の一例を示す図。 基準位置情報の一例を示す図。 第１衣服画像の一例を示す図。 第２衣服画像の説明図。 回転角度の説明図。 拡大縮小率の算出の説明図。 変形率算出の説明図。 第２衣服画像の一例を示す図。 画像処理の手順を示すフローチャート。 画像処理システムの機能的構成を示すブロック図。 画像処理システムの模式図。 ハードウェア構成例を示すブロック図。

以下に添付図面を参照して、画像処理装置、画像処理システム、画像処理方法、及びプログラムの一の実施の形態を詳細に説明する。

（実施の形態１）
図１は、本実施の形態の画像処理システム１０の機能的構成を示すブロック図である。画像処理システム１０は、画像処理装置１２と、撮影部１４と、入力部１６と、記憶部１８と、表示部２０と、を備える。撮影部１４、入力部１６、記憶部１８、及び表示部２０は、画像処理装置１２に信号授受可能に接続されている。

本実施の形態では、画像処理システム１０は、画像処理装置１２と、撮影部１４と、入力部１６と、記憶部１８と、表示部２０と、が別体として設けられた構成である。しかし、画像処理システム１０は、画像処理装置１２と、撮影部１４、入力部１６、記憶部１８、及び表示部２０の内の少なくとも１つと、が一体的に構成された形態であってもよい。

撮影部１４は、第１被写体を撮影し、第１被写体の第１被写体画像を得る。撮影部１４は、撮影によって取得した第１被写体画像を、画像処理装置１２へ出力する。

第１被写体は、衣服を着用する対象である。第１被写体は、衣服を着用する対象であればよく、生物であってもよいし、非生物であってもよい。該生物には、例えば、人物が挙げられるが、人物に限られず、犬や猫などの動物であってもよい。また、該非生物には、人体や動物の形状を模したマネキンや、各種物体が挙げられるが、これに限られない。

衣服とは、被写体が着用可能な品物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子などが挙げられる。なお、衣服は、上着、スカート、ズボン、靴、帽子などに限定されない。なお、被写体は、第１被写体、及び後述する第２被写体を含む、撮影対象の総称である。

本実施の形態では、撮影部１４は、第１撮影部１４Ａ及び第２撮影部１４Ｂを含む。

第１撮影部１４Ａは、撮影により第１被写体の色画像を取得する。

色画像は、ビットマップ画像である。第１被写体の色画像は、画素毎に、第１被写体の色や輝度等を示す画素値の規定された画像である。第１撮影部１４Ａは、色画像を取得可能な公知の撮影装置である。

第２撮影部１４Ｂは、第１被写体のデプスマップを取得する。

デプスマップは、距離画像と称される場合がある。第１被写体のデプスマップは、画素毎に、第１被写体を撮影した第２撮影部１４Ｂからの距離を規定した画像である。本実施の形態では、第１被写体のデプスマップは、第１被写体の色画像から、ステレオマッチング等の公知の方法により作成してもよいし、第１被写体の色画像と同じ撮影条件で、第２撮影部１４Ｂを用いて撮影することで取得してもよい。第２撮影部１４Ｂは、デプスマップを取得可能な公知の撮影装置である。

本実施の形態では、第１撮影部１４Ａ及び第２撮影部１４Ｂは、同じタイミングで被写体の撮影を行う。第１撮影部１４Ａ及び第２撮影部１４Ｂは、図示を省略する制御部等によって、同じタイミングで同期して撮影を行うように制御される。そして、撮影部１４は、第１被写体のデプスマップ、及び第１被写体の色画像を含む、第１被写体画像を、順次画像処理装置１２へ出力する。

なお、本実施の形態では、第１撮影部１４Ａ及び第２撮影部１４Ｂのカメラ座標系が、同じであるものとして説明する。なお、第１撮影部１４Ａ及び第２撮影部１４Ｂのカメラ座標系が異なる場合、画像処理装置１２は、一方のカメラ座標系を他方のカメラ座標系に変換して各処理に用いればよい。

なお、本実施の形態では、第１被写体画像は、第１被写体の色画像と、第１被写体のデプスマップと、を含む場合を説明するが、この形態に限定されない。例えば、第１被写体画像は、後述する骨格情報を含んでいてもよい。

表示部２０は、各種画像を表示する装置である。表示部２０は、例えば、液晶表示装置等の表示装置である。なお、画像処理システム１０は、表示部２０を備えない構成であってもよい。

入力部１６は、ユーザからの入力を受け付ける。ユーザは、操作者の総称である。

入力部１６は、ユーザが各種の操作入力を行うための手段である。入力部１６は、例えば、マウス、ボタン、リモコン、キーボード、マイク等の音声認識装置、及び画像認識装等の１または複数を組み合せたものなどを用いる。入力部１６として、画像認識装置を採用する場合には、入力部１６の前に対峙するユーザの身振り手振り等を、ユーザの各種指示として受け付ける装置としてもよい。この場合には、該画像認識装置では、身振りや手振り等の各動きに対応する指示情報を予め記憶し、認識した身振りや手振りに対応する指示情報を読み取ることで、ユーザによる操作指示を受け付ければよい。

また、入力部１６は、携帯端末等の各種情報を送信する外部装置から、ユーザの操作指示を示す信号を受け付ける通信装置であってもよい。この場合には、入力部１６は、該外部装置から受信した操作指示を示す信号を、ユーザによる操作指示として受け付ければよい。

なお、入力部１６及び表示部２０は、一体的に構成されていてもよい。具体的には、入力部１６及び表示部２０は、入力機能及び表示機能の双方を備えたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部として構成されていてもよい。ＵＩ部には、タッチパネル付ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等がある。

記憶部１８は、各種データを記憶する。本実施の形態では、記憶部１８は、衣服データベース（以下、衣服ＤＢと称する）１８Ａ、第１範囲、第２範囲、等の各種データを記憶する。第１範囲、第２範囲については詳細を後述する。

衣服ＤＢ１８Ａは、合成対象となる衣服の衣服画像を格納したＤＢ（データベース）である。なお、衣服ＤＢ１８Ａは、後述する各種情報を対応づけて格納した形態であればよく、ＤＢの形態に限定されない。

衣服ＤＢ１８Ａに格納されている各種データは、画像処理装置１２による後述する処理によって、登録及び更新されたものである。

図２は、衣服ＤＢ１８Ａのデータ構造の一例を示す図である。衣服ＤＢ１８Ａは、被写体情報と、衣服ＩＤと、衣服画像と、属性情報と、を対応づけた情報である。

被写体情報は、被写体の識別情報（以下、被写体ＩＤと称する）と、被写体画像と、体型パラメータと、基準位置情報と、を含む。

被写体ＩＤは、被写体の各々を一意に識別可能な情報である。

被写体画像は、第１被写体画像と、第２被写体画像と、を含む。第１被写体画像は、撮影部１４から取得した第１被写体の第１被写体画像である。第２被写体画像は、画像処理装置１２によって、第１被写体画像の編集により生成された被写体画像である（詳細後述）。

体型パラメータは、被写体の体型を示す情報である。体型パラメータは、１または複数のパラメータを含む。パラメータは、人体の１または複数の箇所の採寸値である。採寸値は、実際に採寸した値（実測値）に限定されず、採寸値を推測した値や、採寸値に相当する値（ユーザが任意に入力した値など）を含む。

本実施の形態では、パラメータは、衣服の仕立て時や購入時などに採寸する人体の各部分に対応する採寸値である。具体的には、体型パラメータは、胸囲、胴囲、腰囲、身長、及び肩幅の少なくとも１つのパラメータを含む。なお、体型パラメータに含まれるパラメータは、これらのパラメータに限定されない。例えば、体型パラメータは、袖丈、股下、３次元ＣＧモデルの頂点位置、骨格の関節位置、などのパラメータを更に含んでもよい。

体型パラメータは、第１体型パラメータと、第２体型パラメータと、を含む。第１体型パラメータは、第１被写体の体型を示す体型パラメータである。第２体型パラメータは、第２被写体の体型を示す体型パラメータである。

基準位置情報は、合成時の位置合わせに用いる情報である。合成時とは、被写体の被写体画像と、衣服画像と、を合成するときを示す。被写体画像は、被写体を示す画像の総称である。基準位置情報は、合成時の位置合わせの基準に用いられる。

基準位置情報は、例えば、特徴領域、輪郭、特徴点、などを含む。

特徴領域は、被写体画像における、被写体の形状を推定可能な領域である。特徴領域には、人体の肩部に対応する肩領域や、腰部に対応する腰領域や、足部に対応する足領域等があるが、これらに限られない。

輪郭は、被写体画像における、被写体の形状を推定可能な領域の輪郭である。例えば、被写体の形状を推定可能な領域が人体の肩領域である場合、被写体画像における、輪郭は、肩領域の輪郭を示す線状の画像である。

特徴点は、被写体画像における、被写体の形状を推定可能な点を示す。特徴点は、例えば、人体の関節部分を示す各位置や、上記特徴領域の中心に相当する位置などである。特徴点は、例えば、人体の両肩の中央に相当する位置などである。なお、特徴点は、これらに限定されない。特徴点は、画像上の位置座標で示される。

図３は、基準位置情報４０の一例を示す図である。図３（Ａ）は、輪郭４０Ａの一例を示す図である。図３（Ａ）では、一例として、人体の肩部の輪郭４０Ａを示した。図３（Ｂ）は、特徴領域４０Ｂの一例を示す図である。図３（Ｂ）では、一例として、人体の肩部の領域を特徴領域４０Ｂとして示した。図３（Ｃ）は、特徴点４０Ｃの一例を示す図である。図３（Ｃ）では、一例として、人体の関節部分に相当する点の各々を、特徴点４０Ｃとして示した。

なお、基準位置情報は、合成画像の生成時の位置合わせの基準を示す情報であればよく、特徴領域、輪郭、特徴点、などに限定されない。

図２に戻り、衣服ＤＢ１８Ａは、１つの被写体画像と、１つの体型パラメータと、に対して、１つの基準位置情報を対応づけて格納している。すなわち、衣服ＤＢ１８Ａは、１つの体型パラメータに対して、１つの基準位置情報を対応づけて格納する。

衣服ＩＤ（衣服の識別情報）は、衣服を一意に識別するための情報である。衣服ＩＤは、例えば、衣服の製品番号や、衣服の名称等であるが、これらに限られない。製品番号は、例えば、公知のＪＡＮコードなどである。名称は、例えば、衣服の品名などである。

衣服画像は、衣服の画像である。衣服画像は、画素毎に、衣服の色や輝度等を示す画素値の規定された画像である。衣服画像は、第２衣服画像と、第３衣服画像と、を含む。第２衣服画像は、画像処理装置１２によって、第１衣服画像の編集により生成された衣服画像である（詳細後述）。第３衣服画像は、画像処理装置１２によって、第２衣服画像の編集により生成された衣服画像である（詳細後述）。

属性情報は、対応する衣服ＩＤによって識別される衣服の属性を示す情報である。属性情報は、例えば、衣服の種類、衣服のサイズ、衣服の名称、衣服の販売元（ブランド名など）、衣服の形状、衣服の色、衣服の素材、衣服の値段等である。なお、属性情報は、更に、対応する第１被写体の被写体ＩＤ、第１衣服画像から第２衣服画像を生成するときに用いた第１編集値（詳細後述）、第２衣服画像から第３衣服画像を生成するときに用いた第２編集値（詳細後述）、などを更に含んでいても良い。

図２に示すように、衣服ＤＢ１８Ａは、１つの被写体画像、１つの体型パラメータ、１つの基準位置情報に、対して、複数の衣服画像（１または複数の第２衣服画像、１または複数の第３衣服画像）を対応付けて格納する。

なお、衣服ＤＢ１８Ａは、１つの被写体画像と、１つの体型パラメータと、１つの基準位置情報と、複数の衣服画像と、を対応づけた情報であればよい。すなわち、衣服ＤＢ１８Ａは、被写体ＩＤ、衣服ＩＤ、及び属性情報の少なくとも１つを含まない形態であってもよい。また、衣服ＤＢ１８Ａは、更に、他の情報を対応づけた情報であってもよい。

図１に戻り、画像処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。なお、画像処理装置１２を、ＣＰＵ以外の回路などで構成してもよい。

画像処理装置１２は、第１取得部２２と、第２取得部２４と、第３取得部２６と、第４取得部２８と、第１生成部３０と、第２生成部３２と、第３生成部３４と、記憶制御部３６と、表示制御部３９と、を含む。

第１取得部２２、第２取得部２４、第３取得部２６、第４取得部２８、第１生成部３０、第２生成部３２、第３生成部３４、記憶制御部３６、及び表示制御部３９の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

第３取得部２６は、第１被写体の第１被写体画像を取得する。第３取得部２６は、撮影部１４から、第１被写体画像を取得する。なお、第３取得部２６は、図示を省略する外部装置からネットワークなどを介して第１被写体画像を取得してもよい。また、第３取得部２６は、記憶部１８などに予め記憶された第１被写体画像を読取ることによって、第１被写体画像を取得してもよい。

本実施の形態では、撮影部１４から第１被写体画像を取得する場合を説明する。

なお、第１被写体の撮影時には、第１被写体は、身体のラインが明確となる衣服（例えば、下着など）を着用した状態であることが好ましい。身体のラインが明確となる衣服を着用した第１被写体を撮影した第１被写体画像を取得することで、後述する第１体型パラメータの推定処理や、基準位置情報の算出処理の、精度を高めることができる。

第２取得部２４は、第１被写体の体型を示す第１体型パラメータを取得する。

第２取得部２４は、例えば、ユーザによる入力部１６の操作指示によって入力された第１体型パラメータを、取得する。

例えば、表示制御部３９が、第１被写体の体型を示す第１体型パラメータの入力画面を表示部２０に表示する。この入力画面は、例えば、胸囲、胴囲、腰囲、身長、及び肩幅などのパラメータの入力欄を含む。ユーザは、表示部２０に表示された入力画面を参照しながら入力部１６を操作することで、各パラメータの入力欄に、値を入力する。入力部１６から、入力されたパラメータを第２取得部２４へ出力する。第２取得部２４は、入力部１６からパラメータを取得することで、第１体型パラメータを取得する。

また、第２取得部２４は、第１被写体の第１体型パラメータを推定してもよい。本実施の形態では、第２取得部２４が、第１被写体の第１体型パラメータを推定する場合を一例として説明する。

第２取得部２４は、第５取得部２４Ａと、推定部２４Ｂと、を含む。

第５取得部２４Ａは、第１被写体のデプスマップを取得する。第５取得部２４Ａは、第３取得部２６で取得した第１被写体画像から、第１被写体のデプスマップを読取る。

なお、第３取得部２６で取得した第１被写体画像に含まれるデプスマップには、人物領域以外の背景領域などが含まれる場合がある。このため、詳細には、第５取得部２４Ａは、第１被写体画像から読取ったデプスマップにおける、人物領域を抽出することで、第１被写体のデプスマップを取得する。

第５取得部２４Ａは、例えば、デプスマップを構成する各画素の３次元位置のうち、奥行き方向の距離について閾値を設定することで、人物領域を抽出する。たとえば、第２撮影部１４Ｂのカメラ座標系において第２撮影部１４Ｂの位置を原点とし、Ｚ軸正方向が、第２撮影部１４Ｂの原点から被写体方向に伸びるカメラの光軸であるとする。この場合、デプスマップを構成する各画素の内、奥行き方向（Ｚ軸方向）の位置座標が予め定めた閾値（例えば、２ｍを示す値）以上の画素を除外する。これにより、第５取得部２４Ａは、第２撮影部１４Ｂから該閾値の範囲内に存在する人物領域の画素からなるデプスマップ、すなわち、第１被写体のデプスマップを取得する。

推定部２４Ｂは、第５取得部２４Ａで取得した第１被写体のデプスマップから、第１被写体の第１体型パラメータを推定する。

推定部２４Ｂは、第１被写体のデプスマップに、人体の三次元モデルデータをあてはめる。そして、推定部２４Ｂは、デプスマップと、第１被写体にあてはめた三次元モデルデータと、を用いて、第１体型パラメータに含まれる各パラメータの値（例えば、身長、胸囲、胴囲、腰囲、肩幅の各々の値）を算出する。このようにして、推定部２４Ｂは、第１被写体の第１体型パラメータを推定する。

詳細には、推定部２４Ｂは、人体の三次元モデルデータ（三次元ポリゴンモデル）を、第１被写体のデプスマップにあてはめる。そして、推定部２４Ｂは、第１被写体のデプスマップにあてはめた、人体の三次元モデルデータにおける、複数のパラメータ（身長、胸囲、胴囲、腰囲、肩幅、など）の各々に対応する部位の距離から、上記採寸値を推定する。具体的には、推定部２４Ｂは、あてはめた人体の三次元モデルデータ上における２頂点間の距離や、ある２頂点を結ぶ稜線の長さなどから、身長、胸囲、胴囲、腰囲、肩幅などの各パラメータの値を算出する。２頂点とは、あてはめた人体の三次元モデルデータ上における、算出対象のパラメータ（身長、胸囲、胴囲、腰囲、肩幅、など）の各々に対応する部位の一端と他端を示す。なお、後述する第２被写体の第２体型パラメータに含まれる各パラメータの値についても、同様にして求めればよい。

第４取得部２８は、基準位置情報を取得する。

本実施の形態では、一例として、第４取得部２８が、第１被写体画像における、特徴領域、輪郭、及び特徴点を、基準位置情報として取得する場合を説明する。

例えば、第４取得部２８は、第３取得部２６で取得した第１被写体画像に含まれる、第１被写体の色画像を読取る。そして、第４取得部２８は、色画像における、例えば、人体の肩に相当する領域（肩領域）を、特徴領域として抽出する。また、第４取得部２８は、抽出した肩領域の輪郭を、特徴領域として抽出する。なお、輪郭は、人体の外形に沿った線状の画像である。このため、肩領域の輪郭は、人体の肩領域の外形に沿った線状の画像である。

なお、特徴領域及び輪郭の取得には、人体の各部（肩部、腰部など）のどの部位を用いてもよい。なお、特徴領域及び輪郭の取得に用いる部位を示す識別情報を予め記憶部１８に記憶してもよい。この場合、第４取得部２８は、記憶部１８に記憶されている該識別情報によって識別される部位を、特徴領域及び輪郭の取得対象の部位として用いればよい。また、第４取得部２８は、公知の方法を用いて、第１被写体画像における、人体の各部位に相当する領域の判別を行えばよい。

特徴点は、例えば、第１被写体の骨格情報から算出する。骨格情報は、被写体の骨格を示す情報である。

この場合、第４取得部２８は、まず、第３取得部２６で取得した第１被写体画像に含まれる、第１被写体のデプスマップを読取る。そして、第４取得部２８は、第１被写体のデプスマップを構成する各画素に、人体形状を当てはめることで、骨格情報を生成する。

そして、第４取得部２８は、生成した骨格情報によって示される各関節の位置を、特徴点として取得する。なお、第４取得部２８は、特徴領域の中心に相当する位置を特徴点として取得してもよい。この場合、第４取得部２８は、特徴領域の中心に相当する位置を骨格情報から読取り、特徴点として取得すればよい。例えば、肩領域の中心を特徴点とする場合、第４取得部２８は、骨格情報から両肩間の中心位置を求めることで、特徴点を取得する。

第１取得部２２は、合成対象となる衣服の第１衣服画像を取得する。

本実施の形態では、第１取得部２２は、撮影部１４から取得した撮影画像から衣服領域を抽出することで、第１衣服画像を取得する。

例えば、合成対象の衣服を着用した上記第１被写体、または、合成対象の衣服を着用した、上記第１被写体と同じ体型の第３被写体を、撮影部１４によって撮影する。撮影部１４は、撮影によって得られた撮影画像を、画像処理装置１２へ出力する。第１取得部２２は、撮影画像を撮影部１４から取得する。そして、第１取得部２２は、撮影部１４から取得した撮影画像に含まれる衣服領域を抽出する。これによって、第１取得部２２は、第１衣服画像を取得する。

なお、第１取得部２２は、図示を省略する外部装置からネットワークなどを介して、第１衣服画像を取得してもよい。

図４は、第１衣服画像６０の一例を示す図である。例えば、第１取得部２２は、第１衣服画像６０として、第１衣服画像６０Ａを取得する。

図１に戻り、記憶制御部３６は、各種データを記憶部１８に記憶する。

詳細には、記憶制御部３６は、第３取得部２６で取得した第１被写体画像を、第１被写体画像の被写体ＩＤに対応づけて、衣服ＤＢ１８Ａに記憶する。また、記憶制御部３６は、第４取得部２８で取得した、第１被写体画像における基準位置情報を、該第１被写体画像に対応づけて、衣服ＤＢ１８Ａに記憶する。また、記憶制御部３６は、第２取得部２４で取得した、第１被写体の体型を示す第１体型パラメータを、該第１被写体の第１被写体画像に対応づけて、衣服ＤＢ１８Ａに記憶する。

このため、図２に示すように、衣服ＤＢ１８Ａには、第１被写体画像と、第１体型パラメータと、基準位置情報と、が１対１対１で対応づけられた状態となる。

図１に戻り、第１生成部３０は、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成する。

本実施の形態では、第１生成部３０は、第１編集値を用いて、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集する。例えば、第１生成部３０は、第１被写体が第１衣服画像の衣服を着用した状態を示す第２衣服画像となるように、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集する。

まず、第１生成部３０は、第１編集値を算出する。例えば、第１生成部３０は、第１被写体画像の第１被写体が第１衣服画像の衣服を着用した状態となるように、第１衣服画像を編集するための第１編集値を算出する。そして、第１生成部３０は、算出した第１編集値を用いて、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集する。

図５は、第２衣服画像６２の説明図である。図５に示すように、第１生成部３０は、第１衣服画像６０（図４参照）の衣服を、第１被写体５８が着用した状態を示す第２衣服画像６２となるように、第１衣服画像６０を編集するための第１編集値を算出する。そして、第１生成部３０は、算出した第１編集値を用いて、第１衣服画像６０（図４参照）の、サイズと、形状と、位置と、の少なくとも１つを編集し、第２衣服画像６２を生成する。

図１に戻り、具体的には、第１生成部３０は、第１衣服画像を拡大または縮小することで、第１衣服画像のサイズを編集する。

また、第１生成部３０は、第１衣服画像を変形することで、第１衣服画像の形状を編集する。第１衣服画像の変形には、第１衣服画像の縦横比（アスペクト比）の変更や、第１衣服画像の衣服の撮影方向を変更した第２衣服画像となるように変形する処理、が含まれる。

第１編集値は、拡大縮小率、変形率、回転角度、及び位置の変更幅の少なくとも１つを含む。拡大率及び縮小率は、サイズの編集に用いる。変形率は、形状の編集に用いる。回転角度は、撮影方向の角度を示し、形状の編集に用いる。位置の変更幅は、位置の編集に用いる。

すなわち、第１生成部３０は、第１編集値として、第１衣服画像の拡大縮小率、変形率、回転角度、及び位置の変更幅の少なくとも１つを算出する。そして、第１生成部３０は、算出した第１編集値を用いて、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集する。

図６は、回転角度の説明図である。回転角度は、第１衣服画像の衣服を着用した第１被写体、または第１衣服画像の衣服を着用した第３被写体の、撮影時の撮影部１４に対する角度である。例えば、撮影部１４に対して正面の向きで撮影された撮影画像の回転角度は「０度」である。すなわち、この撮影画像に含まれる第１衣服画像６０Ｂの衣服の撮影方向に対応する回転角度は、「０度」である。

例えば、第１生成部３０は、第１衣服画像６０を正面から右に２０度回転させた、第２衣服画像６２Ｂ_２０を生成する。また、例えば、第１生成部３０は、第１衣服画像６０を正面から４０度回転させた、第２衣服画像６２Ｂ_４０を生成する。

図７は、拡大縮小率の算出の説明図である。

図７（Ａ）は、第１衣服画像６０Ｂの説明図である。図７（Ｂ）は、第１被写体画像５８Ｂの説明図である。

例えば、第３取得部２６が、第１被写体画像５８として、第１被写体画像５８Ｂを取得したとする（図７（Ｂ）参照）。また、第１取得部２２が、第１衣服画像６０として、第１衣服画像６０Ｂを取得したとする（図７（Ａ）参照）。第１被写体画像５８Ｂの第１被写体が、第１衣服画像６０Ｂの衣服を着用した状態を示す状態となるように、第１生成部３０は、第１衣服画像６０Ｂの拡大縮小率を算出する。

詳細には、例えば、第１生成部３０は、まず、第１被写体の上記骨格情報から、第１被写体画像５８Ｂ上の関節位置の内、左肩に相当する画素のＹ座標と、右肩に相当する画素のＹ座標と、の各々の位置を求める。そして、第１生成部３０は、求めた該Ｙ座標の位置（高さ）において、該左肩に相当する画素のＸ座標から、第１被写体画像５８Ｂの外側に相当する領域に向かって探索を行い、第１被写体画像５８Ｂの左肩側の境界線（輪郭）の位置を示すＸ座標を求める。さらに、第１生成部３０は、求めた該Ｙ座標の位置（高さ）において、右肩に相当する画素のＸ座標から、第１被写体画像５８Ｂの外側に相当する領域に向かって探索を行い、第１被写体画像５８Ｂの右肩側の境界線（輪郭）の位置を示すＸ座標を求める。

このようにして求めた２つのＸ座標の差を求めることで、第１被写体画像５８Ｂ上の肩幅（ピクセル数）を求める（図７（Ｂ）の、肩幅Ｓｈ参照）。

次に、第１生成部３０は、第１衣服画像６０Ｂについても同様の処理を行うことで、第１衣服画像６０Ｂ上の肩幅（ピクセル数）を求める（図７（Ａ）の、肩幅Ｓｃ参照）。

次に、第１生成部３０は、第１衣服画像６０Ｂの肩幅Ｓｃと、第１被写体画像５８Ｂの肩幅Ｓｈと、を用いて、第１衣服画像６０Ｂの拡大縮小率（スケーリング値）を決定する。具体的には、第１生成部３０は、第１被写体画像５８Ｂの肩幅Ｓｈを、第１衣服画像６０Ｂの肩幅Ｓｃで除算した除算値（Ｓｈ／Ｓｃ）を、拡大縮小率として算出する。なお、拡大縮小率は、異なる式から算出してもよい。

次に変更率の算出を説明する。図８は、変形率算出の説明図である。

例えば、第３取得部２６が、第１被写体画像５８として、第１被写体画像５８Ｂを取得したとする（図８（Ｄ）参照）。また、第１取得部２２が、第１衣服画像６０として、第１衣服画像６０Ｂを取得したとする（図８（Ａ）参照）。

第１生成部３０は、第１被写体画像５８Ｂの第１被写体が第１衣服画像６０Ｂの衣服を着用した状態を示す状態となるように、第１衣服画像６０Ｂの第１編集値として、変形率を算出する。

例えば、第１生成部３０は、第１衣服画像６０Ｂの輪郭６８を抽出する（図８（Ｂ）参照）。次に、第１生成部３０は、輪郭６８の内、例えば、人体の肩部に相当する部分の輪郭６９を抽出する（図８（Ｃ）参照）。

同様に、第１生成部３０は、第１被写体画像５８Ｂの輪郭７０を抽出する（図８（Ｅ）参照）。なお、図８に示す例では、第１生成部３０が、第１被写体画像５８Ｂとして、第１被写体のデプスマップを用いる場合を例示した。しかし、第１生成部３０は、第１被写体画像５８Ｂとして、第１被写体の色画像を用いてもよい。

次に、第１生成部３０は、輪郭７０の内、例えば、人体の肩部に相当する部分の輪郭７１を抽出する（図８（Ｆ）参照）。

次に、第１生成部３０は、第１衣服画像６０Ｂの肩部に相当する部分の輪郭６９と、第１被写体画像５８Ｂの肩部に相当する部分の輪郭７１と、を用いたテンプレートマッチングを行う（図８（Ｇ）参照）。そして、第１生成部３０は、輪郭６９を輪郭７１の形状に一致させるための、輪郭６９の変形率を算出する。第１生成部３０は、算出した変形率を、第１衣服画像６０Ｂを編集するための、変形率として算出する。

図１に戻り、なお、第１生成部３０は、第１範囲内の第１編集値を用いて、上記条件を満たすように、第１衣服画像を編集することが好ましい。

第１範囲は、第１編集値のとりうる範囲（上限値と下限値）を定めた情報である。

第１範囲は、編集対象の第１衣服画像の衣服の視覚的な特性を失わない範囲である。すなわち、第１範囲は、編集対象の第１衣服画像の衣服の視覚的な特性を失わない範囲となるように、第１編集値の上限値と下限値を定めたものである。

例えば、第１衣服画像の衣服としての視覚的な特性である、衣服のデザインや、衣服の模様や、衣服の形状などの特性が、第１生成部３０による編集によって損なわれる場合がある。

このため、第１範囲として、編集対象の第１衣服画像の衣服の視覚的な特性を失わない範囲を定めることが好ましい。第１生成部３０が、第１範囲内の第１編集値を用いて、第１衣服画像を編集した第２衣服画像を生成することで、第２衣服画像を、合成対象の衣服画像として効果的に用いることができる。

この場合、例えば、記憶部１８は、衣服の種類と、第１範囲と、を対応づけて予め記憶する。第１範囲は、衣服の種類ごとに予め設定すればよい。第１範囲、及び第１範囲と衣服の種類との対応は、ユーザによる入力部１６の操作指示などによって適宜変更可能である。そして、第１取得部２２は、第１衣服画像を取得すると共に、入力部１６から該第１衣服画像の衣服の種類を取得すればよい。衣服の種類は、ユーザによる入力部１６の操作指示によって入力すればよい。第１生成部３０は、第１取得部２２で取得した衣服の種類に対応する第１範囲を記憶部１８から読取り、第１衣服画像の編集に用いればよい。

また、第１範囲は、複数の第２衣服画像を重畳したときに、下層側の第２衣服画像が上層側の第２衣服画像の領域内に収まる範囲としてもよい。例えば、複数の第２衣服画像を、被写体が重ね着した状態や、組み合わせて着用した状態を示す合成画像の生成に用いる場合がある。この場合、下層側に配置される第２衣服画像が、上層側に配置される第２衣服画像の領域より大きいと、合成画像を自然な見え方で提供することは困難である。そこで、第１範囲は、複数の第２衣服画像を重畳したときに、下層側の第２衣服画像が上層側の第２衣服画像の領域内に収まる範囲としてもよい。

この場合、例えば、記憶部１８は、衣服の種類と、衣服の重畳順と、第１範囲と、を対応づけて予め記憶する。衣服の重畳順は、対応する種類の衣服を人体等に重ねて着用したときに、該衣服が、人体に最も接する下層側から人体から離れる上層側の各階層の内、何れの階層に着用されることが一般的な衣服であるか、を示す情報である。この場合、第１範囲は、対応する重畳順で、対応する種類の衣服が着用されたときに、上層側の第２衣服画像の領域内に収まる数値の範囲である。

衣服の種類、衣服の重畳順、及び第１範囲は、ユーザによる入力部１６の操作指示などによって適宜変更可能である。そして、第１取得部２２は、第１衣服画像を取得すると共に、入力部１６から該第１衣服画像の衣服の種類と衣服の重畳順を取得すればよい。衣服の種類及び衣服の重畳順は、ユーザによる入力部１６の操作指示によって入力すればよい。第１生成部３０は、第１取得部２２で取得した衣服の種類及び衣服の重畳順に対応する第１範囲を記憶部１８から読取り、第１衣服画像の編集に用いればよい。

図９は、第２衣服画像６２の一例を示す図である。例えば、第１衣服画像６０が、図９（Ａ）に示す第１衣服画像６０Ａであったとする。この場合、第１生成部３０は、第１編集値を用いて、第１衣服画像６０Ａを編集する。例えば、第１生成部３０は、第１衣服画像６０Ａ（図９（Ａ）参照）を、図９中の矢印Ｘ１方向に変形することで、第２衣服画像６２Ｃを生成する（図９（Ｂ）参照）。また、例えば、第１生成部３０は、第１衣服画像６０Ａ（図９（Ａ）参照）を、図９中の矢印Ｘ２方向に変形することで、第２衣服画像６２Ｄを生成する（図９（Ｃ）参照）。

なお、位置を編集する場合には、第１生成部３０は、撮影画像における第１衣服画像６０Ａの位置を、撮影画像内で変更すればよい。

なお、第１生成部３０は、第１衣服画像６０Ａの全体のサイズや形状を編集してもよい。また、第１生成部３０は、第１衣服画像６０Ａを複数の領域(例えば、矩形状の領域)に分割し、領域ごとに、サイズや形状を編集してもよい。この場合、各領域の第１編集値は、領域ごとに同じであってもよいし、異なっていてもよい。例えば、衣服の袖部分に相当する領域を、他の領域に比べてアスペクト比が大きくなるように変形してもよい。また、第１生成部３０は、Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）処理により、上記編集を行ってもよい。

上記のようにして、第１生成部３０は、第１衣服画像６０の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像６２を生成する。

図１に戻り、記憶制御部３６は、第２衣服画像６２を、記憶部１８へ記憶する。

詳細には、第１生成部３０が、第１衣服画像６０から第１編集値を用いて第２衣服画像６２を生成すると、記憶制御部３６は、生成された第２衣服画像６２を、該第１編集値の算出時に用いた第１被写体画像に対応づけて、衣服ＤＢ１８Ａに記憶する。

また、第１生成部３０が、新たな衣服ＩＤによって識別される衣服の第１衣服画像６０から、第１編集値を用いて第２衣服画像６２を生成する度に、記憶制御部３６は、生成された第２衣服画像６２を、該第１編集値の算出時に用いた第１被写体画像に対応づけて、衣服ＤＢ１８Ａに記憶する。また、第１生成部３０は、同じ衣服ＩＤの衣服に対して、異なる第１編集値を用いた編集を行い、第１衣服画像から、第１編集値の異なる複数の第２衣服画像を生成してもよい。この場合、記憶制御部３６は、第１編集値の算出時に用いた第１被写体画像に対応づけて、編集によって生成した複数の第２衣服画像を衣服ＤＢ１８Ａに格納する。

このため、図２に示すように、衣服ＤＢ１８Ａには、１つの第１被写体画像と、１つの第１体型パラメータと、１つの基準位置情報と、に、複数の第２衣服画像６２が対応付けられた状態となる。

図１に戻り、第２生成部３２は、第１被写体の第１体型パラメータとは異なる第２体型パラメータの体型の第２被写体画像となるように、第１被写体画像５８を、第２編集値を用いて編集する。

例えば、第２生成部３２は、第１被写体画像５８の、サイズ及び形状の少なくとも１つを編集することで、第１体型パラメータとは異なる第２体型パラメータの第２被写体画像を生成する。サイズ及び形状の定義は、上記と同様である。

具体的には、第２生成部３２は、第２編集値を用いて、第１被写体画像５８の、サイズ及び形状の少なくとも１つを編集する。例えば、第２生成部３２は、第１被写体画像５８を拡大または縮小することで、第１被写体画像５８のサイズを編集する。

また、第２生成部３２は、第１被写体画像５８を変形することで、第１被写体画像５８の形状を編集する。第１被写体画像５８の変形には、第１被写体画像５８の縦横比（アスペクト比）の変更や、第１被写体画像５８の第１被写体の撮影方向を変更した第２被写体画像となるように、変形する処理が含まれる。

第２編集値は、拡大縮小率、変形率、及び回転角度の少なくとも１つを含む。拡大縮小率、変形率、及び回転角度の定義は、第１編集値と同様である。

第２生成部３２は、第１被写体の第１体型パラメータとは異なる第２体型パラメータの第２被写体の第２被写体画像となるように、第２編集値を算出する。そして、第２生成部３２は、算出した第２編集値を用いて、第１被写体画像５８のサイズ及び形状の少なくとも１つを編集し、第２被写体画像を生成する。

なお、第２生成部３２は、予め定めた第２範囲内の第２編集値を用いて、上記条件を満たすように、第１被写体画像５８を編集することが好ましい。

第２範囲は、第２編集値のとりうる範囲（上限値と下限値）を定めた情報である。

第２範囲は、人体として想定可能な範囲である。すなわち、第２範囲は、編集対象の第１被写体画像５８の第１被写体の体型が人体として想定可能な体型の範囲となるように、第２編集値のとりうる範囲を定めたものである。また、第２範囲は、編集対象の第１被写体画像５８が衣服を着用した状態を想定したときに、衣服の視覚的な特性を失わない範囲であることが好ましい。このため、第２範囲は、上記第１範囲に応じた範囲であることが好ましい。

この場合、例えば、記憶部１８は、衣服の種類と、第１範囲と、第２範囲と、を対応づけて予め記憶する。第１範囲及び第２範囲の各々は、衣服の種類ごとに予め設定すればよい。第１範囲、第２範囲、及び第１範囲と第２範囲と衣服の種類との対応は、ユーザによる入力部１６の操作指示などによって適宜変更可能である。そして、第１取得部２２は、第１衣服画像を取得すると共に、入力部１６から該第１衣服画像の衣服の種類を取得すればよい。第２生成部３２は、第１取得部２２で取得した衣服の種類と、第１生成部３０が用いた第１範囲と、に対応する第２範囲を記憶部１８から読取る。そして、第２生成部３２は、読取った第２範囲内の第２編集値を用いて、上記条件を満たすように、第１被写体画像５８を編集し、第２被写体画像を生成すればよい。

次に、第３生成部３４は、第２被写体画像の生成時に用いた第２編集値及び第１被写体画像を用いて、該第１被写体画像に対応する第１体型パラメータ及び基準位置情報から、該第２被写体画像の体型を示す第２体型パラメータと、該第２被写体画像に対応する基準位置情報と、を算出する。

詳細には、第３生成部３４は、第２被写体画像の生成時に用いた第２編集値及び第１被写体画像を読取る。そして、第３生成部３４は、該第１被写体画像に対応する第１体型パラメータ及び基準位置情報を、衣服ＤＢ１８Ａから読取る（図２参照）。第３生成部３４は、該第１被写体画像に対応する第１体型パラメータ及び基準位置情報を、該第２編集値を用いて編集する。これによって、第３生成部３４は、第２被写体画像の体型を示す第２体型パラメータと、該第２被写体画像に対応する基準位置情報と、を算出する。

第２被写体画像が生成されると、記憶制御部３６は、第２被写体画像を記憶部１８に記憶する。詳細には、記憶制御部３６は、生成された第２被写体画像を、該第２被写体画像の編集元の第１被写体画像５８の被写体ＩＤに対応づけて、衣服ＤＢ１８Ａに記憶する（図２参照）。

また、第２被写体画像に対応する第２体型パラメータと、第２被写体画像に対応する基準位置情報と、が算出されると、記憶制御部３６は、該第２体型パラメータと、該基準位置情報と、を該第２被写体画像に対応づけて衣服ＤＢ１８Ａに記憶する（図２参照）。

このため、図２に示すように、衣服ＤＢ１８Ａには、１つの被写体ＩＤに対して、１つの第１被写体画像と、１または複数の第２被写体画像と、が被写体画像として対応づけられた状態となる。また、第２被写体画像には、第２体型パラメータと、基準位置情報と、が１対１対１で対応づけられた状態となる。

図１に戻り、第３生成部３４は、第２被写体画像の生成時に用いた第２編集値を用いて、第２衣服画像６２を編集し、第３衣服画像を生成する。すなわち、第３生成部３４は、第２編集値によって示される拡大縮小率や変形率を用いて、第２衣服画像６２を拡大縮小、変形することで、第３衣服画像を生成する。

なお、第１生成部３０と同様に、第３生成部３４は、第２衣服画像の全体のサイズや形状を編集してもよい。また、第３生成部３４は、第２衣服画像を複数の領域(例えば、矩形状の領域)に分割し、領域ごとに、サイズや形状を編集してもよい。この場合、各領域の第２編集値は、領域ごとに同じであってもよいし、異なっていてもよい。また、第３生成部３４は、ＦＦＤ処理により、上記編集を行ってもよい。

第３生成部３４が第３衣服画像を生成すると、記憶制御部３６は、第３衣服画像を記憶部１８に記憶する。

詳細には、記憶制御部３６は、第３衣服画像の生成時に用いた第２編集値を読取る。そして、記憶制御部３６は、第３衣服画像を、この第２編集値を用いて生成した第２被写体画像に対応づけて、衣服ＤＢ１８Ａに記憶する。

このため、図２に示すように、衣服ＤＢ１８Ａには、上述したように、１つの被写体ＩＤに対して、１つの第１被写体画像と、１または複数の第２被写体画像と、が被写体画像として対応づけられた状態となる。そして、衣服ＤＢ１８Ａには、１つの第２被写体画像と、１つの第２体型パラメータと、１つの基準位置情報と、に、複数の第３衣服画像が対応付けられた状態となる。また、上述したように、１つの第１被写体画像と、１つの第１体型パラメータと、１つの基準位置情報と、に、複数の第２衣服画像が対応付けられた状態となる。第２衣服画像は、第１衣服画像を編集することによって生成された衣服画像である。また、第３衣服画像は、第２衣服画像を編集することによって生成された衣服画像である。

なお、記憶制御部３６は、第３衣服画像に代えて、該第３衣服画像の生成に用いた第２編集値を記憶部１８に記憶してもよい。この場合には、記憶制御部３６は、第２編集値を、第２被写体画像に対応づけて記憶すればよい。また、この場合には、第３生成部３４による第３衣服画像の生成処理は、実行しなくてもよい。

次に、本実施の形態の画像処理装置１２で実行する画像処理を説明する。

図１０は、画像処理装置１２で実行する画像処理の手順を示すフローチャートである。

まず、第３取得部２６が第１被写体画像を取得する（ステップＳ１００）。次に、第２取得部２４が、第１被写体画像の体型を示す第１体型パラメータを取得する（ステップＳ１０２）。次に、第４取得部２８が、第１被写体画像における基準位置情報を取得する（ステップＳ１０４）。記憶制御部３６は、第１被写体画像、第１体型パラメータ、及び基準位置情報を、被写体ＩＤに対応づけて衣服ＤＢ１８Ａに記憶する（ステップＳ１０６）。このため、図２に示すように、衣服ＤＢ１８Ａには、第１被写体画像と、第１体型パラメータと、基準位置情報と、が１対１対１で対応づけられた状態となる。

次に、第１取得部２２が第１衣服画像を取得する（ステップＳ１０８）。次に、第１生成部３０が、ステップＳ１０８で取得した第１衣服画像を、第１編集値を用いて編集し、第２衣服画像を生成する（ステップＳ１１０）。次に、記憶制御部３６が、ステップＳ１１０で生成された第２衣服画像を、ステップＳ１００で取得した、第１被写体画像、ステップＳ１０２で取得した第１体型パラメータ、及びステップＳ１０４で取得した基準位置情報に対応づけて記憶部１８に記憶する（ステップＳ１１２）。

このため、図２に示すように、衣服ＤＢ１８Ａには、１つの第１被写体画像と、１つの第１体型パラメータと、１つの基準位置情報と、に、第２衣服画像が対応付けられた状態となる。なお、画像処理装置１２は、ステップＳ１００〜ステップＳ１１０の処理を、異なる衣服ＩＤによって識別される衣服の第１衣服画像を取得する度に繰り返し実行する。この場合、図２に示すように、衣服ＤＢ１８Ａには、１つの被写体ＩＤに対して、１つの第１被写体画像と、１つの第１体型パラメータと、１つの基準位置情報と、複数の第２衣服画像と、が対応づけられた状態となる。

図１０に戻り、次に、第２生成部３２が、記憶部１８に記憶されている第１被写体画像から、第２編集値を用いて、第２被写体画像を生成する（ステップＳ１１４）。次に、記憶制御部３６が、ステップＳ１１４で生成された第２被写体画像を、該第２被写体画像の生成元の第１被写体画像の被写体ＩＤに対応づけて、衣服ＤＢ１８Ａに記憶する（ステップＳ１１６）（図２参照）。

次に、第３生成部３４は、ステップＳ１１４の第２被写体画像の生成時に用いた第２編集値及び第１被写体画像を用いて、該第１被写体画像に対応する第１体型パラメータ及び基準位置情報から、該第２被写体画像の体型を示す第２体型パラメータと、該第２被写体画像に対応する基準位置情報と、を算出する（ステップＳ１１８）。

次に、記憶制御部３６が、ステップＳ１１８で算出した第２体型パラメータ及び基準位置を、ステップＳ１１４で生成した第２被写体画像に対応づけて衣服ＤＢ１８Ａに記憶する（ステップＳ１２０）（図２参照）。

次に、第３生成部３４が、ステップＳ１１４で用いた第２編集値を用いて、ステップＳ１１０で生成した第２衣服画像を編集し、第３衣服画像を生成する（ステップＳ１２２）。次に、記憶制御部３６が、ステップＳ１２２で生成した第３衣服画像を、ステップＳ１１４で生成した第２被写体画像に対応づけて、衣服ＤＢ１８Ａに記憶する（ステップＳ１２４）（図２参照）。そして、本ルーチンを終了する。

なお、上述したように、記憶制御部３６は、第３衣服画像に代えて、ステップＳ１１４で用いた第２編集値を、ステップＳ１１４で生成した第２被写体画像に対応づけて衣服ＤＢ１８Ａに記憶してもよい。この場合には、ステップＳ１２２の第３衣服画像生成処理、及びステップＳ１２４の記憶処理は実行しなくてよい。

画像処理装置１２が、上記ステップＳ１００〜ステップＳ１２４の処理を実行することによって、衣服ＤＢ１８Ａは、例えば、図２に示す状態となる。すなわち、衣服ＤＢ１８Ａには、第１被写体画像と、第１体型パラメータと、基準位置情報と、１または複数の第２衣服画像と、が対応づけて記憶される。また、衣服ＤＢ１８Ａには、１つの被写体ＩＤに対して、１つの第１被写体画像と、１または複数の第２被写体画像と、が対応づけて記憶される。また、衣服ＤＢ１８Ａには、第２被写体画像と、第２体型パラメータと、基準位置情報と、１または複数の第３衣服画像と、が対応づけて記憶される。

以上説明したように、本実施の形態の画像処理装置１２は、第１取得部２２と、第１生成部３０と、記憶制御部３６と、を備える。第１取得部２２は、合成対象となる衣服の第１衣服画像を取得する。第１生成部３０は、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成する。記憶制御部３６は、第２衣服画像を記憶部１８に記憶する。

このように、本実施の形態の画像処理装置１２は、合成対象となる衣服の第１衣服画像を、そのまま記憶部１８に記憶するのではなく、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を記憶部１８へ記憶する。

このため、被写体画像への衣服画像の合成時には、第１衣服画像に各種編集処理を施すことなく、第２衣服画像を用いて合成画像を生成することができる。

従って、本実施の形態の画像処理装置１２は、合成処理の簡略化を実現可能な衣服画像を提供することができる。

また、第１生成部３０は、第１範囲内の第１編集値を用いて、第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成する。このように、第１衣服画像の編集時に用いる第１編集値に制約を設けることで、上記効果に加えて更に、より自然な見え方の合成画像を生成可能な、衣服画像を提供することができる。

また、この第１範囲は、第１衣服画像の衣服の視覚的な特性を損なわない範囲であることが好ましい。第１範囲を、この範囲とすることで、上記効果に加えて更に、より自然な見え方の合成画像を生成可能な、衣服画像を提供することができる。

また、この第１範囲は、複数の前記第２衣服画像を重畳したときに、下層側の第２衣服画像が上層側の第２衣服画像の領域内に収まる範囲であることが好ましい。第１範囲を、この範囲とすることで、上記効果に加えて更に、より自然な見え方の合成画像を生成可能な、衣服画像を提供することができる。

また、本実施の形態の画像処理装置１２は、第２取得部２４を備える。第２取得部２４は、第１被写体の体型を示す第１体型パラメータを取得する。第１生成部３０は、第１被写体が第１衣服画像の衣服を着用した状態を示す第２衣服画像となるように、第１衣服画像を編集する。

このため、画像処理装置１２は、体型に応じた試着状態の合成画像を生成可能な、衣服画像を提供することができる。

また、第１生成部３０は、第１衣服画像の衣服の撮影方向を変更した第２衣服画像となるように、第１衣服画像の形状を編集する。衣服画像を合成する対象の被写体画像は、ある一定の撮影方向から被写体を撮影することによって得られた画像に限られない。このため、第１生成部３０が、第１衣服画像の衣服の撮影方向を変更した第２衣服画像となるように、第１衣服画像の形状を編集することで、合成処理の簡略化を実現可能な衣服画像を提供することができる。

また、本実施の形態の画像処理装置１２は、第３取得部２６と、第２生成部３２と、第３生成部３４と、を備える。第３取得部２６は、第１被写体の第１被写体画像を取得する。第３生成部３４は、この第１被写体の第１体型パラメータとは異なる第２体型パラメータの体型の第２被写体画像となるように、第１被写体画像を、第２編集値を用いて編集する。第３生成部３４は、第２編集値を用いて、第２衣服画像を編集した第３衣服画像を生成する。記憶制御部３６は、第３衣服画像を記憶部１８に記憶する。

このため、画像処理装置１２では、生成した第２衣服画像を用いて、第２体型パラメータに対応する第３衣服画像を、容易に生成することができる。

なお、上述したように、記憶制御部３６は、第３衣服画像の記憶に代えて、第２被写体画像の生成に用いた第２編集値を衣服ＤＢ１８Ａに記憶してもよい。第３衣服画像に代えて、第２編集値を衣服ＤＢ１８Ａに記憶することで、衣服ＤＢ１８Ａのデータ容量を削減することができる。

また、第２生成部３２は、予め定めた第２範囲内の第２編集値を用いて、第１被写体画像を第２被写体画像に編集する。このように、第２衣服画像の編集時に用いる第２編集値に制約を設けることで、上記効果に加えて更に、より自然な見え方の合成画像を生成可能な、衣服画像を提供することができる。

また、本実施の形態の画像処理装置１２は、第４取得部２８を備える。第４取得部２８は、第１体型パラメータの第１被写体の第１被写体画像における、合成時の位置合わせに用いる基準位置情報を取得する。そして、記憶制御部３６は、第１体型パラメータと、基準位置情報と、複数の第２衣服画像と、を対応づけて記憶部１８に記憶する。

ここで、従来では、合成時には、位置合わせに用いる基準位置情報などを、衣服画像ごとに算出していた。そして、複数の衣服画像の各々ごとに算出した基準位置情報を用いて、複数の衣服画像の各々と、被写体画像と、の位置合わせを行って合成していた。ここで、複数の衣服を組み合わせて試着した状態を示す、合成画像を生成する場合を想定する。また、複数の衣服を重ねて試着した状態を示す、合成画像を生成する場合を想定する。

これらの場合、従来では、被写体画像と、複数の衣服画像の各々と、を、複数の衣服画像の各々ごとに、各衣服画像の基準位置情報を用いて位置合わせしていた。このため、従来では、被写体画像に合成された複数の衣服画像の各々にずれが生じ、自然な見え方の試着状態を示す合成画像を提供することは困難であった。

一方、本実施の形態の画像処理装置１２は、基準位置情報を、衣服ごとではなく、被写体の体型を示す１つの体型パラメータごとに、衣服ＤＢ１８Ａに記憶する。そして、１つの第１体型パラメータと、１つの基準位置情報に対して、複数の第２衣服画像を対応づけて衣服ＤＢ１８Ａに記憶する。

このため、本実施の形態の画像処理装置１２では、より自然な見え方の試着状態の合成画像を生成可能な、衣服画像を提供することができる。

また、第２生成部３２は、第１被写体画像を、第２編集値を用いて編集し、第２被写体画像を生成する。また、第２生成部３２は、第１体型パラメータ及び対応する基準位置情報を、第２編集値を用いて編集する。これにより、第２生成部３２は、第２被写体画像に対応する、第２体型パラメータ、及び基準位置情報を生成する。第３生成部３４は、第２編集値を用いて、第２衣服画像を編集した第３衣服画像を生成する。記憶制御部３６は、これらの情報を対応づけて衣服ＤＢ１８Ａに記憶する。

よって、衣服ＤＢ１８Ａには、１つの第２被写体画像と、１つの第２体型パラメータと、１つの基準位置情報に対して、複数の第３衣服画像もまた格納された状態となる。

このため、合成時には、各第２衣服画像及び第３衣服画像の各々に対応する基準位置情報を用いて、被写体画像と合成した合成画像を生成することで、より自然な見え方の試着状態の合成画像を提供することができる。

すなわち、本実施の形態の画像処理装置１２では、より自然な見え方の試着状態を示す合成画像を生成可能な、衣服画像を提供することができる。

（実施の形態２）
図１１は、本実施の形態の画像処理システム１０Ａの機能的構成を示すブロック図である。

画像処理システム１０Ａは、画像処理装置１２Ａと、撮影部１４と、入力部１６と、記憶部１８と、表示部２０と、を備える。撮影部１４、入力部１６、記憶部１８、及び表示部２０は、画像処理装置１２Ａに信号授受可能に接続されている。撮影部１４、入力部１６、記憶部１８、及び表示部２０は、実施の形態１と同様である。

画像処理装置１２Ａは、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータである。なお、画像処理装置１２Ａを、ＣＰＵ以外の回路などで構成してもよい。

画像処理装置１２Ａは、第１取得部２２と、第２取得部２４と、第３取得部２６と、第４取得部２８と、第１生成部３０と、第２生成部３２と、第３生成部３４と、記憶制御部３６と、表示制御部３９と、合成部３８と、を含む。

第１取得部２２、第２取得部２４、第３取得部２６、第４取得部２８、第１生成部３０、第２生成部３２、第３生成部３４、記憶制御部３６、表示制御部３９、及び合成部３８の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

画像処理装置１２Ａは、合成部３８を更に備えた以外は、実施の形態１の画像処理装置１２と同様である。

合成部３８は、合成対象の被写体画像と、被写体画像に合成する合成対象の衣服画像と、を合成する。

合成部３８は、合成対象の被写体画像を撮影部１４から取得する。なお、合成部３８は、合成対象の被写体画像を、図示を省略する外部装置などからネットワークを介して取得してもよい。また、合成対象の被写体画像は、実施の形態１で用いた第１被写体画像や第２被写体画像であってもよい。

合成部３８は、実施の形態１で説明した衣服ＤＢ１８Ａに格納されている衣服画像（第２衣服画像、第３衣服画像）を、合成対象の衣服画像として用いる。

詳細には、合成部３８は、衣服ＤＢ１８Ａに格納されている、複数の、第２衣服画像及び第３衣服画像の内、合成対象の衣服画像の選択を、入力部１６から受け付ける。例えば、ユーザは、入力部１６の操作指示によって、衣服ＩＤや、衣服の属性情報などを入力する。

合成部３８は、入力部１６から受け付けた、衣服ＩＤや属性情報に対応する、第２衣服画像及び第３衣服画像の少なくとも一方を、衣服ＤＢ１８Ａから検索する。そして、表示制御部３９は、検索した、１または複数の、第２衣服画像及び第３衣服画像の少なくとも一方の一覧を、表示部２０に表示する制御を行う。

表示部２０に衣服画像の一覧が提示されると、ユーザは、入力部１６の操作指示によって、表示部２０に表示された衣服画像の一覧の中から、合成対象の衣服の衣服画像を選択する。すると、入力部１６は、ユーザによって選択された衣服画像を一意に識別する識別情報を、画像処理装置１２Ａへ出力する。合成部３８は、入力部１６から、合成対象の衣服画像の識別情報を取得することで、該識別情報に対応する衣服画像（第２衣服画像または第３衣服画像）を衣服ＤＢ１８Ａから読取る。

次に、合成部３８は、合成対象の被写体画像と、被写体画像に合成する合成対象の衣服画像（第２衣服画像または第３衣服画像）と、を合成する。

ここで、実施の形態１で説明したように、第２衣服画像及び第３衣服画像は、撮影によって取得した第１衣服画像を編集した衣服画像である。このため、合成部３８は、被写体画像への衣服画像の合成時に、合成対象の衣服画像（第２衣服画像、または第３衣服画像）に各種編集処理を施すことなく、合成画像を生成することができる。

従って、本実施の形態の画像処理装置１２Ａは、実施の形態１の効果に加えて、合成処理の簡略化を実現することができる。

また、本実施の形態の画像処理装置１２Ａは、実施の形態１で説明した衣服ＤＢ１８Ａに格納されている衣服画像（第２衣服画像、第３衣服画像）を、合成対象の衣服画像として用いる。

このため、本実施の形態の画像処理装置１２Ａは、より自然な見え方の合成画像を生成することができる。

また、合成部３８は、合成時には、合成対象の衣服画像（第２衣服画像または第３衣服画像）に対応する基準位置情報を用いて、位置合わせを行い、合成画像を生成する。

例えば、基準位置情報が、特徴領域を含むとする。この場合、合成部３８は、合成対象の衣服画像（第２衣服画像または第３衣服画像）に対応する特徴領域と、合成対象の被写体画像の特徴領域と、が一致するように位置合わせを行い、合成画像を生成する。

ここで、実施の形態１で説明したように、記憶制御部３６は、衣服ごとではなく、被写体の体型を示す１つの体型パラメータごとに、基準位置情報を衣服ＤＢ１８Ａに記憶する。そして、１つの体型パラメータと、１つの基準位置情報に対して、第２衣服画像及び第３衣服画像の少なくとも一方を含む複数の衣服画像と、を対応づけて衣服ＤＢ１８Ａに記憶する。

このため、合成部３８は、合成画像の生成時に、第２衣服画像及び第３衣服画像の各々に対応する基準位置情報を用いて、被写体画像と合成した合成画像を生成することにより、より自然な見え方の試着状態の合成画像を生成することができる。

（実施の形態３）
図１２は、画像処理システム１０Ｂを示す模式図である。

画像処理システム１０Ｂは、記憶装置７２と、処理装置１１と、が通信回線７４を介して接続されている。

記憶装置７２は、実施の形態１における記憶部１８を備えた装置であり、公知のパーソナルコンピュータ等である。処理装置１１は、画像処理装置１２、撮影部１４、入力部１６、及び表示部２０を備えた装置である。なお、実施の形態１と同じ機能部には同じ符号を付与して詳細な説明を省略する。通信回線７４は、インターネット等の通信回線であり、有線通信回線や、無線通信回線がある。

なお、処理装置１１は、実施の形態１の画像処理装置１２に代えて、実施の形態２の画像処理装置１２Ａを備えた構成であってもよい。

図１２に示すように、記憶部１８を、通信回線７４を介して処理装置１１に接続された記憶装置７２に設けた構成とする。この構成とすることで、複数の処理装置１１から同じ記憶部１８にアクセスすることができ、記憶部１８に記憶されているデータの一元管理が可能となる。

（実施の形態４）
次に、本実施の形態１〜実施の形態３の画像処理システム１０、画像処理システム１０Ａ、処理装置１１、記憶装置７２のハードウェア構成について説明する。図１３は、画像処理システム１０、画像処理システム１０Ａ、処理装置１１、記憶装置７２のハードウェア構成例を示すブロック図である。

画像処理システム１０、画像処理システム１０Ａ、処理装置１１、記憶装置７２は、表示部８０、通信Ｉ／Ｆ部８２、撮影部８４、入力部９４、ＣＰＵ８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、及びＨＤＤ９２等がバス９６により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８６は、画像処理システム１０、画像処理システム１０Ａ、処理装置１１、記憶装置７２の全体の処理を制御する演算装置である。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２は、上述した記憶部１８に格納されるデータを記憶する。通信Ｉ／Ｆ部８２は、外部装置や外部端末に通信回線等を介して接続し、接続した外部装置や外部端末との間でデータを送受信するためのインタフェースである。表示部８０は、上述した表示部２０に相当する。撮影部８４は、上述した撮影部１４に相当する。入力部９４は、上述した入力部１６に相当する。

なお、記憶装置７２は、撮影部８４を備えない構成であってもよい。また、詳細には、通信Ｉ／Ｆ部８２、ＣＰＵ８６、ＲＯＭ８８、及びＲＡＭ９０が、画像処理装置１２、画像処理装置１２Ａ、及び記憶装置７２のハードウェア構成に相当する。

画像処理システム１０、画像処理システム１０Ａ、処理装置１１、及び記憶装置７２における、画像処理装置１２、及び画像処理装置１２Ａで実行される上記各種処理を実行するためのプログラムは、ＲＯＭ８８等に予め組み込んで提供される。

なお、本実施の形態１〜実施の形態３で実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、本実施の形態１〜実施の形態３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態１〜実施の形態３の画像処理装置１２、及び画像処理装置１２Ａにおける上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施の形態１〜実施の形態３で実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。

なお、上記ＨＤＤ９２に格納されている各種情報、すなわち記憶部１８に格納されている各種情報は、外部装置（例えばサーバ）に格納してもよい。この場合には、該外部装置とＣＰＵ８６と、を、ネットワーク等を介して接続した構成とすればよい。

なお、上記には、いくつかの実施の形態を説明したが、上記実施の形態の画像処理装置１２、及び画像処理装置１２Ａの適用範囲は限定されない。例えば、画像処理装置１２及び画像処理装置１２Ａは、店舗などに設置された機器に搭載されていてもよいし、携帯端末やパーソナルコンピュータ、テレビなど電子機器に内蔵されていてもよい。また、画像処理装置１２及び画像処理装置１２Ａは、電子黒板システム（サイネージシステム）に適用可能である。

また、上記には、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０、１０Ａ、１０Ｂ 画像処理システム
１２、１２Ａ 画像処理装置
１８ 記憶部
２２ 第１取得部
２４ 第２取得部
２６ 第３取得部
２８ 第４取得部
３０ 第１生成部
３２ 第２生成部
３４ 第３生成部
３６ 記憶制御部

Claims (14)

1. 合成対象となる衣服の第１衣服画像を取得する第１取得部と、
   前記第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成する第１生成部と、
   前記第２衣服画像を記憶部に記憶する記憶制御部と、
   を備えた画像処理装置。
2. 前記第１生成部は、第１範囲内の第１編集値を用いて、前記第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した前記第２衣服画像を生成する、請求項１に記載の画像処理装置。
3. 前記第１範囲は、前記第１衣服画像の衣服の視覚的な特性を損なわない範囲である、請求項２に記載の画像処理装置。
4. 前記第１範囲は、複数の前記第２衣服画像を重畳したときに、下層側の前記第２衣服画像が上層側の前記第２衣服画像の領域内に収まる範囲である、請求項２に記載の画像処理装置。
5. 第１被写体の体型を示す第１体型パラメータを取得する第２取得部を備え、
   前記第１生成部は、
   前記第１衣服画像の衣服を前記第１被写体が着用した状態を示す前記第２衣服画像となるように、前記第１衣服画像を編集する、
   請求項２に記載の画像処理装置。
6. 前記第１生成部は、前記第１衣服画像の衣服の撮影方向を変更した前記第２衣服画像となるように、前記第１衣服画像を編集する、請求項１に記載の画像処理装置。
7. 前記第１被写体の第１被写体画像を取得する第３取得部と、
   前記第１被写体画像における、合成時の位置合わせに用いる基準位置情報を取得する第４取得部と、
   を備え、
   前記記憶制御部は、前記第１体型パラメータと、前記基準位置情報と、衣服または前記第１編集値の異なる複数の前記第２衣服画像と、を対応づけて前記記憶部に記憶する、
   請求項５に記載の画像処理装置。
8. 前記第１被写体の第１被写体画像を取得する第３取得部と、
   前記第１体型パラメータとは異なる第２体型パラメータの体型の第２被写体画像となるように、前記第１被写体画像を、第２編集値を用いて編集した、第２被写体画像を生成する第２生成部と、
   前記第２編集値を用いて、前記第２衣服画像を編集した第３衣服画像を生成する第３生成部と、
   を備え、
   前記記憶制御部は、前記第３衣服画像を前記記憶部に記憶する、
   請求項５に記載の画像処理装置。
9. 前記第１被写体の第１被写体画像を取得する第３取得部と、
   前記第１体型パラメータとは異なる第２体型パラメータの体型の第２被写体画像となるように、前記第１被写体画像を、第２編集値を用いて編集した、第２被写体画像を生成する第２生成部と、
   を備え、
   前記記憶制御部は、前記第２編集値を前記記憶部に記憶する、
   請求項５に記載の画像処理装置。
10. 前記第２生成部は、第２範囲内の前記第２編集値を用いて、前記第１被写体画像を編集した前記第２被写体画像を生成する、請求項８または請求項９に記載の画像処理装置。
11. 前記記憶部を備えた、請求項１に記載の画像処理装置。
12. 画像処理装置と、前記画像処理装置にネットワークを介して接続された外部装置と、を備えた画像処理システムであって、
    前記画像処理装置は、
    合成対象となる衣服の第１衣服画像を取得する第１取得部と、
    前記第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成する第１生成部と、
    前記第２衣服画像を記憶部に記憶する記憶制御部と、
    を備え、
    前記外部装置は、
    前記記憶部を備える、
    画像処理システム。
13. 合成対象となる衣服の第１衣服画像を取得するステップと、
    前記第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成するステップと、
    前記第２衣服画像を記憶部に記憶するステップと、
    を含む、画像処理方法。
14. コンピュータに、
    合成対象となる衣服の第１衣服画像を取得するステップと、
    前記第１衣服画像の、サイズと、形状と、位置と、の少なくとも１つを編集した第２衣服画像を生成するステップと、
    前記第２衣服画像を記憶部に記憶するステップと、
    を実行させるためのプログラム。

Images