JP2005216094A - 試着シミュレーション方法 - Google Patents

Abstract

【課題】顧客と服の合成画像を生成するにあたって、顧客にかける負担が少なく、かつ顧客の体形の立体的な特徴を反映させた試着画像を生成する。
【解決手段】インターネット上に開設されるＨＰ等において、被服の試着シミュレーションを行う場合、顧客画像の正面画像から第１の特徴点と、顧客画像の側面画像から第２の特徴点とを抽出する。また、試着する被服の商品画像から第３の特徴点を抽出し、第１から第３の特徴点に基づいて、顧客画像に適合するように商品画像を変形し、変形した商品画像と、顧客画像とを合成して合成画像を生成する。そして、合成画像を顧客端末２に送信して、試着シミュレーションを行わせる。
【選択図】図１

Description

本発明は、試着を希望する人物の画像に所望の被服を合成して提示する試着シミュレーション方法に関するものである。

近年、通信販売やインターネットなどの手段を用いて被服を注文し、購買するシステムが普及している。このシステムを利用するにあたって問題となるのが、店舗で試着することなく購買するため、購買者が実際に着用した際のイメージが得にくいことである。この課題を解決するために、試着を希望する被服の着用時の仮想映像を表示する試着シミュレーションに関する技術が種々開示されている。

例えば、マネキンによる基本的人物画像と、衣服を着用したマネキンの画像から切りぬいた衣服画像を外部記憶装置に格納しておく。そして、マネキンによる基本人物画像を、試着対象者の体形情報に応じて変形し、衣服画像も試着対象者の体型情報又は変形した基本的人物画像に応じて変更する。そして、この変形した両画像を合成する試着シミュレーション方法が開示されている（特許文献１参照）。

また、利用者の画像と体型データを含む個人データを個人データファイルに登録し、商品の商品画像及び寸法データを含む商品データを商品データファイルに登録しておく。そして、商品画像を利用者の体形に合うように画像処理して利用者の画像と合成し、リアルな試着画像を表示する商品試着システムが開示されている（特許文献２参照）。
特開平−４４５５６号公報 特開２００１−２７３４４６号公報

上述したように、従来の試着シミュレーション方法（例えば、特許文献１）においては、顧客の人物画像と服画像を合成するに際して顧客の体形も考慮するために、人物画像と衣服画像の特徴点を抽出し、これを人物画像や衣服画像の変形処理に使用している。しかしながら、これらの特徴点はいずれも、人体の関節部や、ウエスト側部、腎側部等、人物を正面から観察した際に得られる情報であり、厚み方向を考慮に入れていない。また、上述した商品試着システム（例えば、特許文献２）においては、これを補うものとして、身長、体重、胸囲、ヒップ囲、座高等の体形情報を取り入れることが提案されているが、これは個人情報として数値を入力する態様が示されており、顧客が自分で測定し入力する手間が係るため、購買意欲をそぐことになる。

本発明の課題は、顧客と被服の合成画像を生成するにあたって、顧客にかける負担が少なく、かつ顧客の体形の立体的な特徴を反映させた合成画像を生成することが可能な試着シミュレーション方法を提供することである。

上記課題を解決するために、請求項１記載の発明は、
試着の対象となる被写体の正面体型を含む被写体画像から当該被写体の正面体型を特徴付ける第１の特徴点を抽出する工程と、
試着の対象となる被写体の側面体型を含む被写体画像から当該被写体の側面体型を特徴付ける第２の特徴点を抽出する工程と、
商品画像から商品の形態を特徴付ける第３の特徴点を抽出する工程と、
前記第１から第３の特徴点に基づいて、前記被写体画像と商品画像とを合成した合成画像を生成する工程と、
を含むことを特徴としている。

ここで、試着の対象となる被写体は、人物に限らず、ペット等を含むものとする。被写体の正面体型を含む被写体画像は、被写体が人物である場合、顔が正面を向いている方向から撮影した画像であり、被写体がペットである場合、ペットの上側（背中側）の方向から撮影した画像であることが好ましい。また、被写体の側面体型を含む被写体画像は、被写体が人物、ペットの場合とも、顔が側面を向いている方向から撮影された画像であることが好ましい。上記を例として、本発明における被写体の正面体型または側面体型を含む被写体画像の撮影方向は、その被写体および試着する商品（服など）の特徴を踏まえ適宜選択されることが好ましい。また、本発明では正面体型を含む被写体画像と側面体型を含む被写体画像を使用し、合成画像を生成しているが、さらに異なる方向から撮影された被写体画像を追加して使用し３方向以上の合成画像を生成する形態に拡張することが可能であり拡張によって本発明の効果が同様に、またはそれ以上に発現するものであることは
いうまでもない。

請求項２記載の発明は、請求項１記載の試着シミュレーション方法において、
前記第１から第３の特徴点に基づいて前記商品画像を変形し、変形した商品画像と前記被写体画像とを合成した合成画像を生成する工程を含むことを特徴としている。

請求項３記載の発明は、請求項１又は２記載の試着シミュレーション方法において、
他の商品に関する情報を含む被服情報に基づいて、前記被写体画像に２以上の商品画像を合成した合成画像を生成する工程を含むことを特徴としている。

請求項４記載の発明は、請求項１から３のいずれか一項に記載の試着シミュレーション方法において、
商品の素材に関する情報を含む被服素材情報に基づいて商品画像を補正し、補正した商品画像と前記被写体画像とを合成した合成画像を生成する工程を含むことを特徴としている。

請求項５記載の発明は、請求項１から４のいずれか一項に記載の試着シミュレーション方法において、
商品の型紙に関する情報を含むパターン情報から商品の形態を特徴付ける第３の特徴点を抽出する工程を含むことを特徴としている。

請求項６記載の発明は、請求項１から５のいずれか一項に記載の試着シミュレーション方法において、
第１の特徴点及び第２の特徴点に基づいて、試着の対象となる人物に適する服型を特定する工程を含むことを特徴としている。

請求項７記載の発明は、請求項１から６のいずれか一項に記載の試着シミュレーション方法において、
第１から第３の特徴点に基づいて、商品に施す補整に関する情報を取得する工程を含むことを特徴としている。

請求項１記載の発明によれば、被服等の商品画像を被写体画像に適合するように合成する際に、正面体形を含む被写体画像から得られる第１の特徴点だけでなく、側面体型を含む被写体画像のから得られる第２の特徴点に基づいて、体の厚みに関する情報を取得することができるため、被写体の立体的な特徴を反映させた合成画像を生成することができる。これにより、実際に顧客が試着した場合と同様の自然な試着シミュレーションを行うことができ、顧客の満足度を満たすことができる。

請求項２記載の発明によれば、第１から第３の特徴点に基づいて商品画像を変形させるため、商品を被写体に着用させた場合に、体の関節部等に併せて商品が変形する様子を適切に再現することができ、顧客が実際に着用したのと変わらない自然な合成画像を提供することができる。

請求項３記載の発明によれば、他の商品に関する情報を含む被服情報に基づいて、前記被写体画像に２以上の商品画像を合成することにより、複数の商品画像をコーディネイトした合成画像を生成することができるため、他の商品との組み合わせを考慮しながら商品を選択することができ、顧客の満足度を向上させることができる。

請求項４記載の発明によれば、商品の素材に関する情報を含む被服素材情報に基づいて商品画像を補正し、補正した商品画像と前記被写体画像とを合成した合成画像を生成するため、商品の素材に応じた拡縮処理等を施すことができ、顧客が実際に試着した自然な雰囲気を再現することができる。

請求項５記載の発明によれば、商品の型紙に関する情報を含むパターン情報から商品の形態を特徴付ける第３の特徴点を抽出するため、パターン情報に含まれる体の厚みに関する情報を正確に取得することができる。これにより、被写体画像に好適にフィットした合成画像を生成することができる。

請求項６記載の発明によれば、第１の特徴点及び第２の特徴点に基づいて、試着の対象となる人物に適する服型を特定するため、例えば、顧客の体型に応じた服形を選択し、選択された服型に対応する商品を選別して顧客に提示することができる。これにより、顧客は、自分の体型にフィットした商品の中から気に入った商品を選択することができ、効率良く商品の試着をすることができる。

請求項７記載の発明によれば、第１から第３の特徴点に基づいて、商品に施す補整に関する情報を取得するため、商品に補整が必要な場合、補整に関する情報を入力する手間を省くことができ、正確かつ容易に補整に関する情報を取得することができる。

以下、図１〜図９を参照して本発明の実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。

まず、本実施の形態の構成を説明する。
図１は、本実施の形態における試着シミュレーションシステム１００のシステム構成を示す図である。図１に示すように、試着シミュレーションシステム１００は、サーバ１と、顧客端末２とを備えて構成され、サーバ１と顧客端末２はネットワークＮを介して相互にデータの送受信が可能なように接続されている。

サーバ１は、パーソナルコンピュータ等により構成され、インターネット上のＷｅｂサイト（WEB SITE）において、試着シミュレーションサービスを提供するためのＨＰ（Home Page）を開設する。サーバ１は、このＨＰを介して顧客端末２から各種要求指示を受信し、受信した要求指示に応じて各処理を実行し、処理結果を顧客端末２に送信する。

顧客端末２は、例えば、汎用のパーソナルコンピュータ（ＰＣ）、ノート型ＰＣ、ＰＤＡ（Personal Digital Assistant）、携帯電話等により構成され、試着シミュレーションサービスを利用する顧客に操作される端末である。顧客端末２は、Ｗｅｂページを閲覧するためのブラウザソフトを備え、顧客からの指示に応じてサーバ１の開設するＨＰにアクセスして、試着シミュレーションサービスを利用する。

ネットワークＮは、電話回線網、ＩＳＤＮ（Integrated Services Digital Network)回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線と、それらを接続するインターネットサービスプロバイダ基地局等を含む。なお、ネットワークＮは、任意な時に接続が可能であればよく、常時接続されている必要はない。また、ネットワークＮは、情報管理の信頼性の観点から、特定のユーザのみアクセス可能なセキュリティを確保しているネットワークであることが望ましい。さらに、各端末間の接続回線を有線回線として図示したが、これらは無線回線であっても良い。

次に、試着シミュレーションシステム１００を構成する各部について説明する。
まず、サーバ１について詳細に説明する。図２は、サーバ１の要部構成を示すブロック図である。図２に示すように、サーバ１は、ＣＰＵ１１、入力部１２、表示部１３、通信部１４、ＲＡＭ１５、画像処理部１６、記憶部１７等を備えて構成され、各部はバス１８により接続されている。

ＣＰＵ（Central Processing Unit）１１は、記憶部１７に格納されている各種プログラムの中から指定されたプログラムを、ＲＡＭ１５内の図示しないワークエリアに展開し、入力部１３及び通信部１４から入力されるデータに応じて、プログラムに従った各種処理を実行し、処理結果をＲＡＭ１５内のワークメモリに格納する。また、処理結果を表示するための表示情報を生成して表示部１３へ出力する。

具体的に、ＣＰＵ１１は、記憶部１７に格納された各種処理プログラムとの協働によって後述する登録処理（図５参照）、商品購入処理（図６参照）、試着シミュレーション処理１，２（図７，８参照）を実行する。なお、処理の詳細は後述する。

入力部１２は、文字キー、数字キー、及び各種機能キーを備えたキーボードを含み、このキーボードで押下されたキーに対応する押下信号をＣＰＵ１１に出力する。また、入力部１３は、必要に応じてマウス、タッチパネル等のポインティングデバイスや、その他の入力装置を備えるものとしてもよい。

表示部１３は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等によってなる表示画面を備え、ＣＰＵ１１から入力される表示信号の指示に従って入力部１２、通信部１４を介して送受信される表示データを画面上に表示する。

通信部１４は、ＬＡＮ、ＷＡＮ等のネットワークに接続された伝送媒体に接続可能なインターフェイスである。通信部１４は、モデム又はターミナルアダプタ等によって構成され、電話回線、ＩＳＤＮ回線、無線通信回線、専用線、ＣＡＴＶ回線等の通信回線を介して外部機器との通信を行うための制御を行う。

ＲＡＭ（Random Access Memory）１５は、ＣＰＵ１１によって実行される各種プログラムやこれら各種プログラムによって処理されたデータ等を一時的に記憶するワークエリアを形成する。

画像処理部１６は、後述する記憶部１７から取得した画像データに対して、必要に応じて適切な画像処理を施す。例えば、各入力方法に適した校正処理、グレーバランス調整、コントラスト調整、ネガ原稿の場合にはネガポジ反転処理等が行われる。画像データは、ＲＧＢカラー画像データ、モノクロ画像データ、ＹＭＣＫ４色画像データ等、何でもよい。また、階調数も任意であって、例えば、ＲＧＢカラー画像データの場合、各色８bit、各色１２bit等、任意の画像データを用いることができる。画像のフォーマット（ＪＰＥＧ，Ｔｉｆｆ，ｂｍｐ等）も何でもよい。ＪＰＥＧやＴｉｆｆ等、画像データと付帯情報（例えば、被服素材情報、パターン情報等）があるフォーマットの場合は、画像データと付帯情報を分離したり、付帯情報から必要な情報を取り出したりする各フォーマットに対応する処理が行われる。この画像処理部１６は、記憶部１７に格納された画像処理プログラムとＣＰＵ１１との協働によってソフトウェア処理で実現される。

記憶部１７は、プログラムやデータ等が予め記録されている記録媒体（図示せず）を有しており、この記録媒体は磁気的、光学的記録媒体、若しくは半導体メモリで構成されている。この記録媒体は、記憶部１７に固定的に設けられるもの、若しくは着脱自在に装着するものであり、この記録媒体には、システムプログラム、当該システムに対応する各種処理プログラム、及び各種処理プログラムで処理されたデータ等を記録する。また、プログラムは、コンピュータが読み取り可能なプログラムコードの形態で格納され、ＣＰＵ１１は、当該プログラムコードに従った動作を逐次実行する。

また、記憶部１７は、商品情報データベース（以下、「商品情報ＤＢ」と記す）１７１、顧客情報データベース（以下、「顧客情報ＤＢ」と記す）１７２を備えている。商品情報ＤＢ１７１は、例えば、ジャケット、スカート、セータ、靴、バッグ、アクセサリといった商品カテゴリ毎に、商品情報及び商品画像を格納している。商品情報には、商品カテゴリ名、商品名、商品番号、色、サイズ、被服素材情報、パターン情報、服型、注文番号、値段等が含まれる。また、商品画像には、マネキンに着用された状態で撮影された商品の正面画像及び側面画像が含まれる。図４（ａ）に商品画像の一例をしめす。図４（ａ）は、マネキンに着用された状態で撮影されたＴシャツの正面画像１７１ａ、側面画像１７１ｂを示す図である。

また、顧客情報ＤＢ１７２には、上述したＨＰにおいて予め登録されたユーザＩＤに対応付けて、顧客情報及び顧客画像を格納している。顧客情報には、顧客の氏名、ユーザＩＤ、パスワード、メールアドレス、電話番号、性別、年齢、職業、購買履歴情報、被服情報等が含まれる。また、顧客画像には、顧客の人物全体像を含む正面画像及び側面画像が含まれている。図４（ｂ）に顧客画像の一例を示す。図４（ｂ）は、顧客の人物全体像を含む正面画像１７２ａ、側面画像１７２ｂを示す図である。なお、顧客画像は、人体の輪郭線が強調される被服（例えば、水着、下着、レオタード等）を着用した状態で撮影された画像であることが好ましい。

次に、顧客端末２について詳細に説明する。図３は、顧客端末２の要部構成を示すブロック図である。図３に示すように、顧客端末２は、ＣＰＵ２１、入力部２２、表示部２３、通信部２４、ＲＡＭ２５、記憶部２６、Ｉ／Ｆ部２７等を備えて構成され、各部はバス２８により接続されている。なお、顧客端末２の要部構成については、上述したサーバ１の要部構成と略同一とするため、各構成部分には同列の符号を付し、詳細な説明は省略する。以下、顧客端末２に特徴的な部分について説明する。

ＣＰＵ２１は、入力部２２を介して入力される指示に応じて、記憶部２６からブラウザソフトを起動させ、サーバ１の開設するＨＰへの接続処理を実行する。そして、ＣＰＵ２１は、当該ＨＰを介して、サーバ１との間で送受信する情報に応じた各種処理を実行する。

また、Ｉ／Ｆ部１７は、フラッシュメモリーカード、スマートメディアカード、メモリスティック、ＳＤ（Secure Digital）カード、ＰＣカード、フロッピー（登録商標）ディスク、ＣＤ−Ｒ（Compact Disk-Recordable）、ＭＯ（Magneto-Optic）等の画像記録媒体、或いは、デジタルカメラ、携帯端末等に記録される画像データを入出力するための入出力インターフェイスである。

ＣＰＵ２１は、Ｉ／Ｆ部１７を介して入力された顧客画像の画像データを記憶部２６に格納させる。また、入力部２２の指示に応じて、記憶部２６から顧客画像の画像データを読み出し、通信部２４を制御してサーバ１に送信させる。

次に、本実施の形態の動作を説明する。
なお、動作説明の前提として、以下のフローチャートに記述されている各処理を実現するためのプログラムは、コンピュータが読取り可能なプログラムコードの形態で記憶部１７に格納されており、ＣＰＵ１１は、当該プログラムコードに従った動作を逐次実行する。また、上記ＣＰＵ１１は、伝送媒体を介して外部から供給されるプログラム及びデータを利用して、本実施の形態特有の動作を逐次実行することも可能である。

まず、サーバ１により開設されるＨＰを利用するためのユーザ登録を行う登録処理について説明する。図５は、サーバ１のＣＰＵ１１により実行される登録処理を示すフローチャートである。図５に示すように、ＣＰＵ１１は、通信部１４を介して、顧客端末２からアクセス要求を受信したか否か判別し（ステップＳ１）、アクセス要求を受信した場合（ステップＳ１；ＹＥＳ）、新規登録の要求であるか否かを判別する（ステップＳ２）。

新規登録の要求でない場合（ステップＳ２；ＮＯ）、要求に応じた他の処理を実行し、新規登録の要求である場合（ステップＳ２；ＹＥＳ）、ＣＰＵ１１は、顧客端末２からユーザＩＤ、顧客情報、顧客画像を受信する（ステップＳ３）。次いで、ＣＰＵ１１は、ユーザＩＤに対応するパスワードを発行して、パスワードを対応する顧客端末２に送信する（ステップＳ４）。そして、ＣＰＵ１１は、ユーザＩＤ、パスワード、顧客情報、顧客画像を顧客情報ＤＢ１７１に格納して、ユーザの登録を行い（ステップＳ５）、本登録処理を終了する。

次いで、サーバ１の開設するＨＰにおいて商品を購入するための商品購入処理について説明する。図６は、サーバ１のＣＰＵ１１により実行される商品購入処理を示すフローチャートである。図６に示すように、ＣＰＵ１１は、通信部１４を介して、顧客端末２からアクセス要求を受信したか否かを判別し（ステップＳ１１）、アクセス要求を受信した場合（ステップＳ１１；ＹＥＳ）、ＨＰの利用要求として、ユーザＩＤ及びパスワードを受信したか否かを判別する（ステップＳ１２）。

ユーザＩＤ及びパスワードを受信しない場合（ステップＳ１２；ＮＯ）、ＣＰＵ１１は、アクセス要求に応じた他の処理を実行する。一方、ユーザＩＤ及びパスワードを受信した場合（ステップＳ１２；ＹＥＳ）、ＣＰＵ１１は、顧客情報ＤＢから対応するユーザＩＤ及びパスワードを検索してユーザ認証を行い、ユーザ認証が成功したか否かを判別する（ステップＳ１３）。ここで、ユーザ認証に失敗した場合（ステップＳ１３；ＮＯ）、ＣＰＵ１１は、エラー処理を実行する。

一方、ユーザ認証に成功した場合（ステップＳ１３；ＹＥＳ）、ＣＰＵ１１は、服型の自動選択を行う指示を受信したか否かを判別する（ステップＳ１４）。服型の自動選択を行う指示を受信しない場合（ステップＳ１４；ＮＯ）、顧客端末２に商品選択画面を送信する（ステップＳ１５）。次いで、顧客端末２に表示された商品選択画面において、試着を希望する商品の商品番号が選択され、試着指示と共に商品番号が送信されると、ＣＰＵ１１は、試着指示と商品番号を受信する（ステップＳ１６）。

そして、ＣＰＵ１１は、試着シミュレーション処理１を実行する。図７を参照して、試着シミュレーション処理１について説明する。図７は、ＣＰＵ１１により商品購入処理の一部として実行される試着シミュレーション処理１を示す図である。図７に示すように、ＣＰＵ１１は、ユーザＩＤに基づいて顧客情報ＤＢ１７２から顧客画像を取得して（ステップＳ３１）、取得した顧客画像から第１の特徴点、第２の特徴点を抽出する（ステップＳ３２）。

ここで、第１の特徴点、第２の特徴点について図９を参照して説明する。図９（ａ）は、正面人体骨格図において第１の特徴点を示す図であり、図９（ｂ）は、側面人体骨格図において第２の特徴点を示す図である。第１の特徴点とは、人物の正面体型を特徴づける点をいい、例えば、四肢の間接点や付け根など、被服を着用するにあたって有用な箇所である。具体的には、図９（ａ）に示すように、首側部ａ、肩峰点ｂ、腋ｃ、肘ｄ、手首ｅ、ウエスト側部ｆ、腎側部ｇ、大腿部の付け根ｈ、膝側部ｉ、橈骨茎突点ｊ、橈骨点ｋ、外果最外突出点ｌ、大腿骨外側上顆点ｍ、転子点ｎ等が挙げられ、適宜設定することが可能である。

第２の特徴点とは、人物の側面体型を特徴付ける点をいい、例えば、ウエスト側部ｆ、トップバストｏ、アンダーバストｐ、下腹部ｑ、腎部ｒ、大腿部ｓ等が挙げられ、適宜設定することが可能である。顧客画像から第１の特徴点、第２の特徴点を抽出する方法としては、顧客画像の正面画像、側面画像から、人物の輪郭線をそれぞれ抽出し、抽出された輪郭線上の特徴点を抽出する方法が挙げられる。正面画像及び側面画像から人物の輪郭線を抽出する方法としては、公知の方法が用いられるものとする。例えば、彩度や色相値といった色値を利用して、特定色がおおよそ連続する領域を顔領域とする手法や、画像からエッジを抽出するなどして特定の形状パターンを抽出する方法、パターンマッチングやニューラルネットワークの手法を利用する手法、またはこれらを組み合わせた手法など、当業界で知られる公知公用の手法を採用することができる。

具体的には、以下に記載された公知の方法を適用することが可能である。
・２次元または３次元の色座標上に、予め定めた色領域に含まれる測定点を肌色と定義し、肌色と判断した測定点の数が１３個以上ある場合に、画像中に肌色があると判定する手法（特開昭52-156624）。
・元画像を画像を多数画素に分割し、各画素のBGR値から色相値と彩度値のヒストグラムを作成し、その形状からヒストグラムを分割、分割した各部位に相当する各画素で構成される領域に画像を分割し、左記複数の領域から顔に相当する領域を推定する手法（特開平4-346332）。
・色相値、彩度値、輝度値などのヒストグラムに基づいて肌色領域を決定し、この肌色領域を顔領域とする方法（特開平6-309433、特開平6-67320、特開平5-158164、特開平5-165120）。
・探索範囲内のエッジ強度を比較し輪郭抽出を行う手法。画像中の複数点の濃度または輝度を測定してその変化量を求め、変化量が所定値以上の点を基準点として設定した後に、基準点から所定範囲内で濃度等の変化量等を用いて検索範囲および検索方向パターンを設定し、検索範囲内で検索方向パターンが示す方向における濃度等の変化量が所定値以上の箇所を検索して、次いでこの箇所を基準として検索を行うことを繰り返し、検索・設定した基準点を結んで特定箇所を抽出する方法（特開平9-138471）。
・肌色領域を抽出し、非エッジ部分の領域を抽出し顔領域とする手法（特開平9-101579）。

・部分パーツを抽出し、合成して主要被写体画像候補とし判定する手法（特開平11-316845）。
・個々に重み係数を設定した複数の抽出方法の結果を、前記重み係数により重み付けした結果に基づいて顔に相当する領域である確度の高い領域を顔領域として抽出する手法（特開平9-138470）。
・複数の顔テンプレートを用意し、この顔テンプレートと画像とのテンプレートマッチングを行って顔領域候補を抽出した後に、顔領域候補内における肌色の分布に基づいて顔領域を抽出する方法（特開平8-63597）。
・画像に２値化等の処理を施して複数の領域に分割、該複数の領域から顔に相当する領域である確度が最も高い領域を抽出する手法（特開平8-184925）。
・ニューラルネットワークにより顔領域を抽出する方法（特開平5-210739、特開平5-274438、特開平5-274439、特開平5-307537、特開平5-307605、特開平5-282457、特開平6-214970、特開平6-309457、特開平7-234856、特開平8-87589）。
・ラインプロセス法を用いた手法（特開平8-221567、特開2000-20694、特開2000-32272、特開2000-201358、特開2000-207569）
等々の手法があるが、これは一例であり、これに限定するものではない。

また、上記手法のほかにも、表示部１３のモニタ上で、マウスやライトペンなどを用いて、オペレータが手動で人物の輪郭線を指定することで抽出してもよく、これを補助手段として、上記にあげた抽出方法と併用してもよい。また、絶対的な縮尺を得るために、伸長など新たに測定せずとも顧客が認識している身体測定情報を画像に関連付けたり、人物画像の撮影の際に、被写体が所定の大きさとなるように調整することが好ましい。

図７に戻り、ＣＰＵ１１は、上述した処理と並行して、商品番号に基づいて商品情報ＤＢ１７１から商品画像を取得し（ステップＳ３３）、商品画像から第３の特徴点を抽出する（ステップＳ３４）。第３の特徴点は、商品である被服の形態を特徴付ける点をいい、顧客画像から抽出される第１の特徴点、第２の特徴点から適宜選択された特徴点のうち、被服上で相対する箇所が設定される。第３の特徴点の抽出方法としては、マネキンに着用させて撮影した商品画像の正面画像及び側面画像から被服の輪郭線を抽出し、第１の特徴点、第２の特徴点に相対する特徴点を抽出する。なお、第３の特徴点は、型紙などのパターン情報から所定の特徴点を抽出する構成であってもよい。

続いて、ＣＰＵ１１は、抽出した第１から第３の特徴点に基づいて、商品画像を変形する（ステップＳ３５）。そして、ＣＰＵ１１は、顧客画像と変形した商品画像とを合成して合成画像を生成する（ステップＳ３６）。さらに、ＣＰＵ１１は、商品画像に対応する被服素材情報が商品情報ＤＢ１７１に登録されているか否かを判別し（ステップＳ３７）、被服素材情報が登録されている場合（ステップＳ３７；ＹＥＳ）、商品情報ＤＢ１７１から被服素材情報を取得して、被服素材情報に基づいて合成画像の補正を行う（ステップＳ３８）。ここで、被服素材情報とは、生地の素材、伸縮率等を含む情報である。例えば、リブ編みのセータであれば、伸縮率が大きいため、顧客が着用した場合の伸び率を考慮した補正が行われる。また、生地の素材が皮革であれば、顧客が着用しても殆ど伸縮しないため、型崩れ等が生じないような補正が行われる。

また、ＣＰＵ１１は、試着指示に服飾情報が含まれていたか否かを判別する（ステップＳ３９）。ここで、服飾情報とは、過去に顧客が購入又は試着した商品等、他のカテゴリに属する商品の商品番号を含む情報であり、服飾情報が含まれていた場合は、服飾情報に含まれる商品を現在試着している商品とコーディネイトした合成画像を生成して顧客に提示する。すなわち、ＣＰＵ１１は、服飾情報が含まれていたい場合（ステップＳ３９；ＹＥＳ）、服飾情報に含まれる商品番号に基づいて、商品情報ＤＢ１７１から商品画像を取得して、ステップＳ３３〜Ｓ３８の処理を繰り返して実行する。

なお、上述した処理においては、第１から第３の特徴点に基づいて、商品画像を変形し、顧客画像と合成した後に、被服素材情報、服飾情報に基づいて、さらに商品画像を変形する場合を例として説明したが、処理の順番は上述した例に限らない。例えば、ステップＳ４３において第１から第３の特徴点を抽出した後に、被服素材情報や服飾情報の有無を確認し、これらの情報がある場合には、これらの情報を取得して、第１から第３の特徴点と取得した情報とに基づいて商品画像を変形する構成であってもよい。これによれば、一度の変形処理で商品画像を最適な形に変形することができるため、効率良く処理を行うことができる。

そして、ＣＰＵ１１は、生成した合成画像を顧客端末２に送信する（ステップＳ４０）。続いて、ＣＰＵ１１は、顧客端末２から補整情報を受信したか否かを判別する（ステップＳ４１）。補整情報とは、被服を補整するための情報であり、例えば、丈つめ、裾つめ、裾だし、セミオーダ等の情報を含むものである。補整情報を受信した場合（ステップＳ４１；ＹＥＳ）、ＣＰＵ１１は、補整情報に応じて被服画像さらに補正して合成画像を生成する（ステップＳ４１）。そして、当該合成画像を顧客端末２に送信し（ステップＳ４０）、さらなる補整情報を受信しない場合（ステップＳ４１；ＮＯ）、ＣＰＵ１１は、本試着シミュレーション処理１を終了して、商品購入処理に移行する。

図６に戻り、シミュレーション処理１を終了したＣＰＵ１１は、ステップＳ１９に移行して、顧客端末２から試着を終了する指示を受信したか否かを判別する（ステップＳ１９）。試着を終了する指示を受信した場合（ステップＳ１９；ＹＥＳ）、商品購入の指示を受信したか否かを判別する（ステップＳ２０）。そして、商品購入の指示を受信した場合（ステップＳ２０）、ＣＰＵ１１は、商品情報、顧客情報、補整情報がある場合は補整情報を取得して、決済処理を行う（ステップＳ２１）。そして、決済処理終了後、本商品購入処理を終了する。一方、商品購入の指示を受信しなかった場合（ステップＳ２０；ＮＯ）、ＣＰＵ１１は、本商品購入処理を終了する。

また、ステップＳ１４に戻り、ユーザ端末２から服型の自動選択を行う指示を受信した場合（ステップＳ１４；ＹＥＳ）、ＣＰＵ１１は、試着シミュレーション処理２を実行する（ステップＳ１８）。図８を参照して、試着シミュレーション処理２について説明する。図８は、ＣＰＵ１１により商品購入処理の一部として実行される試着シミュレーション処理２を示すフローチャートである。図８に示すように、ＣＰＵ１１は、ユーザＩＤに基づいて、顧客情報ＤＢ１７２から顧客画像の正面画像及び側面画像（図４（ｂ）参照）を取得する（ステップＳ５１）。

次いで、ＣＰＵ１１は、取得した正面画像及び側面画像から第１の特徴点、第２の特徴点を抽出する（ステップＳ５２）。そして、抽出した第１の特徴点、第２の特徴点に基づいて、顧客の服型を決定する（ステップＳ５３）。ここで、服型とは、例えば、日本人の体型を分析してＪＩＳ規格のサイズに合わせて作られた体型に基づいて製作されるものである。服型には、例えば、Ｙ型（少女っぽさの残るやや屈伸体型）、Ａ型（バランスのとれた、カバー率の高い標準的な体型）、ＡＢ型（Ａ体型よりもウエストとヒップが、やや太い体型）、Ｂ型（ＡＢ型よりもさらにウエスト、ヒップが太い肥満体型）等がある。

ＣＰＵ１１は、顧客の服型を決定すると（ステップＳ５３）、決定された服型に該当する商品が選別された商品選択画面を生成して、生成した商品選択画面を顧客端末２に送信する（ステップＳ５４）。次いで、顧客端末２に表示された商品選択画面において、試着を希望する商品の商品番号が選択され、試着指示と共に商品番号が送信されると、ＣＰＵ１１は、試着指示と商品番号を受信する（ステップＳ５５）。

ＣＰＵ１１は、受信した商品番号に基づいて商品情報ＤＢ１７１から商品画像を取得し（ステップＳ５６）、商品画像から第３の特徴点を抽出する（ステップＳ５７）。続いて、ＣＰＵ１１は、抽出した第１から第３の特徴点に基づいて、商品画像を変形する（ステップＳ５８）。そして、ＣＰＵ１１は、顧客画像と変形した商品画像とを合成して合成画像を生成する（ステップＳ３６）。さらに、ＣＰＵ１１は、商品画像に対応する被服素材情報が商品情報ＤＢ１７１に登録されているか否かを判別し（ステップＳ６０）、被服素材情報が登録されている場合（ステップＳ６０；ＹＥＳ）、商品情報ＤＢ１７１から被服素材情報を取得して、被服素材情報に基づいて合成画像の補正を行う（ステップＳ３８）。

また、ＣＰＵ１１は、試着指示に服飾情報が含まれていたか否かを判別し（ステップＳ６２）、服飾情報が含まれていた場合（ステップＳ６２；ＹＥＳ）、ステップＳ５６に移行して、服飾情報に含まれる商品番号に基づいて、商品情報ＤＢ１７１から商品画像を取得して、ステップＳ５６〜Ｓ６１の処理を繰り返して実行する。そして、ＣＰＵ１１は、生成した合成画像を顧客端末２に送信する（ステップＳ６３）。

続いて、ＣＰＵ１１は、顧客端末２から補整情報を受信したか否かを判別し（ステップＳ６４）、補整情報を受信した場合（ステップＳ６４；ＹＥＳ）、補整情報に応じて被服画像さらに補正して合成画像を生成する（ステップＳ６５）。そして、当該合成画像を顧客端末２に送信し（ステップＳ６３）、さらなる補整情報を受信しない場合（ステップＳ６４；ＮＯ）、ＣＰＵ１１は、本試着シミュレーション処理２を終了して、商品購入処理に移行する。

図６に戻り、シミュレーション処理２を終了したＣＰＵ１１は、ステップＳ１９に移行して、顧客端末２から試着を終了する指示を受信したか否かを判別する（ステップＳ１９）。試着を終了する指示を受信した場合（ステップＳ１９；ＹＥＳ）、ＣＰＵ１１は、商品購入の指示を受信したか否かを判別し（ステップＳ２０）、商品購入の指示を受信した場合（ステップＳ２０；ＹＥＳ）、商品情報、顧客情報、補整情報がある場合は補整情報を取得して、決済処理を行う（ステップＳ２１）。そして、決済処理終了後、本商品購入処理を終了する。一方、商品購入の指示を受信しなかった場合（ステップＳ２０；ＮＯ）、ＣＰＵ１１は、本商品購入処理を終了する。

以上のように、本実施の形態によれば、インターネット上に開設されるＨＰ等において、被服の試着シミュレーションを行う場合、顧客画像の正面画像から第１の特徴点と、顧客画像の側面画像から第２の特徴点とを抽出する。また、試着する被服の商品画像から上記第１の特徴点と第２の特徴点に対応する第３の特徴点を抽出し、第１から第３の特徴点に基づいて、顧客画像に適合するように商品画像を変形し、変形した商品画像と、顧客画像とを合成して合成画像を生成する。そして、合成画像を顧客端末２に送信して、試着シミュレーションを行わせる。

したがって、被服の商品画像を顧客画像に適合するように合成する際に、顧客画像の側面画像から得られる第２の特徴点に基づいて、体の厚みに関する情報を取得することができるため、顧客の立体的な特徴を反映させた合成画像を生成することができる。これにより、実際に顧客が試着した場合と同様の自然な試着シミュレーションを行うことができ、顧客の満足度を満たすことができる。

また、顧客の体型情報を、顧客画像から取得するため、顧客又はオペレータ等は手入力より身長、体重、ウエスト、ヒップ等の体型情報を入力する必要がなく、容易かつ的確に顧客の体型情報を取得させることができる。これにより、顧客が試着シミュレーションサービスを利用する際の負担を軽減させることができ、顧客の利用を促進させることができる。

また、合成画像を生成する際に、商品情報に含まれる被服素材情報に基づいて、拡縮処理を施す等の商品の素材に応じた補正を行うため、顧客が実際に試着した自然な雰囲気を再現することができる。さらに、合成画像を顧客に送信した後、補整情報を受信した場合、補整情報にしたがって、丈つめ、裾つめ、裾だし、セミオーダ等を行うため、顧客の体型にフィットさせた合成画像を提示することができる。或いは、試着指示に服飾情報が含まれる場合、服飾情報に含まれる商品番号を取得して、該当する商品画像をコーディネイトした合成画像を生成するため、他の商品との組み合わせを考慮しながら商品を選択することができ、顧客の満足度を向上させることができる。

また、服型を自動で選択する指示が入力された場合、顧客画像から抽出される第１の特徴点及び第２の特徴点に基づいて、顧客の体型に応じた服形を選択し、選択された服型に対応する商品を選別して顧客に提示することができる。これにより、顧客は、自分の体型にフィットした商品の中から気に入った商品を選択することができ、効率良く商品の試着をすることができる。

なお、上述した本実施の形態における記述は、本発明に係る好適な試着シミュレーション方法の一例であり、これに限定されるものではない。例えば、本実施の形態において、第３の特徴点を抽出する方法は、マネキンに着用させて撮影した商品画像の正面画像及び側面画像から被服の輪郭線を抽出し、第１の特徴点、第２の特徴点に相対する特徴点を抽出する場合を例として説明を行ったが、これに限定されない。他の方法として、平面に置かれた状態で撮影された被服の商品画像から被服の輪郭線を抽出し、人体の幅と厚みの平均的な割合（例えば、４対１）に応じて商品画像の幅と厚みを演算し、演算結果から第１の特徴点、第２の特徴点に相対する特徴点を抽出する構成であってもよい。

この方法によれば、商品画像をマネキンに着用させる手間や、商品の正面及び側面の２枚の画像を準備する必要がないため、商品画像を生成する手間及びコストを省くことができる。また、商品情報ＤＢ１７１のデータ容量の低減を図ることができる。或いは、平面状態で撮影された商品画像に型紙等のパターン情報が付帯され、パターン情報に基づいて第３の特徴点が抽出される構成であってもよい。この構成によれば、型紙情報に含まれる厚みに関する情報を正確に取得することができるため、顧客画像に好適にフィットした合成画像を生成することができる。

また、本実施の形態においては、顧客端末２に合成画像を送信し、提示された合成画像を閲覧した顧客から補整情報を受信した場合に、受信した補整情報に応じて商品画像を補正して再度、合成画像を生成する場合を例として説明を行ったが、この形態に限定されない。例えば、顧客端末２からは補整指示のみを受信し、補整指示に応じて、サーバ１のＣＰＵ１１が第１から第３の特徴点に基づいて補整情報を生成し、当該補整情報に基づいて商品画像を補正する構成であってもよい。或いは、サーバ１のＣＰＵ１１は、合成画像を生成した際に、被服の補整が必要かどうかを判別し、補整が必要であると判別した場合、第１から第３の特徴点に基づいて補整情報を生成し、当該補整情報に基づいて商品画像を補正する構成であってもよい。この構成によれば、顧客による補整情報の入力等の手間を必要とせずに、補整が施された商品画像を試着した合成画像を提示することができる。

また、顧客端末２は、顧客が一度の利用（例えば、１回のログイン）で試着した商品画像を試着履歴として所定数ＲＡＭ２５に記憶しておくことにより、サーバ１に再度アクセスすることなく、試着する商品画像の入れ換えを行える構成としてもよい。この構成によれば、複数の商品の選択を迷った場合に、速やかに複数の合成画像を再表示させることができ、商品画像を試着した合成画像を見比べることにより、容易に商品選択を行うことができる。

また、本実施の形態においては、商品情報が被服である場合を例として説明を行ったが、例えば、帽子、靴、アクセサリー等、人体に着用するものであれば何でもよい。また、顧客画像の被写体は、人物に限らず、例えば、ペット（例えば、犬や猫）等の画像であってもよい。顧客画像の被写体がペットである場合、正面画像は、ペットを上側（背中側）から撮影した画像であることが好ましい。また、側面画像は、ペットの側面側から撮影した画像で対応可能である。上記を例として、本発明における被写体の正面体型または側面体型を含む被写体画像の撮影方向は、その被写体および試着する商品（服など）の特徴を踏まえ適宜選択されることが好ましい。また、本発明では正面体型を含む被写体画像と側面体型を含む被写体画像を使用し、合成画像を生成しているが、さらに異なる方向から撮影された被写体画像を追加して使用し３方向以上の合成画像を生成する形態に拡張することが可能であり拡張によって本発明の効果が同様に、またはそれ以上に発現するものであることはいうまでもない。さらに、上述した第１の特徴点及び第２の特徴点の例示は一例であり、その他種々の体型箇所を特徴点として抽出することが可能である。

また、本実施の形態においては、サーバ１と顧客端末２とかネットワークを介して接続され、サーバ１により開設されたＨＰ上で試着シミュレーションのサービスを提供する場合を例として説明を行ったが、これに限定されない。例えば、店頭に設置されるサーバ１が上述した処理をスタンドアローンで実行することにより、店頭にて試着シミュレーションサービスを提供する構成であってもよい。この構成によれば、顧客は店頭で気に入った商品について、試着室にて着替えることなく、商品を試着したイメージを的確に捉えることができるため、手軽かつ短時間でショッピングを楽しむことができる。また、種々の商品を手軽に試すことができるため、商品の購買意欲を刺激して、販売増加に貢献することができる。

その他、本実施の形態における試着シミュレーションシステム１００の構成部分の細部構成、及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明を適用した実施の形態における試着シミュレーションシステム１００のシステム構成を示す図である。 図１に示すサーバ１の要部構成を示す図である。 図１に示す顧客端末２の要部構成を示す図である。 （ａ）図２に示す商品情報ＤＢ１７１に格納される商品画像の一例を示す図である。（ｂ）図２に示す顧客情報ＤＢ１７２に格納される顧客画像の一例を示す図である。 図２のＣＰＵ１１により実行される登録処理を示すフローチャートである。 図２のＣＰＵ１１により実行される商品購入処理を示すフローチャートである。 図６の商品購入処理の一部として実行される試着シミュレーション処理１を示すフローチャートである。 図６の商品購入処理の一部として実行される試着シミュレーション処理２を示すフローチャートである。 （ａ）正面人体骨格図に第１の特徴点を示す図である。（ｂ）側面人体骨格図に第２の特徴点を示す図である。

符号の説明

１ サーバ
１１ ＣＰＵ
１２ 入力部
１３ 表示部
１４ 通信部
１５ ＲＡＭ
１６ 画像処理部
１７ 記憶部
１７１ 商品情報ＤＢ
１７２ 顧客情報ＤＢ
１８ バス
２ 顧客端末
２１ ＣＰＵ
２２ 入力部
２３ 表示部
２４ 通信部
２５ ＲＡＭ
２６ 記憶部
２７ Ｉ／Ｆ部
２８ バス
Ｎ ネットワーク
１００ 試着シミュレーションシステム

Claims (7)

1. 試着の対象となる被写体の正面体型を含む被写体画像から当該被写体の正面体型を特徴付ける第１の特徴点を抽出する工程と、
   試着の対象となる被写体の側面体型を含む被写体画像から当該被写体の側面体型を特徴付ける第２の特徴点を抽出する工程と、
   商品画像から商品の形態を特徴付ける第３の特徴点を抽出する工程と、
   前記第１から第３の特徴点に基づいて、前記被写体画像と商品画像とを合成した合成画像を生成する工程と、
   を含むことを特徴とする試着シミュレーション方法。
2. 前記第１から第３の特徴点に基づいて前記商品画像を変形し、変形した商品画像と前記被写体画像とを合成した合成画像を生成する工程を含むことを特徴とする請求項１記載の試着シミュレーション方法。
3. 他の商品に関する情報を含む被服情報に基づいて、前記被写体画像に２以上の商品画像を合成した合成画像を生成する工程を含むことを特徴とする請求項１又は２記載の試着シミュレーション方法。
4. 商品の素材に関する情報を含む被服素材情報に基づいて商品画像を補正し、補正した商品画像と前記被写体画像とを合成した合成画像を生成する工程を含むことを特徴とする請求項１から３のいずれか一項に記載の試着シミュレーション方法。
5. 商品の型紙に関する情報を含むパターン情報から商品の形態を特徴付ける第３の特徴点を抽出する工程を含むことを特徴とする請求項１から４のいずれか一項に記載の試着シミュレーション方法。
6. 第１の特徴点及び第２の特徴点に基づいて、試着の対象となる人物に適する服型を特定する工程を含むことを特徴とする請求項１から５のいずれか一項に記載の試着シミュレーション方法。
7. 第１から第３の特徴点に基づいて、商品に施す補整に関する情報を取得する工程を含むことを特徴とする請求項１から６のいずれか一項に記載の試着シミュレーション方法。

Images