以下、添付図面を参照しながら、この明細書に記載の実施例について詳しく説明する。この明細書では、互いに異なる実施例であっても同一・類似する構成については同一・類似する参照番号を付与して重複する説明は省略する。この明細書で使用される単数の表現は文脈上明白に違う意味でない限り、複数の表現を含む。また、本発明の実施例を説明するにあたり、関連する公知の技術に関する具体的な説明が本発明の要旨をあいまいにし得ると判断された場合は、その詳細な説明を省略する。また、添付図面はこの明細書に開示された実施例を簡単に理解できるようにするためのものであり、添付図面によってこの明細書に開示された技術的思想が制限されることはない。
図2は本発明による一実施例のオンラインシステムを示す図である。
家庭などの室内には特定のユーザが制御できる複数の家電製品が配置される。また、室内には特定のユーザが着用できる複数の衣類(A)が配置又は保管される。
複数の電子製品は、衣類を登録するための衣類登録装置と、衣類を推薦するための衣類推薦装置を含む。衣類登録装置と衣類推薦装置は家電製品として備えられる。
このとき、家電製品が衣類を登録する機能を行う場合は、衣類登録装置と命名され、衣類を推薦する機能を行う場合には、衣類推薦装置と命名される。
即ち、衣類登録装置と衣類推薦装置は機能の観点で定義されるものであり、洗濯機、冷蔵庫、掃除機及び外部端末などの家電製品が衣類を登録する機能を有するときは衣類登録装置と区分され、衣類を推薦する機能を有するときには衣類推薦装置と命名される。
言い換えれば、衣類を熱風又はスチームで再生する衣類装置が衣類を登録する場合は衣類登録装置であり、衣類を推薦する機能を有するときには衣類推薦装置である。
即ち、衣類装置に衣類推薦機能と衣類登録機能がある場合は、衣類登録装置と衣類推薦装置の両方に該当する。
複数の家電製品は、複数の衣類(A)のいずれかを洗剤などで洗濯及び乾燥する洗濯装置300と、複数の衣類(A)のいずれかに熱風やスチームを供給して再生する衣類装置100を含む。
複数の衣類(A)は、コートやジャンパーのような1つ以上の外套(A1、ワイシャツ、ブラウス又はTシャツのような1つ以上の上衣(A2、ズボンやスカートのような1つ以上の下衣(A3)、及びかばん、サングラス、貴金属、スカーフのようなアクセサリー(A4)のうちのいずれかを含む。ワンピースのように上衣又は下衣に分離されないものは外套と統称する。
衣類装置100は、衣類(A)のうちのいずれかを再生する任意のコースやオプションを行う命令が入力される衣類入力部150と、コースやオプションの状態を表示する衣類表示部140とを含む。また洗濯機300は、衣類(A)のうちのいずれかを洗濯する任意のコースやオプションを行う命令が入力される洗濯入力部350と、コースやオプションの状態を表示する洗濯表示部340とを含む。これにより、ユーザは衣類装置100又は洗濯機300に意図する衣類(A)を投入した後、直接命令を入力して衣類装置100又は洗濯機300を個々に制御及び作動することができる。
一方、洗濯装置300及び衣類装置100を遠隔で制御するか、又は洗濯装置300及び衣類装置100を互いに連係して作動させることを望むユーザもいる。また、洗濯装置300及び衣類装置100の様々な機能を積極熟知又は活用することを望むユーザもいる。
このために、ユーザが洗濯装置300及び衣類装置100を遠隔で制御するか又はペアリング(pairing)を行えるサーバー600を含むオンラインシステムが提供される。
サーバー600は洗濯装置300及び衣類装置100に必要な地域情報や天気情報を含む外部情報も提供し、各種プログラムの伝達及び更新などを行うこともできる。サーバー600は衣類装置100及び洗濯装置300を製作して販売する販売者により提供されることができる。これにより、衣類装置100及び洗濯装置300はサーバー600に通信連結されてサーバー600から送信された命令を行うか、又はサーバー600から提供された情報やアルゴリズムを使用することができる。
なお、衣類装置100や洗濯装置300はサーバー600と直接通信連結されることもできるが、AP500に接続してサーバー600と通信することもできる。
したがって、サーバー600はAP500により衣類装置100及び洗濯装置300の固有のデバイスIDを登録したり、AP500のポート情報やIP情報を衣類装置100及び洗濯装置300に連係して貯蔵したりすることができる。
一方、衣類装置100や洗濯装置300を使用するユーザには、衣類装置100及び洗濯装置300を遠隔で制御するサービス要請を受け付けるか、又はサーバー600に特定の機能を求めることを望む場合もある。
したがって、本発明の一実施例において、オンラインシステムは、ユーザがサーバー600に直ちに接続して衣類装置100と洗濯装置300を制御するか又はサーバー600で提供する各種のサービスを要請する外部端末400を含む。外部端末400は携帯端末、スマートフォン、ノートパソコン、PCなどのように家電製品やサーバーとは別途に設けられる機器を意味し、外部と通信可能に通信モジュールを有する機器を含む。
外部端末400にはサーバー600に接続できる応用プログラム(Application)が設けられる。よって、外部端末400はサーバー600と直接通信し、サーバー600は衣類装置100及び洗濯装置300と通信することができる。
これにより、ユーザは外部端末400により遠隔サービスを要請し、サービスの実行及び完了などの情報も容易に把握することができる。また、衣類装置100及び洗濯装置300は外部端末400と直接通信連結されなくても、外部端末400により制御されることができる。
一方、衣類装置100は洗濯装置300よりも通常長く形成される。即ち、一般的に衣類装置100は広げられた衣類をそのまま収容するために、高さが幅よりも長く形成される。例えば、衣類装置100はユーザの背よりも高く形成される。また、衣類装置100の特性上、衣類装置100は家庭内で衣類(A)を保管するところに配置される。したがって、衣類装置100が鏡などの役割を果たせば、ユーザは衣類(A)を着るとき、鏡があるところまで移動する必要がない。
このために、衣類装置100はさらに露出面にユーザが衣類を着用した状態を表示するフィッティング部200を含む。フィッティング部200は光を反射するパネルからなり、ユーザの身体をそのまま映すように備えられる。また、フィッティング部200は高さが幅よりも長く形成されて、ユーザの全身が最大限反射されるように備えられる。したがって、ユーザは衣類装置100で再生された衣類(A)を把持又は着用してその状態を確認することができ、衣類装置100の付近に保管されている衣類(A)を把持又は着用して状態を確認することができる。
フィッティング部200が衣類装置100に表示されたことに基づいて説明したが、これは一実施例に過ぎず、フィッティング部200は洗濯機300、冷蔵庫又は掃除機などの家電製品、或いは外部端末400に備えられることもできる。
なお、ユーザは複数の衣類(A)のうち、どの衣類が自分に似合うか、又は複数の衣類(A)をどのように組み合わせて着用すればいいか分からない場合がある。
また、ユーザの背が高くなったり体重が変化したりして、複数の衣類(A)のうち、どの衣類が自分に似合うか、似合わないかを認知できない場合もある。
このような状況でユーザは複数の衣類(A)を繰り返して着用して確認しなければならず、この場合、繰り返して着用しても着用した衣類が自分に適するか否か確信がない場合がある。
このために、本発明による一実施例において、オンラインシステムは、フィッティング部200によりユーザが複数の衣類を直接着用しなくても、ユーザが複数の衣類を着用した状態を間接的に確認できる仮想フィッティング(virtual fitting)サービスを提供する。具体的には、本発明によるオンラインシステムは、フィッティング部200に表示されたユーザの映像や画面に複数の衣類(A)をレンダリングした状態を表示することができる。
なお、複数の衣類はユーザが購買しようとする購買対象衣類であるか、或いはユーザが直接所蔵している衣類である。言い換えれば、ユーザは今後購買する衣類のうち、自分に似合うか又は必要な衣類を知りたい場合もあるが、現在直接保有している衣類のうち、どの衣類が自分に適するかを知りたい場合もある。
本発明による一実施例において、オンラインシステムは、ユーザが購買する衣類だけではなく、保有している衣類をもって仮想フィッティングサービスを提供又は推薦するために、ユーザが保有している複数の衣類(A)の材質、形状、サイズ、体積及び色をそれぞれ認識して貯蔵するように備えられる。
また、本発明による一実施例において、オンラインシステムは、ユーザの背、体重、腕と足などの長さ及び体積などを認識して貯蔵することにより、ユーザが衣類を着用した状態を演算することができる。
これにより、本発明による一実施例において、オンラインシステムは、現在の天気、ユーザの好み、流行のいずれかを考慮して、複数の衣類(A)のうち、特定の衣類をユーザに推薦するように備えられる。また、複数の衣類(A)以外に、さらに必要な衣類を演算してユーザに購買を勧めるように備えられる。
具体的には、本発明による一実施例において、オンラインシステムは、ユーザが保有している衣類の情報、ユーザが購買できる衣類の情報、ユーザの身体情報、ユーザの日程、ユーザの好み、現在流行する衣類、天気情報などを全て考慮して、フィッティング部200により適する衣類を推薦したり購買を勧めたりする。このとき、本発明の一実施例によるオンラインシステムが推薦する衣類自体をユーザに推薦するが、ユーザの映像に直接衣類を実際のようにレンダリングして視覚的に衣類を着用したように表示して推薦することもできる。
なお、家電製品のうち、衣類装置100及び洗濯機300はいずれも衣類を処理する装置である。よって、ユーザは保有した衣類を衣類装置100で再生するか、或いは洗濯機300で洗濯するかを正確に分からない場合もある。
したがって、本発明の一実施例によるオンラインシステムにおいては、衣類装置100が衣類のシワ又は汚染度を把握して、汚染度がひどい場合には、洗濯機300で洗濯することを表示するように備えられる。さらに、衣類装置100は洗濯機300に衣類の汚染度又は材質をサーバー600やAP500などにより、或いは直接伝達して、洗濯機300が適するコースやオプションを決定するようにすることもできる。
なお、ユーザは衣類装置100が提供するコース又はオプションを正確に認知又は熟知できない場合もある。よって、本発明の一実施例によるオンラインシステムにおいては、衣類装置100が衣類のシワ又は汚染度を分析して適するコース又はオプションを自動的に決定するようにすることができる。
図3は上記機能を行える本発明によるオンラインシステムの構造の一実施例を示す図である。
本発明の一実施例によるオンラインシステムにおいて、外部端末400は、外部端末を作動させる命令を入力する端末入力部430と、外部端末400の状態及びサーバー600などから受信した情報を表示する端末表示部440と、遠隔地に備えられたサーバー600などと通信するように備えられる遠距離通信モジュール451と、近隣に備えられた衣類装置100や洗濯装置300などの家電製品と通信するように備えられる近距離通信モジュール452と、外部端末の構成を制御する端末制御部420と、端末入力部や通信モジュールから受信された情報を貯蔵する端末貯蔵部410とを含む。
近距離通信モジュールはWIFI、Bluetooth、ZigBeeなどの無線周波数(Radio Frequency)などの一定距離内の通信装置と通信するように備えられる装置であり、遠距離通信モジュールは3G、LTE、4Gなどの基地局又は通信網を用いて遠隔地の通信装置と通信するように備えられる装置である。
本発明の一実施例において、サーバー600は外部端末400と通信するか、衣類装置100又は洗濯機300などの家電製品と通信するか、又はAP300と通信するように備えられる通信装置610と、各種の制御信号を生成又は分析する演算処理装置620と、外部端末、家電製品、演算処理装置などで生成されるか或いは受信された情報を貯蔵する貯蔵装置630とを含む。
具体的には、サーバー600の貯蔵装置630には、ユーザの外部端末400や衣類装置100又は洗濯機300などの家電製品で得たユーザの所蔵衣類情報(AI)、ユーザの身体情報(BI)、ユーザが位置するか又は位置し得る背景情報(DI)、ユーザと主に同行する他人の身体情報や他人の衣類情報を含む他人情報(EI)、及びユーザがオンラインで購買するために必要な決済情報(FI)が貯蔵される。所蔵衣類情報(AI)、ユーザの身体情報(BI)などは外部端末400や家電製品に備えられるフィッティング部200により収集されて貯蔵される。また、貯蔵装置630にはこれらの情報に基づいて、現在のところ、ユーザに適する衣類が何であるかを推薦する推薦アルゴリズムが貯蔵されることができる。
推薦アルゴリズムは、ユーザの身体情報、日程、天気情報、及びユーザが選択した一部の衣類情報(AI)のいずれかが入力されると、適する衣類がすぐ出力されるアルゴリズムからなる。
推薦アルゴリズムは家電製品を販売する販売者が直接提供する。一例として、サーバーの貯蔵装置630には、ユーザが位置する地域、ユーザと類似する年齢層、ユーザの類似職業群が着用する衣類やその他に衣類販売者が提供した衣類資料などが収集されたビッグデータが収集されている。サーバーの演算装置620は、深層学習(deep learning)によりビッグデータを演算して推薦アルゴリズムを生成する。推薦アルゴリズムは貯蔵装置630に貯蔵されるか、又は通信装置610により外部端末400や衣類装置100又は洗濯機300を含む家電製品に伝達される。詳しくは後述する。
本発明の一実施例において、衣類装置100は、衣類を再生する任意のコース又はオプションが貯蔵されている衣類主貯蔵部170と、任意のコース及びオプションのいずれかを行う衣類主制御部180と、サーバー600又は外部端末400やAP500、洗濯機300などの家電製品と通信するように備えられる衣類通信モジュール260とを含む。
衣類主制御部180は、衣類装置100の作動が完了又は停止されると、電力供給が遮断されて待機電力消耗を防止するように備えられる。しかし、衣類通信モジュール260は常に電源が供給される状態が維持されて、サーバーなどとの通信状態が維持されるように備えられる。
衣類装置100は、任意のコース及びオプションのいずれかを行う命令を入力するための衣類入力部150と、衣類装置の状態を表示するか又は衣類通信モジュール260から受信された情報を表示する衣類表示部140とを含む。
例えば、衣類入力部150と衣類表示部140は、ユーザの接近を容易にするために衣類装置100の外観に設けられる。衣類入力部150は洗濯コース/オプションや電源を入力する衣類ボタン152と、音声命令などの音信号を受信する衣類マイク151と、映像信号を受信する衣類カメラ153とを含む。また、衣類表示部140は、情報をイメージで表現する洗濯画面又は衣類画面142と、音信号を表示する衣類スピーカー141とを含む。なお、衣類表示部140はタッチパネルからなって衣類入力部の役割も果たすように備えられる。
衣類通信モジュール260は、サーバー600、AP300、外部端末400、洗濯機300などの家電製品と通信する衣類通信モデム261と、衣類通信モデム261を制御する衣類通信制御部262と、衣類通信モデム261で受信された情報や衣類通信制御部262が生成した情報を貯蔵する衣類通信貯蔵部263とを含む。衣類通信モジュール260は、外部端末400のように近距離通信モジュールと遠距離通信モジュールを行えるように備えられる。衣類通信モジュール263はサーバー600で提供された推薦アルゴリズムを受信して貯蔵するように備えられか、或いは推薦アルゴリズムを後述するフィッティング部200に伝達するように備えられる。
一方、衣類装置100はさらに、衣類(A)の汚染度又はシワを認識又は感知するセンサ部160と、衣類の汚染度又はシワを除去する駆動部190を含む。
センサ部160は衣類装置100内の空気汚染度を把握する化学センサ161や衣類を撮影する内部カメラ162を含む。衣類主制御部180はセンサ部160で感知された汚染度又はシワによって、任意のコース又はオプションのうち、適するコース又はオプションを決定する。
また、衣類主制御部180は、感知された汚染度又はシワが基準値以上である場合は、洗濯機300に汚染度又はシワに関する情報を衣類通信モジュール260により伝達することができる。衣類通信モジュール260は汚染度又はシワに関する情報をサーバー600又は洗濯機300に伝達することができる。
また衣類主制御部180は衣類を洗濯機300で洗濯することを勧める内容を衣類表示部140に表示することができる。
本発明において洗濯機300は、衣類の異物質を除去する任意のコース又はオプションが貯蔵されている洗濯主貯蔵部380と、任意のコース及びオプションのいずれかを行う洗濯主制御部370と、外部端末400やAP300、衣類通信モジュール260と通信する洗濯通信モジュール360とを含む。
洗濯主制御部370は洗濯機300の作動が完了又は停止されると、電力供給が遮断されて待機電力消耗を防止するが、洗濯通信モジュール360は常に電源が供給される状態が維持されて、通信状態が維持される。
洗濯機300は、任意のコース又はオプションを行う命令が入力される洗濯入力部350と、洗濯機300の状態を表示する洗濯表示部340とを含む。洗濯入力部350と洗濯表示部340は衣類装置100と同様に備えられる。
洗濯通信モジュール360は、サーバー600、AP500、外部端末400及び衣類装置100のいずれかと通信する洗濯通信モデム361と、洗濯通信モデム361を制御する洗濯通信制御部362と、洗濯通信モデム362で受信された情報を貯蔵する洗濯通信貯蔵部363とを含む。洗濯通信モジュール360は外部端末400のように近距離通信モジュールと遠距離通信モジュールを行うように備えられる。
結果として、衣類通信モジュール260と洗濯通信モジュール360により衣類装置100と洗濯機300は互いに通信するように備えられるか、又は外部端末400及びサーバー600と互いに通信するように備えられる。これにより、洗濯機300は洗濯通信モジュール360により衣類の汚染度又はシワに関する情報を予め受信して貯蔵することができ、洗濯主制御部370は衣類の汚染度又はシワに適するコース又はオプションを決定することができる。勿論、サーバー600が衣類状態に合うコースやオプションを予め決定して洗濯通信モジュール360に伝達することもできる。
一方、本発明による一実施例において、オンラインシステムはさらに、ユーザの身体情報(BI)、ユーザの所蔵衣類情報(AI)、室内背景情報(DI)などを収集してユーザに仮想フィッティングサービスを提供するフィッティング部200を含む。
上述したように、フィッティング部200は衣類装置100に備えられて、衣類通信モジュール260又は衣類装置100の細部構成と通信することができる。
一方、衣類主貯蔵部170には、ユーザの音声命令と衣類入力部150のボタン153などをマッチする発話リストが貯蔵されることができる。衣類入力部150はマイク153により音声命令が受信されると、音声命令と発話リストを比較して、それにマッチする命令を衣類主制御部180又は通信モジュール260に伝達する。
衣類主制御部180がこの命令を直接受信して処理できる場合、衣類主制御部180は命令によって衣類装置100の構成を作動させる。また通信モジュール260に命令が伝達された場合、サーバー600に命令を伝達してサーバー600から衣類装置100の構成を作動させる命令の発信を要請することができる。サーバー600は通信モジュール260により、衣類装置100が該当命令を実行するように駆動させることができる。
以下、図4を参照しながら、本発明の一実施例によるフィッティング部200の構成と機能について説明する。
フィッティング部200は、ユーザの身体を撮影するか又はユーザが保有した衣類を撮影する撮影部220と、撮影部220で撮影したユーザ又は衣類を外部に表示する仮想表示部210を含む。
撮影部220は、ユーザの身体又は保有衣類(A)の形状だけではなく、面積及び体積まで撮影できる深度カメラ221、ユーザの位置変化及び衣類の位置変化を感知する位置カメラ222、及びユーザの動作や衣類の変化を感知するモーションカメラ223のいずれかを含む。深度カメラ221、位置カメラ222及びモーションカメラ223は、個々に備えられるか、1つのカメラで統合されるか、又は衣類装置100の衣類入力部150として備えられるカメラ153と一体に形成される。例えば、深度カメラ221は2Dではできないイメージの各ピクセルの深度値を計算するカメラとして備えられることができる。深度カメラ221は複数個からなる。
結果として、撮影部230は、2台以上のカメラモジュールにより撮影したユーザ又は衣類のピクセルの深度を計算して、3Dイメージを把握するように備えられる。
一方、撮影部220はユーザ識別機能も行うことができる。例えば、特定のユーザと他のユーザを識別するように備えられる。撮影部220は複数のユーザの虹彩を認識するか、顔、身体特徴及び形状のいずれかを感知して。複数のユーザの身元を識別することができる。
フィッティング部200はさらに、撮影部230で撮影した映像からユーザの身体情報や衣類情報を抽出して認識する増強\演算部230を含む。
増強演算部230は、撮影部230で撮影した映像からユーザの身体又は衣類の外形又は輪郭を抽出する輪郭抽出部231と、ユーザの身体から衣類を分離する衣類分離部232と、ユーザの身体体積又は衣類の体積を演算する体積感知部233と、抽出された衣類の材質、色、形状、種類を認識する衣類分析部234とを含む。これにより、増強演算部230は、撮影部220が撮影した映像から衣類の形状、色、材質、ブランド及び体積を含む衣類情報(AI)とユーザの背、体積、各関節の長さ及び皮膚色を含む身体情報(BI)を得ることができる。
撮影部220はユーザ又は衣類だけではなく、ユーザがない室内空間を撮影することができ、増強演算部230はこの空間を基本背景として認識する背景認識部235を含むことができる。背景認識部235は背景写真と現在撮影された映像を比較して、輪郭抽出部231が輪郭を認識したり、衣類分離部232がユーザの身体から衣類を分離するときに使用することができる。これにより、増強演算部230はユーザが存在しない背景情報(DI)を得ることができる。
なお、フィッティング部200は増強演算部230が撮影部220で撮影した映像から分析された情報を貯蔵する増強貯蔵部240を含む。
増強貯蔵部240には撮影部220で撮影された映像から増強演算部230が抽出した全ての情報が貯蔵される。例えば、撮影部200が撮影したユーザと複数の衣類映像から増強貯蔵部240が抽出して得た衣類情報(AI)、ユーザの身体情報(BI)及び背景情報(DI)がデータベースとして貯蔵される。勿論、背景情報(DI)は衣類通信モジュール260で受信した他の背景も含む。他の背景はサーバー600が提供した背景、外部端末400から提供された背景を含む。
また、増強貯蔵部240にはユーザの任意の選択によって、ユーザ以外の他のユーザ又は衣類装置100を使用しない人を含む他人情報(EI)も貯蔵される。他人情報(EI)は他人の身体情報と該当人が選好する衣類情報、及び他人が特定の衣類を着用した着用情報のいずれかを含む。他人情報(EI)は、撮影部220で撮影された映像や衣類通信モジュール260で受信した映像を増強演算部230が分析した結果であることもできる。
さらに増強貯蔵部240には、ユーザが保有していない衣類を購買できる決済情報(FI)も貯蔵されることができる。例えば、決済情報(FI)は外部販売者の販売情報、ユーザの通帳情報、ユーザの決済カード情報、及びユーザの認証情報などを含む。
増強演算部230はさらに、増強貯蔵部240に貯蔵された情報と現在撮影部220で撮影された情報を比較して差異点と共通点を認識するように備えられる比較認識部236を含む。一例として、比較認識部236は、ユーザの身体変化又は着用した衣類の変化を感知する。ユーザの身体比率や顔などを認識して、以前に撮影された映像と現在撮影された映像から特定のユーザを正確に認識することができ、特定のユーザの身体変化又は特定のユーザが着用した衣類を認識することができる。
一方、比較認識部236は所蔵衣類情報(AI)を比較及び分析することによりユーザの好みを把握することができる。ユーザの好みはユーザが選好する商品の種類、スタイル、サイズ、色、材質、ブランド及びファッショントレンド(例えば、オフィススタイル、シースルースタイルなど)に関する情報のいずれかを含む。
言い換えれば、様々な種類、材質、色の衣服のうち、ユーザが選好する衣服の種類、スタイル、サイズ、材質、色が好みとして増強貯蔵部240に共に貯蔵され、所蔵衣類情報(AI)には好みが共に反映されて貯蔵される。かかる好み情報は、所蔵衣類情報(AI)からユーザに適する衣類を抽出するときに使用される。
一方、増強貯蔵部240には、撮影部220で撮影した特定のユーザの所蔵衣類だけではなく、衣類通信モジュール260で受信したユーザが購買できる購買対象衣類情報(CI)がさらに貯蔵される。購買対象衣類情報(CI)はユーザが選好するブランドの衣類、ユーザの身体情報(B)に適する衣類、ユーザの決済情報(FI)に適する販売者が提供した衣類の材質、形状、体積情報などを含む。
フィッティング部200は、増強貯蔵部240に貯蔵された情報、撮影部220で現在撮影して増強演算部230で分析された情報、及び衣類通信モジュール260で受信した天気情報、日程情報、流行情報及び購買対象衣類情報のいずれかを推薦アルゴリズムに代入して、ユーザに適する衣類を出力する推薦部250を含む。
推薦部250は推薦アルゴリズムを直接演算してユーザに適する衣類を直接推薦することもでき、サーバー600から推薦アルゴリズムの結果を受領してユーザに適する衣類を推薦することもできる。
推薦部250が推薦アルゴリズムを直接実行すう場合、推薦部250は、現在の状態情報と所蔵衣類情報(AI)を推薦アルゴリズムに入力して適する衣類を決定する所有商品マッチング部251と、現在の状態情報と購買対象衣類情報(CI)を推薦アルゴリズムに入力して適する衣類を決定する他商品マッチング部252と、所有商品マッチング部251と他商品マッチング部252にマッチング率を提供するマッチング率判断部253とを含む。
推薦部250は所有商品マッチング部251と他商品マッチング部252により所蔵衣類(A)と購買対象衣類(CI)のうち、適する衣類をユーザに推薦することができる。
推薦部250は所蔵衣類情報(AI)からマッチング率を演算して適する衣類をユーザに優先して推薦し、マッチング率が設定値よりも低い場合は、購買対象衣類情報(CI)から適する衣類をユーザに推薦することができる。これにより、ユーザが所蔵している衣類(A)を積極活用して、不要な購買を防止することができる。
マッチング率判断部253は各種商品間で互いに似合う程度であるマッチング率に関する情報を貯蔵しているデータベースを含み、このデータベースはサーバー600で受信されて貯蔵される。マッチング率判断部253は、特定のスタイルの上衣と下衣が似合う程度、特定色の衣服が互いに似合う程度、かばん、スカーフ及びサングラスのような雑貨アクセサリーと特定スタイルの衣類が似合う程度などの様々な商品間のマッチング率に関する情報をデータベース化して貯蔵している。また、マッチング率はサーバー600からデータベースを深層学習方式により経験的に抽出した演算値である。
以下、マッチング率を算定する一実施例について説明する。後述する一実施例はデータベース化過程に適用でき、このデータベースを深層学習する過程に適用できる。
基本的には上衣は下衣とマッチングされ、詳しくは、上衣のうち、シャツやブラウスはジャケットやカーディガンなどとマッチングされ、ジャケットはコートとマッチングされる。また、かばん、靴、スカーフなどの雑貨は上衣と下衣が全て備えられた状態でマッチングされ、サングラス、ネックレス、イヤリングなどの雑貨も上衣と下衣が全て備えられた状態でマッチングされることが望ましい。
レイヤードルックのための商品の場合、下衣であるスカートとレギンスは共にマッチングされるが、長いブルージーンズや長い綿ズボンは共にマッチングできない。ブルージーンズと面ズボンを同時に着ることはほとんどないためである。
一方、上衣と下衣が基本的にマッチングされるとはいえ、上衣と下衣の種類、色及び素材によって似合う程度は異なる。例えば、チョゴリにはブルージーンズが似合わない。特定色の場合も他の衣類とよく似合わないので、マッチングが忌避される場合がある。また、アクセサリーや雑貨も色及び素材によって様々な色、素材の衣類と似合う程度が異なる。
このようにマッチング率が各商品間に互いに似合う程度を数値で統計化した情報を意味する。上述したブルージーンズと綿ズボンは共にマッチングして着用できないものであって、全く似合わないので、マッチング率は0になる。
このように似合う、似合わないという判断は、衣類の組み合わせがデータ上に存在する数や程度から類推できる。結論として、共にマッチングされた商品間に似合う程度が高いほどデータが多くなり、似合う程度が低いほどデータが少なくなる。
データの数や程度をマッチング率として換算することができる。よって、マッチング率が高いと、衣類の組み合わせが似合うと判断し、マッチング率が低いと、衣類の組み合わせが似合わないと判断することができる。
推薦部250はマッチング率判断部に貯蔵されているマッチング率情報に基づいて所蔵衣類と購買対象衣類のマッチング率をそれぞれ演算することができる。推薦部250は所蔵衣類情報(AI)のうち、マッチング率が基準値以上である衣類が存在する場合は、購買対象衣類を排除して推薦することができる。推薦部250は所蔵衣類情報(AI)のうち、マッチング率が基準値以上である衣類を推薦するように備えられる。
例えば、推薦商品としてブルージーンズが抽出された場合、推薦商品に似合う所蔵商品及び他商品としてのズボンはマッチング率が0であるので、ブルージーンズとズボンが同時にマッチングされることを防止することができる。
一方、マッチング率判断部253は演算されたユーザの好みを反映して推薦する衣類の優先順位を確定する。例えば、複数の衣類のマッチング率が類似する場合は、ユーザの好みを反映して特定の衣類を推薦することができる。これにより、流行のうち、ユーザの好みが考慮されて好ましい推薦後記を得ることができる。
また、マッチング率判断部253はユーザの好みが高い衣類のうち、マッチング率を演算して特定の衣類を推薦する。これにより、流行よりも好みを優先して、ユーザの好みを反映することができる。一方、推薦部250はさらにアクセサリーなどを推薦する付加推薦部254を含む。
付加推薦部254では、ユーザの要請により、又はマッチング率判断部253でマッチング率が上昇するアクセサリーを自動的に演算して、アクセサリーなどを推薦する。
一方、フィッティング部200はさらに、推薦部250で推薦された衣類をユーザに表示する仮想表示部210を含む。
仮想表示部210は、推薦された衣類を映像とイメージで表現する表示パネル211と、衣類の購買必要性などの情報を音声で伝えるスピーカー212を含む。
表示パネル211にはユーザの映像から衣類が実際の比率で演算されてレンダリングされて表示される。即ち、ユーザの映像に衣類を着用した状態が表示される。したがって、ユーザは推薦された衣類を着用しなくても、衣類が自分に適するか否かを確認することができる。
増強演算部250は推薦部250で推薦された衣類をユーザの映像又はアバターに合成する衣類合成部237を含む。衣類合成部237は撮影部220で撮影して認識されたユーザの映像に推薦された衣類の衣類情報を組み合わせて、ユーザの身体に衣類が着用した状態をレンダリングすることができる。衣類合成部237はユーザの身体比率と衣類の比率を考慮して整合し、ユーザの動きに応じて衣類の他の部分も表示することができる。
なお、増強演算部250では衣類合成部237で衣類が合成されたユーザの映像に付加推薦部254で推薦されたアクセサリーなどをさらに合成する付加合成部238を含む。
所蔵衣類情報(AI)と購買対象衣類情報(CI)には衣類やアクセサリーの3D情報が予め計測又は演算されている。よって、増強演算部230はユーザの実際身体サイズに衣類やアクセサリーが着用された状態を演算して仮想表示部210に表示することができる。
現在、ユーザが着用している衣装が下衣であれば、増強演算部230ではユーザが保有する下衣情報(ブルージーンズ、ブルースカート、七分ズボン、麻ズボンなど)を所蔵衣類情報(AI)又は購買対象衣類情報(CI)からマッチング率を考慮して推薦する。その後、推薦されたユーザの映像に組み合わせて仮想フィッティング映像を生成した後、仮想表示部210に表示することができる。
上述したように、本発明の実施例によれば、ユーザは自分が保有した衣装と推薦衣装がどのくらい似合うかを直接自分の目で確認することができる。
以下、衣類装置100にフィッティング部200が設けられる構造について説明する。
図5は衣類装置100の構造の一実施例を示す図である。
図5の(a)を参照すると、本発明による一実施例において、衣類装置100は、前方に開口部を備えるキャビネット110と、キャビネット110に回転可能に備えられて開口部を開閉するドア111と、キャビネットに備えられて衣類(A)が収容される収容空間を提供する内箱120と、内箱120に連通して収容空間に熱風を含む空気及びスチームのいずれかを供給する供給部700と、内箱120及びドア111のいずれかに備えられて衣類(A)を収容空間内に載置又は固定する載置部126,127とを含む。
キャビネット110は衣類装置の外観を形成し、高さが幅よりも長く形成される。これにより、図示の外套(A1)だけではなく、長い下衣(A3)も畳まず内箱120に収容することができる。よって、収容された衣類(A)に不要なシワがつくことを防止できる。
キャビネット110は金属材質からなり、強度を維持できれば、強化プラスチックなどの樹脂材質からなってもよい。
内箱120は衣類(A)から排出された異物質又は供給部で供給された熱風やスチームによって物理的に変形されるか又は化学反応が起こらない材質からなる。例えば、ABS、ASAのようなスチレン樹脂系列からなる。内箱120は一面が供給部700と連通して、供給部700から熱風や水分が供給されるか、又は供給部700に空気を排出するように備えられる。内箱120は供給部700と連通する複数の貫通口121,122,123を含む。
なお、供給部700は内箱120と分離されて備えられることもできる。供給部700は相対的に密度の低い加熱された空気やスチームを内箱120に均一に供給するために、内箱120の下部に備えられることもできる。
また、ドア111はキャビネット100に回転可能に結合されて開口部を開閉する。ドア111は内箱120だけではなく、供給部700の前方まで遮蔽するように備えられる。これにより、内箱120に供給された熱風や水分が外部に流出することを防止するだけではなく、供給部700で発生した熱が外部に伝達されることを遮断することができる。
ドア111は内箱120の前方を開閉するように備えられるので、内箱120の内周面とドア111の内面は収容空間を形成することができる。
載置部は、内箱120内に衣類(A)を載置する第1載置部127と、ドア111の内面に衣類(A)を載置する第2載置部126とを含む。
以下、第1載置部127に外套(A1)が載置され、第2載置部128に下衣(A3)が載置されていることを仮定して説明する。
第1載置部127は内箱120の内部でハンガー形状又はバー形状に形成されて外套(A1)を収容空間に載置する。第1載置部127は外套(A1)を畳まず完全に広げた状態で内箱120に載置するように内胴210の上面に備えられるか又は内胴210の側面の上部に備えられる。第1載置部127は衣類(A)が自重により広げられた状態で内箱120に載置されて、供給部700から供給される空気や水分を外套(A1)に均一に露出させる。
第2載置部126は下衣(A3)を内箱120の内面又はドア111に近く固定することができる。これにより、第2載置部126は下衣(A3)の一面を内箱120の内面やドア111に密着してシワを除去することができる。
一方、本発明の一実施例において、衣類装置100はさらに衣類(A)の再生効果を極大化する駆動部190を含む。
駆動部190は第1載置部127に連結されて第1載置部127を振動させる仮振部191と、第2載置部126の下部に備えられて衣類を加圧するプレス部192を含む。
加振部191はモーター、プーリ及びキャップなどのモジュールからなり、第1載置部127を長手方向や円弧を書きながら往復移動させることができる。これにより、第1載置部127に載置された外套(A1)の表面に熱風又はスチームが均一に供給されて、外套(A1)についている異物質を除去することができる。
プレス部192は内箱120とドア111のいずれかに回転可能に結合されて下衣(A3)を加圧する。プレス部192は手動で下衣(A3)を加圧できるが、プレス部192が内箱120又はドア111に回転可能に結合するヒンジがモーターなどからなって自動的に下衣(A3)を加圧することもできる。ドア111又は内箱120はさらにプレス部192に対向する安着部112を含む。プレス部192と安着部112は板状に形成される。安着部112はプレス部192の加圧に対する反作用により下衣(A3)に圧力を加えることができる。
図5の(b)を参照すると、衣類装置100はさらに上述したフィッティング部200を含む。ドア111はキャビネット110の前方に備えられて、ユーザが容易に接近できる構成である。したがって、ドア111の露出面には衣類入力部150と衣類表示部140が備えられ、さらに仮想表示部210と撮影部220が備えられる。勿論、フィッティング部200は衣類装置100の他の構成に備えられてもよい。
仮想表示部210はドア111の露出面のほとんどの領域を占める。これにより、ユーザの実際のサイズと同一の映像を表示して、鏡のような効果を図ることができる。
一例として、ドア111の前面のほとんどに表示パネル221が備えられ、表示パネル221又はドア111の露出面にスピーカー212が配置される。
また、撮影部220は仮想表示部210に隣接して備えられる。これにより、撮影部220はユーザの形状とユーザが把持又は着用している衣類を正確な角度で認識することができる。具体的には、深度カメラ221はユーザの目線に該当する領域に備えられる。例えば、深度カメラ221は仮想表示部210の上部に備えられる。これにより、ユーザの目線でユーザを撮影して仮想表示部210に鏡のような映像を表示することができる。
位置カメラ222とモーションカメラ223は撮影部220をモジュールで制作するために、深度カメラ221に隣接して備えられる。
表示パネル221は衣類画面141の役割も共に果たすことができる。また、衣類画面142は表示パネル221の上端や一側に備えられることもできる。
一方、スピーカー212はスピーカー141の役割も共に果たすことができる。
ボタン153やマイク152は表示パネル221を遮断しないように表示パネル221の上部又は一側に備えられる。一方、撮影部220がユーザの動作を認識するカメラ153として活用されることもできる。
図6は衣類装置100の表示パネル221の活用実施例を示す図である。上述したように、衣類装置100は通信モジュール260によりサーバー600及び外部端末400と通信可能に備えられる。したがって、衣類装置100はサーバー600又は外部端末400からユーザの日程や天気情報、特定の衣類販売者の位置情報を受信することができる。
衣類入力部150は特定のボタン153やマイク151によりユーザの日程、天気情報及び位置情報を要請する命令を受信することができる。命令は音声命令を含む。
衣類主制御部180は上記命令が受信されると、通信モジュール260にユーザの日程、天気情報及び位置情報のうち、要請されたものをサーバー600や外部端末400から受信するように要請する。
通信モジュール260が上記要請された情報を受信すると、衣類主制御部180は仮想表示部210を制御してユーザの日程、天気情報及び位置情報のうち、要請された情報を表示する。
これにより、ユーザは衣類装置100から離隔していても、音声命令で衣類装置100が提供する機能又はサービスを活用することができる。また、ユーザは相対的に広いディスプレイパネルを備える衣類装置100を用いて、必要な情報を要請して目で確認することができる。
以下、本発明による一実施例において、オンラインシステムがユーザの身体情報、ユーザが保有した所蔵衣類情報、背景情報を得て、パーソナライズ衣類を推薦する具体的な実施例について説明する。
図7は本発明による一実施例において、オンラインシステムの衣類装置100がユーザを撮影して身体情報(BI)を得る実施例を示す図である。
本発明による一実施例において、オンラインシステムは、ユーザに仮想フィッティング[Augmented Reality Fitting(AR Fitting)、Virtual Reality Fitting(VR Fitting)]を提供するために、ユーザの正確な身体情報を得る必要がある。ユーザの身体情報が正確であるほど、仮想フィッティングの正確度が高くなるためである。
図7の(a)を参照すると、ユーザは自分の身体情報を提供するために、衣類装置100の前方に位置する。ユーザは身体情報を入力する命令を衣類入力部150に入力した状況である。
衣類装置100は身体情報入力の命令が入力されると、撮影部220がユーザを撮影する。撮影部220で撮影した映像が増強演算部230に伝達されて、仮想表示部210にリアルタイムで表示される。
これと同時に、撮影部220は撮影されたユーザの身元を認識する。例えば、撮影する特定のユーザの虹彩、顔、身体情報のいずれかを認識して、増強貯蔵部に貯蔵する。これにより、特定のユーザの身体情報と他のユーザの身体情報を区分して貯蔵することができる。
仮想表示部210には撮影部220が撮影したユーザの身体映像213が表示される。身体映像213は撮影部220が撮影した動画そのままであるか、或いは増強演算部230で処理されたアバター映像である。
仮想表示部210にはガイド線214が表示される。
ガイド線214はユーザの正確な身体情報(BI)を得るために、ユーザの身体を誘導するように表示された線である。例えば、ガイド線214はユーザが正面に立って、腕と足を広げた状態を維持するように誘導する線である。
また、ガイド線214は、ユーザの身体情報を正確に測定できる位置にユーザが立つように誘導する線である。ユーザはガイド線214に自分の身体が正確に入るように撮影部220との距離を調節する。これにより、撮影部220が最適の距離でユーザの全身を撮影して増強演算部230に伝達することができる。
ガイド線214は随時変化する。よって、撮影部220はユーザの動作を撮影すると同時に、前後左右のユーザの身体を全部撮影することができる。撮影部220は深度カメラ221を含むことにより、ユーザの身体の体積や質感を正確に撮影することができる。
図7の(b)を参照すると、増強演算部230は、撮影部220で撮影した映像によりユーザの身体部位を正確に認識することができる。例えば、輪郭抽出部231は撮影部220が撮影した映像からユーザ身体の輪郭(Y)を正確に抽出することができる。
また、増強演算部230は撮影部220の動作カメラ221でユーザの動作を分析することにより、ユーザの主要関節の位置を把握することができる。増強演算部230には人体の主要関節をマッチングするアルゴリズムが貯蔵されることができる。
例えば、輪郭抽出部231はユーザの輪郭(Y)から主要関節を認識することができる。輪郭抽出部231はユーザの頭と胸の動きによって首関節(P1)の位置を把握し、ユーザの腕と胸の動きによって肩関節(P2)の位置を把握することができる。また、輪郭抽出部231は腕の動きによって肘関節(P3)と手首関節(P4)の位置を把握し、足の動きによって股関節(P5)、膝関節(P6)及び足首(P7)の位置を把握することができる。
図7の(c)を参照すると、増強演算部230はこれらの関節の位置を把握することにより、ユーザの各関節の長さを把握することができる。例えば、体積感知部232は輪郭抽出部231で抽出された輪郭と関節に基づいて、ユーザの身体の長さ及び体積を演算して測定することができる。即ち、体積感知部232はユーザの頭、首、腕、足及び腰などの長さと体積を正確に認識することができる。
体積感知部232によりユーザの全体背、特定の関節から特定の関節までの長さ、特定の関節から特定の関節までの体積などを正確に感知して具体的な身体情報(BI)を得ることができる。身体情報(BI)は増強貯蔵部240に貯蔵されて、比較認識部236により変化された身体情報(BI)と比較するか、或いは衣類を着用したとき、所蔵衣類情報(AI)を抽出するために活用されることができる。
勿論、増強演算部230は撮影部220で測定した映像からユーザの皮膚色、瞳色、虹彩、顔、ひげ及びヘアスタイルなどを認識して、身体情報(BI)に含ませることができる。
図8乃至図10は本発明の一実施例によるオンラインシステムがユーザの衣類情報(AI)を抽出して認識する実施例を示す図である。
本発明の一実施例によるオンラインシステムがフィッティング部200でユーザの所蔵衣類(A)を推薦するためには、所蔵衣類(A)の存在及び具体的な情報が登録されていなければならない。所蔵衣類(A)の情報が販売者やユーザに直接的なファイルで提供されないと、本発明の一実施例によるオンラインシステムはユーザの所蔵衣類(A)を直接撮影して所蔵衣類情報(AI)を抽出して貯蔵する。
本発明による一実施例において、オンラインシステムは、ユーザが自分が有した衣類(A)の情報をオンラインシステムに貯蔵する命令が要請される登録要請段階(G1)を含む。登録要請段階(G1)では衣類装置100の衣類入力部150でユーザが自分が有した衣類に関する情報をフィッティング部200に貯蔵する命令を受信することができる。
衣類装置100は衣類の登録に活用されるので、衣類登録装置に該当する。
上記命令は衣類入力部150で衣類の登録を要請するボタン152を直接入力して受信することができる。また上記命令は衣類入力部150のマイク151でユーザの音声命令により受信することができる。
本発明による一実施例において、オンラインシステムは登録要請段階(G1)が行われると、ユーザに衣類の登録を要請する案内段階(G2)を行う。案内段階(G2)はユーザに衣類を着用又は把持した状態で撮影部220の前に位置するように誘導する段階である。案内段階(G2)では仮想表示部210に撮影部220が衣類(A)を撮影して登録できる最適の位置にユーザが位置するように誘導するガイド線214や案内文句が表示される。
本発明による一実施例において、オンラインシステムは、撮影部220がユーザが着用又は把持した衣類(A)を認識できるか否かを点検する判断段階(G3)を行う。
判断段階(G3)は、衣類のサイズ又は体積まで正確に認識するか否かよりは、衣類の大略的な形状を把握できるか否かを点検する段階である。例えば、判断段階(G3)は、増強演算部230が撮影部220によりユーザ又は衣類を大略的に特定できるか否かを点検する段階である。
また判断段階(G3)では、衣類を登録する対象がだけであるかを識別することもできる。即ち、特定のユーザが衣類を登録しているか、それとも特定のユーザではない他のユーザが衣類を登録しているかを識別することができる。これにより、登録される衣類と衣類を着用する対象をマッチングして貯蔵部に貯蔵することができる。
本発明による一実施例において、オンラインシステムは、増強演算部230がユーザを特定できないか又は衣類を特定できない場合には、衣類の登録が不可能な状態であることを表示する通知段階(G3-1)を行う。
ユーザを特定できないとは、ユーザの身元を特定できないことを意味する。また衣類を特定できないとは、衣類を正確に認識できないことを意味する。
通知段階(G3-1)では、表示パネル211に登録できない状態を表示する文句又はユーザの位置をガイド線214と同一に変更することを要求する文句が表示される。またスピーカー212では上記文句に対応する音声が出力される。通知段階(G3-1)の後、案内段階(G2)が繰り返される。
この場合にも、ユーザ又は衣類を特定できないと、ユーザを登録する段階を行うことを要請する内容が表示パネル211に表示される。これは図7の制御方法を行うことに対応する。
認識判断段階(G3)でユーザ又は衣類を特定できると判断されると、本発明の一実施例によるオンラインシステムは、撮影部220でユーザ又は衣類を撮影し、撮影された映像を増強演算部230又は増強貯蔵部240に伝達する撮影貯蔵段階(G4)を行う。
撮影貯蔵段階(G4)が完了すると、本発明の一実施例によるオンラインシステムは、増強演算部230で上記撮影された映像から衣類を抽出して衣類情報(AI)を得る衣類抽出段階(G5)を行う。
衣類抽出段階(G5)は、輪郭抽出部231が撮影部220が撮影した映像から衣類を着用したユーザ又は衣類を把持したユーザの輪郭を抽出する輪郭抽出段階(G51)と、体積感知部233が深度カメラ221が提供した情報に基づいて上記抽出された輪郭の体積を感知する体積感知段階(G52)と、衣類分離部232が衣類を着用したユーザの輪郭や衣類を把持したユーザの輪郭からユーザの身体に該当する映像や輪郭を除去して衣類のみを抽出する衣類分離段階(G53)と、衣類分析部234が抽出された衣類の種類、形状、色、材質、ブランド、サイズ、体積などを分析して衣類情報を得る分析段階(G54)とを含む。
衣類分析部234では、衣類のビッグデータを統計的に分析して得た衣類分類プログラムに上記分離された衣類をマッチングしながら衣類の状態を分析する。衣類分類プログラムには複数の衣類が衣類の種類別、形態別、材質別、色別、ブランド別に各種カテゴリー化されることができ、特定の衣類をカテゴリーとマッチングしながら特定の衣類の種類、材質、形態、色、ブランドなどが分析される。
衣類分類プログラムはサーバー600から提供され、衣類通信モジュール260により受信又は更新されて増強貯蔵部240に貯蔵される。
衣類抽出段階(G5)で衣類が分析されると、衣類の衣類情報(AI)を増強貯蔵部240に貯蔵する衣類貯蔵段階(G6)が行われる。衣類貯蔵段階(G6)はユーザが登録しようとする衣類をデータベースで貯蔵する段階である。
一方、衣類貯蔵段階(G6)では衣類の登録を要請したユーザと登録された衣類とをマッチングして貯蔵することができる。これにより、該当衣類の着用対象を正確に把握して、今後、衣類の推薦などに適するデータとして活用することができる。
本発明の一実施例によるオンラインシステムは、ユーザが他の衣類を本発明の一実施例によるオンラインシステムに登録しようとする命令の受信を感知する追加要請段階(G7)を行う。追加要請段階(G7)が行われると、案内段階(G2)が行われて新しい衣類の衣類情報(AI)が増強貯蔵部240に貯蔵される。推薦要請段階(G7)を行わない積極的な命令があるか或いは日程時間が経過すると、衣類の登録が終了する。
これにより、販売者が衣類情報を提供しない衣類もユーザが直接オンラインシステムに登録することにより、自分が有する所蔵衣類情報(AI)をデータベースで貯蔵することができる。したがって、本発明の一実施例によるオンラインシステムは、衣類情報(AI)に基づいてユーザに適する衣類を推薦する基盤を設けることができる。
図9は図8に制御方法が実際に具現される態様を示す図である。
本発明の一実施例による衣類装置100では、ユーザに衣類を登録する命令が受信されることにより、登録要請段階(G1)が行われる。
その後、本発明の一実施例による衣類装置100が仮想表示部210に案内文句とガイド線などを提供する案内段階(G2)が行われ、ユーザが衣類を着用した状態で撮影部220の前に位置することができる。
撮影部220により強演算部230がユーザと衣類を特定できるか否かを点検する認識判断段階(G3)が行われる。このとき、ユーザが貯蔵部に貯蔵されたユーザデータと比較して、撮影するユーザが特定のユーザであるか、或いは他のユーザであるかを識別する。ユーザが特定のユーザであると識別されると、撮影部220で衣類を着用している特定のユーザを撮影する撮影貯蔵段階(G4)が行われる。
撮影部220が撮影した全体映像(w)には、ユーザが位置している背景(D)と、衣類を着用したユーザの輪郭(Y)が存在する。
増強演算部230により全体映像(W)から衣類を着用しているユーザの輪郭(Y)を抽出する輪郭抽出段階(G51)が行われる。例えば、輪郭抽出部231は全体映像(W)から衣類を着用したユーザの輪郭(Y)を抽出することができる。
具体的には、輪郭抽出部231は増強貯蔵部240に予め貯蔵されている背景情報(DI)と全体映像(W)を比較することにより、輪郭(Y)を正確に認識して抽出することができる。例えば、ユーザイメージと背景イメージ自体を比較して背景イメージに追加されたイメージを抽出することができる。即ち、背景情報(DI)は、衣類装置が平素任意に撮影して貯蔵したか、又は背景を貯蔵するという命令が入力されて予め増強貯蔵部240に貯蔵されていることができる。
輪郭抽出段階(G51)が完了されると、体積感知部233が輪郭(Y)の体積を演算する体積感知段階(G51)が行われる。体積感知部233は深度カメラ221により体積情報を得ることができ、必要な場合は、表示パネル211でユーザが回転するか又は位置を変更するように誘導して、3D立体情報を得ることもできる。
衣類分離部232が輪郭(Y)からユーザの身体と衣類を分離する衣類分離段階(G53)が行われる。衣類分離部232はユーザの身体(B)と衣類(A)の分離線を感知して衣類(A)を分離することができる。また衣類分離部232は輪郭(Y)からユーザの身体情報(BI)に基づいて身体(B)を除去して、衣類(A)を映像から分離することができる。
衣類分離部232はユーザの皮膚色と異なる色を有する部分を抽出することにより、衣類を身体から分離することができる。また、衣類分離部232は分離された衣類イメージから分離線を感知して衣類を種類ごとに分離することができる。
衣類分析部234が衣類(A)を種類別に分析して認識する衣類分析段階(G54)が行われる。
衣類(A)が上衣(A2)と下衣(A3)で構成されている場合、衣類分析部234は分離された全体衣類(A)から上衣(A2)と下衣(A3)を分離することができる。
体積感知部233により上記分離された衣類(A)のサイズ、面積及び体積が正確に演算される。体積感知部233で衣類のサイズ、面積及び体積が演算されると、衣類分析部234は上記分離された衣類(A)の種類、材質、形状、色などを分析する。
例えば、衣類分析部234は衣類(A)の種類、材質、色、形状をプログラムに入力して、衣類が上衣(A1)と下衣(A2)にマッチングされることを認識することができる。その後、、衣類分析部234はプログラムにより上衣(A1)は白い綿袖なしTシャツであり、下衣(A2)は青色のブルージーンズであることを認識することができる。
衣類分析部234が上記分析された上衣(A1)と下衣(A2)の種類、材質、色、形状、サイズ、体積に該当する衣類情報(AI)を識別番号を付けて増強貯蔵部240に貯蔵する衣類貯蔵段階(G6)が行われる。衣類貯蔵段階(G6)では衣類情報(AI)のブランドまで認識して貯蔵することができ、ブランドが衣類に表示されていない場合は、ユーザの入力により貯蔵することができる。
図示とは異なり、ユーザは衣類を着用せず把持した状態で衣類の登録を要請することができる。このときにも、撮影部220はユーザの映像全体を撮影した後、増強演算部230が全体映像(W)からユーザの身体と衣類を分離し、衣類分析部234が衣類の種類、材質、形状、色、ブランドを分析する。ユーザが複数の衣類を把持している場合は、衣類分離部232はそれぞれの衣類をユーザの身体から分離した後、抽出することができる。
図10はユーザが追加要請段階(G7)を繰り返して行うか、又は登録要請段階(G1)を複数回行って所蔵衣類情報(AI)が得られる実施例を示す図である。
登録要請段階(G1)又は追加要請段階(G7)では、ユーザは複数の上衣(A2)、下衣(A3)及び外套(A1)のうち、複数の衣類を着用した状態で衣類の登録を要請する。複数の衣類は、黄色のジージャン(A11)、黒い毛織コート(A12)、青色の袖なし綿Tシャツ(A21)、ストライプ袖なしアクリルTシャツ(A22)、ブルー綿のワンピース(A23)、赤い袖なしブラウス(A24)、黄色のシルクワンピース(A25)、マンツーマン緑色Tシャツ(A26)、長袖の黄色綿Tシャツ(A27)、上衣の下着(A28)、袖なしピンクのブラウス(A212)、ブルージーンズ(A31)、黒い七分ズボン(A32)、ベージュ綿ズボン(A33)、青色のテニススカート(A34)、黒いレギンス(A35)及び黄色カンカンスカート(A36)を含む。
撮影部220では衣類を着用したユーザを複数回撮影し、増強演算部230では映像から複数の輪郭を抽出する。
例えば、ユーザが総9回にわたって衣類を着用した状態で本発明の一実施例によるオンラインシステムに衣類の登録を要請することができる。撮影部220はユーザの全体映像(W)を9回撮影し、輪郭抽出部231は9個の輪郭(Y1~Y9)を抽出することができる。
衣類分離部232は輪郭(Y1~Y9)から衣類を分離して抽出する。衣類分離部232は複数の輪郭(Y1~Y9)から複数の外套(A1)、上衣(A2)及び下衣(A3)を抽出する。
衣類分析部234は複数の外套(A1)、上衣(A2)及び下衣(A3)をそれぞれ分析して識別することができる。したがって、衣類分析部234は同じ衣類が重複して撮影されても、同じ衣類であるか否かを判断することができる。
衣類分析部234は複数の衣類のサイズ、形状や体積を認識することができる。衣類分析部234は複数の衣類の種類まで認識して増強貯蔵部240に貯蔵することができる。また衣類分析部234は、ジージャン(A11)、黒い毛織コート(A12)を外套(A1)と分類して、固有の識別番号を付けて増強貯蔵部240に貯蔵することができる。
衣類分析部234は、黒い毛織コート(A12)、青色の袖なし綿Tシャツ(A21)、ストライプ袖なしアクリルTシャツ(A22)、ブルー綿のワンピース(A23)、赤い袖なしブラウス(A24)、黄色のシルクワンピース(A25)、マンツーマン緑色Tシャツ(A26)、長袖の黄色綿Tシャツ(A27)、上衣の下着(A28)及び袖なしピンクのブラウス(A212)を上衣(A2)と分類して、固有の識別番号を付けて増強貯蔵部240に貯蔵することができる。
衣類分析部234は、ブルージーンズ(A31)、黒い七分ズボン(A32)、ベージュ綿ズボン(A33)、青色のHスカート(A34)、黒いレギンス(A35)及び黄色カンカンスカート(A36)を下衣(A3)と分類して、固有の識別番号を付けて増強貯蔵部240に貯蔵することができる。
衣類分析部234はこれらの衣類の外部にブランドが表示されていれば、それを認識して共に増強貯蔵部240に貯蔵することができる。
これにより、増強貯蔵部240には、複数の外套、上衣、下衣の形状、材質、サイズ、体積、ブランドなどが含まれた所蔵衣類情報(AI)がデータベース形態で貯蔵される。
図11及び図12は本発明の一実施例によるオンラインシステムがユーザに適する衣類を推薦する推薦プログラムを保有又は生成する一実施例を示す図である。
図11に示された衣類装置100は販売者又は生産者が提供した複数の衣類装置100である。即ち、販売者又は生産者が提供した複数の衣類装置100において、それぞれのユーザの日程、身体情報、天気情報、該当天気及び日程での衣類選好度、所蔵衣類情報(AI)などが含まれたユーザ情報データがサーバー600に収集される。
衣類装置100は衣類の推薦に活用されるので、衣類推薦装置に該当する。
サーバー600は外部機関800で提供する衣類に関連する大衆情報データも受信することができる。大衆情報は、公衆が大衆的に活用する衣類情報、ファッション業界で流行する衣類情報、文化的に通用される衣類情報から得た衣類のマッチング色、マッチング形状、マッチング材質、マッチング流行及びユーザが保有していない他衣類情報を含む。
サーバー600は生産者又は販売者が提供した衣類装置100と外部機関800から提供されたデータを収集、蓄積して、ビッグデータ(big data)とすることができる。
サーバー600はビッグデータを分析して推薦プログラム自体を製作することができる。又はサーバー600は深層学習(deep learning)を行って推薦プログラム(T)を生成することができる。
サーバー600はビッグデータを用いて学習式(K)により機械学習(deep learning)を行うことにより、データのパターンを分析することができる。学習式(K)はビッグデータを機械学習して分析及び分類するアルゴリズムである。学習式(K)は上記ビッグデータから特定の地域、特定の時間、特定の曜日、特定の状態で着用した衣類のパターンを得るアルゴリズムである。
結論として、学習式(K)は明確な基準がなく混在しているビッグデータを機械学習して、特定の地域、特定の時間、特定の曜日、特定の天気、特定の人口、特定の日程、特定の気候、特定の所得水準などの様々な基準で衣類の着用パターンを見つけて予測するアルゴリズムである。
また、学習式(K)は最終的に少なくとも1回以上の使用履歴が入力されると行われるコース及びオプションを予測できる推薦式又は推薦プログラム(T)を生産するアルゴリズムである。推薦プログラム(T)はサーバー60が学習式であるDNN(Depp Neural Network、K)により生成される。推薦プログラム(T)はビッグデータを分析して特定の状態が入力されると予想される結果値を導き出すアルゴリズム又は演算式である。
推薦プログラム(T)は上記衣類装置を含む複数の衣類装置を管理するサーバー600で特定のユーザと任意のユーザの履歴、及び衣類装置が位置する地域などで提供した色々な衣類情報のいずれかに基づいて機械学習を行って得たアルゴリズムである。
また推薦プログラム(T)は、任意のユーザが特定の条件でどの衣類を着用したかによって、今後、特定のユーザがどの条件でどの衣類を着用するかを推薦できるアルゴリズム又は演算式を意味する。
このとき、推薦とは、何をすればよいかを勧めてくれと、今私が何をするかを予測して便宜性を提供してくれという意味を含む概念である。
学習式(K)はビッグデータを深層学習して推薦プログラム(T)を生成した後、今後、入力されるdataを持続して推薦プログラム(T)に代入して推薦プログラム(T)を学習(更新又は発展)させることができる。
また学習式(K)は既存に推薦プログラム(T)を生成するために衣類装置100と外部機関800が収集したデータを再度学習式(K)に代入して機械学習により推薦プログラム(T)を更新することができる。
サーバー600が推薦プログラム(T)を衣類装置100に伝達して衣類装置100の主貯蔵部170に推薦プログラム(T)が予め入力されていることができる。この場合、本発明の一実施例によるオンラインシステムの推薦部260は衣類装置100に位置する。
また推薦プログラム(T)がサーバー600に備えられていることもできる。衣類装置100は要請があるたびに衣類通信モジュール260によりサーバー600に接続してサーバー600に貯蔵されている推薦プログラム(T)を受けることができる。また、推薦プログラム(T)の結果である推薦衣類を直接受領することもできる。この場合、本発明の一実施例によるオンラインシステムの推薦部260はサーバー600に位置する。
図12は推薦部260が推薦プログラム(T)により衣類を推薦する原理を説明する図である。
サーバー600の貯蔵装置630には、生産者又は販売者が提供した衣類装置100を使用するか又は外部機関が提供したユーザ1の日程、身体、天気、衣類好み、着用衣類情報がDBで貯蔵されている。
ユーザ1の着用衣類がM個登録されていれば、DATAはM個になる。
また、サーバー600には、生産者又は販売者が提供した衣類装置100を使用するか又は外部機関が提供したユーザ2の日程、身体、天気、衣類好み、着用衣類情報がDBで貯蔵されている。
ユーザ2の着用衣類がM個登録されていれば、DATAはM個になる。
ユーザがN名であれば、サーバー600にはN名のユーザのM個の着用衣類のデータが収集されて総N×M個の膨大なDATAが収集される。
サーバー600は学習式(K)によりDATAを機械学習(DEEP learning)して、DATAからパターン、規則を分析することができる。これにより、サーバー600は十分な時間の間に機械学習を行うと、DATAで複数のユーザが着用した衣類に基づいて、今後、特定のユーザPが現時点に着用すると予想される衣類を推薦する推薦アルゴリズム(T)を生成することができる。
推薦アルゴリズム(T)は、特定のユーザの日程、身体、天気、特定の衣類のいずれかが入力されると、現時間で上記特定のユーザが意図したか、着用すると予想されるか、又は特定のユーザに適した衣類を推薦することができる。
特定の衣類は衣類の一部に該当するものであって、ユーザが下衣(A3)を決定したとき、上衣(A2)や外套(A1)の推薦を受けたい場合に入力される。
推薦アルゴリズム(T)はWeight matrixとBIas vectorからなる。
これにより、本発明の一実施例によるオンラインシステムは、現在のところ、最適の衣類を推薦してユーザの便宜性を増大することができる。
勿論、推薦アルゴリズム(T)は外部端末400に貯蔵されることもできる。
図13乃至図19は本発明の一実施例によるオンラインシステムが衣類を推薦する実施例を示す図である。
図13は本発明の一実施例によるオンラインシステムが衣類を推薦する方法を示す図である。
本発明の一実施例によるオンラインシステムは、ユーザが自分に適する衣類の推薦を要請する要請命令を受信する推薦要請受信段階(H1)を行う。要請命令は衣類装置100の衣類入力部150で受信される。また外部端末400の端末入力部430により受信されることもできる。
推薦要請段階(H1)が受信されると、本発明の一実施例によるオンラインシステムは、現在のユーザが推薦を要求する要請状態を把握する要請状態認識段階(H2)を行う。要請状態認識段階(H2)は推薦アルゴリズム(T)に入力される入力値を確認する段階である。入力値は外部端末400又はサーバー600により受信できる日程情報、天気情報を含む。
また入力値は撮影部220又は増強貯蔵部240により得られる現在のユーザの身体情報(BI)を含む。身体情報(BI)は現在のユーザが複数のユーザのうち、だけであるかを識別するためにも活用される。
入力値は特定のユーザが現在着用した特定の衣類を含み、さらにユーザの行き先の性格及び背景、連れ合いの情報などの付加情報を含むこともできる。
本発明の一実施例によるオンラインシステムは、上記入力値を推薦部250に入力して推薦アルゴリズム(T)を実行させることにより適する衣類を出力することができる。
所有商品マッチング部251はまず所蔵衣類情報(AI)を推薦アルゴリズム(T)に入力して推薦衣類(Z1)を出力し、マッチング率判断部253により推薦衣類(Z1)のマッチング率を演算する。マッチング率が基準値以上であると、推薦衣類(Z1)を増強演算部230で送信する。
一方、推薦衣類(Z1)のマッチング率が基準値以下であると、他商品マッチング部252は購買対象衣類(C)を推薦アルゴリズム(T)に入力して推薦衣類(Z2)を出力し、マッチング率判断部253により推薦衣類(Z2)のマッチング率を演算する。マッチング率が基準値以上であると、推薦衣類(Z2)を増強演算部に送信する。
増強演算部230は上記推薦衣類を受信すると、衣類合成部237によりユーザの身体(B)の映像に推薦された衣類(A)をレンダリングして仮想表示部210に出力することができる。これにより、ユーザは仮想表示部210から実際衣類が着用された状態を確認することができる。
なお、付加推薦部254は更なるアクセサリーなどが推薦衣類(Z1,Z2)に組み合わせられると、マッチング率がさらに向上するか否かを点検することができる。
アクセサリー(A4)は所蔵衣類(A)又は購買対象衣類(C)のいずれかに含まれる。付加推薦部254はマッチング率を向上させるアクセサリー(Z3)を増強演算部230に送信することができる。付加合成部238は推薦されたアクセサリー(Z3)をレンダリングされた映像にさらに合成することができる。
本発明の一実施例において、オンラインシステムは上記合成された映像を仮想表示部210に表示してユーザの満足度を判断する判断補正段階(H4)を行う。
判断補正段階(H4)において、ユーザが推薦衣類(Z1,Z2)を満たすという意思を衣類入力部150又は外部端末400で受信すると、推薦部250は次回にもこのようなパターンで推薦衣類を推薦することができる。
しかし、ユーザが他の推薦衣類を再度要請するか、又は推薦衣類を最終的に比較して確定する意思を衣類入力部150又は外部端末400で受信すると、推薦部250は次回の推薦時にはユーザの選択又は好みを反映したパターンで衣類を推薦することができる。
本発明の一実施例によるオンラインシステムは、購買対象衣類(C)に推薦衣類(Z2)が存在する場合は、ユーザに推薦衣類(Z2)の購買意思があるか否かを確認する購買必要段階(H5)を行う。購買必要段階(H5)は、購買が必要であるという事実を仮想表示部210に通知することと、購買を行うか否かを要請することを含む。
ユーザは衣類入力部150又は外部端末400で上記購買を要請することができる。本発明の一実施例によるオンラインシステムは、推薦衣類(Z2)の販売者を追跡して、決済情報(FI)により購買を進行する決済進行段階(H6)を行う。
図14は本発明の一実施例によるオンラインシステムが衣類を推薦する蒸気方法が行われる一実施例を示す図である。
特定のユーザ(I)は衣類装置100に向かって音声命令を発話することができる。音声命令は“今日は何を着る?”に該当する。衣類装置100のマイク152は上記音声命令を受信する。衣類装置100は音声命令を受信後、衣類主制御部180又はサーバー600に送信して音声命令を解釈することにより、推薦要請受信段階(H1)を行うことができる。
衣類装置100は天気情報、日程情報などをサーバー600又は外部端末400で受信し、推薦を要請する者がだけであるかを識別する要請状態認識段階(H2)を行う。
衣類装置100は、増強貯蔵部240に貯蔵された所蔵衣類(A)、購買対象衣類(C)などのデータベースを活用して、推薦部250の推薦を要請する特定のユーザに適する推薦衣類(Z)を推薦する推薦演算段階(H3)を行う。
衣類装置100は推薦衣類(Z)を仮想表示部210にそのまま表示することができる。衣類装置100は推薦衣類(Z)のリストも共に仮想表示部21に表示することができる。例えば、上記リストは推薦された上衣(A2)、下衣(A3)、アクセサリー(A4)の種類、価格、ブランド及び形状を含む。
推薦衣類(Z)はユーザの映像にレンダリングされた映像であることができる。しかし、増強演算部230は推薦衣類(Z)をそのまま仮想のアバターに合成するか、又は推薦衣類(Z)の写真又は映像のみを仮想表示部21に出力することもできる。
衣類装置100はスカーフ(A4)が購買対象衣類(C)である場合は、スカーフの購買が必要であるという事実を通知する購買必要段階(H5)を行う。
これにより、ユーザは適する衣類を直接探すか或いは保有した衣類を全部記憶する必要がなく、現在適する衣類を確認することができ、またどの衣類の購買が必要であるかも確認することができる。さらに、適する衣類の組み合わせを確認することにより、ファッション感覚又はファッション知識を向上することができる。
図15は決済進行段階(H6)の一実施例を示す図である。
衣類装置100はスカーフ(A4)などユーザが保有していない衣類の購買を要請する“スカーフを購買してくれ”などの音声命令を受信することができる。衣類装置100はこの音声命令を受信すると、衣類主制御部180又はサーバー600により音声命令を解釈する。
衣類装置100はサーバー600によりスカーフを販売する複数の販売者を検索した結果を受信する。複数の販売者はオンライン又はオフラインでスカーフを販売しており、スカーフの価格情報などを自分のサイトなどにアップロードする。この情報はサーバー600で収集されて衣類装置100に提供することができる。
衣類装置100は収集された販売者情報を仮想表示部210に表示する。販売者が複数である場合は、複数の販売者の位置(Map)、サイト及び販売価格などの情報が仮想表示部210に表示される。これにより、ユーザは接近性のよいところ、或いは価格が安い販売者を選択することができる。
衣類装置100の増強貯蔵部240には決済情報(F)が貯蔵されており、サーバー600は販売者が提供する販売サイトなどに接続することができる。したがって、衣類装置100はユーザの最終購買要請を受信すると、すぐスカーフを購買することができ、ユーザが指定した配送先まで配送を進行することもできる。配送先は増強貯蔵部240に貯蔵されているか、或いはユーザが衣類入力部150又は外部端末400で入力することができる。
図16は本発明の一実施例によるオンラインシステムが衣類を推薦する上記方法が行われる他の実施例を示す図である。
図16の(a)を参照すると、推薦要請受信段階(H1)において、特定のユーザは衣類を少なくとも一部着用した状態で衣類の推薦を要請する要請命令を発信することができる。例えば、特定のユーザはベージュ色のビスコーステニススカート(A37)と黒い七分ズボン(A32)及び上衣の下着(A27)を着用した状態で、テニススカート(A37)に似合うブラウスの推薦を要請する要請命令を発信する。
この要請命令は具体的な音声命令を含み、ユーザが手でテニススカート(A37)を把持するモーション命令を含むことができる。モーション命令は撮影部220のモーション認識カメラ222で認識できる。
図16の(b)を参照すると、フィッティング部200は撮影部220で特定のユーザの状態を撮影する要請状態認識段階(H2)を行うことができる。撮影部220が撮影した映像に基づいて、増強演算部230はユーザの身体(B)と、ユーザが現在着用した衣類(A)の状態を認識することができる。
撮影部220はユーザの状態を撮影して仮想表示部210に表示することができる。仮想表示部210にはユーザの身体映像213とユーザが着用した衣類(A28,A37)が表示される。
一方、増強認識部230はユーザが“スカート(A37)”を特定したことを反映して、黒い七分ズボン(A32)は除去した映像を仮想表示部210に表示することもできる。
増強演算部230は分析された要請命令に従って推薦部250に入力する入力値にビスコーステニススカート(A37)は入力するが、黒い七分ズボン(A32)と上衣の下着(A27)は除外することができる。これにより、ユーザが推薦とは関係ない衣類を着用していても、本発明の一実施例によるオンラインシステムは、ユーザが意図しない衣類は排除し、意図した特定の衣類に適する衣類のみを推薦することができる。
図16の(c)を参照すると、推薦演算段階(H3)において、推薦部250は上記特定のユーザの日程、天気情報、好み、所蔵衣類情報(AI)、身体情報(BI)、流行、購買対象衣類情報(CI)とテニススカート(A37)を推薦プログラム(T)に入力して、ピンクブラウス(A212)を適する推薦衣類(Z)として推薦することができる。増強演算部230は上記ユーザの身体映像213に推薦衣類(Z)のサイズをそのまま反映してレンダリングし、レンダリングされた映像を仮想表示部210にそのまま表示することができる。
その後、ユーザは他の衣類の推薦や比較を要請したりして判断補正段階(H4)などを行うこともできる。
図17は本発明の一実施例によるオンラインシステムが衣類を推薦する上記方法が行われるさらに他の実施例を示す図である。
図17の(a)を参照すると、ユーザの“推薦してくれ”という音声命令を衣類装置100が認識することにより推薦要請受信段階(H1)が行われ、衣類装置100は撮影部220で特定のユーザを撮影して要請状態認識段階(H2)を行うことができる。
増強演算部230は推薦部250と増強貯蔵部240により現在のユーザに適する衣類(Z1)を演算し、ユーザの実際映像214に推薦された衣類(Z1)をレンダリングして仮想表示部210に表示する推薦演算段階(H3)を行う。
特定のユーザはパジャマなどの全く関係ない衣服を着っている状態であっても、仮想表示部210は推薦された衣類(Z1)を完璧に着用した状態をユーザの映像213にレンダリングして表示することができる。
図17の(b)を参照すると、ユーザは自分の位置を可変しながら判断補正段階(H4)を行うことができる。例えば、ユーザがP1の位置で現在の推薦要請受信段階(H1)を行った場合、P2に位置を可変することができる。P2はP1から側面に該当する位置である。
例えば、仮想表示部210の面積にユーザの映像が半分以下などに縮小される位置であることができ、増強演算部はこれを判断補正段階を要請する命令に対応させることができる。
また、位置カメラ222はユーザの変化した位置が設定範囲以上であるか否かを感知することができる。増強演算部230は設定範囲以上にユーザの位置が可変したことを認知すると、位置変化を現在推薦された衣類(Z1)とは異なる衣類の推薦を要求する比較命令として解釈することができる。勿論、比較命令はユーザの“比較してくれ”のような直接的な音声命令であることもできる。
推薦部250は比較命令が受信されると、推薦された衣類(Z1)とは異なる推薦された衣類(Z2)を推薦することができる。増強演算部230は仮想表示部210に他の推薦された衣類(Z2)をレンダリングして表示することができる。
判断補正段階(H4)において増強演算部230は最初に推薦された衣類(Z1)とその後に推薦された衣類(Z2)を仮想表示部210に同時に表示することができる。
これにより、ユーザは推薦された複数の衣類を比較しながら自分に適する衣類を選択することができる。また、ユーザの選択は推薦部250に好みの入力値として反映されて、今後推薦される出力値に影響を及ぼすことができる。
図18は本発明の一実施例によるオンラインシステムが衣類を推薦する上記方法が行われるさらに他の実施例を示す図である。
図18の(a)は推薦要請受信段階(H1)から推薦演算段階(H3)まで行われることを示す図である。
図18の(b)を参照すると、判断補正段階(H4)において、ユーザは他のユーザ(E)と推薦された衣類が似合うか否かに対する判断要請を発信する。本発明の一実施例によるオンラインシステムは上記判断要請を受信すると、増強貯蔵部240に貯蔵されている他人情報(EI)に基づいて仮想表示部210に推薦された衣類(Z1)と他人(E)を共に表示することができる。
これにより、ユーザは他人(E)と推薦された衣類(Z1)が似合うか否かを確認することができる。他人情報(EI)は撮影部220で撮影されて増強貯蔵部250に登録されるか、或いは外部端末400やサーバー600に一般写真が増強貯蔵部250に貯蔵されて登録されることができる。
図18の(c)を参照すると、追加要請受信段階(H1)において、複数のユーザが共に衣類の推薦を要請することができる。増強演算部230は撮影部220が撮影した映像から複数のユーザの輪郭が認識されると、ペアルックを推薦することを推薦部250に要請することができる。推薦部250は複数のユーザの情報まで推薦アルゴリズム(T)に入力してペアルック(Z1,Z2)を出力することができる。
増強演算部230は複数のユーザの映像にペアルック(Z1,Z2)をレンダリングして仮想表示部210に表示することができる。
これにより、本発明の一実施例によるオンラインシステムは複数のユーザの衣類を同時に推薦するか、或いは特定のユーザが他のユーザと似合う衣類を推薦することができる。
図19は本発明の一実施例によるオンラインシステムが衣類を推薦する上記方法が行われるさらに他の実施例を示す図である。
本発明の一実施例によるオンラインシステムは、推薦演算段階(H3)において複数の衣類を共に推薦して仮想表示部210に全部表示することができ、判断補正段階(H4)においてはユーザが複数の衣類のいずれかを直接選択するように誘導することができる。
図19の(a)を参照すると、ユーザはアクセサリー(A4)の推薦を要請することができ、本発明の一実施例によるオンラインシステムは、アクセサリー(A4)のうち、複数のスカーフを推薦して表示パネル211に表示することができる。
複数のスカーフのうち、マッチング率が最も高い第1スカーフ(A41)がユーザの映像213にレンダリングされて表示され、マッチング率が相対的に低い第2スカーフ(A42)と第3スカーフ(A43)は表示パネル211のうち、ユーザの映像213から分離されて表示される。勿論、複数のスカーフはユーザの映像213にレンダリングされず、仮想に表示パネル211に表示されることもできる。
撮影部220のモーション認識部223はユーザの指(HP)の動きを認知するように備えられる。
図19の(b)を参照すると、ユーザは指(hp)を空に向かって動くことができ、モーション認識部223はそれを認知することができる。増強演算部230は仮想表示部210に表示された複数のスカーフを移動することができる。
例えば、ユーザにレンダリングされた第1スカーフ(A41)をユーザの映像213から分離し、第3スカーフ(A43)をユーザの映像213にレンダリングすることができる。
ユーザはこの過程を繰り返して複数のスカーフのうち、所望のスカーフを確定することができる。
図20乃至図22は本発明によるオンラインシステムにおいて、仮想フィッティング部200の他の活用実施例を示す図である。
上述したように、本発明の一実施例によるオンラインシステムにおいて、フィッティング部200は撮影部220と増強演算部230及び増強貯蔵部240でユーザの身体情報(BI)を貯蔵することができる。
一方、ユーザは時間経過によって身体情報(BI)が変化することができる。例えば、ユーザが運動或いは過食により身体の体積が大きくなることもあり、ユーザがダイエットをして身体の体積が小さくなることもある。フィッティング部200は撮影部220でユーザの身体情報(BI)を随時撮影して身体情報(BI)を更新する必要がある。
よって、フィッティング部200は身体情報(BI)の変化をユーザに通知するサービスを提供することができる。フィッティング部200は身体情報(BI)の全体変化を3D映像によりユーザに通知し、特定の身体部位の3D変化もユーザに通知することができる。
また、フィッティング部200は増強演算部230により身体情報(BI)の変化を数値で示すことができる。フィッティング部200は増強貯蔵部240の所蔵衣類情報(AI)及び購買対象衣類情報(CI)をユーザの身体情報(BI)と比較して、身体変化によって着られる衣類と着られない衣類をユーザに通知することができる。
これにより、ユーザは自分の身体変化を直感的に観察できるだけではなく、着られる衣類と着られない衣類の変化を認知することができる。
本発明の一実施例によるオンラインシステムは、ユーザから自分の身体スキャンを要請するスキャン命令を受信するスキャン要請受信段階(I1)を行うことができる。
スキャン要請受信段階(I1)において、ユーザは自分の身体情報をフィッティング部200に登録し、身体情報の変化案内を衣類装置100に要請することができる。
本発明の一実施例によるオンラインシステムは、仮想表示部210にユーザの身体スキャンのために必要な内容を表示するスキャン案内段階(I2)を行うことができる。スキャン案内段階(I2)は表示パネル211にガイド線214が表示されるか、又はスピーカー212の案内音声が出力されることを含む。
スキャン案内段階(I2)によってユーザの動作が行われると、本発明の一実施例によるオンラインシステムはユーザの身体を撮影部220で撮影する撮影段階(I3)を行う。
撮影段階(I3)では増強演算部230がユーザの身体輪郭を抽出し、ユーザの身体体積を演算することを含む。
本発明の一実施例によるオンラインシステムは、身体情報を十分に得られる映像を確保したか否かを点検する完了判断段階(I4)を行い、追加映像が必要であれば、スキャン案内段階(I2)を繰り返すことができる。
本発明の一実施例によるオンラインシステムは、身体情報(BI)の獲得が完了すると、ユーザの3Dアバター映像又はユーザの身体映像を仮想表示部210に表示するスキャン結果表示段階(I5)を行う。
本発明の一実施例によるオンラインシステムは、身体情報(BI)を既存の身体情報(BI)と比較して、所蔵衣類情報(A)のうち、着られる衣類と着られない衣類を点検する保有衣類点検段階(I6)を行う。
保有衣類点検段階(I6)では、所蔵衣類情報(AI)のうち、着られる衣類と着られない衣類のリストが仮想表示部210又は外部端末400に表示される。また、保有衣類点検段階(I6)では、所蔵衣類情報(AI)のうち、着られる衣類と着られなくなった衣類が仮想表示部210に表示される。
本発明の一実施例によるオンラインシステムは、身体情報(BI)を既存の身体情報(BI)と比較して、購買対象衣類情報(CI)のうち、着られる衣類と着られない衣類を点検する他衣類点検段階(I7)を行う。
他衣類点検段階(I7)では、購買対象衣類情報(CI)のうち、着られる衣類と着られない衣類のリストが仮想表示部210又は外部端末400に表示される。
また、他衣類点検段階(I7)では、購買対象衣類情報(CI)のうち、着られる衣類と着られなくなった衣類が仮想表示部210に表示される。
本発明の一実施例によるオンラインシステムは、以前の身体情報(BI)と現在の身体情報(BI)の変化を比較する比較段階(I8)を行う。
比較段階(I8)では、仮想表示部210に以前の身体映像又はアバターと現在の身体映像又はアバターが表示され、身体映像又はアバターの変化が数値で表示される。
図21は図20の過程が行われる一実施例を示す図である。
図21の(a)を参照すると、ユーザは衣類装置100の前に位置して、“ボディをスキャンしてくれ”という音声命令を発話したり、衣類入力部150を入力してスキャン要請受信段階(I1)を実行することができる。
衣類装置100は表示パネル211にガイド線214を表示し、スピーカー212でユーザがとる位置や動作を案内するスキャン案内段階(I2)を行い、ユーザが適正の位置や動作を取りながらユーザの身体を撮影する撮影段階(I3)を行うことができる。
例えば、表示パネル211にはユーザの正面を撮影するための正面ガイド線214aが表示され、スピーカー212では“正面を見て線のように立ってください”という案内文句が出力される。ガイド線214aに一定の水準以上のユーザの身体が含まれると、イメージ撮影及び貯蔵が行われる。一定の水準は例えば、70%以上である。
衣類装置100は撮影部220でユーザの正面を撮影する。
図21の(b)を参照すると、表示パネル211にはユーザの側面を撮影するための側面ガイド線214bが表示され、スピーカー212では“側方に回って線のように立ってください”という案内文句が出力される。衣類装置100は撮影部220でユーザの側面を撮影する。
一方、増強演算部230はユーザの身体情報を測定するために、さらに背面の映像が必要であると判断することができる。
図21の(c)を参照すると、表示パネル211にはユーザの背面を撮影するための背面ガイド線214cが表示され、スピーカー212では“後方に回って線のように立ってください”という案内文句が出力される。衣類装置100は撮影部220でユーザの背面を撮影する。
図21の(d)を参照すると、増強演算部230では輪郭抽出部231によりそれぞれの映像からユーザの身体輪郭を抽出して、体積感知部232により輪郭の実際の体積を演算することができる。
増強演算部230は演算された値に基づいてユーザの身体情報(BI)を得られる。身体情報(BI)は3Dプロフィールに該当する。
増強演算部230は身体情報(BI)に基づいてユーザの映像をアバター(S)で仮想表示部210に出力することができる。
アバター(S)は仮想表示部210で回転しながら出力され、正面(S2)のアバターと側面のアバター(S1)に分けて表示される。
その後、増強演算部230は比較認識部236を活用して所蔵衣類情報(AI)、購買対象衣類情報(CI)を共に分析して、着られる衣類と着られなくなった衣類のリストを演算することができる。
仮想表示部210は上記リストを表示することができる。このリストは衣類の具体的な識別番号とブランドを含む。例えば、仮想表示部210はユーザの身体体積が10%減少して、A31、A22は今は着られるが、A32、A23は着られないという内容を表示し、また他のブランドよりもサイズが小さいブランドQの衣類を着られるという内容を表示する。
図22を参照すると、ユーザは積極的に以前の身体情報との比較を要請する比較命令を衣類装置100に発信することができる。衣類装置100はこの比較命令を受信すると、以前の身体情報に基づく以前のアバター(Sb)と、現在の身体情報に基づく現在のアバター(SA)を仮想表示部210に表示する。また仮想表示部210は身体変化量を共に表示する。例えば、体積が10%減少した場合、身体体積が10%減少したという文句が共に表示される。
これにより、ユーザは自分の身体変化を直感的に観察することができ、運動などの成果、過食の問題、姿勢の重要性を確認することができる。
上記制御方法はオンラインシステムを活用する者が複数である場合にも適用される。即ち、オンラインシステムはユーザの身体情報を得る過程において複数のユーザの身体情報を区分して貯蔵することができる。また複数のユーザのうち、特定のユーザが衣類の登録、推薦、身体スキャンのいずれかを要請する場合には、特定のユーザを認識して特定のユーザに対応する衣類の登録、衣類の推薦、身体スキャンの結果を提供することができる。
したがって、複数のユーザが1つのオンラインシステムによりパーソナライズで衣類の登録、衣類の推薦、身体スキャンを混線なく活用することができる。
本発明は様々な形態に変形して実施でき、上記実施例に本発明の権利範囲が限定されない。従って、変形した実施例が本発明の特許請求の範囲の構成要素を含んでいる場合、本発明の権利範囲に属するものと解釈できる。