JP2020067868A - 施術支援システム - Google Patents

Abstract

【課題】 施術の精度を向上させることが可能となる施術支援システムを提供する。【解決手段】施術支援システムは、施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を有する対象情報を取得する取得部と、予め取得された過去の対象情報、上記過去の対象情報に対応する参照情報、及び上記過去の対象情報と上記参照情報との間における３段階以上の第１連関度が記憶される参照データベースと、上記参照データベースに記憶されている第１連関度を参照し、上記取得手段により取得された上記対象情報に基づいて、参照情報を探索する探索手段と、を備え、上記参照情報は、施術方法に関する施術方法情報、及び過去の施術対象者の施術後の横顔と正面顔とを含む過去の施術後顔画像、の少なくとも何れかを有することを特徴とする。【選択図】図５

Description

本発明は、ユーザに施術の支援が可能となる施術支援システムに関する。

従来より、顔の印象に対する分析を行い、その分析結果からメイクアップ効果を定量化する装置が知られている（例えば、特許文献１参照）。特許文献１では、顔画像の輪郭に対応させた指数を設定し、その設定した指数を基準として顔の特定部位の変化量を求め、顔の輪郭又は大きさ（小顔に対する見え方）に関わるメイクアップ効果を定量化する装置等について提示している。

特開２０１７−７３１０８号公報

しかしながら、上述した特許文献１の装置は、小顔に対するメイクアップ効果を定量化するものであり、実際に施術を行う施術者に対してアドバイスをすることは難しい。美容整形や化粧等の顔に対する施術は、施術後の僅かな差異が施術対象者の印象に大きな影響を及ぼすため、精度の高い施術が求められる。施術の中でも特に美容整形は、一度施術してしまうと元に戻すことが難しいため、精度の高い施術が求められる。このため、施術者に施術方法や施術対象者の施術後の顔等を考慮した施術のアドバイスできる技術が切望されている。

そこで本発明は、上述した問題に鑑みて案出されたものであり、その目的とするところは、施術の精度を向上させることが可能となる施術支援システムを提供することにある。

本発明に係る施術支援システムは、施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を有する対象情報を取得する取得手段と、予め取得された過去の対象情報、上記過去の対象情報に対応する参照情報、及び上記過去の対象情報と上記参照情報との間における３段階以上の第１連関度が記憶される参照データベースと、上記参照データベースに記憶されている第１連関度を参照し、上記取得手段により取得された上記対象情報に基づいて、参照情報を探索する探索手段と、を備え、上記参照情報は、施術方法に関する施術方法情報、及び過去の施術対象者の施術後の横顔と正面顔とを含む過去の施術後顔画像、の少なくとも何れかを有することを特徴とする。

本発明に係る施術支援システムは、施術対象者の美容整形前の横顔及び正面顔を含む施術前顔画像を有する対象情報を取得する取得手段と、美容整形に関する美容整形方法情報を有する施術方法情報が入力される入力手段と、上記入力手段により入力された上記施術方法情報を参照し、上記取得手段により取得された上記対象情報に基づいて、施術対象者の美容整形後を想定した横顔及び正面顔を含む仮想施術顔画像を生成する生成手段と、を備えることを特徴とする。

本発明によれば、施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を有する対象情報に対して、施術のアドバイスとなる参照情報を探索することができる。これにより、ユーザは、実際に施術を行う前に、最適な施術方法や過去の施術対象者の顔等を把握することができる。このため、ユーザに施術の精度を向上させることが可能となる。

本発明によれば、生成部は、入力部により入力された美容整形方法情報を参照し、取得部により取得された対象情報に基づいて、仮想施術顔画像を生成する。これにより、ユーザは、実際に施術を行う前に、施術対象者の施術後を想定した顔を把握することができる。このため、施術の精度を一層向上させることが可能となる。

図１は、第１実施形態における施術支援システムの構成例を示す模式図である。 図２（ａ）は、施術前顔画像を取得する際の施術対象者を真上から示す模式図であり、図２（ｂ）は、施術前顔画像の一例を示す模式図である。 図３は、仮想施術顔画像の一例を示す模式図である。 図４（ａ）は、実施形態における施術支援装置の構成の一例を示す模式図であり、図４（ｂ）は、実施形態における施術支援装置の機能の一例を示す模式図である。 図５は、実施形態における参照データベースの一例を示す模式図である。 図６は、実施形態における参照データベースの第１変形例を示す模式図である。 図７は、実施形態における参照データベースの第２変形例を示す模式図である。 図８は、生成部により生成される仮想施術顔画像の一例を示す模式図である。 図９は、生成部により生成される仮想施術顔画像の第１変形例を示す模式図である。 図１０は、第１実施形態における施術支援システムの動作の一例を示すフローチャートである。 図１１は、第２実施形態における施術支援システムの動作の一例を示すフローチャートである。

以下、本発明の実施形態における施術支援システムの一例について、図面を参照しながら説明する。

（第１実施形態：施術支援システム１００の構成）
図１を参照して、第１実施形態における施術支援システム１００の構成の一例について説明する。図１は、第１実施形態における施術支援システム１００の全体構成を示すブロック図である。

図１に示すように、施術支援システム１００は、施術支援装置１を備える。施術支援装置１は、例えば公衆通信網４（ネットワーク）を介して、対象者端末２と接続されるほか、例えばサーバ３等と接続されてもよい。

施術支援システム１００は、施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を有する対象情報に対して、施術のアドバイスとなる参照情報を探索できる。これにより、施術支援システム１００を利用する施術者や施術対象者等のユーザは、例えば実際に施術を行う前に、最適な施術方法や過去の施術対象者の施術後の顔等を把握することができる。このため、施術の精度を向上させることが可能となる。

また、施術支援システム１００は、参照情報を参照して、施術対象者の施術後を想定した横顔と正面顔とを含む仮想施術顔画像を生成できる。これにより、ユーザは、実際に施術を行われる前に、施術対象者の施術後を想定した顔を把握することができる。このため、施術の精度を向上させることが可能となる。

＜施術支援装置１＞
施術支援装置１は、対象情報を取得し、対象情報に対する参照情報を探索するためのものである。本実施形態における施術支援装置１のユーザは、主に施術対象者に施術を行う施術者、その補助者、施術者から施術を受ける施術対象者等である。ここでいう施術は、顔に対する、美容整形又は化粧をいう。施術支援装置１は、ユーザが自分自身に対して施術を行う際に用いられてもよい。

施術支援装置１は、施術対象者の保有する対象者端末２により生成された対象情報を、対象者端末２から取得する。対象情報は、対象者端末２の有するカメラ、マイク、キーボード等を用いて、生成される。なお、対象情報は、施術支援装置１の有するカメラ、マイク、キーボード等を用いて、生成されてもよい。

対象情報は、少なくとも施術前顔画像を有する。対象情報は、更に、付帯情報を有していてもよい。付帯情報は、問診情報、希望情報、用途情報、及び化粧品情報の少なくとも何れかを有していてもよい。

施術前顔画像は、施術対象者の施術前の横顔と正面顔とを含む顔画像である。施術前顔画像は、例えば、図２（ａ）に示すように、対象者端末２のカメラにより、施術対象者の施術前の左横顔から正面顔を通って右横顔までが連続した顔画像として撮像されることで、生成される。左横顔は、正面顔に対して３０°以上９０°以下（図２（ｂ）のＲ１）である。右横顔は、正面顔に対して３０°以上９０°以下（図２（ｂ）のＲ２）である。施術前顔画像は、顔の位置に応じた３次元の位置情報を有しており、２次元画像であってもよいし、３次元画像であってもよい。

問診情報は、施術前における施術対象者に対する施術前問診情報と、施術後における施術対象者に対する施術後問診情報とを有する。問診情報は、施術者と施術対象者との問診の音声データを対象者端末２のマイク等からテキストデータに変換した情報を有する。問診情報は、施術対象者の氏名、年齢、性別、国籍、趣味、趣向等の情報を有していてもよい。

希望情報は、施術対象者の希望に関する情報である。希望情報は、例えば、施術対象者の目、鼻、顎、等の施術を希望する部位に関する希望部位情報を有する。希望情報は、例えば、二重にしたい、小顔に見せたい等の施術に関する希望施術情報を有する。

用途情報は、施術の用途に関する情報である。用途情報は、例えば、結婚、就職、外出等の用途に関する情報を有する。また、用途情報は、用途に応じた背景情報、衣装情報を有していてもよい。背景情報は、例えば、レストランやカフェ、美術館、海岸等の様々な背景に関する情報を有する。衣装情報は、例えば、ドレス、上品なスーツ、ユニフォーム等の衣装に関する情報を有する。

化粧品情報は、化粧品に関する情報である。化粧品情報は、例えば、施術対象者等が保有する化粧品に関する情報である。化粧品は、例えば、クレンジング、洗顔料、化粧水、乳液、クリーム、ジェル美容液、パック、マッサージオイル、リップケア等のスキンケア化粧品であってもよい。化粧品は、ファンデーション、フェースパウダー、化粧下地、コンシーラー等のベースメイク化粧品であってもよい。化粧品は、口紅、アイシャドウ、マスカラ、チーク、ネイルケア、リップグロス、リップライナー、アイライナー、アイブロウ等のポイントメイク化粧品であってもよい。化粧品は、ヘアケア化粧品、日焼け止め、スポンジやブラシ等の化粧用具等であってもよい。

施術支援装置１は、対象情報に対する参照情報を探索する。参照情報は、施術方法情報、及び過去の施術後顔画像の少なくとも何れかを有する。

施術方法情報は、施術方法に関する情報である。施術方法情報は、美容整形方法情報、及び化粧方法情報の少なくとも何れかを有する。施術方法情報は、施術方法に紐づけられた施術の注意点に関する注意情報を有していてもよい。施術方法情報は、施術方法に紐づけられた施術時間に関する施術時間情報を有していてもよい。施術方法情報は、施術方法に紐づけられた施術の痛みに関する痛み情報を有していてもよい。施術方法情報は、施術方法に応じた工程に関する情報を有する。

美容整形方法情報は、美容整形方法に関する情報である。美容整形方法情報は、埋没法、切開法、脂肪除去法、シリコン樹脂の挿入、ヒアルロン酸注入、ボツリヌス・トキシン注入、軟骨縫合、鼻翼縮小、フェイスリフト、フェザーリフト、レーザ治療、パルスライト治療、ケミカルピーリング、スキンヒールセラピー等の目、鼻、顎、皮膚等の顔に対する美容整形方法に関する情報を有する。美容整形方法情報は、美容整形方法に応じた工程に関する情報を有する。美容整形方法情報は、美容整形方法に伴う動作に関する情報を有する。

化粧方法情報は、化粧方法に関する情報である。化粧方法情報は、下地を塗る、アイシャドウを塗る、リップを塗る等の皮膚、目、唇等の顔に対する化粧方法に関する情報を有する。化粧方法情報は、化粧方法に紐づけられた化粧品情報を有していてもよい。化粧方法情報は、化粧方法に応じた工程に関する情報を有する。化粧方法情報は、化粧方法に伴う動作に関する情報を有する。

過去の施術後顔画像は、過去の施術対象者の施術後の横顔及び正面顔を含む顔画像である。過去の施術後顔画像は、例えば、対象者端末２のカメラにより、過去の施術対象者の施術後の左横顔から正面顔を通って右横顔までが連続した顔画像として撮像されることで、生成される。左横顔は、正面顔に対して３０°以上９０°以下である。右横顔は、正面顔に対して３０°以上９０°以下である。過去の施術後顔画像は、顔の位置に応じた３次元の位置情報を有しており、２次元画像として出力させることもでき、３次元画像として出力させることもできる。

過去の施術後顔画像は、過去の施術対象者に行われた施術に複数の工程がある場合には、全ての工程が完了した後の顔画像であってもよい。また過去の施術後顔画像は、過去の施術対象者に行われた施術に複数の工程がある場合、一部の工程が完了した後（即ち、施術中）の顔画像であってもよい。

また、施術支援装置１は、対象情報に基づいて、仮想施術顔画像を生成する。

仮想施術顔画像は、施術対象者の施術後を想定した横顔及び正面顔を含む顔画像である。仮想施術顔画像は、左横顔から正面顔を通って右横顔までが連続した顔画像である。仮想施術顔画像は、施術前顔画像に基づいて、施術支援装置１の生成部１７により生成される。仮想施術顔画像は、施術前顔画像に対して、いわばＶＲ（virtual reality）上で施術が行われることで、生成される。左横顔は、正面顔に対して３０°以上９０°以下である。右横顔は、正面顔に対して３０°以上９０°以下である。仮想施術顔画像は、顔の位置に応じた３次元の位置情報を有しており、２次元画像として出力させることもでき、３次元画像として出力させることもできる。

生成した仮想施術顔画像は、参照データベースに、過去の施術前顔画像として記憶されてもよい。また、生成した仮想施術顔画像は、参照データベースに、過去の施術後顔画像として記憶されてもよい。このとき、仮想施術顔画像の生成に用いられた施術前顔画像を過去の施術前顔画像として記憶させ、この過去の施術前顔画像と、生成した仮想施術顔画像（過去の施術後顔画像）と、の関係が新たに構築されてもよい。

仮想施術顔画像は、施術対象者に行われるべき施術に複数の工程がある場合には、全ての工程が完了した後を想定した顔画像であってもよい。また仮想施術顔画像は、施術対象者に行われるべき施術に複数の工程がある場合、一部の工程が完了した後（即ち、施術中）を想定した顔画像であってもよい。

施術支援装置１は、例えば図３（ａ）に示すように、対象者端末２に施術前顔画像と仮想施術顔画像を出力してもよい。これにより、施術前顔画像と仮想施術顔画像とを比較することができる。また、施術支援装置１は、対象者端末２に仮想施術顔画像を出力してもよい。また、施術支援装置１は、例えば対象者端末２に参照情報を出力してもよい。

図４（ａ）は、施術支援装置１の構成の一例を示す模式図である。施術支援装置１として、パーソナルコンピュータ（ＰＣ）等の電子機器が用いられる。施術支援装置１は、筐体１０と、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、記憶部１０４と、Ｉ／Ｆ１０５〜１０７とを備える。各構成１０１〜１０７は、内部バス１１０により接続される。なお、施術支援装置１としては、ＰＣ以外に、スマートフォン、タブレット型端末、ヘッドマウントディスプレイを有するＶＲ機等の電子機器であってもよい。

ＣＰＵ（Central Processing Unit）１０１は、施術支援装置１全体を制御する。ＲＯＭ（Read Only Memory）１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。記憶部１０４は、対象情報等の各種情報が記憶される。記憶部１０４として、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（Solid State Drive）やフロッピーディスク等のデータ保存装置が用いられる。なお、例えば施術支援装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。

Ｉ／Ｆ１０５は、公衆通信網４を介して対象者端末２等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部分１０８との情報の送受信を行うためのインターフェースである。入力部分１０８として、キーボード、ＶＲコントローラー等が用いられ、施術支援システム１００のユーザ等は、入力部分１０８を介して、各種情報又は施術支援装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、出力部分１０９との各種情報の送受信を行うためのインターフェースである。出力部分１０９は、記憶部１０４に保存された各種情報、又は施術支援装置１の処理状況等を出力する。出力部分１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。出力部分１０９として、ヘッドマウントディスプレイが用いられてもよい。

図４（ｂ）は、施術支援装置１の機能の一例を示す模式図である。施術支援装置１は、取得部１１と、探索部１２と、出力部１４と、入力部１５と、情報ＤＢ１６とを備える。施術支援装置１は、例えば更新部１３を備えてもよい。また、施術支援装置１は、例えば生成部１７を備えてもよい。なお、図４（ｂ）に示した機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、記憶部１０４等に記憶されたプログラムを実行することにより実現される。また、各構成１１〜１７は、例えば人工知能により制御されてもよい。ここで、「人工知能」は、いかなる周知の人工知能技術に基づくものであってもよい。

＜情報ＤＢ１６＞
情報ＤＢ１６は、予め取得された過去の対象情報、過去の対象情報に対する参照情報、及び過去の対象情報と参照情報との間における第１連関度、が記憶された参照データベースを含む。情報ＤＢ１６は、過去の対象情報に対する参照情報が記憶されるほか、例えば参照情報を表示するフォーマット等の各種情報が記憶されたデータベースを含む。参照データベース及びデータベースは、ＨＤＤやＳＳＤ等で具現化された記憶部１０４に保存される。各構成１１〜１５、１７は、必要に応じて情報ＤＢ１６に各種情報を記憶させ、又は各種情報を取出す。

参照データベースには、例えば図５に示すように、過去の対象情報と参照情報との間における３段階以上の第１連関度が記憶される。過去の対象情報及び参照情報は、複数の情報を有し、それぞれ関係の度合いを示す第１連関度で紐づいており、例えば１０段階や５段階等の３段階以上の関連度（図５では百分率で表示）で示される。

この第１連関度は、過去の対象情報がいかなる参照情報に紐付けられる可能性が高いかを示す指標であり、対象情報から最適な参照情報を探索する上での的確性を示すものである。例えば、過去の施術前顔画像に含まれる「施術前の顔Ａ」は、参照情報の施術方法情報に含まれる「施術方法Ａ」に第１連関度「８０％」で紐づけられ、参照情報の施術方法情報に含まれる「施術方法Ｂ」に第１連関度「１０％」で紐づけられ、参照情報の過去の施術後顔画像に含まれる「施術後の顔Ａ」に第１連関度「６０％」で紐づけられる。この場合、「施術方法Ａ」は、「施術方法Ｂ」、「施術後の顔Ａ」に比べて繋がりが強いことを示す。

過去の対象情報は、上述した対象情報に対応する情報を有し、例えば過去の施術前顔画像を少なくとも有する。過去の対象情報は、更に、過去の付帯情報を有していてもよい。過去の付帯情報は、過去の問診情報、過去の希望情報、過去の用途情報、過去の化粧品情報、を有していてもよい。各情報の特徴は、上述した対象情報の有する各情報と同様のため、説明を省略する。

参照データベースは、例えば機械学習を用いて構築される。機械学習の方法として、例えば深層学習が用いられる。参照データベースは、例えばニューラルネットワークで構成され、その場合、第１連関度は隠れ層及び重み変数で示されてもよい。

第１連関度は、例えば図６に示すように、過去の対象情報に含まれる、過去の施術前顔画像と過去の付帯情報とを組み合わせた結果に対して紐づけられてもよい。この場合、各第１連関度の強弱を明確にすることができ、探索される参照情報の精度の向上を図ることができる。

第１連関度は、例えば図７に示すように、過去の対象情報の有する中間情報に紐づいてもよい。中間情報と過去の施術前顔画像、及び、中間情報と過去の付帯情報とは、中間連関度によって紐づけられている。中間連関度は、第１連関度と同様に、過去の施術前顔画像及び過去の付帯情報と、中間情報とが紐づく度合いを示しており、例えば百分率、１０段階、又は５段階等の３段階以上で示される。過去の対象情報が中間情報を有することで、過去の施術前顔画像又は過去の付帯情報を更新するとき、第１連関度を更新する必要が無い。また、参照情報を更新するとき、中間連関度を更新する必要が無い。これらにより、参照データベースの更新に費やす時間を大幅に削減することが可能となる。

＜取得部１１＞
取得部１１は、各種情報を取得する。取得部１１は、対象者端末２から対象情報を取得するほか、例えば可搬メモリ等の記憶媒体から対象情報を取得してもよい。なお、対象情報のデータ形式は任意であり、例えば取得部１１が任意のデータ形式に変換してもよい。

取得部１１は、例えば対象情報の有する特定の情報のみを抽出してもよく、例えば施術前顔画像、問診情報、希望情報、用途情報、化粧品情報を抽出する。抽出する情報は、ユーザ等が任意に設定できる。

＜探索部１２＞
探索部１２は、各種情報を探索する。探索部１２は、過去の対象情報と参照情報との間における３段階以上の第１連関度を参照し、取得部１１により取得した対象情報に基づいて、参照情報を探索する。探索部１２は、中間連関度を参照し、取得した各種情報に基づいて、中間情報を探索する。

＜更新部１３＞
更新部１３は、各種情報を更新する。更新部１３は、例えば過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を第１連関度に反映させる。更新部１３は、生成部１７に生成された仮想施術顔画像に対する評価を示す評価情報を取得し、評価情報に基づいて第１連関度を更新してもよい。更新部１３は、評価情報に基づいて、仮想施術顔画像を生成する際に参照した参照情報と、この参照情報に紐づけられた過去の対象情報と、の間における第１連関度を更新してもよい。更新部１３は、記憶部１０４に記憶された参照データベースを取得し、例えば機械学習を用いて更新する。機械学習の方法として、例えば深層学習が用いられる。更新部１３は、過去の対象情報における各情報と、中間情報との間の関係を新たに取得した場合には、関係を中間連関度に反映させてもよい。

評価情報は、対象者端末２又は入力部１５により入力を介して生成され、情報ＤＢ１６に記憶される。評価情報は、「良い」「悪い」の２段階に設定されてもよいし、「０点〜１００点」等の３段階以上に設定されてもよい。例えば、評価情報が「良い」の場合には、更新部１３は、対応する第１連関度を向上させるように更新する。

＜出力部１４＞
出力部１４は、各種情報を出力する。出力部１４は、探索部１２により探索した参照情報を出力する。出力部１４は、生成部１７により生成した仮想施術顔情報を出力する。出力部１４は、Ｉ／Ｆ１０５を介して対象者端末２に各種情報を出力するほか、例えばＩ／Ｆ１０７を介して出力部分１０９に各種情報を出力してもよい。

＜入力部１５＞
入力部１５は、各種情報を入力する。入力部１５は、例えば、美容整形方法情報が入力される。入力部１５は、Ｉ／Ｆ１０５を介して対象者端末２から送信された対象情報を受信するほか、例えばＩ／Ｆ１０６を介して入力部分１０８から入力された各種情報を受信する。そのほか、入力部１５は、例えばサーバ３に記憶された対象情報等を受信してもよい。入力部１５は、例えば可搬メモリ等の記憶媒体を介して、対象情報等を受信してもよい。

＜生成部１７＞
生成部１７は、図５に示すように、探索部１２により探索された参照情報を参照し、取得部１１により取得した対象情報に基づいて、仮想施術顔画像を生成する。生成部１７は、施術前顔画像に基づいて、参照情報の施術方法を参照し、仮想施術顔画像を生成する。このとき、施術前顔画像に対して、例えば施術方法に応じて画像が編集されて、仮想施術顔画像が生成される。生成部１７は、施術方法における各工程毎に、仮想施術顔画像を生成してもよい。このとき、施術前顔画像に対して、例えば施術方法における各工程に応じて画像が編集されて、仮想施術顔画像が生成される。生成部１７は、施術前顔画像に基づいて、参照情報の過去の施術後顔画像を参照し、仮想施術顔画像を生成する。このとき、施術前顔画像に対して、例えば過去の施術後顔画像が合成されて、仮想施術顔画像が生成される。

また、生成部１７は、図８に示すように、入力部１５により入力された美容整形方法情報を参照し、取得部１１により取得した対象情報に基づいて、仮想施術顔画像を生成する。これにより、いわばＶＲ（virtual reality）上で施術が行われ、仮想施術顔画像が生成される。生成部１７は、入力された美容整形方法に応じて画像が編集されて、仮想施術顔画像を生成する。生成部１７は、美容整形方法における各工程毎に、仮想施術顔画像を生成してもよい。生成部１７は、美容整形方法における動作毎に、仮想施術顔画像を生成してもよい。図９に示すように、対象情報は、施術前顔画像に加え、付帯情報を有していてもよい。

＜対象者端末２＞
対象者端末２は、施術支援システム１００を利用する施術対象者が保有する。対象者端末２として、パーソナルコンピュータ（ＰＣ）のほか、例えばスマートフォンやタブレット端末等の電子機器が用いられる。対象者端末２は、施術対象者の各種の顔画像を取得するためのカメラ、問診等の際の音声を集音するためのマイク、取得された各情報に基づいて対象情報を生成する生成部等を有する。なお、対象者端末２は、例えば上述した施術支援装置１と同等の構成及び機能を有してもよい。すなわち、本実施形態における施術支援システム１００は、例えば施術支援装置１の代わりに対象者端末２を用いてもよい。

＜サーバ３＞
サーバ３には、各種情報に関するデータ（データベース）が記憶されている。このデータベースには、例えば公衆通信網４を介して送られてきた情報が蓄積される。サーバ３には、例えば情報ＤＢ１６と同様の情報が記憶され、公衆通信網４を介して施術支援装置１と各種情報の送受信が行われてもよい。サーバ３として、例えばネットワーク上のデータベースサーバが用いられてもよい。サーバ３は、上述した記憶部１０４や情報ＤＢ１６の代わりに用いられてもよい。

＜公衆通信網４＞
公衆通信網４（ネットワーク）は、施術支援装置１等が通信回路を介して接続されるインターネット網等である。公衆通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網４は、有線通信網には限定されず、無線通信網で実現してもよい。

（実施形態：施術支援システム１００の動作）
次に、実施形態における施術支援システム１００の動作の一例について説明する。図１０は、実施形態における施術支援システム１００の動作の一例を示すフローチャートである。

＜取得ステップＳ１１０＞
先ず、取得ステップＳ１１０では、取得部１１が、少なくとも施術前顔画像を有する対象情報を取得する。取得部１１は、入力部１５を介して、対象者端末２により生成された対象情報を取得するほか、例えば可搬メモリ等の記憶媒体を介して、対象情報を取得してもよい。なお、取得部１１は、取得した対象情報等を情報ＤＢ１６に記憶させてもよい。

取得部１１は、対象情報の有する特定の情報を抽出する。この場合、取得部１１は、抽出した各情報を情報ＤＢ１６に記憶させてもよい。

＜探索ステップＳ１２０＞
次に、探索ステップＳ１２０では、探索部１２が、予め参照データベースに取得した第１連関度を参照し、取得ステップＳ１１０において取得した対象情報に基づいて、参照情報を探索する。

図５の例では、参照データベースには、過去の対象情報、参照情報、及び過去の対象情報と参照情報との間における第１連関度が記憶されている。過去の対象情報は、過去の施術前顔画像を有する。また、参照情報は、施術方法情報及び過去の施術後顔画像を有する。例えば、過去の施術前顔画像である「施術前の顔Ａ」は、「施術方法Ａ」が第１連関度８０％、「施術方法Ｂ」が第１連関度１０％、「施術後の顔Ａ」が第１連関度６０％、であることが示されている。また、施術前顔画像である「施術前の顔Ｂ」は、「施術方法Ａ」が第１連関度３０％、「施術方法Ｂ」が第１連関度４０％、「施術後の顔Ａ」が連関度５０％、「施術後の顔Ｂ」が連関度２０％、で紐づけられている。

探索部１２は、取得部１１により取得した対象情報と一致、一部一致、又は類似する過去の対象情報を選択する。そして、選択された過去の対象情報と参照情報との間における第１連関度を参照し、参照情報を探索する。仮に取得部１１が取得した対象情報が「施術前の顔Ａ」であれば、第１連関度を参照し、第１連関度８０％である「施術方法Ａ」を最も適切な施術方法情報として探索する。また、第１連関度６０％である「施術後の顔Ａ」をセカンドオピニオンとしての施術方法情報として探索してもよい。

このように探索部１２は、取得部１１により取得した対象情報に基づいて、第１連関度を参照し、参照情報を探索する。このとき、探索部１２は、最も第１連関度の高い参照情報を探索するようにしてもよい。上述したように第１連関度が高いほど、その探索の的確性が高くなるためである。しかし、探索部１２は、最も第１連関度の高い参照情報を探索する場合に限定されることはなく、第１連関度が中程度のもの、又は第１連関度が低いものをあえて探索するようにしてもよい。また、これ以外に、過去の対象情報と参照情報との間で矢印が繋がっていない第１連関度が０％である参照情報を探索してもよいことは勿論である。探索部１２は、参照情報を一つ探索する場合に限定されるものではなく、第１連関度を参照した上であえて複数の参照情報を選択するようにしてもよい。

図６の例では、探索部１２は、施術前顔画像と付帯情報とを組み合わせた結果に基づいて、第１連関度を参照し、参照情報を探索する。例えば、取得部１１が過去の施術前顔画像として「施術前の顔Ａ」と、過去の問診情報として「問診Ａ」とを取得した場合、探索部１２は、第１連関度８０％で紐づけられた「施術方法Ａ」を最も適切な参照情報（施術方法情報）として探索する。また、探索部１２は、第１連関度６０％で紐づけられた「施術後の顔Ａ」を、セカンドオピニオンとしての参照情報（過去の施術後顔画像）として探索してもよい。

図７の例では、探索部１２は、取得した施術前顔画像及び付帯情報と一致、一部一致、又は類似する過去の施術前顔画像及び過去の付帯情報を選択する。そして、探索部１２は、選択された過去の施術前顔画像及び過去の付帯情報と、中間情報との間における中間連関度を参照し、中間情報を１以上選択する。探索部１２は、選択した中間情報と、参照情報との間における第１連関度を参照し、参照情報を選択する。

探索ステップＳ１２０において探索した参照情報は、対象者端末２又は出力部分１０９に出力されてもよい。

＜生成ステップＳ１３０＞
次に、生成ステップＳ１３０では、生成部１７は、探索ステップＳ１２０において探索した参照情報を参照し、取得ステップＳ１１０において取得した対象情報に基づいて、仮想施術顔画像を生成する。即ち、施術前の顔画像である施術前顔画像に対して、仮想的な施術が施され、施術後を想定した仮想施術顔画像を自動的に生成する。

生成部１７は、施術前顔画像に基づいて、参照情報の施術方法を参照し、仮想施術顔画像を生成する。このとき、生成部１７は、例えば、施術前顔画像に対して、所定の施術方法に応じて顔画像を編集して、仮想施術顔画像を生成する。生成部１７は、施術方法における各工程毎に、仮想施術顔画像を生成してもよい。

生成部１７は、施術前顔画像に基づいて、参照情報の過去の施術後顔画像を参照し、仮想施術顔画像を生成する。このとき、生成部１７は、例えば、施術前顔画像に対して、所定の過去の施術後顔画像を合成して、仮想施術顔画像を生成する。

生成ステップＳ１３０において生成した仮想施術顔画像は、対象者端末２又は出力部分１０９に出力されてもよい。

生成した仮想施術顔画像は、参照データベースに、過去の施術前顔画像として記憶されてもよい。また、生成した仮想施術顔画像は、参照データベースに、過去の施術後顔画像として記憶されてもよい。このとき、仮想施術顔画像の生成に用いられた施術前顔画像を過去の施術前顔画像として記憶させ、この過去の施術前顔画像と、生成した仮想施術顔画像（過去の施術後顔画像）と、の関係が新たに構築されてもよい。

＜更新ステップＳ１４０＞
その後、必要に応じて、更新ステップＳ１４０を行ってもよい。更新部１３は、例えば過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を第１連関度に反映させる。

ユーザは、仮想施術顔画像に対する評価を示す評価情報を対象者端末２又は入力部１５に入力する。入力された評価情報は、情報ＤＢ１６に記憶される。更新部１３は、評価情報を取得し、評価情報に基づいて第１連関度を更新する。更新部１３は、評価情報に基づいて、仮想施術顔画像を生成する際に参照した参照情報とこの参照情報に紐づけられた過去の対象情報との間における第１連関度を更新してもよい。更新部１３は、例えば機械学習を用いて第１連関度の更新を行い、機械学習には、例えば深層学習が用いられる。

生成した仮想施術顔画像を過去の施術後顔画像として記憶し、仮想施術顔画像の生成に用いられた施術前顔画像を過去の施術前顔画像として記憶した場合、更新部１３は、この過去の施術前顔画像と生成した仮想施術顔画像（過去の施術後顔画像）と、の関係を第１連関度に反映させる。

以上により、本実施形態における施術支援システム１００の動作が終了する。なお、上述した更新ステップＳ１４０を実施するか否かは任意である。

本実施形態によれば、探索部１２は、第１連関度を参照し、対象情報に基づいて、参照情報を探索する。これにより、最適な参照情報を探索することができる。このため、ユーザは、実際に施術を行う前に、最適な施術方法や過去の施術後の顔を把握することができ、施術の精度を向上させることが可能となる。

本実施形態によれば、対象情報は、施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を少なくとも有する。これにより、単純な正面顔のみを用いる場合と比較して、施術対象者の施術前の顔の輪郭等の特徴を捉えやすくなる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、参照情報は、施術方法に関する施術方法情報を有する。これにより、ユーザは、施術方法を把握することができる。このため、施術の技量に乏しいユーザであっても、施術方法を誤るのを防止することができ、施術の精度を向上させることが可能となる。

また、本実施形態によれば、参照情報は、過去の施術対象者の施術後の横顔と正面顔とを含む過去の施術後顔画像を有する。これにより、ユーザは、実際に施術対象者に施術を行う前に、過去の施術対象者の施術後の顔を把握することができる。このため、施術の精度を向上させることが可能となる。また、単純な正面顔のみを用いる場合と比較して、過去の施術対象者の施術後の顔の輪郭等の特徴を捉えやすくなる。このため、施術の精度を向上させることが可能となる。

更に、本実施形態によれば、施術前顔画像及び施術後顔画像は、左横顔から正面顔を通って右横顔まで連続した顔画像である。これにより、施術前及び施術後の施術対象者の施術後の顔の輪郭等の特徴をより捉えやすくなる。このため、施術の精度を一層向上させることが可能となる。

また、本実施形態によれば、探索部１２により探索された参照情報を参照し、取得部１１により取得された対象情報に基づいて、仮想施術顔画像を生成する生成部１７を更に備える。これにより、ユーザは、実際に施術を行う前に、施術対象者の施術後を想定した顔を把握することができる。また、仮想施術顔画像を確認しながら、実際の施術対象者の顔に対して施術を行うことができる。このため、施術の精度を一層向上させることが可能となる。

本実施形態によれば、施術前顔画像に基づいて、参照情報を参照して、自動的に仮想施術顔画像を生成することができる。このため、技量の乏しいユーザに対して、適切に施術を支援することができ、施術の精度を高めることができる。即ち、美容整形を行う美容整形医師や化粧を行う美容員等がユーザの場合には、この自動的に生成された仮想施術顔画像を確認しながら、実際の施術を行うことでき、施術の精度を高めることができる。

また、施術対象者は、対象者端末２により自分の顔を撮像し、施術前顔画像を施術支援装置１に送信する。送信された施術前顔画像に基づいて、探索部１２は、参照情報を探索する。そして、探索された参照情報を参照して、施術前顔画像に基づいて、自動的に仮想施術顔画像を生成することができる。即ち、本実施形態によれば、参照データベースに記憶した参照情報を参照して、自動的に仮想施術顔画像を生成することができる。これにより、仮想施術顔画像を生成するのに際して、美容整形医師や美容員等を必要としない。このため、施術対象者は、居場所や昼夜等を問わず、施術対象者の好きな場所や好きな時に、仮想施術顔画像を把握することができる。

そして、生成された仮想施術顔画像は、対象者端末２に送信される。対象者端末２は、施術前顔画像と、送信された仮想施術顔画像と、を出力することができる。これにより、施術対象者は、施術前顔画像と、仮想施術顔画像とを比較することができる。また、施術前顔画像と仮想施術顔画像とを出力する際に、施術料金の見積り等も出力することもできる。これにより、施術対象者は、施術後の顔を想定した上で、施術料金も把握することができ、実際に施術を行うべきか否かの判断をより容易に行うこともできる。

本実施形態によれば、生成部１７は、施術方法における各工程毎に、仮想施術顔画像を生成する。これにより、ユーザは、各工程毎に、施術対象者の施術後を想定した顔を把握することができる。即ち、ユーザは、各工程毎に、仮想施術顔画像を随時確認しながら、実際の施術対象者の顔に対して施術を行うことができる。このため、施術の精度を向上させることができる。

また、本実施形態によれば、仮想施術顔画像が施術対象者の施術前の横顔と正面顔とを含む顔画像である。これにより、単純な正面顔のみを用いる場合と比較して、施術対象者の施術後を想定した顔の輪郭等の特徴を捉えやすくなる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、施術方法情報は、施術方法に紐づけられた施術の注意点に関する注意情報を有する。これにより、ユーザは、施術を行う際の注意点を把握できる。このため、施術の精度を一層向上させることが可能となる。

また、本実施形態によれば、施術方法情報は、施術方法に紐づけられた施術時間に関する施術時間情報を有する。これにより、ユーザは、施術を行う際に要する時間を把握することができる。このため、施術の精度を一層向上させることが可能となる。

また、本実施形態によれば、施術方法情報は、施術方法に紐づけられた施術の痛みに関する痛み情報を有する。これにより、ユーザは、施術を行う際の伴う痛みを把握することができる。このため、施術の精度を一層向上させることが可能となる。

また、本実施形態によれば、出力部１４は、施術対象者の保有する対象者端末２に仮想施術顔画像を送信する。これにより、仮想施術顔画像を施術者と施術対象者との間で共有することができる。このため、施術者と施術対象者との間で、施術後を想定した顔に対するミスマッチの減少させることができ、施術の精度を向上させることが可能となる。

また、本実施形態によれば、過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を第１連関度に反映させる更新部１３を更に備える。これにより、第１連関度を容易に更新することができ、新たに出力させる参照情報の精度を更に高めることが可能となる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、生成した仮想施術顔画像を過去の施術後顔画像として記憶し、仮想施術顔画像の生成に用いられた施術前顔画像を過去の施術前顔画像として記憶した場合、更新部１３は、この過去の施術前顔画像と生成した仮想施術顔画像（過去の施術後顔画像）と、の関係を第１連関度に反映させる。これにより、第１連関度を容易に更新することができ、新たに出力させる参照情報の精度を更に高めることが可能となる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、参照情報は、施術方法に関する施術方法情報を有し、施術方法情報は、美容整形方法に関する美容整形方法情報を有する。これにより、ユーザに対して美容整形に関する施術の精度を向上させることが可能となる。

また、本実施形態によれば、参照情報は、施術方法に関する施術方法情報を有し、施術方法情報は、化粧方法に関する化粧方法情報を有する。これにより、ユーザに対して化粧に関する施術の施術の精度を向上させることが可能となる。

また、本実施形態によれば、対象情報は、施術対象者に対する問診に関する問診情報を更に有する。これにより、ユーザに対して、更に問診情報を考慮した上で、参照情報を探索することができる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、対象情報は、施術対象者の希望に関する希望情報を更に有する。これにより、ユーザに対して、更に希望情報を考慮した上で、参照情報を探索することができる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、対象情報は、施術の用途に関する用途情報を更に有する。これにより、ユーザに対して、更に用途情報を考慮した上で、参照情報を探索することができる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、対象情報は、化粧品に関する化粧品情報を有し、参照情報は、施術方法に関する施術方法情報を有し、施術方法情報は、化粧方法に関する化粧方法情報を有する。これにより、ユーザに対して、更に化粧品情報を考慮した上で、参照情報を探索することができる。このため、化粧に関する施術の精度を向上させることが可能となる。

また、本実施形態によれば、化粧方法情報は、化粧方法に紐づけられた化粧品情報を有する。これにより、ユーザに対して、更に化粧品情報が紐づけられた化粧方法情報を有する参照情報を探索することができる。このため、所定の化粧方法において用いられる化粧品を、ユーザが保有しているか否かを把握することができ、化粧に関する施術の精度を向上させることが可能となる。

上述した実施形態によれば、３段階以上に設定されている連関度（第１連関度、中間連関度）を介して参照情報等（参照情報、中間情報）の探索を行う点に特徴がある。連関度は、例えば０〜１００％までの数値で記述することができるが、これに限定されるものではなく３段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。

このような３段階以上の数値で表される連関度に基づいて探索することで、複数の参照情報等が選ばれる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より可能性の参照情報等を優先的に選択することを促すこともできる。一方、連関度の低い参照情報等であってもセカンドオピニオンという意味で表示することができ、ファーストオピニオンで上手く分析ができない場合において有用性を発揮することができる。

これに加えて、上述した実施形態によれば、連関度が１％のような極めて低い参照情報等も見逃すことなく判断することができる。連関度が極めて低い参照情報等であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、参照情報等として役に立つ場合もあることをユーザに対して注意喚起することができる。

更に上述した実施形態によれば、このような３段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が１％のものであっても漏れなく拾うことができる反面、参照情報等を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な参照情報等を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。

（第２実施形態：施術支援システム１００の動作）
次に、第２実施形態における施術支援システム１００の動作の一例について説明する。図９は、第２実施形態における施術支援システム１００の動作の一例を示すフローチャートである。なお、第２実施形態における施術支援システム１００は、美容整形に対する施術に用いられる。第２実施形態では、主に入力部１５により施術方法情報が入力される点で、第１実施形態と相違する。そのほかの点については、上述した動作と同様のため、説明を適宜省略する。

第２実施形態における施術支援装置１は、例えば、ＶＲ機が用いられ、入力部分１０８としてＶＲコントローラーが用いられ、出力部分１０９としてヘッドマウントディスプレイが用いられる。施術支援装置１は、ユーザ（施術者）により操作されるものとなり、対象者端末２を保有する施術対象者に、リアルタイムで施術の支援を行うこともできる。

＜取得ステップＳ２１０＞
先ず、取得ステップＳ２１０では、取得部１１が、美容整形前の施術前顔画像を少なくとも有する対象情報を取得する。取得部１１は、入力部１５を介して、対象者端末２により生成された対象情報を取得するほか、例えば可搬メモリ等の記憶媒体を介して、対象情報を取得してもよい。なお、取得部１１は、取得した対象情報等を情報ＤＢ１６に記憶させてもよい。

例えば取得部１１は、対象情報の有する特定の情報を抽出する。この場合、取得部１１は、抽出した各情報を情報ＤＢ１６に記憶させてもよい。

ユーザは、ＶＲコントローラーが用いられる入力部分１０８と、ヘッドマウントディスプレイが用いられる出力部分１０９とを有した施術支援装置１を操作する。取得部１１により取得された施術前顔画像は、出力部分１０９に３次元画像として出力される。これにより、ユーザは、施術前顔画像を３次元画像として把握できる。また、施術前顔画像は、対象者端末２に２次元画像として出力させておく。これにより、施術対象者は、施術前顔画像を把握できる。

＜入力ステップＳ２２０＞
次に、入力ステップＳ２２０では、入力部１５に美容整形に関する美容整形方法情報を有する施術方法情報が入力される。

ユーザは、出力部分１０９に出力された３次元画像としての施術前顔画像を確認しながら、入力部分１０８を操作して、美容整形方法に関する美容整形方法情報を入力する。ユーザは、実際に施術を行うように入力部分１０８を操作することで、美容整形方法情報を入力してもよい。特に、入力される美容整形方法情報は、美容整形方法に伴う動作に関する情報が入力される。美容整形方法情報は、入力部分１０８を操作して、テキスト又は音声として、入力されてもよい。このようにして、入力部１５に、施術方法情報が入力される。

＜生成ステップＳ２３０＞
次に、生成ステップＳ２３０では、入力ステップＳ２２０において入力した施術方法情報を参照し、取得ステップＳ２１０において取得した対象情報に基づいて、仮想施術顔画像を生成する。即ち、施術前の顔画像である施術前顔画像に対して、仮想的な施術を施し、施術後を想定した仮想施術顔画像を生成する。

ユーザは、出力部分１０９に出力された施術前顔画像に対して、入力部分１０８から美容整形方法情報を入力することで、美容整形方法に応じて仮想的に施術を行うこととなる。これにより、生成部１７は、入力された美容整形方法情報を参照して、施術前顔画像に基づいて顔画像を編集して、仮想施術顔画像を生成する。

美容整形方法に伴う動作に関する情報が入力された場合、その動作に応じた仮想的に施術が行われ、動作毎に仮想施術顔画像が生成される。例えば、ユーザが入力部分１０８を操作して「皮膚切開」を行った場合、仮想的な施術として「皮膚切開」が施術前顔画像に対して行われ、仮想施術顔画像が生成される。

生成した仮想施術顔画像は、過去の施術前顔画像として参照データベースに記憶されてもよい。また、生成した仮想施術顔画像は、参照データベースに、過去の施術後顔画像として記憶されてもよい。このとき、仮想施術顔画像の生成に用いられた施術前顔画像を過去の施術前顔画像として記憶させ、この過去の施術前顔画像と、生成した仮想施術顔画像（過去の施術後顔画像）と、の関係が新たに構築されてもよい。

生成した仮想施術顔画像を過去の施術後顔画像として記憶し、仮想施術顔画像の生成に用いられた施術前顔画像を過去の施術前顔画像として記憶した場合、更新部１３は、この過去の施術前顔画像と生成した仮想施術顔画像（過去の施術後顔画像）と、の関係を第１連関度に反映させることができる。

生成部１７は、入力部１５に入力された美容整形方法情報を参照し、３次元画像として出力された施術前顔画像に対して、３次元画像としての仮想施術顔画像を生成する。これにより、出力部分１０９を装着したユーザは、仮想施術顔情報を３次元画像して把握することができる。

出力部分１０９に出力された３次元画像としての仮想施術顔画像は、対象者端末２に送信されてもよい。このとき、対象者端末２に、３次元画像としての仮想施術顔画像が２次元画像に変換されて出力されてもよい。

以上により、第２実施形態における施術支援システム１００の動作が終了する。

本実施形態によれば、生成部１７は、入力部１５により入力された美容整形方法情報を有する施術方法情報を参照し、取得部１１により取得された対象情報に基づいて、仮想施術顔画像を生成する。これにより、ユーザは、実際に施術を行う前に、施術対象者の施術後を想定した顔を把握することができる。このため、施術の精度を一層向上させることが可能となる。

本実施形態によれば、生成部１７は、施術方法における各工程毎に、仮想施術顔画像を生成する。これにより、ユーザは、各工程毎に、施術対象者の施術後を想定した顔を把握することができる。即ち、ユーザは、各工程毎に、仮想施術顔画像を随時確認しながら、実際の施術対象者の顔に対して仮想的な施術を行うことができるため、施術の精度を向上させることができる。

このように、本実施形態によれば、ユーザにより入力された美容整形方法に応じて、仮想施術顔画像が生成される。これにより、ユーザは、施術支援装置１を、美容整形に対するシミュレーターとして用いることができる。このため、施術の精度を向上させることが可能となる。

また、施術対象者は、対象者端末２により自分の顔を撮像し、施術前顔画像を施術支援装置１に送信する。送信された施術前顔画像は、出力部分１０９としてのヘッドマウントディスプレイに３Ｄ画像として表示されることとなる。美容整形医師やそのスタッフ等の施術支援装置１のユーザは、３Ｄ画像として表示された顔画像を確認しながら、入力部分１０８としてのＶＲコントローラーを操作して施術方法情報を入力する。このように、３Ｄ画像として表示させることにより、施術対象者の顔を、前後左右上下等から把握することができる。そして、入力された施術方法情報に応じた仮想的な施術が行なわれ、３Ｄ画像としての仮想施術顔画像が生成される。これにより、ユーザは、施術対象者の顔を、あたかも実際に施術したかのように、仮想的に施術を行うことができる。生成した仮想施術顔画像についても、３Ｄ画像として表示されるため、仮想的な施術が施されたものとして、極めて忠実に再現された顔画像となる。

施術支援装置１は、ユーザ（施術者）により操作されるものとなり、リアルタイムで施術の支援を行うことができる。このため、施術対象者が随時、施術者とコミュニケーションを取りながら、仮想施術を進めていくこともできる。例えば、対象情報に希望情報が含まれる場合には、いわば施術対象者の希望を反映させながら、仮想施術顔画像を生成することができる。

生成された仮想施術顔画像は、対象者端末２に送信される。対象者端末２は、送信された仮想施術顔画像と合わせて、施術前顔画像が出力される。これにより、施術対象者は、施術前顔画像と、仮想施術顔画像とを比較することができる。また、施術前顔画像と仮想施術顔画像とを出力する際に、施術料金の見積り等も出力することもできる。これにより、施術対象者は、施術後の顔を想定した上で、施術料金を把握することができ、実際に施術を行うべきか否かの判断をより容易に行うこともできる。

本実施形態によれば、施術前顔画像及び仮想施術顔画像は、横顔と正面顔とを含む顔画像である。これにより、単純な正面顔のみを用いる場合と比較して、施術対象者の施術後を想定した顔の輪郭等の特徴を捉えやすくなる。このため、施術の精度を向上させることが可能となる。

更に、本実施形態によれば、施術前顔画像及び仮想施術顔画像は、左横顔から正面顔を通って右横顔まで連続した顔画像である。これにより、施術前及び施術後を想定した施術対象者の顔の輪郭等の特徴をより捉えやすくなる。このため、施術の精度を一層向上させることが可能となる。

また、本実施形態によれば、出力部１４は、施術対象者の保有する対象者端末２に仮想施術顔画像を送信する。これにより、仮想施術顔画像を施術者と施術対象者との間で共有することができる。このため、施術者と施術対象者との間で、施術後を想定した顔に対するミスマッチの減少させることができ、施術の精度を向上させることが可能となる。

また、本実施形態によれば、対象情報は、施術対象者に対する問診に関する問診情報を更に有する。これにより、ユーザは、更に問診情報を考慮した上で、仮想施術顔画像を生成することができる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、対象情報は、施術対象者の希望に関する希望情報を更に有する。これにより、ユーザは、更に希望情報を考慮した上で、仮想施術顔画像を生成することができる。このため、施術の精度を向上させることが可能となる。

また、本実施形態によれば、対象情報は、施術の用途に関する用途情報を更に有する。これにより、ユーザに対して、更に用途情報を考慮した上で、仮想施術顔画像を生成することができる。このため、施術の精度を向上させることが可能となる。

本発明の実施形態を説明したが、各実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ：施術支援装置
２ ：対象者端末
３ ：サーバ
４ ：公衆通信網
１０ ：筐体
１１ ：取得部
１２ ：評価部
１３ ：更新部
１４ ：出力部
１５ ：入力部
１６ ：情報ＤＢ
１７ ：生成部
１００ ：施術支援システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：記憶部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部分
１０９ ：出力部分
１１０ ：内部バス
Ｓ１１０ ：取得ステップ
Ｓ１２０ ：探索ステップ
Ｓ１３０ ：生成ステップ
Ｓ１４０ ：更新ステップ
Ｓ２１０ ：取得ステップ
Ｓ２２０ ：入力ステップ
Ｓ２３０ ：生成ステップ

本発明に係る施術支援システムは、施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を有する対象情報を取得する取得手段と、予め取得された過去の対象情報、上記過去の対象情報に対応する参照情報、及び上記過去の対象情報と上記参照情報との間における３段階以上の第１連関度が記憶される参照データベースと、上記参照データベースに記憶されている第１連関度を参照し、上記取得手段により取得された上記対象情報に基づいて、参照情報を探索する探索手段と、を備え、上記参照情報は、施術方法に関する施術方法情報を有し、上記施術方法情報は、美容整形方法に関する美容整形方法情報を有することを特徴とする。
本発明に係る施術支援システムは、施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を有する対象情報を取得する取得手段と、予め取得された過去の対象情報、上記過去の対象情報に対応する参照情報、及び上記過去の対象情報と上記参照情報との間における３段階以上の第１連関度が記憶される参照データベースと、上記参照データベースに記憶されている第１連関度を参照し、上記取得手段により取得された上記対象情報に基づいて、参照情報を探索する探索手段と、を備え、上記参照情報は、施術方法に関する施術方法情報を有し、上記施術方法情報は、化粧方法に関する化粧方法情報を有することを特徴とする。
本発明に係る施術支援システムは、施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を有する対象情報を取得する取得手段と、予め取得された過去の対象情報、上記過去の対象情報に対応する参照情報、及び上記過去の対象情報と上記参照情報との間における３段階以上の第１連関度が記憶される参照データベースと、上記参照データベースに記憶されている第１連関度を参照し、上記取得手段により取得された上記対象情報に基づいて、参照情報を探索する探索手段と、前記過去の対象情報と、前記参照情報との間の関係を新たに取得した場合には、前記関係を前記第１連関度に反映させる更新手段と、を備え、上記参照情報は、施術方法に関する施術方法情報、及び過去の施術対象者の施術後の横顔と正面顔とを含む過去の施術後顔画像、の少なくとも何れかを有することを特徴とする。
本発明に係る施術支援システムは、施術対象者の美容整形前の横顔と正面顔とを含む施術前顔画像を有する対象情報を取得する取得手段と、予め取得された過去の対象情報、上記過去の対象情報に対応する参照情報、及び上記過去の対象情報と上記参照情報との間における３段階以上の第１連関度が記憶される参照データベースと、上記参照データベースに記憶されている第１連関度を参照し、上記取得手段により取得された上記対象情報に基づいて、参照情報を探索する探索手段と、を備え、上記参照情報は、施術方法に関する施術方法情報、及び過去の施術対象者の美容整形後の横顔と正面顔とを含む過去の施術後顔画像、の少なくとも何れかを有し、上記施術方法情報は、美容整形方法に関する美容整形方法情報を有することを特徴とする。
本発明に係る施術支援システムは、施術対象者の化粧前の横顔と正面顔とを含む施術前顔画像を有する対象情報を取得する取得手段と、予め取得された過去の対象情報、上記過去の対象情報に対応する参照情報、及び上記過去の対象情報と上記参照情報との間における３段階以上の第１連関度が記憶される参照データベースと、上記参照データベースに記憶されている第１連関度を参照し、上記取得手段により取得された上記対象情報に基づいて、参照情報を探索する探索手段と、を備え、上記参照情報は、施術方法に関する施術方法情報、及び過去の施術対象者の化粧後の横顔と正面顔とを含む過去の施術後顔画像、の少なくとも何れかを有し、上記施術方法情報は、化粧方法に関する化粧方法情報を有することを特徴とする。

Claims (10)

1. 施術対象者の施術前の横顔と正面顔とを含む施術前顔画像を有する対象情報を取得する取得手段と、
   予め取得された過去の対象情報、上記過去の対象情報に対応する参照情報、及び上記過去の対象情報と上記参照情報との間における３段階以上の第１連関度が記憶される参照データベースと、
   上記参照データベースに記憶されている第１連関度を参照し、上記取得手段により取得された上記対象情報に基づいて、参照情報を探索する探索手段と、を備え、
   上記参照情報は、
   施術方法に関する施術方法情報、及び
   過去の施術対象者の施術後の横顔と正面顔とを含む過去の施術後顔画像、
   の少なくとも何れかを有すること
   を特徴とする施術支援システム。
2. 上記探索手段により探索された上記参照情報を参照し、上記取得手段により取得された上記対象情報に基づいて、施術対象者の施術後を想定した横顔と正面顔とを含む仮想施術顔画像を生成する生成手段を更に備えること
   を特徴とする請求項１記載の施術支援システム。
3. 上記参照情報は、上記施術方法情報を有し、
   上記施術方法情報は、美容整形方法に関する美容整形方法情報を有すること
   を特徴とする請求項１又は２記載の施術支援システム。
4. 上記参照情報は、上記施術方法情報を有し、
   上記施術方法情報は、化粧方法に関する化粧方法情報を有すること
   を特徴とする請求項１〜３記載の施術支援システム。
5. 上記対象情報は、施術対象者に対する問診に関する問診情報を更に有すること
   を特徴とする請求項１〜４の何れか１項記載の施術支援システム。
6. 上記対象情報は、施術対象者の希望に関する希望情報を更に有すること
   を特徴とする請求項１〜５の何れか１項記載の施術支援システム。
7. 上記対象情報は、施術の用途に関する用途情報を更に有すること
   を特徴とする請求項１〜６の何れか１項記載の施術支援システム。
8. 上記対象情報は、化粧品に関する化粧品情報を有し、
   上記参照情報は、上記施術方法情報を有し、
   上記施術方法情報は、化粧方法に関する化粧方法情報を有すること
   を特徴とする請求項１〜７の何れか１項記載の施術支援システム。
9. 前記過去の対象情報と、前記参照情報との間の関係を新たに取得した場合には、前記関係を前記第１連関度に反映させる更新手段を更に備えること
   を特徴とする請求項１〜８の何れか１項記載の施術支援システム。
10. 施術対象者の美容整形前の横顔及び正面顔を含む施術前顔画像を有する対象情報を取得する取得手段と、
    美容整形に関する美容整形方法情報を有する施術方法情報が入力される入力手段と、
    上記入力手段により入力された上記施術方法情報を参照し、上記取得手段により取得された上記対象情報に基づいて、施術対象者の美容整形後を想定した横顔及び正面顔を含む仮想施術顔画像を生成する生成手段と、を備えること
    を特徴とする施術支援システム。

Images