JP2022003506A - 容貌変化操作結果の予測方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム - Google Patents

容貌変化操作結果の予測方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2022003506A
JP2022003506A JP2021049337A JP2021049337A JP2022003506A JP 2022003506 A JP2022003506 A JP 2022003506A JP 2021049337 A JP2021049337 A JP 2021049337A JP 2021049337 A JP2021049337 A JP 2021049337A JP 2022003506 A JP2022003506 A JP 2022003506A
Authority
JP
Japan
Prior art keywords
appearance
data
change operation
appearance change
symptom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021049337A
Other languages
English (en)
Inventor
トン、ツーユイ
Ziyu Dong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022003506A publication Critical patent/JP2022003506A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】容貌変化操作結果の予測方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムを提供する。【解決手段】容貌変化操作結果の予測方法は、容貌変化操作のサンプルデータを取得するステップ２０１と、サンプルデータに基づいて容貌変化操作の結果予測モデルを作成するステップ２０２と、ターゲットユーザの容貌データ及び所望容貌変化操作を取得して、ターゲットユーザの容貌データ及び所望容貌変化操作に基づいて、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の容貌データを予測するステップ２０３とを含む。【選択図】図２

Description

本開示の実施例は人工知能の技術分野に関し、具体的には、ビッグデータ技術及び画像処理技術に関し、特にビッグデータ処理プラットフォームを用いてモデリングすることにより容貌変化操作結果を予測する方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムに関する。
生活水準の向上に従って、人々は自分の容貌を重視するようになり、技術手段を通じて例えば年齢、生活様式の変化に伴う自分の容貌の変化を予知することができることを望んでいる。一部の人はまた、スポーツや健康的な食事のライフスタイル、あるいは医療美容手術などの方法で自分の容貌を変えたいと望んでいる。ライフスタイルや医療美容手術で容貌を変えようと決定する前に、主な懸念は、結果を予知できないことである。
したがって、容貌変化操作結果を予測できる方法が期待される。
本開示は、容貌変化操作結果の予測方法、装置、電子機器及びコンピュータ可読記憶媒体を提供する。
本開示の第１の態様によれば、容貌変化操作前のユーザの第１の容貌データ及び第１の容貌データに対応する容貌変化操作後の第２の容貌データを含む容貌変化操作のサンプルデータを取得するステップと、第１の容貌データ及び第２の容貌データに基づいて容貌変化操作の結果予測モデルを作成するステップと、ターゲットユーザの容貌データ及び所望容貌変化操作を取得して、ターゲットユーザの容貌データ及び所望容貌変化操作に基づいて、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の容貌データを予測するステップとを含む容貌変化操作結果の予測方法を提供する。
本開示の第２の態様によれば、容貌変化操作前のユーザの第１の容貌データ及び第１の容貌データに対応する容貌変化操作後の第２の容貌データを含む容貌変化操作のサンプルデータを取得するように構成される取得ユニットと、第１の容貌データ及び第２の容貌データに基づいて容貌変化操作の結果予測モデルを作成するように構成されるモデリングユニットと、ターゲットユーザの容貌データ及び所望容貌変化操作を取得して、ターゲットユーザの容貌データ及び所望容貌変化操作に基づいて、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の容貌データを予測するように構成される予測ユニットとを含む、容貌変化操作結果の予測装置を提供する。
本開示の第３の態様によれば、本開示の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプロセッサにより実行されると、第１の態様による容貌変化の予測方法を１つ又は複数のプロセッサに実現させる１つ又は複数のプログラムを記憶するための記憶装置とを含む電子機器を提供する。
本開示の第４の態様によれば、本開示の実施例は、プロセッサにより実行されると、第１の態様による容貌変化の予測方法を実現するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供する。
本開示の第５の態様によれば、本開示の実施例は、プロセッサにより実行されると、第１の態様による容貌変化の予測方法を実現するコンピュータプログラムを提供する。
本開示による容貌変化の予測方法、装置では、まず、容貌変化操作のサンプルデータに基づいて結果予測モデルを作成し、次に、結果予測モデルからターゲットユーザの容貌変化操作後の容貌データを予測し、容貌変化操作後の予測容貌データをユーザに提供して、ユーザの意思決定を支援する。
なお、本部分で記載されるコンテンツは、本開示の実施例のキーとなる又は重要な特徴を表すことを意図しておらず、また本開示の範囲を制限するものでもない。本開示の他の特徴は、以下の明細書により理解されやすくなる。
図面は、本解決手段をより理解しやすくするために過ぎず、本出願の限定を構成していない。
本出願の実施例が適用され得る例示的なシステムアーキテクチャ図である。 本出願に係る容貌変化操作結果の予測方法の一実施例のフローチャートである。 本出願に係る容貌変化操作結果の予測方法の１つの適用シナリオの模式図である。 本出願に係る容貌変化操作結果の予測方法の別の実施例のフローチャートである。 本出願に係る容貌変化操作結果の予測方法のさらに別の実施例のフローチャートである。 本出願に係る容貌変化操作結果の予測装置の一実施例の構造模式図である。 本出願の実施例の容貌変化操作結果の予測方法を実現する電子機器のブロック図である。
以下、図面を参照して本出願の例示的な実施例を説明し、理解しやすくするためにこの説明には本出願の実施例のさまざまな詳細が含まれており、このような詳細は例示的なものとして理解すべきである。したがって、当業者が理解できるように、本出願の範囲及び主旨を逸脱することなく、ここで記載された実施例についてさまざまな変化及び修正を行うことができる。同様に、明瞭さ及び簡素化から、以下の記載には、公知の機能及び構造の記載が省略される。
図１は、本出願の容貌変化操作結果の予測方法又は容貌変化操作結果の予測装置を適用し得る実施例の例示的なシステムアーキテクチャ１００を示している。
図１に示すように、システムアーキテクチャ１００は端末機器１０１、１０２、１０３、ネットワーク１０４、及びサーバ１０５を含むことができる。ネットワーク１０４は端末機器１０１、１０２、１０３とサーバ１０５との間に通信リンクを提供する媒体である。ネットワーク１０４は、たとえば有線、無線通信リンクや光ファイバケーブルなど、さまざまな接続タイプを含むことができる。
ユーザは、端末機器１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と交互することで、メッセージなどを受送信することができる。端末機器１０１、１０２、１０３には、たとえば画像用アプリケーション、データ収集用アプリケーションなど、プッシュサービスを受信するさまざまなクライアントアプリケーションがインストールされてもよい。
端末機器１０１、１０２、１０３は、表示画面を有し、プッシュサービスの受信をサポートするさまざまな電子機器であってもよく、スマートフォン、タブレットコンピュータ、電子書籍リーダ、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ムービング・ピクチャー・エキスパート・グループ・オーディオ・レイヤー３）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ムービング・ピクチャー・エキスパート・グループ・オーディオ・レイヤー４）プレーヤー、ラップトップコンピュータやデスクトップコンピュータなどを含むが、これらに制限されない。
端末機器１０１、１０２、１０３はハードウェアであってもよいし、ソフトウェアであってもよい。端末機器１０１、１０２、１０３は、ハードウェアである場合、さまざまな電子機器であってもよく、端末機器１０１、１０２、１０３がソフトウェアである場合、上記電子機器にインストールされてもよい。複数のソフトウェア又はソフトウェアモジュール（たとえば分散サービスを提供するための複数のソフトウェアモジュール）として実現されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここで特に限定しない。
サーバ１０５は、ビッグデータ分野の技術によって容貌変化データを分類する又はデータをスクリーニングすることにより容貌変化のサンプルデータを取得し、次に、サンプルデータに基づいて人工知能分野の技術によって容貌変化についてモデリングし、端末機器１０１、１０２、１０３からユーザの容貌データ及び容貌変化操作タイプを取得し、容貌変化予測モデルを用いて予測ユーザ容貌の変化を利用し、端末機器１０１、１０２、１０３に予測結果を提供することができる。
なお、本開示の実施例による容貌変化操作結果の予測方法は、一般にはサーバ１０５によって実行され、それに対応して、容貌変化操作結果の予測装置は、一般にはサーバ１０５に配置される。
当然ながら、図１の端末機器、ネットワーク、及びサーバの数が例示的なものに過ぎない。必要に応じて、任意の数の端末機器、ネットワークやサーバを有してもよい。
さらに、図２を参照すると、本開示の容貌変化操作結果の予測方法の一実施例の手順２００が示されている。容貌変化操作結果の予測方法は、ステップ２０１〜ステップ２０３を含むことができる。
ステップ２０１、容貌変化操作前のユーザの第１の容貌データ及び第１の容貌データに対応する容貌変化操作後の第２の容貌データを含む容貌変化操作のサンプルデータを取得する。
本実施例では、容貌変化操作結果の予測方法の実行主体（たとえば図１に示すサーバ）は、端末又はインターネットから容貌変化操作のサンプルデータを取得し、サンプルデータには、第１の容貌データであるユーザの容貌変化操作前の容貌データ、及び第２の容貌データであるユーザの容貌変化操作前の容貌データに対応する該ユーザの容貌変化操作後の容貌データが含まれている。容貌データは、たとえば顔画像、密なキーポイントに基づいた三次元顔モデルなど、ユーザ容貌特徴を表すさまざまなデータである。
一例として、サンプルデータは、追踪対象のユーザの１０年間の容貌変化の顔画像であり、容貌変化操作は、加齢に伴うユーザの容貌変化であり、ユーザの容貌変化操作前の容貌データはサンプルを収集する１年目のユーザの顔画像であり、ユーザの容貌変化操作後の容貌データはサンプルを収集する１０年目のユーザの顔画像であり、対応する容貌変化操作は「加齢」操作である。あるいは、サンプルデータは医療美容手術のケースのデータであり、容貌変化操作は医療美容手術や美容などの操作、又は医療美容手術において人体の特定部位に対する行う操作、たとえば二重眼瞼手術であり、ユーザの容貌変化操作前の容貌データは医療美容手術を受ける前のユーザの顔画像であり、ユーザの容貌変化操作後の容貌データは医療美容手術を受けた当該ユーザの顔画像である。
ステップ２０２、第１の容貌データ及び第２の容貌データに基づいて容貌変化操作の結果予測モデルを作成する。
本実施例では、サンプルデータのうちユーザの容貌変化操作前の容貌データ、及び該ユーザの容貌変化操作前の容貌データに対応する該ユーザの容貌変化操作後の容貌データに基づいて、データマイニング技術、回帰分析、ニューラルネットワークなどのアルゴリズムを利用して容貌変化操作の結果予測モデルを作成する。ここで、容貌変化操作の結果予測モデルは容貌変化操作前の容貌データに基づいて容貌変化操作後の容貌データを予測することに用いられる。結果予測モデルは、複数の方式、たとえば、ニューラルネットワークアルゴリズムを用いてモデリングすることができ、まず、サンプルデータのうちユーザの容貌変化操作前の容貌データ、及び該ユーザの容貌変化操作後の容貌データに基づいて訓練初期モデルを反復して訓練し、ユーザの容貌変化操作前の容貌データと該ユーザの容貌変化操作後の容貌データとの差異（たとえば所定特徴の特徴値の差）を利用してフィードバック情報を生成して初期モデルを更新し、訓練回数が所定回数を満たすと訓練を停止し、訓練回数を満たす初期モデルを最終的な結果予測モデルとする。又は、線形回帰などの数学モデルに基づいてモデリングし、サンプルデータに基づいてモデル中のパラメータをフィッティングする。
ステップ２０３、ターゲットユーザの容貌データ及び所望容貌変化操作を取得して、ターゲットユーザの容貌データ及び所望容貌変化操作に基づいて、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の容貌データを予測する。
本実施例では、ユーザ入力又はユーザから送信されたデータの読み取りによりターゲットユーザの容貌変化操作前の容貌データ、及びターゲットユーザが意図している容貌変化操作を取得し、ターゲットユーザの容貌変化操作前の容貌データ及び意図している容貌変化操作を容貌変化操作の結果予測モデルに入力し、容貌変化操作の結果予測モデルを用いてターゲットユーザが意図している容貌変化操作後の容貌データを予測する。
いくつかの適用シナリオでは、予測したターゲットユーザの容貌変化操作後の容貌データに基づいてターゲットユーザの容貌操作の成功率を評価することもできる。たとえば、容貌変化操作が医療美容手術である場合、医療美容手術を受ける前のターゲットユーザの顔画像と、従来のケースのデータを基に分析し、術前のターゲットユーザの顔画像の特徴又は比例と似ていたケースのデータのうち術前の顔画像に対応する手術成功率を分析し、ケースデータ中の類似ユーザの手術成功率に基づいてターゲットユーザの手術成功率を決定する。
本実施例による容貌変化の予測方法では、まず、容貌変化操作のサンプルデータに基づいて結果予測モデルを作成し、次に、結果予測モデルからターゲットユーザの容貌変化操作後の容貌データを予測し、容貌変化操作後の予測容貌データをユーザに提供して、ユーザの意思決定を支援する。
選択肢として、第１の容貌データ及び第２の容貌データに基づいて容貌変化操作の結果予測モデルを作成するステップは、第１の容貌データ及び第２の容貌データについてキーポイント特徴抽出を行うステップと、第１の容貌データのキーポイント特徴から第２の容貌データのキーポイント特徴に変換する変換関係についてモデリングし、結果予測モデルを得るステップとを含む。
本実施例では、容貌データのキーポイントを予め設定し、ユーザの容貌変化操作前の容貌データ中の変化前キーポイント特徴、及び該ユーザの容貌変化操作後の容貌データ中の変化後キーポイント特徴を抽出し、変化前キーポイント特徴から変化後キーポイント特徴に変換する変換関係に基づいてモデリングし、結果予測モデルを得る。ここで、キーポイント特徴は、容貌に大きく影響する、容貌特徴を表す特徴、たとえば目の大きさ眼、鼻の形状などとしてもい。具体的には、ニューラルネットワークアルゴリズム、回帰分析、又は再帰的分析などの関係モデルを利用してアルゴリズムを作成し、変化前キーポイント特徴から変化後キーポイント特徴に変換する変換関係に基づいてモデリングし、結果予測モデルを得る。本実施例では、キーポイントを選択し、キーポイント特徴の変化結果に基づいて予測モデルを作成することによって、少量のデータを用いて予測結果が正確な結果予測モデルを作成し、モデル作成効率を高めることができる。
いくつかの適用シナリオでは、図３に示すように、所定顔画像のうち３０１〜３０８は顔画像のキーポイント（ただし、キーポイントは顔画像中の任意の点であってもよく、ここでのキーポイントは一例にすぎない）であり、顔画像走査システムを用いてユーザ容貌変化操作前のキーポイント３０１〜キーポイント３０８の特徴値（たとえば、キーポイントの反射率、キーポイントの凹凸度、又はキーポイントの間の間隔や位置関係など）を第１の容貌データとして収集し、ユーザ容貌変化操作後のキーポイント３０１〜キーポイント３０８の特徴値を第２の容貌データとして収集し、第１の容貌データ及び第２の容貌データに基づいて容貌変化操作の結果予測モデルを作成する。ターゲットユーザが容貌変化操作前の顔画像を容貌変化操作の結果予測モデルに入力して、意図している容貌変化操作を選択すると、該結果予測モデルは、ターゲットユーザの容貌変化操作前のキーポイント３０１〜キーポイント３０８の特徴値に基づいて、ターゲットユーザの容貌変化操作後の顔画像のキーポイント３０１〜３０８の特徴値を算出し、ターゲットユーザ容貌変化操作後の顔画像のキーポイント３０１〜３０８の特徴値に基づいて生成されたターゲットユーザ容貌変化操作後の顔画像を出力する。
選択肢として、サンプルデータは、第２の容貌データに対応するユーザ身体状態データをさらに含み、第１の容貌データ及び第２の容貌データに基づいて容貌変化操作の結果予測モデルを作成するステップは、第１の容貌データ及び対応する第２の容貌データ、ユーザ身体状態データに基づいて容貌変化操作の結果予測モデルを作成するステップを含む。
本実施例では、サンプルデータのうちユーザの容貌変化操作前の容貌データ、該ユーザの容貌変化操作前の容貌データに対応する該ユーザの容貌変化操作後の容貌データ、及び該ユーザの容貌変化操作後の容貌データに対応するユーザ身体状態データに基づいて、データマイニング技術又は回帰分析などのアルゴリズムを用いて容貌変化操作の結果予測モデルを作成する。ここで、ユーザの身体状態データは身体の健康状況、たとえば医療美容手術を受けた後ユーザが罹患した後遺症の病症などであってもい。本実施例では、ユーザの容貌変化操作後の容貌データに対応するユーザ身体状態データを、結果予測モデルを作成する要素の１つとすることによって、容貌変化操作による、容貌変化以外の他の身体状態も予測結果とし、それにより、複数の方面についての予測結果情報をユーザに提供できる。
選択肢として、サンプルデータは第２の容貌データに対応するユーザ身体状態データをさらに含み、容貌変化操作結果の予測方法は、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の身体状態情報を予測するステップをさらに含む。
本実施例では、結果予測モデルによって、ターゲットユーザによって選択された容貌変化操作のタイプ（たとえば、医療美容手術の手術項目など）に応じてターゲットユーザの容貌変化操作後の身体状態情報を予測し、ターゲットユーザが容貌操作変化後の身体状態情報を把握するようにし、ユーザが結果情報を全面的に予測し、的確な意思決定をすることに寄与する。
さらに、図４を参照すると、容貌変化操作結果の予測方法の別の実施例の手順４００が示されており、ステップ４０１〜４０３を含む。
ステップ４０１、容貌変化操作のサンプルデータを取得し、サンプルデータは、容貌変化操作前のユーザの第１の容貌データ及び第１の容貌データに対応する容貌変化操作後の第２の容貌データを含み、サンプルデータは、容貌変化操作前のユーザの第１の徴候データ及び第１の容貌データに対応する容貌変化操作後の第２の徴候データをさらに含む。
本実施例では、第１の容貌データ、第２の容貌データについての説明はステップ２０１における説明と一致するため、ここで詳しく説明しない。
本実施例では、端末又はインターネットから容貌変化操作のサンプルデータを取得し、サンプルデータには、第１の徴候データであるユーザの容貌変化操作前の徴候データ、及び第２の徴候データであるユーザの容貌変化操作前の徴候データに対応する該ユーザの容貌変化操作後の徴候データが含まれている。たとえば、サンプルデータは医療美容手術のケースデータであり、容貌変化操作は医療美容手術や美容などの操作であり、ユーザの容貌変化操作前の徴候データは医療美容手術を受ける前のユーザの身体の健康状況であり、ユーザの容貌変化操作後の徴候データは医療美容手術を受けた当該ユーザの身体の健康状況、たとえば後遺症などが発生したか否かである。
ステップ４０２、第１の容貌データ及び第２の容貌データに基づいて容貌変化操作の結果予測モデルを作成し、第１の徴候データ及び対応する第２の徴候データに基づいて徴候予測モデルを作成する。
本実施例では、結果予測モデルを作成することについての説明は、ステップ２０２と一致するため、ここで詳しく説明しない。
本実施例では、サンプルデータのうちユーザの容貌変化操作前の徴候データ、及び該ユーザの容貌変化操作前の徴候データに対応する該ユーザの容貌変化操作後の徴候データに基づいて、データマイニング技術又は回帰分析などのアルゴリズムによって徴候予測モデルを作成する。ここで、徴候予測モデルは、容貌変化操作前の徴候データに基づいて容貌変化操作後の徴候データを予測することに用いられる。
ステップ４０３、ターゲットユーザの容貌データ及び所望容貌変化操作を取得して、ターゲットユーザの容貌データ及び所望容貌変化操作に基づいて、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の容貌データを予測する。ターゲットユーザの徴候データ及び所望容貌変化操作を取得して、ターゲットユーザの徴候データに基づいて、徴候予測モデルを用いてターゲットユーザの所望容貌変化操作後の徴候データを予測する。
本実施例では、ターゲットユーザの容貌変化前の容貌データに基づいて結果予測モデルを用いて、その容貌変化操作後の容貌データを予測することについての説明はステップ２０３と一致するため、ここで詳しく説明しない。
本実施例では、ユーザ入力又はユーザから送信されたデータの読み取りによりターゲットユーザの容貌変化操作前の徴候データ及び意図している容貌変化操作を取得し、ターゲットユーザの容貌変化操作前の徴候データを徴候予測モデルに入力し、徴候予測モデルを用いてターゲットユーザが意図している容貌変化操作後の徴候データを予測する。
本実施例による容貌変化の予測方法では、まず、容貌変化操作のサンプルデータに基づいて徴候予測モデルを作成し、次に、徴候予測モデルに基づいてターゲットユーザの容貌変化操作後の徴候データを予測することによって、容貌変化操作後の予測徴候データをユーザに提供し、ユーザの意思決定を支援する。
さらに、図５を参照すると、容貌変化操作結果の予測方法のさらに別の実施例の手順５００が示されており、ステップ５０１〜５０３を含む。
ステップ５０１、容貌変化操作のサンプルデータを取得し、サンプルデータは、容貌変化操作前のユーザの第１の容貌データ及び第１の容貌データに対応する容貌変化操作後の第２の容貌データを含み、サンプルデータは、容貌変化操作前のユーザの第１の徴候データ及び第１の容貌データに対応する容貌変化操作後の第２の徴候データをさらに含む。
本実施例では、第１の容貌データ、第２の容貌データ、第１の徴候データ、第２の徴候データはステップ２０１及びステップ４０１における説明と一致するので、ここで詳しく説明しない。
ステップ５０２、第１の容貌データと対応する第２の容貌データ、及び第１の徴候データと対応する第２の徴候データに基づいて容貌変化操作の結果予測モデルを作成する。
本実施例では、サンプルデータのうちユーザの容貌変化操作前の容貌データ、該ユーザの容貌変化操作前の容貌データに対応する該ユーザの容貌変化操作後の容貌データ、及びユーザの容貌変化操作前の徴候データ、該ユーザの容貌変化操作前の徴候データに対応する該ユーザの容貌変化操作後の徴候データに基づいて、データマイニング技術又は回帰分析などのアルゴリズムを用いて容貌変化操作の結果予測モデルを作成する。本実施例では、多方面の容貌変化操作前のデータ及び容貌変化操作後のデータに基づいて結果予測モデルを作成することによって、作成した結果予測モデルの予測正確性を高めることができる。
ステップ５０３、ターゲットユーザの容貌データ、徴候データ及び所望容貌変化操作を取得し、ターゲットユーザの容貌データ、徴候データ及び所望容貌変化操作に基づいて、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌データ及び徴候データを予測する。
本実施例では、結果予測モデルによって、ターゲットユーザの容貌変化操作前の容貌データ、徴候データ及びターゲットユーザが意図している容貌変化操作に基づいて、この意図している容貌変化操作を受けた後のターゲットユーザの容貌データ及び徴候データを予測する。たとえば、容貌操作変化が隆鼻手術である場合、手術前のターゲットユーザの鼻の画像及び鼻の健康状況、たとえば大打撃で鼻梁にひびが入っていないかなどに基づいて、隆鼻手術を受けた後のターゲットユーザの鼻の画像及び健康の状況、たとえば鼻梁のゆがみや詰まりなどの後遺症が発生する可能性があるかを判断する。本実施例では、容貌データ及び徴候データに基づいて作成した結果予測モデルを用いてターゲットユーザの容貌操作後の容貌データ及び徴候データを予測することによって、予測モデルはターゲットユーザの容貌操作後のデータを全面的に分析し、予測結果をより正確にすることができる。
上記で図２、図４及び図５を参照して説明した実施例のいくつかの可能な実現形態では、容貌変化操作結果の予測方法は、容貌変化操作の結果予測モデルによるターゲットユーザの所望容貌変化操作の予測結果に基づいて、ターゲットユーザの所望容貌変化操作の操作リスク提示情報を生成するステップをさらに含む。
本実施例では、容貌変化操作結果に基づいて、モデルの出力するターゲットユーザの容貌変化操作の予測結果を予測し、ターゲットユーザに意図している容貌変化操作を行うことのリスクの情報を生成する。ここで、予測結果は、ターゲットユーザの容貌操作変化後の顔画像及び／又は容貌操作変化後の徴候データであり、リスクの提示情報は容貌操作変化後の顔画像と容貌操作変化後の顔画像との比較から生成した容貌変化程度、又は容貌操作変化後の徴候データに基づいて生成した徴候データ報告である。たとえば、容貌変化操作は、医療美容手術のうちの二重眼瞼手術項目であり、容貌変化操作結果の予測モデルから出力されたターゲットユーザの容貌変化操作の予測結果として、顔画像中の眼瞼には明らかな変化がなく、角膜炎などの後遺症に罹患することがある場合、該予測結果に基づいて手術リスクの提示をターゲットユーザに送信する。本実施例では、予測結果に基づいてリスク提示情報をターゲットユーザに提示することによって、ターゲットユーザが容貌変化操作を受けるか否かを決定することにさらに寄与する。
さらに、図６を参照すると、上記各図に示す方法の実現として、本開示は、容貌変化操作結果の予測装置の一実施例を提供し、該装置の実施例は、図２に示す方法の実施例に対応しており、該装置は、具体的には、さまざまな電子機器に適用できる。
図６には、本実施例の容貌変化操作結果の予測装置６００が示されており、該装置６００は、取得ユニット６０１、モデリングユニット６０２、予測ユニット６０３を含み、取得ユニット６０１は、容貌変化操作前のユーザの第１の容貌データ及び第１の容貌データに対応する容貌変化操作後の第２の容貌データを含む容貌変化操作のサンプルデータを取得するように構成され、モデリングユニット６０２は、第１の容貌データ及び第２の容貌データに基づいて容貌変化操作の結果予測モデルを作成するように構成され、予測ユニット６０３は、ターゲットユーザの容貌データ及び所望容貌変化操作を取得して、ターゲットユーザの容貌データ及び所望容貌変化操作に基づいて、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の容貌データを予測するように構成される。
いくつかの実施例では、モデリングユニットは、第１の容貌データ及び第２の容貌データについてキーポイント特徴抽出を行うように構成される抽出モジュールと、第１の容貌データのキーポイント特徴から第２の容貌データのキーポイント特徴に変換する変換関係についてモデリングし、結果予測モデルを得るように構成される第１のモデリングモジュールとを含む。
いくつかの実施例では、該装置は、第２の容貌データに対応するユーザ身体状態データを取得する取得ユニットをさらに含み、モデリングユニットは、第１の容貌データ及び対応する第２の容貌データ、ユーザ身体状態データに基づいて容貌変化操作の結果予測モデルを作成するように構成される第１のモデリングサブユニットを含み、該装置は、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の身体状態情報を予測するように構成される第２のモデリングモジュールをさらに含む。
いくつかの実施例では、サンプルデータは、容貌変化操作前のユーザの第１の徴候データ及び第１の容貌データに対応する容貌変化操作後の第２の徴候データをさらに含む。
いくつかの実施例では、該装置は、第１の徴候データ及び対応する第２の徴候データに基づいて徴候予測モデルを作成するように構成される第３のモデリングモジュールと、ターゲットユーザの徴候データ及び所望容貌変化操作を取得して、ターゲットユーザの容貌変化操作前の徴候データに基づいて、徴候予測モデルを用いてターゲットユーザの所望容貌変化操作後の徴候データを予測するように構成される徴候予測モジュールとをさらに含む。
いくつかの実施例では、モデリングユニットは、第１の容貌データと対応する第２の容貌データ、及び第１の徴候データと対応する第２の徴候データに基づいて、容貌変化操作の結果予測モデルを作成するように構成される第２のモデリングサブユニットを含み、該装置は、ターゲットユーザの徴候データ及び所望容貌変化操作を取得して、ターゲットユーザの徴候データ及び所望容貌変化操作に基づいて、容貌変化操作の結果予測モデルを用いてターゲットユーザの所望容貌変化操作後の徴候データを予測するように構成される第４のモデリングモジュールをさらに含む。
いくつかの実施例では、該装置は、容貌変化操作の結果予測モデルによるターゲットユーザの所望容貌変化操作の予測結果に基づいて、ターゲットユーザの所望容貌変化操作の操作リスク提示情報を生成するように構成される提示ユニットをさらに含む。
上記装置６００の各ユニットは、図２、図４及び図５を参照して説明した方法のステップに対応している。これにより、以上で容貌変化操作結果の予測方法について説明した操作、特徴及び達成できる技術的効果は、装置６００及びそのユニットにも適用でき、ここで詳しく説明しない。
本出願に係る実施例では、本出願は、電子機器、及び読み取り可能な記憶媒体をさらに提供する。
図７には、本出願の実施例に係る容貌変化操作結果の予測方法の電子機器のブロック図が示されている。電子機器は、たとえば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他の適切なコンピュータなど、様々な形式のデジタルコンピュータを指すことを意図している。電子機器は、たとえば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器、及びその他の類似のコンピューティング装置など、様々な形式の移動装置を示してもよい。本明細書に示されているコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であるが、本明細書の説明及び／又は要求される本出願の実現を制限する意図はしない。
図７に示すように、この電子機器は、１つ又は複数のプロセッサ７０１、メモリ７０２、及び高速インターフェースと低速インターフェースを含む、様々なコンポーネントを接続するためのインターフェースを含む。各コンポーネントは、異なるバスを介して互いに接続され、共通のマザーボードに取り付けられ、又は必要に応じて他の方式で取り付けられ得る。プロセッサは電子機器内で実行される命令を処理でき、この命令には、メモリ内に格納される又はメモリ上に格納されて外部入力／出力装置（たとえば、インターフェースに結合された表示機器など）にＧＵＭのグラフィック情報を表示する命令が含まれる。他の実施形態では、複数のプロセッサ及び／又は複数のバスを、必要に応じて、複数のメモリ及び複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は必要な操作の一部（たとえば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとして）を提供する。図７では、１つのプロセッサ７０１の場合が例示されている。
メモリ７０２は、本出願による非一時的なコンピュータ可読記憶媒体である。前記メモリは、本出願に係る容貌変化操作結果の予測方法を前記少なくとも１つの前記プロセッサに実行させるように、少なくとも１つのプロセッサによって実行可能な命令を格納している。本出願の非一時的なコンピュータ可読記憶媒体は、本出願に係る容貌変化操作結果の予測方法をコンピュータに実行させるためのコンピュータ命令を格納している。
非一時的なコンピュータ可読記憶媒体としてのメモリ７０２は、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、たとえば、本出願の実施例における容貌変化操作結果の予測方法に対応するプログラム命令／モジュール（たとえば、図６に示す取得ユニット６０１、モデリングユニット６０２、予測ユニット６０３）を格納することができる。プロセッサ７０１は、メモリ７０２に格納された非一時的なソフトウェアプログラム、命令、及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法実施例における容貌変化操作結果の予測方法を実現する。
メモリ７０２は、プログラム記憶領域及びデータ記憶領域を含むことができ、プログラム記憶領域は、オペレーティングシステム、及び少なくとも１つの機能に必要なアプリケーションプログラムを格納し、データ記憶領域は、容貌変化操作結果の予測方法の電子機器の使用に従って作成されたデータなどを格納する。さらに、メモリ７０２は、高速ランダムアクセスメモリを含み、さらに、たとえば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔的に設置されるメモリを選択的に含んでもよく、これらの遠隔メモリは、ネットワークを介して容貌変化操作結果の予測方法の電子機器に接続され得る。上記ネットワークの例には、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。
容貌変化操作結果の予測方法の電子機器は、入力装置７０３及び出力装置７０４をさらに含んでもよい。プロセッサ７０１、メモリ７０２、入力装置７０３及び出力装置７０４はバス又はその他の方式で接続してもよく、図７には、バス７０５による接続が例示されている。
入力装置７０３は、入力される数字又はキャラクター情報を受信すること、容貌変化操作結果の予測方法の電子機器、たとえば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインタ、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置のユーザ設定及び機能制御に関連するキー信号入力を生成することができる。出力装置７０４は、表示機器、補助照明装置（たとえば、ＬＥＤ）、触覚フィードバック装置（たとえば、振動モータ）などを含む。この表示機器は、液晶ディスプレイ（ＬＤＣ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むが、これらに限定されない。いくつかの実施形態では、表示機器はタッチスクリーンであり得る。
ここで説明するシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行及び／又は解釈され得、このプログラム可能なプロセッサは専用又は汎用のプログラム可能なプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信したり、データ及び命令をこのストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置に送信したりすることができる。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）には、プログラム可能なプロセッサの機械命令が含まれ、高度なプロセス及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ／機械語を用いてこれらのコンピューティングプログラムを実施できる。たとえば、本明細書で使用される「機械読み取り可能な媒体」及び「コンピュータ可読媒体」という用語は、機械命令及び／又はデータをプログラム可能なプロセッサの任意のコンピュータプログラム製品、機器、及び／又は装置（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック機器（ＰＬＤ））に提供するものを指し、機械読み取り可能な信号としての機械命令を受信するための機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラム可能なプロセッサに機械命令及び／又はデータを提供するために使用される任意の信号を指す。
ユーザと対話できるように、ここで説明するシステム及び技術をコンピュータに実施することができ、このコンピュータは、ユーザに情報を表示するための表示装置（たとえば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、ユーザがコンピュータに入力することを可能とするキーボード及びポインティング装置（たとえば、マウスやトラックボール）を有する。他の種類の装置も、ユーザとの対話を提供することができ、たとえば、ユーザに提供するフィードバックは、任意の形式の感覚フィードバック（たとえば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック）であってもよく、そして、ユーザからの入力は、任意の形式（音響入力、音声入力、又は触覚入力を含む）で受信できる。
ここで説明するシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（たとえば、データサーバとして）、又はミドルウェアコンポーネントを含むコンピューティングシステム（たとえば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（たとえば、グラフィカルユーザインターフェース又はＷＥＢブラウザーを備えたユーザコンピュータが挙げられ、ユーザはこのグラフィカルユーザインターフェース又はこのＷＥＢブラウザーを介してここで説明するシステム及び技術の実施形態と対話できる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントを含む任意の組み合わせコンピューティングシステムにおいて実施できる。システムのコンポーネントは、任意の形式又は媒体のデジタルデータ通信（たとえば、通信ネットワーク）を介して相互に接続できる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットが含まれる。
コンピュータシステムには、クライアントとサーバを含むことができる。クライアントとサーバは通常、互いに遠く離れており、通信ネットワークを介して互いに会話するのが一般的である。クライアントとサーバの関係は、対応するコンピュータで実行され、互いにクライアント−サーバの関係を持つコンピュータプログラムによって生成される。
なお、上記の様々な形式のプロセスを用いて、ステップを改めて並べ替えたり、追加したり、削除したりすることができる。たとえば、本出願に記載の各ステップは、本出願開示の技術案の所望の結果が達成できる限り、並行して実施しても、順次実施しても、異なる順序で実施してもよく、本明細書では、それについて限定しない。
上記特定実施形態は、本出願の特許範囲に対する制限を構成するものではない。当業者にとって明らかなように、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができる。本出願の精神及び原則の範囲内で行われた修正、同等の置換、及び改良であれば、本出願の特許範囲に含まれるものとする。

Claims (17)

  1. 容貌変化操作前のユーザの第１の容貌データ及び前記第１の容貌データに対応する容貌変化操作後の第２の容貌データを含む容貌変化操作のサンプルデータを取得するステップと、
    前記第１の容貌データ及び前記第２の容貌データに基づいて、容貌変化操作の結果予測モデルを作成するステップと、
    ターゲットユーザの容貌データ及び所望容貌変化操作を取得して、前記ターゲットユーザの容貌データ及び所望容貌変化操作に基づいて、前記容貌変化操作の結果予測モデルを用いて前記ターゲットユーザの所望容貌変化操作後の容貌データを予測するステップと、を含む、容貌変化操作結果の予測方法。
  2. 前記第１の容貌データ及び前記第２の容貌データに基づいて、容貌変化操作の結果予測モデルを作成する前記ステップは、
    前記第１の容貌データ及び前記第２の容貌データについてキーポイント特徴抽出を行うステップと、
    前記第１の容貌データのキーポイント特徴から前記第２の容貌データのキーポイント特徴に変換する変換関係についてモデリングし、前記結果予測モデルを得るステップと、を含む、請求項１に記載の方法。
  3. 前記第２の容貌データに対応するユーザ身体状態データを取得するステップをさらに含み、
    前記第１の容貌データ及び前記第２の容貌データに基づいて、容貌変化操作の結果予測モデルを作成する前記ステップは、
    前記第１の容貌データ及び対応する第２の容貌データに基づいて、ユーザ身体状態データに基づいて容貌変化操作の結果予測モデルを作成するステップを含み、
    前記方法は、
    前記容貌変化操作の結果予測モデルを用いて前記ターゲットユーザの所望容貌変化操作後の身体状態情報を予測するステップをさらに含む、請求項１に記載の方法。
  4. 前記サンプルデータは、前記容貌変化操作前のユーザの第１の徴候データ、及び前記第１の容貌データに対応する容貌変化操作後の第２の徴候データをさらに含む、請求項１に記載の方法。
  5. 前記第１の徴候データ及び対応する第２の徴候データに基づいて徴候予測モデルを作成するステップと、
    ターゲットユーザの徴候データ及び所望容貌変化操作を取得して、前記ターゲットユーザの徴候データに基づいて、前記徴候予測モデルを用いて前記ターゲットユーザの所望容貌変化操作後の徴候データを予測するステップと、をさらに含む、請求項４に記載の方法。
  6. 前記第１の容貌データ及び前記第２の容貌データに基づいて、容貌変化操作の結果予測モデルを作成する前記ステップは、
    前記第１の容貌データと対応する第２の容貌データ、及び前記第１の徴候データと対応する第２の徴候データに基づいて、前記容貌変化操作の結果予測モデルを作成するステップを含み、
    前記方法は、
    ターゲットユーザの徴候データ及び所望容貌変化操作を取得して、前記ターゲットユーザの徴候データ及び所望容貌変化操作に基づいて、前記容貌変化操作の結果予測モデルを用いて前記ターゲットユーザの所望容貌変化操作後の徴候データを予測するステップをさらに含む、請求項４に記載の方法。
  7. 前記容貌変化操作の結果予測モデルによるターゲットユーザの所望容貌変化操作の予測結果に基づいて、前記ターゲットユーザの所望容貌変化操作の操作リスク提示情報を生成するステップをさらに含む、請求項１〜６のいずれか１項に記載の方法。
  8. 前記容貌変化操作前のユーザの第１の容貌データ及び前記第１の容貌データに対応する容貌変化操作後の第２の容貌データを含む容貌変化操作のサンプルデータを取得するように構成される取得ユニットと、
    前記第１の容貌データ及び前記第２の容貌データに基づいて、容貌変化操作の結果予測モデルを作成するように構成されるモデリングユニットと、
    取得ターゲットユーザの容貌データ及び所望容貌変化操作、前記ターゲットユーザの容貌データ及び所望容貌変化操作に基づいて、前記容貌変化操作の結果予測モデルを用いて前記ターゲットユーザの所望容貌変化操作後の容貌データを予測するように構成される予測ユニットと、を含む、容貌変化操作結果の予測装置。
  9. 前記モデリングユニットは、
    前記第１の容貌データ及び前記第２の容貌データについてキーポイント特徴抽出を行うように構成される抽出モジュールと、
    前記第１の容貌データのキーポイント特徴から前記第２の容貌データのキーポイント特徴に変換する変換関係についてモデリングし、前記結果予測モデルを得るように構成される第１のモデリングモジュールと、を含む、請求項８に記載の装置。
  10. 前記第２の容貌データに対応するユーザ身体状態データを取得する取得ユニットをさらに含み、
    前記モデリングユニットは、
    前記第１の容貌データ及び対応する第２の容貌データに基づいて、ユーザ身体状態データ容貌変化操作の結果予測モデルを作成するように構成される第１のモデリングサブユニットを含み、
    前記装置は、
    前記容貌変化操作の結果予測モデルを用いて前記ターゲットユーザの所望容貌変化操作後の身体状態情報を予測するように構成される第２のモデリングモジュールをさらに含む、請求項８に記載の装置。
  11. 前記サンプルデータは、前記容貌変化操作前のユーザの第１の徴候データ、及び前記第１の容貌データに対応する容貌変化操作後の第２の徴候データをさらに含む、請求項８に記載の装置。
  12. 前記第１の徴候データ及び対応する第２の徴候データに基づいて徴候予測モデルを作成するように構成される第３のモデリングモジュールと、
    ターゲットユーザの徴候データ及び所望容貌変化操作を取得して、前記ターゲットユーザの容貌変化操作前の徴候データに基づいて、前記徴候予測モデルを用いて前記ターゲットユーザの所望容貌変化操作後の徴候データを予測するように構成される徴候予測モジュールと、をさらに含む、請求項１１に記載の装置。
  13. 前記モデリングユニットは、
    前記第１の容貌データと対応する第２の容貌データ、及び前記第１の徴候データと対応する第２の徴候データに基づいて前記容貌変化操作の結果予測モデルを作成するように構成される第２のモデリングサブユニットを含み、
    前記装置は、
    ターゲットユーザの徴候データ及び所望容貌変化操作を取得して、前記ターゲットユーザの徴候データ及び所望容貌変化操作に基づいて、前記容貌変化操作の結果予測モデルを用いて前記ターゲットユーザの所望容貌変化操作後の徴候データを予測するように構成される第４のモデリングモジュールをさらに含む、請求項１１に記載の装置。
  14. 前記容貌変化操作の結果予測モデルによるターゲットユーザの所望容貌変化操作の予測結果に基づいて、前記ターゲットユーザの所望容貌変化操作の操作リスク提示情報を生成するように構成される提示ユニットをさらに含む、請求項８〜１３のいずれか１項に記載の装置。
  15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されたメモリと、を含み、
    前記メモリは、前記少なくとも１つのプロセッサにより実行されると、請求項１〜７のいずれか１項に記載の方法を前記少なくとも１つのプロセッサに実行させる、前記少なくとも１つのプロセッサにより実行可能な命令を記憶している、ことを特徴とする電子機器。
  16. コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータ命令は、前記コンピュータに、請求項１〜７のいずれか１項に記載の方法を実行させることに用いられる、ことを特徴とする非一時的なコンピュータ可読記憶媒体。
  17. コンピュータプログラムであって、
    前記コンピュータプログラムは、プロセッサにより実行されると、請求項１〜７のいずれか１項に記載の方法を実行させるコンピュータプログラム。
JP2021049337A 2020-06-30 2021-03-24 容貌変化操作結果の予測方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム Pending JP2022003506A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010608567.2A CN111767676A (zh) 2020-06-30 2020-06-30 用于预测容貌变化操作结果的方法和装置
CN202010608567.2 2020-06-30

Publications (1)

Publication Number Publication Date
JP2022003506A true JP2022003506A (ja) 2022-01-11

Family

ID=72724123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021049337A Pending JP2022003506A (ja) 2020-06-30 2021-03-24 容貌変化操作結果の予測方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20210209345A1 (ja)
EP (1) EP3828897A1 (ja)
JP (1) JP2022003506A (ja)
KR (1) KR20210040887A (ja)
CN (1) CN111767676A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487597B (zh) * 2021-07-23 2023-08-29 四川大学 一种正畸术后侧貌预测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013526934A (ja) * 2010-05-21 2013-06-27 マイ オーソドンティクス プロプライエタリー リミテッド 処置後の外観予測
JP2020067868A (ja) * 2018-10-25 2020-04-30 ジャパンモード株式会社 施術支援システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953260B2 (en) * 2006-06-09 2011-05-31 Craniosim Solutions, Inc. Predicting movement of soft tissue of the face in response to movement of underlying bone
CN105608741A (zh) * 2015-12-17 2016-05-25 四川大学 预测颌面骨整形术后软组织容貌变化的计算机仿真方法
US10839578B2 (en) * 2018-02-14 2020-11-17 Smarter Reality, LLC Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures
US20200143293A1 (en) * 2018-11-01 2020-05-07 Microsoft Technology Licensing, Llc Machine Learning Based Capacity Management Automated System
CN109994206A (zh) * 2019-02-26 2019-07-09 华为技术有限公司 一种容貌预测方法及电子设备
US11151462B2 (en) * 2020-02-04 2021-10-19 Vignet Incorporated Systems and methods for using machine learning to improve processes for achieving readiness
JP2023528648A (ja) * 2020-06-08 2023-07-05 キネシオメトリクス，インコーポレイテッド 患者及び医学的介入に関する解析を提供するためのシステム及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013526934A (ja) * 2010-05-21 2013-06-27 マイ オーソドンティクス プロプライエタリー リミテッド 処置後の外観予測
JP2020067868A (ja) * 2018-10-25 2020-04-30 ジャパンモード株式会社 施術支援システム

Also Published As

Publication number Publication date
CN111767676A (zh) 2020-10-13
KR20210040887A (ko) 2021-04-14
EP3828897A1 (en) 2021-06-02
US20210209345A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
JP7166322B2 (ja) モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN111681726B (zh) 电子病历数据的处理方法、装置、设备和介质
KR102484617B1 (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN107077466B (zh) 计算机自然语言处理中通用本体的词元映射
KR102527878B1 (ko) 키 포인트 학습 모델 구축 방법, 장치, 전자 기기 및 판독 가능한 저장 매체 그리고 프로그램
JP7316453B2 (ja) オブジェクト推薦方法及び装置、コンピュータ機器並びに媒体
KR20210040316A (ko) 사용자 상호작용 정보 처리모델 생성방법, 사용자 상호작용 정보 처리방법 및 프로그램
JP2021103574A (ja) 顔融合モデルのトレーニング方法、装置及び電子機器
CN113240778B (zh) 虚拟形象的生成方法、装置、电子设备和存储介质
CN111582477B (zh) 神经网络模型的训练方法和装置
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN112509690A (zh) 用于控制质量的方法、装置、设备和存储介质
CN111709252B (zh) 基于预训练的语义模型的模型改进方法及装置
JP7297038B2 (ja) ニューラルネットワークモデルの事前トレーニング方法、装置、電子機器及び媒体
EP3901905B1 (en) Method and apparatus for processing image
WO2022152166A1 (en) Supervised vae for optimization of value function and generation of desired data
Kryvonos et al. New tools of alternative communication for persons with verbal communication disorders
CN112288128A (zh) 信息预测方法和装置
JP2022003506A (ja) 容貌変化操作結果の予測方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
EP3848818A1 (en) Method and apparatus for generating descriptions of video clips, electronic device, stroage medium, and computer program product
Zandi et al. Exploring User Interactions in AR/VR Interfaces: A Simulation-Based Study
JP7256857B2 (ja) 対話処理方法、装置、電子機器及び記憶媒体
CN111062995B (zh) 生成人脸图像的方法、装置、电子设备和计算机可读介质
CN111949860B (zh) 用于生成相关度确定模型的方法和装置
CN115862794A (zh) 病历文本生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230420