JP2019537758A - 制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体 - Google Patents

制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2019537758A
JP2019537758A JP2018566586A JP2018566586A JP2019537758A JP 2019537758 A JP2019537758 A JP 2019537758A JP 2018566586 A JP2018566586 A JP 2018566586A JP 2018566586 A JP2018566586 A JP 2018566586A JP 2019537758 A JP2019537758 A JP 2019537758A
Authority
JP
Japan
Prior art keywords
current user
image
rendering
face
face area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018566586A
Other languages
English (en)
Inventor
兪大海
全永兵
李建平
周均揚
宋劍鋒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Original Assignee
Midea Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd filed Critical Midea Group Co Ltd
Publication of JP2019537758A publication Critical patent/JP2019537758A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本発明は、カメラ（２０）を含むスマートミラー（１００）を制御するための制御方法を開示する。制御方法は、現在のユーザを撮影するようにカメラ（２０）を制御するステップ（Ｓ１２）と、現在のユーザが登録ユーザであるか否かを判断するステップ（Ｓ１４）と、現在のユーザが登録ユーザである場合、スマートミラー（１００）にログインするように現在のユーザを制御するステップ（Ｓ１６）と、現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー（１００）を制御するステップ（Ｓ１８）と、を含む。本発明は、コントローラ（１０）、スマートミラー（１００）及びコンピュータ読み取り可能な記憶媒体をさらに開示する。【選択図】図１

Description

本発明は、スマートミラー技術分野に関し、特に、制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体に関する。
現在のスマートミラーの機能は、主に、天気、ショートメッセージなどのような情報を表示することである。しかしながら、現在のスマートミラーの使用機能が限定されているため、ユーザの体験が良くない。
本発明は、従来技術における少なくとも１つの技術的課題を解決することを目的とする。そのため、本発明は、制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体を提供する。
本発明の実施形態に係る制御方法は、カメラを含むスマートミラーを制御するためのものであり、前記制御方法は、
現在のユーザを撮影するように前記カメラを制御するステップと、
前記現在のユーザが登録ユーザであるか否かを判断するステップと、
前記現在のユーザが登録ユーザである場合、前記スマートミラーにログインするように 前記現在のユーザを制御するステップと、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御するステップと、を含む。
本発明の実施形態に係るコントローラは、カメラを含むスマートミラーを制御するためのものであり、前記コントローラは、
現在のユーザを撮影するように前記カメラを制御する制御装置と、
前記現在のユーザが登録ユーザであるか否かを判断する判断装置と、
前記現在のユーザが登録ユーザである場合、前記スマートミラーにログインするように 前記現在のユーザを制御するログイン装置と、
前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御するインタラクション装置と、を含む。
本発明の実施形態に係るスマートミラーは、カメラと上記のコントローラとを含み、前記コントローラは、前記カメラに電気的接続されている。
本発明の実施形態に係るスマートミラーは、１つ又は複数のプロセッサと、メモリと、１つ又は複数のプログラムと、を含み、前記１つ又は複数のプログラムは、前記メモリに格納されており、前記１つまたは複数のプロセッサによって実行されるように構成され、前記プログラムは、上記の制御方法を実行するための命令を含む。
本発明の実施形態に係るコンピュータ読み取り可能な記憶媒体は、画面を表示可能な電子デバイスと組み合わせて使用されるコンピュータプログラムを含み、前記コンピュータプログラムは、プロセッサによって実行されて上記の制御方法を実行可能である。
本発明の実施形態に係る制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記録媒体は、ユーザがログインした後に、美容メイク、アニメーションキャラクターレンダリングなどを含む様々なインタラクティブ機能をユーザに提供することができる。このようにすることで、スマートミラーの使用機能がさらに豊かになり、スマートな生活に対するユーザの需要が満たされ、ユーザの使用経験が向上する。
本発明の付加的な特徴及び利点は、以下の説明において一部が示され、一部が以下の説明により明らかになるか、または、本発明の実施により理解され得る。
本発明の上記及び／又は付加的な特徴及び利点は、実施形態を図面を参照して以下に説明することにより、明らかになり、理解され易くなる。
本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係るスマートミラーのモジュールの概略図である。 本発明の一部の実施形態に係るスマーミラーの構造模式図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係る判断装置のモジュールの概略図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係るコントローラのモジュールの概略図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係るインタラクション装置のモジュールの概略図である。 本発明の一部の実施形態に係る制御方法の状態模式図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係る制御方法の状態模式図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係る制御方法の状態模式図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係る制御方法の状態模式図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係るインタラクション装置のモジュールの概略図である。 本発明の一部の実施形態に係る制御方法の状態模式図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係る制御方法の状態模式図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係る制御方法の状態模式図である。 本発明の一部の実施形態に係る制御方法の概略フローチャートである。 本発明の一部の実施形態に係るインタラクション装置のモジュールの概略図である。 本発明の一部の実施形態に係る制御方法の状態模式図である。 本発明の一部の実施形態に係るスマートミラーのモジュールの概略図である。
以下に、本発明の実施形態を詳細に説明する。前記実施形態の例が図面に示されるが、同一または類似する符号は、常に、同一又は類似する素子、或いは、同一又は類似する機能を有する素子を表す。以下に、図面を参照しながら説明される実施形態は例示するものであり、本発明を解釈するためだけに用いられ、本発明を限定するものと理解してはいけない。
図１〜図３を参照し、本発明の実施形態に係る制御方法は、カメラを含むスマートミラー１００を制御するためのものである。制御方法は、
現在のユーザを撮影するようにカメラ２０を制御するステップＳ１２と、
現在のユーザが登録ユーザであるか否かを判断するステップＳ１４と、
現在のユーザが登録ユーザである場合、スマートミラー１００にログインするように現在のユーザを制御するステップＳ１６と、
現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８と、を含む。
次に、図２を参照し、本発明の実施形態に係る制御方法は、本発明の実施形態に係るコントローラ１０によって実現することができる。本発明の実施形態に係るコントローラ１０は、制御装置１２と、判断装置１４と、ログイン装置１６と、インタラクション装置１８と、を含む。ステップＳ１２は、制御装置１２によって実現することができ、ステップＳ１４は、判断装置１４によって実現することができ、ステップＳ１６は、ログイン装置１６によって実現することができ、ステップＳ１８は、インタラクション装置１８によって実現することができる。
つまり、制御装置１２は、現在のユーザを撮影するようにカメラ２０を制御する。判断装置１４は、現在のユーザが登録ユーザであるか否かを判断する。ログイン装置１６は、現在のユーザが登録ユーザである場合、スマートミラー１００にログインするように現在のユーザを制御する。インタラクション装置１８は、現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御する。
本発明の実施形態に係るコントローラ１０は、本発明の実施形態に係るスマートミラー１００に適用される。つまり、本発明の実施形態に係るスマートミラー１００は、本発明の実施形態に係るコントローラ１０を含む。本発明の実施形態に係るスマートミラー１００は、カメラ２０をさらに含む。カメラ２０は、コントローラ１０に電気的接続されている。
現在のほとんどのスマートミラー１００は、天気やショートメッセージだけを表示することができ、ユーザとのインタラクション機能が少なく、現在のスマートミラー１００の使用機能が限定されているため、ユーザの体験が比較的悪い。
本発明の実施形態に係る制御方法は、ユーザが成功裏にログインした後、美容メイクやアニメーションキャラクタレンダリングなどの様々なエンターテインメントインタラクション及びガイダンス機能をユーザに提供することができる。
具体的に、スマートミラー１００を使用する現在のユーザは、スマートミラー１００の様々なエンターテインメントインタラクション及びガイダンス機能の使用権利を行使することができるために、スマートミラー１００に成功裏にログインする必要がある。つまり、現在のユーザが登録ユーザである場合のみ、スマートミラー１００のエンターテインメントインタラクション及びガイダンス機能を使用することができる。このようにすることで、登録ユーザの個人情報及びプライバシを保護し、スマートミラー１００の使用情報のセキュリティを向上させることができる。また、各登録ユーザは、スマートミラー１００にそれぞれの使用スタイルを設定することができる。このようにすることで、登録ユーザがスマートミラー１００にログインした後、スマートミラー１００は、現在の登録ユーザに応じた使用スタイルを表示し、ユーザの使用体験をさらに向上させる。
現在のユーザがスマートミラー１００に成功裏にログインした後、スマートミラー１００は、インタラクション機能の使用インターフェースを表示する。現在のユーザが使用インターフェースにおけるコンテンツをクリックするだけでスマートミラー１００とのインタラクションを実現することができる。
以上により、本発明の実施形態に係る制御方法、コントローラ１０、スマートミラー１００は、ユーザが成功裏にログインした後に、様々なインタラクティブ機能をユーザに提供することができる。このようにすることで、スマートミラー１００の使用機能がさらに豊かになり、スマートな生活に対するユーザの需要が満たされ、ユーザの使用経験が向上する。
図２及び図４を参照し、一部の実施形態において、スマートミラー１００は、レジストリを含む。レジストリは、全ての登録ユーザの登録顔領域の登録特徴情報を含む。現在のユーザが登録ユーザであるか否かを判断するステップＳ１４は、
カメラ２０によって撮影された現在のユーザの第１の画像を処理して現在のユーザの被検出顔領域を取得するステップＳ１４１と、
被検出顔領域を処理して被検出顔領域の被検出特徴点を取得するステップＳ１４２と、
被検出特徴点を処理して被検出顔領域の特徴情報を抽出するステップＳ１４３と、
被検出特徴情報と登録特徴情報とを比較して比較結果を取得するステップＳ１４４と、
比較結果が所定の閾値より大きい場合、現在のユーザが登録ユーザであると確認するステップＳ１４５と、を含む。
図５を参照し、一部の実施形態において、判断装置１４は、第１の処理ユニット１４１と、第２の処理ユニット１４２と、第３の処理ユニット１４３、比較ユニット１４４と、第１の確認ユニット１４５と、含む。ステップＳ１４１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１４２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１４３は、第３の処理ユニット１４３によって実現することができ、ステップＳ１４４は、比較ユニット１４４によって実現することができ、ステップＳ１４５は、第１の確認ユニット１４５によって実現することができる。
つまり、第１の処理ユニット１４１は、カメラ２０によって撮影された現在のユーザの第１の画像を処理して現在のユーザの被検出顔領域を取得する。第２の処理ユニット１４２は、被検出顔領域を処理して被検出顔領域の被検出特徴点を取得する。第３の処理ユニット１４３は、被検出特徴点を処理して被検出顔領域の特徴情報を抽出する。比較ユニット１４４は、被検出特徴情報と登録特徴情報とを比較して比較結果を取得する。第１の確認ユニット１４５は、比較結果が所定の閾値より大きい場合、現在のユーザが登録ユーザであると確認する。
具体的に、被検出特徴点は、被検出顔領域における目、鼻、口、及び顔輪郭線などの特徴点を含む。登録特徴情報又は被検出特徴情報は、例えば、目、鼻、口などの相対位置及び距離、目、鼻、口の視点及び大きさなどの登録ユーザ又は現在のユーザの顔の特徴情報を含む。現在のユーザの被検出特徴情報と登録ユーザの登録特徴情報とを比較し、比較結果が所定の閾値より大きい場合、現在のユーザと登録ユーザとの顔のマッチング度が高いことを表しているので、現在のユーザが登録ユーザであると判断することができる。現在のユーザが登録ユーザであることが確認された後、現在のユーザは、スマートミラー１００に成功裏にログインするようになる。
このようにすることで、スマートミラー１００が登録ユーザのみに豊かな使用機能を提供するため、登録ユーザの情報セキュリティが確保される。
一部の実施形態において、登録ユーザは、表示インターフェースの色や背景パターンなどのスマートミラー１００の使用スタイルを自ら設定することができる。このようにすることで、現在のユーザがスマートミラー１００に成功裏にログインした後、スマートミラー１００は、現在のユーザが好む使用スタイルを表示することができ、ユーザの体験をさらに向上させることができる。
本発明の実施形態において、現在のユーザのログイン検証は、顔認識によって検証される。他の実施形態では、現在のユーザのログイン検証は、音声認識、指紋認識、虹彩認識などによっても検証することができる。
図２及び図６を参照し、一部の実施形態において、本発明の実施形態に係る制御方法は、
登録ユーザを撮影するようにカメラ２０を制御するステップＳ１１１と、
登録ユーザの入力に基づいて登録ユーザの個人記録ファイルを作成するステップＳ１１２と、をさらに含む。
図７を参照し、一部の実施形態において、コントローラ１０は作成装置１１をさらに含む。ステップＳ１１１は、制御装置１２によって実現することができ、ステップＳ１１２は、作成装置１１によって実現することができる。
つまり、制御装置１２は、さらに、登録ユーザを撮影するようにカメラ２０を制御し、作成装置１２は、登録ユーザの入力に基づいて登録ユーザの個人記録ファイルを作成する。
具体的に、カメラ２０が登録ユーザを撮影した後、スマートミラー１００は、撮影された登録ユーザの画像を処理して登録ユーザの登録特徴点を取得し、登録特徴点をレジストリに格納して後の認識マッチングログインに使用する。登録ユーザは、スマートミラー１００で編集入力を行って、自分の個人記録ファイルを作成することができる。個人記録ファイルは、登録ユーザのニックネーム、アバタ、及び個性署名などを含む。登録ユーザは、自分のアニメーションキャラクタを作成し、個人記録ファイルに保存することもできる。現在のユーザが登録ユーザであること、すなわち現在のユーザがスマートミラー１００に成功裏にログインしたことを確認した後、スマートミラー１００は、現在のユーザの個人記録ファイルにおけるすべての情報を表示するか、又は現在のユーザの個人記録ファイルにおける一部の情報を表示する。
なお、現在のユーザがスマートミラー１００とインタラクションを行った後、現在のユーザは、出力されたインタラクション情報を保存することを選択することができる。この時点で、保存されたインタラクション情報は、個人記録ファイルに保存される。ユーザは、個人記録ファイルを介して、自ら保存したインタラクション情報及び/又は履歴インタラクションコンテンツなどを見ることができる。このようにすることで、ユーザの使用体験をさらに向上させることができる。
図２及び図８を参照し、一部の実施形態において、本発明の実施形態に係る制御方法は、
現在のユーザの第２の画像を撮影するようにカメラ２０を制御するステップＳ１７１と、
第２の画像を表示するようにスマートミラー１００を制御するステップＳ１７２と、含む。
図２を再度に参照し、一部の実施形態において、ステップＳ１７１及びステップＳ１７２は、制御装置１２によって実現することができる。
つまり、制御装置１２は、さらに、
現在のユーザの第２の画像を撮影するようにカメラ２０を制御し、
第２の画像を表示するようにスマートミラー１００を制御する。
このようにすることで、カメラ２０によって撮影された第１の画像は、顔認識のログイン検証に使用される。カメラ２０によって撮影された第２の画像は、現在のユーザとスマートミラー１００とのインタラクションに使用される。
図９を参照し、一部の実施形態において、インタラクションは、第２の画像に対する萌え顔処理を含む。スマートミラーは、萌え顔素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの萌え顔の顔領域を取得するステップＳ１８１１と、
萌え顔の顔領域を処理して萌え顔の顔領域の萌え顔特徴点を取得するステップＳ１８１２と、
現在のユーザの入力に基づいて萌え顔素材を決定するステップＳ１８１３と、
萌え顔特徴点に基づいて萌え顔素材と第２の画像とのマッチング融合処理を行って萌え顔画像を取得するステップＳ１８１４と、を含む。
図５及び図１０を参照し、一部の実施形態において、インタラクション装置１８は、第２の確認ユニット１８１と第４の処理ユニット１８２と含む。ステップＳ１８１１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８１２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８１３は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８１４は、第４の処理ユニット１８２によって実現することができる。
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの萌え顔の顔領域を取得する。第２の処理ユニット１４２は、さらに、萌え顔の顔領域を処理して萌え顔の顔領域の萌え顔特徴点を取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて萌え顔素材を決定する。第４の処理ユニット１８２は、萌え顔特徴点に基づいて萌え顔素材と第２の画像とのマッチング融合処理を行って萌え顔画像を取得する。
図１１を参照し、具体的に、萌え顔特徴点は、目、鼻、口、耳、髪などの特徴点を含む。萌え顔処理は、現在のユーザの萌え顔の顔領域に、検出された萌え顔特徴点に基づいて装飾の効果を重ね合わせることを指し、例えば、顔に可愛い表情を重ね合わせること、頭部にヘアピンなどの仮想装飾を重ね合わせること、頭部に動物耳を重ね合わせること、鼻の位置に動物の鼻を重ね合わせること、頬の位置に動物髭を重ね合わせることなどである。萌え顔素材は、ユーザによって自ら指定することができる。萌え顔画像を得た後、スマートミラー１００は、萌え顔画像の動的フレームごとの表示を採用することにより、楽しさが高いアニメーション効果を形成する。
図１２を参照し、一部の実施形態において、インタラクションは、第２の画像に対する美顔処理を含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの美顔領域を取得するステップＳ１８２１と、
美顔領域を処理して美顔領域の美顔特徴点を取得するステップＳ１８２２と、
現在のユーザの入力及び美顔特徴点に基づいて第２の画像に対して美顔処理を行って美顔画像を取得するステップＳ１８２３と、を含む。
図５及び図１０を再度に参照し、一部の実施形態において、インタラクション装置１８は、第４の処理ユニット１８２を含む。ステップＳ１８２１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８２２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８３は、第４の処理ユニット１８２によって実現することができる。
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの美顔領域を取得する。第２の処理ユニット１４２は、さらに、美顔領域を処理して美顔領域の美顔特徴点を取得する。第４の処理ユニット１８２は、現在のユーザの入力及び美顔特徴点に基づいて第２の画像に対して美顔処理を行って美顔画像を取得する。
美顔処理は、美白フィルタ、赤みフィルタ、顔痩せモジュール、及びビッグアイモジュールのうちの１つ又は複数を含む。美顔特徴点は、顔や目などを含む。ユーザは、美顔処理の操作オプションをクリックすることにより、第２の画像の美顔処理を行うことができる。例えば、図１３に示すように、ユーザが美白フィルタをクリックした後、第４の処理ユニット１８２は、第２の画像における美顔領域に対して顔の美白処理を行う。このようにすることで、ユーザは、美顔機能を自主的に選択して第２の画像に対して美顔処理を行うことができ、処理された美顔画像は、スマートミラー１００に表示される。ユーザは、スマートミラー１００に表示された自分の個人イメージを見ることができ、ユーザの視覚体験を向上させることができる。
さらに、スマートミラー２０は、フレームごとに美顔画像を動的フレームの形態で表示する。つまり、カメラ２０は、現在のユーザをリアルタイムで撮影して現在のユーザの美顔特徴点を取得し、リアルタイムで撮影された画像の美顔処理を行う。このようにすることで、現在のユーザが、例えば、頭部を一定の角度にわたって回転させるような動いている状態にあっても、スマートミラー１００にも現在のユーザの美顔後の画像がリアルタイムで表示される。
図１４を参照し、一部の実施形態において、インタラクションは、第２の画像に対して仮想トライアルメイクアップ処理を含む。スマートミラーは、メイクアップ素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザのトライアルメイクアップ顔領域を取得するステップＳ１８３１と、
トライアルメイクアップ顔領域を処理してトライアルメイクアップ顔領域のトライアルメイクアップ特徴点を取得するステップＳ１８３２と、
現在のユーザの入力に基づいてメイクアップ素材を決定するステップＳ１８３３と、
トライアルメイクアップ特徴点に基づいてメイクアップ素材と第２の画像とのマッチング融合処理を行って仮想トライアルメイクアップ画像を取得するステップＳ１８３４と、を含む。
図５及び図１０を再度に参照し、一部の実施形態において、インタラクション装置１８は、第２の確認ユニット１８１と第４の処理ユニット１８２とを含む。ステップＳ１８３１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８３２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８３３は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８３４は、第４の処理ユニット１８４によって実現することができる。
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザのトライアルメイクアップ顔領域を取得する。第２の処理ユニット１４２は、さらに、トライアルメイクアップ顔領域を処理してトライアルメイクアップ顔領域のトライアルメイクアップ特徴点を取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいてメイクアップ素材を決定する。第４の処理ユニット１８２は、トライアルメイクアップ特徴点に基づいてメイクアップ素材と第２の画像とのマッチング融合処理を行って仮想トライアルメイクアップ画像を取得する。
メイクアップ素材は、アイシャドウ素材、アイライナー素材、ほお紅素材、口紅素材、及び眉毛素材のうちの１つ又は複数を含む。トライアルメイクアップ特徴点は、目、鼻、眉毛、及び頬などの特徴点を含む。現在のユーザがスマートミラー１００の操作インターフェースで対応するメイクアップ素材をクリックした後、第４の処理ユニット１８２は、決定されたトライアルメイクアップ特徴点に基づいて、現在のユーザによってクリックされたメイクアップ素材と第２の画像とのマッチング融合処理を行う。スマートミラー１００は、マッチング融合処理された仮想トライアルメイクアップ画像を表示する。例えば、図１５に示すように、現在のユーザがアイシャドウ素材及びアイライナー素材をクリックした後、スマートミラー１００は、処理された仮想トライアルメイクアップ画像を表示する。実際の使用中に、現在のユーザは、化粧時に、スマートミラー１００に表示された仮想トライアルメイクアップ画像を参考にして自分の好みのメイクを特定することができる。このようにすることで、ユーザとスマートミラー１００とのインタラクションが強化され、ユーザの使用体験が向上する。
さらに、スマートミラー１００は、フレームごとに仮想トライアルメイクアップ画像を動的フレームの形態で表示する。現在のユーザが動いている状態にあっても、スマートミラー１００は、相変わらず仮想トライアルメイクアップ処理された仮想トライアルメイクアップ画像を持続的に表示することができる。
図１６を参照し、一部の実施形態において、インタラクションは、第２の画像に対する２Ｄ仮面レンダリング処理を含む。スマートミラー１００は、２Ｄ仮面素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの２Ｄ仮面レンダリング顔領域を取得するステップＳ１８４１と、
２Ｄ仮面レンダリング顔領域を処理して２Ｄ仮面レンダリング顔領域の２Ｄ仮面レンダリング特徴点を取得するステップＳ１８４２、
現在のユーザの入力に基づいて２Ｄ仮面素材を決定するステップＳ１８４３と、
２Ｄ仮面レンダリング特徴点に基づいて２Ｄ仮面素材と第２の画像とのマッチング融合処理を行って２Ｄ仮面レンダリング画像を取得するステップＳ１８４４と、を含む。
図５及び図１０を再度に参照し、一部の実施形態において、インタラクション装置１８は、第２の確認ユニット１８１と第４の処理ユニット１８２とを含む。ステップＳ１８４１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８４２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８４３は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８４４は、第４の処理ユニット１８２によって実現することができる。
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの２Ｄ仮面レンダリング顔領域を取得する。第２の処理ユニット１４２は、さらに、２Ｄ仮面レンダリング顔領域を処理して２Ｄ仮面レンダリング顔領域の２Ｄ仮面レンダリング特徴点を取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて２Ｄ仮面素材を決定する。第４の確認ユニット１８２は、２Ｄ仮面レンダリング特徴点に基づいて、２Ｄ仮面素材と第２の画像とのマッチング融合処理を行って２Ｄ仮面レンダリング画像を取得する。
具体的に、２Ｄ仮面レンダリング特徴点は、主に、目、鼻、及び口を含む。２Ｄ仮面素材は、古典的な仮面、北京オペラの仮面、動物の顔の仮面、アニメーションキャラクタの仮面などを含む。現在のユーザが２Ｄ仮面素材をクリックした後、第４の処理ユニット１８２は、２Ｄ仮面素材と第２の画像とのマッチング融合処理を行う。スマートミラー１００は、マッチング融合処理された２Ｄ仮面レンダリング画像を表示する。例えば、図１７に示すように、ユーザが白い仮面の２Ｄ仮面素材をクリックすると、スマートミラー１００は、処理された２Ｄ仮面レンダリング画像を表示する。このようにすることで、ユーザは直感的に仮面を着用した効果を感じることができ、スマートミラー１００の使用の楽しさが増える。
さらに、スマートミラー１００は、フレームごとに２Ｄ仮面レンダリング画像を動的フレームの形態で表示する。ユーザの頭部が動いている場合は、２Ｄ仮面は、相変わらず２Ｄ仮面レンダリング顔領域とのマッチングを実現することができる。ユーザは、レンダリング効果を動的に見ることができる。スマートミラー１００は、リアルに仮面を着用してミラーを見ている使用感覚をユーザに提供することができる。
図１８を参照し、一部の実施形態において、インタラクションは、第２の画像に対する３Ｄアニメーションキャラクタレンダリング処理を含む。スマートミラー１００は、３Ｄエンジン、共通３Ｄ顔モデル、及び３Ｄアニメーションキャラクタ素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの３Ｄアニメーションキャラクタレンダリング顔領域を取得するステップＳ１８５１と、
３Ｄアニメーションキャラクタレンダリング顔領域を処理して３Ｄアニメーションキャラクタレンダリング顔領域の３Ｄアニメーションキャラクタレンダリング特徴点を取得するステップＳ１８５２と、
共通３Ｄ顔モデル及び３Ｄアニメーションキャラクタレンダリング特徴点に基づいて現在のユーザの３Ｄアニメーションキャラクタレンダリング姿勢パラメータを取得するステップＳ１８５３と
現在のユーザの入力に基づいて３Ｄアニメーションキャラクタ素材を決定するステップＳ１８５４と、
第１の姿勢パラメータ及び３Ｄアニメーションキャラクタ素材に基づいて第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うように３Ｄエンジンを制御するステップＳ１８５５と、を含む。
図５及び図１９を参照し、インタラクション装置１８は、取得ユニット１８３と、第２の確認ユニット１８１と、第４の処理ユニット１８２と、含む。ステップＳ１８５１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８５２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８５３は、取得ユニット１８３によって実現することができ、ステップＳ１８５４は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８５５は、第４の処理ユニット１８２によって実現することができる。
つまり、第１の取得ユニット１４１は、さらに、第２の画像を処理して現在のユーザの３Ｄアニメーションキャラクタレンダリング顔領域を取得する。第２の処理ユニット１４２は、さらに、３Ｄアニメーションキャラクタレンダリング顔領域を処理して３Ｄアニメーションキャラクタレンダリング顔領域の３Ｄアニメーションキャラクタレンダリング特徴点を取得する。取得ユニット１８３は、共通３Ｄ顔モデル及び３Ｄアニメーションキャラクタレンダリング特徴点に基づいて現在のユーザの３Ｄアニメーションキャラクタレンダリング姿勢パラメータを取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて３Ｄアニメーションキャラクタ素材を決定する。第４の処理ユニット１８２は、第１の姿勢パラメータ及び３Ｄアニメーションキャラクタ素材に基づいて第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うように３Ｄエンジンを制御する。
具体的に、第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うこととは、第２の画像におけるキャラクタの動きを取得し、キャラクタの動きを模倣して追従するように３Ｄアニメーションキャラクタを制御することである。３Ｄアニメーションキャラクタ素材ライブラリは、例えば、スポンジボブ、ドラえもん、カンフーパンダ、プーさんなどの複数の３Ｄアニメーションキャラクタ素材を含む。３Ｄアニメーションキャラクタレンダリング特徴点は、３Ｄアニメーションキャラクタレンダリング顔領域の目、鼻、口、頭部などを含む。第１の姿勢パラメータは、頭部の回転角度、目の開閉、口の動きなどを含む。共通３Ｄ顔モデルと３Ｄアニメーションキャラクタレンダリング特徴点とのマッチングは、カメラ２０によって撮影された２Ｄ平面画像を３Ｄ立体姿勢パラメータ、即ち第１の姿勢パラメータに変換するために使用される。このようにすることで、現在のユーザが３Ｄアニメーションキャラクタ素材をクリックした後、３Ｄエンジンは、第１の姿勢パラメータ及び３Ｄアニメーションキャラクタ素材に基づいて、第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行って、３Ｄアニメーションキャラクタが現在のユーザの頭部及び面部の動きに基づいてキャラクタ動きの３Ｄ立体表示効果を行うことが実現される。例えば、図２０に示すように、現在のユーザによって選択された３Ｄアニメーションキャラクタ素材は、ドラえもんであり、ユーザが目を大きく開きながら、口を開けて大笑い動きをしている場合、ドラえもんは、同時に目を大きく開きながら、口を開けて大笑い動きをして、リアルタイムで模倣して追従することを実現する。このようにすることで、ユーザとスマートミラー１００とのインタラクションの楽しさが向上する。
一部の実施形態において、取得された３Ｄアニメーションキャラクタレンダリング特徴点は、共通３Ｄ顔モデルライブラリにおけるある共通３Ｄ顔モデルとマッチングすることにより、３Ｄ立体姿勢パラメータを取得することができる。共通３Ｄ顔モデルライブラリには、異なる形の共通３Ｄ顔が保存されている。このようにすることで、異なるユーザの頭部、顔、五官などの差異に基づいて異なる共通３Ｄ顔モデルを選定してマッチングさせ、３Ｄ立体姿勢パラメータの精度を向上させて３Ｄアニメーションキャラクタレンダリングの効果をさらに最適化し、３Ｄアニメーションキャラクタの模倣追従をさらに正確にすることができる。
図２１を参照し、一部の実施形態において、インタラクションは、第２の画像に対する仮想メガネレンダリング処理を含む。スマートミラー１００は、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想メガネ素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの仮想メガネレンダリング第２の顔領域を取得するステップＳ１８６１と、
仮想メガネレンダリング顔領域を処理して仮想メガネレンダリング顔領域の仮想メガネレンダリング特徴点を取得するステップＳ１８６２と、
共通３Ｄ顔モデル及び仮想メガネレンダリング特徴点に基づいて現在のユーザの仮想メガネレンダリング姿勢パラメータを取得するステップＳ１８６３と、
現在のユーザの入力に基づいて仮想メガネ素材を決定するステップＳ１８６４と、
第２の姿勢パラメータ及び仮想メガネ素材に基づいて第２の画像に対して仮想メガネレンダリング処理を行うように３Ｄエンジンを制御するステップＳ１８６５と、を含む。
図５及び図１９を再度に参照し、一部の実施形態において、インタラクション装置１８は、取得ユニット１８３と、第２の確認ユニット１８１と、第４の処理ユニット１８２と、含む。ステップＳ１８６１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８６２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８６３は、取得ユニット１８３によって実現することができ、ステップＳ１８６４は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８６５は、第４の処理ユニット１８２によって実現することができる。
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの仮想メガネレンダリング第２の顔領域を取得する。第２の処理ユニット１４２は、さらに、仮想メガネレンダリング顔領域を処理して仮想メガネレンダリング顔領域の仮想メガネレンダリング特徴点を取得する。取得ユニット１８３は、共通３Ｄ顔モデル及び仮想メガネレンダリング特徴点に基づいて現在のユーザの仮想メガネレンダリング姿勢パラメータを取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて仮想メガネ素材を決定する。第４の処理ユニット１８２は、第２の姿勢パラメータ及び仮想メガネ素材に基づいて第２の画像に対して仮想メガネレンダリング処理を行うように３Ｄエンジンを制御する。
具体的に、第２の画像に対して仮想メガネレンダリング処理を行うこととは、第２の画像におけるキャラクタに仮想メガネをかけることであり、仮想メガネは、第２の画像におけるキャラクタの頭部の動きに合わせて動くことができ、模倣追従を実現する。仮想メガネ素材ライブラリは、複数の異なる色及び造型の仮想メガネ素材を含む。仮想メガネレンダリング特徴点は、主に仮想メガネレンダリング顔領域の頭部及び目の部分を含む。仮想メガネレンダリング姿勢パラメータは、頭部及び目の動き状況を含む。共通３Ｄ顔モデルと仮想メガネレンダリング特徴点とのマッチングは、カメラ２０によって撮影された２Ｄ平面画像を３Ｄ立体姿勢パラメータ、即ち第２の姿勢パラメータに変換するために使用される。このようにすることで、現在のユーザが仮想メガネ素材をクリックした後、３Ｄエンジンは、第２の姿勢パラメータ及び仮想メガネ素材に基づいて第２の画像に対して仮想メガネレンダリング処理を行うことができる。この後、現在のユーザは、スマートミラー１００で自分がメガネをかけた後の３Ｄ立体表示効果を見ることができる。現在のユーザの頭部及び目が動いた後、仮想メガネも、頭部に合わせてリアルタイムで動くことができ、これにより、仮想メガネと目の部分との正確なマッチングが実現される。例えば、図２２に示すように、ユーザによってクリックされた仮想メガネ素材が太いフレームの黒メガネである場合、スマートミラー１００にユーザが当該太いフレームの黒メガネをかけている画像が表示される。ユーザの頭部が回転する時に、当該太いフレームの黒メガネは、同様にユーザの眼部と正確にマッチングすることができる。このようにすることで、ユーザは、仮想メガネレンダリング処理後の効果を参考にして自分に似合うメガネのタイプを選択してかけるようにすることができ、スマートミラー１００の使用機能及び実用性をさらに向上させるとともに、スマートミラー１００の使用の楽しさも向上させることができる。
一部の実施形態において、取得された仮想メガネレンダリング特徴点は、共通３Ｄ顔モデルライブラリにおけるある共通３Ｄ顔モデルとマッチングすることにより、３Ｄの立体姿勢パラメータを取得することもできる。共通３Ｄ顔モデルライブラリには、異なる形の共通３Ｄ顔が保存されている。このようにすることで、異なるユーザの頭部、顔、五官などの差異に基づいて異なる共通３Ｄ顔モデルを選定してマッチングさせ、３Ｄ立体姿勢パラメータの精度を向上させて仮想メガネレンダリングの効果を最適化し、仮想メガネとユーザの眼部とのマッチングをより正確にすることができる。
図２３を参照し、一部の実施形態において、インタラクションは、第２の画像に対して仮想ヘアスタイルレンダリング処理を含む。スマートミラー１００は、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想ヘアスタイル素材ライブラリを含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
第２の画像を処理して現在のユーザの仮想ヘアスタイルレンダリング顔領域を取得するステップＳ１８７１と、
仮想ヘアスタイルレンダリング顔領域を処理して仮想ヘアスタイルレンダリング顔領域の仮想ヘアスタイルレンダリング特徴点を取得するステップＳ１８７２と、
３Ｄ顔モデル及び仮想ヘアスタイルレンダリング特徴点に基づいて現在のユーザの第３の 姿勢パラメータを取得するステップＳ１８７３と、
現在のユーザの入力に基づいて仮想ヘアスタイル素材を決定するＳ１８７４ステップと、
第３の姿勢パラメータ及び仮想ヘアスタイル素材に基づいて第２の画像に対して仮想ヘアスタイルレンダリング処理を行うように３Ｄエンジンを制御するステップＳ１８７５と、を含む。
図５及び図１９を再度に参照し、一部の実施形態において、インタラクション装置１８は、取得ユニット１８３と、第２の確認ユニット１８１と、第４の処理ユニット１８２と、を含む。ステップＳ１８７１は、第１の処理ユニット１４１によって実現することができ、ステップＳ１８７２は、第２の処理ユニット１４２によって実現することができ、ステップＳ１８７３は、取得ユニット１８３によって実現することができ、ステップＳ１８７４は、第２の確認ユニット１８１によって実現することができ、ステップＳ１８７５は、第４の処理ユニット１８２によって実現することができる。
つまり、第１の処理ユニット１４１は、さらに、第２の画像を処理して現在のユーザの仮想ヘアスタイルレンダリング顔領域を取得する。第２の処理ユニット１４２は、さらに、仮想ヘアスタイルレンダリング顔領域を処理して仮想ヘアスタイルレンダリング顔領域の仮想ヘアスタイルレンダリング特徴点を取得する。取得ユニット１８４は、３Ｄ顔モデル及び仮想ヘアスタイルレンダリング特徴点に基づいて現在のユーザの第３の姿勢パラメータを取得する。第２の確認ユニット１８１は、現在のユーザの入力に基づいて仮想ヘアスタイル素材を決定する。第４の処理ユニット１８２は、第３の姿勢パラメータ及び仮想ヘアスタイル素材に基づいて第２の画像に対して仮想ヘアスタイルレンダリング処理を行うように３Ｄエンジンを制御する。
具体的に、第２の画像に対して仮想ヘアスタイルレンダリング処理を行うこととは、第２の画像におけるキャラクタに仮想ヘアスタイルをかけることであり、仮想ヘアスタイルは、キャラクタの頭の動きに合わせて動くことができる。仮想ヘアスタイル素材ライブラリは、複数の異なる造型及び色の仮想ヘアスタイル素材を含む。仮想ヘアスタイルレンダリング特徴点は、主に現在のユーザの頭部の部分を含む。仮想ヘアスタイルレンダリング姿勢パラメータは、頭部の動き状況を含む。共通３Ｄ顔モデルと仮想ヘアスタイルレンダリング特徴点とのマッチングは、カメラ２０によって撮影された２Ｄ平面画像を３Ｄの立体姿勢パラメータ、即ち、第３の姿勢パラメータに変換するために使用される。このようにすることで、現在のユーザが仮想ヘアスタイル素材をクリックした後、３Ｄエンジンは、第３の姿勢パラメータ及び仮想ヘアスタイル素材に基づいて第２の画像に対して仮想ヘアスタイルレンダリング処理を行うことができる。この後、現在のユーザは、スマートミラー１００で仮想ヘアスタイルをかけた３Ｄ立体表示効果を見ることができる。現在のユーザの頭部が動いた後、仮想ヘアスタイルも、頭部に合わせてリアルタイムで動くことができ、これにより、仮想ヘアスタイルと頭部との正確なマッチングが実現される。例えば、図２４に示すように、現在のユーザによって選択された仮想ヘアスタイル素材がショートヘアである場合、スマートミラー１００は、ユーザが当該ショートヘアをかけた後の画像を表示する。ユーザの頭部が回転する時に、当該ショートヘアは、同様にユーザの頭部と正確にマッチングすることができる。このようにすることで、ユーザは、仮想ヘアスタイルレンダリング処理後の効果を参考にして自分に似合うヘアスタイルを選択することができるとともに、スマートミラー１００の実用性及び使用の楽しさが向上する。
一部の実施形態において、取得された仮想ヘアスタイルレンダリング特徴点は、共通３Ｄ顔モデルライブラリにおけるある共通３Ｄ顔モデルとマッチングして３Ｄ立体姿勢パラメータを取得することもできる。共通３Ｄ顔モデルライブラリには、異なる形の共通３Ｄ顔が保存されている。このようにすることで、異なるユーザの頭部、顔、五官などの差異に基づいて異なる共通３Ｄ顔モデルを選定してマッチングさせ、３Ｄ立体姿勢パラメータの精度を向上させて、仮想ヘアスタイルレンダリングの効果をさらに最適化し、仮想ヘアスタイルとユーザ頭部とのマッチングをさらに正確にすることができる。
図２５を参照し、一部の実施形態において、インタラクションは、現在のユーザに日常生活ケア指導を提供することをさらに含む。現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８は、
ユーザの入力に基づいて現在のユーザに日常生活ケア指導を提供するステップＳ１８８を含む。
図２６を参照し、一部の実施形態において、インタラクション装置１８は、指導ユニット１８５をさらに含む。ステップＳ１８８は、指導ユニット１８５によって実現することができる。
つまり、指導ユニット１８５は、ユーザの入力に基づいて現在のユーザに日常生活ケア指導を提供する。
具体的に、日常生活ケア指導は、歯を適切に磨く方法、顔を適切に洗う方法、顔をマッサージする方法などをユーザに教えることを含む。例えば、図２７に示すように、ユーザが歯磨きの日常生活ケア指導コンテンツをクリックした場合、スマートミラー１００は、ビデオ又は画像の形式で歯磨きの日常生活ケア指導コンテンツを表示する。このようにすることで、スマートミラー１００の実用性が向上する。
なお、上記実施例において、萌え顔処理、仮想トライアルメイクアップ、２Ｄ仮面レンダリング処理、３Ｄアニメーションキャラクタレンダリング処理、仮想メガネレンダリング処理、及び仮想ヘアスタイルレンダリング処理において、第２の確認ユニット１８１は、同じものである。つまり、第２の確認ユニットは、ステップＳ１８１３、ステップＳ１８３３、ステップＳ１８４３、ステップＳ１８５４、ステップＳ１８６５、及び/又はステップＳ１８７４の内容を実行することができる。萌え顔処理、美顔処理、仮想トライアルメイクアップ、２Ｄ仮面レンダリング処理、３Ｄアニメーションキャラクタレンダリング処理、仮想メガネレンダリング処理、及び仮想ヘアスタイルレンダリング処理において、第４の処理ユニット１８２は、同じものである。つまり、第４の処理ユニット１８２は、ステップＳ１８１４、ステップＳ１８２３、ステップＳ１８３４、ステップＳ１８４４、ステップＳ１８５５、ステップＳ１８６５及び/又はステップＳ１８７５の内容を実行することができる。
また、本発明の実施形態に係る制御方法、コントローラ１０、及びスマートミラー１００は、萌え顔処理、仮想トライアルメイクアップ、２Ｄ仮面レンダリング処理、３Ｄアニメーションキャラクタレンダリング処理、仮想メガネレンダリング処理又は仮想ヘアスタイルレンダリング処理のうちの１つ又は複数を同時に又は順次実行することができる。例えば、コントローラ１０は、第２の画像に対して、萌え顔処理、美顔処理、３Ｄアニメーションキャラクタレンダリング処理を同時に実行することができる。コントローラ１０は、第２の画像に対して、美顔処理、仮想トライアルメイクアップ、仮想メガネレンダリング処理、仮想ヘアスタイルレンダリング処理の順に画像処理を行うこともできる。一部の実施形態において、各画像処理方式の処理順は、任意に変更することができる。
図２８を参照し、本発明の実施形態に係るスマートミラー１００は、１つ又は複数のプロセッサ３０、メモリ４０、及び１つ又は複数のプログラム４１を含む。１つ又は複数のプログラム４１は、メモリ４０に格納されており、１つ又は複数のプロセッサ３０によって実行されるように構成される。プログラム４１は、上記いずれかの実施形態における制御方法を実行するための命令を含む。
例えば、プログラム４１は、
現在のユーザを撮影するようにカメラ２０を制御するステップＳ１２と、
現在のユーザが登録ユーザであるか否かを判断するステップＳ１４と、
現在のユーザが登録ユーザである場合、スマートミラー１００にログインするように現在のユーザを制御するステップＳ１６と、
現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８と、を実行するための命令を含む。
本発明の実施形態に係るコンピュータ読み取り可能な記憶媒体は、画面を表示可能な電子装置と組み合わせて使用されるコンピュータプログラムを含む。コンピュータプログラムは、プロセッサによって実行されて上記いずれかの実施形態に記載の制御方法を完成することができる。
例えば、プロセッサは、
現在のユーザを撮影するようにカメラ２０を制御するステップＳ１２と、
現在のユーザが登録ユーザであるか否かを判断するステップＳ１４と、
現在のユーザが登録ユーザである場合、スマートミラー１００にログインするように現在のユーザを制御するステップＳ１６と、
現在のユーザの入力に基づいて、現在のユーザとインタラクションを行ってインタラクション情報を出力するようにスマートミラー１００を制御するステップＳ１８と、を実行可能である。
以上により、本発明の実施形態に係る制御方法、コントローラ１０、スマートミラー１００、及びコンピュータ読み取り可能な記憶媒体は、萌え顔処理、美顔処理、仮想トライアルメイクアップ、２Ｄ仮面レンダリング処理、３Ｄアニメーションキャラクタレンダリング処理、仮想メガネレンダリング処理、仮想ヘアスタイルレンダリング処理、日常生活ケア指導などを含む複数のインタラクション機能を登録ユーザに提供することができる。このようにすることで、スマートミラー１００の使用機能が増え、実用性がさらに向上し、スマートミラー１００使用の楽しさ及びユーザの使用体験も向上する。
本発明の説明において、「一実施例」、「一部の実施例」、「例示的な実施例」、「具体的な実施例」、又は「一部の実施例」などの用語を参照した説明とは、該実施例又は実施例に結合して説明された具体的な特徴、構成、材料又は特徴が、本発明の少なくとも一実施例又は実施例に含まれることを意味する。本明細書において、上記用語に対する例示的な記述は、必ずしも同一の実施例又は実施例を示すことではない。又、説明された具体的な特徴、構成、材料又は特徴は、いずれか１つ又は複数の実施例又は実施例において適切に組み合わせることができる。さらに、互いに矛盾しない場合、当業者であれば、本明細書に記述した異なる実施例又は例、及び異なる実施例又は例示的特徴に対して結合及び組み合わせを行うことができる。
また、「第１」、「第２」の用語は単に説明するためのものであり、比較的な重要性を指示又は暗示するか、又は示された技術的特徴の数を黙示的に指示すると理解してはいけない。従って、「第１」、「第２」が限定された特徴は、少なくとも１つの前記特徴を含むことを明示又は暗示する。本発明の説明において、別途明確且つ具体的な限定がない限り、「複数」とは、少なくとも２つ、例えば、２つ、３つなどを意味する。
フローチャートにおける、又はここで他の形態で記載された任意のプロセス又は方法は、カスタムロジック機能又はプロセスのステップを実現するための１つ又は複数の実行可能な命令コードを含むモジュール、セグメント又は一部を表すと理解されてもよい。また、本発明の好ましい実施形態の範囲は、ここで、示された又は論議された順番ではなく、係る機能に応じてほぼ同時の形態又は逆の順番で機能を実行することができる他の実現を含むことができる。これは、当業者であれば理解すべきものである。
フローチャートで示された又はここで他の形態で説明されたロジック及び/又はステップは、例えば、ロジック機能を実現するための実行可能な命令の順番付けられたリストと見なすことができ、任意のコンピュータ読み取り可能な記憶媒体に具体的に実装されて、命令実行システム、装置、又はデバイス（例えばコンピュータに基づいたシステム、プロセッサを含むシステム、又は他の命令実行システム、装置又はデバイスから命令を獲得して命令を実行するシステム）に利用されるか、又はこれらの命令実行システム、装置又はデバイスと組み合わせて利用される。本願明細書において、「コンピュータ読み取り可能な記憶媒体」は、命令実行システム、装置又はデバイスによって、又は、命令実行システム、装置又はデバイスと組み合わせて使用するためのプログラムを含む、格納する、通信する、伝播する、又は伝送することができる任意の装置であってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例（非限定的なリスト）として、１つ又は複数の配線を備える電気接続部（電子デバイス）、ポータブルコンピュータディスクカートリッジ（磁気デバイス）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバデバイス、及びポータブルコンパクトディスク読み出し専用リメモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な記憶媒体は、前記プログラムが印刷され得る紙又は他の適切な媒体であってもよく、これは、例えば、紙や他の媒体を光学的スキャンし、次に編集し、解釈し、又は必要な場合他の適切な形態で処理して前記プログラムを電子的に取得して、そしてコンピュータメモリに格納するからである。
なお、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって実現することができる。上記実施形態において、複数のステップ又は方法は、メモリに記憶された且つ適切な命令実行システムによって実行されるソフトウェア又はファームウェアによって実現することができる。例えば、ハードウェアで実現される場合、もう１つの実施形態と同様に、本分野において周知である、データ信号に対してロジック機能を実現するためのロジックゲート回路を備える離散ロジック回路、適切な組み合わせロジックゲート回路を備える特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの当分野の周知技術のうちのいずれか１つ又はこれらの組み合わせによって実現することができる。
普通の当業者であれば、上記の実施例に係る方法に含まれる全部又は一部のステップは、プログラムによってハードウェアを命令することで実行することができると理解することができる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に格納することができ、当該プログラムが実行される場合、方法実施例におけるステップの１つ又はそれらの組み合わせが実行される。
また、本発明の各実施例における各機能ユニットは、１つの処理モジュールに集積されてもよいし、それぞれが個別の物理的存在であってもよいし、２つ以上のユニットが１つのモジュールに集積されてもよい。前記集積モジュールは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能モジュールの形態で実現されてもよい。前記集積モジュールがソフト機能モジュールの形態で実現されるとともに、独立した製品として販売又は使用される場合、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
上記の記憶媒体は、読み出し専用メモリ、磁気ディスク、又はＣＤなどであってもよい。なお、以上、本発明の実施例を示して説明したが、上記実施例は例示するものであって、本発明を制限するためのものであると理解してはいけない。普通の当業者であれば、本発明の範囲内で上記実施例に対して変更、修正、取り替え、変形を行うことができる。

Claims (31)

  1. カメラを含むスマートミラーを制御するための制御方法であって、前記制御方法は、
    現在のユーザを撮影するように前記カメラを制御するステップと、
    前記現在のユーザが登録ユーザであるか否かを判断するステップと、
    前記現在のユーザが登録ユーザである場合、前記スマートミラーにログインするように 前記現在のユーザを制御するステップと、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御するステップと、を含む、
    ことを特徴とする制御方法。
  2. 前記スマートミラーは、全ての前記登録ユーザの登録顔領域の登録特徴情報を含むレジストリを含み、
    前記現在のユーザが登録ユーザであるか否かを判断するステップは、
    前記カメラによって撮影された前記現在のユーザの第１の画像を処理して前記現在のユーザの被検出顔領域を取得するステップと、
    前記被検出顔領域を処理して前記被検出顔領域の被検出特徴点を取得するステップと、
    前記被検出特徴点を処理して前記被検出顔領域の特徴情報を抽出するステップと、
    前記被検出特徴情報と前記登録特徴情報とを比較して比較結果を取得するステップと、
    前記比較結果が所定の閾値より大きい場合、前記現在のユーザが登録ユーザであると確認するステップと、を含む、
    ことを特徴とする請求項１に記載の制御方法。
  3. 前記制御方法は、
    前記現在のユーザの第２の画像を撮影するように前記カメラを制御するステップと、
    前記第２の画像を表示するように前記スマートミラーを制御するステップと、含む、
    ことを特徴とする請求項２に記載の制御方法。
  4. 前記インタラクションは、前記第２の画像に対する萌え顔処理を含み、前記スマートミラーは、萌え顔素材ライブラリを含み、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
    前記第２の画像を処理して前記現在のユーザの萌え顔の顔領域を取得するステップと、
    前記萌え顔の顔領域を処理して前記萌え顔の顔領域の萌え顔特徴点を取得するステップと、
    前記現在のユーザの入力に基づいて萌え顔素材を決定するステップと、
    前記萌え顔特徴点に基づいて前記萌え顔素材と前記第２の画像とのマッチング融合処理を行って萌え顔画像を取得するステップと、を含む、
    ことを特徴とする請求項３に記載の制御方法。
  5. 前記インタラクションは、前記第２の画像に対する美顔処理を含み、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
    前記第２の画像を処理して前記現在のユーザの美顔の顔領域を取得するステップと、
    前記美顔の顔領域を処理して前記美顔の顔領域の美顔特徴点を取得するステップと、
    前記現在のユーザの入力及び前記美顔特徴点に基づいて前記第２の画像に対して美顔処理を行って美顔画像を取得するステップと、を含む、
    ことを特徴とする請求項３に記載の制御方法。
  6. 前記美顔処理は、美白フィルタ、赤みフィルタ、顔痩せモジュール、及びビッグアイモジュールのうちの１つ又は複数を含む、
    ことを特徴とする請求項５に記載の制御方法。
  7. 前記インタラクションは、前記第２の画像に対する仮想トライアルメイクアップ処理を含み、前記スマートミラーは、メイクアップ素材ライブラリを含み、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
    前記第２の画像を処理して前記現在のユーザのトライアルメイクアップ顔領域を取得するステップと、
    前記トライアルメイクアップ顔領域を処理して前記トライアルメイクアップ顔領域のトライアルメイクアップ特徴点を取得するステップと、
    前記現在のユーザの入力に基づいてメイクアップ素材を決定するステップと、
    前記トライアルメイクアップ特徴点に基づいて前記メイクアップ素材と前記第２の画像とのマッチング融合処理を行って仮想トライアルメイクアップ画像を取得するステップと、を含む、
    ことを特徴とする請求項３に記載の制御方法。
  8. 前記メイクアップ素材は、アイシャドウ素材、アイライナー素材、ほお紅素材、口紅素材、及び眉毛素材のうちの１つ又は複数を含む、
    ことを特徴とする請求項７に記載の制御方法。
  9. 前記インタラクションは、前記第２の画像に対する２Ｄ仮面レンダリング処理を含み、 前記スマートミラーは、２Ｄ仮面素材ライブラリを含み、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
    前記第２の画像を処理して前記現在のユーザの２Ｄ仮面レンダリング顔領域を取得するステップと、
    前記２Ｄ仮面レンダリング顔領域を処理して前記２Ｄ仮面レンダリング顔領域の２Ｄ仮面レンダリング特徴点を取得するステップと、
    前記現在のユーザの入力に基づいて２Ｄ仮面素材を決定するステップと、
    前記２Ｄ仮面レンダリング特徴点に基づいて前記２Ｄ仮面素材と前記第２の画像とのマッチング融合処理を行って２Ｄ仮面レンダリング画像を取得するステップと、を含む、
    ことを特徴とする請求項３に記載の制御方法。
  10. 前記インタラクションは、前記第２の画像に対する３Ｄアニメーションキャラクタレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び３Ｄアニメーションキャラクタ素材ライブラリを含み、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
    前記第２の画像を処理して前記現在のユーザの３Ｄアニメーションキャラクタレンダリング顔領域を取得するステップと、
    前記３Ｄアニメーションキャラクタレンダリング顔領域を処理して前記３Ｄアニメーションキャラクタレンダリング顔領域の３Ｄアニメーションキャラクタレンダリング特徴点を取得するステップと、
    前記共通３Ｄ顔モデル及び前記３Ｄアニメーションキャラクタレンダリング特徴点に基づいて前記現在のユーザの第１の姿勢パラメータを取得するステップと
    前記現在のユーザの入力に基づいて３Ｄアニメーションキャラクタ素材を決定するステップと、
    前記第１の姿勢パラメータ及び前記３Ｄアニメーションキャラクタ素材に基づいて前記第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うように前記３Ｄエンジンを制御するステップと、を含む、
    ことを特徴とする請求項３に記載の制御方法。
  11. 前記インタラクションは、前記第２の画像に対する仮想メガネレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想メガネ素材ライブラリを含み、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
    前記第２の画像を処理して前記現在のユーザの仮想メガネレンダリング顔領域を取得するステップと、
    前記仮想メガネレンダリング顔領域を処理して前記仮想メガネレンダリング顔領域の仮想メガネレンダリング特徴点を取得するステップと、
    前記共通３Ｄ顔モデル及び前記仮想メガネレンダリング特徴点に基づいて前記現在のユーザの第２の姿勢パラメータを取得するステップと、
    前記現在のユーザの入力に基づいて仮想メガネ素材を決定するステップと、
    前記第２の姿勢パラメータ及び前記仮想メガネ素材に基づいて前記第２の画像に対して仮想メガネレンダリング処理を行うように前記３Ｄエンジンを制御するステップと、を含む、
    ことを特徴とする請求項３に記載の制御方法。
  12. 前記インタラクションは、前記第２の画像に対する仮想ヘアスタイルレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想ヘアスタイル素材ライブラリを含み、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
    前記第２の画像を処理して前記現在のユーザの仮想ヘアスタイルレンダリング顔領域を取得するステップと、
    前記仮想ヘアスタイルレンダリング顔領域を処理して前記仮想ヘアスタイルレンダリング顔領域の仮想ヘアスタイルレンダリング特徴点を取得するステップと、
    前記共通３Ｄ顔モデル及び前記仮想ヘアスタイルレンダリング特徴点に基づいて前記現在のユーザの第３の姿勢パラメータを取得するステップと、
    前記現在のユーザの入力に基づいて仮想ヘアスタイル素材を決定するステップと、
    前記第３の姿勢パラメータ及び前記仮想ヘアスタイル素材に基づいて前記第２の画像に対して仮想ヘアスタイルレンダリング処理を行うように前記３Ｄエンジンを制御するステップと、を含む、
    ことを特徴とする請求項３に記載の制御方法。
  13. 前記インタラクションは、前記現在のユーザに日常生活ケア指導を提供することをさらに含み、
    前記現在のユーザの入力に基づいて前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御する前記ステップは、
    前記ユーザの入力に基づいて前記現在のユーザに日常生活ケア指導を提供するステップを含む、
    ことを特徴とする請求項１に記載の制御方法。
  14. 前記制御方法は、
    前記登録ユーザを撮影するように前記カメラを制御するステップと、
    前記登録ユーザの入力に基づいて前記登録ユーザの個人記録ファイルを作成するステップと、をさらに含む、
    ことを特徴とする請求項１に記載の制御方法。
  15. カメラを含むスマートミラーを制御するためのコントローラであって、前記コントローラは、
    現在のユーザを撮影するように前記カメラを制御する制御装置と、
    前記現在のユーザが登録ユーザであるか否かを判断する判断装置と、
    前記現在のユーザが登録ユーザである場合、前記スマートミラーにログインするように 前記現在のユーザを制御するログイン装置と、
    前記現在のユーザの入力に基づいて、前記現在のユーザとインタラクションを行ってインタラクション情報を出力するように前記スマートミラーを制御するインタラクション装置と、を含む、
    ことを特徴とするコントローラ。
  16. 前記スマートミラーは、全ての前記登録ユーザの登録顔領域の登録特徴情報を含むレジストリを含み、前記判断装置は、
    前記カメラによって撮影された前記現在のユーザの第１の画像を処理して前記現在のユーザの被検出顔領域を取得する第１の処理ユニットと、
    前記被検出顔領域を処理して前記被検出顔領域の被検出特徴点を取得する第２の処理ユニットと、
    前記被検出特徴点を処理して前記被検出顔領域の特徴情報を抽出する第３の処理ユニットと、
    前記被検出特徴情報と前記登録特徴情報とを比較して比較結果を取得する比較ユニットと、
    前記比較結果が所定の閾値より大きい場合、前記現在のユーザが登録ユーザであると確認する第１の確認ユニットと、を含む、
    ことを特徴とする請求項１５に記載のコントローラ。
  17. 前記制御装置は、さらに、
    前記現在のユーザの第２の画像を撮影するように前記カメラを制御し、且つ
    前記第２の画像を表示するように前記スマートミラーを制御する、
    ことを特徴とする請求項１６に記載のコントローラ。
  18. 前記インタラクションは、前記第２の画像に対する萌え顔処理を含み、前記スマートミラーは、萌え顔素材ライブラリを含み、
    前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの萌え顔の顔領域を取得し、
    前記第２の処理ユニットは、さらに、前記萌え顔の顔領域を処理して前記萌え顔の顔領域の萌え顔特徴点を取得し、
    前記インタラクション装置は、
    前記現在のユーザの入力に基づいて萌え顔素材を決定する第２の確認ユニットと、
    前記萌え顔特徴点に基づいて前記萌え顔素材と前記第２の画像とのマッチング融合処理を行って萌え顔画像を取得する第４の処理ユニットと、を含む、
    ことを特徴とする請求項１７に記載のコントローラ。
  19. 前記インタラクションは、前記第２の画像に対する美顔処理を含み、
    前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの美顔の顔領域を取得し、
    前記第２の処理ユニットは、さらに、前記美顔の顔領域を処理して前記美顔の顔領域の美顔特徴点を取得し、
    前記インタラクション装置は、
    前記現在のユーザの入力及び前記美顔特徴点に基づいて前記第２の画像に対して美顔処理を行って美顔画像を取得する第４の処理ユニットを含む、
    ことを特徴とする請求項１７に記載のコントローラ。
  20. 前記美顔処理は、美白フィルタ、赤みフィルタ、顔痩せモジュール、及びビッグアイモジュールのうちの１つ又は複数を含む、
    ことを特徴とする請求項１９に記載のコントローラ。
  21. 前記インタラクションは、前記第２の画像に対する仮想トライアルメイクアップ処理を含み、前記スマートミラーは、メイクアップ素材ライブラリを含み、
    前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザのトライアルメイクアップ顔領域を取得し、
    前記第２の処理ユニットは、さらに、前記トライアルメイクアップ顔領域を処理して前記トライアルメイクアップ顔領域のトライアルメイクアップ特徴点を取得し、
    前記インタラクション装置は、
    前記現在のユーザの入力に基づいてメイクアップ素材を決定する第２の確認ユニットと、
    前記トライアルメイクアップ特徴点に基づいて前記メイクアップ素材と前記第２の画像とのマッチング融合処理を行って仮想トライアルメイクアップ画像を取得する第４の処理ユニットと、を含む、
    ことを特徴とする請求項１７に記載のコントローラ。
  22. 前記メイクアップ素材は、アイシャドウ素材、アイライナー素材、ほお紅素材、口紅素材、及び眉毛素材のうちの１つ又は複数を含む、
    ことを特徴とする請求項２１に記載のコントローラ。
  23. 前記インタラクションは、前記第２の画像に対する２Ｄ仮面レンダリング処理を含み、前記スマートミラーは、２Ｄ仮面素材ライブラリを含み、
    前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの２Ｄ仮面レンダリング顔領域を取得し、
    前記第２の処理ユニットは、さらに、前記２Ｄ仮面レンダリング顔領域を処理して前記２Ｄ仮面レンダリング顔領域の２Ｄ仮面レンダリング特徴点を取得し、
    前記インタラクション装置は、
    前記現在のユーザの入力に基づいて２Ｄ仮面素材を決定する第２の確認ユニットと、
    前記２Ｄ仮面レンダリング特徴点に基づいて前記２Ｄ仮面素材と前記第２の画像とのマッチング融合処理を行って２Ｄ仮面レンダリング画像を取得する第４の処理ユニットと、を含む、
    ことを特徴とする請求項１７に記載のコントローラ。
  24. 前記インタラクションは、前記第２の画像に対する３Ｄアニメーションキャラクタレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び３Ｄアニメーションキャラクタ素材ライブラリを含み、
    前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの３Ｄアニメーションキャラクタレンダリング顔領域を取得し、
    前記第２の処理ユニットは、さらに、前記３Ｄアニメーションキャラクタレンダリング顔領域を処理して前記３Ｄアニメーションキャラクタレンダリング顔領域の３Ｄアニメーションキャラクタレンダリング特徴点を取得し、
    前記インタラクション装置は、
    前記共通３Ｄ顔モデル及び前記３Ｄアニメーションキャラクタレンダリング特徴点に基づいて前記現在のユーザの第１の姿勢パラメータを取得する取得ユニットと、
    前記現在のユーザの入力に基づいて３Ｄアニメーションキャラクタ素材を決定する第２の確認ユニットと、
    前記第１の姿勢パラメータ及び前記３Ｄアニメーションキャラクタ素材に基づいて前記第２の画像に対して３Ｄアニメーションキャラクタレンダリング処理を行うように前記３Ｄエンジンを制御する第４の処理ユニットと、を含む、
    ことを特徴とする請求項１７に記載のコントローラ。
  25. 前記インタラクションは、前記第２の画像に対する仮想メガネレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想メガネ素材ライブラリを含み、
    前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの仮想メガネレンダリング第２顔領域を取得し、
    前記第２の処理ユニットは、さらに、前記仮想メガネレンダリング顔領域を処理して前記仮想メガネレンダリング顔領域の仮想メガネレンダリング特徴点を取得し、
    前記インタラクション装置は、
    前記共通３Ｄ顔モデル及び前記仮想メガネレンダリング特徴点に基づいて前記現在のユーザの第２の姿勢パラメータを取得する取得ユニットと、
    前記現在のユーザの入力に基づいて仮想メガネ素材を決定する第２の確認ユニットと、
    前記第２の姿勢パラメータ及び前記仮想メガネ素材に基づいて前記第２の画像に対して仮想メガネレンダリング処理を行うように前記３Ｄエンジンを制御する第４の処理ユニットと、を含む、
    ことを特徴とする請求項１７に記載のコントローラ。
  26. 前記インタラクションは、前記第２の画像に対する仮想ヘアスタイルレンダリング処理を含み、前記スマートミラーは、３Ｄエンジン、共通３Ｄ顔モデル、及び仮想ヘアスタイル素材ライブラリを含み、
    前記第１の処理ユニットは、さらに、前記第２の画像を処理して前記現在のユーザの仮想ヘアスタイルレンダリング顔領域を取得し、
    前記第２の処理ユニットは、さらに、前記仮想ヘアスタイルレンダリング顔領域を処理して前記仮想ヘアスタイルレンダリング顔領域の仮想ヘアスタイルレンダリング特徴点を取得し、
    前記インタラクション装置は、
    前記共通３Ｄ顔モデル及び前記仮想ヘアスタイルレンダリング特徴点に基づいて前記現在のユーザの第３の姿勢パラメータを取得する取得ユニットと、
    前記現在のユーザの入力に基づいて仮想ヘアスタイル素材を決定する第２の確認ユニットと、
    前記第３の姿勢パラメータ及び前記仮想ヘアスタイル素材に基づいて前記第２の画像に対して仮想ヘアスタイルレンダリング処理を行うように前記３Ｄエンジンを制御する第４の処理ユニットと、を含む、
    ことを特徴とする請求項１７に記載のコントローラ。
  27. 前記インタラクションは、前記現在のユーザに日常生活ケア指導を提供することをさらに含み、前記インタラクション装置は、
    前記ユーザの入力に基づいて前記現在のユーザに日常生活ケア指導を提供する指導ユニットを含む、
    ことを特徴とする請求項１５に記載のコントローラ。
  28. 前記制御装置は、さらに、
    前記登録ユーザを撮影するように前記カメラを制御し、
    前記コントローラは、前記登録ユーザの入力に基づいて前記登録ユーザの個人記録ファイルを作成する作成装置をさらに含む、
    ことを特徴とする請求項１５に記載のコントローラ。
  29. カメラと、
    請求項１５〜２８のいずれかに記載のコントローラと、を含み、
    前記コントローラは、前記カメラに電気的に接続されている、
    ことを特徴とするスマートミラー。
  30. １つ又は複数のプロセッサと、
    メモリと、
    １つ又は複数のプログラムと、を含むスマートミラーであって、
    前記１つ又は複数のプログラムは、前記メモリに格納され、前記１つまたは複数のプロセッサによって実行されるように構成され、前記プログラムは、請求項１〜１４のいずれかに記載の制御方法を実行するための命令を含む、
    ことを特徴とするスマートミラー。
  31. 画面を表示可能な電子デバイスと組み合わせて使用されるコンピュータプログラムを含むコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されて請求項１〜１４のいずれかに記載の制御方法を実行可能である、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2018566586A 2017-06-12 2017-06-12 制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体 Pending JP2019537758A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/087979 WO2018227349A1 (zh) 2017-06-12 2017-06-12 控制方法、控制器、智能镜子和计算机可读存储介质

Publications (1)

Publication Number Publication Date
JP2019537758A true JP2019537758A (ja) 2019-12-26

Family

ID=61606897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018566586A Pending JP2019537758A (ja) 2017-06-12 2017-06-12 制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体

Country Status (6)

Country Link
US (1) US20190130652A1 (ja)
EP (1) EP3462284A4 (ja)
JP (1) JP2019537758A (ja)
KR (1) KR20190022856A (ja)
CN (1) CN107820591A (ja)
WO (1) WO2018227349A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7560208B2 (ja) 2020-09-17 2024-10-02 北京字節跳動網絡技術有限公司 顔画像表示方法、装置、電子機器及び記憶媒体

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
KR101972331B1 (ko) * 2017-08-29 2019-04-25 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
CN108937407A (zh) * 2018-05-25 2018-12-07 深圳市赛亿科技开发有限公司 一种智能镜子化妆指导方法及系统
CN109034063A (zh) * 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
CN109597480A (zh) * 2018-11-06 2019-04-09 北京奇虎科技有限公司 人机交互方法、装置、电子设备及计算机可读存储介质
CN109671142B (zh) * 2018-11-23 2023-08-04 南京图玩智能科技有限公司 一种智能美妆方法及智能美妆镜
CN109543646A (zh) * 2018-11-30 2019-03-29 深圳市脸萌科技有限公司 人脸图像处理方法、装置、电子设备及计算机存储介质
CN109875227B (zh) * 2019-01-22 2024-06-04 杭州小肤科技有限公司 多功能安全智能梳妆镜
US20200342987A1 (en) * 2019-04-26 2020-10-29 doc.ai, Inc. System and Method for Information Exchange With a Mirror
CN110941333A (zh) * 2019-11-12 2020-03-31 北京字节跳动网络技术有限公司 基于眼部动作的交互方法、装置、介质和电子设备
CN111882673A (zh) * 2020-07-29 2020-11-03 北京小米移动软件有限公司 一种显示控制方法、装置、包含显示屏的镜子及存储介质
CN111768479B (zh) * 2020-07-29 2021-05-28 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备以及存储介质
CN114187649A (zh) * 2020-08-24 2022-03-15 华为技术有限公司 护肤辅助方法、设备及存储介质
KR20220028529A (ko) * 2020-08-28 2022-03-08 엘지전자 주식회사 스마트 미러 장치 및 방법과, 이의 시스템
JP7414707B2 (ja) * 2020-12-18 2024-01-16 トヨタ自動車株式会社 画像表示システム
US11430281B1 (en) * 2021-04-05 2022-08-30 International Business Machines Corporation Detecting contamination propagation
CN113240799B (zh) * 2021-05-31 2022-12-23 上海速诚义齿有限公司 一种基于医疗大数据的牙齿三维模型构建系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234571A (ja) * 2003-01-31 2004-08-19 Sony Corp 画像処理装置、画像処理方法及び撮影装置
JP2007122454A (ja) * 2005-10-28 2007-05-17 Konica Minolta Holdings Inc 認証システム、登録システム及びプログラム
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2013535051A (ja) * 2010-06-09 2013-09-09 マイクロソフト コーポレーション 顔の表情のリアルタイムアニメーション
JP2015111372A (ja) * 2013-12-06 2015-06-18 株式会社日立システムズ ヘアスタイル決定支援システムとヘアスタイル決定支援装置
JP2015204033A (ja) * 2014-04-15 2015-11-16 株式会社東芝 健康情報サービスシステム
JP2016028463A (ja) * 2014-07-10 2016-02-25 フリュー株式会社 写真シール作成装置および表示方法
JP2016532197A (ja) * 2013-08-04 2016-10-13 アイズマッチ エルティーディー．ＥｙｅｓＭａｔｃｈ Ｌｔｄ． 鏡における仮想化の装置、システム、及び方法
JP2016537716A (ja) * 2013-08-22 2016-12-01 ビスポーク， インコーポレイテッド カスタム製品を創作するための方法及びシステム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016824B2 (en) * 2001-02-06 2006-03-21 Geometrix, Inc. Interactive try-on platform for eyeglasses
US9058765B1 (en) * 2008-03-17 2015-06-16 Taaz, Inc. System and method for creating and sharing personalized virtual makeovers
US10872535B2 (en) * 2009-07-24 2020-12-22 Tutor Group Limited Facilitating facial recognition, augmented reality, and virtual reality in online teaching groups
WO2012139276A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Avatar facial expression techniques
US20130145272A1 (en) * 2011-11-18 2013-06-06 The New York Times Company System and method for providing an interactive data-bearing mirror interface
EP2936439B1 (en) * 2012-12-18 2019-02-20 Eyesmatch Ltd Method of capturing and displaying appearances
CN104598445B (zh) * 2013-11-01 2019-05-10 腾讯科技（深圳）有限公司 自动问答系统和方法
CN105744854B (zh) * 2013-11-06 2020-07-03 皇家飞利浦有限公司 用于在剃刮过程中引导用户的系统和方法
US9240077B1 (en) * 2014-03-19 2016-01-19 A9.Com, Inc. Real-time visual effects for a live camera view
US9760935B2 (en) * 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
US9881303B2 (en) * 2014-06-05 2018-01-30 Paypal, Inc. Systems and methods for implementing automatic payer authentication
WO2016045010A1 (en) * 2014-09-24 2016-03-31 Intel Corporation Facial gesture driven animation communication system
CN105512599A (zh) * 2014-09-26 2016-04-20 数伦计算机技术（上海）有限公司 人脸识别方法及人脸识别系统
CN104223858B (zh) * 2014-09-28 2016-04-13 广州视睿电子科技有限公司 一种自识别智能镜子
CN104834849B (zh) * 2015-04-14 2018-09-18 北京远鉴科技有限公司 基于声纹识别和人脸识别的双因素身份认证方法及系统
KR101613038B1 (ko) * 2015-06-01 2016-04-15 김형민 맞춤형 광고를 표출하는 스마트 미러 시스템
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
CN106412458A (zh) * 2015-07-31 2017-02-15 中兴通讯股份有限公司 一种图像处理方法和装置
CN105095917B (zh) * 2015-08-31 2019-08-06 小米科技有限责任公司 图像处理方法、装置及终端
CN105426730A (zh) * 2015-12-28 2016-03-23 小米科技有限责任公司 登录验证处理方法、装置及终端设备
US11741639B2 (en) * 2016-03-02 2023-08-29 Holition Limited Locating and augmenting object features in images
CN105956576A (zh) * 2016-05-18 2016-09-21 广东欧珀移动通信有限公司 一种图像美颜方法、装置及移动终端
CN106161962B (zh) * 2016-08-29 2018-06-29 广东欧珀移动通信有限公司 一种图像处理方法及终端
US20180137663A1 (en) * 2016-11-11 2018-05-17 Joshua Rodriguez System and method of augmenting images of a user
CN106682578B (zh) * 2016-11-21 2020-05-05 北京交通大学 基于眨眼检测的弱光人脸识别方法
CN106773852A (zh) * 2016-12-19 2017-05-31 北京小米移动软件有限公司 智能镜子及其工作控制方法、装置
CN107340856A (zh) * 2017-06-12 2017-11-10 美的集团股份有限公司 控制方法、控制器、智能镜子和计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234571A (ja) * 2003-01-31 2004-08-19 Sony Corp 画像処理装置、画像処理方法及び撮影装置
JP2007122454A (ja) * 2005-10-28 2007-05-17 Konica Minolta Holdings Inc 認証システム、登録システム及びプログラム
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2013535051A (ja) * 2010-06-09 2013-09-09 マイクロソフト コーポレーション 顔の表情のリアルタイムアニメーション
JP2016532197A (ja) * 2013-08-04 2016-10-13 アイズマッチ エルティーディー．ＥｙｅｓＭａｔｃｈ Ｌｔｄ． 鏡における仮想化の装置、システム、及び方法
JP2016537716A (ja) * 2013-08-22 2016-12-01 ビスポーク， インコーポレイテッド カスタム製品を創作するための方法及びシステム
JP2015111372A (ja) * 2013-12-06 2015-06-18 株式会社日立システムズ ヘアスタイル決定支援システムとヘアスタイル決定支援装置
JP2015204033A (ja) * 2014-04-15 2015-11-16 株式会社東芝 健康情報サービスシステム
JP2016028463A (ja) * 2014-07-10 2016-02-25 フリュー株式会社 写真シール作成装置および表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7560208B2 (ja) 2020-09-17 2024-10-02 北京字節跳動網絡技術有限公司 顔画像表示方法、装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
EP3462284A4 (en) 2019-07-17
KR20190022856A (ko) 2019-03-06
US20190130652A1 (en) 2019-05-02
EP3462284A1 (en) 2019-04-03
CN107820591A (zh) 2018-03-20
WO2018227349A1 (zh) 2018-12-20

Similar Documents

Publication Publication Date Title
JP2019537758A (ja) 制御方法、コントローラ、スマートミラー及びコンピュータ読み取り可能な記憶媒体
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US20230244306A1 (en) Technique for controlling virtual image generation system using emotional states of user
US9734628B2 (en) Techniques for processing reconstructed three-dimensional image data
CN107154069B (zh) 一种基于虚拟角色的数据处理方法及系统
US20160134840A1 (en) Avatar-Mediated Telepresence Systems with Enhanced Filtering
JP5785254B2 (ja) 顔の表情のリアルタイムアニメーション
CN106648071A (zh) 虚拟现实社交实现系统
CN111968248B (zh) 基于虚拟形象的智能化妆方法、装置、电子设备及存储介质
US9202312B1 (en) Hair simulation method
KR20210118149A (ko) 메이크업 처리 방법, 장치, 전자 디바이스 및 기록 매체
CN107679519A (zh) 一种基于虚拟人的多模态交互处理方法及系统
CN108932654A (zh) 一种虚拟试妆指导方法及装置
CN116744820A (zh) 数字彩妆师
KR20220139781A (ko) 영상 생성 방법 및 장치
Danieau et al. Automatic generation and stylization of 3d facial rigs
KR20230118191A (ko) 디지털 메이크업 아티스트
Pauly Realtime performance-based facial avatars for immersive gameplay
CN115999156B (zh) 角色控制方法、装置、设备及存储介质
CN117726725A (zh) 一种3d宠物角色生成控制方法及相关设备
Pejsa Effective directed gaze for character animation
CN118536616A (zh) 具有用于合成图像生成的图像编码器的机器学习扩散模型
CN117994395A (zh) 数字人面部资产生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210126