JP2017118282A - 画像処理システム、画像処理方法、および画像処理プログラム - Google Patents

画像処理システム、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP2017118282A
JP2017118282A JP2015250757A JP2015250757A JP2017118282A JP 2017118282 A JP2017118282 A JP 2017118282A JP 2015250757 A JP2015250757 A JP 2015250757A JP 2015250757 A JP2015250757 A JP 2015250757A JP 2017118282 A JP2017118282 A JP 2017118282A
Authority
JP
Japan
Prior art keywords
image
subject
image processing
processing system
makeup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015250757A
Other languages
English (en)
Other versions
JP6200483B2 (ja
Inventor
俊二 菅谷
Shunji Sugaya
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2015250757A priority Critical patent/JP6200483B2/ja
Priority to US15/065,988 priority patent/US9674485B1/en
Publication of JP2017118282A publication Critical patent/JP2017118282A/ja
Application granted granted Critical
Publication of JP6200483B2 publication Critical patent/JP6200483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0076Body hygiene; Dressing; Knot tying
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/101Collaborative creation, e.g. joint development of products or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 ガイド表示手段により、安価で高性能に被写体の構成パーツを類推することが可能な、画像処理システムを提供する。【解決手段】 ユーザ端末100に、被写体を撮像する撮像モジュール111と、被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示モジュール132と、前記構成パーツを類推する類推モジュール141と、を備える。また、ユーザ端末100とアドバイザ端末200との画面共有により、ユーザにリアルタイムで化粧アドバイザからのアドバイスを行う。【選択図】図1

Description

本発明は、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムに関する。
従来、ユーザの化粧を支援する様々な技術が提案されている。例えば、特許文献1には、ユーザの撮像画像の表示内容を確認しながら、化粧を施したり、身だしなみを整えたりする場合の表示方法に関する技術が記載されている。また、特許文献2には、三次元計測手段を使用して取得した三次元情報を用いて、ユーザの化粧を支援する技術が記載されている。
特開2013−223001号公報 特開2015−197710号公報
しかしながら、特許文献1の手法では、特定部位を認識する認識手段の性能により、撮影画像と比較対象画像をうまく重ね合わせが行えない恐れがある。
また、特許文献2の手法では、三次元情報の使用により、特許文献1に比較して、顔の状態の認識がしやすくなると考えられるが、投光部により計測用パターンを投射する必要があるため、装置が高価になるという問題がある。
さらに、特許文献1、特許文献2とも、ユーザが施した化粧は自分自身で画像を確認するのみであるが、普段とは異なったメイクがしたい場合や新しいメイクアップ手法を習得したい場合等には、細かな手順や手持ちの化粧品での対応方法を、専門家から指導して欲しいという要望があると考えられる。
そこで、本発明では、上記の課題に鑑みて、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第1の特徴に係る発明は、
被写体を撮像する撮像手段と、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、
撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、
を備えることを特徴とする画像処理システムを提供する。
第1の特徴に係る発明によれば、画像処理システムにおいて、被写体を撮像する撮像手段と、前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、を備える。
第1の特徴に係る発明は、画像処理システムのカテゴリであるが、画像処理方法、および画像処理プログラムであっても同様の作用、効果を奏する。
第2の特徴に係る発明は、第1の特徴に係る発明である画像処理システムにおいて、
前記ガイド表示手段は、
前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示すことを特徴とする画像処理システムを提供する。
第2の特徴に係る発明によれば、第1の特徴に係る発明である画像処理システムは、前記ガイド表示手段は、前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示す。
第3の特徴に係る発明は、第1または第2の特徴に係る発明である画像処理システムにおいて、
前記類推手段は、
前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与することを特徴とする画像処理システムを提供する。
第3の特徴に係る発明によれば、第1または第2の特徴に係る発明である画像処理システムは、前記類推手段は、前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与する。
第4の特徴に係る発明は、第1から第3のいずれかの特徴に係る発明である画像処理システムにおいて、前記類推手段により、前記構成パーツが1つ以上類推された場合に、被写体の撮像が成功したことを表示することを特徴とする画像処理システムを提供する。
第4の特徴に係る発明によれば、第1から第3のいずれかの特徴に係る発明である画像処理システムは、前記類推手段により、前記構成パーツが1つ以上類推された場合に、被写体の撮像が成功したことを表示する。
第5の特徴に係る発明は、第1から第4のいずれかの特徴に係る発明である画像処理システムにおいて、
前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、
を備えることを特徴とする画像処理システムを提供する。
第5の特徴に係る発明によれば、第1から第4のいずれかの特徴に係る発明である画像処理システムは、前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、を備える。
第6の特徴に係る発明は、第5の特徴に係る発明である画像処理システムにおいて、
前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、
を備えることを特徴とする画像処理システムを提供する。
第6の特徴に係る発明によれば、第5の特徴に係る発明である画像処理システムは、前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、を備える。
第7の特徴に係る発明は、第6の特徴に係る発明である画像処理システムにおいて、
前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、
を備えることを特徴とする画像処理システムを提供する。
第7の特徴に係る発明によれば、第6の特徴に係る発明である画像処理システムは、前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、を備える。
第8の特徴に係る発明は、第7の特徴に係る発明である画像処理システムにおいて、
前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施することを特徴とする画像処理システムを提供する。
第8の特徴に係る発明によれば、第7の特徴に係る発明である画像処理システムは、前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施する。
第9の特徴に係る発明は、画像処理方法であって、
被写体を撮像する撮像ステップと、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップと、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップと、
を備えることを特徴とする画像処理方法を提供する。
第10の特徴に係る発明は、画像処理プログラムであって、
ユーザ端末に、
被写体を撮像する撮像ステップ、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップ、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップ、
を実行させることを特徴とする画像処理プログラムを提供する。
本発明によれば、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムを提供することが可能となる。
図1は、本発明の好適な実施形態の概要図である。 図2は、ユーザ端末100の機能ブロックと各機能の関係を示す図である。 図3は、ユーザ端末100の構成パーツ類推処理のフローチャート図である。 図4は、ユーザ端末100の構成パーツ類推結果表示処理のフローチャート図である。 図5は、アドバイス機能を備えたユーザ端末100の機能ブロックと各機能の関係を示す図である。 図6は、ユーザ端末100によるアドバイス処理のフローチャート図である。 図7は、化粧アドバイザによるアドバイス機能を備えたユーザ端末100とアドバイザ端末200の機能ブロックと各機能の関係を示す図である。 図8は、ユーザ端末100とアドバイザ端末200とサーバ300の模式図と、サーバ300の機能ブロックと各機能の関係を示す図である。 図9は、化粧アドバイザによるアドバイス処理を行う場合のフローチャート図である。 図10は、画面共有によりリアルタイムにアドバイスを行う場合のフローチャートである。 図11は、メール等でアドバイスを行う場合のフローチャートである。 図12は、ユーザ端末100のガイド表示機能の一例である。 図13は、ユーザ端末100でガイド表示機能によって撮像を行った場合の表示の一例である。 図14は、ユーザ端末100での化粧参照画像表示の一例である。 図15は、ユーザ端末100での撮像画像に選択した化粧参照画像の化粧を適用した場合の表示の一例である。 図16は、ユーザ端末100でのアドバイス表示の一例である。 図17は、ユーザ端末100に表示するアドバイザ情報の一例である。 図18は、ユーザ端末100とアドバイザ端末200の間での、画面共有による表示の一例である。 図19は、ユーザ端末100とアドバイザ端末200の間で、メール等でアドバイスを行う場合の概要図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[画像処理システムのシステム概要]
本発明の概要について図1に基づいて、説明する。ユーザ端末100は、図2に示すように、カメラ部110、入力部120、出力部130、記憶部140、制御部150から構成される。カメラ部110には撮像モジュール111を備える。出力部130は制御部150と協働してガイド表示モジュール131を実現する。また、記憶部140は制御部150と協働して類推モジュール141を実現する。
図3は、ユーザ端末100の構成パーツ類推処理のフローチャート図である。図1では、このフローチャートに基づく処理を行っているため、併せて説明する。
構成パーツ類推処理を行う場合、はじめに、ユーザ端末100は、ガイド表示モジュール131により、ユーザが撮影を行う際の手助けとなる、ガイド表示を行う(ステップS101)。
図12は、ユーザ端末100のガイド表示機能の一例である。メッセージ1202によって、画面上に表示されたガイド線にあわせて、被写体の顔画像の撮像を行うことを示している。図12のガイド表示の例は、右目1203、左目1204、鼻1205、口1206、顔の輪郭1207、顔の中心を通る垂直の線1208、目の中心を通る水平の線1209である。これらのガイドは、ユーザによる顔の撮影を適切な大きさ、適切な向き、適切な位置で行うのに役立つとともに、後段の構成パーツ類推処理の際に、ガイド線の近傍を探索することで、短時間で高確率に構成パーツを検出するのに効果的である。ここでは、ガイド線は簡易的に直線と楕円で表示しているが、自由曲線や自在曲線により表示してもよい。また、目と眉を別々に表示してもよい。ガイド線の表示には、大量の顔画像データから抽出し平均した、各構成パーツの輪郭を使用してもよい。また、図12は顔正面方向から撮像する場合のガイドであるが、顔横方向から撮像するためのガイドや斜め方向から撮像するためのガイドも用意してもよい。
次に、撮像モジュール111により、被写体の画像を撮像する(ステップS102)。ここでは、例えば図12のカメラマーク1201を選択することで撮像を開始するものとする。撮影は、スマートフォンやタブレットのインカメラを使用して自分で行ってもよいし、背面側のカメラ(アウトカメラ)を使用して他の人に撮影してもらったり、鏡に映った自分を撮影したりしてもよい。図1に示すように、撮像画像にガイドを重ねて表示することで、適切な大きさや向きや位置で撮影が行える。
最後に、類推モジュール141により、撮像した被写体の画像から構成パーツ類推を行う(ステップS103)。撮像は、静止画で行っても動画で行ってもよく、動画で行う場合には、一定時間毎に、動画から静止画を切り出して、その静止画に対して構成パーツを類推すればよい。ここで、構成パーツとは、右目、左目、鼻、口、顔全体等の顔を構成するパーツのことである。構成パーツは、目と眉を別々にするなどシステム毎に適切な種類と数を定めてよいものとする。
構成パーツ類推処理は、パターンマッチング等の一般的な画像認識処理で行ってよい。ガイド表示による撮像を行っているので、構成パーツ類推処理はガイド線の近傍を探索することで効率的に行うことができる。また、画像認識で類推された鼻や口等の構成パーツの名称を、テキスト情報として画像データと紐づけて記憶する。
[各機能の説明]
図2は、ユーザ端末100の機能ブロックと各機能の関係を示す図である。ユーザ端末100は、カメラ部110、入力部120、出力部130、記憶部140、制御部150から構成される。カメラ部110には撮像モジュール111を備える。出力部130は制御部150と協働してガイド表示モジュール131を実現する。また、記憶部140は制御部150と協働して類推モジュール141を実現する。
ユーザ端末100は、ユーザがカメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットPC、ノートPC、ウェアラブルデバイス、またはディスプレイを備えたPC等の一般的な情報家電やその他の電化製品であって良い。ユーザ端末100として図示しているスマートフォンはその一例にすぎない。
ユーザ端末100は、カメラ部110にカメラを備え、撮像モジュール111を実現する。撮像モジュール111により、撮影した画像をデジタルデータに変換して、記憶部140に保存する。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部150の働きにより、動画像の一部を切り出して、静止画像として記憶部140に保存することも可能であるとする。また、撮影して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
入力部120は、前述したガイド表示や撮像を指定するために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。
出力部130は、制御部150と協働してガイド表示モジュール131を実現する。また、ガイド表示や撮像画像の表示を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、PCのディスプレイ、プロジェクターへの投影等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
記憶部140として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画、類推処理に必要なデータ、類推した構成パーツの画像データとテキスト情報等を記憶する。記憶部140は制御部150と協働し、類推モジュール141を実現する。
また、制御部150として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。
[類推結果表示処理]
図4は、ユーザ端末100の構成パーツ類推結果表示処理のフローチャート図である。上述した、構成パーツ類推処理に加えて、構成パーツ類推結果の表示を行う。図3のフローチャートとの差分を中心に説明する。
図4のガイド表示(ステップS201)、撮像(ステップS202)、構成パーツ類推(ステップS203)は、それぞれ、図3のガイド表示(ステップS101)、撮像(ステップS102)、構成パーツ類推(ステップS103)と同様の処理である。
ステップS203の構成パーツ類推により、一つ以上の構成パーツが検出された場合には、ガイド通りに撮影が行われたことと認識して、ユーザ端末100の出力部130に、構成パーツの類推結果を表示する(ステップS204)。
図13は、ユーザ端末100でガイド表示機能によって撮像を行った場合の表示の一例である。構成パーツ類推(ステップS203)により、右目、左目、鼻、口、顔全体のいずれかまたはすべての構成パーツが見つかった場合、ガイド通りに撮影が行われたことと認識して、メッセージ1301により、撮影が成功したことを表示する。また、その撮影画像に対して、後段の処理を行ってよいため、決定ボタン1302とキャンセルボタン1303を設けてもよい。決定ボタン1302選択時には、そのときの表示画像に対して、その後の化粧参照画像適用処理等を実施し、キャンセルボタン1303選択時には、再度撮像を行うものとする。
[アドバイス処理]
図5は、アドバイス機能を備えたユーザ端末100の機能ブロックと各機能の関係を示す図である。図2の機能に加えて、出力部130と制御部150が協働して、化粧参照画像表示モジュール132、化粧参照画像適用モジュール133、アドバイスモジュール134を実現する。
図6は、端末100によるアドバイス処理のフローチャート図である。図6のガイド表示(ステップS301)、撮像(ステップS302)、構成パーツ類推(ステップS303)、類推結果表示(ステップS304)は、それぞれ、図4のガイド表示(ステップS201)、撮像(ステップS202)、構成パーツ類推(ステップS203)、類推結果表示(ステップS204)と同様の処理である。
アドバイス処理を行う場合には、ステップS304の類推結果表示後に、化粧参照画像表示モジュール132により、化粧参照画像表示を行う(ステップS305)。
図14は、ユーザ端末100での化粧参照画像表示の一例である。類推した構成パーツ毎に、化粧参照画像の一覧を表示する。図14では、メッセージ1401により、認識結果により類推された構成パーツ毎に参照可能なサンプル化粧画像を表示している。ここでは、顔全体、口、右目、左目、鼻、頬を認識できたものとして表示しており、それぞれの参照可能なサンプル化粧画像の件数を表示するとともに、代表的なサンプル化粧画像をサムネイル化して表示している。図14では、化粧方法が詳しく知りたい構成パーツを選択する。
図14で左目を選択した場合、図15の表示に進む。図15は、ユーザ端末100での撮像画像に選択した化粧参照画像の化粧を適用した場合の表示の一例である。図15のエリア1501には、図14で選択した左目の化粧参照画像の一覧を表示する。この時、化粧参照画像にも、構成パーツのテキスト情報を付加しておくことで、処理を高速に行うことができる。エリア1501には、5件のみ表示しているが、左右に動かすことで全化粧参照画像を表示可能であるものとする。図15では、エリア1501に左目の化粧参照画像のみを表示したが、システムに応じて、ここに全構成パーツの化粧参照画像を表示してもよい。また、構成パーツ毎に化粧参照画像を表示するのではなく、化粧アドバイザ毎に化粧参照画像を表示してもよい。
次に、化粧参照画像適用モジュール133により、エリア1501の化粧参照画像から1つを選択し(ステップS306)、選択した化粧参照画像の化粧を、撮像画像に適用する(ステップS307)。図15では、左目の範囲1502に選択した化粧参照画像1503を適用した例を表示している。ここで、メッセージ1504により、撮像画像に選択した化粧を適用したことを示し、選択した化粧参照画像で良い場合には決定ボタン1505を選択することで次のアドバイス処理に進み、別の化粧参照画像を選択したい場合にはキャンセルボタン1506を選択することでやり直しが可能であるものとする。
決定ボタン1505の選択によって、アドバイスモジュール134により、選択した化粧参照画像についてのアドバイスを出力する(ステップS308)。
図16は、ユーザ端末100でのアドバイス表示の一例である。表示エリア1601に化粧参照画像を適用した撮像画像を表示し、メッセージ1602には化粧方法の簡単な説明を表示している。ここで、実行ボタン1603を選択すると、化粧方法を1段階ずつ詳しく画像とメッセージで表示するものとする。または、デモ映像再生ボタン1606の選択により、ビデオ映像で化粧方法を表示するものとする。キャンセルボタン1604の選択では、再度、ステップS305の化粧参照画像表示か、S301のガイド表示に戻ってもよい。また、エリア1605には、化粧参照画像で使用した化粧品情報を表示している。ここで、化粧品情報から、インターネットのネット販売などのウェブサイトにリンクを行ってもよい。
[化粧アドバイザによるアドバイス処理]
図7は、化粧アドバイザによるアドバイス機能を備えたユーザ端末100とアドバイザ端末200の機能ブロックと各機能の関係を示す図である。
ユーザ端末100は、前述の図5の機能に加えて、通信部160を備える。ユーザ端末100は、通信部160を介して、出力部130に表示している画像や音声を送信可能であるものとする。同じく、保存した静止画や動画、入力した文字列や音声メッセージ等を、メール、SMS(ショートメッセージサービス)、チャット、SNS(ソーシャルネットワーキングサービス)等で送信可能であるものとする。
通信部160は、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイス又は、第3世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。有線によるLAN接続であってもよい。
化粧アドバイザによるアドバイス処理を行う場合、ユーザ端末100には、更に、入力部120に、アドバイザ端末200との音声による会話を行うための、マイク機能等を備えることが望ましい。
化粧アドバイザの使用するアドバイザ端末200は、カメラ部210、入力部220、出力部230、記憶部240、制御部250、通信部260から構成される。カメラ部210にはアドバイス画像撮像モジュール211を備える。出力部230は制御部250と協働してユーザ端末画像表示モジュール231を実現する。また、通信部260は制御部250と協働してアドバイス送信モジュール261を実現する。
アドバイザ端末200は、ユーザ端末100と同じように、化粧アドバイザがカメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットPC、ノートPC、ウェアラブルデバイス、またはディスプレイを備えたPC等の一般的な情報家電やその他の電化製品であって良い。アドバイザ端末200として図示しているスマートフォンはその一例にすぎない。
アドバイザ端末200は、カメラ部210にカメラを備え、アドバイス画像撮像モジュール211を実現する。アドバイス画像撮像モジュール211により、撮影した画像をデジタルデータに変換して、記憶部240に保存する。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部250の働きにより、動画像の一部を切り出して、静止画像として記憶部240に保存することも可能であるとする。また、撮影して得られる画像は、システムに必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
入力部220は、ユーザに対するアドバイスを行うために必要な入力機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン等を備えることが可能である。また、ユーザ端末100との音声による会話を行うための、マイク機能等を備えることが望ましい。入力方法により、本発明は特に機能を限定されるものではない。
出力部230は、制御部250と協働してユーザ端末画像表示モジュール231を実現する。ユーザ端末画像表示モジュールは、ユーザ端末100の出力部130に出力されている画像の一部または全部を、アドバイザ端末200の出力部230に表示させるものである。出力部230の例として、液晶ディスプレイ、PCのディスプレイ、プロジェクターへの投影等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
記憶部240として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画、ユーザ端末100から受信した動画や静止画、音声等の必要な情報を記憶する。
制御部250として、CPU、RAM、ROM等を備える。
通信部260として、例えば、IEEE802.11に準拠したWiFi対応デバイス又は、第3世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。有線によるLAN接続であってもよい。通信部260は制御部250と協働してアドバイス送信モジュール261を実現する。アドバイス送信モジュール261により、出力部230に表示している画像や音声を送信可能であるものとする。同じく、保存した静止画や動画、入力した文字列や音声メッセージ等を、メール、SMS、チャット、SNS等で送信可能であるものとする。
図8は、ユーザ端末100とアドバイザ端末200とサーバ300の模式図と、サーバ300の機能ブロックと各機能の関係を示す図である。ユーザ端末100とアドバイザ端末200とサーバ300は、通信網500を介して接続されているものとする。通信網500は、公衆通信網でも専用通信網でも良い。また、ユーザ端末100とアドバイザ端末200は、必要に応じてピア・トゥ・ピアの直接接続も可能であってよい。
サーバ300は、後述の機能を備える一般的なサーバであってよく、通信部310、制御部320、記憶部330を備える。
通信部310として、有線によるLAN接続、または、IEEE802.11に準拠したWiFi対応デバイスや第3世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。通信部310は制御部320、記憶部330と協働してアドバイザ状況確認モジュール311、アドバイザ情報送信モジュール、ユーザ要求送信モジュール313を実現する。
制御部320として、CPU、RAM、ROM等を備える。また、制御部320には記憶部330と協働する類推モジュール321を備えてもよい。類推モジュール321は、ユーザ端末100の類推モジュール141と同様に構成パーツ類推を行うもので、サーバ300で処理を行うためには、ユーザ端末100で撮像した被写体の画像を、通信部160を介してサーバ300に送信する。サーバ300は、通信部310により画像を受信し、受信した画像を記憶部330に保存し、その画像に対して。構成パーツ類推処理を行う。構成パーツ類推処理の結果は、通信部310を介してユーザ端末100に送信し、ユーザ端末100の出力部130に、類推結果表示を行う。サーバ300で構成パーツ類推処理を行う利点としては、パターンマッチングのために必要なデータを記憶部330に大量に蓄積できること、構成パーツ類推処理を更新する際には、サーバ300の類推モジュール321の更新のみで最新の処理を適用できること等があげられる。
記憶部330として、ハードディスクや半導体メモリによる、データのストレージ部を備える。記憶部330には、ユーザ情報データベース331とアドバイザ情報データベース332を備え、システムに必要な情報を記憶する。
図9は、化粧アドバイザによるアドバイス処理を行う場合のフローチャート図である。図9のガイド表示(ステップS401)、撮像(ステップS402)、構成パーツ類推(ステップS403)、類推結果表示(ステップS404)、化粧参照画像表示(ステップS405)、化粧参照画像選択(ステップS406)、撮像画像に化粧適用(ステップS407)は、それぞれ、図6のガイド表示(ステップS301)、撮像(ステップS302)、構成パーツ類推(ステップS303)、類推結果表示(ステップS304)、化粧参照画像表示(ステップS305)、化粧参照画像選択(ステップS306)、撮像画像に化粧適用(ステップS307)と同様の処理である。
図9では、図6のアドバイス処理の代わりに、またはそのあとに、化粧アドバイザによるアドバイスを行う(ステップS408)。化粧アドバイザによるアドバイス処理は、画面共有によりリアルタイムにアドバイスを行う場合と、メール等でアドバイスを行う場合が考えられ、それぞれの処理内容は、後述する。
[画面共有によるリアルタイムアドバイス処理]
図10は、ステップS408の化粧アドバイザによるアドバイス処理で、画面共有によりリアルタイムにアドバイスを行う場合のフローチャートである。
ユーザ端末100は、アドバイザによるアドバイスを受けるために、まず、サーバ300に対してアドバイザ情報の要求を行う(ステップS501)。これは、アドバイザが複数存在する場合に、それらのアドバイザの情報を取得するための処理である。
サーバ300は、これを受けて、アドバイザ状況確認モジュール311により、アドバイザ情報データベース332に登録されているアドバイザの状況確認を行う(ステップS502)。この状況確認は、アドバイザ情報データベース332に登録されているアドバイザ全員に対して行ってもよいし、アドバイザ情報データベースに、事前にアドバイザが応答可能な曜日や時間帯を登録しておき、その時に応答可能なアドバイザに対してのみ行ってもよい。
サーバ300からの確認を受けたアドバイザ端末200は、化粧アドバイザが応答可能であるかどうかを確認する(ステップS503)。ここで応答可能かどうかの判断は、アドバイザ端末200からの問いかけに対して化粧アドバイザが何らかの入力を行ってもよいし、チャット等を行うアプリケーションソフトウェアと同じように、オンライン、退席中、取り込み中、オフライン、等のようにログイン状況をあらかじめ設定しておき、そのログイン状況によって判断してもよい。
アドバイザが応答可能であるかどうかの確認の結果、応答可能である、または、応答不可能であることが確実である場合には、サーバ300にアドバイザ状況を送信する(ステップS504)。ただし、アドバイザ端末200からの問いかけに対して化粧アドバイザからの入力がなく、状況が不明である場合には、応答があるまで一定の間隔で状況の確認をおこなう。
サーバ300は、アドバイザ端末200よりアドバイザの状況を受信する(ステップS505)。
そして、アドバイザ情報送信モジュール312により、受信したデータとアドバイザ情報データベース332のデータを基に、アドバイザ情報を作成し、ユーザ端末100に送信する(ステップS506)。ここでのアドバイザ情報とは、ユーザ端末100でアドバイザの選択を行うために必要な、アドバイザの名前、プロフィールや写真、オンラインまたはオフラインの状況、アドバイザが手掛けた化粧参照画像等である。また、ユーザ情報データベース331等を参照して、過去にユーザ端末100のユーザが、各アドバイザにアドバイスを受けた回数等を加えてもよい。
ユーザ端末100は、受信したアドバイザ情報を基に、出力部130にアドバイザ情報を表示する(ステップS507)。
図17は、ユーザ端末100に表示するアドバイザ情報の一例である。アドバイザの名前、プロフィールや顔写真、オンラインまたはオフラインの状況、アドバイザが手掛けた化粧参考画像等を表示している。アドバイザを表示する順番は、今回選択した化粧参照画像を手掛けたアドバイザを優先する、オンラインのアドバイザを優先する、人気ランキング順、過去にアドバイスを受けた回数順、など、システムやユーザが任意に設定できるものとする。図17では、メッセージ1701により、どの化粧アドバイザにアドバイスを求めるかをユーザに問いかけ、ユーザは、アドバイザAのプロフィール1702、アドバイザBのプロフィール1703、アドバイザCのプロフィール1704等を参考に、化粧アドバイザを選択し、サーバ300にアドバイス要求を送信する(ステップS508)。ここでは、アドバイザAを選択したものとする。
サーバ300は、このアドバイス要求を受け、ユーザ要求送信モジュール313により、アドバイザAのアドバイザ端末200にユーザ要求の送信を行う(ステップS509)。ここでのユーザ要求データの内容としては、画面共有によるリアルタイムアドバイス要求であることと、今回選択した化粧参照画像の情報を含めるものとする。また、ユーザ情報データベース331に、事前にユーザの名前や性別、年齢、お気に入りの化粧参照画像等を登録しておき、それらの情報をアドバイス要求とあわせて、送信してもよい。
アドバイザ端末200は、ユーザからのリアルタイムアドバイス要求に応答するかどうか確認を行う(ステップS510)。
ユーザ要求に応答を行う場合には、アドバイザ端末200とユーザ端末100の通信を確立し、画面共有を実行する(ステップS511)。ここでの通信確立方法は、通常の公共通信網または専用通信網での通信を行うためのものであってもよいし、状況によっては、ピア・トゥ・ピアでの直接通信を行うためのものであってもよい。
ユーザ要求に対して、一定時間応答がない場合、または、要求を拒否する場合には、ステップS504のアドバイザ状況送信にもどり、サーバ200経由で、選択したアドバイザがリアルタイムアドバイス要求に応答できないことをユーザ端末100に通知するとともに、更新したアドバイザ情報をユーザ端末100に送信し、再度、アドバイザの選択を行うものとする。
図18は、ユーザ端末100とアドバイザ端末200の間での、画面共有による表示の一例である。アドバイザ端末200を使用するアドバイザは1802、ユーザ端末100を使用するユーザは1801として表示している。ユーザ端末画像表示モジュール231により、ユーザ端末100の出力部130に出力されている画像の一部または全部を、アドバイザ端末200の出力部230に表示する。アドバイザ端末200のアドバイス画像撮像モジュール211により、アドバイス画像を撮像し、アドバイス送信モジュール261により、アドバイスの送信を行う(ステップS512)。ここでのアドバイスは、ユーザ1801の撮像画像や選択した化粧参照画像をもとにした、化粧品の選択方法や使用方法、具体的な化粧の手順等であり、データとしては静止画、動画、音声、参考URL等である。
ユーザ端末100は、アドバイスを受信し(ステップS513)、アドバイスモジュール134により、出力部130にアドバイスを出力する。
画面共有の実行中は、撮像モジュール111による撮像画像と、アドバイス画像撮像モジュール211による撮像画像が、音声とともに、ユーザ端末100とアドバイザ端末200で出力されているものとし、これにより、ユーザ1801は受信したアドバイスにしたがって、化粧を進めることができる。また、画面共有の終了については、ユーザ端末100、アドバイザ端末200、サーバ300のいずれかで行い、他の2者に通知すればよいものとする。画面共有方法に関しては、本特許を限定するものではなく、既存の技術を利用可能であるものとする。
[メール等によるアドバイス処理]
図11は、ステップS408の化粧アドバイザによるアドバイス処理で、メール等でアドバイスを行う場合のフローチャートである。
図11のステップS601からステップS607までの処理は、それぞれ、図10のステップS501からステップS507までの処理と同様である。
図19は、ユーザ端末100とアドバイザ端末200の間で、メール等でアドバイスを行う場合の概要図である。ここでは、ユーザ端末100を使用するユーザは1901、アドバイザ端末200を使用するアドバイザは1902として表示している。
ユーザがアドバイザ情報に基づいて、オフラインのアドバイザを選択した場合、または、画面共有によるリアルタイムアドバイスではなく、メール等によるアドバイスを選択した場合、アドバイス要求メール1903を送信する(ステップS608)。アドバイス要求メール1903には、保存した静止画や動画、入力した文字列や音声メッセージ等を添付してよい。ここでは、画面共有ではないアドバイスの一例としてメールを取り上げたが、必ずメールである必要はなく、SMS、チャット、SNS等の他の通信サービスにも同様に適用可能であるものとする。
アドバイザ端末200は、ユーザからのアドバイス要求メール1903を受信し(ステップS609)、その内容を出力部230に出力する。
アドバイザ端末200は、アドバイス画像撮像モジュール211により、要求メールの内容に応じたアドバイス画像を撮像する、または入力部220により、アドバイスのメッセージ等を入力する。アドバイスとなる静止画や動画、入力した文字列や音声メッセージ等を添付して、アドバイスメール1904を送信する(ステップS610)。
ユーザ端末100は、アドバイスメール1904を受信し(ステップS611)、アドバイスモジュール134により、出力部130にアドバイスメール1904の内容を出力する。
ユーザ端末100とアドバイザ端末200の間での、アドバイス要求メールとアドバイスメールのやり取りは、必要に応じて複数回行えるものとする。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
100 ユーザ端末、200 アドバイザ端末、300 サーバ、500 通信網

Claims (10)

  1. 被写体を撮像する撮像手段と、
    前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、
    撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、
    を備えることを特徴とする画像処理システム。
  2. 前記ガイド表示手段は、
    前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示すことを特徴とする請求項1に記載の画像処理システム。
  3. 前記類推手段は、
    前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与することを特徴とする請求項1または2に記載の画像処理システム。
  4. 請求項1から請求項3のいずれかに記載の画像処理システムにおいて、
    前記類推手段により、前記構成パーツが1つ以上類推された場合に、被写体の撮像が成功したことを表示することを特徴とする画像処理システム。
  5. 請求項1から請求項4のいずれかに記載の画像処理システムにおいて、
    前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、
    を備えることを特徴とする画像処理システム。
  6. 請求項5に記載の画像処理システムにおいて、
    前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、
    を備えることを特徴とする画像処理システム。
  7. 請求項6に記載の画像処理システムにおいて、
    前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、
    を備えることを特徴とする画像処理システム。
  8. 前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施することを特徴とする請求項7に記載の画像処理システム。
  9. 被写体を撮像する撮像ステップと、
    前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップと、
    撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップと、
    を備えることを特徴とする画像処理方法。
  10. ユーザ端末に、
    被写体を撮像する撮像ステップ、
    前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップ、
    撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップ、
    を実行させるための画像処理プログラム。
JP2015250757A 2015-12-23 2015-12-23 画像処理システム、画像処理方法、および画像処理プログラム Active JP6200483B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015250757A JP6200483B2 (ja) 2015-12-23 2015-12-23 画像処理システム、画像処理方法、および画像処理プログラム
US15/065,988 US9674485B1 (en) 2015-12-23 2016-03-10 System and method for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015250757A JP6200483B2 (ja) 2015-12-23 2015-12-23 画像処理システム、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017118282A true JP2017118282A (ja) 2017-06-29
JP6200483B2 JP6200483B2 (ja) 2017-09-20

Family

ID=58776518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015250757A Active JP6200483B2 (ja) 2015-12-23 2015-12-23 画像処理システム、画像処理方法、および画像処理プログラム

Country Status (2)

Country Link
US (1) US9674485B1 (ja)
JP (1) JP6200483B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019025288A (ja) * 2017-07-25 2019-02-21 麗寶大數據股▲フン▼有限公司 リペア領域を標示可能な生体情報解析装置
JP2020088557A (ja) * 2018-11-22 2020-06-04 パナソニックIpマネジメント株式会社 肌分析装置
JPWO2020090458A1 (ja) * 2018-10-29 2021-09-24 ソニーグループ株式会社 表示装置、及び表示制御方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6212533B2 (ja) * 2015-12-28 2017-10-11 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
JP6621942B2 (ja) * 2016-12-12 2019-12-18 株式会社オプティム 遠隔制御システム、遠隔制御方法、およびプログラム
EP3652701A4 (en) 2017-07-13 2021-11-03 Shiseido Company, Limited VIRTUAL FACE MAKEUP REMOVAL, FAST FACE RECOGNITION AND LANDMARK TRACKING
CN108256432A (zh) * 2017-12-20 2018-07-06 歌尔股份有限公司 一种指导化妆的方法及装置
US10691932B2 (en) 2018-02-06 2020-06-23 Perfect Corp. Systems and methods for generating and analyzing user behavior metrics during makeup consultation sessions
CN110119868B (zh) * 2018-02-06 2023-05-16 英属开曼群岛商玩美股份有限公司 于彩妆咨询会议中生成及分析用户行为指标的系统和方法
CN110149301A (zh) * 2018-02-13 2019-08-20 英属开曼群岛商玩美股份有限公司 用于基于事件的彩妆咨询会议的系统及方法
CN110570224A (zh) * 2018-06-06 2019-12-13 英属开曼群岛商玩美股份有限公司 执行于计算设备的系统、方法及存储媒体
CN110149475B (zh) * 2018-06-21 2021-09-21 腾讯科技(深圳)有限公司 图像拍摄方法及装置、电子装置、存储介质和计算机设备
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
CN110930173B (zh) * 2018-09-19 2022-11-25 玩美移动股份有限公司 执行于计算设备的系统及方法
US11257142B2 (en) * 2018-09-19 2022-02-22 Perfect Mobile Corp. Systems and methods for virtual application of cosmetic products based on facial identification and corresponding makeup information
CN110266958B (zh) * 2019-07-12 2022-03-01 北京小米移动软件有限公司 一种拍摄方法、装置及系统
CN113850724A (zh) * 2020-06-28 2021-12-28 华为技术有限公司 一种信息提示方法和终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012088776A (ja) * 2010-10-15 2012-05-10 Nintendo Co Ltd 画像処理プログラム、装置、システムおよび方法
JP2013205931A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd 生体情報取得装置、生体情報取得方法、生体情報取得制御プログラム
JP2014183917A (ja) * 2013-03-22 2014-10-02 Panasonic Corp メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363691B1 (ko) * 2006-01-17 2014-02-14 가부시키가이샤 시세이도 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치,메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션프로그램
US9405995B2 (en) * 2008-07-14 2016-08-02 Lockheed Martin Corporation Method and apparatus for facial identification
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
FR2985064B1 (fr) * 2011-12-23 2016-02-26 Oreal Procede pour delivrer un conseil cosmetique
JP6111528B2 (ja) 2012-04-13 2017-04-12 カシオ計算機株式会社 画像処理装置及び画像処理方法並びにプログラム
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
GB2505239A (en) * 2012-08-24 2014-02-26 Vodafone Ip Licensing Ltd A method of authenticating a user using different illumination conditions
US20140146190A1 (en) * 2012-11-28 2014-05-29 Fatemeh Mohammadi Method And System For Automated Or Manual Evaluation To provide Targeted And Individualized Delivery Of Cosmetic Actives In A Mask Or Patch Form
JP6132232B2 (ja) * 2013-02-01 2017-05-24 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
US10321747B2 (en) * 2013-02-01 2019-06-18 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
JP6128309B2 (ja) * 2013-02-01 2017-05-17 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6097679B2 (ja) * 2013-02-28 2017-03-15 エルジー アプラス コーポレーション 端末間機能共有方法及びその端末
US20150058129A1 (en) * 2013-08-23 2015-02-26 Marshall Feature Recognition Llc System and method for electronic interaction with merchandising venues
WO2015029372A1 (ja) * 2013-08-30 2015-03-05 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2015197710A (ja) 2014-03-31 2015-11-09 株式会社メガチップス 化粧支援装置およびプログラム
WO2015161009A1 (en) * 2014-04-16 2015-10-22 The Procter & Gamble Company Device and method for applying a cosmetic composition
US20150356661A1 (en) * 2014-06-09 2015-12-10 Jillianne Rousay Cosmetic matching and recommendations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012088776A (ja) * 2010-10-15 2012-05-10 Nintendo Co Ltd 画像処理プログラム、装置、システムおよび方法
JP2013205931A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd 生体情報取得装置、生体情報取得方法、生体情報取得制御プログラム
JP2014183917A (ja) * 2013-03-22 2014-10-02 Panasonic Corp メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019025288A (ja) * 2017-07-25 2019-02-21 麗寶大數據股▲フン▼有限公司 リペア領域を標示可能な生体情報解析装置
JPWO2020090458A1 (ja) * 2018-10-29 2021-09-24 ソニーグループ株式会社 表示装置、及び表示制御方法
JP7412348B2 (ja) 2018-10-29 2024-01-12 サターン ライセンシング エルエルシー 表示装置、及び表示制御方法
JP2020088557A (ja) * 2018-11-22 2020-06-04 パナソニックIpマネジメント株式会社 肌分析装置

Also Published As

Publication number Publication date
US20170187988A1 (en) 2017-06-29
US9674485B1 (en) 2017-06-06
JP6200483B2 (ja) 2017-09-20

Similar Documents

Publication Publication Date Title
JP6200483B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
EP3449412B1 (en) Gaze-based authentication
JP5995520B2 (ja) 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
JP6212533B2 (ja) 画面共有システム、画面共有方法、および画面共有プログラム
KR20170095817A (ko) 아바타 선택 메커니즘
WO2018228037A1 (zh) 媒体数据处理方法、装置及存储介质
KR20190084278A (ko) 이미지들을 공유하기 위한 자동 제안들
TWI718631B (zh) 人臉圖像的處理方法及裝置、電子設備和儲存介質
WO2015145769A1 (ja) 撮像装置、情報処理装置、撮影補助システム、撮影補助プログラム及び撮影補助方法
CN111316656B (zh) 一种计算机实现的方法及存储介质
JP6323548B2 (ja) 撮影補助システム、撮像装置、情報処理装置、撮影補助プログラム及び撮影補助方法
JP6427297B2 (ja) 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
CN112806020A (zh) 基于向图像捕获设备标识捕获的视频数据中的感兴趣对象修改图像捕获设备对视频数据的捕获
TWI522725B (zh) 可與行動裝置連接之相機,及其操作方法
JP2015158905A (ja) 端末装置、サーバ装置、情報投稿支援方法およびコンピュータプログラム
JP2021077131A (ja) 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム
JP7353402B2 (ja) 端末装置およびプログラム
TWI522726B (zh) 資訊產生與分享方法,及其相關裝置與電腦程式產品
JP5904887B2 (ja) メッセージ送信システム、メッセージ送信方法、プログラム
US20230368475A1 (en) Multi-Device Content Handoff Based on Source Device Position
JP7194554B2 (ja) コミュニケーションシステムおよびプログラム
JP2021064062A (ja) システムおよびその制御方法、並びにプログラム
JP2024025156A (ja) 画像処理システム
TW202133627A (zh) 線上直播的即時互動方法及應用於線上直播之即時互動的用戶端手持式裝置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170825

R150 Certificate of patent or registration of utility model

Ref document number: 6200483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250