JP2017216732A - 毛髪コンサルテーションツール装置及び方法 - Google Patents

毛髪コンサルテーションツール装置及び方法 Download PDF

Info

Publication number
JP2017216732A
JP2017216732A JP2017151235A JP2017151235A JP2017216732A JP 2017216732 A JP2017216732 A JP 2017216732A JP 2017151235 A JP2017151235 A JP 2017151235A JP 2017151235 A JP2017151235 A JP 2017151235A JP 2017216732 A JP2017216732 A JP 2017216732A
Authority
JP
Japan
Prior art keywords
hair
image
color
model
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017151235A
Other languages
English (en)
Inventor
フランケ マイケル
Franke Michael
フランケ マイケル
ハンス ジョセフ ラングシュ ディーター
Hans Josef Langsch Dieter
ハンス ジョセフ ラングシュ ディーター
マルコベーシク マリカ
Markobasic Marika
マルコベーシク マリカ
フォン サルトリ−モンテクロス オリバー
Von Sartori-Montecroce Oliver
フォン サルトリ−モンテクロス オリバー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Co
Original Assignee
Procter and Gamble Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP13164821.4A external-priority patent/EP2796070A1/en
Priority claimed from EP13164819.8A external-priority patent/EP2796069A1/en
Application filed by Procter and Gamble Co filed Critical Procter and Gamble Co
Publication of JP2017216732A publication Critical patent/JP2017216732A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Abstract

【課題】毛髪のマスク領域の優れた識別とを有する連続画像(動画)によって、毛髪着色結果のより現実的な画像を顧客に提供する。【解決手段】毛髪コンサルテーションツール装置1は、モデル3の頭及び毛髪の画像を連続的に撮影するように適応されたデジタルビデオカメラ2と、デジタルビデオカメラ2によって記録された画像を収集するためのカメラインタフェースを有する処理ユニット4と、収集画像を処理するために実装された画像処理ソフトウェアツール及び処理画像6を表示装置5に送信するための表示インタフェースとを含むプロセッサと、処理画像6を提示するための表示装置5とを備える。デジタルビデオカメラ2によって撮像されるモデル3の一部分を照明するために、モデル3の頭及び毛髪の方に向けられた照明装置8をさらに備える。【選択図】図1

Description

本発明は、少なくともモデルの頭及び毛髪の画像を連続的に撮影するように適応されたデジタルビデオカメラを備える毛髪コンサルテーションツール装置に関し、モデルは、人間又は人工マネキンである。当然ながら、デジタルビデオカメラは、モデルの頭及び毛髪も含む肖像など、モデルのより広い視野を撮影することもできる。
このツール装置は、デジタルビデオカメラによって記録された画像を収集するためのカメラインタフェースを有する処理ユニットと、収集画像を処理するために実装された画像処理ソフトウェアツールを有するプロセッサと、処理画像を表示装置に送信するための表示インタフェースと、画像を提示するための表示装置とを備える。本発明の意味における画像は、スチル画像と、記録画像の連続シーケンスからなる連続画像(動画)の両方を含む。毛髪コンサルテーションツール装置は、具体的には、毛髪色シミュレーションに適応される。本発明は、更に、それぞれの方法及びコンピュータプログラム製品に関する。
この分脈では、不定冠詞「a/an」は、特に指定されない限り、「少なくとも1つ/1つ以上」を意味するものとする。
毛髪色コンサルテーションの方法は、例えば欧州特許第1 147 722 A1号から知られており、この方法は、カメラによって撮影された二次元静的デジタルポートレートを使用し、所望の髪型色が選択的に入力され、表示画面に示される。しかしながら、そのような結果は、静的で不自然に見え、その理由は、1枚のスチル画像の使用では、顧客が生の顔の表情と組み合わされた自身の新しい毛髪色と対面しているかのような、まるで顧客が鏡を見ているかのような本物の印象を提供できないからである。
米国特許出願第2004/0239689 A1号は、一方で動的なビデオ画像(動画)に基づき、他方で人の自然毛髪の色の変化に基づく。ビデオ画像は、1つの装置を使用することによって、実時間で作成され、また顧客がミラーを使用している印象を持つようにミラーのようなスクリーン上に再現され、その装置には、ビデオカメラと、処理画像を提示するためのディスプレイの両方が取り付けられる。したがって、ユーザは、ディスプレイ上で、単純な単一ミラーと同様に、自身の毛髪を頭の横又は後ろから見るように眺めることができない。提示されたシステムの別の欠点は、コンピュータシステムソフトウェアツールにとって、画像のどの部分が顧客の毛髪領域であるか、将来の毛髪着色の実際の仮想画像を顧客に提示するためにどの部分の毛髪色を変更しなければならないかを決定するのが容易でないため、画像処理が困難なときがあることである。
欧州特許第1 147 722 A1号 米国特許出願第2004/0239689 A1号
したがって、本発明の目的は、画像の自然の見掛けに関して優れた品質と毛髪のマスク領域の優れた識別とを有する連続画像(動画)によって、毛髪着色結果のより現実的な画像を顧客に提供することである。
この目的は、請求項1の特徴により達成される。最初に上で述べたような毛髪コンサルテーションツール装置に関して、毛髪コンサルテーションツール装置は、更に、モデルの頭及び毛髪の方に向けられて、デジタルビデオカメラによって撮像されるモデルのその部分を正確に照明するための照明装置を備えるように提供される。
そのような照明装置の使用は、毛髪コンサルテーションプロセスの結果、即ち、ディスプレイ上に提示される処理画像に2つの大きな好ましい効果を有する。第1の利点は、主に光温度が定義されて、使用されたディスプレイの画像較正が可能になることである。これと対照的に、本システムは、画像処理ユニットに自然画像を提供する白色点バランスを含むこれにより、表示装置上の画像がより自然で見やすくなる。第2の利点は、シーンの照明を制御できることであり、即ち、主関心領域である頭上の光を多くしてより明るくし、顔への光を少なくして人の外観をより見やすくし、セグメント化及び画像処理を妨げる顔の影を防ぐ拡散光を十分にすることができる。この態様は、照明装置によって照明された毛髪及び頭領域がより明るくなり、照明装置の色温度が定義されかつ画像処理ソフトウェアツールに既知なので、自然な毛髪色及び構造を、画像処理ソフトウェアツールが正確に識別できるという事実に関連する。これにより、自然の毛髪色の較正又はより正確な決定が可能になる。毛髪領域がより良好に照明されるので、画像処理ソフトウェアツールは、毛髪構造をより正確に評価することができる。これにより、毛髪領域のマスキングが良好になり、したがって色を変更すべき画像部分の識別が良好になる。また、画像処理ソフトウェアが、画像領域内の色温度値と輝度値を区別することが容易になる。別の態様は、ツール装置のセットアップ及び較成に関連し、その間、デジタルビデオカメラによって記録された各画像の露光時間(具体的には、モデルの自然の毛髪色に依存する)は、モデルの毛髪領域内のカメラ記録の画像の質感又は光強度のダイナミックレンジが画像処理に最適な範囲になるように決定される。追加の照明により、記録画像の絞りと露光時間との可能な組み合わせの範囲が広がり、最適に調整されうる。一般に、ビデオカメラによって撮像される対象物が明るくなるほど各画像の露光時間を短く選択することができ、したがって、連続画像シーケンス(動画)の画像レートをより高くすることができるが、当然ながら、フレームレートは、露光時間だけで限定されない。
高品質画像を実現するために、好ましい実施形態により、HDRカメラ(高ダイナミックレンジ)が使用されることがある。このHDR法は、画像の最も明るい領域と最も暗い領域との間のダイナミックレンジが、現在の標準的デジタル撮像方法又はカメラよりも高い画像をキャプチャするために使用される。HDRカメラは、多くの場合、複数の画像を、例えば光センサの異なる露光時間又は異なる感度(センサ光感度の基準として様々なISO設定)で撮影し、異なる画像をステッチすることにより、暗い領域と明るい領域の両方で描写力のある画像を生成する。HDR法に使用される全ての画像において最大限同一のシーンを得るために、数枚の画像が極めて短いシーケンスで撮影されることが好ましい。これは、ステッチされる複数の画像、具体的には2枚の画像、を使用して、1枚のHDR画像を模造する画像処理によって行われる。複数の画像はそれぞれ、シーンの全輝度範囲から選択された輝度の最適階調であり、各画像は、全輝度範囲と異なる輝度を選択する。したがって、得られた画像において、単一画像に対してより高い輝度範囲になるように最適階調をシミュレートすることができる。
あるいは、いくつかのデジタルカメラは、キャプチャされた単一画像からHDR画像を得ることができる。HDR画像は、少なくとも12ビット画像(12ビット/チャネルの画像)として記録されることが好ましい。これは、1つの画像位置に対してカメラセンサ上で使用される様々なアクティブ領域によって達成されることがある。アクティブ領域は、1つの画像位置に対して光を収集する様々なセンサ画素によって構成されることがある。例えば、1つの画像位置に対する光をキャプチャするために、同時に2つ以上のセンサ画素を使用することができる。この場合、カメラのプロセッサは、1つの画像位置に対応する光の量(即ち、輝度)に応じて、1つの画像位置に対してセンサ画素のうちの何個が使用されるかを決定する。
本発明によれば、照明装置は、少なくとも2つの異なる照明モジュールを含み、照明モジュールの一方は、拡散光を生成する拡散光モジュールであり、少なくとも2つの照明モジュールの他方は、スポットライトを作成するスポットライトモジュールである。スポットライトモジュールは、具体的には、少なくとも1つの点光源を有するポイント光モジュールによる。したがって、モデルの照明は、拡散光とスポットライトとの混合で行われることが好ましい。拡散光は、特定の画像領域の画像分離を強化し、即ち、毛髪領域の分離は、本発明による関心領域と、顔又は背景など他の領域である。スポット(又は、反射鏡)ライトは、具体的には、毛髪に自然の輝きを提供し、皮膚の自然色を強化するために使用される。したがって、本発明によるこれらの2つの異なる照明モジュール(拡散及びスポットライトモジュール)は、処理画像の画像品質を改善する。
この目的のため、拡散光モジュールの少なくとも1つの光源が、ビデオカメラと同じ平面内に基本的に位置決めされ、前記平面は、好ましい実施形態によれば、ビデオカメラの光学軸と基本的に垂直に向けられることが好ましい。更に、拡散光モジュールが、デジタルビデオカメラのまわりに配列された少なくとも2つの光源、好ましくは3つの光源、最も好ましくは4つの光源を含むと好都合である。光源の好ましい構成によれば、拡散光モジュールの全ての光源は、同一平面内に配列され、具体的にはデジタルビデオカメラと同一平面内に配列され得る。したがって、生成された拡散光は、デジタルカメラのビュー方向と同じか又は類似の方向で、モデルの方に向けられ、それにより、モデルの表面(即ち、モデルの顔及び毛髪)上の邪魔な影が減少する。拡散照明の好ましい効果は、モデルの関心画像領域における光強度が、表面質感をいずれも示さない暗い領域(黒)と明るい領域(白)から隔たる中間範囲にあるので、その関心画像領域における質感が極めて良好なことである。光強度の中間領域では、画像処理ソフトウェアツールの創造的能力は、例えば、画像の特定の対象物又は領域を識別しマスキングするのに最適である。したがって、1つ又は好ましくは複数の光源を有する拡散光モジュールは、毛髪領域の識別を強化し、その毛髪領域の色が、毛髪コンサルテーションツール装置システムによって選択的に変更され、同時に、顔及び背景などの他の領域は、処理画像の望ましくないアーティファクトの発生を防ぐために変更されないままでなければならない。これにより、処理画像の品質が極めて良好になり、仮想毛髪色を有する顧客の自然な外観に更に近づく。
拡散光モジュール内で使用される光源は、管状蛍光灯などの細長い形体を有してもよい。細長い形体は、光源の長さに沿った分散光放射を生成して拡散光生成を助長する。更に、本発明により、光源は、対象物(即ち、モデルの頭及び毛髪)上でほとんど等しく分散された光強度を有する高品質な拡散光を生成するように、半透明ガラスなどのディフューザによって覆われてもよい。
しかしながら、デジタルビデオカメラの技術的要件として拡散(技術的に最適な)光で撮影された画像が、画像の芸術的評価において単調で面白味が無いように見えることが多いので、拡散照明は、画像の一般的印象が面白味みも趣も無いという理由で、毛髪コンサルテーションツール装置及び方法の生成画像として表示された毛髪色の変更を顧客が好まないことになる可能性があるという影響を有し得る。処理画像の可塑性を改善するために、本発明により、モデル上、具体的にはモデルの頭及び毛髪にスポットライトを作成するスポットライトモジュールが提供されることが提案される。そのために、スポットライトモジュールの光源が、モデルの毛髪をスポットライト又は点照明で照らすように配置されることが好ましい。光源は、デジタルカメラの光学軸に対して0°〜90°の角度のスポットライト円錐を放射するように調整可能でよい。これは、スポットライトの光源が、カメラとモデルとの間の空間内に、光源自体が画像内に入らないような光学軸までの特定の距離に配置されること意味する。スポットライト光源の光円錐は、モデルの方に向けられる。カメラの光学軸と光円錐(光軸)の中心軸とが交差する場合(例えば、これらの軸が実際に互いに交差するので、又はこれらの軸が互いに交差するように理論的に平行にずらされるので)、これらの軸の間の小さい方の角度は、0°〜90°である。これは、前述の特徴によって示される。
好ましい実施形態によるスポットライトとデジタルカメラの相対配置のより詳細な定義によれば、光源が、スポットライト円錐を放射するように調整可能であり、このスポットライト円錐の光軸が、モデルの頭及び毛髪を通りかつ/又はデジタルカメラの焦点を通る水平面と、前記スポットライト光源(前記スポットライトモジュールの光源)から前記モデルの頭及び毛髪に至る光軸(即ち、光円錐の中心軸)との間で測定された、0°〜90°の方位角βで位置決めされる。デジタルカメラは、その光学軸が水平面内、又は水平面に対する方位角γになるように配置されて配置され、ここで、γ≦βである。方位角β、γは、水平面の上に垂直方向に定義された空間の方に至る同じ方向において水平面から測定が開始されるものとする。
角度γは、10°〜15°になるように選択されることが好ましい。これにより、モデルが、一般に、より魅力的に見える。
あまり技術的な表現ではないが、スポットライトモジュールの光源は、カメラとモデルとの間の空間内、又はカメラの後ろ(モデルに対して)に、好ましくは極めて低減された開角度で配置され、モデルの方に向けられる。これは、逆光の無い状況である。好ましい方位角βは、35°〜70°、具体的には30°〜65°である。
更に、前記光学軸を含む垂直面と前記光軸を含む垂直面との間で定義された極角αは、−45°〜+45°の範囲にある。これは、スポットライトが、モデルの頭及び毛髪を、モデルの頭及び毛髪の上の前方から(好ましい方位角β)、場合によっては前記光学軸と前記光軸の平面投影における特定の角度で照明することを意味する。極角αが、+15°〜+45°又は−15°〜−45°の範囲にある場合、スポットライトの光源は、光学軸を含む垂直面内に位置決めされず、即ち、カメラの上の垂直方向に位置決めされない。これにより、撮影された画像の可塑性が高まることがある。
好ましくは、スポットライトは、モデルの頭及び毛髪をビデオカメラの光学軸に対して上(又は、より正確には上側)から照明し、これにより、最も関心のあるモデルの毛髪領域に明るさをもたらし、また中間明度範囲のいくつかの影をモデルの顔に導入することによって顔の可塑性を強化する。詳細には、拡散光モジュールとの組み合わせによって、スポットライトにより作成された影が強すぎたり、顧客による画像の光学的受領と画像処理能力に悪影響を及ぼしたりすることが回避される。このために、極角(α)の範囲(正値として定義された)と方位角(β)の範囲(正値として定義された)の和として示されたスポットライトによってトランスクライブされる領域は(具体的には、光強度の50%以上が放射される)は、10°〜20°未満であると有利な場合がある。これは、スポットライトが、主な強度の範囲で、モデルの毛髪に限定されることを確実する。これにより、撮影された画像の毛髪の可塑性が高くなる。
この文脈では、モデルの逆光は回避されなければならない。逆光は、モデルに対してデジタルビデオカメラと反対の空間内にある光源の照明として定義される。このために、本発明の一実施形態によるスポットライトモジュールの光源は、デジタルカメラを保持するモジュール(カメラ支持体)に固定されたヒンジ式ブラケットに取り付けられ、それにより、逆光状況を作り出すようなスポットライトの位置決めが回避される。更に、処理ユニットは、プロセッサにインストールされたそれぞれのソフトウェアによって、収集画像の逆光状況を画像処理ソフトウェアツールによって認識し、表示装置上に表示されるように表示インタフェースに警告メッセージを送信するように適応されてもよい。これは、照明モジュールのセットアップ及び較正を最適化するのに役立つユーザフレンドリーな支援である。
逆光状況の認識に加えて、処理ユニットは、また、画像処理ソフトウェアツールによって、記録された(及び収集された)画像内の、好ましくない影方向又はスポットライトの過度の低輝度若しくは高輝度などの望ましくない他の影響を認識するように適応されてもよく、また状況に応じてユーザに通知してもよい。したがって、ユーザは、処理画像で可能な最上品質を達成するのにより良い(最適)な位置にスポットライトを配置することができる。
前述の照明装置は、特に、デジタルビデオカメラとして使用されるHDRカメラの使用との組み合わせで好まれる。この構成では、モデルの毛髪は、特に背景及び顔の大部分と比較して極めて明るい。この明るさは、提案された方法を実行して、シーンの明るさの全範囲から最適階調を有する1つの選択としてこの毛髪領域を選択するときに、毛髪コンサルテーションツール装置の処理ユニットのプロセッサによって使用され得る。これにより、毛髪を画像の他の部分とうまく区別することができる。第2の領域として、最適階調を有する別の領域に、顔(及び/又は背景)を選択することができる。したがって、画像の2つの主な関心を所望の品質で作成することができる。
本発明の更に好ましい実施形態によれば、拡散光モジュール及び/又はスポットライトモジュールの光源は、昼光色電球及び/又は暖色電球であってもよい。好ましくは、拡散光モジュールの光源は、毛髪色の適切な評価を可能にする冷白色電球(例えば、温白色と昼光色との間の約4000K)であってもよい。スポットライトモジュールの光源は、拡散光と同じ色温度であることが好ましい。
更に、1つ、複数又は全ての光源が、処理ユニットによって制御可能であってもよく、即ち、処理ユニットは、光源をオンオフしかつ/又は較正するように適応されてもよい。較正は、使用される様々な光源の調整の可能性により、光強度及び/又は光源の光温度の制御を含んでもよい。
更なる態様によれば、本発明は、顧客の頭及び毛髪の更に異なるビュー、具体的には背面ビューの可能性を提供する。このために、表示装置は、好ましくは、処理ユニットの表示インタフェースに接続された携帯型表示装置であり得る。好ましくは、処理インタフェースの表示装置は、表示インタフェースを介して処理ユニットと表示装置との間のデータ通信を確立するために、WLAN、Bluetooth(登録商標)などの無線通信を使用する。当然ながら、処理ユニットは、携帯型表示装置に含まれてもよい。そのような一実施形態では、処理ユニットの表示インタフェースへの接続は、内部表示インタフェースを使用する接続である。
携帯型表示装置と、好ましくはまた特定の外部処理ユニットと表示装置との間の無線通信とを使用することによって、表示装置をモデルと合わせて、モジュールが処理画像をビデオカメラに対する各回転位置で表示するようにしながら、ビデオカメラの前のモデル(顧客)の自由な動き(例えば、最大360°の回転(全回転))が可能になる。したがって、携帯型ディスプレイは、固定式デジタルビデオカメラから見たようなモデルのビューを連続的に表示しながら、モデルと共に移動される。したがって、この顔の前でモデルと一緒に回転される移動式ディスプレイは、固定式デジタルビデオカメラとの組み合わせで、通常はモデル顧客が単純な単一ミラーによって見ることができない頭の後ろも見ることができる仮想ミラーを作り出す。
好ましい実施形態によれば、表示装置は、例えば表示プロセッサにインストールされた適切なソフトウェアによって、処理画像を表示しかつユーザ入力を可能にするアプリケーションを表示装置上で実行するか、あるいは入力ツールを使用してシステムをセットアップしかつ/又は処理画像に作用するように適応された表示プロセッサを含んでもよい。プロセッサは、また、特に処理ユニットと表示ユニットとが単一の一体型ユニットを構成する場合には、画像処理ソフトウェアツールを有してもよい。
好ましい表示装置は、タブレットコンピュータなど、そのようなアプリケーションのインストールを容易にするタッチスクリーン表示装置である。入力ツールは、ディスプレイ上に提示されてタッチスクリーンによって選択可能なパネル、ボタンなどでよい。
好ましい実施形態によれば、タッチスクリーン表示装置は、ユーザ入力(他の入力オプションに加えて)として、具体的には、カメラによって撮影され、(具体的にはスチル画像の)画像内の毛髪、皮膚及び(該当する場合)背景領域を選択するためのタッチスクリーンに表示された画像の画像上のフィンガペインティングを可能にすることがある。これは、表示画像内の毛髪をセグメント化する工程を支援する。
好ましくは、フィンガペインティングは、フィンガペインティングによって、即ち、タッチスクリーンの画像の画像が表示されたゾーン内のタッチスクリーンの指のタッチ、好ましくはその指の移動によって選択された領域が、元画像の上に積層された定義色として表示され(強調され)るように、タッチスクリーン上に表示される。色は、毛髪及び皮膚並びに/又は他の領域をそれぞれ選択するための様々な色として事前に定義されてもよい。また、背景領域が選択できるか又は選択される場合は、フィンガペインティングによって選択される領域の色は、皮膚領域に使用されるのと同じ色でもよく、又は強調された毛髪及び皮膚領域の色と異なる色でもよい。また、個別のユーザ入力(例えば、タッチスクリーン上のボタンなど)があってもよく、この個別のユーザ入力は、その個別のユーザ入力の操作後に行なわれたフィンガペインティングが、毛髪又は皮膚(又は、該当する場合には背景)領域の選択になることを示す。
領域が既にフィンガペインティングによって選択され、ディスプレイ上でそれぞれの色で強調されている場合、このユーザ入力は、選択領域に再び触れるだけで領域又は領域の一部分を除外するのに有用なことがある。当然ながら、個別のユーザ入力の操作後に行なわれたフィンガプリンティングが、事前選択された領域の除外になることを示すための個別のユーザ入力(例えば、タッチスクリーン上のボタンなど)があってもよい。
また、表示プロセッサを備えた表示装置にインストールされたアプリケーションは、(例えば、処理ユニットによって実行される)毛髪コンサルテーションツール装置の較正を含む毛髪コンサルテーションプロセスを初期設定しかつ/又は毛髪コンサルテーションプロセスを制御するために使用されてもよい。このために、表示装置は、それぞれのコマンドを表示インタフェースによって処理ユニットに送信する。したがって、この好ましい実施形態による表示装置は、処理ユニットの入力及び制御パネルとして働く。
当然ながら、処理ユニットが、キーパッドなどの処理ユニットに接続された入力装置によって直接制御されてもよい。また、音声制御処理は、直接的に、又は例えば音声とキーパッド制御との組み合わせを提供するタブレットユニットを介して可能である。更に、モニタが、入力及びシステムの光学制御を可能にする処理ユニットに直接接続されてもよい。処理ユニットは、従来のデスクトップコンピュータであってもよい。したがって、キーパッドとモニタを備えた処理装置を制御するスーパーバイザは、ヘアスタイリストでもコンサルタントであってもよいしかしながら、これと同じ機能は、表示装置上で動作するアプリケーションの管理者モードで提供され得る。また、顧客モードの顧客表示装置と管理者モードのスタイリスト表示装置の2つの表示装置が、処理ユニットと並列に接続されてもよく、スタイリスト表示装置は、例えば、毛髪コンサルテーションのパラメータのより詳細な入力を可能にする。
しかしながら、提案された装置の主な利点は、この装置が、処理ユニットの入力及び制御パネルとしてのみ働く顧客表示器装置によって単純に制御され得ることである。これにより、顧客が自分自身で毛髪色を変更する感覚を持てるので、実際に毛髪コンサルテーションツール装置の受け入れが強化される。
毛髪コンサルテーションのプロセスは、以下に詳細に述べられる。
毛髪コンサルテーションを実行するために、本発明による毛髪コンサルテーションツール装置の処理ユニットは、例えば処理ユニットのプロセッサにインストールされた適切なソフトウェアによって毛髪色シミュレーションを行なうように適応されてもよく、その毛髪色シミュレーションでは、モデルの毛髪の毛髪色が、連続収集画像の自然の毛髪色をユーザ入力によって決定され得る及び決定された色と置き換えることによって修正される。得られた処理画像は、表示装置上に連続的に提示される。
したがって、処理ユニットのプロセッサは、例えばプロセッサにインストールされた適切なソフトウェアによって、以下の工程のうちの少なくとも選択したものを実行するように適応されてもよい。
−照明装置及び/又はカメラ装置をセットアップ及び較正する工程。
この工程は、照明装置とカメラ装置のスイッチを入れ、照明装置の光源の輝度及び/若しくは色温度を較正し、かつ/又はデジタルビデオカメラの露光時間を決定する工程を含んでもよい。セットアップする工程は、更に、照明装置、具体的にはスポットライトモジュールを自動又は手動で位置決めする工程を含んでもよい。
−モデルのスチル画像を撮影し、スチル画像を較正する工程。
モデルのスチル画像は、コンサルテーションプロセスの準備と連続収集画像の画像処理に使用される。したがって、スチル画像は、画像を本物のように描写するために、例えば顔のいくつかの領域(例えば皮膚)の明るさを選択的に変更することによって、画像処理されてもよい。具体的には、皮膚を自然に描写するために、皮膚を暗くする工程が使用されてもよい。
−スチル画像の他の画像領域(具体的には、顔の皮膚及び背景)から毛髪領域をセグメント化する工程。
毛髪領域の選択は、画像処理ソフトウェアツールによる自動選択によって行なわれてもよい。しかしながら、選択が、手動で、具体的にはソフトウェア支援選択によって行なわれる場合、結果を改善できることが多い。このために、表示装置のタッチスクリーン上のフィンガペインティングを使用して、毛髪領域、顔及び(必要に応じて)「無毛領域」として定義された背景領域を選択してもよい。フィンガペインティングの代わりに、通常ポインタ又はマウス装置が使用されてもよい。この処理は、毛髪と皮膚と背景とを単純に区別することによって毛髪領域を選択するのに容易かつ直感的である。好ましい実施形態において、背景(即ち、具体的には毛が無い、顔が無い、又は皮膚が無い全ての領域)は、画像処理ソフトウェアツールによって自動的に認識される。これは、毛髪が無く顔が無い領域は背景領域であると想定されるように、毛髪領域及び顔領域の選択に基づいてもよい。この実施形態では、スチル画像内の背景を手動でマークする必要はない。
−スチル画像内の毛髪領域を選択し、選択した毛髪領域を特定の色パターンと関連付ける工程。
スチル画像内の毛髪領域を選択した後、毛髪領域と顔領域と、必要に応じて背景領域との間の色差を画像処理ソフトウェアツールによって分析して、顔領域と背景領域から区別される毛髪領域の特定の色パターンを提案してもよい。
−連続収集画像の各処理画像内の毛髪領域全体を特定の色パターンに基づいてセグメント化し、処理画像ごとのヘアピースを定義する工程。
以前の工程はプロセスの初期設定中に実行され、各処理画像(スチル画像及び処理装置によって処理された連続収集画像を含む)の毛髪領域全体がセグメント化される。セグメント化は、特定の色パターンに基づき、即ち、自然の毛髪色くらいの特定の色パターン範囲が選択され、毛髪領域全体をセグメント化するために、この範囲内の色を示す全ての画素が選択される。これは、毛髪画素として識別された画素から遠くに位置決めされた画素が選択されずかつ/又は毛髪の構造が検討されるように、画像処理ソフトウェアツールによって支援されてもよい。毛髪領域全体をセグメント化した後で、各処理画像(スチル画像及び連続収集画像)のヘアピースが定義(又は選択)され、同時に、提示する準備ができた処理画像の画像レートを高めるために、連続収集画像を交互に又は部分的に並列に処理する。
−ユーザによって決定された毛髪色を選択し、選択された毛髪色を処理画像内の定義されたヘアピースに適用する工程。
定義又は選択されたヘアピースに関して、例えば構造効果、及び例えば画像内の影の出方を検討するために、元の毛髪色が、所望の毛髪色にワープされてもよい。次に、モデルの画像を選択された(新しい)毛髪色で表示するために、着色されたヘアピースが、元画像の上に単純に積層されてもよいしたがって、この方法工程で、選択された色が、「仮想」ヘアピースに適用され、それにより、モデルの毛髪が実質的に着色される。
−画像を使用された表示装置の特性に合わせて調整し、処理画像を、選択された毛髪色が適用されたヘアピースと共に、ディスプレイ上の提示する工程。
この工程で、画像の解像度をディスプレイの解像度に適応させることができる。この工程は、また、モデルの新しい画像を、使用されたディスプレイの特性に適応させて、画像の現実的な着色をディスプレイ上で達成するために使用されてもよい。したがって、この工程は、また、具体的には、正規化画像表現を達成するために、画像の色較正を含んでもよい。
処理画像の提示により、各連続収集画像の処理が完了する。
本発明の好ましい態様によれば、表示装置の表示プロセッサは、例えば表示プロセッサにインストールされた適切なソフトウェアによって、以下の機能のうちの少なくとも選択されたものを実行するアプリケーションを実行するように適応されてもよい。
−処理ユニットによって処理された画像を表示装置上に連続的に提示する機能。
−毛髪色シミュレーションの開始ボタンをディスプレイ上に提示し、開始ボタンの操作時に開始信号を処理ユニットに送信する機能。
−毛髪色選択フィールドをディスプレイ上に提示し、ユーザによる毛髪色の選択時に毛髪色値を処理ユニットに送信する機能。
毛髪色選択フィールドは、迅速かつ直感的な選択のためにユーザに特定の色が提供される、色事前選択部分を有してもよい。明るい金髪/濃い金髪/赤/茶/黒などのいくつかの毛髪色カテゴリに加えて、男/女、春/夏/秋/冬などの十分に様々なプロファイル、又は特定の毛髪色の迅速な事前選択及び/又は適用を可能にする自己定義プロファイルを含んでもよい。
−スライダ、ホイール、チェス盤状グリッド、又は人間機械インタフェース(HMI)によって色合いを適合させる任意の他の適切なツールなどの色合いレギュレータをディスプレイ上に提示し、ユーザによる影の選択に基づいて、選択された色合い値を処理ユニットに送信する機能。
−画像を保存し、以前に保存したユーザの画像を、自然及び/又は着色された毛髪でディスプレイ上に表示する機能。
−一体型カメラで画像を撮影し、これらの画像をシステムに提供する機能。これらの画像は、即ち白色点又は輝度調整のために使用されてもよい。
これらの特徴により、直感的操作を可能にする強力な入力及び制御パネルがユーザに提供され、この入力及び制御パネルは、入力パラメータを処理し、処理画像の結果を左右する処理ユニットと接続されたときに有効である。
処理ユニットと表示ユニットを別個のユニットとして述べたが、処理ユニット(具体的には、画像処理ソフトウェアツールによって使用される)と表示ユニットが、単一ユニットに組み合わされてもよいことは当業者に明らかである。好ましい実施形態は、処理ユニットを、画像処理をほぼ実時間で実行するプロセッサ能力を有するモバイル表示ユニット内に含める。
毛髪コンサルテーションツール装置の取り扱いを容易にするために、デジタルビデオカメラ及び照明装置がカメラ支持体に一体化され、それにより、照明モジュールとビデオカメラとの一体構成が規定されてもよい。詳細には、拡散照明モジュールの光源の位置及びカメラは、最適な方法で固定される。
更に、ミラー及び/又はディスプレイホルダが、カメラ支持体に組み込まれてもよい。したがって、好ましくは携帯型表示装置が、ディスプレイホルダ内に保持された場合、カメラ支持体は、従来のような仮想ミラーとして使用されてもよい。これにより、ヘアスタイリストが顧客の毛髪をスタイリングしている間に顧客が色変化の効果を調べることができる機会が提供される。更に、ディスプレイホルダは、携帯型ディスプレイホルダの利点を有するようにホルダから取り出され仮想360°ミラーを可能にする場合に、表示装置が効率的に給電されるように、表示装置のアキュムレータを充電する充電ユニットを備えてもよい。
好ましい実施形態によれば、毛髪コンサルテーションツール装置は、また、ビデオカメラによって記録された画像にモデルの頭及び毛髪が画像化されるように、ビデオカメラの焦点に配置された回転椅子又は台(即ち、回転装置)を含み、この回転椅子又は台は、ビデオカメラの焦点に配置されたまま、モデルの頭を、最大360°(即ち、完全)及び/又は特定角度工程(例えば、45°、60°、90°など)で左右に自由回転させることができる。回転椅子を使用することにより、カメラの前のモデルの定義された回転を達成することができる。したがって、回転椅子は、好ましくはモデルの頭が、好ましくは頭の中を通り、具体的には頭の中心を通る軸のまわりで回転できるようにする装置として定義される。したがって、モデルと、具体的にはモデルの頭及び毛髪は、自由回転中にデジタルビデオカメラの焦点にとどまる。あるいは、回転装置は、モデルが立っている台でもよい。あるいは、モデルが、前記デジタルビデオカメラの焦点に配置されたままで、自分自身のまわりで回転してもよい。
背景に対する毛髪領域のセグメント化を強化するために、所定の背景要素が、ビデオカメラから見てモデルの後ろに配置されてもよく、背景要素は、具体的には1つの定義された色を有する(単色背景)。適切な背景は、前記背景の前のモデルのマスキングを容易にするために画像加工技術でしばしば使用される、青色又は緑色背景である。別の選択肢は、顧客が現れる前に、環境(例えば、部屋又は背景)の画像を撮影することである。この画像の内容は、顧客が前景にいる間、背景(変更されない限り)として認識され得る。
本発明は、更に、以上述べたような毛髪コンサルテーションツール装置、又は毛髪色コンサルテーションのためにその一部分を使用する毛髪コンサルテーションのための方法を目的とする。方法は、詳細には、以下の工程を含む。
−照明装置及び/又はビデオカメラをセットアップ及び較正する工程。
−モデルのスチル画像を撮影し、必要に応じてスチル画像を較正する工程。
−スチル画像の他の画像領域から毛髪領域をセグメント化する工程。
−スチル画像内の毛髪領域を選択し、選択した毛髪領域を特定の色パターンと関連付ける工程。
−連続収集画像の各処理画像内の毛髪領域全体を、特定の色パターンに基づいてセグメント化し、各処理画像のヘアピースを定義する工程。
−ユーザによって決定された毛髪色を選択し、選択された毛髪色をあらかじめセグメント化されたヘアピースに適用する工程。
−画像を使用された表示装置の特性に合わせて調整し、処理画像に仮想毛髪マスクと共に提示する工程。
当然ながら、これらの工程において、本発明により、前述の他の全ての特徴が、単一特徴又は単一特徴の組み合わせで使用され得る。
更に、本発明は、前述の方法を、前述のような毛髪コンサルテーションツール装置の一部分である処理ユニット又はその一部で実施するコンピュータプログラム製品を目的とする。
本発明の好ましい実施形態による毛髪コンサルテーションツール装置の概略三次元図を示す。 図1による毛髪コンサルテーションツール装置によって実行される毛髪色コンサルテーションの方法の概略順序をフローチャートとして示す。 デジタルビデオカメラ及びモデルの頭及び毛髪に対するスポットライトモジュールの光源の構成の概略を側面図(図3a)と上面図(図3b)で示す。 デジタルビデオカメラ及びモデルの頭及び毛髪に対するスポットライトモジュールの光源の構成の概略を側面図(図3a)と上面図(図3b)で示す。
図1では、理髪店、美容院、小売店、又は更には家庭で使用され、モデルの頭及び毛髪3の画像を連続的に撮影するように適応されたデジタルビデオカメラ2を含む毛髪コンサルテーションツール装置1が示される。描かれた例では、モデル3は、人工マネキン人形である。しかしながら、人工マネキン人形の代わりに、当然ながら、モデル3として、生きている人間が、人間の頭及び毛髪の画像を撮影するデジタルビデオカメラ2の前に位置決めされてもよい。毛髪コンサルテーションツール装置1は、更に、デジタルビデオカメラ2によって記録された画像を収集するためのカメラインタフェースを有する処理ユニット4を備える。図1では、処理ユニット4は、概略ボックスとして示される。
処理ユニット4では、プロセッサ(図示せず)は、ビデオカメラ2によって記録されかつカメラインタフェースを介して処理ユニット4によって収集された画像を処理するために実装された画像処理ソフトウェアツールを備える。処理ユニット4は、更に、処理画像6を表示装置5に送信するための表示インタフェースを有する。表示装置5は、処理画像6を、例えばモデル3である顧客及び/又はユーザに提示するために提供される。
図1による実施形態では、表示装置5は、WLAN、Bluetoothなどの無線通信によって処理ユニット4の表示インタフェースに接続された携帯型表示装置5である。この無線通信を使用することによって、処理ユニット4と表示装置5との間で、処理画像6を処理ユニット4から表示装置5に送信し、携帯型表示装置5に入力されたユーザコマンドを処理ユニット4に送信することを可能にするデータ通信が実現される。
モデル3は、回転椅子7の最大360°の回転を可能にする回転椅子7(人工マネキン人形を配置するための回転台を含む)上に配置されて、その結果、モデルの頭及び毛髪3が、回転椅子7の各回転位置でビデオカメラ2によって記録された画像に撮像される。こうして、モデル3の最大360°の画像シーケンスを処理することができる。
図1から明らかなように、表示装置5が、回転椅子7上で回転中に人間モデル3によって保持され得る携帯型表示装置5(タブレットコンピュータなど)であると好都合である。したがって、モデル3は、回転椅子7と一緒に回転している間に、デジタルビデオカメラ2によって記録された自分の画像を、表示装置5上の処理画像6として実時間で見ることができる。
したがって、本発明は、壁に取り付けられた本物の鏡と対照的に、モデル3の頭及び毛髪の背面ビューを実時間で表示もできる仮想ミラーを作成する。
高品質で実時間の画像を作成するために、毛髪コンサルテーションツール装置1は、更に、デジタルビデオカメラ2によって記録されたモデル3の関心部分を照明するために、モデルの頭及び毛髪3の方に向けられた照明装置8を備える。照明装置8は、2つの異なる照明モジュール9及び10を含み、照明モジュール9は、拡散光モジュールであり、照明モジュール10は、スポットライトモジュールである。
拡散光モジュール9は、拡散光を生成し、示された例では、細長い管状蛍光灯として構成された4つの光源9.1〜9.4を含む。拡散光モジュール9の光源9.1〜9.4は、ビデオカメラ2と同じ平面に位置決めされてもよく、前記平面は、好ましい実施形態によるビデオカメラの光学軸とほぼ垂直に向けられる。好ましくは、ビデオカメラ2は、デジタルビデオカメラ2を取り囲むように配置された全ての光源9.1〜9.4の間のどこかに位置決めされる。これにより、デジタルビデオカメラ2とモデル3のビュー方向に対して拡散光モジュール9によって放射された光の等しい光強度分布が強化される。
光源は、モデル3に直接(図1に示されたように)面する直接光源であってもよく、又は箔、ミラー、スクリーンなど(図面に示されていない)の反射面を使用して、モデル3に間接的に面する間接光源であってもよい。
拡散光モジュール9の光源9.1〜9.4によって放射された光の散乱を高めるために、光源9.1〜9.4は、光源9.1〜9.4の前で半透明ガラス板などのディフューザ11によって覆われてもよい。
既に説明されたように、録画画像の質感が高いほど、画像処理ソフトウェアツールが、画像内の様々な領域間を正確に区別できるので、拡散光は、最適な画像分離を可能にする。
しかしながら、拡散順光(diffuse front light)、即ち、デジタルビデオカメラ2の光学軸と同じ方向に向けられた光で記録された画像は、画像の可塑性の喪失によって退屈なものと見なされることが多いので、モデルの毛髪3をスポットライトで照明するために、スポットライトモジュール10の別の光源10.1が提供され配置される。光源は、スポットライトをデジタルカメラの光学軸に対して0°〜90°の角度で、カメラの光学軸のまわりの任意の回転位置で放射するように調整可能である。このため、スポットライトモジュール10は、ヒンジ式ブラケット12によってカメラ支持体13に固定されてもよく、カメラ支持体13は、デジタルビデオカメラ2、ディフューザ11を備えた拡散光モジュール9、ヒンジ式ブラケット12を備えたスポットライトモジュール10、処理ユニット4、及びデジタルビデオカメラ2も取り囲む拡散光源9.1〜9.4によって規定されたフレーム内のどこかに位置決めされたミラー14を含む。ミラー14は、デジタルビデオカメラ2用の穴を有する従来のガラスミラー、ビデオカメラ2が半透明ミラーを通して画像を記録することを可能にする半透明ミラー、又はデジタルミラーであってよく、デジタルミラーは、デジタルビデオカメラ2によって記録された画像を実時間で表示するコンピュータ画面、テレビ画面又は可搬タブレットコンピュータなどの表示ユニットである。
図3a及び図3bを参照して、スポットライトモジュール10の光源10.1の好ましい構成が、所望の焦点にあるカメラ2並びにモデル3の頭及び毛髪に関して述べられる。図3aは、カメラ2と、回転椅子7に座ったモデル3の側面図を示す。カメラ2とモデル3の頭との間に光学軸16が表示される。
モデル3の頭及び毛髪を通り、具体的には所望の焦点も通る水平面17は、紙面に対して垂直に配置される。カメラ2は、水平面17とスポットライトモジュール10の光源10.1との間に(方位方向に)配置される。
図3bは、上からこの水平面17を見た図であり、極角α(光学軸16、又は光学軸16の垂直投影から始まり水平面17まで)が定義される。
光軸18は、スポットライト光源10.1からモデル3の頭に至り、モデル3の頭(カメラ2の焦点である)の光学軸16と交差するスポットライト光源10.1の光円錐の中心軸として定義される。方位角βは、光軸18と水平面17との間の角度として定義される。前記角度βの計数は、水平面17の上の空間に向かって、水平面17内で始まる。この方位角βは、好ましくは30°〜70°の範囲である。
カメラ2の位置により、カメラ2の光学軸16は、水平面17との方位角γを含む。この方位角γは、好ましくは10°〜15°の範囲である。
図3bは、上から見下ろした水平面17を示す。光源10.1、光軸18、カメラ2の光学軸16、及びカメラ2は、この水平面17から外れている。極角αは、この水平面17内で、光学軸16の垂直投影と光軸18の水平面17への垂直投影との間の角度として定義される。換言すると、極角αは、前記光学軸16を含む垂直面と、前記光軸18を含む垂直面との間の角度として定義される。前記角度βの計数は、光学軸16又はその水平面17への投影で始まる。この極角αは、好ましくは−45°〜+45°の範囲である。
前述のようなカメラ支持体13が、本発明の好ましい実施形態であるとことを理解されたい。しかしながら、カメラ支持体13の様々な部品(ビデオカメラ2、拡散光モジュール9、スポットライトモジュール10、ミラー14、処理ユニット4など)が、前述の機能を可能にするように適切に配置された別個の部品でよい。
光源9.1〜9.4及び10.1は、処理ユニット4によって制御されてもよく、即ち、例えば、処理ユニット4によってオンオフされ、較正されてもよい。好ましくは、拡散光モジュール9の光源9.1〜9.4及びスポットライトモジュール10の光源10.1は、冷白色ランプ(約4000K)である。
デジタルカメラ2のビュー方向に、必要に応じて、モデル3の後ろに単色背景15が配置される。背景色は、特に、モデル3を背景15から明確に区別し、したがって画像処理ソフトウェアツールの創作力を強化するために青色又は緑色であってよい。
以下で、毛髪コンサルテーションのプロセスが、毛髪色シミュレーションの好ましい例に基づいて述べられる。このプロセスは、主に、以下の工程を実行するのに適したソフトウェアツールが実装された、処理ユニット4のプロセッサによって実行される。必要なユーザ入力には、例えば、表示装置5が使用されてもよい。好ましい実施形態によれば、表示装置5は、タブレットコンピュータなどの携帯型表示装置であり、表示プロセッサに実装されたアプリケーションが、処理ユニット4との通信でユーザ対話及び入力を可能にする。
工程S1で、毛髪コンサルテーションツール装置1、具体的にはデジタルビデオカメラ2、照明装置8、処理ユニット4、及び表示装置5のシステム構成要素に電源投入した後で、照明装置8及びビデオカメラ2のセットアップと較正が実行される。好ましくは、モデル3は、較正工程を実行中に回転椅子7に既に位置決めされている。モデル3の変更後、それぞれの較正プロセスが、例えば携帯型表示装置5上のそれぞれ対応するユーザ入力によって、再び実行され、開始され得る。
照明光源の較正中、十分な毛髪セグメント化を確実にするために、画像処理ソフトウェアツールによって照明が試験され、同時に画像全体が実物のように描画される。このため、画像処理ソフトウェアツールは、輝度、色温度などの調整に関するフィードバックを照明装置8に提供して、画像処理ソフトウェアツールによって定義された記録画像の最適な結果が得られるまで、様々な照明モジュール9,10のうちの制御可能な光源9.1〜9.4及び10.1を調整してもよい。処理ソフトウェアは、画像を較正するカメラ設定を調整してもよい。好ましくは、カメラの白色点が設定され、露光時間が調整される。更に、カメラの絞りの変更が可能である。
白色点を設定するため、色較正は、標準白色又は灰色を表示するカメラの前に保持された表示装置5を調整することによって直接行われてもよい。利点は、カメラ2の色較正が、表示装置5の色較正を含むことである。
その後で又は並行して、毛髪の実物のような描写と、更なる工程で実行される毛髪の仮想色処理に十分な質感とを確実にするために、モデルの毛髪色に応じて、ビデオカメラ2の露光時間が決定される。
以下の工程S2は、モデル3の撮影されたスチル画像の較正である。この工程で、最初に、スチル画像が撮影され、例えば顔の一部の領域(例えば、皮膚)の明るさを選択的に変更することによって実物のような画像を描画するために、スチル画像が画像処理ソフトウェアツールによって較正される。例えば、皮膚を暗くすると画像が自然の見掛けになることが多い。画像処理ソフトウェアツールによって、記録画像に更なる自動調節ツールが適用されてもよい。最適処理された画像の決定パラメータは、記憶され、実時間動画を作成するために連続記録画像に以下のように適用される。例えば、毛髪領域の着色後に画像全体の輝度を低下させることができる。この考えは、毛髪領域内でより多くの情報を得る着色のためにより明るい画像を破棄することである。
スチル画像の較正後、スチル画像は、毛髪領域のセグメント化に向けられた次のプロセス工程S3を開始するために、表示装置5に表示される。この工程は、例えばタッチスクリーン表示装置5上でフィンガペインティグを使用する手動選択によって、毛髪領域を皮膚及び背景などの画像の他の領域から識別することができるユーザとの対話で実行されることが好ましい。これは、タッチスクリーンに表示されたスチル画像上のフィンガペインティングによって毛髪領域及び背景を選択的に容易に強調し、その情報を処理ユニット4に戻すことによって実行され得る。これは、毛髪領域を選択して毛髪と皮膚と背景との単純な区別を可能にする、容易な直感的プロセスである。
この工程S3は、システムがあらゆる種類の毛髪及び皮膚も自動認識する場合、本発明によって省略されてもよい。したがって、システムは、ライブラリを備える。このライブラリは、実行された事例から学習する「インテリジェント」であってよい。
次のプロセス工程S4では、画像処理ソフトウェアツールが、スチル画像内の全毛髪領域を選択し、この毛髪領域を特定のカラーパターンと関連付ける。カラーパターンは、例えばrgb色空間である。関連付けは、特定のカラーパターン値を、毛髪領域の画素として識別されている画素に割り当てることによって実行されてもよい。
毛髪領域を選択するために、また、画像処理技術で一般に周知なような顔の特徴のトラッキング機能が使用されてもよい。目、口、歯及び/又は顔若しくは背景の他の部分をスポッティングするために、更なるマスクが使用されてもよい。
毛髪領域全体のセグメント化は、他の画像領域に対して限定された毛髪マスクを作成することによって実行されてもよい。この毛髪マスクは、基本的に、自然の毛髪色パターン値を識別し、そのような特定範囲の色パターン値が、処理される画像内の毛髪を示す画素を選択することを可能にすることに基づく。
次のプロセス工程S5では、毛髪領域全体が、特定の色パターン(即ち、色パターン値範囲)に基づいて、連続収集画像(またスチル画像の第1の画像として含む)の各処理画像内でセグメント化され、各処理画像の仮想毛髪マスクを作成する。
次の工程S6では、ユーザによって選択された毛髪色が、仮想毛髪マスクに適用される。この場合、ユーザは、望みの毛髪色をまだ決定しておらず、ユーザは、表示装置5上で、画像装置5に表示された色パターンから特定の色を選択するように促されることがある。選択された毛髪色の仮想毛髪への適用は、処理ユニット4内の画像処理ソフトウェアツールによって行なわれる。ヘアピースの着色は、元の毛髪のヒストグラムを、選択された毛髪画像のヒストグラムに「ワーピング」することによって行なわれてもよい。その場合、毛髪は、元画像の上に積層される。
次に、S6から得た画像が、表示の準備をするように処理される。この処理は、使用されたディスプレイに関する輝度及びガンマ値及び/又は色補正の修正を含むことができる。また、画像の解像度を表示装置の解像度にぴったりと適合させることもできる。
画像を処理した後で、処理画像は、所望の色の仮想毛髪マスクを有するモデル3の画像を提示するために表示装置5に送信される(工程S7)。
処理画像6を表示装置5に送信した後で、処理ユニット4のプロセッサは、工程S5に戻り、処理される次の画像の新しいヘアピースを定義し始める。
このプロセスは、ユーザが毛髪コンサルテーションツール装置を停止するか又は遮断するまで続く。これにより、モデル3は、ユーザによって選択された毛髪色に毛髪色が変更されたビューの実時間画像を受け取っている間に頭を回転させることができる。
当然ながら、処理画像を通信ネットワークを介して、例えばソーシャルネットワークと共有するか、又は画像を電子メールによってユーザに送信するために、連続的に記憶された処理画像で構成されたスチル画像又は動画を記憶することができる。画像は、コンサルテーション及び適用プロセスを文書化するために、データベースに記憶されてもよい。
提案された毛髪コンサルテーションツール装置によって、スタイリストが消費者及び/又はユーザの毛髪を実際に着色する前に、消費者の毛髪色の変化をシミュレートする強力なツールが確立された。
所望の毛髪色が選択されたとき、本発明によるツールを、必要に応じてモデルの毛髪の別の測定値と関連して、所望の毛髪色を得るターゲット毛髪色製品を作成することができるシステムと共に使用し、必要に応じてターゲット毛髪色製品を作成することができる。
本明細書に開示された寸法及び値は、記載された正確な数値に厳密に限定されないことは理解されたい。むしろ、特に断らない限り、そのような寸法はそれぞれ、記載された値とその値の前後の機能的等価な範囲の両方を意味するものとする。例えば、「40mm」と開示された寸法は、「約40mm」を意味するものである。
参照番号リスト
Figure 2017216732

Claims (15)

  1. 毛髪コンサルテーションツール装置であって、モデルの頭及び毛髪(3)の画像を連続的に撮影するように適応されたデジタルビデオカメラ(2)と、前記デジタルビデオカメラ(2)によって記録された画像を収集するためのカメラインタフェースを有する処理ユニット(4)と、前記収集画像を処理するために実装された画像処理ソフトウェアツール及び処理画像(6)を表示装置(5)に送信するための表示インタフェースとを含むプロセッサと、前記処理画像(6)を提示するための表示装置(5)と、を備え、
    前記毛髪コンサルテーションツール装置(1)が、前記デジタルビデオカメラ(2)によって撮像される前記モデル(3)の一部分を照明するために前記モデルの頭及び毛髪(3)の方に向けられた照明装置(8)を備え、前記照明装置(8)が、少なくとも2つの照明モジュール(9、10)を含み、前記2つの照明モジュールの一方が、拡散光を生成する拡散光モジュール(9)であり、前記2つの照明モジュールの他方が、スポットライトを作成するスポットライトモジュール(10)であり、前記スポットライトモジュール(10)の光源(10.1)が、前記モデル(3)をスポットライトで照明するように配置され、前記光源(10.1)が、前記デジタルビデオカメラ(2)の光学軸に対して0°〜90°の角度でスポットライト円錐を放射するように調整可能であり、前記デジタルビデオカメラ(2)は、前記モデルの頭及び毛髪(3)の背面ビューからの前記処理画像(6)を提示するための前記表示装置(5)から離れており、前記拡散光モジュール(9)の色温度および前記スポットライトモジュール(10)の色温度が前記画像処理ソフトウェアに既知であり、前記プロセッサは、前記拡散光モジュール(9)の前記色温度および前記スポットライトモジュール(10)の前記色温度に部分的に基づいて、前記収集画像から前記モデル(3)の毛髪領域をセグメント化するよう構成されることを特徴とする、毛髪コンサルテーションツール装置。
  2. 前記スポットライトモジュール(10)の前記光源(10.1)が、前記スポットライト円錐を放射するように適応され、前記スポットライト円錐の光軸(18)が、前記モデルの頭及び毛髪を通る水平面(17)と、前記光源(10.1)から前記モデルの頭及び毛髪(3)に至る前記光軸(18)との間で測定された30°〜70°の方位角βで位置決めされることを特徴とする請求項1に記載の毛髪コンサルテーションツール装置。
  3. 前記光学軸を含む垂直面と前記光軸を含む垂直面との間で定義される極角(α)が、−45°〜+45°の範囲であることを特徴とする、請求項2に記載の毛髪コンサルテーションツール装置。
  4. 前記極角(α)と前記方位角(β)との範囲の和として示される前記スポットライトによってトランスクライブされる、具体的には、光強度の50%超が放射される、領域が、10°〜20°未満であることを特徴とする請求項3に記載の毛髪コンサルテーションツール装置。
  5. 前記拡散光モジュール(9)の少なくとも1つの光源(9.1〜9.4)が、前記ビデオカメラ(2)と同じ平面内に位置決めされることを特徴とする請求項1〜4のいずれか一項に記載の毛髪コンサルテーションツール装置。
  6. 前記表示装置(5)が、前記処理ユニット(4)の前記表示インタフェースに接続された携帯型表示装置(5)であることを特徴とする請求項1〜5のいずれか一項に記載の毛髪コンサルテーションツール装置。
  7. 前記モデルの頭及び毛髪(3)が前記デジタルビデオカメラ(2)によって記録される画像に撮像されるように、前記デジタルビデオカメラ(2)の焦点に、回転椅子又は台(7)が配置され、前記回転椅子又は台(7)が、前記デジタルビデオカメラ(2)の焦点に配置されたままで前記モデルの頭(3)の回転を可能にすることを特徴とする請求項1〜6のいずれか一項に記載の毛髪コンサルテーションツール装置。
  8. 前記デジタルビデオカメラ(2)が、高ダイナミックレンジ方法を使用するHDRカメラであることを特徴とする、請求項1〜7のいずれか一項に記載の毛髪コンサルテーションツール装置。
  9. 前記表示装置(5)が、処理画像(6)を示し、入力ツールを使用してシステムをセットアップしかつ/又は前記処理画像(6)に作用するユーザ入力を可能にするアプリケーションを、前記表示装置(5)上で実行するように適応された表示プロセッサを含むことを特徴とする請求項1〜8のいずれか一項に記載の毛髪コンサルテーションツール装置。
  10. 前記入力ツールが、タッチスクリーン表示装置であり、ユーザ入力として、具体的には、前記カメラによって撮影され、前記画像内の毛髪及び皮膚領域を選択するための前記タッチスクリーン上に表示された画像の前記画像上のフィンガペインティングを可能にすることを特徴とする請求項9に記載の毛髪コンサルテーションツール装置。
  11. 前記処理ユニット(4)が、毛髪色シミュレーションを実行するように適応され、前記毛髪色シミュレーションにおいて、前記モデルの毛髪(3)の毛髪色が、前記連続収集画像内の元の毛髪色をユーザ入力により決定可能な色に置き換えることによって修正され、前記処理画像(6)を前記置き換えた毛髪色で前記表示装置(5)に連続的に提示することを特徴とする請求項1〜10のいずれか一項に記載の毛髪コンサルテーションツール装置。
  12. 前記処理ユニット(4)の前記プロセッサが、
    −前記照明装置及び/又は前記ビデオカメラをセットアップ及び較正する工程(S1)、
    −前記モデルのスチル画像を撮影し、必要に応じて前記スチル画像を較正する工程(S2)、
    −前記スチル画像の他の画像領域から毛髪領域をセグメント化する工程(S3)、
    −前記スチル画像内の前記毛髪領域を選択し、前記選択した毛髪領域を特定の色パターンと関連付ける工程(S4)、
    −前記連続収集画像の各処理画像内の毛髪領域全体を、前記特定の色パターンに基づいてセグメント化し、各処理画像のヘアピースを定義する工程(S5)、
    −前記ユーザによって決定された毛髪色を選択し、前記選択された毛髪色を前記あらかじめ定義されたヘアピースに適用する工程(S6)、
    −使用される前記表示装置の特性を調整[具体的には、色較正を含む]する工程、
    −前記処理画像を、前記選択された毛髪色が適用された前記ヘアピースと共に提示する工程(S7)、
    のうちの少なくとも選択したものを実行するように適応されることを特徴とする請求項11に記載の毛髪コンサルテーションツール装置。
  13. 前記表示装置(5)の表示プロセッサが、
    −前記処理ユニットによって処理された前記画像を前記表示装置上に連続的に提示する機能、
    −前記毛髪色シミュレーション用の開始ボタンを前記ディスプレイ上に提示し、前記開始ボタンの操作時に開始信号を前記処理ユニットに送信する機能、
    −毛髪色選択フィールドを前記ディスプレイ上に提示し、前記ユーザによる毛髪色の選択時に毛髪色値を前記処理ユニットに送信する機能、
    −色合いレギュレータを前記ディスプレイ上に提示し、前記ユーザによる色合いの選択時に選択された色合い値を前記処理ユニットに送信する機能、
    のうちの少なくとも選択されたものを実行するアプリケーションを実行するように適応されることを特徴とする請求項9〜12のいずれか一項に記載の毛髪コンサルテーションツール装置。
  14. 請求項1〜13のいずれか一項に記載の毛髪コンサルテーションツール装置を使用して毛髪コンサルテーションする方法であって、
    −拡散光モジュール、スポットライトモジュール、及びビデオカメラをセットアップ及び較正する工程(S1)と、
    −モデルのスチル画像を撮影し、前記スチル画像を較正する工程(S2)と、
    −前記毛髪コンサルテーションツールの処理ユニット上で、処理画像を生成するために前記スチル画像の他の画像領域から毛髪領域をセグメント化する工程(S3)であって、前記拡散光モジュールの色温度および前記スポットライトモジュールの色温度が前記処理ユニットに既知であり、前記処理ユニットは、前記拡散光モジュールの前記色温度および前記スポットライトモジュールの前記色温度に部分的に基づいて、モデルの毛髪領域をセグメント化するよう構成される、毛髪領域をセグメント化する工程と、
    −前記スチル画像内の前記毛髪領域の選択を受信し、前記選択した毛髪領域を特定の色パターンと関連付ける工程(S4)と、
    −前記毛髪コンサルテーションツールの処理ユニット上で、連続収集画像の各画像内の前記毛髪領域を、前記特定の色パターンに基づいてセグメント化し、各処理画像のヘアピースを定義する工程(S5)と、
    −ユーザによって決定された毛髪色の選択を受信し、前記選択した毛髪色を前記ヘアピースに適用する工程(S6)と、
    −画像を、前記毛髪コンサルテーションツールの処理ユニット上で、表示装置の特性に基づいて調整し、前記画像を前記仮想ヘアピースと共に提示する工程(S7)と、
    を含むことを特徴とする方法。
  15. 請求項1〜13のいずれか一項に記載の毛髪コンサルテーションツール装置(1)として、プロセッサを備えた処理ユニットを有するコンピュータに、請求項14に記載の方法を実行させるコンピュータプログラム。
JP2017151235A 2013-04-23 2017-08-04 毛髪コンサルテーションツール装置及び方法 Pending JP2017216732A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP13164821.4A EP2796070A1 (en) 2013-04-23 2013-04-23 Hair consultation tool arrangement and method
EP13164819.8A EP2796069A1 (en) 2013-04-23 2013-04-23 Hair consultation tool arrangement and method
EP13164819.8 2013-04-23
EP13164821.4 2013-04-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016510728A Division JP6224822B2 (ja) 2013-04-23 2014-04-22 毛髪コンサルテーションツール装置及び方法

Publications (1)

Publication Number Publication Date
JP2017216732A true JP2017216732A (ja) 2017-12-07

Family

ID=50736215

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016510728A Expired - Fee Related JP6224822B2 (ja) 2013-04-23 2014-04-22 毛髪コンサルテーションツール装置及び方法
JP2017151235A Pending JP2017216732A (ja) 2013-04-23 2017-08-04 毛髪コンサルテーションツール装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016510728A Expired - Fee Related JP6224822B2 (ja) 2013-04-23 2014-04-22 毛髪コンサルテーションツール装置及び方法

Country Status (6)

Country Link
US (1) US10251462B2 (ja)
EP (1) EP2988624B1 (ja)
JP (2) JP6224822B2 (ja)
BR (1) BR112015026910A2 (ja)
CA (1) CA2907718A1 (ja)
WO (1) WO2014176215A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018126436A1 (de) 2017-11-09 2019-05-09 Shimano Inc. Dreherfassungsvorrichtung und Bremsvorrichtung mit einer Dreherfassungsvorrichtung
KR20210121216A (ko) * 2019-03-01 2021-10-07 로레알 맞춤형 헤어 염색제 제형 생성을 위한 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015026910A2 (pt) 2013-04-23 2017-07-25 Procter & Gamble arranjo de ferramenta para consulta de cabelo e método
US10849408B2 (en) * 2016-01-21 2020-12-01 Alison M. Skwarek Virtual hair consultation
KR101664940B1 (ko) * 2016-05-12 2016-10-12 (주)엘리비젼 가상현실을 이용한 헤어 스마트 미러 시스템
DE102016213754A1 (de) * 2016-07-27 2018-02-01 Henkel Ag & Co. Kgaa Verfahren, Einrichtung und Datenverarbeitungsvorrichtung zur computergestützten Haarfarbberatung
DE102016225656A1 (de) * 2016-12-20 2018-06-21 Henkel Ag & Co. Kgaa Kamera zur Haaranalyse mit Kalibiervorrichtung
DE102016225678A1 (de) 2016-12-20 2018-06-21 Henkel Ag & Co. Kgaa Verfahren und Vorrichtung zum Ermitteln eines Welligkeitswerts von Haaren und Verfahren zum Ermitteln eines Haarpflegeprodukts
DE102017215791A1 (de) * 2017-09-07 2019-03-07 Henkel Ag & Co. Kgaa Verfahren und Vorrichtung zum Ermitteln eines Glanzwerts von Haaren
JP2020136971A (ja) * 2019-02-21 2020-08-31 パナソニックIpマネジメント株式会社 後姿見システムおよび後姿見方法
US10849832B2 (en) 2019-04-05 2020-12-01 L'oreal Custom formulation systems
US11160353B2 (en) 2019-04-05 2021-11-02 L'oreal Bead assembly for custom formulation systems
US11076683B2 (en) 2019-04-05 2021-08-03 L'oreal Systems and methods for creating custom formulations
US11136233B2 (en) 2019-04-05 2021-10-05 L'oreal Fluid formulation assembly for custom formulation systems
DE102022108578A1 (de) * 2022-04-08 2023-10-12 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren zum Kalibrieren eines Hintergrundwiedergabe- und Aufnahmesystems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100303A (ja) * 1999-09-29 2001-04-13 Make Softwear:Kk 写真自販機
JP2006109861A (ja) * 2004-10-12 2006-04-27 Asahi Techno Kk モニター
JP2010028596A (ja) * 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
WO2011158143A1 (en) * 2010-06-17 2011-12-22 Koninklijke Philips Electronics N.V. Display and lighting arrangement for a fitting room
JP2012005110A (ja) * 2010-05-19 2012-01-05 Tanabe Norio 遠隔操作する撮像装置付きの鏡台
JP6224822B2 (ja) * 2013-04-23 2017-11-01 ザ プロクター アンド ギャンブル カンパニー 毛髪コンサルテーションツール装置及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001032051A1 (fr) 1999-10-29 2001-05-10 Kao Corporation Systeme de conseil pour colorant capillaire
DE10142526C5 (de) * 2001-08-30 2006-02-16 Wella Ag Verfahren für eine Haarfarbberatung
WO2006132686A2 (en) 2005-06-03 2006-12-14 Sarnoff Corporation Method and apparatus for designing iris biometric systems for use in minimally
EP1857015A1 (en) 2006-05-16 2007-11-21 Ching-Yu Lin Hairstyling method and apparatus for the same
US8599306B2 (en) 2008-08-20 2013-12-03 Matthew Rolston Photographer, Inc. Cosmetic package with operation for modifying visual perception
US8270682B2 (en) * 2008-11-25 2012-09-18 Eastman Kodak Company Hair segmentation
US20110129210A1 (en) * 2009-12-01 2011-06-02 Dr. Elliot McGucken Heros journey 9shooter bracket and totem potem pole micro mini mount apparatus, system, and method for connecting multiple cameras, stills cameras, video cameras, DSLRs, monitors, microphones, flashes, radio receivers, recording devices, mounts, power packs, and more
CA2901439C (en) 2013-03-01 2023-04-04 Fundacio Hospital Universitari Vall D'hebron - Institut De Recerca Peptides for use in the topical treatment of retinal neurodegenerative diseases, in particular in early stages of diabetic retinopathy and other retinal diseases in which neurodegeneration plays an essential role

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100303A (ja) * 1999-09-29 2001-04-13 Make Softwear:Kk 写真自販機
JP2006109861A (ja) * 2004-10-12 2006-04-27 Asahi Techno Kk モニター
JP2010028596A (ja) * 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
JP2012005110A (ja) * 2010-05-19 2012-01-05 Tanabe Norio 遠隔操作する撮像装置付きの鏡台
WO2011158143A1 (en) * 2010-06-17 2011-12-22 Koninklijke Philips Electronics N.V. Display and lighting arrangement for a fitting room
JP6224822B2 (ja) * 2013-04-23 2017-11-01 ザ プロクター アンド ギャンブル カンパニー 毛髪コンサルテーションツール装置及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018126436A1 (de) 2017-11-09 2019-05-09 Shimano Inc. Dreherfassungsvorrichtung und Bremsvorrichtung mit einer Dreherfassungsvorrichtung
KR20210121216A (ko) * 2019-03-01 2021-10-07 로레알 맞춤형 헤어 염색제 제형 생성을 위한 시스템
KR102610080B1 (ko) 2019-03-01 2023-12-06 로레알 맞춤형 헤어 염색제 제형 생성을 위한 시스템

Also Published As

Publication number Publication date
BR112015026910A2 (pt) 2017-07-25
CA2907718A1 (en) 2014-10-30
US20140313302A1 (en) 2014-10-23
US10251462B2 (en) 2019-04-09
WO2014176215A2 (en) 2014-10-30
EP2988624B1 (en) 2019-11-06
WO2014176215A3 (en) 2015-01-29
JP2016524363A (ja) 2016-08-12
EP2988624A2 (en) 2016-03-02
JP6224822B2 (ja) 2017-11-01

Similar Documents

Publication Publication Date Title
JP6224822B2 (ja) 毛髪コンサルテーションツール装置及び方法
US20160112616A1 (en) Hair Consultation Tool Arrangement and Method
CN104113688B (zh) 一种图像处理方法及其电子设备
CN110248450B (zh) 一种结合人物进行灯光控制的方法及装置
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
KR101520778B1 (ko) 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
US20110117959A1 (en) Modifying visual perception
CN101383907B (zh) 图像处理装置和图像处理方法
CN104717422B (zh) 显示设备以及显示方法
CN106406504B (zh) 人机交互界面的氛围渲染系统与方法
AU2014202744A1 (en) System and method for re-configuring a lighting arrangement
US20180332239A1 (en) Background replacement utilizing infrared light and visible light
CN110651303A (zh) 便携式色度键合成和照明调节系统
CN208013970U (zh) 一种生物特征识别系统
JP7463774B2 (ja) メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
CN108184286A (zh) 灯具的控制方法和控制系统以及电子设备
JP2005092588A (ja) 合成画像プリント装置及び画像編集方法
JP2024037793A (ja) 情報処理装置、情報処理方法及びプログラム
CN109618089A (zh) 智能化的拍摄控制器、管理控制器及拍摄方法
Halle et al. Lightkit: A lighting system for effective visualization
CN107145217A (zh) 智能交互系统及智能交互方法
US20170270969A1 (en) Real time computer display modification
CN108235831A (zh) 灯具的控制方法和控制系统以及电子设备
CN205721623U (zh) 智能交互系统
CN109414120B (zh) 用于提供语义信息的装置以及操作其的方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171130

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20171130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20180918

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190521