JP2017224130A - メイクアップ用画像処理方法、メイクアップ用画像処理装置、及びメイクアップ用画像処理プログラム - Google Patents

Abstract

【課題】ユーザーが選択したメイクアップを支援するための参照画像をハーフミラーに鮮明に表示できるように加工するメイクアップ用画像処理方法を提供する。
【解決手段】メイクアップを補助するための参照画像に対して画像処理を実施するメイクアップ用画像処理方法であって、参照画像を、ハーフミラーを用いたメイクアップの補助に適した画像に加工する画像加工工程を包含する。画像加工工程において、参照画像の陰影除去、及び／又は輝度調整が実施される。
【選択図】図２

Description

本発明は、メイクアップを補助するための参照画像に対して画像処理を実施するメイクアップ用画像処理方法、メイクアップ用画像処理装置、及びメイクアップ用画像処理プログラムに関する。

メイクは流行性に富み、またその変遷も非常に速いため、メイクアップのバリエーションは、豊富で複雑なものとなっている。これに伴い、ユーザーがメイクアップの見本とする見本画像（本発明の参照画像に相当）に近づけるようなメイクアップを補助する装置として、ユーザーの鏡像を映し出す機能と、メイクアップの見本画像を表示するディスプレイ装置の機能とを有する情報表示装置が従来から提案されている（例えば、特許文献１を参照）。

特許文献１の情報表示装置は、人物の顔を撮像するイメージセンサーと、イメージセンサーによって撮像された人物の顔の映像から当該顔に対応付けられた参照情報を抽出する制御部と、人物の顔の鏡像と抽出された参照情報とを重畳して表示する表示部とを備えるものである。

特開２０１４−２３１２７号公報

情報表示装置は、ユーザー自身の鏡像と抽出された参照情報（見本画像を含む。）とを重ね合わせて表示することにより、見本画像を参照しつつ、リアルタイムにユーザー自身の顔の状態を確認しながらメイクアップができるものである。特許文献１の情報表示装置においては、ディスプレイ側から入射する光の一部がハーフミラーを透過し、ディスプレイの映像がハーフミラーの反対側に映し出される。ハーフミラーは鏡としての機能を有するため、ハーフミラーに映ったユーザーの顔にディスプレイの映像が重畳して表示される。

しかしながら、見本画像をユーザーによって任意に選択された顔画像とし、ユーザーが見本画像における各部分の輪郭、濃淡、又は色彩などの顔の特徴を示す細部を参照する場合、見本画像に存在する陰影によって、ハーフミラーに表示される見本画像の細部を一様に観察し難くなるという問題がある。見本画像の顔における陰影領域はディスプレイ側から入射する光の強度が弱い領域であるため、ハーフミラーに対しては暗い領域として投影される。ハーフミラーにおける陰影が投影された暗い領域は鏡としての機能が強くなり、見本画像よりもユーザーの顔の方が相対的に鮮明となり、ユーザー側から見本画像が見難くなる。一方、見本画像において明るく表示されている領域は、ディスプレイ側から入射する光の強度が強い領域であるため、ハーフミラーに対しては明るい領域として映る。ハーフミラーにおける明るい領域は鏡としての機能が弱くなり、見本画像がユーザーの顔の方よりも相対的に鮮明となり、ユーザー側からユーザーの顔の方が見難くなる。よって、見本画像に陰影があると、陰影によって明るくなっている領域、及び暗くなっている領域の細部を一様に観察することができない。また、人の顔は立体的な形状であるため、全方位から等輝度の光が照射されるような特殊な光源下で撮影された画像でない限り、自然な環境下で撮影された画像であれば少なからず陰影が生じる。従って、特許文献１の情報表示装置では、人物の顔を撮像した写真画像、及びこれに類似する陰影のある顔イラスト等は、見本画像として各部分の輪郭、濃淡、又は色彩などの顔の特徴を示す細部を参照する目的においては利用が難しい。このように、従来の情報表示装置では、非常に制約された条件下での見本画像しか利用できない点で改善の余地があった。

本発明は、上記問題点に鑑みてなされたものであり、ユーザーが選択したメイクアップを支援するための参照画像をハーフミラーに鮮明に表示できるように加工するメイクアップ用画像処理方法、メイクアップ用画像処理装置、及びメイクアップ用画像処理プログラムを提供することを目的とする。

上記課題を解決するための本発明に係るメイクアップ用画像処理方法の特徴構成は、
メイクアップを補助するための参照画像に対して画像処理を実施するメイクアップ用画像処理方法であって、
前記参照画像を、ハーフミラーを用いたメイクアップの補助に適した画像に加工する画像加工工程を包含することにある。

本構成のメイクアップ用画像処理方法によれば、メイクアップの参照としたい画像が、加工せずそのままハーフミラーに映し出した状態では細部が一様に観察できず参照画像として利用し難いものであっても、画像加工工程により参照画像を、ハーフミラーを用いたメイクアップの補助に適した画像に加工することができるため、メイクアップの補助に利用できる画像をユーザーに提供することができる。

本発明に係るメイクアップ用画像処理方法において、
前記画像加工工程において、前記参照画像の陰影除去、及び／又は輝度調整が実施されることが好ましい。

本構成のメイクアップ用画像処理方法によれば、参照画像の陰影が強いことにより、加工せずそのままハーフミラーに映し出した状態では細部が一様に観察できず参照画像として利用できない場合において、参照画像から陰影が除去され、さらに必要に応じて参照画像の輝度が調整される。これにより、メイクアップの補助に利用できる画像をユーザーに提供することができる。

本発明に係るメイクアップ用画像処理方法において、
前記陰影除去において、前記参照画像の低周波成分が低減され、低減後の画像が表示されることが好ましい。

本構成のメイクアップ用画像処理方法によれば、陰影除去において、参照画像から低周波成分が低減されるため、陰影が低減された画像が得られる。これにより、高周波成分が占める割合が相対的に増加して参照画像における各部分の輪郭、濃淡、及び色彩等の細部が一様に観察できる画像がハーフミラーに映し出され、ユーザーは参照画像からメイクアップのための情報を的確に享受できる。

本発明に係るメイクアップ用画像処理方法において、
前記低周波成分の低減は、陰影に関連する低周波成分を低減させるハイパスフィルタ又はバンドパスフィルタを用いて実施されることが好ましい。

本構成のメイクアップ用画像処理方法によれば、ハイパスフィルタ又はバンドパスフィルタを用いることにより、参照画像からハイパスフィルタ又はバンドパスフィルタに応じた所定の範囲の低周波成分が低減される。このため、参照画像から陰影に関連する所定の範囲の低周波成分が低減された細部が一様に観察できる画像がハーフミラーに映し出され、ユーザーは参照画像からメイクアップのための情報をより的確に享受できる。

本発明に係るメイクアップ用画像処理方法において、
前記陰影除去において、前記参照画像にウェーブレット変換、フーリエ変換、又は平滑化処理を行うことが好ましい。

本構成のメイクアップ用画像処理方法によれば、陰影除去において参照画像にウェーブレット変換、フーリエ変換、又は平滑化処理を行うことにより、参照画像には夫々の処理に対応する陰影除去が施される。これにより、参照画像から夫々の処理に応じて陰影が低減された細部が一様に観察できる画像がハーフミラーに映し出され、ユーザーは参照画像からメイクアップのための情報をより的確に享受できる。

本発明に係るメイクアップ用画像処理方法において、
前記輝度調整は、前記ハーフミラー越しにユーザーが前記参照画像を確認しながら実施されることが好ましい。

本構成のメイクアップ用画像処理方法によれば、輝度調整は、ハーフミラー越しにユーザーが参照画像を確認しながら実施されるため、ユーザーの感覚に合わせて参照画像の細部が一様に観察できるように調整することができる。このため、参照画像を実際に使用するユーザーの感覚に適した画像に加工することができる。

本発明に係るメイクアップ用画像処理方法において、
前記画像加工工程は、前記参照画像のうちメイクアップの際に参照する部分に対して実施されることが好ましい。

本構成のメイクアップ用画像処理方法によれば、画像加工工程は、参照画像のうちメイクアップの際に参照する部分に対して実施されるものである。このため、参照に必要な部分のみが加工され、参照されない部分において参照画像とユーザーの顔の画像との間にズレなどがあっても、ユーザーは気にせずに参照画像をメイクアップの補助に利用できる。また、参照画像のうち加工する範囲を狭めることができるため、迅速に処理ができる。

本発明に係るメイクアップ用画像処理方法において、
前記画像加工工程は、前記参照画像をユーザーの要望に応じて変形させる画像変形工程を包含することが好ましい。

本構成のメイクアップ用画像処理方法によれば、参照画像をユーザーの要望に応じて変形させる画像変形工程を実行することにより、参照画像とユーザーの顔の画像との間で顔パーツの位置や形等に差異があっても、ユーザーの顔に対応するように変形した画像が得られる。これにより、ユーザーが選択できる参照画像の幅を広げることができる。

本発明に係るメイクアップ用画像処理方法において、
前記画像変形工程において、前記参照画像が拡大又は縮小されることが好ましい。

本構成のメイクアップ用画像処理方法によれば、画像変形工程により、参照画像を拡大又は縮小することができるため、参照画像とユーザーの顔の画像との間でサイズに差異が生じても、ユーザーの顔に対応するように拡大又は縮小された画像が得られる。これにより、参照画像を画像のサイズや種類に関係なく利用でき、ユーザーが選択できる参照画像の幅を広げることができる。また、参照画像の拡大又は縮小により、参照画像の顔の一部又は全体を表示することができるため、ユーザーの要望に応じて顔の一部又は全体のメイクアップに対応した画像を提供することができる。

本発明に係るメイクアップ用画像処理方法において、
前記画像加工工程によって加工された画像に基づいて、ユーザーにアドバイスを提供する情報提供工程をさらに包含することが好ましい。

本構成のメイクアップ用画像処理方法によれば、情報提供工程により、参照画像を加工して得られた画像に基づいて、ユーザーにアドバイスを提供することができるため、ユーザーは個別の参照画像に基づいたアドバイスを参照しながらメイクアップをすることができる。

上記課題を解決するための本発明に係るメイクアップ用画像処理装置の特徴構成は、
メイクアップを補助するための参照画像に対して画像処理を実施するメイクアップ用画像処理装置であって、
前記参照画像を、ハーフミラーを用いたメイクアップの補助に適した画像に加工する画像加工手段を備えることにある。

本構成のメイクアップ用画像処理装置によれば、メイクアップの参照としたい画像が、加工せずそのままハーフミラーに映し出した状態では細部が一様に観察できず参照画像として利用し難いものであっても、画像加工手段により参照画像を、ハーフミラーを用いたメイクアップの補助に適した画像に加工することができるため、メイクアップの補助に利用できる画像をユーザーに提供することができる。

上記課題を解決するための本発明に係るメイクアップ用画像処理プログラムの特徴構成は、
コンピューターを、メイクアップを補助するための参照画像をハーフミラーを用いたメイクアップの補助に適した画像に加工する画像加工手段として機能させることにある。

本構成のメイクアップ用画像処理プログラムによれば、メイクアップの参照としたい画像が、加工せずそのままハーフミラーに映し出した状態では細部が一様に観察できず参照画像として利用し難いものであっても、メイクアップ用画像処理プログラムを実行することにより参照画像を、ハーフミラーを用いたメイクアップの補助に適した画像に加工することができるため、メイクアップの補助に利用できる画像をユーザーに提供することができる。

図１は、メイクアップの際にユーザーが利用するメイクアップ補助具の使用状態説明図である。 図２は、本発明に係るメイクアップ用画像処理方法の手順を示すフローチャートである。 図３は、本発明に係るメイクアップ用画像処理方法における画像加工工程の説明図である。 図４は、本発明に係るメイクアップ用画像処理方法における画像変形工程の説明図である。 図５は、本発明に係るメイクアップ用画像処理方法を顔の一部で実施する場合の説明図である。 図６は、本発明に係るメイクアップ用画像処理装置を示すブロック図である。

以下、本発明に係るメイクアップ用画像処理方法、メイクアップ用画像処理装置、及びメイクアップ用画像処理プログラムに関する実施形態について、図面を参照して説明する。なお、本発明は、以下に説明する実施形態や図面に記載される構成に限定されることを意図しない。

＜メイクアップ用画像処理方法＞
本発明に係るメイクアップ用画像処理方法について説明する前に、ハーフミラーを用いたメイクアップについて説明する。図１は、メイクアップの際にユーザーが利用するメイクアップ補助具５０の使用状態説明図である。図１（ａ）は、メイクアップ補助具５０を使用しながらメイクアップをしているユーザーを側方から見た図である。図１（ｂ）は、メイクアップ補助具５０を使用しながらメイクアップをしているユーザーを斜め後方から見た図である。メイクアップ補助具５０は、図１（ａ）に示すように、ユーザー側からハーフミラー２０及び情報表示機器１１が順に配置される。ハーフミラー２０と情報表示機器１１との間には、両者を上部で接続する距離設定部３０が設けられ、ハーフミラー２０と情報表示機器１１とが所定の間隔で固定される。本発明に係るメイクアップ用画像処理方法において用いられるハーフミラー２０は、入射光の一部を透過し、その他の部分を反射するものであって、必ずしも入射光の１／２を透過するものに限らない。また、ハーフミラー２０としては、汎用されているハーフミラーだけでなく、入射光の一部を透過し、その他の部分を反射する機能を有するものであればよく、例えば、入射光の一部を反射するシートをガラスや樹脂などの平板に張り合わせたものであってもよい。また情報表示機器１１に対する角度や厚み等を変更することによりユーザーの好みに応じて透過率を調整可能なものであってもよい。情報表示機器１１は、図１（ｂ）に示すように、ユーザー側の面Ｆ１に表示部１２を有し、表示部１２は参照画像１０を表示する。距離設定部３０は、情報表示機器１１における参照画像１０が表示されている面Ｆ１と、参照画像１０に対面するハーフミラー２０の面Ｆ２とが対向した状態で離間するように、情報表示機器１１とハーフミラー２０との距離を設定する。情報表示機器１１の参照画像１０は、面Ｆ２に投影され、ハーフミラー２０を通過してハーフミラー２０の面Ｆ２と反対側の面Ｆ３に映し出される。ハーフミラー２０の面Ｆ３には、ユーザー自身の鏡像が映り込む。これにより、ハーフミラー２０に参照画像１０が映し出されたところに、ユーザー自身の鏡像である画像を重ねることができる。従って、ユーザーはハーフミラー２０に映し出されたユーザー自身の鏡像を確認しながらユーザー自身の鏡像に重ねて表示された参照画像１０を参照しつつメイクアップすることができる。

図２は、本発明に係るメイクアップ用画像処理方法の手順を示すフローチャートである。
各工程に付している記号「Ｓ」はステップを意味する。本発明に係るメイクアップ用画像処理方法は、メイクアップを補助するための参照画像１０に対して実施するものであり、参照画像１０を、ハーフミラー２０を用いたメイクアップの補助に適した画像に加工する画像加工工程を包含する。より詳細には、メイクアップ用画像処理方法は、図２に示すように、参照画像取得工程（Ｓ１）、画像加工工程（Ｓ２〜Ｓ４）、判断工程（Ｓ５）、及び情報提供工程（Ｓ６）を包含し、画像加工工程（Ｓ２〜Ｓ４）は、陰影除去工程（Ｓ２）、輝度調整工程（Ｓ３）、及び画像変形工程（Ｓ４）の各工程をさらに包含する。画像加工工程（Ｓ２〜Ｓ４）は、本発明における必須の工程である。以下、メイクアップ用画像処理方法の各工程について説明する。

［参照画像取得工程］
本発明のメイクアップ用画像処理方法を開始すると（Ｓ０）、初めに参照画像取得工程（Ｓ１）が実行される。参照画像取得工程（Ｓ１）では、ユーザーにより参照画像１０が選択され、情報表示機器１１の表示部１２に参照画像１０が表示される。参照画像１０は、メイクアップをする上で、ユーザーが参照するために選択する画像である。すなわち、参照画像１０は、ユーザーが目標とする理想のメイクアップされた顔の画像である。参照画像１０は、情報表示機器１１に表示されるものであることが好ましい。情報表示機器１１としては、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピューター等が挙げられる。参照画像１０は、情報表示機器１１の表示部１２の少なくとも一部に表示されたものであればよい。これにより、持ち歩きが可能な携帯電話やスマートフォン、タブレット端末等の情報表示機器１１の表示部１２に表示される画像も、参照画像１０として用いることができる。

参照画像１０は、顔の全体が写っているものが好ましいが、少なくともユーザーがメイクを参照したい部分が写っていればよい。参照画像１０は、顔が正面前向きに写っているものが好ましいが、横向きなど正面前向きではない画像であってもよい。参照画像１０は、カラーであることが好ましいが、モノクロ、セピアカラーなどであってもよい。参照画像１０は、情報表示機器１１に内蔵されるメモリ内のデータ、情報表示機器１１がアクセス可能な外部データベース、またはネットワーク上のクラウドデータなどから選択可能である。あるいは、情報表示機器１１に内蔵されているデジタルカメラで撮影した画像をそのまま参照画像１０として利用することも可能である。

［画像加工工程］
図３は、本発明に係るメイクアップ用画像処理方法における画像加工工程の説明図である。図３（ａ）は、ユーザーが選択した参照画像１０である。図３（ｂ）は、画像加工工程（Ｓ２〜Ｓ４）が実施された画像１６である。ユーザーが選択した参照画像１０は、画像加工工程（Ｓ２〜Ｓ４）により、ハーフミラー２０を用いたメイクアップの補助に適した画像に加工される。例えば、参照画像１０に陰影Ａ（斜線で示す部分）がある場合、加工せずそのままハーフミラー２０に参照画像１０を映し出すと、図３（ａ）に示すように、ハーフミラー２０において陰影Ａは暗い領域として投影される。ハーフミラー２０の暗い領域は鏡としての機能が強くなるため、ユーザーがハーフミラー２０を見ると、参照画像１０よりもユーザーの顔の方が相対的に鮮明に映り、陰影Ａの領域の細部が観察し難く、参照画像１０として利用し難くなる。そこで、本発明では、参照画像１０に対して画像加工工程（Ｓ２〜Ｓ４）を実施することにより、参照画像１０をメイクアップの補助に利用できる画像に加工する。

（陰影除去工程）
図２に示すように、画像加工工程（Ｓ２〜Ｓ４）は、参照画像１０に含まれる陰影を除去する陰影除去工程（Ｓ２）を包含することが好ましい。例えば、図３（ａ）に示すように、参照画像１０に陰影Ａがある場合、ハーフミラー２０は鏡としての機能が強くなり、上述のように参照画像１０は細部が一様に観察できず参照し難くなる。このような場合、陰影除去工程（Ｓ２）を実施することにより、図３（ｂ）に示すように、参照画像１０から陰影Ａが除去され、メイクアップの補助に利用できる画像をユーザーに提供することができる。

陰影除去工程（Ｓ２）において、参照画像１０の低周波成分が低減され、低減後の画像が表示されることが好ましい。画像は、様々な周波成分から構成されており、このうち画像に表示された顔の陰影は主に低周波成分に由来する。従って、参照画像１０から低周波成分を低減すると、参照画像１０の陰影が除去される。低周波成分が低減された参照画像１０は、細部が一様に観察可能で参照し易いものとなる。

陰影除去工程（Ｓ２）は、陰影に関連する低周波成分を低減させるハイパスフィルタ又はバンドパスフィルタを用いて実施されることが好ましい。ハイパスフィルタとは、画像に含まれる様々な周波成分のうち、一定以上の高周波成分を通過させるフィルタである。バンドパスフィルタとは、画像に含まれる様々な周波成分のうち、所定の領域の周波成分を通過させるフィルタである。ここで、高周波成分は、画像の中で濃度勾配が大きい部分を構成する。従って、画像に含まれる輪郭の部分は高周波成分で構成されている。参照画像１０に含まれる様々な周波成分のうち陰影に関連する低周波成分が低減されると、相対的に高周波成分が強調されるため、画像に含まれる輪郭が強調される。これにより、高周波成分が占める割合が相対的に増加して陰影が目立たず鮮明になった画像がハーフミラー２０に映し出される。その結果、ユーザーは、参照画像１０からメイクアップのための情報をより的確に享受できる。

陰影除去工程（Ｓ２）において、参照画像１０にウェーブレット変換、フーリエ変換、又は平滑化処理を行うことが好ましい。例えば、参照画像１０に対して実施するハイパスフィルタ又はバンドパスフィルタを用いる処理は、ウェーブレット変換、フーリエ変換、又は平滑化処理の何れか一つ以上の工程を含むことが好ましい。これにより、参照画像１０には夫々の処理に応じた陰影除去が施される。参照画像１０から夫々の処理に応じて陰影が低減され、細部を一様に観察できる画像がハーフミラー２０に映し出されるため、ユーザーは参照画像１０からメイクアップのための情報をより的確に享受できる。

ウェーブレット変換を用いた画像処理においては、高周波成分を参照画像１０から抽出するためのアルゴリズムとしてウェーブレット変換を実施する。ウェーブレット変換により、参照画像１０の画像幅に応じた周波数を境界にして（以下、境界となる周波数を「遮断周波数」と称する。）、参照画像１０の高周波成分と低周波成分とが夫々分解されて参照画像１０から抽出される。抽出された低周波成分を逆変換して得られる低周波成分画像を元の参照画像１０から減算することにより、高周波成分画像が得られる。なお、参照画像１０から抽出された高周波成分を逆変換することで高周波成分画像を得てもよい。遮断周波数以下の低周波成分が低減されるため、高周波成分が占める割合が相対的に増加した細部を一様に観察可能な画像が得られる。ウェーブレット変換における遮断周波数は、参照画像１０の画像幅、又は参照画像１０にトリミング処理を加えた後の画像幅を基準に、変数ｎを用いて、 ２^ｎ ｃｙｃｌｅ／画像幅（ｎ＝０，１，２，・・・，ｌｏｇ_２（画像幅）−１）として設定されるが、この遮断周波数は、参照画像１０に表示されている両目の中心間距離を基準に換算したときに ２^０ 〜 ２^４ ｃｙｃｌｅ／（両目の中心間距離）の範囲内に収まるように変数ｎが設定されることが好ましい。参照画像１０のサイズが異なっても夫々の画像の両目の中心間距離を基準に参照画像１０毎に適した遮断周波数が定められる。これにより、顔の陰影が参照画像１０に応じて適度に除去された画像がハーフミラー２０に映し出される。その結果、陰影があるために陰影除去工程（Ｓ２）前では参照画像１０としてハーフミラー２０に映し出した場合に参照することができない画像であっても、陰影除去工程（Ｓ２）後に得られる画像は、陰影が除去されるためメイクアップの参照に使用可能な程度に細部を一様に観察することが可能となる。ユーザーは参照画像１０からメイクアップのための情報をより的確に享受できる。

フーリエ変換を用いた画像処理においては、高周波成分を参照画像１０から抽出するためのアルゴリズムとしてフーリエ変換を実施する。フーリエ変換により、参照画像１０の各周波成分が抽出され、遮断周波数を境界として高周波成分を低減させたのちに逆変換することで得られる低周波成分画像を元の参照画像１０から減算することにより、高周波成分が強調された画像が得られる。なお、参照画像１０から低周波成分を低減させたのちに逆変換することで高周波成分画像を得てもよい。フーリエ変換における遮断周波数は、参照画像１０の画像幅、又は参照画像１０にトリミング処理を加えた後の画像幅を基準に、変数ｍを用いて ｍ ｃｙｃｌｅ／画像幅（ｍ＝１，２，３，・・・，（画像幅×（２の平方根）／２））として設定されるが、参照画像１０に表示されている両目の中心間距離を基準に換算したときに ２^０ 〜 ２^４ ｃｙｃｌｅ／（両目の中心間距離）の範囲内に収まるように変数ｍが設定されることが好ましい。これにより、陰影があるために陰影除去工程（Ｓ２）前では参照画像１０としてハーフミラー２０に映し出した場合に参照することができない画像であっても、陰影除去工程（Ｓ２）後に得られる画像は、陰影が除去されるためメイクアップの参照に使用可能な程度に細部を一様に観察することが可能となる。

平滑化処理を用いた画像処理においては、低周波成分を参照画像１０から抽出するために平滑化処理を実施する。平滑化処理においては、例えば、Ｇａｕｓｓｉａｎフィルタを参照画像１０にかけることにより低周波成分が抽出される。平滑化処理としては、Ｇａｕｓｓｉａｎフィルタの他に、ダウンサンプリングとアップサンプリングとを行う方法（ウェーブレットの概念を基に簡略化した方法）、平均化処理を行う方法、種々の曲線または曲面フィッティングアルゴリズム等を用いて実施しても良い。平滑化処理における平滑化度合を制御するパラメータについても、遮断周波数は、参照画像１０に表示されている両目の中心間距離を基準に換算したときに ２^０ 〜 ２^４ ｃｙｃｌｅ／（両目の中心間距離）の範囲内に収まるように設定されることが好ましい。例えば、Ｇａｕｓｓｉａｎフィルタとしては、下記式（１）が用いられ、その平滑化度合を制御するパラメータのσとしては、０．０１０×（両目の中心間距離） ≦ σ ≦ ０．１７２×（両目の中心間距離）を満たす数値であることが好ましい。σが上記範囲（０．０１０×（両目の中心間距離） ≦ σ ≦ ０．１７２×（両目の中心間距離）を満たす場合、遮断周波数は前述の範囲内（２^０ 〜 ２^４ ｃｙｃｌｅ／（両目の中心間距離））に収まる。また、ダウンサンプリングとアップサンプリングとを行う方法としては、画像幅を（前述の範囲内の遮断周波数）×２ ／ （両目の中心間距離）×（元の画像幅）となるように、ダウンサンプリングした後にダウンサンプリング後の画像を元の画像幅にアップサンプリングすることで、遮断周波数は前述の範囲内（２^０ 〜 ２^４ ｃｙｃｌｅ／（両目の中心間距離））に収まり、参照画像１０に応じた適切な低周波成分画像が得られる。得られた低周波成分画像を元の参照画像１０から減算することにより、高周波成分が強調された画像が得られる。その結果、陰影があるために陰影除去工程（Ｓ２）前では参照画像１０としてハーフミラー２０に映し出した場合に参照することができない画像であっても、陰影除去工程（Ｓ２）後に得られる画像は、陰影が除去されるためメイクアップの参照に使用可能な程度に細部を一様に観察することが可能となる。

遮断周波数は、ユーザーが把握するために必要とされる程度に応じて所定の範囲内でユーザーが調整することもできる。遮断周波数が高いほど、より細かい陰影が除去され、より細部が把握しやすくなる。逆に、遮断周波数が低いほど、より大きな陰影だけが除去され、やや大まかな特徴が把握しやすくなる。遮断周波数もしくは平滑化処理におけるパラメータの調整は、ハーフミラー２０越しにユーザーが参照画像１０を確認しながら、例えば、情報表示機器１１の表示部１２に表示された不図示のアイコンや、情報表示機器１１がパーソナルコンピューターである場合にはキーボード等を操作することにより実施することができる。

陰影除去において、参照画像１０にウェーブレット変換、フーリエ変換、又は平滑化処理を行うことによって得られた低周波成分画像を元の参照画像から減算することにより、高周波成分が強調された画像が得られる。ここで、下記式（２）のように所定の基準値を減算後の値に加算することが好ましい。
（陰影除去後の画像の画素値） ＝ （参照画像の画素値）−（低周波成分画像の画素値）＋（基準値） ・・・ （２）
参照画像の画素値は、陰影除去前の元の参照画像１０の画素値を表す。また、処理後の画像の画素値は、参照画像１０にウェーブレット変換、フーリエ変換、又は平滑化処理を行って得られた画像の画素値を表す。基準値は、ＲＧＢ値が全て等しいことが好ましい。画素のＲＧＢ値が全て等しい場合、画像は灰色となる。式（２）に示すように、基準値を加算することにより彩色された部分、すなわちメイクアップにより色付けされた部分が他の部分に比べて引き立って表示される。よって、陰影除去後の画像において、ユーザーはメイクアップで施された彩色を容易に確認できる。

（輝度調整工程）
図２に示すように、画像加工工程（Ｓ２〜Ｓ４）は、輝度調整工程（Ｓ３）を包含することが好ましい。参照画像１０は、ユーザーが選択した画像毎に輝度が異なる。参照画像１０が暗過ぎる場合、ハーフミラー２０に映る参照画像１０の全体が暗くなるため、ハーフミラー２０は鏡としての機能が強くなり、参照画像１０が参照し難くなる。逆に参照画像１０が明る過ぎる場合、ハーフミラー２０は鏡としての機能が弱まるため、ユーザー自身の顔が確認し難くメイクアップし難くなる。また、例えば、顔のパーツを参照する場合においては、その参照する部分によっても領域ごとに細部の見え方が異なり、参照するために最適な輝度は夫々のパーツ毎に大きく異なる。そこで、陰影を除去した画像に対して輝度調整工程（Ｓ３）を実施することにより、参照画像１０を実際に使用するユーザーの感覚に適した画像に加工することができる。輝度調整は、ハーフミラー２０越しにユーザーが参照画像１０を確認しながら、例えば、情報表示機器１１の表示部１２に表示された不図示のアイコンや、情報表示機器１１がパーソナルコンピューターである場合にはキーボード等を操作することにより実施することができる。

輝度調整工程（Ｓ３）の前又は後に、コントラストの調整を実施してもよい。輝度調整工程（Ｓ３）の前に、画像のコントラストの調整を行う場合は、上記式（２）に代えて、下記式（３）を用いることができる。
（陰影除去後の画像の画素値） ＝ （参照画像の画素値−処理後の画像の画素値）／参照画像の標準偏差×目標標準偏差 ＋ 基準値 ・・・ （３）
参照画像の標準偏差は、（参照画像の画素値−処理後の画像の画素値）から得られる値である。目標標準偏差としては、ＲＧＢ値を０〜１の階調とした場合、０．１程度であることが好ましい。基準値は、ＲＧＢ値が全て等しいことが好ましい。これにより、陰影除去後の画像のコントラストが正規化される。なお、目標標準偏差の値をマイナスの値とすることによりネガ画像が得られ、さらに基準値を０とすることにより参照画像１０の眉等の比較的色の濃い部分を他の部分よりさらに際立たせて表示することができる。このようにコントラストが調整された画像がハーフミラー２０に映し出されると、参照画像１０の眉等の比較的色の濃い部分が明るく表示される。これにより、ハーフミラー２０に明るく表示される部分にはユーザーの鏡像が映り難いため、ユーザーにとって参照画像１０の眉等の形状が明確になり確認し易くなる。

（画像変形工程）
図２に示すように、画像加工工程（Ｓ２〜Ｓ４）は、画像変形工程（Ｓ４）を包含することが好ましい。画像変形工程（Ｓ４）は、参照画像１０がユーザーの要望に応じて変形される工程である。図４は、本発明に係るメイクアップ用画像処理方法における画像変形工程（Ｓ４）についての説明図である。図４（ａ）は、ユーザーが選択した参照画像１０である。図４（ｂ）は、ハーフミラー２０に映し出されるユーザー自身の画像Ｒである。説明の便宜上、画像Ｒは破線で示す。図４（ｃ）は、図４（ａ）の参照画像１０と図４（ｂ）の画像Ｒとを重ねて表示した状態の画像である。図４（ｄ）は、画像加工工程（Ｓ２〜Ｓ４）が実施された画像１６と画像Ｒとを重ねて表示した状態の画像である。図４（ｃ）に示すように、参照画像１０とユーザー自身の画像Ｒとを顔の一部のパーツ又は全体像に基づいて位置を調整しながら重ね合わせて表示すると、位置調整の基準とされていない眉や口等の顔パーツの位置がずれて表示される場合がある。これに対して、参照画像１０に陰影除去工程（Ｓ２）を実施した後、図４（ｄ）に示すように、夫々の顔パーツの位置をユーザーの顔である画像Ｒに対応するように参照画像１０を変形する。例えば、参照画像１０とユーザー自身の画像Ｒの互いの目が重なるように位置を調整した後に、参照画像１０の眉の位置をユーザー自身の画像Ｒの眉の位置に合わせるように移動させること等が挙げられる。参照画像１０の変形は、例えば、情報表示機器１１の表示部１２に表示された不図示のアイコンや情報表示機器１１がパーソナルコンピューターである場合にはキーボード等を操作することにより実施することができる。これにより、参照画像１０とユーザーの顔の画像Ｒとの間で顔パーツの位置や形等に差異があっても、画像変形工程（Ｓ４）を経ることにより、ユーザーの顔に対応するように変形した画像１６が得られる。これにより、ユーザーが選択できる参照画像１０の幅を広げることができる。

画像変形工程（Ｓ４）において、参照画像１０が拡大又は縮小されることが好ましい。参照画像１０とユーザーの顔の画像との間でサイズに差異が生じても、ユーザーの顔に対応するように拡大又は縮小された画像が得られる。その他、参照画像１０が複数の人物が写った画像であってもその中の一人の人物の顔を拡大して表示すること等も可能である。これにより、参照画像１０を画像のサイズや種類に関係なく利用できるため、ユーザーが選択できる参照画像１０の幅を広げることができる。また、参照画像１０の拡大又は縮小により、参照画像１０の顔の一部又は全体を表示することができるため、ユーザーの要望に応じて顔の一部又は全体のメイクアップに対応した画像を提供することができる。

図５は、本発明に係るメイクアップ用画像処理方法を顔の一部で実施する場合の説明図である。画像加工工程（Ｓ２〜Ｓ４）は、参照画像１０のうちメイクアップの際に参照する部分に対して実施されることが好ましい。例えば、図５に示すように、アイメイクを行う場合が挙げられる。図５（ａ）は、ユーザーが選択した参照画像１０である。図５（ｂ）は、ハーフミラー２０に映し出されるユーザー自身の画像Ｒである。説明の便宜上、画像Ｒは破線で示す。図５（ｃ）は、図５（ａ）の参照画像１０と図５（ｂ）の画像Ｒとを重ねて表示した状態の画像である。図５（ｄ）は、部分的に画像加工工程（Ｓ２〜Ｓ４）が実施された画像１６と画像Ｒとをハーフミラー２０に重ねて表示した状態の画像である。図５（ａ）に示すように、参照画像１０は陰影Ａ（斜線で示す部分）を含む。図５（ｃ）に示すように、図５（ａ）に示す参照画像１０と図５（ｂ）に示すユーザー自身の画像Ｒの目の位置とを合わせるように重ねて表示すると、眉の位置がずれて表示される場合がある。図５（ｄ）に示すように、参照画像１０のうちメイクアップの際に参照に必要な部分１４のみに画像加工工程（Ｓ２〜Ｓ４）を実施し、その他の部分１５を非表示または不明瞭となるように加工する。例えば、その他の部分１５を、黒く表示する。これにより、得られた画像のうち参照したい目の周辺（部分１４）のみの陰影Ａが除去されてハーフミラー２０に表示され、それ以外の領域（部分１５）は表示されないため、ユーザーは参照画像１０のうちメイクアップの参照に必要な部分１４だけを視認できる。このため、図５（ｃ）に示すように、参照されない眉の部分において参照画像１０とユーザーの顔の画像Ｒとの間にズレなどがあってもユーザーは気にせずに参照画像１０をメイクアップの補助に利用できる。また、加工する範囲を狭めることができるため、迅速に処理ができる。また、図５（ｄ）に示すように、その他の部分１５を暗く表示した場合、ハーフミラー２０に映し出されたその他の部分１５の鏡としての機能が強くなるため、ユーザー自身の画像Ｒの眉の鏡像がハーフミラー２０に表示される。これにより、現実の眉と目の位置がハーフミラー２０に表示されるため、ユーザーはユーザー自身の顔に対してバランスよくメイクアップを仕上げることが可能になる。

画像加工工程（Ｓ２〜Ｓ４）において、ユーザーの要望に応じた遮断周波数や、基準値等の各種設定は、情報表示機器１１や不図示のパーソナルコンピューター等に内蔵されているメモリに保存されてもよい。保存された各種設定のデータは、情報表示機器１１やパーソナルコンピューター等の表示画面上に表示された、例えば、「お気に入り」や「履歴」等の名前を付けられたアイコン等を操作することにより、読み出されてもよい。保存された各種設定のデータは、ユーザーの必要に応じて読み出されて使用されるため、ユーザーは再度同じ設定を行う手間を省略することができる。

なお、画像加工工程（Ｓ２〜Ｓ４）において、陰影除去工程（Ｓ２）、輝度調整工程（Ｓ３）、及び画像変形工程（Ｓ４）のうち少なくともいずれか一つの工程が実施されればよく、また、これらの工程を実施する順序は上記説明の順に限られず、所望のメイクアップ用画像が得られる限りは入れ替えることも可能である。

［判断工程］
図２に示すように、メイクアップ用画像処理方法は、画像をメイクアップに使用できるかを判断する判断工程（Ｓ５）を包含していてもよい。判断工程（Ｓ５）においては、画像加工工程（Ｓ２〜Ｓ４）によって加工された画像１６がハーフミラー２０に表示されたときに、ユーザーはハーフミラー２０に映し出された画像１６がメイクアップの参照に使用できるか否かを判断する。ユーザーがハーフミラー２０に映し出された画像１６がメイクアップの参照に使用できると判断した場合（Ｓ５：Ｙｅｓ）は、次の情報提供工程（Ｓ６）に進む。ユーザーが得られた画像がメイクアップの参照に使用できないと判断した場合（Ｓ５：Ｎｏ）は、画像加工工程（Ｓ２〜Ｓ４）に戻る。ハーフミラー２０に表示された画像１６がメイクアップの参照に使用できるようになるまで画像加工工程（Ｓ２〜Ｓ４）は繰り返し行われる。これにより、ユーザーは参照画像１０からメイクアップのための情報をより的確に享受できる。

［情報提供工程］
図２に示すように、メイクアップ用画像処理方法は、情報提供工程（Ｓ６）を包含することが好ましい。画像加工工程（Ｓ２〜Ｓ４）を経て得られた画像１６が提供され、さらに情報提供工程（Ｓ６）を経ることによりアドバイスがユーザーに提供されて、本発明に係るメイクアップ用画像処理方法は終了する（Ｓ７）。情報提供工程（Ｓ６）においては、画像加工工程（Ｓ２〜Ｓ４）によって加工された画像１６に基づいて、ユーザーにアドバイスが提供される。例えば、アイメイク等のポイントメイクを行う場合に、そのポイントメイクの流行の手法、色や形状等の情報が提供される。情報は、情報表示機器１１が発する音で通知されるものであってもよく、情報表示機器１１の表示部１２又は情報表示機器１１を介してハーフミラー２０に表示されるものであってもよい。アドバイスとしては、メイクの手法だけでなく推奨する化粧品や器具についての情報も含まれる。これにより、参照画像１０を加工して得られた画像に基づいて、ユーザーにアドバイスを提供することができるため、ユーザーは個別の参照画像１０に基づいたアドバイスを参照しながらメイクアップをすることができる。

＜メイクアップ用画像処理装置＞
図６は、本発明に係るメイクアップ用画像処理装置１００を示すブロック図である。メイクアップ用画像処理装置１００は、参照画像１０に対して画像処理を実施する装置であって、参照画像１０を、ハーフミラー２０を用いたメイクアップの補助に適した画像に加工する画像加工手段５２を備える。図６に示すように、メイクアップ用画像処理装置１００は、画像取得手段５１、画像加工手段５２、及び画像表示手段５３を備え、さらに、任意の構成として、情報提供手段５４を備える。画像加工手段５２は、陰影除去手段５５、輝度調整手段５６、及び変形手段５７を備える。画像取得手段５１は、メイクアップ用画像処理装置１００に内蔵される不図示のメモリ内のデータ、メイクアップ用画像処理装置１００がアクセス可能な外部データベース６１、またはネットワーク上のクラウドデータ６２などから参照画像１０を選択可能である。あるいは、メイクアップ用画像処理装置１００に内蔵されているカメラ６３で撮影した画像をそのまま参照画像１０として利用することも可能である。取得した参照画像１０は、画像加工手段５２により、ハーフミラー２０を用いたメイクアップの補助に適した画像に加工することができる。画像表示手段５３は、加工された画像１６を表示させることにより、加工後の画像１６がハーフミラー２０に映し出される。また、情報提供手段５４を有することにより、ユーザーは加工された画像１６を基にしたアドバイスを享受することができる。このように、本発明のメイクアップ用画像処理装置１００によれば、加工せずそのままハーフミラー２０に映し出した状態では細部が一様に観察できず参照画像１０として利用し難いものであっても、メイクアップの補助に利用できる画像をユーザーに提供することができる。

＜メイクアップ用画像処理プログラム＞
メイクアップ用画像処理装置１００は、メイクアップを補助するための参照画像１０をハーフミラー２０を用いたメイクアップの補助に適した画像に加工する画像加工手段として機能させるプログラムをコンピューターにインストールすることで実現することも可能である。この場合、メイクアップ用画像処理プログラムを実行すると、メイクアップを補助するための参照画像１０がハーフミラー２０を用いたメイクアップの補助に適した画像に加工される。従って、加工せずそのままハーフミラー２０に映し出した状態では細部が一様に観察できず参照画像１０として利用し難いものであっても、メイクアップの補助に利用できる画像をユーザーに提供することができる。なお、ここでコンピューターとは、パーソナルコンピューターのみならず、タブレットやスマートフォン等に内蔵されたマイクロコンピューターも含まれる。

本発明は、ユーザー自身がメイクアップをする際にユーザーが選択したメイクアップを支援するための参照画像をハーフミラーに鮮明に表示するためのメイクアップ用画像処理方法、メイクアップ用画像処理装置、及びメイクアップ用画像処理プログラムとして好適に利用されるが、店頭やネットワーク上でユーザーの好みのメイクアップに応じたメイクアップ製品を選択し推奨する目的においても利用可能である。

１０ 参照画像
１１ 情報表示機器
２０ ハーフミラー
３０ 距離設定部
５０ メイクアップ補助具
１００ メイクアップ用画像処理装置

Claims (12)

1. メイクアップを補助するための参照画像に対して画像処理を実施するメイクアップ用画像処理方法であって、
   前記参照画像を、ハーフミラーを用いたメイクアップの補助に適した画像に加工する画像加工工程を包含するメイクアップ用画像処理方法。
2. 前記画像加工工程において、前記参照画像の陰影除去、及び／又は輝度調整が実施される請求項１に記載のメイクアップ用画像処理方法。
3. 前記陰影除去において、前記参照画像の低周波成分が低減され、低減後の画像が表示される請求項２に記載のメイクアップ用画像処理方法。
4. 前記低周波成分の低減は、陰影に関連する低周波成分を低減させるハイパスフィルタ又はバンドパスフィルタを用いて実施される請求項３に記載のメイクアップ用画像処理方法。
5. 前記陰影除去において、前記参照画像にウェーブレット変換、フーリエ変換、又は平滑化処理を行う請求項３に記載のメイクアップ用画像処理方法。
6. 前記輝度調整は、前記ハーフミラー越しにユーザーが前記参照画像を確認しながら実施される請求項２〜５の何れか一項に記載のメイクアップ用画像処理方法。
7. 前記画像加工工程は、前記参照画像のうちメイクアップの際に参照する部分に対して実施される請求項１〜６の何れか一項に記載のメイクアップ用画像処理方法。
8. 前記画像加工工程は、前記参照画像をユーザーの要望に応じて変形させる画像変形工程を包含する請求項１〜７の何れか一項に記載のメイクアップ用画像処理方法。
9. 前記画像変形工程において、前記参照画像が拡大又は縮小される請求項８に記載のメイクアップ用画像処理方法。
10. 前記画像加工工程によって加工された画像に基づいて、ユーザーにアドバイスを提供する情報提供工程をさらに包含する請求項１〜９の何れか一項に記載のメイクアップ用画像処理方法。
11. メイクアップを補助するための参照画像に対して画像処理を実施するメイクアップ用画像処理装置であって、
    前記参照画像を、ハーフミラーを用いたメイクアップの補助に適した画像に加工する画像加工手段を備えたメイクアップ用画像処理装置。
12. コンピューターを、メイクアップを補助するための参照画像をハーフミラーを用いたメイクアップの補助に適した画像に加工する画像加工手段として機能させるためのメイクアップ用画像処理プログラム。

Images