JP2016145933A - 顔容貌疑似化装置および顔容貌疑似化方法 - Google Patents

顔容貌疑似化装置および顔容貌疑似化方法 Download PDF

Info

Publication number
JP2016145933A
JP2016145933A JP2015023162A JP2015023162A JP2016145933A JP 2016145933 A JP2016145933 A JP 2016145933A JP 2015023162 A JP2015023162 A JP 2015023162A JP 2015023162 A JP2015023162 A JP 2015023162A JP 2016145933 A JP2016145933 A JP 2016145933A
Authority
JP
Japan
Prior art keywords
length
unit
target
target person
surface member
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015023162A
Other languages
English (en)
Other versions
JP6332067B2 (ja
Inventor
萌 山嵜
Moe Yamazaki
萌 山嵜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2015023162A priority Critical patent/JP6332067B2/ja
Publication of JP2016145933A publication Critical patent/JP2016145933A/ja
Application granted granted Critical
Publication of JP6332067B2 publication Critical patent/JP6332067B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)

Abstract

【課題】より少ない個数のアクチュエータで対象人物の容貌に似せ得る顔容貌疑似化装置および該方法を提供する。
【解決手段】顔容貌疑似化装置Daは、少なくとも眉および鼻を含む、顔を模した面部材と、眉および鼻の配列方向に沿った、面部材の正中線上における固定点の固定位置と眉の眉位置との間の第1長さを調整する第1調整部2aと、配列方向に沿った、固定点の固定位置と鼻の鼻先位置との間の第2長さを調整する第2調整部3と、対象人物における顔画像、第1および第2長さに対応する第1および第2目標長さを取得するカメラCA、対象人物判定部42、データ演算部43aおよび通知部44と、第1長さが対象人物の第1目標長さとなるように第1調整部2aを制御し、第2長さが対象人物の第2目標長さとなるように第2調整部3を制御する制御部41aと、対象人物の顔画像を面部材1aに投影する投影部5とを備える。
【選択図】図2

Description

本発明は、顔を模した面部材の容貌を対象人物の容貌に似せる顔容貌疑似化装置および顔容貌疑似化方法に関する。
一般に、ネックレスやペンダント等の装身具、および、ワンピースやジャケット等の衣服等の身に付ける物品を購入しようと考える場合、購入思案者は、自分に似合っているか否か(相応しいか否か)を判断するために、前記身に付ける物品の試着が望まれる。しかしながら、試着には、手間がかかる場合があったり、またそれなりの勇気が要る場合があったりする。特に、高額な商品を扱う高級店では、一般人にとっては馴染みが薄く敷居が高いため、まず入店自体しづらく、まして試着は、容易ではない。このため、試着の代替として、ショーウィンドウに飾られているマネキン人形を眺めて、購入思案者は、自分だったらどうなるか想像し、判断することになる。しかしながら、マネキン人形の容姿と自分の容姿とは、必ずしも似ていないため、想像し難かったり、似合っているか否かの判断を誤ってしまったり等する場合がある。そこで、マネキン人形の顔の容貌が自分の顔の容貌に似ていることが望ましく、マネキン人形の顔を自分の顔に似せて変形できることが好ましい。
このような顔の形状を変形できる装置として、例えば、特許文献1に開示された装置がある。この特許文献1に開示された顔形状提示装置は、弾性変形可能な、顔形状のマスクと、外部から入力される顔データに応じて、前記マスクを弾性変形させるアクチュエータとを含み、任意な顔の形状を提示する装置であり、前記アクチュエータは、前記マスクに接触し該接触部分に力を加えるN個(Nは自然数、以下同じ)の接触部と、前記N個の接触部に対応して設けられ、対応する接触部の位置を、前記顔データに応じて変化させる位置制御部とを含む。より具体的には、前記特許文献1に開示された顔形状提示装置では、前記接触部として19箇所の駆動点が選定され、各点それぞれに、3個のモータを備える3自由度の特徴点駆動ユニットが前記アクチュエータとして設けられている。
特開2006−343583号公報
ところで、前記特許文献1に開示された顔形状提示装置は、平均顔のマスクを初期形状とし、顔の特徴点等を駆動点として提示したい人の顔形状に変形するため、多数の駆動点を駆動可能に構成されている。具体的には、上述した通り、19箇所の駆動点が選定され、各点それぞれに、駆動源として3個のモータを備える3自由度の特徴点駆動ユニット(アクチュエータ)が設けられている。このように前記特許文献1に開示された顔形状提示装置は、比較的多数のアクチュエータ、すなわち、19個の特徴点駆動ユニットを必要としている。駆動源のモータに換算すると57個のモータを必要としている。この結果、多数の駆動点それぞれに対応した多数の制御値を持つ顔データを必要とし、前記多数の制御値で前記多数の特徴点駆動ユニット(ひいては57個のモータ)を制御する必要も生じる。
本発明は、上述の事情に鑑みて為された発明であり、その目的は、より少ない個数のアクチュエータで対象人物の容貌に似せることができる顔容貌疑似化装置および顔容貌疑似化方法を提供することである。
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明者は、標準的な顔(平均的な顔)の形状を持つ顔モデル(標準顔モデル、平均顔モデル)に自分の顔画像を投影した場合、この投影提示された標準顔モデルが自分の顔であると認識するためには、前記標準顔モデルのどこをどのように変形すればよいかを、試行し、検討した。その結果、標準顔モデルにおける眉の位置(眉位置)と鼻先(鼻の終端)の位置(鼻先位置)とが自分の眉位置と鼻先位置とに一致していれば、例えば輪郭等が或る程度異なっていても、前記投影提示された標準顔モデルが自分の顔であると許容できることを見出した。
本発明の一態様にかかる顔容貌疑似化装置は、一方主面に少なくとも眉および鼻を含む、顔を模した面部材と、前記眉および前記鼻の配列方向に沿った第1長さであって、前記面部材の正中線上における所定の固定点の固定位置と前記面部材の正中線上における前記眉の眉位置との間の前記第1長さを調整する第1調整部と、前記配列方向に沿った第2長さであって、前記固定点の固定位置と前記面部材の正中線上における前記鼻の鼻先の鼻先位置との間の前記第2長さを調整する第2調整部と、対象人物における顔画像、前記第1長さに対応する第1目標長さおよび前記第2長さに対応する第2目標長さを取得する対象人物データ取得部と、第1長さ調整制御として、前記第1長さが前記対象人物データ取得部で取得された前記対象人物の前記第1目標長さとなるように前記第1調整部を制御し、第2長さ調整制御として、前記第2長さが前記対象人物データ取得部で取得された前記対象人物の前記第2目標長さとなるように前記第2調整部を制御する制御部と、顔画像投影処理として、前記対象人物データ取得部で取得された前記対象人物の前記顔画像を前記面部材に投影する投影部とを備えることを特徴とする。上述の顔容貌疑似化装置において、好ましくは、前記投影部は、前記一方主面上、すなわち、表面上に前記対象人物の顔画像を投影するプロジェクターである。また、上述の顔容貌疑似化装置において、好ましくは、前記面部材は、透光性を持つ材料で形成され、前記投影部は、前記一方主面に対向する他方主面上、すなわち、裏面上に前記対象人物の顔画像を投影するリアプロジェクターである。また、これら上述の顔容貌疑似化装置において、位置取りを合わせて面部材に顔画像を投影する観点から、好ましくは、前記投影部は、前記面部材の各部位を前記顔画像の各部位に位置合わせするように、前記面部材の形状に応じて前記顔画像を変形するプロジェクションマッピング法を用いたプロジェクターである。
このような顔容貌疑似化装置は、制御部が第1調整部を制御することによって面部材の眉位置を対象人物の眉位置に調整し、前記制御部が第2調整部を制御することによって面部材の鼻先位置を対象人物の鼻先位置に調整し、投影部によって対象人物の顔画像を面部材に投影する。このように上記顔容貌疑似化装置は、投影部によって対象人物の顔画像を面部材に投影する際に、第1および第2調整部という2個のアクチュエータを含むより簡単な機構で、面部材における眉位置と鼻先位置とが対象人物の眉位置と鼻先位置とを略一致させることができ、面部材の容貌を対象人物の容貌に似せることができる。したがって、上記顔容貌疑似化装置は、より少ない個数のアクチュエータで対象人物の容貌に似せることができる。
また、上述の顔容貌疑似化装置において、前記面部材は、前記一方主面に目をさらに含み、前記第1長さ調整制御における前記眉位置の変更に伴って前記面部材の正中線上における前記目の目位置も変更されることを特徴とする。
このような顔容貌疑似化装置は、顔にとって比較的特徴的な目が、前記第1長さ調整制御の際における前記眉の動きに連動して動くことによって、前記眉位置の変更に伴って前記目位置も変更される。このため、上記顔容貌疑似化装置は、より少ない個数のアクチュエータで対象人物の容貌により似せることができる。
また、上述の顔容貌疑似化装置において、前記面部材は、前記一方主面に目をさらに含み、前記第1調整部は、前記配列方向に沿った第3長さであって、前記固定点の固定位置と前記面部材の正中線上における前記目の目位置との間の前記第3長さを調整する第1サブ調整部と、前記配列方向に沿った第4長さであって、前記面部材の正中線上における前記目の目位置と前記面部材の正中線上における前記眉の眉位置との間の前記第4長さを調整する第2サブ調整部とを備え、前記対象人物データ取得部は、前記第1目標長さとして、前記第3長さに対応する第3目標長さおよび前記第4長さに対応する第4目標長さを取得し、前記制御部は、前記第1長さ調整制御として、前記第3長さが前記対象人物データ取得部で取得された前記対象人物の前記第3目標長さとなるように前記第1サブ調整部を制御し、前記第4長さが前記対象人物データ取得部で取得された前記対象人物の前記第4目標長さとなるように前記第2サブ調整部を制御することを特徴とする。
このような顔容貌疑似化装置は、制御部が第1サブ調整部を制御することによって面部材の目位置を対象人物の目位置に調整し、前記制御部が第2サブ調整部を制御することによって面部材の眉位置を対象人物の眉位置に調整する。このように上記顔容貌疑似化装置は、面部材の目位置を、面部材の眉位置の調整とは独立して対象人物の目位置に調整できるので、より少ない個数のアクチュエータで対象人物の容貌にさらにより似せることができる。
また、これら上述の顔容貌疑似化装置において、前記第1調整部は、一方向に長さを伸縮する第1アクチュエータを備え、前記第1アクチュエータは、他方端を前記固定点の固定位置で前記面部材に固定して前記面部材の正中線上に沿って配設され、前記第2調整部は、一方向に長さを伸縮する第2アクチュエータを備え、前記第2アクチュエータは、一方端を前記固定点の固定位置で前記面部材に固定して前記面部材の正中線上に沿って配設されることを特徴とする。
これによれば、一方向に長さを伸縮する第1および第2アクチュエータを備えて各位置を調整できる顔容貌疑似化装置が提供できる。
また、これら上述の顔容貌疑似化装置において、前記固定点は、前記鼻の鼻中心であることを特徴とする。
このような顔容貌疑似化装置は、顔の略中心となる鼻の鼻中心を前記固定点とするので、顔の略中心を基準に各位置が変更されることになるから、各位置をバランス良く変更できる。
また、これら上述の顔容貌疑似化装置において、前記対象人物データ取得部は、画像を取得する画像取得部と、前記画像取得部によって時系列に連続的に取得した複数の画像に、所定の時間以上、同一人物を含むか否かを判定する対象人物判定部と、前記対象人物判定部によって同一人物を含むと判定した場合、前記同一人物を前記対象人物とし、前記同一人物を含むとの判定に用いた前記複数の画像に基づいて前記対象人物における前記顔画像、前記第1目標長さおよび前記第2目標長さを求めるデータ演算部と、同一人物を含むと判定した旨を前記制御部および前記投影部それぞれに通知する通知部とを備え、前記制御部は、前記通知部から前記同一人物を含むと判定した旨を受け付けた場合に、前記第1長さ調整制御および前記第2長さ調整制御を実行し、前記投影部は、前記通知部から前記同一人物を含むと判定した旨を受け付けた場合に、前記顔画像投影処理を実行することを特徴とする。
このような顔容貌疑似化装置は、当該顔容貌疑似化装置の前に人物が所定の時間以上留まっていると自動的に前記人物を対象人物として前記人物の顔の容貌に前記面部材を疑似化できる。したがって、例えばショーウィンドウに配置されたマネキン人形に上記顔容貌疑似化装置を利用することによって、ショーウィンドウに配置されているマネキン人形を眺めるだけで入店をためらう購入思案者にも、商品をアピールでき、前記購入思案者による前記商品の購買をより誘引できる。
そして、本発明の他の一態様にかかる顔容貌疑似化方法は、一方主面に少なくとも眉および鼻を含む、顔を模した面部材を対象人物の顔の容貌に似せる顔容貌疑似化方法であって、前記眉および前記鼻の配列方向に沿った第1長さであって、前記面部材の正中線上における所定の固定点の固定位置と前記面部材の正中線上における前記眉の眉位置との間の前記第1長さを調整する第1調整工程と、前記配列方向に沿った第2長さであって、前記固定点の固定位置と前記面部材の正中線上における前記鼻の鼻先の鼻先位置との間の前記第2長さを調整する第2調整工程と、対象人物における顔画像、前記第1長さに対応する第1目標長さおよび前記第2長さに対応する第2目標長さを取得する対象人物データ取得工程と、前記第1長さが前記対象人物データ取得工程で取得された前記対象人物の前記第1目標長さとなるように前記第1調整工程を制御し、前記第2長さが前記対象人物データ取得工程で取得された前記対象人物の前記第2目標長さとなるように前記第2調整工程を制御する制御工程と、前記対象人物データ取得工程で取得された前記対象人物の前記顔画像を前記面部材に投影する投影工程とを備える。
このような顔容貌疑似化方法は、制御工程が第1調整工程を制御することによって面部材の眉位置を対象人物の眉位置に調整し、前記制御工程が第2調整工程を制御することによって面部材の鼻先位置を対象人物の鼻先位置に調整し、投影工程によって対象人物の顔画像を面部材に投影する。したがって、第1調整工程の実施に1個のアクチュエータを用い、第2調整工程の実施にもう1個のアクチュエータを利用することで、上記顔容貌疑似化方法は、投影工程によって対象人物の顔画像を面部材に投影する際に、面部材における眉位置と鼻先位置とが対象人物の眉位置と鼻先位置とを略一致させることができ、面部材の容貌を対象人物の容貌に似せることができる。したがって、上記顔容貌疑似化方法は、より少ない個数のアクチュエータで対象人物の容貌に似せることができる。
本発明にかかる顔容貌疑似化装置および顔容貌疑似化方法は、より少ない個数のアクチュエータで対象人物の容貌に似せることができる。
実施形態における顔容貌疑似化装置の利用状況を説明するための図である。 第1実施形態における顔容貌疑似化装置の電気的な構成を示すブロック図である。 第1実施形態の顔容貌疑似化装置における面部材を説明するための図である。 第1実施形態における顔容貌疑似化装置の動作を示すフローチャートである。 一例としての対象人物の画像を説明するための図である。 第1実施形態における顔容貌疑似化装置の動作を説明するための図である。 第1実施形態の顔容貌疑似化装置において、疑似化後の前記面部材を示す図である。 第2実施形態における顔容貌疑似化装置の電気的な構成を示すブロック図である。 第2実施形態の顔容貌疑似化装置における面部材を説明するための図である。 第2実施形態における顔容貌疑似化装置の動作を説明するための図である。
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
(第1実施形態)
図1は、実施形態における顔容貌疑似化装置の利用状況を説明するための図である。図2は、第1実施形態における顔容貌疑似化装置の電気的な構成を示すブロック図である。図3は、第1実施形態の顔容貌疑似化装置における面部材を説明するための図である。図3(A)は、正面図であり、面部材の一方主面、すなわち、表面を示す。図3(B)は、背面図であり、面部材における前記一方主面に対向する他方主面、すなわち、裏面を示す。そして、図3(C)は、面部材内部の側面図である。
実施形態における顔容貌疑似化装置は、顔を模した面部材の容貌を、対象人物の顔の容貌に似せる装置であり、これによって前記対象人物の顔の容貌を前記面部材に再現する。このような顔容貌疑似化装置は、本実施形態では、顔の正中線上において所定の固定点と眉位置との間の第1長さ、および、前記顔の正中線上において前記固定点と鼻先位置との間の第2長さそれぞれを、前記面部材と前記対象人物との間で互いに一致させ、前記面部材に前記対象人物の顔画像を投影することによって、前記対象人物の顔の容貌を前記面部材に擬似的に再現する。このような実施形態における顔容貌疑似化装置について、第1および第2実施形態それぞれによってより具体的に以下に説明する。
第1実施形態における顔容貌疑似化装置Daは、例えば、図1ないし図3に示すように、面部材1aと、第1調整部2aと、第2調整部3と、制御部41aを含む制御処理部4aと、カメラCA(CA−1〜CA−7)と、投影部5とを備え、これら図1ないし図3に示す例では、記憶部6と、入力部と、出力部8と、インターフェース部(IF部)9とを備える。
面部材1aは、顔を模した部材であり、第1実施形態では、顔の特徴部分である、少なくとも眉BR(左右一対の右眉BR−Rおよび左眉BR−L)および鼻NOを含む。図3に示す例では、面部材1aは、さらに、顔の特徴部分である口MOおよび耳EA(左右一対の右耳EA−Rおよび左耳EA−L)を含む。面部材1aは、標準的な顔(平均的な顔)を模して弾性材料で形成される。標準的な顔(平均的な顔)とは、複数のサンプルの顔を平均化したものである。複数のサンプルは、人種ごとにグループ分けされ、人種ごとに、標準的な顔(平均的な顔)が用意され、人種ごとに、面部材1aが用意されても良い。弾性材料は、弾性を有する樹脂材料、例えば、天然ゴムや合成ゴム等のエラストマー等であり、より詳しくは、例えば、シリコーンゴムや、高弾性で高強度なセプトン(クレラ社製)等である。
第1調整部2aは、制御処理部4aに接続され、制御処理部4aにおける制御部41aの制御に従って、眉BRおよび鼻NOの配列方向に沿った第1長さL1であって、面部材1aの正中線CL上における所定の固定点P0の固定位置と面部材1aの正中線CL上における眉BRの眉位置Pbとの間の第1長さL1(図3(A)参照)を調整するものである。眉BRおよび鼻NOの配列方向は、面部材1aと正対した場合に、頭頂から顎先へ延びる縦方向(垂直方向)である。正中線CLは、体面上の左右の中心線であり、顔では、顔面の左右の中心線である。所定の固定点P0は、眉位置Pbから鼻先位置Pnまでにおける正中線上に適宜に設定される。本実施形態では、所定の固定点P0は、鼻の付け根と鼻先との間における中央位置である鼻中心である。あるいは、所定の固定点P0は、頭頂と顎先との間における中央位置である顔中心であってもよい。面部材1aの正中線CL上における眉BRの眉位置Pbは、左右一対の眉BR−R、BR−Lを結ぶ線分と正中線CLとの交点であり、正中線CL上における略眉BRの位置である。
より具体的には、第1調整部2aは、本実施形態では、例えば、図3(B)および図3(C)に示すように、第1アクチュエータ21aと、第1アーム部材22aとを備える。
第1アクチュエータ21aは、棒状であって一方向に長さを伸縮する駆動装置であり、その他方端(図3に示す例では下端)は、固定点P0の固定位置で面部材1aの他方面(裏面)に例えば接着剤等によって固定され、面部材1aの正中線CL上に沿って配設される。第1アクチュエータ21aの一方端(図3に示す例では上端)は、眉位置Pbで面部材1aの他方面に例えば接着剤等によって固定されてもよいが、本実施形態では、左右一対の右眉BR−Rおよび左眉BR−Lを一体的に眉BRおよび鼻NOの前記配列方向(縦方向、垂直方向)に移動させるために、第1アーム部材22aに例えば接着剤やネジ(ボルト)等によって固定されている。第1アクチュエータ21aは、例えば、空気圧によってロッドをアクチュエータ本体から出没させて前記ロッドの突出長を変えることで前記一方向に長さを伸縮するエアシリンダ、油圧によってロッドをアクチュエータ本体から出没させて前記ロッドの突出長を変えることで前記一方向に長さを伸縮する油圧シリンダ、電磁力を利用してプランジャをアクチュエータ本体から出没させて前記プランジャの突出長を変えることで前記一方向に長さを伸縮するソレノイドアクチュエータ、螺旋状の溝を外周に持つロッド(例えばボールネジ等)をステッピングモータで回転させることによって前記ロッドをアクチュエータ本体から前記ロッドの回転量に応じて出没させて前記ロッドの突出長を変えることで前記一方向に長さを伸縮するリニアアクチュエータ、および、複数の圧電層を積層して印加電圧によって各圧電層の厚さを変えることで前記一方向に長さを伸縮する積層型圧電アクチュエータ等を備えて構成される。第1アクチュエータ21aは、制御処理部4aに接続され、制御処理部4aにおける制御部41aの制御に従って、その伸縮量(全長の長さ)が制御される。
第1アーム部材22aは、一方向に長尺な棒状または板状の部材であり、好ましくは、左右一対の右眉BR−Rおよび左眉BR−Lの両外端間に応じた長さを持ち、眉弓骨の形状を模して形成された部材である。第1アーム部材22aは、眉BRに沿って面部材1aの他方面に固定される。より具体的には、第1アーム部材22aは、本実施形態では、その略中央位置を眉位置Pbに一致させて、左右一対の右眉BR−Rおよび左眉BR−Lの配列方向(眉配列方向)、すなわち、眉BRおよび鼻NOの前記配列方向と直交する直交方向(横方向、水平方向)に沿って延びるように配置され、そして、面部材1aの他方面に例えば接着剤等によって固定される。第1アクチュエータ21aの一方端は、眉位置Pbに一致させた第1アーム部材22aの前記略中央位置で第1アーム部材22aに固定されている。
第2調整部3は、制御処理部4aに接続され、制御処理部4aにおける制御部41aの制御に従って、眉BRおよび鼻NOの配列方向に沿った第2長さL2であって、面部材1aの正中線CL上における前記所定の固定点P0の固定位置と面部材1aの正中線CL上における鼻NOの鼻先の鼻先位置Pnとの間の第2長さL2(図3(A)参照)を調整するものである。
より具体的には、第2調整部3は、本実施形態では、例えば、図3(B)および図3(C)に示すように、第2アクチュエータ31と、第2アーム部材32とを備える。
第2アクチュエータ31は、棒状であって一方向に長さを伸縮する駆動装置であり、その一方端(図3に示す例では上端)は、固定点P0の固定位置で面部材1aの他方面(裏面)に例えば接着剤等によって固定され、面部材1aの正中線CL上に沿って配設される。第2アクチュエータ31の他方端(図3に示す例では下端)は、鼻先位置Pnで面部材1aの他方面に例えば接着剤等によって固定されてもよいが、本実施形態では、鼻先を含み所定の幅を持つ左右一対の鼻翼(小鼻)部分を、一体的に眉BRおよび鼻NOの前記配列方向(縦方向、垂直方向)に移動させるために、第2アーム部材32に例えば接着剤やネジ(ボルト)等によって固定されている。第2アクチュエータ31は、第1アクチュエータ21aと同様に、例えば、エアシリンダ、油圧シリンダ、ソレノイドアクチュエータ、リニアアクチュエータおよび積層型圧電アクチュエータ等を備えて構成される。第2アクチュエータ31は、制御処理部4aに接続され、制御処理部4aにおける制御部41aの制御に従って、その伸縮量(全長の長さ)が制御される。
第2アーム部材32は、一方向に長尺な棒状または板状の部材であり、好ましくは、左右一対の鼻翼の両端間に応じた長さを持つ部材である。第2アーム部材32は、左右一対の鼻翼に沿って面部材1aの他方面に固定される。より具体的には、第2アーム部材32は、本実施形態では、その略中央位置を鼻先位置Pnに一致させて、前記直交方向(横方向、水平方向)に沿って延びるように配置され、そして、面部材1aの他方面に例えば接着剤等によって固定される。第2アクチュエータ31の他方端は、鼻先位置Pnに一致させた第2アーム部材32の前記略中央位置で第2アーム部材21aに固定されている。
このような面部材1a、第1調整部2a(第1アクチュエータ21aおよび第1アーム部材22a)および第2調整部3(第2アクチュエータ31および第2アーム部材32)は、図略のフレーム(枠体)によって保持されている。
本実施形態における顔容貌疑似化装置Daは、一例として、図1に示すように、店舗のショーウィンドウに飾られたマネキン人形DLに利用されており、上述の面部材1aは、前記マネキン人形DLの頭部に用いられ、上述の第1調整部2aおよび第2調整部3は、前記マネキン人形DLの頭部内に配設される。
カメラCAは、制御処理部4aに接続され、制御処理部4aにおける制御部41aの制御に従って、対象人物OJにおける顔画像を取得する装置である。カメラCAは、画像を取得する画像取得部の一例である。カメラCAは、例えば、例えば、対象人物OJ等の被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで画像のデータを生成する画像処理部等を備えて構成される。カメラCAは、その取得した画像(画像のデータ)を制御処理部4aへ出力する。
顔容貌疑似化装置Daは、1台のカメラCAを備えて構成されて良いが、本実施形態では、互いに異なる複数の方向から対象人物OJを撮影できるように、複数台のカメラCAnを備えて構成される。より具体的には、本実施形態における顔容貌疑似化装置Daは、7台のカメラCA−1〜CA−7を備えて構成されている。これら7台のカメラCA−1〜CA−7は、図1に示すように、前記マネキンDLの後背上方に、天井から吊り下げられた円弧状の棒状の支持部材BMによって支持されている。これら7台のカメラCA−1〜CA−7は、それぞれ、対象人物OJが前記マネキン人形DLの前方に立った場合にその対象人物OJの頭部に撮影方向が向くように、互いに所定の間隔を空けて前記支持部材に配設されている。
投影部5は、制御処理部4aに接続され、制御処理部4aにおける制御部41aの制御に従って、カメラCAによって取得された対象人物OJの顔画像を面部材1aに投影する装置である。投影部5は、例えば、面部材1aの前記一方主面上、すなわち、面部材1aの表面上に対象人物OJの顔画像を投影するプロジェクターである。このような投影部5は、例えば、図1に示すように、前記マネキンDLの前方上方に、前記マネキン人形DLの頭部に用いられた面部材1aに向けて顔画像を投影できるように、天井から吊り下げられて設置される。また例えば、投影部5は、面部材1aの前記一方主面に対向する他方主面上、すなわち、面部材1aの裏面上に対象人物OJの顔画像を投影するリアプロジェクターである。このような投影部5は、例えば、前記マネキン人形DLの頭部内に収容され、投影部5がプロジェクターである場合のように、面部材1aの外部に設置する必要がなく、顔容貌疑似化装置Da全体を小型化できる。なお、この場合、面部材1aは、透光性を持つ材料で形成される。前記透光性は、入射光を全部透過する特性であって良いが、前記面部材1aの裏面に写された顔画像がその表面に浮き出ればよいので、前記透光性は、入射光を全部透過する特性である必要は必ずしもなく入射光の一部を透過する特性でよい。また、位置取りを合わせて面部材1aに対象人物OJの顔画像を投影する観点から、投影部5には、面部材1aの各部位(例えば眉BR、目EY、鼻NO、口MO、耳EA等)を顔画像の前記各部位に位置合わせするように、面部材1aの形状に応じて前記顔画像を変形する公知のプロジェクションマッピング法が用いられても良い。
入力部7は、制御処理部4aに接続され、例えば、稼働開始を指示するコマンド等の各種コマンド、および、例えば対象人物OJにおける識別子の入力等の顔容貌を疑似化する上で必要な各種データを顔容貌疑似化装置Daに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。出力部8は、制御処理部4aに接続され、制御処理部4aの制御に従って、入力部7から入力されたコマンドやデータ、および、後述のように取得された対象人物OJにおける第1および第2目標長さを出力する機器であり、例えばCRTディスプレイ、液晶表示ディスプレイ(LCD)および有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
IF部9は、制御処理部4aに接続され、制御処理部4aの制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS−232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。また、IF部9は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えばサーバ装置等の外部装置との間で通信しても良い(「イーサネット」は登録商標である)。
記憶部6は、制御処理部4aに接続され、制御処理部4aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、対象人物OJがマネキン人形DLの前に立っているか否かを判定する対象人物有無判定プログラムや、対象人物OJの顔の容貌に面部材1aの容貌を疑似化させる顔容貌疑似化プログラム等の制御処理プログラムが含まれる。記憶部6は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部6は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部4aのワーキングメモリとなるRAM(Random Access Memory)等を含む。
制御処理部4aは、顔容貌疑似化装置Daの各部を当該各部の機能に応じてそれぞれ制御し、面部材1aの容貌を対象人物OJの顔の容貌に疑似化させるための回路である。制御処理部4aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部4aには、制御処理プログラムが実行されることによって、制御部41a、対象人物判定部42、データ演算部43aおよび通知部44が機能的に構成される。
制御部41aは、顔容貌疑似化装置Daの各部を当該各部の機能に応じてそれぞれ制御するためのものである。制御部41aは、第1長さ調整制御として、第1長さL1が対象人物OJの後述の第1目標長さK1となるように第1調整部2aを制御し、第2長さ調整制御として、第2長さL2が前記対象人物OJの後述の第2目標長さK2となるように第2調整部3を制御する。
対象人物判定部42は、前記画像取得部の一例であるカメラCAによって時系列に連続的に取得した複数の画像(複数のフレーム)に、所定の時間以上(所定のフレーム数以上)、同一人物を含むか否かを判定するものである。より具体的には、対象人物判定部42は、本実施形態では7台のカメラCAが用いられているので、これら7台の第1ないし第7カメラCA−1〜CA−7の中から所定のカメラCAkを選択し、この選択したカメラCAkによって時系列に連続的に取得した複数の画像(複数のフレーム)に、所定の時間以上(所定のフレーム数以上)、同一人物を含むか否かを判定する。前記所定のカメラCAkは、例えば、7台の第1ないし第7カメラCA−1〜CA−7のうちの中央位置に配置された第3カメラCA−3のように、予め特定されたカメラCAで良い。また例えば、前記所定のカメラCAkは、例えば、7台の第1ないし第7カメラCA−1〜CA−7のうちの対象人物OJの顔をより正面から撮影しているカメラCAnのように、所定の規則に従って選定されたカメラCAで良い。前記所定の時間は、例えば3秒や5秒等の数秒に適宜な時間(言い換えれば適宜なフレーム数)で設定される。同一人物であるか否かの判定には、例えば顔の特徴的な部位(例えば眉、目、鼻および口等)を画像から公知の顔認識アルゴリズムで抽出しそれら配置位置間の各距離関係やその大きさ等を用いて同一人物であるか否かを判定する等の公知のマッチング法が用いられる。
データ演算部43aは、対象人物判定部42によって同一人物を含むと判定した場合、前記同一人物を対象人物OJとし、前記同一人物を含むとの判定に用いた前記複数の画像(複数のフレーム)に基づいて対象人物OJにおける顔画像、第1目標長さK1および第2目標長さK2を求めるものである。データ演算部43aは、これら求めた対象人物OJにおける顔画像、第1目標長さK1および第2目標長さK2を記憶部6に記憶する。対象人物OJにおける顔画像は、例えば、前記同一人物を含むとの判定に用いた前記複数の画像(複数のフレーム)のうちの所定の1枚から前記公知の顔認識アルゴリズムによって抽出されて良く、また例えば、前記同一人物を含むとの判定に用いた前記複数の画像(複数のフレーム)それぞれから前記公知の顔認識アルゴリズムによって複数の顔画像を抽出してそれらの平均の顔画像であって良い。前記顔画像は、正面であることが好ましい。第1目標長さK1は、前記対象人物OJの顔画像において、眉BRおよび鼻NOの配列方向に沿った第1長さK1であって、面部材1aの正中線CL上における前記所定の固定点P0に対応する前記顔画像上の固定点R0の固定位置と前記顔画像の正中線上における眉BRの眉位置Rbとの間の第1長さK1である(図6(B)参照)。第2目標長さK2は、前記対象人物OJの顔画像において、眉BRおよび鼻NOの配列方向に沿った第2長さK2であって、前記顔画像上の固定点R0の固定位置と前記顔画像の正中線上における鼻NOの鼻先の鼻先位置Rnとの間の第2長さK2である(図6(B)参照)。これら第1および第2目標長さK1、K2それぞれは、前記顔画像から所定の特徴点を抽出することによって求められる。眉BRは、例えば、それ自体を前記所定の特徴点として、顔の肌色と眉の黒色との相違を利用することによって抽出され、画像上における眉位置Rbが求められる。鼻先は、例えば、一対の鼻腔を前記所定の特徴点として、顔の肌色と鼻腔の黒色との相違を利用することによって一対の鼻腔を抽出しそれら一対の鼻腔間の中央位置として抽出され、画像上における鼻先位置Rnが求められる。固定点R0は、例えば、目および一対の鼻腔を前記所定の特徴点として、顔の肌色と目EYの黒色との相違を利用することによって一対の目EYを抽出し、それら一対の目EY間の中央位置として鼻の付け根を抽出し、この抽出した鼻の付け根と上述のように抽出した鼻先との間の中央位置として、抽出され、画像上の固定点R0の固定位置が求められる。あるいは、固定点R0は、例えば、頭頂および顎先を前記所定の特徴点として、頭頂および顎先を抽出し、これら抽出した頭頂と顎先との間の中央位置として、抽出され、画像上の固定点R0の固定位置が求められる。第1目標長さK1は、顔画像において、固定点R0の固定位置と眉位置Rbとの差から求められる。第2目標長さK2は、顔画像において、固定点R0の固定位置と鼻先位置Rnとの差から求められる。
通知部44は、同一人物を含むと判定した旨を制御部41aおよび投影部5それぞれに通知するものである。そして、本実施形態では、制御部41aは、通知部44から前記同一人物を含むと判定した旨を受け付けた場合に、前記第1長さ調整制御および前記第2長さ調整制御を実行し、投影部5は、通知部44から前記同一人物を含むと判定した旨を受け付けた場合に、前記顔画像投影処理を実行する。
このような制御処理部4a、記憶部6、入力部7、出力部8およびIF部9は、例えば、例えば、デスクトップ型やノート型やタブレット型等のパーソナルコンピュータ等のコンピュータによって実現できる。また、これら第1ないし第7カメラCA−1〜CA−7、対象人物判定部42、データ演算部43aおよび通知部44は、対象人物データ取得部の一例に相当する。
次に、第1実施形態における顔容貌疑似化装置Daの動作について説明する。図4は、第1実施形態における顔容貌疑似化装置の動作を示すフローチャートである。図5は、一例としての対象人物の画像を説明するための図である。図6は、第1実施形態における顔容貌疑似化装置の動作を説明するための図である。図6(A)は、変形前の面部材1aを示し、図6(B)は、対象人物の顔画像を示し、図6(C)は、変形後の面部材1aを示す。図7は、第1実施形態の顔容貌疑似化装置において、疑似化後の前記面部材を示す図である。
このような顔容貌疑似化装置Daでは、図略の電源スイッチが投入され、稼働開始を指示する開始コマンドが入力部7から入力されると、顔容貌疑似化装置Daは、制御処理プログラムを実行する。この制御処理プログラムの実行によって、制御処理部4aに制御部41a、対象人物判定部42、データ演算部43aおよび通知部44が機能的に構成される。そして、顔容貌疑似化装置Daは、以下の動作によって、面部材1aを変形して対象人物OJの顔画像を投影することで、面部材1aを対象人物OJの顔に疑似化する。
この動作において、まず、制御処理部4aの制御部41aは、第1ないし第7カメラCA−1〜CA−7から画像を取得する(S1)。次に、制御処理部4aの対象人物判定部42は、第1ないし第7カメラCA−1〜CA−7で取得した画像に基づいて、時系列に連続的に取得した複数の画像(複数のフレーム)に、所定の時間以上(所定のフレーム数以上)、同一人物を含むか否かを判定する(S2)。この判定の結果、同一人物を含まないと判定した場合(No)には、処理が処理S1に戻される。すなわち、同一人物を含むと判定するまで、処理S1および処理S2が繰り返される。一方、前記判定の結果、同一人物を含むと判定した場合(Yes)には、次の処理S3が実行される。例えば、ショーウィンドウのマネキン人形DLの前に、購入思案者が立ち止まってマネキン人形を眺めると、処理S2で同一人物を含むと判定され、次の処理S3が実行される。
処理S3において、制御処理部4aのデータ演算部43aは、前記同一人物を対象人物OJとし、前記同一人物を含むとの判定に用いた前記複数の画像(複数のフレーム)に基づいて対象人物OJにおける顔画像、第1目標長さK1および第2目標長さK2を求める。これによって図5に示すように、背景をカットした、縦方向が頭頂から顎先までであって横方向が右耳から左耳までである範囲の画像(破線で囲まれた画像)が、対象人物OJの顔画像として抽出され、図6(B)に示す対象人物OJにおける第1および第2目標長さK1、K2が求められる。そして、データ演算部43aは、これら求めた、対象人物OJにおける顔画像、第1目標長さK1および第2目標長さK2を記憶部6に記憶する。
次に、処理S4において、制御処理部4aの通知部44は、同一人物を含むと判定した旨を制御部41aおよび投影部5それぞれに通知する。
この同一人物を含むと判定した旨の通知を通知部44から受けると、処理S5において、制御部41aは、第1長さ調整制御として、第1長さL1が対象人物OJの第1目標長さK1となるように第1調整部2aを制御し、処理S6において、第2長さ調整制御として、第2長さL2が前記対象人物OJの第2目標長さK2となるように第2調整部3を制御する。より具体的には、処理S5では、図6(A)に示す面部材1aの第1長さL1を図6(B)に示す顔画像の第1目標長さK1に一致するように変更するので、制御部41aは、第1調整部2aの第1アクチュエータ21aを、A=L1−K1だけ伸縮するように、制御する。面部材1aの眉位置Pbが対象人物OJの眉位置Rbに調整される。ここで、Aがプラス値の場合、第1アクチュエータ21aは、初期状態から|A|だけ縮小され、Aがマイナス値の場合、第1アクチュエータ21aは、初期状態から|A|だけ伸長される。そして、処理S6では、図6(A)に示す面部材1aの第2長さL2を図6(B)に示す顔画像の第2目標長さK2に一致するように変更するので、制御部41aは、第2調整部3の第2アクチュエータ31を、B=L2−K2だけ伸縮するように、制御する。これによって面部材1aの鼻先位置Pnが対象人物OJの鼻先位置Rnに調整される。ここで、Bがプラス値の場合、第2アクチュエータ31は、初期状態から|B|だけ縮小され、Bがマイナス値の場合、第2アクチュエータ31は、初期状態から|B|だけ伸長される。これら処理S5および処理S6の実行によって、例えば図6(C)に示すように、面部材1aは、対象人物OJにおける顔の形状に近似するように、変形される。
なお、上述では、処理S5の第1長さ調整制御が実行された後に、処理S6の第2長さ調整制御が実行されるように説明したが、逆に、処理S6の第2長さ調整制御が実行された後に、処理S5の第1長さ調整制御が実行されて良く、あるいは、処理S5の第1長さ調整制御と処理S6の第2長さ調整制御とが平行して実行されて良い。
そして、処理S7において、前記同一人物を含むと判定した旨の通知を通知部44から受けると、投影部5は、データ演算部43aで抽出した対象人物OJの顔画像を面部材1aに投影する。これによって例えば図7に示すように、面部材1aは、対象人物OJにおける顔の容貌に疑似化される。
以上説明したように、第1実施形態における顔容貌疑似化装置Daおよびこれに実装された顔容貌疑似化方法は、制御部41aが第1調整部2aを制御することによって面部材1aの眉位置Pbを対象人物OJの眉位置Rbに調整し、制御部41aが第2調整部3を制御することによって面部材1aの鼻先位置Pnを対象人物OJの鼻先位置Rnに調整し、投影部5によって対象人物OJの顔画像を面部材1aに投影する。このように第1実施形態における顔容貌疑似化装置Daおよびこれに実装された顔容貌疑似化方法は、投影部5によって対象人物OJの顔画像を面部材1aに投影する際に、第1および第2調整部2a、3という2個のアクチュエータを含むより簡単な機構で、面部材1aにおける眉位置Pbと鼻先位置Pnとが対象人物OJの眉位置Rbと鼻先位置Rnとを略一致させることができ、面部材1aの容貌を対象人物OJの容貌に似せることができる。したがって、第1実施形態における顔容貌疑似化装置Daおよびこれに実装された顔容貌疑似化方法は、より少ない個数のアクチュエータで対象人物OJの容貌に似せることができる。
また、第1実施形態における顔容貌疑似化装置Daおよびこれに実装された顔容貌疑似化方法は、顔の略中心となる鼻の鼻中心を前記固定点P0とするので、顔の略中心を基準に各部位の各位置が変更されることになるから、各部位の各位置をバランス良く変更できる。
また、第1実施形態における顔容貌疑似化装置Daおよびこれに実装された顔容貌疑似化方法は、当該顔容貌疑似化装置Daの前に人物が所定の時間以上留まっていると自動的に前記人物を対象人物OJとして前記人物の顔の容貌に面部材1aを疑似化できる。したがって、例えばショーウィンドウに配置されたマネキン人形DLに顔容貌疑似化装置Daを利用することによって、ショーウィンドウに配置されているマネキン人形DLを眺めるだけで入店をためらう購入思案者にも、商品をアピールでき、前記購入思案者による前記商品の購買をより誘引できる。
なお、上述の実施形態において、面部材1aは、一方主面に目をさらに含み、第1長さ調整制御における眉位置Pbの変更に伴って面部材1aの正中線CL上における前記目の目位置も変更されるように、構成されても良い。面部材1aは、弾性部材で形成されるので、顔容貌疑似化装置Daは、第1長さ調整制御における眉位置Pbの変更に伴って前記目位置も変更できる。あるいは、目を模した目部材を第1アーム部材22aに連結することで、この顔容貌疑似化装置Daは、第1長さ調整制御における眉位置Pbの変更に伴って前記目位置も変更できる。このように顔にとって比較的特徴的な目が、第1長さ調整制御の際における眉BRの動きに連動して動くことによって、眉位置Pbの変更に伴って前記目位置も変更される。このため、このような変形形態の顔容貌疑似化装置Daおよびこれに実装された変形形態の顔容貌疑似化方法は、より少ない個数のアクチュエータで対象人物OJの容貌により似せることができる。
この変形形態では、前記目位置を眉位置Pbの変更に伴って変更したが、前記目位置は、独立して変更しても良い。このような顔容貌疑似化装置Dbを第2実施形態として以下に説明する。
(第2実施形態)
図8は、第2実施形態における顔容貌疑似化装置の電気的な構成を示すブロック図である。図9は、第2実施形態の顔容貌疑似化装置における面部材を説明するための図である。図9(A)は、正面図であり、面部材の一方主面、すなわち、表面を示す。図9(B)は、背面図であり、面部材における前記一方主面に対向する他方主面、すなわち、裏面を示す。そして、図9(C)は、面部材内部の側面図である。
第2実施形態における顔容貌疑似化装置Dbは、図8および図9に示すように、面部材1bと、第1調整部2bと、第2調整部3と、制御部41bを含む制御処理部4bと、カメラCA(CA−1〜CA−7)と、投影部5とを備え、これら図8および図9に示す例では、記憶部6と、入力部と、出力部8と、IF部9とを備える。
これら第2実施形態の顔容貌疑似化装置Dbにおける第2調整部3、カメラCA(CA−1〜CA−7)、投影部5、記憶部6、入力部、出力部8およびIF部9は、それぞれ、第1実施形態の顔容貌疑似化装置Daにおける第2調整部3、カメラCA(CA−1〜CA−7)、投影部5、記憶部6、入力部、出力部8およびIF部9と同様であるので、その説明を省略する。
面部材1bは、第1実施形態の面部材1aと同様に、顔を模した部材であり、顔の特徴部分である眉BR(左右一対の右眉BR−Rおよび左眉BR−L)、鼻NO、口MOおよび耳EA(左右一対の右耳EA−Rおよび左耳EA−L)を含み、第2実施形態では、図9に示すように、顔の特徴部分である目EY(左右一対の右目EY−Rおよび左目EY−L)を一方主面にさらに含む。図9に示す例では、左右一対の目EY−R、EY−Lとして、左右一対の貫通口が開口形成されている。
第1調整部2bは、第1サブ調整部21bと、第2サブ調整部22bとを備える。
第1サブ調整部21bは、制御処理部4bに接続され、制御処理部4bにおける制御部41bの制御に従って、眉BRおよび鼻NOの前記配列方向に沿った第3長さL3であって、面部材1bの正中線CL上における所定の固定点P0の固定位置と面部材1bの正中線CL上における前記目EYの目位置Peとの間の前記第3長さL3を調整するものである。面部材1bの正中線CL上における目EYの目位置Peは、左右一対の目EY−R、EY−Lを結ぶ線分と正中線CLとの交点であり、正中線CL上における略目EYの位置である。より具体的には、第1サブ調整部21bは、本実施形態では、例えば、図9(B)および図9(C)に示すように、第1サブアクチュエータ211bと、第1サブアーム部材212bとを備える。
第1サブアクチュエータ211bは、棒状であって一方向に長さを伸縮する駆動装置であり、その他方端(図9に示す例では下端)は、固定点P0の固定位置で面部材1bの他方面(裏面)に例えば接着剤等によって固定され、面部材1bの正中線CL上に沿って配設される。第1サブアクチュエータ211bの一方端(図9に示す例では上端)は、目位置Peで面部材1bの他方面に例えば接着剤等によって固定されてもよいが、本実施形態では、左右一対の右目EY−Rおよび左目EY−Lを一体的に眉BRおよび鼻NOの前記配列方向(縦方向、垂直方向)に移動させるために、第1サブアーム部材212bに例えば接着剤やネジ(ボルト)等によって固定されている。第1サブアクチュエータ211bは、第1アクチュエータ21aと同様に、例えば、エアシリンダ、油圧シリンダ、ソレノイドアクチュエータ、リニアアクチュエータおよび積層型圧電アクチュエータ等を備えて構成される。第1サブアクチュエータ211bは、制御処理部4bに接続され、制御処理部4bにおける制御部41bの制御に従って、その伸縮量(全長の長さ)が制御される。
第1サブアーム部材212bは、一方向に長尺な棒状の部材であり、好ましくは、左右一対の右目EY−Rおよび左目EY−Lの両外端間に応じた長さを持ち、眼球の形状を模した左右一対の眼球部材がその両端に形成されている。第1サブアーム部材212bは、前記左右一対の眼球部材が面部材1bに開口形成された前記左右一対の貫通口から外部に臨むように、面部材1aの他方面に固定される。より具体的には、第1サブアーム部材212bは、本実施形態では、その略中央位置を目位置Peに一致させて、前記直交方向(横方向、水平方向)に沿って延びるように配置され、そして、面部材1bの他方面に例えば接着剤等によって固定される。第1サブアクチュエータ211bの他方端は、目位置Peに一致させた第1サブアーム部材212bの前記略中央位置で第1サブアーム部材212bに固定されている。
第2サブ調整部22bは、制御処理部4bに接続され、制御処理部4bにおける制御部41bの制御に従って、眉BRおよび鼻NOの前記配列方向に沿った第4長さL4であって、面部材1bの正中線CL上における目EYの目位置Peと面部材1bの正中線CL上における眉BRの眉位置Pbとの間の前記第4長さL4を調整するものである。より具体的には、第2サブ調整部22bは、本実施形態では、例えば、図9(B)および図9(C)に示すように、第2サブアクチュエータ221bと、第2サブアーム部材222bとを備える。
第2サブアクチュエータ221bは、棒状であって一方向に長さを伸縮する駆動装置である。第2サブアクチュエータ221bの他方端(図9に示す例では下端)は、前記目EYの目位置Peで面部材1bの他方面(裏面)に例えば接着剤等によって固定されてもよいが、本実施形態では、前記目EYの目位置Peで第1サブアーム部材212bの例えば接着剤やネジ(ボルト)等によって固定され、面部材1bの正中線CL上に沿って配設される。第2サブアクチュエータ221bの一方端(図9に示す例では上端)は、眉位置Pbで面部材1bの他方面に例えば接着剤等によって固定されてもよいが、本実施形態では、左右一対の右眉BR−Rおよび左眉BR−Lを一体的に眉BRおよび鼻NOの前記配列方向(縦方向、垂直方向)に移動させるために、第2サブアーム部材222bに例えば接着剤やネジ(ボルト)等によって固定されている。第2サブアクチュエータ221bは、第1アクチュエータ21aと同様に、例えば、エアシリンダ、油圧シリンダ、ソレノイドアクチュエータ、リニアアクチュエータおよび積層型圧電アクチュエータ等を備えて構成される。第2サブアクチュエータ221bは、制御処理部4bに接続され、制御処理部4bにおける制御部41bの制御に従って、その伸縮量(全長の長さ)が制御される。
第2サブアーム部材222bは、第1アーム部材22aと同様であり、一方向に長尺な棒状または板状の部材であり、好ましくは、左右一対の右眉BR−Rおよび左眉BR−Lの両外端間に応じた長さを持ち、眉弓骨の形状を模して形成された部材である。第2サブアーム部材222bは、眉BRに沿って面部材1bの他方面に固定される。より具体的には、第2サブアーム部材222bは、本実施形態では、その略中央位置を眉位置Pbに一致させて、左右一対の右眉BR−Rおよび左眉BR−Lの配列方向(眉配列方向)、すなわち、眉BRおよび鼻NOの前記配列方向と直交する直交方向(横方向、水平方向)に沿って延びるように配置され、そして、面部材1bの他方面に例えば接着剤等によって固定される。第2サブアクチュエータ221bの一方端は、眉位置Pbに一致させた第2サブアーム部材222bの前記略中央位置で第2サブアーム部材222bに固定されている。
そして、このような面部材1b、第1調整部2b(第1および第2サブアクチュエータ211b、221bおよび第1および第2サブアーム部材212b、222b)および第2調整部3(第2アクチュエータ31および第2アーム部材32)は、図略のフレーム(枠体)によって保持されている。
制御処理部4bは、制御処理部4aと同様に、顔容貌疑似化装置Dbの各部を当該各部の機能に応じてそれぞれ制御し、面部材1bの容貌を対象人物OJの顔の容貌に疑似化させるための回路である。制御処理部4bには、制御処理プログラムが実行されることによって、制御部41b、対象人物判定部42、データ演算部43bおよび通知部44が機能的に構成される。これら第2実施形態の制御処理部4bにおける対象人物判定部42および通知部44は、それぞれ、第1実施形態の制御処理部4aにおける対象人物判定部42および通知部44と同様であるので、その説明を省略する。
制御部41bは、顔容貌疑似化装置Dbの各部を当該各部の機能に応じてそれぞれ制御するためのものである。制御部41bは、第1長さ調整制御として、第3長さL3が対象人物OJの後述の第3目標長さK3となるように第1サブ調整部21bを制御し、第4長さL4が前記対象人物OJの後述の第4目標長さK4となるように第2サブ調整部22bを制御し、第2長さ調整制御として、第2長さL2が前記対象人物OJの第2目標長さK2となるように第2調整部3を制御する。
データ演算部43bは、データ演算部43aと同様に、対象人物判定部42によって同一人物を含むと判定した場合、前記同一人物を対象人物OJとし、前記同一人物を含むとの判定に用いた前記複数の画像(複数のフレーム)に基づいて対象人物OJにおける顔画像、第1目標長さK1および第2目標長さK2を求めるものである。そして、本実施形態では、データ演算部43bは、前記第1目標長さK1として、対象人物OJにおける第3目標長さK3および第4目標長さK4を求めるものである。データ演算部43bは、これら求めた対象人物OJにおける顔画像、第3目標長さK3、第4目標長さK4および第2目標長さK2を記憶部6に記憶する。第3目標長さK3は、前記対象人物OJの顔画像において、眉BRおよび鼻NOの配列方向に沿った第3長さK3であって、面部材1bの正中線CL上における前記所定の固定点P0に対応する前記顔画像上の固定点R0の固定位置と前記顔画像の正中線上における目EYの目位置Reとの間の第3長さK3である(図10(B)参照)。第4目標長さK4は、前記対象人物OJの顔画像において、眉BRおよび鼻NOの配列方向に沿った第4長さK4であって、前記顔画像上の目位置Reと前記顔画像上の眉位置Rbとの間の第4長さK4である(図10(B)参照)。これら第3および第4目標長さK3、K4それぞれは、前記顔画像から所定の特徴点を抽出することによって求められる。目EYは、例えば、それ自体を前記所定の特徴点として、顔の肌色と目の黒色との相違を利用することによって抽出され、画像上における目位置Reが求められる。眉位置Rb、鼻先位置Rnおよび固定点R0の固定位置は、上述のように求められる。第3目標長さK3は、顔画像において、固定点R0の固定位置と目位置Reとの差から求められる。第4目標長さK4は、顔画像において、目位置Reと眉位置Rbとの差から求められる。
次に、第2実施形態における顔容貌疑似化装置Dbの動作について説明する。図10は、第2実施形態における顔容貌疑似化装置の動作を説明するための図である。図10(A)は、変形前の面部材1bを示し、図10(B)は、対象人物の顔画像を示し、図10(C)は、変形後の面部材1bを示す。
このような顔容貌疑似化装置Dbでは、図略の電源スイッチが投入され、稼働開始を指示する開始コマンドが入力部7から入力されると、顔容貌疑似化装置Dbは、制御処理プログラムを実行する。この制御処理プログラムの実行によって、制御処理部4bに制御部41b、対象人物判定部42、データ演算部43bおよび通知部44が機能的に構成される。そして、顔容貌疑似化装置Dbは、以下の動作によって、面部材1bを変形して対象人物OJの顔画像を投影することで、面部材1bを対象人物OJの顔に疑似化する。
この動作において、下記の点を除き、図4を用いて上述した処理S1ないし処理S7と同様の各処理が順次に実行される。
ここで、処理S3に相当する顔画像および目標長さの取得では、制御処理部4bのデータ演算部43bは、前記同一人物を対象人物OJとし、前記同一人物を含むとの判定に用いた前記複数の画像(複数のフレーム)に基づいて対象人物OJにおける顔画像、第3目標長さK3、第4目標長さK4および第2目標長さK2を求める。これによって図5に示すように、破線で囲まれた対象人物OJの顔画像が抽出され、図10(B)に示す対象人物OJにおける第3目標長さK3、第4目標長さK4および第2目標長さK2が求められる。そして、データ演算部43bは、これら求めた、対象人物OJにおける顔画像、第3目標長さK3、第4目標長さK4および第2目標長さK2を記憶部6に記憶する。
また、処理S5および処理S6それぞれに相当する第1および第2長さ調整制御では、この同一人物を含むと判定した旨の通知を通知部44から受けると、処理S5において、制御部41bは、第1長さ調整制御として、第3長さL3が対象人物OJの第3目標長さK3となるように第1サブ調整部21bを制御し、第4長さL4が対象人物OJの第4目標長さK4となるように第2サブ調整部22bを制御し、処理S6において、第2長さ調整制御として、第2長さL2が前記対象人物OJの第2目標長さK2となるように第2調整部3を制御する。より具体的には、処理S5では、図10(A)に示す面部材1bの第3長さL3を図10(B)に示す顔画像の第3目標長さK3に一致するように変更するので、制御部41bは、第1サブ調整部21bの第1サブアクチュエータ211bを、C=L3−K3だけ伸縮するように、制御する。面部材1bの目位置Peが対象人物OJの目位置Reに調整される。ここで、Cがプラス値の場合、第1サブアクチュエータ211bは、初期状態から|C|だけ縮小され、Cがマイナス値の場合、第1サブアクチュエータ211bは、初期状態から|C|だけ伸長される。また、図10(A)に示す面部材1bの第4長さL4を図10(B)に示す顔画像の第4目標長さK4に一致するように変更するので、制御部41bは、第2サブ調整部22bの第2サブアクチュエータ221bを、D=L4−K4だけ伸縮するように、制御する。面部材1bの眉位置Pbが対象人物OJの眉位置Rbに調整される。ここで、Dがプラス値の場合、第2サブアクチュエータ221bは、初期状態から|D|だけ縮小され、Dがマイナス値の場合、第2サブアクチュエータ221bは、初期状態から|D|だけ伸長される。そして、処理S6では、図10(A)に示す面部材1bの第2長さL2を図10(B)に示す顔画像の第2目標長さK2に一致するように変更するので、制御部41bは、第2調整部3の第2アクチュエータ31を、B=L2−K2だけ伸縮するように、制御する。これによって面部材1bの鼻先位置Pnが対象人物OJの鼻先位置Rnに調整される。これら処理S5および処理S6の実行によって、例えば図10(C)に示すように、面部材1bは、対象人物OJにおける顔の形状に近似するように、変形される。
以上説明したように、第2実施形態における顔容貌疑似化装置Daおよびこれに実装された顔容貌疑似化方法は、制御部41bが第1サブ調整部21bを制御することによって面部材1bの目位置Peを対象人物OJの目位置Reに調整し、制御部41bが第2サブ調整部22bを制御することによって面部材1bの眉位置Pbを対象人物OJの眉位置Rbに調整する。このように第2実施形態における顔容貌疑似化装置Daおよびこれに実装された顔容貌疑似化方法は、面部材1bの目位置Peを、面部材1bの眉位置Pbの調整とは独立して対象人物OJの目位置Reに調整できるので、より少ない個数のアクチュエータで対象人物OJの容貌にさらにより似せることができる。
なお、上述の第1および第2実施形態では、略リアルタイムで、対象人物OJの顔に面部材1a、1bを変形して対象人物OJの顔画像をこの変形した面部材1a、1bに投影するために、顔容貌疑似化装置Da、Dbは、カメラCAによって対象人物OJの顔画像を取得し、この顔画像に基づいて各目標長さを求めたが、他のカメラで撮影された顔画像を対象人物OJの顔画像として、外部機器からあるいはネットワークを介してIF部9から取得しても良い。この場合、対象人物判定部42および通知部44が省略され、IF部9およびデータ演算部43a、43bが、対象人物データ取得部の一例に相当する。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
Da、Db 顔容貌疑似化装置
Pb、Rb 眉位置
Pe、Re 目位置
P0、R0 固定点
Pn、Rn 鼻先位置
1a、1b 面部材
2a、2b 第1調整部
3 第2調整部
CA(CA−1〜CA−7) カメラ
4a、4b 制御処理部
5 投影部
21a 第1アクチュエータ
22a 第1アーム部材
31 第2アクチュエータ
32 第2アーム部材
21b 第1サブ調整部
22b 第2サブ調整部
211b 第1サブアクチュエータ
212b 第1サブアーム部材
221b 第2サブアクチュエータ
222b 第2サブアーム部材

Claims (7)

  1. 一方主面に少なくとも眉および鼻を含む、顔を模した面部材と、
    前記眉および前記鼻の配列方向に沿った第1長さであって、前記面部材の正中線上における所定の固定点の固定位置と前記面部材の正中線上における前記眉の眉位置との間の前記第1長さを調整する第1調整部と、
    前記配列方向に沿った第2長さであって、前記固定点の固定位置と前記面部材の正中線上における前記鼻の鼻先の鼻先位置との間の前記第2長さを調整する第2調整部と、
    対象人物における、顔画像、前記第1長さに対応する第1目標長さおよび前記第2長さに対応する第2目標長さを取得する対象人物データ取得部と、
    第1長さ調整制御として、前記第1長さが前記対象人物データ取得部で取得された前記対象人物の前記第1目標長さとなるように前記第1調整部を制御し、第2長さ調整制御として、前記第2長さが前記対象人物データ取得部で取得された前記対象人物の前記第2目標長さとなるように前記第2調整部を制御する制御部と、
    顔画像投影処理として、前記対象人物データ取得部で取得された前記対象人物の前記顔画像を前記面部材に投影する投影部とを備えること
    を特徴とする顔容貌疑似化装置。
  2. 前記面部材は、前記一方主面に目をさらに含み、前記第1長さ調整制御における前記眉位置の変更に伴って前記面部材の正中線上における前記目の目位置も変更されること
    を特徴とする請求項1に記載の顔容貌疑似化装置。
  3. 前記面部材は、前記一方主面に目をさらに含み、
    前記第1調整部は、前記配列方向に沿った第3長さであって、前記固定点の固定位置と前記面部材の正中線上における前記目の目位置との間の前記第3長さを調整する第1サブ調整部と、前記配列方向に沿った第4長さであって、前記面部材の正中線上における前記目の目位置と前記面部材の正中線上における前記眉の眉位置との間の前記第4長さを調整する第2サブ調整部とを備え、
    前記対象人物データ取得部は、前記第1目標長さとして、前記第3長さに対応する第3目標長さおよび前記第4長さに対応する第4目標長さを取得し、
    前記制御部は、前記第1長さ調整制御として、前記第3長さが前記対象人物データ取得部で取得された前記対象人物の前記第3目標長さとなるように前記第1サブ調整部を制御し、前記第4長さが前記対象人物データ取得部で取得された前記対象人物の前記第4目標長さとなるように前記第2サブ調整部を制御すること
    を特徴とする請求項1に記載の顔容貌疑似化装置。
  4. 前記第1調整部は、一方向に長さを伸縮する第1アクチュエータを備え、前記第1アクチュエータは、他方端を前記固定点の固定位置で前記面部材に固定して前記面部材の正中線上に沿って配設され、
    前記第2調整部は、一方向に長さを伸縮する第2アクチュエータを備え、前記第2アクチュエータは、一方端を前記固定点の固定位置で前記面部材に固定して前記面部材の正中線上に沿って配設されること
    を特徴とする請求項1ないし請求項3のいずれか1項に記載の顔容貌疑似化装置。
  5. 前記固定点は、前記鼻の鼻中心であること
    を特徴とする請求項1ないし請求項4のいずれか1項に記載の顔容貌疑似化装置。
  6. 前記対象人物データ取得部は、画像を取得する画像取得部と、前記画像取得部によって時系列に連続的に取得した複数の画像に、所定の時間以上、同一人物を含むか否かを判定する対象人物判定部と、前記対象人物判定部によって同一人物を含むと判定した場合、前記同一人物を前記対象人物とし、前記同一人物を含むとの判定に用いた前記複数の画像に基づいて前記対象人物における前記顔画像、前記第1目標長さおよび前記第2目標長さを求めるデータ演算部と、同一人物を含むと判定した旨を前記制御部および前記投影部それぞれに通知する通知部とを備え、
    前記制御部は、前記通知部から前記同一人物を含むと判定した旨を受け付けた場合に、前記第1長さ調整制御および前記第2長さ調整制御を実行し、
    前記投影部は、前記通知部から前記同一人物を含むと判定した旨を受け付けた場合に、前記顔画像投影処理を実行すること
    を特徴とする請求項1ないし請求項5のいずれか1項に記載の顔容貌疑似化装置。
  7. 一方主面に少なくとも眉および鼻を含む、顔を模した面部材を対象人物の顔の容貌に似せる顔容貌疑似化方法であって、
    前記眉および前記鼻の配列方向に沿った第1長さであって、前記面部材の正中線上における所定の固定点の固定位置と前記面部材の正中線上における前記眉の眉位置との間の前記第1長さを調整する第1調整工程と、
    前記配列方向に沿った第2長さであって、前記固定点の固定位置と前記面部材の正中線上における前記鼻の鼻先の鼻先位置との間の前記第2長さを調整する第2調整工程と、
    対象人物における顔画像、前記第1長さに対応する第1目標長さおよび前記第2長さに対応する第2目標長さを取得する対象人物データ取得工程と、
    前記第1長さが前記対象人物データ取得工程で取得された前記対象人物の前記第1目標長さとなるように前記第1調整工程を制御し、前記第2長さが前記対象人物データ取得工程で取得された前記対象人物の前記第2目標長さとなるように前記第2調整工程を制御する制御工程と、
    前記対象人物データ取得工程で取得された前記対象人物の前記顔画像を前記面部材に投影する投影工程とを備えること
    を特徴とする顔容貌疑似化方法。
JP2015023162A 2015-02-09 2015-02-09 顔容貌疑似化装置および顔容貌疑似化方法 Active JP6332067B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015023162A JP6332067B2 (ja) 2015-02-09 2015-02-09 顔容貌疑似化装置および顔容貌疑似化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015023162A JP6332067B2 (ja) 2015-02-09 2015-02-09 顔容貌疑似化装置および顔容貌疑似化方法

Publications (2)

Publication Number Publication Date
JP2016145933A true JP2016145933A (ja) 2016-08-12
JP6332067B2 JP6332067B2 (ja) 2018-05-30

Family

ID=56686291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015023162A Active JP6332067B2 (ja) 2015-02-09 2015-02-09 顔容貌疑似化装置および顔容貌疑似化方法

Country Status (1)

Country Link
JP (1) JP6332067B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57181582A (en) * 1981-04-30 1982-11-09 Masahiro Kariya Apparatus for changing expression of face
JPS6256986A (ja) * 1985-09-06 1987-03-12 高橋 史郎 風船状構造体
JPH05504071A (ja) * 1989-10-30 1993-07-01 ザ ウォルト ディズニー カンパニー ファイバー光学装置を使用して後面に画像を投影される形態物
JP2003230770A (ja) * 2002-02-12 2003-08-19 Chubu Kagaku Gijutsu Center 表情表出ロボット
JP2003265869A (ja) * 2002-03-12 2003-09-24 Univ Waseda ロボットの目・眉機構
JP2006343583A (ja) * 2005-06-09 2006-12-21 Ntt Docomo Inc 顔形状提示装置
JP2009274184A (ja) * 2008-05-16 2009-11-26 Univ Waseda 顔表情表出ロボットの表情可変構造
JP2015125448A (ja) * 2013-12-26 2015-07-06 株式会社コト 立体面スクリーン及び立体面画像投影方法並びに立体面表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57181582A (en) * 1981-04-30 1982-11-09 Masahiro Kariya Apparatus for changing expression of face
JPS6256986A (ja) * 1985-09-06 1987-03-12 高橋 史郎 風船状構造体
JPH05504071A (ja) * 1989-10-30 1993-07-01 ザ ウォルト ディズニー カンパニー ファイバー光学装置を使用して後面に画像を投影される形態物
JP2003230770A (ja) * 2002-02-12 2003-08-19 Chubu Kagaku Gijutsu Center 表情表出ロボット
JP2003265869A (ja) * 2002-03-12 2003-09-24 Univ Waseda ロボットの目・眉機構
JP2006343583A (ja) * 2005-06-09 2006-12-21 Ntt Docomo Inc 顔形状提示装置
JP2009274184A (ja) * 2008-05-16 2009-11-26 Univ Waseda 顔表情表出ロボットの表情可変構造
JP2015125448A (ja) * 2013-12-26 2015-07-06 株式会社コト 立体面スクリーン及び立体面画像投影方法並びに立体面表示装置

Also Published As

Publication number Publication date
JP6332067B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
JP7342008B2 (ja) 仮想アバタのためのメッシュの合致
CN110945405B (zh) 眼睛跟踪校准技术
JP7437327B2 (ja) 異種入力の補間のための方法およびシステム
JP7436600B2 (ja) 眼追跡のための個人化されたニューラルネットワーク
JP7344894B2 (ja) 眼追跡カメラからの顔の表情
CN108701227B (zh) 用于生物安全的蓝光调节
JP7459050B2 (ja) 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減
JP2020102259A (ja) 眼画像の収集、選択および組み合わせ
US8651916B2 (en) System and method for generating realistic eyes
JP2020507141A (ja) 完全な顔画像の眼球周囲およびオーディオ合成
JP7355748B2 (ja) 眼球位置合わせを使用した頭部走査整合
CN115023738A (zh) 中性化身
JP6332067B2 (ja) 顔容貌疑似化装置および顔容貌疑似化方法
CA2963116C (en) Artificial eye system comprising a see-through display
US20150178973A1 (en) Methods, systems, and computer readable media for utilizing synthetic animatronics
WO2022066432A1 (en) Progressive body capture of user body for building an avatar of user
US11276329B2 (en) Artificial eye system comprising a see-through display
US11037354B1 (en) Character joint representation
Strathearn et al. Development of 3D sculpted, hyper-realistic biomimetic eyes for humanoid robots and medical ocular prostheses
JP2022008613A (ja) コミュニケーション装置
KR102670987B1 (ko) 눈 추적 교정 기술들
Galiën Wearable Robotics & Facial Identity Perceptions
US20180286285A1 (en) Artificial eye system comprising a see-through display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180416

R150 Certificate of patent or registration of utility model

Ref document number: 6332067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150