JP2007108620A

JP2007108620A - 表情訓練器

Info

Publication number: JP2007108620A
Application number: JP2005325326A
Authority: JP
Inventors: Ichiro Hagiwara; 一郎萩原; Tetsuko Kitaoka; 哲子北岡
Original assignee: Individual
Current assignee: Individual
Priority date: 2005-10-13
Filing date: 2005-10-13
Publication date: 2007-04-26

Abstract

【課題】セミナや研修で行われている表情訓練と同等以上の効果を、ディジタル画像処理技術を用いた機械との対話で行う方法の具体化が課題である。
【解決手段】上記課題を解決するため、表情訓練器を訓練生の顔を撮影するディジタルカメラと、前記カメラにより撮影した顔写真から手本となる顔写真を創出するソフトウエアと、前記顔写真等を表示する装置と、手本となる顔写真を見ながら作った顔との差異を定量化し訓練生にフィードバックするソフトウエアと、前記ディジタルカメラやソフトウエアの作動を指示する操作部から構成した。
【選択図】図１

Description

本発明は、日常生活において表情を豊かに魅力的にさせる、あるいは業務上における応対・接遇能力をアップさせるための表情訓練を、ディジタル画像処理技術を用いて機械との対話で行う方法ならびに装置に関する。

表情豊かな魅力的な人になりたいという願望は大勢の人が持っており、また企業等における新人研修や事業の再構築に伴う人員の接客関連部門への異動などが背景にあって、近年表情訓練の重要性が認識され、各種セミナや研修が行われている。

しかし、セミナや研修に参加できる人は限られ、老人や病気の人は参加できず、またセミナや研修だけでは継続的な訓練ができず効果も限定的である。そこで、簡易な訓練器があれば自宅や病院や会社を問わずどこでも継続的な訓練ができて効果が大きいと考えられる。

セミナや研修で行われている表情訓練と同等以上の効果を、ディジタル画像処理技術を用いた機械との対話で行う方法の具体化が課題である。

本発明の装置は、上記課題を解決するため、訓練生の顔を撮影するディジタルカメラと、顔写真から特徴点を抽出するソフトウエアと、手本となる顔写真を創出するソフトウエアと、手本となる顔写真を見ながら作った顔との差異を定量化し訓練生にフィードバックするソフトウエアと、前記顔写真等を表示する装置と、前記ディジタルカメラやソフトウエアの作動を指示する操作部から構成したものである。この際、手本となる顔写真を創出するソフトウエアは、訓練生の顔写真と訓練生が指定した人物の顔写真の各々から特徴点を抽出するソフトウエアと、訓練生が指定した人物の顔写真の特徴点と自分の顔の特徴点の位置座標の差分に重み係数を乗じた分だけ各特徴点を移動させるソフトウエアと、移動後の新しい特徴点から顔写真を生成するソフトウエアから構成している。また、訓練生にフィードバックするソフトウエアを、手本となる顔写真と訓練生の顔写真について各部位の特徴点の座標データから各部位の評価値を演算し表示させ、さらに手本と訓練生の評価値の差分を自乗し特定の重み係数を乗じて加算した総合評価値を表示させるソフトウエアから構成している。

第二の解決手段は、手本となる顔写真を創出するソフトウエアを、訓練生の顔写真から特徴点を抽出するソフトウエアと、訓練生が自分の顔を変えたい方向を選択する手段と、選択した方向に合致するように特徴点の移動量を演算しその結果に基づいて移動させるソフトウエアと、移動した新しい特徴点から顔写真を生成するソフトウエアから構成したものである。

第三の解決手段は、第一の解決手段の訓練生にフィードバックするソフトウエアに、あらかじめ用意されたフィードバック文章群と、手本と訓練生の各特徴点の評価値の差分データと前記文章群とを対応づけるソフトウエアと、対応づけられた文章を表示するソフトウエアを追加したものである。

第四の解決手段は、すべてのソフトウエアとハードウエアを携帯電話機に収めたものである。

上記第一の解決手段による作用は次の通りである。即ち、自分の顔写真の特徴点を抽出した後、特定人物の顔の特徴点と比較して自分の特徴点を移動させ、その後ＣＳＲＢＦを用いて顔写真を創生するといったディジタル画像処理技術を用いて、自分の顔写真を望ましい顔に変形してこれを手本とし、この手本と自分の顔との差異についてもディジタル画像処理技術を用いて定量的に演算して訓練生に教えることで再現性のある客観的な指導を行うものである。手本の顔写真の作り方は、訓練生が特定の人物の顔写真を選び、自分の顔がこの人物の顔に似るように現実的な範囲内でディジタル画像処理技術を用いて変形させることで行なう。

上記第二の解決手段による作用は次の通りである。即ち、望ましい顔写真を作るのに、訓練生が選んだ方向性により顔写真の特徴点を移動させることで行い、後は第一の解決手段と同様ディジタル画像処理技術を用いて創出する。

上記第三の解決手段による作用は次の通りである。即ち、訓練生へのフィードバックを文章で行い、この文章を、多少の遊び心と古来の教訓や医学知識を織り交ぜて構成することで、あたかも経験豊かな指導員からのアドバイスのような感覚で楽しみながら訓練をすることができる。また顔の輪郭や頬のふくらみや目尻の上がり下がりなど、短期間の訓練では変えられないようなファクターについても長期的取り組みや古来の教えなどに例えて訓練生を納得させることができる。

上記第四の解決手段による作用は次の通りである。即ち、すべてのソフトウエアとハードウエアを携帯電話機に収めることで、訓練生は何時でも何処でも都合の良い場所と時間を選んでトレーニングを行える。

上述したように本発明の表情訓練機は、自宅や会社を問わずどこでも継続的な表情訓練ができるため、時間的余裕がなくセミナや研修に参加できるない人や、老人や病気の人でも継続的な訓練ができ効果が大きいと考えられる。

発明を実施するための形態

以下に、本発明を実施するための最良の形態を図面に基づいて説明する．

図１は、本発明の全体図を示す。表情訓練器は、操作器１、全体の演算や入出力をコントロールするＣＰＵ２、記憶装置３、特徴点抽出＆復元ソフトウエア４、手本となる顔を創生するソフトウエア５、訓練生へのフィードバック内容作成と表示ソフトウエア６、表示器７、ディジタルカメラ８から構成される。訓練生９は、操作器１を操作して表情訓練器を起動させ、自分の顔をディジタルカメラ８により撮影する。この顔画像データは記憶装置３に送られる。続いて特徴点抽出＆復元ソフトウエア４により特徴点の抽出を行い結果を記憶装置３に送る。次に手本となる顔を創生するソフトウエア５により自分の顔写真を訓練で使う手本となる顔に変形させる。この手本となる顔画像についても、特徴点抽出＆復元ソフトウエア４により特徴点の抽出を行い結果を記憶装置３に送る。訓練生へのフィードバック内容作成と表示ソフトウエア６は、手本となる顔画像を表示器７に表示する。訓練生９は表示器７に表示された手本となる顔画像を見て、自分の顔が手本に近づくように表情訓練を行う。ある程度訓練したら、操作器１により再度、訓練生へのフィードバック内容作成と表示ソフトウエア６を作動させてフィードバック内容を表示させる。訓練生９は表示器７に表示された結果を見てさらに工夫して訓練を続行する。何回かフィードバックを行ううちに総合判断数値が閾値に収まってくれば、目標達成の表示が出て訓練を終了する。

図２は、上記の動作の流れをフローチャートで表したものである。

図３は、顔写真から特徴点を抽出するソフトウエアの演算プロセスを示すブロック図である。

図４は、手本となる顔写真を創出するソフトウエアの演算プロセスを示すブロック図である。訓練生の顔写真と訓練生が指定した人物の顔写真の各々から特徴点を抽出するソフトウエアと、訓練生が指定した人物の顔写真の特徴点と自分の顔の特徴点の位置座標の差分に重み係数を乗じた分だけ各特徴点を移動させるソフトウエアと、移動後の新しい特徴点から顔写真を生成するソフトウエアから構成している。

図５は、手本となる顔写真を創生するソフトウエアにより処理された顔画像の一連の変化の概要を示す図である。

図６は、フィードバック内容作成ソフトウエア６の中で実施される、左右非対称度の評価値Ｘ_１の演算内容を示す図である。Ｘ_１は次の演算式により計算される。

数式１

ただし、ｉ：特徴点の番号
α_ｉ：各特徴点の左右非対称の重み係数
β_ｉ：各特徴点の上下非対称の重み係数
ｘ_ｒｉ，ｘ_ｌｉ：左右特徴点の左右座標
ｙ_ｒｉ，ｙ_ｌｉ：左右特徴点の上下座標

図７は、フィードバック内容作成ソフトウエア６の中で実施される、目の評価値Ｘ_２の演算内容を示す図である。Ｘ_２は次の演算式により計算される。

数式２

ただし、ｅ_ａ，ｅ_ｂ，ｅ_ｉ：各特徴点間の寸法
λ_ｉ：各寸法比の重み係数

図８は、フィードバック内容作成ソフトウエア６の中で実施される、頬の評価値Ｘ_３の演算内容を示す図である。Ｘ_３は次の演算式により計算される。

数式３

ただし、ｆ_ａ，ｆ_ｂ，ｆ_１，ｆ_２：各特徴点間の寸法
μ_１，μ_２：各寸法比の重み係数
ｆ_１，ｆ_２を定める頬の特徴点は、まず明暗と色合いの差が大きい領域を抽出し（図９の顔写真の白色に塗った領域で、これを頬面と定義する）、次にこの頬面の重心に相当する点を計算して求めこれを特徴点とする。

図９は、フィードバック内容作成ソフトウエア６の中で実施される、口角の評価値Ｘ_４の演算内容を示す図である。Ｘ_４は次の演算式により計算される。

数式４

ただし、ｘ_ｒｉ，ｘ_ｌｉ：左右の口角のｘ座標（ｉ＝１：内側、ｉ＝２：外側）
ｙ_ｒｉ，ｙ_ｌｉ：左右口角のｙ座標（ｉ＝１：内側、ｉ＝２：外側）

さらに図示してないが、顔の皺の位置と形についても次の演算式により評価値Ｘ_５が計算される。

数式５

ただし、γ_ｈ：ｈ＝１は目尻の皺の重み係数
ｈ＝２は頬の皺の重み係数
ｈ＝３は口の周りの皺の重み係数
ｘ_ｈｉ，ｘ_ｈｉ：皺のｘ座標（ｉ＝１：内側代表点、ｉ＝２：外側代表点）
ｙ_ｈｉ，ｙ_ｈｉ：皺のｙ座標（ｉ＝１：内側代表点、ｉ＝２：外側代表点）
ａ，ｂ，ｃ：それぞれ目尻、頬、口の周りの皺の好ましい傾斜角で統計的データから決めたものである．

図１０は、手本となる顔写真を見ながら訓練して作った顔との差異を定量化し、総合判断指数の計算式と、訓練生にフィードバックするための表示画面を示す図である。
総合指数Ａは次の演算式により計算される。

数式６

Ａ＝ρ_１（Ｘ_１ａ−Ｘ_１ｂ）^２＋ρ_２（Ｘ_２ａ−Ｘ_２ｂ）^２＋ρ_３（Ｘ_３ａ−Ｘ_３ｂ）^２＋ρ_４（Ｘ_４ａ−Ｘ_４ｂ）^２
ただし、ρ_ｉ（ｉ＝１〜４）は重み係数であり、十分データを蓄積してから定める。
Ｘ_ｉａ（ｉ＝１〜４）は手本となる顔写真の各評価値、Ｘ_ｉｂ（ｉ＝１〜４）は訓練後に撮影した訓練生の顔写真の各評価値である。
図中のグラフは、Ａ、Ｘ_ｉａ（ｉ＝１〜４）、Ｘ_ｉｂ（ｉ＝１〜４）を表示器の画面に表示した例を示す。総合判断はＡの大きさを棒グラフで、個別グラフは、Ｘ_ｉａ（ｉ＝１〜４）を破線で示してこれに囲まれたエリアを色塗りし、Ｘ_ｉｂ（ｉ＝１〜４）を太い実線で示している。
ここで図示していないが、さらに上記数式５の皺の評価を加える場合には、総合指数Ａは次式となる。

数式７

Ａ＝ρ_１（Ｘ_１ａ−Ｘ_１ｂ）^２＋ρ_２（Ｘ_２ａ−Ｘ_２ｂ）^２＋ρ_３（Ｘ_３ａ−Ｘ_３ｂ）^２＋ρ_４（Ｘ_４ａ−Ｘ_４ｂ）^２＋ρ_５（Ｘ_５ａ−Ｘ_５ｂ）^２
ただし、ρ_ｉ（ｉ＝１〜５）は重み係数であり、Ｘ_ｉａ（ｉ＝１〜５）は手本となる顔写真の各評価値、Ｘ_ｉｂ（ｉ＝１〜５）は訓練後に撮影した訓練生の顔写真の各評価値である。

第二の実施例

図１１は、手本となる顔写真を創出するソフトウエアを、訓練生の顔写真から特徴点を抽出するソフトウエアと、訓練生が自分の顔を変えたい方向を選択する手段と、選択した方向に合致するように特徴点の移動量を演算しその結果に基づいて移動させるソフトウエアと、移動した新しい特徴点から顔写真を生成するソフトウエアから構成した場合の演算プロセスを示すブロック図である。選択されたｉ番目の方向性によりｊ番目の特徴点をｘ方向にζ_ｉｊだけ移動させ、ｙ方向にη_ｉｊだけ移動させる。ζ_ｉｊ，η_ｉｊは、多数の顔写真とその方向性評価結果のデータによる相関分析から事前に決めておく。

第三の実施例

図１２は、訓練生へのフィードバックを文章で行い、この文章を、多少の遊び心と古来の教訓や医学知識を織り交ぜて構成した表示例を示す図である。

図１３は、訓練結果と文章群との対応表を示す。フィードバック内容作成ソフトウエア６に、この内容がプログラムされており、例えば訓練者が知的という方向性を選択し、頬に関して手本との差が大きかった場合にはｃ１という文章を選択して表示する。表示は一つでも上位二つを表示しても良い。図１２はｃ１とｃ２の二つを表示した例である。

第四の実施例

図１４は、すべてのソフトウエアとハードウエアを携帯電話機に収めた場合の全体図である。携帯電話機１０は、ＣＰＵ１１、ＲＡＭ１２、記憶装置１３、音声入出力ユニット１４、キー入出力装置１５、無線通信ユニット１６、ＬＣＤ１７、ディジタルカメラ１８を含む。

本発明の全体構成例である．一連の動作の流れをフローチャートで表した図である。図３は、顔写真から特徴点を抽出するソフトウエアの演算プロセスを示すブロック図である。手本となる顔写真を創生するソフトウエアの演算プロセスを示すブロック図である。手本となる顔写真を創生するソフトウエアにより処理された顔画像の一連の変化を示す図である。フィードバック内容作成ソフトウエア６の中で実施される、左右非対称度の評価値Ｘ_１の演算内容を示す図である。フィードバック内容作成ソフトウエア６の中で実施される、目の評価値Ｘ_２の演算内容を示す図である。フィードバック内容作成ソフトウエア６の中で実施される、頬の評価値Ｘ_３の演算内容を示す図である。フィードバック内容作成ソフトウエア６の中で実施される、口角の角度Ｘ_４の演算内容を示す図である。訓練生にフィードバックするための表示画面を示す図である。選択された方向性から、手本となる顔写真を創生するソフトウエアの演算プロセスを示すブロック図である。文章表示によるフィードバック表示法を示す図である。訓練結果と文章群の対応表を示す図である。すべてのソフトウエアとハードウエアを携帯電話機に収めた場合の全体図である。

符号の説明

１操作器
２ＣＰＵ
３記憶装置
４特徴点抽出＆復元ソフトウエア
５手本の顔創出ソフトウエア
６フィードバック内容作成＆表示ソフトウエア
７表示器
８ディジタルカメラ
９訓練生
１０携帯電話機
１１ＣＰＵ
１２ＲＡＭ
１３記憶装置
１４音声入出力ユニット
１５キー入力装置
１６無線通信ユニット
１７ＬＣＤ
１８ディジタルカメラ

Claims

訓練生の顔を撮影するディジタルカメラと、手本となる顔写真を創出するソフトウエアと、前記顔写真等を表示する装置と、手本となる顔写真と訓練生の顔写真との差異を定量化し、訓練生にフィードバックするソフトウエアと、前記ディジタルカメラやソフトウエアの作動を指示する操作部からなることを特徴とする表情訓練器。
請求項１において、手本となる顔写真を創出するソフトウエアを、訓練生の顔写真と訓練生が指定した人物の顔写真の各々から特徴点を抽出するソフトウエアと、指定した人物の顔写真の特徴点と自分の顔の特徴点との位置座標の差分に重み係数を乗じた分だけ各特徴点を移動させるソフトウエアと、移動後の新しい特徴点から顔写真を生成するソフトウエアから構成したことを特徴とする表情訓練器。
請求項１において、訓練生にフィードバックするソフトウエアを、手本となる顔写真と訓練生の顔写真について各部位の特徴点の座標データから各部位の評価値を演算し表示させ、さらに手本と訓練生の評価値の差分を自乗し特定の重み係数を乗じて加算した総合評価値を表示させるソフトウエアから構成したことを特徴とする表情訓練器。
請求項３において、各部位の評価値として、顔の左右非対称度、眉と目の形、頬の位置、口角、皺の位置と形を選んだことを特徴とする表情訓練器。
請求項１において、手本となる顔写真を創出するソフトウエアを、訓練生の顔写真から特徴点を抽出するソフトウエアと、訓練生が自分の顔を変えたい方向を選択する手段と、選択した方向に合致するように特徴点の移動量を演算しその結果に基づいて移動させるソフトウエアと、移動した新しい特徴点から顔写真を生成するソフトウエアから構成したことを特徴とする表情訓練器。
請求項３で述べた訓練生にフィードバックするソフトウエアに、あらかじめ用意されたフィードバック文章群と、手本と訓練生の各特徴点の評価値の差分データと前記文章群とを対応づけるソフトウエアと、対応づけられた文章を表示するソフトウエアを追加したことを特徴とする表情訓練器。
請求項１において、すべてのソフトウエアとハードウエアを携帯電話機に収めたことを特徴とする表情訓練器。