JP2019175210A - 口形状検出装置 - Google Patents

Abstract

【課題】一例として、顔の向きによらず、歪みが少ない口形状を精度良く検出することのできる口形状検出装置を提供する。【解決手段】実施形態に係る口形状検出装置は、一例として、角度算出部と、特徴点抽出部と、信頼度設定部と、フィッティング部とを備える。角度算出部は、人物の顔を撮像した顔画像から顔向きの角度を算出する。特徴点抽出部は、顔画像から口形状を示す複数の特徴点を抽出する。信頼度設定部は、角度算出部によって算出された顔向きの角度に基づき、特徴点抽出部によって抽出された特徴点ごとに信頼度を設定する。フィッティング部は、特徴点抽出部によって抽出された複数の特徴点と、信頼度設定部によって特徴点ごとに設定された信頼度とに基づき、正面向きの口形状モデルを用いたモデルフィッティングを行う。【選択図】図５

Description

本発明の実施形態は、口形状検出装置に関する。

従来、人物の顔を撮像した画像からその人物の口形状を検出する技術が知られている。特許文献１には、顔向きの角度ごとに複数の口形状モデルを用意しておくことで、顔向きによる検出精度の低下を抑制する技術が開示されている。

また、特許文献２には、頭部の動きによって引き起こされる口形状の歪みを除去する技術が開示されている。かかる特許文献２には、人物が撮像装置に対して左方または右方を向いている場合には、その人物はコンピュータと意思の疎通をはかる意思がないものとみなし、口形状の歪みの除去を行わないことが記載されている。このように特許文献２の技術では、人物が撮像装置に対して左方または右方を向いている場合に生じる口形状の奥行き方向の歪みについては考慮されていない。

特開２００２−９１４６６号公報 特開２００６−２７７０２２号公報

本発明は、一例として、顔の向きによらず、歪みが少ない口形状を精度良く検出することのできる口形状検出装置を提供する。

実施形態に係る口形状検出装置は、一例として、人物の顔を撮像した顔画像から顔向きの角度を算出する角度算出部と、顔画像から口形状を示す複数の特徴点を抽出する特徴点抽出部と、角度算出部によって算出された顔向きの角度に基づき、特徴点抽出部によって抽出された特徴点ごとに信頼度を設定する信頼度設定部と、特徴点抽出部によって抽出された複数の特徴点と、信頼度設定部によって特徴点ごとに設定された信頼度とに基づき、正面向きの口形状モデルを用いたモデルフィッティングを行うフィッティング部と、を備える。よって、実施形態に係る口形状検出装置によれば、各特徴点に対して設定された信頼度を加味して、正面向きの口形状モデルを用いたモデルフィッティングを行うため、一例としては、顔の向きによらず、歪みが少ない口形状を精度良く検出することができる。

上記口形状検出装置では、一例として、信頼度設定部は、顔向きの角度に基づく第１信頼度を設定する第１設定部と、複数の特徴点のフレーム間における距離差分に基づく第２信頼度を設定する第２設定部と、第１信頼度と第２信頼度とに基づき、特徴点抽出部によって抽出された複数の特徴点の信頼度を算出する信頼度算出部とを備える。よって、実施形態に係る口形状検出装置によれば、一例としては、顔向きによる影響だけでなく、光や影などの環境変化、顔のしわ等の外乱による影響を低くすることができるため、口形状をより精度良く検出することができる。

上記口形状検出装置では、一例として、角度算出部は、少なくとも奥行き方向の角度を含む顔向きの角度を算出し、第１設定部は、奥行き方向の奥側に位置する特徴点の第１信頼度を、この特徴点よりも奥行き方向の手前側に位置する特徴点の第１信頼度よりも低くする。よって、実施形態に係る口形状検出装置によれば、一例としては、奥行き方向の歪みが大きい特徴点のモデルフィッティング処理に与える影響を低くすることができる。

上記口形状検出装置では、一例として、第２設定部は、距離差分が大きい特徴点の第２信頼度を、この特徴点よりも距離差分が小さい特徴点の第２信頼度よりも低くする。よって、実施形態に係る口形状検出装置によれば、一例としては、光や影などの環境変化、顔のしわ等の外乱がモデルフィッティングに与える影響を低くすることができる。

上記口形状検出装置では、一例として、複数の特徴点のうち、モデルフィッティングに用いる少なくとも２以上の特徴点を、信頼度設定部によって設定された信頼度に応じて選択する特徴点選択部を備え、フィッティング部は、複数の特徴点のうち、特徴点選択部によって選択された特徴点を用いてモデルフィッティングを行う。よって、実施形態に係る口形状検出装置によれば、正面向きの口形状モデルを用いたモデルフィッティングを行う際に、信頼度の低い、つまり、歪みが大きい特徴点の影響を排除するため、一例としては、顔画像中の口形状が歪んでいる場合でも、正面向きの口形状を精度良く検出することができる。

図１Ａは、本実施形態に係る口形状検出処理の一例を示す図である。 図１Ｂは、本実施形態に係る口形状検出処理の一例を示す図である。 図２は、本実施形態に係る口形状検出装置を適用した車両の車室の一部が透視された状態の一例を示す斜視図である。 図３は、本実施形態に係る撮像装置の配置の一例を示す図である。 図４は、本実施形態に係る制御システムの構成の一例を示すブロック図である。 図５は、本実施形態に係るＥＣＵの機能的構成の一例を示すブロック図である。 図６は、奥行き方向の顔向き角度の説明図である。 図７は、特徴点抽出部によって抽出される複数の特徴点の一例を示す図である。 図８は、信頼度テーブルの一例を示す図である。 図９は、発話判定処理の一例を説明するための図である。 図１０は、ＥＣＵが実行する処理の手順の一例を示すフローチャートである。

まず、本実施形態に係る口形状検出処理の一例について図１Ａおよび図１Ｂを参照して説明する。図１Ａおよび図１Ｂは、本実施形態に係る口形状検出処理の一例を示す図である。

なお、以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態に係る口形状検出処理は、人物の顔を撮像した顔画像に対してモデルフィッティングを行うことにより、その人物の口形状を検出する。モデルフィッティングとは、対象物の形状を模したモデル画像を用い、モデル画像の特徴点を、撮像画像から抽出された対象物の特徴点に合わせ込むことにより対象物の形状を取得する手法である。

検出された口形状の情報は、たとえば発話区間の検出に利用される。発話区間の検出を精度良く行うためには、口形状を精度良く検出することが望ましい。しかし、口形状は顔の向きによって見え方が変化するため、単一のモデル画像だけを用いて口形状を精度良く検出することは困難である。

顔向きによる口形状の検出精度の低下を抑制する技術として、特許文献１には、顔向きの角度ごとに複数の口形状のモデル画像を用意しておくことが記載されている。しかしながら、事前に複数のモデル画像を用意するためには、時間、コストがかかる。また、演算負荷が高く、多くのハードリソースが必要となるという問題もある。

一方、特許文献２には、頭部の動きによって引き起こされる口形状の歪みを除去する技術が開示されている。しかしながら、特許文献２の技術では、人物が撮像装置に対して左方または右方を向いている場合には、その人物はコンピュータと意思の疎通をはかる意思がないものとみなし、口形状の歪みの除去を行わないことが記載されている。このように、特許文献２の技術は、人物が撮像装置に対して左方または右方を向いている場合に生じる口形状の奥行き方向の歪みについては考慮しないため、利用用途が限られてしまう。

本実施形態に係る口形状検出処理は、単一の口形状モデル、具体的には、正面向きの口形状モデルを用いてモデルフィッティングを行う。この際、本実施形態に係る口形状検出処理では、顔画像から抽出される口形状の特徴点ごとに顔向きの角度に基づく信頼度を設定し、設定した信頼度を加味したモデルフィッティングを行う。

たとえば、図１Ａに示すように、人物が撮像装置２０１の光軸に対して左右方向（ここでは、左方）を向いている場合、撮像装置２０１によって撮像される口形状は、撮像画像の奥行き方向に歪んだ形状となる。

本実施形態に係る口形状検出処理では、まず、撮像装置２０１によって撮像された顔画像から顔向きの角度を算出する（角度算出処理）。また、本実施形態に係る口形状検出処理では、顔画像から口形状を示す複数の特徴点を抽出する（特徴点抽出処理）。

抽出される特徴点の数は予め設定されている。たとえば本例では、図１Ａにおいて黒丸で示すように、１８個の特徴点が抽出される。

つづいて、本実施形態に係る口形状検出処理では、角度算出処理によって算出された奥行き方向の角度に基づき、特徴点抽出処理によって抽出された特徴点ごとに信頼度を設定する（信頼度設定処理）。

ここで、口形状が奥行き方向に歪んでいる場合、口形状の歪みは、顔画像における奥行き方向の奥側ほど大きくなる。このため、信頼度設定処理では、奥行き方向の奥側に位置する特徴点の信頼度を、この特徴点よりも奥行き方向の手前側に位置する特徴点の信頼度よりも低くする。

そして、本実施形態に係る口形状検出処理では、特徴点抽出処理によって抽出された複数の特徴点と、信頼度設定処理によって特徴点ごとに設定された信頼度とに基づき、正面向きの口形状モデルを用いたモデルフィッティングを行う（フィッティング処理）。

たとえば、図１Ｂに示すように、フィッティング処理では、特徴点抽出処理によって抽出された１８個の特徴点のうち、フィッティング処理に用いる２以上（ここでは、１１個）の特徴点を、信頼度が高い特徴点から順に選択する。なお、図１Ｂにおいて「×」で示された特徴点は、フィッティング処理に用いる特徴点として選択されなかった特徴点を示している。

信頼度設定処理において、奥行き方向の奥側に位置する特徴点ほど信頼度が低く設定される。このため、奥行き方向の奥側に位置する特徴点は、フィッティング処理に用いる特徴点から除外される。

フィッティング処理では、選択された１１個の特徴点を用いてモデルフィッティングを行う。なお、正面向きの口は一般的には左右対称な形状を有しており、この形状を模した正面向きの口形状モデルも左右対称な形状を有する。このため、フィッティング処理では、選択された１１個の特徴点を用いて、選択されなかった特徴点を補間することが可能である。

このように、本実施形態に係る口形状検出処理では、正面向きの口形状モデルを用いたモデルフィッティングを行う際に、信頼度の低い、つまり、顔向きによる歪みが大きい特徴点の影響を低くすることとした。これにより、顔画像中の口形状が歪んでいる場合でも、正面向きの口形状を精度良く検出することができる。したがって、本実施形態に係る口形状検出処理によれば、顔の向きによらず、歪みが少ない口形状を精度良く検出することができる。また、本実施形態に係る口形状検出処理によれば、単一の口形状モデルを用いるため、顔向きの角度ごとに複数のモデル画像を用意する場合と比較して、開発コストを削減できるとともに、演算負荷およびハードリソースを削減することができる。

以下、このような口形状検出処理を実現する口形状検出装置について図２以降を参照して詳細に説明する。

図２は、本実施形態に係る口形状検出装置を適用した車両の車室の一部が透視された状態の一例を示す斜視図である。また、図３は、本実施形態に係る撮像装置の配置の一例を示す図である。

車両１は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両１における車輪３の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

図２に示すように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。

また、図２に示すように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。

車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置や音声出力装置が設けられている。表示装置は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部で覆われている。乗員は、操作入力部を介して表示装置の表示画面に表示される画像を視認することができる。また、乗員は、表示装置の表示画面に表示される画像に対応した位置において手指等で操作入力部を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。

図３に示すように、ステアリングコラム２０２には、撮像装置２０１が設置されている。撮像装置２０１は、例えば、ＣＣＤ（Charge Coupled Device）カメラ等である。撮像装置２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。撮像装置２０１は、運転者３０２の顔を予め設定されたフレームレートにて順次撮像し、撮像により得られた画像の画像データを順次出力する。

なお、撮像装置２０１は、必ずしもステアリングコラム２０２に設置されることを要しない。撮像装置２０１は、運転者３０２の顔を正面から撮像することのできる場所であれば、ステアリングコラム２０２以外の他の場所に設置されてもよい。

車両１には、本実施形態に係る口形状検出装置を含む制御システムが設けられる。かかる制御システムの構成について図４を参照して説明する。図４は、本実施形態に係る制御システムの構成の一例を示すブロック図である。

図４に示すように、制御システム１００では、ＥＣＵ（Electronic Control Unit）１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。

モニタ装置１１は、表示装置８と、音声出力装置９と、操作入力部１０と、を有する。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂと、を有する。操舵システム１３は、ＥＣＵ１４の制御のもとでアクチュエータ１３ａを動作させることで、車輪３の一部または全部を転舵する。トルクセンサ１３ｂは、運転者による操舵部４の操作に応じて発生するトルクを検出し、検出結果をＥＣＵ１４に出力する。

ブレーキシステム１８は、アクチュエータ１８ａと、ブレーキセンサ１８ｂと、を有する。ブレーキシステム１８は、ＥＣＵ１４の制御のもとでアクチュエータ１８ａを動作させることで、車輪３に制動力を付与する。ブレーキセンサ１８ｂは、制動操作部６における可動部としてのブレーキペダルの位置（変位）を検出し、検出結果をＥＣＵ１４に出力する。

車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。ＥＣＵ１４は、口形状検出装置の一例である。

ＥＣＵ１４は、例えば、ＣＰＵ（Central Processing Unit）１４ａや、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（Solid State Drive）１４ｆ等を有する。

ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ、記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、たとえば、撮像装置２０１で得られた画像データを用いた画像処理や、表示装置８に対する表示制御処理を行う。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、たとえば、音声出力装置９で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

なお、上述した各種センサやアクチュエータの構成、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

次に、ＥＣＵ１４の機能的構成について図５を参照して説明する。図５は、本実施形態に係るＥＣＵ１４の機能的構成の一例を示すブロック図である。

図５に示すように、ＥＣＵ１４は、取得部１０１と、モデル生成部１０２と、角度算出部１０３と、特徴点抽出部１０４と、信頼度設定部１０５と、特徴点選択部１０６と、フィッティング部１０７と、判定部１０８とを備える。信頼度設定部１０５は、第１設定部１５１と、第２設定部１５２と、信頼度算出部１５３とを備える。また、ＥＣＵ１４は、正面向きの口形状モデル１１０と、信頼度テーブル１１１と、過去フレーム情報１１２とを記憶する。これらのうち、口形状モデル１１０、信頼度テーブル１１１および過去フレーム情報１１２を除く構成は、ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェアで実現するように構成しても良い。

口形状モデル１１０、信頼度テーブル１１１および過去フレーム情報１１２は、ＳＳＤ１４ｆ等の記憶媒体に記憶される。

口形状モデル１１０は、正面向きの口形状を模したモデル画像である。口形状モデル１１０には、複数（ここでは、１８個）の特徴点が設定されている。口形状モデル１１０は、後述するモデル生成部１０２によって生成される。

信頼度テーブル１１１は、顔向き角度と第１信頼度とを対応付ける情報である。顔向き角度、第１信頼度および信頼度テーブル１１１の内容については、後述する。

過去フレーム情報１１２は、過去のフレームにおいて抽出された口形状の各特徴点の位置を示す情報であり、後述する特徴点抽出部１０４によってフレームごとに記憶される。なお、過去フレーム情報１１２は、少なくとも前回フレームの情報を含んでいればよい。

取得部１０１は、運転者３０２の顔を撮像した顔画像を撮像装置２０１からフレームごとに取得する。取得部１０１によって取得された顔画像は、モデル生成部１０２、角度算出部１０３および特徴点抽出部１０４に入力される。

モデル生成部１０２は、ＳＳＤ１４ｆ等の記憶媒体に予め記憶された正面向きの口形状モデルの初期データと、取得部１０１から取得した顔画像に含まれる口形状とを用いたモデルフィッティングを行うことにより、運転者３０２に固有の口形状モデル１１０を生成する。この処理は、たとえば、車両１のイグニッションスイッチがオンされた場合に実行される。

角度算出部１０３は、取得部１０１から顔画像が入力されるごとに、顔画像に含まれる運転者３０２の顔の奥行き方向の角度を算出する。角度算出部１０３は、顔画像に含まれる運転者３０２の顔、鼻、目などの２次元の形状および位置関係から、運転者３０２の顔の奥行き方向の角度を算出することができる。角度算出部１０３によって算出された運転者３０２の顔向き角度は、信頼度設定部１０５の第１設定部１５１に入力される。

図６は、奥行き方向の顔向き角度の説明図である。図６に示すように、本実施形態において、奥行き方向の顔向き角度は、運転者３０２が撮像装置２０１の光軸を向いているとき、すなわち正面向きを基準（０度）とし、運転者３０２が撮像装置２０１の光軸に対して右方向を向いているときを「−Ｘ度（０＜Ｘ≦９０）」、左方向を向いているときを「＋Ｘ度」で表す。

特徴点抽出部１０４は、取得部１０１から運転者３０２の顔画像が入力されるごとに、顔画像から口形状を示す複数の特徴点を抽出する。図７は、特徴点抽出部１０４によって抽出される複数の特徴点の一例を示す図である。図７に示すように、口形状からは、Ｐ１〜Ｐ１８の１８個の特徴点が抽出される。

特徴点抽出処理は、たとえばＨａａｒ−Ｌｉｋｅ特徴等の既知のアルゴリズムを用いて行うことができる。Ｈａａｒ−Ｌｉｋｅ特徴は、輝度情報に基づく特徴である。なお、特徴点抽出処理は、Ｈａａｒ−Ｌｉｋｅ特徴以外のアルゴリズムを用いて行ってもよい。たとえば、輝度情報に基づく特徴としては、Ｈａａｒ−Ｌｉｋｅ特徴以外に、ピクセル差分特徴を用いることができる。また、ＨＯＧ（Histograms of Oriented Gradients）、ＥＯＨ（Edge of Orientation Histograms)などのエッジ情報に基づく特徴を用いてもよい。

特徴点抽出部１０４によって抽出された特徴点の情報は、信頼度設定部１０５の第２設定部１５２に入力される。また、特徴点抽出部１０４によって抽出された特徴点の情報は、過去フレーム情報１１２としてＳＳＤ１４ｆ等の記憶媒体に記憶される。

第１設定部１５１は、角度算出部１０３によって算出された顔向き角度と、信頼度テーブル１１１とに基づき、第１信頼度を設定する。

図８は、信頼度テーブル１１１の一例を示す図である。図８に示すように、信頼度テーブル１１１は、顔向き角度と、特徴点ごとの第１信頼度とを対応付けた情報である。たとえば、顔向き角度が０度である場合、すなわち、運転者３０２が撮像装置２０１に対して正面を向いている場合、第１設定部１５１は、特徴点Ｐ１〜Ｐ１８の第１信頼度を全て「１」に設定する。

また、顔向き角度が−９０度である場合、すなわち、運転者３０２が撮像装置２０１に対し、運転者３０２から見て右方向真横を向いている場合、第１設定部１５１は、特徴点Ｐ１８の第１信頼度を「１」に設定し、特徴点Ｐ１の第１信頼度を「０」に設定する。その他の特徴点Ｐ２〜Ｐ１７については図示を省略するが、第１設定部１５１は、奥行き方向の奥側に位置する特徴点ほど第１信頼度を低く設定する。

また、顔向き角度が＋９０度である場合、すなわち、運転者３０２が撮像装置２０１に対し、運転者３０２から見て左方向真横を向いている場合、第１設定部１５１は、特徴点Ｐ１の第１信頼度を「１」に設定し、特徴点Ｐ１８の第１信頼度を「０」に設定する。その他の特徴点Ｐ２〜Ｐ１７については図示を省略するが、第１設定部１５１は、奥行き方向の奥側に位置する特徴点ほど第１信頼度を低く設定する。

このように、第１設定部１５１は、奥行き方向の奥側に位置する特徴点の第１信頼度を、この特徴点よりも奥行き方向の手前側に位置する特徴点の第１信頼度よりも低くする。これにより、奥行き方向の歪みが大きい特徴点が後述するフィッティング処理に与える影響を低くすることができる。

なお、ここでは、図６に示すように奥行き方向の顔向き角度（ヨー角）のみを顔向き角度として用いる場合の例を示すが、ヨー角だけでなくピッチ角およびロール角を顔向き角度として用いてもよい。ピッチ角は、上下方向の角度であり、ロール角は、撮像装置２０１の光軸周りの回転角度である。この場合、角度算出部１０３は、取得部１０１から取得した顔画像から運転者３０２の顔のヨー角、ピッチ角およびロール角を算出する。また、信頼度テーブル１１１には、ヨー角、ピッチ角およびロール角の組合せごとに、各特徴点Ｐ１〜Ｐ１８の第１信頼度が対応付けられる。そして、第１設定部１５１は、角度算出部１０３によって算出されたヨー角、ピッチ角およびロール角の組合せに対応する第１信頼度を各特徴点Ｐ１〜Ｐ１８の第１信頼度として設定する。

第２設定部１５２は、複数の特徴点のフレーム間における距離差分に基づく第２信頼度を設定する。

具体的には、第２設定部１５２は、特徴点Ｐ１〜Ｐ１８ごとに、今回のフレームにおける位置と前回のフレームにおける位置との距離であるフレーム間距離を算出する。なお、前回のフレームから大きく移動した特徴点ほどフレーム間距離は大きくなる。

つづいて、第２設定部１５２は、算出した全てのフレーム間距離の平均値を算出する。また、第２設定部１５２は、特徴点Ｐ１〜Ｐ１８ごとに、フレーム間距離の偏差、すなわち、フレーム間距離と平均値との差である距離差分を算出する。そして、第２設定部１５２は、特徴点Ｐ１〜Ｐ１８ごとに、距離差分に応じた第２信頼度を設定する。具体的には、第２設定部１５２は、距離差分が大きい特徴点の第２信頼度を、この特徴点よりも距離差分が小さい特徴点の第２信頼度よりも低くする。なお、第２設定部１５２は、距離差分に反比例するように第２信頼度を設定してもよいし、距離差分が閾値を超える特徴点の第２信頼度を「０」に設定し、距離差分が閾値以下である特徴点の第２信頼度を「１」に設定してもよい。

このように、第２設定部１５２は、距離差分が大きい特徴点の第２信頼度を、この特徴点よりも距離差分が小さい特徴点の第２信頼度よりも低くする。これにより、発話における口の動きを極端に超える速さで口形状が変化した場合に、その変化を外乱と捉えて排除することができる。したがって、たとえば、光や影などの環境変化、顔のしわ等の外乱がフィッティング処理に与える影響を低くすることができる。

信頼度算出部１５３は、第１設定部１５１によって算出される第１信頼度と、第２設定部１５２によって算出される第２信頼度とに基づき、特徴点抽出部１０４によって抽出された複数の特徴点Ｐ１〜Ｐ１８の各信頼度を算出する。

たとえば、信頼度算出部１５３は、第１信頼度と第２信頼度とを乗じることにより、各特徴点Ｐ１〜Ｐ１８の信頼度を算出する。なお、各特徴点Ｐ１〜Ｐ１８の信頼度は、第１信頼度と第２信頼度とを加味したものであればよく、必ずしも第１信頼度と第２信頼度とを乗じたものであることを要しない。たとえば、信頼度算出部１５３は、第１信頼度と第２信頼度とを足し合わせることにより、各特徴点Ｐ１〜Ｐ１８の信頼度を算出してもよい。

信頼度設定部１０５は、特徴点抽出部１０４から抽出された複数の特徴点Ｐ１〜Ｐ１８の情報と、信頼度算出部１５３によって算出された特徴点Ｐ１〜Ｐ１８ごとの信頼度の情報とを特徴点選択部１０６に出力する。

特徴点選択部１０６は、特徴点抽出部１０４によって抽出された複数の特徴点Ｐ１〜Ｐ１８のうち、モデルフィッティングに用いる少なくとも２以上の特徴点を、信頼度設定部１０５によって設定された信頼度が高い順に選択する。たとえば、特徴点選択部１０６は、全ての特徴点Ｐ１〜Ｐ１８の半分である９個の特徴点を信頼度の高いものから順に選択する。

なお、特徴点選択部１０６によって選択される特徴点の数は、９個に限定されない。特徴点選択部１０６によって選択される特徴点の数は、２個以上１８個未満、好ましくは９個以上１８個未満の数であればよい。

また、特徴点選択部１０６は、たとえば、選択する特徴点の数を、角度算出部１０３によって算出された奥行き方向の顔向き角度（ヨー角）に応じて変更してもよい。すなわち、運転者３０２の顔が正面向きに近いほど奥行き方向の歪みは少なくなるため、各特徴点Ｐ１〜Ｐ１８の信頼度は全体的に高くなる。そこで、角度算出部１０３は、角度算出部１０３によって算出された奥行き方向の角度（絶対値）が小さいほど、モデルフィッティングに用いる特徴点として選択する特徴点の数を多くしてもよい。

その他、特徴点選択部１０６は、特徴点抽出部１０４によって抽出された複数の特徴点Ｐ１〜Ｐ１８のうち、信頼度設定部１０５によって設定された信頼度が閾値を超える特徴点を、モデルフィッティングに用いる特徴点として選択してもよい。

フィッティング部１０７は、特徴点抽出部１０４によって抽出された複数の特徴点Ｐ１〜Ｐ１８と、信頼度設定部１０５によって特徴点Ｐ１〜Ｐ１８ごとに設定された信頼度とに基づき、正面向きの口形状モデルを用いたモデルフィッティングを行う。

具体的には、フィッティング部１０７は、複数の特徴点Ｐ１〜Ｐ１８のうち、特徴点選択部１０６によって選択された少なくとも２以上の特徴点を基準として、正面向きの口形状モデル１１０を用いたモデルフィッティングを行う。これにより、仮想平面上に正面向きの口形状が生成される。フィッティング部１０７は、生成した正面向きの口形状の情報を判定部１０８へ出力する。

判定部１０８は、フィッティング部１０７から入力された正面向きの口形状の情報を用いて、運転者３０２が発話を行っているか否かを判定する。

ここで、判定部１０８による発話判定処理の一例について図９を参照して説明する。図９は、発話判定処理の一例を説明するための図である。

図９に示すように、判定部１０８は、たとえば、今回のフレームを含む過去複数フレーム分（たとえば５フレーム分）の口形状について、開口部分の横幅Ｗならびに縦幅Ｈおよび口形状全体のアスペクト比ＡＲ（長辺と短辺の比率）を算出し、これらの情報に基づいて発話の有無を判定する。判定部１０８は、歪みのない正面向きの口形状にて発話判定処理を行うため、発話の有無を精度良く判定することができる。

このようにして、発話の有無をフレームごとに判定することで、ＥＣＵ１４は発話区間を検出することができる。

発話区間の検出結果は、たとえば音声認識処理に利用される。この場合、ＥＣＵ１４は、図示しない音声認識部を備える。音声認識部は、マイク等の音声入力部に入力された音声に対して音声認識処理を行い、命令の内容を特定する。

音声認識処理は、騒音などの影響によって発話の開始タイミングを判別することが難しい場合があり、たとえば発話の出だし部分が認識されないことで、発話者は正しく発話しているにもかかわらず誤認識が生じるおそれがある。ＥＣＵ１４は、判定部１０８によって検出された発話区間内において音声認識処理を行うことで、音声認識処理の精度を向上させることができる。

次に、ＥＣＵ１４の具体的動作について図１０を参照して説明する。図１０は、ＥＣＵ１４が実行する処理の手順の一例を示すフローチャートである。なお、モデル生成部１０２によるモデル生成処理については、既に実行されたものとして省略する。

図１０に示すように、ＥＣＵ１４は、撮像装置２０１から運転者３０２の顔を撮像した顔撮像を取得し（ステップＳ１０１）、取得した顔画像から顔向き角度を算出する（ステップＳ１０２）。そして、ＥＣＵ１４は、信頼度テーブル１１１を参照して、ステップＳ１０４において抽出される各特徴点Ｐ１〜Ｐ１８について、顔向き角度に基づく第１信頼度を設定する（ステップＳ１０３）。

つづいて、ＥＣＵ１４は、ステップＳ１０１において取得した顔画像から口形状の特徴点Ｐ１〜Ｐ１８を抽出し（ステップＳ１０４）、特徴点Ｐ１〜Ｐ１８ごとに、前回フレームと今回フレームとのフレーム間における距離差分に基づく第２信頼度を設定する（ステップＳ１０５）。そして、ＥＣＵ１４は、特徴点Ｐ１〜Ｐ１８ごとに、ステップＳ１０３において設定した第１信頼度とステップＳ１０５において設定した第２信頼度とに基づく信頼度を算出する（ステップＳ１０６）。たとえば、ＥＣＵ１４は、第１信頼度と第２信頼度とを乗じることにより、各特徴点Ｐ１〜Ｐ１８の信頼度を算出する。

つづいて、ＥＣＵ１４は、ステップＳ１０６において算出した信頼度に基づき、特徴点Ｐ１〜Ｐ１８のうち、モデルフィッティングに用いる特徴点を選択する（ステップＳ１０７）。たとえば、ＥＣＵ１４は、信頼度設定部１０５によって設定された信頼度が高い順に９個の特徴点を選択する。

つづいて、ＥＣＵ１４は、ステップＳ１０７において選択した特徴点と、正面向きの口形状モデル１１０とを用いてモデルフィッティングを行う（ステップＳ１０８）。これにより、正面向きの口形状が生成される。そして、ＥＣＵ１４は、ステップＳ１０８において生成した正面向きの口形状を用いて発話の有無を判定する（ステップＳ１０９）。

つづいて、ＥＣＵ１４は、最終フレームか否かを判定する（ステップＳ１１０）。たとえば、ＥＣＵ１４は、イグニッションスイッチがオフされた場合に、最終フレームと判定し（ステップＳ１１０，Ｙｅｓ）、一連の処理を終える。一方、最終フレームではない場合（ステップＳ１１０，Ｎｏ）、ＥＣＵ１４は、処理をステップＳ１０１へ戻し、ステップＳ１０１からの処理を繰り返す。

上述してきたように、本実施形態に係る口形状検出装置（ＥＣＵ１４）は、角度算出部１０３と、特徴点抽出部１０４と、信頼度設定部１０５と、フィッティング部１０７とを備える。角度算出部１０３は、人物の顔を撮像した顔画像から顔向きの角度を算出する。特徴点抽出部１０４は、顔画像から口形状を示す複数の特徴点Ｐ１〜Ｐ１８を抽出する。信頼度設定部１０５は、角度算出部１０３によって算出された顔向きの角度に基づき、特徴点抽出部１０４によって抽出された特徴点Ｐ１〜Ｐ１８ごとに信頼度を設定する。フィッティング部１０７は、特徴点抽出部１０４によって抽出された複数の特徴点Ｐ１〜Ｐ１８と、信頼度設定部１０５によって特徴点ごとに設定された信頼度とに基づき、正面向きの口形状モデルを用いたモデルフィッティングを行う。

本実施形態に係る口形状検出装置によれば、各特徴点Ｐ１〜Ｐ１８に対して設定された信頼度を加味して、正面向きの口形状モデル１１０を用いたモデルフィッティングを行うため、一例としては、顔の向きによらず、歪みが少ない口形状を精度良く検出することができる。

また、本実施形態に係る口形状検出装置において、信頼度設定部１０５は、顔向きの角度に基づく第１信頼度を設定する第１設定部１５１と、複数の特徴点Ｐ１〜Ｐ１８のフレーム間における距離差分に基づく第２信頼度を設定する第２設定部１５２と、第１信頼度と第２信頼度とに基づき、特徴点抽出部１０４によって抽出された複数の特徴点Ｐ１〜Ｐ１８の信頼度を算出する信頼度算出部１５３とを備える。これにより、顔向きによる影響だけでなく、光や影などの環境変化、顔のしわ等の外乱による影響を低くすることができるため、口形状をより精度良く検出することができる。

また、本実施形態に係る口形状検出装置において、角度算出部１０３は、少なくとも奥行き方向の角度を含む顔向きの角度を算出する。そして、第１設定部１５１は、奥行き方向の奥側に位置する特徴点の第１信頼度を、この特徴点よりも奥行き方向の手前側に位置する特徴点の第１信頼度よりも低くする。これにより、奥行き方向の歪みが大きい特徴点のモデルフィッティング処理に与える影響を低くすることができる。

また、本実施形態に係る口形状検出装置において、第２設定部１５２は、距離差分が大きい特徴点の第２信頼度を、この特徴点よりも距離差分が小さい特徴点の第２信頼度よりも低くする。これにより、光や影などの環境変化、顔のしわ等の外乱がモデルフィッティングに与える影響を低くすることができる。

また、本実施形態に係る口形状検出装置は、複数の特徴点Ｐ１〜Ｐ１８のうち、モデルフィッティングに用いる少なくとも２以上の特徴点を、信頼度設定部１０５によって設定された信頼度に応じて選択する特徴点選択部１０６を備える。そして、フィッティング部１０７は、複数の特徴点Ｐ１〜Ｐ１８のうち、特徴点選択部１０６によって選択された特徴点を用いてモデルフィッティングを行う。このように、正面向きの口形状モデルを用いたモデルフィッティングを行う際に、信頼度の低い、つまり、奥行き方向への歪みが大きい特徴点の影響を排除することで、顔画像中の口形状が奥行き方向に歪んでいる場合でも、正面向きの口形状を精度良く検出することができる。

（変形例）
上述した実施形態では、特徴点選択部１０６により、複数の特徴点Ｐ１〜Ｐ１８のうちフィッティング処理に用いる２以上の特徴点を信頼度に基づいて選択することとした。すなわち、信頼度が低い特徴点については、フィッティング処理に使用しないこととした。しかし、これに限らず、ＥＣＵ１４は、全ての特徴点Ｐ１〜Ｐ１８を用いてモデルフィッティングを行ってもよい。たとえば、ＥＣＵ１４は、フィッティング処理における各特徴点Ｐ１〜Ｐ１８の影響度（重み付け）を信頼度に応じて異ならせることとしてもよい。これにより、全ての特徴点Ｐ１〜Ｐ１８を使用しつつ、信頼度の低い特徴点のフィッティング処理に与える影響を小さくすることができる。

また、上述した実施形態では、第１信頼度と第２信頼度とに基づいて各特徴点Ｐ１〜Ｐ１８の信頼度を設定することとした。しかし、これに限らず、ＥＣＵ１４は、各特徴点Ｐ１〜Ｐ１８の信頼度として第１信頼度をそのまま使用してもよい。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

Ｐ１〜Ｐ１８…特徴点、１…車両、１４…ＥＣＵ、３…車輪、１０１…取得部、１０２…モデル生成部、１０３…角度算出部、１０４…特徴点抽出部、１０５…信頼度設定部、１０６…特徴点選択部、１０７…フィッティング部、１０８…判定部、１１０…口形状モデル、１１１…信頼度テーブル、１１２…過去フレーム情報、２０１…撮像装置。

Claims (5)

1. 人物の顔を撮像した顔画像から顔向きの角度を算出する角度算出部と、
   前記顔画像から口形状を示す複数の特徴点を抽出する特徴点抽出部と、
   前記角度算出部によって算出された前記顔向きの角度に基づき、前記特徴点抽出部によって抽出された前記特徴点ごとに信頼度を設定する信頼度設定部と、
   前記特徴点抽出部によって抽出された前記複数の特徴点と、前記信頼度設定部によって前記特徴点ごとに設定された前記信頼度とに基づき、正面向きの口形状モデルを用いたモデルフィッティングを行うフィッティング部と、
   を備える、口形状検出装置。
2. 前記信頼度設定部は、
   前記顔向きの角度に基づく第１信頼度を設定する第１設定部と、
   前記複数の特徴点のフレーム間における距離差分に基づく第２信頼度を設定する第２設定部と、
   前記第１信頼度と前記第２信頼度とに基づき、前記特徴点抽出部によって抽出された前記複数の特徴点の信頼度を算出する信頼度算出部と
   を備える、請求項１に記載の口形状検出装置。
3. 前記角度算出部は、
   少なくとも奥行き方向の角度を含む前記顔向きの角度を算出し、
   前記第１設定部は、
   前記奥行き方向の奥側に位置する前記特徴点の前記第１信頼度を、該特徴点よりも前記奥行き方向の手前側に位置する前記特徴点の前記第１信頼度よりも低くする、
   請求項２に記載の口形状検出装置。
4. 前記第２設定部は、
   前記距離差分が大きい前記特徴点の前記第２信頼度を、該特徴点よりも前記距離差分が小さい前記特徴点の前記第２信頼度よりも低くする、
   請求項２または３に記載の口形状検出装置。
5. 前記複数の特徴点のうち、前記モデルフィッティングに用いる少なくとも２以上の前記特徴点を、前記信頼度設定部によって設定された前記信頼度に応じて選択する特徴点選択部
   を備え、
   前記フィッティング部は、
   前記複数の特徴点のうち、前記特徴点選択部によって選択された特徴点を用いて前記モデルフィッティングを行う、
   請求項１〜４のいずれか一つに記載の口形状検出装置。

Images