JP2003187247A

JP2003187247A - 口唇形状特定プログラム，発話意図検出プログラム及び顔認識用画像生成プログラム

Info

Publication number: JP2003187247A
Application number: JP2001381054A
Authority: JP
Inventors: Yasuyuki Nakada; 康之中田; Toru Kamata; 徹鎌田; Koichi Oikawa; 浩一及川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-12-14
Filing date: 2001-12-14
Publication date: 2003-07-04

Abstract

(57)【要約】【課題】顔を撮影して得られる画像の中から口唇部分の
みを抽出して口唇形状を特定できる口唇形状特定プログ
ラムを、提供する。【解決手段】コンピュータシステム１０は、マイク１０
ｂ，スピーカ１０ｃ，ＣＣＤカメラ１０ｄに繋がれてお
り、本体１０ｅのＨＤＤ１７には、発話意図検出プログ
ラム２１が格納されている。発話意図検出プログラム２
１がＣＰＵ１１に読み込まれて実行される発話意図検出
処理は、ＣＣＤカメラ１０ｄにより生成された画像か
ら、人間の肌色の色空間に含まれる画素を抽出させ、抽
出した画素を取り囲む顔領域内の画素から、口唇の色空
間に含まれる画素を抽出させ、抽出した画素のうち、最
も左右側にある画素（最左右端点）と、これら画素の中
間にある画素（中点）と、最も下側にある画素（最下端
点）とを抽出し、中点と最下端点との間の縦距離と最左
右端点間の横距離との縦横比率が所定値以上であるか否
かにより、口の開閉状態を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔を撮影して得ら
れる画像を用いて口唇の形状を特定する口唇形状特定プ
ログラムと、このような口唇形状特定プログラムを利用
した発話意図検出プログラム及び顔認識用画像生成プロ
グラムとに、関する。

【０００２】

【従来の技術】近年、顔を撮影して得られる画像の中か
ら顔の部分だけを取り込む手法（顔認識）が、様々な分
野に広く活用されている。例えば人物認証が、その分野
のうちの１つである。人物認証では、利用者が何等かの
サービスを享受しようとする際、その利用者の顔部分画
像がコンピュータに取り込まれ、その顔部分画像が事前
に登録されている顔部分画像と比較され、その類似度に
よって利用者が登録ユーザであるか否かが判定され、登
録ユーザであると判定されれば利用者に当該サービスが
提供される。このような顔認識を利用した人物認証装置
は、多くの者によって開発されており、例えば特開平5-
225344号，特開平8-339445号，特開平9-251534号など、
多くの先行例が存在する。

【０００３】これら従来の人物認証装置では、表色系の
色成分（Ｈ成分やＱ成分）の上下限値を設定しておい
て、画像内の各画素からこれら上下限値の間に色成分値
が含まれる画素群を複数抽出したり（特開平5-225344号
など）、画像内の各画素から相対的に暗い（輝度値の低
い）画素群を複数抽出し（特開平9-251534号など）、抽
出した画素群が占める領域を夫々顔部品（眉，目，鼻，
口など）候補として設定し、これら各顔部品候補の位置
関係を標準テンプレートや辞書画像と比較することによ
り正しい顔部品の組み合わせを決定し、各顔部品若しく
は各顔部品のうちの特徴点の位置情報に基づいて顔部分
画像を元の画像から切り出すことにより、顔部分画像を
取得している。

【０００４】一方で、顔認識を他の分野に使えないかと
いった要望もある。その分野のうちの１つに発話意図検
出がある。従来、コマンド入力手段としての音声認識機
能を備えるコンピュータシステムでは、システムがスピ
ーカーから発した合成音声と操作者が発した声とが同時
にマイクに入力されてしまう（この現象はダブルトーク
と称される）という問題があったため、操作者が発話し
た意図を検出する機能をこのコンピュータシステムに組
み込んで合成音声の出力（又はマイク入力）の開始又は
停止を制御できないかといった要請があった。そこで、
従来の人物認証装置と同様の顔部品抽出処理を用いるこ
とによって動画の各コマから顔部分画像を取得すること
により、顔認識を発話意図検出に利用できるのではない
かと考えられていた。

【０００５】

【発明が解決しようとする課題】しかしながら、顔認識
を利用する分野の目的如何では、顔全体の認識は、必ず
しも必要ではない。例えば、上述したダブルトーク防止
では、口が開いているか閉じているかが分かれば十分で
ある。また、本発明者が鋭意研究したところによると、
口唇の形状の個人差を利用した個人識別も可能である。
その場合には、従来の顔部品抽出方法では余計な処理が
含まれるので、処理全体のレスポンスが悪化する。

【０００６】本発明は、このような事情に鑑みてなされ
たものであり、その課題は、発話意図検出や個人識別な
ど様々な分野に応用可能なプログラムとして画像内から
口唇形状を特定する口唇形状特定プログラムと、この口
唇形状特定プログラムを利用した発話意図検出プログラ
ム及び顔認識用画像生成プログラムとを、提供すること
である。

【０００７】

【課題を解決するための手段】上記の課題を解決するた
めに構成された本発明の口唇形状特定プログラムは、被
写体像を撮影するテレビカメラに繋がれたコンピュータ
に対し、前記テレビカメラから入力される画像データに
基づく画像の各画素から、肌色の色空間を定義する色成
分値の範囲にその色成分値が含まれる画素を、抽出さ
せ、抽出した画素により囲まれる領域の内側にある画素
から、口唇の色空間を定義する色成分値の範囲にその色
成分値が含まれる画素を、抽出させることを、特徴とす
る。

【０００８】このように構成されると、テレビカメラに
より生成された画像のうち、口唇の色空間に含まれる画
素のみが、抽出される。これにより、画像１コマから複
数の顔部品を同時に抽出してから口唇部分を抽出するよ
りも、口唇部分の特定処理を高速で実行することができ
る。

【０００９】なお、肌色又は口唇の色空間を定義する色
成分値の範囲を決定する上下限値は、輝度値の変化に対
して一定であっても良いし、輝度値の変化に対して変化
しても良い。後者の場合には、画像の各画素が肌色又は
口唇の色空間に含まれるか否かを判定する際に、各画素
の輝度値に基づいて色成分値の上下限値を決定する。こ
れにより、肌色及び口唇の色空間に含まれる画素をより
精度良く抽出することができる。

【００１０】また、本発明の発話意図検出プログラム
は、被写体像を撮影するテレビカメラに繋がれたコンピ
ュータに対し、前記テレビカメラから入力される画像デ
ータに基づく画像の各画素から、肌色の色空間を定義す
る色成分値の範囲に色成分値が含まれる画素を、抽出さ
せ、抽出した画素により囲まれる領域の内側にある画素
から、口唇の色空間を定義する色成分値の範囲に色成分
値が含まれる画素を、抽出させ、抽出した画素のうち、
最も左側にある第１の画素，最も右側にある第２の画
素，これら第１及び第２の画素の中間位置にある第３の
画素，及び、最も下側にある第４の画素を、夫々抽出さ
せ、前記第１及び第２の画素の間の距離である横距離
と、前記第３及び第４の画素の間の距離である縦距離と
の縦横比率を算出させ、前記縦横比率が所定の値より大
きい場合には、口の開閉状態に対応するために利用され
る状態情報を開口状態に切り替えさせ、前記縦横比が所
定の値より小さい場合には、前記状態情報を閉口状態に
切り替えさせることを、特徴とする。

【００１１】このように構成されると、テレビカメラに
より生成された画像のうち、口唇の色空間に含まれる画
素が抽出されるとともに、更に、口唇の左右端と左右端
の中点と下端とを特徴点として示す画素として、第１乃
至第４の画素が抽出される。そして、第１及び第２の画
素の間の横距離と第３及び第４の画素の間の縦距離との
縦横比率が所定の値以上であるか否かが判定され、縦横
比率が所定の値以上であった場合には、開口状態として
検出される。このように、画像から口唇部分のみを抽出
して口の開閉状態を検出しているので、画像１コマから
複数の顔部品を同時に抽出してから口唇部分を抽出する
よりも、発話意図検出処理を高速で実行することができ
る。また、動画の各コマにおける口の開閉状態を高速で
検出できる結果、ダブルトークを回避することもでき
る。

【００１２】さらに、本発明の顔認識用画像生成プログ
ラムは、被写体像を撮影するテレビカメラに繋がれたコ
ンピュータに対し、前記テレビカメラから入力される画
像データに基づく画像の各画素から、肌色の色空間を定
義する色成分値の範囲にその色成分値が含まれる画素
を、抽出させ、抽出した画素により囲まれる領域の内側
にある画素から、口唇の色空間を定義する色成分値の範
囲にその色成分値が含まれる画素を、抽出させ、抽出し
た画素のうち、最も左側にある第１の画素，最も右側に
ある第２の画素，及び、これら第１及び第２の画素の中
間位置にある第３の画素を、夫々抽出させ、前記第３の
画素を挟んで左右に区分される領域のうちの左側の領域
において、前記第１の画素よりも上側にある画素のう
ち、所定の輝度値よりも小さい輝度値の画素を抽出さ
せ、抽出した画素のうち、最も下側にある画素を第５の
画素として抽出させ、前記第３の画素を挟んで左右に区
分される領域のうちの右側の領域において、前記第２の
画素よりも上側にある画素のうち、所定の輝度値よりも
小さい輝度値の画素を抽出させ、抽出した画素のうち、
最も下側にある画素を第６の画素として抽出させ、前記
第１及び第２の画素並びに前記第５及び第６の画素の前
記画像内での位置に基づいて、前記画像から顔部分画像
を切り出させることを、特徴とする。

【００１３】このように構成されると、テレビカメラに
より生成された画像のうち、口唇の色空間に含まれる画
素が抽出されるとともに、更に、口唇の左右端を特徴点
として示す画素として第１及び第２の画素が抽出され、
左右眼目の下端を特徴点として示す画素として第５及び
第６の画素が抽出される。そして、第１及び第２の画素
並びに第５及び第６の画素の画像内での位置に基づい
て、画像から顔部分画像が切り出される。これにより切
り出された顔部分画像は、例えば人物認証における登録
ユーザの顔部分画像との比較対象として、利用すること
ができる。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面に基づいて説明する。なお、本実施形態は、本
発明の口唇形状特定プログラムを、発話意図検出及び顔
認識に適用したものである。

【００１５】

【実施形態１】第１の実施形態であるコンピュータシス
テムの全体図を、図１に示す。このコンピュータシステ
ム１０は、各種画面を表示するためのディスプレイ１０
ａ，音声を電気的な音声信号に変換するマイク１０ｂ，
各種音声を出力するためのスピーカ１０ｃ，被写体像を
撮像してアナログビデオ信号に変換するＣＣＤカメラ１
０ｄ，及び、これらに繋がれた本体１０ｅを、備える。
なお、本体１０ｅは、キーボードやマウスなどの入力装
置に繋がれていても良い。

【００１６】この本体１０ｅの内部回路の概略構成を、
図２に示す。本体１０ｅは、ＣＰＵ１１，ＲＡＭ１２，
サウンド制御回路１３，ビデオ制御回路１４，ＦＤＤ１
５，ＣＤ−ＲＯＭドライブ１６，及びＨＤＤ１７等のハ
ードウエアを、主要な構成として内部に有している。

【００１７】ＣＰＵ１１は、各ハードウエア１２〜１７
を含むデバイス全体を統合的に制御する中央処理装置で
ある。ＲＡＭ１２は、ＣＰＵ１１が読み出した各種のプ
ログラムをキャッシュするとともに、このＣＰＵ１１に
よる作業領域が展開されるランダムアクセスメモリであ
る。

【００１８】サウンド制御回路１３は、マイク１０ｂか
ら入力された音声信号をＡ／Ｄ変換してデジタル音声デ
ータとして取り込んだりデジタル合成音声データをＤ／
Ａ変換して音声信号をスピーカ１０ｃに出力する回路で
ある。ビデオ制御回路１４は、ＣＣＤカメラ１０ｄから
入力されたアナログビデオ信号を一定の時間間隔毎（例
えば３３ｍｓ毎）にサンプリングし、１コマ毎のデータ
量を圧縮してなるデジタル動画像データを生成する回路
である。

【００１９】ＦＤＤ１５及びＣＤ−ＲＯＭドライブ１６
には、各種のプログラムやデータ、若しくはそのバージ
ョンアップ版をインストールする際に、新たなプログラ
ムが格納されたコンピュータ可読媒体であるフレキシブ
ルディスクＦＤやＣＤ−ＲＯＭディスクＣＤが夫々セッ
トされ、これらフレキシブルディスクＦＤやＣＤ−ＲＯ
ＭディスクＣＤからプログラムやデータが読み出され
る。このようにして読み出されたプログラムやデータ
は、ＨＤＤ１７等の記憶装置にインストールされる。

【００２０】ＨＤＤ１７には、種々の機能を実現するた
めにＣＰＵ１１が実行するアプリケーションプログラム
や、ＣＰＵ１１が実行する処理において利用されるデー
タや、アプリケーションプログラムの実行管理やネット
ワーク管理などのシステム管理をＣＰＵ１１に行わせる
ためのＯＳ（Operating System）プログラムが、格納さ
れている。

【００２１】なお、このＨＤＤ１７に格納されるアプリ
ケーションプログラムには、発話意図検出プログラム２
１が、含まれている。この発話意図検出プログラム２１
は、ＣＰＵ１１に対し、１画像を構成する画素群から、
人肌の色空間を定義する色成分値の範囲にその色成分値
が含まれる画素群を抽出させ、抽出した画素群が占める
領域の輪郭を顔輪郭として決定させ、決定した顔輪郭内
の画素群から、口唇の色空間を定義する色成分値の範囲
にその色成分値が含まれる画素群を抽出させ、抽出した
画素群が占める領域の左右幅と上下幅（後述するように
正確にはその略半分）との縦横比率に応じてマイク１０
ｂ入力及びスピーカ１０ｃ出力の開始又は停止を制御さ
せるプログラムである。

【００２２】上述したような構成を有するコンピュータ
システム１０では、所定の指示入力がなされると、発話
意図検出プログラム２１がＣＰＵ１１によって読み込ま
れ、発話意図検出処理の実行が開始される。この発話意
図検出処理の内容を、図３に示す。

【００２３】発話意図検出処理の開始後、最初のＳ１０
１では、ＣＰＵ１１は、ビデオ制御回路１４により生成
された動画像データのうち、１コマ目の画像データを、
読み込む。なお、読み込んだ画像データがm×nの二次元
格子画素からなる画像のデータであるとし、i,jが、 i=1,2,3,…,m j=1,2,3,…,n であるとすると、この画像の座標(i,j)の画素は、赤
（Ｒ）成分のデジタル階調値R(i,j)，緑（Ｇ）成分のデ
ジタル階調値G(i,j)，又は、青（Ｂ）成分のデジタル階
調値B(i,j)により、表現される。

【００２４】次のＳ１０２では、ＣＰＵ１１は、肌色領
域抽出処理サブルーチンを実行する。この肌色領域抽出
処理サブルーチンは、１画像の中から人間の顔の肌の部
分にあたる領域を抽出し、その領域の輪郭に関するデー
タを生成する処理である。この肌色領域抽出処理サブル
ーチンの内容を、図４に示す。

【００２５】肌色領域抽出処理サブルーチンにおける最
初のＳ１２１では、ＣＰＵ１１は、Ｓ１０１において読
み込んだ画像データを構成する全画素のＲＧＢ成分（デ
ジタル階調）値に基づいて、全画素についての輝度（デ
ジタル階調）値を、夫々算出する。具体的には、ＣＰＵ
１１は、次の式、 Y(i,j)=0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j) を用いて、全画素についての輝度値Y(i,j)を算出する。

【００２６】次のＳ１２２では、ＣＰＵ１１は、全画素
について夫々算出した輝度値Y(i,j)のデータを、ＨＤＤ
１７内に格納する。

【００２７】次のＳ１２３では、ＣＰＵ１１は、Ｓ１０
１において読み込んだ全画素についてのＲＧＢ成分値に
基づいて、全画素についてのＨＳＶ（Hue:色相，Satura
tion:彩度，Value:明度）表色系のＨ成分値を算出す
る。具体的には、ＣＰＵ１１は、以下のようにして全画
素のＨ成分値を算出する。

【００２８】即ち、座標(i,j)の位置にある３つのＲＧ
Ｂ画素の中で最大及び最小のデジタル階調値MX(i,j)，M
N(i,j)を、 MX(i,j)=max[R(i,j),G(i,j),B(i,j)] MN(i,j)=min[R(i,j),G(i,j),B(i,j)] とし、更に、 a=[MX(i,j)-R(i,j)]/[MX(i,j)-MN(i,j)] b=[MX(i,j)-G(i,j)]/[MX(i,j)-MN(i,j)] c=[MX(i,j)-B(i,j)]/[MX(i,j)-MN(i,j)] とすると、座標(i,j)の画素のＨ成分値H(i,j)は、 MX(i,j)-MN(i,j)=0の場合は、H(i,j)=0 MX(i,j)=R(i,j)の場合は、 H(i,j)=60×(c-b) MX(i,j)=G(i,j)の場合は、 H(i,j)=60×(2+a-c) MX(i,j)=B(i,j)の場合は、 H(i,j)=60×(4+b-a) と求められる。

【００２９】そして、ＣＰＵ１１は、このようにして全
画素についてＨ成分値H(i,j)を算出した後、処理をＳ１
２４に進める。

【００３０】Ｓ１２４では、ＣＰＵ１１は、全画素につ
いて算出したＨ成分値H(i,j)のデータを、ＨＤＤ１７内
に格納する。

【００３１】次のＳ１２５では、ＣＰＵ１１は、Ｓ１２
１及びＳ１２３において算出したＨ成分値H(i,j)及び輝
度値Y(i,j)に基づいて、全画素の中から、人間の肌の色
を示すＨ成分の範囲の上限値と下限値との間にＨ成分値
が存在する画素を、抽出する。なお、このＳ１２５で
は、輝度値を変数とする閾値関数を利用して、各輝度値
でのＨ成分の上下限値を決定している。この閾値関数
は、輝度を横軸に取りＨ成分を縦軸に取った二次元座標
に、人間の肌の色の各輝度値でのＨ成分値を実際にプロ
ットすることにより、獲得されたものである。図５に、
人間の肌の色の各輝度値でのＨ成分値がプロットされた
グラフを示す。図５に示すように、人間の肌の色のＨ成
分の上下限値は、輝度値の変化に対して一定ではなく、
増減している。従って、人間の肌の色を示すＨ成分の範
囲の上下限値が輝度値の変化に対して一定であるとする
よりも、肌色を示す画素をより正確に抽出できる。そし
て、ＣＰＵ１１は、肌色の色空間にＨ成分値が含まれる
画素を抽出した後、処理をＳ１２６に進める。

【００３２】Ｓ１２６では、ＣＰＵ１１は、Ｓ１２５に
おいて抽出された画素により形成される幾つかの画素塊
（互いに接触している画素の集合）のうち、占める面積
が最大である画素塊を抽出する。なお、このＳ１２６で
は、占める面積が最大である画素塊を幾つかの画素塊の
中から抽出するために、画像解析において行われている
ラベリング処理が、実行される。このラベリング処理に
ついて、図６(a)〜(c)に基づいて簡単に説明する。

【００３３】先ず、二値化画像（図６(a)）があると仮
定して、その二値化画像の第１行目の左から右へ順に走
査し、「１」値が最初に現れたらその画素にラベルＡを
与え、以後「１」値が続く場合にはそれらの画素にラベ
ルＡを与える。次に、同一行内で「１」値が途切れ、再
び「１」値が現れたらその画素にラベルＢを与え、以後
「１」値が続く場合にはそれらの画素にラベルＢを与え
る。このような操作を行の終わりまで続ける。また、第
二行目以後を走査する場合には、下記の条件(1)〜(3)の
通りにする。

【００３４】即ち、走査中に「１」値の画素が現れた際
に、(1)その画素が、ラベルが与えられている（前行
の）画素と全く隣接していないときには、当該画素に新
しいラベルを与え、(2)その画素が、ラベルが与えられ
ている１つ又は複数の（前行の）画素と隣接していて、
その隣接する前行の画素（群）には一種類のラベルのみ
が与えられているときには、当該画素には、前行の画素
（群）と同じラベルを与え、(3)その画素が、ラベルが
与えられている複数の（前行の）画素と隣接していて、
その隣接する前行の画素群には二種類以上のラベルが与
えられているときには、これらのラベル同士は同じラベ
ルであるべきものとして記憶し、当該画素には、前行の
画素群に与えられたラベルのうちの一番若いラベルを与
える。そして、上記の操作を最後の行まで繰り返す（図
６(b)）。

【００３５】さらに、再度、二値化画像を左上から右下
まで順に走査し、上記の条件(3)で記憶しておいたラベ
ル同士を若い方のラベル（例えば、ラベルＡとラベルＢ
ならラベルＡ）に置き換える（図６(c)）。このように
して、互いに接触している「１」値の画素塊に、同じラ
ベル（Ａ，Ｃ，Ｄ，…）を与える。最後に、同じラベル
に属する画素数をラベル毎に計数し、最大画素数をもつ
ラベルに含まれる画素の集まりを、占める面積が最大で
ある画素塊として、認識する。

【００３６】そして、ＣＰＵ１１は、このようなラベリ
ング処理を実行することにより、占める面積が最大であ
る画素塊を抽出し、その後、処理をＳ１２７に進める。

【００３７】Ｓ１２７では、ＣＰＵ１１は、Ｓ１２６に
おいて抽出した画素塊の最も外周縁にある画素の位置デ
ータを、顔輪郭情報として決定する。

【００３８】次のＳ１２８では、ＣＰＵ１１は、Ｓ１２
７において決定された顔輪郭情報をＨＤＤ１７内に格納
した後、肌色領域抽出処理サブルーチンを終了し、図３
のメインルーチンにおけるＳ１０３の処理に進む。

【００３９】Ｓ１０３では、ＣＰＵ１１は、色ヒストグ
ラム重心差エッヂ検出処理サブルーチンを実行する。こ
の色ヒストグラム重心差エッヂ検出処理サブルーチン
は、１画像の中において口唇が占める領域のうちの縦方
向の範囲を検出する処理である。この色ヒストグラム重
心差エッヂ検出処理サブルーチンの内容を、図７に示
す。

【００４０】色ヒストグラム重心差エッヂ検出処理サブ
ルーチンにおける最初のＳ１３１では、ＣＰＵ１１は、
全画素のＨ成分値データ（図４のＳ１２４参照）と顔輪
郭情報（図４のＳ１２８参照）とを、ＨＤＤ１７内から
読み出す。

【００４１】次のＳ１３２では、ＣＰＵ１１は、顔輪郭
情報に基づいて、顔輪郭内部に属する画素群のＨ成分値
H(i,j)を抽出する。なお、この顔輪郭により囲まれる領
域を、以下、顔領域という。

【００４２】次のＳ１３３では、ＣＰＵ１１は、図８に
示すように、顔領域を格子状に区分し、各格子（矩形領
域）内のＨ成分値の重心値を算出する。なお、１つの矩
形領域のＨ成分値の重心値ｇは、以下のように求められ
る。

【００４３】即ち、Ｈ成分が採り得る値（例えばＨ成分
が−４０から＋４０までの値を取り得るとする）を幾つ
かの区間に等間隔に区分し（例えば１０ずつ８つの区間
に区分する）、１つの矩形領域に含まれる各画素を、夫
々、そのＨ成分値が含まれる区間に振り分け、区間内に
含まれるＨ成分値を持つ画素が幾つあるかを、各区間毎
に計数する（各区間毎の画素数を棒グラフで表したもの
がヒストグラムである）。このとき、ｉ番目の区間の画
素数をｎ_i個とし、ｉ番目の区間のＨ成分値をＨ_iとする
と、重心値ｇは、Σ（ｎ_i×Ｈ_i）／Σｎ_iにより求ま
る。

【００４４】そして、ＣＰＵ１１は、このような処理を
各矩形領域について行って夫々の重心値ｇを算出した
後、処理をＳ１３４に進める。

【００４５】Ｓ１３４では、ＣＰＵ１１は、ある矩形領
域とその下の矩形領域との重心値差を、全ての上下部矩
形領域の組み合わせについて、算出する。なお、以下、
この矩形領域の組み合わせにおいては、上側にある矩形
領域を上部矩形領域といい、下側のを下部矩形領域とい
う。

【００４６】次のＳ１３５では、ＣＰＵ１１は、所定の
閾値よりも大きい重心値差を有する上下部矩形領域の組
み合わせを、抽出する。

【００４７】次のＳ１３６では、ＣＰＵ１１は、Ｓ１３
５において抽出した上下部矩形領域の組み合わせの中か
ら、一方の矩形領域の重心値が肌の色空間（図５参照）
に含まれ、もう一方の矩形領域の重心値が唇の色空間
（図９参照）に含まれる上下部矩形領域の組み合わせ
を、抽出する。

【００４８】次のＳ１３７では、ＣＰＵ１１は、Ｓ１３
６において抽出した上下部矩形領域の組み合わせの中か
ら、局所最大となる組み合わせを、抽出する。なお、局
所最大とは、左からｘ番目で上からｙ番目の矩形領域
(x,y)とその下の矩形領域との重心差をg_diff(x,y)とす
ると、以下の条件、 g_diff(x,y)>g_diff(x-1,y) g_diff(x,y)>g_diff(x+1,y) g_diff(x,y)>g_diff(x,y-1) g_diff(x,y)>g_diff(x,y+1) を満たすもののことをいう。

【００４９】次のＳ１３８では、ＣＰＵ１１は、Ｓ１３
７において抽出した上下部矩形領域の組み合わせに基づ
いて、顔領域の二値化画像を生成する。具体的には、上
部矩形領域の重心値が肌の色空間内にあって下部矩形領
域の重心値が口唇の色空間内にある場合（図８の(b)の
組み合わせ）には、上部矩形領域内の画素の全てを
「０」値（黒）にするとともに、下部矩形領域内の画素
の全てを「１」値（白）にする。また、これとは逆に、
上部矩形領域の重心値が口唇の色空間内にあって下部矩
形領域の重心値が肌の色空間内にある場合（図８の(c)
の組み合わせ）には、上部矩形領域内の画素の全てを
「１」値にするとともに、下部矩形領域内の画素の全て
を「０」値にする。更に、残りの矩形領域の画素は、全
て「０」値にする。このようにして、ＣＰＵ１１は、顔
領域の二値化画像（以下、顔二値化画像という）を生成
する。なお、図１０に、１画像から顔領域に含まれる部
分を抜き出した画像（顔画像）に対して上記二値化画像
を重ね合わせた例を、示している。

【００５０】次のＳ１３９では、ＣＰＵ１１は、顔二値
化画像の画像データをＨＤＤ１７内に格納した後、色ヒ
ストグラム重心差エッヂ検出処理サブルーチンを終了
し、図３のメインルーチンにおけるＳ１０４の処理に進
む。

【００５１】Ｓ１０４では、ＣＰＵ１１は、明暗補正処
理サブルーチンを実行する。この明暗補正処理サブルー
チンは、撮影時の照明の影響により画像内の顔の明るさ
が各コマ毎に変化する場合でもＳ１０５以後の処理がそ
の明暗に左右されないようにするために、顔領域内の画
素の輝度の平均値が常に一定値（これを以下では正規化
輝度値Y_normとして扱う）となるように補正する処理で
ある。この明暗補正処理サブルーチンの内容を、図１１
に示す。

【００５２】明暗補正処理サブルーチンにおける最初の
Ｓ１４１では、ＣＰＵ１１は、全画素の輝度値データ
（図４のＳ１２２参照）と顔輪郭情報（図４のＳ１２８
参照）とを、ＨＤＤ１７内から読み出す。

【００５３】次のＳ１４２では、ＣＰＵ１１は、顔輪郭
情報に基づいて、顔輪郭内部に属する（肌色条件を満た
す）画素の輝度値Y(i,j)を抽出する。

【００５４】次のＳ１４３では、ＣＰＵ１１は、Ｓ１４
２において抽出した輝度値Y(i,j)の平均値Y_avgを算出す
る。

【００５５】次のＳ１４４では、ＣＰＵ１１は、Ｓ１４
２において算出した平均値Y_avgと上述した正規化輝度値
Y_normとの差(Y_avg-Y_norm)を算出する。

【００５６】次のＳ１４５では、ＣＰＵ１１は、顔領域
に属する各画素の輝度値Y(i,j)から、Ｓ１４４において
算出した差(Y_avg-Y_norm)を、差し引くことにより、各画
素の補正輝度値Y_adjust(i,j)を算出する。

【００５７】次のＳ１４６では、ＣＰＵ１１は、顔領域
の画素の補正輝度値Y_adjust(i,j)データをＨＤＤ１７内
に格納した後、明暗補正処理サブルーチンを終了し、図
３のメインルーチンにおけるＳ１０５の処理に進む。

【００５８】Ｓ１０５では、ＣＰＵ１１は、白黒濃淡エ
ッヂ検出処理サブルーチンを実行する。この白黒濃淡エ
ッヂ検出処理サブルーチンは、１画像の中において口唇
が占める領域のうちの横方向の範囲を検出する処理であ
る。この白黒濃淡エッヂ検出処理サブルーチンの内容
を、図１２に示す。

【００５９】白黒濃淡エッヂ検出処理サブルーチンにお
ける最初のＳ１５１では、ＣＰＵ１１は、顔二値化画像
の画像データ（図７のＳ１３９参照）を、ＨＤＤ１７内
から読み出す。

【００６０】次のＳ１５２では、ＣＰＵ１１は、二値化
画像において「１」値の画素が存在する上下方向の範囲
を、探索範囲として設定する。

【００６１】次のＳ１５３では、ＣＰＵ１１は、顔領域
の補正輝度値データ（図１１のＳ１４６参照）を、ＨＤ
Ｄ１７内から読み出す。

【００６２】次のＳ１５４では、ＣＰＵ１１は、顔領域
のうち、探索範囲内を格子状に区分し、各格子（矩形領
域）内の補正輝度値Y_adjust(i,j)の平均値を算出する。

【００６３】次のＳ１５５では、ＣＰＵ１１は、ある矩
形領域の平均値とその下の矩形領域の平均値との差を、
探索範囲内における全ての組み合わせについて、算出す
る。なお、この矩形領域の組み合わせにおいては、Ｓ１
３４と同様に、上側の矩形領域を上部矩形領域といい、
下側のを下部矩形領域という。

【００６４】次のＳ１５６では、ＣＰＵ１１は、所定の
閾値よりも大きい平均値の差を有する上下部矩形領域の
組み合わせを、抽出する。

【００６５】次のＳ１５７では、ＣＰＵ１１は、Ｓ１５
６において抽出した上下部矩形領域の組み合わせの中か
ら、局所最大となる組み合わせを、抽出する。なお、Ｓ
１３７において説明したのと同様に、局所最大とは、左
からｘ番目で上からｙ番目の矩形領域(x,y)の平均値と
その下の矩形領域の平均値との差をY_diff(x,y)とする
と、以下の条件、 Y_diff(x,y)>Y_diff(x-1,y) Y_diff(x,y)>Y_diff(x+1,y) Y_diff(x,y)>Y_diff(x,y-1) Y_diff(x,y)>Y_diff(x,y+1) を満たすもののことをいう。

【００６６】次のＳ１５８では、ＣＰＵ１１は、Ｓ１５
７において抽出した上下部矩形領域の組み合わせに基づ
いて、顔領域のうちの探索範囲の部分だけの二値化画像
を生成する。具体的には、上下部矩形領域のうち、平均
値が小さい方の矩形領域の画素を全て「０」値（黒）に
するとともに、平均値が大きい方の矩形領域の画素を全
て「１」値（白）にする。このようにして、ＣＰＵ１１
は、顔領域のうちの探索範囲の二値化画像（以下、口唇
二値化画像という）を生成する。なお、図１３に、顔画
像に対して上記口唇二値化画像を重ね合わせた例を、示
している。

【００６７】次のＳ１５９では、ＣＰＵ１１は、口唇二
値化画像の画像データをＨＤＤ１７内に格納した後、白
黒濃淡エッジ検出処理サブルーチンを終了し、図３のメ
インルーチンにおけるＳ１０６の処理に進む。

【００６８】Ｓ１０６では、ＣＰＵ１１は、口端点検出
処理サブルーチンを実行する。この口端点検出処理サブ
ルーチンは、口唇二値化画像から、口唇の最左右端点と
中心点と最下端点とを検出する処理である。この口端点
検出処理サブルーチンの内容を、図１４に示す。

【００６９】口端点検出処理サブルーチンにおける最初
のＳ１６１では、ＣＰＵ１１は、口唇二値化画像の画像
データ（図１２のＳ１５９参照）を読み出す。

【００７０】次のＳ１６２では、ＣＰＵ１１は、口唇二
値化画像内における「１」値の画素塊のうち、占める面
積が最大である画素塊を、抽出する。このＳ１６２で
は、Ｓ１２６において説明したのと同様に、ラベリング
処理が、実行される。

【００７１】次のＳ１６３では、ＣＰＵ１１は、Ｓ１６
２において抽出した画素塊に含まれる画素のうち、最も
左側にある画素（第１の画素に相当），最も右側にある
画素（第２の画素に相当），及び、最も下側にある画素
（第４の画素に相当）を、夫々、「最左端点」，「最右
端点」，及び「最下端点」として、決定する。また、Ｃ
ＰＵ１１は、最左端点と最右端点との間の中心にある画
素（第３の画素に相当）を「中点」として決定する。な
お、図１５に、上記最左右端点と最下端点と中点とを顔
画像上に記した例を、示している。

【００７２】次のＳ１６４では、ＣＰＵ１１は、最左右
端点と最下端点と中点の位置データをＨＤＤ１７内に格
納した後、口端点検出処理サブルーチンを終了し、図３
のメインルーチンにおけるＳ１０７の処理に進む。

【００７３】Ｓ１０７では、ＣＰＵ１１は、口唇の最左
右端点と最下端点と中点の位置データを、ＨＤＤ１７内
から読み出す。

【００７４】次のＳ１０８では、ＣＰＵ１１は、最左右
端点の間の距離D_hを算出する。なお、以下、この距離
を、横距離という。

【００７５】次のＳ１０９では、ＣＰＵ１１は、中点と
最下端点の距離D_vを算出する。なお、以下、この距離
を、縦距離という。

【００７６】次のＳ１１０では、ＣＰＵ１１は、縦距離
D_vと横距離D_hとの比I_aspect=D_v/D_hを、算出する。な
お、以下、この比を、縦横比という。

【００７７】次のＳ１１１では、ＣＰＵ１１は、縦横比
I_aspectが開口条件を満たすか否か、即ち、所定の閾値I
_thよりも大きいか否かをチェックする。そして、縦横比
I_as _pectが開口条件を満たしていなかった（I_aspect＜I
_th）場合（Ｓ１１１：ＮＯ）、ＣＰＵ１１は、処理をＳ
１１２に進める。

【００７８】Ｓ１１２では、ＣＰＵ１１は、マイク１０
ｂからの音声信号のデジタル音声データへの変換を停止
させるマイク入力停止処理を、実行する。なお、このマ
イク入力停止処理の具体的な説明は省略するが、その概
略は、この時点でデジタル音声データへの変換を停止し
ている状態であった場合には、その停止状態を継続し、
逆にこの時点でその変換を実行している状態であった場
合には、その実行状態を停止状態に切り替える。

【００７９】次のＳ１１３では、ＣＰＵ１１は、デジタ
ル合成音声データのスピーカ１０ｃ出力用の合成音声信
号への変換を実行させる合成音声出力開始処理を、実行
する。なお、この合成音声出力開始処理の具体的な説明
は省略するが、その概要は、この時点でアナログ信号へ
の変換を実行している状態であった場合には、その実行
状態を継続し、逆にこの時点でその変換を停止している
状態であった場合には、その停止状態を実行状態に切り
替える。

【００８０】次のＳ１１４では、ＣＰＵ１１は、次コマ
の画像データを読み込み、Ｓ１０２の処理に進む。

【００８１】一方、Ｓ１１１において、縦横比I_aspect
が開口条件を満たしていた（I_aspect≧I_th）場合（Ｓ１
１１：ＹＥＳ）、ＣＰＵ１１は、処理をＳ１１５に進め
る。

【００８２】Ｓ１１５では、ＣＰＵ１１は、デジタル合
成音声データをスピーカ１０ｃ出力用の合成音声信号に
変換不可能な状態に切り替える合成音声出力停止処理
を、実行する。なお、この合成音声出力停止処理は、Ｓ
１１３において説明した合成音声出力開始処理とは逆に
機能し、合成音声信号への変換を停止状態にする。

【００８３】次のＳ１１６では、ＣＰＵ１１は、マイク
１０ｂからの音声信号のデジタル音声データへの変換を
開始するマイク入力開始処理を、実行する。なお、この
マイク入力開始処理は、Ｓ１１２において説明したマイ
ク入力停止処理とは逆に機能し、デジタル音声データへ
の変換を実効状態にする。そして、ＣＰＵ１１は、この
マイク入力開始処理を実行した後、Ｓ１１４の処理に進
み、次コマの画像データを読み込む。

【００８４】以上に示した発話意図検出処理により、動
画の１コマ毎に、顔の輪郭が検出され（Ｓ１０２）、口
唇の輪郭が検出され（Ｓ１０３〜Ｓ１０５）、口唇の最
左右端点と最下端点と中点とが検出され（Ｓ１０６）、
縦横比I_aspectが開口条件を満たしているかがチェック
される（Ｓ１１１）。

【００８５】そして、何れかのコマにおいて、縦横比I
_aspectが開口条件を満たしていなければ（Ｓ１１１：Ｎ
Ｏ）、発話意図がない閉口状態として、マイク１０ｂ入
力を実行不能にするとともにスピーカ１０ｃ出力を実行
可能にする処理（Ｓ１１２，１１３）が、実行される。
一方、縦横比I_aspectが開口条件を満たしていれば（Ｓ
１１１：ＹＥＳ）、発話意図のある開口状態として、ス
ピーカ１０ｃ出力を実行不能にするとともにマイク１０
ｂ入力を実行可能にする処理（Ｓ１１５，Ｓ１１６）
が、実行される。

【００８６】上述したように、第１の実施形態のコンピ
ュータシステム１０によれば、動画の１コマ１コマか
ら、眉や目や鼻などの複数の顔部品を一度に抽出するこ
となく、口唇部分のみを抽出するので、発話意図検出の
際の処理速度を向上させることができる。また、発話意
図を検出した際には、スピーカ１０ｃ出力が停止される
とともにマイク１０ｂ入力が開始されるので、ダブルト
ークが回避される。

【００８７】

【実施形態２】第２の実施形態のコンピュータシステム
は、図１６に示すように、第１の実施形態のコンピュー
タシステムと同じハードウエアを、備えている。但し、
ＨＤＤ１７内には、顔認識プログラム２２が、格納され
ている。

【００８８】この顔認識プログラム２２は、ＣＰＵ１１
に対し、１画像を構成する画素群から、肌の色空間を定
義する色成分値の範囲にその色成分値が含まれる画素群
を抽出させ、抽出した画素群が占める領域の輪郭を顔輪
郭として決定させ、決定した顔輪郭内の画素群から、口
唇の色空間を定義する色成分値の範囲にその色成分値が
含まれる画素群を抽出させ、その口唇の画素群が占める
領域の最左右端点を検出させ、その最左右端点に基づい
て左右眼を示す画素群を探索させ、探索した画素群が占
める領域（眼領域）の最下端点を検出させ、口唇の最左
右端点と左右眼領域の最下端点の４点に基づいて顔認識
用の顔部分画像を生成させ、顔認識の手法として一般的
な固有空間法に基づいて顔部分画像の固有画像への射影
ベクトルを算出させるプログラムである。

【００８９】上述したような構成を有するコンピュータ
システムでは、所定の指示入力がなされると、顔認識プ
ログラム２２がＣＰＵ１１によって読み込まれ、顔認識
処理の実行が開始される。この顔認識処理の内容を、図
１７に示す。

【００９０】顔認識処理の開始後、最初のＳ２０１で
は、ＣＰＵ１１は、ビデオ制御回路１４により生成され
たデジタル動画像データのうちの１コマの画像データ
を、読み込む。

【００９１】次のＳ２０２からＳ２０６においては、Ｃ
ＰＵ１１は、図４の肌色領域抽出処理サブルーチン，図
７の色ヒストグラム重心差エッヂ検出処理サブルーチ
ン，図１１の明暗補正処理サブルーチン，図１２の白黒
濃淡エッヂ検出処理サブルーチン，及び、図１４の口端
点検出処理サブルーチンを、この順に実行する。

【００９２】次のＳ２０７では、ＣＰＵ１１は、輝度閾
値算出処理サブルーチンを実行する。この輝度閾値算出
処理サブルーチンは、画像の中から左右眼による暗部を
抽出するための輝度閾値を算出する処理である。この輝
度閾値算出処理サブルーチンの内容を、図１８に示す。

【００９３】輝度閾値算出処理サブルーチンにおける最
初のＳ２１１では、ＣＰＵ１１は、補正輝度値データ
（図１１のＳ１４６参照）と、口唇の最左右端点及び中
点の位置データ（図１４のＳ１６４参照）とを、読み出
す。

【００９４】次のＳ２１２では、ＣＰＵ１１は、画像の
縦方向と平行で最左右端点を通る直線L_sLeft，L_sRight
上にある画素列の補正輝度値を、抽出する。なお、図１
９に、これら画素列の補正輝度値をプロットしたグラフ
の一例を示す。このグラフに示された輝度プロファイル
曲線には、３箇所だけ輝度の低い領域が、形成されてい
る。これら輝度の低い領域は、夫々、眉と眼と口唇の部
分に当たり、その他の輝度の高い領域は、額や頬に当た
る。また、抽出された画素列の中では、眼の部分に当た
る画素の輝度値が、眉や口唇のそれに較べると一番低
い。

【００９５】次のＳ２１３では、ＣＰＵ１１は、両方の
画素列の補正輝度値の平均値Y'_Lavg，Y'_Ravgを算出し、
最小値Y'_Lmin，Y'_Rminを決定する。

【００９６】次のＳ２１４では、ＣＰＵ１１は、両方の
画素列の輝度閾値Y'_Lth，Y'_Rthを、算出する。なお、輝
度閾値Y'_Lth，Y'_Rthは、平均値と最小値との和を半分に
する（[(Y'_Lavg+Y'_Lmin)/2]，[(Y'_Ravg+Y'_Rmin)/2]）こ
とにより、算出される。

【００９７】次のＳ２１５では、ＣＰＵ１１は、両方の
画素列の輝度閾値Y'_Lth，Y'_RthデータをＨＤＤ１７内に
格納した後、輝度閾値算出処理サブルーチンを終了し、
図１７のメインルーチンにおけるＳ２０８に進む。

【００９８】Ｓ２０８では、ＣＰＵ１１は、目領域検出
処理サブルーチンを実行する。この目領域検出処理サブ
ルーチンは、顔領域内の画素の中から目領域を示す画素
を抽出する処理である。この目領域検出処理サブルーチ
ンの内容を、図２０に示す。

【００９９】目領域検出処理サブルーチンにおける最初
のＳ２２１では、ＣＰＵ１１は、補正輝度値データ（図
１１のＳ１４６参照）と、輝度閾値データ（図１８のＳ
２１５参照）と、口唇の最左右端点及び中点の位置デー
タ（図１４のＳ１６４参照）とを、読み出す。

【０１００】次のＳ２２２では、ＣＰＵ１１は、顔領域
を上下左右に４等分したときの左上の領域の画素の中か
ら、輝度閾値Y'_Lthよりも補正輝度値Y_adjust(i,j)の小
さい画素を、また、右上の領域の画素の中から、輝度閾
値Y'_Rthよりも補正輝度値Y_ad _just(i,j)の小さい画素
を、夫々、抽出する。

【０１０１】次のＳ２２３では、ＣＰＵ１１は、Ｓ２２
２において抽出した画素を「１」値（白）とし、残りの
画素を「０」値（黒）とした二値化画像を、生成する。

【０１０２】次のＳ２２４では、ＣＰＵ１１は、Ｓ２２
３において生成した二値化画像において、所定の大きさ
以下の画素塊を、「０」値に変換する（変換後の二値化
画像を、以下、目二値化画像という）。なお、このＳ２
２４では、画素塊を抽出する際に、Ｓ１３３において説
明したラベリング処理が、実行される。

【０１０３】次のＳ２２５では、ＣＰＵ１１は、口唇の
最左右端点を通る直線L_sLeft，L_sRi _ghtを基線とし、こ
の基線と平行な幾本かの平行線を、目領域探索線として
目二値化画像上に設定する。なお、図２１に、顔画像に
目二値化画像を重ね合わせて目領域探索線を描画した状
態を示す。

【０１０４】次のＳ２２６では、ＣＰＵ１１は、目領域
探索線と接触又は交差する「１」値画素塊を、目領域候
補として残し、その他の「１」値画素塊を、目二値化画
像から削除する。例えば、図２１の例で言えば、顔画像
の右側にある２つの画素塊（白い部分）が、削除対象と
なり、何れかの目領域探索線に掛かっている３つの画素
塊（白い部分）が、目領域候補として残される。

【０１０５】次のＳ２２７では、ＣＰＵ１１は、目領域
候補の画素塊の中で、最下端点の画素の位置を認識す
る。なお、図２１の例には、各目領域候補の最下端点
が、黒点により示されている。

【０１０６】次のＳ２２８では、ＣＰＵ１１は、口唇の
最左右端点の垂直二等分線L_symを、設定する。

【０１０７】次のＳ２２９では、ＣＰＵ１１は、Ｓ２２
８において設定された垂直二等分線の左側にある目領域
候補の最下端点を認識し、垂直二等分線を挟んでこの最
下端点とは反対側の対称な位置に、仮想点を設定する。

【０１０８】次のＳ２３０では、ＣＰＵ１１は、Ｓ２２
９において設定した仮想点を中心とし、所定の半径を有
する仮想円を設定する。

【０１０９】次のＳ２３１では、ＣＰＵ１１は、Ｓ２３
０において設定した仮想円内に最下点が含まれる目領域
候補を残し、その他の目領域候補を削除する。また、こ
のＳ２３１の処理では、仮想円内に２つ以上の最下点が
あった場合には、口唇の最左右端点に近い方の目領域候
補を残し、残りの目領域候補を削除する処理も、行う。
これらの処理により眉による画素塊が除外される。以
下、抽出された両方の目領域候補を「左右目領域」とい
う。なお、図２２に、口唇の最左右端点と左右目領域の
最下端点（第５及び第６の画素に相当）とを顔画像上に
重ね合わせた状態を示す。

【０１１０】次のＳ２３２では、ＣＰＵ１１は、左右目
領域の最下端点の位置データをＨＤＤ１７内に格納した
後、目領域検出処理サブルーチンを終了し、図１７のメ
インルーチンにおけるＳ２０９に進む。

【０１１１】Ｓ２０９では、ＣＰＵ１１は、顔部分画像
抽出処理サブルーチンを実行する。この顔部分画像抽出
処理サブルーチンは、Ｓ２０１において読み込んだ画像
から目鼻口を含む画像を切り出す処理である。この顔部
分画像抽出処理サブルーチンの内容を、図２３に示す。

【０１１２】顔部分画像抽出処理サブルーチンにおける
最初のＳ２４１では、ＣＰＵ１１は、口唇の最左右端点
と中点の位置データ（図１４のＳ１６４参照）と、左右
目領域の最下端点の位置データ（図２０のＳ２３２参
照）とを、読み出す。なお、以下では、口唇の最左右端
点の座標を(P_LeftMouthX,P_LeftMouthY)とし、口唇の最
右端点の座標を(P_RightMouthX,P_RightMouthY)とし、口
唇の中点の座標を(P_CMout _hX,P_CMouthY)とし、左右目領
域の最下端点の座標を(P_LeftEyeX,P_LeftEyeY)及び(P
_LRightEyeX,P_RightEyeY)とする。

【０１１３】次のＳ２４２では、ＣＰＵ１１は、顔画像
から一部を切り出して拡縮する際の拡縮率r_sizeを、算
出する。なお、拡縮率r_sizeは、切り出した画像を拡縮
した後において、左右目領域候補の最下端点の平均の高
さから口唇の中点までの上下方向の距離を基準距離d_sy
に一致させるための比率であり、次の式、 r_size=d_sy/|[P_CMouthY-(P_LeftEyeY+P_LRightEyeY)/2]| により求められる。

【０１１４】次のＳ２４３では、ＣＰＵ１１は、顔部分
画像として切り出す際の中心となる基準位置(P_baseX,P
_baseY)を、決定する。なお、基準位置(P_baseX,P_baseY)
は、次の式、 P_baseX=(P_LeftEyeX+P_RightEyeX+P_CMouthX)/3 P_baseY=(P_LeftEyeY+P_RightEyeY+P_CMouthY)/3 により求められる。

【０１１５】次のＳ２４４では、ＣＰＵ１１は、Ｓ２０
１において読み込んだ画像のうち、口唇の最左右端点と
左右目領域の最下端点との４点に基づいて所定のロジッ
クに従って決定した範囲を、基準位置(P_baseX,P_baseY)
を中心として、切り出す。

【０１１６】次のＳ２４５では、ＣＰＵ１１は、Ｓ２４
２において算出した拡縮率r_sizeに従って、Ｓ２４４に
おいて切り出した画像を拡縮する。なお、図２４及び図
２５に、切り出す前の元の画像（原画像）と、この原画
像から切り出されて拡縮された画像の一例とを示す。

【０１１７】次のＳ１４６では、ＣＰＵ１１は、Ｓ２４
５において拡縮した画像を顔部分画像としてＨＤＤ１７
内に格納した後、顔部分画像抽出処理サブルーチンを終
了し、図１７のメインルーチンにおけるＳ２１０に進
む。

【０１１８】Ｓ２１０では、ＣＰＵ１１は、認識処理を
実行する。この認識処理は、本出願人が先にした特許出
願（特願2001-100023）において詳細に説明されている
ものと同じであるので、その説明は省略するが、その概
要は、以下の通りである。

【０１１９】即ち、いわゆる固有空間法を利用して、事
前に、複数の登録ユーザの顔部分画像に基づいて固有ベ
クトル（固有画像）を求めておくとともに、各登録ユー
ザの顔部分画像の固有ベクトルへの射影ベクトルを求め
ておき、Ｓ２４５において生成した顔部分画像の固有ベ
クトルへの射影ベクトルを算出する。そして、この射影
ベクトルと各登録ユーザの射影ベクトルとの距離を算出
し、この距離が最も小さく且つ所定の閾値よりも小さか
った場合に、Ｓ２４５で生成した顔部分画像がその登録
ユーザのものであると認識し、所定の画面出力をする。

【０１２０】そして、ＣＰＵ１１は、このＳ２１０の認
識処理の終了後、図１７に示す顔認識処理を終了する。

【０１２１】以上に示した顔認識処理により、ＣＣＤカ
メラ１０ｄにより顔を撮影して得られる画像からは、顔
の輪郭が検出され（Ｓ２０２）、口唇の輪郭が検出され
（Ｓ２０３〜Ｓ２０５）、口唇の最左右端点と最下端点
と中点とが検出され（Ｓ２０６）、左右目領域の最下点
が検出され（Ｓ２０７，Ｓ２０８）、顔認識に必要な顔
部分画像が生成され（Ｓ２０９）、顔部分画像が登録ユ
ーザのものであるか否かが判定される（Ｓ２１０）。

【０１２２】上述したように、第２の実施形態のコンピ
ュータシステム１０によれば、顔を撮影して得られる画
像において、先ず口唇の位置を特定してからその他の顔
部品（目，鼻）を特定して顔認識用の顔部分画像を生成
する。このため、この顔認識機能が、特に、音声をマイ
クから入力することによりコマンド入力が行えるコンピ
ュータシステムに組み込まれていれば、人物認証や操作
者に合ったコンテンツの提供などに応用できる。

【０１２３】

【発明の効果】以上に説明したように、本発明によれ
ば、顔を撮影して得られる画像の中から口唇部分のみを
抽出して口唇形状を特定できる。また、このように特定
された口唇形状から抽出された口唇の特徴点に基づいて
口の開閉状態を検出することができる。さらに、口唇の
特徴点とこれら特徴点に基づいて抽出された左右眼目の
特徴点とに基づいて、顔部分画像を元の画像から切り出
すことができる。

【図面の簡単な説明】

【図１】第１の実施形態のコンピュータシステムの斜
視図

【図２】コンピュータシステムの内部回路の概略構成
図

【図３】コンピュータシステムにおいて実行される発
話意図検出処理の内容を示すフローチャート

【図４】コンピュータシステムにおいて実行される肌
色領域抽出処理サブルーチンの内容を示すフローチャー
ト

【図５】人間の肌色を示すＨ成分値の上下限値の輝度
値に対する変化を示すグラフ

【図６】ラベリング処理の説明に用いる説明図

【図７】コンピュータシステムにおいて実行される色
ヒストグラム重心差エッヂ検出処理サブルーチンの内容
を示すフローチャート

【図８】顔領域を格子状に区分した状態を示す説明図

【図９】人間の口唇の色を示すＨ成分値の上下限値の
輝度値に対する変化を示すグラフ

【図１０】顔画像に二値化画像を重ね合わせた状態を
示す例示図

【図１１】コンピュータシステムにおいて実行される
明暗補正処理サブルーチンの内容を示すフローチャート

【図１２】コンピュータシステムにおいて実行される
白黒濃淡エッヂ検出処理サブルーチンの内容を示すフロ
ーチャート

【図１３】顔画像に口唇二値化画像を重ね合わせた状
態を示す例示図

【図１４】コンピュータシステムにおいて実行される
口端点検出処理サブルーチンの内容を示すフローチャー
ト

【図１５】顔画像に口唇の最左右端点と中点と最下点
とを記した状態を示す例示図

【図１６】第２の実施形態のコンピュータシステムの
内部回路の概略構成図

【図１７】コンピュータシステムにおいて実行される
顔認識処理の内容を示すフローチャート

【図１８】コンピュータシステムにおいて実行される
輝度閾値算出処理サブルーチンの内容を示すフローチャ
ート

【図１９】口唇の左右端点を通る直線上にある各画素
の補正輝度値をプロットしたグラフの概略図

【図２０】コンピュータシステムにおいて実行される
目領域検出処理サブルーチンの内容を示すフローチャー
ト

【図２１】顔画像に目二値化画像を重ね合わせた状態
を示す例示図

【図２２】顔画像に口唇の最左右端点と左右眼目の最
下端点を記した状態を示す例示図

【図２３】コンピュータシステムにおいて実行される
顔部分画像抽出処理サブルーチンの内容を示すフローチ
ャート

【図２４】ＣＣＤカメラにより撮影されて得られる画
像の例示図

【図２５】顔認識処理により図２４の画像から切り出
された顔部分画像の例示図

【符号の説明】

１０コンピュータシステム１０ａディスプレイ１０ｂマイク１０ｃスピーカ１０ｄＣＣＤカメラ１０ｅ本体１１ＣＰＵ１２ＲＡＭ１３サウンド制御回路１４ビデオ制御回路１５フレキシブルディスクドライブ（ＦＤＤ）１６ＣＤ−ＲＯＭドライブ１７ハードディスクドライブ（ＨＤＤ）２１発話意図検出プログラム２２顔認識プログラム

フロントページの続き (72)発明者及川浩一神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE09 CE16 DA08 DA12 DB02 DB06 DB09 DC14 DC16 DC23 5L096 AA02 AA06 BA18 EA12 EA43 FA06 FA15 FA32 FA37 FA66 GA34 GA51

Claims

【特許請求の範囲】

【請求項１】被写体像を撮影するテレビカメラに繋がれ
たコンピュータに対し、前記テレビカメラから入力される画像データに基づく画
像の各画素から、肌色の色空間を定義する色成分値の範
囲にその色成分値が含まれる画素を、抽出させ、抽出した画素により囲まれる領域の内側にある画素か
ら、口唇の色空間を定義する色成分値の範囲にその色成
分値が含まれる画素を、抽出させることを特徴とする口
唇形状特定プログラム。
【請求項２】前記コンピュータに対し、前記肌色の色空間の色成分値の範囲を、輝度値の変化に
対して変化する上下限値により定義させ、前記各画素について、その色成分値がその輝度値に対応
する上下限値の間にあるか否かを、判定させることを特
徴とする請求項１記載の口唇形状特定プログラム。
【請求項３】前記コンピュータに対し、前記口唇の色空間の色成分値の範囲を、輝度値の変化に
対して変化する上下限値により定義させ、前記各画素について、その色成分値がその輝度値に対応
する上下限値の間にあるか否かを、判定させることを特
徴とする請求項１又は２記載の口唇形状特定プログラ
ム。
【請求項４】被写体像を撮影するテレビカメラに繋がれ
たコンピュータに対し、前記テレビカメラから入力される画像データに基づく画
像の各画素から、肌色の色空間を定義する色成分値の範
囲にその色成分値が含まれる画素を、抽出させ、抽出した画素により囲まれる領域の内側にある画素か
ら、口唇の色空間を定義する色成分値の範囲にその色成
分値が含まれる画素を、抽出させ、抽出した画素のうち、最も左側にある第１の画素，最も
右側にある第２の画素，これら第１及び第２の画素の中
間位置にある第３の画素，及び、最も下側にある第４の
画素を、夫々抽出させ、前記第１及び第２の画素の間の距離である横距離と、前
記第３及び第４の画素の間の距離である縦距離との縦横
比率を算出させ、前記縦横比率が所定の値より大きい場合には、口の開閉
状態に対応するために利用される状態情報を開口状態に
切り替えさせ、前記縦横比が所定の値より小さい場合に
は、前記状態情報を閉口状態に切り替えさせることを特
徴とする発話意図検出プログラム。
【請求項５】被写体像を撮影するテレビカメラに繋がれ
たコンピュータに対し、前記テレビカメラから入力される画像データに基づく画
像の各画素から、肌色の色空間を定義する色成分値の範
囲にその色成分値が含まれる画素を、抽出させ、抽出した画素により囲まれる領域の内側にある画素か
ら、口唇の色空間を定義する色成分値の範囲にその色成
分値が含まれる画素を、抽出させ、抽出した画素のうち、最も左側にある第１の画素，最も
右側にある第２の画素，及び、これら第１及び第２の画
素の中間位置にある第３の画素を、夫々抽出させ、前記第３の画素を挟んで左右に区分される領域のうちの
左側の領域において、前記第１の画素よりも上側にある
画素のうち、所定の輝度値よりも小さい輝度値の画素を
抽出させ、抽出した画素のうち、最も下側にある画素を第５の画素
として抽出させ、前記第３の画素を挟んで左右に区分される領域のうちの
右側の領域において、前記第２の画素よりも上側にある
画素のうち、所定の輝度値よりも小さい輝度値の画素を
抽出させ、抽出した画素のうち、最も下側にある画素を第６の画素
として抽出させ、前記第１及び第２の画素並びに前記第５及び第６の画素
の前記画像内での位置に基づいて、前記画像から顔部分
画像を切り出させることを特徴とする顔認識用画像生成
プログラム。