JP2000348173A

JP2000348173A - 唇抽出方法

Info

Publication number: JP2000348173A
Application number: JP11158597A
Authority: JP
Inventors: Hiroshi Furuyama; 浩志古山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-06-04
Filing date: 1999-06-04
Publication date: 2000-12-15
Anticipated expiration: 2019-06-04
Also published as: JP3902887B2

Abstract

(57)【要約】【課題】照明など周囲の条件または、話者の個
人差などに依存せずに顔画像から唇部分を精度よく抽出
すること。【解決手段】顔画像から第１の唇候補領域を決定す
る工程と、顔画像から第１の唇候補領域の全ての領域と
その周辺の領域を含む第２の唇候補領域を決定する工程
と、第１の唇候補領域の色成分ヒストグラムを作成する
工程と、第２の唇候補領域の色成分ヒストグラムとを作
成する工程と、第１の唇候補領域の色成分ヒストグラム
と第２の唇候補領域の色成分ヒストグラムの差分ヒスト
グラムから唇部分を抽出するための閾値を設定する工程
と、閾値を第１の唇候補領域の色成分ヒストグラムに用
いて色成分による閾値処理を行うことにより第１の唇候
補領域から唇部分を抽出する工程と、を具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人物の顔を含む画
像から唇部分を抽出する方法に関する。

【０００２】

【従来の技術】従来より、話者の唇の動き情報を検知
し、この検知結果を利用して音声認識の認識精度を向上
する試みがなされている。そして、唇の動き情報を検出
するためには、話者の顔画像から唇部分を精度よく抽出
する必要がある。

【０００３】顔画像から唇部分を抽出する方法として
は、１９９０年電子情報通信学会春期全国大会、Ｄ−３
２９、ｐ７−８１、「顔画像からの唇特徴点の抽出法」
などが知られている。

【０００４】図１０は、従来の唇画像抽出装置の概要を
示すブロック図である。

【０００５】まず、話者の顔画像が背景分離部１００１
に入力される。背景分離部１００１は、入力された顔画
像に、その輝度情報を用いてＳｏｂｅｌ（エッジ抽出）
オペレータをかることによりエッジを抽出する。次に背
景分離部１００１は、顔画像から、顔画像の最も外側の
エッジよりも外側の部分を背景として分離し、顔面画像
とする。背景を分離された顔面画像は、ＹＩＱ表色系変
換部１００２に入力される。

【０００６】ＹＩＱ表色系変換部１００２は、唇候補領
域の決定するために、背景を分離された顔画像をＹＩＱ
表色系へ色変換する。この色変換された画像は、唇候補
領域決定部１００３に入力される。

【０００７】唇候補領域決定部１００３は、通常は、顔
画面中の色の中で唇部分を示す色が、最も大きなＱ軸値
を示すことを考慮に入れて、Ｑ軸に関して濃度値の累積
ヒストグラムをとる。次に、唇候補領域決定部１００３
は、この累積ヒストグラムに、濃度値の高い方からｘ％
の値で閾値処理を行うことで、唇候補領域を決定する。
この、唇候補領域内の画像は唇抽出部１００４に入力さ
れる。

【０００８】このときｘは（式１）から自動的に設定さ
れる。ｘ＝（ｓ／（ｍ＋ｎ））×ｒａｔｉｏ×１００（％） …（式１）ここで、ｍ×ｎは原画像の画素数、ｓは背景分離画像の
画素数で、ｒａｔｉｏは顔の面積に対する唇部分の面積
比を表すもので、経験的に定められる。

【０００９】唇抽出部１００４は、唇候補領域内の画像
から唇部分を抽出するため、Ｑ軸に関して濃度値の累積
ヒストグラムをとり、Ｑ軸値により再度閾値処理を行
う。このようにして唇画像が抽出される。

【００１０】このときの閾値は、同様に累積ヒストグラ
ムから（式２）で与えられるｙ％の値とする。ｙ＝（ｓ’／（ｍ＋ｎ））×ｌｅｖｅｌ×１００（％） …（式２）ここで、ｓ'は唇候補領域内の画素数、ｌｅｖｅｌは唇
候補領域の面積に対する唇部分の面積比を表し、これも
経験的に定められる。

【００１１】以上のようにして、色成分ヒストグラムと
閾値処理により、入力した話者の顔画像から唇部分を抽
出することが可能である。

【００１２】

【発明が解決しようとする課題】しかしながら、従来の
唇抽出方法では、色成分を用いて唇を抽出しているが、
色成分は照明条件の影響を受けやすいという問題があ
る。

【００１３】また、閾値設定のためにあらかじめ設定し
た係数を用いているため、男女差および化粧の有無など
話者の個人差により、唇抽出の精度は影響を受けやすい
という問題もある。

【００１４】本発明はかかる点に鑑みてなされたもので
あり、照明など周囲の条件または、話者の個人差などに
依存せずに顔画像から唇部分を精度よく抽出することを
目的とする。

【００１５】

【課題を解決するための手段】そこで、本発明の唇抽出
方法では、顔画像から第１の唇候補領域を抽出した後
に、顔画像から、第１の唇候補領域の全ての領域とその
周辺を含む領域を第２の唇候補領域を新たに決定し、第
１の唇候補領域の色成分ヒストグラムと第２の唇候補領
域の色成分ヒストグラムと第１の唇候補領域の色成分ヒ
ストグラムと第２の唇候補領域の色成分ヒストグラムと
の差分ヒストグラムとを作成し、この差分ヒストグラム
から唇部分抽出のための閾値を設定し、この閾値を用い
て第１の唇候補領域の色成分ヒストグラムを閾値処理を
行うことにより唇部分を抽出するものである。

【００１６】このように構成することで、第１の唇候補
領域と第２の唇候補領域は共に唇部分を含み、第２の唇
候補領域は第１の唇候補領域よりも広い範囲で唇周辺に
おける肌色部分を含む。このため、前述の差分ヒストグ
ラムは唇周辺の肌色部分の色成分ヒストグラムとなる。
従って、差分ヒストグラムの分布から閾値を設定するこ
とにより、対象とする話者の肌と唇部分の色成分の境界
を精度よく抽出することが可能となる。

【００１７】また、閾値設定のために抽出する第１の唇
候補領域、第２の唇候補領域ともに同じ画像を用いるた
め、照明など周囲の条件によって生じる、唇部分抽出精
度の劣化も防ぐことも可能となる。

【００１８】

【発明の実施の形態】本発明の第１の態様にかかる唇抽
出方法は、顔画像から第１の唇候補領域を決定する工程
と、顔画像から第１の唇候補領域の全ての領域とその周
辺の領域を含む第２の唇候補領域を決定する工程と、第
１の唇候補領域の色成分ヒストグラムを作成する工程
と、第２の唇候補領域の色成分ヒストグラムとを作成す
る工程と、第１の唇候補領域の色成分ヒストグラムと第
２の唇候補領域の色成分ヒストグラムの差分ヒストグラ
ムから唇部分を抽出するための閾値を設定する工程と、
閾値を第１の唇候補領域の色成分ヒストグラムに用いて
色成分による閾値処理を行うことにより第１の唇候補領
域から唇部分を抽出する工程と、を具備する。

【００１９】このように差分ヒストグラムの分布から閾
値を設定することにより、対象とする話者の肌と唇部分
の色成分の境界を精度よく抽出することが可能となる。
また、閾値設定のために抽出する第１の唇候補領域、第
２の唇候補領域ともに同じ画像を用いるため、照明など
周囲の条件によって生じる、唇部分抽出精度の劣化も防
ぐことも可能となる。

【００２０】本発明の第２の態様は、第１の態様にかか
る唇抽出方法において、予め設定した係数をａ、ｂとし
て、作成するヒストグラムの色成分がＲＧＢ表色系の（Ｒ−ａ・Ｇ−ｂ・Ｂ）である。

【００２１】このように構成することにより、入力する
顔画像のＲＧＢ成分から容易に色成分ヒストグラムを作
成することができる。

【００２２】本発明の第３の態様は、第１の態様または
第２の態様にかかる唇抽出方法において、第１の唇候補
領域と第２の唇候補領域の面積比が１対１よりも大き
く、１対３よりも小さい。

【００２３】このような面積比にすることで、精度の高
い閾値を設定できるので、唇の抽出も精度高くできる。

【００２４】本発明の第４の態様は、第１の態様から第
３の態様のいずれかにかかる唇抽出方法において、第１
の唇候補領域を決定する工程は、顔画像から仮唇候補領
域を決定する工程と、仮唇候補領域の色成分ヒストグラ
ムを作成する工程と、予め作成した複数の話者の顔画像
から唇部分を切り出す際に使用した複数の閾値の平均値
である閾値を、仮唇候補領域の色成分ヒストグラムに用
いて色成分による閾値処理を行うことにより、仮唇候補
領域から唇部分を抽出し、２値化を行う工程と、抽出さ
れた唇部分を含む長方形の領域を切り出すことで決定し
た新たな唇候補領域を第１の唇候補領域とする工程と、
を具備する。

【００２５】以上のようにして、仮唇候補領域を使用し
て第１の唇候補領域を決定することにより、第１の唇候
補領域を精度よく抽出することが可能となる。さらに、
このように精度よく抽出された第１の唇候補領域を使用
して唇画像を抽出するため、唇を精度よく抽出すること
ができる。

【００２６】本発明の第５の態様は、第１の態様から第
３の態様のいずれかにかかる唇抽出方法において、第１
の唇候補領域を決定する工程は、顔画像から仮唇候補領
域を決定する工程と、仮唇候補領域の色成分ヒストグラ
ムを作成する工程と、予め複数の話者の顔画像から唇部
分を切り出して作成した唇抽出用テンプレートの色成分
ヒストグラムと前記仮唇候補領域の色成分ヒストグラム
を比較し、類似度のもっとも高い唇抽出用テンプレート
の閾値を仮唇候補領域の色成分ヒストグラムに用いて色
成分による閾値処理を行うことにより、仮唇候補領域か
ら唇部分を抽出し、２値化を行う工程と、抽出された唇
部分を含む長方形の領域を切り出すことで決定した新た
な唇候補領域を第１の唇候補領域とする工程と、を具備
する。

【００２７】以上のようにして、仮唇候補領域を使用し
て第１の唇候補領域を決定することにより、第１の唇候
補領域を精度よく抽出することが可能となる。さらに、
このように精度よく抽出された第１の唇候補領域を使用
して唇画像を抽出するため、唇を精度よく抽出すること
ができる。

【００２８】本発明の第６の態様は、第１の態様から第
５の態様のいずれかにかかる唇抽出方法において、抽出
した唇部分の色成分の分布と抽出した唇周辺部分の色分
布に対し、ＲＧＢ色空間上で唇部分と唇周辺部分を２分
する関数ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０を求め、唇抽出のために作成するヒストグラムの色成分
をａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂとする。

【００２９】このように唇部分と唇周辺部分を２分する
関数により、抽出した唇部分の色成分の分布と抽出した
唇周辺部分の色分布を唇部分と唇周辺部分とに簡単に２
分することができる。また、唇部分と唇周辺部分を２分
する関数から、閾値を設定するための色成分（ａ・Ｒ＋
ｂ・Ｇ＋ｃ・Ｂ）の係数（ａ、ｂ、ｃ）を決定し、この
係数により色成分ヒストグラムを作成することにより、
より精度よく唇部分を抽出することが可能になる。

【００３０】本発明の第７の態様は、第１の態様から第
６の態様のいずれかにかかる唇抽出方法において、第１
の唇候補領域の画像を輝度成分に変換し、エッジ抽出
し、２値化した画像と、色成分により唇部分を抽出した
画像の論理和を取った画像を唇抽出画像として出力す
る。

【００３１】このように色成分と輝度成分による唇抽出
を行うことにより、より精度の高い唇部分の抽出が可能
となる。

【００３２】以下、本発明の実施の形態について図を用
いて詳細に説明する。

【００３３】（実施の形態１）図１は、本発明にかかる
音声認識装置の構成を示すブロック図である。この図を
使用して、実施の形態１にかかる音声認識装置ついて説
明する。

【００３４】音声認識装置１０１は、画像入力部１０２
と画像処理部１０３と音声入力部１０４と音声認識部１
０５とを有する構成になっている。

【００３５】画像入力部１０２は、話者の顔を撮影する
ことによって得られた顔画像を出力する。画像入力部１
０２としては、ＣＣＤカメラなどが考えられる。

【００３６】画像処理部１０３は、画像入力部１０２か
ら入力された顔画像から唇画像を抽出して出力する。画
像処理部１０３は、顔面画像抽出部１０６と唇画像抽出
部１０７とを有する構成になっている。

【００３７】顔面画像抽出部１０６は、画像入力部１０
２から入力された顔画像に、その輝度情報を用いてＳｏ
ｂｅｌ（エッジ抽出）オペレータをかけてエッジを抽出
する。次に顔面画像抽出部１０６は、最も外側のエッジ
よりも外側の部分顔画像の画像情報を背景として顔画像
から分離し、顔面画像を作成する。顔面画像抽出部１０
６は、顔面画像をＹＩＱ表色系変換に変換し、唇画像抽
出部１０７に入力する。

【００３８】なお、本実施の形態では、顔面画像抽出部
１０６が顔画像から顔面画像を抽出する方法として、顔
画像の輝度情報を用いてＳｏｂｅｌ（エッジ抽出）オペ
レータをかけてエッジを抽出する方法を用いたが、これ
以外の方法を用いてもよく、これ以外の方法を用いた形
態も本発明に包含される。

【００３９】唇画像抽出部１０７は、入力された顔面画
像から唇画像を抽出して音声認識部１０５に出力する。

【００４０】音声入力部１０４は、マイクなどの集音装
置により集音された音声を音声認識部１０５に出力す
る。

【００４１】音声認識部１０５は、画像処理部１０３か
ら入力された唇画像を用いて、音声入力部１０４から入
力された音声認識をして、認識結果を出力する。

【００４２】以下、本発明の特徴である唇抽出精度が高
められた唇画像抽出部１０７の説明を詳細に行う。

【００４３】図２は、実施の形態１にかかる唇画像抽出
部の構成を示すブロック図である。

【００４４】第１の唇候補領域決定部２０１は、入力さ
れた話者の顔面画像と唇を抽出するための情報から第１
の唇候補領域を決定する。第１の唇候補領域の決定方法
としては、前述の従来例における方法や、第２回画像セ
ンシングシンポジウム講演論文集、Ａ−１、ｐ１〜６、
「色情報とＧＡを用いた顔画像抽出と個人照合の応用」
に示されているような、予め用意された顔（または唇）
抽出用テンプレートベクトル集合と遺伝的アルゴリズム
を用いたパターンマッチングによる領域抽出法などが考
えられる。なお、第１の唇候補領域の決定方法として、
これら以外の技術を用いることも可能であり、これら以
外の技術を使用して第１の唇候補領域の決定してもよ
い。

【００４５】第２の唇候補領域決定部２０２は、入力さ
れた顔面画像から第１の唇候補領域の全てとその周辺を
含むように決定された第２の唇候補領域を決定する。第
１の唇候補領域と第２の唇候補領域の面積比は、１対１
よりも大きく、１対３よりも小さくなっている。

【００４６】色成分ヒストグラム作成部２０３は、第１
の唇候補領域の色成分ヒストグラムおよび第２の唇候補
領域の色成分ヒストグラムを作成する。色成分としてＲ
ＧＢ表色系における（Ｒ−Ｇ−Ｂ）成分を横軸として示
している。しかし、色成分として、このほかにも（Ｒ−
Ｇ）成分、Ｒ／Ｇ成分、Ｒ／（Ｇ・Ｂ）成分、予め設定
した係数をａ、ｂとして、（Ｒ−ａ・Ｇ−ｂ・Ｂ）成分
を算出して用いることで入力する顔画像のＲＧＢ成分か
ら容易に色成分ヒストグラムを作成できるようにするこ
とや、前述の従来例に示されているＹＩＱ表色系におけ
るＱ成分や、ＨＳＶ表色系におけるＨ成分、Ｓ成分など
を利用することで効果を上げることも可能である。

【００４７】閾値設定部２０４は、第１の唇候補領域の
ヒストグラムと第２の唇候補領域のヒストグラムとの差
分を取った差分ヒストグラムを作成し、この差分ヒスト
グラムのピーク値と予め設定された係数を掛けることに
より得られる値に対応する色成分値を閾値として設定す
る。

【００４８】唇抽出部２０５は、第１の唇候補領域のヒ
ストグラムと閾値設定部２０４で決定した閾値から唇部
分を抽出し、唇画像として出力する。

【００４９】図３は、実施の形態１にかかる第１の唇候
補領域および第２の唇候補領域を説明するための概略図
である。

【００５０】３０１は、唇部分であり、３０２は第１の
唇候補領域決定部２０１により決定された第１の唇候補
領域であり、３０３は第１の唇候補領域の全てとその周
辺を含むように決定された第２の唇候補領域である。

【００５１】図４は、実施の形態１にかかる第１の唇候
補領域の色成分ヒストグラム（度数分布）と、第２の唇
候補領域の色成分ヒストグラムと、第１の唇候補領域の
色成分ヒストグラムと第２の唇候補領域の色成分ヒスト
グラムとの差分ヒストグラムと、を示す図である。

【００５２】横軸は色成分（ＲＧＢ表色系における、
（Ｒ−Ｇ−Ｂ）成分）、縦軸は色成分の度数である。４
０１は第１の唇候補領域３０２の色成分ヒストグラム、
４０２は第２の唇候補領域３０３の色成分ヒストグラ
ム、４０３は第１の唇候補領域３０２の色成分ヒストグ
ラムと第２の唇候補領域３０３の色成分ヒストグラムと
の差分ヒストグラムである。また、４０４は、第２の唇
候補領域の色成分ヒストグラムの第１のピークであり、
４０５は、第２の唇候補領域の色成分ヒストグラムの第
２のピークである。

【００５３】以下、実施の形態１にかかる唇画像抽出部
の動作について図２、図３および図４を使用して説明す
る。

【００５４】初めに、第１の唇候補領域決定部２０１に
話者の顔面画像と唇を抽出するための情報が入力され
る。第１の唇候補領域決定部２０１は、この顔面画像か
ら第１の唇候補領域３０２を決定し、色成分ヒストグラ
ム作成部２０３に出力する。

【００５５】続いて、第２の唇候補領域決定部２０２
が、入力された話者の顔面画像から、第１の唇候補領域
３０２の全てとその周辺を含む領域を第２の唇候補領域
３０３として新たに決定し、色成分ヒストグラム作成部
２０３に出力する。

【００５６】色成分ヒストグラム作成部２０３は、抽出
した第１の唇候補領域３０２の色成分ヒストグラム４０
１および第２の唇候補領域３０３の色成分ヒストグラム
４０２を作成する。

【００５７】図３からも明らかなように、第２の唇候補
領域３０３の色成分ヒストグラムには４０２、第１のピ
ーク４０４と第２のピーク４０５の２つのピークがあ
る。また、第１の唇候補領域３０２の色成分ヒストグラ
ム４０１には第２のピーク４０５と同じ位置にピークが
ある。

【００５８】第１の唇候補領域３０２の色成分ヒストグ
ラム４０１と第２の唇候補領域３０３の色成分ヒストグ
ラム４０２とが共にピークを現わしている第２のピーク
４０５は唇部分３０１の色成分によるものである。ま
た、第１の唇候補領域３０２の色成分ヒストグラム４０
１にのみはっきりと現れている第１のピーク４０４は、
唇周辺の肌色部分の色成分によるものである。

【００５９】従って、第１の唇候補領域３０２の色成分
ヒストグラム４０１と第２の唇候補領域３０３の色成分
ヒストグラム４０２との差分ヒストグラム４０３を作成
することにより、唇周辺の肌色成分ヒストグラムを抽出
することが可能となる。

【００６０】閾値設定部２０４は、この肌色成分ヒスト
グラムである差分ヒストグラム４０３を作成し、そのピ
ーク値を求め、このピーク値に対応する色成分値を求め
る。さらに、閾値設定部２０４は、このピーク値に対応
する色成分値に予め設定された係数を掛けることにより
得られる色成分値を閾値として設定し、唇抽出部２０５
に出力する。

【００６１】唇抽出部２０５は、第１の唇候補領域の色
成分ヒストグラム４０１の色成分のうち閾値設定部２０
４で決定した閾値よりも第２のピーク４０５側にある色
成分の領域を唇部分として抽出し、唇画像を出力する。

【００６２】また、第１の唇候補領域３０２と第２の唇
候補領域３０３の面積比が１対１よりも大きく、１対３
よりも小さい面積比になっている。このような面積比に
することで、精度よく閾値を求めることができるので、
唇を精度よく抽出することができる。なお、面積比はこ
の比率以外でも周囲の環境および個人差によって変更し
ても構わない。

【００６３】このように、実施の形態１にかかる唇画像
抽出部によれば、第１の唇候補領域と第２の唇候補領域
は共に唇部分を含み、第２の唇候補領域は第１の唇候補
領域よりも広い範囲で唇周辺における肌色部分を含む。
このため、差分ヒストグラムは唇周辺の肌色部分の色成
分ヒストグラムとなる。従って、差分ヒストグラムの分
布から閾値を設定することにより、対象とする話者の肌
と唇部分の色成分の境界を精度よく抽出することが可能
となる。

【００６４】また、閾値設定のために抽出する第１の唇
候補領域、第２の唇候補領域ともに同じ画像を用いるた
め、照明など周囲の条件によって生じる、唇部分抽出精
度の劣化も防ぐことも可能となる。

【００６５】よって、実施の形態１にかかる唇画像抽出
部によれば、照明などの条件や、男女差、化粧（口紅）
の有無など話者の個人差により、色成分ヒストグラムの
分布が異なっても、これらの影響を受けることなく唇部
分の抽出が可能となる。

【００６６】（実施の形態２）図５は、本発明の実施の
形態２にかかる唇画像抽出部の構成を示すブロック図で
ある。この図を使用して、唇画像抽出部の構成について
詳細に説明する。

【００６７】実施の形態２にかかる唇画像抽出部は、実
施の形態１にかかる唇画像抽出部において、第１の唇候
補領域決定方法として仮唇候補領域を用いる点が異なる
のみである。また、既に説明した部分と同じ部分につい
ては同一の符号を付与してある。

【００６８】仮唇候補領域決定部５０１は、実施の形態
１で説明した第１の唇候補領域決定部２０１と同じ動作
をし、唇候補領域を抽出し、この領域を仮唇候補領域と
する。

【００６９】色成分ヒストグラム作成部５０２は、仮唇
候補領域の色成分（Ｒ−Ｇ−Ｂ）のヒストグラムを作成
する。なお、色成分ヒストグラム作成部２０３と同様に
この色成分以外の色成分を使用しても良い。

【００７０】閾値記憶部５０３は、実施の形態１にかか
る唇画像抽出部により、予め複数の話者の複数の話者の
顔画像から唇画像部分を抽出し、その際に用いた唇画像
抽出のための閾値（色成分）の平均値を算出した閾値を
記憶している。

【００７１】唇抽出部５０４は、仮唇候補領域の色成分
ヒストグラムと閾値記憶部５０３に記憶された閾値を用
いて唇部分を抽出し、２値化し、唇画像として出力す
る。

【００７２】第１の唇候補領域決定部５０５は、唇抽出
部５０４から入力せれた唇部分を含む長方形の領域を切
り出し、この領域をあらたに第１の唇候補領域として決
定する。

【００７３】以下に、実施の形態２にかかる唇画像抽出
部の動作について説明する。

【００７４】まず、仮唇候補領域決定部５０１に唇抽出
の対象となる話者の顔面画像と唇情報が入力される。仮
唇候補領域決定部５０１は、唇抽出の対象となる話者の
顔面画像に対して、仮唇候補領域を決定し、色成分ヒス
トグラム作成部５０２に出力する。

【００７５】続いて、色成分ヒストグラム作成部５０２
が、入力された仮唇候補領域の色成分（Ｒ−Ｇ−Ｂ）の
ヒストグラムを作成し、唇抽出部５０４に出力する。

【００７６】唇抽出部５０４は、色成分ヒストグラム作
成部５０２から入力された仮唇候補領域の色成分ヒスト
グラムと閾値記憶部５０３に記憶されている閾値を用い
て唇部分を抽出し２値化し、第１の唇候補領域決定部５
０５に出力する。

【００７７】第１の唇候補領域決定部５０５は、抽出さ
れた唇部分を含む長方形を切り出し、この領域を第１の
唇候補領域として決定する。

【００７８】以下の動作については実施の形態１と同じ
なので説明を省略する。

【００７９】以上のように、実施の形態２にかかる唇画
像抽出部によれば、仮唇候補領域を使用して第１の唇候
補領域を決定することにより、精度よく第１の唇候補領
域を抽出することが可能となる。さらに、このように精
度よく抽出された第１の唇候補領域を使用して唇画像を
抽出するため、唇画像を精度よく抽出することができ
る。

【００８０】（実施の形態３）図６は、本発明の実施の
形態３にかかる唇画像抽出部の構成を示すブロック図で
ある。この図を使用して実施の形態３にかかる唇画像抽
出部の構成を説明する。なお、すでに説明した部分と同
一の部分については同一の符号を付与してある。

【００８１】実施の形態３にかかる唇画像抽出部は、実
施の形態１にかかる唇画像抽出部おいて、第１の唇候補
領域決定方法として仮唇候補領域を用いる点が異なるの
みである。また、既に説明した部分と同じ部分について
は同一の符号を付与してある。

【００８２】唇抽出用テンプレート６０１は、予め複数
の話者の顔画像から唇部分を切り出して作成した色成分
ヒストグラムと閾値が記憶している。

【００８３】唇抽出部６０２は、唇抽出用テンプレート
６０１の色成分ヒストグラムと仮唇候補領域の色成分ヒ
ストグラムを比較する。そして、次に、唇抽出部６０２
は、比較した結果、類似度のもっとも高い唇抽出用テン
プレートの閾値を用いて仮唇候補領域の画像に対して唇
部分の画像を抽出する。

【００８４】以下、実施の形態３にかかる唇抽出部の動
作について説明する。

【００８５】まず、前述の実施の形態２と同じ方法によ
り、仮唇候補領域の色成分ヒストグラムが作成され、唇
抽出部６０２に入力される。

【００８６】続いて、唇抽出部６０２は、唇抽出用テン
プレート６０１の色成分ヒストグラムと仮唇候補領域の
色成分ヒストグラムを比較する。そして、唇抽出部６０
２は、比較した結果、類似度の最も高い唇抽出用テンプ
レート６０１の閾値を用いて仮唇候補領域の画像に対し
て唇部分を抽出し、出力する。

【００８７】以下の動作については、実施の形態１また
は実施の形態２と同様なので説明を省略する。

【００８８】以上のように、実施の形態３にかかる唇画
像抽出部によれば、仮唇候補領域と唇抽出用テンプレー
トを使用して第１の唇候補領域を決定することにより、
精度よく第１の唇候補領域を抽出することが可能とな
る。さらに、このように精度よく抽出された第１の唇候
補領域を使用して唇画像を抽出するため、唇画像を精度
よく抽出することができる。

【００８９】（実施の形態４）図７は本発明の実施の形
態４にかかる唇画像抽出部の構成を示すブロック図であ
る。この図を使用して実施の形態４にかかる唇画像抽出
部の構成を説明する。なお、すでに説明した部分と同一
の部分については同一の符号を付与してある。

【００９０】仮唇部分の色成分分布作成部７０１は、唇
抽出された部分の色成分の分布をＲＧＢの空間上で作成
する。

【００９１】仮唇周辺部分の色成分分布作成部７０２
は、唇周辺部分の色成分の分布をＲＧＢの空間上で作成
する。

【００９２】色成分パラメータ決定部７０３は、ある与
えられた色成分（Ｒ、Ｇ、Ｂ）が唇抽出された部分の色
成分の分布と唇周辺部分の色成分の分布のいずれに属す
るかをＲＧＢ色空間上で判別するために用いる判別関数ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０を求める。また、判別関数は判別分析により求めること
ができる。判別関数の係数（ａ、ｂ、ｃ）を用いて第１
の唇候補領域３０２と第２の唇候補領域３０３の色成分
パラメータ（（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）を決定する。
なお、実施の形態１に示した色成分（Ｒ−Ｇ−Ｂ）はａ
＝１、ｂ＝−１、ｃ＝−１の場合に相当する。

【００９３】色成分ヒストグラム作成部７０４は、係数
（ａ、ｂ、ｃ）を用いて第１の唇候補領域３０２の色成
分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）ヒストグラムと、第２の
唇候補領域３０３の色成分ヒストグラムを作成する。

【００９４】図８は、実施の形態４にかかる唇抽出され
た部分の色成分の分布と唇周辺部分の色成分の分布をＲ
ＧＢの色空間上に示した図である。

【００９５】８０１は抽出された仮唇部分の色成分の分
布をＲＧＢの色空間上に示したものであり、８０２は仮
唇周辺部分の色成分の分布をＲＧＢの色空間上に示した
ものである。８０３は、ある与えられた色成分（Ｒ、
Ｇ、Ｂ）が仮唇部分の集合と仮唇周辺部分の集合のいず
れに属するかを判別するための判別関数（ａ・Ｒ＋ｂ・
Ｇ＋ｃ・Ｂ＋ｄ＝０）を示す平面である。

【００９６】以下、実施の形態４にかかる唇画像抽出部
の動作について説明する。

【００９７】まず、実施の形態１と同様な手順で唇部分
を抽出する。

【００９８】つぎに、仮唇部分の色成分分布作成部７０
１がこの唇部分を仮唇部分とし、仮唇部分の色成分分布
を作成し、出力する。同様に、仮唇周辺部分の色成分分
布作成部７０２は、仮唇周辺の色成分分布を作成し、出
力する。

【００９９】次に、色成分パラメータ決定部７０３は、
入力された仮唇部分の色成分の分布８０１と仮唇周辺部
分の色成分の分布８０２に対して（ＲＧＢ）色空間上で
判別分析を行い判別関数ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０を求め、この係数（ａ、ｂ、ｃ）を用いて第１の唇候補
領域３０２と第２の唇候補領域３０３の色成分パラメー
タ（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）を決定し、出力する。

【０１００】色成分ヒストグラム作成部７０４は、この
ようにして得られた、係数（ａ、ｂ、ｃ）を用いて第１
の唇候補領域３０２の色成分ヒストグラムを作成し、出
力する。さらに、色成分ヒストグラム作成部７０４は、
第２の唇候補領域３０３の色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ
・Ｂ）ヒストグラムを作成し、出力する。

【０１０１】以下の動作については、既に説明した動作
と同じであるので説明を省略する。

【０１０２】以上のように、実施の形態４にかかる唇画
像抽出部によれば、判別分析の判別関数により閾値を設
定するための色成分（ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）の係数
（ａ、ｂ、ｃ）を決定し、この色成分を使用して色成分
ヒストグラムを作成することにより、より精度よく唇部
分を抽出することが可能となる。

【０１０３】なお、実施の形態４では、唇部分と唇周辺
部分を２分する関数として、判別分析によって求められ
た判別関数を使用したが、判別関数以外の関数、例えば
唇抽出された仮唇部分の色成分分布８０１と仮唇周辺部
分の色成分の分布８０２、それぞれの重心間の中点を通
り、重心を結ぶ直線に直交する平面を表わす関数（ａ・
Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０）等を使用することも可能
である。また、これらの判別関数以外の関数の係数
（ａ、ｂ、ｃ）を用いることも当然のことながら可能で
ある。

【０１０４】（実施の形態５）図９は、本発明の実施の
形態５にかかる唇画像抽出部の構成を示すブロック図で
ある。この図を使用して実施の形態５にかかる唇画像抽
出部について詳細に説明する。なお、既に説明した部分
と同一の部分については同一の符号が付与してある。

【０１０５】輝度値変換部９０１は、第１の唇候補領域
の画像データを輝度値で表わされる画像データに変換す
る。

【０１０６】エッジ抽出部９０２は、輝度値で表わされ
た画像データにエッジオペレーターをかけることにより
エッジを抽出し、さらに２値化する。

【０１０７】画像合成部９０３は、色成分ヒストグラム
を用いて抽出した唇画像とエッジ抽画像の論理和をと
り、唇画像として出力する。

【０１０８】以下、実施の形態５にかかる唇画像抽出部
の動作について説明する。

【０１０９】色成分ヒストグラムを用いて唇抽出する部
分の処理は実施の形態１と同様であるので、説明を省略
する。

【０１１０】第１の唇候補領域決定部２０１が第１の唇
候補領域抽出した後、輝度値変換部９０１は、第１の唇
候補領域の画像データを輝度値で表わされる画像データ
に変換し、出力する。

【０１１１】次に、エッジ抽出部９０２が、輝度値に変
換された画像データにエッジオペレーターをかけること
によりエッジを抽出し、さらに２値化して出力する。

【０１１２】そして、画像合成部９０３が、実施の形態
１と同様に色成分ヒストグラムを用いて抽出した唇画像
とエッジ抽出部９０２から入力されたエッジ抽出画像の
論理和をとり、これを唇画像として出力する。

【０１１３】以上のようにして、実施の形態５にかかる
唇画像抽出部によれば、色成分による唇抽出だけでなく
輝度成分による唇抽出も行うことにより、より精度の高
い唇部分の抽出が可能となる。

【０１１４】以上説明してきたように、本発明の唇抽出
方式では、照明などの条件や話者の個人差に影響を受け
ることなく、唇部分を精度よく抽出することが可能とな
る。

【０１１５】また、実施の形態１から実施の形態５を適
宜組み合わせることにより、さらに精度を上げることも
可能である。

【０１１６】さらに、本発明にかかる唇画像抽出部の構
成は、図２、図５〜７、図９に限定されるものではな
く、各処理部、例えば色成分ヒストグラム作成部を設け
る数を増やす等して並列化し、処理を高速化することも
できる。また、本発明にかかる唇画像抽出部の各処理
部、例えば閾値設定部、色成分ヒストグラム作成部など
に複数回の処理をさせることにより、小型化することも
できる。

【０１１７】また、本発明の説明では、唇画像抽出部を
音声認識装置に適用したが、唇画像抽出部をこれ以外の
装置に適用することも可能であり、本発明に含まれる。

【０１１８】

【発明の効果】以上説明したように、本発明によれば、
照明などの条件や話者の個人差に影響を受けることな
く、唇部分を精度よく抽出することが可能となる。

【図面の簡単な説明】

【図１】本発明にかかる音声認識装置の構成を示すブロ
ック図

【図２】本発明の実施の形態１にかかる唇画像抽出部の
構成を示すブロック図

【図３】実施の形態１にかかる第１の唇候補領域および
第２の唇候補領域を説明するための概略図

【図４】実施の形態１にかかる第１の唇候補領域の色成
分ヒストグラムと、第２の唇候補領域の色成分ヒストグ
ラムと、第１の唇候補領域の色成分ヒストグラムと第２
の唇候補領域の色成分ヒストグラムとの差分ヒストグラ
ムを示す図

【図５】本発明の実施の形態２にかかる唇画像抽出部の
構成を示すブロック図

【図６】本発明の実施の形態３にかかる唇画像抽出部の
構成を示すブロック図

【図７】本発明の実施の形態４にかかる唇画像抽出部の
構成を示すブロック図

【図８】実施の形態４にかかる唇抽出された部分の色成
分の分布と唇周辺部分の色成分の分布をＲＧＢの色空間
上に示した図

【図９】本発明の実施の形態５にかかる唇画像抽出部の
構成を示すブロック図

【図１０】従来の唇画像抽出装置の概要を示すブロック
図

【符号の説明】

１０１音声認識装置１０２画像入力部１０３画像処理部１０４音声入力部１０５音声認識部１０６顔面画像抽出部１０７唇画像抽出部２０１、５０５第１の唇候補領域決定部２０２第２の唇候補領域決定部２０３、５０２色成分ヒストグラム作成部２０４閾値設定部２０５、５０４、６０２唇抽出部５０１仮唇候補領域決定部５０３閾値記憶部６０１唇抽出用テンプレート７０１仮唇部分の色成分分布作成部７０２仮唇周辺部分の色成分分布作成部７０３色成分パラメータ決定部７０４色成分ヒストグラム作成部９０１輝度値変換部９０２エッジ抽出部９０３画像合成部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 15/70 ３１０４１０Ｆターム(参考） 2G020 AA08 DA02 DA12 DA35 DA66 4C038 VA04 VB05 VC05 5B057 BA29 DA08 DB02 DB06 DC16 DC19 DC25 5L096 AA02 BA18 EA35 EA43 FA15 FA35 GA51 JA09 9A001 GG19 HH17 HH23 HH28 HH30

Claims

【特許請求の範囲】

【請求項１】顔画像から第１の唇候補領域を決定する
工程と、前記顔画像から前記第１の唇候補領域の全ての
領域とその周辺の領域を含む第２の唇候補領域を決定す
る工程と、前記第１の唇候補領域の色成分ヒストグラム
を作成する工程と、前記第２の唇候補領域の色成分ヒス
トグラムとを作成する工程と、前記第１の唇候補領域の
色成分ヒストグラムと前記第２の唇候補領域の色成分ヒ
ストグラムの差分ヒストグラムから唇部分を抽出するた
めの閾値を設定する工程と、前記閾値を前記第１の唇候
補領域の色成分ヒストグラムに用いて色成分による閾値
処理を行うことにより前記第１の唇候補領域から唇部分
を抽出する工程と、を具備することを特徴とする唇抽出
方法。
【請求項２】予め係数ａ，ｂを設定し、作成する色成
分ヒストグラムの色成分がＲＧＢ表色系の（Ｒ−ａ・Ｇ
−ｂ・Ｂ）であることを特徴とする請求項１記載の唇抽
出方法。
【請求項３】前記第１の唇候補領域と前記第２の唇候
補領域の面積比が１対１よりも大きく、１対３よりも小
さいことを特徴とする請求項１又は請求項２に記載の唇
抽出方法。
【請求項４】前記第１の唇候補領域を決定する工程
は、前記顔画像から仮唇候補領域を決定する工程と、前
記仮唇候補領域の色成分ヒストグラムを作成する工程
と、予め作成した複数の話者の顔画像から唇部分を切り
出す際に使用した複数の閾値の平均値である閾値を、前
記仮唇候補領域の色成分ヒストグラムに用いて色成分に
よる閾値処理を行うことにより、前記仮唇候補領域から
唇部分を抽出し、２値化を行う工程と、前記抽出された
唇部分を含む長方形の領域を切り出すことで決定した新
たな唇候補領域を前記第１の唇候補領域とする工程と、
を具備することを特徴とする請求項１から請求項３のい
ずれかに記載の唇抽出方法。
【請求項５】前記第１の唇候補領域を決定する工程
は、前記顔画像から仮唇候補領域を決定する工程と、前
記仮唇候補領域の色成分ヒストグラムを作成する工程
と、予め複数の話者の顔画像から唇部分を切り出して作
成した唇抽出用テンプレートの色成分ヒストグラムと前
記仮唇候補領域の色成分ヒストグラムを比較し、類似度
のもっとも高い唇抽出用テンプレートの閾値を前記仮唇
候補領域の色成分ヒストグラムに用いて色成分による閾
値処理を行うことにより、前記仮唇候補領域から唇部分
を抽出し、２値化を行う工程と、前記抽出された唇部分
を含む長方形の領域を切り出すことで決定した新たな唇
候補領域を前記第１の唇候補領域とする工程と、を具備
することを特徴とする請求項１から請求項３のいずれか
に記載の唇抽出方法。
【請求項６】前記抽出した唇部分の色成分の分布と前
記抽出した唇周辺部分の色分布に対し、ＲＧＢ色空間上
で唇部分と唇周辺部分を２分する関数ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ＋ｄ＝０を求め、唇抽出のために作成するヒストグラムの色成分
をａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂとすることを特徴とする請求項１から請求項５のいずれ
かに記載の唇抽出方法。
【請求項７】前記第１の唇候補領域の画像を輝度成分
に変換し、エッジ抽出し、２値化した画像と、前記色成
分により唇部分を抽出した画像の論理和を取った画像を
唇抽出画像として出力することを特徴とする請求項１か
ら請求項６のいずれかに記載の唇抽出方法。