JP2005049979A

JP2005049979A - 顔検知装置及びインターホン装置

Info

Publication number: JP2005049979A
Application number: JP2003203775A
Authority: JP
Inventors: Hideyuki Aoki; 秀行青木
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2003-07-30
Filing date: 2003-07-30
Publication date: 2005-02-24
Anticipated expiration: 2023-07-30
Also published as: JP4412929B2

Abstract

【課題】環境が変化する屋外などで撮影した画像に対しても、誤検知することなく、安定して顔の存在を検知可能な顔検知装置及びインターホン装置を得る。
【解決手段】撮影環境に応じた顔画像の特徴評価情報を予め比較評価値記憶部１１６に記憶する。手段１０６が抽出した頭部候補画像から特徴情報を抽出する。手段１１２により、特徴情報と比較評価情報とを比較して顔らしさの類似度を算出する。手段１０４により、画像から抽出した撮影環境情報と特徴評価情報の環境情報とを比較して撮影環境の類似度を算出する。顔判定部１２０は、これら二つの類似度の積算結果に基づいて頭部候補領域に顔画像が含まれるか否かを判定する。撮影環境ごとの比較評価値を備えて環境変化を考慮して処理を行うことにより、環境変化への追従性を向上し誤検出を低減することができる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像中に顔が写っていることを、画像処理により検知する顔検知装置及び、顔検知機能を備えたインターホン装置に関する。
【０００２】
【従来の技術】
録画機能付きカメラインターホン装置（以降、単に「インターホン」と記す）がある。このインターホンは、門柱など屋外に取り付ける子機と、屋内に取り付ける親機とから成り立っている。子機にはカメラが内蔵されており、来訪者が子機の呼び出しボタンを押下げると、カメラで撮影した画像が親機側で表示されると共に、親機に接続された録画ユニットに、呼び出しボタン押下時の撮像画像が保存される。
【０００３】
このようなインターホンにおいて、来訪者が子機のカメラの画角外から呼び出しボタンを押したり、顔を覆面などで覆った状態でボタンを押したりすることがある。このような場合でも、親機においては、家人に対して通常通りに呼び出しが行われ、撮影画像の保存が行われる。このため、家人は親機に表示されている画像を確認するまで正常な来訪者か否かが判別ができない上、証拠としての用を成さない画像も録画されてしまう可能性がある。
【０００４】
一方、画像中に顔が写っていることを、画像処理により検知する技術がある（特許文献１参照）。この技術では、画像から顔の特徴部分（例、目、鼻）を検出し、各特徴部分の検出度合いから画面中における顔の有無を判定する。
【０００５】
【特許文献１】
特許第２６４８０５４号公報
【０００６】
【発明が解決しようとする課題】
しかし、このような装置では、顔の特徴部分を検出するために、顔の部分が精細に写っている必要があり、高精細なカメラを必要とし、撮影画角を狭くする必要がある。
更に、特徴部分を抽出する画像処理には多くの計算量が必要となる。このため、高性能なＣＰＵが必要となる。また、特徴部分の検出度合いの算出には、光の当り方による影響があるため、屋外で使用する際などには、日照や人工照明による環境の変動への対策が必要となる。
【０００７】
本発明は、環境が変化する屋外などで撮影した画像に対しても、誤検知することなく、安定して顔の存在を検知可能な顔検知装置を得ることを目的とする。
また、本発明は、上記顔検知装置を備えたインターホン装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。本発明の顔検知装置は、撮影された画像から動き領域を抽出して顔画像の有無を判定する顔検知装置であって、顔が映っている領域が示す画像特徴である顔情報と撮影環境により異なる輝度値の分布特徴である環境情報とを互いに対応させて予め記憶する記憶部と、前記動き領域の画像における画像特徴と前記記憶部に記憶されている顔情報とを比較して顔らしさの類似度となる第一の類似度を算出する顔類似算出手段と、撮影された画像の輝度値の分布と前記記憶部に記憶されている環境情報とを比較して撮影環境の類似度となる第二の類似度を算出する環境類似算出手段と、互いに対応関係にある顔情報及び環境情報から算出した第一及び第二の類似度を統合して顔画像の有無を判定する判定部とを具備する。
【０００９】
本発明の顔検知装置によれば、あらかじめ複数の顔画像の特徴と撮影環境の情報とを備えておくことにより、単純な比較処理のみによって顔画像の有無を判別することが可能となり、安価な装置であっても処理速度を向上させることができる。また、撮影環境ごとの比較評価値を備えて環境変化を考慮して処理を行うため、環境変化への追従性を向上し誤検出を低減することができる。
【００１０】
本発明の顔検知装置においては、前記環境情報は、前記撮影された画像を平滑化して得られた画像と前記撮影された画像との差分画素の割合に基づく照度情報であるものとすることもできる。
これにより、特別なハードウェアを用いることなく、画像処理のみで低照度度合いを検出することが可能となり、装置の小型化及びコストの削減を実現することができる。
【００１１】
本発明の顔検知装置の別の態様においては、撮像画像を参照パターンで走査して頭部候補領域を抽出する頭部抽出部と、前記頭部候補領域内に対称軸を設定し該対称軸に対し対象となる画素の輝度値を比較し高輝度となる一方の画素の輝度値を他方の画素に代入して合成画像を生成する対象画像生成部と、前記合成画像の下部中央をＸ方向に伸張して頭部候補画像を生成する頭部画像処理部と、前記頭部候補領域が顔画像を含んでいるか否かを判定する判定部と、前記判定部の判定結果に基づき出力する出力部とから顔検知装置を構成することもできる。
【００１２】
この態様によれば、頭部画像を線対象画像として、且つ、ほぼ矩形に得ることができ、安価な装置であっても処理速度を向上させることができる。
【００１３】
本発明のインターホンは、呼び出し釦を備えたインターホン子機と、前記呼び出し釦の操作に応じて呼び出し音を報知する鳴動部を備えたインターホン親機とからなるものであって、前記インターホン子機前面の画像を入力する画像入力部と、前記呼び出し釦操作時の入力画像から動き領域を抽出する動き領域抽出部と、抽出された顔候補領域の特徴量を算出する特徴評価部と、前記動き領域が顔画像を含んでいるか否かを判定する判定部と、前記判定部の判定結果に応じて異なる呼び出し音を前記鳴動部に出力する制御部とを備える。
そして、前記動き領域抽出部にて抽出された動き領域が所定量以下の場合、更に異なる呼び出し音を前記鳴動部に出力することを特徴とする。
【００１４】
本発明のインターホンによれば、顔の一部を隠蔽するなどしていて、正常な顔画像と判定されなかった来訪者と、正常な顔画像が判定された来訪者とで呼出音を切替えることができ、利用者の使い勝手が向上する。さらに、いたずらで画像入力部の画角外から呼び出し釦が操作された際に呼び出し音を切り替えることができ、利用者の使い勝手が向上する。
【００１５】
本発明のインターホンにおいては、前記撮像画像中の輝線ノイズを検出する信頼度判定部を備え、前記信頼度判定部は、輝線ノイズを検出すると前記判定部の判定結果を書換えて撮像画像に顔画像が含まれるという判定結果を出力するようにできる。
【００１６】
これにより、スミアやブルーミングなどによる輝線ノイズが含まれる画像に対して顔画像の検出精度が低下することを考慮して、画像中に輝線ノイズが検出された際は、顔画像の存在を強制的に判定させることにより、正規の来客による呼び出し釦操作時の検出漏れを低減することができる。
【００１７】
更に、本発明のインターホンにおいては、前記インターホン子機正面に設けられた穿設孔と、該穿設孔内部に配設される目印部材とを備え、前記動き領域抽出部にて抽出された動き領域が所定量以下の場合及び、前記判定部が前記撮像画像は顔画像を含まないと判定した場合に、前記インターホン子機は前記目印部材が視認できる位置で再度操作を行うよう報知出力するようにできる。
これにより、訪問者に対して適切な操作を促すことができ、操作性利便性が向上する。
【００１８】
【発明の実施の形態】
以下、本発明の実施形態について、図を用いて説明する。
図１を用いて、顔検知機能を有するインターホンの構成を説明する。
インターホンは、玄関近辺の屋外に設置されたインターホン子機１５０と、屋内に設置されたインターホン親機１００により構成される。インターホン子機１５０とインターホン親機１００は通信線１４０にて接続される。
【００１９】
インターホン子機１５０の構成を説明する。
制御部１６０は、ＣＰＵなどにより構成され、各部の動作や信号の流れを制御する。制御部１６０には、画像入力部１５２、マイク１５４、スピーカ１５６、呼び出し釦１５８、通信部１６２が接続される。
【００２０】
画像入力部１５２は、ＣＣＤカメラ、増幅器、Ａ／Ｄ変換器などで構成される。画像入力部１５２は、訪問者の顔画像を含む画像を撮像し、入力された映像をデジタル化し、画像データ（以下、入力画像テータと称する）として出力する。
マイク１５４は、訪問者の音声を集音して音声信号として出力する。
スピーカ１５６は、インターホン親機１００から送信された音声信号を訪問者に報知する。
【００２１】
呼び出し釦１５８は、訪問者が操作（押し下げ）することにより起動信号を出力する。
通信部１６２は、インターホン親機１００へ、画像信号、音声信号、起動信号を送信し、インターホン親機１００から、音声信号を受信する。
【００２２】
図６に、インターホン子機１５０の外観を示す。
正面に、画像入力部１５２、マイク１５４、スピーカ１５６、呼び出し釦１５８が配置される。更に、画像入力部１５２の近傍に穿設孔が設けられ、この穿設孔の内部にＬＥＤ６０４が配置される。ＬＥＤ６０４は穿設孔内部に配置されるため、画像入力部１５２と対面する箇所からのみ認識することができる。このＬＥＤ６０４を認識できる箇所に来客者が位置することにより、画像入力部１５２に、来客者の正面を撮像した画像が入力されることになる。
【００２３】
図１に戻り、インターホン親機１００の構成を説明する。
制御部１２４は、ＣＰＵ、マイコン、ＤＳＰなどのプロセッサ及びＳＲＡＭ、ＤＲＡＭなどのメモリなどを用いて構成され、各処理部の動作及び、各信号の流れを制御する。
【００２４】
制御部１２４には、楕円領域抽出部１０２、環境評価値算出部１０４、頭部候補領域前処理部１０６、特徴画像生成部１０８、特徴量抽出部１１０、距離算出部１１２、画像記憶部１１４、テンプレート記憶部１１６、信頼度判定部１１８、顔判定部１２０、動き領域抽出部１２６、表示部１３０、スピーカ１３２、通話部１３４、記憶部１３６、通信部１３８が接続される。
【００２５】
特徴画像生成部１０８は、入力画像データから縦エッジ画像及び横エッジ画像、肌色度合い画像を生成し出力する。
画像記憶部１１４は、入力画像データ、縦エッジ画像、横エッジ画像、動き領域抽出部１２６が生成する背景画像データ、特徴画像生成部１０８が生成する特徴画像データを記憶する。
【００２６】
動き領域抽出部１２６は、画像記憶部１１４から入力画像と背景画像を読み出し、背景差分法によって人物等の動きのある領域を抽出する。
環境評価値算出部１０４は、入力画像データを基に順光、逆光、日陰、夕暮れ、夜間などといった撮影環境を表す評価値（以下、環境評価値と称する）を出力する。
【００２７】
楕円領域抽出部１０２は、縦エッジ画像および横エッジ画像から、楕円形状の特徴を有する領域を抽出する。また、抽出した楕円領域の個数、各位置、各大きさを出力する。
環境評価値算出部１０４は、入力画像データを基に、順光、逆光、日陰、夕暮れ、夜間などといった撮影環境を表す評価値（以下、環境評価値と称する）を出力する。
【００２８】
頭部候補領域前処理部１０６は、楕円領域を、画像処理に適するよう再設定した上で、顔検知精度が向上するような前処理を施す。ここで、頭部候補領域２０２を設定する。
特徴量抽出部１１０は、頭部候補領域の画像を分析し、顔検知のために後述する特徴量を算出し出力する。
【００２９】
テンプレート記憶部１１６は、顔検知の基準となるテンプレートを記憶する。
距離算出部１１２は、頭部候補領域ごとに、特徴量とテンプレートとを比較して、顔検知のための距離値を計算し出力する。距離値は頭部候補領域とテンプレートとの差異を表す尺度である。
【００３０】
顔判定部１２０は、頭部候補領域ごとに計算された距離値を予め定めたしきい値と比較し、入力画像中に顔が存在するか否かを判定する。
信頼度判定部１１８は、顔判定結果が信頼できるものであるかを検証してその度合いを表す信頼度を出力する。
記憶部１３６は、音声ガイダンスや呼び出し音といった音データを記憶する。
【００３１】
スピーカ１３２は、インターホン子機１５０から入力される起動信号に基づき発生された呼び出し音を鳴動させる。記憶部１３６に記憶された音データを再生することで、複数種類の呼び出し音を鳴動させることができる。
表示部１３０は、画像入力部１５２から送られてきた画像を可視化して利用者に提示する手段であり、液晶モニタあるいはＣＲＴなどで構成される。
通話部１３４は、インターホン子機１５０のマイク１５４、スピーカ１５６を介して、訪問者との通話を可能とする。
【００３２】
インターホン親機１００の応対者（家人）は、呼び出し音が出力されると、表示画像を参照し、訪問者に応対するか否かを判断する。応対をする場合は、送受話器としての通話部１３４を使用して、訪問者と通話をする。
【００３３】
図１に示したインターホン装置の各部の詳細な動作を説明する。
特徴画像生成部１０８は、入力画像データの輝度情報を用い輝度エッジ画像として縦エッジ画像及び横エッジ画像を生成し、また、色情報を用いて肌色度合い画像を生成し出力する。
輝度情報から計算したエッジは、輝度値の明るい部分と暗い部分の境界を示す。輝度エッジ画像とは、入力された画像における画素毎に、明るさの境界であるかどうかを周辺の画素との比較によりその度合い（明るさの変化度合い＝エッジ強度）を計算し、全画素についての計算結果を画像として示したものである。
【００３４】
境界の明るさの差が大きい場合（境界である場合）には、輝度エッジ画像の画素の値（＝エッジ強度）が大きくなり、差が小さい場合（境界でない場合）には、輝度エッジ画像の画素の値は小さくなる。
通常、この明るさの境界に方向（どちらの方向に明るくなっているか）を持たせることが多い。一般的には、縦方向と横方向に分けて上記の計算を行う。左から右（または右から左）にどの程度明るさが変化しているかを計算した結果を縦エッジ画像といい、上から下（または下から上）にどの程度明るさが変化しているかを計算した結果を横エッジ画像という。
【００３５】
一般的に、下記のような３×３のＰｒｅｗｉｔｔフィルタを用いてそのエッジ強度を算出する。

【００３６】
この他にもガウシアンフィルタを用いたエッジ抽出手法なども知られている。
肌色度合い画像は、画像中の各画素において肌色らしさを計算した結果を画像として示すものであり、肌色度合いが強いほど、その画素値を高くする。例えば、肌色らしさは次のようにして計算する。
【００３７】
入力画像がＲＧＢ表色系（各ＲＧＢの値は０〜２５５）の場合では、下記のような公知の式により各画素をＨＳＶ表色系に変換（各ＨＳＶの値は０〜２５５）すると、その色相（Ｈ）成分が３０付近にある場合に肌色であることが知られている。
【００３８】
したがって、（２５５−２Ｘ｜Ｈ−３０｜）の絶対値をその肌色度合いの計算値としても良いし、
２０≦Ｈ≦４０の場合：肌色度合い＝２５５
それ以外の場合：肌色度合い＝（２５５−２Ｘ｜Ｈ−３０｜）の絶対値
等のようにしてもよい。
以下に、ＲＧＢからＨＳＶへの変換式（式１）〜（式３）を示す。
【００３９】
【数１】

【００４０】
画像記憶部１１４は、画像入力部１５２が出力する入力画像データ、動き領域抽出部１２６が生成する背景画像及び、特徴画像生成部１０８が生成する特徴画像データを記憶する。
動き領域抽出部１２６は、画像記憶部１１４から入力画像と背景画像を読み出し、背景差分法によって人物などの動きのある領域を抽出し、抽出結果を出力する。
【００４１】
また、動き領域抽出部１２６は、抽出した動き領域の面積を予め定めたしきい値と比較し、動き領域の面積がしきい値より小さい場合はその旨を出力する。この出力により、入力画像内に人物画像が存在しないという判断がなされる。また、動き領域抽出部１２６は、入力画像と背景画像とを加重平均して新たな背景画像を生成し、該背景画像で画像記憶部１１４に記憶されている背景画像を更新する。
【００４２】
環境評価値算出部１０４は、入力画像を基に、順光、逆光、日陰、夕暮れ、夜間などといった環境評価値を出力する。本例では、環境評価値として、輝度値の分布に基づき逆光度合いｅ１、暗闇度合いｅ２、低照度度合いｅ３の３つの値を算出する。
【００４３】
まず、環境評価値算出部１０４は、入力画像中の所定領域から動き領域抽出部１２６が抽出した動き領域を除いた領域を、環境評価領域として切り出す。環境変動として最も重要である日照が適切に反映され、かつ、影などの影響を受けにくいように、前記所定領域を空に相当する領域に設定するのが望ましく、例えば入力画像の上部４分の１などとする。また、動き領域を除くことも環境評価値算出の精度を向上させる。
【００４４】
次に、環境評価値算出部１０４は、前記環境評価領域において輝度が所定の値以上となる画素の割合を求めることで逆光度合いｅ１を算出する。同様に、環境評価値算出部１０４は、前記環境評価領域において輝度が所定の値以下となる画素が占める割合を求めることで暗闇度合いｅ２を算出する。
【００４５】
また、環境評価値算出部１０４は、画像のノイズの多さに基づき、低照度度合いｅ３を算出する。低照度状態では、カメラの自動感度調整が働いた結果感度が高くなり、信号を増幅する。このため、低照度状態で撮像した画像はノイズが多くなる。そこで、撮像された画像からノイズ成分を抽出し、ノイズの多さを評価することで低照度度合いｅ３とする。
【００４６】
図８を用いて、低照度度合いｅ３を評価する具体的な処理を説明する。図８において、入力画像８００にローパスフィルタによる平滑化８０２を施して、平滑化画像を作成し、入力画像と平滑化画像の差分画像８０４をしきい値処理することで、平滑化画像と大きく異なる輝度値を示すノイズ画素を検知する。また、入力画像からエッジ強度画像作成８１０により、エッジ強度画像を作成し、２値化８１２によりエッジ画素８０６を検知する。エッジ画素以外の画素の中でのノイズ画素８０８の割合を計算し、これを低照度度合とする。平滑化８０２で用いるローパスフィルタとしては、例えばメディアンフィルタなどが好適である。
【００４７】
楕円領域抽出部１０２は、画像記憶部１１４に記憶された縦エッジ画像および横エッジ画像から楕円形状の特徴を有する領域を抽出し、抽出した楕円領域の個数、各位置、各大きさを出力する。頭部の輪郭形状は略楕円形状であることから、ここで抽出する楕円領域は頭部候補領域を意味する。楕円領域抽出部１０２が抽出する楕円領域の数は、０個であっても１個であっても複数個であっても良い。
【００４８】
ただし、動き領域抽出部１２６によって一定以上の面積の動き領域が抽出されたにもかかわらず、楕円領域抽出部１０２が抽出した楕円の数が０個の場合は異常であるとの判断がなされる。
前記抽出処理は例えば、楕円形状の参照パターンを用いて前記エッジ画像内を探索することで実現可能である。
【００４９】
この場合、エッジ画像内に参照パターンと同じ大きさの候補領域を設定して、参照パターンと該候補領域の類似度を計算するという処理を、候補領域を移動させながら行い、計算された類似度が予め定めたしきい値より大きい場合に、処理対象となった候補領域を楕円領域とする。
【００５０】
ここで探索する範囲は、動き領域抽出部１２６が抽出した動き領域に限定する。こうすることで、計算量を少なくすることができる上に背景に含まれる楕円形状を誤って抽出することがなくなる。なお、前記抽出処理はＨｏｕｇｈ変換で実現することもできる。
【００５１】
頭部候補領域前処理部１０６は、楕円領域抽出部１０２で抽出した楕円領域を画像処理に適するよう再設定した上で、顔検知精度が向上するような前処理を施した画像データを出力する。
図２−図４を用いて、頭部候補領域前処理部１０６が行う前処理を説明する。
まず、楕円領域２００の外接矩形を設定し、この外接矩形を頭部候補領域２０２とする。楕円領域よりも矩形領域の方がＣＰＵなどの処理に適しており、処理を高速化できる利点がある。
【００５２】
図３に示すように、頭部候補領域前処理部１０６は、頭部領域画像３００の各画素について、Ｘ方向の中心を対称軸として左右対称な位置関係にある画素同士の輝度値を比較し、両者のより高い輝度値を示す一方の画素値を他方に代入することで合成画像３０２を生成する。輝度値を基準にして比較を行う代わりに肌色度合いを基準にして比較を行っても良い。
【００５３】
頭部候補領域画像３００のように被写体の片側に影が生じているような場合は、顔検知の精度は低下することが多いが、合成画像３０２を用いることにより顔検知精度を向上させることができる。
なお、合成画像３０２を生成する処理は、頭部候補領域２０２の左右の平均輝度値の比が所定の値以上の時のみ行うようにしても良い。また、被写体に傾きがある場合、合成画像３０２は被写体本来の形状とは若干異なったものとなるが、本発明の顔判定処理においては後述のように目、鼻、口などの単位での処理を行わないため、顔検知精度への影響は小さい。
【００５４】
更に、頭部候補領域前処理部１０６は、前記合成画像３０２に対して、座標系４００を座標系４０２に変換するような非線形伸縮処理を施す。矩形領域で表される頭部領域４０４は、画像の左下と右下の三角の領域４０６に背景を含むことが多く、顔検知の精度を低下させる。これら三角の領域４０６を除いた六角形の領域を処理することも考えられるが、その後の画像処理が煩雑になる。なお、合成画像３０２の生成は省略することができる。図４は、頭部候補領域画像３００に非線形伸縮処理を施した例を示す。
【００５５】
これに対し、非線形変換処理によって三角の領域４０６のデータを除くことで、背景の影響を除いて顔検知の精度の低下を抑えることができる上に、処理領域を矩形に保つことができるので、その後の画像処理の高速化が可能である。図４において、三角形の高さＹ３と矩形の高さＹ０の比、および、三角形の幅Ｘ２と矩形の幅Ｘ０の比は予め決めておけば良く、例えばＹ３／Ｙ０＝０．４，Ｘ２／Ｘ０＝０．２５などとすれば良い。変換画像４０８は前記設定を用いて画像４０４を変換した結果である。
【００５６】
特徴量抽出部１１０では、頭部候補領域前処理部１０６から入力される各頭部候補領域の画像を分析し、顔検知のために後述する特徴量を算出し出力する。
まず、頭部候補領域２０２（図２）の中央部に顔候補領域２０４を設定する。顔候補領域２０４は、頭部候補領域２０２を示す矩形領域を予め定めた比率でＸ方向、Ｙ方向に縮小した矩形領域などとする。
【００５７】
頭部候補領域２０２から顔候補領域２０４を切り出す際に、上下左右の一部分を切り捨てるが、左右で切り捨てる部分の幅Ｘ１と、頭部候補領域２０２の横幅Ｘ０との比、上側で切り捨てる部分の高さＹ１と頭部候補領域２０２の高さＹ０の比、下側で切り捨てる部分の高さＹ２と頭部候補領域２０２の高さＹ０の比は、それぞれあらかじめ決めておけば良く、例えばＸ１／Ｘ０＝０．０５，Ｙ１／Ｙ０＝０．２，Ｙ２／Ｙ０＝０．１などとすれば良い。
【００５８】
次に、特徴量抽出部１１０は、頭部候補領域２０２と顔候補領域２０４の縦エッジ強度、横エッジ強度、輝度、肌色度合いを用いて、平均値、標準偏差などの統計量に基づいて画像の特徴量を計算し、これらの特徴量を要素とする特徴ベクトルＣを出力する。
特徴ベクトルＣは例えば、以下に示すような１６種類の特徴量により構成される。
【００５９】
Ｃ＝〔ｃ１，ｃ２，…，ｃ１６〕（式４）
ｃ１：頭部候補領域２０２内の縦エッジ強度の平均値
ｃ２：頭部候補領域２０２内の横エッジ強度の平均値
ｃ３：頭部候補領域２０２内の輝度の平均値
ｃ４：頭部候補領域２０２内の輝度の標準偏差
ｃ５：頭部候補領域２０２内の肌色度合いの平均値
ｃ６：頭部候補領域２０２内の横エッジ強度の平均値と縦エッジ強度の平均値の比
ｃ７：頭部候補領域２０２内の肌色度合いが所定値以上である画素数と全画素数の比
ｃ８：頭部候補領域２０２内の肌色度合いが所定値以上である画素数が所定値以上存在する横ライン数と全横ライン数の比
ｃ９：頭部領域２０２内の横エッジ強度が頭部領域２０２内の横エッジ強度の平均値より大きい画素数と全画素数の比
ｃ１０：顔候補領域２０４内の縦エッジ強度の平均値
ｃ１１：顔候補領域２０４内の横エッジ強度の平均値
ｃ１２：顔候補領域２０４内の輝度の平均値
ｃ１３：顔候補領域２０４内の輝度の標準偏差
ｃ１４：顔候補領域２０４内の肌色度合いの平均値
ｃ１５：顔候補領域２０４内の肌色度合いの平均値と頭部候補領域２０２内の肌色度合いの平均値の比
ｃ１６：顔候補領域２０４内の輝度の標準偏差と頭部候補領域２０２内の輝度の標準偏差の比
【００６０】
テンプレート記憶部１１６は、顔検知の基準となるテンプレートを記憶する記憶手段である。
図７に、テンプレートの作成方法を示す。
テンプレートは順光、逆光、日陰、夕暮れ、夜間などの想定される代表的な環境ごとに用意し、各テンプレートは、前述の特徴ベクトルＣと同じ大きさの平均ベクトルＡ（ｊ）と標準偏差ベクトルＳ（ｊ）とからなる。ただし、ｊは前記環境を識別する変数である。
Ａ（ｊ）＝〔ａ１（ｊ），ａ２（ｊ），…，ａ１６（ｊ）〕（式５）
Ｓ（ｊ）＝〔ｓ１（ｊ），ｓ２（ｊ），…，ｓ１６（ｊ）〕（式６）
【００６１】
テンプレートは、顔が映っている領域の画像特徴としてあらかじめ作成して記憶しておく。各環境下毎に多数収集した頭部領域サンプルから前述の特徴ベクトルＣを算出し、これら特徴ベクトルの各要素の平均値から平均ベクトルＡ（ｊ）を、各要素の標準偏差から標準偏差ベクトルＳ（ｊ）を作成する。
【００６２】
また、テンプレート記憶部１１６は、テンプレートごとに環境評価値Ｅ１（ｊ），Ｅ２（ｊ），Ｅ３（ｊ）、重みベクトルＷ（ｊ）をも記憶する。環境評価値は、輝度値の分布に基づき環境ｊを表現するパラメータであり、Ｅ１（ｊ）は暗闇度合い、Ｅ２（ｊ）は逆光度合い、Ｅ３（ｊ）は低照度度合いである。順光、逆光、日陰、夕暮れ、夜間などの代表的な環境下で、前述のｅ１，ｅ２，ｅ３と同様の計算方法で計算しておく。
【００６３】
顔検知に用いる特徴量は、撮影環境によって顔検知に適したものと適さないものとがあり、これらが特徴ベクトルＣに混在しているため、各テンプレートと共に記憶されている重みベクトルＷ（ｊ）によって各特徴量の重みを変えることにより、特徴量を環境に応じた最適な配分で顔判定に用いる必要がある。
重みベクトルＷ（ｊ）は、テンプレート作成時に、顔とそれ以外のものを最も良く区別できるように設定する。
【００６４】
テンプレート作成時に、前記各環境下で、顔を撮影した頭部領域サンプルを多数用意し、前記平均ベクトルＡ（ｊ）と標準偏差ベクトルＳ（ｊ）を算出する。また、このとき、同じ環境で顔（素顔）以外の部位を頭部領域サンプルと見立てた画像を多数用意し、これら画像と前記頭部領域サンプルとの差異に基づき、各環境下で顔と顔以外のサンプルとを最適に区別できるように重みベクトルＷ（ｊ）を設定しておく。
【００６５】
一例として、順光の環境では顔の肌色が正しく撮影されるので、特徴ベクトルｃのうち肌色に関わる特徴量ｃ５（ｊ），ｃ７（ｊ），ｃ８（ｊ），ｃ１４（ｊ），ｃ１５（ｊ）の係数として重みベクトルｗ（ｊ）はｗ５（ｊ）、ｗ７（ｊ）、ｗ８（ｊ）、ｗ１４（ｊ）、ｗ１５（ｊ）が相対的に大きな値をとる。一方、逆光や夜間の環境では、顔に当る光が弱いため、色が正しく再現されず、肌色を正しく撮影できない場合が多いので、肌色に関わる特徴量の係数は相対的に小さな値となり、特徴ベクトルｃのうちエッジに関わる特徴量の顔数ｗ１（ｊ）、ｗ２（ｊ）、ｗ６（ｊ）、ｗ９（ｊ）、ｗ１０（ｊ）、ｗ１１（ｊ）が相対的に大きな値となる。
【００６６】
重みベクトルＷ（ｊ）は、Ａ（ｊ）やＳ（ｊ）と同じ大きさのベクトルであり、後述の距離計算によって得られる距離値の分布が顔検知に適したものとなるように設定しておく。
Ｗ（ｊ）＝〔ｗ１（ｊ），ｗ２（ｊ），…，ｗ１６（ｊ）〕（式７）
【００６７】
距離算出部１１２は、頭部候補領域毎に環境評価値算出部１０４、特徴量抽出部１１０で算出した特徴量とをテンプレート記憶部１１６に記憶されているテンプレートと比較して顔検知のための距離値を計算し出力する。距離値は頭部候補領域とテンプレートとの差異を表す尺度である。
【００６８】
テンプレート記憶部１１６から読み出すテンプレートには、図７に示すように、ｃ１からｃ１６の各特徴量に対応する平均値ａ１からａ１６と、標準偏差ｓ１からｓ１６と重み係数ｗ１からｗ１６とが含まれている。距離算出部１１２は、ｃ１からｃ１６の各特徴量を、ａ１からａ１６、ｓ１からｓ１６で規定される変換関数ｆによって変換し、変換結果のｗ１からｗ１６による重み付け和として、次式によって距離値Ｄを計算する。この距離値Ｄは環境ｊ毎に算出される。
【００６９】

【００７０】
図５は、ｃ１に関する変換の様子を示すものである。このときの変換関数ｆ（ｃ，ａ１，ｓ１）は、図５に示すようにテンプレート作成に用いた多数のサンプルによるｃ１の分布を適切に表現し、かつ、ｃ１がａ１と等しい場合に０を算出し、ｃ１とａ１との差が大きいほど１に近い値を算出するような非線形変換関数として構成する。前記分布はガウス分布とする。ｃ２からｃ１６に関する変換処理もｃ１と同様である。
【００７１】
次に、距離算出部１１２は、特徴量以外の情報を基にして、前記距離値を補正する以下の処理を行う。ここでは距離値にペナルティを与える３つの処理を説明する。
第一の処理は、環境評価値を基に行う処理である。入力画像について環境評価値算出部１０４で算出した環境評価値ｅ１，ｅ２，ｅ３と環境ｊ毎にテンプレート記憶部１１６に記憶された環境評価値Ｅ１（ｊ），Ｅ２（ｊ），Ｅ３（ｊ）との差が大きいほど大きな値のペナルティを算出するような関数ｇ１を定義しておき、前記距離値Ｄにｇ１（ｅ１，ｅ２，ｅ３，Ｅ１，Ｅ２，Ｅ３）を加算する。関数ｇ１は例えば式９に示す数式で表される。
【００７２】
【数２】

【００７３】
（式８）による距離値Ｄは、顔が存在しない頭部候補領域であっても、入力画像域の撮像環境と異なる環境で作成したテンプレートに対して、小さな値となる場合がある。例えば、頭部候補領域が明るい環境で撮影した黒い覆面をかぶった頭部である場合に、頭部候補領域の輝度値が低いことから夜間の環境で作成したテンプレートとの距離値Ｄが小さくなる。このような場合でも、ｇ１によるペナルティを与えることで、撮影環境である明るい環境を表す環境評価値と、テンプレート作成時の環境である暗い環境を表す環境評価値との違いによって距離値Ｄを大きくすることができ、黒い覆面をかぶった頭部を顔として検出しないようにすることができる。
【００７４】
第二の処理は、頭部候補領域のＹ座標に基づく処理である。最も上方に位置する頭部候補領域のＹ座標ｙ０と、処理対象となる頭部候補領域のＹ座標ｙとの差が大きいほど大きな値のペナルティを算出するような関数ｇ２を定義しておき、前記距離値Ｄにｇ２（ｙ，ｙ０）を加算する。楕円領域抽出部１０２は、頭部の他に手や衣服などを抽出することがあり得るが、この処理は、画像のより上方に位置する頭部候補領域が頭部の確度が高いとみなすことを意味し、画像入力部１５２を固定して設置するインターホンにおいて、特に、顔検知精度を向上させることができる。
【００７５】
関数ｇ２は、例えば、次の式１０で表される。
ｇ２（ｙ，ｙ０）＝Ｋ１×（ｙ０−ｙ）（式１０）
ただし、式１０で、記号Ｋ１は、カメラの画素数と、カメラから被写体までの想定される距離と、カメラの画角と、顔判定部で用いるしきい値とから求められる係数である。
【００７６】
第三の処理は、画像入力部１５２となるカメラの近くにボタンなどの操作部を有し、操作の際に手が入力画像に含まれる場合に、操作を行う手の確度が高いと推定される頭部候補領域にペナルティを与える処理である。
【００７７】
図９を用いて、頭部候補領域にペナルティを与える処理を説明する。入力画像９００上で呼び出し釦１５８に近い位置にエリア９０２を設定する。エリア９０２は、画像上でｘ座標がＸＢ０≦ｘ≦ＸＢ１を満たし、かつｙ座標が０≦ｙ≦ＹＢ０を満たす領域とする。ＸＢ０，ＸＢ１，ＹＢ０は、カメラの画素数と画角と、カメラと呼び出し釦１５８の位置関係から決まる定数である。
【００７８】
横エッジが少なく（特徴量ｃ２が小さい）、且つ、輝度が高い（特徴量ｃ３が大きい）場合に大きな値のペナルティを算出するような関数ｇ３を定義しておき、処理対象となる頭部候補領域の中心座標（ｘ，ｙ）が前記エリア９０２内にある場合に、前記距離値Ｄに式１１に示すｇ３（ｃ２，ｃ３）を加算する。式１１の係数Ｋ２は、多数の学習サンプルにより適切な値を求めることが好ましい。
【００７９】
【数３】

【００８０】
横エッジが少ない場合にｇ３が大きな値を算出するようにすることは、まっすぐに手を出して指でボタンを押すと、自然と手の甲が上を向き、中指から小指が下を向くため、指のエッジが縦方向となるという人間工学的知見に基づいている。
【００８１】
また、輝度が高い場合にｇ３が大きな値を算出するようにすることは、手が肌色であり、一般的に明るい色合いであることと、夜間などの暗い環境で本装置を使用する場合、被写体を照らす照明により明るく写るという知見に基づく。
【００８２】
前述のように、テンプレート記憶部１１６には、代表的な環境ごとにテンプレートが記憶されている。距離算出部１１２は記憶されている全てのテンプレートに対して上記処理を行って距離値を算出し、これらの距離値の最小値を頭部領域候補とテンプレートの間の距離として出力する。
【００８３】
顔判定部１２０は、距離算出部１１２で頭部候補領域ごとに計算された距離値の最小値を予め定めたしきい値と比較し、前記距離値が前記しきい値より小さかった場合に、入力画像中に顔が存在すると判定する。
顔判定部１２０は、存在の有無と前記最小の距離値を算出した頭部候補領域の位置と大きさを特定する情報とを出力する。
【００８４】
信頼度判定部１１８は、顔判定部１２０の顔判定結果が信頼できるものであるかを検証して、その度合いを表す信頼度を出力する。具体的には、頭部領域候補と輝線ノイズとの画像上の位置関係から信頼度を算出する。信頼できる場合は信頼度１、信頼できない場合は信頼度０と表す。
まず、信頼度判定部１１８は、画像記憶部１１４から縦エッジ画像を読み出して輝線ノイズとなるスミアやブルーミングの有無を検出する。
【００８５】
スミアとは、ＣＣＤ撮像素子を使用して撮像する際に、画像中に例えば太陽など、特に明るい光源が写っている場合に、その上下に明るい直線が発生する現象である。この現象は、極端に強い光があたることによってＣＣＤ撮像素子の電荷があふれだし、ＣＣＤの電荷転送方向である縦方向に輝度が飽和した明るい画素が直線上にあらわれるものである。また、このようなときには、光源の周囲に大きく円形状、又は放射状に白く光る領域が発生することもあり、この現象はブルーミングと呼ばれる。
【００８６】
スミアやブルーミングが発生している領域では、本来写っている被写体像を塗りつぶしているため、顔領域にスミアやブルーミングが影響している場合には、正しく顔検知ができない可能性が高い。そこで、本例では、スミアやブルーミングの影響で顔判定が正しくできない状態を検知した場合に信頼度０を出力する。
ここでは、説明の為にスミアが縦方向に生じるものとして説明しているが、ＣＣＤ撮像素子を例えば９０度傾けて設置すればスミアは横方向に生じることになる。この場合、信頼度判定部１１８は画像記憶部１１４から横エッジ画像を読み出してスミアを検出すればよい。
【００８７】
信頼度判定部１１８は、画像記憶部１１４の輝度値画像と、縦エッジ画像を用いてスミアを検知する。画面内で一つの縦のラインに注目すると、縦エッジ強度が第１のしきい値を超えた画素が、縦方向に第２のしきい値以上ある場合に、このラインはスミアエッジ候補となる。次に、このラインで縦エッジ強度が第１のしきい値を超えた画素の数と、左右両隣の画素の輝度がいずれも第３のしきい値を超えた画素の数を合算し、この値が第４のしきい値以上であれば、このラインをスミアエッジと判断する。ただし、第２のしきい値＜第４のしきい値であり、スミアが生じていても周囲が明るい場合は縦エッジが検出されない場合もあるため、上記のような２段階の判定を行う。
【００８８】
以上の処理でスミアエッジが検知されるが、スミアが発生していれば、スミアの左右両端に同じようにスミアエッジが検出されるので、同様な処理を継続し、スミアエッジが２本検出された時点でスミアが検出されたものとする。
また、ここでは、スミア検出に、各ラインで縦方向にエッジ強度の高い画素を数える手法を説明したが、例えばＨｏｕｇｈ変換により縦エッジ強度の強い直線を検出するなどの手法を用いることも可能である。
【００８９】
前記処理によりスミアが検出された場合、信頼度判定部１１８は、頭部候補領域とスミアとの位置関係を基に信頼度を求める。このときに顔判定部１２０で顔が含まれると判定された頭部候補領域の有無によって、信頼度の算出の仕方は異なる。顔が存在すると判定した場合は、顔の含まれる頭部候補領域とスミアとの画像上の距離が所定値以下であれば信頼度を０とする。顔が含まれると判定された頭部候補領域が存在しない場合であっても、スミアとの画像上の距離が所定値以下の頭部候補領域が１つでも存在すれば信頼度を０とする。それ以外の場合は信頼度を１とする。
【００９０】
顔判定部１２０において、顔が存在しないと判定したが信頼度が０である場合、スミアやブルーミングの影響により顔判定が正しく行われなかったことが考えられるため、顔が存在している可能性がある。このことを考慮して信頼度０の場合顔判定結果を顔が存在するという結果に書き換えて出力する。
【００９１】
記憶部１３６は、音声ガイダンス、呼び出し音といった音データを記憶する。これらの音データは、必要に応じて読み出され、スピーカ１３２で再生され、また、インターホン子機１５０のスピーカ１５６で再生される。呼び出し音の音データは、少なくとも、通常の呼び出し音、異常を意味する呼び出し音、判定不能を意味する呼び出し音などがあらかじめ用意される。
【００９２】
以下、インターホン装置の動作についてフローチャートを用いて説明するが、その前に、本例の概略の動作を説明する。
本例においては、頭部候補領域として画像中から楕円領域を抽出し、この楕円領域を画像処理して、顔の存在を判定することにより、異なる出力を行うものである。
【００９３】
また、楕円領域の外接矩形領域を頭部候補領域とし、頭部候補領域の内側に顔候補領域として別途矩形領域を設定し、これら２つの候補領域内を画像処理して複数の種類の特徴量を算出し、これらの特徴量を要素とする特徴ベクトルと予め記憶しているテンプレートとを比較することにより顔検知を行う。
【００９４】
また、代表的な環境を複数想定し、その環境下毎に撮影した多数の頭部領域のサンプルから算出された特徴量の平均を要素とするベクトル及び、前記特徴量の標準偏差を要素とするベクトルをテンプレートとして保持する。入力画像の頭部候補領域と顔候補領域とから求めた特徴量と、各テンプレートの特徴量との重み付け距離を算出する。
【００９５】
また、テンプレートを作成した際の撮影環境を表す環境評価値を各テンプレートに対応付けて保持し、該環境評価値と入力画像の環境評価値との差によって重み付け距離を補正することでテンプレート作成時の環境との違いを吸収する。
そして、最も距離が小さくなるテンプレートとの距離値に基づき顔検知判定を行う。
環境評価値のうち、逆光度合いと暗闇度合いの算出では、画面の上部からある一定の割合の領域中で、かつ背景差分法で求められた領域内において算出することを特徴とする。
【００９６】
また、低照度状態で発生するノイズ画素に着目して、環境評価値のひとつである低照度度合いを画像処理によって算出する。
また、画像にスミアが発生していることを検出し、スミア検出結果と、顔検知結果と、頭部候補楕円領域とスミアの画像上での位置関係とから、顔検知結果の信頼度を判定し、顔検知結果に信頼度を考慮した出力を生成する。したがって、スミアの影響により顔検知に失敗しても、利用者に確認を促すことを可能とする。
【００９７】
図１０、図１１のフローチャートを用いて、インターホン装置の動作を説明する。
呼び出し釦１５８が操作されるまでの間、呼び出し釦１５８の操作を監視する（ｓ７００）。同時に、一定時間間隔で背景画像の更新を行う。この間の動作は次のようなものである。
【００９８】
画像入力部１５２により生成された入力画像データが、通信線１４０を介してインターホン親機１００に送られる。特徴画像生成部１０８は、送られてきた入力画像からエッジ画像を生成する。動き領域抽出部１０２が、該エッジ画像を用いて背景画像の更新を行う。
【００９９】
呼び出し釦１５８が操作される（Ｓ７００のＹｅｓ）と、起動信号が通信線１４０を介してインターホン親機１００の制御部１２４に送られる。このときに、画像入力部１５２が出力する入力画像データが画像記憶部１１４に記憶され、以下に示す顔検知処理と応答動作が実行される。
【０１００】
まず、特徴画像生成部１０８が、画像記憶部１１４に記憶された入力画像データを読み出して、縦エッジ画像と横エッジ画像を生成する。動き領域抽出部１２６が、前記エッジ画像と画像記憶部１１４から背景画像とを用いて背景差分法によって動き領域を抽出する（Ｓ７０１）。
【０１０１】
このときに抽出された動き領域が、予め定められたしきい値以上であるか否かが判定される（Ｓ７０２）。ここでしきい値より小さい場合、制御部１２４入力画像中に人物画像が存在しないものと判断する。また、この場合は、親機１００のスピーカ１５６は無音のまま（Ｓ７３４）で、家人に、いたずらであるか否かを確認する作業が発生しないようにする。
【０１０２】
このとき、インターホン親機１００の制御部１２４は記憶部１３６から「ＬＥＤが見える位置で操作してください」という音声データを読み出して、該音声データを通信線１４０を介してインターホン子機１５０に送る。
インターホン子機１５０の制御部１６０では、送られてきた音声データをスピーカ１５６によって再生する。この動作により、いたずらなどを行う者に対する牽制をする。
【０１０３】
Ｓ７０２で動き領域がしきい値以上の場合、楕円領域抽出部１０２は、エッジ画像中の動き領域から楕円領域を抽出する（Ｓ７０３）。抽出された楕円領域の数をＩとし、各楕円領域に０から（Ｉ−１）の通し番号を与える。ここでＩ個の楕円領域のうち、最上部に位置する楕円領域に重心のｙ座標をｙ０に代入しておく。
【０１０４】
Ｉが０であるか否かが判定される（Ｓ７０４）。Ｉが０の場合、制御部１２４は、記憶部１３６から異常を意味する呼び出し音の音データを読み出して、スピーカ１３２で再生し、表示部１３０に入力画像を表示する（Ｓ７４０）。
ここでの動作は、呼び出し釦１５８が操作され、人物程度の面積を持つ領域が抽出されたにもかかわらず、頭部領域候補（楕円領域）が存在しないという異常を検出したことを家人に知らせることを意味する。
【０１０５】
更に、インターホン子機１５０において、Ｓ７３４と同様に、「ＬＥＤが見える位置で操作してください」という音声データをスピーカ１５６に再生する。
Ｓ７０４で、Ｉが０より大きい場合、処理はＳ７０６へと進む。
【０１０６】
環境評価値算出部１０４は、画像記憶部１１４から入力画像データを読み出し、入力画像中の背景領域の上方４分の１の領域を用いて、暗闇度合いと逆光度合いを算出し、また前述の処理によって低照度度合いを計算する（Ｓ７０６）。
制御部１２４は、楕円領域数に関するループ回数をカウントするｉを０に初期化し（Ｓ７０８）、ｉに関するループ処理を開始する。
【０１０７】
頭部候補領域前処理部１０６は、ｉで識別される楕円領域の外接矩形領域を頭部候補領域として設定し、合成画像３０２を生成し、該合成画像３０２に非線形変換処理を施して変換画像４０８を生成する。変換画像の平均輝度値が低い場合は、輝度補正処理を行う。これらの前処理を施した後、頭部候補領域前処理部１０６は、頭部候補領域の画像データ（以下、前処理済み画像と称する）を画像記憶部１１４に記憶する。（Ｓ７１０）
【０１０８】
特徴画像生成部１０８は、画像記憶部１１４から頭部候補領域の前処理済み画像を読出し、同じ大きさの縦エッジ画像、横エッジ画像、肌色度合い画像を生成し、画像記憶部１１４に記憶する（Ｓ７１２）。
特徴量抽出部１１０は、画像記憶部１１４に記憶された頭部候補領域の前処理済み画像、縦エッジ画像、横エッジ画像、肌色度合い画像を読み出して、前述のｃ１からｃ１６の特徴量を計算する（Ｓ７１４）。
【０１０９】
テンプレート記憶部１１６にはＪ個のテンプレートが記憶されており、各テンプレートには０から（Ｊ−１）の識別番号が与えられているものとする。距離算出部１１２は、テンプレートの個数に関するループ回数をカウントするｊを０に初期化し、ｊに関するループ処理を開始する（Ｓ７１６）。
【０１１０】
距離算出部１１２は、まず、テンプレート記憶部１１６から読み出したｊで識別されるテンプレートと前記特徴量とから、式８によって距離値Ｄを算出する。次に、距離算出部１１２は、前記環境評価値とペナルティ関数ｇ１とから、計算したペナルティを距離値に加算する。
【０１１１】
また、距離算出部１１２は、前述のｙ０と処理対象である頭部候補領域の重心のｙ座標とペナルティ関数ｇ２とから計算したペナルティを距離値に加算する。更に、距離算出部１１２は、頭部候補距離の重心の座標（ｘ，ｙ）と特徴量ｃ２，ｃ３とペナルティ関数ｇ３とから計算したペナルティを距離値に加算する。こうして算出された距離値をｄ（ｉ，ｊ）とする。（Ｓ７１８）
【０１１２】
距離算出部１１２は、ｊを１だけ増加させて更新し（Ｓ７２０）、更新したｊがＪに達すると、全てのテンプレートに対する処理を終えたとして処理をＳ７２４に進める。ｊがＪに達していない場合は、再びＳ７１８へ処理を戻し新たなテンプレートに対して処理を行う。（Ｓ７２２）
【０１１３】
距離算出部１１２の処理が終わると、制御部１２４は、ｉを１だけ増加させて更新し（Ｓ７２４）、更新したｉがＩに達すると、全ての楕円領域に対する処理を終えたとして処理をＳ７２８に進める。ｉがＩに達していない場合は、再びＳ７１０へ処理を戻し新たな楕円領域に対し処理を行う（Ｓ７２６）。
顔判定部１２０は、算出した距離値Ｄ（ｉ，ｊ）の最小値ｄを予め定めたしきい値Ｔと比較し、画像中に顔が存在するか否かを判定する（Ｓ７２８）。ここで、ｄ＜Ｔであれば、入力画像中の距離値ｄを算出した頭部候補領域内に顔が存在すると判定する。
【０１１４】
顔が存在すると判定された場合及び存在しないと判定された場合、いずれも、信頼度判定部１１８は、画像記憶部１１４に記憶された入力画像データと縦エッジ画像とを読み出し、スミアの存在の有無とその画像中に占める位置を検出し、顔判定結果と頭部候補領域の位置情報を合わせて信頼度を算出する（Ｓ７３０）。
【０１１５】
顔判定結果と信頼度判定結果が算出されると、制御部１２４は、これらの結果に基づいた以下のような動作を行う。
顔が存在し信頼度が１であるか否かが判定される（Ｓ７３２）。顔が存在し信頼度が１である場合、制御部１２４は、記憶部１３６から通常の呼び出し音の音データを読み出してスピーカ１３２で再生すると共に、表示部１３０に入力画像データを表示する（Ｓ７３６）。
【０１１６】
顔が存在せず信頼度が１である場合、制御部１２４は、前述のＩが０の場合と同様にして、スピーカ１３２で異常を意味する呼び出し音の音データを再生し、表示部１３０に入力画像データを表示し、インターホン子機１５０のスピーカ１５６で「ＬＥＤが見える位置で操作してください」という音声データを再生する（Ｓ７４０）。この動作は、動き領域及び楕円領域が抽出されたにも拘らず顔が検出できないという判定結果に基づくものであり、顔を隠蔽するなどした不審者の来訪の可能性を家人に知らせることを意味する。
【０１１７】
信頼度が０である場合は、制御部１２４は、記憶部１３６から通常の呼び出し音の音データを読み出してスピーカ１３２で再生すると共に、表示部１３０に入力画像データを表示する（Ｓ７３８）。この動作は、顔の検出漏れを防ぐためのものである。スミアやブルーミングの影響で実際には顔が存在するにもかかわらず顔が存在しないと判定され出力されてしまうような不具合を防止する。
【０１１８】
なお、家人の好みによって、人物不在と判定された場合に所定の呼び出し音を鳴動するよう設定でき、異常の場合に呼び出し音が鳴動しないように設定できるようにしても良いし、信頼度が０のときの呼び出し音を通常のものと区別して、判定不能呼び出し音が鳴動するように設定できるようにしても良い。また、信頼度が０のときに表示部１３０に判定不能である旨を表示するように設定できるようにしても良い。
【０１１９】
また、本実施形態では複数の代表的な撮影環境毎に特徴量と環境評価値とを用意しておく例について説明したが、照明点灯時や日中など、ある特定の一つの撮影環境のときのみ顔画像の存在を判定したい場合等においては、特定の撮影環境における特徴量と環境評価値のみを用意しておく構成としてもよい。これにより、特定の撮影環境と異なる環境時には顔画像が存在すると判定されることがない。
【０１２０】
以上説明した実施形態の効果を列挙すると以下のようになる。
従来装置のように、目、口、耳などといった顔の部位ではなく、頭部候補領域と該頭部候補領域内に設定した顔候補領域との各領域の統計量を特徴量として用いて顔検知を行うので、高精細なカメラや高性能のプロセッサを必要とせず、安価に装置を構成することができる。
【０１２１】
想定される代表的な撮影環境ごとに特徴量を用意するので、最も近い特徴量を用いて顔検知を行うことができると共に、環境を表す評価値そのものの違いを考慮して顔検知を行うので、環境変化に強い顔検知が可能である。
顔検知結果に基づいて呼び出し音などの出力を変化させることによって、利用者が悪戯を確認する手間を無くしたり、不審人物の来訪に備えたりすることが可能なインターホン装置を提供する。
【０１２２】
信頼度を算出し、顔検知結果と信頼度とから出力を生成するので、スミアやブルーミングの影響によって顔検知が正しく行われなかった場合にも、利用者に確認を促すことが可能となる。
画像データのみで低照度状態を検知することができるため、汎用のカメラを用いて安価に装置を構成することができる。
【０１２３】
楕円形状を有する領域を抽出し、該楕円に外接する矩形領域を顔検知処理対象とするので、楕円領域を処理するより高速に処理が可能である。
頭部候補領域内の左右対称な位置関係にある画素同士を比較して、輝度値あるいは肌色度合いのより高い方の画素値を他方に代入する。これにより生成される合成画像を顔検知に用いることにより、被写体の片側に影が生じている場合でも、安定した顔検知を行うことができる。
【０１２４】
頭部候補領域に非線形な座標変換を施して頬付近に相当する領域の背景の影響を除くと共に、頭部候補領域を矩形に保つことにより、高速な処理を可能としながらも顔検知精度を維持することができる。
頭部候補領域同士の位置関係を考慮して顔検知を行うので、手や衣服などを誤って検知しにくい顔検知が可能である。
【０１２５】
【発明の効果】
本発明によれば、環境が変化する屋外などで撮影した画像に対しても、誤検知することなく、安定して顔の存在を検知可能な顔検知装置を得ることができる。
また、本発明によれば、上記顔検知装置を含むインターホン装置を得ることができる。
【図面の簡単な説明】
【図１】本発明を適用した顔検知機能を有するインターホン装置の概略の構成を表す図である。
【図２】図１の頭部候補領域前処理部１０６が行う前処理（その１）を示す図である。
【図３】図１の頭部候補領域前処理部１０６が行う前処理（その２）を示す図である。
【図４】図１の頭部候補領域前処理部１０６が行う前処理（その３）を示す図である。
【図５】本発明における特徴ベクトルの変換方法を示す図である。
【図６】図１のインターホン子機の外観を示す図である。
【図７】図１の装置で使用されるテンプレートの作成方法を示す図である。
【図８】本発明における、低照度度合いｅ３を評価する処理を示す図である。
【図９】本発明における、頭部候補領域に対する処理を示す図である。
【図１０】図１のインターホン装置の動作を示すフローチャート（その１）である。
【図１１】図１のインターホン装置の動作を示すフローチャート（その２）である。
【符号の説明】
１００…インターホン親機
１０２…楕円領域抽出部
１０４…環境評価値算出部
１０６…頭部候補領域前処理部
１０８…特徴画像生成部
１１０…特徴量抽出部
１１２…距離算出部
１１４…画像記憶部
１１６…テンプレート記憶部
１１８…信頼度判定部
１２０…顔判定部
１２４…制御部
１２６…動き領域抽出部
１３０…表示部
１３２…スピーカ
１３４…通話部
１３６…記憶部
１３８…通信部
１４０…通信線
１５０…インターホン子機
１５２…画像入力部
１５４…マイク
１５６…スピーカ
１５８…呼び出し釦
１６０…制御部
１６２…通信部
２００…楕円領域
２０２…頭部候補領域
２０４…顔候補領域
３００…頭部領域画像
３０２…合成画像
４００…座標系
４０２…座標系
４０４…頭部領域
４０６…三角の領域
６０４…ＬＥＤ
８００…入力画像
８０２…平滑化
８０４…差分画像
８０６…エッジ画素
８０８…ノイズ画素
８１０…エッジ強度画像作成
８１２…２値化
９００…入力画像
９０２…エリ

Claims

撮影された画像から動き領域を抽出して顔画像の有無を判定する顔検知装置であって、
顔が映っている領域が示す画像特徴である顔情報と撮影環境により異なる輝度値の分布特徴である環境情報とを互いに対応させて予め記憶する記憶部と、
前記動き領域の画像における画像特徴と前記記憶部に記憶されている顔情報とを比較して顔らしさの類似度となる第一の類似度を算出する顔類似算出手段と、
撮影された画像の輝度値の分布と前記記憶部に記憶されている環境情報とを比較して撮影環境の類似度となる第二の類似度を算出する環境類似算出手段と、
互いに対応関係にある顔情報及び環境情報から算出した第一及び第二の類似度を統合して顔画像の有無を判定する判定部と、を具備することを特徴とした顔検知装置。
前記記憶部は、前記顔情報と前記環境情報とを互いに対応させた組合せを複数記憶し、
前記判定部は、互いに対応関係にある顔情報及び環境情報から算出された複数の組合せである第一及び第二の類似度の統合結果から最適な統合結果を選択し、選択された統合結果に基づいて顔画像の有無を判定する請求項１記載の顔検知装置。
前記環境情報は、前記撮影された画像を平滑化して得られた画像と前記撮影された画像との差分画素の割合に基づく照度情報である請求項１又は２に記載の顔検知装置。
撮影された画像中に顔画像が含まれていることを判定する顔検知装置であって、
顔が映っている領域が示す画像特徴を予め記憶する記憶部と、
撮影された画像を参照パターンで走査して頭部候補領域を抽出する頭部抽出部と、
前記頭部候補領域内に対称軸を設定し該対称軸に対し対象となる画素の輝度値を比較し高輝度となる一方の画素の輝度値を他方の画素に代入して合成画像を生成する対象画像生成部と、
前記合成画像の下部中央をＸ方向に伸張して頭部候補画像を生成する頭部画像処理部と、
前記画像特徴を参照して前記頭部候補領域が顔画像を含んでいるか否かを判定する判定部と、
を具備することを特徴とする顔検知装置。
呼び出し釦を備えたインターホン子機と、前記呼び出し釦の操作に応じて呼び出し音を報知する鳴動部を備えたインターホン親機からなるインターホン装置であって、
前記インターホン子機前面の画像を入力する画像入力部と、
前記呼び出し釦操作したときの入力画像から動き領域を抽出する動き領域抽出部と、
前記動き領域が所定量以上の場合顔画像を含んでいるか否かを判定する判定部と、
前記判定部の判定結果に応じて異なる呼び出し音を前記鳴動部に出力する制御部とを備え、
前記動き領域が所定量未満の場合、更に異なる呼び出し音を前記鳴動部に出力することを特徴とするインターホン装置。
更に、前記入力画像中の輝線ノイズを検出する信頼度判定部を備え、
前記信頼度判定部は、輝線ノイズを検出すると前記判定部の判定結果を書換えて撮像画像に顔画像が含まれるという判定結果を出力する請求項５記載のインターホン装置。
更に、前記インターホン子機正面に設けられた穿設孔と、該穿設孔内部に配設される目印部材とを備え、
前記動き領域抽出部にて抽出された動き領域が所定量以下の場合及び／又は、前記判定部が前記撮像画像は顔画像を含まないと判定した場合に、前記インターホン子機は前記目印部材が視認できる位置で再度操作を行うよう報知出力する請求項５又は６記載のインターホン装置。