JP2008152512A - 画像処理装置、電子機器、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】顔の傾きを正確かつ高速に判定可能にする。
【解決手段】顔の領域が含まれる画像を入力する画像入力部１０と、前記画像入力部１０
により入力された画像から前記顔の領域を抽出する顔領域抽出部１１と、前記顔領域抽出
部１１により抽出された前記顔の領域から顔を構成する顔部品の輪郭線を抽出する輪郭線
抽出部１６と、前記輪郭線抽出部１６により抽出された輪郭線上の点を座標の原点とする
ハフ変換により算出された、前記輪郭線の傾きを近似した直線Ｌの傾きに基づいて、前記
顔部品の傾きを判定する顔部品傾き判定部１３と、前記顔部品傾き判定部１３により判定
された前記顔部品の傾きに基づいて、前記顔画像の傾きを判定する顔傾き判定部１４とを
備える構成とした。
【選択図】図２

Description

本発明は、画像に写っている顔の傾きを正確かつ高速に判定する技術に関する。

画像に写っている顔を検出する技術として、例えば、画像の中から肌色領域（人物の顔
の色として取り得る色の領域）を抽出して顔領域として設定する技術が知られている（例
えば、特許文献１乃至３参照）。この技術によれば、抽出対象の肌色が正確に指定されれ
ば、顔領域を高速に抽出できるという特徴がある。しかしながら、撮影時の照明や、撮影
系の色空間の違い、人ごとに、抽出すべき肌色は異なり、誤抽出を生じる恐れがある。
そこで、顔領域に対して輪郭線を抽出する処理を施し、輪郭線に基づいて目や鼻、口と
いった顔部品を抽出し、これらの顔部品の位置に基づいて、顔領域を特定したり、或いは
、肌色に基づいて抽出された顔領域が顔であるか或いは非顔であるかを検出する技術が知
られている（例えば、特許文献４乃至６参照）。
しかしながら、顔が傾いている場合などには、顔領域から顔部品を正確に抽出できない
ことが多く、正確な顔領域を特定できない。したがって、顔領域を特定する際には、顔領
域から顔の傾きを予め検出する必要がある。

また、近年、顔が写った画像に対して顔認識を行って認証を行う認証アプリケーション
が知られている。この認証アプリケーションにおいては、通常、正面を向いた顔の画像が
予めデータベース化されており、データベース化されている各画像の顔と、認識対象の画
像に写っている顔とのマッチングによって顔認識が行われる。しかしながら、認識対象の
画像に写っている顔が傾いている場合には、認証が正しく行われない。したがって、この
場合には、認識対象の画像の顔の傾きを検出し、顔が真っ直ぐになるように画像を補正す
る必要がある。

このように、画像に写った顔の傾きを検出することは、顔が写った画像を扱う種々のア
プリケーションにおいて非常に有用な技術である。顔の傾きの検出の手法には、種々の手
法が提案されており、近年では、顔部品である口の輪郭線を抽出し、この輪郭線にハフ（
Ｈｏｕｇｈ）変換を施すことで口の傾きを推定し、これにより顔の傾きを推定する技術が
提案されている（例えば、非特許文献１参照）。このハフ変換によれば、輪郭線が不鮮明
であったり、雑音が含まれたりする場合でも、精度良く輪郭線の傾きを近似した直線が推
定可能となる。したがって、撮影時の照明の影響等で画像に写った顔が不鮮明な場合でも
、精度良く顔の傾きが判定可能となる。
特開２００６−１０７０３７号公報 特開２００５−１９０４３５号公報 特開２００４−２０６６６５号公報 特開２００６−６５６４０号公報 特開２００６−１４６９２２号公報 特開２００５−５６１２４号公報 李周文、「口のエッジ画像のＨｏｕｇｈ変換と両目の長さの差とを用いた顔画像の検出」、信学技報、電子情報通信学会、２００６年３月、ＨＩＰ２００５−１６１、ｐ．４３−４８

しかしながら、ハフ変換は、演算量が多く顔部品の特定に長い時間を要する、といった
問題がある。このため、上記非特許文献１に示す技術では、顔部品の一つである口の傾き
だけをハフ変換により推定し、両目間の傾きについては、目の幅を用いて推定しているの
が現状である。
本発明は、上述した事情に鑑みてなされたものであり、顔の傾きを正確かつ高速に判定
することができる画像処理装置、電子機器、画像処理方法、画像処理プログラム及び記録
媒体を提供することを目的とする。

上記目的を達成するために、本発明は、本発明は、顔画像が含まれる画像を入力する画
像入力部と、前記画像入力部により入力された画像から前記顔画像の領域を抽出する顔領
域抽出部と、前記顔領域抽出部により抽出された前記顔画像の領域から顔を構成する顔部
品の輪郭線を抽出する輪郭線抽出部と、前記輪郭線抽出部により抽出された輪郭線上の点
を座標の原点とするハフ変換により算出された、前記輪郭線の傾きを近似した直線の傾き
に基づいて、前記顔部品の傾きを判定する顔部品傾き判定部と、前記顔部品傾き判定部に
より判定された前記顔部品の傾きに基づいて、前記顔画像の傾きを判定する顔傾き判定部
とを備える画像処理装置を提供する。

本発明によれば、顔部品の輪郭線の傾きを近似した直線を算出する際、当該輪郭線上の
点を座標の原点とするハフ変換を行うことによって、直線を求める際の計算過程を簡略す
ることができ、本来ハフ変換が持っている高い直線検出能力を損なうことなく、少ない計
算時間で輪郭線の傾きを判定することが可能となる。このように、本発明によれば、画像
に写った顔部品の傾きを近似した直線が正確かつ高速に求められるため、顔の傾きも正確
かつ高速に判定することが可能となる。
なお、本発明において、上記原点とする点は、例えば、当該輪郭線を構成する点列の略
中央に位置する点、或いは、各点列の重心に位置する点である。
また、顔画像とは人物、動物、あるいはそれらを模したロボット等の顔に相当する画像
を意味し、以下で説明する実施の形態の顔領域の画像に相当する。
また、顔部品とは顔を構成する構成要素を意味し、具体的には、眉、目、口、顎、額の
シワ、頬、鼻といった顔を構成する生体部品を意味する

ここで、上記発明において、前記顔部品傾き判定部は、前記輪郭線抽出部により抽出さ
れた前記顔部品の輪郭線に対して単純化処理を施し、前記単純化処理が施された後の前記
輪郭線の点列に対して前記ハフ変換を施す構成としても良い。
この構成によれば、単純化された輪郭線に対してハフ変換が施されるため、顔部品の輪
郭線の傾きを近似した直線の判定がより高速化される。なお、上記単純化処理には、例え
ば輪郭線を細線化する処理、或いは、平滑化するフィルタ処理等が上げられる。

また、上記発明において、前記顔部品傾き判定部は、前記輪郭線抽出部により抽出され
た前記顔部品の輪郭線に複数の線分が含まれている場合、それぞれの前記線分に対して前
記ハフ変換を施して、それぞれの前記線分の傾きを判定し、それぞれの前記線分の傾きに
基づいて、前記顔部品の傾きを判定する構成としても良い。
この構成によれば、顔部品の輪郭線の各線分の傾きを判定した上で、これらの傾きに基
づいて当該顔部品の傾きが判定されるため、顔部品の傾きが高精度に求められる。

また、上記発明において、前記顔部品傾き判定部は、複数の前記顔部品の傾きを判定し
、前記顔傾き判定部は、前記顔部品傾き判定部によって判定されたそれぞれの前記顔部品
の傾きに基づいて、前記顔画像の傾きを判定する構成としても良い。
この構成によれば、複数の顔部品の傾きに基づいて顔の傾きが判定されるため、当該顔
の傾きが高精度に求められる。

また、上記発明において、前記顔部品傾き判定部は、前記顔部品ごとに、前記顔部品の
輪郭線と、前記ハフ変換により算出された直線との近似度合いである信頼度を算出し、前
記顔傾き判定部は、前記顔部品傾き判定部によって判定されたそれぞれの前記顔部品の傾
きに基づいて前記顔画像の傾きを判定する際には、算出された前記信頼度の低い顔部品の
傾きを除外して、前記顔画像の傾きを判定する構成としても良い。
この構成によれば、複数の顔部品の傾きに基づいて顔の傾きを判定する際に、信頼度の
低い顔部品の傾きを除外するため、信頼度の低い顔部品の傾きが検出された場合でも、当
該顔の傾きの信頼度の低下を防止することができる。

また、上記発明において、前記顔部品傾き判定部は、前記顔部品ごとに、前記顔部品の
輪郭線と、前記ハフ変換により算出された直線との近似度合いである信頼度を算出し、前
記顔傾き判定部は、前記顔部品傾き判定部によって判定されたそれぞれの前記顔部品の傾
きを、前記算出された信頼度によって重み付けし、重み付けされたそれぞれの前記顔部品
の傾きに基づいて前記顔画像の傾きを判定する構成としても良い。
この構成によれば、複数の顔部品の傾きに基づいて顔の傾きを判定する際に、各顔部品
の傾きを、前記信頼度によって重み付けし、重み付けされた各顔部品の傾きに基づいて前
記顔の傾きを判定するため、信頼度の低い顔部品の傾きが検出された場合でも、当該顔の
傾きの信頼度の低下を防止することができる。

また、上記発明において、前記顔傾き判定部の判定結果に基づいて、前記顔画像の傾き
を補正する顔傾き補正部を備える構成としても良い。
この構成によれば、顔の傾きが補正された画像が得られるため、当該画像を顔認識等の
種々のアプリケーションで用いることができる。

また、上記課題を解決するために、本発明は、上記に記載の画像処理装置を備えた電子
機器を提供する。
ここで、電子機器とは例えば、カメラ、スキャナ、プロジェクタ、テレビ、プリンタ等
の電子機器を想定することができる。

また、上記課題を解決するために、本発明は、顔画像が含まれる画像を入力する画像入
力工程と、前記画像入力工程により入力された画像から前記顔画像の領域を抽出する顔領
域抽出工程と、前記顔領域抽出工程により抽出された前記顔画像の領域から顔を構成する
顔部品の輪郭線を抽出する輪郭線抽出工程と、前記輪郭線抽出工程により抽出された輪郭
線上の点を座標の原点とするハフ変換により算出された、前記輪郭線の傾きを近似した直
線の傾きに基づいて、前記顔部品の傾きを判定する顔部品傾き判定工程と、前記顔部品傾
き判定工程により判定された前記顔部品の傾きに基づいて、前記顔画像の傾きを判定する
顔傾き判定工程とを有する画像処理方法を提供する。

また、上記課題を解決するために、本発明は、コンピュータを、顔画像が含まれる画像
を入力する画像入力部と、前記画像入力部により入力された画像から前記顔画像の領域を
抽出する顔領域抽出部と、前記顔領域抽出部により抽出された前記顔画像の領域から顔を
構成する顔部品の輪郭線を抽出する輪郭線抽出部と、前記輪郭線抽出部により抽出された
輪郭線上の点を座標の原点とするハフ変換により算出された、前記輪郭線の傾きを近似し
た直線の傾きに基づいて、前記顔部品の傾きを判定する顔部品傾き判定部と、前記顔部品
傾き判定部により判定された前記顔部品の傾きに基づいて、前記顔画像の傾きを判定する
顔傾き判定部、として機能させることを特徴とする画像処理プログラムを提供する。

また、上記課題を解決するために、本発明は、コンピュータを、顔画像が含まれる画像
を入力する画像入力部と、前記画像入力部により入力された画像から前記顔画像の領域を
抽出する顔領域抽出部と、前記顔領域抽出部により抽出された前記顔画像の領域から顔を
構成する顔部品の輪郭線を抽出する輪郭線抽出部と、前記輪郭線抽出部により抽出された
輪郭線上の点を座標の原点とするハフ変換により算出された、前記輪郭線の傾きを近似し
た直線の傾きに基づいて、前記顔部品の傾きを判定する顔部品傾き判定部と、前記顔部品
傾き判定部により判定された前記顔部品の傾きに基づいて、前記顔画像の傾きを判定する
顔傾き判定部、として機能させる画像処理プログラムを記録した記録媒体を提供する。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る画像処理システム１の構成を示す図である。
画像処理システム１は、人物９を撮影し画像データを生成するカメラ２と、カメラ２の
画像データに対して画像処理を施して、撮影画像に写った人物９の顔８の向き（傾きを含
む）を検出する画像処理装置としてのコンピュータ３と、このコンピュータ３に接続され
た表示装置４とを備えている。
カメラ２は、静止画像を撮影するデジタルカメラであり、撮影された静止画像の画像デ
ータがコンピュータ３に入力される。なお、カメラ２として、動画像を撮影するビデオカ
メラを用いても良く、この場合には、撮影データの個々のフレーム（画像データ）がコン
ピュータ３に入力される。表示装置４は、画像処理対象の画像データや、画像処理結果等
を表示する。

図２は、コンピュータ３の機能的構成を示すブロック図である。
画像入力部１０は、カメラ２との接続インタフェースであり、カメラ２の画像データが
画像入力部１０から入力される。顔領域抽出部１１は、画像データに対し、顔領域の判定
基準となる肌色に基づいて、画像領域から顔領域と推定される顔候補領域を抽出する。記
憶部１２は、顔領域の判定基準となる肌色の色情報である肌色基準色データ２０等の各種
データ、及び、コンピュータ３を画像処理装置として機能させる画像処理プログラム２１
等の各種プログラムを記憶する。輪郭線抽出部１６は、顔部品の一例たる眉、目及び口を
顔候補領域から抽出し、顔部品傾き判定部１３は、これらの顔部品の傾きを判定する。顔
方向判定部１４は、各顔部品の傾きの判定結果に基づいて、画像データに写った顔８の向
きを判定する。顔方向補正部１５は、顔方向判定部１４によって判定された顔８の向きに
基づいて、当該顔８の中心線Ｊ（図１２参照）が垂直になり、かつ、顔８が正面を向いた
画像となるように補正する。
コンピュータ３は、演算実行手段としてのＣＰＵや、記憶手段としてのＲＯＭ、ＣＰＵ
のワークエリアとして機能するＲＡＭ、外部機器との接続インタフェース等を有し、上記
画像処理プログラム２１がＲＯＭに格納されている。そして、ＣＰＵが画像処理プログラ
ムを実行することで、上述した画像入力部１０から顔方向補正部１５の各部の機能が実現
される。なお、これらを専用のハードウェア回路により構成しても良いことは勿論である
。

図３はコンピュータ３によって実行される画像処理プログラム２１のフローチャートで
あり、図４は画像処理プログラム２１において呼び出されて実行される傾き判定処理のフ
ローチャートである。
図３に示すように、人物９の顔８が写った画像データがカメラ２から画像入力部１０に
入力されると（ステップＳａ１）、顔領域抽出部１１が画像データの画像領域から顔画像
の領域である顔候補領域を抽出する（ステップＳａ２）。この顔候補領域の抽出は、画像
に写った各物体の領域を分離する領域分離を用いて行われる。詳述すると、一般に、画像
処理対象の画像２５には、図５（Ａ）に示すように、人物９と共に背景が写っており、領
域分離においては、画像２５に写っている物体や背景に写った物体の各々の領域が分離さ
れる。

例えば、人物９の背景に看板３０、山３１及び空３２が写っている画像２５においては
、領域分離により、図５（Ｂ）に示すように、人物９の領域を分離した分離領域４０Ａ、
看板３０の領域を分離した分離領域４１、山３１の領域を分離した分離領域４２Ａ〜４２
Ｃ、空３２の領域を分離した分離領域４３に画像領域が分離される。
そして、顔領域抽出部１１は、各分離領域４０〜４３の中から、顔領域の色情報と肌色
基準色データ２０とを比較し、肌色を多く含む領域を特定し、図５（Ｃ）に示すように、
人物９を含む分離領域４０を特定する。さらに、顔領域抽出部１１は、肌色基準色データ
２０、及び、この分離領域４０に含まれている輪郭線に基づいて、図５（Ｄ）に示すよう
に、分離領域４０の中から顔候補領域５０を抽出する。

このようにしてステップＳａ２において、顔候補領域５０が抽出されると、前掲図３に
示すように、輪郭線抽出部１６は、顔候補領域５０に対して輪郭線抽出処理を施し、抽出
された輪郭線と、顔部品である眉、目、口の各々の一般的形状、大きさ、及び、相互の位
置関係等の情報とに基づいて、これらの顔部品を抽出する（ステップＳａ３）。本実施形
態では、顔部品として、図５（Ｅ）に示すように、左右の眉５１、５２、左右の目５３、
５４及び口５５を抽出する。この抽出の結果、これらの顔部品５１〜５５の１つでも抽出
されなかった場合には（ステップＳａ４：ＮＯ）、顔候補領域５０は非顔である旨の判定
結果が表示装置４に出力される（ステップＳａ５）。なお、顔部品としては、顎や額のシ
ワ、頬、鼻といった、眉、目及び口以外でも任意の部品を用いることが可能である。

また、上記顔部品５１〜５５の全てが抽出された場合（ステップＳａ４：ＹＥＳ）、顔
候補領域５０は、顔８を含む領域であると推定される。そこで顔部品傾き判定部１３は、
各顔部品の傾きを判定するために、図４に示す傾き判定処理を実行する（ステップＳａ６
）。この傾き判定処理において、顔部品傾き判定部１３は、変数ｉに、抽出した顔部品の
数（本実施形態では「５」）を代入する（ステップＳｂ１）。このとき、顔部品傾き判定
部１３は、各顔部品にも通し番号を付して、傾きを判定する順番を規定する。そして、顔
部品傾き判定部１３は、カウンタ変数Ｎに「１」を代入しつつ、傾き判定を行う最初の顔
部品を選択する（ステップＳｂ２）。

ここで、顔部品の輪郭線に比較的多くのノイズが含まれていたり、輪郭線が途中で複雑
に分岐した線分になっていたりする場合には、この顔部品にハフ変換を施しても良好な結
果を得にくく、また、計算量が増えることから処理時間も長くなる。そこで、顔部品傾き
判定部１３は、ハフ変換に先立って、顔部品の画像の各画素に対し、画素値の閾値を上げ
た二値化処理を施す等して輪郭線を細線化し、顔部品の輪郭線を単純化する（ステップＳ
ｂ３）。そして、顔部品傾き判定部１３は、顔部品の輪郭線が複数の線分により構成され
ている場合、各線分の中からハフ変換を施す線分を確定する（ステップＳｂ４）。このと
き、線分の長さが所定の長さ以下のものは除外する等して線分を確定する。これにより、
ハフ変換を施す線分の数が減るため計算時間が短縮化される。なお、線分の数が十分に少
ない場合には、全ての線分をハフ変換を施す線分として確定しても良い。

例えば、図６（Ａ）に示すように、顔部品として、比較的太い上唇輪郭線５５Ａ及び下
唇輪郭線５５Ｂを有する口５５が得られている場合、ステップＳｂ３による輪郭線の単純
化により、図６（Ｂ）に示すように、略一定の太さに単純化された上唇輪郭線５５Ａ及び
下唇輪郭線５５Ｂとが得られる。このとき、口５５の輪郭線を構成する線分は、上唇輪郭
線５５Ａ及び下唇輪郭線５５Ｂの２本だけであり十分少ないため、上記ステップＳｂ４に
おいては、これら２本の輪郭線５５Ａ、５５Ｂがハフ変換の対象の線分として確定される
。

次いで、顔部品傾き判定部１３は、ハフ変換対象として確定した線分に対し、従来のハ
フ変換に代えて、計算の高速化が図られた改良ハフ変換を実行する（ステップＳｂ５）。
なお、改良ハフ変換については、特許文献特開平６−２７４６１９に記載されている。
この改良ハフ変換を説明する前に、先ず、ハフ変換の基本的原理について説明する。
図７はハフ変換の原理を説明するための図である。この図において、Ｘ−Ｙ平面上に、
点６０から点６５が線状に分布している。今、点６０〜点６５から元の直線が検出され、
それが直線６６であったとする。原点Ｏから直線６６に下ろした垂線の足をＨ、ＯＨ＝ρ
、ＯＨとＸ軸のなす角度をθ、Ｈの座標を（ｘ、ｙ）とすれば、直線６６は次のように極
座標で表現される。

ρ＝ｘｃｏｓθ＋ｙｓｉｎθ （１）
つまり、ρ、θを変数とした場合、ある点（ｘ、ｙ）を通るすべての直線群は、上述の
第（１）式で表現される。したがって、Ｘ−Ｙ平面座標上における或る１つの点を通る多
数の直線（直線群）をρ−θ平面座標上で示した場合、ある１つの点を通る直線群は、一
本の曲線として表現される。つまり、この曲線は、Ｘ−Ｙ平面座標上における或る１つの
点を通る直線群において、それぞれの直線のとるθとρの関係を表し、ρ、θが一意に決
まれば、一本の直線が特定される。

図８は、ρ−θ表面上で複数の候補点それぞれに対する直線群を示した図である。図７
に示した各候補点について、第（１）式に従って、ρ−θ曲線を求めた一例が図８である
。図８に示すように、複数の曲線７０から曲線７６が描かれている。すべての候補点に対
し、最も適切な直線は、曲線７０から曲線７６が最も多く交差している点７７（ρ₀、θ₀
）から特定される直線
ρ₀＝ｘｃｏｓθ₀＋ｙｓｉｎθ₀ （２）
である。

上記のように、点６０から点６５が線状に分布しており、かなりばらつきを持っていて
も、上記第（２）式により比較的安定して直線を抽出できる雑音にきわめて強い手法であ
る。したがって、この手法を、顔部品候補の各々の輪郭線に適用することで、輪郭線が途
中で途切れる等して不連続に点在する場合でも、比較的安定して輪郭線の傾きが推定され
る。しかしながら、ハフ変換においては、全ての候補点の直線群を求めるため、計算時間
がかかり、特に、輪郭線（輪郭線を構成する線分）が長くなると、実用面で問題がある。

改良ハフ変換は、これを解決するものであり、ハフ変換を行う場合、Ｘ−Ｙ平面座標の
原点を、直線を求めようとする点としてハフ変換を行う。つまり、輪郭線の処理対象とな
る各点毎に、その点をＸ−Ｙ平面座標の原点として処理を行う。
例えば、図９に示すように、点８０を通る直線８１があるとする。直線８１を、点８０
を必ず通り、かつ点８２から点８７に関して最も適切な直線が改良ハフ変換で検出される
。前述した一般的なハフ変換で、このような直線を求める場合、まず任意の場所に原点を
とったＸ−Ｙ平面上で点８０および点８２から点８７のすべての候補点を通る直線群を、
ρ−θ平面上の曲線として求める。図形の輪郭線全部について直線を求めるときは、輪郭
線の座標を決定した際に用いた座標をそのまま使うことができる。すなわち、輪郭線のす
べての点について直線を求める際、用いる座標は共通である。次に、点８０を通る直線群
を示す曲線に、点８２から点８７を通る直線群を示す曲線が最も多く交差するρ、θが求
められる。このρ、θから、点８０を通る直線が決定される。

これに対して改良ハフ変換では、まずＸ−Ｙ平面座標の原点が直線を求めたい点８０に
される。同様にして、点８２に直線を求める場合は、原点を点８２というように、輪郭線
の各点ごとに原点が設定される。
図１０は、点８０を原点にしたＸ−Ｙ表面座標において、点８２から点８７を通る直線
群について、第（１）式からρ−θ平面上の曲線として求めた図である。包絡線９０は各
θにおいてρが最大な曲線を結んだもの、包絡線９１は各θにおいてρが最小な曲線を結
んだものである。

一方、点８０を通る直線とは、ρ＝０となる直線であるから、θ軸そのものである。し
たがって、点８０を通り、その他の点に対しても、最適な直線は、θ軸との交差する回数
の最も多いθの値で決定される。実際のデジタル画像では、誤差が大きいので、純粋にθ
軸と交差する回数では正しいθの値を求めることができない。そこで、包絡線９０と９１
の差が最も少ない場所を、θ軸と交差する回数が最も多いところと見なし、その場所のθ
の値から直線の傾きを知ることができる。
このように改良ハフ変換においては、計算すべき点の数が点８０を座標の原点にするた
めに、一般的なハフ変換に比べて１個少なく、ハフ変換の結果も、ρの最大、最小値のみ
を調べるだけでよいため、計算を大幅に少なくすることができる。

ここで、デジタル画像データにおける顔部品の輪郭線（或いは、輪郭線を構成する線分
）は、図１１に示すように、複数の点Ｐの集合からなり、輪郭線の傾きを上記の改良ハフ
変換により判定する場合、輪郭線の中央の点Ｐ０を座標原点（前掲図９に示す点８０）と
してハフ変換を実行する。具体的には、輪郭線を構成する点Ｐの数をｋ個としたとき、ｋ
が偶数のときにはｋ／２番目の点Ｐ、ｋが奇数のときには（ｋ＋１）／２番目又は（ｋ−
１）／２番目の点Ｐが中央の点Ｐ０に設定され、この中央の点Ｐ０を座標原点としてハフ
変換が実行される。これにより、点Ｐの集合たる輪郭線の傾きを近似した直線Ｌが高速に
推定される。なお、輪郭線を構成する各点Ｐの重心位置を上記点Ｐ０としても良い。

さて、前掲図４に戻り、顔部品傾き判定部１３は、上記の改良ハフ変換を顔部品のハフ
変換対象として確定した線分に対し実行し、その顔部品の輪郭線の各線分の直線を判定し
、これらの直線の傾きの平均値を顔部品の傾きとして判定する（ステップＳｂ６）。また
、顔部品傾き判定部１３は、このステップＳｂ６においては、改良ハフ変換により求めた
顔部品の傾きの信頼度を算出する。
すなわち、上述の通り、改良ハフ変換においては、前掲図１０に示すように、ρ−θ平
面において、包絡線９０と９１の差が最も少ない場所を、θ軸と交差する回数が最も多い
ところと見なし、その場所のθの値から直線Ｌ（前掲図１１参照）の傾きを決定している
。このとき、包絡線９０と９１の差、すなわち、Δρの値が、輪郭線或いは線分が直線状
に近い度合いを示すため、このΔρの値の小ささが輪郭線の直線近似の信頼度を示すこと
となる。そこで、上記ステップＳｂ６においては、改良ハフ変換によって得られた直線Ｌ
の傾きに基づいて、顔部品の輪郭線の傾きを判定すると共に、この直線ＬのΔρを取得し
、Δρの値に応じて傾き推定結果の信頼度を例えば「評価１」〜「評価５」の５段階に評
価する。「評価１」は最も信頼度が低く、「評価５」が最も信頼度が高いものとし、また
、１つの輪郭線に含まれた複数の線分に対して改良ハフ変換が行われている場合には、各
改良ハフ変換におけるΔρの平均値が信頼度として評価される。

次いで、顔部品傾き判定部１３は、カウンタ変数Ｎが、全ての顔部品の数である変数ｉ
の値と一致するか否かを判断し（ステップＳｂ７）、カウンタ変数Ｎが変数ｉと一致しな
い場合には（ステップＳｂ７：ＮＯ）、傾きを判定していない顔部品があることが示され
るためカウンタ変数Ｎを「１」だけインクリメントして次の顔部品を選択し（ステップＳ
ｂ８）、この顔部品の傾きを判定すべく処理手順をステップＳｂ３に戻す。
一方、カウンタ変数Ｎが変数ｉと一致した場合には（ステップＳｂ７：ＹＥＳ）、全て
の顔部品の傾きが判定されたことを示すため、顔部品傾き判定部１３は処理を終了する。

図１２は、傾き判定後の顔候補領域５０の一例を示す図である。
この図に示すように、本実施形態では、上記顔部品の傾き判定処理により、左右の眉５
１、５２、左右の目５３、５４及び口５５ごとに、各々の顔部品の傾きを近似した直線Ｌ
が求められる。上述の通り、左右の目５３、５４や口５５等のように、顔部品の輪郭線に
複数の線分が含まれているときには、各線分ごとに、線分の傾きを近似した直線ＬＡが求
められ、それらの直線ＬＡの傾きの平均値により、顔部品の傾きを近似した直線Ｌの傾き
が決定される。なお、理解を容易にするために、この図１２には、複数の直線ＬＡの平均
として求められた直線Ｌを直線で示しているが、実際には、直線Ｌの傾きだけが特定され
、直線Ｌが通る点は任意である。また、複数の直線ＬＡの平均として求めた直線Ｌの信頼
度は、各直線ＬＡの信頼度の平均値により求められる。

このように、顔候補領域５０の各顔部品の傾きが判定されると、前掲図３に戻り、顔方
向判定部１４が、各顔部品の傾きの平均値を算出して、顔８の傾きを判定し、また、また
、各顔部品５１〜５５のバランスや寸法等により顔８の回転方向を特定し、これらの顔８
の傾き及び回転方向に基づいて顔８の方向を判定する（ステップＳａ７）。
ただし、顔８の傾きを算出する際には、顔方向判定部１４は、顔部品の傾きの信頼度が
所定評価以下（例えば「評価２」）の傾きを除外して、各顔部品の傾きの平均値を算出す
る。例えば、除外する信頼度の閾値を「評価２」とした場合、前掲図１２に示す例では、
右眉５２の信頼度が閾値以下となるため、右眉５２の傾きを除外し、左眉５１、左右の目
５３、５４及び口５５の４つの顔部品の各々傾きの平均値から顔８の方向を判定する。こ
のように、信頼度の低い顔部品の傾きを除外することで、顔８の方向の判定の信頼度を高
めることができる。

上記顔の傾きは、図１２に示すように、鉛直方向の垂直線Ｋ１に対する顔８の中心線Ｊ
の傾き角度ω１によって規定されており、また、顔８の回転方向は、垂直線Ｋ１を中心と
した回転角度ω２及び水平方向の水平線Ｋ２を中心とした回転角度ω３によって規定され
ており、顔方向判定部１４は、これら傾き角度ω１及び回転角度ω２、ω３を顔８の向き
として特定する。
そして、前掲図３に示すように、顔方向補正部１５は、顔方向判定部１４によって判定
された顔８の方向（傾き角度ω１及び回転角度ω２、ω３）に基づいて、幾何学補正を行
うことにより、傾き角度ω１＝０度、及び、回転角度ω２、ω３＝０度の顔８の画像、す
なわち、傾きが無く正面を向いた顔８の画像を生成し、例えば表示装置４に出力する（ス
テップＳａ８）。これにより、画像２５に写っている顔８が横や上等、種々の方向を向い
ていても、傾きが無く正面を向いた顔８が得られ、例えば、顔認識等での認識率の向上が
図られる。

以上説明したように、本実施形態によれば、顔部品５１〜５５の輪郭線の傾きを近似し
た直線Ｌを算出する際、当該輪郭線上の点Ｐ０を原点にした改良ハフ変換を行う構成とし
たため、直線Ｌを求める際の計算過程を簡略することができ、本来ハフ変換が持っている
高い直線検出能力を損なうことなく、少ない計算時間で輪郭線の傾きを近似した直線Ｌを
求めることが可能となる。これにより、画像２５に写った顔８の顔部品５１〜５５の傾き
を示す直線Ｌが正確かつ高速に求められ、これにより、顔８の傾きも正確かつ高速に判定
することが可能となる。

また、本実施形態によれば、顔部品傾き判定部１３は、顔部品５１〜５５の輪郭線に対
して単純化処理を施した後に、改良ハフ変換を施す構成としたため、輪郭線の直線Ｌを安
定し、かつ、高速に求めることができる。なお、上記単純化処理には、例えば輪郭線を細
線化する処理以外にも、例えば、輪郭線を平滑化するフィルタ処理等が上げられる。

また、本実施形態によれば、顔部品傾き判定部１３は、顔部品５１〜５５の輪郭線に複
数の線分が含まれている場合、各線分に対して改良ハフ変換を施して各線分の傾きを判定
し、これらの傾きに基づいて、顔部品５１〜５５の傾きを判定する構成とした。この構成
により、顔部品５１〜５５の各線分の傾きを判定した上で、これらの傾きに基づいて顔部
品５１〜５５の傾きを判定するため、顔部品５１〜５５の傾きが高精度に求められる。

また、本実施形態によれば、顔部品傾き判定部１３は、各顔部品５１〜５５の傾きを判
定し、顔方向判定部１４は、各顔部品５１〜５５の傾きに基づいて、顔８の傾きを判定す
るため、当該顔８の傾きが高精度に求められる。

また、本実施形態によれば、顔方向判定部１４は、複数の顔部品５１〜５５の傾きに基
づいて顔の傾きを判定する際に、信頼度の低いものを除外する構成としたため、信頼度の
低い顔部品の傾きが検出された場合に、当該顔８の傾きの精度が低下するのが防止される
。
なお、顔方向判定部１４は、顔部品傾き判定部１３によって判定された各顔部品５１〜
５５の傾きを、信頼度によって重み付けし、重み付けされた各顔部品５１〜５５の傾きに
基づいて顔８の傾きを判定する構成としても良い。

また、本実施形態によれば、顔方向判定部１４の判定結果に基づいて、画像２５に写っ
ている顔８の傾きを補正する顔方向補正部１５を備えるため、画像２５に写っている顔８
が横や上等、種々の方向を向いていても、傾きが無く正面を向いた顔８が得られ、例えば
、顔認識アプリーションに用いて認識率の向上を図るといったように、補正後の顔の画像
を種々のアプリケーションで広く応用することができる。

なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の
範囲内で任意に変形および応用が可能である。
例えば、上述した実施形態において、顔８の方向を示す傾き角度ω１及び回転角度ω２
、ω３が特定されることから、例えば、前掲図１２に示すように、一般的な顔の外形基準
線（例えば楕円）５９を角度ω１及び回転角度ω２、ω３に基づいて回転させて、大凡の
顔の領域を推定し、既に検出されている顔候補領域５０と比較することで、顔８の領域検
出の精度を高めるようにすることも可能である。

また、例えば、本発明に係る画像処理装置をカメラ、スキャナ、プロジェクタ、テレビ
、プリンタ等のあらゆる電子機器が備える形態で実施することも可能である。例えば、本
発明に係る画像処理装置をカメラに適用することで、撮影対象の顔８の領域や傾きを判定
し、カメラのピントや露出を自動設定することが可能となる。また、本発明に係る画像処
理装置をプリンタに適用することで、印刷対象画像に含まれる顔の領域を特定し、特定し
た顔の領域に対して肌色補正を施すといったことが可能となる。

本発明の実施形態に係る画像処理システムの構成を示す図である。 コンピュータの機能的構成を示すブロック図である。 画像処理のフローチャートである。 顔部品の傾き判定処理のフローチャートである。 領域分離を説明するための図である。 顔部品の輪郭線の単純化処理を説明するための図である。 ハフ変換の原理を説明するための図である。 ρ−θ平面上で複数の候補点それぞれに対する直線群を示した図である。 輪郭線のある点における直線について説明した図である。 図９に示した点８０を原点にしたＸ−Ｙ平面座標において、点８２から点８７を通る直線群についてρ−θ平面上の曲線として求めた図である。 輪郭線における原点の設定を示す図である。 各顔部品の傾き推定結果の一例を示す図である。

符号の説明

１…画像処理システム、２…カメラ、３…コンピュータ（画像処理装置）、８…顔、１
０…画像入力部、１３…顔部品傾き判定部、１４…顔方向判定部（顔傾き判定部）、１５
…顔方向補正部（顔傾き補正部）、１６…輪郭線抽出部、２１…画像処理プログラム、５
０…顔候補領域、５１〜５５…顔部品、Ｌ、ＬＡ…直線、ω１…顔の傾き角度、ω２…顔
の回転角度。

Claims (10)

1. 顔画像が含まれる画像を入力する画像入力部と、
   前記画像入力部により入力された画像から前記顔画像の領域を抽出する顔領域抽出部と
   、
   前記顔領域抽出部により抽出された前記顔画像の領域から顔を構成する顔部品の輪郭線
   を抽出する輪郭線抽出部と、
   前記輪郭線抽出部により抽出された輪郭線上の点を座標の原点とするハフ変換により算
   出された、前記輪郭線の傾きを近似した直線の傾きに基づいて、前記顔部品の傾きを判定
   する顔部品傾き判定部と、
   前記顔部品傾き判定部により判定された前記顔部品の傾きに基づいて、前記顔画像の傾
   きを判定する顔傾き判定部と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記顔部品傾き判定部は、前記輪郭線抽出部により抽出された前記顔部品の輪郭線に対
   して単純化処理を施し、
   前記単純化処理が施された後の前記輪郭線の点列に対して前記ハフ変換を施すことを特
   徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記顔部品傾き判定部は、前記輪郭線抽出部により抽出された前記顔部品の輪郭線に複
   数の線分が含まれている場合、それぞれの前記線分に対して前記ハフ変換を施して、それ
   ぞれの前記線分の傾きを判定し、
   それぞれの前記線分の傾きに基づいて、前記顔部品の傾きを判定する
   ことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかに記載の画像処理装置において、
   前記顔部品傾き判定部は、複数の前記顔部品の傾きを判定し、
   前記顔傾き判定部は、前記顔部品傾き判定部によって判定されたそれぞれの前記顔部品
   の傾きに基づいて、前記顔画像の傾きを判定する
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記顔部品傾き判定部は、前記顔部品ごとに、前記顔部品の輪郭線と、前記ハフ変換に
   より算出された直線との近似度合いである信頼度を算出し、
   前記顔傾き判定部は、前記顔部品傾き判定部によって判定されたそれぞれの前記顔部品
   の傾きに基づいて前記顔画像の傾きを判定する際には、算出された前記信頼度の低い顔部
   品の傾きを除外して、前記顔画像の傾きを判定する
   ことを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置において、
   前記顔部品傾き判定部は、前記顔部品ごとに、前記顔部品の輪郭線と、前記ハフ変換に
   より算出された直線との近似度合いである信頼度を算出し、
   前記顔傾き判定部は、前記顔部品傾き判定部によって判定されたそれぞれの前記顔部品
   の傾きを、前記算出された信頼度によって重み付けし、重み付けされたそれぞれの前記顔
   部品の傾きに基づいて前記顔画像の傾きを判定する
   ことを特徴とする画像処理装置。
7. 請求項１乃至７のいずれかに記載の画像処理装置において、
   前記顔傾き判定部の判定結果に基づいて、前記顔画像の傾きを補正する顔傾き補正部
   を備えることを特徴とする画像処理装置。
8. 請求項１乃至７のいずれかに記載の画像処理装置を備えた電子機器。
9. 顔画像が含まれる画像を入力する画像入力工程と、
   前記画像入力工程により入力された画像から前記顔画像の領域を抽出する顔領域抽出工
   程と、
   前記顔領域抽出工程により抽出された前記顔画像の領域から顔を構成する顔部品の輪郭
   線を抽出する輪郭線抽出工程と、
   前記輪郭線抽出工程により抽出された輪郭線上の点を座標の原点とするハフ変換により
   算出された、前記輪郭線の傾きを近似した直線の傾きに基づいて、前記顔部品の傾きを判
   定する顔部品傾き判定工程と、
   前記顔部品傾き判定工程により判定された前記顔部品の傾きに基づいて、前記顔画像の
   傾きを判定する顔傾き判定工程と
   を有する画像処理方法。
10. コンピュータを、
    顔画像が含まれる画像を入力する画像入力部と、
    前記画像入力部により入力された画像から前記顔画像の領域を抽出する顔領域抽出部と
    、
    前記顔領域抽出部により抽出された前記顔画像の領域から顔を構成する顔部品の輪郭線
    を抽出する輪郭線抽出部と、
    前記輪郭線抽出部により抽出された輪郭線上の点を座標の原点とするハフ変換により算出
    された、前記輪郭線の傾きを近似した直線の傾きに基づいて、前記顔部品の傾きを判定す
    る顔部品傾き判定部と、
    前記顔部品傾き判定部により判定された前記顔部品の傾きに基づいて、前記顔画像の傾
    きを判定する顔傾き判定部、
    として機能させることを特徴とする画像処理プログラム。

Images