JP2004078637A - Facial portion extracting device - Google Patents
Facial portion extracting device Download PDFInfo
- Publication number
- JP2004078637A JP2004078637A JP2002238957A JP2002238957A JP2004078637A JP 2004078637 A JP2004078637 A JP 2004078637A JP 2002238957 A JP2002238957 A JP 2002238957A JP 2002238957 A JP2002238957 A JP 2002238957A JP 2004078637 A JP2004078637 A JP 2004078637A
- Authority
- JP
- Japan
- Prior art keywords
- range
- determined
- mouth
- face
- sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、画像中の顔に含まれる目および口の領域を抽出する顔部位抽出装置に関するものである。
【0002】
【従来の技術】
従来、画像中の顔に含まれる目および口の領域を抽出する顔部位抽出装置は、特開平8−287216号公報に示されるように、顔領域内部の目や口などの部位を抽出するために、顔領域内部において入力画像と予め用意した目や口などの部位のテンプレート画像とをマッチングして目や口などの部位の位置決定を行っていた。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来装置では、テンプレートマッチングを行うために計算コストが大きく、携帯機器などの比較的処理性能の低い機器では、ユーザにストレスをかけない時間での処理は困難であった。
【0004】
また、口が閉じている状態と少し開いている状態のいずれの画像に対しても口の位置決定を行うためには、口のテンプレート画像を複数用意するとともに、入力画像に対して複数のテンプレート画像とのマッチングを行う必要があり、テンプレート画像を保持するためのメモリ使用量が多く、また処理に時間がかかるという問題があった。
【0005】
【課題を解決するための手段】
上記の問題を解決するために、本発明は、テンプレートマッチング等の計算コストのかかる処理を行わず、顔領域の位置および大きさと顔の幾何学的特徴を考慮し、エッジ情報に対して以下のような計算コストが比較的低い解析を行うことにより目や口の部位の抽出を行うことを特徴とする。
【0006】
両目の垂直範囲を少ない計算コストで決定するために、エッジ画像を作成し、幅は顔領域の幅で、高さは顔の高さに定数を乗じて決定した高さの範囲内でのエッジ成分の合計を、顔領域内で両目が存在しうる範囲の中で複数算出する。複数算出したエッジ合計値より、最も目の領域を表している候補を選択し、その範囲を両目の範囲と決定する。
【0007】
前記手法で両目の垂直方向の範囲を決定した後、より正確な右および左目の垂直範囲を決定するために、前記手法で決定した両目の垂直範囲の範囲を上下に広げて再度同様な手法で、右および左目の垂直範囲を決定する。
【0008】
この時、前記手法では顔領域の幅であったエッジ合計を算出する領域の幅は前記幅の半分程度とし、高さは前記手法と同じとする。目はそれぞれ顔領域内で右および左に偏っているので、目の探索範囲は、顔領域内の右および左側としてそれぞれエッジ合計の算出を行う。
【0009】
前記片目の垂直範囲決定の際に、右および左目の探索範囲の幅を顔領域の幅の半分より大きくし、重なりを持たせることにより、撮像される人物が真正面を向いていない場合にも、正しく垂直範囲の決定が可能となるようにする。
【0010】
目の水平範囲決定は、顔領域の幅に定数を乗じて決定した幅で且つ上記で決定した目の垂直範囲の高さを持つ範囲内でのエッジ成分の合計を、上記で決定した目の垂直範囲内で顔の右および左半分の部分の内部で複数算出する。複数算出したエッジ合計値より、最も目の領域を表している候補を選択し、その範囲を目の水平範囲と決定する。
【0011】
次に、上唇と下唇の間の垂直位置を少ない計算コストで決定するために、顔領域内で口が存在しうる範囲内での各ラインのエッジ成分の合計を算出する。複数算出したエッジ合計値より、最も上唇と下唇の間を表している候補を選択し、そのラインを上唇と下唇の間と決定する。
【0012】
上記、口が存在しうる垂直範囲は顔領域内で目領域より下方で、水平範囲は右および左目のそれぞれ中央の間とする。
【0013】
上記、上唇と下唇の間と決定したラインのエッジ合計より閾値を求め、上唇と下唇の間と決定したラインから上方へ順番に各ラインのエッジ合計と前記閾値を比較していく。
【0014】
唇と肌の境目のエッジ成分は上唇と下唇との境目のエッジ成分より大きいので、前記閾値を超えた部分を口の上端とする。
【0015】
下端の決定も同様に行うことにより、口の垂直範囲が決定する。水平範囲に関しては、右および左目の、それぞれ中央の間の範囲とすることで、口の領域が決定する。
【0016】
【発明の実施の形態】
図1は、本発明に係る顔部位抽出装置の一実施例の機能構成を示した図である。
【0017】
以下、この図1を中心に顔部位抽出装置の構成および動作を説明する。
【0018】
図1において、1は顔の部位抽出を行う入力画像、2は入力画像1中の顔領域を抽出する顔領域抽出部である。3は入力画像からエッジ成分を算出した画像を作成するエッジ画像作成部である。4は右および左目の領域の抽出を行う目抽出部、5は口の領域の抽出を行う口抽出部である。また、21は抽出した目の領域に対しての修正をユーザから入力するユーザ修正入力部である。
【0019】
図1の顔部位抽出装置において、顔領域抽出部2へ入力画像1が入力されると、入力画像1内の顔領域の抽出を行う。顔領域の抽出は、例えば、入力画像1に対して色空間変換を行うことにより可能である。入力画像をHSV空間に変換し、H(Hue:色相)成分に対して閾値処理を行い、人物の肌色部分を決定する。決定した肌色領域の大きさや形状を考慮し、入力画像1中の顔領域を決定する。
【0020】
入力画像1は通常、人間がカメラを正面に見るように撮像し、図2(a)に示すような画像が得られる。
【0021】
なお、図2において、22は頭部、23および24は右目および左目、25は鼻、26は口である。
【0022】
顔領域抽出部2により顔領域の抽出を行うと、図2(b)に示すように、顔領域27が得られる。顔領域抽出部2で抽出した顔領域情報は目抽出部4および口抽出部5へ伝えられ、目および口の抽出の際に参照される。
【0023】
エッジ画像作成部3は入力画像1よりエッジ成分を抽出し、エッジ画像を作成する。作成したエッジ画像は目抽出部4および口抽出部5に伝えられ、目および口の抽出の際に参照される。目および口は垂直方向より水平方向に伸びる線を多く含むことから、エッジ画像作成部3は水平方向の線分のエッジに敏感なフィルタを使用してエッジ画像を作成すると、目抽出部4および口抽出部5において目および口を安定して抽出することが可能になる。目および口の部位の抽出を行う際には、顔領域内部のエッジ情報のみを使用するので、顔領域抽出部2で抽出した顔領域情報をエッジ画像作成部3へ伝えて、顔領域内部のみのエッジ画像を作成してもよい。
【0024】
まず、エッジ画像作成部3により作成した画像から両目の垂直範囲を決定するため、図1の6から8に示す手順で処理を行う。
【0025】
図3(a)のように顔領域抽出部2で顔領域27を抽出した場合、両目は顔領域27の上部に存在する。したがって、図3(b)のようにエッジ画像作成部3により作成されたエッジ画像において、顔領域27内の上部を両目探索領域28とする。
【0026】
顔領域27の左上の座標を(fx1,fy1)、右下の座標を(fx2,fy2)とし、両目探索領域28の左上の座標を(sex1,sey1)、右下の座標を(sex2,sey2)とする。
【0027】
このとき、sex1=fx1,sey1=fy1,sex2=fx2,およびsey2=fy1+a×(fy2−fy1)とする。
【0028】
aは、0から1の値をとり、aが大きいほど両目探索領域28が広がる。
【0029】
顔領域27上部で目の領域はエッジ成分が局在している部分である。両目の垂直範囲を少ない計算コストで抽出するために、両目探索領域28内で、図3(c)において29で示すように、幅は両目探索領域28と同じで、高さは顔領域27の高さに定数を乗じて決定した高さを持つエッジ合計算出範囲29を決定する(図1の「両目探索範囲およびエッジ合計算出用の高さ決定処理」手順6)。
【0030】
次に、両目探索領域内の複数の位置で前記エッジ合計算出範囲29内でのエッジ合計を算出する(図1の「探索範囲内の各位置でエッジ合計を算出する処理」手順7)。
【0031】
前記複数算出したエッジ合計値より、最も目の領域を表している候補(例えば、エッジ合計が最大のもの)を選択し、図3(e)のように、その範囲を抽出した両目の範囲30と決定する(図1の「両目の垂直範囲決定処理」手順8)。
【0032】
両目の垂直方向の範囲を決定するためには、複数のエッジ合計を算出し比較するのみであるので計算コストは低い。
【0033】
また、上記設定した範囲29内に両目が存在する部分を含んだ場合、肌と髪の境などのエッジ部分を含むときに比べ、設定した範囲29内にまんべんなくエッジ成分が分布する。その結果、その他の場所と比較するとエッジ成分の合計値が極めて高くなるため、安定して両目の垂直方向の範囲を決定できる。
【0034】
また、1ラインのエッジ合計のみで両目の垂直位置を決定しようとすると入力画像のノイズによるエッジの影響を受けて誤抽出する場合があるが、垂直方向に高さのある複数のラインの合計を算出することでノイズによる影響を軽減でき、安定した抽出が可能となる。
【0035】
なお、範囲29の高さは安定して両目の垂直方向の範囲を決定できるよう、範囲内に両目が納まり、かつ、なるべく他の部位を含まないように、上瞼と下瞼との距離(目の高さ)程度になるようにする。
【0036】
範囲29の右上の座標を(sex3,sey3)、左下の座標を(sex4,sey4)とすると、sex3=sex1,sex4=sex2,およびsey4=sey3+b×(fy2−fy1)と表すことができる。
【0037】
なお、bは、b×(fy2−fy1)が目の高さ程度になるような定数を設定する。上瞼と下瞼との距離(目の高さ)は個体間の差は若干あるものの、顔の高さを定数倍することにより適切な値を算出することが可能である。
【0038】
次に、前記で決定した両目の垂直範囲30を基準として、片目の垂直範囲を決定するために、図1の9から11に示す手順で処理を行う。
【0039】
図4(a)のように両目の垂直範囲30が決定している場合、図4(b)および(c)のように、片目の探索範囲を垂直範囲30から上下に広げ、水平方向は顔領域27の右および左端から中央付近となるような範囲の片目探索範囲31および32を決定し(図1の「右および左目の探索範囲およびエッジ合計算出用の高さ決定処理」手順9)、それらに関して、前記両目の垂直範囲決定と同様の手順で処理を行う。
【0040】
なお、両目の範囲30の右上の座標を(ex1,ey1)、左下の座標を(ex2,ey2)とし、探索範囲31の右上の座標は(sex5,sey5)、左下の座標を(sex6,sey6)としたとき、sex5=ex1,sey5=ey1−c×(fy2−fy1),sex6=(1−e)×ex1+e×ex2,およびsey6=ey2+d×(fy2−fy1)と表すことができる。
【0041】
ただし、cおよびdは探索範囲を上および下にどの程度広げるかを示すパラメータである。
【0042】
また、eは0から1の値をとり、探索領域の幅を決めるパラメータである。
【0043】
図4(d)および(e)のように、水平方向は探索範囲31と同じ幅で、垂直方向の高さは顔領域27の高さに定数を乗じて決定した高さを持つ算出範囲33内部のエッジ合計を複数の位置で算出する(図1の「探索範囲内の各位置でエッジ合計算出処理」手順10)。
【0044】
範囲33の右上の座標を(sex7,sey7)、左下の座標を(sex8,sey8)とすると、sex7=sex5,sex8=sex6,およびsey8=sey7+b×(fy2−fy1)と表すことができる。
【0045】
算出した複数のエッジ合計値より、最も目の領域を表している候補を選択し、片目の垂直範囲34と決定する(図1の「右および左目の垂直範囲決定処理」手順11)。
【0046】
もう一方の目も同様に処理し、垂直範囲35を決定する。
【0047】
このとき、片目(右目)の探索範囲31ともう一方の目(左目)の探索範囲32は、図5(b)および(c)のように顔の中央付近で重なり合うようにすることにより、顔が真正面ではなく左右いずれかの方向を向いている場合に対応ができる。
【0048】
一方、片目の探索範囲31ともう一方の目の探索範囲32に重なり合う部分がないと、図5(e)および(f)のように、片方の目の一部が探索範囲36、37の両方に含まれてしまい正しく抽出ができない。
【0049】
前記で決定したそれぞれの目において水平範囲決定を、図1の12から14に示す手順で処理を行う。
【0050】
片目の垂直範囲が前記処理で図6(a)のように決定している場合、図6(a)のように決定した垂直範囲で、垂直範囲を決定する際に使用した探索範囲の水平範囲を片目の探索範囲34および35とする(図1の「右および左目の探索範囲およびエッジ合計算出用幅決定処理」手順12)。
【0051】
図6(b)および(c)のように、垂直方向は探索範囲34と同じ高さで、水平方向の幅は顔領域27の幅に定数を乗じて決定した幅を持つ範囲38内部のエッジ値合計を複数の位置で算出する(図1の「探索範囲内の各位置でのエッジ合計算出処理」手順13)。
【0052】
なお、片目の垂直範囲34の右上の座標を(ex3,ey3)、左下の座標(ex4,ey4)とし、右目エッジ合計算出範囲38の右上の座標を(sex9,sey9)、左下の座標を(sex10,sey10)とすると、sey9=ey3,sex10=sex9+f×(fx2−fx1),およびsey10=ey4=sey9+b×(fy2−fy1)と表すことができる。
【0053】
fは、f×(fx2−fx1)が目の幅程度になるように設定する。
【0054】
目の幅は個体間の差は若干あるものの、顔の幅を定数倍することにより適切な値を算出することが可能である。
【0055】
算出した複数のエッジ合計値より、最も目の領域を表している候補を選択し、片目(抽出した右目)の水平範囲39と決定する(図1の「右および左目の水平範囲決定処理」手順14)。もう一方の目(左目)も同様に処理し、水平範囲40を決定する。
【0056】
次に口の中央(上唇と下唇の境)の検出を、図1の15から17に示す手順で処理を行う。
【0057】
顔領域27の高さおよび幅にそれぞれ定数を乗じ、水平位置は顔領域27の中央付近、垂直位置は顔領域27の下部に口中央探索範囲41を図7(b)のように設定する(図1の「口中央の探索範囲決定処理」手順15)。
【0058】
口中央探索範囲41の左上の座標を(smx1,smy1)、左下の座標を(smx2,smy2)とすると、smx2=smx1+g×(fx2−fx1),smy2=smy1+h×(fy2−fy1)と表すことができる。
【0059】
gは、g×(fx2−fx1)が口の幅程度になるように設定する。
【0060】
口の幅は個体間の差は若干あるものの、顔の幅を定数倍することにより適切な値を算出することが可能である。
【0061】
また、hは、顔領域27の高さの半分程度になるような値を選択する。
【0062】
smx1は、口中央探索範囲41が顔領域27の中央となるように、smy1は口中央探索範囲41の下端が顔領域27の下端から出ないような値とする。
【0063】
その後、口中央探索範囲41と同じ幅の画素ライン42のエッジ値合計を、口中央探索範囲41内で複数算出する(図1の「探索範囲内の各位置でのエッジ合計算出処理」手順16)。
【0064】
前記、複数算出したエッジ合計値より、最も口中央を表している候補(例えば、エッジ合計が最大のもの)を選択し、図7(e)のように、その位置を口中央位置43と決定する(図1の「口中央の垂直位置決定処理」手順17)。
【0065】
前記口中央探索範囲41を決定する場合、通常、口は顔の領域内で且つ目の位置より下部にあり、右および左目のそれぞれ中央から下ろした垂線にはさまれる領域内にあることから、顔領域27および目の位置(水平範囲)39および40の情報も使用して決定するとよい。
【0066】
このとき、smx1=(ex5+ex6)÷2,smy1=max(ey6,ey8)+i、smx2=(ex7+ex8)÷2,およびsmy2=fy2−jと表すことができる。
【0067】
ただし、撮像画像において左側の目の抽出範囲で小さい方の水平座標をex5、大きい方の水平座標をex6とし、同様に右側の目の抽出範囲で小さい方の水平座標をex7、大きい方の水平座標をex8とする。
【0068】
また、iは、目の抽出範囲からどの程度下から口の抽出を行うかを設定するパラメータで、目の高さの1から1.5倍程度の値が望ましい。
【0069】
また、jは、顔領域27の下端からどの程度上まで口の抽出を行うかを設定するパラメータで、目の高さ程度が望ましい。
【0070】
なお、max()は引数の中から最大値を算出する関数である。口中央探索範囲41の幅を右および左目の中央の間の幅とすることにより、口の水平範囲は決定される。
【0071】
次に、口の上端および下端の位置を決定するために、図1の18から20に示す手順で処理を行う。
【0072】
前記、口中央位置43でのエッジ値合計に定数を乗じた値を閾値として算出する(図1の「閾値決定処理」手順18)。
【0073】
次に図8(b)に示すように口の下端を決定するために、口中央位置43から下方向へ1画素ラインずつ、口中央探索範囲41内のエッジ値合計を算出し、その画素ライン44のエッジ値合計と閾値を比較する(図1の「探索範囲内の各位置でのエッジ合計算出および閾値との比較処理」手順19)。
【0074】
比較の結果より(例えば、前記エッジ値合計が閾値よりも大きい場合)、図8(c)のように、その位置を口の下端44として決定する。
【0075】
同様に口の上端45も決定を行い、口の上端44および下端45が決定する(図1の「口上下端の垂直位置決定処理」手順20)。
【0076】
前記、口の水平範囲と口の上端および下端が決定したことより、口の領域が決まる。
【0077】
また、顔部位抽出装置がユーザからの入力手段図1のユーザ修正入力手段21(例えばキーボード)を備えている場合、図1の4で示す目抽出部での抽出結果をユーザに提示し、抽出結果が芳しくない場合にはユーザが修正入力手段21を用いて抽出位置の調整を行う。
【0078】
これにより、図9の(a)に示すように抽出した目の範囲39および40が正しく抽出できず、図9の(c)のように正しくない目の抽出位置47および48から決定する口の探索範囲が(口中央探索範囲41の範囲でなく)、望ましくない口探索範囲49のようになり、抽出した口の範囲が(抽出した口範囲46ではなく)図9の(d)に示す正しくない口の範囲50のようにずれてしまうことを防ぐことができ、口の抽出をより正確に行うことができる。
【0079】
上記のようにエッジ画像は入力画像に対して一度作成するのみであり、また、各部位の抽出処理自体にかかる計算コストも高くないことから、携帯可能な小型な装置が実現可能となる。
【0080】
【発明の効果】
以上説明したように本発明によれば、入力画像に含まれるノイズによる影響を最小限に押さえつつ、少ない計算コストで両目の垂直範囲を決定することができる。
【0081】
また、本発明によれば、撮像された顔画像が傾いている場合などの場合においても、右および左目の垂直範囲を決定することができる。また、両目の垂直範囲を基準にその周辺から探索しているので、探索にかかる計算コストが少なく、安定した範囲決定を行うことができる。
【0082】
また、本発明によれば、撮像された顔画像が正面を向いていない場合などにおいても、右および左目の垂直範囲を安定して決定することができる。
【0083】
また、本発明によれば、右および左目の水平範囲の決定を少ない計算コストで実現することができる。
【0084】
また、本によれば、探索範囲を絞ることにより少ない計算コストで、安定した口の中央を抽出することができる。
【0085】
また、本発明によれば、顔領域情報のみを用いる場合よりも、より正確に、かつより狭い範囲に口の探索範囲を設定することを可能とする。
【0086】
また、本発明によれば、入力画像に応じて適切な閾値を算出し、口が開いている場合などパターンマッチングでは抽出が難しい場合でも、口の上端および下端を抽出することが可能となる。
【0087】
さらに、本発明によれば、ユーザからの抽出情報の修正を入力することにより、精度の高い口位置の抽出をインタラクティブに行うことが出来る。
【図面の簡単な説明】
【図1】本発明の一実施例を示す機能構成を示した図である。
【図2】人物を撮像した画像と、抽出された顔領域を示した図である。
【図3】両目の垂直範囲の抽出手順を示した図である。
【図4】右および左目の垂直範囲の抽出手順を示した図である。
【図5】人物が正面を向いていない場合の右および左目の抽出について、水平方向の探索範囲を重ねた場合とそうでない場合の違いを示した図である。
【図6】右および左目の水平範囲の抽出手順を示した図である。
【図7】上唇と下唇の間の抽出手順を示した図である。
【図8】口の上端および下端の抽出手順を示した図である。
【図9】目の抽出結果が正しい場合そうでない場合との口抽出の結果を示した図である。
【符号の説明】
1 入力画像
2 顔領域抽出部
3 エッジ画像作成部
4 目抽出部
5 口抽出部
6 両目探索範囲およびエッジ合計算出用の高さ決定処理
7 探索範囲内の各位置でエッジ合計を算出する処理
8 両目の垂直範囲決定処理
9 右および左目の探索範囲およびエッジ合計算出用の高さ決定処理
10 探索範囲内の各位置でのエッジ合計算出処理
11 右および左目の垂直範囲決定処理
12 右および左目の探索範囲およびエッジ合計算出用幅決定処理
13 探索範囲内の各位置でのエッジ合計算出処理
14 右および左目の水平範囲決定処理
15 口中央の探索範囲決定処理
16 探索範囲内の各位置でのエッジ合計算出処理
17 口中央の垂直位置決定処理
18 閾値決定処理
19 探索範囲内の各位置でのエッジ合計算出および閾値との比較処理
20 口上下端の垂直位置決定処理
21 ユーザ修正入力部
22 人物頭部
23 右目
24 左目
25 鼻
26 口
27 顔領域
28 両目探索領域
29 エッジ合計算出範囲
30 抽出した両目の範囲
31 右目探索範囲
32 左目探索範囲
33 算出範囲
34 垂直範囲
35 垂直範囲
36 探索範囲
37 探索範囲
38 右目エッジ合計算出範囲
39 水平範囲
40 水平範囲
41 口中央探索範囲
42 画素ライン
43 口中央位置
44 画素ライン(口の下端)
45 画素ライン(口の上端)
46 抽出した口範囲
47 正しくない右目の範囲
48 正しくない左目の範囲
49 望ましくない口探索範囲
50 正しくない口の範囲[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a face part extracting apparatus for extracting an eye and a mouth included in a face in an image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a face part extracting apparatus for extracting an eye and a mouth region included in a face in an image has been disclosed in Japanese Patent Application Laid-Open No. 8-287216, for extracting a part such as an eye and a mouth inside a face region. In addition, the position of an eye or a mouth or the like is determined by matching an input image with a template image of a part such as an eye or a mouth prepared in advance in the face region.
[0003]
[Problems to be solved by the invention]
However, in the above-described conventional apparatus, the calculation cost is large for performing the template matching, and it is difficult for a device having relatively low processing performance, such as a portable device, to perform the process in a time without stressing the user.
[0004]
In addition, in order to determine the position of the mouth with respect to both the image with the mouth closed and the image with the mouth slightly opened, a plurality of template images of the mouth are prepared and a plurality of template images are prepared for the input image. There is a problem that it is necessary to perform matching with the image, a large amount of memory is used to hold the template image, and a long time is required for processing.
[0005]
[Means for Solving the Problems]
In order to solve the above problem, the present invention does not perform computationally expensive processing such as template matching, takes into account the position and size of the face region and the geometric feature of the face, and performs the following processing on the edge information. It is characterized in that the eye and mouth parts are extracted by performing such an analysis having a relatively low calculation cost.
[0006]
In order to determine the vertical range of both eyes with a small calculation cost, an edge image is created, the width is the width of the face area, and the height is the edge within the height range determined by multiplying the face height by a constant. A plurality of component sums are calculated within a range where both eyes can exist in the face region. From the plurality of calculated edge total values, a candidate representing the region of the most eye is selected, and the range is determined as the range of both eyes.
[0007]
After determining the vertical range of both eyes with the above method, in order to determine the more accurate vertical range of the right and left eyes, expand the range of the vertical range of both eyes determined by the above method up and down again by the same method. , Right and left eyes.
[0008]
At this time, the width of the area for calculating the total edge, which is the width of the face area in the above method, is set to about half of the width, and the height is the same as the above method. Since the eyes are biased to the right and left in the face area, respectively, the search range of the eyes is set to the right and left sides in the face area, and the edge sum is calculated.
[0009]
In determining the vertical range of the one eye, the width of the search range of the right and left eyes is larger than half the width of the face area, and by giving an overlap, even when the person to be imaged is not facing directly in front, Ensure that the vertical range can be determined correctly.
[0010]
The horizontal range of the eyes is determined by multiplying the sum of the edge components within the range determined by multiplying the width of the face area by a constant and having the height of the vertical range of the eyes determined above. Plural calculations are performed inside the right and left halves of the face within the vertical range. From the plurality of calculated edge total values, a candidate representing the region of the eye is selected, and the range is determined as the horizontal range of the eye.
[0011]
Next, in order to determine the vertical position between the upper lip and the lower lip with a small calculation cost, the sum of the edge components of each line within the range where the mouth can exist in the face region is calculated. From the plurality of calculated edge total values, a candidate representing the region between the upper lip and the lower lip is selected, and the line is determined to be between the upper lip and the lower lip.
[0012]
The vertical range where the mouth can exist is below the eye region in the face region, and the horizontal range is between the centers of the right and left eyes.
[0013]
A threshold value is obtained from the sum of the edges of the line determined to be between the upper lip and the lower lip, and the threshold value is compared with the sum of the edges of each line in order from the line determined to be between the upper lip and the lower lip.
[0014]
Since the edge component at the boundary between the lip and the skin is larger than the edge component at the boundary between the upper lip and the lower lip, a portion exceeding the threshold is set as the upper end of the mouth.
[0015]
The determination of the lower end is performed in the same manner, thereby determining the vertical range of the mouth. Regarding the horizontal range, the region of the mouth is determined by setting the range between the centers of the right and left eyes.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a diagram showing a functional configuration of an embodiment of a face part extracting apparatus according to the present invention.
[0017]
Hereinafter, the configuration and operation of the face part extracting apparatus will be described mainly with reference to FIG.
[0018]
In FIG. 1, reference numeral 1 denotes an input image for extracting a face part, and 2 denotes a face area extracting unit for extracting a face area in the input image 1. Reference numeral 3 denotes an edge image creation unit that creates an image in which an edge component has been calculated from an input image. Reference numeral 4 denotes an eye extraction unit for extracting right and left eye regions, and reference numeral 5 denotes a mouth extraction unit for extracting a mouth region. Reference numeral 21 denotes a user correction input unit for inputting a correction to the extracted eye region from the user.
[0019]
When the input image 1 is input to the face
[0020]
Normally, the input image 1 is captured as if a human is looking at the camera in front, and an image as shown in FIG. 2A is obtained.
[0021]
In FIG. 2, 22 is a head, 23 and 24 are right and left eyes, 25 is a nose, and 26 is a mouth.
[0022]
When the face area is extracted by the face
[0023]
The edge image creation unit 3 extracts an edge component from the input image 1 and creates an edge image. The created edge image is transmitted to the eye extracting unit 4 and the mouth extracting unit 5 and is referred to when extracting the eyes and the mouth. Since the eyes and the mouth include more lines extending in the horizontal direction than in the vertical direction, the edge image creating unit 3 creates an edge image using a filter sensitive to the edge of the horizontal line segment. The eyes and mouth can be stably extracted in the mouth extraction unit 5. When extracting the parts of the eyes and the mouth, only the edge information inside the face area is used, so the face area information extracted by the face
[0024]
First, in order to determine the vertical range of both eyes from the image created by the edge image creating unit 3, processing is performed according to the procedures shown in 6 to 8 in FIG.
[0025]
When the face
[0026]
The upper left coordinates of the face area 27 are (fx1, fy1), the lower right coordinates are (fx2, fy2), the upper left coordinates of the binocular search area 28 are (sex1, sey1), and the lower right coordinates are (sex2, sey2). ).
[0027]
At this time, sex1 = fx1, sey1 = fy1, sex2 = fx2, and sey2 = fy1 + a × (fy2-fy1).
[0028]
a takes a value from 0 to 1, and the larger the a is, the wider the binocular search area 28 is.
[0029]
The eye area above the face area 27 is where the edge component is localized. In order to extract the vertical range of both eyes at a low calculation cost, the width is the same as that of the binocular search area 28 and the height of the face area 27 is within the binocular search area 28 as shown by 29 in FIG. An edge total calculation range 29 having a height determined by multiplying the height by a constant is determined ("binocular search range and height determination processing for edge total calculation" step 6 in FIG. 1).
[0030]
Next, the edge sum in the edge sum calculation range 29 is calculated at a plurality of positions in the binocular search area (step 7 of “processing for calculating the edge sum at each position in the search range” in FIG. 1).
[0031]
From the plurality of calculated edge total values, a candidate representing the region of the most eye (for example, the one with the largest edge total) is selected, and as shown in FIG. (“Vertical range determination process for both eyes” in FIG. 1, step 8).
[0032]
In order to determine the vertical range of both eyes, it is only necessary to calculate and compare a plurality of edge sums, so that the calculation cost is low.
[0033]
In addition, when the set range 29 includes a part where both eyes are present, the edge components are distributed evenly within the set range 29 as compared with the case where an edge part such as a boundary between skin and hair is included. As a result, the total value of the edge components becomes extremely high as compared with other places, so that the vertical range of both eyes can be determined stably.
[0034]
In addition, if an attempt is made to determine the vertical position of both eyes only by the sum of the edges of one line, erroneous extraction may occur due to the influence of the edge of the input image noise. By calculating, the influence of noise can be reduced, and stable extraction can be performed.
[0035]
In addition, the height of the range 29 is such that the distance between the upper eyelid and the lower eyelid is set so that both eyes fall within the range and include no other part as much as possible so that the vertical range of both eyes can be determined stably. Eye level).
[0036]
Assuming that the upper right coordinate of the range 29 is (sex3, sey3) and the lower left coordinate is (sex4, sey4), it can be expressed as sex3 = sex1, sex4 = sex2, and sey4 = sey3 + b × (fy2-fy1).
[0037]
Note that b is set to a constant such that b × (fy2−fy1) is about the height of the eyes. Although the distance between the upper and lower eyelids (eye height) is slightly different between individuals, it is possible to calculate an appropriate value by multiplying the face height by a constant.
[0038]
Next, in order to determine the vertical range of one eye with reference to the vertical range 30 of both eyes determined as described above, processing is performed according to the procedures 9 to 11 in FIG.
[0039]
When the vertical range 30 of both eyes is determined as shown in FIG. 4A, the search range of one eye is extended up and down from the vertical range 30 as shown in FIGS. One-eye search ranges 31 and 32 in a range from the right and left ends of the region 27 to the vicinity of the center are determined ("Right and left eye search ranges and height determination processing for edge total calculation" step 9 in FIG. 1), and With respect to them, processing is performed in the same procedure as the determination of the vertical range of both eyes.
[0040]
The coordinates of the upper right of the range 30 of both eyes are (ex1, ey1), the coordinates of the lower left are (ex2, ey2), the coordinates of the upper right of the search range 31 are (sex5, sey5), and the coordinates of the lower left are (sex6, sey6). ), Sex5 = ex1, sey5 = ey1-c * (fy2-fy1), sex6 = (1-e) * ex1 + e * ex2, and sey6 = ey2 + d * (fy2-fy1).
[0041]
Here, c and d are parameters indicating how much the search range is expanded upward and downward.
[0042]
E is a parameter that takes a value from 0 to 1 and determines the width of the search area.
[0043]
As shown in FIGS. 4D and 4E, a calculation range 33 having the same width in the horizontal direction as the search range 31 and a height in the vertical direction determined by multiplying the height of the face area 27 by a constant. The internal edge sum is calculated at a plurality of positions ("edge sum calculation process at each position within search range" in FIG. 1) (step 10).
[0044]
Assuming that the upper right coordinate of the range 33 is (sex7, sey7) and the lower left coordinate is (sex8, sey8), it can be expressed as sex7 = sex5, sex8 = sex6, and sey8 = sey7 + b × (fy2-fy1).
[0045]
From the calculated plurality of edge total values, the candidate representing the eye region is selected and determined as the vertical range 34 of one eye ("vertical range determination processing for right and left eyes" step 11 in FIG. 1).
[0046]
The other eye is processed in the same manner to determine the vertical range 35.
[0047]
At this time, the search range 31 of one eye (right eye) and the search range 32 of the other eye (left eye) overlap each other near the center of the face as shown in FIGS. Can be dealt with in a right or left direction instead of directly in front.
[0048]
On the other hand, if there is no overlapping portion between the search range 31 of one eye and the search range 32 of the other eye, as shown in FIGS. And cannot be extracted correctly.
[0049]
The horizontal range is determined for each eye determined as described above according to the procedure shown in 12 to 14 in FIG.
[0050]
When the vertical range of one eye is determined as shown in FIG. 6A in the above processing, the horizontal range of the search range used in determining the vertical range is the vertical range determined as shown in FIG. Are set as search ranges 34 and 35 of one eye (“Right and left eye search ranges and edge total calculation width determination process” procedure 12 in FIG. 1).
[0051]
As shown in FIGS. 6B and 6C, the vertical direction is the same height as the search range 34, and the horizontal width is the edge within the range 38 having a width determined by multiplying the width of the face area 27 by a constant. The sum of the values is calculated at a plurality of positions ("edge total calculation process at each position within the search range" in FIG. 1) (step 13).
[0052]
Note that the upper right coordinate of the vertical range 34 of one eye is (ex3, ey3), the lower left coordinate (ex4, ey4), the upper right coordinate of the right eye edge total calculation range 38 is (sex9, sey9), and the lower left coordinate is (ex9, sey9). Assuming that sex10, sey10), it can be expressed as sey9 = ey3, sex10 = sex9 + f × (fx2-fx1), and sey10 = ey4 = sey9 + b × (fy2-fy1).
[0053]
f is set so that fx (fx2-fx1) is about the width of the eye.
[0054]
Although the eye width is slightly different between individuals, it is possible to calculate an appropriate value by multiplying the face width by a constant.
[0055]
From the plurality of calculated edge total values, a candidate representing the region of the most eye is selected and determined as the horizontal range 39 of one eye (the extracted right eye) (“horizontal range determination processing of right and left eyes” in FIG. 1) 14). The other eye (left eye) is processed in the same manner, and the horizontal range 40 is determined.
[0056]
Next, the detection of the center of the mouth (the boundary between the upper lip and the lower lip) is performed according to the procedures shown in FIGS.
[0057]
The height and width of the face area 27 are multiplied by constants, and the horizontal position is set near the center of the face area 27, and the vertical position is set below the face area 27 as the mouth center search range 41 as shown in FIG. Step 15 of "determination processing of search range in center of mouth" in FIG.
[0058]
Assuming that the upper left coordinate of the mouth center search range 41 is (smx1, smy1) and the lower left coordinate is (smx2, smy2), it is expressed as smx2 = smx1 + g × (fx2-fx1) and smy2 = smy1 + h × (fy2-fy1). Can be.
[0059]
g is set so that g × (fx2−fx1) is about the width of the mouth.
[0060]
Although the width of the mouth slightly differs between individuals, it is possible to calculate an appropriate value by multiplying the width of the face by a constant.
[0061]
Also, h is selected to be a value that is about half the height of the face area 27.
[0062]
smx1 is a value such that the lower end of the mouth center search range 41 does not protrude from the lower end of the face region 27 so that the mouth center search range 41 is located at the center of the face area 27.
[0063]
Then, a plurality of edge value sums of the pixel line 42 having the same width as the mouth center search range 41 are calculated in the mouth center search range 41 (“the edge sum calculation process at each position within the search range” in FIG. 1, step 16). ).
[0064]
From the plurality of calculated edge total values, a candidate representing the center of the mouth (for example, the one with the largest edge total) is selected, and the position is determined as the mouth center position 43 as shown in FIG. (Step 17 of "vertical position determination process of the center of the mouth" in FIG. 1).
[0065]
When determining the mouth center search range 41, the mouth is usually located in the face area and below the position of the eyes, and is located in the area between the perpendiculars lowered from the centers of the right and left eyes, respectively. The determination may be made using information of the face region 27 and the positions of the eyes (horizontal range) 39 and 40.
[0066]
At this time, it can be expressed as smx1 = (ex5 + ex6) 12, smy1 = max (ey6, eye8) + i, smx2 = (ex7 + ex8) m2, and smy2 = fy2-j.
[0067]
However, in the captured image, the smaller horizontal coordinate in the left eye extraction range is ex5 and the larger horizontal coordinate is ex6. Similarly, the smaller horizontal coordinate in the right eye extraction range is ex7 and the larger horizontal coordinate is ex7. The coordinates are ex8.
[0068]
Also, i is a parameter that sets how much the mouth is extracted from the eye extraction range, and is preferably a value that is about 1 to 1.5 times the eye height.
[0069]
In addition, j is a parameter for setting how far above the lower end of the face area 27 the mouth is to be extracted, and is preferably about the eye level.
[0070]
Note that max () is a function for calculating the maximum value from the arguments. By setting the width of the mouth center search range 41 to be the width between the centers of the right and left eyes, the horizontal range of the mouth is determined.
[0071]
Next, in order to determine the positions of the upper end and the lower end of the mouth, the processing is performed according to the procedures shown in 18 to 20 in FIG.
[0072]
A value obtained by multiplying the sum of the edge values at the mouth center position 43 by a constant is calculated as a threshold value (“Threshold determination process” step 18 in FIG. 1).
[0073]
Next, as shown in FIG. 8B, in order to determine the lower end of the mouth, the total edge value in the mouth center search range 41 is calculated one pixel line downward from the mouth center position 43, and the pixel line is determined. The sum of the edge values of No. 44 is compared with the threshold value (Step 19 of “calculation of the sum of edges at each position within the search range and comparison with the threshold value” step 19).
[0074]
Based on the result of the comparison (for example, when the sum of the edge values is larger than the threshold value), the position is determined as the lower end 44 of the mouth as shown in FIG.
[0075]
Similarly, the upper end 45 of the mouth is determined, and the upper end 44 and the lower end 45 of the mouth are determined ("vertical position determination process of upper and lower ends of the mouth" step 20 in FIG. 1).
[0076]
The region of the mouth is determined by the determination of the horizontal range of the mouth and the upper and lower ends of the mouth.
[0077]
In addition, when the face part extracting apparatus is provided with a user correction input means 21 (for example, a keyboard) of FIG. 1 by an input means from a user, an extraction result by an eye extraction unit 4 shown in FIG. If the result is not good, the user adjusts the extraction position using the correction input unit 21.
[0078]
As a result, the extracted eye ranges 39 and 40 cannot be correctly extracted as shown in FIG. 9A, and the mouth determined by the incorrect eye extraction positions 47 and 48 as shown in FIG. 9C. The search range (rather than the range of the mouth center search range 41) becomes an undesired mouth search range 49, and the range of the extracted mouth (rather than the extracted mouth range 46) is correct as shown in FIG. It is possible to prevent a shift as in the range 50 of no mouth, and it is possible to more accurately extract the mouth.
[0079]
As described above, the edge image is created only once for the input image, and the calculation cost for the extraction processing of each part is not high, so that a portable and compact device can be realized.
[0080]
【The invention's effect】
As described above, according to the present invention, the vertical range of both eyes can be determined with a small calculation cost while minimizing the influence of noise included in an input image.
[0081]
Further, according to the present invention, the vertical range of the right and left eyes can be determined even when the captured face image is inclined. In addition, since the search is performed from the surroundings based on the vertical range of both eyes, the calculation cost required for the search is small, and a stable range can be determined.
[0082]
Further, according to the present invention, the vertical range of the right and left eyes can be determined stably even when the captured face image does not face the front.
[0083]
Also, according to the present invention, the determination of the horizontal range of the right and left eyes can be realized with a small calculation cost.
[0084]
Further, according to the present invention, a stable center of the mouth can be extracted with a small calculation cost by narrowing the search range.
[0085]
Also, according to the present invention, it is possible to set the mouth search range more accurately and in a narrower range than when only the face area information is used.
[0086]
Further, according to the present invention, it is possible to calculate an appropriate threshold value in accordance with an input image and to extract the upper and lower ends of the mouth even when extraction is difficult by pattern matching such as when the mouth is open.
[0087]
Furthermore, according to the present invention, highly accurate extraction of the mouth position can be performed interactively by inputting the correction of the extraction information from the user.
[Brief description of the drawings]
FIG. 1 is a diagram showing a functional configuration showing one embodiment of the present invention.
FIG. 2 is a diagram showing an image of a person and an extracted face area.
FIG. 3 is a diagram showing a procedure for extracting a vertical range of both eyes.
FIG. 4 is a diagram showing a procedure for extracting a vertical range of right and left eyes.
FIG. 5 is a diagram showing the difference between the case where the search range in the horizontal direction is overlapped and the case where the search range in the horizontal direction is not set for extraction of the right and left eyes when the person is not facing the front;
FIG. 6 is a diagram showing a procedure for extracting a horizontal range of right and left eyes.
FIG. 7 is a diagram showing an extraction procedure between an upper lip and a lower lip.
FIG. 8 is a diagram showing an extraction procedure of an upper end and a lower end of a mouth.
FIG. 9 is a diagram showing the result of mouth extraction when the eye extraction result is correct and when it is not.
[Explanation of symbols]
Reference Signs List 1 input image 2 face area extraction unit 3 edge image creation unit 4 eye extraction unit 5 mouth extraction unit 6 binocular search range and height determination processing for edge total calculation 7 processing for calculating edge total at each position in search range 8 Vertical range determination processing for both eyes 9 Search range for right and left eyes and height determination processing for edge total calculation 10 Edge total calculation processing at each position within the search range 11 Vertical range determination processing for right and left eyes 12 Right and left eyes Search range and edge total calculation width determination processing 13 Edge total calculation processing at each position within the search range 14 Horizontal range determination processing for the right and left eyes 15 Search area determination processing at the center of the mouth 16 Edge at each position within the search range Total calculation processing 17 Vertical position determination processing at the center of the mouth 18 Threshold determination processing 19 Calculation of the sum of the edges at each position within the search range and comparison processing with the threshold 20 Vertical processing at the upper and lower ends of the mouth Placement determination processing 21 User correction input unit 22 Human head 23 Right eye 24 Left eye 25 Nose 26 Mouth 27 Face area 28 Binocular search area 29 Edge total calculation range 30 Extracted binocular range 31 Right eye search range 32 Left eye search range 33 Calculation range 34 Vertical range 35 Vertical range 36 Search range 37 Search range 38 Right eye edge total calculation range 39 Horizontal range 40 Horizontal range 41 Center of mouth search range 42 Pixel line 43 Center of mouth 44 Pixel line (bottom of mouth)
45 pixel lines (top of mouth)
46 extracted mouth range 47 incorrect right eye range 48 incorrect left eye range 49 undesirable mouth search range 50 incorrect mouth range
Claims (8)
入力画像からエッジ成分を抽出するエッジ成分抽出手段と、
任意範囲内のエッジ成分の合計を算出するエッジ成分合計算出手段とを有し、顔領域の高さおよび幅より決定される高さおよび幅の範囲内でのエッジ成分の合計を、顔領域より決定された両目探索範囲内の複数位置で算出し、
算出した複数のエッジ成分の合計を比較することで両目の垂直位置を決定することを特徴とする顔部位抽出装置。A face area extracting means for extracting a face area from the input image;
Edge component extraction means for extracting edge components from the input image;
Edge component sum calculating means for calculating the sum of the edge components within an arbitrary range, the sum of the edge components within a range of height and width determined from the height and width of the face region, Calculated at multiple positions within the determined binocular search range,
A face part extracting apparatus characterized in that the vertical position of both eyes is determined by comparing the calculated sum of a plurality of edge components.
算出した複数のエッジ成分の合計を比較することで右および左目の垂直位置を決定することを特徴とする請求項1記載の顔部位抽出装置。A vertical range in which the sum of the edge components within the range of height and width determined by the height and width of the face area is extended vertically from the determined vertical position of both eyes by the distance determined by the height of the face area , Calculated at a plurality of positions in a horizontal range having a width determined from the width of the face region biased to the right or left in the face region,
2. The face part extracting apparatus according to claim 1, wherein the vertical positions of the right and left eyes are determined by comparing the calculated sum of the plurality of edge components.
算出した複数のエッジ成分の合計を比較することで右および左目の水平位置を決定することを特徴とする請求項1記載の顔部位抽出装置。The sum of the edge components within the range of height and width determined from the height and width of the face area is calculated at a plurality of horizontal positions at the vertical positions of the right and left eyes,
The face part extracting apparatus according to claim 1, wherein the horizontal positions of the right and left eyes are determined by comparing the calculated sum of the plurality of edge components.
入力画像からエッジ成分を抽出するエッジ成分抽出手段と、
任意範囲内のエッジ成分の合計を算出するエッジ成分合計算出手段とを有し、顔領域の幅より決定される幅の各画素ラインでのエッジ成分の合計を、顔領域の高さおよび幅より決定された口抽出範囲内の複数位置で算出し、
算出した複数のエッジ成分の合計を比較することで口の垂直位置を決定することを特徴とする顔部位抽出装置。A face area extracting means for extracting a face area from the input image;
Edge component extraction means for extracting edge components from the input image;
Edge component sum calculating means for calculating the sum of the edge components within an arbitrary range, wherein the sum of the edge components at each pixel line having a width determined by the width of the face region is calculated based on the height and width of the face region. Calculated at multiple positions within the determined mouth extraction range,
A face part extracting apparatus characterized in that the vertical position of a mouth is determined by comparing the calculated sum of a plurality of edge components.
顔領域より決定された口抽出範囲内で、決定した口の垂直位置の上および下方向の各画素ラインを順次走査し、前記決定した閾値と比較し、口領域の上端および下端を決定することを特徴とする請求項5記載の顔部位抽出装置。Determine a threshold from the sum of the edge components at the determined vertical position of the mouth,
Within the mouth extraction range determined from the face area, sequentially scan each pixel line above and below the determined vertical position of the mouth, compare with the determined threshold, and determine the upper and lower ends of the mouth area. The face part extracting apparatus according to claim 5, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002238957A JP4601245B2 (en) | 2002-08-20 | 2002-08-20 | Facial part extraction device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002238957A JP4601245B2 (en) | 2002-08-20 | 2002-08-20 | Facial part extraction device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004078637A true JP2004078637A (en) | 2004-03-11 |
JP4601245B2 JP4601245B2 (en) | 2010-12-22 |
Family
ID=32022192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002238957A Expired - Lifetime JP4601245B2 (en) | 2002-08-20 | 2002-08-20 | Facial part extraction device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4601245B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100809431B1 (en) | 2006-11-21 | 2008-03-05 | 한국전자통신연구원 | Method and apparatus for detecting eye in face region |
CN110927706A (en) * | 2019-12-10 | 2020-03-27 | 电子科技大学 | Convolutional neural network-based radar interference detection and identification method |
WO2021014868A1 (en) * | 2019-07-19 | 2021-01-28 | 株式会社Jvcケンウッド | Eyeball detection device, line-of-sight detection device, eyeball detection method, and eyeball detection program |
-
2002
- 2002-08-20 JP JP2002238957A patent/JP4601245B2/en not_active Expired - Lifetime
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100809431B1 (en) | 2006-11-21 | 2008-03-05 | 한국전자통신연구원 | Method and apparatus for detecting eye in face region |
US7929734B2 (en) | 2006-11-21 | 2011-04-19 | Electronics And Telecommunications Research Institute | Method and apparatus for detecting eyes in face region |
WO2021014868A1 (en) * | 2019-07-19 | 2021-01-28 | 株式会社Jvcケンウッド | Eyeball detection device, line-of-sight detection device, eyeball detection method, and eyeball detection program |
JP2021018574A (en) * | 2019-07-19 | 2021-02-15 | 株式会社Jvcケンウッド | Eyeball detection device, line-of-sight detection device, eyeball detection method, and eyeball detection program |
CN110927706A (en) * | 2019-12-10 | 2020-03-27 | 电子科技大学 | Convolutional neural network-based radar interference detection and identification method |
CN110927706B (en) * | 2019-12-10 | 2022-05-24 | 电子科技大学 | Convolutional neural network-based radar interference detection and identification method |
Also Published As
Publication number | Publication date |
---|---|
JP4601245B2 (en) | 2010-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8218862B2 (en) | Automatic mask design and registration and feature detection for computer-aided skin analysis | |
US7539342B2 (en) | Image correction apparatus | |
JP5538909B2 (en) | Detection apparatus and method | |
JP3549013B2 (en) | Eye position detection method, eye position detection device, and recording medium recording eye position detection program | |
US8641634B2 (en) | Information processing apparatus, information processing method and program | |
US7486808B2 (en) | Image processing device, image processing method and image processing program | |
JP2000105829A (en) | Method and device for face parts image detection | |
JP2008226125A (en) | Eyelid detection apparatus, eyelid detection method and program therefor | |
JP4410732B2 (en) | Face image detection device, face image detection method, and face image detection program | |
JP4809155B2 (en) | Back of hand authentication system and back of hand authentication method | |
US20090290763A1 (en) | Vein authentication apparatus and vein authentication method | |
JP2000105819A (en) | Face image area detecting device | |
JP4533849B2 (en) | Image processing apparatus and image processing program | |
JP4957607B2 (en) | Detection of facial regions in images | |
JP5377580B2 (en) | Authentication device for back of hand and authentication method for back of hand | |
JP2009038737A (en) | Image processing apparatus | |
JP2004078637A (en) | Facial portion extracting device | |
JP2011133977A (en) | Image processor, image processing method, and program | |
CN100377164C (en) | Method, device and storage medium for detecting face complexion area in image | |
JP4767208B2 (en) | Facial part position detection apparatus, method and program | |
JP2008269131A (en) | Image processor and image processing program | |
JP4895876B2 (en) | Eye detection apparatus and program | |
JP4910212B2 (en) | Eye position detection apparatus, method and program | |
JP2004178402A (en) | Face image processing device, face image processing method and face image processing program | |
JP2006065613A (en) | Apparatus and method for partitioning specific image area and program for allowing computer to execute specific image area partitioning processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050525 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20071205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080910 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100827 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100928 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4601245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
SG99 | Written request for registration of restore |
Free format text: JAPANESE INTERMEDIATE CODE: R316G99 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |