JP2000163600A - 顔の撮影/認識方法とその装置 - Google Patents
顔の撮影/認識方法とその装置Info
- Publication number
- JP2000163600A JP2000163600A JP11322332A JP32233299A JP2000163600A JP 2000163600 A JP2000163600 A JP 2000163600A JP 11322332 A JP11322332 A JP 11322332A JP 32233299 A JP32233299 A JP 32233299A JP 2000163600 A JP2000163600 A JP 2000163600A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- search
- area
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 本発明は、カメラに捉えられる物体を知能的
に撮影できる顔撮影/認識方法とその装置に関し、特
に、被写体の動きを追跡して顔部分の映像を瞬間的に正
確に撮影及び認識し、撮影された顔部分の映像の状態を
判断して危険人物に対しては、予め警報する。 【解決手段】 所定の場所に設置されたカメラによって
入力される画像信号から顔の資料を抽出して顔の位置を
確認し、前記確認された顔を追跡するための検索対象領
域を選択する初期分析過程と、前記選択された検索対象
領域内で確認された顔を追跡するために、前記カメラの
位置を左右方向、上下方向または前後方向に移動させる
パン/チルトまたはズーム制御過程と、前記検索対象領
域内で確認された顔の輪郭線を抽出及び分析して顔の存
在または異常があるかどうかを判断する判断過程と、前
記判断された顔の映像を貯蔵し、他の認識システムで伝
える貯蔵及び伝達過程とより構成される。
に撮影できる顔撮影/認識方法とその装置に関し、特
に、被写体の動きを追跡して顔部分の映像を瞬間的に正
確に撮影及び認識し、撮影された顔部分の映像の状態を
判断して危険人物に対しては、予め警報する。 【解決手段】 所定の場所に設置されたカメラによって
入力される画像信号から顔の資料を抽出して顔の位置を
確認し、前記確認された顔を追跡するための検索対象領
域を選択する初期分析過程と、前記選択された検索対象
領域内で確認された顔を追跡するために、前記カメラの
位置を左右方向、上下方向または前後方向に移動させる
パン/チルトまたはズーム制御過程と、前記検索対象領
域内で確認された顔の輪郭線を抽出及び分析して顔の存
在または異常があるかどうかを判断する判断過程と、前
記判断された顔の映像を貯蔵し、他の認識システムで伝
える貯蔵及び伝達過程とより構成される。
Description
【0001】
【発明の属する技術分野】本発明は、カメラに捉えられ
る物体を知能的に撮影できる顔の撮影/認識方法とその
装置に関し、特に、本発明は、被写体の動きによってカ
メラを調節して被写体の顔部分を正確に撮影し認識する
ことによって、特定個人を識別し、場合によっては、危
険人物に対する警報を発生することによって、保安を必
要とする装置の監視、画像認識システム、画像電話、イ
ンターネットオンラインゲーム、仮想現実装置等に使用
できるようにするものである。
る物体を知能的に撮影できる顔の撮影/認識方法とその
装置に関し、特に、本発明は、被写体の動きによってカ
メラを調節して被写体の顔部分を正確に撮影し認識する
ことによって、特定個人を識別し、場合によっては、危
険人物に対する警報を発生することによって、保安を必
要とする装置の監視、画像認識システム、画像電話、イ
ンターネットオンラインゲーム、仮想現実装置等に使用
できるようにするものである。
【0002】
【従来の技術】従来の無人監視システムあるいは顔認識
システムで使われる顔の撮影方法は望む場所(例えば、
天井でも壁面)に一つまたは多数の監視カメラを設置し
ておき、前記多数の監視カメラにより撮影される映像信
号を用いて遠距離で現場の状態を監視し、無人で現場全
体を録画する方式で構成されている。このようなシステ
ムは特定の現場状況を判断するための目的に主として使
われている。
システムで使われる顔の撮影方法は望む場所(例えば、
天井でも壁面)に一つまたは多数の監視カメラを設置し
ておき、前記多数の監視カメラにより撮影される映像信
号を用いて遠距離で現場の状態を監視し、無人で現場全
体を録画する方式で構成されている。このようなシステ
ムは特定の現場状況を判断するための目的に主として使
われている。
【0003】しかし、上記のような無人監視システムで
も顔認識システムは、常に指定された位置(高さまたは
距離)で現場の映像信号を取得するようになっている。
従って、カメラと被写体との距離の変化または被写体の
高低変化等に応じてカメラで撮影される映像信号は不規
則で、カメラを避けて迅速に移動する物体と顔を覆った
被写体とはほとんど識別できない。ただ、カメラに被写
体の顔を正面で撮影したり、操作者がリモコンまたは方
向調整キーなどを用いて人為的にカメラを調整しなけれ
ば、識別可能な映像資料を得ることができなかった。
も顔認識システムは、常に指定された位置(高さまたは
距離)で現場の映像信号を取得するようになっている。
従って、カメラと被写体との距離の変化または被写体の
高低変化等に応じてカメラで撮影される映像信号は不規
則で、カメラを避けて迅速に移動する物体と顔を覆った
被写体とはほとんど識別できない。ただ、カメラに被写
体の顔を正面で撮影したり、操作者がリモコンまたは方
向調整キーなどを用いて人為的にカメラを調整しなけれ
ば、識別可能な映像資料を得ることができなかった。
【0004】従って、顔を識別するための目的として前
記映像資料が使われる場合は、貯蔵された動映像のうち
から人の顔を識別することは非常に難しかった。また、
被写体がカメラの正面を見ていない場合、あるいは背を
向けて立っている場合は、被写体の後ろ姿を撮影して記
録する。このようにして得られた映像資料は、保安上の
問題が発生される時、記録された資料を検索しても正確
な顔を検索し難いので、捜査目的等に活用するに充分な
資料を提供できない。また、貯蔵されたデータも単純な
動映像資料であるので、不必要とされる膨大な量を貯蔵
する貯蔵装置が必要であった。
記映像資料が使われる場合は、貯蔵された動映像のうち
から人の顔を識別することは非常に難しかった。また、
被写体がカメラの正面を見ていない場合、あるいは背を
向けて立っている場合は、被写体の後ろ姿を撮影して記
録する。このようにして得られた映像資料は、保安上の
問題が発生される時、記録された資料を検索しても正確
な顔を検索し難いので、捜査目的等に活用するに充分な
資料を提供できない。また、貯蔵されたデータも単純な
動映像資料であるので、不必要とされる膨大な量を貯蔵
する貯蔵装置が必要であった。
【0005】最近は、上記のような問題点を改善するた
めに、カメラに捉えられる被写体の動きに応じてカメラ
を移動させ、被写体の正面でより正確な顔映像を撮影し
認識できる技術開発が要求されつつある。
めに、カメラに捉えられる被写体の動きに応じてカメラ
を移動させ、被写体の正面でより正確な顔映像を撮影し
認識できる技術開発が要求されつつある。
【0006】
【発明が解決しようとする課題】従って、本発明は前記
の問題点を解決するために案出したものであって、本発
明は、カメラに捉えられる被写体の皮膚色及び動きを検
出することによって、最も適切な追跡対象体を自動で選
定し、別の人為的に操作することがなく、カメラが自動
で被写体を追跡することによって、顔部分の映像を瞬間
的に停止画面で撮影できる顔の撮影方法及び装置と、前
記撮影された被写体の顔映像を分析することによって、
正確に特定個人を認識できる顔の認識方法及び装置を提
供することに目的がある。
の問題点を解決するために案出したものであって、本発
明は、カメラに捉えられる被写体の皮膚色及び動きを検
出することによって、最も適切な追跡対象体を自動で選
定し、別の人為的に操作することがなく、カメラが自動
で被写体を追跡することによって、顔部分の映像を瞬間
的に停止画面で撮影できる顔の撮影方法及び装置と、前
記撮影された被写体の顔映像を分析することによって、
正確に特定個人を認識できる顔の認識方法及び装置を提
供することに目的がある。
【0007】また、本発明は、前記選定された追跡対象
体の顔の映像信号を分析することによって、危険要因が
ある顔(覆面、濃いサングラス、帽子を被った場合等)
を識別し、危険人物に対しては警報を発生させることに
よって、今後、発生し得る緊急な状況に予め対処できる
顔の認識方法及び装置を提供するにその目的がある。
体の顔の映像信号を分析することによって、危険要因が
ある顔(覆面、濃いサングラス、帽子を被った場合等)
を識別し、危険人物に対しては警報を発生させることに
よって、今後、発生し得る緊急な状況に予め対処できる
顔の認識方法及び装置を提供するにその目的がある。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項1に記載の顔の撮影方法は、所定の
場所に設置されたカメラによって入力される画像信号か
ら顔の資料を抽出して顔の位置を確認し、前記確認され
た顔を追跡するための検索対象領域を選択する初期分析
過程と、前記選択された検索対象領域内で確認された顔
を追跡するために、前記カメラの位置を左右方向、上下
方向または前後方向に移動させるパン/チルトまたはズ
ーム制御過程と、前記検索対象領域内で確認された顔の
輪郭線を抽出及び分析して顔の存在または異常があるか
どうかを判断する判断過程と、前記判断された顔の映像
を貯蔵し、他の認識システムで伝える貯蔵及び伝達過程
とより構成されることを特徴とするものである。
に、本発明の請求項1に記載の顔の撮影方法は、所定の
場所に設置されたカメラによって入力される画像信号か
ら顔の資料を抽出して顔の位置を確認し、前記確認され
た顔を追跡するための検索対象領域を選択する初期分析
過程と、前記選択された検索対象領域内で確認された顔
を追跡するために、前記カメラの位置を左右方向、上下
方向または前後方向に移動させるパン/チルトまたはズ
ーム制御過程と、前記検索対象領域内で確認された顔の
輪郭線を抽出及び分析して顔の存在または異常があるか
どうかを判断する判断過程と、前記判断された顔の映像
を貯蔵し、他の認識システムで伝える貯蔵及び伝達過程
とより構成されることを特徴とするものである。
【0009】本発明の請求項2に記載の顔の撮影方法
は、請求項1の構成に加えて、前記検索対象領域内で抽
出された顔の輪郭線を分析及び判断した結果、非正常的
な情報を有している顔に対して警報を発生させる警報発
生過程を更に含むことを特徴とするものである。
は、請求項1の構成に加えて、前記検索対象領域内で抽
出された顔の輪郭線を分析及び判断した結果、非正常的
な情報を有している顔に対して警報を発生させる警報発
生過程を更に含むことを特徴とするものである。
【0010】本発明の請求項3に記載の顔の撮影方法
は、請求項1の構成に加えて、前記初期分析過程は、現
在抽出された映像資料を既に貯蔵された以前の映像資料
と比べて、動きがある部分を検出し、現在抽出された映
像資料から色構成要素の割合が皮膚色範囲にいる部分を
検出し、顔色と動きとが検出される部分を確認して検索
対象候補領域を選定することを特徴とするものである。
は、請求項1の構成に加えて、前記初期分析過程は、現
在抽出された映像資料を既に貯蔵された以前の映像資料
と比べて、動きがある部分を検出し、現在抽出された映
像資料から色構成要素の割合が皮膚色範囲にいる部分を
検出し、顔色と動きとが検出される部分を確認して検索
対象候補領域を選定することを特徴とするものである。
【0011】本発明の請求項4に記載の顔の撮影方法
は、請求項3の構成に加えて、前記初期分析過程は、前
記検索対象領域内で二つ以上の顔の位置が確認される場
合、既に選定された追跡対象を中心としてそれに類似し
ている映像を新しい追跡対象として選定することを特徴
とするものである。
は、請求項3の構成に加えて、前記初期分析過程は、前
記検索対象領域内で二つ以上の顔の位置が確認される場
合、既に選定された追跡対象を中心としてそれに類似し
ている映像を新しい追跡対象として選定することを特徴
とするものである。
【0012】本発明の請求項5に記載の顔の撮影方法
は、請求項4の構成に加えて、前記初期分析過程は、既
に選定された追跡対象がない場合、撮像領域の中央部分
に類似している映像を新しい追跡対象として選定するこ
とを特徴とするものである。
は、請求項4の構成に加えて、前記初期分析過程は、既
に選定された追跡対象がない場合、撮像領域の中央部分
に類似している映像を新しい追跡対象として選定するこ
とを特徴とするものである。
【0013】本発明の請求項6に記載の顔の撮影方法
は、請求項2の構成に加えて、前記判断過程は、前記検
索対象領域内の映像資料に対する平均明度を基準として
顔の輪郭線を抽出し、個人別及び/または撮影地域別特
性によって輪郭線の強度を調節することを特徴とするも
のである。
は、請求項2の構成に加えて、前記判断過程は、前記検
索対象領域内の映像資料に対する平均明度を基準として
顔の輪郭線を抽出し、個人別及び/または撮影地域別特
性によって輪郭線の強度を調節することを特徴とするも
のである。
【0014】本発明の請求項7に記載の顔の撮影方法
は、請求項6の構成に加えて、前記判断過程は、前記検
索対象領域内で抽出された映像資料の輪郭線と既に設定
された顔形態のテンプレートとを比較し、顔形態のテン
プレートに類似している形態の輪郭線が検出される場
合、前記検索領域内に顔が存在すると判断することを特
徴とするものである。
は、請求項6の構成に加えて、前記判断過程は、前記検
索対象領域内で抽出された映像資料の輪郭線と既に設定
された顔形態のテンプレートとを比較し、顔形態のテン
プレートに類似している形態の輪郭線が検出される場
合、前記検索領域内に顔が存在すると判断することを特
徴とするものである。
【0015】本発明の請求項8に記載の顔の撮影方法
は、請求項7の構成に加えて、前記判断過程は、既に設
定された顔形態のテンプレートを前記検索対象領域の大
きさに変換し、前記顔形態のテンプレートと検索領域の
輪郭線とを比較することを特徴とするものである。
は、請求項7の構成に加えて、前記判断過程は、既に設
定された顔形態のテンプレートを前記検索対象領域の大
きさに変換し、前記顔形態のテンプレートと検索領域の
輪郭線とを比較することを特徴とするものである。
【0016】本発明の請求項9に記載の顔の撮影方法
は、請求項7の構成に加えて、前記判断過程は、既に設
定された目の周りのテンプレートに前記抽出された顔の
輪郭線を代入して、目に対する部分検索を行なって目に
異常があるかどうかを判断する段階と、前記目に対する
部分検索を完了した後、既に設定された鼻及び口の周り
のテンプレートに前記抽出された顔の輪郭線を代入し、
鼻及び口に対する部分検索を行なって鼻及び口に異常が
あるかどうかを判断する段階と、前記鼻及び口に対する
部分検索を完了した後、既に設定された目と鼻、口に対
する数値資料に前記抽出された顔の輪郭線の数値資料を
代入して、総合的な顔の異常有無を判断する段階とを含
むことを特徴とするものである。
は、請求項7の構成に加えて、前記判断過程は、既に設
定された目の周りのテンプレートに前記抽出された顔の
輪郭線を代入して、目に対する部分検索を行なって目に
異常があるかどうかを判断する段階と、前記目に対する
部分検索を完了した後、既に設定された鼻及び口の周り
のテンプレートに前記抽出された顔の輪郭線を代入し、
鼻及び口に対する部分検索を行なって鼻及び口に異常が
あるかどうかを判断する段階と、前記鼻及び口に対する
部分検索を完了した後、既に設定された目と鼻、口に対
する数値資料に前記抽出された顔の輪郭線の数値資料を
代入して、総合的な顔の異常有無を判断する段階とを含
むことを特徴とするものである。
【0017】本発明の請求項10に記載の顔の撮影方法
は、請求項2の構成に加えて、前記顔映像貯蔵及び伝達
過程は、入力された映像のうち、顔映像のみを別に抽出
し貯蔵することを特徴とするものである。
は、請求項2の構成に加えて、前記顔映像貯蔵及び伝達
過程は、入力された映像のうち、顔映像のみを別に抽出
し貯蔵することを特徴とするものである。
【0018】本発明の請求項11に記載の顔の撮影方法
は、所定の場所に設置されたカメラによって入力される
画像信号から顔の資料を抽出して顔の位置を確認し、前
記確認された顔を追跡するための検索対象領域を選択す
る初期分析過程と、前記選択された検索対象領域内で確
認された顔を追跡するために、前記カメラの位置を左右
方向、上下方向、または前後方向に移動させるパン/チ
ルトまたはズーム制御過程と、前記検索対象領域内で確
認された顔の輪郭線を抽出及び分析して顔の存在または
異常があるかどうかを判断する判断過程と、前記判断過
程によって顔が存在すると判断された前記検索対象領域
内の顔映像に対する3次元情報を生成して個人別マスク
を合成し、それを既に貯蔵された個人別マスクと比較し
て特定個人を認識する認識過程とを含むことを特徴とす
るものである。
は、所定の場所に設置されたカメラによって入力される
画像信号から顔の資料を抽出して顔の位置を確認し、前
記確認された顔を追跡するための検索対象領域を選択す
る初期分析過程と、前記選択された検索対象領域内で確
認された顔を追跡するために、前記カメラの位置を左右
方向、上下方向、または前後方向に移動させるパン/チ
ルトまたはズーム制御過程と、前記検索対象領域内で確
認された顔の輪郭線を抽出及び分析して顔の存在または
異常があるかどうかを判断する判断過程と、前記判断過
程によって顔が存在すると判断された前記検索対象領域
内の顔映像に対する3次元情報を生成して個人別マスク
を合成し、それを既に貯蔵された個人別マスクと比較し
て特定個人を認識する認識過程とを含むことを特徴とす
るものである。
【0019】本発明の請求項12に記載の顔の撮影方法
は、請求項11の構成に加えて、前記検索対象領域内で
抽出された顔の輪郭線を分析及び判断した結果、非正常
的な情報を有している顔には警報を発生させる警報発生
過程を更に含むことを特徴とするものである。
は、請求項11の構成に加えて、前記検索対象領域内で
抽出された顔の輪郭線を分析及び判断した結果、非正常
的な情報を有している顔には警報を発生させる警報発生
過程を更に含むことを特徴とするものである。
【0020】本発明の請求項13に記載の顔の撮影方法
は、請求項12の構成に加えて、前記初期分析過程は、
現在抽出された映像資料を既に貯蔵された以前の映像資
料と比較して、動きがある部分を検出し、現在抽出され
た映像資料から色構成要素の割合より構成される顔色範
囲の色相比が存在する部分を検出し、顔色と動きとが同
時に検出される部分を顔の位置で確認して検索対象領域
を選定することを特徴とするものである。
は、請求項12の構成に加えて、前記初期分析過程は、
現在抽出された映像資料を既に貯蔵された以前の映像資
料と比較して、動きがある部分を検出し、現在抽出され
た映像資料から色構成要素の割合より構成される顔色範
囲の色相比が存在する部分を検出し、顔色と動きとが同
時に検出される部分を顔の位置で確認して検索対象領域
を選定することを特徴とするものである。
【0021】本発明の請求項14に記載の顔の撮影方法
は、請求項13の構成に加えて、前記初期分析過程は、
前記検索対象領域内で二つ以上の顔の位置が確認される
場合、既に選定された追跡対象を中心としてそれに類似
している映像を新しい追跡対象として選定することを特
徴とするものである。
は、請求項13の構成に加えて、前記初期分析過程は、
前記検索対象領域内で二つ以上の顔の位置が確認される
場合、既に選定された追跡対象を中心としてそれに類似
している映像を新しい追跡対象として選定することを特
徴とするものである。
【0022】本発明の請求項15に記載の顔の撮影方法
は、請求項14の構成に加えて、前記初期分析過程は、
既に選定された追跡対象がない場合、撮像領域の中央部
分に類似している映像を新しい追跡対象として選定する
ことを特徴とするものである。
は、請求項14の構成に加えて、前記初期分析過程は、
既に選定された追跡対象がない場合、撮像領域の中央部
分に類似している映像を新しい追跡対象として選定する
ことを特徴とするものである。
【0023】本発明の請求項16に記載の顔の撮影方法
は、請求項12の構成に加えて、前記判断過程は、前記
検索対象領域内の映像資料に対する平均明度を基準とし
て顔の輪郭線を抽出し、個人別及び/または撮影地域別
特性に応じて輪郭線の強度を調節することを特徴とする
ものである。
は、請求項12の構成に加えて、前記判断過程は、前記
検索対象領域内の映像資料に対する平均明度を基準とし
て顔の輪郭線を抽出し、個人別及び/または撮影地域別
特性に応じて輪郭線の強度を調節することを特徴とする
ものである。
【0024】本発明の請求項17に記載の顔の撮影方法
は、請求項16の構成に加えて、前記判断過程は、前記
検索対象領域内で抽出された映像資料の輪郭線と既に設
定された顔形態のテンプレートとを比較し、顔形態のテ
ンプレートに類似している形態の輪郭線が検出される場
合、前記検索領域内に顔が存在すると判断することを特
徴とするものである。
は、請求項16の構成に加えて、前記判断過程は、前記
検索対象領域内で抽出された映像資料の輪郭線と既に設
定された顔形態のテンプレートとを比較し、顔形態のテ
ンプレートに類似している形態の輪郭線が検出される場
合、前記検索領域内に顔が存在すると判断することを特
徴とするものである。
【0025】本発明の請求項18に記載の顔の撮影方法
は、請求項17の構成に加えて、前記判断過程は、既に
設定された顔形態のテンプレートを前記検索対象領域の
大きさに変換して、前記顔形態のテンプレートと検索領
域の輪郭線とを比較することを特徴とするものである。
は、請求項17の構成に加えて、前記判断過程は、既に
設定された顔形態のテンプレートを前記検索対象領域の
大きさに変換して、前記顔形態のテンプレートと検索領
域の輪郭線とを比較することを特徴とするものである。
【0026】本発明の請求項19に記載の顔の撮影方法
は、請求項17の構成に加えて、前記判断過程は、既に
設定された目の周りのテンプレートに前記抽出された顔
の輪郭線を代入し、目に対する部分検索を行なって目に
異常があるかどうかを判断する段階と、前記目に対する
部分検索を完了した後、既に設定された鼻及び口の周り
のテンプレートに前記抽出された顔の輪郭線を代入し、
鼻及び口に対する部分検索を行なって鼻及び口に異常が
あるかどうかを判断する段階と、前記鼻及び口に対する
部分検索を完了した後、既に設定された目と鼻、口に対
する数値資料に前記抽出された顔の輪郭線の数値資料を
代入し、総合的に顔に異常があるかどうかを判断する段
階とを含むことを特徴とする。
は、請求項17の構成に加えて、前記判断過程は、既に
設定された目の周りのテンプレートに前記抽出された顔
の輪郭線を代入し、目に対する部分検索を行なって目に
異常があるかどうかを判断する段階と、前記目に対する
部分検索を完了した後、既に設定された鼻及び口の周り
のテンプレートに前記抽出された顔の輪郭線を代入し、
鼻及び口に対する部分検索を行なって鼻及び口に異常が
あるかどうかを判断する段階と、前記鼻及び口に対する
部分検索を完了した後、既に設定された目と鼻、口に対
する数値資料に前記抽出された顔の輪郭線の数値資料を
代入し、総合的に顔に異常があるかどうかを判断する段
階とを含むことを特徴とする。
【0027】本発明の請求項20に記載の顔の撮影方法
は、カメラによって捉えられる画像信号に対して多数の
検索候補領域を選定して該当領域内に顔が存在している
どうかを判断し、特定候補領域を選択して前記選択され
た候補領域の被写体の動きによってカメラの方向を調節
する過程と、前記顔が存在しているがどうかを判断した
結果、検索候補領域内に顔が存在する画像信号に対して
は特徴点を検出してイメージを再配列し、前記再配列さ
れたイメージ間の変位情報で3次元情報を生成し、その
3次元情報で被写体の顔マスクを合成する過程と、前記
合成された顔マスクをデータベースに予め構築されてい
る個人別登録マスクから探索して特定個人に対するイメ
ージが登録されているかどうかを判断する過程とを含む
ことを特徴とするものである。
は、カメラによって捉えられる画像信号に対して多数の
検索候補領域を選定して該当領域内に顔が存在している
どうかを判断し、特定候補領域を選択して前記選択され
た候補領域の被写体の動きによってカメラの方向を調節
する過程と、前記顔が存在しているがどうかを判断した
結果、検索候補領域内に顔が存在する画像信号に対して
は特徴点を検出してイメージを再配列し、前記再配列さ
れたイメージ間の変位情報で3次元情報を生成し、その
3次元情報で被写体の顔マスクを合成する過程と、前記
合成された顔マスクをデータベースに予め構築されてい
る個人別登録マスクから探索して特定個人に対するイメ
ージが登録されているかどうかを判断する過程とを含む
ことを特徴とするものである。
【0028】本発明の請求項21に記載の顔の撮影方法
は、カメラによって入力される画像信号から皮膚色デー
タと動きデータをそれぞれ抽出して多数の検索候補領域
を選定し、該当検索候補領域内の画像信号に対する顔構
成要素の検索による顔が存在する領域を検出して特定候
補領域を選択し、前記選択された候補領域の特徴点を検
出してイメージを再配列した後、再配列されたイメージ
を用いて顔が存在しているかどうかを確認しながらカメ
ラの位置を調節する過程と、前記検索候補領域内に顔が
存在する画像信号に対しては、再びイメージを再配列し
た後、前記再配列されたイメージ間の変位情報を用いて
3次元情報を生成し、前記3次元情報を基準マスクと比
較して個人別顔マスクを合成する過程と、前記合成され
た顔マスクをデータベースに予め構築されている個人別
登録マスクらから探索して特定個人に対するイメージが
登録されているどうかを確認する過程とよりなることを
特徴とするものである。
は、カメラによって入力される画像信号から皮膚色デー
タと動きデータをそれぞれ抽出して多数の検索候補領域
を選定し、該当検索候補領域内の画像信号に対する顔構
成要素の検索による顔が存在する領域を検出して特定候
補領域を選択し、前記選択された候補領域の特徴点を検
出してイメージを再配列した後、再配列されたイメージ
を用いて顔が存在しているかどうかを確認しながらカメ
ラの位置を調節する過程と、前記検索候補領域内に顔が
存在する画像信号に対しては、再びイメージを再配列し
た後、前記再配列されたイメージ間の変位情報を用いて
3次元情報を生成し、前記3次元情報を基準マスクと比
較して個人別顔マスクを合成する過程と、前記合成され
た顔マスクをデータベースに予め構築されている個人別
登録マスクらから探索して特定個人に対するイメージが
登録されているどうかを確認する過程とよりなることを
特徴とするものである。
【0029】本発明の請求項22に記載の顔の撮影装置
は、所定の場所に設置されたカメラによって撮影される
物体の映像を捕捉して、連続された画像信号を出力する
画像入力手段と、前記画像入力手段のカメラを上下左右
または前後に移動させるパン/チルトまたはズーム駆動
手段と、前記画像入力手段に物体の映像が捉えられる
時、前記カメラが物体の動きを追跡するように前記パン
/チルトまたはズーム駆動手段を制御し、前記画像入力
手段から入力された画像信号から物体の動き及び顔色を
検出して検索領域を選定し、前記選定された領域内の画
像信号から顔部分を検索して貯蔵し、またはディスプレ
ー手段へ伝達する主制御手段と、前記主制御手段から伝
えられる画像信号を貯蔵し、前記貯蔵された顔部分画像
信号を検索する顔映像貯蔵及び検索手段と、前記主制御
手段から伝えられる顔部分映像信号を出力するディスプ
レー手段とより構成することを特徴とするものである。
は、所定の場所に設置されたカメラによって撮影される
物体の映像を捕捉して、連続された画像信号を出力する
画像入力手段と、前記画像入力手段のカメラを上下左右
または前後に移動させるパン/チルトまたはズーム駆動
手段と、前記画像入力手段に物体の映像が捉えられる
時、前記カメラが物体の動きを追跡するように前記パン
/チルトまたはズーム駆動手段を制御し、前記画像入力
手段から入力された画像信号から物体の動き及び顔色を
検出して検索領域を選定し、前記選定された領域内の画
像信号から顔部分を検索して貯蔵し、またはディスプレ
ー手段へ伝達する主制御手段と、前記主制御手段から伝
えられる画像信号を貯蔵し、前記貯蔵された顔部分画像
信号を検索する顔映像貯蔵及び検索手段と、前記主制御
手段から伝えられる顔部分映像信号を出力するディスプ
レー手段とより構成することを特徴とするものである。
【0030】本発明の請求項24に記載の顔の撮影装置
は、請求項23の構成に加えて、前記主制御手段は、前
記画像入力手段で撮影された入力画像で、顔色が存在す
る部分と動きが存在する部分とを抽出して検索しようと
する領域を選択する初期分析部と、前記選択された検索
領域から顔の輪郭線を抽出し、予め設定された顔テンプ
レートと顔の輪郭線とを比較し、その比較結果によって
顔の存在及び異常有無を判断して追跡対象を選定する判
断部と、前記判断部で選定された追跡対象がカメラの撮
像領域の中央に位置しているかを判断し、該当追跡対象
の動きを追跡するためのカメラの位置の調節値を計算し
て出力する客体管理部と、前記客体管理部から伝えられ
るカメラの位置の調節値だけ前記画像入力手段のカメラ
を左右方向、上下方向、または前後方向に移動させるた
めのパン/チルト及びズーム制御信号を発生するパン/
チルトまたはズーム制御部と、前記画像入力手段に捉え
られた顔映像を貯蔵し、前記追跡対象物体の映像をディ
スプレー手段へ伝達する映像貯蔵及び伝達部と、前記貯
蔵された顔映像を認識して検索する顔認識及び検索部と
より構成することを特徴とするものである。
は、請求項23の構成に加えて、前記主制御手段は、前
記画像入力手段で撮影された入力画像で、顔色が存在す
る部分と動きが存在する部分とを抽出して検索しようと
する領域を選択する初期分析部と、前記選択された検索
領域から顔の輪郭線を抽出し、予め設定された顔テンプ
レートと顔の輪郭線とを比較し、その比較結果によって
顔の存在及び異常有無を判断して追跡対象を選定する判
断部と、前記判断部で選定された追跡対象がカメラの撮
像領域の中央に位置しているかを判断し、該当追跡対象
の動きを追跡するためのカメラの位置の調節値を計算し
て出力する客体管理部と、前記客体管理部から伝えられ
るカメラの位置の調節値だけ前記画像入力手段のカメラ
を左右方向、上下方向、または前後方向に移動させるた
めのパン/チルト及びズーム制御信号を発生するパン/
チルトまたはズーム制御部と、前記画像入力手段に捉え
られた顔映像を貯蔵し、前記追跡対象物体の映像をディ
スプレー手段へ伝達する映像貯蔵及び伝達部と、前記貯
蔵された顔映像を認識して検索する顔認識及び検索部と
より構成することを特徴とするものである。
【0031】本発明の請求項25に記載の顔の撮影装置
は、請求項24の構成に加えて、前記初期分析部は、前
記画像入力手段から提供される現在抽出された映像資料
と予め貯蔵された以前の映像資料とを比較して動きがあ
る部分を検出し、色構成要素の割合が皮膚色の範囲にい
る部分を検出し、顔色と動きとが同時に検出された部分
を検索領域として選定することを特徴とするものであ
る。
は、請求項24の構成に加えて、前記初期分析部は、前
記画像入力手段から提供される現在抽出された映像資料
と予め貯蔵された以前の映像資料とを比較して動きがあ
る部分を検出し、色構成要素の割合が皮膚色の範囲にい
る部分を検出し、顔色と動きとが同時に検出された部分
を検索領域として選定することを特徴とするものであ
る。
【0032】本発明の請求項26に記載の顔の撮影装置
は、請求項24の構成に加えて、前記判断部は、前記検
出された輪郭線と予め貯蔵された顔形態のテンプレート
との比較結果、顔形態のテンプレートに類似している形
態の輪郭線が検索領域から検出される場合、前記検索領
域に顔が存在すると判断することを特徴とするものであ
る。
は、請求項24の構成に加えて、前記判断部は、前記検
出された輪郭線と予め貯蔵された顔形態のテンプレート
との比較結果、顔形態のテンプレートに類似している形
態の輪郭線が検索領域から検出される場合、前記検索領
域に顔が存在すると判断することを特徴とするものであ
る。
【0033】本発明の請求項27に記載の顔の撮影装置
は、請求項26の構成に加えて、前記判断部は、前記予
め貯蔵された顔形態のテンプレートを前記検索領域の大
きさに変換し、前記顔形態のテンプレートと検索領域の
輪郭線とを比較することを特徴とするものである。
は、請求項26の構成に加えて、前記判断部は、前記予
め貯蔵された顔形態のテンプレートを前記検索領域の大
きさに変換し、前記顔形態のテンプレートと検索領域の
輪郭線とを比較することを特徴とするものである。
【0034】本発明の請求項28に記載の顔の撮影装置
は、請求項27の構成に加えて、前記判断部は、現在抽
出された映像資料と予め貯蔵された以前の映像資料との
比較結果によって追跡対象物体を選定する時、二つ以上
の追跡対象が検出される場合は、以前に選定された追跡
対象と最も類似している映像を新しい追跡対象として選
定することを特徴とするものである。
は、請求項27の構成に加えて、前記判断部は、現在抽
出された映像資料と予め貯蔵された以前の映像資料との
比較結果によって追跡対象物体を選定する時、二つ以上
の追跡対象が検出される場合は、以前に選定された追跡
対象と最も類似している映像を新しい追跡対象として選
定することを特徴とするものである。
【0035】本発明の請求項29に記載の顔の撮影装置
は、請求項27の構成に加えて、前記判断部は、現在抽
出された映像資料と予め貯蔵された以前の映像資料との
比較結果によって、追跡対象を選定する時、二つ以上の
追跡対象が検出された状態で、以前に選定された追跡対
象がない場合、撮像領域の中央に最も類似している顔を
新しい追跡対象として選定することを特徴とするもので
ある。
は、請求項27の構成に加えて、前記判断部は、現在抽
出された映像資料と予め貯蔵された以前の映像資料との
比較結果によって、追跡対象を選定する時、二つ以上の
追跡対象が検出された状態で、以前に選定された追跡対
象がない場合、撮像領域の中央に最も類似している顔を
新しい追跡対象として選定することを特徴とするもので
ある。
【0036】
【実施の形態】以下、本発明の望ましい実施の形態を図
面に基づき詳しく説明する。
面に基づき詳しく説明する。
【0037】図1乃至図18に基づいて本発明の一実施
の形態を詳しく説明すれば次の通りである。
の形態を詳しく説明すれば次の通りである。
【0038】図1は顔の撮影/認識装置を具現するため
に必要とする回路構成を概略的に示しているブロック図
であって、図のように本発明の装置は、所定の場所に設
置されたカメラに捉えられる物体を撮影し、連続された
画像信号を入力される画像入力手段10と、前記画像入
力手段10のカメラを上、下、左、右または前、後に移
動させるパン/チルトまたはズーム駆動手段20と、前
記画像入力手段10のカメラに捉えられる物体を画面の
中央に位置させて前記カメラが物体の動きを追跡するよ
うに前記パン/チルトまたはズーム駆動手段20を制御
し、前記画像入力手段10から入力される画像信号から
物体の動き及び顔色を検出して検索領域を選定し、前記
選定された領域内の画像信号から顔部分を検索して貯蔵
し、またはディスプレー手段へ伝達する主制御手段30
と、前記主制御手段30から伝えられる画像信号を貯蔵
し、前記貯蔵された顔部分の画像信号を検索する顔映像
の貯蔵または検索手段50と、前記主制御手段30から
伝えられる顔部分の画像信号をディスプレー手段40と
より構成する。
に必要とする回路構成を概略的に示しているブロック図
であって、図のように本発明の装置は、所定の場所に設
置されたカメラに捉えられる物体を撮影し、連続された
画像信号を入力される画像入力手段10と、前記画像入
力手段10のカメラを上、下、左、右または前、後に移
動させるパン/チルトまたはズーム駆動手段20と、前
記画像入力手段10のカメラに捉えられる物体を画面の
中央に位置させて前記カメラが物体の動きを追跡するよ
うに前記パン/チルトまたはズーム駆動手段20を制御
し、前記画像入力手段10から入力される画像信号から
物体の動き及び顔色を検出して検索領域を選定し、前記
選定された領域内の画像信号から顔部分を検索して貯蔵
し、またはディスプレー手段へ伝達する主制御手段30
と、前記主制御手段30から伝えられる画像信号を貯蔵
し、前記貯蔵された顔部分の画像信号を検索する顔映像
の貯蔵または検索手段50と、前記主制御手段30から
伝えられる顔部分の画像信号をディスプレー手段40と
より構成する。
【0039】また、前記本発明の装置は、前記主制御手
段30から提供される顔の検索結果によって視覚的な表
示装置や聴覚的な表示装置または特定の文字などを用い
て警報を発生させる警報発生手段60を更に含んで構成
し得る。
段30から提供される顔の検索結果によって視覚的な表
示装置や聴覚的な表示装置または特定の文字などを用い
て警報を発生させる警報発生手段60を更に含んで構成
し得る。
【0040】ここで、前記画像入力手段10は、外部に
装着されたパン/チルトまたはズーム駆動手段20によ
り上下、左右または前後に移動可能に設置される。そし
て、レンズに捉えられる映像をデジタル処理が可能なフ
ォーマット(例えば、RGB、YUV)で定義された画
像信号に変換するカメラ(本発明においては、デジタル
カメラの場合を例として説明する)を含む。なお、前記
画像信号を一定のフレーム間隔で処理して連続されたデ
ジタル画像資料(例えば、1秒当たり15〜30フレー
ム程の連続された画像資料)を提供する画像処理処置を
含む。
装着されたパン/チルトまたはズーム駆動手段20によ
り上下、左右または前後に移動可能に設置される。そし
て、レンズに捉えられる映像をデジタル処理が可能なフ
ォーマット(例えば、RGB、YUV)で定義された画
像信号に変換するカメラ(本発明においては、デジタル
カメラの場合を例として説明する)を含む。なお、前記
画像信号を一定のフレーム間隔で処理して連続されたデ
ジタル画像資料(例えば、1秒当たり15〜30フレー
ム程の連続された画像資料)を提供する画像処理処置を
含む。
【0041】図2は、図1の主制御手段30の機能別内
部ブロック図であって、図に示されたように、前記主制
御手段30は、画像入力手段10で撮影された入力画像
から皮膚色が存在する部分と動きが存在する部分とを抽
出して検索しようとする領域を選択する初期分析部31
を含む。また、前記初期分析部31から選択された検索
領域から顔の輪郭線を抽出してから、それを予め設定さ
れている顔のテンプレートと比較し、その比較結果によ
って、顔の存在及び異常有無を判断し、その判断結果に
よって追跡対象を選定する判断部32を含む。また、前
記判断部32から選定された追跡対象がカメラ撮像領域
の中央に位置しているかどうかを判断すると同時に、該
当追跡対象の動きを追跡するためのカメラ位置の調節値
を計算し出力する客体管理部33を含む。更に、前記客
体管理部33から伝えられる値だけ前記画像入力手段1
0のカメラを左右方向、上下方向、または前後方向に移
動させるためのパン/チルトまたはズーム制御信号を発
生するパン/チルトまたはズーム制御部34を含む。ま
た、前記画像入力手段10に捉えられ顔映像を貯蔵し、
前記追跡対象物体の映像をディスプレー手段40及び顔
映像の貯蔵または検索手段50へそれぞれ伝える顔映像
の貯蔵及び伝達部35を含み、前記貯蔵された顔映像を
認識し検索して、その結果を警報発生手段60へ提供す
る顔認識及び検索部36を含む。
部ブロック図であって、図に示されたように、前記主制
御手段30は、画像入力手段10で撮影された入力画像
から皮膚色が存在する部分と動きが存在する部分とを抽
出して検索しようとする領域を選択する初期分析部31
を含む。また、前記初期分析部31から選択された検索
領域から顔の輪郭線を抽出してから、それを予め設定さ
れている顔のテンプレートと比較し、その比較結果によ
って、顔の存在及び異常有無を判断し、その判断結果に
よって追跡対象を選定する判断部32を含む。また、前
記判断部32から選定された追跡対象がカメラ撮像領域
の中央に位置しているかどうかを判断すると同時に、該
当追跡対象の動きを追跡するためのカメラ位置の調節値
を計算し出力する客体管理部33を含む。更に、前記客
体管理部33から伝えられる値だけ前記画像入力手段1
0のカメラを左右方向、上下方向、または前後方向に移
動させるためのパン/チルトまたはズーム制御信号を発
生するパン/チルトまたはズーム制御部34を含む。ま
た、前記画像入力手段10に捉えられ顔映像を貯蔵し、
前記追跡対象物体の映像をディスプレー手段40及び顔
映像の貯蔵または検索手段50へそれぞれ伝える顔映像
の貯蔵及び伝達部35を含み、前記貯蔵された顔映像を
認識し検索して、その結果を警報発生手段60へ提供す
る顔認識及び検索部36を含む。
【0042】初期分析部31は、図3に示されているよ
うに、前記画像入力手段10で提供される現在の入力画
像信号(S313)から抽出された映像資料(S31
4)と予め貯蔵された以前の映像資料(S315)とを
比較して動きがある部分を検出する(S316)。そし
て、前記画像入力手段10で提供される画像信号から色
の構成要素(例えば、R(赤)、G(緑)、B(青)や
YUV)の割合で構成される顔色の範囲を有する部分を
検出する(S317)。前記2種の検出結果から、皮膚
色が存在する部分と動きとが存在する部分を抽出して検
索しようとする検索領域を選定する(S318)。
うに、前記画像入力手段10で提供される現在の入力画
像信号(S313)から抽出された映像資料(S31
4)と予め貯蔵された以前の映像資料(S315)とを
比較して動きがある部分を検出する(S316)。そし
て、前記画像入力手段10で提供される画像信号から色
の構成要素(例えば、R(赤)、G(緑)、B(青)や
YUV)の割合で構成される顔色の範囲を有する部分を
検出する(S317)。前記2種の検出結果から、皮膚
色が存在する部分と動きとが存在する部分を抽出して検
索しようとする検索領域を選定する(S318)。
【0043】判断部32は、図4に示されているよう
に、カメラの撮像領域Sから前記初期分析部で選択され
た検索領域D内の顔の輪郭線を抽出する(S411)。
その後、予め貯蔵された顔形態のテンプレートを前記検
索領域の大きさに変換してから、二領域を比較する。そ
の比較結果、顔形態のテンプレートに類似している形態
の輪郭線が検索領域から検出される場合、前記検索領域
Dに顔が存在すると認識する(S412)。また、前記
判断部32では、図5に示されているように、前記輪郭
線と予め貯蔵された顔形態のテンプレートとを比較して
顔の存在有無が判断されれば(S511)、以前段階で
の追跡対象があったかを再び判断する(S512)。そ
して、前記判断結果によって抽出された現在の映像資料
と予め貯蔵された以前の映像資料との比較結果をもって
追跡対象を選定する(S513、S514)。この時、
追跡対象が二つ以上検出される場合には、以前に選定さ
れた追跡対象と最も類似している映像を新しい追跡対象
として選定する(S514)。仮に、以前追跡対象がな
い場合、撮像領域の中央で最も類似している顔を新しい
追跡対象として選定する(S513)。
に、カメラの撮像領域Sから前記初期分析部で選択され
た検索領域D内の顔の輪郭線を抽出する(S411)。
その後、予め貯蔵された顔形態のテンプレートを前記検
索領域の大きさに変換してから、二領域を比較する。そ
の比較結果、顔形態のテンプレートに類似している形態
の輪郭線が検索領域から検出される場合、前記検索領域
Dに顔が存在すると認識する(S412)。また、前記
判断部32では、図5に示されているように、前記輪郭
線と予め貯蔵された顔形態のテンプレートとを比較して
顔の存在有無が判断されれば(S511)、以前段階で
の追跡対象があったかを再び判断する(S512)。そ
して、前記判断結果によって抽出された現在の映像資料
と予め貯蔵された以前の映像資料との比較結果をもって
追跡対象を選定する(S513、S514)。この時、
追跡対象が二つ以上検出される場合には、以前に選定さ
れた追跡対象と最も類似している映像を新しい追跡対象
として選定する(S514)。仮に、以前追跡対象がな
い場合、撮像領域の中央で最も類似している顔を新しい
追跡対象として選定する(S513)。
【0044】客体管理部33は、図6に示されているよ
うに、全体領域でのスクリーンの位置SX、SYを読む
ことによって、前記判断部32で選定された追跡対象が
カメラの撮像領域のx、yの中央に位置しているかどう
かを判断する。それと同時に、該当追跡対象の動きを追
跡するために、パン/チルト全体の制御領域Pmax、
Tmaxに対してスクリーンが移動する位置MX、MY
を計算してパン/チルトまたはズーム制御部34へ出力
する。
うに、全体領域でのスクリーンの位置SX、SYを読む
ことによって、前記判断部32で選定された追跡対象が
カメラの撮像領域のx、yの中央に位置しているかどう
かを判断する。それと同時に、該当追跡対象の動きを追
跡するために、パン/チルト全体の制御領域Pmax、
Tmaxに対してスクリーンが移動する位置MX、MY
を計算してパン/チルトまたはズーム制御部34へ出力
する。
【0045】パン/チルトまたはズーム制御部34は、
図7に示されているように、前記客体管理部33から伝
えられるカメラ位置の調節値だけ前記画像入力部のカメ
ラを左右方向P、上下方向T、または前後方向(紙面へ
近づいたり離れたりする方向)に移動させるためのパン
/チルトまたはズーム制御信号を発生させる。図7のB
のように、初めてカメラに物体dが捉えられば、図7の
Cのように、その物体dを画面の中央に位置させる。
図7に示されているように、前記客体管理部33から伝
えられるカメラ位置の調節値だけ前記画像入力部のカメ
ラを左右方向P、上下方向T、または前後方向(紙面へ
近づいたり離れたりする方向)に移動させるためのパン
/チルトまたはズーム制御信号を発生させる。図7のB
のように、初めてカメラに物体dが捉えられば、図7の
Cのように、その物体dを画面の中央に位置させる。
【0046】顔映像の貯蔵及び伝達部35は、図8に示
されているように、前記画像入力部に捉えられた顔映像
(S611)を一定の大きさに変換し(S612)、そ
れをBMP(bit map picture)形態で
貯蔵し(S613)、任意の時間を定めて大きさが小さ
い形態のフォーマット(例えば、JPEG)で長期貯蔵
する(S614)。また、前記追跡対象物体の映像(S
615)をディスプレー部へ伝えて画面に表示し、認識
部へ伝えて顔を認識できるようにする(S616)。
されているように、前記画像入力部に捉えられた顔映像
(S611)を一定の大きさに変換し(S612)、そ
れをBMP(bit map picture)形態で
貯蔵し(S613)、任意の時間を定めて大きさが小さ
い形態のフォーマット(例えば、JPEG)で長期貯蔵
する(S614)。また、前記追跡対象物体の映像(S
615)をディスプレー部へ伝えて画面に表示し、認識
部へ伝えて顔を認識できるようにする(S616)。
【0047】顔認識及び検索部36は、入力された顔資
料から特定の顔を検索するために、探そうとする人物の
特徴点を検出し、この特徴点(図9の(a)の顔テンプ
レートと、図9の(b)の顔映像が同じ特徴点)に符合
した顔のイメージ資料を出力する。
料から特定の顔を検索するために、探そうとする人物の
特徴点を検出し、この特徴点(図9の(a)の顔テンプ
レートと、図9の(b)の顔映像が同じ特徴点)に符合
した顔のイメージ資料を出力する。
【0048】図10は本発明による顔映像の撮影/認識
方法の一実施の形態を説明するために、映像信号の一部
の処理過程の概略を示している作動フローチャートであ
る。
方法の一実施の形態を説明するために、映像信号の一部
の処理過程の概略を示している作動フローチャートであ
る。
【0049】図10に示されているように、本発明の方
法の一実施の形態は、所定の場所に設置された画像入力
手段10を介して撮影された入力画像から顔色が存在す
る部分と動きが存在する部分とを抽出して検索しようと
する領域を選択する初期分析過程(S101からS10
9)と、前記選択された検索領域から顔の輪郭線を抽出
して予め設定された顔テンプレートと比較し、その比較
結果によって、顔の存在及び異常有無を判断して追跡対
象を選定する判断過程(S111からS119)と、前
記画像入力手段に捉えられた顔映像を認識し検索して、
入力された顔映像と、それから抽出された追跡対象物体
の輪郭線を共に貯蔵する映像貯蔵及び伝達過程(S12
1)とを含む処理過程でなっている。
法の一実施の形態は、所定の場所に設置された画像入力
手段10を介して撮影された入力画像から顔色が存在す
る部分と動きが存在する部分とを抽出して検索しようと
する領域を選択する初期分析過程(S101からS10
9)と、前記選択された検索領域から顔の輪郭線を抽出
して予め設定された顔テンプレートと比較し、その比較
結果によって、顔の存在及び異常有無を判断して追跡対
象を選定する判断過程(S111からS119)と、前
記画像入力手段に捉えられた顔映像を認識し検索して、
入力された顔映像と、それから抽出された追跡対象物体
の輪郭線を共に貯蔵する映像貯蔵及び伝達過程(S12
1)とを含む処理過程でなっている。
【0050】また、本発明の方法において、他の実施の
形態は、作動フローチャートには示していないが、前記
判断過程で選定された追跡対象がカメラ撮像領域の中央
に位置しているかどうかを判断しながら、該当追跡対象
の動きを追跡するためのカメラ位置の調節値を計算する
客体管理過程と、前記客体管理過程で計算されたカメラ
位置の調節値だけ前記画像入力手段10を左右方向、上
下方向、または前後方向に移動させるためにパン/チル
ト機能及びズーム機能を制御するパン/チルトまたはズ
ーム制御過程を更に含むことができる。
形態は、作動フローチャートには示していないが、前記
判断過程で選定された追跡対象がカメラ撮像領域の中央
に位置しているかどうかを判断しながら、該当追跡対象
の動きを追跡するためのカメラ位置の調節値を計算する
客体管理過程と、前記客体管理過程で計算されたカメラ
位置の調節値だけ前記画像入力手段10を左右方向、上
下方向、または前後方向に移動させるためにパン/チル
ト機能及びズーム機能を制御するパン/チルトまたはズ
ーム制御過程を更に含むことができる。
【0051】また、前記本発明の方法において、更に他
の実施の形態では、前記抽出された検索領域内の顔の輪
郭線を分析及び検索した結果、非正常的な情報を有して
いる顔に対しては、警報を発生させる警報発生過程(S
120)を更に含む処理過程よりなることができる。
の実施の形態では、前記抽出された検索領域内の顔の輪
郭線を分析及び検索した結果、非正常的な情報を有して
いる顔に対しては、警報を発生させる警報発生過程(S
120)を更に含む処理過程よりなることができる。
【0052】また、本発明の方法において、更に他の実
施の形態では、前記判断過程によって顔が存在すると判
断された前記検索対象領域内の顔映像に対する3次元情
報を生成し、その3次元情報を組合して各個人別マスク
を合成する過程を含み、前記合成された個人別マスクと
データベース等に既に貯蔵された個人別マスクとを比較
して特定個人を認識する過程を更に含み、顔映像を認識
する方法にも適用できることは言うまでもない。
施の形態では、前記判断過程によって顔が存在すると判
断された前記検索対象領域内の顔映像に対する3次元情
報を生成し、その3次元情報を組合して各個人別マスク
を合成する過程を含み、前記合成された個人別マスクと
データベース等に既に貯蔵された個人別マスクとを比較
して特定個人を認識する過程を更に含み、顔映像を認識
する方法にも適用できることは言うまでもない。
【0053】また、前記初期分析過程と判断過程とパン
/チルトまたはズーム制御過程によって撮影された前記
検索対象領域内で正確に撮影された瞬間顔映像(顔の停
止画像)は、以後、別の記録装置に貯蔵され、捜査目的
として活用するための画像認識装置、あるいは顔認識に
よって機器の作動を取り締まるように設計された保安装
置等に適用できることはもちろんである。
/チルトまたはズーム制御過程によって撮影された前記
検索対象領域内で正確に撮影された瞬間顔映像(顔の停
止画像)は、以後、別の記録装置に貯蔵され、捜査目的
として活用するための画像認識装置、あるいは顔認識に
よって機器の作動を取り締まるように設計された保安装
置等に適用できることはもちろんである。
【0054】図11は、目の配列を用いて顔データを正
規化する過程を説明するためのフローチャートで、図1
2は顔データの輪郭線の抽出用配列で、図13は明度の
差に応じて顔データの輪郭線の強度を調節する過程を説
明するための処理フローチャートで、図14は目の周り
のテンプレートを示している図で、図15は口の周りの
テンプレート(a)と輪郭線データ(b)とを示してい
る図である。
規化する過程を説明するためのフローチャートで、図1
2は顔データの輪郭線の抽出用配列で、図13は明度の
差に応じて顔データの輪郭線の強度を調節する過程を説
明するための処理フローチャートで、図14は目の周り
のテンプレートを示している図で、図15は口の周りの
テンプレート(a)と輪郭線データ(b)とを示してい
る図である。
【0055】以上のような構成に基づいて本発明の一実
施の形態による作動及びその作用効果を説明すれば次の
通りである。
施の形態による作動及びその作用効果を説明すれば次の
通りである。
【0056】図11を参照すれば、顔データから検索さ
れた目の配列を用いて傾きの検査が行なわれる(S71
1)。その後、顔データは正規化され(S712)、大
きさと形態とが一定の顔データが抽出される(S71
3)。
れた目の配列を用いて傾きの検査が行なわれる(S71
1)。その後、顔データは正規化され(S712)、大
きさと形態とが一定の顔データが抽出される(S71
3)。
【0057】また、図13を参照すれば、まず、顔デー
タ(S811)の目、鼻、口、眉毛が有する輪郭線の特
徴を抽出する。その抽出された輪郭線の顔構成要素の配
列を各画素に代入する(S812)。なお、明度を判断
するために入力された顔データから平均明度値を抽出す
る(S813)。抽出された平均明度を基準として画素
に対する代入値を比較すれば(S814)、水平輪郭線
の抽出データが生成される(S815)。
タ(S811)の目、鼻、口、眉毛が有する輪郭線の特
徴を抽出する。その抽出された輪郭線の顔構成要素の配
列を各画素に代入する(S812)。なお、明度を判断
するために入力された顔データから平均明度値を抽出す
る(S813)。抽出された平均明度を基準として画素
に対する代入値を比較すれば(S814)、水平輪郭線
の抽出データが生成される(S815)。
【0058】まず、画像入力手段10のカメラから入力
されたデジタル画像は、デジタル処理が可能な形態(例
えば、RGBまたはYUV)のフォーマットと定義を下
し、画像処理装置により要求された解像度(例えば、6
40×480の画素を有する解像度)を提供する。この
時、現在の入力された画像と以前の画像とを比較した
後、基準画像(次の入力画像に対する入力画像)に更新
される。また、現在入力された画像と以前画像とを比較
して対象物体の動き及び顔色を検出することによって、
検索領域を選定する。
されたデジタル画像は、デジタル処理が可能な形態(例
えば、RGBまたはYUV)のフォーマットと定義を下
し、画像処理装置により要求された解像度(例えば、6
40×480の画素を有する解像度)を提供する。この
時、現在の入力された画像と以前の画像とを比較した
後、基準画像(次の入力画像に対する入力画像)に更新
される。また、現在入力された画像と以前画像とを比較
して対象物体の動き及び顔色を検出することによって、
検索領域を選定する。
【0059】次に、主制御手段30の初期分析部31で
は前記画像入力手段10から提供された画像資料を次の
映像の抽出行為による動き検出とRGBの割合で構成さ
れる顔色の範囲を有する部分を検出することによって、
検索の対象となる範囲を選択する。動き検出と顔色検出
が終わってから、データを保管することによって、次の
映像の動き検出作業に用いる。また、前記初期分析部3
1では動きを用いて検索候補領域を選択して判断部32
へ伝える。
は前記画像入力手段10から提供された画像資料を次の
映像の抽出行為による動き検出とRGBの割合で構成さ
れる顔色の範囲を有する部分を検出することによって、
検索の対象となる範囲を選択する。動き検出と顔色検出
が終わってから、データを保管することによって、次の
映像の動き検出作業に用いる。また、前記初期分析部3
1では動きを用いて検索候補領域を選択して判断部32
へ伝える。
【0060】次に、判断部32では前記初期分析部31
で分析された候補領域に対する検索を行なうことによっ
て、顔が存在しているかどうかを判断する。このため
に、判断部32では、まず、前記候補領域の画像信号か
ら図12のように中央が暗くて上下が明るい形態の輪郭
線を検出する。このような輪郭線の検出結果では、眉毛
と目、鼻の下側と唇部分とが著しい形態の輪郭線を得る
ことができる(S815)。既に設定された顔形態のテ
ンプレートと検索領域の輪郭線とを比較して基準値より
高く検出された場合、検索領域に顔が存在すると判断す
る。検索領域は、一定の大きさを有していないので、既
に設定されたテンプレートの大きさを検索領域の大きさ
に合うように変換させてから比較する。
で分析された候補領域に対する検索を行なうことによっ
て、顔が存在しているかどうかを判断する。このため
に、判断部32では、まず、前記候補領域の画像信号か
ら図12のように中央が暗くて上下が明るい形態の輪郭
線を検出する。このような輪郭線の検出結果では、眉毛
と目、鼻の下側と唇部分とが著しい形態の輪郭線を得る
ことができる(S815)。既に設定された顔形態のテ
ンプレートと検索領域の輪郭線とを比較して基準値より
高く検出された場合、検索領域に顔が存在すると判断す
る。検索領域は、一定の大きさを有していないので、既
に設定されたテンプレートの大きさを検索領域の大きさ
に合うように変換させてから比較する。
【0061】次に、客体管理部33では、新しく抽出さ
れた顔に対する資料と以前の資料とを比較して追跡対象
体を選定する。新しい画面に顔が一つのみ検出される場
合、これは直ぐに追跡対象となり、二つ以上の場合、以
前対象物体と最も類似している映像が追跡対象となる。
仮りに、以前の追跡対象物体がない場合、中央で最も類
似している顔を追跡対象物体として選定する。
れた顔に対する資料と以前の資料とを比較して追跡対象
体を選定する。新しい画面に顔が一つのみ検出される場
合、これは直ぐに追跡対象となり、二つ以上の場合、以
前対象物体と最も類似している映像が追跡対象となる。
仮りに、以前の追跡対象物体がない場合、中央で最も類
似している顔を追跡対象物体として選定する。
【0062】次に、パン/チルトまたはズーム制御部3
4は、追跡対象物体が画面の中央に位置していない時、
カメラを作動させて対象物体の動きを追跡する部分であ
る。このような被写体の動き追跡のためには、前記画像
入力手段10のカメラには、前記 パン/チルトまたは
ズーム制御部34との直列、並列、USB(universal
serial bus)、無線などの通信方法で連動されるパン
/チルトまたはズーム駆動手段20を取り付け、前記主
制御手段のパン/チルトまたはズーム制御部の命令によ
ってカメラが作動される。
4は、追跡対象物体が画面の中央に位置していない時、
カメラを作動させて対象物体の動きを追跡する部分であ
る。このような被写体の動き追跡のためには、前記画像
入力手段10のカメラには、前記 パン/チルトまたは
ズーム制御部34との直列、並列、USB(universal
serial bus)、無線などの通信方法で連動されるパン
/チルトまたはズーム駆動手段20を取り付け、前記主
制御手段のパン/チルトまたはズーム制御部の命令によ
ってカメラが作動される。
【0063】次に、映像貯蔵及び伝達部35では、入力
された顔映像に対して検索を行なってから、別の補助記
憶装置に写真形態で貯蔵されたり、認識システムのため
に抽出された特徴と共に伝えられる。
された顔映像に対して検索を行なってから、別の補助記
憶装置に写真形態で貯蔵されたり、認識システムのため
に抽出された特徴と共に伝えられる。
【0064】次に、顔認識及び検索部36では、入力さ
れた顔資料から特定の顔を検索するために、探そうとす
る人物の特徴点を検出することによって、この特徴点に
符合する顔イメージ資料を出力する。
れた顔資料から特定の顔を検索するために、探そうとす
る人物の特徴点を検出することによって、この特徴点に
符合する顔イメージ資料を出力する。
【0065】この時、前記処理データ(入力データ)
は、顔と関連するデータは顔部分のみ抽出した長方形の
映像データであって、その大きさは顔の大きさに応じて
違い、また傾きに対する整列がなっていない状態のデー
タ特性を有している。
は、顔と関連するデータは顔部分のみ抽出した長方形の
映像データであって、その大きさは顔の大きさに応じて
違い、また傾きに対する整列がなっていない状態のデー
タ特性を有している。
【0066】従って、本発明の方法における顔領域に対
する検索過程は、図10に示しているように、まず、顔
に対する資料を用いて構成要素の特性により目を検索す
る(S101、S103)。以後、図11に示している
ように、目の配列を用いて顔データを正規化(S10
5)させることによって、大きさと形態とを一定にす
る。
する検索過程は、図10に示しているように、まず、顔
に対する資料を用いて構成要素の特性により目を検索す
る(S101、S103)。以後、図11に示している
ように、目の配列を用いて顔データを正規化(S10
5)させることによって、大きさと形態とを一定にす
る。
【0067】その後、大きさと形態とが一定の顔の各部
分に対する輪郭線を抽出し(S107、S109)、目
に対するテンプレートを構成して目部分を別に検索(S
111)することによって、前記検索された目に対する
細部検索を行なって誤りがあるか否かを判断する(S1
13)。
分に対する輪郭線を抽出し(S107、S109)、目
に対するテンプレートを構成して目部分を別に検索(S
111)することによって、前記検索された目に対する
細部検索を行なって誤りがあるか否かを判断する(S1
13)。
【0068】引き続いて、口とその周りとに対するテン
プレートを構成して口部分を別に検索(S115)する
ことによって、前記検索された口に対する細部検索を行
なって誤りがあるか否かを判断する(S117)。
プレートを構成して口部分を別に検索(S115)する
ことによって、前記検索された口に対する細部検索を行
なって誤りがあるか否かを判断する(S117)。
【0069】また、鼻とその周り、または眉毛とその周
りに対するテンプレートをそれぞれ構成(図示せず)
し、鼻部分または眉毛部分を別に検索することによっ
て、前記検索された鼻と眉毛とに対する細部検索を行な
って誤りがあるか否かを判断する。
りに対するテンプレートをそれぞれ構成(図示せず)
し、鼻部分または眉毛部分を別に検索することによっ
て、前記検索された鼻と眉毛とに対する細部検索を行な
って誤りがあるか否かを判断する。
【0070】次に、前記目の検索結果と口の検索結果
(または、鼻と眉毛との検索結果まで含まれた検索結
果)とを用いることによって、誤りがあるか否かを総合
的に判断する(S119)。
(または、鼻と眉毛との検索結果まで含まれた検索結
果)とを用いることによって、誤りがあるか否かを総合
的に判断する(S119)。
【0071】前記目、鼻、口、眉毛、または総合的な判
断結果により、全部正常な場合と判断されれば、出入す
る人の顔写真を記録して保管し、画像認識を用いて出入
者の身分を確認したり、出入り口を管理する等のシステ
ムへ前記検索資料を伝達(S121)することによっ
て、問題が発生する時、検索プログラムを用いて問題の
出入者を容易に検索することができる。
断結果により、全部正常な場合と判断されれば、出入す
る人の顔写真を記録して保管し、画像認識を用いて出入
者の身分を確認したり、出入り口を管理する等のシステ
ムへ前記検索資料を伝達(S121)することによっ
て、問題が発生する時、検索プログラムを用いて問題の
出入者を容易に検索することができる。
【0072】また、前記目、鼻、口、眉毛、または総合
的な判断結果により、エラーが発生する場合には、覆面
を被ったり、濃い有色眼鏡をかけたり、帽子を深く被っ
て出入する非正常的な人物、すなわち、危険要因を有し
ている人物と判断して、警報を発してから(S120)
貯蔵することによって、監督者や勤務者にとって緊急な
状況に対処できるようにする。
的な判断結果により、エラーが発生する場合には、覆面
を被ったり、濃い有色眼鏡をかけたり、帽子を深く被っ
て出入する非正常的な人物、すなわち、危険要因を有し
ている人物と判断して、警報を発してから(S120)
貯蔵することによって、監督者や勤務者にとって緊急な
状況に対処できるようにする。
【0073】以下に、本発明の他の実施の形態による顔
の認識方法を添付された図16乃至図18に基づいて詳
しく説明する。
の認識方法を添付された図16乃至図18に基づいて詳
しく説明する。
【0074】図16は本発明の他の実施の形態による顔
の撮影/認識方法が実行できるように具現された顔の撮
影/認識システムの構成を示すブロック図であって、そ
の構成は次の通りである。
の撮影/認識方法が実行できるように具現された顔の撮
影/認識システムの構成を示すブロック図であって、そ
の構成は次の通りである。
【0075】画像入力部100は、所定の方向に設置さ
れる多数のカメラによって被写体を撮影するもので、一
般に、CCDカメラ110が用いられ、少なくとも二つ
以上が設置される。
れる多数のカメラによって被写体を撮影するもので、一
般に、CCDカメラ110が用いられ、少なくとも二つ
以上が設置される。
【0076】前処理部200は、前記画像入力部100
から画像信号を入力されて雑音を除去し、その画像信号
に対する輪郭線を抽出する。
から画像信号を入力されて雑音を除去し、その画像信号
に対する輪郭線を抽出する。
【0077】特徴点抽出部300は、前記前処理部20
0から入力される画像信号の輪郭線を基準としてその画
像信号に対する特徴点を抽出する。
0から入力される画像信号の輪郭線を基準としてその画
像信号に対する特徴点を抽出する。
【0078】3次元情報抽出部400は、前記特徴点抽
出部300から抽出された特徴点を用いて前処理部20
0で入力される画像信号を回転、ズーム及び移動させて
イメージを再配列してから、再配列されたイメージ間の
変位情報を用いて3次元情報を抽出する。
出部300から抽出された特徴点を用いて前処理部20
0で入力される画像信号を回転、ズーム及び移動させて
イメージを再配列してから、再配列されたイメージ間の
変位情報を用いて3次元情報を抽出する。
【0079】マスク生成部500は、前記3次元情報抽
出部400から抽出された3次元情報と内部に予め設定
されている基準マスクとを比較することによって、各個
人ごとに特徴のある新しいマスクを生成する。
出部400から抽出された3次元情報と内部に予め設定
されている基準マスクとを比較することによって、各個
人ごとに特徴のある新しいマスクを生成する。
【0080】データベース部600は、正当な使用者の
画像信号から得ることができる多数のイメージデータを
マスキングデータとして有する。
画像信号から得ることができる多数のイメージデータを
マスキングデータとして有する。
【0081】形状認識部700は、一般に、中央演算処
理装置(CPU)で、前記マスク生成部500で生成さ
れた新しいマスクと前記データベース部600のマスキ
ングデータとを比較することによって、同じマスクであ
るか否かを判断する。この時、新しいマスクと同一なマ
スクがデータベース部600に存在する場合、現在カメ
ラによって撮像された形状が既に登録されているマスク
であることを認識して正当な使用者と分類する。そうで
ない場合は、未登録されたマスクであることを認識して
不適当な使用者と分類する。
理装置(CPU)で、前記マスク生成部500で生成さ
れた新しいマスクと前記データベース部600のマスキ
ングデータとを比較することによって、同じマスクであ
るか否かを判断する。この時、新しいマスクと同一なマ
スクがデータベース部600に存在する場合、現在カメ
ラによって撮像された形状が既に登録されているマスク
であることを認識して正当な使用者と分類する。そうで
ない場合は、未登録されたマスクであることを認識して
不適当な使用者と分類する。
【0082】貯蔵媒体(メモリ)800には、全体シス
テムの駆動プログラム及び顔認識に必要な多数のデータ
が貯蔵されている。このような貯蔵媒体は、前記形状認
識部700の制御信号に応じて作動することによって、
既に貯蔵されたデータを形状認識部700へ出力する。
前記貯蔵媒体800は半導体メモリーを有するカード、
ハードディスク、光ディスクなどのように多様に適用で
きる。
テムの駆動プログラム及び顔認識に必要な多数のデータ
が貯蔵されている。このような貯蔵媒体は、前記形状認
識部700の制御信号に応じて作動することによって、
既に貯蔵されたデータを形状認識部700へ出力する。
前記貯蔵媒体800は半導体メモリーを有するカード、
ハードディスク、光ディスクなどのように多様に適用で
きる。
【0083】前記画像入力部100は、対象体を撮像す
るCCDカメラ110と、前記CCDカメラ110の撮
像によって入力される信号を指定された形式でディスプ
レーできるように取り込む(キャップチャーする)映像
キャップチャー部120と、前記特徴点検出部300で
選定された検索候補領域を用いて現在CCDカメラ11
0の回転範囲を演算してカメラ駆動制御信号を出力する
カメラ駆動制御部130と、前記カメラ駆動制御部13
0のカメラ駆動制御信号によってカメラを所定方向に回
転させるカメラ駆動部140とより構成する。
るCCDカメラ110と、前記CCDカメラ110の撮
像によって入力される信号を指定された形式でディスプ
レーできるように取り込む(キャップチャーする)映像
キャップチャー部120と、前記特徴点検出部300で
選定された検索候補領域を用いて現在CCDカメラ11
0の回転範囲を演算してカメラ駆動制御信号を出力する
カメラ駆動制御部130と、前記カメラ駆動制御部13
0のカメラ駆動制御信号によってカメラを所定方向に回
転させるカメラ駆動部140とより構成する。
【0084】図17は本発明の他の実施の形態による顔
撮影/認識方法を説明するための作動フローチャートで
あって、捉えられる画像信号の検索候補領域を選定し、
該当領域内で特徴点を検出してイメージを再配列するこ
とによって、顔の構成要素の検索による顔の可能領域を
検出し、前記顔の可能領域に対して特徴点の抽出及び検
索を行なって顔が存在しているか否かを判断すると共に
被写体の動きを追ってカメラの方向を調節する過程(S
200からS250)と、前記顔が存在しているか否か
を判断した結果、検索候補領域内に顔が存在する画像信
号に対しては、前記再配列されたイメージを既に設定さ
れた特徴点に再び配列してから、再配列されたイメージ
間の変位情報で3次元情報を生成し、その3次元情報で
被写体の顔マスクを合成する過程(S260)と、前記
合成された顔マスクをデータベースに予め構築されてい
る個人別登録マスクらから探索して特定個人に対するイ
メージが登録されているか否かを判断する過程(S27
0)とよりなる。
撮影/認識方法を説明するための作動フローチャートで
あって、捉えられる画像信号の検索候補領域を選定し、
該当領域内で特徴点を検出してイメージを再配列するこ
とによって、顔の構成要素の検索による顔の可能領域を
検出し、前記顔の可能領域に対して特徴点の抽出及び検
索を行なって顔が存在しているか否かを判断すると共に
被写体の動きを追ってカメラの方向を調節する過程(S
200からS250)と、前記顔が存在しているか否か
を判断した結果、検索候補領域内に顔が存在する画像信
号に対しては、前記再配列されたイメージを既に設定さ
れた特徴点に再び配列してから、再配列されたイメージ
間の変位情報で3次元情報を生成し、その3次元情報で
被写体の顔マスクを合成する過程(S260)と、前記
合成された顔マスクをデータベースに予め構築されてい
る個人別登録マスクらから探索して特定個人に対するイ
メージが登録されているか否かを判断する過程(S27
0)とよりなる。
【0085】図18は本発明の更に他の実施の形態によ
る顔の撮影/認識方法を説明するための作動フローチャ
ートであって、カメラによって入力される画像信号から
皮膚色データと動きデータとをそれぞれ抽出することに
よって、一つ以上の検索候補領域を選定し、該当領域内
の明度の差を用いた顔の構成要素のテンプレートと対比
(マッチング)することによって、検索対象の顔が存在
しているか否かを確認した後、カメラの位置を調整する
過程(S300からS340)と、前記選定された顔領
域内の再配列されたイメージを確認した結果、該当領域
内に顔が存在する画像信号に対しては、再びイメージを
再配列した後、前記再配列されたイメージ間の変位情報
を用いて3次元情報を生成し、前記3次元情報と基準マ
スクとを比較して個人別顔マスクを合成する過程(S3
50からS370)と、前記合成された顔マスクをデー
タベースに予め構築されている個人別登録マスクらから
探索して特定個人に対するイメージが登録されているか
否かを確認する過程(S380からS400)とよりな
る。
る顔の撮影/認識方法を説明するための作動フローチャ
ートであって、カメラによって入力される画像信号から
皮膚色データと動きデータとをそれぞれ抽出することに
よって、一つ以上の検索候補領域を選定し、該当領域内
の明度の差を用いた顔の構成要素のテンプレートと対比
(マッチング)することによって、検索対象の顔が存在
しているか否かを確認した後、カメラの位置を調整する
過程(S300からS340)と、前記選定された顔領
域内の再配列されたイメージを確認した結果、該当領域
内に顔が存在する画像信号に対しては、再びイメージを
再配列した後、前記再配列されたイメージ間の変位情報
を用いて3次元情報を生成し、前記3次元情報と基準マ
スクとを比較して個人別顔マスクを合成する過程(S3
50からS370)と、前記合成された顔マスクをデー
タベースに予め構築されている個人別登録マスクらから
探索して特定個人に対するイメージが登録されているか
否かを確認する過程(S380からS400)とよりな
る。
【0086】以上のように構成される本発明の各実施の
形態に対する作動を説明すれば次の通りである。
形態に対する作動を説明すれば次の通りである。
【0087】まず、図17の本発明の方法の実施の形態
に対する作動を図16のブロック図との相互作用に基づ
いて説明する。
に対する作動を図16のブロック図との相互作用に基づ
いて説明する。
【0088】画像入力部100では、CCDカメラ11
0及び映像キャップチャー120により撮像される画像
信号を入力され、一つの画面を構成できるように前処理
部200で雑音を除去した後、輪郭線の補正及びフィル
ターリングを行なう。
0及び映像キャップチャー120により撮像される画像
信号を入力され、一つの画面を構成できるように前処理
部200で雑音を除去した後、輪郭線の補正及びフィル
ターリングを行なう。
【0089】このように信号処理された画像信号は、特
徴点検出部300へ入力される。この特徴点抽出部30
0では、画像信号の以前画面と現在画面とを比較するこ
とによって、被写体の動きを検出して動きデータを生成
する。また、色構成要素(例えば、R(赤)、G
(緑)、B(青)、YUV)の割合で構成される皮膚色
の範囲を有する部分を検出して皮膚色データを生成す
る。
徴点検出部300へ入力される。この特徴点抽出部30
0では、画像信号の以前画面と現在画面とを比較するこ
とによって、被写体の動きを検出して動きデータを生成
する。また、色構成要素(例えば、R(赤)、G
(緑)、B(青)、YUV)の割合で構成される皮膚色
の範囲を有する部分を検出して皮膚色データを生成す
る。
【0090】また、前記特徴点検出部300では、上述
したように生成された皮膚色データと動きデータを用
い、画像入力部100及び前処理部200を介して入力
される1フィールドの画像信号から少なくとも一つ以上
の多数の検索候補領域を選定する(S210)。このよ
うに選定された検索候補領域から顔の構成要素の確認に
より顔の存在領域を選定(S210−1)と、前記選定
された顔領域に対して特徴点を検出する。そして、前記
特徴点を用いてCCDカメラ110及び前処理部200
により入力されたイメージを再配列させる(S22
0)。
したように生成された皮膚色データと動きデータを用
い、画像入力部100及び前処理部200を介して入力
される1フィールドの画像信号から少なくとも一つ以上
の多数の検索候補領域を選定する(S210)。このよ
うに選定された検索候補領域から顔の構成要素の確認に
より顔の存在領域を選定(S210−1)と、前記選定
された顔領域に対して特徴点を検出する。そして、前記
特徴点を用いてCCDカメラ110及び前処理部200
により入力されたイメージを再配列させる(S22
0)。
【0091】このように生成された検索候補領域に対す
る動きデータ及び皮膚色データ、検出された特徴点、再
配列されたイメージデータは3次元情報抽出部400と
カメラ駆動制御部130へそれぞれ入力される。
る動きデータ及び皮膚色データ、検出された特徴点、再
配列されたイメージデータは3次元情報抽出部400と
カメラ駆動制御部130へそれぞれ入力される。
【0092】上述したように生成された検索候補領域に
対する皮膚色データ及び動きデータ、検出された特徴
点、再配列されたイメージデータを入力されたカメラ駆
動制御部130は、直ぐ前に入力されて上記の過程に従
って処理された検索候補領域データと比較する。
対する皮膚色データ及び動きデータ、検出された特徴
点、再配列されたイメージデータを入力されたカメラ駆
動制御部130は、直ぐ前に入力されて上記の過程に従
って処理された検索候補領域データと比較する。
【0093】カメラ駆動制御部130は、上述したよう
に二つの検索候補領域のデータを比較することによっ
て、検索候補領域の移動距離を演算できる(S23
0)。また、その移動した距離だけCCDカメラ110
を回転させて、対象体を再撮影できるようにその回転方
向及び回転角度を決定する。
に二つの検索候補領域のデータを比較することによっ
て、検索候補領域の移動距離を演算できる(S23
0)。また、その移動した距離だけCCDカメラ110
を回転させて、対象体を再撮影できるようにその回転方
向及び回転角度を決定する。
【0094】このように決定されたCCDカメラ110
の回転方向及び回転角度はカメラ駆動制御信号としてカ
メラ駆動部140へ入力され、このようなカメラ駆動制
御信号を入力されたカメラ駆動部140は前記回転角度
だけCCDカメラ110を所定方向に回転させる(S2
40)。このようなカメラ制御作動は、新しい被写体が
検出の都度、毎度、反復的に行なわれる。
の回転方向及び回転角度はカメラ駆動制御信号としてカ
メラ駆動部140へ入力され、このようなカメラ駆動制
御信号を入力されたカメラ駆動部140は前記回転角度
だけCCDカメラ110を所定方向に回転させる(S2
40)。このようなカメラ制御作動は、新しい被写体が
検出の都度、毎度、反復的に行なわれる。
【0095】一方、前記特徴点検出部300で生成され
た検索候補領域の皮膚色データ及び動きデータ、特徴
点、再配列されたイメージデータを入力された3次元情
報抽出部400は、前記検出された特徴点を用いること
によって、また一度イメージを再配列させる。以後、前
記再配列されたイメージの特徴点を用いることによっ
て、検索候補領域内に顔が存在しているか否かを判断す
る。
た検索候補領域の皮膚色データ及び動きデータ、特徴
点、再配列されたイメージデータを入力された3次元情
報抽出部400は、前記検出された特徴点を用いること
によって、また一度イメージを再配列させる。以後、前
記再配列されたイメージの特徴点を用いることによっ
て、検索候補領域内に顔が存在しているか否かを判断す
る。
【0096】前記判断の結果、検索候補領域内に顔が存
在する画像信号に対しては、再配列された多数のイメー
ジ相互間の変位情報を用いて3次元情報を生成する。前
記生成された3次元情報をマスク生成部500に備えら
れている基準マスクと比較して個人別に他の新しいマス
クを生成する(S260)。
在する画像信号に対しては、再配列された多数のイメー
ジ相互間の変位情報を用いて3次元情報を生成する。前
記生成された3次元情報をマスク生成部500に備えら
れている基準マスクと比較して個人別に他の新しいマス
クを生成する(S260)。
【0097】このように生成された新しいマスクとデー
タベース部600に貯蔵されているマスクデータとを比
較して存在しているかを判断する。その判断結果、同じ
マスクデータがデータベース部600に存在する場合、
登録されたマスクであることを認識して現在カメラによ
って捉えられた被写体を正当な使用者と分類する。前記
判断結果、新しいマスクと同じマスクデータがデータベ
ース部600に存在していない場合、登録されていない
マスクであることを認識して(S270)不当な使用者
と分類する。
タベース部600に貯蔵されているマスクデータとを比
較して存在しているかを判断する。その判断結果、同じ
マスクデータがデータベース部600に存在する場合、
登録されたマスクであることを認識して現在カメラによ
って捉えられた被写体を正当な使用者と分類する。前記
判断結果、新しいマスクと同じマスクデータがデータベ
ース部600に存在していない場合、登録されていない
マスクであることを認識して(S270)不当な使用者
と分類する。
【0098】次に、図18本発明の方法の実施の形態に
対する作動を図16のブロック図との相互作用に基づい
て説明する。
対する作動を図16のブロック図との相互作用に基づい
て説明する。
【0099】画像入力部100のCCDカメラ110と
映像キャップチャー120及び前処理部200を介して
画像信号が入力されれば、特徴点検出部300ではその
入力信号をチェックし(S300)、画像信号の以前画
面と現在画面とを比較する。このような画面比較作動に
より被写体の動きを検出することによって、動きデータ
を生成し、また、色構成要素(例えば、R(赤)、G
(緑)、B(青)、YUV)の割合で構成される皮膚色
の範囲を有する部分を検出することによって、皮膚色デ
ータを生成する(S310)。
映像キャップチャー120及び前処理部200を介して
画像信号が入力されれば、特徴点検出部300ではその
入力信号をチェックし(S300)、画像信号の以前画
面と現在画面とを比較する。このような画面比較作動に
より被写体の動きを検出することによって、動きデータ
を生成し、また、色構成要素(例えば、R(赤)、G
(緑)、B(青)、YUV)の割合で構成される皮膚色
の範囲を有する部分を検出することによって、皮膚色デ
ータを生成する(S310)。
【0100】また、特徴点検出部300では上述した段
階で生成された皮膚色データと動きデータとを用いるこ
とによって、1フィールドの画像信号から少なくとも一
つ以上の検索候補領域を選定する(S320)。
階で生成された皮膚色データと動きデータとを用いるこ
とによって、1フィールドの画像信号から少なくとも一
つ以上の検索候補領域を選定する(S320)。
【0101】前記多数の検索候補領域が選定されれば、
顔の構成要素の検索による顔が存在する領域を検出し
(S320−1)、該当領域内に追跡対象体を検索す
る。前記特徴点検出部300により検出された特徴点に
よりイメージを再配列させ(S330)、前記再配列さ
れたイメージから該当領域内に追跡対象体の顔が存在し
ているか否かを確認する(S340)。該当領域内に存
在する追跡対象体となる顔が存在すれば、該当領域内に
顔が存在する画像信号に対しては、カメラ撮像信号の中
央に顔が位置するようにカメラを微細調節(図示せず)
してから、イメージを再配列させる(S350)。前記
再配列された多数のイメージ相互間の変位情報を用いて
3次元情報を生成し(S360)、前記生成された3次
元情報とマスク生成部500に備えられ基準マスクとを
比較して個人別にそれぞれ違う新しいマスクを生成する
(S370)。
顔の構成要素の検索による顔が存在する領域を検出し
(S320−1)、該当領域内に追跡対象体を検索す
る。前記特徴点検出部300により検出された特徴点に
よりイメージを再配列させ(S330)、前記再配列さ
れたイメージから該当領域内に追跡対象体の顔が存在し
ているか否かを確認する(S340)。該当領域内に存
在する追跡対象体となる顔が存在すれば、該当領域内に
顔が存在する画像信号に対しては、カメラ撮像信号の中
央に顔が位置するようにカメラを微細調節(図示せず)
してから、イメージを再配列させる(S350)。前記
再配列された多数のイメージ相互間の変位情報を用いて
3次元情報を生成し(S360)、前記生成された3次
元情報とマスク生成部500に備えられ基準マスクとを
比較して個人別にそれぞれ違う新しいマスクを生成する
(S370)。
【0102】前記判断の結果、正確な顔が存在していな
い場合、現在のカメラ位置から動くべきカメラ駆動値を
演算してカメラが正常な位置(平常の撮影位置)へ復帰
するようにカメラの位置を調節してから(S341)、
画像信号を入力されて皮膚色データ及び動きデータを生
成する段階(S310)から作動を再び行なう。
い場合、現在のカメラ位置から動くべきカメラ駆動値を
演算してカメラが正常な位置(平常の撮影位置)へ復帰
するようにカメラの位置を調節してから(S341)、
画像信号を入力されて皮膚色データ及び動きデータを生
成する段階(S310)から作動を再び行なう。
【0103】このように生成された新しいマスクとデー
タベース部600に貯蔵されているマスクデータとを比
較することによって、新しく生成されたマスクがデータ
ベースに存在しているか否かを判断し(S380)、判
断の結果、同じマスクがデータベース部600に存在す
る場合、登録されたマスクであることを認識して(S3
90)現在カメラに捉えられた被写体を正当な使用者と
分類する。前記判断結果、同じマスクがデータベース部
に存在していない場合、登録されていないマスクである
ことを認識して現在カメラに捉えられた被写体を不当な
使用者と分類する。
タベース部600に貯蔵されているマスクデータとを比
較することによって、新しく生成されたマスクがデータ
ベースに存在しているか否かを判断し(S380)、判
断の結果、同じマスクがデータベース部600に存在す
る場合、登録されたマスクであることを認識して(S3
90)現在カメラに捉えられた被写体を正当な使用者と
分類する。前記判断結果、同じマスクがデータベース部
に存在していない場合、登録されていないマスクである
ことを認識して現在カメラに捉えられた被写体を不当な
使用者と分類する。
【0104】
【発明の効果】上述したように、本発明は、出入り口に
設置されたカメラにより人の顔姿のみを正確に高速に撮
影するので、出入者の顔を鮮やかに記録できるだけでな
く、動画像全体を貯蔵する既存方式に比べて顔の停止画
像のみを記録するので、貯蔵媒体の容量が著しく減少さ
れる。
設置されたカメラにより人の顔姿のみを正確に高速に撮
影するので、出入者の顔を鮮やかに記録できるだけでな
く、動画像全体を貯蔵する既存方式に比べて顔の停止画
像のみを記録するので、貯蔵媒体の容量が著しく減少さ
れる。
【0105】また、本発明は覆面を被ったり、濃い有色
眼鏡をかけたり、帽子を深く被って出入する非正常的な
人物、危険要因があるように見える人物が出現する場合
に、これを警報して監督者や勤務者に予め知らせること
によって、緊急な状況に対処できる。
眼鏡をかけたり、帽子を深く被って出入する非正常的な
人物、危険要因があるように見える人物が出現する場合
に、これを警報して監督者や勤務者に予め知らせること
によって、緊急な状況に対処できる。
【0106】また、本発明は、出入り口に人の顔を追跡
するカメラが設置されている場合、心理的に威圧感を与
えるので、その他の無人監視装置よりも犯罪の予防効果
が優れる。
するカメラが設置されている場合、心理的に威圧感を与
えるので、その他の無人監視装置よりも犯罪の予防効果
が優れる。
【0107】また、本発明は、出入する人の顔写真を記
録して貯蔵しているので、後に、問題が発生したとき、
検索プログラムを用いて問題の出入者を容易に検索する
ことができる。
録して貯蔵しているので、後に、問題が発生したとき、
検索プログラムを用いて問題の出入者を容易に検索する
ことができる。
【0108】また、本発明は、画像電話に用いると、対
話者の顔を正面で正確に見ることができるように、カメ
ラを上下左右に知能的に動くので、既存の固定されたカ
メラにおいて顔を見せることを必要とする不便さを補完
できる。
話者の顔を正面で正確に見ることができるように、カメ
ラを上下左右に知能的に動くので、既存の固定されたカ
メラにおいて顔を見せることを必要とする不便さを補完
できる。
【0109】また、本発明は、従来、玄関に設置されて
いるビデオホンでもドアホンは背が高い人とか背が低い
人が近づく時に、カメラの視角から除外されて使用が不
便であったが、高さに自動で対応するので、便利な機能
性を提供する。
いるビデオホンでもドアホンは背が高い人とか背が低い
人が近づく時に、カメラの視角から除外されて使用が不
便であったが、高さに自動で対応するので、便利な機能
性を提供する。
【0110】また、本発明は、顔認識出入システムと連
結して出入者の身分を確認することができ、画像自動追
跡を用いたオンラインリアルタイムシミュレーションゲ
ームでもアニメーションの製作に利用できる等の多様な
効果を得ることができる。
結して出入者の身分を確認することができ、画像自動追
跡を用いたオンラインリアルタイムシミュレーションゲ
ームでもアニメーションの製作に利用できる等の多様な
効果を得ることができる。
【0111】また、本発明は、入力される画像信号から
皮膚色情報及び動き情報を抽出して人の顔であることを
認識するが、この時、正確な顔形状が認識されていない
場合、人の顔を正確に認識できるようにカメラを一定方
向だけ回転させて完全な顔形状を認識するまで、カメラ
の位置を繰り返して調節することによって、認識システ
ムを用いようとする利用者が指定された位置へ動かなく
ても正確な顔形状を知能的に撮影できるという利点があ
る。
皮膚色情報及び動き情報を抽出して人の顔であることを
認識するが、この時、正確な顔形状が認識されていない
場合、人の顔を正確に認識できるようにカメラを一定方
向だけ回転させて完全な顔形状を認識するまで、カメラ
の位置を繰り返して調節することによって、認識システ
ムを用いようとする利用者が指定された位置へ動かなく
ても正確な顔形状を知能的に撮影できるという利点があ
る。
【図1】本発明の一実施の形態による皮膚色及び動き自
動追跡による顔の撮影/認識装置の構成を概略的に示す
ブロック図である。
動追跡による顔の撮影/認識装置の構成を概略的に示す
ブロック図である。
【図2】図1の主制御手段の機能別内部ブロック図であ
る。
る。
【図3】画像入力過程を説明するための信号フローチャ
ートである。
ートである。
【図4】初期分析過程を説明するための信号フローチャ
ートである。
ートである。
【図5】判断過程を説明するための信号フローチャート
である。
である。
【図6】パン/チルトまたはズーム制御過程を説明する
ためにスクリーンとスクリーン移動可能な位置を示す参
考図である。
ためにスクリーンとスクリーン移動可能な位置を示す参
考図である。
【図7】カメラ撮像領域に被写体が捉えられた時、パン
/チルト機能及びズーム機能を使用して適正な距離で物
体が画面の中央部分に置かれるように撮影する過程を説
明するための参考図である。
/チルト機能及びズーム機能を使用して適正な距離で物
体が画面の中央部分に置かれるように撮影する過程を説
明するための参考図である。
【図8】映像貯蔵及び伝達過程を説明するための機能別
ブロック図である。
ブロック図である。
【図9】顔領域を検索する時に使われる顔形態のテンプ
レート(a)と入力画像(b)とを示す図である。
レート(a)と入力画像(b)とを示す図である。
【図10】本発明の一実施の形態による顔の撮影/認識
方法を説明するために映像信号処理過程を抜萃して示す
作動フローチャートである。
方法を説明するために映像信号処理過程を抜萃して示す
作動フローチャートである。
【図11】顔データの正規化過程を説明するための作動
フローチャートである。
フローチャートである。
【図12】顔データの輪郭線抽出用配列を示す図であ
る。
る。
【図13】明度の差によって顔データの輪郭線の強度を
調節する過程を説明するための処理フローチャートであ
る。
調節する過程を説明するための処理フローチャートであ
る。
【図14】目の周りのテンプレート図である。
【図15】口の周りのテンプレート(a)と輪郭線デー
タ(b)とを示す図である。
タ(b)とを示す図である。
【図16】本発明の他の実施の形態による顔の認識/撮
影方法を説明するために示すブロック図である。
影方法を説明するために示すブロック図である。
【図17】図16により行なわれる顔の撮影/認識方法
における他の実施の形態に対する作動フローチャートで
ある。
における他の実施の形態に対する作動フローチャートで
ある。
【図18】図16により行なわれる顔の撮影/認識方法
における更に他の実施の形態に対する作動フローチャー
トである。
における更に他の実施の形態に対する作動フローチャー
トである。
10 … 画像入力手段 20 … パン/チルトまたはズーム駆動手段 30 … 主制御手段 31 … 初期分析部 32 … 判断部 33 … 客体管理部 34 … パン/チルトまたはズーム制御部 35 … 顔映像貯蔵及び伝達部 36 … 顔認識及び検索部 40 … ディスプレー手段 50 … 顔映像貯蔵及び検索手段 60 … 警報発生手段
Claims (29)
- 【請求項1】 所定の場所に設置されたカメラによって
入力される画像信号から顔の資料を抽出して顔の位置を
確認し、前記確認された顔を追跡するための検索対象領
域を選択する初期分析過程と、 前記選択された検索対象領域内で確認された顔を追跡す
るために、前記カメラの位置を左右方向、上下方向また
は前後方向に移動させるパン/チルトまたはズーム制御
過程と、 前記検索対象領域内で確認された顔の輪郭線を抽出及び
分析して顔の存在または異常があるかどうかを判断する
判断過程と、 前記判断された顔の映像を貯蔵し、他の認識システムへ
伝える貯蔵及び伝達過程とより構成されることを特徴と
する顔の撮影方法。 - 【請求項2】 前記検索対象領域内で抽出された顔の輪
郭線を分析及び判断した結果、非正常的な情報を有して
いる顔に対して警報を発生させる警報発生過程を更に含
むことを特徴とする請求項1に記載の顔の撮影方法。 - 【請求項3】 前記初期分析過程は、 現在抽出された映像資料を既に貯蔵された以前の映像資
料と比べて、動きがある部分を検出し、現在抽出された
映像資料から色構成要素の割合が皮膚色範囲にいる部分
を検出し、顔色と動きとが検出される部分を確認して検
索対象候補領域を選定することを特徴とする請求項2に
記載の顔の撮影方法。 - 【請求項4】 前記初期分析過程は、 前記検索対象領域内で二つ以上の顔の位置が確認される
場合、既に選定された追跡対象を中心としてそれに類似
している映像を新しい追跡対象として選定することを特
徴とする請求項3に記載の顔の撮影方法。 - 【請求項5】 前記初期分析過程は、 既に選定された追跡対象がない場合、撮像領域の中央部
分に類似している映像を新しい追跡対象として選定する
ことを特徴とする請求項4に記載の顔の撮影方法。 - 【請求項6】 前記判断過程は、 前記検索対象領域内の映像資料に対する平均明度を基準
として顔の輪郭線を抽出し、個人別及び/または撮影地
域別特性によって輪郭線の強度を調節することを特徴と
する請求項2に記載の顔の撮影方法。 - 【請求項7】 前記判断過程は、 前記検索対象領域内で抽出された映像資料の輪郭線と既
に設定された顔形態のテンプレートとを比較し、顔形態
のテンプレートに類似している形態の輪郭線が検出され
る場合、前記検索領域内に顔が存在すると判断すること
を特徴とする請求項6に記載の顔の撮影方法。 - 【請求項8】 前記判断過程は、 既に設定された顔形態のテンプレートを前記検索対象領
域の大きさに変換し、前記顔形態のテンプレートと検索
領域の輪郭線とを比較することを特徴とする請求項7に
記載の顔の撮影方法。 - 【請求項9】 前記判断過程は、 既に設定された目の周りのテンプレートに前記抽出され
た顔の輪郭線を代入して、目に対する部分検索を行なっ
て目に異常があるかどうかを判断する段階と、 前記目に対する部分検索を完了した後、既に設定された
鼻及び口の周りのテンプレートに前記抽出された顔の輪
郭線を代入し、鼻及び口に対する部分検索を行なって鼻
及び口に異常があるかどうかを判断する段階と、 前記鼻及び口に対する部分検索を完了した後、既に設定
された目と鼻、口に対する数値資料に前記抽出された顔
の輪郭線の数値資料を代入して、総合的な顔の異常有無
を判断する段階とを含むことを特徴とする請求項7に記
載の顔の撮影方法。 - 【請求項10】 前記顔映像貯蔵及び伝達過程は、 入力された映像のうち、顔映像のみを別に抽出し貯蔵す
ることを特徴とする請求項2に記載の顔の撮影方法。 - 【請求項11】 所定の場所に設置されたカメラによっ
て入力される画像信号から顔の資料を抽出して顔の位置
を確認し、前記確認された顔を追跡するための検索対象
領域を選択する初期分析過程と、 前記選択された検索対象領域内で確認された顔を追跡す
るために、前記カメラの位置を左右方向、上下方向、ま
たは前後方向に移動させるパン/チルトまたはズーム制
御過程と、 前記検索対象領域内で確認された顔の輪郭線を抽出及び
分析して顔の存在または異常があるかどうかを判断する
判断過程と、 前記判断過程によって顔が存在すると判断された前記検
索対象領域内の顔映像に対する3次元情報を生成して個
人別マスクを合成し、それを既に貯蔵された個人別マス
クと比較して特定個人を認識する認識過程とを含むこと
を特徴とする顔の認識方法。 - 【請求項12】 前記検索対象領域内で抽出された顔の
輪郭線を分析及び判断した結果、非正常的な情報を有し
ている顔には警報を発生させる警報発生過程を更に含む
ことを特徴とする請求項11に記載の顔の認識方法。 - 【請求項13】 前記初期分析過程は、 現在抽出された映像資料を既に貯蔵された以前の映像資
料と比較して、動きがある部分を検出し、現在抽出され
た映像資料から色構成要素の割合より構成される顔色範
囲の色相比が存在する部分を検出し、顔色と動きとが同
時に検出される部分を顔の位置で確認して検索対象領域
を選定することを特徴とする請求項12に記載の顔の認
識方法。 - 【請求項14】 前記初期分析過程は、 前記検索対象領域内で二つ以上の顔の位置が確認される
場合、既に選定された追跡対象を中心としてそれに類似
している映像を新しい追跡対象として選定することを特
徴とする請求項13に記載の顔の認識方法。 - 【請求項15】 前記初期分析過程は、 既に選定された追跡対象がない場合、撮像領域の中央部
分に類似している映像を新しい追跡対象として選定する
ことを特徴とする請求項14に記載の顔の認識方法。 - 【請求項16】 前記判断過程は、 前記検索対象領域内の映像資料に対する平均明度を基準
として顔の輪郭線を抽出し、個人別及び/または撮影地
域別特性に応じて輪郭線の強度を調節することを特徴と
する請求項12に記載の顔の認識方法。 - 【請求項17】 前記判断過程は、 前記検索対象領域内で抽出された映像資料の輪郭線と既
に設定された顔形態のテンプレートとを比較し、顔形態
のテンプレートに類似している形態の輪郭線が検出され
る場合、前記検索領域内に顔が存在すると判断すること
を特徴とする請求項16に記載の顔の認識方法。 - 【請求項18】 前記判断過程は、 既に設定された顔形態のテンプレートを前記検索対象領
域の大きさに変換して、 前記顔形態のテンプレートと
検索領域の輪郭線とを比較することを特徴とする請求項
17に記載の顔の認識方法。 - 【請求項19】 前記判断過程は、 既に設定された目の周りのテンプレートに前記抽出され
た顔の輪郭線を代入し、目に対する部分検索を行なって
目に異常があるかどうかを判断する段階と、 前記目に対する部分検索を完了した後、既に設定された
鼻及び口の周りのテンプレートに前記抽出された顔の輪
郭線を代入し、鼻及び口に対する部分検索を行なって鼻
及び口に異常があるかどうかを判断する段階と、 前記鼻及び口に対する部分検索を完了した後、既に設定
された目と鼻、口に対する数値資料に前記抽出された顔
の輪郭線の数値資料を代入し、総合的に顔に異常がある
かどうかを判断する段階とを含むことを特徴とする請求
項17に記載の顔の認識方法。 - 【請求項20】 カメラによって捉えられる画像信号に
対して多数の検索候補領域を選定して該当領域内に顔が
存在しているどうかを判断し、特定候補領域を選択して
前記選択された候補領域の被写体の動きによってカメラ
の方向を調節する過程と、 前記顔が存在しているがどうかを判断した結果、検索候
補領域内に顔が存在する画像信号に対しては特徴点を検
出してイメージを再配列し、前記再配列されたイメージ
間の変位情報で3次元情報を生成し、その3次元情報で
被写体の顔マスクを合成する過程と、 前記合成された顔マスクをデータベースに予め構築され
ている個人別登録マスクから探索して特定個人に対する
イメージが登録されているかどうかを判断する過程とを
含むことを特徴とする顔の認識方法。 - 【請求項21】 カメラによって入力される画像信号か
ら皮膚色データと動きデータをそれぞれ抽出して多数の
検索候補領域を選定し、該当検索候補領域内の画像信号
に対する顔構成要素の検索による顔が存在する領域を検
出して特定候補領域を選択し、前記選択された候補領域
の特徴点を検出してイメージを再配列した後、再配列さ
れたイメージを用いて顔が存在しているかどうかを確認
しながらカメラの位置を調節する過程と、 前記検索候補領域内に顔が存在する画像信号に対して
は、再びイメージを再配列した後、前記再配列されたイ
メージ間の変位情報を用いて3次元情報を生成し、前記
3次元情報を基準マスクと比較して個人別顔マスクを合
成する過程と、 前記合成された顔マスクをデータベースに予め構築され
ている個人別登録マスクらから探索して特定個人に対す
るイメージが登録されているどうかを確認する過程とよ
りなることを特徴とする顔の認識方法。 - 【請求項22】 所定の場所に設置されたカメラによっ
て撮影される物体の映像を捕捉して、連続された画像信
号を出力する画像入力手段と、 前記画像入力手段のカメラを上下左右または前後に移動
させるパン/チルトまたはズーム駆動手段と、 前記画像入力手段に物体の映像が捉えられる時、前記カ
メラが物体の動きを追跡するように前記パン/チルトま
たはズーム駆動手段を制御し、前記画像入力手段から入
力された画像信号から物体の動き及び顔色を検出して検
索領域を選定し、前記選定された領域内の画像信号から
顔部分を検索して貯蔵し、またはディスプレー手段へ伝
達する主制御手段と、 前記主制御手段から伝えられる画像信号を貯蔵し、前記
貯蔵された顔部分画像信号を検索する顔映像貯蔵及び検
索手段と、 前記主制御手段から伝えられる顔部分映像信号を出力す
るディスプレー手段とより構成することを特徴とする顔
の撮影装置。 - 【請求項23】 前記主制御手段から提供される顔の検
索結果に応じて警報を発生させる警報発生手段を更に含
むことを特徴とする請求項22に記載の顔の撮影装置。 - 【請求項24】 前記主制御手段は、 前記画像入力手段で撮影された入力画像で、顔色が存在
する部分と動きが存在する部分とを抽出して検索しよう
とする領域を選択する初期分析部と、 前記選択された検索領域から顔の輪郭線を抽出し、予め
設定された顔テンプレートと顔の輪郭線とを比較し、そ
の比較結果によって顔の存在及び異常有無を判断して追
跡対象を選定する判断部と、 前記判断部で選定された追跡対象がカメラの撮像領域の
中央に位置しているかを判断し、該当追跡対象の動きを
追跡するためのカメラの位置の調節値を計算して出力す
る客体管理部と、 前記客体管理部から伝えられるカメラの位置の調節値だ
け前記画像入力手段のカメラを左右方向、上下方向、ま
たは前後方向に移動させるためのパン/チルト及びズー
ム制御信号を発生するパン/チルトまたはズーム制御部
と、 前記画像入力手段に捉えられた顔映像を貯蔵し、前記追
跡対象物体の映像をディスプレー手段へ伝達する映像貯
蔵及び伝達部と、 前記貯蔵された顔映像を認識して検索する顔認識及び検
索部とより構成することを特徴とする請求項23に記載
の顔の撮影装置。 - 【請求項25】 前記初期分析部は、 前記画像入力手段から提供される現在抽出された映像資
料と予め貯蔵された以前の映像資料とを比較して動きが
ある部分を検出し、色構成要素の割合が皮膚色の範囲に
いる部分を検出し、顔色と動きとが同時に検出された部
分を検索領域として選定することを特徴とする請求項2
4に記載の顔の撮影装置。 - 【請求項26】 前記判断部は、 前記検出された輪郭線と予め貯蔵された顔形態のテンプ
レートとの比較結果、顔形態のテンプレートに類似して
いる形態の輪郭線が検索領域から検出される場合、前記
検索領域に顔が存在すると判断することを特徴とする請
求項24に記載の顔の撮影装置。 - 【請求項27】 前記判断部は、 前記予め貯蔵された顔形態のテンプレートを前記検索領
域の大きさに変換し、 前記顔形態のテンプレートと検索領域の輪郭線とを比較
することを特徴とする請求項26に記載の顔の撮影装
置。 - 【請求項28】 前記判断部は、 現在抽出された映像資料と予め貯蔵された以前の映像資
料との比較結果によって追跡対象物体を選定する時、二
つ以上の追跡対象が検出される場合は、以前に選定され
た追跡対象と最も類似している映像を新しい追跡対象と
して選定することを特徴とする請求項27に記載の顔の
撮影装置。 - 【請求項29】 前記判断部は、 現在抽出された映像資料と予め貯蔵された以前の映像資
料との比較結果によって、追跡対象を選定する時、二つ
以上の追跡対象が検出された状態で、以前に選定された
追跡対象がない場合、撮像領域の中央に最も類似してい
る顔を新しい追跡対象として選定することを特徴とする
請求項27に記載の顔の撮影装置。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR19980049468 | 1998-11-18 | ||
KR1019990021715A KR100326203B1 (ko) | 1999-06-11 | 1999-06-11 | 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치 |
KR1999-45407 | 1999-10-19 | ||
KR1998-49468 | 1999-10-19 | ||
KR1019990045407A KR100347058B1 (ko) | 1998-11-18 | 1999-10-19 | 얼굴 촬영/인식방법 |
KR1999-21715 | 1999-10-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000163600A true JP2000163600A (ja) | 2000-06-16 |
Family
ID=27349845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11322332A Pending JP2000163600A (ja) | 1998-11-18 | 1999-11-12 | 顔の撮影/認識方法とその装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2000163600A (ja) |
DE (1) | DE19955714A1 (ja) |
GB (1) | GB2343945B (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002216129A (ja) * | 2001-01-22 | 2002-08-02 | Honda Motor Co Ltd | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
KR100587430B1 (ko) | 2004-09-23 | 2006-06-09 | 전자부품연구원 | 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법 |
US7227569B2 (en) | 2002-05-07 | 2007-06-05 | Matsushita Electric Industrial Co., Ltd. | Surveillance system and a surveillance camera |
WO2007119355A1 (ja) | 2006-03-15 | 2007-10-25 | Omron Corporation | 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
JP2009060379A (ja) * | 2007-08-31 | 2009-03-19 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
US7672369B2 (en) | 2002-02-13 | 2010-03-02 | Reify Corporation | Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals |
WO2010035524A1 (ja) * | 2008-09-23 | 2010-04-01 | ブラザー工業株式会社 | インターホンシステム |
US7868917B2 (en) | 2005-11-18 | 2011-01-11 | Fujifilm Corporation | Imaging device with moving object prediction notification |
JP2011515736A (ja) * | 2008-02-27 | 2011-05-19 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法 |
US7995843B2 (en) | 2003-10-21 | 2011-08-09 | Panasonic Corporation | Monitoring device which monitors moving objects |
CN102324024A (zh) * | 2011-09-06 | 2012-01-18 | 苏州科雷芯电子科技有限公司 | 一种基于目标跟踪技术的机场乘客识别定位方法及系统 |
US8340366B2 (en) | 2006-03-23 | 2012-12-25 | Oki Electric Industry Co., Ltd. | Face recognition system |
JP2013050945A (ja) * | 2011-08-30 | 2013-03-14 | General Electric Co <Ge> | 人物トラッキング及びインタラクティブ広告 |
KR101413587B1 (ko) | 2012-03-14 | 2014-07-02 | 오므론 가부시키가이샤 | 화상처리장치, 화상처리방법, 제어 프로그램 및 기록매체 |
WO2014189216A1 (ko) * | 2013-05-22 | 2014-11-27 | 주식회사 파이브지티 | 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템 |
JP2017045102A (ja) * | 2015-08-24 | 2017-03-02 | 株式会社テララコード研究所 | 看視システム |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6411209B1 (en) | 2000-12-06 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Method and apparatus to select the best video frame to transmit to a remote station for CCTV based residential security monitoring |
US6441734B1 (en) | 2000-12-12 | 2002-08-27 | Koninklijke Philips Electronics N.V. | Intruder detection through trajectory analysis in monitoring and surveillance systems |
US6690414B2 (en) | 2000-12-12 | 2004-02-10 | Koninklijke Philips Electronics N.V. | Method and apparatus to reduce false alarms in exit/entrance situations for residential security monitoring |
US6744462B2 (en) | 2000-12-12 | 2004-06-01 | Koninklijke Philips Electronics N.V. | Apparatus and methods for resolution of entry/exit conflicts for security monitoring systems |
US7206029B2 (en) | 2000-12-15 | 2007-04-17 | Koninklijke Philips Electronics N.V. | Picture-in-picture repositioning and/or resizing based on video content analysis |
US6525663B2 (en) | 2001-03-15 | 2003-02-25 | Koninklijke Philips Electronics N.V. | Automatic system for monitoring persons entering and leaving changing room |
US7298412B2 (en) | 2001-09-18 | 2007-11-20 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US8228377B2 (en) | 2003-09-12 | 2012-07-24 | Logitech Europe S.A. | Pan and tilt camera |
JP4317465B2 (ja) | 2004-02-13 | 2009-08-19 | 本田技研工業株式会社 | 顔識別装置、顔識別方法及び顔識別プログラム |
DE102004015806A1 (de) * | 2004-03-29 | 2005-10-27 | Smiths Heimann Biometrics Gmbh | Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten |
US7917935B2 (en) | 2004-10-01 | 2011-03-29 | Logitech Europe S.A. | Mechanical pan, tilt and zoom in a webcam |
TR200707353A2 (tr) | 2007-10-26 | 2009-05-21 | Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. | Bir elektronik cihazın kullanıcısının konumunun tespiti ve tanınması |
US9019340B2 (en) | 2012-03-28 | 2015-04-28 | Intel Corporation | Content aware selective adjusting of motion estimation |
AU2014240213B2 (en) * | 2014-09-30 | 2016-12-08 | Canon Kabushiki Kaisha | System and Method for object re-identification |
CN105904822A (zh) * | 2016-06-15 | 2016-08-31 | 朱彩琴 | 压纹与花纹重合的长装饰材料及滚压方法和设备 |
CN110644727A (zh) | 2019-09-25 | 2020-01-03 | 浙江永裕竹业股份有限公司 | 一种在线同步对花共挤spc地板及其生产工艺 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5631697A (en) * | 1991-11-27 | 1997-05-20 | Hitachi, Ltd. | Video camera capable of automatic target tracking |
JP3298072B2 (ja) * | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
DE4238743A1 (de) * | 1992-11-17 | 1994-05-19 | Sel Alcatel Ag | Kamerasteuereinrichtung für ein Bildfernsprech-Teilnehmergerät |
JPH09107534A (ja) * | 1995-10-11 | 1997-04-22 | Canon Inc | テレビ会議装置及びテレビ会議システム |
JPH09149391A (ja) * | 1995-11-17 | 1997-06-06 | Kyocera Corp | テレビ電話装置 |
-
1999
- 1999-11-10 GB GB9926654A patent/GB2343945B/en not_active Expired - Fee Related
- 1999-11-12 JP JP11322332A patent/JP2000163600A/ja active Pending
- 1999-11-18 DE DE19955714A patent/DE19955714A1/de not_active Ceased
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002216129A (ja) * | 2001-01-22 | 2002-08-02 | Honda Motor Co Ltd | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
JP4597391B2 (ja) * | 2001-01-22 | 2010-12-15 | 本田技研工業株式会社 | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
US9001884B2 (en) | 2002-02-13 | 2015-04-07 | Reify Corporation | Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals |
US7672369B2 (en) | 2002-02-13 | 2010-03-02 | Reify Corporation | Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals |
US7227569B2 (en) | 2002-05-07 | 2007-06-05 | Matsushita Electric Industrial Co., Ltd. | Surveillance system and a surveillance camera |
US7995843B2 (en) | 2003-10-21 | 2011-08-09 | Panasonic Corporation | Monitoring device which monitors moving objects |
KR100587430B1 (ko) | 2004-09-23 | 2006-06-09 | 전자부품연구원 | 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법 |
US7868917B2 (en) | 2005-11-18 | 2011-01-11 | Fujifilm Corporation | Imaging device with moving object prediction notification |
WO2007119355A1 (ja) | 2006-03-15 | 2007-10-25 | Omron Corporation | 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
US8599267B2 (en) | 2006-03-15 | 2013-12-03 | Omron Corporation | Tracking device, tracking method, tracking device control program, and computer-readable recording medium |
US8340366B2 (en) | 2006-03-23 | 2012-12-25 | Oki Electric Industry Co., Ltd. | Face recognition system |
JP2009060379A (ja) * | 2007-08-31 | 2009-03-19 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
US8218815B2 (en) | 2007-08-31 | 2012-07-10 | Casio Computer Co., Ltd. | Image pick-up apparatus having a function of recognizing a face and method of controlling the apparatus |
US8744129B2 (en) | 2007-08-31 | 2014-06-03 | Casio Computer Co., Ltd. | Image pick-up apparatus having a function of recognizing a face and method of controlling the apparatus |
US8611605B2 (en) | 2007-08-31 | 2013-12-17 | Casio Computer Co., Ltd. | Image pick-up apparatus having a function of recognizing a face and method of controlling the apparatus |
JP2011515736A (ja) * | 2008-02-27 | 2011-05-19 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法 |
WO2010035524A1 (ja) * | 2008-09-23 | 2010-04-01 | ブラザー工業株式会社 | インターホンシステム |
JP2013050945A (ja) * | 2011-08-30 | 2013-03-14 | General Electric Co <Ge> | 人物トラッキング及びインタラクティブ広告 |
CN102324024A (zh) * | 2011-09-06 | 2012-01-18 | 苏州科雷芯电子科技有限公司 | 一种基于目标跟踪技术的机场乘客识别定位方法及系统 |
KR101413587B1 (ko) | 2012-03-14 | 2014-07-02 | 오므론 가부시키가이샤 | 화상처리장치, 화상처리방법, 제어 프로그램 및 기록매체 |
KR101424954B1 (ko) * | 2012-03-14 | 2014-08-01 | 오므론 가부시키가이샤 | 화상처리장치, 화상처리방법, 제어 프로그램 및 기록매체 |
US9076035B2 (en) | 2012-03-14 | 2015-07-07 | Omron Corporation | Image processor, image processing method, control program, and recording medium |
WO2014189216A1 (ko) * | 2013-05-22 | 2014-11-27 | 주식회사 파이브지티 | 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템 |
US10248840B2 (en) | 2013-05-22 | 2019-04-02 | Fivegt Co., Ltd | Method and system for automatically tracking face position and recognizing face |
JP2017045102A (ja) * | 2015-08-24 | 2017-03-02 | 株式会社テララコード研究所 | 看視システム |
Also Published As
Publication number | Publication date |
---|---|
GB2343945B (en) | 2001-02-28 |
DE19955714A1 (de) | 2000-05-31 |
GB2343945A (en) | 2000-05-24 |
GB9926654D0 (en) | 2000-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000163600A (ja) | 顔の撮影/認識方法とその装置 | |
KR100326203B1 (ko) | 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치 | |
KR101337060B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP3178719B2 (ja) | 動的物体認識方法及びその画像処理システム | |
US20230343129A1 (en) | Detecting device, detecting method, and recording medium | |
US7574021B2 (en) | Iris recognition for a secure facility | |
EP0989517B1 (en) | Determining the position of eyes through detection of flashlight reflection and correcting defects in a captured frame | |
JP2000278584A (ja) | 画像処理機能を備えた画像入力装置および画像処理プログラムを記録した記録媒体 | |
JP6403687B2 (ja) | 監視システム | |
US20050084179A1 (en) | Method and apparatus for performing iris recognition from an image | |
US11006864B2 (en) | Face detection device, face detection system, and face detection method | |
US20130236057A1 (en) | Detecting apparatus of human component and method thereof | |
CN111242025A (zh) | 一种基于yolo的动作实时监测方法 | |
JP2007264860A (ja) | 顔領域抽出装置 | |
US20050041111A1 (en) | Frame adjustment device and image-taking device and printing device | |
KR101985711B1 (ko) | 증강현실 cctv 시스템 및 그 제어방법 | |
US20020052708A1 (en) | Optimal image capture | |
US20230360297A1 (en) | Method and apparatus for performing privacy masking by reflecting characteristic information of objects | |
JP2005049854A (ja) | 対象決定装置及び撮像装置 | |
JPH1115979A (ja) | 顔検出及び顔追跡方法並びにその装置 | |
JP4203279B2 (ja) | 注目判定装置 | |
KR100813936B1 (ko) | 동영상의 동적 피사체 추출 및 영상합성 서비스 방법 | |
JP3774495B2 (ja) | 画像情報抽出装置および方法 | |
KR102108391B1 (ko) | 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법 | |
TW466452B (en) | Method and apparatus for photographing/recognizing a face |