JP2021140734A - 顔認識方法及び顔認識装置 - Google Patents

顔認識方法及び顔認識装置 Download PDF

Info

Publication number
JP2021140734A
JP2021140734A JP2020166626A JP2020166626A JP2021140734A JP 2021140734 A JP2021140734 A JP 2021140734A JP 2020166626 A JP2020166626 A JP 2020166626A JP 2020166626 A JP2020166626 A JP 2020166626A JP 2021140734 A JP2021140734 A JP 2021140734A
Authority
JP
Japan
Prior art keywords
face recognition
data processing
processing circuit
distance
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020166626A
Other languages
English (en)
Other versions
JP7235707B2 (ja
Inventor
孫培華
Pei-Hua Sun
陳凱▲シュン▼
Kai-Hsun Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giga Byte Technology Co Ltd
Original Assignee
Giga Byte Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giga Byte Technology Co Ltd filed Critical Giga Byte Technology Co Ltd
Publication of JP2021140734A publication Critical patent/JP2021140734A/ja
Application granted granted Critical
Publication of JP7235707B2 publication Critical patent/JP7235707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/76Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

【課題】システムの平均的な負荷を低減し得る顔認識方法及び顔認識装置を提供する。【解決手段】距離検出器と、データ処理回路と、赤外線照射器と、赤外線撮像カメラを備え、データ処理回路が、距離検出値が閾値距離より小さいと判断したとき、距離検出値に基づいて、対応する赤外線照射器の光源強度を設定し、赤外線照射器が光源強度で赤外線を照射し、赤外線撮像カメラが、データ処理回路の命令に基づいて、赤外線画像を撮像し、データ処理回路が、赤外線画像に対して顔認識を行い、データ処理回路は顔認識が成功したと判断したとき、対応するアクションを実行する。【選択図】図4

Description

本発明は顔認識方法及び顔認識装置に関し、特に、システムの平均的な負荷を低減し得る顔認識方法及び顔認識装置に関する。
顔認識技術は、画像を分析することにより顔を抽出し、これによって抽出された顔をデータベースに予め記録された顔のIDデータと比較して、抽出された顔がデータベース内のIDデータと一致するかどうかを判断する。なお、顔認識の際に取り込まれる画像には、可視光画像の場合に加えて不可視光画像の場合がある。
また、一般的な顔認識の技術としては、顔のさまざまな部位の特徴を数値化し、顔の特徴値の組み合わせを生成し、それらをIDデータとしてデータベースに保存し、顔認識の際にはデータベースに保存されたIDデータと比較することが挙げられる。
現在の顔認識装置は、撮像カメラが連続的に可視光または不可視光のストリーミング画像をキャプチャーすることにより行われる。中央処理装置又は他のコアコンピューティングは、識別コードを継続的に用いて、ストリーミング画像内に人の顔があるか否かを分析し続け、人の顔を抽出できたときに、顔の特徴値の組み合わせを更に生成する。換言すると、顔認識装置の目の前に人がいるか否かにかかわらず、顔認識装置は顔認識のための動作を継続していると言える。
このため、顔認識装置の中央処理装置には、常に高い負荷がかかっていた。したがって、計算能力が低いCPUを用いて顔認識を行っている場合には、それだけでCPUの能力の大半を使用してしまうことから、システム全体の動作速度が低下し、顔認識以外の他の動作に悪影響を与える場合がある。
一方、計算能力が高いCPUを使用すると設備費が高くなり、継続的な顔認識の動作によりエネルギー消費も高くなる。加えて、このエネルギー消費によってもCPU周りが高熱となり、CPUを含めたシステムの温度上昇を抑えるために、システム全体を低い周波数で運転せざるを得なくなる場合があり、システムの運転の遅れの原因となっていた。
本発明は、このような問題に鑑みて、必要に応じて顔認識を行うことによりシステムの平均的な負荷を低減し、ハードウェアの消耗を極力抑制し得る顔認識方法及び顔認識装置を提供することを目的とする。
このような問題に鑑みて本発明の顔認識方法及び顔認識装置は以下の構成を備える。
本発明による顔認識方法は、距離検出器が、距離検出を行って距離検出値を取得し、 データ処理回路が、前記距離検出値が閾値距離より小さいか対比し、前記データ処理回路が、前記距離検出値が前記閾値距離より小さいと判断したとき、前記距離検出値に基づいて、対応する赤外線照射器の光源強度を設定し、前記赤外線照射器が前記光源強度で赤外線を照射し、赤外線撮像カメラが、前記データ処理回路の命令に基づいて、赤外線画像を撮像し、前記データ処理回路が、前記赤外線画像に対して顔認識を行い、前記データ処理回路は前記顔認識が成功したと判断したとき、対応するアクションを実行する。
また、本発明による顔認識装置は、距離検出値を得るための距離検出器と、赤外線を照射するための赤外線照射器と、赤外線画像を撮像するための赤外線撮像カメラと、前記距離検出値が閾値距離より小さいか判断するためのデータ処理回路を備え、前記距離検出値が前記閾値距離より小さいとき、前記データ処理回路は、前記距離検出値に基づいて、対応する光源強度を設定し、前記光源強度で前記赤外線照射器を駆動して前記赤外線を照射し、且つ前記データ処理回路は前記赤外線画像に対して顔認識を行い、前記顔認識が成功したとき、前記データ処理回路は対応するアクションを行う。
本発明によれば、データ処理回路が、距離検出値が閾値距離より小さいと判断したとき、距離検出値に基づいて、対応する赤外線照射器の光源強度を設定し、赤外線照射器が前記光源強度で赤外線を照射し、赤外線撮像カメラが、データ処理回路の命令に基づいて、赤外線画像を撮像し、データ処理回路が、赤外線画像に対して顔認識を行う。このため、顔認識プログラムを直ぐに起動できる状態であるアイドル状態に切り換ることができ、常に顔認識動作を実行し続ける必要がない。これによって、顔認識動作のためにハードウェアが常に動作して、顔認識以外の他の制御の速度が低下してしまうことを防止し、システム全体の動作速度の低下を抑制し得る。
本発明の第1の実施形態を説明する顔認識装置の正面図である。 本発明の第1の実施形態を説明する回路のブロック図である。 本発明の第1の実施形態の距離検出値と光源強度の対応関係を説明する図である。 本発明の第1の実施形態を説明するためのフローチャートである。 本発明の第1の実施形態を説明するための他のフローチャートである。 本発明の第1の実施形態の距離検出値と光源強度の切り換えを説明する模式図である。 本発明の第1の実施形態の距離検出値と光源強度の切り換えを説明する他の模式図である。 本発明の第2の実施形態を説明する回路のブロック図である。
図1、図2を参照して本発明の第1の実施形態を説明する。図1は本発明の第1の実施形態を説明する顔認識装置の正面図であり、図2は本発明の第1の実施形態を説明する回路のブロック図である。本実施形態では、顔認識装置100を用いて顔認識を行う。
具体的には、顔認識装置100は、図1と図2に示すように、ケース110と、距離検出器120と、データ処理回路130と、1個又は複数個の赤外線照射器140と、赤外線撮像カメラ150と、可視光撮像カメラ160と、ディスプレイパネル170を備える。
図1および図2に示すように、ケース110の内部には空間が形成され、ケース110の正面112には距離検出器120が設けられ、この距離検出器120は正面112の前方の距離検出値Dを取得する。ケース110は壁やブラケットに固定され、正面112は感知しようとする領域(感知領域)に向いている。
図1、図2に加え、図3を参照して本発明の第1の実施形態を説明する。ここで、図3は本発明の第1の実施形態の距離検出値と光源強度の対応関係を説明する図である。
図2に示すように、データ処理回路130は、ケース110の内部の空間に配置されている。距離検出器120は、データ処理回路130に電気的に接続され、距離検出値Dをデータ処理回路130に出力する。
図2に示すデータ処理回路130は、図3に示すような閾値距離Tを設定し、距離検出値Dが閾値距離Tより小さいか否かを判定する。
物体が感知領域に接近していない場合、例えば人体又は顔が感知領域に入らない遠い位置にある場合には、距離検出値Dは、距離検出器120が感知できるような閾値距離Tを超える固定の数値となる。
また、例えば距離検出器120が検知できる背景物までの距離、又は背景物までの距離が距離検出器120の最大検出範囲を超えてしまう場合には有効な距離検出値Dが得られない。
図1に示すように、赤外線照射器140は正面112に配置され、正面112から前方へ向かって赤外線を照射する。また、図2に示すように、赤外線照射器140はデータ処理回路130に電気的に接続される。
データ処理回路130は、距離検出値Dが閾値距離T未満である場合、距離検出値Dに対応する光源強度を設定し、この対応する光源強度で赤外線照射器140を駆動して赤外線を照射する。
なお、赤外線照射器140が照射する光源強度、即ち光の強さは赤外線照射器140の電力強度(watt)であってもよく、例えば、赤外線照射器140は指定された電力で赤外線を照射しても良いが、これには限られない。
また、赤外線照射器140を駆動する駆動電圧(voltage)の大きさについては、データ処理回路130が赤外線照射器140を駆動できる電圧の範囲内で、異なる距離検出値Dに対応する駆動電圧値を設定することができる。
本実施形態では、赤外線照射器140は、パルス電流(Pulse Current)によって駆動され、光源の強度は、パルス電流のパルス幅又はデューティサイクル(duty cycle)長であり得る。
データ処理回路130は、赤外線照射器140の動作周波数の範囲内でパルス電流のパルス幅又はデューティサイクルを異なる距離検出値Dに対応するように設定する。ここで、距離検出値Dが大きいほど対応する光の強さは強くなり、逆に距離検出値Dが小さいほど対応する光の強さは弱くなる。
図3に示すように、本実施形態では、データ処理回路130は、閾値距離Tの範囲内で、2以上の距離区間D1、D2、D3に更に分割される。また、設定された光源強度の設定値は、距離区間D1でI1に設定され、距離区間D2でI2に設定され、距離区間D3でI3に設定される。
データ処理回路130は、距離区間D1、D2、D3毎に設定された光源の強度I1、I2、I3で赤外線照射器140を駆動して赤外線を照射する。
閾値距離Tを超えても、距離検出器120は、最大検出距離以下の距離区間D4で距離検出値Dを依然として得ることができ、データ処理回路130は、距離区間D4に対応する光源強度の設定値I4を設定することもできる。なお、光源強度の設定値I4は、赤外線照射器140の仕様の範囲内における最大強度であってもよい。
したがって、本実施形態では、距離区間D1、D2、及びD3の間の平均距離が大きいほど、対応する光源強度の設定値I1、I2、及びI3が大きくなる。
逆に、距離区間D1、D2、D3間の平均距離が小さいほど、対応する光源強度の設定値I1、I2、I3は小さくなる。
したがって、データ処理回路130は、距離検出値Dが、複数の距離区間D1、D2、D3のいずれか一つに含まれる場合、赤外線照射器140を駆動して、対応する設定値I1、I2、又はI3で赤外線を照射する。
データ処理回路130は、光源強度の設定値I1、I2、I3と距離区間D1、D2、D3の対応に基づいて光源の強度を切り換えるため、物体が各距離区間D1、D2、D3のとき、その物体の表面の赤外線放射輝度(W/m2)を適切な数値の範囲内に維持できる。
図1に示すように、赤外線撮像カメラ150は、正面112に設けられ、図2に示すように、データ処理回路130に電気的に接続される。赤外線撮像カメラ150は、ケース110の正面112に面する赤外線画像Pir(図2)を撮像(キャプチャー)し、赤外線画像Pirをデータ処理回路130に出力するために使用される。
ここで、赤外線画像Pirは、主に、赤外線照射器140が照射した赤外線が物体によって反射されて形成される。
データ処理回路130は、距離検出値Dが閾値距離T未満かを継続的に判定する。データ処理回路130は、距離検出値Dが閾値距離Tより小さい場合、距離検出値Dに応じて対応する光源強度を設定し、赤外線照射器140を駆動して対応する光源強度で赤外線を照射する。データ処理回路130は、赤外線撮像カメラ150を動作させて、赤外線画像Pirを撮像する。データ処理回路130は、赤外線画像Pirに基づいて顔認識動作を行う。
データ処理回路130は、赤外線画像Pirに基づいて人の顔が存在するかどうかを分析し、人の顔がある場合には、人の顔の画像に対して校正を行い、人の顔の特徴値の組み合わせを抽出する。
顔の特徴値の組み合わせは、顔の特徴となる点(目、鼻、口等)を特徴点利用の材料として、それぞれ特徴値を抽出して顔の特徴値の組み合わせを生成する。
データ処理回路130は、顔の特徴値を組み合わせた後、顔の特徴値の組み合わせと、特徴値データベース(図示せず)内の複数の予め設定された特徴値の組み合わせが一致するかを比較する。
データ処理回路130は、顔の特徴値の組み合わせが、予め設定された複数の特徴値の組み合わせのいずれかと一致して、顔認識が成功した場合には対応するアクションを行う。
図2に示すように、可視光撮像カメラ160及びディスプレイパネル170は、それぞれデータ処理回路130に電気的に接続され、図1に示すように、可視光撮像カメラ160及びディスプレイパネル170は、ケース110の正面112に配置される。
可視光撮像カメラ160は、ケース110の正面112の前方向の可視光画像Pvを撮像してデータ処理回路130に送信し、データ処理回路130がディスプレイパネル170を駆動して可視光画像Pvを表示する。
したがって、ユーザーは、ディスプレイパネル170に表示される画像を確認した上で自分の位置を確認して必要に応じて調整することにより、自分の位置と姿勢が赤外線撮像カメラ150で顔を撮像できるようにすることができる。
前述の対応するアクションとしては、ドアロックの開錠、出席の記録、アクセスの記録、図書の貸し出し記録等が挙げられるが、これらに限定されない。
アクションの例を挙げると、顔認識を行うためのゲートを職場の入り口に設け、データ処理回路130によって制御することにより顔認識が成功すると、データ処理回路130は、ユーザーの顔認識が成功した時刻(出勤時刻)を記録し、対応するアクションとしてゲートを開くなどの操作を実行すること等が挙げられる。
前述のデータ処理回路130によって実行される対応するアクションは、ディスプレイパネル170を駆動して顔認識が成功した旨のメッセージ等を併せて表示させても良い。なお、顔認識が成功した旨のメッセージと共にユーザーのデータ(例えば、ユーザーを識別するためのコードに加えて、ユーザーの氏名や所属している部門、更には顔写真等を含むデータを言う。)を更に表示させても良い。
次に、本発明の顔認識装置100を用いて顔認識を行う方法について図4を参照して説明する。ここで、図4は本発明の第1の実施形態を説明するためのフローチャートである。
図1の顔認識装置100を起動した後、図2のデータ処理回路130は、図4のステップ(Step)110に示すように、距離検出器120に距離検出を実行させて図3の距離検出値Dを取得する。
データ処理回路130は、顔認識プログラムをロードする。このとき、顔認識プログラムはアイドル(idle)状態に切り換えられる。
すなわち、顔認識プログラムの機能を無効にする一方で、顔認識プログラムをいつでも起動可能な状態とする。
このとき、顔認識装置100は、顔認識を行わないため、データ処理回路130が高負荷な計算を継続して行う必要がなく、ハードウェア資源の浪費を回避できる。
次に、ステップ120に示すように、距離検出器120は、距離検出値Dを連続して検出し、これら連続的に検出された距離検出値Dをデータ処理回路130に出力する。
データ処理回路130は、ステップ130に示すように、閾値距離Tを設定し、データ処理回路130は、距離検出値Dが閾値距離Tより小さいか比較する。そして、距離検出値Dが閾値距離T以上の場合、ステップ120に戻り、データ処理回路130は、入力された距離検出値Dを再度受信する。
ユーザーがケース110の正面112の前方に移動して感知領域に入ると、距離検出器120がユーザーを検出し、ユーザーと距離検出器120との間の距離に基づいて対応する距離検出値Dが得られる。距離検出値Dが閾値距離Tより小さい場合、データ処理回路130は、ステップ140に示すように、顔認識プロセスを実行し得る顔認識プログラムを有効にする。
図5を併せて参照して本発明の第1の実施形態を説明する。ここで、図5は本発明の第1の実施形態を説明するための他のフローチャートである。具体的には図4のフローチャートのステップ140の動作をさらに詳細に説明するためのフローチャートである。
図5のステップ141とステップ142に示すように、データ処理回路130は有効化した顔認識プログラムに基づいて、距離検出値Dに基づいて距離検出値Dに対応した光源強度を設定する。
そして、データ処理回路130は、赤外線照射器140に対応する光源強度の赤外線を照射させる。データ処理回路130は、ステップ143に示すように赤外線撮像カメラ150によって、赤外線画像Pirの撮影を開始してデータ処理回路130に出力する。
距離検出値Dの相違に基づいて、対応する光源強度を設定して赤外線を照射することにより、赤外線画像Pirのより良い画像露出とクリアーな画像撮像効果を得ることができる。
具体的には図3に示すように、閾値距離Tは2つ以上の距離区間D1、D2、D3に分割され、光源強度は複数の設定値I1、I2、I3を有し、各距離区間D1、D2、D3は複数の設定値I1、I2、I3のいずれか1つに対応する。
距離検出値Dが閾値距離Tよりも大きいが、赤外線照射器140が距離検出値Dを取得できる距離区間D4の範囲内であれば、データ処理回路130は顔認識を行なわない。
ただし、距離区間D4内であれば、赤外線照射器140は尚も設定値I4で赤外線を照射し得るので、赤外線照射器140に仕様の範囲内における最大強度の設定値I4を光源強度として赤外線を照射することができ、所定の場所に赤外線を照射できる。
次に、図6を併せて参照して説明する。ここで、図6は本発明の第1の実施形態の距離検出値と光源強度の切り換えを説明する模式図である。図6に示すように、人の顔が赤外線撮像カメラ150の撮像範囲に入り、距離検出値Dが閾値距離Tより小さく、距離区間D3の範囲内にある場合、赤外線照射器140は、最大設定値I3を光源強度として赤外線を照射するため、人の顔がたとえ遠くにあっても十分に照射でき、赤外線画像Pirは十分に露出され十分に鮮明となる。
このとき、ユーザーが顔認識装置100に次第に近づき、距離検出値Dが距離区間D2又は距離区間D1に入ると、設定値I3では光源強度が強くなりすぎ、赤外線画像Pirが明るくなりすぎて、顔の輪郭が鮮明に映らなくなってしまう。これを防止するため、データ処理回路130は、距離区間D2にユーザーが移動したら、この距離区間D2に対応する設定値I2に光源強度を設定するので、赤外線画像Pirを適切に露光(露出)して鮮明にすることができる。
図7を併せて参照して本発明の第1の実施形態を説明する。ここで、図7は本発明の第1の実施形態の距離検出値と光源強度の切り換えを説明する他の模式図である。図7に示すように、先ず、人の顔がより近くの距離区間(要するに赤外線照射器140の近く)、例えば距離区間D1に入った場合、赤外線照射器140は、光源強度としてより小さい設定値I1で赤外線を照射して、赤外線画像Pirを適切に露光し、鮮明にできる。
ただし、ユーザーが距離を調整することにより、距離検出値Dを距離区間D3又は距離区間D2に変更すると、設定値I1では光の強度が足りず、赤外線画像Pirが露出不足(影が薄くなり)となり、輪郭を鮮明に表示することができない。このとき、データ処理回路130は、距離区間D3に対応するように、赤外線照射器140からの光の強度(光源強度)を大きくすべく設定値I3に設定するので、赤外線画像Pirを鮮明に表示することができる。
データ処理回路130は、図5のステップ144に示すように、可視光撮像カメラ160を作動させて可視光画像Pvをステップ143と同一行程にて撮像し、ディスプレイパネル170を駆動して可視光画像Pvを表示する。
このとき、ユーザーは、ディスプレイパネル170で表示される画像を見ながら位置や姿勢を調整することにより、赤外線撮像カメラ150で顔を確実に捉えることができる。
前述の赤外線照射器140は、通常、設定値I4等の仕様内の最大の光源強度で周囲に対して赤外線を照射し、赤外線撮像カメラ150によって赤外線画像Pirのストリーム画像を連続的に撮像して、データ処理回路130がこのストリーム画像を図示しないメモリに記録する。
ただし、このときのデータ処理回路130は、顔認識動作を行わず、単に動画(連続したストリーム画像)を記録するだけである。同様に、可視光撮像カメラ160は、通常、可視光画像Pvのストリーム画像を取り込むことができる。一方、データ処理回路130はストリーム画像を記録するが、表示のためにディスプレイパネル170を駆動しない。
次に、データ処理回路130は、図4のステップ150に示すように、赤外線画像Pirに基づいて顔認識を実行して、赤外線画像Pirの人の顔の特徴値の組み合わせが、特徴値データベース内の複数の予め設定された特徴値の組み合わせのいずれか一つに一致するかどうかを判定する。なお、ここでいう複数とは2個又は2個以上のいずれをも含む概念である。
顔の特徴値の組み合わせが複数の予め設定された特徴値の組み合わせのいずれかと一致する場合、すなわち、顔認識が成功した場合、データ処理回路130は、ステップ160に示すように、対応するアクションを実行する。前述の対応するアクションは、ドアロックの開錠、出勤記録、入退出記録、本の貸し出し記録などであるが、これらに限定されるものではない。
したがって、上述の顔認識装置100及び顔認識方法では、通常、顔認識プログラムはアイドル(idle)状態であり、このアイドル状態の間は、顔認識装置100のハードウェアは顔認識処理を実行せず、高い負荷が維持されることがない。したがって、顔認識装置100の通常の負荷を低減し、エネルギー消費を抑えることができる。
本発明では、データ処理回路130は、ハードウェアであっても、ハードウェアとソフトウェアの組み合わせであってもよい。例えば、データ処理回路130は、システムチップセット、中央処理装置、不揮発性メモリモジュール、揮発性メモリモジュール、及びグラフィックスチップを更に含み得る。
不揮発性メモリモジュールは、ユーザーのデータを格納するために使用される。中央処理装置は、ユーザーのデータを不揮発性メモリから揮発性メモリにロードして実行し、顔認識プログラムで顔認識プロセスを開始して、顔認識プロセスをアイドル状態に切り替えることができる。
上記の実施形態は、データ処理回路130の単なる例であり、電気回路の一部又は全てを単一の集積回路で構成しても差し支えなく、前述の構成をデータ処理回路130として他の回路設計に置き換えても差し支えない。
次に、図8を参照して本発明の第2の実施形態を説明する。ここで、図8は顔認識装置100の第2の実施形態を説明するものであり、データ処理回路130を他の構成により実現し得るものである。データ処理回路130は、コアコンピューティング132、距離検出器120と駆動回路134、及び電圧調整器136を含む3つの部分に分けることができる。
コアコンピューティング132は、中央処理装置CPU、図示しないシステムチップセット等の構成を含み、顔認識操作を実行するために使用される。
コアコンピューティング132は、USBバス(またはMIPI−CSI等の他のインターフェース)を介して、赤外線撮像カメラ150及び可視光撮像カメラ160に接続することができる。
コアコンピューティング132は、I2Cインターフェース(又はSMBus、USB等の他のインターフェース)を介して距離検出器120の駆動回路134に接続される。
同時に、駆動回路134は、汎用入出力ピンGPIO−1やGPIO−2等の2個の入出力ピンを介して電圧調整器136に接続することができる。
汎用入出力ピンGPIO−1、GPIO−2及びベース電圧Vは、抵抗を介して電圧調整器136に並列に接続される。このようにして、汎用入出力ピンGPIO−1やGPIO−2を使用して、基準電圧Vrefを調整し、電圧調整器136に出力しても差し支えない。
電圧調整器136は、電源Vdd、例えば、+ 5V電圧に接続され、基準電圧Vrefに基づいて出力電圧Voutを出力して、赤外線照射器140の駆動電圧V−LEDの大きさを調整し、設定値I1、I2、I3、I4から改変光源の強度を選択する。
距離検出器120は、赤外線距離測定装置、レーザー距離測定装置、又は飛行時間距離測定装置(ToF:Time of Flight)であってもよい。距離検出器120によって検出された距離検出値Dは、駆動回路134によって符号化され、コアコンピューティング132の中央処理装置CPUに連続的に出力される。
距離検出値Dが閾値距離Tより大きく、且つ距離検出値Dが最大のとき、例えば、距離区間D1、D2、D3、D4のうちの距離区間D4内にある場合、データ処理回路130は顔認識を行わず、赤外線照射器140の光源強度の設定値I1、I2、I3、I4も切り換えない。
このとき、コアコンピューティング132は、距離検出器120の駆動回路134を制御して、2つの汎用入出力ピンGPIO−1及びGPIO−2をオープンドレイン(Open Drain)状態に維持する。
このとき、基準電圧Vrefを最大電圧(たとえば、Vref=2.5V)に維持でき、駆動電圧V−LEDの出力も最高の電圧設定値(たとえば、2.5V)にさせ、赤外線照射器140は、規格範囲の最大強度の設定値I4を光源強度として対象を赤外線で照射する。
距離検出値Dが閾値距離T未満であり、且つ距離検出値Dが距離区間D1、D2、D3の距離区間D1内にある等比較的小さい場合、コアコンピューティング132は、距離検出器120の駆動回路134を制御して、2つの汎用入出力ピンGPIO−1及びGPIO−2をローレベルに維持する。
このとき、基準電圧Vrefは最小値(例えば、Vref=1.5V)に低下し、その結果、駆動電圧V−LEDは、最低の電圧設定値(例えば、1.5V)に低下し、赤外線照射器140は、最小設定値I1を光源強度の設定値として赤外線を照射する。このため、赤外線画像が明るすぎとなる問題を回避できる。
距離検出値Dが閾値距離Tより小さく、距離検出値Dが例えば中間値である距離区間D2内にある場合、コアコンピューティング132は、I2Cを介して距離検出器120の駆動回路134を制御し、汎用入出力ピンGPIO−1をローレベルに切り換えさせ、汎用入出力ピンGPIO−2はオープンドレイン(Open Drain)状態に切り換えさせる。
このとき、基準電圧Vrefも最大値と最小値の間にあるため(例えば、Vref=1.833V)、駆動電圧V−LEDが中間の電圧設定値1.833Vに調整され、赤外線照射器140は中間の設定値I2を光源強度として赤外線を照射するように維持し、赤外線画像Pirの明るさは中程度となり、コアコンピューティング132が人の顔認識を行うのに足りる明るさとなる。
距離検出値Dが閾値距離Tより小さく、距離検出値Dが例えば距離区間D3内にある場合等比較的大きい場合、コアコンピューティング132は、I2Cを介して距離検出器120の駆動回路134を制御し、汎用入出力ピンGPIO−1はオープンドレイン(Open Drain)状態に切り換えて、汎用入出力ピンGPIO−2はローレベルに切り換える。
このとき、基準電圧Vrefは中間値(例えば、Vref=2.167V)よりも高くなるように上昇するため、駆動電圧V−LEDは例えば、2.167Vまで大きくなり、赤外線照射器140は、最大の設定値I3を光源強度として維持するように赤外線を照射して、遠くの人の顔でも十分に明るさが足りる赤外線画像Pirを撮像できるようにするので、コアコンピューティング132は人の顔認識を行うことができる。
本実施形態のいずれか一つ以上において、3個の距離区間D1、D2、及びD3は、例示のみのために3種の光源強度の設定値I1、I2、及びI3に対応するが、適宜増減させて2個又は4個以上としても良い。更に、少なくとも1つの距離区間(距離区間D4等)を、閾値距離Tを超えて設定することもでき、この距離区間D4は設定値I4に対応する。
本発明のいずれか1つ以上の実施形態では、顔認識装置100は、顔認識プログラムを直ぐに起動できる状態であるアイドル状態に切り換えられる。また、顔認識装置100は、距離検出値Dに応じて、認識プログラムを起動して顔認識処理を開始するか否かを決定する。
したがって、顔認識装置100は、常に顔認識動作を実行し続ける必要はなく、顔認識動作のためにハードウェアが動作して、顔認識以外の他の制御の速度が低下してしまうことを防止し、システム全体の動作速度の低下を抑制し得る。
また、本発明は、顔認識装置100の平均的な負荷を効果的に低減し、不必要な電力消費を回避することができる。
加えて、システムの負荷を低減することで、システムを構成するハードウェアの温度が高くなることによりシステム全体を低い周波数で運転せざるを得なくなることを回避すると共に、顔認識が必要な状態に切り換わった際には、迅速に顔認識を行うことができる。
さらに、少なくとも1つの実施形態では、本発明は、距離検出値Dを使用して、光源強度の設定値I1、I2、I3を決定し、人間の顔が遠くにあっても近くにあっても常に最高の画像露出と撮像が可能となり、顔認識動作を容易に行える。
100 顔認識装置
110 ケース
112 正面
120 距離検出器
130 データ処理回路
132 コアコンピューティング
134 駆動回路
136 電圧調整器
140 赤外線照射器
150 赤外線撮像カメラ
160 可視光撮像カメラ
170 ディスプレイパネル
D 距離検出値
D1、D2、D3、D4 距離区間
I1、I2、I3、I4 設定値
T 閾値距離
Pir 赤外線画像
Pv 可視光画像
CPU 中央処理装置
Vref 基準電圧
V ベース電圧
Vout 出力電圧
Vdd 電源
V−LED 駆動電圧
GPIO−1、GPIO−2 汎用入出力ピン
Step110〜Step160 ステップ

Claims (11)

  1. 距離検出器が、距離検出を行って距離検出値を取得し、
    データ処理回路が、前記距離検出値が閾値距離より小さいか対比し、
    前記データ処理回路が、前記距離検出値が前記閾値距離より小さいと判断したとき、前記距離検出値に基づいて、対応する赤外線照射器の光源強度を設定し、前記赤外線照射器が前記光源強度で赤外線を照射し、
    赤外線撮像カメラが、前記データ処理回路の命令に基づいて、赤外線画像を撮像し、前記データ処理回路が、前記赤外線画像に対して顔認識を行い、
    前記データ処理回路は前記顔認識が成功したと判断したとき、対応するアクションを実行することを特徴とする、
    顔認識方法。
  2. 前記閾値距離の範囲内で複数の距離区間に区分けされ、前記光源強度は複数の設定値を有し、且つ各前記複数の距離区間は前記複数の設定値のいずれか一つに対応することを特徴とする請求項1に記載の顔認識方法。
  3. 前記データ処理回路は、前記赤外線画像の中に一つの人の顔が存在するか否か分析し、前記人の顔の画像に対して校正を行い、前記人の顔の特徴値の組み合わせを取得し、前記人の顔の特徴値の組み合わせと、特徴値データベース内の複数の予め設定された特徴値の組み合わせのいずれか一つとが一致するか比較することを特徴とする請求項1に記載の顔認識方法。
  4. 前記データ処理回路は、前記距離検出値が前記閾値距離より小さいと判断したとき、可視光撮像カメラが可視光画像を撮像し、前記可視光画像をディスプレイパネルに表示することを特徴とする請求項1に記載の顔認識方法。
  5. 前記データ処理回路は、前記顔認識が成功したと判断したとき、顔認識が成功した旨のメッセージをディスプレイパネルに表示させ、且つ前記顔認識が成功した旨のメッセージにはユーザーのデータが含まれることを特徴とする請求項1に記載の顔認識方法。
  6. 距離検出値を得るための距離検出器と、
    赤外線を照射するための赤外線照射器と、
    赤外線画像を撮像するための赤外線撮像カメラと、
    前記距離検出値が閾値距離より小さいか判断するためのデータ処理回路を備え、
    前記距離検出値が前記閾値距離より小さいとき、前記データ処理回路は、前記距離検出値に基づいて、対応する光源強度を設定し、前記光源強度で前記赤外線照射器を駆動して前記赤外線を照射し、且つ前記データ処理回路は前記赤外線画像に対して顔認識を行い、
    前記顔認識が成功したとき、前記データ処理回路は対応するアクションを行うことを特徴とする、
    顔認識装置。
  7. 可視光画像を撮像して前記データ処理回路に出力するための可視光撮像カメラと、前記データ処理回路に駆動されて前記可視光画像を表示するためのディスプレイパネルとを更に備えることを特徴とする請求項6に記載の顔認識装置。
  8. 前記顔認識装置はケースを更に備え、前記ケースの内部には内部空間が形成され、且つ前記ケースは正面を有し、前記距離検出器は前記正面に設けられ、前記正面の前方から前記距離検出値を取得し、前記データ処理回路は内部空間に設けられ、前記赤外線照射器、前記赤外線撮像カメラ、前記可視光撮像カメラ、及び前記ディスプレイパネルは前記正面に設けられることを特徴とする請求項7に記載の顔認識装置。
  9. 前記顔認識が成功したとき、前記データ処理回路は前記ディスプレイパネルを駆動し顔認識が成功した旨のメッセージを表示し、且つ前記顔認識が成功した旨のメッセージにはユーザーのユーザーのデータが含まれることを特徴とする請求項7に記載の顔認識装置。
  10. 前記閾値距離の範囲内で複数の距離区間に区分けされ、前記光源強度は複数の設定値を有し、且つ各前記複数の距離区間は前記複数の設定値のいずれか一つに対応することを特徴とする請求項6に記載の顔認識装置。
  11. 前記データ処理回路は、前記赤外線撮像カメラに電気的に接続されたコアコンピューティングと、前記コアコンピューティングと前記距離検出器に電気的に接続された駆動回路と、前記駆動回路と前記赤外線照射器に電気的に接続され、前記駆動回路から基準電圧が入力される電圧調整器を備え、前記距離検出値は前記駆動回路によって符号化された後、前記コアコンピューティングに出力され、前記コアコンピューティングは、前記距離検出値に基づいて前記駆動回路が前記基準電圧に切り換えるように制御することにより、前記電圧調整器が前記赤外線照射器に出力する駆動電圧の大きさを調整し、前記光源強度を前記距離検出値に対応させることを特徴とする請求項6に記載の顔認識装置。
JP2020166626A 2020-03-06 2020-10-01 顔認識方法及び顔認識装置 Active JP7235707B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109107546A TWI777141B (zh) 2020-03-06 2020-03-06 人臉辨識方法以及人臉辨識裝置
TW109107546 2020-03-06

Publications (2)

Publication Number Publication Date
JP2021140734A true JP2021140734A (ja) 2021-09-16
JP7235707B2 JP7235707B2 (ja) 2023-03-08

Family

ID=72322356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020166626A Active JP7235707B2 (ja) 2020-03-06 2020-10-01 顔認識方法及び顔認識装置

Country Status (5)

Country Link
US (1) US11282296B2 (ja)
EP (1) EP3876144A1 (ja)
JP (1) JP7235707B2 (ja)
CN (1) CN113361308A (ja)
TW (1) TWI777141B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム
JP2008181468A (ja) * 2006-02-13 2008-08-07 Smart Wireless Kk 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置
JP2018518021A (ja) * 2015-06-05 2018-07-05 シーイング マシーンズ リミテッド 赤外光源用保護システム
WO2019026925A1 (ja) * 2017-08-01 2019-02-07 パナソニックIpマネジメント株式会社 個人認証装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM364223U (en) * 2009-04-16 2009-09-01 Hi Sharp Electronics Co Ltd Light source control device for surveillance camera
US20160275518A1 (en) * 2015-03-19 2016-09-22 ecoATM, Inc. Device recycling systems with facial recognition
WO2018027530A1 (zh) * 2016-08-09 2018-02-15 深圳市瑞立视多媒体科技有限公司 红外光源的亮度调节方法与装置、光学动捕摄像机
US10169671B2 (en) * 2017-02-17 2019-01-01 Motorola Mobility Llc Face detection with temperature and distance validation
CN108696694B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
CN107463877A (zh) 2017-07-05 2017-12-12 广东欧珀移动通信有限公司 虹膜采集方法、电子装置和计算机可读存储介质
CN108270966A (zh) * 2017-12-27 2018-07-10 努比亚技术有限公司 一种调整补光亮度的方法、移动终端及存储介质
EP3564748A4 (en) * 2018-02-27 2020-04-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. CONTROL METHOD, CONTROL DEVICE, TERMINAL, COMPUTER DEVICE AND STORAGE MEDIUM
CN108629298A (zh) 2018-04-23 2018-10-09 Oppo广东移动通信有限公司 人脸识别方法、电子装置和非易失性计算机可读存储介质
CN108776799A (zh) * 2018-08-17 2018-11-09 勿识(深圳)智能硬件有限公司 人脸识别装置、启动人脸识别的方法及系统
CN208873174U (zh) * 2018-10-18 2019-05-17 汉王科技股份有限公司 一种人证核验装置
CN110463183A (zh) 2019-06-28 2019-11-15 深圳市汇顶科技股份有限公司 识别装置及方法
CN110334665A (zh) 2019-07-10 2019-10-15 贵州安防工程技术研究中心有限公司 一种3d识别的人脸识别系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム
JP2008181468A (ja) * 2006-02-13 2008-08-07 Smart Wireless Kk 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置
JP2018518021A (ja) * 2015-06-05 2018-07-05 シーイング マシーンズ リミテッド 赤外光源用保護システム
WO2019026925A1 (ja) * 2017-08-01 2019-02-07 パナソニックIpマネジメント株式会社 個人認証装置

Also Published As

Publication number Publication date
CN113361308A (zh) 2021-09-07
US20210279446A1 (en) 2021-09-09
JP7235707B2 (ja) 2023-03-08
TWI777141B (zh) 2022-09-11
EP3876144A1 (en) 2021-09-08
TW202134946A (zh) 2021-09-16
US11282296B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
US8285054B2 (en) Information processing apparatus and information processing method
US10757377B2 (en) Surveillance system and operation method thereof
US8983151B2 (en) Apparatus for recognizing face based on environment adaptation
US8797385B2 (en) Robot device and method of controlling robot device
WO2016197297A1 (zh) 活体检测方法、活体检测系统以及计算机程序产品
CN103503575A (zh) 一种具有安全装置的led灯
US8411920B2 (en) Detecting device, detecting method, program, and electronic apparatus
JP2016532396A (ja) 低電力眼追跡システムおよび眼追跡方法
US20170019577A1 (en) Safety circuit for infrared and laser imaging devices
WO2019196559A1 (zh) 人脸识别方法、装置及移动终端、存储介质
WO2019007191A1 (zh) 控制方法、电子装置和计算机可读存储介质
WO2019024710A1 (en) TERMINAL DEVICE, IRIS RECOGNITION APPARATUS, AND IRIS RECOGNITION METHOD
CN107451533B (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
KR20210080155A (ko) 실내 조명 제어 장치 및 방법
WO2019001227A1 (zh) 控制方法、电子装置和计算机可读存储介质
JP2021140734A (ja) 顔認識方法及び顔認識装置
Lee et al. FPGA-based finger vein biometric system with adaptive illumination for better image acquisition
US9117114B2 (en) Image processing device, image processing method, program, and electronic device for detecting a skin region of a subject
EP3929860A1 (en) Lighting control device, method, and system, and computer-readable medium
US20160338177A1 (en) Lighting control system and lighting control method
US20190384900A1 (en) Display controller for detecting the presence of a user
KR20130099642A (ko) 적응적 조명조절을 이용한 얼굴 인식장치 및 그 방법
US11644191B2 (en) NIR motion detection system and method
WO2015108904A1 (en) Methods and apparatuses for controlling intensity of illumination in eye based biometric systems
JP5287792B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230224

R150 Certificate of patent or registration of utility model

Ref document number: 7235707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150