JP2022514805A - 生体検出方法及び装置、記憶媒体 - Google Patents

生体検出方法及び装置、記憶媒体 Download PDF

Info

Publication number
JP2022514805A
JP2022514805A JP2020573275A JP2020573275A JP2022514805A JP 2022514805 A JP2022514805 A JP 2022514805A JP 2020573275 A JP2020573275 A JP 2020573275A JP 2020573275 A JP2020573275 A JP 2020573275A JP 2022514805 A JP2022514805 A JP 2022514805A
Authority
JP
Japan
Prior art keywords
image
key points
detected
key point
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020573275A
Other languages
English (en)
Other versions
JP7076590B2 (ja
Inventor
高哲峰
李若岱
▲馬▼▲くん▼
庄南▲慶▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2022514805A publication Critical patent/JP2022514805A/ja
Application granted granted Critical
Publication of JP7076590B2 publication Critical patent/JP7076590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

本願は、生体検出方法及び装置、記憶媒体を提供する。該方法は、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得ることと、前記第１画像及び前記第２画像におけるキーポイント情報を決定することと、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することと、前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年１１月２７日に中国特許局に提出された出願番号２０１９１１１８４５２４．Ｘ、名称「生体検出方法及び装置、記憶媒体」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、コンピュータビジョン分野に関し、特に生体検出方法及び装置、電子機器並びに記憶媒体に関する。
現在、単眼カメラ、両眼カメラ及びデプスカメラを利用して生体検出を行うことができる。ここで、単眼カメラベースの生体検出装置は、簡単でコストが低く、誤判率が千分の一である。両眼カメラに対応する誤判率は、万分の一に達することができる。デプスカメラに対応する誤判率は、百万分の一に達することができる。
本願は、生体検出方法及び装置、記憶媒体を提供する。
本願の実施例の第１態様によれば、生体検出方法を提供する。前記方法は、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得ることと、前記第１画像及び前記第２画像におけるキーポイント情報を決定することと、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することと、前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することと、を含む。
幾つかの任意選択的な実施例において、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る前に、前記方法は、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得ることであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、ことを更に含む。
幾つかの任意選択的な実施例において、第１画像及び第２画像を得た後、前記方法は、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うことを更に含む。
幾つかの任意選択的な実施例において、前記第１画像及び前記第２画像におけるキーポイント情報を決定することは、前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含む。
幾つかの任意選択的な実施例において、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することは、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定することと、前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定することと、前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得ることと、を含む。
幾つかの任意選択的な実施例において、前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することは、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることと、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、そうでなければ、前記検出結果が、前記検出されるべき対象が生体に属することであると決定することと、を含む。
幾つかの任意選択的な実施例において、前記ベクトルマシン分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得た後、前記方法は、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得ることと、前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定することと、を更に含む。
幾つかの任意選択的な実施例において、前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含む。
本願の実施例の第２態様によれば、生体検出装置を提供する。前記装置は、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュールと、前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュールと、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュールと、前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュールと、を備える。
幾つかの任意選択的な実施例において、前記装置は、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得るように構成されるキャリブレーションモジュールであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、キャリブレーションモジュールを更に備える。
幾つかの任意選択的な実施例において、前記装置は、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うように構成される補正モジュールを更に備える。
幾つかの任意選択的な実施例において、前記第１決定モジュールは、前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得るように構成される第１決定サブモジュールを備える。
幾つかの任意選択的な実施例において、前記第２決定モジュールは、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定するように構成される第２決定サブモジュールと、前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定するように構成される第３決定サブモジュールと、前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得るように構成される第４決定サブモジュールと、を備える。
幾つかの任意選択的な実施例において、前記第３決定モジュールは、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得るように構成される第５決定サブモジュールと、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、そうでなければ、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される第６決定サブモジュールと、を備える。
幾つかの任意選択的な実施例において、前記装置は、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得るように構成される第４決定モジュールと、前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定するように構成される第５決定モジュールと、を更に備える。
幾つかの任意選択的な実施例において、前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含む。
本願の実施例の第３態様によれば、コンピュータ可読記憶媒体を提供する。前記記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがコンピュータに、第１態様のいずれか一つに記載の生体検出方法を実行させる。
本願の実施例の第４態様によれば、生体検出装置を提供する。前記装置は、プロセッサと、前記プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、前記プロセッサは、前記メモリに記憶された実行可能な命令を呼び出して、第１態様のいずれか一つに記載の生体検出方法を実行するように構成される。
本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータに、上記いずれか一つに記載の生体検出方法を実行させる。
本願の実施例で提供される技術的解決手段は、下記有益な効果を含む。
本願の実施例によれば、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得て、２枚の画像におけるキーポイント情報に基づいて、検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定し、更に、検出されるべき対象が生体に属するかどうかを決定することができる。これにより、コストを増加させることなく、両眼カメラによる生体検出の精度を向上させ、誤判率を低下させることができる。
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
本願の一例示的な実施例による生体検出方法を示すフローチャートである。 本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。 本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。 本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。 本願の一例示的な実施例によるキーポイントに対応する深度情報を決定するシーンを示す概略図である。 本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。 本願の一例示的な実施例によるもう１つの生体検出方法を示すフローチャートである。 本願の一例示的な実施例による生体検出装置を示すブロック図である。 本願の一例示的な実施例による生体検出装置の構造を示す概略図である。
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
ここで、例示的な実施例を詳しく説明し、その例を図面に示す。下記記述が図面に係わる場合、別途明記されない限り、異なる図面における同一の数字は、同一又は類似した要素を表す。下記例示的な実施例に記載の実施形態は、本願と一致した全ての実施形態を表すものではない。逆に、それらは、添付の特許請求の範囲に詳述したような本願のいくつかの態様と一致する装置及び方法の例だけである。
本願において使用される用語は、特定の実施例を説明することだけを目的としており、本願を限定することは意図されていない。本願及び添付の特許請求の範囲で使用されるとき、単数形の「１つの」、「前記」及び「該」は、文脈が明らかに違うように示さない限り、複数形も含む意図である。本明細書において使用される「及び／又は」という用語は、列挙された１つ以上の関連する対象物の任意の又は全ての可能的な組み合わせを参照かつ包含することも理解されるべきである。
本願では、用語である第１、第２、第３などを用いて各種情報を記述する可能性があるが、これらの情報はこれらの用語に限定されないことが理解されるべきである。これらの用語は、同一種類の情報をお互いに区別するためだけに用いられる。例えば、本願の範囲を逸脱しない限り、第１情報は第２情報と称されてもよく、同様に、第２情報は第１情報と称されてもよい。文脈によっては、ここで使用される語句「とすれば」は「…場合」、「…時」又は「と決定されるのに応答して」と解釈される。
本願の実施例で提供される生体検出方法は、両眼カメラに適用可能である。ハードウェアコストを増加させることなく、両眼カメラによる生体検出の誤判率を低下させることができる。両眼カメラは、２つのカメラを含むカメラを指す。ここで、１つのカメラとして、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：一般的な光学）カメラを用いてもよく、もう１つのカメラとして、ＩＲ（Ｉｎｆｒａ－ｒｅｄ：赤外）カメラを用いてもよい。勿論、２つのカメラとしていずれもＲＧＢカメラを用いてもよく、又はいずれもＩＲカメラを用いてもよく、本願は、これを限定するものではない。
本願における両眼カメラの代わりに、単に１つのＲＧＢカメラ及び１つのＩＲカメラ（又はＲＧＢカメラを用いるか又は２つのＩＲ相机を用いる）を用いて、本願で提供される生体検出方法で、生体検出の誤判率の低下の目的を実現させる技術的解決手段も本願の保護範囲内に含まれる。
一例示的な実施例による生体検出方法を示す図である図１に示すように、下記ステップを含む。
ステップ１０１において、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る。
本願の実施例において、両眼カメラの２つのカメラにより、検出されるべき画像を含む画像をそれぞれ収集し、１つのカメラにより収集された第１画像及びもう１つのカメラにより収集された第２画像を得る。検出されるべき対象は、例えば、顔のような、生体検出されるべき対象であってもよい。該顔は、実在人物の顔である可能性がある。プリントされた顔画像又は電子ディスプレイに表示された顔画像である可能性もある。本願において、実在人物の顔を決定する必要がある。
ステップ１０２において、前記第１画像及び前記第２画像におけるキーポイント情報を決定する。
検出されるべき対象が顔を含むと、キーポイント情報は、顔キーポイント情報であり、顔型、眼、鼻、口などの部位の情報を含んでもよいが、これらに限定されない。
ステップ１０３において、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定する。
本願の実施例において、深度情報は、ワールド座標系において、検出されるべき対象に含まれる各キーポイントから基線までの距離を指す。基線は、両眼カメラの２つのカメラの光心を結んだ直線である。
１つの考えられる実現形態において、２枚の画像におけるそれぞれ対応する顔キーポイント情報に基づいて、三角測距方式で、検出されるべき対象に含まれる複数の顔キーポイントにそれぞれ対応する深度情報を算出することができる。
ステップ１０４において、前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定する。
１つの考えられる実現形態において、複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、該分類器から出力された、複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得て、該第１出力結果に基づいて、前記検出されるべき対象が生体に属するかどうかを示す検出結果を決定することができる。
もう１つの考えられる実現形態において、複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、該分類器から出力された、複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることができる。第１出力結果が、複数のキーポイントが同一の平面に属することを示すと、検出結果の正確性を更に確保するために、第１画像及び第２画像を更に、事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得て、第２出力結果に基づいて、前記検出されるべき対象が生体に属するかどうかを示す検出結果を決定する。分類器によりフィルタリングした後、更に、生体検出モデルにより、最終的な検出結果を決定し、更に、両眼カメラによる生体検出の精度を向上させる。
上記実施例において、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得て、２枚の画像におけるキーポイント情報に基づいて、検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定し、更に、検出されるべき対象が生体に属するかどうかを決定することができる。上記方式により、コストを増加させることなく、両眼カメラによる生体検出の精度を向上させ、誤判率を低下させることができる。上記分類器は、サポートベクトルマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）分類器を含むが、これに限定されず、他のタイプの分類器を含んでもよく、ここで、具体的に限定しない。
幾つかの任意選択的な実施例において、例えば、図２に示すように、ステップ１０１を実行する前に、上記方法は、以下を更に含んでもよい。
ステップ１００において、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得る。
本願の実施例において、両眼カメラのキャリブレーションは、各カメラの内部パラメータ及び２つのカメラ間の外部パラメータをキャリブレーションすることを指す。
カメラの内部パラメータは、カメラ自体の特性を反映するためのパラメータを指す。これは、光心、焦点距離及び歪みパラメータという列挙された複数のパラメータのうちの少なくとも１つ又は少なくとも２つの組み合わせなどを含んでもよいが、これらに限定されない。
ここで、カメラの光心は、該カメラの所在するカメラ座標系の座標原点であり、カメラにおけるイメージングのための凸レンズの中心である。焦点距離は、カメラの焦点から光心までの距離を指す。歪みパラメータは、径方向歪みパラメータ及び接線方向歪みパラメータを含む。径方向歪み及び接線方向歪みはそれぞれ、画像画素点が歪み中心を中心点として長手方向又は接線に沿って位置偏差を発生して引き起こした画像の歪みである。
２つのカメラ間の外部パラメータは、１つのカメラの、もう１つのカメラに対する位置及び／又は姿勢の変化パラメータ等を指す。２つのカメラ間の外部パラメータは、回転行列Ｒ及び並進行列Ｔを含んでもよい。ここで、回転行列Ｒは、１つのカメラがもう１つのカメラの所在するカメラ座標系に変換する場合、ｘ、ｙ、ｚという３つの座標軸にそれぞれ対する回転角度パラメータである。並進行列Ｔは、１つのカメラがもう１つのカメラの所在するカメラ座標系に変換する場合の原点の並進パラメータである。
１つの考えられる実現形態において、線形キャリブレーション、非線形キャリブレーション及び二段階キャリブレーションのうちのいずれか１つの方法で、両眼カメラをキャリブレーションすることができる。ここで、線形キャリブレーションは、カメラ歪みという非線形を考慮することなく、カメラ歪みを考慮しない場合に用いられるキャリブレーション方式である。非線形キャリブレーションは、レンズの歪みが明らかである場合、歪みモデルを導入し、線形キャリブレーションモデルを非線形キャリブレーションモデルに変換し、非線形最適化方法でカメラパラメータを求めるキャリブレーション方式である。二段階キャリブレーションについて、張正友キャリブレーション方式を例として、まず、カメラの内部パラメータ行列を決定し、更に、内部パラメータ行列に基づいて、２つのカメラ間の外部パラメータを決定する。
上記実施例において、まず、両眼カメラに対してキャリブレーションを行うことで、両眼カメラの各カメラのそれぞれの内部パラメータ及び前記両眼カメラの２つのカメラ間の外部パラメータを得る。これにより、後続で、複数のキーポイントのそれぞれに対応する前記深度情報を正確に決定することができ、利用可能性が高い。
幾つかの任意選択的な実施例において、例えば、図３に示すように、ステップ１０１を実行した後、上記方法は以下を更に含んでもよい。
ステップ１０５において、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行う。
本願の実施例において、両眼補正は、キャリブレーションした各カメラの内部パラメータ及び２つのカメラ間の外部パラメータにより、前記第１画像及び前記第２画像に対して歪み除去及び行アライメントを行い、前記第１画像及び前記第２画像のイメージング原点座標を一致させ、２つのカメラの光軸を平行にし、２つのカメラのイメージング平面を同一の平面に位置させ、エピポーラ線を行アライメントさせることを指す。
両眼カメラの各カメラのそれぞれの歪みパラメータに基づいて、第１画像及び第２画像に対してそれぞれ歪み除去処理を行うことができる。なお、両眼カメラの各カメラのそれぞれの内部パラメータ及び両眼カメラの２つのカメラ間の外部パラメータに基づいて、第１画像及び第２画像に対して行アライメントを行うこともできる。これにより、後続で、第１画像と第２画像での、検出されるべき対象に含まれる同一のキーポイントの視差を決定する場合、二次元マッチングプロセスを一次元マッチングプロセスに削減し、２枚の画像における同一のキーポイントの水平方向での位置差分値を直接的に決定することで、第１画像と第２画像での、同一のキーポイントの視差を得ることができる。
上記実施例において、第１画像及び第２画像に対して両眼補正を行う。後続で、第１画像と第２画像での、検出されるべき対象に含まれる同一のキーポイントの視差を決定する場合、二次元マッチングプロセスを一次元マッチングプロセスに削減し、マッチングプロセスにかかる時間を減少させ、マッチングサーチの範囲を縮小する。
幾つかの任意選択的な実施例において、上記ステップ１０２は、
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含んでもよい。
本願の実施例において、キーポイント検出モデルは、顔キーポイント検出モデルであってもよい。キーポイントをタグ付けしたサンプル画像を入力として、深層ニューラルネットワークを訓練し、該ニューラルネットワークの出力結果がサンプル画像におけるタグ付けされたキーポイントとマッチングするか又は誤差許容範囲内になるまで継続する。これにより顔キーポイント検出モデルを得る。ここで、深層ニューラルネットワークとして、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ：残差ネットワーク）、ｇｏｏｇｌｅｎｅｔ、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ Ｎｅｔｗｏｒｋ：視覚的幾何学的グループネットワーク）等を用いてもよいが、これらに限定されない。該深層ニューラルネットワークは、少なくとも１つの畳み込み層、ＢＮ（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ：バッチ正規化）層、分類出力層などを含んでもよい。
第１画像及び第２画像を取得した後、第１画像及び第２画像をそれぞれ、上記事前構築された顔キーポイント検出モデルに入力することで、各画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることができる。
上記実施例において、直接的に、事前構築されたキーポイント検出モデルにより、各画像にそれぞれ含まれる複数のキーポイントのキーポイント情報を決定することができる。実現しやすく、利用可能性が高い。
幾つかの任意選択的な実施例において、例えば図４に示すように、ステップ１０３は、以下を含んでもよい。
ステップ２０１において、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定する。
本願の実施例において、この前、両眼カメラの各カメラのそれぞれの内部パラメータをキャリブレーションしたため、この場合、例えば、図４に示すように、２つのカメラのそれぞれの光心の、ワールド座標系での位置に基づいて、２つの光心ｃ１とｃ２との光心距離値を決定することができる。
なお、後続の演算を容易にするために、本願の実施例において、両眼カメラにおける２つのカメラの焦点距離値が同じである。この前にキャリブレーションしたキャリブレーション結果に基づいて、両眼カメラのいずれか１つのカメラの焦点距離値を両眼カメラの焦点距離値として決定することができる。
ステップ２０２において、前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定する。
例えば、図５に示すように、検出されるべき対象のいずれか１つのキーポイントＡは、第１画像及び第２画像にける画素点Ｐ１及びＰ２にそれぞれ対応する。本願の実施例において、Ｐ１とＰ２との視差を算出する必要がある。
この前、２枚の画像に対して両眼補正を行ったため、Ｐ１とＰ２との水平方向位置差分値を直接的に算出し、該位置差分値を必要な視差とすることができる。
本願の実施例において、上記方式で、前記第１画像での、検出されるべき対象に含まれる各キーポイントの水平方向位置と、前記第２画像での、検出されるべき対象に含まれる各キーポイントの水平方向位置と、の位置差分値をそれぞれ決定することで、各キーポイントに対応する視差を得ることができる。
ステップ２０３において、前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得る。
本願の実施例において、三角測距方式で、各キーポイントに対応する深度情報ｚを決定することができる。下記式１により算出することができる。
ｚ＝ｆｂ／ｄ （１）
ただし、ｆは、両眼カメラに対応する焦点距離値であり、ｂは、光心距離値であり、ｄは、２枚の画像での、キーポイントの視差である。
上記実施例において、検出されるべき対象に含まれる複数のキーポイントにそれぞれ対応する深度情報を迅速に決定することができ、利用可能性が高い。
幾つかの任意選択的な実施例において、例えば図６に示すように、上記ステップ１０４は、以下を含んでもよい。
ステップ３０１において、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得る。
本願の実施例において、サンプルライブラリにおける、同一の平面に属するかどうかをタグ付けした複数の深度情報を利用して分類器を訓練し、分類器からの出力結果をサンプルライブラリにおけるタグ付けした結果とマッチングさせるか又は誤差許容範囲内にすることができる。これにより、検出されるべき対象に含まれる複数のキーポイントのそれぞれに対応する前記深度情報を取得した後、訓練された分類器に直接的に入力し、該分類器から出力された第１出力結果を得ることができる。
１つの考えられる実現形態において、該分類器として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：サポートベクトルマシン）分類器を用いてもよい。ＳＶＭ分類器は、二値分類器に属する。複数のキーポイントのそれぞれに対応する深度情報を入力した後、得られた第１出力結果は、複数のキーポイントが同一の平面に属するか又は同一の平面に属しないことを示すことができる。
ステップ３０２において、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、そうでなければ、前記検出結果が、前記検出されるべき対象が生体に属することであると決定する。
本願の実施例において、第１出力結果が、複数のキーポイントが同一の平面に属することを示すと、フラット攻撃が発生した可能性がある。つまり、不正者が写真、プリントした顔画像、電子ディスプレイなどの種々の方式で提供されたダミーにより、正当な権限を取得しようとする。この場合、検出結果が、検出されるべき対象が生体に属しないことであると直接的に決定することができる。
第１出力結果が、複数のキーポイントが同一の平面に属しないことを示すことに応答して、該検出されるべき画像が実在人物であると決定することができる。この場合、検出結果が、検出されるべき対象が生体に属することであると決定することができる。
実験により、上記方式で生体検出を行う場合の誤判率は、万分の一から十万分の一までに低下し、両眼カメラによる生体検出の精度を大幅に向上させ、生体検出アルゴリズムの性能境界及びユーザ体験を向上させることが実証された。
幾つかの任意選択的な実施例において、例えば、図７に示すように、上記ステップ３０１を行った後、上記方法は、以下を更に含んでもよい。
ステップ１０６において、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得る。
第１出力結果が前記複数のキーポイントが同一の平面に属しないことを示すと、生体検出の精度を更に向上させるために、第１画像及び第２画像を事前構築された生体検出モデルに出力することができる。該生体検出モデルは、深層ニューラルネットワークにより構築されてもよい。ここで、深層ニューラルネットワークとしてＲｅｓＮｅｔ、ｇｏｏｇｌｅｎｅｔ、ＶＧＧ等をもちいてもよいが、これらに限定されない。該深層ニューラルネットワークは、少なくとも１つの畳み込み層、ＢＮ（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ：バッチ正規化）層、分類出力層などを含んでもよい。生体に属するかどうかをタグ付けした少なくとも２枚のサンプル画像により、深層ニューラルネットワークを訓練することで、出力結果をサンプル画像おけるタグ付けした結果とマッチングさせるか又は誤差許容範囲内にする。これにより、生体検出モデルを得る。
本願の実施例において、生体検出モデルを事前確立した後、第１画像及び第２画像を該生体検出モデルに入力し、生体検出モデルから出力された第２出力結果を得ることができる。ここの第２出力結果は、該２枚の画像に対応する検出されるべき対象が生体に属するかどうかを直接的に示す。
ステップ１０７において、前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定する。
本願の実施例において、上記第２出力結果に基づいて、直接的に、最終的な検出結果を決定することができる。
例えば、分類器から出力された第１出力結果は、複数のキーポイントが同一の平面に属しないことであるが、生体検出モデルから出力された第２出力結果は、検出されるべき対象が生体に属しないか又は生体に属することである。これにより、最終的な検出結果の正確度を向上させ、誤判を更に減少させる。
前記方法実施例に対応するように、本願は、装置の実施例を更に提供する。
本願の一例示的な実施例による生体検出装置を示すブロック図である図８に示すように、装置は、両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュール４１０と、前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュール４２０と、前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュール４３０と、前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュール４４０と、を備える。
幾つかの任意選択的な実施例において、前記装置は、前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得るように構成されるキャリブレーションモジュールであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、キャリブレーションモジュールを更に備える。
幾つかの任意選択的な実施例において、前記装置は、前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うように構成される補正モジュールを更に備える。
幾つかの任意選択的な実施例において、前記第１決定モジュールは、前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得るように構成される第１決定サブモジュールを備える。
幾つかの任意選択的な実施例において、前記第２決定モジュールは、前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定するように構成される第２決定サブモジュールと、前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定するように構成される第３決定サブモジュールと、前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得るように構成される第４決定サブモジュールと、を備える。
幾つかの任意選択的な実施例において、前記第３決定モジュールは、前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得るように構成される第５決定サブモジュールと、前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、そうでなければ、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される第６決定サブモジュールと、を備える。
幾つかの任意選択的な実施例において、前記装置は、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得るように構成される第４決定モジュールと、前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定するように構成される第５決定モジュールと、を更に備える。
幾つかの任意選択的な実施例において、前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含む。
装置実施例について言えば、それは、ほぼ方法実施例に対応する。従って、関連する部分は方法実施例の部分的な説明を参照すればよい。以上に記載した装置の実施例はただ例示的なものである。分離部材として説明したユニットは、物理的に別個のものであってもよく、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよく、そうでなくてもよい。即ち、同一の位置に位置してもよく、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本願の方策の目的を実現することができる。当業者は創造的な労働を経ずに、理解し実施することができる。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記記憶媒体に、コンピュータプログラムが記憶されており、コンピュータプログラムがコンピュータに、上記いずれか１つに記載の生体検出方法を実行させる。
幾つかの任意選択的な実施例において、本願の実施例は、コンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータに、上記いずれか１つの実施例で提供される生体検出方法を実行させるためのコンピュータ可読コードを含む。
幾つかの任意選択的な実施例において、本願の実施例は、もう１つのコンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータに、上記いずれか１つの実施例で提供される生体検出方法を実行させるためのコンピュータ可読命令を記憶する。
該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はそれらの組み合わせにより実現することができる。任意選択的な実施例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体として具現化され、もう１つの任意選択的な実施例において、コンピュータプログラム製品は具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）などのようなソフトウェア製品として具現化される。
本願の実施例は、生体検出装置を更に提供する。前記装置は、プロセッサと、前記プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、前記プロセッサは、前記メモリに記憶された実行可能な命令を呼び出して、第１態様のいずれか一項に記載の生体検出方法を実行するように構成される。
図９は、本願の実施例による生体検出装置のハードウェア構造を示す概略図である。該生体検出装置５１０は、プロセッサ５１１を備え、入力装置５１２と、出力装置５１３と、メモリ５１４と、を更に備えてもよい。該入力装置５１２、出力装置５１３、メモリ５１４及びプロセッサ５１１は、バスを介して相互接続される。
メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ：ＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）を含むが、これらに限定されない。該メモリは、関連命令及びデータを記憶するように構成される。
入力装置は、データ及び／又は信号を入力するように構成され、出力装置は、データ及び／又は信号を出力するように構成される。出力装置及び入力装置は、独立したデバイスであってもよく、一体型デバイスであってもよい。
プロセスは、１つ又は複数のプロセッサを含んでもよい。例えば、１つ又は複数の中央演算装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）を含む。プロセッサが１つのＣＰＵである場合、該ＣＰＵは、シングルコアＣＰＵであってもよく、マルチコアＣＰＵであってもよい。
メモリは、ネットワーク装置のプログラムコード及びデータを記憶するように構成される。
プロセッサは、該メモリにおけるプログラムコード及びデータを呼び出して、上記方法実施例におけるステップを実行するように構成される。具体的には、方法実施例における説明を参照することができ、ここで、詳細な説明を省略する。
図９に、生体検出装置の簡略化した設計のみが示されることが理解されるべきである。実際の適用において、生体検出装置は、必要な他の要素をそれぞれ備えてもよく、それらは、任意の数の入力／出力装置、プロセッサ、コントローラ、メモリなどを含むが、これらに限定されない。本願の実施例を実現させることができる全ての生体検出装置は、いずれも本願の保護範囲内に含まれる。
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
当業者は明細書を検討し、ここで開示した発明を実践した後、本発明のその他の実施方案を容易に思いつくことができる。本願は、本願の実施例のいかなる変形、用途または適応的変化を含むことを目指し、これらの変化、変形、用途または適応的変化が、本開示の一般的な原理に従いかつ本開示に開示されない本技術分野の周知常識と慣用技術手段を含む。明細書と実施例は、ただ例示的なものであって、本願の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
以上は、本願の好適な実施例だけであり、本願を限定するものではない。本発明の主旨及び原則内でのいずれの修正、等同の交換、改進などのすべてが本発明の保護範囲内に含まれる。
本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータに、上記いずれか一つに記載の生体検出方法を実行させる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得ることと、
前記第１画像及び前記第２画像におけるキーポイント情報を決定することと、
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することと、
前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することと、を含む、生体検出方法。
（項目２）
前記両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る前に、
前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得ることであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、ことを更に含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第１画像及び第２画像を得た後、
前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うことを更に含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第１画像及び前記第２画像におけるキーポイント情報を決定することは、
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含むことを特徴とする
項目３に記載の方法。
（項目５）
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することは、
前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定することと、
前記第１画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定することと、
前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得ることと、を含むことを特徴とする
項目３又は４に記載の方法。
（項目６）
前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することは、
前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることと、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定することと、を含むことを特徴とする
項目１～５のうちいずれか一項に記載の方法。
（項目７）
前記ベクトルマシン分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得た後、前記方法は、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得ることと、
前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定することと、を更に含むことを特徴とする
項目６に記載の方法。
（項目８）
前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする
項目１～７のうちいずれか一項に記載の方法。
（項目９）
両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュールと、
前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュールと、
前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュールと、
前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュールと、を備える、生体検出装置。
（項目１０）
前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得るように構成されるキャリブレーションモジュールであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、キャリブレーションモジュールを更に備えることを特徴とする
項目９に記載の装置。
（項目１１）
前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うように構成される補正モジュールを更に備えることを特徴とする
項目１０に記載の装置。
（項目１２）
前記第１決定モジュールは、
前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得るように構成される第１決定サブモジュールを備えることを特徴とする
項目１１に記載の装置。
（項目１３）
前記第２決定モジュールは、
前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定するように構成される第２決定サブモジュールと、
前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定するように構成される第３決定サブモジュールと、
前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得るように構成される第４決定サブモジュールと、を備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１４）
前記第３決定モジュールは、
前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得るように構成される第５決定サブモジュールと、
前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される第６決定サブモジュールと、を備えることを特徴とする
項目９～１３のうちいずれか一項に記載の装置。
（項目１５）
前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得るように構成される第４決定モジュールと、
前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定するように構成される第５決定モジュールと、を更に備えることを特徴とする
項目１４に記載の装置。
（項目１６）
前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする
項目９～１５のうちいずれか一項に記載の装置。
（項目１７）
コンピュータに項目１～８のうちいずれか一項に記載の生体検出方法を実現させるためのコンピュータプログラムを記憶したコンピュータ可読記憶媒体。
（項目１８）
プロセッサによる実行可能な命令を記憶するためのメモリと、
前記メモリに記憶された実行可能な命令を呼び出して、項目１～８のうちいずれか一項に記載の生体検出方法を実行するように構成されるプロセッサと、を備える生体検出装置。
（項目１９）
コンピュータに項目１～８のうちいずれか一項に記載の生体検出方法を実行させるためのコンピュータプログラム。

Claims (19)

  1. 両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得ることと、
    前記第１画像及び前記第２画像におけるキーポイント情報を決定することと、
    前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することと、
    前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することと、を含む、生体検出方法。
  2. 前記両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得る前に、
    前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得ることであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、ことを更に含むことを特徴とする
    請求項１に記載の方法。
  3. 前記第１画像及び第２画像を得た後、
    前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うことを更に含むことを特徴とする
    請求項２に記載の方法。
  4. 前記第１画像及び前記第２画像におけるキーポイント情報を決定することは、
    前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得ることを含むことを特徴とする
    請求項３に記載の方法。
  5. 前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定することは、
    前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定することと、
    前記第１画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定することと、
    前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得ることと、を含むことを特徴とする
    請求項３又は４に記載の方法。
  6. 前記複数のキーポイントにそれぞれ対応する深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定することは、
    前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得ることと、
    前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定することと、を含むことを特徴とする
    請求項１～５のうちいずれか一項に記載の方法。
  7. 前記ベクトルマシン分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得た後、前記方法は、
    前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得ることと、
    前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定することと、を更に含むことを特徴とする
    請求項６に記載の方法。
  8. 前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする
    請求項１～７のうちいずれか一項に記載の方法。
  9. 両眼カメラにより、検出されるべき対象を含む画像をそれぞれ収集し、第１画像及び第２画像を得るように構成される画像収集モジュールと、
    前記第１画像及び前記第２画像におけるキーポイント情報を決定するように構成される第１決定モジュールと、
    前記第１画像及び前記第２画像における前記キーポイント情報に基づいて、前記検出されるべき画像に含まれる複数のキーポイントにそれぞれ対応する深度情報を決定するように構成される第２決定モジュールと、
    前記複数のキーポイントにそれぞれ対応する前記深度情報に基づいて、前記検出されるべき対象が生体に属するかどうかを示すための検出結果を決定するように構成される第３決定モジュールと、を備える、生体検出装置。
  10. 前記両眼カメラに対してキャリブレーションを行い、キャリブレーション結果を得るように構成されるキャリブレーションモジュールであって、前記キャリブレーション結果は、前記両眼カメラのそれぞれの内部パラメータ及び前記両眼カメラ間の外部パラメータを含む、キャリブレーションモジュールを更に備えることを特徴とする
    請求項９に記載の装置。
  11. 前記キャリブレーション結果に基づいて、前記第１画像及び前記第２画像に対して両眼補正を行うように構成される補正モジュールを更に備えることを特徴とする
    請求項１０に記載の装置。
  12. 前記第１決定モジュールは、
    前記第１画像及び前記第２画像をそれぞれ、事前構築されたキーポイント検出モデルに入力し、前記第１画像及び前記第２画像にそれぞれ含まれる複数のキーポイントのキーポイント情報をそれぞれ得るように構成される第１決定サブモジュールを備えることを特徴とする
    請求項１１に記載の装置。
  13. 前記第２決定モジュールは、
    前記キャリブレーション結果に基づいて、前記両眼カメラに含まれる２つのカメラ間の光心距離値及び前記両眼カメラに対応する焦点距離値を決定するように構成される第２決定サブモジュールと、
    前記第１画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、前記第２画像での、前記複数のキーポイントのうちの各キーポイントの水平方向位置と、の位置差分値を決定するように構成される第３決定サブモジュールと、
    前記光心距離値と前記焦点距離値との積を前記位置差分値で除算した商を算出し、前記各キーポイントに対応する前記深度情報を得るように構成される第４決定サブモジュールと、を備えることを特徴とする
    請求項１１又は１２に記載の装置。
  14. 前記第３決定モジュールは、
    前記複数のキーポイントのそれぞれに対応する前記深度情報を事前訓練された分類器に入力し、前記分類器から出力された、前記複数のキーポイントが同一の平面に属するかどうかを示す第１出力結果を得るように構成される第５決定サブモジュールと、
    前記第１出力結果が、前記複数のキーポイントが同一の平面に属することを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属しないことであると決定し、前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記検出結果が、前記検出されるべき対象が生体に属することであると決定するように構成される第６決定サブモジュールと、を備えることを特徴とする
    請求項９～１３のうちいずれか一項に記載の装置。
  15. 前記第１出力結果が、前記複数のキーポイントが同一の平面に属しないことを示すことに応答して、前記第１画像及び前記第２画像を事前構築された生体検出モデルに入力し、前記生体検出モデルから出力された第２出力結果を得るように構成される第４決定モジュールと、
    前記第２出力結果に基づいて、前記検出対象が生体に属するかどうかを示すための前記検出結果を決定するように構成される第５決定モジュールと、を更に備えることを特徴とする
    請求項１４に記載の装置。
  16. 前記検出されるべき対象は、顔を含み、前記キーポイント情報は、顔キーポイント情報を含むことを特徴とする
    請求項９～１５のうちいずれか一項に記載の装置。
  17. コンピュータに請求項１～８のうちいずれか一項に記載の生体検出方法を実現させるためのコンピュータプログラムを記憶したコンピュータ可読記憶媒体。
  18. プロセッサによる実行可能な命令を記憶するためのメモリと、
    前記メモリに記憶された実行可能な命令を呼び出して、請求項１～８のうちいずれか一項に記載の生体検出方法を実行するように構成されるプロセッサと、を備える生体検出装置。
  19. コンピュータに請求項１～８のうちいずれか一項に記載の生体検出方法を実行させるためのコンピュータプログラム。
JP2020573275A 2019-11-27 2020-05-12 生体検出方法及び装置、記憶媒体 Active JP7076590B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911184524.X 2019-11-27
CN201911184524.XA CN110942032B (zh) 2019-11-27 2019-11-27 活体检测方法及装置、存储介质
PCT/CN2020/089865 WO2021103430A1 (zh) 2019-11-27 2020-05-12 活体检测方法及装置、存储介质

Publications (2)

Publication Number Publication Date
JP2022514805A true JP2022514805A (ja) 2022-02-16
JP7076590B2 JP7076590B2 (ja) 2022-05-27

Family

ID=69908322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573275A Active JP7076590B2 (ja) 2019-11-27 2020-05-12 生体検出方法及び装置、記憶媒体

Country Status (6)

Country Link
US (1) US20220092292A1 (ja)
JP (1) JP7076590B2 (ja)
KR (1) KR20210074333A (ja)
CN (1) CN110942032B (ja)
TW (1) TW202121251A (ja)
WO (1) WO2021103430A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4743763B2 (ja) * 2006-01-18 2011-08-10 株式会社フジキン 圧電素子駆動式金属ダイヤフラム型制御弁
CN110942032B (zh) * 2019-11-27 2022-07-15 深圳市商汤科技有限公司 活体检测方法及装置、存储介质
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
CN111563924B (zh) * 2020-04-28 2023-11-10 上海肇观电子科技有限公司 图像深度确定方法及活体识别方法、电路、设备和介质
CN111582381B (zh) * 2020-05-09 2024-03-26 北京市商汤科技开发有限公司 确定性能参数的方法及装置、电子设备和存储介质
CN112200057B (zh) * 2020-09-30 2023-10-31 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN112184787A (zh) * 2020-10-27 2021-01-05 北京市商汤科技开发有限公司 图像配准方法及装置、电子设备和存储介质
CN112528949B (zh) * 2020-12-24 2023-05-26 杭州慧芯达科技有限公司 一种基于多波段光的双目人脸识别方法和系统
CN113255512B (zh) * 2021-05-21 2023-07-28 北京百度网讯科技有限公司 用于活体识别的方法、装置、设备以及存储介质
CN113393563B (zh) * 2021-05-26 2023-04-11 杭州易现先进科技有限公司 关键点自动标注的方法、系统、电子装置和存储介质
CN113345000A (zh) * 2021-06-28 2021-09-03 北京市商汤科技开发有限公司 深度检测方法及装置、电子设备和存储介质
CN113435342B (zh) * 2021-06-29 2022-08-12 平安科技（深圳）有限公司 活体检测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123216A (ja) * 2006-11-10 2008-05-29 Konica Minolta Holdings Inc 認証システム及び認証方法
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
JP2016156702A (ja) * 2015-02-24 2016-09-01 シャープ株式会社 撮像装置および撮像方法
JP2018173731A (ja) * 2017-03-31 2018-11-08 ミツミ電機株式会社 顔認証装置および顔認証方法
US20190354746A1 (en) * 2018-05-18 2019-11-21 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium
JP2022509756A (ja) * 2018-10-30 2022-01-24 オーナー・デヴァイス・カンパニー・リミテッド 顔認識方法および電子デバイス

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046231A (zh) * 2015-07-27 2015-11-11 小米科技有限责任公司 人脸检测方法和装置
CN105205458A (zh) * 2015-09-16 2015-12-30 北京邮电大学 人脸活体检测方法、装置及系统
CN105335722B (zh) * 2015-10-30 2021-02-02 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN108764069B (zh) * 2018-05-10 2022-01-14 北京市商汤科技开发有限公司 活体检测方法及装置
CN108764091B (zh) * 2018-05-18 2020-11-17 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN109341537A (zh) * 2018-09-27 2019-02-15 北京伟景智能科技有限公司 基于双目视觉的尺寸测量方法和装置
CN110942032B (zh) * 2019-11-27 2022-07-15 深圳市商汤科技有限公司 活体检测方法及装置、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123216A (ja) * 2006-11-10 2008-05-29 Konica Minolta Holdings Inc 認証システム及び認証方法
JP2016156702A (ja) * 2015-02-24 2016-09-01 シャープ株式会社 撮像装置および撮像方法
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
JP2018173731A (ja) * 2017-03-31 2018-11-08 ミツミ電機株式会社 顔認証装置および顔認証方法
US20190354746A1 (en) * 2018-05-18 2019-11-21 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium
JP2022509756A (ja) * 2018-10-30 2022-01-24 オーナー・デヴァイス・カンパニー・リミテッド 顔認識方法および電子デバイス

Also Published As

Publication number Publication date
US20220092292A1 (en) 2022-03-24
KR20210074333A (ko) 2021-06-21
TW202121251A (zh) 2021-06-01
CN110942032B (zh) 2022-07-15
CN110942032A (zh) 2020-03-31
WO2021103430A1 (zh) 2021-06-03
JP7076590B2 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
JP7076590B2 (ja) 生体検出方法及び装置、記憶媒体
US9626553B2 (en) Object identification apparatus and object identification method
JP6011102B2 (ja) 物体姿勢推定方法
US9866820B1 (en) Online calibration of cameras
US20130136302A1 (en) Apparatus and method for calculating three dimensional (3d) positions of feature points
WO2016111880A1 (en) Gaze detection offset for gaze tracking models
JP6067175B2 (ja) 位置測定装置及び位置測定方法
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
CN109389018B (zh) 一种人脸角度识别方法、装置及设备
JP5833507B2 (ja) 画像処理装置
CN106462738B (zh) 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备
CN111563924B (zh) 图像深度确定方法及活体识别方法、电路、设备和介质
CN112633084A (zh) 人脸框确定方法、装置、终端设备及存储介质
WO2022218161A1 (zh) 用于目标匹配的方法、装置、设备及存储介质
CN113902853A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN112200002B (zh) 一种体温测量方法、装置、终端设备及存储介质
JP2015007637A (ja) ３次元測定装置
CN115049738A (zh) 人与相机之间距离的估计方法及系统
US20230267632A1 (en) Stereo matching method and image processing device performing same
JP6118976B2 (ja) 頭部姿勢の推定装置、頭部姿勢の推定方法およびコンピュータに頭部姿勢の推定方法を実行させるためのプログラム
CN112102404A (zh) 物体检测追踪方法、装置及头戴显示设备
CN112330726B (zh) 一种图像处理方法及装置
TWI731430B (zh) 資訊顯示方法與資訊顯示系統
JP2017162449A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220517

R150 Certificate of patent or registration of utility model

Ref document number: 7076590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150