JP2021502618A - 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体 - Google Patents

注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2021502618A
JP2021502618A JP2019570498A JP2019570498A JP2021502618A JP 2021502618 A JP2021502618 A JP 2021502618A JP 2019570498 A JP2019570498 A JP 2019570498A JP 2019570498 A JP2019570498 A JP 2019570498A JP 2021502618 A JP2021502618 A JP 2021502618A
Authority
JP
Japan
Prior art keywords
image
feature points
eye
face
dimensional coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019570498A
Other languages
English (en)
Other versions
JP6900516B2 (ja
Inventor
ティンハオ リウ
ティンハオ リウ
チュアン ワン
チュアン ワン
チェン チエン
チェン チエン
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド, ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2021502618A publication Critical patent/JP2021502618A/ja
Application granted granted Critical
Publication of JP6900516B2 publication Critical patent/JP6900516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本開示の実施例は注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体を開示し、前記方法は、画像における顔の少なくとも片方の目の、眼球中心領域特徴点を含む眼部特徴点の二次元座標を取得することと、前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することと、前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視点位置に対する判定結果を得ることと、を含む。

Description

（関連出願の相互参照）
本願は２０１８年０９月２８日に出願された、出願番号２０１８１１１４１３５２．３の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示はコンピュータ技術分野に関するがこれに限定されず、特に注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体に関する。
顔認識は近年コンピュータビジョン、パターン認識、ニューラルネットワークおよび人工知能などの技術の急速な発展に伴い開発された新しい生体認証技術である。顔認識は主に顔の特徴点が提供する顔の各器官の位置、形状および顔の外輪郭などの幾何学情報に基づいて身元を認証するため、顔認識のプロセスで、顔の特徴点の位置特定は非常に重要である。現在、顔の特徴点の位置特定では深層学習によって高い精度を得ることができる。
本開示の実施例は注視点判定の技術的解決手段を提供する。
本開示の実施例の一態様によれば、
画像における顔の少なくとも片方の目の、眼球中心領域特徴点を含む眼部特徴点の二次元座標を取得することと、
前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することと、
前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視点位置に対する判定結果を得ることと、を含む注視点判定方法が提供される。
本開示の実施例の他の一態様によれば、
画像における顔の少なくとも片方の目の、眼球中心領域特徴点を含む眼部特徴点の二次元座標を取得し、および前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得するように構成された取得ユニットと、
前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視点位置に対する判定結果を得るように構成された判定ユニットと、を含む注視点判定装置が提供される。
本開示の実施例のさらに他の一態様によれば、上記いずれか一つの実施例に記載の装置を含む電子機器が提供される。
本開示の実施例のさらに他の一態様によれば、
実行可能命令を記憶するように構成されたメモリ、および
前記メモリと通信して前記実行可能命令を実行することで上記いずれか一つの実施例に記載の方法を完了するように構成されたプロセッサを含む電子機器が提供される。
本開示の実施例のさらに他の一態様によれば、コンピュータ読み取り可能コードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能コードが機器において運用される時、前記機器内のプロセッサは上記いずれか一つの実施例に記載の方法を実現するための命令を実行するコンピュータプログラムが提供される。
本開示の実施例のさらに他の一態様によれば、コンピュータ読み取り可能命令を記憶するためのコンピュータプログラム製品であって、前記命令は実行される時にコンピュータに上記いずれか一つの実施例に記載の方法の動作を実行させるコンピュータプログラム製品が提供される。
本開示の上記実施例が提供する注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体に基づき、画像における顔の少なくとも片方の目の、眼球中心領域特徴点を含む眼部特徴点の二次元座標を取得し、眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得し、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、画像における顔の目の注視点位置に対する判定結果を得て、画像における顔の目の周囲のより細かな情報を学習することで、目の状態をより正確に判定して、より正確な目の状態情報を得ることができる。
以下に図面および実施例により、本開示の技術的解決手段をより詳細に説明する。
明細書の一部となる図面は本開示の実施例を説明するものであり、かつその説明と共に本開示の原理を解釈するために用いられる。
図面と関連付けて、以下の詳細な説明によれば、本開示をより明確に理解できる。そのうち、
本開示のいくつかの実施例に係る注視点判定方法のフローチャートである。 本開示の注視点判定方法の一適用例の模式図である。 本開示の注視点判定方法の一適用例の模式図である。 本開示の実施例の予め設定されたデータセットに基づいて予め設定されたデータセット内の各画像における顔の眼部特徴点の座標を取得するフローチャートである。 本開示の実施例の予め設定されたデータセット内の各画像における顔の眼部特徴点の座標に基づいてニューラルネットワークを訓練するフローチャートである。 本開示のいくつかの実施例に係る注視点判定装置の構成模式図である。 本開示のいくつかの実施例に係る注視点判定装置における取得ユニットの構成模式図である。 本開示のいくつかの実施例に係る電子機器の構成模式図である。
ここで、図面を参照しながら本開示の様々な例示的実施例を詳細に説明する。なお、特に断らない限り、これらの実施例において記述した部材およびステップの相対的配置、数式および数値は本開示の範囲を限定するものではないことに注意すべきである。
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
以下の少なくとも一つの例示的実施例に対する説明は実際に説明的なものに過ぎず、本開示およびその適用または使用へのなんらの制限にもならない。
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しないが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
本開示の実施例はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび上記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストにおいて説明できる。通常、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバは、タスクが通信ネットワークにわたって接続された遠隔処理機器により実行される分散型クラウドコンピューティング環境において実施できる。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
図１は本開示のいくつかの実施例に係る注視点判定方法のフローチャートであり、該方法はサーバ、または、例えば携帯電話、コンピュータ、車載機器などを含む端末機器によって実行され、図１に示すように、該方法は以下のステップを含む。
１０２において、画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得する。
本開示の実施例では、注視点判定用の画像は、例えば、カメラ、写真機、スキャナーなどを含み得る画像収集機器から取得されてもよいし、ハードディスク、光ディスク、フロッピーディスクなどを含み得る記憶機器から取得されてもよく、本開示の実施例は注視点判定対象の画像の取得方式を限定しない。そのうち、眼部特徴は眼球中心領域特徴点を含み、いくつかの実施例では、眼部特徴点はさらに、眼瞼輪郭特徴点および眼球輪郭特徴点を含み、本開示の実施例はこれに限定されない。
一例では、通常ヒトの両目は同一方向に同時に注視するため、画像における顔の片方の目の眼部特徴点の二次元座標を取得することで、画像における顔の両目の注視点を判定することができる。他の一例では、画像における顔の両目の眼部特徴点の二次元座標を取得することで、画像における顔の両目の注視点を判定することができる。
いくつかの実施例では、画像の特徴を抽出することで、画像における顔の特徴点の二次元座標を取得し、続いて画像における顔の特徴点の二次元座標に基づき、画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することができる。例えば、画像の特徴を抽出し、画像における顔の１０６個の特徴点の二次元座標を取得し、続いてこの１０６個の特徴点の二次元座標に基づき、画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することができる。
いくつかの実施例では、画像における顔の目領域の特徴点の二次元座標に基づき、画像から対応する目領域の矩形画像を切り出し、続いて矩形画像の特徴を抽出し、画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することができる。
一例では、画像における顔の片方の目領域の特徴点の二次元座標に基づき、画像から対応する目領域を含む矩形画像を切り出し、続いて矩形画像の特徴を抽出し、画像における顔の片方の目の眼部特徴点の二次元座標を取得することができる。
他の一例では、画像における顔の片方の目領域の特徴点の二次元座標に基づき、画像から対応する目領域を含む矩形画像を切り出し、続いて矩形画像のミラーリング処理を行い、矩形画像およびミラーリング処理後の矩形画像の特徴を抽出し、画像における顔の両目の眼部特徴点の二次元座標を取得することができる。
いくつかの実施例では、ニューラルネットワークまたは他の機械学習の方法によって画像の特徴を抽出することができる。一例では、ニューラルネットワークは畳み込みニューラルネットワークを採用してもよい。本開示の実施例は画像の特徴抽出方法を限定しない。
１０４において、眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得する。
いくつかの実施例では、画像内の顔に基づいて対応する三次元顔モデルを生成し、続いて眼球中心領域特徴点の二次元座標に基づき、三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することができる。いくつかの実施例では、画像内の顔のキーポイントを予め設定し、画像における顔のキーポイントと三次元顔事前モデルのキーポイントとの対応関係に基づき、顔に対応する三次元顔モデルを生成することができ、例えば、複数のキーポイントは顔の外輪郭キーポイント、眼部キーポイント、眉毛キーポイント、唇キーポイント、鼻キーポイントなどを含んでもよく、本開示の実施例はキーポイントのタイプおよび数を限定しない。
いくつかの実施例では、予め設定された三次元座標系は予め設定された原則、例えば、三次元座標系の座標原点は携帯電話の前面カメラの中心点とし、三次元座標系のＸ軸正方向は座標原点から携帯電話の前面カメラに沿って水平に左に向かっている方向とし、三次元座標系のＹ軸正方向は座標原点から携帯電話の前面カメラに沿って垂直に上に向かっている方向とし、三次元座標系のＺ軸正方向は携帯電話の前面カメラと垂直であるように座標原点から携帯電話の前面カメラ外側に向かっている方向とするような原則に従って決定してもよい。
１０６において、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、画像における顔の目の注視点位置に対する判定結果を得る。
いくつかの実施例では、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、画像における顔の目の注視スコアを得て、続いて注視スコアを予め設定された閾値と比較し、画像における顔の目の注視点位置に対する判定結果を得ることができる。いくつかの実施例では、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークまたは他の機械学習の方法によって、画像における顔の目の注視スコアを得ることができる。一例では、ニューラルネットワークは完全接続層およびＲｅＬＵ層からなる簡単なネットワーク構造であってもよい。本開示の実施例は画像における顔の目の注視スコアを得る方法を限定しない。
いくつかの実施例では、眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得するステップの後に、さらに、予め設定されたフォーマットに従い、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標のフォーマットを調整し、それによりフォーマット調整後の眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって画像における顔の目の注視スコアを得ることができる。一例では、フォーマット調整はデータ順序の調整であり、即ち眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標の順序を、ニューラルネットワーク訓練時のデータ順序に一致させるように調整することである。
いくつかの実施例では、判定結果は、画像における顔の目の注視点が予め設定された領域内にあること、および画像における顔の目の注視点が予め設定された領域外にあることを含むことができる。注視スコアを予め設定された閾値と比較することで、注視スコアが予め設定された閾値よりも大きいことから、画像における顔の目の注視点が予め設定された領域内にあるという判定結果を得ることができ、そして注視スコアが予め設定された閾値以下であることから、画像における顔の目の注視点が予め設定された領域外にあるという判定結果を得ることができる。一例では、予め設定された領域は、画面領域の一部または全てを含むことができ、即ち本開示の実施例は画像における顔の目の注視点が画面領域内にあるかどうか、または画像における顔の目の注視点が画面の特定領域内にあるかどうかを判定するために用いることができる。
いくつかの実施例では、予め設定された閾値は、画像における顔の目の注視点が予め設定された領域内にある場合の正確判定の割合を含み得る真陽性率と、画像における顔の目の注視点が予め設定された領域外にある場合の判定誤りの割合を含み得る偽陽性率との差を含むことができる。
いくつかの実施例では、注視スコアを予め設定された閾値と比較し、画像における顔の目の注視点位置に対する判定結果を得るステップの後に、さらに、判定結果に対応して、画像を処理することができる。一例では、画像における顔の目の注視点が予め設定された領域内にあることに応答して、第一の予め設定された提示方式で画像を提示することができ、画像における顔の目の注視点が予め設定された領域外にあることに応答して、第二の予め設定された提示方式で画像を提示することができる。一例では、第一の予め設定された提示方式および第二の予め設定された提示方式は提示画像に異なる色のフレームをそれぞれ配置するようにし、例えば、図２Ａおよび２Ｂに示すように、画像における顔の目の注視点が予め設定された領域内にあることに応答して、提示画像に赤色のフレームを配置し、そして画像における顔の目の注視点が予め設定された領域外にあることに応答して、提示画像に青色のフレームを配置する。
いくつかの実施例では、本開示の実施例の方法は画像における顔の表情を認識するために用いることができ、また画像における顔の目の注視点位置に対する判定によって、画像における対象者が現在の状況を把握しているかどうかを判定し、それによって端末決済、端末ロック、端末ロック解除において、決済、ロック、ロック解除の安全性を保証することもできる。
本開示の上記実施例が提供する注視点判定方法に基づき、画像における顔の少なくとも片方の目の、眼球中心領域特徴点を含む眼部特徴点の二次元座標を取得し、眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得し、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、画像における顔の目の注視点位置に対する判定結果を得て、画像における顔の目の周囲のより細かな情報を学習することで、目の状態をより正確に判定し、より正確な目の状態情報を得ることができる。
上記各実施例では、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって画像における顔の目の注視点位置に対する判定結果を得る場合、採用されるニューラルネットワークは従来のニューラルネットワークではないため、先に該ニューラルネットワークを訓練する必要があり、また該ニューラルネットワークの入力は従来の画像ではなく、画像における顔の眼部特徴点の座標であるため、予め設定されたデータセット内の画像に基づいて該ニューラルネットワークを訓練する前、予め設定されたデータセット内の画像における顔の眼部特徴点の座標を取得する必要がある。
以下に図３および図４の実施例と関連付けて、予め設定されたデータセットに基づいて予め設定されたデータセット内の各画像における顔の眼部特徴点の座標を取得する流れ、および予め設定されたデータセット内の各画像における顔の眼部特徴点の座標に基づいてニューラルネットワークを訓練する流れを詳細に説明する。
なお、図３および図４に示す例は本開示の技術的解決手段に対する当業者の理解を助けるためのものに過ぎず、本開示を限定するものではないことを理解すべきである。当業者であれば、図３および図４に基づいて様々な変更を行うことができ、このような変更も本開示の技術的解決手段の一部と見なすべきである。
図３に示すように、該方法は以下のステップを含む。
３０２において、画像における顔の両目の眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の二次元座標を取得する。
本開示の実施例では、画像は予め設定されたデータセットから取得されるものであり、予め設定されたデータセット内の各画像にはいずれも画像における顔の目の注視点位置がラベル付けされ、ここで、予め設定されたデータセットは従来の顔認識データセットを採用してもよく、本開示の実施例はこれを限定しない。
いくつかの実施例では、画像の特徴を抽出し、画像における顔の特徴点の二次元座標を取得し、続いて画像における顔の片方の目領域の特徴点の二次元座標に基づき、画像から対応する目領域を含む矩形画像を切り出し、矩形画像のミラーリング処理を行い、矩形画像およびミラーリング処理後の矩形画像の特徴を抽出し、画像における顔の両目の眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の二次元座標を取得することができる。
いくつかの実施例では、ニューラルネットワークまたは他の機械学習の方法によって画像の特徴を抽出することができる。一例では、ニューラルネットワークは畳み込みニューラルネットワークを採用してもよい。本開示の実施例は画像の特徴抽出方法を限定しない。例えば、ニューラルネットワークによって画像の特徴を抽出し、画像における顔の１０６個の特徴点の二次元座標を取得してもよい。
３０４において、眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの両目の眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得する。
いくつかの実施例では、画像内の顔に基づいて対応する三次元顔モデルを生成し、続いて眼球中心領域特徴点の二次元座標に基づき、三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することができる。いくつかの実施例では、画像内の顔のキーポイントを予め設定し、画像内の顔のキーポイントと三次元顔事前モデルのキーポイントとの対応関係に応じて、顔に対応する三次元顔モデルを生成することができ、例えば、複数のキーポイントは顔の外輪郭キーポイント、眼部キーポイント、眉毛キーポイント、唇キーポイント、鼻キーポイントなどを含んでもよく、本開示の実施例はキーポイントのタイプおよび数を限定しない。
いくつかの実施例では、眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの両目の眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得するステップの後に、さらに、予め設定されたフォーマットに従い、眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標をファイルに記憶することができる。一例では、予め設定されたフォーマットは眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標の順序であってもよい。
いくつかの実施例では、眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標をファイルに記憶する場合、予め設定されたデータセット内の各画像における顔の眼部特徴点の座標をテストセットおよび訓練セットに分けて、それぞれニューラルネットワークの訓練およびテストに用いることができる。
図４に示すように、該方法は以下のステップを含む。
４０２において、訓練セット内の訓練サンプルの眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって画像における顔の目の注視点位置に対する判定結果と訓練サンプルに対応する画像においてラベル付けされた顔の目の注視点位置との間の損失を得て、該損失に基づいてバックプロパゲーションによってニューラルネットワークのパラメータを更新する。
本開示の実施例では、予め設定されたデータセット内の画像に基づいて訓練セット内の訓練サンプルを得ることができ、ここで、訓練セット内の各訓練サンプルは眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標からなり、予め設定されたデータセット内の各画像にはいずれも画像における顔の目の注視点位置がラベル付けされ、予め設定されたデータセットは従来の顔認識データセットを採用してもよく、本開示の実施例はこれを限定しない。
一例では、ニューラルネットワークは完全接続層およびＲｅＬＵ層からなる簡単なネットワーク構造であってもよい。いくつかの実施例では、勾配降下法などのニューラルネットワーク訓練方法を用いてニューラルネットワークを訓練してもよく、本開示の実施例はこれを限定しない。
４０４において、ニューラルネットワークの予め設定された回数の訓練を行ってから、テストセット内のテストサンプルの眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって画像における顔の目の注視点位置に対する判定結果の正解率を得て、該正解率に応じてニューラルネットワークの訓練を停止する。
本開示の実施例では、予め設定されたデータセット内の画像に基づいてテストセット内のテストサンプルを得ることができ、ここで、テストセット内の各テストサンプルは眼瞼輪郭特徴点の二次元座標、眼球輪郭特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標からなり、予め設定されたデータセット内の各画像にはいずれも画像における顔の目の注視点位置がラベル付けされ、テストセットおよび訓練セットは同一予め設定されたデータセットから得られてもよいし、また異なる予め設定されたデータセットから得られてもよく、本開示の実施例はこれを限定せず、予め設定されたデータセットは従来の顔認識データセットを採用してもよく、本開示の実施例はこれを限定しない。
いくつかの実施例では、ニューラルネットワークはタスクが比較的簡単で、過剰適合という現象が発生しやすいため、訓練セットによって得られた損失が不変で、かつテストセットによって得られた正解率が上昇し始める場合、ネットワークの訓練を早期に停止してもよい。
上記各実施例では、ニューラルネットワークの訓練を完了してから、テストセットに基づいて画像における顔の目の注視点位置に対する判定の予め設定された閾値を決定することができる。
テストサンプルをニューラルネットワークに入力し、各テストサンプルに対応する画像のニューラルネットワークによる注視スコアを得て、続いて各注視スコアを対応する画像のラベルと比較し、注視スコアが現在の閾値よりも大きいものを予め設定された注視領域とし、注視スコアが現在の閾値以下であるものを予め設定された非注視領域とし、Ｔｒｕｅ＿ｐｏｓｉｔｉｖｅでスコアが現在の閾値よりも大きくかつラベルが陽性（注視）であるものを表し、Ｆａｌｓｅ＿ｎｅｇａｔｉｖｅでスコアが現在の閾値以下かつラベルが陽性（注視）であるものを表し、Ｆａｌｓｅ＿ｐｏｓｉｔｉｖｅでスコアが現在の閾値よりも大きくかつラベルが陰性（非注視）であるものを表し、Ｔｒｕｅ＿ｎｅｇａｔｉｖｅでスコアが現在の閾値以下かつラベルが陰性（非注視）であるものを表すように、各テストサンプルによって得られた結果を記録し、記録した結果に基づいて真陽性率（Ｔｒｕｅ ｐｏｓｉｔｉｖｅ ｒａｔｅ：Ｔｐｒ）および偽陽性率（Ｆａｌｓｅ ｐｏｓｉｔｉｖｅ ｒａｔｅ：Ｆｐｒ）を得ることができ、ここで、Ｔｐｒ＝Ｔｒｕｅ＿ｐｏｓｉｔｉｖｅ／（Ｔｒｕｅ＿ｐｏｓｉｔｉｖｅ＋Ｆａｌｓｅ＿ｎｅｇａｔｉｖｅ）、画像における顔の目の予め設定された注視領域である場合の正確判定の割合を表し、Ｆｐｒ＝Ｆａｌｓｅ＿ｐｏｓｉｔｉｖｅ／（Ｔｒｕｅ＿ｎｅｇａｔｉｖｅ＋Ｆａｌｓｅ＿ｐｏｓｉｔｉｖｅ）、画像における顔の目の予め設定された非注視領域である場合の判定誤りの割合を表し、最大のＭｘ＝Ｔｐｒ−Ｆｐｒの場合の閾値を予め設定された閾値とし、総正解率を保存する。
いくつかの実施例では、前記真陽性率は第一割合と呼ばれてもよく、前記偽陽性率は第二割合と呼ばれてもよい。前記「真陽性」および「偽陽性」は二つの割合を区別する名称である。
図５は本開示のいくつかの実施例に係る注視点判定装置の構成模式図であり、該装置はサーバ、または、例えば携帯電話、コンピュータ、車載機器などを含む端末機器に設置されて運用され、図５に示すように、該装置は、取得ユニット５１０および判定ユニット５２０を含む。
そのうち、取得ユニット５１０は、画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得するように構成される。
本開示の実施例では、注視点判定用の画像は、例えば、カメラ、写真機、スキャナーなどを含み得る画像収集機器から取得されてもよいし、ハードディスク、光ディスク、フロッピーディスクなどを含み得る記憶機器から取得されてもよく、本開示の実施例は注視点判定対象の画像の取得方式を限定しない。そのうち、眼部特徴は眼球中心領域特徴点を含み、いくつかの実施例では、眼部特徴点はさらに、眼瞼輪郭特徴点および眼球輪郭特徴点を含み、本開示の実施例はこれに限定されない。
一例では、通常ヒトの両目は同一方向に同時に注視するため、取得ユニット５１０は画像における顔の片方の目の眼部特徴点の二次元座標を取得することで、画像における顔の両目の注視点を判定することができる。他の一例では、取得ユニット５１０は画像における顔の両目の眼部特徴点の二次元座標を取得することで、画像における顔の両目の注視点を判定することができる。
いくつかの実施例では、取得ユニット５１０は画像の特徴を抽出することで、画像における顔の特徴点の二次元座標を取得し、続いて画像における顔の特徴点の二次元座標に基づき、画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することができる。例えば、取得ユニット５１０は画像の特徴を抽出し、画像における顔の１０６個の特徴点の二次元座標を取得し、続いてこの１０６個の特徴点の二次元座標に基づき、画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することができる。
いくつかの実施例では、図６に示すように、取得ユニット５１０は、画像における顔の目領域の特徴点の二次元座標に基づき、画像から対応する目領域の矩形画像を切り出すことができる切り出しサブユニット５１１、および、矩形画像の特徴を抽出し、画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することができる抽出サブユニット５１２を含んでもよい。
一例では、切り出しサブユニット５１１は画像における顔の片方の目領域の特徴点の二次元座標に基づき、画像から対応する目領域を含む矩形画像を切り出すことができ、抽出サブユニット５１２は矩形画像の特徴を抽出し、画像における顔の片方の目の眼部特徴点の二次元座標を取得することができる。
他の一例では、取得ユニット５１０はさらに、ミラーリングサブユニット５１３を含み、切り出しサブユニット５１１は画像における顔の片方の目領域の特徴点の二次元座標に基づき、画像から対応する目領域を含む矩形画像を切り出すことができるが、ミラーリングサブユニット５１３は矩形画像のミラーリング処理を行うことができ、抽出サブユニット５１２は矩形画像およびミラーリング処理後の矩形画像の特徴を抽出し、画像における顔の両目の眼部特徴点の二次元座標を取得することができる。
いくつかの実施例では、ニューラルネットワークまたは他の機械学習の方法によって画像の特徴を抽出することができる。一例では、ニューラルネットワークは畳み込みニューラルネットワークを採用してもよい。本開示の実施例は画像の特徴抽出方法を限定しない。
取得ユニット５１０はさらに、眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得するために用いられる。
いくつかの実施例では、取得ユニット５１０は画像内の顔に基づいて対応する三次元顔モデルを生成し、続いて眼球中心領域特徴点の二次元座標に基づき、三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することができる。いくつかの実施例では、画像内の顔のキーポイントを予め設定し、取得ユニット５１０によって画像における顔のキーポイントと三次元顔事前モデルのキーポイントとの対応関係に基づき、顔に対応する三次元顔モデルを生成することができ、例えば、複数のキーポイントは顔の外輪郭キーポイント、眼部キーポイント、眉毛キーポイント、唇キーポイント、鼻キーポイントなどを含んでもよく、本開示の実施例はキーポイントのタイプおよび数を限定しない。
いくつかの実施例では、予め設定された三次元座標系は予め設定された原則、例えば、三次元座標系の座標原点は携帯電話の前面カメラの中心点とし、三次元座標系のＸ軸正方向は座標原点から携帯電話の前面カメラに沿って水平に左に向かっている方向とし、三次元座標系のＹ軸正方向は座標原点から携帯電話の前面カメラに沿って垂直に上に向かっている方向とし、三次元座標系のＺ軸正方向は携帯電話の前面カメラと垂直であるように座標原点から携帯電話の前面カメラ外側に向かっている方向とするような原則に従って決定してもよい。
判定ユニット５２０は、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、画像における顔の目の注視点位置に対する判定結果を得るように構成される。
いくつかの実施例では、判定ユニット５２０は眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、画像における顔の目の注視スコアを得て、続いて注視スコアを予め設定された閾値と比較し、画像における顔の目の注視点位置に対する判定結果を得ることができる。いくつかの実施例では、判定ユニット５２０は眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークまたは他の機械学習の方法によって、画像における顔の目の注視スコアを得ることができる。一例では、ニューラルネットワークは完全接続層およびＲｅＬＵ層からなる簡単なネットワーク構造であってもよい。本開示の実施例は画像における顔の目の注視スコアを得る方法を限定しない。
いくつかの実施例では、該装置はさらに調整ユニットを含み、取得ユニット５１０が眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得してから、調整ユニットは予め設定されたフォーマットに従い、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標のフォーマットを調整することができ、それにより判定ユニット５２０はフォーマット調整後の眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって画像における顔の目の注視スコアを得ることができる。一例では、フォーマット調整はデータ順序の調整であり、即ち眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標の順序を、ニューラルネットワーク訓練時のデータ順序に一致させるように調整することである。
いくつかの実施例では、判定結果は、画像における顔の目の注視点が予め設定された領域内にあること、および画像における顔の目の注視点が予め設定された領域外にあることを含むことができる。判定ユニット５２０は注視スコアを予め設定された閾値と比較することで、注視スコアが予め設定された閾値よりも大きいことから、画像における顔の目の注視点が予め設定された領域内にあるという判定結果を得ることができ、そして注視スコアが予め設定された閾値以下であることから、画像における顔の目の注視点が予め設定された領域外にあるという判定結果を得ることができる。一例では、予め設定された領域は、画面領域の一部または全てを含むことができ、即ち本開示の実施例は画像における顔の目の注視点が画面領域内にあるかどうか、または画像における顔の目の注視点が画面の特定領域内にあるかどうかを判定するために用いることができる。
いくつかの実施例では、予め設定された閾値は、画像における顔の目の注視点が予め設定された領域内にある場合の正確判定の割合を含み得る真陽性率と、画像における顔の目の注視点が予め設定された領域外にある場合の判定誤りの割合を含み得る偽陽性率との差を含むことができる。
いくつかの実施例では、該装置はさらに、注視スコアを予め設定された閾値と比較し、画像における顔の目の注視点位置に対する判定結果を得てから、さらに判定結果に対応して、画像を処理することができる処理ユニットを含む。一例では、処理ユニットは画像における顔の目の注視点が予め設定された領域内にあることに応答して第一の予め設定された提示方式で画像を提示することができ、そして画像における顔の目の注視点が予め設定された領域外にあることに応答して、第二の予め設定された提示方式で画像を提示することができる。一例では、第一の予め設定された提示方式および第二の予め設定された提示方式は提示画像に異なる色のフレームをそれぞれ配置するようにし、例えば、図２Ａおよび２Ｂに示すように、処理ユニットは画像における顔の目の注視点が予め設定された領域内にあることに応答して、提示画像に赤色のフレームを配置し、そして画像における顔の目の注視点が予め設定された領域外にあることに応答して、提示画像に青色のフレームを配置する。
いくつかの実施例では、本開示の実施例の装置は画像における顔の表情を認識するために用いることができ、また画像における顔の目の注視点位置に対する判定によって、画像における対象者が現在の状況を把握しているかどうかを判定し、それによって端末決済、端末ロック、端末ロック解除において、決済、ロック、ロック解除の安全性を保証することもできる。
本開示の上記実施例が提供する注視点判定装置に基づき、画像における顔の少なくとも片方の目の、眼球中心領域特徴点を含む眼部特徴点の二次元座標を取得し、眼球中心領域特徴点の二次元座標に基づき、画像内の顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得し、眼部特徴点のうち眼球中心領域特徴点以外の特徴点の二次元座標および眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、画像における顔の目の注視点位置に対する判定結果を得て、画像における顔の目の周囲のより細かな情報を学習することで、目の状態をより正確に判定し、より正確な目の状態情報を得ることができる。
本開示の実施例はさらに電子機器を提供し、例えば移動端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバなどであってもよい。以下に図７を参照すると、本願の実施例の端末機器またはサーバの実現に適する電子機器７００の構成模式図が示される。図７に示すように、電子機器７００は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）７０１、および／または一つ以上の加速ユニット７１３などであり、加速ユニット７１３はＧＰＵ、ＦＰＧＡ、他のタイプの専用プロセッサなどを含むことができるが、これらに限定されず、プロセッサは読み取り専用メモリ（ＲＯＭ）７０２に記憶されている実行可能命令または記憶部分７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。通信部７１２はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されず、プロセッサは読み取り専用メモリ７０２および／またはランダムアクセスメモリ７０３と通信して実行可能命令を実行し、バス７０４を介して通信部７１２と接続し、通信部７１２によって他の目標機器と通信し、それにより本願の実施例が提供するいずれか一項の方法に対応する動作、例えば、画像における顔の少なくとも片方の目の、眼球中心領域特徴点を含む眼部特徴点の二次元座標を取得することと、前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することと、前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視点位置に対する判定結果を得ることと、を完了することができる。
また、ＲＡＭ７０３には、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ７０１、ＲＯＭ７０２およびＲＡＭ７０３はバス７０４を介して互いに接続される。ＲＡＭ７０３が存在する場合、ＲＯＭ７０２は任意選択的なモジュールとなる。ＲＡＭ７０３は実行可能命令を記憶するか、または動作時にＲＯＭ７０２へ実行可能命令を書き込み、実行可能命令によって中央処理装置７０１は上記通信方法に対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続される。通信部７１２は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。
キーボード、マウスなどを含む入力部分７０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分７０７、ハードディスクなどを含む記憶部分７０８、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分７０９といった部品は、Ｉ／Ｏインタフェース７０５に接続される。通信部分７０９はインターネットのようなネットワークによって通信処理を実行する。ドライバ７１０も必要に応じてＩ／Ｏインタフェース７０５に接続される。取り外し可能な媒体７１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ７１０に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分７０８にインストールされる。
説明すべきは、図７に示すアーキテクチャは任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記図７の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット７１３とＣＰＵ７０１は分離設置するかまたは加速ユニット７１３をＣＰＵ７０１に統合するようにしてもよく、通信部７１２通信部は分離設置してもよいし、またＣＰＵ７０１または加速ユニット７１３に統合してもよいなどである。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。
いくつかの実施例では、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法を実行するステップに対応する命令、例えば、画像における顔の少なくとも片方の目の、眼球中心領域特徴点を含む眼部特徴点の二次元座標を取得することと、前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することと、前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視点位置に対する判定結果を得ることと、を含むことができる。このような実施例では、該コンピュータプログラムは通信部分７０９によってネットワークからダウンロードおよびインストールでき、および／または取り外し可能な媒体７１１からインストールできる。該コンピュータプログラムは中央処理装置（ＣＰＵ）７０１に実行される時、本願の方法に特定された上記機能を実行する。
一つ以上の任意選択的な実施形態では、本開示の実施例はさらに、コンピュータ読み取り可能命令を記憶するためのコンピュータプログラム製品であって、該命令は実行される時にコンピュータに上記いずれか一つの可能な実施形態における注視点判定方法を実行させるコンピュータプログラム製品を提供する。
該コンピュータプログラム製品は具体的にハードウェア、ソフトウェアまたはそれらの組み合わせの形態で実現できる。任意選択的な一例では、該コンピュータプログラム製品は具体的にコンピュータ記憶媒体として実現され、他の任意選択的な一例では、該コンピュータプログラム製品は具体的にソフトウェア製品、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）などとして実現される。
一つ以上の任意選択的な実施形態では、本開示の実施例はさらに、注視点判定方法およびその対応する装置、電子機器、コンピュータ記憶媒体、コンピュータプログラムならびにコンピュータプログラム製品を提供し、ここで、該方法は、第一装置が第二装置へ、第二装置に上記いずれか一つの可能な実施例における注視点判定方法を実行させる注視点判定指示を送信することと、第一装置が第二装置により送信される注視点判定結果を受信することと、を含む。
いくつかの実施例では、該注視点判定指示は具体的に呼び出し命令であってもよく、第一装置は呼び出しの方式で第二装置に指示を出して注視点判定を実行させることができ、それに対して、呼び出し命令を受信したことに応答して、第二装置は上記注視点判定方法における任意の実施例に記載のステップおよび／またはプロセスを実行することができる。
なお、本開示の実施例における「第一」、「第二」などの用語は区別するためのものに過ぎず、本開示の実施例を限定するものではないことを理解すべきである。
また、本開示では、「複数」は二つ以上を指すことができ、「少なくとも一つ」は一つ、二つまたは二つ以上を指すことができることを理解すべきである。
また、本開示に言及された任意の部品、データまたは構造は、特に断らない限り、または相反する示唆が示されない限り、通常、一つ以上と見なしてもよいことを理解すべきである。
また、本開示は各実施例間の相違点を重点に説明し、その同じまたは類似部分は互いに参照すればよいことを理解すべきであり、その説明を簡潔にするために、ここでは説明を省略する。
本開示の方法および装置は様々な方式で実現し得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで本開示の方法および装置を実現できる。前記方法のステップに付けられる上記順序は説明するためのものに過ぎず、本開示の方法のステップは、特に断らない限り、以上に具体的に記述した順序に限定されない。また、いくつかの実施例では、本開示を記録媒体に記録されたプログラムとして実施してもよく、これらのプログラムは本開示に係る方法を実現するための機械可読命令を含む。従って、本開示は本開示に係る方法を実行するためのプログラムを記憶する記録媒体をも包含する。
本開示の記述は例示および説明のためのもので、漏れがないものまたは開示した形式に本開示を限定するものではない。様々な修正および変形は、当業者にとって自明である。選択および記述した実施例は、本開示の原理および実際の適用をより効果的に説明し、かつ当業者に本願を理解させて特定の用途に適する様々な修正付きの様々な実施例を設計するためのものである。

Claims (35)

  1. 画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することであって、前記眼部特徴点は眼球中心領域特徴点を含むことと、
    前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することと、
    前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視点位置に対する判定結果を得ることと、を含む、注視点判定方法。
  2. 前記眼部特徴点はさらに、眼瞼輪郭特徴点および眼球輪郭特徴点を含む、請求項１に記載の方法。
  3. 前記画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することは、
    前記画像の特徴を抽出し、前記画像における前記顔特徴点の二次元座標を取得することと、
    前記画像における前記顔特徴点の二次元座標に基づき、前記画像における前記顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することと、を含む、請求項１または２に記載の方法。
  4. 前記画像における前記顔特徴点の二次元座標に基づき、前記画像における前記顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することは、
    前記画像における前記顔の目領域の特徴点の二次元座標に基づき、前記画像から対応する目領域を含む矩形画像を切り出すことと、
    前記矩形画像の特徴を抽出し、前記画像における前記顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することと、を含む、請求項３に記載の方法。
  5. 前記画像における前記顔の目領域の特徴点の二次元座標に基づき、前記画像から対応する目領域を含む矩形画像を切り出すことは、
    前記画像における前記顔の片目領域の特徴点の二次元座標に基づき、前記画像から対応する目領域を含む矩形画像を切り出すことを含み、
    前記矩形画像の特徴を抽出し、前記画像における前記顔の少なくとも片方の目の眼部特徴点の二次元座標を取得することは、
    前記矩形画像の特徴を抽出し、前記画像における前記顔の片目の眼部特徴点の二次元座標を取得するか、または、
    前記矩形画像のミラーリング処理を行うことと、
    前記矩形画像および前記ミラーリング処理後の矩形画像の特徴を抽出し、前記画像における前記顔の両目の眼部特徴点の二次元座標を取得することと、を含む、請求項４に記載の方法。
  6. 前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することは、
    前記画像内の前記顔に基づいて対応する三次元顔モデルを生成することと、
    前記眼球中心領域特徴点の二次元座標に基づき、前記三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得することと、を含む、請求項１から５のいずれか一項に記載の方法。
  7. 前記画像内の前記顔に基づいて対応する三次元顔モデルを生成することは、
    前記画像内の前記顔のキーポイントと三次元顔事前モデルのキーポイントとの対応関係に基づき、前記顔に対応する三次元顔モデルを生成することを含む、請求項６に記載の方法。
  8. 前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視点位置に対する判定結果を得ることは、
    前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視スコアを得ることと、
    前記注視スコアを予め設定された閾値と比較し、前記画像における前記顔の目の注視点位置に対する判定結果を得ることと、を含む、請求項１から７のいずれか一項に記載の方法。
  9. 前記注視スコアを予め設定された閾値と比較し、前記画像における前記顔の目の注視点位置に対する判定結果を得ることは、
    前記注視スコアが前記予め設定された閾値よりも大きいことから、前記画像における前記顔の目の注視点が予め設定された領域内にあると判定するか、または、
    前記注視スコアが前記予め設定された閾値以下であることから、前記画像における前記顔の目の注視点が予め設定された領域外にあると判定することを含む、請求項８に記載の方法。
  10. 前記予め設定された閾値は、画像における顔の目の注視点が予め設定された領域内にある場合の正確判定の割合を含む真陽性率と、画像における顔の目の注視点が予め設定された領域外にある場合の判定誤りの割合を含む偽陽性率との差、を含む、請求項９に記載の方法。
  11. 前記予め設定された領域は、画面領域の一部または全てを含む、請求項９または１０に記載の方法。
  12. 前記注視スコアを予め設定された閾値と比較し、前記画像における前記顔の目の注視点位置に対する判定結果を得た後に、さらに、
    前記判定結果に対応して、前記画像を処理することを含む、請求項９から１１のいずれか一項に記載の方法。
  13. 前記判定結果に対応して、前記画像を処理することは、
    前記画像における前記顔の目の注視点が予め設定された領域内にあることに応答して、第一の予め設定された提示方式で前記画像を提示することと、
    前記画像における前記顔の目の注視点が予め設定された領域外にあることに応答して、第二の予め設定された提示方式で前記画像を提示することと、を含む、請求項１２に記載の方法。
  14. 前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視スコアを得ることは、
    前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって前記画像における前記顔の目の注視スコアを得ることを含む、請求項８から１３のいずれか一項に記載の方法。
  15. 前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得した後に、さらに、
    予め設定されたフォーマットに従い、前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標のフォーマットを調整することを含み、
    前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって前記画像における前記顔の目の注視スコアを得る前記ステップは、
    前記フォーマット調整後の前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって前記画像における前記顔の目の注視スコアを得ることを含む、請求項１４に記載の方法。
  16. 表情認識、端末決済、端末ロック、端末ロック解除のいずれか一つまたは任意の組み合わせに用いられる、請求項１から１５のいずれか一項に記載の方法。
  17. 画像における顔の少なくとも片方の目の眼部特徴点の二次元座標を取得し、および前記眼球中心領域特徴点の二次元座標に基づき、前記画像内の前記顔に対応する三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得するように構成された取得ユニットであって、前記眼部特徴点は眼球中心領域特徴点を含む取得ユニットと、
    前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視点位置に対する判定結果を得るように構成された判定ユニットと、を含む、注視点判定装置。
  18. 前記眼部特徴点はさらに、眼瞼輪郭特徴点および眼球輪郭特徴点を含む、請求項１７に記載の装置。
  19. 前記取得ユニットは、前記画像の特徴を抽出し、前記画像における前記顔特徴点の二次元座標を取得し、そして前記画像における前記顔特徴点の二次元座標に基づき、前記画像における前記顔の少なくとも片方の目の眼部特徴点の二次元座標を取得するように構成される、請求項１８に記載の装置。
  20. 前記取得ユニットは、
    前記画像における前記顔の目領域の特徴点の二次元座標に基づき、前記画像から対応する目領域を含む矩形画像を切り出すように構成された切り出しサブユニットと、
    前記矩形画像の特徴を抽出し、前記画像における前記顔の少なくとも片方の目の眼部特徴点の二次元座標を取得するように構成された抽出サブユニットと、を含む、請求項１９に記載の装置。
  21. 前記切り出しサブユニットは、前記画像における前記顔の片目領域の特徴点の二次元座標に基づき、前記画像から対応する目領域を含む矩形画像を切り出すように構成され、
    前記取得ユニットはさらに、前記矩形画像のミラーリング処理を行うように構成されたミラーリングサブユニットを含み、
    前記抽出サブユニットは、前記矩形画像の特徴を抽出し、前記画像における前記顔の片目の眼部特徴点の二次元座標を取得するか、または、前記矩形画像および前記ミラーリング処理後の矩形画像の特徴を抽出し、前記画像における前記顔の両目の眼部特徴点の二次元座標を取得するように構成される、請求項２０に記載の装置。
  22. 前記取得ユニットは、前記画像内の前記顔に基づいて対応する三次元顔モデルを生成し、そして前記眼球中心領域特徴点の二次元座標に基づき、前記三次元顔モデルでの対応する眼球中心領域特徴点の予め設定された三次元座標系における三次元座標を取得するように構成される、請求項１７から２１のいずれか一項に記載の装置。
  23. 前記取得ユニットは、前記画像内の前記顔のキーポイントと三次元顔事前モデルのキーポイントとの対応関係に基づき、前記顔に対応する三次元顔モデルを生成するように構成される、請求項２２に記載の装置。
  24. 前記判定ユニットは、前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、前記画像における前記顔の目の注視スコアを得て、そして前記注視スコアを予め設定された閾値と比較し、前記画像における前記顔の目の注視点位置に対する判定結果を得るように構成される、請求項１７から２３のいずれか一項に記載の装置。
  25. 前記判定ユニットは、前記注視スコアが前記予め設定された閾値よりも大きいことから、前記画像における前記顔の目の注視点が予め設定された領域内にあると判定するか、または、前記注視スコアが前記予め設定された閾値以下であることから、前記画像における前記顔の目の注視点が予め設定された領域外にあると判定するように構成される、請求項２４に記載の装置。
  26. 前記予め設定された閾値は、画像における顔の目の注視点が予め設定された領域内にある場合の正確判定の割合を含む真陽性率と、画像における顔の目の注視点が予め設定された領域外にある場合の判定誤りの割合を含む偽陽性率との差、を含む、請求項２５に記載の装置。
  27. 前記予め設定された領域は、画面領域の一部または全てを含む、請求項２５または２６に記載の装置。
  28. さらに、
    前記判定結果に対応して、前記画像を処理するように構成された処理ユニットを含む、請求項２５から２７のいずれか一項に記載の装置。
  29. 前記処理ユニットは、前記画像における前記顔の目の注視点が予め設定された領域内にあることに応答して、第一の予め設定された提示方式で前記画像を提示し、そして前記画像における前記顔の目の注視点が予め設定された領域外にあることに応答して、第二の予め設定された提示方式で前記画像を提示するように構成される、請求項２８に記載の装置。
  30. 前記判定ユニットは、前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって前記画像における前記顔の目の注視スコアを得るように構成される、請求項２４から２９のいずれか一項に記載の装置。
  31. さらに、
    予め設定されたフォーマットに従い、前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標のフォーマットを調整するように構成された調整ユニットを含み、
    前記判定ユニットは、前記フォーマット調整後の前記眼部特徴点のうち前記眼球中心領域特徴点以外の特徴点の二次元座標および前記眼球中心領域特徴点の予め設定された三次元座標系における三次元座標に基づき、ニューラルネットワークによって前記画像における前記顔の目の注視スコアを得るように構成される、請求項３０に記載の装置。
  32. 表情認識、端末決済、端末ロック、端末ロック解除のいずれか一つまたは任意の組み合わせに用いられる、請求項１７から３１のいずれか一項に記載の装置。
  33. 請求項１７から３２のいずれか一項に記載の装置を含む電子機器。
  34. 実行可能命令を記憶するように構成されたメモリ、および
    前記メモリと通信して前記実行可能命令を実行することで請求項１から１６のいずれか一項に記載の方法を完了するように構成されたプロセッサを含む、電子機器。
  35. コンピュータ読み取り可能命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に請求項１から１６のいずれか一項に記載の方法を実現する、コンピュータ記憶媒体。
JP2019570498A 2018-09-28 2018-11-23 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体 Active JP6900516B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811141352.3 2018-09-28
CN201811141352.3A CN109389069B (zh) 2018-09-28 2018-09-28 注视点判断方法和装置、电子设备和计算机存储介质
PCT/CN2018/117287 WO2020062523A1 (zh) 2018-09-28 2018-11-23 注视点判断方法和装置、电子设备和计算机存储介质

Publications (2)

Publication Number Publication Date
JP2021502618A true JP2021502618A (ja) 2021-01-28
JP6900516B2 JP6900516B2 (ja) 2021-07-07

Family

ID=65418277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570498A Active JP6900516B2 (ja) 2018-09-28 2018-11-23 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体

Country Status (8)

Country Link
US (1) US11295474B2 (ja)
JP (1) JP6900516B2 (ja)
KR (1) KR102347336B1 (ja)
CN (1) CN109389069B (ja)
MY (1) MY201730A (ja)
SG (1) SG11202000065TA (ja)
TW (1) TWI714225B (ja)
WO (1) WO2020062523A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230064266A (ko) * 2021-11-03 2023-05-10 주식회사 유니온커뮤니티 동공 움직임을 이용한 위조 홍채 판별장치 및 그 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US11113842B2 (en) * 2018-12-24 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus with gaze estimation
CN111435432B (zh) * 2019-01-15 2023-05-26 北京市商汤科技开发有限公司 网络优化方法及装置、图像处理方法及装置、存储介质
CN110335306B (zh) * 2019-04-23 2022-04-15 华中科技大学 注视点预测方法及装置
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110428390B (zh) * 2019-07-18 2022-08-26 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
CN110531853B (zh) * 2019-08-23 2021-01-19 西安交通大学 一种基于人眼注视点检测的电子书阅读器控制方法及系统
CN111126137B (zh) * 2019-11-18 2021-02-19 珠海格力电器股份有限公司 一种交互控制方法、装置、终端及计算机可读介质
CN111027492B (zh) * 2019-12-12 2024-01-23 广东智媒云图科技股份有限公司 一种肢体特征点连线的动物作画方法及装置
CN113208591B (zh) * 2020-01-21 2023-01-06 魔门塔(苏州)科技有限公司 一种眼睛开闭距离的确定方法及装置
US10996753B1 (en) 2020-04-07 2021-05-04 Eyetech Digital Systems, Inc. Multi-mode eye-tracking with independently operable illuminators
US11921917B2 (en) 2020-04-07 2024-03-05 Eyetech Digital Systems, Inc. Compact eye-tracking camera systems and methods
CN111985384A (zh) * 2020-08-14 2020-11-24 深圳地平线机器人科技有限公司 获取脸部关键点的3d坐标及3d脸部模型的方法和装置
CN112949551A (zh) * 2021-03-19 2021-06-11 科大讯飞股份有限公司 一种眼部关键信息确定方法、装置、设备及存储介质
CN113596345B (zh) * 2021-08-09 2023-01-17 荣耀终端有限公司 参数的调整方法、显示的控制方法、电子设备及介质
CN113885708A (zh) * 2021-10-22 2022-01-04 Oppo广东移动通信有限公司 电子设备的屏幕控制方法、装置、电子设备以及存储介质
TWI819439B (zh) * 2021-12-21 2023-10-21 財團法人工業技術研究院 視線追蹤方法及應用其之視線追蹤裝置
EP4322106A4 (en) * 2022-06-30 2024-02-28 Contemporary Amperex Technology Co Ltd METHOD AND DEVICE FOR ERROR DETECTION

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置
JP2007181071A (ja) * 2005-12-28 2007-07-12 Shunkosha:Kk コンテンツ注目評価装置及び評価方法
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
JP2008194146A (ja) * 2007-02-09 2008-08-28 Toshiba Corp 視線検出装置及びその方法
JP2013252301A (ja) * 2012-06-07 2013-12-19 Toyota Central R&D Labs Inc 眼球中心推定装置及びプログラム
JP2015201096A (ja) * 2014-04-09 2015-11-12 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法
US20160202756A1 (en) * 2015-01-09 2016-07-14 Microsoft Technology Licensing, Llc Gaze tracking via eye gaze model
JP2016157336A (ja) * 2015-02-25 2016-09-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018101212A (ja) * 2016-12-19 2018-06-28 矢崎総業株式会社 車載器および顔正面度算出方法
JP2018528536A (ja) * 2015-08-31 2018-09-27 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 運転行動を監視する方法及びシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
TWI476729B (zh) * 2010-11-26 2015-03-11 Inst Information Industry Dimensional image and three - dimensional model of the combination of the system and its computer program products
CN106125921B (zh) * 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
KR101351745B1 (ko) * 2012-06-29 2014-01-16 인텔렉추얼디스커버리 주식회사 ３차원 얼굴 생성 장치 및 방법
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
CN103870796B (zh) * 2012-12-13 2017-05-24 汉王科技股份有限公司 一种人眼视线估计的方法与装置
JP6234762B2 (ja) * 2013-10-09 2017-11-22 アイシン精機株式会社 眼部検出装置、方法、およびプログラム
US9727972B2 (en) * 2013-12-30 2017-08-08 Xiaomi Inc. Method and terminal for generating thumbnail of image
CN104978548B (zh) * 2014-04-02 2018-09-25 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
KR102212209B1 (ko) * 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
CN105989326B (zh) * 2015-01-29 2020-03-03 北京三星通信技术研究有限公司 人眼三维位置信息的确定方法和装置
WO2017069176A1 (ja) * 2015-10-19 2017-04-27 株式会社オリィ研究所 視線入力装置、視線入力方法、および、視線入力プログラム
CN105740846A (zh) * 2016-03-02 2016-07-06 河海大学常州校区 一种基于深度相机的水平视角估计及校准方法
CN106598221B (zh) * 2016-11-17 2019-03-15 电子科技大学 基于眼部关键点检测的3d视线方向估计方法
CN106843500B (zh) * 2017-02-27 2020-07-07 南通大学 基于眼动追踪技术的认知水平康复训练系统
CN107679447A (zh) * 2017-08-17 2018-02-09 平安科技（深圳）有限公司 面部特征点检测方法、装置及存储介质
CN107679448B (zh) * 2017-08-17 2018-09-25 平安科技（深圳）有限公司 眼球动作分析方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置
JP2007181071A (ja) * 2005-12-28 2007-07-12 Shunkosha:Kk コンテンツ注目評価装置及び評価方法
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
JP2008194146A (ja) * 2007-02-09 2008-08-28 Toshiba Corp 視線検出装置及びその方法
JP2013252301A (ja) * 2012-06-07 2013-12-19 Toyota Central R&D Labs Inc 眼球中心推定装置及びプログラム
JP2015201096A (ja) * 2014-04-09 2015-11-12 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法
US20160202756A1 (en) * 2015-01-09 2016-07-14 Microsoft Technology Licensing, Llc Gaze tracking via eye gaze model
JP2016157336A (ja) * 2015-02-25 2016-09-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018528536A (ja) * 2015-08-31 2018-09-27 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ 運転行動を監視する方法及びシステム
JP2018101212A (ja) * 2016-12-19 2018-06-28 矢崎総業株式会社 車載器および顔正面度算出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山添 大丈、外３名: ""単眼カメラを用いた視線推定のための三次元眼球モデルの自動キャリブレーション"", 電子情報通信学会論文誌, vol. 94, no. 6, JPN6020050593, 1 June 2011 (2011-06-01), JP, pages 998 - 1006, ISSN: 0004416814 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230064266A (ko) * 2021-11-03 2023-05-10 주식회사 유니온커뮤니티 동공 움직임을 이용한 위조 홍채 판별장치 및 그 방법
KR102567390B1 (ko) * 2021-11-03 2023-08-16 주식회사 유니온커뮤니티 동공 움직임을 이용한 위조 홍채 판별장치 및 그 방법

Also Published As

Publication number Publication date
US20200134868A1 (en) 2020-04-30
US11295474B2 (en) 2022-04-05
MY201730A (en) 2024-03-14
CN109389069B (zh) 2021-01-05
WO2020062523A1 (zh) 2020-04-02
JP6900516B2 (ja) 2021-07-07
KR102347336B1 (ko) 2022-01-05
TWI714225B (zh) 2020-12-21
KR20200037147A (ko) 2020-04-08
SG11202000065TA (en) 2020-05-28
CN109389069A (zh) 2019-02-26
TW202013244A (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
JP6900516B2 (ja) 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体
US11487995B2 (en) Method and apparatus for determining image quality
US11775056B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
EP3674852B1 (en) Method and apparatus with gaze estimation
WO2019128932A1 (zh) 人脸姿态分析方法、装置、设备、存储介质以及程序
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
US9864430B2 (en) Gaze tracking via eye gaze model
WO2021169637A1 (zh) 图像识别方法、装置、计算机设备及存储介质
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
WO2019029486A1 (zh) 人脸图像处理方法、装置和电子设备
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
CN106778453B (zh) 人脸图像中检测眼镜佩戴的方法及装置
US11455765B2 (en) Method and apparatus for generating virtual avatar
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN108229301B (zh) 眼睑线检测方法、装置和电子设备
WO2022160676A1 (zh) 热力图生成模型的训练方法、装置、电子设备和存储介质
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
CN112232128A (zh) 基于视线追踪的老年残障人士照护需求识别方法
EP3074844B1 (en) Estimating gaze from un-calibrated eye measurement points
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
CN110443765A (zh) 图像处理方法、装置及电子设备
US11195301B1 (en) Estimation of head yaw in an image
CN114680822A (zh) 一种基于眼部图像的快速筛查系统
CN114299541B (zh) 模型的训练方法及装置、人体姿态识别方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210616

R150 Certificate of patent or registration of utility model

Ref document number: 6900516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250