JP2020144926A - 眼画像セグメント化および画質推定のためのニューラルネットワーク - Google Patents
眼画像セグメント化および画質推定のためのニューラルネットワーク Download PDFInfo
- Publication number
- JP2020144926A JP2020144926A JP2020089392A JP2020089392A JP2020144926A JP 2020144926 A JP2020144926 A JP 2020144926A JP 2020089392 A JP2020089392 A JP 2020089392A JP 2020089392 A JP2020089392 A JP 2020089392A JP 2020144926 A JP2020144926 A JP 2020144926A
- Authority
- JP
- Japan
- Prior art keywords
- image
- layer
- color value
- eye
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 title description 28
- 238000000034 method Methods 0.000 claims abstract description 234
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 176
- 210000001747 pupil Anatomy 0.000 claims abstract description 154
- 230000008569 process Effects 0.000 claims abstract description 83
- 230000011218 segmentation Effects 0.000 claims description 86
- 238000012549 training Methods 0.000 claims description 81
- 239000012528 membrane Substances 0.000 claims description 3
- 230000001256 tonic effect Effects 0.000 claims description 3
- 210000003786 sclera Anatomy 0.000 abstract description 27
- 230000004927 fusion Effects 0.000 abstract description 26
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 210000001508 eye Anatomy 0.000 description 469
- 238000010606 normalization Methods 0.000 description 65
- 238000011176 pooling Methods 0.000 description 48
- 238000012545 processing Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 18
- 230000001179 pupillary effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 210000000744 eyelid Anatomy 0.000 description 13
- 230000001052 transient effect Effects 0.000 description 13
- 210000000554 iris Anatomy 0.000 description 11
- 230000004044 response Effects 0.000 description 10
- 239000007943 implant Substances 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 6
- 210000000720 eyelash Anatomy 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 241000256837 Apidae Species 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 240000000015 Iris germanica Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000019552 anatomical structure morphogenesis Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001973 epigenetic effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
本願は、2016年9月29日に出願され、NEURAL NETWORK FOR EYE IMAGE SEGMENTATION AND IMAGE QUALITY ESTIMATIONと題されたロシア特許出願第2016138608号に対する優先権の利益を主張するものであり、該特許出願の全体は、参照により本明細書中に援用される。
本発明は、例えば、以下を提供する。
(項目1)
眼画像セグメント化および画質推定のためのシステムであって、前記システムは、
眼画像を取得するように構成される眼結像カメラと、
前記眼画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備え、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記共有層の第1の出力層は、前記セグメント化タワーの第1の入力層および前記セグメント化タワーの第2の入力層に接続され、前記第1の入力層または前記第2の入力層のうちの少なくとも1つは、連結層を備え、
前記共有層の第1の出力層は、前記品質推定層の入力層に接続され、
前記眼画像は、前記共有層の入力層によって受信される、
システム。
(項目2)
前記共有層の第2の出力層は、前記セグメント化タワーの第3の入力層に接続され、前記第3の入力層は、連結層を備える、項目1に記載のシステム。
(項目3)
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成するために、前記ハードウェアプロセッサは、
前記セグメント化タワーを使用して、前記眼画像のセグメント化を生成するようにプログラムされ、
前記セグメント化タワーの出力層の出力は、前記眼画像のセグメント化を備える、項目1に記載のシステム。
(項目4)
前記眼画像のセグメント化は、前記眼画像の背景、強膜、虹彩、または瞳孔を含む、項目3に記載のシステム。
(項目5)
前記ハードウェアプロセッサはさらに、
前記眼画像のセグメント化を使用して、前記眼画像内の眼の瞳孔輪郭を決定することと、
前記眼画像のセグメント化を使用して、前記眼画像内の眼の虹彩輪郭を決定することと、
前記眼画像内の非関連エリアのためのマスクを決定することと
を行うようにプログラムされる、項目4に記載のシステム。
(項目6)
前記共有層は、前記共有層によって算出された特徴マップの空間寸法を減少させ、特徴マップの数を増加させることによって、前記眼画像をエンコードするように構成される、項目1に記載のシステム。
(項目7)
前記セグメント化層は、前記特徴マップの空間寸法を増加させ、前記特徴マップの数を低減させることによって、前記共有層によってエンコードされた前記眼画像をデコードするように構成される、項目6に記載のシステム。
(項目8)
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成するために、前記ハードウェアプロセッサは、
前記品質推定タワーを使用して、前記眼画像の品質推定値を生成するようにプログラムされ、
前記品質推定タワーの出力層の出力は、前記眼画像の品質推定値を備える、項目1に記載のシステム。
(項目9)
前記品質推定タワーは、少なくとも2つのチャネルの出力を出力するように構成され、前記少なくとも2つのチャネルの第1のものは、高品質推定値を備え、前記少なくとも2つのチャネルの第2のものは、低品質推定値を備える、項目1に記載のシステム。
(項目10)
前記共有層、前記セグメント化層、または前記品質推定層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、ソフトサイン層、または任意のそれらの組み合わせを備える、項目1に記載のシステム。
(項目11)
眼画像セグメント化および画質推定のためのシステムであって、前記システムは、
眼画像を取得するように構成される眼結像カメラと、
前記眼画像を記憶するように構成される非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備え、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記セグメント化層は、前記品質推定タワーと共有されず、
前記品質推定層は、前記セグメント化タワーと共有されず、
前記眼画像は、前記共有層の入力層によって受信される、
システム。
(項目12)
前記共有層の第1の出力層は、前記セグメント化タワーの第1の入力層に接続される、項目11に記載のシステム。
(項目13)
前記共有層の第1の出力層は、前記セグメント化タワーの第2の入力層に接続され、
前記第1の入力層または前記第2の入力層は、連結層を備える、
項目12に記載のシステム。
(項目14)
前記共有層の第1の出力層はさらに、前記品質推定タワーの入力層に接続される、項目12に記載のシステム。
(項目15)
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成するために、前記ハードウェアプロセッサは、
前記セグメント化タワーを使用して、前記眼画像のセグメント化を生成するようにプログラムされ、
前記セグメント化タワーの出力層の出力は、前記眼画像のセグメント化を備える、項目11に記載のシステム。
(項目16)
前記眼画像のセグメント化は、前記眼画像の背景、強膜、虹彩、または瞳孔を含む、項目11に記載のシステム。
(項目17)
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成するために、前記ハードウェアプロセッサは、
前記品質推定タワーを使用して、前記眼画像の品質推定値を生成するようにプログラムされ、
前記品質推定タワーの出力層の出力は、前記眼画像の品質推定値を備える、項目11に記載のシステム。
(項目18)
前記共有層、前記セグメント化層、または前記品質推定層は、畳み込み層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、プーリング層、全結合層、線形全結合層、または任意のそれらの組み合わせを備える、項目11に記載のシステム。
(項目19)
前記バッチ正規化層は、バッチローカルコントラスト正規化層またはバッチローカル応答正規化層である、項目18に記載のシステム。
(項目20)
前記共有層、前記セグメント化層、または前記品質推定層は、明度正規化層、ソフトサイン層、または任意のそれらの組み合わせを備える、項目11に記載のシステム。
概要
(例示的畳み込みニューラルネットワーク)
(例示的畳み込みニューラルネットワーク層)
(例示的共有層)
(例示的セグメント化層)
(例示的品質推定層)
(畳み込みニューラルネットワークの例示的訓練)
(例示的眼画像およびセグメント化された眼画像)
(眼画像セグメント化および画質推定のための例示的プロセス)
(瞳孔輪郭、虹彩輪郭、および非関連画像エリアのためのマスクを決定する例示的プロセス)
(瞳孔輪郭または虹彩輪郭を決定する例示的プロセス)
(例示的瞳孔輪郭および虹彩輪郭決定)
(セグメント化された極画像上で訓練されたトリプレットネットワークアーキテクチャを用いたCNNを使用した例示的虹彩認証)
(トリプレットネットワークアーキテクチャ)
式中、|EmbA−EmbP|は、埋込空間内のEmbA1316aとEmbP1316pとの間の絶対距離を示し、|EmbA−EmbN|は、EmbA1316aとEmbN1316nとの間の絶対距離を示し、mは、マージンを示す。マージンは、異なる実装では、異なり得る。例えば、マージンは、0.16または0.01〜1.0の範囲内の別の数であることができる。したがって、いくつかの実装では、埋込1304は、同一人物からの眼画像間の埋込空間内の距離が異なる人物からの眼画像間の埋込空間内の距離より小さくなるように、複数の人物の眼画像から学習されることができる。式(1)の特定の実装の観点から、同一人物からの全ての眼画像間の埋込空間内の平方距離は、小さく、異なる人物からの眼画像のペア間の埋込空間内の平方距離は、大きい。
式中、nは、トリプレットのバッチ内のトリプレットの数を示し、EmbA(i)、EmbP(i)、およびEmbN(i)は、トリプレットのバッチ内のi番目のEmbA1316a、EmbP1316p、およびEmbN1316nを示す。
(例示的ウェアラブルディスプレイシステム)
(付加的側面)
(結論)
Claims (31)
- 意味論的にセグメント化された眼画像内の眼輪郭を決定するための方法であって、前記方法は、ハードウェアプロセッサの制御下で、
複数のピクセルを含む眼画像の意味論的にセグメント化された眼画像を受信することであって、前記意味論的にセグメント化された眼画像のピクセルは、色値を有し、前記意味論的にセグメント化された眼画像のピクセルの色値は、第1の色値、第2の色値、第3の色値、または、第4の色値であり、前記第1の色値は、前記眼画像の背景に対応し、前記第2の色値は、前記眼画像内の眼の強膜に対応し、前記第3の色値は、前記眼画像内の前記眼の虹彩に対応し、前記第4の色値は、前記眼画像内の前記眼の瞳孔に対応する、ことと、
前記意味論的にセグメント化された眼画像を使用して、瞳孔輪郭を決定することと、
前記意味論的にセグメント化された眼画像を使用して、虹彩輪郭を決定することと
を含む、方法。 - 前記第1の色値は、前記第2の色値を上回り、前記第2の色値は、前記第3の色値を上回り、前記第3の色値は、前記第4の色値を上回る、請求項1に記載の方法。
- 前記意味論的にセグメント化された眼画像を使用して、前記瞳孔輪郭を決定することは、
瞳孔輪郭境界を決定することと、
前記瞳孔輪郭境界から複数のピクセルを除去することと、
前記瞳孔輪郭を楕円形として前記瞳孔輪郭境界の残りのピクセルから決定することと
を含む、請求項1に記載の方法。 - 瞳孔輪郭境界を決定することは、
複数のピクセルを含む第1のバイナリ画像を作成することであって、前記第1のバイナリ画像の第1のバイナリ画像ピクセルの色値は、前記第4の色値または前記第3の色値である、ことと、
前記第1のバイナリ画像内の輪郭を決定することと、
前記第1のバイナリ画像内の前記決定された輪郭の最長輪郭を瞳孔輪郭境界として選択することと
を含む、請求項3に記載の方法。 - 前記第1のバイナリ画像の前記第1のバイナリ画像ピクセルの色値は、前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第4の色値を上回るまたは前記第4の色値と等しい値を有する場合、前記第4の色値であり、前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第4の色値を上回らずかつ前記第4の色値と等しくない値を有する場合、前記第3の色値である、請求項4に記載の方法。
- 複数のピクセルを含む第2のバイナリ画像を作成することを含み、前記第2のバイナリ画像の前記複数のピクセルの第2のバイナリ画像ピクセルの色値は、前記第3の色値または前記第2の色値である、請求項3に記載の方法。
- 前記第2のバイナリ画像の前記複数のピクセルの前記第2のバイナリ画像ピクセルの色値は、前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第3の色値を上回るまたは前記第3の色値と等しい値を有する場合、前記第3の色値であり、前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第3の色値を上回らずかつ前記第3の色値と等しくない値を有する場合、前記第2の色値である、請求項6に記載の方法。
- 前記瞳孔輪郭境界から複数のピクセルを除去することは、前記瞳孔輪郭境界の瞳孔輪郭境界ピクセルに関して、
前記第2のバイナリ画像内の最も近いピクセルを決定することであって、前記最も近いピクセルは、前記第2の色値の色値を有し、かつ、前記瞳孔輪郭境界ピクセルに最も近い、ことと、
前記瞳孔輪郭境界ピクセルと前記第2のバイナリ画像内の前記最も近いピクセルとの間の距離を決定することと、
前記瞳孔輪郭境界ピクセルと前記第2のバイナリ画像内の前記最も近いピクセルとの間の距離が瞳孔輪郭閾値より小さい場合、前記瞳孔輪郭境界ピクセルを前記瞳孔輪郭境界から除去することと
を含む、請求項6に記載の方法。 - 前記瞳孔輪郭境界を包囲する瞳孔輪郭点境界ボックスを決定することと、
瞳孔点面積サイズを前記瞳孔輪郭点境界ボックスの対角線として算出することと、
前記瞳孔点面積サイズに基づいて、瞳孔輪郭閾値を決定することと
を含む、請求項4に記載の方法。 - 前記瞳孔輪郭閾値は、前記瞳孔点面積サイズによって乗算される割合であり、前記割合は、0.02〜0.20の範囲内である、請求項9に記載の方法。
- 前記意味論的にセグメント化された眼画像を使用して、前記虹彩輪郭を決定することは、
虹彩輪郭境界を決定することと、
前記虹彩輪郭境界から複数のピクセルを除去することと、
前記虹彩輪郭を楕円形として前記虹彩輪郭境界の残りのピクセルから決定することと
を含む、請求項1に記載の方法。 - 前記虹彩輪郭境界を決定することは、
複数のピクセルを含む第3のバイナリ画像を作成することであって、前記第3のバイナリ画像の前記複数のピクセルの第3のバイナリ画像ピクセルの色値は、前記第3の色値または前記第2の色値である、ことと、
前記第3のバイナリ画像内の輪郭を決定することと、
前記第3のバイナリ画像内の前記決定された輪郭の最長輪郭を虹彩輪郭境界として選択することと
を含む、請求項11に記載の方法。 - 前記第3のバイナリ画像の前記複数のピクセルの前記第3のバイナリ画像ピクセルの色値は、前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第3の色値を上回るまたは前記第3の色値と等しい値を有する場合、前記第3の色値であり、前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第3の色値を上回らずかつ前記第3の色値と等しくない値を有する場合、前記第2の色値である、請求項11に記載の方法。
- 複数のピクセルを含む第4のバイナリ画像を作成することを含み、前記第4のバイナリ画像の前記複数のピクセルの第4のバイナリ画像ピクセルの色値は、前記第2の色値または前記第1の色値である、請求項11に記載の方法。
- 前記第4のバイナリ画像の前記複数のピクセルの第4のバイナリ画像ピクセルの色値は、前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第2の色値を上回るまたは前記第2の色値と等しい値を有する場合、前記第2の色値であり、前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第2の色値を上回らずかつ前記第2の色値と等しくない値を有する場合、前記第1の色値である、請求項14に記載の方法。
- 前記虹彩輪郭境界から複数のピクセルを除去することは、前記虹彩輪郭境界の虹彩輪郭境界ピクセルに関して、
前記第4のバイナリ画像内の最も近いピクセルを決定することであって、前記最も近いピクセルは、前記第1の色値の色値を有し、かつ、前記虹彩輪郭境界ピクセルに最も近い、ことと、
前記虹彩輪郭境界ピクセルと前記第4のバイナリ画像内の前記最も近いピクセルとの間の距離を決定することと、
前記虹彩輪郭境界ピクセルと前記第4のバイナリ画像内の前記最も近いピクセルとの間の距離が虹彩輪郭閾値より小さい場合、前記虹彩輪郭境界ピクセルを前記虹彩輪郭境界から除去することと
を含む、請求項14に記載の方法。 - 前記虹彩輪郭境界を包囲する虹彩輪郭点境界ボックスを決定することと、
虹彩点面積サイズを前記虹彩輪郭点境界ボックスの対角線として算出することと、
前記虹彩点面積サイズに基づいて、虹彩輪郭閾値を決定することと
を含む、請求項12に記載の方法。 - 前記虹彩輪郭閾値は、前記虹彩点面積サイズによって乗算される割合であり、前記割合は、0.02〜0.20の範囲内である、請求項13に記載の方法。
- 前記意味論的にセグメント化された眼画像内の非関連エリアを覆うようにバイナリマスクを決定することを含む、請求項1に記載の方法。
- 前記意味論的にセグメント化された眼画像内の前記非関連エリアを覆うように前記バイナリマスクを決定することは、
複数のピクセルを含むバイナリマスク画像を作成することであって、前記バイナリマスク画像のバイナリマスク画像ピクセルは、色値を有する、ことと、
前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第3の色値を上回るまたは前記第3の色値と等しい値を有する場合、前記バイナリマスク画像ピクセルの色値を前記第3の色値に設定することと、
前記意味論的にセグメント化された眼画像内の対応するピクセルが、前記第3の色値を上回らずかつ前記第3の色値と等しくない値を有する場合、前記バイナリマスク画像ピクセルの色値を前記第2の色値に設定することと
を含む、請求項19に記載の方法。 - 前記非関連エリアは、前記虹彩輪郭によって画定されるエリアの外側にある、前記意味論的にセグメント化された眼画像の一部を含む、請求項19に記載の方法。
- 前記バイナリマスクを前記意味論的にセグメント化された眼画像に適用し、前記非関連エリアを除外する前記眼画像の一部を含む関連する眼画像を生成することと、
前記関連する眼画像からバイオメトリックシグネチャを計算することと
を含む、請求項19に記載の方法。 - 前記バイオメトリックシグネチャは、虹彩コードを含む、請求項22に記載の方法。
- 前記意味論的にセグメント化された眼画像内の前記瞳孔輪郭、前記虹彩輪郭、および前記非関連エリアのための前記マスクを使用して、前記眼画像内の眼の虹彩の極画像を前記眼画像から作成することをさらに含む、請求項1に記載の方法。
- 複数のピクセルを含む眼画像の前記意味論的にセグメント化された眼画像を受信することは、
眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記意味論的にセグメント化された眼画像を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を含み、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記共有層の第1の出力層は、前記セグメント化タワーの第1の入力層および前記セグメント化タワーの第2の入力層に接続され、
前記共有層の第1の出力層は、前記品質推定層の入力層に接続され、
前記眼画像を受信することは、前記共有層の入力層によって前記眼画像を受信することを含む、請求項1に記載の方法。 - 眼画像セグメント化および画質推定のための方法であって、前記方法は、ハードウェアプロセッサの制御下で、
眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を含み、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記共有層の第1の出力層は、前記セグメント化タワーの第1の入力層および前記セグメント化タワーの第2の入力層に接続され、
前記共有層の第1の出力層は、前記品質推定層の入力層に接続され、
前記眼画像を受信することは、前記共有層の入力層によって前記眼画像を受信することを含む、方法。 - 眼画像セグメント化および画質推定のための方法であって、前記方法は、ハードウェアプロセッサの制御下で、
眼画像を受信することと、
畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像のセグメント化を生成することと、
前記畳み込みニューラルネットワークを使用して、前記眼画像を処理し、前記眼画像の品質推定値を生成することと
を含む、方法。 - 眼画像セグメント化および画質推定のための畳み込みニューラルネットワークを訓練するための方法であって、前記方法は、ハードウェアプロセッサの制御下で、
眼画像の訓練セットを取得することと、
畳み込みニューラルネットワークに前記眼画像の訓練セットを提供することと、
前記眼画像の訓練セットを用いて前記畳み込みニューラルネットワークを訓練することと
を含み、
前記畳み込みニューラルネットワークは、セグメント化タワーと、品質推定タワーとを備え、
前記セグメント化タワーは、セグメント化層と、共有層とを備え、
前記品質推定タワーは、品質推定層と、前記共有層とを備え、
前記共有層の出力層は、前記セグメント化タワーの第1の入力層および前記セグメント化タワーの第2の入力層に接続され、
前記共有層の出力層は、前記品質推定層の入力層に接続される、方法。 - 意味論的にセグメント化された眼画像内の眼輪郭を決定するための方法であって、前記方法は、ハードウェアプロセッサの制御下で、
複数のピクセルを含む眼画像の意味論的にセグメント化された眼画像を受信することであって、前記意味論的にセグメント化された眼画像のピクセルは、色値を有し、前記意味論的にセグメント化された眼画像のピクセルの色値は、第1の色値、第2の色値、第3の色値、および、第4の色値であり、前記第1の色値は、前記眼画像の背景に対応し、前記第2の色値は、前記眼画像内の前記眼の強膜に対応し、前記第3の色値は、前記眼画像内の眼の虹彩に対応し、前記第4の色値は、前記眼画像内の前記眼の瞳孔に対応する、ことと、
前記意味論的にセグメント化された眼画像を使用して、瞳孔輪郭を決定することと、
前記意味論的にセグメント化された眼画像を使用して、虹彩輪郭を決定することと、
前記意味論的にセグメント化された眼画像内の非関連エリアのためのマスクを決定することと
を含む、方法。 - 意味論的にセグメント化された眼画像内の眼輪郭を決定するための方法であって、前記方法は、ハードウェアプロセッサの制御下で、
眼画像の意味論的にセグメント化された眼画像を受信することと、
前記意味論的にセグメント化された眼画像を使用して、前記眼画像内の眼の瞳孔輪郭を決定することと、
前記意味論的にセグメント化された眼画像を使用して、前記眼画像内の前記眼の虹彩輪郭を決定することと、
前記眼画像内の非関連エリアのためのマスクを決定することと
を含む、方法。 - コンピュータシステムであって、
ハードウェアプロセッサと、
その上に記憶される命令を有する非一過性メモリと
を備え、
前記命令は、前記ハードウェアプロセッサによって実行されると、請求項1〜30に記載の方法のいずれか1つの方法を前記プロセッサに実施させる、コンピュータシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022031663A JP7253087B2 (ja) | 2016-09-29 | 2022-03-02 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2016138608A RU2016138608A (ru) | 2016-09-29 | 2016-09-29 | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
RU2016138608 | 2016-09-29 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516390A Division JP6785952B2 (ja) | 2016-09-29 | 2017-05-25 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022031663A Division JP7253087B2 (ja) | 2016-09-29 | 2022-03-02 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144926A true JP2020144926A (ja) | 2020-09-10 |
JP7035110B2 JP7035110B2 (ja) | 2022-03-14 |
Family
ID=61686461
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516390A Active JP6785952B2 (ja) | 2016-09-29 | 2017-05-25 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
JP2020089392A Active JP7035110B2 (ja) | 2016-09-29 | 2020-05-22 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
JP2022031663A Active JP7253087B2 (ja) | 2016-09-29 | 2022-03-02 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516390A Active JP6785952B2 (ja) | 2016-09-29 | 2017-05-25 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022031663A Active JP7253087B2 (ja) | 2016-09-29 | 2022-03-02 | 眼画像セグメント化および画質推定のためのニューラルネットワーク |
Country Status (10)
Country | Link |
---|---|
US (4) | US10445881B2 (ja) |
EP (1) | EP3518731A4 (ja) |
JP (3) | JP6785952B2 (ja) |
KR (4) | KR102583040B1 (ja) |
CN (2) | CN114495250A (ja) |
AU (1) | AU2017337317B2 (ja) |
CA (1) | CA3038031A1 (ja) |
IL (2) | IL265534B2 (ja) |
RU (1) | RU2016138608A (ja) |
WO (1) | WO2018063451A1 (ja) |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9495590B1 (en) * | 2015-04-23 | 2016-11-15 | Global Bionic Optics, Ltd. | Extended depth-of-field biometric system |
KR102450441B1 (ko) | 2016-07-14 | 2022-09-30 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
US10802992B2 (en) | 2016-08-12 | 2020-10-13 | Xilinx Technology Beijing Limited | Combining CPU and special accelerator for implementing an artificial neural network |
US10643124B2 (en) * | 2016-08-12 | 2020-05-05 | Beijing Deephi Intelligent Technology Co., Ltd. | Method and device for quantizing complex artificial neural network |
RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
CN110168477B (zh) | 2016-11-15 | 2022-07-08 | 奇跃公司 | 用于长方体检测的深度学习系统 |
JP7112399B2 (ja) | 2016-12-05 | 2022-08-03 | マジック リープ, インコーポレイテッド | 複合現実環境における仮想ユーザ入力制御 |
CA3046035A1 (en) * | 2016-12-05 | 2018-06-14 | Avigilon Coporation | System and method for cnn layer sharing |
US10963676B2 (en) * | 2016-12-23 | 2021-03-30 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
AU2018236433B2 (en) | 2017-03-17 | 2022-03-03 | Magic Leap, Inc. | Room layout estimation methods and techniques |
JP6930223B2 (ja) * | 2017-05-31 | 2021-09-01 | 富士通株式会社 | 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法 |
WO2018222897A1 (en) * | 2017-06-01 | 2018-12-06 | University Of Washington | Smartphone-based digital pupillometer |
EP3659017B1 (en) | 2017-07-26 | 2023-04-05 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
JP7162020B2 (ja) | 2017-09-20 | 2022-10-27 | マジック リープ, インコーポレイテッド | 眼追跡のための個人化されたニューラルネットワーク |
CN107633295B (zh) * | 2017-09-25 | 2020-04-28 | 南京地平线机器人技术有限公司 | 用于适配神经网络的参数的方法和装置 |
KR102602117B1 (ko) | 2017-10-26 | 2023-11-13 | 매직 립, 인코포레이티드 | 딥 멀티태스크 네트워크들에서 적응적 손실 밸런싱을 위한 그라디언트 정규화 시스템들 및 방법들 |
US10853691B1 (en) * | 2018-01-25 | 2020-12-01 | Apple Inc. | Neural network architecture |
US11556741B2 (en) | 2018-02-09 | 2023-01-17 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
EP3750028B1 (en) | 2018-02-09 | 2022-10-19 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
JP7013017B2 (ja) * | 2018-03-20 | 2022-01-31 | 国立研究開発法人産業技術総合研究所 | 演算システム |
US10949969B1 (en) * | 2018-03-20 | 2021-03-16 | Welch Allyn, Inc. | Pupil edge region removal in digital imaging |
JP2019177032A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社ニデック | 眼科画像処理装置、および眼科画像処理プログラム |
CN108629744B (zh) * | 2018-04-09 | 2021-07-30 | 北京无线电计量测试研究所 | 一种图像增强方法 |
US10671855B2 (en) | 2018-04-10 | 2020-06-02 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
CN108875787B (zh) * | 2018-05-23 | 2020-07-14 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
JP7079483B2 (ja) * | 2018-06-18 | 2022-06-02 | 国立研究開発法人産業技術総合研究所 | 情報処理方法、システム及びプログラム |
WO2019246613A1 (en) | 2018-06-22 | 2019-12-26 | Magic Leap, Inc. | Method and system for performing eye tracking using an off-axis camera |
CN112513944A (zh) | 2018-07-23 | 2021-03-16 | 奇跃公司 | 用于头部姿势预测的深度预测器循环神经网络 |
CN109087310B (zh) * | 2018-07-24 | 2022-07-12 | 深圳大学 | 睑板腺纹理区域的分割方法、系统、存储介质及智能终端 |
US10713491B2 (en) * | 2018-07-27 | 2020-07-14 | Google Llc | Object detection using spatio-temporal feature maps |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
CN109360183B (zh) * | 2018-08-20 | 2021-05-11 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
CN109377498B (zh) * | 2018-08-31 | 2021-08-20 | 大连理工大学 | 基于循环神经网络的交互式抠图方法 |
US10229346B1 (en) * | 2018-09-04 | 2019-03-12 | StradVision, Inc. | Learning method, learning device for detecting object using edge image and testing method, testing device using the same |
CN109325954B (zh) * | 2018-09-18 | 2021-08-10 | 北京旷视科技有限公司 | 图像分割方法、装置及电子设备 |
US11048977B1 (en) * | 2018-09-27 | 2021-06-29 | Apple Inc. | Method and device for pixel-level object segmentation |
JP2022512600A (ja) | 2018-10-05 | 2022-02-07 | マジック リープ, インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
EP3644275A1 (en) * | 2018-10-22 | 2020-04-29 | Koninklijke Philips N.V. | Predicting correctness of algorithmic segmentation |
WO2020093042A1 (en) * | 2018-11-02 | 2020-05-07 | Deep Lens, Inc. | Neural networks for biomedical image analysis |
US10977548B2 (en) | 2018-12-05 | 2021-04-13 | Bank Of America Corporation | Generation of capsule neural networks for enhancing image processing platforms |
US11263419B2 (en) * | 2018-12-11 | 2022-03-01 | Shanghai Harvest Intelligence Technology Co., Ltd | Biometric analysis structure, method and neural network with coded mask |
EP3912013A1 (en) | 2019-01-16 | 2021-11-24 | Pupil Labs GmbH | Methods for generating calibration data for head-wearable devices and eye tracking system |
US10325179B1 (en) * | 2019-01-23 | 2019-06-18 | StradVision, Inc. | Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same |
AU2020226648B2 (en) * | 2019-02-21 | 2023-03-02 | Case Western Reserve University | Processing three-dimensional (3D) ultrasound images |
CN110059586B (zh) * | 2019-03-29 | 2022-03-15 | 电子科技大学 | 一种基于空洞残差注意力结构的虹膜定位分割系统 |
EP3953859A1 (en) * | 2019-04-10 | 2022-02-16 | Eyeware Tech SA | Method and system for estimating eye-related geometric parameters of a user |
CN110046588B (zh) * | 2019-04-22 | 2019-11-01 | 吉林大学 | 一种具有盗取攻击应对机制的异质虹膜认证方法 |
US11435820B1 (en) * | 2019-05-16 | 2022-09-06 | Facebook Technologies, Llc | Gaze detection pipeline in an artificial reality system |
EP3979896A1 (en) | 2019-06-05 | 2022-04-13 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
US11176368B2 (en) | 2019-06-13 | 2021-11-16 | International Business Machines Corporation | Visually focused first-person neural network interpretation |
US11301677B2 (en) * | 2019-06-14 | 2022-04-12 | Tobil AB | Deep learning for three dimensional (3D) gaze prediction |
CN110309914A (zh) * | 2019-07-03 | 2019-10-08 | 中山大学 | 基于边缘服务器与移动端设备协同的深度学习模型推理加速方法 |
FR3098960B1 (fr) * | 2019-07-16 | 2021-07-16 | Idemia Identity & Security France | Procédé d’extraction d’un vecteur caractéristique à partir d’une image d’entrée représentative d’un iris au moyen d’un réseau de neurones entrainable de bout-en-bout |
CN110490083A (zh) * | 2019-07-23 | 2019-11-22 | 苏州国科视清医疗科技有限公司 | 一种基于快速人眼语义分割网络的瞳孔精确检测方法 |
EP4018288A4 (en) * | 2019-08-19 | 2022-10-12 | Magic Leap, Inc. | OCULOMETRY AND LOOK ESTIMATION USING AN OFF-SET CAMERA |
JP2022551734A (ja) * | 2019-10-15 | 2022-12-13 | マジック リープ, インコーポレイテッド | 複数のデバイスタイプをサポートするクロスリアリティシステム |
EP4046139A4 (en) | 2019-10-15 | 2023-11-22 | Magic Leap, Inc. | EXTENDED REALITY SYSTEM WITH LOCATION SERVICE |
RU2716914C1 (ru) * | 2019-10-22 | 2020-03-17 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) | Способ автоматической классификации рентгеновских изображений с использованием масок прозрачности |
CN110929672B (zh) * | 2019-11-28 | 2024-03-01 | 联想(北京)有限公司 | 瞳孔定位方法和电子设备 |
WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
US11869535B1 (en) * | 2019-12-12 | 2024-01-09 | Amazon Technologies, Inc. | Character-level emotion detection |
CN111191605A (zh) * | 2019-12-31 | 2020-05-22 | 上海电力大学 | 一种基于级联神经网络的多任务虹膜快速定位方法 |
EP4104001A4 (en) | 2020-02-13 | 2024-03-13 | Magic Leap Inc | CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS |
CN111353060B (zh) * | 2020-03-16 | 2020-11-06 | 黄华 | 基于区块链的云计算大数据图片存储方法及系统 |
CN111553880A (zh) * | 2020-03-26 | 2020-08-18 | 北京中科虹霸科技有限公司 | 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置 |
EP4131147A1 (en) | 2020-03-27 | 2023-02-08 | NEC Corporation | Determination device, method, and non-temporary computer-readable medium having program stored therein |
US10996753B1 (en) | 2020-04-07 | 2021-05-04 | Eyetech Digital Systems, Inc. | Multi-mode eye-tracking with independently operable illuminators |
US11921917B2 (en) | 2020-04-07 | 2024-03-05 | Eyetech Digital Systems, Inc. | Compact eye-tracking camera systems and methods |
KR102497990B1 (ko) * | 2020-08-13 | 2023-02-09 | 순천향대학교 산학협력단 | 전이학습을 이용한 안저 이미지 품질 평가 장치 및 방법 |
CN116368492A (zh) * | 2020-09-02 | 2023-06-30 | 新加坡保健服务集团有限公司 | 图像分割系统和方法 |
US11688200B2 (en) * | 2020-12-28 | 2023-06-27 | Fortinet, Inc. | Joint facial feature extraction and facial image quality estimation using a deep neural network (DNN) trained with a custom-labeled training dataset and having a common DNN backbone |
CN112669289A (zh) * | 2020-12-30 | 2021-04-16 | 科大讯飞股份有限公司 | 影像质量评估方法、装置、电子设备及存储介质 |
CN112733794B (zh) * | 2021-01-22 | 2021-10-15 | 腾讯科技(深圳)有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
US20240161479A1 (en) * | 2021-03-25 | 2024-05-16 | Sri International | Polarized Image Enhancement using Deep Neural Networks |
US20230081128A1 (en) * | 2021-09-16 | 2023-03-16 | Samsung Electronics Co., Ltd. | Picture quality-sensitive semantic segmentation for use in training image generation adversarial networks |
SE2251254A1 (en) * | 2022-10-28 | 2024-04-29 | Kontigo Care Ab | Method for estimating pupil size |
CN115807685B (zh) * | 2023-01-20 | 2023-04-28 | 太原理工大学 | 矿用锚护装备钻锚作业的自动控制系统 |
CN116110574B (zh) * | 2023-04-14 | 2023-06-20 | 武汉大学人民医院(湖北省人民医院) | 一种基于神经网络实现的眼科智能问诊方法和装置 |
CN117523208B (zh) * | 2024-01-08 | 2024-04-16 | 暨南大学 | 基于图像语义分割与分类的身份识别方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206444A (ja) * | 2002-12-25 | 2004-07-22 | Matsushita Electric Ind Co Ltd | 個人認証方法および虹彩認証装置 |
JP2009529200A (ja) * | 2006-03-03 | 2009-08-13 | ハネウェル・インターナショナル・インコーポレーテッド | 画像品質メトリックを有する虹彩認識システム |
US20150324974A1 (en) * | 2012-12-05 | 2015-11-12 | Eye-Cu Life Systems Ltd. | Computerized iridodiagnosis |
JP2015536519A (ja) * | 2012-12-10 | 2015-12-21 | エスアールアイ インターナショナルSRI International | バイオメトリク虹彩照合システム |
Family Cites Families (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5583795A (en) | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
CN1650622B (zh) | 2002-03-13 | 2012-09-05 | 图象公司 | 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法 |
US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
KR20050025927A (ko) | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
US7248720B2 (en) | 2004-10-21 | 2007-07-24 | Retica Systems, Inc. | Method and system for generating a combined retina/iris pattern biometric |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
JP4824420B2 (ja) | 2006-02-07 | 2011-11-30 | アイテック株式会社 | 視線ベクトル検出方法及び同装置 |
US7970179B2 (en) | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
US8363783B2 (en) | 2007-06-04 | 2013-01-29 | Oraya Therapeutics, Inc. | Method and device for ocular alignment and coupling of ocular structures |
US8098891B2 (en) | 2007-11-29 | 2012-01-17 | Nec Laboratories America, Inc. | Efficient multi-hypothesis multi-human 3D tracking in crowded scenes |
WO2010003044A2 (en) | 2008-07-03 | 2010-01-07 | Nec Laboratories America, Inc. | Epithelial layer detector and related methods |
WO2010011785A1 (en) * | 2008-07-23 | 2010-01-28 | Indiana University Research & Technology Corporation | System and method for a non-cooperative iris image acquisition system |
US8768014B2 (en) * | 2009-01-14 | 2014-07-01 | Indiana University Research And Technology Corp. | System and method for identifying a person with reference to a sclera image |
EP2525749B1 (en) | 2010-01-22 | 2016-11-02 | Optimedica Corporation | Apparatus for automated placement of scanned laser capsulorhexis incisions |
US8345984B2 (en) | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
US8948467B2 (en) * | 2010-08-06 | 2015-02-03 | Honeywell International Inc. | Ocular and iris processing system and method |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
JP2013038602A (ja) | 2011-08-08 | 2013-02-21 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
AU2012348348B2 (en) | 2011-10-28 | 2017-03-30 | Magic Leap, Inc. | System and method for augmented and virtual reality |
CN104067316B (zh) | 2011-11-23 | 2017-10-27 | 奇跃公司 | 三维虚拟和增强现实显示系统 |
KR102223290B1 (ko) | 2012-04-05 | 2021-03-04 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
NZ702897A (en) | 2012-06-11 | 2017-03-31 | Magic Leap Inc | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
US9141916B1 (en) | 2012-06-29 | 2015-09-22 | Google Inc. | Using embedding functions with a deep network |
JP5467303B1 (ja) | 2012-07-31 | 2014-04-09 | 独立行政法人科学技術振興機構 | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 |
US8369595B1 (en) * | 2012-08-10 | 2013-02-05 | EyeVerify LLC | Texture features for biometric authentication |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
NZ710096A (en) | 2013-01-15 | 2018-11-30 | Magic Leap Inc | Ultra-high resolution scanning fiber display |
KR102387314B1 (ko) | 2013-03-11 | 2022-04-14 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
US9147154B2 (en) | 2013-03-13 | 2015-09-29 | Google Inc. | Classifying resources using a deep network |
CN105229719B (zh) | 2013-03-15 | 2018-04-27 | 奇跃公司 | 显示系统和方法 |
WO2014182769A1 (en) | 2013-05-07 | 2014-11-13 | The Johns Hopkins University | Automated and non-mydriatic fundus-perimetry camera for irreversible eye diseases |
US9275308B2 (en) | 2013-05-31 | 2016-03-01 | Google Inc. | Object detection using deep neural networks |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US20140380249A1 (en) | 2013-06-25 | 2014-12-25 | Apple Inc. | Visual recognition of gestures |
CN103431840B (zh) * | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | 眼睛光学参数检测系统及方法 |
KR20230098359A (ko) | 2013-10-16 | 2023-07-03 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
US9202144B2 (en) | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
US10095917B2 (en) | 2013-11-04 | 2018-10-09 | Facebook, Inc. | Systems and methods for facial representation |
JP6236296B2 (ja) | 2013-11-14 | 2017-11-22 | 株式会社デンソーアイティーラボラトリ | 学習装置、学習プログラム、及び学習方法 |
CN103632137B (zh) * | 2013-11-15 | 2016-08-24 | 长沙理工大学 | 一种人眼虹膜图像分割方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
KR102378457B1 (ko) | 2013-11-27 | 2022-03-23 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
US9430829B2 (en) | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
CA2938264C (en) | 2014-01-31 | 2020-09-22 | Magic Leap, Inc. | Multi-focal display system and method |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
IL231862A (en) | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
WO2015164807A1 (en) | 2014-04-25 | 2015-10-29 | Texas State University | Detection of brain injury and subject state with eye movement biometrics |
AU2015255652B2 (en) | 2014-05-09 | 2018-03-29 | Google Llc | Systems and methods for using eye signals with secure mobile communications |
NZ727350A (en) | 2014-05-30 | 2020-08-28 | Magic Leap Inc | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US9536293B2 (en) | 2014-07-30 | 2017-01-03 | Adobe Systems Incorporated | Image assessment using deep convolutional neural networks |
US20160034811A1 (en) | 2014-07-31 | 2016-02-04 | Apple Inc. | Efficient generation of complementary acoustic models for performing automatic speech recognition system combination |
US9659384B2 (en) * | 2014-10-03 | 2017-05-23 | EyeEm Mobile GmbH. | Systems, methods, and computer program products for searching and sorting images by aesthetic quality |
CN105917354A (zh) | 2014-10-09 | 2016-08-31 | 微软技术许可有限责任公司 | 用于图像处理的空间金字塔池化网络 |
CN105981051B (zh) * | 2014-10-10 | 2019-02-19 | 北京旷视科技有限公司 | 用于图像解析的分层互连多尺度卷积网络 |
CN104408717A (zh) | 2014-11-24 | 2015-03-11 | 北京航空航天大学 | 一种基于着色分离的病理图像颜色质量综合评价方法 |
KR102276339B1 (ko) | 2014-12-09 | 2021-07-12 | 삼성전자주식회사 | Cnn의 근사화를 위한 학습 장치 및 방법 |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
KR20230150397A (ko) | 2015-08-21 | 2023-10-30 | 매직 립, 인코포레이티드 | 눈 포즈 측정을 사용한 눈꺼풀 형상 추정 |
CN105303185A (zh) * | 2015-11-27 | 2016-02-03 | 中国科学院深圳先进技术研究院 | 虹膜定位方法及装置 |
US10296792B2 (en) | 2016-07-14 | 2019-05-21 | Magic Leap, Inc. | Iris boundary estimation using cornea curvature |
KR102450441B1 (ko) | 2016-07-14 | 2022-09-30 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
-
2016
- 2016-09-29 RU RU2016138608A patent/RU2016138608A/ru not_active Application Discontinuation
-
2017
- 2017-05-25 CN CN202210134787.5A patent/CN114495250A/zh active Pending
- 2017-05-25 EP EP17856946.3A patent/EP3518731A4/en active Pending
- 2017-05-25 US US15/605,567 patent/US10445881B2/en active Active
- 2017-05-25 CA CA3038031A patent/CA3038031A1/en active Pending
- 2017-05-25 KR KR1020227035459A patent/KR102583040B1/ko active IP Right Grant
- 2017-05-25 KR KR1020217006298A patent/KR102456024B1/ko active IP Right Grant
- 2017-05-25 IL IL265534A patent/IL265534B2/en unknown
- 2017-05-25 AU AU2017337317A patent/AU2017337317B2/en not_active Expired - Fee Related
- 2017-05-25 JP JP2019516390A patent/JP6785952B2/ja active Active
- 2017-05-25 WO PCT/US2017/034482 patent/WO2018063451A1/en unknown
- 2017-05-25 KR KR1020197011904A patent/KR102225527B1/ko active IP Right Grant
- 2017-05-25 CN CN201780073170.4A patent/CN110022753B/zh active Active
- 2017-05-25 IL IL308022A patent/IL308022A/en unknown
- 2017-05-25 KR KR1020237032251A patent/KR20230137500A/ko active Application Filing
-
2019
- 2019-09-13 US US16/570,418 patent/US11100644B2/en active Active
-
2020
- 2020-05-22 JP JP2020089392A patent/JP7035110B2/ja active Active
-
2021
- 2021-08-20 US US17/407,763 patent/US11776131B2/en active Active
-
2022
- 2022-03-02 JP JP2022031663A patent/JP7253087B2/ja active Active
-
2023
- 2023-08-24 US US18/455,093 patent/US20240029269A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206444A (ja) * | 2002-12-25 | 2004-07-22 | Matsushita Electric Ind Co Ltd | 個人認証方法および虹彩認証装置 |
JP2009529200A (ja) * | 2006-03-03 | 2009-08-13 | ハネウェル・インターナショナル・インコーポレーテッド | 画像品質メトリックを有する虹彩認識システム |
US20150324974A1 (en) * | 2012-12-05 | 2015-11-12 | Eye-Cu Life Systems Ltd. | Computerized iridodiagnosis |
JP2015536519A (ja) * | 2012-12-10 | 2015-12-21 | エスアールアイ インターナショナルSRI International | バイオメトリク虹彩照合システム |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7035110B2 (ja) | 眼画像セグメント化および画質推定のためのニューラルネットワーク | |
JP7237137B2 (ja) | 虹彩識別のためのディープニューラルネットワーク | |
JP6960494B2 (ja) | 眼画像の収集、選択および組み合わせ | |
JP2022051873A (ja) | 眼瞼形状推定 | |
WO2021021554A1 (en) | Real time perspective correction on faces | |
NZ788647A (en) | Neural network for eye image segmentation and image quality estimation | |
KR20230108092A (ko) | 복수의 카메라를 이용하여 3차원 이미지를 생성하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7035110 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |