JP2022512393A - 生体認証および健康状態判定のための光学装置および関連デバイス - Google Patents

生体認証および健康状態判定のための光学装置および関連デバイス Download PDF

Info

Publication number
JP2022512393A
JP2022512393A JP2021533501A JP2021533501A JP2022512393A JP 2022512393 A JP2022512393 A JP 2022512393A JP 2021533501 A JP2021533501 A JP 2021533501A JP 2021533501 A JP2021533501 A JP 2021533501A JP 2022512393 A JP2022512393 A JP 2022512393A
Authority
JP
Japan
Prior art keywords
person
image
imaging
image pickup
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2021533501A
Other languages
English (en)
Other versions
JPWO2020123862A5 (ja
Inventor
エム. ロスバーグ、ジョナサン
シー. ウエスト、ローレンス
エス. ラルストン、タイラー
アリエンツォ、マウリツィオ
ケイ-カウデラー、オーウェン
ローゼンブルース、ベンジャミン
トーマス マクナルティ、クリストファー
クーマンズ、ジェイコブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tesseract Health Inc
Original Assignee
Tesseract Health Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tesseract Health Inc filed Critical Tesseract Health Inc
Publication of JP2022512393A publication Critical patent/JP2022512393A/ja
Publication of JPWO2020123862A5 publication Critical patent/JPWO2020123862A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231Biological data, e.g. fingerprint, voice or retina
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1208Multiple lens hand-held instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/04Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00Circuit arrangements or systems for wireless supply or distribution of electric power
    • H02J50/10Circuit arrangements or systems for wireless supply or distribution of electric power using inductive coupling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02015Interferometers characterised by the beam path configuration
    • G01B9/02029Combination with non-interferometric systems, i.e. for measuring the object
    • G01B9/0203With imaging systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/0209Low-coherence interferometers
    • G01B9/02091Tomographic interferometers, e.g. based on optical coherence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785Three dimensional
    • G01N2021/1787Tomographic, i.e. computerised reconstruction from projective measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Abstract

本開示は、人の眼底網膜の画像を撮像し、その人物の特定を行い、その人物に関連付けられた様々な電子記録(健康記録を含む)、アカウントもしくはデバイスにアクセスし、特定の疾病に対するその人物の傾向を判定し、かつ/または、その人物の健康上の問題を診断する手法および装置を提供する。いくつかの実施形態は、人の眼の1つまたは複数の画像を撮像するための1つまたは複数の撮像デバイスを有する撮像装置を提供する。本明細書に記載の撮像装置は、撮像された画像および/または健康状態データの分析および/または他のデバイスとのやり取りを実行するための電子機器回路を有している。様々な実施形態においては、本明細書に記載の撮像装置は、生体認証および/または健康状態判定手法を行うように代替的または追加的に構成される。

Description

本出願は、人の眼底網膜を用いた認証等の生体認証に関する。
人物特定、人の個人デバイスまたはアカウントへのアクセス、人の健康状態の判定および/または健康状態の診断を行うための既存技術は、改良を加えることによってさらに向上する。
本開示のいくつかの態様は、人物の第1の眼および第2の眼に対応するように構成されたハウジングを備えた撮像装置を提供する。ハウジングは、第1の眼の網膜の撮像および測定の少なくともいずれか一方を行うように構成されたOCT(光干渉断層撮影)デバイスと、第2の眼の網膜の撮像および測定の少なくともいずれか一方を行うように構成された蛍光デバイスと、を内部に有している。
本開示のいくつかの態様は、光学撮像デバイスおよび蛍光撮像デバイスを含む複数の撮像デバイスを内部に有している、双眼鏡の形状をなすハウジングを備えた撮像装置を提供する。光学撮像デバイスおよび蛍光撮像デバイスは、同一の光学部品を使用して撮像および測定の少なくともいずれか一方を行うように構成されている。
本開示のいくつかの態様は、複数の撮像デバイスおよび少なくとも2つのレンズを内部に有しているハウジングを備えた撮像装置を提供する。少なくとも2つのレンズは、人物の第1および第2の眼のうちの少なくとも一方の撮像および測定の少なくともいずれか一方を行うために、複数の撮像デバイスのうちの少なくとも2つとそれぞれ位置合わせされている。
本開示のいくつかの態様は、撮像装置用のスタンドを提供する。スタンドは、撮像装置のハウジングを受容するように構成された保持部と、保持部に連結され、撮像装置が保持部に受容されたときに撮像装置を支持するように構成されたベースと、を備えている。
上記の概要は、限定を意図するものではない。さらに、様々な実施形態は、本開示の任意の態様を単独または組み合わせて備えることができる。
添付の図面は寸法比率が等しいものではない。図面において、異なる図における同一または類似の構成要素には同様の符号が付されている。図示を明瞭にするため、図面において全ての構成要素に符号が付されているわけではない。
本明細書に記載の技術のいくつかの実施形態に係る、生体認証および健康状態もしくは他のアカウントへのアクセスを行うためのクラウド接続システムのブロック図。 図1に示されるシステムのいくつかの実施形態に係る、ローカルでの生体認証および健康状態もしくは他のアカウントへのアクセスを行うための例示的なデバイスのブロック図。 図1および2の実施形態に係る、1つまたは複数の網膜眼底画像を撮像し、撮像された画像から画像データを抽出するための例示的な方法を示すフロー図。 図3の方法に係る、1つまたは複数の画像に撮像された様々な特徴および/または画像から抽出されたデータに示された様々な特徴を有している、人の眼底網膜の側面図。 図5Aは、図3の方法のいくつかの実施形態に係る、例示的なCNN(畳み込みニューラルネットワーク)のブロック図であり、図5Bは、図5AのCNNのいくつかの実施形態に係る、例示的なCNN(畳み込みニューラルネットワーク)のブロック図であり、図5Cは、図5AのCNNの別の実施形態に係る、LSTM(長・短期記憶)ネットワークを含む例示的な再帰型ニューラルネットワーク(RNN)のブロック図である。 図3の方法のいくつかの実施形態に係る、例示的なFCNN(完全畳み込みニューラルネットワーク)のブロック図。 図3の方法の別の実施形態に係る、例示的なCNN(畳み込みニューラルネットワーク)のブロック図。 図3の方法のさらに別の実施形態に係る、例示的なCNN(畳み込みニューラルネットワーク)のブロック図。 図1および2の実施形態に係る、人物特定を行うための例示的な方法を示すフロー図。 図9の方法のいくつかの実施形態に係る、眼底網膜の特徴をテンプレートマッチングする方法のフロー図。 図9の方法のいくつかの実施形態に係る、人の眼底網膜の平行移動および回転に対して不変な特徴を比較する方法のフロー図である。 図1および2の実施形態に係る、例示的なユーザインターフェイスのブロック図。 本明細書に記載の技術のいくつかの実施形態に係る、ネットワークを介してアクセス可能であるコンポーネントを備えた例示的な分散型台帳を示すブロック図。 本明細書に記載の技術のいくつかの実施形態に係る、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データを、通信ネットワークを介して送信することと、通信ネットワークを介してその人物の身元を受信することとを含む例示的な方法を示すフロー図。 本明細書に記載の技術のいくつかの実施形態に係る、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データに基づいてその人物の特定を行うことと、その人物の第1の生体認証特性を用いて、身元を検証することとを含む例示的な方法を示すフロー図。 本明細書に記載の技術のいくつかの実施形態に係る、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データに基づいてその人物の特定を行うことと、複数の網膜眼底画像に関連付けられた格納データを更新することを含む例示的な方法を示すフロー図。 本明細書に記載の技術のいくつかの実施形態に係る、TSC(訓練された統計分類子)への第1の入力として、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データを提供することと、TSCからの少なくとも1つの出力に基づいて、その人物の特定を行うこととを含む、例示的な方法を示すフロー図。 本明細書に記載の技術のいくつかの実施形態に係る、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データに基づいて、その人物の特定を行うことと、その人物の医学的状態を判定することとを含む、例示的な方法を示すフロー図。 本明細書に記載の技術のいくつかの実施形態に係る、TSC(訓練された統計分類子)への第1の入力として、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データを提供することと、TSCからの少なくとも1つの出力に基づいて、ステップでその人物の特定を行うことと、その人物の医学的状態を判定することとを含む、例示的な方法を示すフロー図。 本明細書に記載の技術のいくつかの実施形態に係る、例示的な撮像装置の正面斜視図。 本明細書に記載の技術のいくつかの実施形態に係る、図14Aの撮像装置の背面側の一部透視図。 本明細書に記載の技術のいくつかの実施形態に係る、別の例示的な撮像装置の底面図。 本明細書に記載の技術のいくつかの実施形態に係る、さらに別の例示的な撮像装置の背面斜視図。 本明細書に記載の技術のいくつかの実施形態に係る、図16Aの撮像装置の分解図。 本明細書に記載の技術のいくつかの実施形態に係る、片目または両目を撮像するために図16Aの撮像装置を使用している人の側面図。 本明細書に記載の技術のいくつかの実施形態に係る、スタンドに支持された図16Aの撮像装置の斜視図。
本発明者は、人の眼底網膜(retina fundus)が撮像された画像を使用して、その人物の特定を行い、特定の疾病に対する傾向を判定し、かつ/または健康上の問題を診断できることを発見した。このため、本発明者は、人の眼底網膜の画像を撮像するための手法を開発した。さらに、本発明者は、人物特定を行い、その人物に関連付けられた様々な電子記録(健康記録を含む)、アカウントまたはデバイスにアクセスし、特定の疾病に対する傾向を判定し、かつ/または、その人物の健康上の問題を診断するための手法を開発した。
本明細書に記載の技術のいくつかの実施形態は、クラウドに格納された電子記録またはアカウント等の機密データを保護できるクラウドベースの生体認証システムを提供する。いくつかの実施形態は、様々な患者に関連付けられた健康情報をクラウドに格納するシステムや、セキュリティまたは機密性を損なうことなく患者が健康情報によりアクセスしやすくなるように、生体認証システムで患者の健康情報を保護するシステムを提供する。いくつかの実施形態では、生体認証システムは、健康情報を格納するためのシステムや、患者の医学的状態を判定するためのシステムと統合可能であり、その結果、人物特定を行うために使用される1つまたは複数の撮像画像から得たデータを、その人物の健康情報を更新するため、かつ/または、その人物の医学的状態を判定するために使用できる。
本発明者は、英数字のパスワードまたはパスコードシステムを使用する認証や、様々な形態の生体認証セキュリティ等の、既存のセキュリティシステムにおけるいくつかの問題を認識している。英数字のパスワードまたはパスコードシステムは、ブルートフォース(brute force)(例えば、考えられる全ての英数字の組み合わせを試みること)等によるハッキングの対象となるおそれがある。これに対し、ユーザーは、長い文字列を使用するか、より多様な文字(句読点や文字と数字の組み合わせ等)を使用してパスワードを強化できる。しかしながら、このような方法では、ユーザーが記憶しにくいパスワードになってしまう。また、個人情報(生年月日、記念日、ペットの名前等)を含んだパスワードやパスコードをユーザーが選択することもある。この場合、覚えやすくはなるが、第三者によって推測されやすくなる。
声紋、顔、指紋、虹彩識別等の認証を行うように構成された生体認証セキュリティシステムも存在する。このようなシステムは、パスワードやパスコードシステムと比較して不正防止の点では優れているが、正しい人物の特定には非効率的であると発明者は認識している。上記システムは、他人受入率または本人拒否率のいずれかが高くなる場合が多い。他人受入率が高いと不正行為が容易になり、本人拒否率が高いと患者の人物特定の成功が困難になる。さらに、DNA認証等の他のシステムは正しい人物の特定を行うという点では効果的であるが、このようなシステムは過度に侵襲的であると本発明者は認識している。例えば、DNA認証には、血液や唾液のサンプル等の侵襲的な検査手順が必要であるため、認証の頻度が高くなるにつれて非現実的となり、かつ費用が高くなる。さらに、DNA認証には費用がかかり、DNAを含む毛髪等の要素を盗んで行う不正行為の被害を受けやすくなる可能性がある。
既存のシステムに関連する問題を解決するために、本発明者は、人の眼底網膜の撮像画像を使用して人物特定を行うように構成された生体認証システムを開発した。このようなシステムによって、他人受入率(false acceptance rate)および本人拒否率(false rejection rate)の低い、低侵襲(minimally invasive)の撮像方法が達成される。
さらに、本明細書に記載の生体認証は、この生体認証システムが、人の身元(person’s identity)を確認するだけでなく、人物からの情報の提供を必要とせずにその人物の身元を判定するように構成されている点において、従来のシステムの認証手法と異なっている。通常の認証では、人が識別情報をパスワード、パスコードまたは生体認証測定値とともに提供し、提供された識別情報が、パスワード、パスコードまたは生体認証測定値と一致するか否かが判断される。これに対し、本明細書に記載のシステムは、人の眼底網膜の1つまたは複数の撮像画像に基づいて人物特定を行うように構成されている。いくつかの実施形態では、パスワード、パスコードまたはその人物の声紋、顔、指紋および虹彩等の生体認証測定値等の別のセキュリティ保護方法も、生体認証に対する補助として追加的認証を行うために使用される。いくつかの実施形態では、眼底網膜の撮像画像だけでなく、その人物の識別情報も生体認証システムに提供される。
本発明者はさらに、撮像された画像から人物特定を行うために利用される眼底網膜の特徴は、その人物が特定の疾病に対する傾向を有しているかを表す指標として用いることができ、さらには、その人物の医学的状態を診断するためにも使用できることを確認した。したがって、本明細書に記載のシステムは、代替的または追加的に、人が特定の疾病に対する傾向を有しているか否かを様々な疾病に関して判定することができ、また、その人物の健康上の問題を診断するように構成できる。例えば、人物特定を目的として人の眼底網膜の1つまたは複数の画像の撮像等を行った後に、システムは、上記のような判定や診断を画像に基づいて実行できる。
図1および2に、生体認証、健康情報管理、医学的状態判定および電子アカウントアクセスの一部または全部を実施するための手法を実装するように構成された例示的なシステムおよびデバイスを示す。図1および2に表すシステムおよびデバイスは、システムおよびデバイスの説明の後に記載される、上記手法の説明においても参照される。
図1および2において、図1には、本明細書に記載の手法に関連する様々な処理を実行するためにリモートコンピュータと通信するデバイスを備えた、クラウド接続システムが示されている。図1とは対照的に、図2には、本明細書に記載の手法の一部または全部をローカルで実行するデバイスが示されている。
図1に関し、ユーザー側デバイスで行われる生体認証、健康情報管理および他のタスク等の処理は、少なくともいくつかの状況において、電力消費やコストの高い処理コンポーネントやメモリコンポーネントを必要とすることが確認されている。この問題を解決するために、本発明者は、最も要求の厳しい処理および/またはメモリ負荷の高いタスクの一部または全部をリモートコンピュータに移し、その結果、ユーザー側デバイスをより安価で電力効率の高いハードウェアによって実装可能とするクラウド接続システムおよびデバイスを開発した。いくつかの例では、デバイスは、人の画像を撮像し、その画像に関するデータをリモートコンピュータに送信するだけでよい。このような場合、コンピュータは、生体認証を実行し、健康情報および/またはアカウント情報のアクセス/更新を行い、かつ/または、画像データに基づいて医学的状態を判定し、結果として得られたデータをデバイスに返信する。デバイスは画像を撮像し、その画像に関するデータをコンピュータに送信するだけであるため、必要な処理能力やメモリを非常に小さくでき、デバイス側でのコストと消費電力の両方を低減できる。その結果、デバイスのバッテリ寿命を延ばすことができ、また、エンドユーザーにとってより手頃な価格で提供できる。
図1は、通信ネットワーク160に接続されたデバイス120aおよびコンピュータ140を含む例示的なシステム100のブロック図である。
デバイス120aは、撮像装置122aおよびプロセッサ124aを有している。いくつかの実施形態では、デバイス120aは、携帯電話やタブレットコンピュータ等の携帯型デバイスおよび/またはスマートウォッチ等のウェアラブルデバイスである。いくつかの実施形態では、デバイス120aは、通信ネットワーク160を介して通信するための独立型ネットワークコントローラを有している。または、ネットワークコントローラは、プロセッサ124aと統合される。いくつかの実施形態では、デバイス120aは、ユーザインターフェイスを介して情報を提供するための1つまたは複数のディスプレイを有している。いくつかの実施形態では、撮像装置122aは、デバイス120aの他の構成要素とは別に組み付けられる。例えば、撮像装置122aは、電気ケーブル(例えば、USB(ユニバーサルシリアルバス)ケーブル)および/または有線または無線ネットワーク接続を介して、他の構成要素と通信可能に接続される。他の実施形態では、撮像装置122aは、例えば同一の携帯電話またはタブレットコンピュータのハウジング内において、デバイス120aの他の構成要素と一緒に組み付けられる。
コンピュータ140は、記憶媒体142およびプロセッサ144を有している。記憶媒体142は、人物特定を行うための画像および/または画像に関連付けられたデータを格納している。例えば、いくつかの実施形態では、記憶媒体142は、人物特定の対象である人物の網膜眼底画像との比較を目的として、網膜眼底画像および/または網膜眼底画像に関連付けられたデータを格納している。
様々な実施形態において、通信ネットワーク160は、LAN(ローカルエリアネットワーク)、携帯電話ネットワーク、ブルートゥース(登録商標)ネットワーク、インターネットまたは他の任意のネットワークである。例えば、コンピュータ140は、デバイス120aとは別の部屋等、デバイス120aに対して離れた場所に配置され、通信ネットワーク160はLANで構成される。いくつかの実施形態では、コンピュータ140は、デバイス120aとは異なる地理的領域に配置され、インターネットを介して通信を行う。
様々な実施形態においては、デバイス120aの代わりに、またはデバイス120aに加えて、複数のデバイスが配置される。例えば、システム100は、デバイス120aとコンピュータ140との間で通信を行う中間デバイスを有している。代替的または追加的に、コンピュータ140で生じる様々なタスクを実行するために、コンピュータ140の代わりに、またはコンピュータ140に加えて、複数のコンピュータを備えていてもよい。
図2は、本明細書に記載の技術のいくつかの実施形態に係る、例示的なデバイス120bのブロック図である。デバイス120aと同様に、デバイス120bは、撮像装置122bおよびプロセッサ124bを有し、これらは、デバイス120aと同様に構成される。デバイス120bは、ユーザインターフェイスを介して情報を提供するための1つまたは複数のディスプレイを有している。また、デバイス120bは記憶媒体126を有している。画像データ、健康情報、アカウント情報または他の類似データ等の、記憶媒体126に格納されたデータは、デバイス120bでのローカル人物特定(local identification)、健康情報管理、医学的状態判定および/またはアカウントアクセスに利用できる。なお、デバイス120bは、本明細書に記載の手法に関連する処理の一部または全部をローカルで実行するように構成してもよいし、このような処理をリモートで実行するように、コンピュータ140等のリモートコンピュータにデータを送信してもよい。例えば、デバイス120bは、通信ネットワーク160に接続するように構成してもよい。
I.人の網膜を撮像および/または測定するための手法および装置
本発明者は、人の眼底網膜の1つまたは複数の画像の撮像や、画像に関するデータの取得を行う手法を開発した。この手法の態様を図1および2を参照して以下に記載する。
撮像装置122aまたは122bは、人の眼底網膜の1つの画像を撮像するように構成してもよい。あるいは、撮像装置122aまたは122bは、人の眼底網膜の複数の画像を撮像するように構成してもよい。いくつかの実施形態では、撮像装置122aまたは122bは、デジタルカメラ等の2D(二次元)撮像装置である。いくつかの実施形態では、撮像装置122aまたは122bはより高度な装置であり、例えば、OCT(Optical Coherence Tomography : 光干渉断層撮影)やFLIM(Fluorescence Lifetime Imaging Microscopy : 蛍光寿命イメージング顕微鏡法)等の方法を利用した装置である。例えば、いくつかの実施形態では、撮像装置122aまたは122bは、白色光もしくはIR(赤外線)光、蛍光強度、OCTまたは蛍光寿命データ等を利用する、広視野式または走査式の眼底網膜撮像を行うために構成された網膜感知デバイスである。代替的または追加的に、撮像装置122aまたは122bは、1D(1次元)、2D(2次元)、3D(3次元)または他の次元のコントラストイメージングを行うように構成される。ここで、蛍光と寿命とは、コントラストの異なる次元(different dimensions of contrast)と見なされる。画像は、赤色情報チャネル(例えば、波長が633~635nm)、緑色情報チャネル(例えば、波長が約532nm)または任意の他の好適な1つまたは複数の光画像チャネル(light imaging channel)を用いて撮像できる。例えば、蛍光励起波長は480~510nmであり、発光波長は480~800nmであるが、これらに限定されない。
撮像装置122aまたは122bは、人の眼の近くに配置されるように、デバイス120aまたは120bの他の構成要素とは別に組み付けられる(packaged)。いくつかの実施形態では、デバイス120aまたはデバイス120bは、人の顔、特に人の眼の周囲等に対応する(例えば、形状的に一致する)ように構成される。あるいは、デバイス120aまたは120bは、人の眼の前に保持されるように構成される。いくつかの実施形態では、撮像装置122aまたは122bのレンズは、眼底網膜の撮像を行う際に、使用者の眼の前に配置される。いくつかの実施形態では、撮像装置122aまたは122bは、使用者がデバイス120aまたは120b上のボタンを押すことに応じて、1つまたは複数の画像を撮像するように構成される。いくつかの実施形態では、撮像装置122aまたは122bは、使用者からの音声指示に応答して画像を撮像するように構成される。いくつかの実施形態では、撮像装置122aが、コンピュータ140からのコマンドに応答して画像を撮像するように構成される。いくつかの実施形態では、撮像装置122aまたは122bが、撮像装置122aまたは122bの視野内で眼底網膜を検出すること等によって、デバイス120aまたは120bが人の存在を感知したときに自動的に画像を撮像するように構成される。
本発明者はまた、強化された撮像機能および汎用性の高いフォームファクタ(form factor)を有する、改良された新規の撮像装置を開発した。いくつかの実施形態では、撮像装置は、共通のハウジング内にOCTおよび/またはFLIMデバイス等の2つ以上の撮像デバイスを有している。例えば、単一の撮像装置は、内部にOCTデバイスおよびFLIMデバイスを支持できる形状のハウジングを有しており、撮像や、画像の格納および/または送信を行うためのクラウドへのアクセスを行う関連電子機器回路もハウジングに収容される。いくつかの実施形態では、撮像装置に搭載された電子機器回路は、撮像装置を使用している人物の特定(例えば、その人物の眼底網膜を撮像することによる人物特定)、使用者の電子健康記録へのアクセス、使用者の健康状態や医学的状態の判定等の、本明細書に記載の様々な処理タスクを実行するように構成される。
いくつかの実施形態では、本明細書に記載の撮像装置は、人の両眼を(例えば、同時に)撮像するために適したフォームファクタを有している。いくつかの実施形態では、本明細書に記載の撮像装置は、撮像装置の異なる撮像デバイスで各眼を撮像するように構成される。例えば、後述するように、撮像装置は、人の眼に位置合わせされるように撮像装置のハウジング内に保持された一対のレンズを有し、この一対のレンズは、撮像装置の対応する撮像デバイスとも位置合わせされている。いくつかの実施形態では、撮像装置が実質的に双眼鏡(binocular)の形状をなし、撮像装置の各側に撮像デバイスが配置されている。使用者は、撮像装置の使用中に、撮像装置の垂直方向の向きを反転させる(例えば、撮像が実行される方向に平行な軸線を中心としてデバイスを回転させる)。その結果、撮像装置は、第1の撮像デバイスによる右眼の撮像から第2の撮像デバイスによる右眼の撮像に移行し、同様に、第2の撮像デバイスによる左眼の撮像から、第1の撮像デバイスによる左眼の撮像に移行する。いくつかの実施形態では、本明細書に記載の撮像装置は、テーブルまたは机上に設置するように構成され、例えばスタンドに設置される。例えば、スタンドは、使用中に使用者が容易に回転できるように、1つまたは複数の軸線を中心に撮像装置が回転できるように構成される。
なお、本明細書に記載の撮像装置の態様は、実質的に双眼鏡の形状とは異なるフォームファクタを有するように構成してもよい。例えば、実質的に双眼鏡の形状とは異なるフォームファクタを有する実施形態は、以下に記載される例示的な撮像装置に関連して本明細書に記載される状態に構成できる。例えば、そのような撮像装置は、撮像装置の1つまたは複数の撮像デバイスを使用して、人の片眼または両眼を同時に撮像するように構成される。
図14Aおよび14Bに、本明細書に記載の技術による撮像装置の一例を示す。図14Aに示すように、撮像装置1400は、第1のハウジング部1402および第2のハウジング部1403を有したハウジング1401を備えている。いくつかの実施形態では、第1のハウジング部1402は、撮像装置1400の第1の撮像デバイス1422を収容し、第2のハウジング部1403は、撮像装置の第2の撮像デバイス1423を収容する。図14Aおよび14Bに示されるように、ハウジング1401は、実質的に双眼鏡の形状を有する。
いくつかの実施形態では、第1および第2の撮像デバイス1422は、光学撮像デバイス、蛍光撮像デバイスおよび/またはOCT撮像デバイスを含んでいる。例えば、一実施形態では、第1の撮像デバイス1422はOCT撮像デバイスであり、第2の撮像デバイス1423は光学式および蛍光式の撮像デバイスである。いくつかの実施形態では、撮像装置1400は、単一の撮像デバイス1422または1423のみを有しており、例えば、光学撮像デバイスのみまたは蛍光撮像デバイスのみを備える。いくつかの実施形態では、第1および第2の撮像デバイス1422および1423は、レンズ(例えば、収束レンズや発散レンズ)、ミラーおよび/または他の撮像部品等の1つまたは複数の光学部品を共有している。例えば、いくつかの実施形態では、第1および第2の撮像デバイス1422および1423は、共通の光路を共有している。デバイスは、独立してまたは共同して動作することが想定されている。各デバイスがOCT撮像デバイスであってもよいし、各デバイスが蛍光撮像デバイスであってもよいし、各デバイスがどちらか一方であってもよい。撮像や測定は、両眼に対して同時に行ってもよいし、それぞれの眼に対して別々に行ってもよい。
ハウジング部1402および1403は、前側ハウジング部1405によってハウジング1401の前端部に接続されている。例示的な実施形態では、前側ハウジング部1405は、人の顔の輪郭に対応するように形成されており、例えば、人の顔に一致する形状を有している。使用者の顔に対応して配置された状態において、前側ハウジング部1405は、使用者の眼から撮像装置1400の撮像デバイス1422および/または1423への視線を確保するように構成されている。例えば、前側ハウジング部1405は、第1のハウジング部1402および第2のハウジング部1403のそれぞれの開口部に対応する第1の開口部1410および第2の開口部1411を有し、人の眼と第1および第2の光学デバイス1422および1423との間の光路の妨げを最小限に留めるように形成されている。いくつかの実施形態では、開口部1410および1410は、ガラス製またはプラスチック製の1つまたは複数の透明な窓(例えば、各自個別の窓または共有窓)で覆われている。
第1および第2のハウジング部1402および1403は、ハウジング1401の後端において、後側ハウジング部1404に接続されている。後側ハウジング部1404は、第1および第2のハウジング部1402および1403の端部を覆うように成形され、その結果、撮像装置1400の周囲の光がハウジング1401内に入って撮像デバイス1422または1423に干渉することがない。
いくつかの実施形態では、撮像装置1400は、携帯電話、デスクトップ、ラップトップ、タブレットコンピュータ、スマートウォッチ等の別のデバイスに通信可能に接続するように構成される。例えば、撮像装置1400は、USBや適切な無線ネットワーク等によって、上記デバイスに対する有線および/または無線接続を確立するように構成される。いくつかの実施形態では、ハウジング1401は、1つまたは複数の電気(例えば、USB)ケーブルを収容するための1つまたは複数の開口部を有している。いくつかの実施形態では、ハウジング1401には、上記デバイスとの間で無線信号を送信および/または受信するために、1つまたは複数のアンテナが搭載される。いくつかの実施形態では、撮像デバイス1422および/または1423は、電気ケーブルおよび/またはアンテナに接続して機能するように構成される。いくつかの実施形態では、撮像デバイス1422および/または1423は、ケーブルおよび/またはアンテナから電力を受けて、ハウジング1401内に配置された充電式電池の充電等を行う。
撮像装置1400の動作時には、撮像装置1400の使用者は、眼が開口部1410および1411に位置合わせされるように、前側ハウジング部1405を顔に当てて配置する。いくつかの実施形態では、撮像装置1400は、ハウジング1401に連結され、人の手で把持するように構成された把持部材(図示せず)を有している。いくつかの実施形態では、把持部材は、柔らかいプラスチック材料を使用して形成され、人の指を受容するように人間工学的に形成される。例えば、使用者は、把持部材を両手でつかみ、眼が開口部1410および1411と一直線になるように、前側ハウジング部1405を顔に当てる。撮像装置1400は、代替的または追加的に、撮像装置1400をテーブルまたは他の機器に設置等するために、撮像装置1400を設置アームに設置するようにハウジング1401に連結された設置部材(図示せず)を有していてもよい。例えば、設置部材を介して撮像装置1400を設置した場合、一箇所に安定して配置されるため、使用者が撮像装置1400を所定の位置に保持する必要がなくなる。
いくつかの実施形態では、撮像装置1400から使用者の眼に向かって投影される可視光等の固視手段(fixator)を撮像装置1400が備えており、例えば、この可視光は、開口部1410および1411が使用者の眼と位置合わせされる方向に沿って照射される。様々な実施形態においては、固視手段は、円形もしくは楕円形のスポット等の輝点、または家(house)もしくは他の物体の映像等である。一般的に、人がある物体に焦点を合わせるときには、物体を視認しているのは片方の眼だけであっても、両方の眼を同じ方向に動かすことが確認されている。したがって、いくつかの実施形態では、撮像装置1400は、片眼のみに固視手段を提供するように構成され、例えば開口部1410および1411のいずれか一方のみが使用される。他の実施形態では、固視手段は両眼に対して提供され、開口部1410および1411の両方が使用される。
図15に、いくつかの実施形態に係る、撮像装置1500の別の実施形態を表す。図示されるように、撮像装置1500はハウジング1501を有し、ハウジング1501内に、1つまたは複数の撮像デバイス(図示せず)が配置される。ハウジング1501は、中央ハウジング部1504に接続された第1のハウジング部1502および第2のハウジング部1503を有している。中央ハウジング部1504は、第1および第2のハウジング部1502および1503を接続するヒンジ(hinge)を有しているか、ヒンジとして機能する。このヒンジを中心として第1および第2のハウジング部1502および1503が回転可能となっている。第1および/または第2のハウジング部1502,1503を、中央ハウジング部1504を中心に回転させると、これに応じて第1のハウジング部1502と第2のハウジング部1503との間の距離が増減する。撮像装置1500の使用前や使用中に、使用者は、両眼の間の距離に対応させて第1および第2のハウジング部1502および1503を回転させ、第1および第2のハウジング部1502および1503の開口部に対して眼を容易に位置合わせできる。
第1および第2のハウジング部1502および1503は、図14Aおよび14Bの第1および第2のハウジング部1402および1403と同様に構成されている。例えば、各ハウジング部は、光学撮像デバイス、蛍光撮像デバイスおよび/またはOCT撮像デバイス等の1つまたは複数の撮像デバイスを内部に収容している。図15に示されるように、各ハウジング部1502および1503には、前側ハウジング部1505Aおよび1505Bのうちいずれか一方が接続されている。前側ハウジング部1505Aおよび1505Bは、撮像装置1500の使用者の顔の輪郭に沿うように形成されており、例えば、眼の周辺部位に沿うように形成されている。一例においては、前側ハウジング部1505Aおよび1505Bは、人の顔に当接したときに顔の輪郭に沿って配置される柔軟なプラスチックを使用して形成される。前側ハウジング部1505Aおよび1505Bは、第1および第2のハウジング部1502および1503の開口部に対応する開口部1511および1510を有している。例えば、開口部1511および1510は、第1および第2のハウジング部1502および1503の開口部と位置合わせされて配置され、使用者の眼から撮像装置1500の撮像デバイスへの光路の妨げを最小限に留めるように形成されている。いくつかの実施形態では、開口部1510および1511は、ガラス製またはプラスチック製の透明な窓で覆われている。
いくつかの実施形態では、中央ハウジング部1504は、撮像装置1500を動作させるための1つまたは複数の電子回路(集積回路、プリント回路基板等)を有している。いくつかの実施形態では、デバイス120aおよび/または120bの1つまたは複数のプロセッサが中央ハウジング部1504に配置され、撮像デバイスを用いて撮像されたデータの分析等を行う。中央ハウジング部1504は、撮像装置1400に関して記載したように、他のデバイスおよび/またはコンピュータと電気的に通信する有線および/または無線手段を有している。例えば、撮像装置1500に通信可能に接続されたデバイスおよび/またはコンピュータによって、さらに別の処理(例えば、本明細書に記載される処理)が実行される。いくつかの実施形態では、撮像装置1500に搭載された電子回路は、通信可能に接続された上記デバイスまたはコンピュータから受信した命令に基づいて撮像画像データを処理する。いくつかの実施形態では、撮像装置1500は、撮像装置1500に通信可能に接続されたデバイスおよび/またはコンピュータから受信した命令に基づいて画像撮像シーケンスを開始する。いくつかの実施形態では、デバイス120aおよび/または120bについて本明細書に記載される処理機能が、撮像装置に搭載された1つまたは複数のプロセッサによって実行される。
撮像装置1400に関連して前述したように、撮像装置1500は、把持部材、設置部材および/または固視手段を有している。
図16A~16Dに、いくつかの実施形態に係る、撮像装置1600の別の実施形態を示す。図16Aに示されるように、撮像装置1600は、複数のハウジング部1601a,1601b,1601cを含むハウジング1601を備えている。ハウジング部1601aは、撮像装置1600のオンオフや、走査シーケンスの開始を行うための複数のボタンを含む制御パネル1625を有している。図16Bは撮像装置1600の分解図であり、撮像デバイス1622および1623ならびに電子機器回路1620等の、ハウジング1601内に配置された構成要素を示す。図14A、14Bおよび15を参照して前述したように、撮像デバイス1622および1623は、様々な実施形態に係る、光学撮像デバイス、蛍光撮像デバイスおよび/またはOCT撮像デバイスである。例えば図16Cに示されるように、撮像装置は、撮像のために使用者の眼を受容するように構成された前側ハウジング部1605をさらに有している。図16Dは、前述したように、スタンド1650に着座した撮像装置1600を表す。
図16A~16Dに示されるように、ハウジング部1601aおよび1601bは、撮像装置1600を実質的に取り囲んでおり、例えば、ハウジング部1601aおよび1601bの間に配置された撮像装置1600の構成要素の全部または大部分を収容している。ハウジング部1601cは、例えば組み立てられたハウジング1601を固定する1つまたは複数のネジによって、ハウジング部1601aおよび1601bに機械的に連結されている。図16Bに示されるように、ハウジング部1601cは複数のハウジング部を含み、例えば、撮像デバイス1622および1623を収容するためのハウジング部1602および1603等を含んでいる。例えば、いくつかの実施形態では、ハウジング部1602および1603は、撮像デバイス1622および1623を所定の位置に保持するように構成される。ハウジング部1601cは、レンズ1610および1611が配置される一対のレンズ部をさらに有している。ハウジング部1602および1603ならびにレンズ部は、レンズ1610および1611と位置合わせして撮像デバイス1622および1623を保持するように構成される。ハウジング部1602および1603は、レンズ1610および1611の焦点を調整するためのフォーカス部1626および1627も収容している。いくつかの実施形態では、固定タブ(securing tabs)1628もさらに配置されている。固定タブ1628を調整(例えば、押圧、引く、押す等)することによって、ハウジング部1601a、1601bおよび/または1601cを互いから切り離して、例えば、保守や修理を行うために撮像装置1600の構成要素に到達できる。
電子機器回路1620は、図15を参照して電子機器回路1620について説明したように構成可能である。制御パネル1625は、電子機器回路1520に電気的に接続されている。例えば、制御パネル1625の走査ボタンは、走査コマンド(scan command)を電子機器回路1620に通信して、撮像デバイス1622および/または1623による走査を開始するように構成される。別の例では、制御パネル1625の電源ボタンは、電源オンまたは電源オフのコマンドを電子機器回路1620に通信するように構成される。図16Bに示されるように、撮像装置1600は、撮像装置1600の周囲環境におけるEMI(電磁干渉)の発生源から電子機器回路1620を隔離するように構成された電磁シールド1624をさらに有している。電磁シールド1624を備えていることによって、電子機器回路1620の動作(ノイズ性能等)が向上する。いくつかの実施形態では、電磁シールド1624は、電子機器回路1620の1つまたは複数のプロセッサに接続されて、1つまたは複数のプロセッサで生成された熱を放散する。
いくつかの実施形態では、本明細書に記載の撮像装置は、図16Dの例に示されるように、スタンドに設置するように構成される。図16Dでは、撮像装置1600は、ベース1652および保持部1658を含むスタンド1650によって支持されている。ベース1652は、実質的にU字状の支持部を備え、支持部の下側に取り付けられた複数の脚部1654を有している。ベース1652は、図に示されているように、テーブルまたは机の上で撮像装置1600を支持するように構成される。保持部1658は、撮像装置1600のハウジング1601を収容するように形成される。例えば、保持部1658の外側は、ハウジング1601の形状に一致するように形成される。
図16Dに示されるように、ベース1652は、ヒンジ1656によって保持部1658に連結されている。ヒンジ1656は、ベース1652を支持する面に平行な軸線を中心に回転可能に構成される。例えば、撮像装置1600およびスタンド1650の使用時には、撮像装置1600を受容した状態の保持部1658を、片眼もしくは両眼の撮影に適した角度に使用者が回転できる。例えば、使用者は、スタンド1650が支持されたテーブルまたは机に着席する。いくつかの実施形態では、撮像装置内の撮像デバイスが使用者の眼を撮像する光軸に平行な軸線を中心に、使用者が撮像装置1600を回転させる。例えば、いくつかの実施形態では、スタンド1650は、代替的または追加的に、光軸に平行なヒンジを有している。
いくつかの実施形態では、保持部1658(またはスタンド1650の他の部分)は、有線または無線接続を介して撮像装置1600に電力を送るように構成された充電ハードウェアを有している。一例では、スタンド1650内の充電ハードウェアは、1つまたは複数のワイヤレス充電コイルに接続された電源を有し、撮像装置1600は、スタンド1650内のコイルから給電されるように構成されたワイヤレス充電コイルを有している。別の例では、スタンド1650内の充電ハードウェアは保持部1658の外側の電気コネクタに接続され、これによって、撮像装置1600が保持部1658に着座したときに、撮像装置1600の相補的コネクタがスタンド1650のコネクタに接続されて機能するように構成されている。様々な実施形態においては、ワイヤレス充電ハードウェアは、充電のために撮像装置1600に適切な電圧および電流を提供するように構成された1つまたは複数の電力変換器(例えば、ACからDC、DCからDC等)を有している。いくつかの実施形態では、スタンド1650は、撮像装置1600に有線または無線で給電するように構成された少なくとも1つの充電式電池を収容している。いくつかの実施形態では、スタンド1650が、単相の壁コンセント等の標準的な壁コンセントから給電されるように構成された1つまたは複数の電源コネクタを有している。
いくつかの実施形態では、前側ハウジング部1605は、複数の部分1605aおよび1605bを有している。部分1605aは、機械的に弾性を有する材料を用いて形成され、一方、前側の部分1605bは、機械的に柔軟性を有する材料を用いて形成される。その結果、使用者は、前側ハウジング部1605を快適に着用できる。例えば、いくつかの実施形態では、部分1605aはプラスチックを用いて形成され、部分1605bはゴムまたはシリコーン(silicone)を用いて形成される。他の実施形態では、前側ハウジング部1605は、単一の、機械的弾性または機械的柔軟性を有する材料を使用して形成される。いくつかの実施形態では、部分1605bは、前側ハウジング部1605の外側に配置され、部分1605aは、部分1605b内に配置される。
人の眼底網膜の複数の画像を撮像することには、いくつかの利点が確認されている。例えば、複数の撮像画像からデータを抽出することで、実装コストを抑えながらも、詐欺の被害を受けにくい生体認証手法が可能となる。本明細書のセクションIIIに記載されるように、撮像された画像から抽出されたデータは、撮像画像データと、格納画像データとを比較することによって人物特定を行うために使用できる。いくつかの実施形態では、撮像画像データが、格納画像データのある部分に対して少なくとも所定の類似度を有する場合、人物特定の成功が示される。システムが人物特定を誤って成功させることを防ぐためには、所定の類似度を高く設定する(例えば、100%に近い類似度)ことが望ましいが、必要とされる類似度が高い場合、従来技術ではFRR(false-rejection ratio : 本人拒否率)が高くなる。つまり、本人であっても本人確認が成功しにくくなる。これは、例えば解像度が低く、かつ/または視野の狭い単一の撮像画像を用いて人物特定を行った場合、このような撮像画像では特徴要素に欠けや歪み等が発生していることがあり、高く設定された類似度を達成できない場合があるためである。このため、FRRの増加を伴うことなく高い類似度に設定するためには、解像度が高く、視野の広い画像を撮像できる撮像装置を構成することが望ましい。しかしながら、高い類似度の設定を可能とする高性能の撮像装置は、単純なデジタルカメラよりも高価である場合が多い。より高価な撮像装置を使用する代わりに従来採用されてきた手法は、設定される類似度を低くすることであった。しかしながら、そのようなシステムは詐欺の被害を受けやすくなる。
この問題を解決するために、本発明者は、汎用性を高めるために通常のデジタルカメラを使用して実行できる生体認証手法を開発した。単一画像を比較するシステムとは異なり、本発明者が開発したシステムは、複数の画像を撮像して比較を行う。このシステムによって、高解像度や広視野を備えた撮像装置を必要とせずに、類似度をより高く設定できる。いくつかの実施形態では、人の眼底網膜の複数の画像からデータを抽出し、比較のために1つのセットに結合する。例えば、撮像装置122aまたは122bによって複数の画像が撮像され、撮像時には、その人物の眼底網膜の異なる部分を撮像するために、各画像はそれぞれわずかに異なる回転位置で撮像される。いくつかの実施形態では、その人物の眼を回転させたり、撮像装置122aまたは122bを追跡させたりする。このようにして、人の眼底網膜の特徴を表すデータを画像から抽出し、様々な特徴の位置を表すデータセットに結合する。複数の画像を結合して利用するため、単一の撮像画像の解像度を高くしたり、視野を広くする必要がない。反対に、携帯電話に搭載されたデジタルカメラ等の単純なデジタルカメラを、本明細書に記載される撮像に使用できる。
いくつかの実施形態では、システム100または120bは、記録された生体認証特性を用いて、眼底網膜による人物特定(retina fundus identification)の検証を行う(例えば、多要素認証を行う)ように構成される。例えば、デバイス120aまたは120bは、指紋リーダおよび/またはマイク等の1つまたは複数の生体認証センサを有している。したがって、デバイス120aまたは120bは、人の指紋および/または声紋等、人の1つまたは複数の生体認証特性を記録できる。生体認証特性の特徴を表すデータは、網膜眼底画像(retina fundus images)と同様に抽出できる。デバイス120aの場合、データはコンピュータ140に送信されて検証される。このように、網膜眼底画像に基づいて人物特定が行われた後に、生体認証特性データを、その人物に関連付けて格納されている特性データと比較することによって、眼底網膜による人物特定を検証できるため、セキュリティがさらに強化される。
II.網膜画像に基づいて人物特定を行うための手法
本発明者は、人の網膜画像に基づいて人物特定を行う手法を開発した。この手法では、人の眼底網膜の1つまたは複数の撮像画像から抽出されたデータが、他の網膜眼底画像から抽出された格納データと比較される。図3および4を参照して、1つまたは複数の撮像画像からデータを抽出する手法について説明する。図3に、人の眼底網膜の1つまたは複数の画像を撮像し、撮像された画像からデータを抽出するための例示的な方法を示す。図4に、画像から抽出されたデータに表される、人の眼底網膜のいくつかの特徴を示す。
図3のフロー図に示す例示的方法300は、ステップ302で1つまたは複数の網膜眼底画像を撮像することと、ステップ304で画像から画像データを抽出することとを含む。図1の実施形態においては、方法300は、デバイス120aによって実行されるか、あるいは、部分的にデバイス120aによって、そして部分的にコンピュータ140によって実行される。図2の実施形態においては、デバイス120bが方法300全体を実行する。
ステップ302での画像の撮像は、セクションIに記載された技術の一部または全部の実施形態に従って実行される。ステップ304での画像からの画像データの抽出は、プロセッサ124aまたは124bが、撮像装置122aまたは122bから撮像画像を取得して、当該画像から人の眼底網膜の特徴を表すデータを抽出することによって行われる。例えば、このデータには、特徴の相対位置および向きが含まれる。いくつかの実施形態では、特徴データは、複数の撮像画像から抽出されて、単一の特徴データセットに結合される。なお、ステップ304での特徴抽出は、コンピュータ140が行ってもよい。例えば、システム100のいくつかの実施形態では、デバイス120aは、画像を撮像し、データ抽出のために画像をコンピュータ140に送信するように構成される。
また、ステップ304の処理では、抽出されたデータが、デバイス120bの記憶媒体124等の記憶媒体に記録される。クラウドベースのシステム100のいくつかの実施形態では、撮像装置122aは、デバイス120aが通信ネットワーク160にアクセスできないときに画像の撮像や画像からのデータ抽出を行う場合もある。このため、プロセッサ124aは、少なくとも通信ネットワーク160を介して送信できるようになるまで、画像および/またはデータを記憶媒体に格納する。この場合、プロセッサ124aは、画像および/またはデータをコンピュータ140に送信する直前に、記憶媒体から画像および/またはデータを取得する。いくつかの実施形態では、網膜眼底画像は、デバイス120aまたは120bではなく、別の装置によって撮像される。撮像された画像はデバイス120aまたは120bに転送され、この画像からデータが抽出されて記憶媒体に格納される。あるいは、別のデバイスによってデータが抽出されてデバイス120aまたはデバイス120bに転送されてもよい。例えば、デバイス120aは、データをコンピュータ140に渡すように機能し、デバイス120bは、データに基づいて人物特定を行うか、または他の何らかのタスクを実行する。
図4は、様々な特徴を含む眼底網膜400の側面図である。これらの特徴は、図3の方法300のステップ302で1つまたは複数の画像に撮像された特徴や、ステップ304で画像から抽出されたデータに表される特徴である。例えば、人物特定には、眼底網膜400の静脈および動脈の特徴を利用できる。このような特徴には、静脈および動脈の枝端点(branch endings)410および分岐点(bifurcations)420が含まれる。指紋と同様に、枝端点410および分岐点420(「特徴点」と称する場合もある)の位置は、一意の識別子として利用できることが確認されている。したがって、いくつかの実施形態では、枝端点410および/または分岐点420の相対位置が、単一の撮像画像から抽出され、1つまたは複数のデータセットに記録される。他の例では、枝端点410および/または分岐点420の相対位置が、複数の撮像画像から抽出され、単一のデータセットに結合される。例えば、各枝端点410および/または分岐点420の平均相対位置がデータセットに記録される。いくつかの実施形態では、鼻側動脈430、鼻側静脈440、側頭側動脈(temporal artery)450および/または側頭側静脈460等の特定の静脈または動脈の相対的な位置が、1つまたは複数のデータセットに記録される。
いくつかの実施形態では、ステップ304で、枝端点410および/または分岐点420のデータに対して代替的または追加的に、他の特徴を表すデータが抽出される。一例では、視神経乳頭(optic disc)470または視神経乳頭の縁部の様相、例えば眼底網膜400内の相対位置が、データセットに記録される。いくつかの実施形態では、視神経乳頭470に関するデータは、静脈または動脈に関するデータとは別のデータセットに記録される。代替的または追加的に、中心窩480および/または黄斑490の相対位置を表すデータがデータセットに記録される。撮像画像から抽出されたデータには、例えば、視神経、血管周辺部、AVニック(AV nicks)、ドルーゼン(drusen)、網膜色素沈着等の特徴も含まれる。
いくつかの実施形態では、上記の特徴の一部または全部を抽出する処理には、各特徴の相対位置および向きを含む完全な空間マップへの画像のセグメンテーションを実行することが含まれる。例えば、空間マップは、枝端点410または分岐点420等の特徴がマップ内の特定の位置に存在するか否かを表すバイナリマスク(binary mask)を有している。いくつかの実施形態では、特徴の位置を表す相対角度が、空間マップに基づいて計算される。格納スペースの節約や、空間マップ計算の単純化を行うために、静脈等のいくつかの特徴の厚みを単一ピクセル幅(single pixel width)に減らしてもよい。代替的または追加的に、複数の画像の結合によって生じるデータ等の、冗長なデータを空間マップから削除してもよい。
いくつかの実施形態では、特徴データには、平行移動および回転に対して不変な特徴の相対位置および向きが含まれ、これによって、セクションIIIに記載されるように、SIFT(Scale Invariant Feature Transform : スケール不変特徴変換)および/またはSURF(Speeded Up Robust Feature : 高速化ロバスト特徴)の比較が可能となる。例えば、上記の抽出された特徴は、SIFT(スケール不変特徴変換)特徴および/またはSURF(高速化ロバスト特徴)である。
本発明者はまた、図5A~5C、6、7Aおよび7Bに示される実施形態に係り、TSC(Trained Statistical Classifier : 訓練された統計分類子)を使用して、1つまたは複数の撮像された画像からデータを抽出する手法を開発した。例えば、いくつかの実施形態では、方法300のステップ304は、図5A~5C、6、7Aおよび7Bの実施形態に示されるようなTSCによって実行される。TSCには、撮像装置122aまたは122bによって撮像された1つまたは複数の画像が入力される。撮像された画像は、白色光、IR、蛍光強度、OCTまたは1D、2Dもしくは3D蛍光寿命データ等による、撮像装置122aまたは122bで取得された1つまたは複数の広視野網膜画像または走査網膜画像のデータを含む。TSCは、画像内の様々な眼底網膜の特徴の様相を識別して出力するように構成される。本発明者は、撮像された画像から特徴データを抽出するTSCを実装することにより、複数の撮像画像を利用した識別を容易に実施できることを確認した。例えば、本明細書に記載されるTSCは、個々の画像または画像グループに基づいて予測を出すように構成される。予測は、TSCからの1つまたは複数の出力の形式をとる。各出力は、単一の画像または複数の画像に対応する。例えば、1つの出力は、特定の眼底網膜の特徴が特定の画像の1つまたは複数の場所に現れる尤度(likelihood)を表す。あるいは、出力は、画像の1つまたは複数の場所に複数の特徴が現れる尤度を表す。さらに別の例では、出力は、単一の特徴または複数の特徴が複数の画像の1つまたは複数の場所に現れる尤度を表す。
本明細書に記載のTSCは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの任意の適切な組み合わせを使用して実装できる。例えば、TSCは、デバイス120aのプロセッサ124a、コンピュータ140のプロセッサ144および/またはデバイス120bのプロセッサ124b上で実行される。いくつかの実施形態では、Theano、Torch、Caffe、KerasおよびTensorFlow等の1つまたは複数の機械学習ソフトウェアライブラリを使用して、本明細書に記載のTSCが実装される。これらのライブラリは、ニューラルネットワーク等の統計分類子を訓練するためや、訓練された統計分類子を実装するために使用できる。
いくつかの実施形態では、TSCを用いたデータ抽出は、デバイス120a上で行われ、デバイス120aは、通信ネットワーク160を介してTSCの出力をコンピュータ140に送信する。別の例では、コンピュータ140がデバイス120aから撮像画像を取得し、例えば、コンピュータ140上で実行されるTSCによって、撮像画像から撮像画像データを抽出する。後者の実施形態においては、デバイス120aからコンピュータ140に送信される撮像画像は、例えばJPEG(Joint Photographic Experts Group)によって標準化された圧縮形式の1つもしくは複数の画像として送信されるか、または、PNG(Portable Network Graphic)による非圧縮形式の1つもしくは複数の画像として送信される。図2の実施形態では、デバイス120bが、プロセッサ124b上で実行されるTSCによる抽出等を行って、撮像された画像から撮像画像データを取得する。
図5A~5C、6、7および8に、本明細書に記載の生体認証セキュリティシステムで使用するニューラルネットワーク統計分類子(neural network statistical classifiers)の態様を示す。図5Aおよび5Bの例示的な実施形態においては、ニューラルネットワーク統計分類子は、CNN(convolutional neural network : 畳み込みニューラルネットワーク)を有している。図5Aおよび5Cの例示的な実施形態においては、ニューラルネットワーク統計分類子は、LSTM(long short-term memory : 長・短期記憶)ネットワーク等のRNN(recurrent neural network : 再帰型ニューラルネットワーク)をさらに有している。図6に表す別の例示的な実施形態においては、ニューラルネットワーク統計分類子は、完全畳み込みニューラルネットワーク(fully convolutional neural network : FCNN)を有している。図7は、人の眼底網膜の画像内の特徴の境界(boundaries of features)を識別するように構成されたFCNNを示している。図8は、血管等の様々な眼底網膜特徴の位置に対して高い不変性を有するという利点を備えた個々のボクセル(individual voxels)を識別するように構成されたCNNを示している。
図5Aおよび5Bは、人の眼底網膜の撮像画像からデータを抽出するように構成された例示的なCNN(畳み込みニューラルネットワーク)を形成する部分500aおよび500bのブロック図である。図5Aおよび5Bの例示的な実施形態では、部分500aは部分500bに動作可能に接続され、例えば、部分500aの出力が部分500bの入力に接続される。
図5Aに示すように、CNNの部分500aには、畳み込み層(convolutional layers)510a~510gおよびプーリング層(pooling layers)520a~520cが交互に並べられている。人の眼底網膜の256ピクセル×256ピクセル(256×256)の画像等である画像530は、部分500aに入力される。部分500aは、画像530から特徴マップ540を取得し、特徴マップ540を部分500bに出力するように構成される。部分500bは、眼底網膜の特徴の位置等、画像530の様相(aspects)を表す予測(predictions)570を算出するように構成されている。
画像530は、部分500aに入力される前に、リサンプリング(resampling)、フィルタリング、補間、アフィン変換(affine transformation)、セグメンテーション、エロージョン(erosion)、ダイレーション(dilation)、メトリック計算(すなわち特徴点)、ヒストグラム平坦化、スケーリング、ビニング(binning)、トリミング、色の正規化、サイズ変更、再整形、背景差分(background subtraction)、エッジ強調、コーナー検出および/または他の任意の適切な前処理手法を用いて、前処理されてもよい。以下に前処理手法の例を表す。
1.画像の倍率を変えて同範囲(300ピクセル等)にする。
2.局所平均色を差分する。
例:局所平均が50%グレー(gray)にマッピングされる。
3.画像のサイズを部分的(90%等)にトリミングして、境界効果を除去する。
この処理には、網膜のピクセル(retina pixels)だけを含むように画像をトリミングすることや、ヒストグラムの平坦化がアルゴリズムの性能に与える影響をテストすること等が含まれる。
4.主に網膜のピクセルを含むように画像をトリミングする。
(注:この処理を行う場合は、範囲に基づいて画像の倍率変更を行う必要がない場合もある。)
いくつかの実施形態においては、画像530は、圧縮形式または非圧縮形式の、撮像装置122aまたは122bによって撮像された画像である。別の例では、画像530は、撮像装置122aまたは122bによって撮像された1つまたは複数の画像から合成される。いくつかの実施形態では、画像530は、1つまたは複数の3D体積測定OCT画像等の画像再構成後の網膜データを有している。代替的または追加的に、画像530は、撮像された画像の未処理部分を含む。例えば、画像530には、1つまたは複数のスペクトルドメインOCT画像からのスペクトル、蛍光寿命統計、事前にフィルタリングされた画像、または事前に準備された走査画像が含まれる。いくつかの実施形態では、画像530は、人の眼底網膜の断面に対応する複数の2D画像に関連付けられている。いくつかの実施形態では、これらの断面は隣接している。例えば、様々な実施形態においては、画像530は、2つ、3つ、4つまたは5つの隣接する断面にそれぞれ対応する画像と関連付けられている。いくつかの実施形態では、画像530は、血管が顕著に示されている1つまたは複数の断面の1つまたは複数の2D画像である。
CNN500aは、畳み込み層510a~510gおよびプーリング層520a~520cを介して画像530を処理するように構成されている。いくつかの実施形態では、畳み込み層510a~510gおよびプーリング層520a~520cは、撮像された画像内の眼底網膜特徴の様相を検出するように訓練される。まず、CNN500aは、畳み込み層510aおよび510bによって画像530を処理して、32個の256×256特徴マップ532を取得する。次に、最大プーリング層等であるプーリング層520aが適用された後、畳み込み層510cおよび510dが適用されて、64個の128×128特徴マップ534が得られる。次に、最大プーリング層等であるプーリング層520bが適用された後、畳み込み層510eおよび510fが適用されて、128個の64×64特徴マップ536が得られる。次に、プーリング層520cおよび畳み込み層510gが適用された後、結果として得られる256個の32×32特徴マップ538が、図5Bに示されるCNNの部分500bの入力として出力540で算出される。CNN部分500aは、勾配降下法、確率的勾配降下法、誤差逆伝播法および/または他の反復最適化方法を使用して訓練される。
いくつかの実施形態では、CNN500aは、人の眼底網膜の単一の断面等の単一の画像を一度に処理するように構成される。あるいは、いくつかの実施形態では、CNN500aは、3D体積測定画像から得られた複数の隣接する断面等の複数の画像を同時に処理するように構成される。本発明者は、枝端点、分岐点、重複部、サイジング(sizings)等の特徴の様相は、単一の断面または複数の隣接する断面から得られる情報を用いて計算できることを確認した。いくつかの実施形態では、人の眼底網膜の複数の断面に対して畳み込み層510a~510gで実行される畳み込みは、2次元(2D)または3次元(3D)である。いくつかの実施形態では、CNN500aは、特定の断面からの情報のみを使用して、その断面の特徴を予測するように構成される。あるいは、いくつかの実施形態では、CNN500aは、特定の断面からの情報および1つまたは複数の隣接する断面からの情報を使用するように構成される。いくつかの実施形態では、CNN500aは、複数の断面の特徴を、全断面に存在するデータを用いて同時に演算するように、完全に3Dの処理パイプライン(fully-3D processing pipeline)を有している。
図5Bに示されるように、部分500bは、畳み込み層512a~512bおよび全結合層(fully connected layers)560を有している。部分500bは、部分500aの出力540から特徴マップ538を取得するように構成される。例えば、部分500bは、畳み込み層512aおよび512bを介して特徴マップ538を処理して、256個の32×32特徴マップ542を取得するように構成される。次に、特徴マップ542は、全結合層560を介して処理されて、予測570が算出される。例えば、全結合層560は、特徴マップ542の確率分布を使用して、畳み込み層510a~510gおよび512a~512bおよびプーリング層520a~520cによって識別された可能性が最も高い眼底網膜特徴を決定するように構成される。その結果、予測570は、画像530内の眼底網膜の特徴の様相を表す。いくつかの実施形態では、予測570は、特定の特徴が画像530の特定の領域に位置するという尤度の算出値に対応する確率的ヒートマップ(probabilistic heat-map)等の確率値を含む。いくつかの実施形態では、予測570は、枝端点または分岐点の相対位置やサイズ、または他の特性を表す。
図5A~5Cの実施形態において、部分500cは、図5Aに示される部分500aに動作可能に接続される。例えば、部分500cは、部分500bの代わりに出力540に接続される。図5Aに示される部分500aは、CNN部分であり、部分500cはRNN(recurrent neural network : 再帰型ニューラルネットワーク)部分である。部分500cは、ある期間にわたって入力として提供される入力画像間の時間的制約をモデル化するために使用される。RNN部分500cは、LSTM(long short-term memory : 長・短期記憶)ニューラルネットワークとして実装される。このようなニューラルネットワークアーキテクチャは、監視タスクの実行中に撮像装置122aまたは122bによって取得された一連の画像(比較的長期間にわたる時系列画像)を処理するために使用される。例えば、図1の実施形態においては、デバイス120aは、一連の画像をコンピュータ140に送信する。いくつかの実施形態では、デバイス120aは、一連の画像における各画像間の経過時間等、一連の画像のタイミング情報を送信する。図5Aおよび5CのCNN-LSTMニューラルネットワークは、一連の画像を入力として受け取り、少なくとも1つの先に取得された画像から得た眼底網膜特徴を、後に取得された画像から得た特徴と組み合わせて、予測580を算出する。
いくつかの実施形態では、図5A~5Cに示されるCNNおよびCNN-LSTMにおいて、畳み込み層のカーネルのサイズが「3」、ストライド(stride)が「1」であり、プーリング層のカーネルサイズが「2」であり、分散スケーリング初期化子(variance scaling initializer)が使用される。RNN部分500cは、確率的勾配降下法および/または通時的誤差逆伝播法を使用して訓練できる。
図6は、例示的な完全畳み込みニューラルネットワーク(fully convolutional neural network : FCNN)600のブロック図である。FCNN600は、出力圧縮部分620および入力拡張部分660を有している。出力圧縮部分620は、交互に並べられた畳み込み層とプーリング層を有し、これは、図5Aの部分500aと同様に構成されている。入力拡張部分660は、交互に並べられた畳み込み層および逆畳み込み層と、重心層(center-of-mass layer)666とを有している。重心層666は、各位置での回帰位置推定値から計算された重心として推定値を計算する。
いくつかの実施形態では、出力圧縮部分620および入力拡張部分660は、処理パス640aによって接続されている。処理パス640aは、LSTM(long short-term memory : 長・短期記憶)部分を含み、これは、図5CのRNN部分500cと同様に構成される。処理パス640aを含む実施形態は、図5Aおよび5CのCNN-LSTMと同様に時間的制約をモデル化するために使用される。または、他の実施形態においては、出力圧縮部分620および入力拡張部分660は、処理パス640bによって接続されている。処理パス640aとは異なり、処理パス640bは、図5BのCNN部分500bと同様に構成されたCNN(convolutional network : 畳み込みネットワーク)部分を有している。
いくつかの実施形態では、FCNN600においては、カーネルサイズが「3」でストライドが「1」の畳み込み層と、カーネルサイズが「2」のプーリング層と、カーネルサイズが「6」でストライドが「2」の逆畳み込み層と、分散スケーリング初期化子とが使用される。
FCNN600の出力は、入力と同じ次元(dimensionality)を有する単一チャネル出力である。したがって、血管特徴点等の点位置のマップは、点位置にガウスカーネル強度プロファイルを導入することによって算出でき、FCNN600は、平均二乗誤差損失法を使用してこれらのプロファイルを回帰するように訓練される。
FCNN600は、勾配降下法、確率的勾配降下法、誤差逆伝播法および/または他の反復最適化手法によって訓練できる。
いくつかの実施形態において、TSCは、ラベル付けされた画像を使用して訓練される。例えば、TSCは、血管の枝端点、分岐点もしくは重複部、視神経乳頭、血管、分岐点、端点、重複部および中心窩等の眼底網膜の特徴の画像を用いて訓練できる。走査画像には、1人または複数の臨床専門家が手動で注釈を付けてもよい。いくつかの実施形態では、注釈は、血管の重複部、分岐点、および終点の位置の表示を含む。いくつかの実施形態では、注釈は、完全な血管、視神経乳頭または中心窩のような完全な構造の範囲を有している。
本発明者は、TSCをマルチタスクモデルとして構成することにより、TSCの出力を用いて、人の眼底網膜の特徴の1つまたは複数の位置を特定し、血管を区分化できることを確認した。例えば、血管は人物特定に使用できる複数の特徴を有しており、血管ラベルをマルチタスクモデルの訓練に用いることによって、血管の位置をより正確に特定可能なモデルを構成できる。このように、CNN部分500aおよび/またはFCNN600は、マルチタスクモデルを有している。
図7は、撮像された画像内の血管、視神経乳頭または中心窩等の特定の眼底網膜特徴の境界の位置を表すように構成された完全畳み込みニューラルネットワーク(fully convolutional neural network : FCNN)700のブロック図である。FCNN700の訓練には、ゼロパディング訓練画像(zero-padding training images)を使用し、サイズ「3」およびストライド「1」の畳み込みカーネルと、サイズ「2」の最大プーリングカーネルと、サイズ「6」およびサイズ「2」の逆畳み込み(アップスケールおよび畳み込み)カーネルとを使用する。ニューラルネットワークの出力は、特定の眼底網膜特徴の境界の位置を表す。
本発明者は、TSCが個々のボクセルを分類するように構成できることを確認しているが、これによって、血管等の様々な眼底網膜特徴の位置の不変性が高くなるという効果がもたらされる。図8は、CNN(convolutional neural network : 畳み込みニューラルネットワーク)800のブロック図であり、個々のボクセルを分類することによって、特定の眼底網膜特徴の境界の位置を表すように構成できる。いくつかの実施形態では、CNN800は、第1の層にサイズ「5」およびストライド「1」の畳み込みカーネルを有し、後続の層にサイズ「3」のカーネルを有している。図8の例示的な実施形態では、CNN800の入力近傍は「25」である。他の実施形態では、CNN800は、「30」または「35」等の異なるサイズの入力近傍を扱うビルディングブロック(building block)として繰り返される。いくつかの実施形態では、近傍の増加に伴い初期カーネルサイズが大きくなり、例えばサイズ「7」を用いる。CNN800の特徴マップは最後の特徴層でマージされ、結合されて単一の予測が算出される。
一実施形態では、入力画像に対する出力カテゴリの勾配を計算することによって、画像のどの部分が出力に寄与しているかを理解するために顕著性マップが作成される。このようにして、入力画像ピクセルの小さな変化に対して出力カテゴリ値がどのように変化するかが定量化される。これらの勾配を強度画像として視覚化すると、注目すべき位置の特定が可能となる。
この演算は、基本的には、入力画像に対する出力カテゴリの勾配の比率である。
∂出力/∂入力
これらの勾配は、出力に最も大きな変化をもたらす入力領域を強調することによって、出力に最も寄与する顕著な画像領域を強調するために使用される。
なお、図5A~5C、6、7および8に示されるニューラルネットワークアーキテクチャは、例示であり、これらのアーキテクチャは変更可能である。例えば、1つまたは複数の上記の層に加えて、またはその代わりに、畳み込み層、逆畳み込み層、正規化線形ユニット層、アップサンプリング層、連結層またはパッド層等の1つまたは複数の他のニューラルネットワーク層を、図5A~5C、6、7および8のニューラルネットワークアーキテクチャのいずれかに使用できる。別の例では、1つまたは複数の層の次元が異なっており、さらに、1つまたは複数の畳み込み層、プーリング層および/または逆畳み込み層のカーネルサイズも異なる。さらに、本明細書で説明されるTSCは、代替的または追加的に、サポートベクターマシン(support vector machine)、グラフィカルモデル(graphical model)、ベイズ分類子(Bayesian classifier)または決定木分類子を有していてもよい。
本発明者は、1つまたは複数の撮像画像から抽出されたデータを、1つまたは複数の他の網膜眼底画像から抽出された格納データと比較する技術を開発した。図9に示すように、撮像画像データおよび格納画像データを取得し、格納画像データの少なくとも一部が、撮像画像データと少なくとも所定の類似度を有するか否かを判断する。撮像画像データおよび/または格納画像データは、図5A~5C、6、7および8の実施形態の一部または全部に従って、TSCを使用して抽出することによって取得される。図10Aの例示的な方法では、撮像画像データと格納画像データとの間でテンプレートマッチングが実行されて、類似性測度(similarity measure)が求められる。これに対し、図10Bの例示的な方法は、平行移動および回転に対して不変な特徴を比較して類似性測度を算出する。
図9は、人の眼底網膜の撮像画像から抽出された撮像画像データを格納画像データと比較することによって人物特定を行う例示的な方法900を示すフロー図である。方法900は、ステップ902で撮像画像データを取得することと、ステップ904で格納画像データの一部分を取得することと、ステップ906で撮像画像データを格納画像データの一部分と比較することと、ステップ908で格納画像データの一部分が撮像画像データと少なくとも所定の類似度を有するか否かを判定することとを含む。格納画像データの一部分が、照合一致と判断できる程度に類似している場合、方法900は、ID(identification : 人物特定)が成功したと判定する。これに対し、格納画像データの一部分が照合一致と判断できる程度に類似していない場合、方法900は、ステップ910に進み、撮像画像データとまだ比較されていない格納画像データが存在するか否かを判断する。存在する場合は、方法900は、ステップ904に戻り、撮像画像データと比較するために、格納画像データの別の一部分を取得する。照合一致が成立することなく全ての格納画像データが撮像画像データと比較された場合、方法900は、IDが失敗したと判定する。図1の実施形態においては、方法900は、デバイス120aから送信された1つまたは複数の画像および/またはデータを使用して、コンピュータ140によって実行される。一方、図2の実施形態においては、方法900全体が、デバイス120bによって実行される。
ステップ902での撮像画像データの取得は、図3のステップ304に関連して説明された画像抽出手法によって実行できる。代替的または追加的に、撮像画像データは、図5A~5C、6、7および8の実施形態の一部または全部に従って、TSCから出力してもよい。いくつかの実施形態では、ステップ902で取得された撮像画像データは、実行中の人物特定のために取得された全ての撮像画像データである。例えば、撮像装置122aまたは122bは、人の眼底網膜の複数の画像を撮像して、各画像の全ての眼底網膜の特徴に対応するデータをステップ902で取得する。あるいは、ステップ902では、画像の一部のみに対応するデータを取得する。さらに別の例では、ステップ902では、各画像の特定の眼底網膜の特徴または特徴セットに対応するデータを取得する。いくつかの実施形態では、方法900は、ステップ906での比較の結果に応じて、撮像画像データの他の部分を取得するためにステップ902に戻る。
ステップ904での格納画像データの取得は、撮像データと同様の方法で行える。格納画像データは、1つまたは複数の以前に処理された網膜眼底画像に関連付けられている。例えば、格納画像データは、人がシステム100またはデバイス120bに登録されるたびに蓄積される。いくつかの実施形態では、システム100またはデバイス120bで人を登録することは、その人物の眼底網膜の1つまたは複数の画像を撮像することと、撮像された画像からその人物の眼底網膜の特徴を表すデータを抽出することと、抽出されたデータを記憶媒体142または126に格納することとを含む。いくつかの実施形態では、人を登録することは、その人物の氏名および政府発行の識別番号(例えば、社会保障番号)等の識別情報を取得することを含む。いくつかの実施形態では、識別情報は、その人物の電話番号および/または電子メールアドレス等の連絡先情報とリンクされている。いくつかの実施形態では、登録時にその人物のユーザー名も登録される。いくつかの実施形態では、登録された人物に関連付けられた格納画像データは、システム100またはデバイス120bがその人物の特定に成功するたびに更新される。例えば、システム100またはデバイス120bは、登録された人物の特定が成功したときに、その人物特定に使用された撮像画像を、格納画像データに追加する。
撮像画像データに関し、格納画像データは、3D体積測定画像、2D画像、蛍光寿命データまたはOCTスペクトルデータ等から処理されてTSCに提供される。例えば、撮像画像データおよび格納画像データは、撮像画像データおよび格納画像データから抽出された特徴データを比較できるように、同じTSCに提供される。いくつかの実施形態では、撮像画像データと格納画像データは同じ種類のデータである。例えば、撮像画像データおよび格納画像データのそれぞれは、隣接する断面等の1つまたは複数の網膜断面の1つまたは複数の2D画像を有している。撮像画像データおよび格納画像データが同じ人物に関連付けられている場合、撮像画像データは、第1の時点に取得された隣接断面の複数の画像を含み、格納画像データは、第1の時点より後の第2の時点に取得された同じ隣接断面の複数の画像を含む。例えば、格納画像データは、撮像画像データが取得された時点に対して、数分前程度のごく最近に処理されたデータである場合もあるし、数年前程度のかなり前に処理されたデータである場合もある。
眼底網膜による人物特定に加えて生体認証特性に基づく検証を行う実施形態では、1つまたは複数の記録された生体認証特性(声紋、指紋等)も、網膜眼底画像に加えて、またはその代わりに、TSCに提供される。この場合、複数の生体認証特性(例えば、複数のユーザーの特性)に関する格納特性データがTSCに提供される。その結果、生体認証特性の特徴を示す出力がTSCから出されるため、網膜眼底画像に関して前述したように、特性の比較を容易に実施できる。このように、TSCは、生体認証特性を使用した身元の検証も容易化できる。
システム100またはデバイス120bには複数の個人が登録されているため、記憶媒体142または126の格納画像データの各部分は、それぞれ対応する個人に関連付けられている。したがって、ステップ904で格納画像データを取得することは、登録された個人に関連付けられた格納画像データの一部分を取得することを含む。例えば、特定の人物に関連付けられた全ての画像データ(例えば、過去に成功した人物特定の全データ)が、撮像画像データと比較するためにステップ904で取得される。または、単一のデータセット、例えば、その特定の人物のために取得された最新の画像データおよび/または特定の眼底網膜特徴または特徴グループの様相を表すデータが、ステップ904で取得される。いくつかの実施形態では、単一のデータセットは、平均値等の、複数の格納データセットを結合したものとして、ステップ904で取得される。いくつかの実施形態では、ステップ906での比較の結果に応じてステップ902に戻ったときに、格納画像データの別の部分が取得される。
ステップ906での撮像画像データと格納画像データの一部分との比較は、コンピュータ140またはデバイス120bによって実行される。様々な実施形態においては、比較は、相互相関、テンプレートマッチング、平行移動および回転に対して不変な最大重みおよび/または距離メトリックを使用して実行される。例えば、図10Aの例示的な実施形態においては、コンピュータ140またはデバイス120bは、ステップ902で取得された撮像画像データとステップ904で取得された格納画像データとの間のテンプレートマッチングを実行して、類似性測度を算出する。または、図10Bの例示的な実施形態においては、コンピュータ140またはデバイス120bは、ステップ902で得られた撮像画像データとステップ904で得られた格納画像データとの平行移動および回転に対して不変な特徴の相対位置および/または向きを比較して、類似性測度を算出する。ステップ906の比較では、全ての眼底網膜特徴についてデータを比較するか、または、各特徴もしくは特徴のグループについてデータを比較する。例えば、撮像画像データおよび格納画像データにおける視神経乳頭の様相の比較は、撮像画像データおよび格納画像データにおける枝端点または分岐点等の血管の様相の比較とは別に実行される。一例では、ステップ906で1つの様相が比較された後に、方法900がステップ906に戻って、別の様相について別の比較を実行する。
格納画像データの一部分と撮像画像データとが、少なくとも所定の類似度を有するか否かをステップ908で決定する処理は、ステップ906で算出された類似性測度に基づいて行われる。例えば、類似性測度は、2つのデータセット間の類似度を示し、ステップ908では、類似性測度によって示される類似度が、人物特定の成功を判定するための閾値として使用されている所定の類似度を満たすか否かが判定される。
所定の類似度は、撮像画像データが抽出された撮像画像の数、画像の解像度や視野、撮像画像データおよび格納画像データに表される種類の異なる特徴の数、ステップ906で実施される比較手法等、多くの要因に基づいて設定される。不正な人物特定を防ぐために、所定の類似度を比較的高く設定する必要があるが、設定された類似度が高い場合は本人拒否率が高くなり、正しい人物の人物特定の成功が困難になる場合もある。一般に、所定の類似度は、使用される画像の数、画像の解像度および視野ならびに異なる種類の特徴の数に鑑みて、許容可能な程度まで高く設定される。例えば、多種類の特徴を含んだ高品質の撮像画像が数多く存在する場合は、本人拒否率を高くするリスクを抑えながらも、所定の類似度を高く設定できる。これは、撮像データに多くの情報が含まれていることから、撮像された画像の欠陥(照明の不足等)や、送信されたデータの欠陥(送信エラーによる欠陥等)の欠陥の影響が抑制できるためである。
格納画像データの一部分が、格納画像データと少なくとも所定の類似度を有する場合、方法900は、照合が一致したと判定する。いくつかの実施形態では、コンピュータ140またはデバイス120bは、記憶媒体142または126から、格納画像データの一部分に関連付けられた識別情報を取得する。または、コンピュータ140またはデバイス120bは、通信ネットワーク160上の別の場所から識別情報を取得する。例えば、識別情報は、格納画像データの一部分と一緒に格納されるか、または、格納画像データが、識別情報の格納された場所へのリンクを有している。いくつかの実施形態では、識別情報は、その人物の氏名および/またはユーザー名を含む。
記録された生体認証特性に基づいて生体検証が実行される実施形態では、取得された生体認証特性データと格納された生体認証特性データとの比較は、網膜眼底画像および画像データと同様に行われる。生体検証は通常、識別情報が取得された後に実行される。例えば、格納された生体認証特性データは、識別情報と共に格納される。したがって、生体認証特性の比較が、眼底網膜による人物特定が完了した後に実行される。TSCを使用する実施形態では、格納された生体認証特性データは、記録された生体認証特性データの入力と同時に、または入力後に、TSCに入力される。例えば、記録された生体認証特性データは、人物特定と同時に、またはその前でもTSCに入力可能であり、TSCの出力は、人物特定完了後に使用するために保存される。
図1の実施形態においては、コンピュータ140が、識別情報を取得してデバイス120aに送信し、人物特定を完了する。デバイス120aまたは120bは、例えば、1つまたは複数のディスプレイ上に表示されたユーザインターフェイスを介して、人物特定が成功したことを本人に通知する。いくつかの実施形態では、デバイス120aまたは120bは、セクションIII等に記載されるように、その人物に関連付けられた健康情報またはアカウントへのその人物のアクセスを許可する。いくつかの実施形態では、今後の人物特定のために、撮像画像データの一部または全部(眼底網膜の特徴を表すデータ等)を含むように格納画像データが更新される。
格納画像データの一部分が、撮像画像データに対して所定の類似度を有していない場合、方法900は、ステップ910に進み、撮像画像データとまだ比較されていない格納画像データが存在するか否かを判断する。撮像画像データとまだ比較されていない格納画像データが存在する場合、方法900はステップ904に戻り、まだ比較されていない格納画像データの一部分を取得する。例えば、撮像画像データと比較される格納画像データの各部分は、各登録者に関連付けられているため、残りの格納画像データの一部分が撮像画像データと一致して、その人物の特定が成功する場合もある。なお、いくつかの実施形態では、方法900は、ステップ904ではなく、ステップ902に戻る場合もある。例えば、撮像画像データには、人の眼底網膜の複数の撮像画像に対応する複数の部分が含まれる。したがって、1つまたは複数の他の撮像画像に対応するさらに別の部分をステップ902で取得して、ステップ904で以前に取得された同じ格納画像データと比較する。
または、撮像画像データと比較できる格納画像データがそれ以上ない場合、方法900は、人物特定が失敗したと判定する。例えば、撮像画像データは、システム100またはデバイス120bにまだ登録されていない人に対応している場合もある。図1の実施形態においては、コンピュータ140は、人物特定の失敗をデバイス120aに通知し、デバイス120aは、その人物にシステム100への登録を行うように通知する。登録は、例えば、撮像画像データと共に格納される識別情報を提供することによって行われる。図2の実施形態においては、デバイス120bが、その人物にデバイス120bへの登録を促す通知を行う。なお、例えば新規ユーザーの登録は医療従事者の立ち会いのもとでのみ行うように構成されているシステム100およびデバイス120bの実施形態においては、デバイス120aおよび120bは、新しいユーザーを登録するようには構成されない。
図10Aは、テンプレートマッチングによって撮像画像データを格納画像データと比較するための例示的な方法1000aのフロー図である。方法1000aは、ステップ1002aでテンプレートマッチングを実行することと、ステップ1004aで類似性測度を算出することとを含んでいる。いくつかの実施形態では、方法1000aは、デバイス120bまたはコンピュータ140によって実行される。いくつかの実施形態では、方法1000aは、単一の画像、または同じ人物に関連付けられた複数の画像の組み合わせに対応する、記憶媒体142または記憶媒体126に格納されたデータの各サブセットに対して実行される。
ステップ1002aのテンプレートマッチングでは、方法900のステップ902で得られた撮像画像データの少なくとも一部と、ステップ904で得られた格納画像データの少なくとも一部とを、デバイス120bまたはコンピュータ140が比較する。例えば、撮像装置122aまたは122bによって撮像された画像の領域に対応する撮像画像データの一部分を、格納画像データが抽出された1つまたは複数の画像の領域に対応する格納画像データの1つまたは複数の部分と比較する。このような比較において、畳み込みまたは他の乗算等による相互相関が、撮像画像データの一部分と格納画像データの1つまたは複数の部分との間で実行される。いくつかの実施形態では、比較は、結果が相似行列(similarity matrix)に収められる行列乗算を使用して行われる。相似行列は、類似性測度を算出するためにステップ1004aで使用される。
場合によっては、撮像画像の一部分は、格納画像データの1つまたは複数の部分と比較されてからサイズ変更および/または回転され、同じ部分に対して比較が実行される。次に、撮像画像データの一部分は、格納画像データが抽出された画像の他の領域に対応する格納画像データの他の1つまたは複数の部分と比較される。格納画像データが複数の画像に関連付けられている実施形態では、撮像画像データの一部分が特定の画像に関連付けられた格納画像データの全てと比較された後に、撮像画像データの当該一部分が、別の画像に関連付けられた格納画像データと比較される。または、眼底網膜の各特徴もしくは複数の画像における特徴のグループに対して個別の比較を行ってもよい。撮像画像データの一部分が、特定の人物に関連付けられた全ての格納画像データ、例えば、その人物の全ての画像または画像の様々な特徴を表す全てのデータと比較されると、方法1000aはステップ1004aに進み、その人物に対応する類似性測度の算出を行う。例えば、類似性測度は、撮像された画像が特定の人物と一致するか否かを示す。
ステップ1004aで類似性測度を算出することは、デバイス120bまたはコンピュータ140が、方法900のステップ902で得られた撮像画像データとステップ904で得られた格納画像データとの間の類似性を計算することを含む。いくつかの実施形態では、撮像画像データと、特定の画像に関連付けられた格納画像データの各部分との間で類似性測度が個別に算出される。いくつかの実施形態では、比較された画像データと格納画像データ全体との間で、1つの類似性測度のみが算出される。例えば、類似性測度は、撮像画像データと格納データとの間で計算された最大の類似度である。別の例では、類似性測度は、撮像画像データと格納画像データの様々な部分との間の平均類似性である。撮像画像データを格納画像データと比較することが、畳み込みを実行して相似行列を出力することを含む実施形態では、類似性測度の一部が比較中に算出され、テンプレートマッチングが完了すると、全ての比較データを考慮して最終的な類似性測度が算出される。
図10Bは、平行移動および回転に対して不変な特徴について、撮像画像データが表す特徴を、格納画像データが表す特徴と比較するための例示的な方法1000bのフロー図である。例えば、平行移動および回転に対して不変な特徴は、図5A~5C、6、7および8の実施形態に係るTSCの出力に表される。方法1000bは、ステップ1002bで平行移動および回転に対して不変な特徴の比較を実行することと、ステップ1004bで類似性測度を算出することとを含む。方法1000bは、デバイス120bまたはコンピュータ140によって実行される。
ステップ1002bで平行移動および回転に対して不変な特徴の比較を実行することは、デバイス120bまたはコンピュータ140が、撮像画像データが表す平行移動および回転に対して不変な特徴の相対位置および向きを、格納画像データが表す平行移動および回転に対して不変な特徴の相対位置および向きと比較することを含む。例えば、SIFTまたはSURF比較は、撮像画像データの一部または全部と、格納画像データとの間で実行される。格納画像データが複数の画像に関連付けられている実施形態では、特定の画像に関連付けられている格納画像データの各部分に対して別々に比較が実行される。あるいは、いくつかの実施形態では、例えば、複数の画像内の特定の特徴を表す複数の画像に関連付けられたデータを含む、特定の眼底網膜特徴または特徴グループを表す格納データの各部分に対して別々に比較が実行される。場合によっては、特徴データは、複数の画像の結合によって生成されて、撮像画像データと比較される。
ステップ1004bでの類似性測度の算出は、図10Aのステップ1004aについて説明した方法で実施できる。例えば、類似性測度は、撮像画像データと比較される格納画像データの各部分に対して算出される。または、同じ人物の複数の画像に関連付けられた格納画像データの各部分を比較することや、各比較において異なる眼底網膜の特徴に注目することによって単一の類似性測度を算出して、各画像、特定の特徴または特徴グループのそれぞれに対して類似性測度を算出してもよい。
III.人の網膜画像に基づいてその人物の電子記録またはデバイスにアクセスするための手法
本発明者は、人の眼底網膜の画像に基づいてアクセスを可能にするように構成された生体認証セキュリティシステムを用いて、個人に関連付けられた電子アカウント、記録またはデバイスのセキュリティ保護やアクセスを可能とする手法を開発した。一例として、本発明者は、生体認証を利用してユーザーアカウントまたはデバイスをセキュリティ保護するための手法を開発した。さらに、本発明者は、生体認証を利用して、個人に関連付けられた電子健康記録等の健康情報をセキュリティ保護するための手法を開発した。生体認証の手法は、金融取引のセキュリティ保護等、人物特定の他の場面においても有益である。生体認証には、人の網膜画像および/または網膜測定値に基づいて人物特定を行うことによってアクセスを可能にすることが含まれる。人の網膜画像および/または測定値は、OCTおよびFLIOの少なくとも一方を使用することによって取得できる。
図1および2の実施形態では、デバイス120aまたは120bは、人物特定が成功したときに、デバイス120aまたは120bへのアクセスをその人物に許可するように構成される。例えば、デバイス120aは、コンピュータ140から人物特定が成功した旨の通知を受信すると、その人物にアクセスを許可する。いくつかの実施形態では、デバイス120aは、通知とともに、その人物専用のユーザアカウントデータを受信する。例えば、デバイス120aはコンピュータ140からカスタマイズされた設定を受信する。カスタマイズされた設定とは、例えば、選択されているオーディオ/ビジュアルテーマ(audio/visual theme)(カラーテーマおよび/またはサウンド等)、グラフィック設定(色覚異常に対応した設定等)、カスタマイズされたホーム画面(デスクトップ背景等)および/またはその人物が以前にデバイス120aを操作したときにアクセスしたソフトウェアアプリケーション等である。いくつかの実施形態では、デバイス120bの記憶媒体126にカスタマイズされた設定が格納されており、人物特定が成功すると、その人物専用のカスタマイズ設定をデバイス120bが選択する。代替的または追加的に、デバイス120aまたはデバイス120bは、インターネット上のソーシャルメディアアカウントおよび/または取引を行うための金融アカウント等の様々な他の種類のアカウントへのアクセスをその人物に許可するように構成される。
図1および2の実施形態では、デバイス120aまたは120bは、人物特定が成功したときに、電子健康記録等の健康情報へのアクセスを許可するように構成される。例えば、コンピュータ140は、1人または複数の個人に関連付けられた健康情報を格納することができ、人物特定が成功すると、その人物に関連付けられた健康情報をデバイス120aに送信する。または、デバイス120bは、人物特定が成功したときに、記憶媒体126等から取得できる健康情報をデバイス120bに格納している。いくつかの実施形態では、デバイス120aもしくは120bまたはコンピュータ140は、撮像された画像に示される眼底網膜の特徴に基づいて健康情報を更新する。例えば、いくつかの実施形態では、健康情報は、人物特定時等に撮像された画像および/またはその画像から抽出された特徴データを含むように更新される。このようにして、健康情報は、その人物がデバイス120aまたは120bにログインするたびに更新される。いくつかの実施形態では、デバイス120aまたは120bを介して、個人が現在の症状を電子健康記録に直接的に報告することによって自身の電子健康記録を更新できるため、医療従事者と頻繁に面会する必要がなくなる。
図11は、図1および2の実施形態に係る例示的なユーザインターフェイス1100を表すブロック図である。例えば、ユーザインターフェイス1100は、デバイス120aまたは120bのディスプレイであるディスプレイ1130上に示される。
ディスプレイ1130は、コンピュータモニタもしくは電話画面等のLCD(液晶ディスプレイ)画面であるか、または、投影もしくはホログラムである。いくつかの実施形態では、ディスプレイ1130は、タッチ画面上に表示されるコンテンツを押してユーザインタラクション(user interaction)を行うように構成されたタッチ画面を有している。いくつかの実施形態では、ディスプレイ1130は、デバイス120aまたは120bに統合される。または、いくつかの実施形態では、ディスプレイ1130は、デバイス120aまたは120bから分離されており、有線または無線接続を介してデバイス120aまたは120bに接続される。
ディスプレイ1130は、識別情報1132、健康情報1134、金融情報1136およびディスプレイ1130上の他の情報1138のための部分を有している。いくつかの実施形態では、識別情報1132、健康情報1134および/または金融情報1136は、他の情報1138がユーザーに表示されている間、ディスプレイ1130の端に表示される。非限定的な例では、識別情報1132にはその人物のユーザー名が表示され、健康情報1134にはストレスレベルが表示され、金融情報1136には銀行口座残高が表示され、他の情報1138には、ソーシャルメディアを介して受信されたメッセージが表示される。
いくつかの実施形態では、識別情報1132は、人物特定が成功したか否かをユーザーに示す。例えば、識別情報1132には、人物特定の成功を示す通知が含まれる。代替的または追加的に、識別情報1132には、生体認証によって取得された、人物特定された人の名前が含まれる。
いくつかの実施形態では、健康情報1134、金融情報および/または他の情報1138は、生体認証中に、または生体認証に加えて取得できる。いくつかの実施形態では、デバイス120aまたは120bは、人物特定が成功すると、その人物に関連付けられた健康情報のアクセスおよび/または更新を行うように構成される。代替的または追加的に、デバイス120aまたは120bは、人物特定が成功したときに、その人物に関連付けられた金融情報または他のアカウント情報のアクセスおよび/または更新を行うように構成される。
健康情報1134は、図1の実施形態ではコンピュータ140から取得され、図2の実施形態では、デバイス120bの記憶媒体126から取得される。いくつかの実施形態では、健康情報1134には、例えば、コンピュータ140または記憶媒体126から取得された情報に基づいて、健康状態に関する警告を伴う通知が含まれる。健康情報1134には、糖尿病、心血管疾病、脳震とう、パーキンソン病、アルツハイマー病および/またはストレスに関連するリスク評価を含むことができる。いくつかの実施形態では、健康情報には、代替的または追加的に、網膜の健康状態に特化したリスク評価が含まれる。例えば、リスク評価は、糖尿病性網膜症、加齢性黄斑変性症、黄斑浮腫、網膜動脈閉塞症、網膜神経線維層および/または緑内障に関連した評価である。
金融情報1136は、図1の実施形態ではコンピュータ140から取得され、図2の実施形態では、デバイス120bの記憶媒体126から取得される。いくつかの実施形態では、金融情報1136は、銀行口座または投資口座等の、その人物に関連付けられた1つまたは複数の金融口座の残高を示す。
なお、上記の例は、様々な実施形態において複数の形式の情報をユーザーとどのようにやり取りできるかを例示しているものであり、ディスプレイ1130は、識別情報1132、健康情報1134、金融情報1136および/または他の情報1138の一部のみを有する場合もある。
一般的に、患者は医療従事者に直接相談するか、パスワードまたはパスコードでアクセスできるオンラインデータベースを介して、電子健康記録に対するアクセスや更新を行う。セクションIIで説明したように、本発明者は、上記のように人の眼底網膜の撮像画像を使用して人物特定を行うように構成された生体認証セキュリティシステムによって、パスワードおよびパスコードよりも堅牢な保護をもたらすとともに、既存の生体認証セキュリティシステムよりも低い本人拒否率および他人受入率を達成できることを確認した。患者の健康情報へのアクセスを可能にし、患者自身で自分の健康情報を容易に更新できることを可能とするにあたっては、患者の健康情報のセキュリティ保護と機密性が重要な課題となる。電子健康記録が保護されていない、または保護が不十分である場合、患者とその医療従事者以外の人物によって、機密性の高い健康情報にアクセスされるおそれがある。このように機密保護が失われると、自身の情報が非公開であるという信頼を患者が持てなくなり、医師の診察を受けることを止めてしまうかもしれない。さらに、もし患者の電子健康記録が偽造や改ざんされた場合、医療従事者は適切な診断を行うことができない。したがって、本発明者は、生体認証システムを使用して健康情報に安全にアクセスするためのシステムを開発した。このシステムによって、機密性およびセキュリティを維持しながら、患者が自分の健康情報に容易にアクセスできる。
いくつかの実施形態では、デバイス120aまたはデバイス120bは、たとえ対象者が意識を失っていても、その人物を特定し、その人物の電子健康記録にアクセスできるように構成される。例えば、自然災害等の、大量の死傷者を出す事故が発生した際に、意識を失っている被害者の特定を行って、その人物の電子健康記録をデバイス120aまたはデバイス120bを介して取得できる。例えば、EMT(救命士)等のファーストレスポンダーは、デバイスを用いて各人物を特定して健康情報にアクセスできるため、トリアージをより正確に行える。このように、本デバイスは、自然災害等の事象に対して、迅速かつ組織的な方法で対応することを可能とする。
図12に示されるように、健康状態または他のアカウント情報は、ブロックチェーン等の分散型台帳(distributed ledger)の1つまたは複数のコンポーネントに格納してもよい。本発明者は、分散型台帳では、台帳に格納されたデータに加えられた変更が具体的に記録されることを確認した。例えば、台帳の各コンポーネントは、コンポーネントに加えられた変更の時間および/または範囲や、台帳内の他のコンポーネントに加えられた変更を反映するように更新される一意の識別子を有している。したがって、分散型台帳では、識別情報、ユーザアカウントデータ、金融データまたは健康情報等の、台帳に格納された情報が変更されたか否か、変更時期および変更の程度の検出を容易に行うことができる。本発明者は、生体認証システムを用いて電子健康記録の分散型台帳のコンポーネントへのアクセスをセキュリティ保護することにより、電子健康記録の正確性および機密性が向上することを確認した。いくつかの実施形態では、分散型台帳に格納された健康情報の変更は、当該健康情報に関連付けられている人物、またはその人物の医師等の認定された医療従事者によってのみ行うことができる。
様々な実施形態においては、分散型台帳のコンポーネントは、ユーザアカウントデータ、金融データ、電子健康記録等の健康情報、格納画像データおよび/または本人または他者に関連付けられた識別情報を有している。
図12は、ネットワーク1260を介してアクセス可能なコンポーネント1220および1240を含む例示的な分散型台帳1200を表すブロック図である。分散型台帳1200は、台帳のコンポーネント1220および1240が、デバイス120a、デバイス120bまたはコンピュータ140等の様々なデバイスおよびコンピュータに格納され、通信ネットワーク160を介してアクセス可能である、分散データ構造を実装している。例えば、いくつかの実施形態では、ネットワーク1260は、図1の通信ネットワーク160であり、コンポーネント1220および1240は、デバイス120aおよび/もしくはコンピュータ140上に格納されるか、またはこれらにアクセスできる。あるいは、ネットワーク1260は通信ネットワーク160のサブネットワークであり、例えば、通信ネットワーク160全体に分散されているが通信ネットワーク160上の全てのデバイスにはアクセス可能ではないP2P(peer-to-peer : ピアツーピア)ネットワークである。非限定的な例では、分散型台帳1200は、ブロックチェーンを実装し、コンポーネント1220および1240は、チェーン内の他のブロックにリンクされたブロックヘッダを備えたブロックとして機能する。
コンポーネント1220は、ヘッダ1222およびデータ1224を有し、コンポーネント1240は、ヘッダ1242およびデータ1244を有している。様々な実施形態においては、データ1224および/または1244は、格納画像データ、電子健康記録等の健康情報、ユーザアカウントデータ、金融データおよび/または人に関連付けられた識別情報を含む。各ヘッダ1222および1242は、コンポーネント1220および1240に固有の一意の識別子(コンポーネント1220または1240を識別するためのアドレスまたはハッシュ等)を有している。識別子は、チェーン内の1つまたは複数の他のコンポーネントを逆方向および/または正方向に参照する情報を有している。例えば、コンポーネント1220および1240がリンクされている場合、ヘッダ1222は、コンポーネント1240を参照する情報を含み、ヘッダ1242は、コンポーネント1220を参照する情報を含む。代替的または追加的に、識別子は、変更が行われた時間または範囲等、各コンポーネントのデータ1224または1244に対して行われた変更に基づく情報を有している。いくつかの実施形態では、識別子は、他のコンポーネントの識別子および/またはコンポーネントのデータの変更に関連する情報を用いた数学演算によって算出される。例えば、コンポーネント1220のデータ1224は、個人の識別情報および/または電子健康記録を含み、これらは、更新された健康情報を含むように変更される。したがって、ヘッダ1222は、変更が行われたことや、場合によっては変更の範囲を表すために更新される。さらに、コンポーネント1220にリンクされた他のコンポーネントのヘッダもまた、コンポーネント1220の更新された識別子を含むように更新される。例えば、コンポーネント1240がコンポーネント1220にリンクされているいくつかの実施形態では、ヘッダ1242は、ヘッダ1222への変更に基づいて更新され、またこの逆も同様である。
図1および2の実施形態では、デバイス120aおよび/またはコンピュータ140は、分散型台帳の1つまたは複数のコンポーネントを格納する場合がある。代替的または追加的に、デバイス120aおよび/またはコンピュータ140は、個人に関連付けられたデータ1224および/または1244を有する分散型台帳1200のコンポーネント1220および/または1240にアクセスするように構成される。
図1~10Bの実施形態では、生体認証は、分散型台帳1200のコンポーネント1220および/または1240からの格納画像データを使用して実行される。例えば、デバイス120bまたはコンピュータ140は、分散型台帳1200のコンポーネント1220および/または1240から格納された画像データを取得する。さらに、識別情報は、コンポーネント1220および/または1240のデータ1224および/または1244の少なくとも一部として格納される。いくつかの実施形態では、コンポーネント1220のデータ1224は、格納された画像データに加え、データ1244の格納画像データに関連付けられた識別情報を格納しているコンポーネント1240へのリンクを有している。コンポーネント1220に格納された画像データが、撮像画像データと少なくとも所定の類似度を有すると判断されると、その人物に関連付けられた識別情報が、格納画像データを有するコンポーネント1220から取得されるか、またはリンクされたコンポーネント1240から取得される。
IV.人の網膜画像に基づいて健康状態を判定するための手法
本発明者は、人の眼底網膜の撮像画像を使用して、その人物が特定の疾病に対する傾向を有しているかを判定する手法を開発した。例えば、人の眼底網膜の外観には、その人物が糖尿病、有害な心血管イベントまたはストレス等の様々な症状のリスクがあるか否かが示される。生体認証システムに健康状態判定を組み込むことによって、人物特定を行うための撮像画像データを使用して、その人物の健康状態を判定できるという効果がもたらされる。様々な実施形態において、人の眼底網膜の画像に基づくその人物の傾向の判定は、人物特定の前、途中または後に実行できる。例えば、この判定は、人物特定とは別に実行されるか、または人物特定中の追加または代替のステップとして実行される。
人の眼底網膜の外観には、様々な医学的状態が示されることがわかっている。例えば、糖尿病性網膜症にかかっていた場合、細い血管の血管壁から突出する小さな膨らみや微小動脈瘤が観察され、網膜に体液や血液が漏れる場合もある。さらに、太い網膜血管が拡張し、径が不規則になる場合もある。網膜の神経線維が腫れることもある。黄斑浮腫等、網膜の中心部(黄斑)が腫れることもある。損傷した血管が閉塞し、網膜に新しい異常な血管が成長する場合もある。緑内障性視神経症、または緑内障にかかっていた場合、網膜神経節細胞の軸索の損失または二次的な損失に起因して、乳頭周囲のRNFL(retinal nerve fiber layer : 網膜神経線維層)および乳頭陥凹が薄くなる場合がある。例えばOCTによって示されるRNFL欠損は、緑内障の最も初期の兆候の1つであることが確認されている。また、AMD(age-related macular degeneration : 加齢性黄斑変性症)に罹患していた場合、黄斑の剥離および/または浮き上がり、網膜中央部の色素上皮層の下の黄色がかった物質等の黄斑色素沈着の異常や、黄斑ドルーゼン、末梢ドルーゼン、粒状パターンドルーゼン等のドルーゼンが観察される場合がある。輪郭のはっきりとした円形の色素沈着過剰、貨幣状湿疹および/または網膜下液等の地図状萎縮も、AMDの症状である場合がある。網膜の中心部にある視細胞の損傷は、シュタルガルト病の症状である場合がある。中心窩を取り巻く領域の溝は、黄斑浮腫の症状である場合がある。黄斑の穴は、黄斑円孔の症状である場合がある。焦点が合っていない光路の混濁は、飛蚊症の症状である場合がある。重度の視神経乳頭の破壊および/または下側の色素上皮からの分離は、網膜剥離の症状である場合がある。網膜の劣化は、網膜の変性を示している場合がある。黄斑の感覚網膜の上昇および/または色素上皮からの局部的な剥離は、CSR(Central serous retinopathy : 中心性漿液性網膜症)の症状である場合がある。脈絡膜の色素細胞から発生する悪性腫瘍は、脈絡膜黒色腫の症状である場合がある。白内障に罹患していた場合、水晶体が不透明になる場合があり、また、蛍光寿命画像や2D網膜眼底画像にぼけが発生する場合もある。黄斑の蛍光寿命のリングが劇的に増加した場合や、中心窩内およびその周辺で細い血管が劣化した場合は、黄斑部毛細血管拡張症を罹患している可能性がある。RNFLが薄くなった場合、アルツハイマー病やパーキンソン病の症状である場合がある。糖尿病性網膜症、緑内障および他の類似の状態は、適切に検査および治療されない場合、失明または重度の視覚障害につながる可能性がある。
したがって、いくつかの実施形態では、本明細書に記載のシステムおよびデバイスは、人の眼底網膜の1つまたは複数の画像に基づいて、様々な医学的状態に対するその人物の傾向を判定するように構成される。例えば、特定の医学的状態の上記の兆候(例えば、加齢性黄斑変性症の兆候である黄斑剥離および/または浮き上がり(lifting))の1つまたは複数が画像から検出された場合、システムおよび/またはデバイスは、その人物が当該医学的状態に対する傾向を有していると判定する。この場合、システムまたはデバイスは、この傾向を本人に直接知らせたり、その人を担当する医療従事者に知らせたりすることが可能である。
いくつかの実施形態では、システムおよびデバイスは、撮像および格納された画像に基づいてこのような医学的傾向の判定を行う。例えば、RNFLの厚み減少等の兆候は、人物特定を行う際に、撮像画像を格納画像と比較することによって検出できる。このような症状の進行は、本人が誤って拒否される状況を招くおそれがあるため、既存の人物特定システムでは問題となるが、本明細書に記載のシステムは、対象者の医学的状態を判定する際にこのような相違点を考慮するように構成される。つまり、本発明者は、人の医学的状態の兆候を検出して判定するだけでなく、人物特定時にこのような医学的状態を考慮するように構成されたシステムおよびデバイスを開発した。
代替的または追加的に、いくつかの実施形態では、システムおよびデバイスは、TSCからの1つまたは複数の出力に基づいて、前述したような医学的傾向の判定を行う。例えば、人の眼底網膜の1つまたは複数の画像がTSCに入力され、TSCは、その人物の眼底網膜の特徴を表す1つまたは複数の出力を算出する。いくつかの実施形態では、各出力は、特定の画像の特定の部分にある医学的状態の兆候の尤度を表す。または、1つまたは複数の出力は、単一または複数の画像内の複数の医学的状態の兆候の尤度を表す。さらに、出力は、単一または複数の画像内の1つまたは複数の医学的状態の複数の兆候の尤度を表してもよい。出力は、1つまたは複数の画像内の複数の場所に存在する1つまたは複数の医学的状態の1つまたは複数の兆候の尤度を表してもよい。このようにして、TSCからの出力に基づいて、様々な医学的状態に対するその人物の傾向の判定を行うことができる。格納画像データもTSCへの入力として用いられる場合、TSCからの出力は、上記のように人物特定を行うためだけでなく、出力に示される特徴に基づいて医学的状態を判定するためにも使用できる。
いくつかの実施形態では、人物特定が成功すると、撮像画像データ内の眼底網膜の特徴の外観に基づいて、その人物の健康情報のリスク評価が更新される。例えば、図1の実施形態においては、リスク評価は、コンピュータ140上で更新されて、かつ/または、図11のユーザインターフェイス1100に表示するためにデバイス120aに送られる。図2の実施形態においては、リスク評価は、デバイス120b上で更新されて、かつ/または、ユーザインターフェイス1100に表示される。
V.人の網膜画像に基づいて健康状態を診断するための手法
さらに、本発明者は、人の眼底網膜の撮像画像を使用して、その人物の様々な健康状態または疾病を診断するための手法を開発した。例えば、いくつかの実施形態では、セクションIVに記載された健康状態のいずれかが、1回または複数回の人物特定において蓄積されたデータを用いて、人物特定前、人物特定中および/または人物特定成功後に診断される。代替的または追加的に、このような状態には、網膜芽細胞腫や、近視または弱視等の矯正可能な視力の問題が含まれる。上記の判定は、セクションIVに記載の方法で実施できる。図1の実施形態においては、コンピュータ140が、診断を実行し、診断の結果をデバイス120aに提供する。図2の実施形態においては、デバイス120bが診断を実行し、診断の結果を提供する。いくつかの実施形態では、診断の結果は、代替的または追加的に、その人物の医師等の医療従事者に提供される。
VI.アプリケーション
前述したように、人の眼底網膜の撮像画像は、その人物の、人物特定、電子記録へのアクセス、デバイスのセキュリティ保護、健康状態の判定(特定の疾病や症状に対するその人物の傾向の判定を含む)および/または実際の疾病または健康状態(アルツハイマー病、糖尿病、特定の自己免疫疾病等)の診断を行うために使用される。さらに、本明細書に記載のシステムおよびデバイスは、人のバイタルサイン、血圧、心拍数および/または赤血球数および白血球数を求めるように構成される。さらに、本明細書に記載のシステムおよびデバイスは、超音波プローブ、MRI(磁気共鳴画像法)システム等の他の医療装置と共に使用するように構成できる。本明細書に記載のシステムおよびデバイスで使用可能な超音波プローブの例は、「汎用超音波装置並びに関係する装置及び方法」と題された米国特許出願公開第2017/0360397号明細書に記載されている。本明細書に記載のシステムおよびデバイスで使用可能なMRIシステムの例は「磁気共鳴撮像方法および装置のための電磁シールド」と題された米国特許出願公開第2018/0164390号明細書に記載されている。
本開示の技術のいくつかの態様および実施形態について上記したが、当業者であれば、様々な変更、修正および改善を容易に行うことが可能である。そのような変更、修正および改善は、本明細書に記載の技術の精神および範囲内にあることを意図している。例えば、本明細書に記載の機能を実行し、その結果および1つもしくは複数の効果を得るための、様々な手段および/または構造を当業者であれば容易に想到できるが、このような修正例および/または変形例は、本明細書に記載の実施形態の範囲内であると見なされる。当業者であれば、本明細書に記載の特定の実施形態と同等のものを多く認識し、または通常の実験のみによって確認できるであろう。したがって、上記の実施形態は単なる例示であり、添付の特許請求の範囲および同等の範囲内で、本発明の実施形態は、明示された方法以外の方法で実施できると理解される。さらに、本明細書に記載の2つ以上の特徴、システム、物品、材料、キットおよび/または方法の任意の組み合わせは、そのような特徴、システム、物品、材料、キットおよび/または方法が相互に矛盾する場合を除いて、本開示の範囲内である。
上記の実施形態は、多くの方法で実施できる。処理または方法の実行を含む本開示の1つまたは複数の態様および実施形態は、処理または方法を実行または制御するために、デバイス(例えば、コンピュータ、プロセッサまたは他のデバイス)によって実行可能なプログラム命令を利用する。この点に関して、様々な発明概念は、1つまたは複数のコンピュータまたは他のプロセッサで実行されると上記の様々な実施形態の1つまたは複数を実施する方法を実行する1つまたは複数のプログラムがコード化されたコンピュータ可読記憶媒体(または複数のコンピュータ可読記憶媒体)(例えば、コンピュータメモリ、1つまたは複数のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイもしくは他の半導体デバイスの回路構成または他の有形コンピュータ記憶媒体)として具現化できる。1つまたは複数のコンピュータ可読媒体は可搬型であってもよく、格納された1つまたは複数のプログラムを1つまたは複数の異なるコンピュータまたは他のプロセッサに展開して、上記の様々な態様を実行可能としてもよい。いくつかの実施形態では、コンピュータ可読媒体は、非一時的媒体である。
「プログラム」または「ソフトウェア」という用語は、本明細書では一般的な意味で使用され、上記のような様々な態様を実装するようにコンピュータまたは他のプロセッサをプログラムするために使用できる任意の種類のコンピュータコードまたはコンピュータ実行可能命令のセットを指す。さらに、一態様においては、実行されたときに本開示の方法を実施する1つまたは複数のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に存在する必要はなく、多数の異なるコンピュータまたはプロセッサにモジュール方式で分散されて、本開示の様々な態様を実施する。
コンピュータ実行可能命令には、プログラムモジュール等、1つまたは複数のコンピュータまたは他の装置によって実行される多くの形式を用いることができる。一般に、プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。概して、プログラムモジュールの機能は、様々な実施形態において任意に組み合わされ、または分散される。
また、データ構造は、任意の適切な形式でコンピュータ可読媒体に格納できる。説明を簡単にするために、データ構造は、データ構造内の場所を介して関連するフィールドを持つように示されている場合がある。このような関係は、フィールド間の関係を示すコンピュータ可読媒体内の場所を備えたフィールドにストレージを割り当てることによっても達成できる。しかしながら、データ構造のフィールド内の情報間の関係を確立するためにはいずれの好適な構造を用いてもよく、例えば、データ要素間の関係を確立するポインタ、タグまたは他の構造を使用できる。
ソフトウェアに実装された場合、ソフトウェアコードは、単一のコンピュータで提供されるか、複数のコンピュータに分散されるかにかかわらず、任意の適切なプロセッサまたはプロセッサの集まりで実行できる。
さらに、コンピュータは、非限定的な例として、ラックマウント型コンピュータ、デスクトップコンピュータ、ラップトップコンピュータまたはタブレットコンピュータ等のいくつかの形態のいずれかで具体化できる。または、コンピュータは、PDA(携帯情報端末)、スマートフォンまたは他の好適な携帯型もしくは固定型の電子デバイス等の、一般にコンピュータとは見なされないが適宜の処理能力を備えたデバイスに内蔵される。
また、コンピュータは、1つまたは複数の入力デバイスおよび出力デバイスを備えていてもよい。これらのデバイスは、一例としては、ユーザインターフェイスを提供するために使用できる。ユーザインターフェイスを提供するために使用できる出力デバイスの例としては、出力を視覚的に提供するプリンタまたはディスプレイ画面や、出力を可聴的に提供するスピーカおよび他の音声生成デバイスが挙げられる。ユーザインターフェイスに使用できる入力デバイスの例としては、キーボード、マウス等のポインティングデバイス、タッチパッド、ディジタイズ用タブレット等が挙げられる。別の例では、コンピュータは、音声認識または他の可聴形式で入力情報を受け取る。
このようなコンピュータは、ローカルエリアネットワーク、エンタープライズネットワーク等のワイドエリアネットワーク、IN(intelligent network : インテリジェントネットワーク)、インターネット等の、任意の適切な形態の1つまたは複数のネットワークによって相互接続される。このようなネットワークは、任意の適切な技術に基づき、任意の適切なプロトコルに従って動作し、無線ネットワーク、有線ネットワークまたは光ファイバーネットワークを含む。
さらに、前述の通り、いくつかの態様は、1つまたは複数の方法として具体化できる。いくつかの実施形態では、本明細書に記載の1つまたは複数の手法の態様を方法に組み込むことができる。
例えば、図13Aのフロー図に示す例示的方法1300aは、上記実施形態の一部または全部において、ステップ1320aで、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データを、通信ネットワークを介して(例えば、クラウドに)送信することと、ステップ1340aで、通信ネットワークを介してその人物の身元を受信することとを含んでいる。
図13Bのフロー図に示す例示的方法1300bは、上記実施形態の一部または全部において、ステップ1320bで、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データに基づいてその人物の特定を行うことと、ステップ1340bで身元を検証することとを含む。いくつかの実施形態では、ステップ1320aは、代替的または追加的に、第1の画像データに示される複数種類の特徴のうちの第1の特徴に基づいて人物特定を行うことを含み、1340bは、複数種類の特徴のうちの第2の特徴に基づいて身元の検証を行う。
図13Cのフロー図に示す例示的方法1300cは、上記実施形態の一部または全部において、ステップ1320cで、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データに基づいてその人物の特定を行うことと、ステップ1340cで複数の網膜眼底画像に関連付けられた格納データを更新することとを含む。
図13Dのフロー図に示す例示的方法1300dは、上記実施形態の一部または全部において、TSC(訓練された統計分類子)への第1の入力として、ステップ1320dで、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データを提供することと、ステップ1340dでその人物の特定を行うこととを含む。
図13Eのフロー図に示す例示的方法1300eは、上記実施形態の一部または全部において、ステップ1320eで、人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データに基づいてその人物の特定を行うことと、ステップ1340eでその人物の医学的状態を判定することとを含む。
図13Fのフロー図に示す例示的方法1300gは、上記実施形態の一部または全部において、TSC(訓練された統計分類子)への第1の入力として、ステップ1320fで人の眼底網膜の第1の画像に関連付けられ、かつ/または第1の画像を含む第1の画像データを提供することと、ステップ1340fで、TSCの少なくとも1つの出力に基づいて、その人物の特定を行うことと、ステップ1360fでその人物の医学的状態を判定することとを含む。
上記方法の一部として実行される行為は、任意の適切な順序で実行できる。したがって、例示された順序とは異なる順序で動作が行われるように実施形態が構成される場合もある。例示した実施形態においては連続的に実行されている動作が、同時に実行される場合もある。
本明細書で定義および使用される全ての定義は、辞書の定義、参照により組み込まれる文書内の定義および/または定義された用語の通常の意味に優先して適用される。
本明細書および特許請求の範囲で使用される「1つの」は、内容が明らかに異なることを示していない限り、「少なくとも1つ」を意味すると理解される。
本明細書および特許請求の範囲で使用される「および/または」という用語は、この用語によって接続された要素の「一方または両方」を指すと理解され、つまり、接続的に理解される場合と、離接的に理解される場合がある。「および/または」という用語とともに列挙された複数の要素も同様に解釈され、つまり、列挙された要素のうちの「1つまたは複数」を指す。「および/または」を用いて具体的に特定された要素以外の要素も、具体的に特定された要素に関連するか否かにかかわらず、任意的に存在していてもよい。したがって、非限定的な例として、「Aおよび/またはB」は、「備える」等の非制限語句と組み合わせて使用される場合において、一実施形態では、Aのみ(任意的にB以外の要素も含む)を意味し、別の実施形態では、Bのみ(任意的にA以外の要素も含む)を意味し、さらに別の実施形態では、AおよびBの両方(任意的に他の要素も含む)を意味する。
本明細書の明細書および特許請求の範囲において、1つまたは複数の要素の列挙を参照する「少なくとも1つ」という句は、その列挙された要素のうちの1つまたは複数の要素から選択される少なくとも1つの要素を指すと理解されるが、列挙された要素において具体的に挙げられている全ての要素のそれぞれを少なくとも1つ含む必要はなく、列挙された要素のうちの要素の組み合わせを除外するものではない。この定義においてはまた、「少なくとも1つ」という句が参照する列挙された要素において具体的に特定された要素以外の要素も、具体的に特定された要素に関連するか否かにかかわらず、任意的に存在していてもよい。したがって、非限定的な例として、「AおよびBの少なくとも1つ」(同様に「AまたはBの少なくとも1つ」または「Aおよび/またはBの少なくとも1つ」)は、一実施形態では、少なくとも1つ、任意的に2つ以上のAを含み、Bが存在しない(および任意的にB以外の要素を含む)ことを意味し、別の実施形態では、少なくとも1つ、任意的に2つ以上のBを含み、Aが存在しない(および任意的にA以外の要素を含む)ことを意味し、さらに別の実施形態では、少なくとも1つ、任意的に複数のAを含み、少なくとも1つ、任意的に複数のBを含む(および任意的に他の要素を含む)ことを意味する。
また、本明細書で使用される表現および用語は説明を目的とするものであり、限定的ではない。本明細書における「含む」、「備える」、「有する」、「持つ」、「用いる」およびこれらの変形は、その後に記載される項目およびその同等物ならびに追加の項目を包含することを意味する。
特許請求の範囲および上記の明細書において、「備える」、「含む」、「持つ」、「有する」、「構成されている」、「伴う」、「保持する」、「構成する」等の全ての移行句は、非制限語句であり、含むがこれに限定されないことを意味すると理解される。「からなる」および「本質的にからなる」の移行句のみが、制限語句または半制限語句として理解される。

Claims (35)

  1. 撮像装置であって、
    人物の第1の眼および第2の眼に対応するように構成されたハウジングを備え、
    前記ハウジングが、
    前記第1の眼の網膜の撮像および測定の少なくともいずれか一方を行うように構成された光干渉断層撮影(OCT)デバイスと、
    前記第2の眼の網膜の撮像および測定の少なくともいずれか一方を行うように構成された蛍光デバイスと、を内部に有している、撮像装置。
  2. 撮像装置であって、
    光学撮像デバイスおよび蛍光撮像デバイスを含む複数の撮像デバイスを内部に有している、双眼鏡の形状をなすハウジングを備え、
    前記光学撮像デバイスおよび蛍光撮像デバイスが、同一の光学部品を使用して撮像および測定の少なくともいずれか一方を行うように構成されている、撮像装置。
  3. 前記同一の光学部品がレンズを含んでいる、請求項2に記載の撮像装置。
  4. 前記光学撮像デバイスが、光干渉断層撮影(OCT)デバイスを含んでいる、請求項2に記載の撮像装置。
  5. 前記蛍光撮像デバイスが、蛍光寿命撮像デバイスを含んでいる、請求項2に記載の撮像装置。
  6. 前記複数の撮像デバイスを使用して撮像された少なくとも1つの画像に基づいて、前記撮像装置を装着している人物の特定を行うように構成された少なくとも1つのプロセッサをさらに備えている請求項2に記載の撮像装置。
  7. 前記少なくとも1つのプロセッサが、
    前記少なくとも1つの画像を、訓練された統計分類子(TSC)に入力することと、
    前記TSCからの出力として、前記人物の身元を取得することと、を行うように構成されている、請求項6に記載の撮像装置。
  8. 前記少なくとも1つのプロセッサが、
    通信ネットワークを介して、前記少なくとも1つの画像をデバイスに送信することと、
    前記人物の身元を前記デバイスから前記通信ネットワークを介して受信することと、を行うように構成されている、請求項6に記載の撮像装置。
  9. 前記少なくとも1つのプロセッサが、前記通信ネットワークを介して、前記人物に関連付けられた健康情報にアクセスするようにさらに構成されている、請求項8に記載の撮像装置。
  10. 前記少なくとも1つのプロセッサが、前記人物の特定を行うことに基づいて、前記人物のセキュリティアクセスを許可するようにさらに構成されている、請求項6に記載の撮像装置。
  11. 前記少なくとも1つのプロセッサが、前記少なくとも1つの画像に基づいて前記人物の健康状態を判定するようにさらに構成されている、請求項6に記載の撮像装置。
  12. 前記少なくとも1つのプロセッサが、
    前記少なくとも1つの画像を、訓練された統計分類子(TSC)に入力することと、
    前記TSCからの出力として、前記人物の前記健康状態を取得することと、を行うように構成されている、請求項9に記載の撮像装置。
  13. 前記少なくとも1つのプロセッサが、前記少なくとも1つの画像に基づいて前記人物の医学的状態を判定するようにさらに構成されている、請求項6に記載の撮像装置。
  14. 前記少なくとも1つのプロセッサが、
    前記少なくとも1つの画像を、訓練された統計分類子(TSC)に入力することと、
    前記TSCからの出力として、前記人物の前記医学的状態を取得することと、を行うように構成されている、請求項13に記載の撮像装置。
  15. 前記複数の撮像デバイスを使用して撮像された少なくとも1つの画像を、通信ネットワークを介して送信するように構成された回路をさらに備えている請求項2に記載の撮像装置。
  16. 撮像装置であって、
    複数の撮像デバイスおよび少なくとも2つのレンズを内部に有しているハウジングを備え、
    前記少なくとも2つのレンズが、人物の第1および第2の眼のうちの少なくとも一方の撮像および測定の少なくともいずれか一方を行うために、前記複数の撮像デバイスのうちの少なくとも2つとそれぞれ位置合わせされている、撮像装置。
  17. 前記ハウジングが、前記人物の第1および第2の眼を前記少なくとも2つのレンズと位置合わせするために、前記第1および第2の眼に対応するように構成された部分を含んでいる、請求項16に記載の撮像装置。
  18. 前記少なくとも2つのレンズが、
    前記第1の眼と、前記複数の撮像デバイスのうちの前記少なくとも2つのうちの第1の撮像デバイスと位置合わせされるように配置されている第1のレンズと、
    前記第2の眼と、前記複数の撮像デバイスのうちの前記少なくとも2つのうちの第2の撮像デバイスと位置合わせされるように配置されている第2のレンズと、を含んでいる、請求項16に記載の撮像装置。
  19. 前記第1の撮像デバイスが、光干渉断層撮影(OCT)デバイスを含み、前記第2の撮像デバイスが、蛍光寿命デバイスを含んでいる、請求項18に記載の撮像装置。
  20. 前記複数の撮像デバイスを使用して撮像された少なくとも1つの画像に基づいて、前記撮像装置を装着している人物の特定を行うように構成された少なくとも1つのプロセッサをさらに備えている請求項16に記載の撮像装置。
  21. 前記少なくとも1つのプロセッサが、
    前記少なくとも1つの画像を、訓練された統計分類子(TSC)に入力することと、
    前記TSCからの出力として、前記人物の身元を取得することと、を行うように構成されている、請求項20に記載の撮像装置。
  22. 前記少なくとも1つのプロセッサが、
    通信ネットワークを介して、前記少なくとも1つの画像をデバイスに送信することと、
    前記人物の身元を前記デバイスから前記通信ネットワークを介して受信することと、を行うように構成されている、請求項20に記載の撮像装置。
  23. 前記少なくとも1つのプロセッサが、通信ネットワークを介して、前記人物に関連付けられた健康情報にアクセスするようにさらに構成されている、請求項20に記載の撮像装置。
  24. 前記少なくとも1つのプロセッサが、前記人物の特定を行うことに基づいて、前記人物のセキュリティアクセスを許可するようにさらに構成されている、請求項20に記載の撮像装置。
  25. 前記少なくとも1つのプロセッサが、前記少なくとも1つの画像に基づいて前記人物の健康状態を判定するようにさらに構成されている、請求項20に記載の撮像装置。
  26. 前記少なくとも1つのプロセッサが、
    前記少なくとも1つの画像を、訓練された統計分類子(TSC)に入力することと、
    前記TSCからの出力として、前記人物の前記健康状態を取得することと、を行うように構成されている、請求項25に記載の撮像装置。
  27. 前記少なくとも1つのプロセッサが、前記少なくとも1つの画像に基づいて前記人物の医学的状態を判定するようにさらに構成されている、請求項20に記載の撮像装置。
  28. 前記少なくとも1つのプロセッサが、
    前記少なくとも1つの画像を、訓練された統計分類子(TSC)に入力することと、
    前記TSCからの出力として、前記人物の前記医学的状態を取得することと、を行うように構成されている、請求項27に記載の撮像装置。
  29. 前記複数の撮像デバイスを使用して撮像された少なくとも1つの画像を、通信ネットワークを介して送信するように構成された回路をさらに備えている請求項16に記載の撮像装置。
  30. 撮像装置用のスタンドであって、
    前記撮像装置のハウジングを受容するように構成された保持部と、
    前記保持部に連結され、前記撮像装置が保持部に受容されたときに前記撮像装置を支持するように構成されたベースと、を備えたスタンド。
  31. 前記撮像装置が前記保持部に受容されたときに前記撮像装置に電力を供給するように構成されたワイヤレス充電デバイスをさらに備えている請求項30に記載のスタンド。
  32. 前記ワイヤレス充電デバイスが、前記撮像装置が前記保持部に受容されたときに前記撮像装置に前記電力をワイヤレスで送るように構成された電源および少なくとも1つのワイヤレス充電コイルを備えている請求項31に記載のスタンド。
  33. 前記保持部が前記ワイヤレス充電デバイスを収容している、請求項32に記載のスタンド。
  34. 前記電源が充電式電池を含んでいる、請求項32に記載のスタンド。
  35. 前記電源が、標準的な壁コンセントから給電されるように構成されている、請求項32に記載のスタンド。
JP2021533501A 2018-12-12 2019-12-12 生体認証および健康状態判定のための光学装置および関連デバイス Withdrawn JP2022512393A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862778494P 2018-12-12 2018-12-12
US62/778,494 2018-12-12
US201962833210P 2019-04-12 2019-04-12
US201962833179P 2019-04-12 2019-04-12
US201962833239P 2019-04-12 2019-04-12
US62/833,179 2019-04-12
US62/833,239 2019-04-12
US62/833,210 2019-04-12
PCT/US2019/066067 WO2020123862A1 (en) 2018-12-12 2019-12-12 Optical apparatus and associated devices for biometric identification and health status determination

Publications (2)

Publication Number Publication Date
JP2022512393A true JP2022512393A (ja) 2022-02-03
JPWO2020123862A5 JPWO2020123862A5 (ja) 2022-12-19

Family

ID=71071494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533501A Withdrawn JP2022512393A (ja) 2018-12-12 2019-12-12 生体認証および健康状態判定のための光学装置および関連デバイス

Country Status (11)

Country Link
US (4) US20200191553A1 (ja)
EP (4) EP3893717A4 (ja)
JP (1) JP2022512393A (ja)
KR (1) KR20210137988A (ja)
CN (1) CN113784656A (ja)
AU (4) AU2019397519A1 (ja)
BR (1) BR112021010926A2 (ja)
CA (4) CA3122544A1 (ja)
MX (1) MX2021006994A (ja)
TW (1) TW202038137A (ja)
WO (4) WO2020123864A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3239895A1 (en) * 2016-04-28 2017-11-01 Nokia Technologies Oy An apparatus, method and computer program for obtaining scrambled identification signal of a user using quantum dot-graphene field effect transistors
US11737665B2 (en) 2019-06-21 2023-08-29 Tesseract Health, Inc. Multi-modal eye imaging with shared optical path
US11373425B2 (en) 2020-06-02 2022-06-28 The Nielsen Company (U.S.), Llc Methods and apparatus for monitoring an audience of media based on thermal imaging
CN111714217A (zh) * 2020-07-03 2020-09-29 福建智康云医疗科技有限公司 一种基于云存储的医学影像快速定位采集扫描装置
US11475669B2 (en) * 2020-07-30 2022-10-18 Ncr Corporation Image/video analysis with activity signatures
US11595723B2 (en) 2020-08-20 2023-02-28 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on voice recognition
US11553247B2 (en) 2020-08-20 2023-01-10 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on thermal imaging and facial recognition
US11763591B2 (en) * 2020-08-20 2023-09-19 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on voice recognition, thermal imaging, and facial recognition
TWI817121B (zh) * 2021-05-14 2023-10-01 宏碁智醫股份有限公司 分類老年性黃斑部退化的程度的分類方法和分類裝置
TWI802123B (zh) * 2021-12-02 2023-05-11 財團法人工業技術研究院 3d靜脈圖譜的辨識方法及其識別裝置
CN114071561B (zh) * 2021-12-07 2023-06-23 中国联合网络通信集团有限公司 一种数据上报方法、装置、设备及存储介质
TWI827435B (zh) * 2023-01-06 2023-12-21 南臺學校財團法人南臺科技大學 排尿檢測方法及其系統

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4762701A (en) * 1986-10-31 1988-08-09 Smithkline Beckman Corporation In vivo cellular tracking
US5973731A (en) * 1994-03-03 1999-10-26 Schwab; Barry H. Secure identification system
US6142629A (en) * 1998-08-30 2000-11-07 Applied Spectral Imaging Ltd. Spectral imaging using illumination of preselected spectral content
US6332193B1 (en) * 1999-01-18 2001-12-18 Sensar, Inc. Method and apparatus for securely transmitting and authenticating biometric data over a network
AU2001288372A1 (en) * 2000-08-23 2002-03-04 Philadelphia Ophthalmologic Imaging Systems, Inc. System and method for tele-ophthalmology
US7224822B2 (en) * 2000-11-02 2007-05-29 Retinal Technologies, L.L.C. System for capturing an image of the retina for identification
JP2003085662A (ja) * 2001-07-06 2003-03-20 Rando Business:Kk 防犯システム、防犯管理装置、防犯方法、防犯管理方法およびコンピュータプログラム
US7575321B2 (en) * 2003-10-30 2009-08-18 Welch Allyn, Inc. Apparatus and method of diagnosis of optically identifiable ophthalmic conditions
US7555148B1 (en) * 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
JP4527471B2 (ja) * 2004-08-24 2010-08-18 独立行政法人理化学研究所 3次元眼底画像の構築・表示装置
US8243999B2 (en) * 2006-05-03 2012-08-14 Ut-Battelle, Llc Method and system for the diagnosis of disease using retinal image content and an archive of diagnosed human patient data
JP4969925B2 (ja) * 2006-06-28 2012-07-04 株式会社トプコン 眼底観察装置
US20080212847A1 (en) * 2007-01-08 2008-09-04 Michael Davies Method and system for identifying medical sample information source
US20150157505A1 (en) * 2007-01-19 2015-06-11 Joseph Neev Devices and methods for generation of subsurface micro-disruptions for opthalmic surgery and opthalmic applications
EP2198552A1 (en) * 2007-09-28 2010-06-23 Eye Controls, LLC. Systems and methods for biometric identification
US7854511B2 (en) * 2007-10-03 2010-12-21 Eye Marker Systems, Inc. Apparatus, methods and systems for non-invasive ocular assessment of neurological function
US8234509B2 (en) * 2008-09-26 2012-07-31 Hewlett-Packard Development Company, L.P. Portable power supply device for mobile computing devices
US20100315041A1 (en) * 2009-06-15 2010-12-16 Qing Song Tan Portable phone holder and charger with quick release feature
JP5432625B2 (ja) * 2009-07-29 2014-03-05 株式会社トプコン 眼科観察装置
AU2011315964B2 (en) * 2010-10-13 2013-11-07 Ocular Prognostics, LLC Handheld reflectometer for measuring macular pigment
PL3254703T3 (pl) * 2011-04-22 2020-10-05 The Regents Of The University Of California Wiriony wirusa towarzyszącego adenowirusom z różnymi kapsydami i sposoby ich zastosowania
CA2834056A1 (en) * 2011-04-27 2012-11-01 Adlyfe, Inc. Ocular detection of amyloid proteins
US9078612B2 (en) * 2011-12-02 2015-07-14 Third Eye Diagnostics, Inc. Devices and methods for noninvasive measurement of intracranial pressure
US9962291B2 (en) * 2012-05-25 2018-05-08 Ojai Retinal Technology, Llc System and process for neuroprotective therapy for glaucoma
US9041347B2 (en) * 2012-06-21 2015-05-26 Blackberry Limited Multi-orientation stand for a portable electronic device
US9332899B2 (en) * 2012-11-06 2016-05-10 Clarity Medical Systems, Inc. Electronic eye marking/registration
US20140276025A1 (en) * 2013-03-14 2014-09-18 Carl Zeiss Meditec, Inc. Multimodal integration of ocular data acquisition and analysis
CN105934764A (zh) * 2013-12-23 2016-09-07 眼锁有限责任公司 用于功率高效的虹膜识别的方法和装置
CA2942776C (en) * 2014-03-17 2023-01-24 Adverum Biotechnologies, Inc. Polyneucleotide cassette and expression vector for expression of a gene in cone cells using truncated m-opsin promoter
US20150288687A1 (en) * 2014-04-07 2015-10-08 InvenSense, Incorporated Systems and methods for sensor based authentication in wearable devices
WO2016010627A1 (en) * 2014-07-16 2016-01-21 Ojai Retinal Technology, Llc Apparatus for retina phototherapy
JP6388440B2 (ja) * 2014-11-26 2018-09-12 株式会社トプコン 眼科装置
NZ773822A (en) * 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
WO2016183020A1 (en) * 2015-05-11 2016-11-17 Magic Leap, Inc. Devices, methods and systems for biometric user recognition utilizing neural networks
US10002242B2 (en) * 2015-08-17 2018-06-19 Qualcomm Incorporated Electronic device access control using biometric technologies
WO2017031099A1 (en) * 2015-08-20 2017-02-23 Ohio University Devices and methods for classifying diabetic and macular degeneration
US9710016B1 (en) * 2016-01-16 2017-07-18 Bion Porzio Docking station with securing apparatus and stand for electronic device
KR102648770B1 (ko) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
EP3373798B1 (en) * 2016-11-22 2020-05-27 Delphinium Clinic Ltd. Method and system for classifying optic nerve head
WO2018127815A1 (en) * 2017-01-03 2018-07-12 Universidade De Coimbra Method and equipment for central nervous system characterization from retina oct imaging data
US10810290B2 (en) 2017-03-05 2020-10-20 Ronald H Minter Robust method and an apparatus for authenticating a client in non-face-to-face online interactions based on a combination of live biometrics, biographical data, blockchain transactions and signed digital certificates
BR112019022447A2 (pt) * 2017-04-27 2020-06-09 Bober Miroslaw sistema e método para análise de imagem funduscópica automatizada
CA3099238A1 (en) * 2017-05-04 2018-11-08 Junebrain. Inc. Brain monitoring system
WO2018213492A1 (en) * 2017-05-16 2018-11-22 Spect Inc. Stereoscopic mobile retinal imager

Also Published As

Publication number Publication date
WO2020123862A8 (en) 2020-08-13
EP3893720A4 (en) 2022-10-19
CA3121791A1 (en) 2020-06-18
BR112021010926A2 (pt) 2021-08-24
US20200193592A1 (en) 2020-06-18
US20200193156A1 (en) 2020-06-18
US20200191553A1 (en) 2020-06-18
CA3122272A1 (en) 2020-06-18
EP3893719A1 (en) 2021-10-20
CA3122570A1 (en) 2020-06-18
CN113784656A (zh) 2021-12-10
EP3893718A1 (en) 2021-10-20
EP3893720A1 (en) 2021-10-20
AU2019396537A1 (en) 2021-08-05
WO2020123858A1 (en) 2020-06-18
EP3893719A4 (en) 2022-10-19
US20200193004A1 (en) 2020-06-18
AU2019396539A1 (en) 2021-08-05
EP3893718A4 (en) 2022-11-09
WO2020123868A1 (en) 2020-06-18
AU2019397519A1 (en) 2021-08-05
EP3893717A4 (en) 2022-09-14
AU2019398346A1 (en) 2021-08-05
WO2020123862A1 (en) 2020-06-18
MX2021006994A (es) 2021-10-22
TW202038137A (zh) 2020-10-16
EP3893717A1 (en) 2021-10-20
KR20210137988A (ko) 2021-11-18
WO2020123864A1 (en) 2020-06-18
CA3122544A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
JP2022512393A (ja) 生体認証および健康状態判定のための光学装置および関連デバイス
US11779213B2 (en) Metaverse system
CN108351961B (zh) 以图像为基础的生物识别系统及计算机实施方法
Daugman High confidence visual recognition of persons by a test of statistical independence
Derakhshani et al. A texture-based neural network classifier for biometric identification using ocular surface vasculature
Bowyer et al. Factors that degrade the match distribution in iris biometrics
Wang et al. Biometrics on mobile phone
US20220198831A1 (en) System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset
Husseis et al. A survey in presentation attack and presentation attack detection
JP6792986B2 (ja) 生体認証装置
Azimi et al. Iris recognition under the influence of diabetes
KR20150044614A (ko) 생체정보를 이용한 실명확인 시스템 및 방법
Agrawal ECG-Based User Authentication Using Deep Learning Architectures
Kanakam et al. A concise survey on biometric recognition methods
Tsai et al. Iris recognition based on relative variation analysis with feature selection
Kyaw et al. Performance analysis of features extraction on iris recognition system
Cheung Iris recognition
Abidin Swarm intelligence for iris recognition
Barra Design of a Multi-biometric Platform, based on physical traits and physiological measures: Face, Iris, Ear, ECG and EEG
JP2023150898A (ja) 認証システム及び認証方法
Al-Rashid Biometrics Authentication: Issues and Solutions
Karnowski et al. Automating the diagnosis, stratification, and management of diabetic retinopathy using content-based image retrieval in an ocular telehealth network
Khambayat et al. A Survey of Mobile Iris Recognition Methods for Mobile Security
Abu-Al-Nadi Automated Personal Recognition System Based on Human Iris Analysis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221209

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230608