CN112673608A - 用于确定移动设备的用户的认知状态的装置、方法和程序 - Google Patents

用于确定移动设备的用户的认知状态的装置、方法和程序 Download PDF

Info

Publication number
CN112673608A
CN112673608A CN201980058304.4A CN201980058304A CN112673608A CN 112673608 A CN112673608 A CN 112673608A CN 201980058304 A CN201980058304 A CN 201980058304A CN 112673608 A CN112673608 A CN 112673608A
Authority
CN
China
Prior art keywords
user
mobile device
task
camera
cognitive state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980058304.4A
Other languages
English (en)
Inventor
I·塔尔纳纳斯
M·贝格勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ottoda Co.
Original Assignee
Ottoda Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ottoda Ltd filed Critical Ottoda Ltd
Publication of CN112673608A publication Critical patent/CN112673608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

一种用于确定装置(1)的移动设备(2)的用户的认知状态的装置，该装置(1)包括：移动设备(2)中用于向用户发出信息的输出装置(5)，其中，该输出装置(5)包括用于通过光学方式向用户发出信息的光学输出装置(5.1)；移动设备(2)中的摄像头(3)，其用于在所述移动设备(2)的环境的第一视角方向(3.1)上记录图像；路径装置(6)，其被配置为确定所述移动设备(2)在环境中的位置路径；移动设备(10)中的另一摄像头(4)，其用于在第二视角方向(4.1)上记录图像，和/或麦克风(13)，其用于记录音频信号；任务装置(7、7')，其用于经由输出装置(5)与用户进行交互，以使用户使用经由光学输出装置(5.1)显示的增强现实环境并且基于摄像头(3)捕获的移动设备(2)的环境来解决任务；用户特征装置(8、8')，其用于检测和/或追踪在用户解决任务的同时由所述另一摄像头(4)记录的图像中的用户的至少一个特征和/或在用户解决任务的同时由所述麦克风(13)记录的音频信号中用户的至少一个特征；认知状态装置(9、9')，其用于基于在用户解决任务的同时确定的移动设备的位置路径并且基于用户的至少一个特征来确定用户的认知状态。

Description

用于确定移动设备的用户的认知状态的装置、方法和程序
技术领域
本发明涉及一种用于确定移动设备的用户的认知状态的装置、方法和计算机程序。
背景技术
难以进行认知状态的检测，尤其是与脑部疾病或脑损伤有关的健康状态的检测。需要了解相应的脑部疾病或脑部损伤的症状的专业的医生。即使如此，人类医生对这种健康状态的检测也不是很客观，而且经常容易出错。
最近，提出了一种具有位置传感器的移动设备，用于基于由用户持有的移动设备的路径来检测健康状态。这对于检测用户的认知状态出奇地好并且是客观的。
发明内容
本发明的目的是进一步改进用于检测认知状态的移动设备。
该目的通过根据独立权利要求的装置、方法和计算机程序来解决。
结合移动设备的路径使用与由移动设备的第二摄像头记录的用户特征，大大改善了认知状态的检测质量。
该目的通过一种用于确定机器学习数据的装置来进一步解决，该机器学习数据用于确定用户的认知状态。该装置包括移动设备中用于向用户发出信息的输出装置，其中，该输出装置包括用于通过光学方式向用户发出信息的光学输出装置。该装置包括移动设备中的摄像头，用于在移动设备的环境的第一视角方向上记录图像。该装置包括路径装置，其被配置为确定移动设备在环境中的位置路径。该装置包括任务装置，其用于经由输出装置与用户交互以使用户使用经由光学输出装置显示的增强现实环境并基于摄像头捕获的移动设备的环境来解决任务。该装置包括移动设备中的用于在第二视角方向上记录图像的另一摄像头，和/或用于记录音频信号的麦克风。该装置包括用户特征装置，其用于检测和/或追踪在用户解决任务的同时由另一摄像头记录的图像中用户的至少一个特征和/或在用户解决任务的同时由麦克风记录的音频信号中用户的至少一个特征。该装置包括输入准备装置，其用于基于在用户解决任务的同时确定的移动设备的位置路径并且基于用户的至少一个特征来准备输入。该装置包括另一机器学习数据装置，其被配置为针对多个(优选地，不同的)用户中的每一个接收用户数据集。用户的用户数据集包括用户的认知状态和在输入准备装置中创建的输入。机器学习数据装置还被配置为基于为多个用户设置的用户数据集来确定机器学习数据，以确定用户对输入的认知状态。
该目的通过一种用于确定机器学习数据的方法进一步解决，该机器学习数据用于确定用户的认知状态。该方法包括以下步骤：针对多个用户确定用户数据集，以及基于用户的用户数据集确定机器学习数据。每个用户的用户数据集包括用户的认知状态和输入数据。输入数据由以下步骤确定：移动设备经由移动设备的输出装置与用户交互，以使用户使用增强现实环境解决任务，其中，增强现实环境经由输出装置的光学输出装置示出，并且是基于由移动设备的摄像头捕获的移动设备的环境的，其中，摄像头布置在移动设备中，用于在移动设备的环境的第一视角方向上记录图像；在用户通过移动设备解决任务的同时，确定移动设备执行的位置路径；在用户通过移动设备解决任务的同时，利用移动设备的另一摄像头记录图像，和/或在用户通过移动设备解决任务的同时，利用移动设备的麦克风记录音频信号，其中，另一摄像头布置在移动设备中，用于在第二视角方向上记录图像，基于记录的图像和/或音频信号，随时间确定至少一个用户特征；基于确定的移动设备的位置路径和确定的随时间的至少一个用户特征，确定用户的输入数据。
在一个实施例中，该目的通过一种装置/系统来解决，该装置/系统用于确定该装置/系统的移动设备的用户的认知状态，该装置/系统包括：移动设备；移动设备中用于向用户发出信息的输出装置，其中，该输出装置包括用于通过光学方式向用户发出信息的光学输出装置；移动设备中用于在移动设备的环境的第一视角方向上记录图像的摄像头；路径装置，其被配置为确定环境中移动设备的位置路径；任务装置，其用于经由输出装置与用户交互以使用户使用经由光学输出装置示出的增强现实环境并基于由摄像头捕获的移动设备的环境来解决任务；以及认知状态装置，其用于基于在用户解决任务的同时确定的移动设备的位置路径来确定用户的认知状态。
从属权利要求涉及本发明的其他有利实施例。
在一个实施例中，至少一个用户特征包括用户的至少一个面部特征。在由第二摄像头捕获的图像中检测到的用户特征中，用户的面部特征特别有作用。
在一个实施例中，另一摄像头被配置为在用户解决任务的同时拍摄一系列图像，其中，用户特征装置被配置为检测一系列图像中用户的至少一个特征并确定一系列图像中检测到的至少一个特征的时间序列，其中，认知状态装置被配置为进一步基于用户的至少一个特征的时间序列来确定用户的认知状态。
在一个实施例中，采样窗口包括随时间的多个采样步长，其中，路径装置被配置为在每个采样步长中记录移动设备的至少一个位置，其中，另一摄像头被配置为在每个采样步长中记录至少一个图像，其中，用户特征装置被配置为针对每个采样步长检测由另一摄像头在该采样步长中记录的至少一个图像中的用户的至少一个特征，其中，认知状态装置被配置为基于采样窗口中的时间序列来确定用户的认知状态，该采样窗口包括针对每个采样步长的采样点，该采样点基于在该采样步长中检测到的用户的至少一个特征并且基于该采样步长中确定的移动设备的至少一个位置。
在一个实施例中，采样窗口对应于其中移动设备比阈值更靠近至少一个目标位置的时间窗口，和/或与在认为至少一个目标位置被发现之前的特定时间段或路径长度相对应的时间窗口。优选地，采样窗口包括多个子窗口，其中，每个子窗口对应于(仅)一个定义的目标位置，其中，每个子窗口对应于其中移动设备位于比阈值更靠近与相应的子窗口相对应的目标位置的位置的时间窗口，和/或与在认为对应于相应的子窗口的目标位置被发现之前的特定时间段或路径长度相对应的时间窗口。距目标位置的阈值距离优选地小于5米(m)，优选地小于4m，优选地小于3m。距目标位置的阈值距离优选地大于0.5米(m)，优选地大于1m。
在一个实施例中，光学输出装置包括布置在移动设备的第一侧上的显示器，其中，另一摄像头布置在移动设备的第一侧上和/或布置成使得第二视角方向以与显示器的表面法线向量的方向相同的方向示出。
在一个实施例中，摄像头布置在移动设备的与第一侧相对的第二侧上和/或布置成使得第一视角方向以与显示器的表面法线向量的方向相反的方向示出。
在一个实施例中，移动设备是便携式手持设备。
在一个实施例中，任务装置被配置为在增强现实环境中定义至少一个目标位置，并对至少一个目标位置中的每一个执行以下步骤：邀请用户在增强现实环境中找到相应的目标位置；当用户已经将移动设备移动到环境中的位置时，认为在增强现实环境中找到相应的目标位置，其中至少一个目标位置由摄像头捕获并在某些条件下能够显示在光学输出装置上。
在一个实施例中，任务装置被配置为基于移动设备的用户输入来定义增强现实环境中的至少一个目标位置。
在一个实施例中，至少一个目标位置包括至少两个目标位置，其中，任务装置被配置为当相应的目标位置在增强现实环境中被定义和/或显示时，将至少两个目标位置中的每一个与通过输出装置输出给用户的不同特征相关联，其中，邀请用户通过输出装置输出与增强现实环境中的至少两个目标位置中的一个目标位置相关联的特征来找到所述一个目标位置，和/或连续地邀请用户找到至少两个目标位置，使得在认为找到至少两个目标位置中的一个之后，邀请用户找到至少两个目标位置中的后续的一个。
在一个实施例中，任务装置被配置为经由输出装置发出多个刺激，用于在用户解决任务的同时和/或找到至少一个目标位置中的每一个的同时分散用户的注意力。
在一个实施例中，任务装置被配置为在每次刺激之后要求用户解决子任务，然后继续解决任务和/或找到被邀请找到的相应的目标位置。
在一个实施例中，该装置包括用户输入装置，其中，任务装置被配置为当在用户输入装置上接收到特定用户输入时，认为解决了子任务。
在一个实施例中，认知状态是关于至少一个脑部疾病或脑部损伤的健康状态。
附图说明
借助于以示例的方式给出并通过附图示出的实施例的描述，将更好地理解本发明，其中：
图1示出了用于确定用户的认知状态的装置的实施例的示意图。
图2示出了用于确定用户的认知状态的方法的实施例的示意图。
图3示出了用于确定机器学习数据的装置的实施例的示意图。
具体实施方式
图1示出了用于确定用户的认知状态的装置1的实施例。装置1包括移动设备2、移动设备2中的第一摄像头3、移动设备2中的第二摄像头4、移动设备2中的输出装置5、路径装置6、任务装置7、用户特征装置8、认知状态装置9、优选地用户输入装置10和麦克风13。
移动设备2优选地是诸如智能电话等手持便携式设备。然而，移动设备2也可以是用户可携带的任何其他设备。例如，该设备可以是可穿戴设备，例如，诸如智能手表等(智能)手环、诸如谷歌眼镜(注册的商标)等(智能)眼镜或用户可穿戴的任何其他设备。移动设备2可以在单个设备中实现，或者也可以在至少两个单独的设备中实现。至少两个单独的设备可以例如是便携式手持设备(例如，智能手机)、手环(例如，诸如智能手表等智能手环)、眼镜(例如，增强现实(AR)眼镜或用户可穿戴的任何其他设备)中的至少两个。移动设备2，特别是手持便携式设备，包括第一侧和与第一侧相对的第二侧。如果移动设备2包括至少两个单独的设备，则第一侧和相对的第二侧布置在同一个单独的设备上。但是，也可能的是第一侧在第一单独的设备上，而第二侧在第二单独的设备上。
装置1可以包括用于实现远离移动设备2的一些计算工作的另一设备11。另一设备11可以与移动设备2连接以交换数据和/或结果。移动设备2和另一设备11之间的连接优选地是经由互联网，但是也可以经由WLAN、移动电话网络、其他无线通信协议和/或其他通信技术。另一设备11例如是服务器，优选地是互联网连接的服务器和/或优选地远离移动设备2。然而，另一设备11也可以被布置在移动设备2的环境中和/或例如经由WLAN和/或LAN和/或其他无线通信协议连接的。然而，如果所有的计算工作都在移动设备2中完成，则另一设备11是可选的，因此不是必需的。在这种情况下，装置1对应于移动设备2。
输出装置5被配置为向移动设备2的用户输出信息。
输出装置5优选地包括光学输出装置5，其用于向移动设备2的用户显示光学信息。光学输出装置5优选地是显示器。光学输出装置5.1(特别是显示器)优选地被布置在移动设备2(特别是手持便携式设备)的第二侧上。但是，诸如投影仪(例如，眼镜中的眼睛投影仪)等其他光学输出装置5.1也是可以的。光学输出装置5.1被布置在移动设备2中，使得用户可以在输出视角方向上观看来自光学输出装置5.1的信息，即，从用户到光学输出装置5.1的方向允许用户观看来自光学输出装置5.1的信息。
在一个实施例中，输出装置5包括诸如扬声器等另一音频输出装置5.2，其用于向用户发出信息。
输入装置10被配置为将用户命令输入到移动设备2中。输入装置10优选地被布置在移动设备2中。优选地，输入装置10包括指示器装置，其用于选择光学输出装置5.1上的位置。指示器装置优选地是触摸传感器，其优选地布置在移动设备2的显示器上，即，显示器和触摸传感器构成触摸屏。然而，指示器装置可以是鼠标、轨迹球、旋钮或任何其他指示器装置。指示装置也可以是指示AR环境中的位置的手或眼方向识别装置。然而，输入装置10也可以包括麦克风(例如，用于语音命令)或任何其他输入装置。输入装置10的麦克风可以对应于稍后描述的麦克风13。输入装置10是优选的，但对于本发明不是必需的。
第一摄像头3和/或第二摄像头4可以是用于记录环境(优选地，用户的眼睛可见的环境的特征)的图像的任何合适的传感器。优选地，第一摄像头3和/或第二摄像头4是用于记录复制了用户所看到的环境的图像的光学摄像头。但是，第一摄像头3和/或第二摄像头4也可以是任何其他摄像头，例如，3D摄像头、飞行时间摄像头或覆盖了可见光谱之外的其他波长的光学摄像头(例如，红外摄像头或紫外线摄像头)等。优选地，第一摄像头3和/或第二摄像头4包括数字图像传感器和/或(光学)透镜(用于将图像聚焦在数字图像传感器上)。
第一摄像头3被布置在移动设备2中，使得在第一视角方向3.1上记录移动设备2的环境的图像，和/或使得第一摄像头3的图像可以被显示在用于AR目的的光学输出装置5.1上，和/或使得当用户注视光学输出装置5.1以观看光学输出装置5.1的光学信息和由第一摄像头3记录的当前显示在光学输出装置5.1上的图像时，用户在光学输出装置5.1上看到光学输出装置5.1后方的环境的图像。这种由第一摄像头3捕获并由光学输出装置5.1(实时)回放的移动设备2的环境在此被定义为AR环境。该AR环境可以通过其他信息来增强，或不通过其他信息来增强，因此AR环境将不限于具有增强信息的数字化环境。
任务装置7被配置为(经由移动设备2)与移动设备2的用户交互，以使用户在移动设备2的环境中移动移动设备2。优选地，任务装置7被配置为(经由移动设备2)与移动设备2的用户交互，以使用户在移动设备2的环境中与移动设备2同行。任务装置7被配置为通过给用户要解决的任务来(经由移动设备2)与移动设备2的用户交互，这使用户在移动设备2的环境中与移动设备2一起移动(特别是与移动设备2同行)。在一个实施例中，任务装置7被配置为使用移动设备2的AR环境，以便使用户解决任务和/或使用户在该环境中移动该移动设备2(特别是与移动设备2同行)。
在一个实施例中，该任务是在(AR)环境中搜索或找到至少一个定义的目标位置。优选地，任务是用户需要移动该移动设备2(特别是与移动设备2同行)以在AR环境中找到至少一个定义的目标位置。换句话说，用户需要在环境中将移动设备2(特别是与移动设备2同行)移动到环境中的至少一个定义的目标位置，并且将第一摄像头3对准至少一个定义的目标位置(使得定义的目标位置出现在光学输出装置5.1上)。一旦至少一个定义的目标位置中的一个(可能在至少一个条件下)出现在光学输出装置5.1上和/或(可能在至少一个条件下)出现在AR环境中，就认为找到了该一个定义的目标位置。至少一个条件例如是移动设备2和/或第一摄像头3比定义的目标位置的附近的阈值更靠近定义的目标位置，和/或定义的目标位置是由第一摄像头3在特定角度视野范围内记录的，和/或当前记录的定义的目标位置的图像对应于在目标位置被定义时记录的图像。如果找到了定义的目标位置，则可能有许多其他条件可供检查。如果至少一个定义的目标位置包括第一定义的目标位置和第二定义的目标位置，则任务装置7被配置为与移动设备2的用户交互以使用户找到第一定义的目标位置。一旦用户找到了第一定义的目标位置，任务装置7被配置为与移动设备2的用户交互以使用户找到第二定义的目标位置。因此，任务装置7被配置为与移动设备2的用户交互以使用户连续地找到至少两个定义的目标位置中的每一个。一旦已经找到了所有的至少一个定义的目标位置，就认为任务已解决。
优选地，至少一个定义的目标位置中的每一个在AR环境中被显示给用户和/或由用户在AR环境中定义，使得用户可以记住至少一个目标位置。在用户已经记住了(所有)至少一个目标位置之后，邀请用户(优选地一个接一个地)找到(所有)至少一个定义的目标位置。因此，在第一阶段，(所有)至少一个定义的目标位置被显示给用户或由用户定义，在第一阶段之后的第二阶段中，所有至少一个定义的目标位置如上所述的被搜索。
优选地，至少一个定义的目标位置中的每一个在AR环境中被显示给用户，使得用户可以记住至少一个目标位置。这可以同时完成或接续完成。在用户已经看到了所有至少一个定义的目标位置和/或已经记住了它们，邀请用户(优选地一个接一个地)找到所有至少一个定义的目标位置。因此，在第一阶段，(所有)至少一个定义的目标位置被显示给用户，在第一阶段之后的第二阶段中，所有至少一个定义的目标位置如上所述的被搜索。优选地，至少一个定义的目标位置中每一个与可视化对象相关联，该可视化对象在AR环境中的定义的目标位置处被显示给用户(在第一阶段中)，以便用户可以将可视化对象与相关联的定义的目标位置相关联。优选地，在第二阶段中，通过在光学输出装置5.1上显示或者经由输出装置5以其他方式指示与至少一个定义的目标位置中的一个相关联的可视化对象，邀请用户搜索至少一个定义的目标位置中的这一个定义的目标位置。优选地，在第二阶段中，显示可视化对象而没有任何相关联的定义的目标位置的指示，使得用户需要记住相关联的定义的目标位置并通过用户的移动设备2找到它。优选地，任务装置7被配置为与环境无关，即，用户可以在他当前所在的任何环境中执行任务。执行任务不需要特殊的环境。
优选地，至少一个目标位置优选地在第一阶段中由用户经由输入装置10定义。优选地，通过经由指示装置从用户接收AR环境中的目标位置的指示，至少一个目标位置由用户来定义。然而，移动设备2还可以经由输入装置10接收定义至少一个目标位置的任何其他输入。例如，当经由输入装置10接收到用户的输入时，可以由任务装置7(例如，随机地)在光学输出装置5.1中当前显示的AR环境中定义目标位置。优选地，至少一个目标位置中的每一个在由用户定义时，例如通过AR环境中显示的关联的可视化设备，而被显示给用户。
任务装置7优选地被配置为经由移动电话2与用户交互以使用户在用户解决任务的同时，特别是在用户找到至少一个定义的目标位置中的每一个的同时，解决子任务。任务装置7优选地被配置为在用户解决任务的同时，特别是在用户找到至少一个定义的目标位置中的每一个的同时，至少平均每10秒(sec)，优选地至少每8秒，优选地至少每5秒，优选地至少每3秒，优选至少每2秒邀请用户解决子任务。子任务的邀请可以周期性地或随机地发出。子任务应分散用户解决任务的注意力。优选地，子任务是与移动设备2的触摸屏的触觉交互。子任务的一个示例可以是当任务装置7邀请用户解决该子任务时，激活移动设备2的按钮。优选地，该按钮是在光学输出装置5.1上示出的软按钮。优选地，如果用户通过输入装置10的指示装置指示光学输出装置5.2上示出的软按钮，则子任务得以解决。这分散了用户对任务的注意力，因为用户必须将他的焦点从(AR)环境移到按钮上并通过指示装置激活按钮。激活按钮的子任务只是示例。用户还可以说出由输入装置10的麦克风记录的语音命令。解决子任务的邀请可以例如是通过经由音频输出装置5.2输出的音频信号。然而，其他邀请也是可能的，例如触觉信号(例如，通过移动设备2的振动)。任务和子任务的组合是特别有利的，因为任务使用户在环境中移动移动设备2(特别是与移动设备2同行)，而子任务则分散了用户对任务的注意力从而分散了用户对其正在进行的移动的注意力。稍后将分析这种移动和分散注意力的组合，以分析用户的认知状态。
优选地，任务装置7被布置在移动设备2中。然而，也可以将任务装置7’完全或部分地布置在移动设备2的外部，例如，布置在另一设备11中。
路径装置6被配置为在解决至少部分任务的同时确定移动设备2的路径，特别是移动设备2遵循的路径。路径是一系列的位置点(在位置采样窗口中)。位置点包括移动设备2的一维、二维或优选地三维位置和/或一维、二维或优选地三维方位。因此，位置点可以具有一维至六维之间。优选地，位置点至少包括三维位置。位置(即，地点和/或方位)可以是绝对的(即，相对于已知位置进行测量)，或相对的(即，相对于未知位置进行测量)(例如，分别针对每个时间点的测量的第一位置点或测量的先前位置点)。相对位置也可以与相对于最后测量的采样/位置或惯性加速度点(相对于平移或旋转)的偏离位置有关，如通常在加速度计或陀螺仪中进行的。
路径装置6优选地包括位置传感器6.1。位置传感器6.1被配置为测量移动设备2的位置点。位置传感器6.1优选地被配置为在位置采样窗口中测量一系列的位置点。位置采样窗口对应于时间窗口，在该时间窗口中，解决至少部分任务。当在位置采样窗口中记录位置点时的时间点被称为位置采样点。位置采样点可以以位置采样频率和/或以恒定的位置采样步长周期性地测量。因此，位置点给出了移动设备2在位置采样点处的位置。优选地，位置传感器6.1是用于检测移动设备2的位置变化的惯性测量单元(IMU)。位置传感器6.1和/或IMU优选地包括加速度计(用于测量移动设备2的位置变化)和/或陀螺仪(用于测量移动设备2的方位变化)。IMU测量结果可以转换为位置采样点，或者也可以直接用作IMU测量的增量加速度点。优选地，位置传感器6.1和/或IMU包括磁力计，其用于检测移动设备2的绝对方位(基于地球的磁场)。然而，位置传感器6.1可以附加地或替代地包括用于检测位置的其他装置。例如，三角测量传感器。三角测量传感器可以基于从卫星(例如，GPS)或手机基站发送的不同信号来测量位置。还可能的是，位置传感器6.1由第一摄像头3实现。优选地，位置点由IMU和第一摄像头3的组合来确定。位置传感器6.1优选地布置在移动设备2中。但是，还可能的是将位置传感器6.1'完全或部分地布置在移动设备2的外部，例如，基于从移动设备2发出的信号来检测位置的传感器。
路径装置6优选地包括路径装置。路径装置6.2被配置为基于位置传感器6.1的测量结果来确定路径。优选地，路径装置6.2被布置在移动设备2中。路径装置6.2可以在专用芯片中(例如，在位置传感器6.1中)和/或在中央处理器(CPU)和/或移动设备2中的任何其他处理单元中实现。然而，还可能的是将路径装置6.2完全或部分地布置在移动设备2的外部，例如，在服务器11中或在位置传感器6.1'的同一设备中。
移动设备2包括第二摄像头4和/或麦克风13。
第二摄像头4指向第二视角方向4.1，从而记录第二视角方向4.1上的图像。第二视角方向4.1和/或第二摄像头4的取向使得第二视角方向4.1或所述取向与第一视角方向3.1相反(优选地，平行)，和/或在与光学输出装置的输出视角方向相同的方向上，和/或使得当他/她注视光学输出装置5.1时，由第二摄像头4记录的图像指向用户(特别是用户的面部)所在的方向。换句话说，第二摄像头4在用户处于观看由光学输出装置5.1输出的信息的位置的同时捕获用户。第二摄像头4被配置为在用户利用移动设备2解决(至少一部分)任务的同时记录具有用户的图像。第二摄像头4优选地被配置为在图像采样窗口中测量一系列图像。图像采样窗口对应于在其中解决(至少一部分)任务的时间窗口。将在图像采样窗口中记录图像时的时间点称为图像采样点。图像采样点可以以图像采样频率和/或以两个后续图像采样点之间的恒定图像采样步长周期性地测量。因此，图像给出了移动设备2在图像采样点处的图像。
麦克风13被配置为记录移动设备2的环境的音频信号。麦克风13被配置为在用户利用移动设备2解决(至少一部分)任务的同时记录用户的音频信号。麦克风13优选地被配置为在音频采样窗口中测量一系列的音频点。音频采样窗口对应于其中解决(至少一部分)任务的时间窗口。将在音频采样窗口中记录音频点时的时间点称为音频采样点。音频采样点可以以音频采样频率和/或以两个后续音频采样点之间的恒定音频采样步长周期性地测量。因此，音频点表示在音频采样点处移动设备2周围的声音。
位置采样窗口、图像采样窗口和/或音频采样窗口优选地是相同的时间窗口和/或(仅)部分重叠的时间窗口。然而，在不太优选的实施例中，位置采样窗口、图像采样窗口和/或音频采样窗口也可能不重叠，即，测量结果来自不同的时间窗口。位置采样窗口、图像采样窗口和/或音频采样窗口优选地对应于不间断的时间窗口。但是，也可以使用带有采样间断(sampling breaks)的时间窗口。位置采样频率、图像采样频率和/或音频采样频率可以相同或不同。位置采样点、图像采样点和/或音频采样点可以是同时的或在不同的时间点。位置采样窗口、图像采样窗口和/或音频采样窗口优选地对应于其中用户/移动设备2比定义的阈值更靠近至少一个定义的目标位置的时间窗口，和/或对应于这种时间窗口：该时间窗口对应于用户找到至少一个目标位置中的每一个之前的特定时间段或路径长度。如果任务包括多个定义的目标位置，则位置采样窗口、图像采样窗口和/或音频采样窗口优选地对应于子时间窗口的级联(concatenation)，每个子时间窗口对应于定义的目标位置之一，即，每个子时间窗口对应于其中用户/移动设备2比定义的阈值更靠近与该子时间窗口相对应的定义的目标位置的时间窗口，和/或对应于与用户找到与子时间窗口对应的目标位置之前的特定时间段或路径长度相对应的时间窗口。
用户特征装置8被配置为基于在用户解决任务的同时基于由另一摄像头4记录的图像和/或在用户解决任务的同时由麦克风13记录的音频信号确定至少一个用户特征。
基于由另一摄像头4记录的图像确定的至少一个用户特征优选地是用户的至少一个面部特征。因此，用户特征装置8被配置为在用户解决任务的同时，在记录的至少一些图像中的每一个中检测用户的面部，并且从检测到的图像的面部中检测至少一个面部特征。面部特征的示例可以是瞳孔扩张、嘴形、睁眼状态、棕色眼睛状态、眼睛注视的方向等。但是，可以从记录的图像中检测其他的用户特征。基于由第二摄像头4记录的图像确定的至少一个用户特征优选地是用户的至少一个可见特征的移动，优选地是用户的至少一个面部特征的移动。因此，用户特征装置8被配置为在用户解决任务的同时，在所记录的至少一些图像中的每一个中检测身体，特别是用户的面部，并且检测至少一个身体的移动或者从检测到的图像的面部中检测面部特征。在优选的实施例中，瞳孔扩张被用作从第二摄像头4记录的图像中提取的用户特征。用户在解决任务时的瞳孔的尺寸是从利用第二摄像头4在用户解决任务时拍摄的图像中提取的(得到在用户解决任务时，样本窗口期间的瞳孔尺寸的时间序列)。瞳孔尺寸可以包括一只眼睛的瞳孔尺寸(一维)或两只眼睛的瞳孔尺寸(二维)，或两只眼睛的瞳孔尺寸的组合的瞳孔尺寸(一维)或从用户的一只或两只眼睛的瞳孔尺寸得出的其他度量。瞳孔尺寸可以是相对于用户的参考瞳孔尺寸而被归一化的。参考瞳孔尺寸可以是例如用户的平均瞳孔尺寸，例如，在任务对用户没有认知要求的时间段期间的平均瞳孔尺寸。归一化的瞳孔尺寸和/或归一化的瞳孔尺寸的变化例如可以用作瞳孔扩张的用户特征。
优选地，基于由麦克风记录的音频信号确定的至少一个用户特征是用户的嘴或鼻子产生的声音。例如，这可以是从用户的谈话(语音)中提取的特征。例如，该任务可能导致用户讲话。在另一个示例中，这可以是例如呼吸。但是，可以从记录的音频信号中检测其他用户特征。在优选的实施例中，语音的规律性被用作用户特征。语音的规律性可以通过测量以下语音参数中的一个或其组合来测量：语音的声音的幅度或功率(对于某些频率或所有频率)、语音的速度、单词之间的停顿、语调等。然后，语音参数被归一化为用户的参考语音参数。参考语音参数可以是例如用户的平均语音参数，例如，在任务对用户没有认知要求的时间段期间的平均语音参数。归一化的语音参数中的一个或其组合，或归一化的语音参数中的一个或其组合的变化/波动可以用作用户特征。
至少一个用户特征可以基于图像或者基于麦克风或者基于这两者来确定。在优选的实施例中，至少一个用户特征基于两者被确定，或至少包括基于图像的至少一个用户特征。在优选的实施例中，用户特征是在用户解决任务的同时从第二摄像头4的图像中提取的瞳孔扩张，和在用户解决任务的同时从麦克风5记录的音频信号中提取的语音规律性的组合。该组合的用户特征可以是例如二维矢量或更多维矢量，其包括与瞳孔扩张有关的一个或多个维度以及与语音规律性有关的一个或多个维度。
在一个实施例中，用户特征装置8被配置为在用户解决任务的同时进一步基于移动设备2的位置路径来确定至少一个用户特征。优选地，至少一个用户特征然后包括至少一个第一用户特征和至少一个第二用户特征。至少一个第一用户特征是基于在用户解决任务的同时由另一摄像头4记录的图像和/或基于在用户解决任务的同时由麦克风13记录的音频信号。至少一个第二用户特征基于在用户解决任务的同时移动设备2的位置路径和/或基于在用户解决任务的同时由麦克风13记录的音频信号。然而，也可以确定组合的用户特征，该用户特征取决于位置路径以及图像和音频信号中的至少一个。基于移动设备2的位置路径的至少一个(第二)用户特征可以是移动设备的位置的瞬时变化。例如，这可以是该可变性的频率或任何其他度量。
优选地，用户特征装置8被配置为确定用户特征采样窗口期间的用户特征点的序列。用户特征点的序列取决于图像采样窗口的图像点和/或取决于音频采样窗口的音频点。用户特征点的序列还可以取决于位置采样窗口的位置点。用户特征采样窗口是时间窗口，在该时间窗口期间，用户解决(至少部分地)上述任务。优选地，用户特征采样窗口对应于时间窗口，在该时间窗口期间，位置采样窗口与图像采样窗口和音频采样窗口之一或两者重叠。与用户特征点关联的时间点称为用户特征采样点。
用户特征装置8优选地被布置在移动设备2中。然而，也可以将用户特征装置8'完全或部分地布置在移动设备2的外部，例如布置在另一设备11中。
已发现，在解决任务期间，不仅移动设备2的移动，而且用户身体的其他特征也显著地帮助检测用户的认知状态。
认知状态装置9被配置为基于在用户解决任务的同时确定的移动设备2的位置路径，以及基于在用户解决任务的同时确定的至少一个用户特征来确定用户的认知状态。认知状态装置9优选地被配置为基于在位置采样窗口中移动设备2的位置路径(或位置点的序列)以及基于用户特征采样窗口的用户特征点的序列来确定用户的认知状态。认知状态装置9优选地被配置为基于测量采样窗口期间的测量点来确定用户的认知状态。测量采样窗口的测量点取决于在测量/位置采样窗口期间的位置路径以及测量/音频/图像采样窗口期间记录的图像和/或音频信号。测量采样窗口的测量点取决于测量/位置采样窗口期间的位置路径以及测量/用户特征采样窗口期间确定的用户特征。测量采样窗口是时间窗口，在该时间窗口期间，用户解决(至少部分地)上述任务。与测量点关联的时间点称为测量采样点。测量采样点具有测量采样频率，和/或两个连续的测量采样点之间的测量采样步长。如果用户特征窗口的用户特征点已经取决于位置采样窗口的位置点，则测量采样窗口的测量点和/或认知状态仅基于用户特征采样窗口的用户特征点也是可能的。因此，认知状态装置9接收输入，根据该输入确定用户的认知状态。认知状态装置9的输入是：
-在用户解决任务的同时确定的移动设备2的位置路径和在用户解决任务的同时确定的至少一个用户特征，
-在位置采样窗口中移动设备2的位置路径(或位置点的序列)和用户特征采样窗口的用户特征点的序列，和/或
-在测量采样窗口期间的测量点。认知状态装置9可以从输入的数据中提取一个或多个特征。例如，可以从移动设备2的位置路径提取步态速度，特别是步幅时间可变性，以结合用户特征来检测认知状态。可以从移动设备2的低频垂直移动中提取步态速度或也称为步行频率。这些步态速度和/或从位置路径提取的其他特征和/或位置路径数据可直接用于检测状态。但是，如现有技术中已知的，步态速度是特别有利的。显然，也有可能直接检测路径装置6中的步态速度作为位置路径数据，以使认知状态装置9直接根据步态速度检测认知状态。还可以检测用户特征装置8中的步态速度。
确定的认知状态结果优选地是多个离散认知状态之一。优选地，离散认知状态指的是一个认知特征，并且离散认知状态对应于认知特征的值或强度。优选地，认知特征或认知状态对应于用户的脑部的健康状态。用户的脑部的健康状态优选地指一种脑部疾病或一种脑部损伤。此类脑部疾病或脑部损伤的示例包括：阿尔茨海默氏病和/或临床前阿尔茨海默氏病的病理变化、额颞痴呆、脑外伤，例如脑震荡、帕金森氏症、手术后认知障碍、后皮质萎缩、移动障碍、神经退行性疾病、认知障碍、抑郁症。然后，认知状态装置9被配置为给出至少两个离散认知状态之一。至少两个离散认知状态包括表明满足认知特征的第一离散认知状态和表明未满足认知特征的第二离散认知状态。在认知状态是健康状态的情况下，第一离散认知状态(第一离散健康状态)表明用户患有脑部疾病或脑部损伤，第二离散认知状态(第二离散健康状态)表明用户在脑部疾病或脑部损伤方面是健康的。可能存在至少一个第三离散认知/健康状态，表明用户具有满足认知状态的风险和/或具有脑疾病或脑损伤的风险。。
优选地，认知状态进一步基于机器学习数据来确定。机器学习数据包括用于对应的第一离散认知状态的第一条件集。认知状态装置9优选地被配置为检查认知状态装置9的输入是否满足第一条件集。如果是这种情况，则认知状态装置9得出结论，用户具有第一离散认知状态中的认知特征。如果存在多于两个的离散认知状态，则可以检查其他条件集以确定第三或其他离散认知状态的存在。否则，用户具有第二认知状态。基于多个用户的用户数据集，通过机器学习获得机器学习数据。每个用户的用户数据集对应于用户的已知的认知状态或健康状态，以及在解决任务的同时为认知状态装置9准备的输入。优选地，机器学习数据包括决策树。认知状态装置9被配置为遍历决策树，并且基于用户输入的数据在每个节点中决定将要去往的决策树的下一个节点。用户的数据至少包括移动设备2的位置路径和用户特征。用户的数据可以包括其他用户数据，例如，年龄、性别等。决策树的条件(即，条件集)是基于训练数据在机器学习阶段进行训练的。在一个实施例中，至少一个节点基于位置路径检查至少一个特征。例如，一个节点可以检查步态速度(在一个或多个子时段期间)是否相对于参考步态速度(在参考子时段期间)变化大于阈值。不同的节点可以针对不同的子时段检查相同的特征。子时段优选地指的是用户解决任务时的时间的子时段，尤其是指任务对用户的注意力要求更高的子时段。这些子时段优选地是当用户接近他必须搜索的对象时。参考时段例如是用户解决任务期间的时间的子时段，特别是比前面提到的子时段任务要求更少的注意力的时间段。不同的节点可以检查位置路径或步态速度的不同特征，例如其平均值、方差等。在一个实施例中，至少一个节点基于用户特征，优选地基于瞳孔扩张和/或语音规律性检查至少一个特征。例如，一个节点可以检查用户特征(在一个或多个子时段期间)是否相对于参考用户特征(在参考子时段期间)变化大于阈值。不同的节点可以针对不同的子时段检查相同的特征。不同的节点可以检查用户特征的不同特征，例如其均值、方差等。
优选地，从装置1给出用户的认知状态。优选地，经由移动设备2的输出装置5给出用户的认知状态。
认知状态装置9优选地被布置在与移动设备2通信以接收认知状态装置9的输入的另一设备11中。最终，认知状态装置9将确定用户的认知状态传达到移动设备2，使得移动设备2给出确定的认知状态。然而，也可以将认知状态装置9’完全或部分地布置在移动设备2中。
任务装置7提供的任务引起用户的注意。在引起用户注意期间(即，在解决任务期间)用户的移动(特别是，由路径装置6记录的步行和由另一摄像头4、麦克风5和/或用户特征装置8记录的用户特征)，被发现对于用户的许多不同的认知状态而言是可靠且简单的指标。这对于由路径装置6记录的用户的移动是已知的。但是，通过还考虑利用用户特征装置8确定的用户特征，上述结果得到显著改进。
图2示出了用于确定用户的认知状态的实施例。
在步骤S1中，移动设备2邀请用户解决任务。该邀请可以由移动设备2发起。这可以例如通过显示在移动设备的光学输出装置5.1上的、用于解决特定任务的消息来实现。或者，邀请可以由用户发起，例如通过打开移动设备的应用或选择解决任务。在上述优选的任务中，至少一个(优选地，至少两个)定义的目标位置由用户在移动设备2的AR环境中定义和/或(经由至少一个关联的可视化对象)在移动设备2的AR环境中显示给用户。然后，邀请用户搜索/找到至少一个定义的目标位置(例如，通过显示与要搜索的定义的目标位置相关联的可视化对象)。
在步骤S2中，在解决(至少一部分)任务的同时，记录移动设备2的路径。
在步骤S3中，在解决(至少一部分)任务的同时，记录第二摄像头4的图像和/或麦克风4的音频信号。在解决(至少一部分)任务的同时，基于记录的图像和/或音频信号确定用户的至少一个用户特征。
优选地，步骤S1和对步骤S2的位置路径、步骤S3的图像和/或音频信号的记录被同时执行(即，至少步骤S2和S3的测量在时间上至少部分地与步骤S1重叠)。
在步骤S4中，基于输入来确定用户的认知状态，该输入基于在步骤S2中确定的移动设备2的位置路径以及在步骤S3中确定的用户的至少一个特征。
图3示出了用于确定机器学习数据的装置100，该机器学习数据用于确定用户的认知状态。装置100包括至少一个装置101，其用于确定上面针对装置1的认知状态装置9定义的输入。因此，装置101包括移动设备200、充当移动设备2中的第一摄像头3的移动设备200中的第一摄像头、充当移动设备2中的第二摄像头4和/或麦克风13的移动设备200中的第二摄像头和/或麦克风13、充当移动设备2中的输出装置5的移动设备200中的输出装置5、充当路径装置6的路径装置6、充当图1中的任务装置7的任务装置7、充当图1中的用户特征装置8的用户特征装置8、优选地充当图1中的用户输入装置10的用户输入装置10和代替认知状态装置9的输入准备装置19或19'。输入准备装置被配置为准备上面定义的输入和/或被输入到装置1的认知状态装置9的输入。输入是基于在用户解决任务的同时确定的移动设备的位置路径和在用户解决任务的同时确定的至少一个用户特征。
装置101优选地对应于具有两种配置的图1的装置1。如图1所示，用于确定用户的认知状态的第一配置。如上一段所述，用于确定用户的输入的第二配置。
装置100还包括机器学习数据装置109，其被配置为针对多个(优选地，不同的)用户中的每一个接收用户数据集。在用户解决任务的同时，用户的用户数据集包括用户的认知状态和在至少一个装置101中的一个中创建的输入。机器学习数据装置109还被配置为基于多个用户的用户数据集，确定用于确定用户对输入的认知状态的机器学习数据。在一个实施例中，机器学习数据装置109为所有用户接收用户数据集并确定机器学习数据(仅一次)。在一个实施例中，机器学习数据装置109被配置为每当接收到一个或另一个数量的定义的用户数量的用户数据集时更新机器学习数据。在该实施例中，机器学习数据是递归确定的。优选地，机器学习数据装置109被配置为基于用户数据集来确定决策树的决策参数。优选地，机器学习数据装置109被配置为基于提升来确定机器学习数据。
机器学习数据装置109优选地布置在另一设备11中。然而，机器学习数据装置109可以(部分或完全地)在移动设备200或另一设备中。

Claims (16)

1.一种用于确定装置(1)的移动设备(2)的用户的认知状态的装置，所述装置(1)包括：
所述移动设备(2)；
所述移动设备(2)中用于向所述用户发出信息的输出装置(5)，其中，所述输出装置(5)包括用于通过光学方式向所述用户发出信息的光学输出装置(5.1)；
所述移动设备(2)中的摄像头(3)，其用于在所述移动设备(2)的环境的第一视角方向(3.1)上记录图像；
路径装置(6)，其被配置为确定所述移动设备(2)在所述环境中的位置路径；
任务装置(7、7')，其用于经由所述输出装置(5)与所述用户进行交互，以使所述用户使用经由所述光学输出装置(5.1)显示的增强现实环境并且基于所述摄像头(3)捕获的所述移动设备(2)的所述环境来解决任务；
认知状态装置(9、9')，其用于基于在用户解决所述任务的同时确定的所述移动设备的所述位置路径来确定所述用户的认知状态；
其特征在于，所述装置(1)还包括：
移动设备(10)中的另一摄像头(4)和/或麦克风(13)，其中所述另一摄像头(4)用于在第二视角方向(4.1)上记录图像，所述麦克风(13)用于记录音频信号，
用户特征装置(8、8')，其用于检测和/或追踪在所述用户解决所述任务的同时由所述另一摄像头(4)记录的图像中的所述用户的至少一个特征，和/或在所述用户解决所述任务的同时由所述麦克风(13)记录的所述音频信号中的所述用户的至少一个特征；
其中，所述认知状态装置(9、9')被配置为进一步基于所述用户的所述至少一个特征来确定所述用户的认知状态。
2.根据前述权利要求所述的装置，其中，所述另一摄像头(4)被配置为在所述用户解决所述任务的同时拍摄一系列的图像，其中，所述用户特征装置(8、8')被配置为在所述一系列的图像中检测所述用户的所述至少一个特征，并且确定在所述一系列的图像中检测到的所述至少一个特征的时间序列，其中，所述认知状态装置(9、9')被配置为进一步基于所述用户的所述至少一个特征的时间序列确定所述用户的认知状态。
3.根据前述权利要求中的一项所述的装置，其中，在所述用户解决所述任务的同时由所述另一摄像头(4)记录的所述图像中检测到的和/或追踪到的所述用户的所述至少一个特征包括所述用户的眼睛的瞳孔扩张。
4.根据前述权利要求中的一项所述的装置，其中，采样窗口包括随时间的多个采样步长，其中，所述路径装置(6)被配置为在每个采样步长中记录所述移动设备(2)的至少一个位置，其中，所述另一摄像头(4)被配置为在每个采样步长中记录至少一个图像，其中，所述用户特征装置(8、8')被配置为针对每个采样步长检测由所述另一摄像头(4)在所述采样步长中记录的所述至少一个图像中的所述用户的所述至少一个特征，其中，所述认知状态装置(9、9')被配置为基于所述采样窗口中的时间序列来确定用户的认知状态，所述采样窗口包括针对每个采样步长的采样点，所述采样点是基于在所述采样步长中检测到的所述用户的所述至少一个特征的，并且是基于所述采样步长中确定的所述移动设备(2)的所述至少一个位置的。
5.根据前述权利要求中的一项所述的装置，其中，所述光学输出装置(5.1)包括布置在所述移动设备(2)的第一侧上的显示器，其中，所述另一摄像头(4)被布置在所述移动设备(2)的第一侧上和/或布置成使得所述第二视角方向示出与所述显示器的表面法线向量的方向相同的方向，其中，所述摄像头(3)被布置在所述移动设备(2)的与所述第一侧相对的第二侧上和/或布置成使得所述第一视角方向示出与所述显示器的表面法线向量的方向相反的方向。
6.根据前述权利要求中的一项所述的装置，其中，所述移动设备(2)是便携式手持移动设备(2)。
7.根据前述权利要求中的任一项所述的装置，其中，所述任务装置(7)被配置为经由所述输出装置(5)与所述用户交互，以使所述用户在所述环境中与所述移动设备(2)同行。
8.根据前述权利要求中的任一项所述的装置，其中，所述任务装置(7)被配置为在所述增强现实环境中定义至少一个目标位置，并针对所述至少一个目标位置中的每一个执行以下步骤：
邀请所述用户在所述增强现实环境中找到相应的目标位置；
在所述用户已经将所述移动设备(2)移动到环境中的位置的情况下，认为在所述增强现实环境中找到所述相应的目标位置，其中所述至少一个目标位置由所述摄像头(3)捕获并在特定条件下能够显示在所述光学输出装置(5.1)上。
9.根据前述权利要求所述的装置，其中，所述任务装置(7、7')被配置为基于所述移动设备(2)的用户输入来定义所述增强现实环境中的所述至少一个目标位置。
10.根据权利要求8或9所述的装置，其中，所述至少一个目标位置包括至少两个目标位置，其中，所述任务装置(7、7')被配置为：
在所述相应的目标位置在所述增强现实环境中被定义和/或显示的情况下，将所述至少两个目标位置中的每一个与通过所述输出装置(5)被输出给用户的不同特征相关联，其中，通过所述输出装置(5)输出与所述增强现实环境中的所述至少两个目标位置中的一个目标位置相关联的特征，邀请所述用户找到所述一个目标位置，和/或
连续地邀请所述用户找到所述至少两个目标位置，使得在认为找到所述至少两个目标位置中的一个之后，邀请所述用户找到所述至少两个目标位置中的后续的一个。
11.根据前述权利要求在的一项所述的装置，其中，所述任务装置(7、7')被配置为经由所述输出装置(5)发出多个刺激，用于在所述用户解决所述任务的同时和/或在找到所述至少一个目标位置中的每一个的同时分散用户的注意力。
12.根据前述权利要求所述的装置，其中，所述任务装置(7、7')被配置为在每次刺激之后要求所述用户解决子任务，然后继续解决所述任务和/或继续找到被邀请找到的所述相应的目标位置。
13.根据前述权利要求所述的装置，包括用户输入装置(10)，其中，所述任务装置(7、7')被配置为当在所述用户输入装置(10)上接收到特定用户输入时，认为解决了所述子任务。
14.根据前述权利要求中的一项所述的装置，其中，所述认知状态是关于至少一个脑部疾病或脑部损伤的健康状态。
15.一种用于确定移动设备(2)的用户的认知状态的计算机程序，包括指令，当所述指令在所述移动设备(2)的处理器上被执行时，所述指令被配置为执行以下步骤：
经由所述移动设备(2)的输出装置(5)与所述用户交互，以使所述用户使用增强现实环境解决任务，其中，所述增强现实环境经由所述输出装置(5)的光学输出装置(5.1)显示，并且所述增强现实环境是基于由所述移动设备(2)的摄像头(3)捕获的所述移动设备(2)的环境的，其中，所述摄像头(3)被布置在所述移动设备(2)中，用于在所述移动设备(2)的环境的第一视角方向(3.1)上记录图像；
在所述用户利用所述移动设备(2)解决任务时，接收所述移动设备(2)的位置路径；
接收从在所述用户利用所述移动设备(2)解决所述任务的情况下通过所述移动设备(2)的另一摄像头(4)记录的图像，和/或在所述用户利用所述移动设备(2)解决所述任务的情况下通过麦克风记录的音频信号中的至少一个中提取的至少一个用户特征，
其中，所述另一摄像头(4)被布置在所述移动设备(2)中，用于在第二视角方向(4.1)上记录图像；
基于接收到的所述移动设备(2)的位置路径和接收到的所述至少一个用户特征来确定所述用户的认知状态。
16.一种用于确定移动设备(2)的用户的认知状态的方法，包括以下步骤：
所述移动设备(2)经由所述移动设备(2)的输出装置(5)与所述用户交互，以使所述用户使用增强现实环境解决任务，其中，所述增强现实环境经由所述输出装置(5)的光学输出装置(5.1)显示，并且所述增强现实环境是基于由所述移动设备(2)的摄像头(3)捕获的所述移动设备(2)的环境的，其中，所述摄像头(3)被布置在所述移动设备(2)中，用于在所述移动设备(2)的环境的第一视角方向(3.1)上记录图像；
在所述用户通过所述移动设备(2)解决所述任务的同时，确定由所述移动设备(2)执行的位置路径；
在所述用户通过所述移动设备(2)解决任务的同时，通过所述移动设备(2)的另一摄像头(4)记录图像，其中，所述另一摄像头(4)被布置在所述移动设备(2)中，用于在第二视角方向(4.1)上记录图像，和/或在所述用户通过所述移动设备(2)解决所述任务的同时，通过所述移动设备(2)的麦克风(13)记录音频信号，
基于记录的图像和/或音频信号，确定随时间的至少一个用户特征；
基于确定的所述移动设备(2)的位置路径和确定的随时间的所述至少一个用户特征来确定所述用户的认知状态。
CN201980058304.4A 2018-09-05 2019-09-04 用于确定移动设备的用户的认知状态的装置、方法和程序 Pending CN112673608A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18192686.6 2018-09-05
EP18192686 2018-09-05
EP19174607.2 2019-05-15
EP19174607.2A EP3621276A1 (en) 2018-09-05 2019-05-15 Apparatus, method and program for determining a cognitive state of a user of a mobile device
PCT/IB2019/057436 WO2020049470A1 (en) 2018-09-05 2019-09-04 Apparatus, method and program for determining a cognitive state of a user of a mobile device

Publications (1)

Publication Number Publication Date
CN112673608A true CN112673608A (zh) 2021-04-16

Family

ID=63528524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980058304.4A Pending CN112673608A (zh) 2018-09-05 2019-09-04 用于确定移动设备的用户的认知状态的装置、方法和程序

Country Status (11)

Country Link
US (1) US20210196174A1 (zh)
EP (2) EP3621276A1 (zh)
JP (2) JP7504476B2 (zh)
KR (1) KR20210055074A (zh)
CN (1) CN112673608A (zh)
AU (1) AU2019334195A1 (zh)
BR (1) BR112021003953A2 (zh)
CA (1) CA3111974A1 (zh)
IL (1) IL281249A (zh)
MX (1) MX2021002562A (zh)
WO (1) WO2020049470A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210159979A1 (en) * 2019-11-25 2021-05-27 Eugene M. ODonnell Method and apparatus for optical communication
WO2022162601A1 (en) 2021-01-28 2022-08-04 Altoida Inc. Apparatus, method and computer program for providing information relating to a cognitive state of an individual
US20220400994A1 (en) * 2021-06-16 2022-12-22 Microsoft Technology Licensing, Llc Video-based physiological sensing integrated into virtual conferences
WO2022263974A1 (en) 2021-06-17 2022-12-22 Altoida, Inc. Method and system for obtaining measurement of cognitive performance
CN113810133B (zh) * 2021-09-29 2023-08-18 上海兴容信息技术有限公司 一种用户活动状态的识别方法和系统
KR102395234B1 (ko) * 2021-09-30 2022-05-09 주식회사 인피아이 음주상태 예측시스템 및 예측방법
US20240079031A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Authoring tools for creating interactive ar experiences
US12073011B2 (en) 2022-09-01 2024-08-27 Snap Inc. Virtual interfaces for controlling IoT devices
US20240077983A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Interaction recording tools for creating interactive ar stories
US12045383B2 (en) 2022-09-01 2024-07-23 Snap Inc. Virtual AR interfaces for controlling IoT devices using mobile device orientation sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017127571A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
WO2018081134A1 (en) * 2016-10-24 2018-05-03 Akili Interactive Labs, Inc. Cognitive platform configured as a biomarker or other type of marker

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090298025A1 (en) * 2007-05-09 2009-12-03 Oregon Health & Science University Object recognition testing tools and techniques for measuring cognitive ability and cognitive impairment
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
JP6721818B2 (ja) * 2016-04-05 2020-07-15 渡 倉島 瞳孔径拡大による脳活動量判定装置およびプログラム
EP3472828B1 (en) * 2016-06-20 2022-08-10 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
JP2018015139A (ja) * 2016-07-26 2018-02-01 ヤンマー株式会社 認知症検査システム
JP6579584B2 (ja) * 2016-08-23 2019-09-25 株式会社Ｍｓｄ 処置評価システムおよびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017127571A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
WO2018081134A1 (en) * 2016-10-24 2018-05-03 Akili Interactive Labs, Inc. Cognitive platform configured as a biomarker or other type of marker

Also Published As

Publication number Publication date
CA3111974A1 (en) 2020-03-12
US20210196174A1 (en) 2021-07-01
EP3621276A1 (en) 2020-03-11
JP2022500801A (ja) 2022-01-04
BR112021003953A2 (pt) 2021-05-25
KR20210055074A (ko) 2021-05-14
EP3847795A1 (en) 2021-07-14
MX2021002562A (es) 2021-09-08
AU2019334195A1 (en) 2021-03-25
JP2024073551A (ja) 2024-05-29
WO2020049470A1 (en) 2020-03-12
IL281249A (en) 2021-04-29
JP7504476B2 (ja) 2024-06-24

Similar Documents

Publication Publication Date Title
CN112673608A (zh) 用于确定移动设备的用户的认知状态的装置、方法和程序
US11563700B2 (en) Directional augmented reality system
US10521014B2 (en) Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
EP2891954B1 (en) User-directed personal information assistant
US8885882B1 (en) Real time eye tracking for human computer interaction
CN110167421A (zh) 整体地测量视觉功能的临床参数的系统
US10089791B2 (en) Predictive augmented reality assistance system
CN101453938B (zh) 图像记录装置
US10514752B2 (en) Methods and apparatus to determine objects to present in virtual reality environments
JP7064952B2 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2020121382A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230027320A1 (en) Movement Disorder Diagnostics from Video Data Using Body Landmark Tracking
JP2019202131A (ja) 情報処理装置、情報処理方法およびプログラム
US20220160260A1 (en) System and method for measuring biomedical signal
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
CN111933277A (zh) 3d眩晕症的检测方法、装置、设备和存储介质
WO2023042343A1 (ja) 手指の動きを計測処理する計測処理端末、方法およびコンピュータプログラム
US20240203065A1 (en) Apparatus, method and computer program for providing information relating to a cognitive state of an individual
JP2007133531A (ja) 注目状態検出装置、及び注目状態検出方法
US10971174B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable recording medium
WO2022258647A1 (en) Method and device for determining a visual performance
WO2023244267A1 (en) Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device
JP2019204503A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220302

Address after: Washington, DC

Applicant after: Ottoda Co.

Address before: Luzern Switzerland

Applicant before: Ottoda Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210416