CN116453679A - 基于混合测试识别痴呆症的技术 - Google Patents

基于混合测试识别痴呆症的技术 Download PDF

Info

Publication number
CN116453679A
CN116453679A CN202211681419.9A CN202211681419A CN116453679A CN 116453679 A CN116453679 A CN 116453679A CN 202211681419 A CN202211681419 A CN 202211681419A CN 116453679 A CN116453679 A CN 116453679A
Authority
CN
China
Prior art keywords
task
information
user
dementia
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211681419.9A
Other languages
English (en)
Inventor
金浩永
金建何
金甫熙
金东汉
黄慧彬
朴灿永
崔池安
金保利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haii Corp
Original Assignee
Haii Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haii Corp filed Critical Haii Corp
Publication of CN116453679A publication Critical patent/CN116453679A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08—Elderly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Neurology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)

Abstract

本发明实施例公开的痴呆症识别方法由装置的至少一个处理器执行。上述痴呆症识别方法包括如下步骤：执行第一任务(task)，使得用户终端显示包括文章在内的第一画面；执行第二任务，使得上述用户终端代替上述第一画面显示移动对象来获得包括用户眼睛在内的影像；以及执行第三任务，使得上述用户终端显示隐藏上述文章的第二画面来获得录音文件，上述第一任务可包括子任务，使组成上述第一画面所包括的上述文章的至少一个文节的颜色依次变更。

Description

基于混合测试识别痴呆症的技术
技术领域
本发明涉及基于混合测试识别痴呆症的技术，具体地，涉及利用通过混合测试获得的数字生物标记物识别痴呆症的装置及其方法。
背景技术
阿尔茨海默病(AD，Alzheimer's Disease)作为随着衰老产生的脑部疾病，将导致进行性记忆障碍、认知缺陷、个人性格变化等。而且，痴呆症(dementia)是指正常生活的人因多种原因引起的大脑功能受损而导致整体认知能力持续下降的状态。其中，认知能力是指记忆力、语言能力、时空间掌握能力、判断能力及抽象思维能力等多种智力，各个认知能力与大脑的特定部位密切相关。最常见的痴呆症为阿尔茨海默病。
用于诊断阿尔茨海默病、痴呆症或轻度认知障碍的方法有多种。例如，已知有利用嗅觉组织的miR-206的表达水平诊断阿尔茨海默病或轻度认知障碍的方法、利用血液内特征性增加的生物标志物诊断痴呆症的方法。
但是，为了利用嗅觉组织的miR-206而需要用于组织检测的特殊设备或进行检验，而且，为了利用血液内的生物标记物而需要通过侵入方式采集患者的血液，因此，存在患者的反感相对较大的缺点。
所以，当前急需开发在没有特殊设备或进行检验的情况下几乎不会使患者感到反感的痴呆症诊断方法。
现有技术文献
专利文献
韩国专利申请号10-2019-0135908(申请日：2019年02月01日)
发明内容
本发明用于解决上述问题及其他问题。本发明的目的在于，提供通过使患者不会感到反感的方法精确诊断痴呆症的方法。
本发明所要实现的目的并不限定于以上提及的目的，本发明所属技术领域的普通技术人员可通过以下记载内容明确理解未提及的其他目的。
本发明实施例的痴呆症识别方法由装置的至少一个处理器执行，上述痴呆症识别方法包括如下步骤：执行第一任务(task)，使得用户终端显示包括文章在内的第一画面；执行第二任务，使得上述用户终端代替上述第一画面显示移动对象来获得包括用户眼睛在内的影像；以及执行第三任务，使得上述用户终端显示隐藏上述文章的第二画面来获得录音文件，上述第一任务可包括子任务，使组成上述第一画面所包括的上述文章的至少一个文节的颜色依次变更。
根据本发明实施例，上述痴呆症识别方法还可包括如下步骤：向痴呆症识别模型输入通过分析上述影像获得的有关上述用户视线变化的第一信息及通过分析上述录音文件获得的第二信息；以及基于上述痴呆症识别模型输出的分数值确定是否患有痴呆症。
根据本发明实施例，上述第一信息可包括精确度信息、延迟(latency)信息及速度信息中的至少一个，上述精确度信息基于上述用户的眼睛所移动的距离和上述移动对象所移动的距离来计算，上述延迟信息基于上述移动对象开始移动的时间点和上述用户的上述眼睛开始移动的时间点来计算，上述速度信息与上述用户的眼睛的移动速度相关。
根据本发明实施例，上述第二信息可包括第一相似度信息及语音分析信息中的至少一个，上述第一相似度信息为通过语音识别技术转换上述录音文件的文本数据与原文数据之间的相似度，上述语音分析信息为通过上述录音文件分析的用户的语音分析信息。
根据本发明实施例，上述第一相似度信息可包括工作次数相关信息，上述工作次数相关信息为通过插入工作、删除工作及替换工作中的至少一种工作将上述文本数据转换为上述原文数据时执行的工作次数。
根据本发明实施例，上述语音分析信息可包括语速信息及响应速度信息中的至少一个，上述语速信息为上述用户说话的速度，上述响应速度信息为基于显示上述第二画面的第一时间点和开始录音上述录音文件的第二时间点计算的响应速度。
根据本发明实施例，上述第一画面还包括录音按钮，上述第一任务包括：第一子任务，使得上述用户终端在未激活上述录音按钮的触控输入的状态下，在预设时间期间显示上述第一画面；以及第二子任务，在经过上述预设时间的情况下，激活对于上述第一画面所包括的录音按钮的触控输入，在上述第二子任务后，上述子任务可通过对于上述第一画面所包括的录音按钮的触控输入来执行。
根据本发明实施例，上述第一任务还可包括：第四子任务，通过上述触控输入获得储备录音文件；第五子任务，通过分析上述储备录音文件来确定是否能够分析语音；以及第六子任务，在确定无法分析上述语音的情况下，使得上述用户终端输出预设警报。
根据本发明实施例，上述第五子任务可包括如下工作，基于第二相似度信息确定是否能够分析语音，上述第二相似度信息为通过语音识别技术转换上述储备录音文件的储备文本数据与原文数据之间的相似度。
根据本发明实施例，上述第二相似度信息可包括工作次数相关信息，上述工作次数相关信息为通过插入工作、删除工作及替换工作中的至少一种工作将上述储备文本数据转换为上述原文数据时执行的工作次数。
根据本发明实施例，上述第五子任务可执行如下工作，当上述工作次数大于预设值时，确定无法分析上述语音。
根据本发明实施例，上述移动对象可沿着预设路径来按照预设速度朝向特定方向移动。
根据本发明实施例，上述痴呆症识别方法还包括如下步骤，按照预设轮次(round)执行上述第一任务、上述第二任务及上述第三任务，上述预设速度及上述特定方向中的至少一个和上述文章可随着轮次的变更而变化。
本发明实施例的计算机程序存储在计算机可读存储介质，当装置的至少一个处理器执行上述计算机程序时，执行痴呆症识别步骤，上述痴呆症识别步骤包括如下步骤：执行第一任务(task)，使得用户终端显示包括文章在内的第一画面；执行第二任务，使得上述用户终端代替上述第一画面显示移动对象来获得包括用户眼睛在内的影像；以及执行第三任务，使得上述用户终端显示隐藏上述文章的第二画面来获得录音文件，上述第一任务可包括子任务，使组成上述第一画面所包括的上述文章的至少一个文节的颜色依次变更。
本发明实施例的痴呆症识别装置包括：存储部，用于存储至少一个程序指令；以及至少一个处理器，用于执行上述至少一个程序指令，上述至少一个处理器执行如下步骤：执行第一任务(task)，使得用户终端显示包括文章在内的第一画面；执行第二任务，使得上述用户终端代替上述第一画面显示移动对象来获得包括用户眼睛在内的影像；以及执行第三任务，使得上述用户终端显示隐藏上述文章的第二画面来获得录音文件，上述第一任务可包括子任务，使组成上述第一画面所包括的上述文章的至少一个文节的颜色依次变更。
本发明所要实现的技术方案并不限定于以上提及的方案，本发明所属技术领域的普通技术人员可通过以下记载内容明确理解未提及的其他技术方案。
以下，对本发明的痴呆症识别技术相关效果进行说明。
根据本发明实施例，可通过使患者不会感到反感的方法精确诊断痴呆症。
可通过本发明获得的效果并不限定于以上提及的效果，本发明所属技术领域的普通技术人员可通过以下记载内容明确理解未提及的其他效果。
附图说明
以下，参照附图说明本发明多个实施例，其中，相似的附图标记概括表示相似的结构要素。在以下实施例中，为了说明层面上的便利性，多个特定细节用于整体理解一个以上实施例而提供。但应当理解的是，这种实施例也可在没有这种具体细节的前提下实施。
图1为用于说明本发明实施例的痴呆症识别系统的简图。
图2为用于说明本发明实施例的用于获得识别痴呆症所需的数字生物标记物的方法一例的流程图。
图3为用于说明本发明实施例的使得用户眼睛具备几何特征的方法一例的图。
图4为用于说明本发明实施例的显示包括文章的第一画面的方法一例的图。
图5为用于说明本发明实施例的通过获得储备录音文件来确定可分析语音状态的方法一例的流程图。
图6为用于说明本发明实施例的显示移动对象的方法一例的图。
图7为用于说明本发明实施例的通过显示隐藏文章的第二画面来获得录音文件的方法一例的图。
图8为用于说明本发明实施例的利用有关用户视线变化的第一信息及通过分析录音文件获得的第二信息识别用户是否患有痴呆症的方法一例的流程图。
具体实施方式
以下，参照附图详细说明有关本发明的装置及装置控制方法的多个实施例，与附图标记并无关联，对于相同或相似的结构要素赋予了相同的附图标记，因此，将省略对其的重复说明。
本发明的目的、效果及实现它们的技术结构可通过参照附图一并说明的实施例变得更加明确。在说明本发明多个实施例的过程中，当判断有关公知技术的具体说明有可能不必要地混淆本发明多个实施例的主旨时，将省略其详细说明。
本发明的术语作为考虑本发明中的功能而定义的术语，可基于使用人员、操作人员的意图或惯例等产生变化。并且，附图仅用于方便理解本发明的一个以上实施例，本发明的技术思想并不限定于附图，应理解为包括本发明的思想及技术范围内的所有变更、等同技术方案、代替技术方案。
在以下说明中，对于结构要素的后缀词“模块”及“部”仅为考虑编写本发明的便利性而赋予或混合使用的，其本身并没有相互区分的含义或作用。
虽然“第一”或“第二”等术语可用于说明多种结构要素，但是，上述结构要素并不限定于上述术语。上述术语仅用于对一个结构要素和其他结构要素进行区分。因此，以下提及的第一结构要素也可在本发明的技术思想范围内成为第二结构要素。
除非在文脉上明确表示其他含义，否则单数的表达包括复数的表达。即，除非另有说明或在文脉上未明确表示成单数，否则本发明和权利要求中的单数通常应解释为“一个或一个以上”的含义。
在本说明书中，“包括”、“包含”或“具备”等术语仅用于指定本说明书中所记载的特征、数字、步骤、工作、结构要素、部件或它们的组合的存在，并不预先排除一个或一个以上的其他特征、数字、步骤、工作、结构要素、部件或它们的组合的存在或附加可能性。
在本说明书中，术语“或”为内置含义的“或”，而并非排他含义的“或”。即，除非另有说明或在文脉上未明确表示的情况下，“X利用A或B”表示自然内置取代中的一种含义。即，表示“X利用A或X利用B或X利用A及B”的情况，“X利用A或B”可用于其中任一情况。并且，在本说明书中，应将所使用的术语“和/或”理解为包括可组合相关列出项目中的一个以上项目的所有组合。
在本说明书中，所使用的术语“信息”及“数据”可相互交换使用。
除非另有定义，否则在此使用的所有术语(包括技术术语及科学术语在内)与本发明所属技术领域的普通技术人员通常理解的含义相同。并且，除非在本说明书中明确定义，一般使用的词典中定义的术语不应过度解释。
然而，本发明并不限定于以下公开的实施例，可通过不同实施方式实现。本发明实施例仅用于本发明所属技术领域的普通技术人员能够完全理解本发明的范畴而提供，本发明仅限定于权利要求的范畴。因此，应基于本说明书的全文内容加以定义。
根据本发明实施例，装置的至少一个处理器(以下，称为“处理器”)可利用痴呆症识别模型确定用户是否患有痴呆症。具体地，处理器可向痴呆症识别模型输入第一信息及第二信息来获得分数值，上述第一信息为通过分析包括用户眼睛在内的影像来获得的有关用户视线变化的信息，上述第二信息通过对基于记忆文章测试获得的录音文件进行分析来获得。而且，处理器可基于分数值确定用户是否患有痴呆症。以下，参照图1至图8说明痴呆症识别方法。
图1为用于说明本发明实施例的痴呆症识别系统的简图。
参照图1，痴呆症识别系统可包括痴呆症识别装置100及识别痴呆症所需的用户的用户终端200。而且，装置100与用户终端200可通过有线网络/无线网络300连接通信。但是，在实现痴呆症识别系统的层面上，组成图1所示系统的结构要素并非必不可少，相比于以上提及的结构要素，可具有更多或更少的结构要素。
本发明的装置100可通过有线网络/无线网络(wire/wireless network)300与用户终端200配对或连接(pairing or connecting)，由此，可收发规定数据。在此情况下，通过有线网络/无线网络300收发的数据可在收发前转换(converting)。其中，“有线网络/无线网络300”是指用于装置100与用户终端200之间的配对和/或为了收发数据而支持多种通信标准和通信协议的通信网络。这种有线网络/无线网络300包括当前或将来根据标准支持的所有通信网络，并且，可支持用于其的一种或一种以上的所有通信协议。
痴呆症识别装置100可包括处理器110、存储部120及通信部130。在实现装置100的层面上，图1所示的结构要素并非必不可少，因此，相比于以上提及的结构要素，本发明说明的装置100可包括更多或更少的结构要素。
在本发明的装置100中，根据实际实现的装置100规格，各个结构要素可被集成、添加或省略。即，根据需求，两个以上的结构要素可结合成一个结构要素或一个结构要素可分化成两个以上的结构要素。并且，各个模块执行的功能仅用于说明本发明实施例，其具体工作或装置并不限定本发明的发明要求保护范围。
本发明的装置100可包括执行发送和接收数据(data)、内容(content)、服务(service)及应用程序(application)等中的一项以上的所有设备。但并不限定于此。
例如，本发明的装置100可包括服务器(server)、个人计算机(PC，PersonalComputer)、微型处理器、大型计算机、数字处理器、设备控制器等固定型设备(standingdevice)及智能手机(Smart Phone)、平板电脑(Tablet PC)、笔记本电脑(Notebook)等移动设备(mobile device or handheld device)。但并不限定于此。
在本发明中，“服务器”为多种用户终端，即，是指通过客户端(client)提供数据或从客户端接收数据的装置或系统。例如，服务器可包括提供网页(web page)、网页内容或网页服务(web content or web service)的网页服务器(Web server)或门户服务器(portalserver)、提供广告数据(advertising data)的广告服务器(advertising server)、提供内容的内容服务器(content server)、提供社交网络服务(SNS，Social Network Service)的社交网络服务器、制造商(manufacturer)提供的服务服务器(service server)、用于提供视频点播(VoD，Video on Demand)或流式传输(streaming)服务的多通道视频节目分配器(MVPD，Multichannel Video Programming Distributor)、提供付费服务(pay service)的服务服务器等。
在本发明中，在被命名为装置100的情况下，其含义根据文脉是指服务器，但是，也可意味着固定型设备或移动设备，除非另有说明，否则也可包括所有含义。
在通常情况下，除应用程序相关工作外，处理器110可控制装置100的整体工作。处理器110可对通过装置100的结构要素输入或输出的信号、数据、信息等进行处理，或者，可通过驱动存储在存储部120的应用程序来提供或处理适当信息或功能。
为了驱动存储在存储部120的应用程序，处理器110可控制装置100的结构要素中的至少一部分。而且，为了驱动应用程序，处理器110可组合装置100包括的两个以上结构要素进行工作。
处理器110可由一个以上芯组成，可以为多种常用处理器中的任意处理器。例如，处理器110可包括装置的中央处理器(CPU，Central Processing Unit)、通用图形处理器(GPUGP，General Purpose Graphics Processing Unit)、张量处理器(TPU，TensorProcessing Unit)等。但并不限定于此。
本发明的处理器110可由双处理器或其他多处理器架构组成。但并不限定于此。
处理器110可读取存储在存储器120的计算机程序并利用本发明实施例的痴呆症识别模型来识别用户是否患有痴呆症。
存储部120可存储支持装置100的多种功能的数据。存储部120可存储装置100驱动的多个应用程序(application program)或应用(application)、用于装置100工作的多种数据、多个指令、多个程序指令。这种应用程序中的至少一部分可通过无线通信从外部服务器下载。并且，为了实现装置100的基本功能，这种应用程序中的至少一部分可从出厂时就存在于装置100上。另一方面，应用程序存储在存储部120并设置在装置100上，可通过处理器110执行装置100的工作(或功能)。
存储部120可存储由处理器110生成或确定的任何类型的信息及通过通信部130接收的任何类型的信息。
存储部120可包括闪存型(flash memory type)、硬盘型(hard disk type)、固态盘型(SSD，Solid State Disk type)、硅磁盘驱动器型(SDD，Silicon Disk Drive type)、微型多媒体记忆卡(multimedia card micro type)、卡型的存储器(例如，SD卡或XD卡等)、随机存取存储器(RAM，random access memory)、静态随机存取存储器(SRAM，staticrandom access memory)、只读存储器(ROM，read-only memory)、带电可擦可编程只读存储器(EEPROM，electrically erasable programmable read-only memory)、可编程只读存储器(PROM，programmable read-only memory))、磁存储器、磁盘及光盘中的至少一种存储介质。装置100也可通过在互联网(internet)上执行存储部120的存储功能的网络存储进行工作。
通信部130可包括使得装置100与有线通信/无线通信系统之间、装置100与其他装置之间或装置100与外部服务器之间能够进行有线通信/无线通信的一个以上模块。并且，通信部130可包括使得装置100连接一个以上网络的一个以上模块。
通信部130是指用于有线网络连接/无线网络连接的模块，可内置或外置在装置100。通信部130可收发有线信号/无线信号。
通信部130可在用于移动通信的技术标准或通信方式(例如，GSM(Global Systemfor Mobile communication)、CDMA(Code Division Multi Access)、CDMA2000(CodeDivision Multi Access 2000)、EV-DO(Enhanced Voice-Data Optimized or EnhancedVoice-Data Only)、WCDMA(Wideband CDMA)、HSDPA(High Speed Downlink PacketAccess)、HSUPA(High Speed Uplink Packet Access)、LTE(Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)等构建的移动通信网上与基站、外部终端及服务器中的一个收发无线信号。
例如，作为无线网络技术可利用WLAN(Wireless LAN)、Wi-Fi(Wireless-Fidelity)、Wi-Fi(Wireless Fidelity)Direct、DLNA(Digital Living NetworkAlliance)、WiBro(Wireless Broadband)、WiMAX(World Interoperability forMicrowave Access)、HSDPA(High Speed Downlink Packet Access)、HSUPA(High SpeedUplink Packet Access)、LTE(Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)等。但是，通信部130可通过包括以上未示出的网路技术范围内的至少一种无线网络技术收发数据。
并且，通信部130也可通过近距离通信(Short range communication)收发信号。例如，通信部130可利用蓝牙(BluetoothTM)、RFID(Radio Frequency Identification)、红外通信(IrDA，Infrared Data Association)、UWB(Ultra Wideband)、ZigBee、NFC(NearField Communication)、Wi-Fi(Wireless-Fidelity)、Wi-Fi Direct、Wireless USB(Wireless Universal Serial Bus)中的至少一种技术执行近距离通信。通信部130可通过近距离通信网(Wireless Area Networks)支持无线通信。近距离无线通信网可以为近距离无线个人通信网(Wireless Personal Area Networks)。
本发明实施例的装置100可通过通信部130使得用户终端200与有线网络/无线网络300相连接。
在本发明中，用户终端200可通过有线网络/无线网络(wire/wireless network)300与存储痴呆症识别模型的装置100配对或连接(pairing or connecting)，由此，可收发并显示规定数据。
本发明的用户终端200可包括执行发送、接收及显示数据(data)、内容(content)、服务(service)及应用程序(application)等中的一项以上的所有设备。而且，用户终端200是指需确认痴呆症的用户终端。但并不限定于此。
例如，本发明的用户终端200可包括手机、智能手机(smart phone)、平板电脑(tablet PC)、超极本(ultrabook)等移动终端(mobile device)。但并不限定于此，用户终端200还可包括个人计算机(PC，Personal Computer)、微型处理器、大型计算机、数字处理器、设备控制器等固定型设备(standing device)。
用户终端200可包括处理器210、存储部220、通信部230、影像获取部240、显示部250、声音输出部260及声音获取部270。在实现用户终端200的层面上，图1所示的结构要素并非必不可少，相比于以上提及的结构要素，本发明的用户终端200可具有更多或更少的结构要素。
在本发明的用户终端200中，根据实际实现的用户终端200规格，各个结构要素可被集成、添加或省略。即，根据需求，两个以上的结构要素可结合成一个结构要素或一个结构要素可分化成两个以上的结构要素。并且，各个模块执行的功能仅用于说明本发明实施例，其具体工作或装置并不限定本发明的发明要求保护范围。
用户终端200的处理器210、存储部220及通信部230与装置100的处理器110、存储部120及通信部130属于相同结构要素，因此，将省略重复说明，并且，以下着重说明不同之处。
在本发明中，用户终端200的处理器210可控制显示部250显示用于混合测试的画面，以便识别痴呆症。其中，混合测试可意味着第一测试及第二测试的结合，上述第一测试用于获得有关用户视线变化的第一信息，上述第二测试用于获得有关用户语音的第二信息。但并不限定于此。
具体地，处理器210可控制显示部250依次显示第一画面及第二画面，上述第一画面包括文章，供用户记忆文章，上述第二画面用于获得用户记忆的文章。而且，处理器210可控制显示部250显示移动对象，以在显示第二画面之前获得有关用户视线变化的第一信息。但并不限定于此。对此，以下将参照图2详细说明。
另一方面，为了执行利用痴呆症识别模型的运算而需要高处理速度及高运算能力，因此，痴呆症模型仅存储在装置100的存储部120，可未存储在用户终端200的存储部220。但并不限定于此。
影像获取部240可包括一个或多个摄像头。即，用户终端200可以为在前表面或后表面中的至少一个包括一个或多个摄像头的装置。
影像获取部240可处理通过图像传感器获得的静态影像或动态影像等的图像帧。被处理的图像帧可显示在显示部250或存储在存储部220。另一方面，设置在用户终端200的影像获取部240可使得多个摄像头匹配形成矩阵结构。可通过以这种方式形成矩阵结构的摄像头来使得用户终端200接收具有多种角度或焦点的多个影像信息。
本发明的影像获取部240可包括沿着至少一个线排列而成的多个镜头。多个镜头可被排列成行列(matrix)形式。这种摄像头可被命名为阵列摄像机。若影像获取部240为阵列摄像机，则可利用多个镜头按照多种方式拍摄影像，而且，可获得更高质量的影像。
根据本发明实施例，影像获取部240可通过在用户终端200显示移动对象来获得包括用户终端的用户眼睛在内的影像。
显示部250可显示(输出)用户终端200处理的信息。例如，显示部250可显示用户终端200驱动的应用程序的运行画面信息或基于这种运行画面信息的用户界面(UI，UserInterface)、图形用户界面(GUI，Graphic User Interface)信息。
显示部250可包括液晶显示器(LCD，liquid crystal display)、薄膜晶体管液晶显示器(TFT LCD，thin film transistor-liquid crystal display)、有机发光二极管(OLED，organic light-emitting diode)、软性显示器(flexible display)、三维显示器(3D display)、电子墨水显示器(e-ink display)中的至少一个。但并不限定于此。
在处理器210的控制下，本发明的显示部250可显示包括文章的第一画面、包括移动对象的画面或隐藏上述文章的第二画面。
声音输出部260可输出从通信部230接收或存储在存储部220的音频数据(或声音数据)。声音输出部260也可输出与用户终端200执行的功能相关的声音信号。
声音输出部260可包括接收器(receiver)、扬声器(speaker)、蜂鸣器(buzzer)等。即，声音输出部260可以为接收器(receiver)，也可以为扩音器(loud speaker)。但并不限定于此。
根据本发明实施例，声音输出部260可通过执行第一任务、第二任务或第三任务来输出预设声音(例如，对用户通过第一任务、第二任务或第三任务执行的工作进行说明的语音)。但并不限定于此。
声音获取部270可将外部的声音信号处理为电声音数据。被处理的声音数据可基于用户终端200正在执行的功能(或正在运行的应用程序)产生多种用途。另一方面，声音获取部270可实现多种噪音消除算法，以便消除从外部接收声音信号的过程中产生的噪音(noise)。
在本发明中，在处理器210的控制下，声音获取部270可通过显示第一画面或第二画面来获得录音用户语音的录音文件。但并不限定于此。
根据本发明实施例，可在用户终端显示预设画面来获得用于识别痴呆症的数字生物标记物(从数字设备获得的生物标记物)。对此，以下参照图2详细说明。
图2为用于说明本发明实施例的用于获得识别痴呆症所需的数字生物标记物的方法一例的流程图。在以下对于图2的说明中，将省略参照图1说明的重复内容并着重说明不同之处。
参照图2，装置100的处理器110可执行第一任务，使得用户终端200显示包括文章在内的第一画面(步骤S110)。
作为一例，装置100的存储部120可存储有多个文章。其中，多个文章可以为利用不同单词按照六何原则生成的文章。而且，多个文章的长度可互不相同。处理器110可控制通信部130向用户终端200传输从存储在存储部120的多个文章中选择一个文章并显示相应文章的信号。在通过通信部230接收上述信号的情况下，用户终端200的处理器210可控制显示部250显示上述信号包括的文章。
作为再一例，装置100的存储部120可存储有多个单词。其中，多个单词可以为具有不同词性及不同含义的单词。装置100的处理器110可基于预设算法组合多个单词中的至少一部分来生成符合六何原则的文章。处理器110可控制通信部130向用户终端200传输显示生成的文章的信号。在通过通信部230接收上述信号的情况下，用户终端200的处理器210可控制显示部250显示上述信号包括的文章。
作为另一例，用户终端200的存储部220可存储有多个文章。其中，多个文章可以为利用不同单词按照六何原则生成的文章。而且，多个文章的长度可互不相同。装置100的处理器110可向用户终端200传输显示包括文章的画面的信号。在此情况下，用户终端200的处理器210可控制显示部250显示选自存储在存储部120的多个文章中的一个文章。
作为又一例，用户终端200的存储部220可存储有多个单词。其中，多个单词可以为具有不同词性及不同含义的单词。装置100的处理器110可向用户终端200传输显示包括文章的画面的信号。在此情况下，用户终端200的处理器210可基于预设算法组合多个单词中的至少一部分来生成符合六何原则的文章。而且，处理器210可控制显示部250显示生成的文章。
上述示例仅为用于说明本发明的例示，本发明并不限定于上述示例。
另一方面，处理器110可执行第二任务，使得用户终端200代替第一画面显示移动对象来获得包括用户眼睛在内的影像(步骤S120)。用户可凝视显示在用户终端200的显示部250的移动对象进行第一测试。即，处理器110可对通过第二任务获得的包括用户眼睛在内的影像进行分析来获得有关用户视线变化的第一信息。
在本发明中，移动对象可以为沿着预设路径按照预设速度朝向特定方向移动的对象。
预设路径可以为具有余弦波或正弦波的移动路径。但并不限定于此，预设路径可以为具有多种形状(例如，时钟(clock)形状等)的移动路径。
当移动对象移动的速度为20deg/sec至40deg/sec时，可通过刺激用户视线来精确识别用户是否患有痴呆症。因此，预设速度可以为20deg/sec至40deg/sec。但并不限定于此。
特定方向可以为从画面的左侧朝向右侧的方向或从画面的右侧朝向左侧的方向。但并不限定于此。
在本发明中，移动对象可具有预设尺寸的特定形状。例如，对象可以为直径0.2cm的圆形对象。当具有上述尺寸的对象移动时，用户的视线可沿着上述对象顺利移动。
另一方面，处理器110可执行第三任务，使得用户终端显示隐藏文章的第二画面来获得录音文件(步骤S130)。其中，在第二画面隐藏的文章可以与步骤S110中的第一画面所包括的文章相同。因此，待用户记住第一画面显示的文章后，在显示第二画面的情况下，可使得用户说出相应文章的方式进行第二测试。
在本发明中，用户可通过步骤S120执行用于获得用户视线变化的第一测试，可通过步骤S110及步骤S130执行用于获得用户语音的第二测试。当利用通过结合上述第一测试和第二测试的混合测试获得的有关用户视线变化的第一信息及分析录音文件获得的第二信息识别用户是否患有痴呆症时，可提高识别痴呆症的精确度。其中，第一信息和第二信息为能够通过数字设备获得的有关识别痴呆症的生物标记物(数字生物标记物)。
另一方面，根据本发明实施例，在获得有关用户视线变化的第一信息之前，用户终端200可通过显示特定画面来获得包括用户眼睛在内的影像。而且，装置100可通过分析上述影像来获得用户眼睛的几何特征。装置100可通过预先分析用户眼睛的几何特征来精确识别用户视线变化。对此，以下将参照图3进一步详细说明。
图3为用于说明本发明实施例的使得用户眼睛具备几何特征的方法一例的图。在以下对于图3的说明中，将省略参照图1及图2说明的重复内容并着重说明不同之处。
根据本发明实施例，在获得有关用户视线变化的第一信息之前，用户终端200可显示特定画面S，以便获得用户眼睛的几何特征。其中，特定画面S可在图2的步骤S110之前显示，也可在图2的步骤S110与步骤S120之间显示。但并不限定于此。
参照图3，当用户终端200显示特定画面S时，预设对象可分别在多个区域R1、R2、R3、R4、R5显示预设时间。其中，预设对象可具有与图2的步骤S120中显示的移动对象相同的尺寸及形状。即，预设对象可以为直径0.2cm的圆形对象。但并不限定于此。
作为一例，首先，用户终端200的处理器210可控制显示部250，使得预设对象在第一区域R1显示预设时间(例如，3秒～4秒)。接着，处理器210可控制显示部250，使得预设对象在第二区域R2显示预设时间(例如，3秒～4秒)。随后，处理器210可控制显示部250，使得预设对象依次在第三区域R3、第四区域R4及第五区域R5显示预设时间(例如，3秒～4秒)。在此情况下，若预设对象显示在多个区域R1、R2、R3、R4、R5中的一个区域，则预设对象可无法显示在剩余区域。其中，无法显示预设对象的位置顺序并不限定于上述顺序。
当预设对象分别在多个区域R1、R2、R3、R4、R5显示预设时间时，处理器210可通过影像获取部240获得包括用户眼睛在内的影像。而且，可通过分析影像来获得用户眼睛的几何特征。其中，用户眼睛的几何特征作为用于精确识别用户视线变化所需的信息，可包括瞳孔的焦点位置、瞳孔大小及用户眼睛的位置等。但并不限定于此。
作为一例，用户终端200的处理器210可通过分析影像来获得用户眼睛的几何特征。在此情况下，用户终端200的存储部220可存储有基于影像分析计算用户眼睛的几何特征的模型。处理器210可通过向上述模型输入包括用户眼睛在内的影像来获得用户眼睛的几何特征。
作为再一例，当通过影像获取部240获得影像时，用户终端200的处理器210可控制通信部230向装置100传输影像。当通过通信部130接收影像时，装置100的处理器110可通过分析影像来获得用户眼睛的几何特征。在此情况下，装置100的存储部120可存储有基于影像分析计算用户眼睛的几何特征的模型。处理器110可通过向上述模型输入包括用户眼睛在内的影像来获得用户眼睛的几何特征。
根据本发明实施例，当显示预设对象的位置产生变化时，可基于用户的瞳孔位置变化获得用户眼睛的几何特征。但并不限定于此，也可通过多种方法获得用户眼睛的几何特征。
根据本发明实施例，特定画面S可包括通过当前显示的画面通知用户需执行的工作是什么内容的消息M1。例如，消息M1可包如下内容，即，请凝视显示在特定画面S的对象。但并不限定于此。
根据本发明实施例，也可显示消息M1并通过声音输出部260输出有关消息M1的声音(例如，用于说明消息M1内容的语音)。如上所述，随着与消息M1一并输出声音，当向用户通知用户要执行的工作时，可使得用户明确理解当前要执行的工作。因此，可降低因简单失误而执行错误工作的可能性。
如以上实施例，当显示特定画面S并分析用户眼睛的几何特征来获得有关用户视线变化的第一信息时，可精确识别视线变化，而无需向用户终端200添加额外的结构要素。
图4为用于说明本发明实施例的显示包括文章的第一画面的方法一例的图。在以下对于图4的说明中，将省略参照图1及图2说明的重复内容并着重说明不同之处。
参照图4的(a)部分，装置100的处理器110可执行第一任务，使得用户终端200显示包括文章400在内的第一画面S1。其中，文章400可以为利用不同单词按照六何原则生成的文章。
在本发明中，第一画面S1可包括录音按钮Br。其中，在预设时间内录音按钮的触控输入未激活的状态下，录音按钮Br可显示在第一画面S1。即，第一任务可包括第一子任务，使得用户终端200在录音按钮Br的触控输入未激活的状态下显示第一画面S1预设时间。
在经过预设时间后，用户终端200的处理器210可激活录音按钮Br的触控输入。即，第一任务可包括第二子任务，在经过预设时间的情况下，激活对第一画面S1包括的录音按钮Br的触控输入。
作为一例，装置100的处理器110可确定显示第一画面S1的时间是否经过预设时间。当识别显示第一画面S1的时间经过预设时间时，处理器110可向用户终端200传输激活录音按钮Br的信号。在接收上述信号的情况下，用户终端200可激活录音按钮Br的触控输入。
作为再一例，用户终端200的处理器110可确定显示第一画面S1的时间是否经过预设时间。当识别显示第一画面S1的时间经过预设时间时，处理器110可激活录音按钮Br的触控输入。
但是，上述示例仅用于说明本发明的一例示，本发明并不限定于上述示例。
另一方面，根据本发明实施例，无论是否激活录音按钮Br的触控输入，组成第一画面S1所包括的文章的至少一个文节的颜色可依次变更。
作为一例，用户终端200显示第一画面S1后，在经过预设时间(例如，1秒～2秒)的情况下，处理器110可使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更。在此情况下，录音按钮Br的触控输入可被激活，或者，也可未激活。
更具体地，处理器110可确定用户终端200显示第一画面S1的时间是否经过预设时间。而且，在确定经过预设时间的情况下，处理器110可控制通信部130向用户终端200传输对组成第一画面S1所包括的文章的至少一个文节的颜色进行变更的信号。在此情况下，随着接收上述信号，用户终端200的处理器210可控制显示部250使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更。但是，使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更的方法并不限定于上述示例。
作为再一例，用户终端200显示第一画面S1后，处理器110也可直接使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更。在此情况下，用于显示第一画面S1的信号可包括使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更的信号，在用户终端200显示第一画面S1的情况下，可使得组成第一画面S1所包括的文章的至少一个文节的颜色自动依次变更。在此情况下，录音按钮Br的触控输入可被激活，或者，也可未激活。
作为另一例，对于第一画面S1所包括的录音按钮Br的触控输入可初始维持激活状态。在用户终端200显示第一画面S1后，当确定检测到录音按钮Br的触控输入时，处理器110可使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更。
更具体地，当检测到对于第一画面S1所包括的录音按钮Br的触控输入时，用户终端200的处理器210可控制通信部230向装置100传输触控录音按钮Br的信息。当通过通信部130从用户终端200接收上述信息时，装置100的处理器110可识别检测到对于录音按钮Br的触控输入。而且，处理器110可控制通信部130向用户终端200传输使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更的信号。在此情况下，随着接收上述信号，用户终端200的处理器210可控制显示部250使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更。但是，使得组成第一画面S1所包括的文章的至少一个文节的颜色依次变更的方法并不限定于上述示例。
另一方面，根据本发明实施例，第一画面S1可包括通过当前显示的画面通知用户需执行的工作是什么内容的消息M2。例如，消息M2可包括如下内容，即，请记住第一画面S1所包括的文章。但并不限定于此。
根据本发明实施例，也可显示消息M2并通过声音输出部260输出有关消息M2的声音(例如，用于说明消息M2内容的语音)。如上所述，随着与消息M2一并输出声音，当向用户通知用户要执行的工作时，可使得用户明确理解当前要执行的工作。因此，可降低因简单失误而执行错误工作的可能性。
另一方面，参照图4的(b)部分，录音按钮Br被激活后，当检测到对于录音按钮Br的触控输入时，用户终端200的处理器210可控制显示部250使得组成第一画面S1所包括的文章400的至少一个文节的颜色依次变更。其中，当至少一个文节的颜色依次变更时，也可仅变更文本的颜色，如图4的(b)部分所示，也可突出显示文本颜色的方式变更颜色。即，第一任务可包括第三子任务，通过对于第一画面S1所包括的录音按钮的触控输入来使得组成第一画面S1所包括的文章400的至少一个文节的颜色依次变更。
作为一例，用户终端200的处理器210可通过对于录音按钮Br的触控输入来生成特定信号并控制通信部230向装置100传输。当通过通信部130接收上述特定信号时，装置100的处理器110可向用户终端200传输使得组成第一画面S1所包括的文章400的至少一个文节的颜色依次变更的信号。当通过通信部230接收上述特定信号时，用户终端200的处理器210可控制显示部250使得组成第一画面S1所包括的文章400的至少一个文节的颜色依次变更。
作为再一例，用户终端200的处理器210可控制通信部230向装置100传输基于录音按钮Br的触控输入选择录音按钮Br的信号。接着，用户终端200的处理器210可控制显示部250使得组成第一画面S1所包括的文章400的至少一个文节的颜色依次变更。即，用户终端200可直接控制显示部250使得组成第一画面S1所包括的文章400的至少一个文节的颜色依次变更，而无需从装置100接收额外信号。
另一方面，可从组成第一画面S1所包括的文章400的至少一个文节中的第一文节开始依次变更颜色。
例如，若第一画面S1所包括的文章400为“英姬周二在图书馆与妹妹见了35分钟。”，则处理器210可控制显示部250优先变更文章400的第一文节(“英姬”)的颜色。而且，经过预设时间(例如，1秒～2秒)后，处理器210可控制显示部250使得第二文节变更成与第一文节相同的颜色。处理器210可按照这种方式使得组成第一画面S1所包括的文章400的至少一个文节的颜色依次变更。
当自行从装置100接收特定信号时，本发明的处理器210可控制显示部250使得文章400的至少一个文节的颜色依次变更。
当文章400简单显示在第一画面S1上时，用户也有可能不会阅读整个文章。但如上所述，若因用户触控录音按钮Br而导致组成文章400的至少一个文节的颜色依次变更，则可提高用户阅读整个文章的可能性。即，可通过上述实施例解决用户因未阅读整个文章400而无法正常执行第二测试的问题。
另一方面，根据本发明实施例，当检测到录音按钮Br的触控输入时，可向录音按钮Br赋予预设效果。例如，可向录音按钮Br赋予预设颜色以录音按钮Br为中心展开的效果。但是，预设效果并不限定于上述示例，可向录音按钮Br赋予多种效果。如上所述，当检测到录音按钮Br的触控输入时，可向录音按钮Br赋予预设效果来通知用户当前处于正在进行录音的过程。
根据本发明实施例，当检测到录音按钮Br的触控输入时，装置100的处理器110可获得储备录音文件。而且，处理器可通过用户终端200获得的储备录音文件识别是否能够分析语音的状态。对此，以下将参照图5进一步详细说明。
图5为用于说明本发明实施例的通过获得储备录音文件来确定可分析语音状态的方法一例的流程图。在以下对于图5的说明中，将省略参照图1至图4说明的重复内容并着重说明不同之处。
参照图5，装置100的处理器110可执行第四子任务，通过对于录音按钮的触控输入获得储备录音文件(步骤S111)。
具体地，当检测到录音按钮Br的触控输入时，用户终端200的处理器210可通过声音获取部270获得储备录音文件，上述储备录音文件包括预设时间内的用户语音。若获得储备录音文件，用户终端200的处理器210可向装置100传输储备录音文件。而且，装置100的处理器110可控制通信部130从用户终端200接收包括用户语音的储备录音文件。
处理器110可执行第五子任务，通过分析在步骤S111获得储备录音文件来确定是否能够分析语音(步骤S112)。
具体地，处理器110可通过语音识别技术将储备录音文件转换为储备文本数据。而且，处理器110可基于表示储备文本数据与原文数据之间相似度的相似度信息(第二相似度信息)确定是否能够分析语音。其中，原文数据可以为图2的步骤S110中的第一画面所包括的文章。
更具体地，在装置100的存储部120存储有用于将录音文件转换为文本数据的语音识别技术(例如，语音转文本(STT，Speech To Text))相关算法。例如，语音识别技术相关算法可以为隐马尔可夫模型(HMM，Hidden Markov Model)等。处理器110可利用语音识别技术相关算法将储备录音文件转换为储备文本数据。而且，处理器110可基于表示储备文本数据与原文数据之间相似度的相似度信息(第二相似度信息)确定是否能够分析语音。其中，可分析语音是指是否能够减少录音文件的噪音并从录音文件中顺利提取用户语音数据。
在本发明中，相似度信息(第二相似度信息)可包括工作次数相关信息，上述工作次数相关信息是指将储备文本数据转换为原文数据时执行的工作次数。其中，工作可包括插入工作、删除工作及替换工作中的至少一种。
插入工作是指向储备文本数据插入至少一个字的工作。例如，在储备文本数据包括两个字且原文数据包括与储备文本数据相同的字并额外包括一个字的情况下，插入工作可意味着如下工作，即，向储备文本数据插入仅存在于原文数据的一个字。
删除工作是指从储备文本数据中删除至少一个字的工作。例如，在原文数据包括两个字且储备文本数据包括与原文数据相同的字并额外包括一个字的情况下，删除工作可意味着如下工作，即，从储备文本数据中删除未存在于原文数据的一个字。
替换工作是指将储备文本数据包括的至少一个字替换为其他字的工作。例如，在原文数据包括两个字且储备文本数据包括的两个字中的一个与原文数据相同的情况下，替换工作可意味着如下工作，即，将不同于原文数据的储备文本数据所包括的字修改成与原文数据相同的字。
处理器110可基于将储备文本数据转换为原文数据的执行工作次数是否大于预设值来确定是否能够分析语音。其中，预设值可预先存储在存储部120。但并不限定于此。
作为一例，若将储备文本数据转换为原文数据的执行工作次数大于预设值，则处理器110可确定无法分析语音。即，若将储备文本数据转换为原文数据的执行工作次数大于预设值，则第五子任务可执行确定无法分析语音的工作。
作为再一例，若将储备文本数据转换为原文数据的执行工作次数为预设值以下，则处理器110可确定能够分析语音。即，若将储备文本数据转换为原文数据的执行工作次数为预设值以下，则第五子任务可执行确定能够分析语音的工作。
另一方面，若在步骤S112确定无法分析语音的情况(步骤S112，否)，则处理器110可执行第六子任务，使得用户终端200输出预设警报(步骤S113)。
具体地，当基于相似度信息识别文本数据与原文数据互不相同时(将储备文本数据转换为原文数据的执行工作次数大于预设值的情况)，处理器110可向用户终端200传输使得用户终端200输出预设警报的信号。当通过通信部230接收上述信号时，用户终端200的处理器210可通过显示部250及声音输出部260中的一个输出预设警报。其中，预设警报可以为在安静地方进行录音的内容消息，也可以为在安静地方进行录音的语音数据。但是，预设警报的种类并不限定于上述示例，用户终端200可输出多种警报。
另一方面，在确定能够分析语音的情况下(步骤S112，是)，处理器110可执行第二任务，使得用户终端200代替第一画面显示移动对象来获得包括用户眼睛在内的影像。
结果，第一任务使得用户终端显示包括文章在内的第一画面，上述第一任务还可包括：第四子任务，通过触控输入获得储备录音文件；第五子任务，通过分析储备录音文件来确定是否能够分析语音；以及第六子任务，在确定无法分析语音的情况下，使得用户终端输出预设警报。而且，上述第五子任务可基于表示储备文本数据与原文数据之间相似度的第二相似度信息确定是否能够分析语音。
另一方面，图5中的上述至少一个实施例可在图2的步骤S110与步骤S120之间执行。但并不限定于此，在图2的步骤S110过后，也可直接执行步骤S120。即，装置100也可不执行图5中的上述至少一个实施例。
图6为用于说明本发明实施例的显示移动对象的方法一例的图。在以下对于图6的说明中，将省略参照图1至图5说明的重复内容并着重说明不同之处。
参照图6，显示在用户终端200的移动对象Om可沿着预设路径P按照预设速度朝向特定方向D移动。
在本发明中，移动对象Om可具有预设尺寸的特定形状。例如，移动对象Om可以为直径0.2cm的圆形对象。当具有上述尺寸形状的对象Om移动时，用户的视线可沿着上述对象顺利移动。
在本发明中，预设路径P可以为具有余弦(cosine)波或正弦(sine)波的移动路径。其中，余弦(cosine)波或正弦(sine)波的振幅(amplitude)可以为恒定。但并不限定于此。
当预设速度为20deg/sec至40deg/sec时，可通过刺激用户视线来精确识别用户是否患有痴呆症。因此，预设速度可以为20deg/sec至40deg/sec。但并不限定于此。
特定方向D可以为从画面的左侧朝向右侧的方向或从画面的右侧朝向左侧的方向。但并不限定于此。
另一方面，根据本发明实施例，可按照预设轮次(round)执行：第一任务，使得用户终端显示包括文章在内的第一画面；第二任务，使得用户终端代替第一画面显示移动对象来获得包括用户眼睛在内的影像；以及第三任务，使得用户终端显示隐藏文章的第二画面来获得录音文件。其中，移动对象的速度及移动对象移动的方向中的至少一个可随着轮次的变更而变化。并且，第一任务及第三任务相关文章也可随着轮次的变更而变化。
例如，在第一轮次执行第二任务的情况下，移动对象的速度可小于下一轮次执行第二任务时的移动对象的速度。而且，在第一轮次执行第二任务的情况下，若移动对象从左侧沿着右侧方向移动，则移动对象可在下一轮次执行第二任务时从左侧沿着右侧方向移动。而且，在第一轮次执行第一任务及第三任务的情况下，若文章具有第一长度，则在下一轮次执行第一任务及第三任务的情况下，文章可具有大于第一长度的第二长度。但并不限定于此。
根据本发明实施例，执行第一任务后，在执行第二任务之前，可显示通知用户需执行的工作是什么的画面。即，若完成第一任务，则用户终端200可显示画面来向用户通知在第二任务需执行的工作是什么的消息。
另一方面，虽未在图6示出，但是，显示移动对象的画面可包括通过当前显示的画面通知用户需执行的工作是什么内容的消息。例如，消息可包如下内容，即，请凝视移动对象。但并不限定于此。
根据本发明实施例，也可显示消息并通过声音输出部260输出有关消息的声音(例如，用于说明消息内容的语音)。如上所述，随着与消息M1一并输出声音，当向用户通知用户要执行的工作时，可使得用户明确理解当前要执行的工作。因此，可降低因简单失误而执行错误工作的可能性。
另一方面，根据本发明实施例，装置100的处理器110可通过显示移动对象来获得包括用户眼睛在内的影像。而且，处理器110可通过分析上述影像来获得有关视线变化的第一信息。其中，第一信息可基于分析包括用户眼睛在内的影像获得的用户瞳孔的坐标值来计算。而且，瞳孔的坐标值可以为瞳孔焦点所处位置的坐标值，也可以为瞳孔边缘的坐标值。但并不限定于此。
本发明的第一信息可包括精确度信息、延迟(latency)信息及速度信息中的至少一个，上述精确度信息基于用户眼睛所移动的距离和移动对象Om所移动的距离来计算，上述延迟信息基于移动对象开始移动的时间点和用户眼睛开始移动的时间点来计算，上述速度信息为有关用户眼睛移动的速度。但是，若第一信息均包括精确度信息、延迟(latency)信息及速度信息，则可提高识别痴呆症的精确度。
在本发明中，精确度信息可以为用户视线是否精确凝视移动对象Om的信息。其中，精确度信息可取决于用户视线移动距离相关信息及移动对象Om移动距离相关信息。具体地，随着用户视线移动距离除以移动对象Om移动距离得出的值越接近1，可确定用户视线精确凝视移动对象Om。
在本发明中，延迟信息可以为用于确定用户反应速度的信息。即，延迟信息可包括移动对象Om开始移动的时间点与用户眼睛开始移动的时间点之间的时间差信息。
在本发明中，速度信息是指用户眼睛的移动速度。即，速度信息可基于用户瞳孔移动距离相关信息和用户瞳孔移动所需时间相关信息来计算。但并不限定于此，处理器110可通过多种方法计算速度信息。例如，处理器110可生成用户视线的位置轨迹并微分位置轨迹还原速度值来计算速度信息。
另一方面，根据本发明实施例，在显示移动对象来获得包括用户眼睛在内的影像时，可通过显示隐藏文章的第二画面来获得录音文件。对此，以下将参照图7进一步详细说明。
图7为用于说明本发明实施例的通过显示隐藏文章的第二画面来获得录音文件的方法一例的图。在以下对于图7的说明中，将省略参照图1至图6说明的重复内容并着重说明不同之处。
参照图7的(a)部分，用户终端200的处理器210可显示隐藏文章的第二画面S2。其中，第二画面S2可以为组成文章的至少一个文节被区分隐藏的画面，以能够知道文章由几个文节组成。如上所述，在至少一个文节被区分隐藏的情况下，用户可确认文节数量。由此，用户可通过确认文节数量来轻易想起之前记住的文章。
在本发明中，如同第一画面S1，第二画面S2可包括录音按钮Br。但是，不同于显示在第一画面，录音按钮Br可持续处于触控输入激活状态。
在本发明实施例中，若检测到用户触控录音按钮Br的触控输入，则装置100的处理器110可使得用户终端200获得录音文件。
具体地，当检测到触控录音按钮Br的触控输入时，用户终端200的处理器210可通过声音获取部270获得包括用户语音的录音文件。处理器210可控制通信部230向装置100传输录音文件。在此情况下，装置100的处理器110可通过通信部130接收录音文件来获得录音文件。
另一方面，当检测到录音按钮Br的触控输入时，可向录音按钮Br赋予预设效果。例如，可向录音按钮Br赋予预设颜色以录音按钮Br为中心展开的效果。但是，预设效果并不限定于上述示例，可向录音按钮Br赋予多种效果。如上所述，当检测到录音按钮Br的触控输入时，可向录音按钮Br赋予预设效果来通知用户当前处于正在进行录音的过程。
根据本发明实施例，第二画面S2可包括通过当前显示的画面通知用户需执行的工作是什么内容的消息M3。例如，消息M3可包如下内容，即，请大声说出记住的文章。但并不限定于此。
根据本发明实施例，也可显示消息M3并通过声音输出部260输出有关消息M3的声音(例如，用于说明消息M3内容的语音)。如上所述，随着与消息M3一并输出声音，当向用户通知用户要执行的工作时，可使得用户明确理解当前要执行的工作。因此，可降低因简单失误而执行错误工作的可能性。
另一方面，参照图7的(b)部分，第二画面可显示组成文章的至少一个文节中的特定文节A并隐藏除特定文节A外的剩余文节。其中，特定文节A可以为包括谓词的文节，也可以为位于文章末端的文节。但并不限定于此。
如上所述，若以未隐藏特定文节A的方式显示在第二画面，则特定文节A可成为用户记起整个文章的提示。
在用户患有痴呆症的情况下，即使显示特定文节A，用户也无法记起整个文章。但是，在用户未患有痴呆症的情况下，若显示特定文节A，则用户可记起整个文章。因此，在未隐藏特定文节A的方式显示在第二画面后，可通过将所获得的录音文件用作分析是否患有痴呆症的数字生物标记物来提高识别痴呆症的精确度。
另一方面，根据本发明实施例，装置100的处理器110可利用有关用户视线变化的第一信息及分析录音文件获得的第二信息识别用户是否患有痴呆症。对此，以下将参照图8进一步详细说明。
图8为用于说明本发明实施例的利用有关用户视线变化的第一信息及通过分析录音文件获得的第二信息识别用户是否患有痴呆症的方法一例的流程图。在以下对于图8的说明中，将省略参照图1至图7说明的重复内容并着重说明不同之处。
参照图8，装置100的处理器110可向痴呆症识别模型输入有关用户视线变化的第一信息及分析录音文件获得的第二信息来计算分数值(步骤S210)。但是，为了提高痴呆症识别模型的痴呆症识别精确度，装置100的处理器110也可向痴呆症识别模型均输入第一信息及第二信息。其中，第一信息和第二信息可以为用于识别痴呆症的数字生物标记物(通过数字设备获得的生物标记物)。
在本发明中，有关用户视线变化的第一信息和分析录音文件获得的第二信息可以为多种数字生物标记物中痴呆症识别相关系数较高的数字生物标记物。因此，在基于第一信息及第二信息确定痴呆症的情况下，可提供精确度。
在本发明中，第一信息可包括精确度信息、延迟信息及速度信息中的至少一个，上述精确度信息基于用户眼睛所移动的距离和移动对象所移动的距离来计算，上述延迟信息基于移动对象开始移动的时间点和用户眼睛开始移动的时间点来计算，上述速度信息为有关用户眼睛移动的速度。但并不限定于此。
另一方面，第一信息可均包括精确度信息、延迟信息及速度信息。在此情况下，可进一步提高识别痴呆症的精确度。
在本发明中，第一信息可由装置100获得，也可从用户终端200获得后由装置100接收。
作为一例，在执行第二任务的过程中，用户终端200的处理器210可通过影像获取部240获得包括用户眼睛在内的影像。处理器210可控制通信部230直接向装置100传输上述影像。装置100的处理器110可通过通信部130接收上述影像。在此情况下，处理器110可通过分析上述影像来获得第一信息。
作为再一例，在执行第二任务的过程中，用户终端200的处理器210可通过影像获取部240获得包括用户眼睛在内的影像。处理器210可通过分析上述影像来生成第一信息。处理器210可为了向装置100传输第一信息而控制通信部230。在此情况下，处理器110可通过通信部130接收第一信息的方法获得第一信息。
在本发明中，第二信息可包括表示通过语音识别技术转换录音文件的文本数据与原文数据之间相似度的第一相似度信息及通过录音文件分析的用户语音分析信息中的至少一个。但并不限定于此。
另一方面，第二信息可均包括第一相似度信息及语音分析信息。在此情况下，可进一步提高识别痴呆症的精确度。
在本发明中，处理器110可通过语音识别技术将录音文件转换为文本数据。而且，处理器110可生成表示文本数据与原文数据之间相似度的相似度信息(第一相似度信息)。其中，原文数据可以为图2的步骤S110中的第一画面所包括的文章。
具体地，在装置100的存储部120存储有用于将录音文件转换为文本数据的语音识别技术(例如，语音转文本(STT，Speech To Text))相关算法。例如，语音识别技术相关算法可以为隐马尔可夫模型(HMM，Hidden Markov Model)等。处理器110可利用存储在存储部120的语音识别技术相关算法将录音文件转换为文本数据。而且，处理器110可生成表示文本数据与原文数据之间相似度的第一相似度信息。
生成第一相似度信息的方法并不限定于上述示例，用户终端200的处理器210也可通过相同方法生成第一相似度信息。在此情况下，装置100可从用户终端200接收第一相似度信息来获得第一相似度信息。
在本发明中，第一相似度信息可包括工作次数相关信息，上述工作次数相关信息为通过插入工作、删除工作及替换工作中的至少一种工作将文本数据转换为原文数据的执行工作次数。其中，随着工作次数的增加，可判断原文数据与文本数据并不相似。
插入工作是指向文本数据插入至少一个字的工作。例如，在文本数据包括两个字且原文数据包括与文本数据相同的字并额外包括一个字的情况下，插入工作可意味着如下工作，即，向文本数据插入仅存在于原文数据的一个字。
删除工作是指从文本数据中删除至少一个字的工作。例如，在原文数据包括两个字且文本数据包括与原文数据相同的字并额外包括一个字的情况下，删除工作可意味着如下工作，即，从文本数据中删除未存在于原文数据的一个字。
替换工作是指将文本数据包括的至少一个字替换为其他字的工作。例如，在原文数据包括两个字且文本数据包括的两个字中的一个与原文数据相同的情况下，替换工作可意味着如下工作，即，将不同于原文数据的文本数据所包括的字修改成与原文数据相同的字。
在本发明中，语音分析信息可包括语速信息及响应速度信息中的至少一个，上述语速信息为用户说话的速度，上述响应速度信息为基于显示第二画面的第一时间点和开始录音录音文件的第二时间点计算的响应速度。但并不限定于此。
另一方面，语音分析信息可均包括语速信息及响应速度信息。在此情况下，可进一步提高识别痴呆症的精确度。
在本发明中，语速信息可基于用户说出的单词数量相关信息及用户结束说话所需时间相关信息来计算。但并不限定于此，处理器110可基于多种算法获得语速信息。
在本发明中，响应速度信息可表示从显示第二画面的第一时间点到开始录音录音文件的第二时间点为止的所耗时间。即，若从第一时间点到第二时间点的所耗时间相对较短，则可确定回答速度相对较快，若从第一时间点到第二时间点的所耗时间相对较长，则可确定回答速度相对较慢。
在本发明中，第二信息可由装置100获得，也可从用户终端200获得后由装置100接收。
作为一例，在执行第三任务的过程中，用户终端200的处理器210可通过声音获取部270获得录音文件。处理器210可控制通信部230直接向装置100传输上述录音文件。装置100的处理器110可通过通信部130接收上述录音文件。在此情况下，处理器110可通过分析上述录音文件来获得第二信息。
作为再一例，在执行第三任务的过程中，用户终端200的处理器210可通过声音获取部270获得录音文件。处理器210可通过分析上述录音文件来生成第二信息。处理器210可为了向装置100传输第二信息而控制通信部230。在此情况下，处理器110可通过通信部130接收第二信息的方法获得第二信息。
在本发明中，痴呆症识别模型是指人工智能模型，当输入有第一信息及第二信息中的至少一个时，为了计算分数值而具有预学习的神经网络结构。而且，分数值是指可基于大小识别是否患有痴呆症的值。
根据本发明实施例，装置100的存储部120可存储有已学习的痴呆症识别模型。
痴呆症识别模型可基于如下方法学习，即，通过反向传播(back propagation)标记在学习数据中的标签数据与痴呆症识别模型输出的预测数据之间的差值来更新神经网络的加权值。
在本发明中，学习数据可基于多个测试用户通过自身测试装置执行本发明实施例的第一任务、第二任务及第三任务来获得。其中，学习数据可包括有关用户视线变化的第一信息及分析录音文件获得的第二信息中的至少一个。
在本发明中，测试用户可包括患有轻度认知障碍的用户、患有阿尔茨海默病的用户、正常用户等。但并不限定于此。
在本发明中，测试装置是指确保学习数据时使得多个测试用户进行测试的装置。其中，测试装置可以为与用于识别痴呆症的用户终端200相同的手机、智能手机(smartphone)、平板电脑(tablet PC)、超极本(ultrabook)等移动终端(mobile device)。但并不限定于此。
在本发明中，标签数据可以为用于识别患者是否正常、是否患有阿尔茨海默病及是否患有轻度认知障碍的分数值。但并不限定于此。
痴呆症识别模型可以由能够通常称为节点的相互连接的计算单元构成。上述节点也可被称为神经元(neuron)。神经网络可包括至少一个节点。构成神经网络的节点(或神经元)可通过一个以上链接相连接。
在痴呆症识别模型内，通过链接连接的一个以上节点可相对形成输入节点及输出节点的关系。输入节点及输出节点作为相对概念，相对于一个节点的输出节点关系中的任何节点均可能与其他节点关系中存在输入节点关系，反之亦然。如上所述，输入节点对输出节点关系可基于链接生成。一个输出节点可通过链接与一个输入节点相连接，反之亦然。
在通过一个链接连接的输入节点及输出节点关系中，输出节点的数据可基于输入节点输入的数据确定其值。其中，使得输入节点与输出节点相连接的链接可具有加权值(weight)。加权值作为可变的，可为了执行神经网络所期望的功能而由用户或算法改变。
例如，当一个以上输入节点通过各个链接与一个输出节点相连接时，输出节点可基于输入于与上述输出节点相连接的输入节点的值及通过分别对应于输入节点的链接设定的加权值确定输出节点值。
如上所述，痴呆症识别模型可通过一个以上链接与一个以上节点相连接来在神经网络内形成输入节点及输出节点关系。可基于痴呆症识别模型内的与多个节点的链接数量、与多个节点与多个链接之间的相关关系、分别赋予多个链接的加权值确定痴呆症识别模型的特性。
痴呆症识别模型可由一个节点的集合构成。构成痴呆症识别模型的多个节点的部分集合可构成层(layer)。构成痴呆症识别模型的多个节点中的一部分可基于从初始输入节点的距离来构成一个层(layer)。例如，从初始输入节点的距离为n的节点集合可构成n层。从初始输入节点的距离可基于为了从初始输入节点到达相应节点而需要经过的链接的最少数量来定义。但是，上述层仅为了说明层面上的便利而随机定义的，因此，痴呆症识别模型内的层数可按照不同于上述方法的方式定义。例如，节点的层也可定义为从最终输出节点的距离。
初始输入节点是指不经过神经网络内的多个节点与其他节点的关系中的链接而直接输入数据(即，第一信息及第二信息中的至少一个)的一个以上节点。或者，在痴呆症识别模型内以链接为基准的节点之间的关系层面上不具有通过链接连接的其他输入节点的节点。与此类似地，最终输出节点是指神经网络内的多个节点与其他节点的关系中不具有输出节点的一个以上节点。并且，隐藏节点是指构成神经网络的节点中除初始输入节点及最终输出节点之外的节点。
在本发明实施例的痴呆症识别模型中，输入层的节点数量可大于输出层的节点数量，随着输入层发展成隐藏层，可形成节点数量逐渐减少的神经网络。而且，可向输入层的各个节点输入第一信息及第二信息中的至少一个。但并不限定于此。
根据本发明实施例，痴呆症识别模型可具有深度神经网络结构。
深度神经网络(DNN，deep neural network)是指包括除输入层及输出层外的多个隐藏层的神经网络。若利用深度神经网络，则可掌握数据的潜结构(latent structures)。
深度神经网络可包括卷积神经网络(CNN，convolutional neural network)、循环神经网络(RNN，recurrent neural network)、自编码器(auto encoder)、生成对抗网络(GAN，Generative Adversarial Networks)、受限玻尔兹曼机(RBM，restricted boltzmannmachine)、深度信念网络(DBN，deep belief network)、Q网络、U网络、连体网络、生成对抗网络(GAN，Generative Adversarial Network)等。但是，上述深度神经网络仅为示例，本发明并不限定于此。
本发明的痴呆症识别模型可通过监督学习(supervised learning)方式学习。但并不限定于此，痴呆症识别模型也可通过无监督学习(unsupervised learning)、半监督学习(semi supervised learning)或强化学习(reinforcement learning)中的至少一种方式学习。
痴呆症识别模型的学习可以为如下过程，即，为了使得痴呆症识别模型执行识别痴呆症的工作而将知识应用于神经网络。
痴呆症识别模型可按照最小化输出错误的方向学习。痴呆症识别模型的学习为如下过程，即，向痴呆症识别模型反复输入学习数据(用于学习的测试结果数据)并计算痴呆症识别模型对于学习数据的输出(通过神经网络预测的分数值)和目标(用作标签数据的分数值)错误以减少错误的方向将痴呆症识别模型的错误从痴呆症识别模型的输出层反向传播(back propagation)到输入层方向来更新痴呆症识别模型的各个节点的加权值。
更新的各个节点的连接加权值可基于学习率(learning rate)确定变化量。痴呆症识别模型对于输入数据的计算和错误的反向传播可构成一个学习周期(epoch)。学习率可基于痴呆症识别模型的学习周期反复次数产生变化。例如，在痴呆症识别模型的学习初期，可使用高学习率使得痴呆症识别模型快速确保规定水平性能来提高效率性，在学习后期，可使用低学习率提高精确度。
在痴呆症识别模型的学习中，学习数据可以为实际数据的部分集合(即，利用已学习的痴呆症识别模型要处理的数据)，因此，虽然减少学习数据的错误，但对于实际数据，存在增加错误的学习周期。过度拟合(overfitting)是指因对学习数据进行过度学习而导致对于实际数据的错误增加的现象。
过度拟合可导致机器学习算法的错误增加。为了防止这种过度拟合，可使用多种优化方法。为了防止过度拟合，可应用增加学习数据、调节(regularization)、在学习过程中未激活网络的部分节点的丢失(dropout)、利用批量归一化(batch normalizationlayer)等方法。
另一方面，在通过步骤S210获得分数值的情况下，处理器110可基于分数值确定是否患有痴呆症(步骤S220)。
具体地，处理器110可基于分数值是否大于预设临界值来确定是否患有痴呆症。
作为一例，若痴呆症识别模型输出的分数值大于预设临界值，则处理器110可确定用户患有痴呆症。
作为再一例，若痴呆症识别模型输出的分数值为预设临界值以下，则处理器110可确定用户未患有痴呆症。
上述示例仅为一例示，本发明并不限定于上述示例。
根据本发明实施例，装置100的处理器110可在执行上述第一任务、第二任务及第三任务之前获得用户识别信息。其中，用户识别信息可包括用户的年龄信息、性别信息、名字、地址信息等。而且，用户识别信息的至少一部分可以与第一信息及第二信息中的至少一个一并用作痴呆症识别模型的输入数据。具体地，年龄信息及性别信息可以与第一信息及第二信息中的至少一个一并用作痴呆症识别模型的输入数据。如上所述，随着用户识别信息的至少一部分可以与第一信息及第二信息中的至少一个一并输入于痴呆症识别模型，在获得分数值的情况下，可进一步提高识别痴呆症的精确度。在此情况下，痴呆症识别模型可以为基于用户识别信息的至少一部分与第一信息及第二信息中的至少一个完成学习的模型。
针对认知正常组120人和认知低下组9人进行通过用户终端识别是否患有痴呆症的实验。本实验的目的在于，确认已学习的痴呆症识别模型相关精确度。具体地，装置100可基于向本发明的痴呆症识别模型输入通过第一任务、第二任务及第三任务获得的第一信息及第二信息中的至少一个生成的分数值判断是否患有痴呆症。可通过上述实验确认到计算分类的精确度为80％以上。
根据以上本发明实施例中的至少一个实施例，可通过使患者不会感到反感的方法精确诊断痴呆症。
本发明的装置100并不用于限定以上实施例的结构及方法，为了使得上述实施例实现多种变形，可选择性地组合各个实施例的一部分或全部。
本发明的多个实施例可通过软件、硬件或它们的组合实现在计算机或与此相似的设备可读记录介质内。
在由硬件实现的情况下，其中说明的实施例可由专用集成电路(ASICs，application specific integrated circuits)、数字信号处理器(DSPs，digital signalprocessors)、数字信号处理设备(DSPDs，digital signal processing devices)、可编程逻辑器件(PLDs，programmable logic devices)、现场可编程门阵列(FPGAs，fieldprogrammable gate arrays)、处理器、控制器、微型控制器(micro-controllers)、微型处理器(microprocessors)及用于执行其他功能的电子单元中的至少一个来实现。在部分情况下，本发明实施例可由至少一个处理器实现。
在由软件实现的情况下，本发明说明的步骤及功能等实施例可由额外的软件模块实现。软件模块可分别用于执行本发明说明的一个以上功能、任务及工作。可通过由适当的编程语言编写的软件应用程序实现软件代码(software code)。其中，软件代码存储在存储部120，可由至少一个处理器110执行。即，至少一个程序指令可存储在存储部120，至少一个程序指令可由至少一个处理器110执行。
在本发明实施例的装置100中，至少一个处理器110利用痴呆症识别模型识别痴呆症的方法可在设置于装置100的至少一个处理器110可读取的记录介质由至少一个处理器可读取的代码实现。至少一个处理器可读取的记录介质包括存储有至少一个处理器110可读取数据的所有类型的记录设备。作为一例，至少一个处理器可读取的记录介质包括只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、只读光盘存储器(CD-ROM)、磁带、软盘、光学数据存储设备等。
以上，虽然参照附图说明了本发明，但是，这仅为实施例，本发明并不限定于特定实施例，可通过本发明所属技术领域的普通技术人员变形实施的多种内容均属于发明要求保护范围。并且，这种变形实施例不应与本发明的技术思想分开理解。

Claims (15)

1.一种痴呆症识别方法，通过装置的至少一个处理器识别痴呆症，其特征在于，
上述痴呆症识别方法包括如下步骤：
执行第一任务，使得用户终端显示包括文章在内的第一画面；
执行第二任务，使得上述用户终端代替上述第一画面显示移动对象来获得包括用户眼睛在内的影像；以及
执行第三任务，使得上述用户终端显示隐藏上述文章的第二画面来获得录音文件，
上述第一任务包括子任务，使组成上述第一画面所包括的上述文章的至少一个文节的颜色依次变更。
2.根据权利要求1所述的痴呆症识别方法，其特征在于，还包括如下步骤：
向痴呆症识别模型输入通过分析上述影像获得的有关上述用户视线变化的第一信息及通过分析上述录音文件获得的第二信息；以及
基于上述痴呆症识别模型输出的分数值确定是否患有痴呆症。
3.根据权利要求2所述的痴呆症识别方法，其特征在于，上述第一信息包括精确度信息、延迟信息及速度信息中的至少一个，上述精确度信息基于上述用户的眼睛所移动的距离和上述移动对象所移动的距离来计算，上述延迟信息基于上述移动对象开始移动的时间点和上述用户的上述眼睛开始移动的时间点来计算，上述速度信息与上述用户的眼睛的移动速度相关。
4.根据权利要求2所述的痴呆症识别方法，其特征在于，上述第二信息包括第一相似度信息及语音分析信息中的至少一个，上述第一相似度信息为通过语音识别技术转换上述录音文件的文本数据与原文数据之间的相似度，上述语音分析信息为通过上述录音文件分析的用户的语音分析信息。
5.根据权利要求4所述的痴呆症识别方法，其特征在于，上述第一相似度信息包括工作次数相关信息，上述工作次数相关信息为通过插入工作、删除工作及替换工作中的至少一种工作将上述文本数据转换为上述原文数据时执行的工作次数。
6.根据权利要求4所述的痴呆症识别方法，其特征在于，上述语音分析信息包括语速信息及响应速度信息中的至少一个，上述语速信息为上述用户说话的速度，上述响应速度信息为基于显示上述第二画面的第一时间点和开始录音上述录音文件的第二时间点计算的响应速度。
7.根据权利要求1所述的痴呆症识别方法，其特征在于，
上述第一画面还包括录音按钮，
上述第一任务包括：
第一子任务，使得上述用户终端在未激活上述录音按钮的触控输入的状态下，在预设时间期间显示上述第一画面；以及
第二子任务，在经过上述预设时间的情况下，激活对于上述第一画面所包括的录音按钮的触控输入，
在上述第二子任务后，上述子任务通过对于上述第一画面所包括的录音按钮的触控输入来执行。
8.根据权利要求7所述的痴呆症识别方法，其特征在于，上述第一任务还包括：
第四子任务，通过上述触控输入获得储备录音文件；
第五子任务，通过分析上述储备录音文件来确定是否能够分析语音；以及
第六子任务，在确定无法分析上述语音的情况下，使得上述用户终端输出预设警报。
9.根据权利要求8所述的痴呆症识别方法，其特征在于，上述第五子任务包括如下工作，基于第二相似度信息确定是否能够分析语音，上述第二相似度信息为通过语音识别技术转换上述储备录音文件的储备文本数据与原文数据之间的相似度。
10.根据权利要求9所述的痴呆症识别方法，其特征在于，上述第二相似度信息包括工作次数相关信息，上述工作次数相关信息为通过插入工作、删除工作及替换工作中的至少一种工作将上述储备文本数据转换为上述原文数据时执行的工作次数。
11.根据权利要求10所述的痴呆症识别方法，其特征在于，上述第五子任务执行如下工作，当上述工作次数大于预设值时，确定无法分析上述语音。
12.根据权利要求1所述的痴呆症识别方法，其特征在于，上述移动对象沿着预设路径来按照预设速度朝向特定方向移动。
13.根据权利要求12所述的痴呆症识别方法，其特征在于，
还包括如下步骤，按照预设轮次执行上述第一任务、上述第二任务及上述第三任务，
上述预设速度及上述特定方向中的至少一个和上述文章随着轮次的变更而变化。
14.一种计算机程序，存储在计算机可读存储介质，其特征在于，
当装置的至少一个处理器执行上述计算机程序时，执行痴呆症识别步骤，
上述痴呆症识别步骤包括如下步骤：
执行第一任务，使得用户终端显示包括文章在内的第一画面；
执行第二任务，使得上述用户终端代替上述第一画面显示移动对象来获得包括用户眼睛在内的影像；以及
执行第三任务，使得上述用户终端显示隐藏上述文章的第二画面来获得录音文件，
上述第一任务包括子任务，使组成上述第一画面所包括的上述文章的至少一个文节的颜色依次变更。
15.一种痴呆症识别装置，其特征在于，
包括：
存储部，用于存储至少一个程序指令；以及
至少一个处理器，用于执行上述至少一个程序指令，
上述至少一个处理器执行如下步骤：
执行第一任务，使得用户终端显示包括文章在内的第一画面；
执行第二任务，使得上述用户终端代替上述第一画面显示移动对象来获得包括用户眼睛在内的影像；以及
执行第三任务，使得上述用户终端显示隐藏上述文章的第二画面来获得录音文件，
上述第一任务包括子任务，使组成上述第一画面所包括的上述文章的至少一个文节的颜色依次变更。
CN202211681419.9A 2022-01-17 2022-12-27 基于混合测试识别痴呆症的技术 Pending CN116453679A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0006348 2022-01-17
KR1020220006348A KR102392318B1 (ko) 2022-01-17 2022-01-17 혼합 테스트에 기초하여 치매를 식별하는 기법

Publications (1)

Publication Number Publication Date
CN116453679A true CN116453679A (zh) 2023-07-18

Family

ID=81593406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211681419.9A Pending CN116453679A (zh) 2022-01-17 2022-12-27 基于混合测试识别痴呆症的技术

Country Status (4)

Country Link
US (1) US20230225650A1 (zh)
KR (4) KR102392318B1 (zh)
CN (1) CN116453679A (zh)
WO (1) WO2023136409A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102392318B1 (ko) * 2022-01-17 2022-05-02 주식회사 하이 혼합 테스트에 기초하여 치매를 식별하는 기법
KR102487420B1 (ko) * 2022-06-09 2023-01-11 주식회사 하이 치매 식별을 위한 디지털 바이오 마커 데이터인 음성 데이터를 획득하는 방법
KR102487440B1 (ko) 2022-06-09 2023-01-11 주식회사 하이 음성 데이터에 기초한 치매 식별 기법
KR102539191B1 (ko) * 2022-08-05 2023-06-02 주식회사 실비아헬스 인지 상태 정보 제공 방법 및 이를 위한 전자 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4748868B2 (ja) * 2001-03-22 2011-08-17 灰田 宗孝 痴呆症診断装置
KR101164379B1 (ko) * 2011-08-01 2012-08-07 민병철 사용자 맞춤형 컨텐츠 제작이 가능한 학습 장치 및 이를 이용한 학습 방법
KR101951674B1 (ko) * 2012-06-01 2019-02-25 엘지전자 주식회사 적어도 하나 이상의 이미지 코드를 처리하는 디지털 수신기 및 그 제어 방법
KR101357493B1 (ko) * 2012-08-13 2014-02-04 성균관대학교산학협력단 듀얼 태스크 패러다임을 이용한 치매 진단 장치 및 방법
US9959775B2 (en) * 2013-09-09 2018-05-01 Alexis Pracar Monitoring, tracking, and managing symptoms of Alzheimer's disease
US20170150907A1 (en) * 2015-02-04 2017-06-01 Cerebral Assessment Systems, LLC Method and system for quantitative assessment of visual motor response
KR102371697B1 (ko) * 2015-02-11 2022-03-08 삼성전자주식회사 음성 기능 운용 방법 및 이를 지원하는 전자 장치
KR101983279B1 (ko) * 2017-03-23 2019-05-30 사회복지법인 삼성생명공익재단 가상현실을 이용한 신경질환 진단 장치 및 방법
KR20190135908A (ko) 2019-02-01 2019-12-09 (주)제이엘케이인스펙션 인공지능 기반 치매 진단 방법 및 장치
KR102414228B1 (ko) * 2019-11-27 2022-06-27 박도영 경도인지장애 개선 시스템
KR102349805B1 (ko) * 2019-12-20 2022-01-11 순천향대학교 산학협력단 뇌졸중 진단 시스템 및 방법
KR102392318B1 (ko) * 2022-01-17 2022-05-02 주식회사 하이 혼합 테스트에 기초하여 치매를 식별하는 기법

Also Published As

Publication number Publication date
KR20230111126A (ko) 2023-07-25
KR20240023572A (ko) 2024-02-22
KR102392318B1 (ko) 2022-05-02
WO2023136409A1 (en) 2023-07-20
KR102638481B1 (ko) 2024-02-20
US20230225650A1 (en) 2023-07-20
KR102455262B1 (ko) 2022-10-18

Similar Documents

Publication Publication Date Title
US11367434B2 (en) Electronic device, method for determining utterance intention of user thereof, and non-transitory computer-readable recording medium
CN116453679A (zh) 基于混合测试识别痴呆症的技术
US11842735B2 (en) Electronic apparatus and control method thereof
US11367441B2 (en) Electronic apparatus and control method thereof
EP3756185B1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
US11880754B2 (en) Electronic apparatus and control method thereof
US11942077B2 (en) Electronic device and operating method thereof
KR20210044475A (ko) 대명사가 가리키는 객체 판단 방법 및 장치
EP3788621B1 (en) Adaptive diarization model and user interface
CN116403699A (zh) 痴呆症识别方法
US11817097B2 (en) Electronic apparatus and assistant service providing method thereof
US20230233138A1 (en) Technique for identifying dementia based on plurality of result data
US11850059B1 (en) Technique for identifying cognitive function state of user
KR102487440B1 (ko) 음성 데이터에 기초한 치매 식별 기법
KR102487420B1 (ko) 치매 식별을 위한 디지털 바이오 마커 데이터인 음성 데이터를 획득하는 방법
CN116473511A (zh) 基于视线信息识别痴呆症的方法
KR102479598B1 (ko) 시선 정보에 기초하여 경도 인지 장애를 식별하는 기법
KR102431261B1 (ko) 테스트 결과 데이터에 기초하여 치매 식별 모델을 학습시키는 기법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination