CN116403699A - 痴呆症识别方法 - Google Patents
痴呆症识别方法 Download PDFInfo
- Publication number
- CN116403699A CN116403699A CN202211683006.4A CN202211683006A CN116403699A CN 116403699 A CN116403699 A CN 116403699A CN 202211683006 A CN202211683006 A CN 202211683006A CN 116403699 A CN116403699 A CN 116403699A
- Authority
- CN
- China
- Prior art keywords
- selection input
- task
- screen
- nth
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010012289 Dementia Diseases 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004044 response Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 46
- 238000013528 artificial neural network Methods 0.000 description 21
- 239000000090 biomarker Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 208000024827 Alzheimer disease Diseases 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 208000010877 cognitive disease Diseases 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 208000027061 mild cognitive impairment Diseases 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003930 cognitive ability Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 108091063796 miR-206 stem-loop Proteins 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007278 cognition impairment Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/08—Elderly
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Neurology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开的痴呆症识别方法由装置的至少一个处理器执行。上述方法可包括如下步骤:执行第一任务,使得用户终端显示包括多个对象在内的第N画面,上述N为1以上的自然数;执行第二任务,当接收从上述第N画面所包括的上述多个对象中选择一个对象的第N选择输入时,使得上述用户终端在与上述第N画面所包括的上述多个对象不同的位置显示重新排列上述多个对象的第N+1画面;以及执行第三任务,当接收从上述第N+1画面所包括的上述多个对象中选择一个对象的第N+1选择输入时,基于通过上述第N+1选择输入选择的对象与通过包括上述第N选择输入的至少一个历史选择输入选择的至少一个对象是否相同来确定上述第N+1选择输入是否正确。
Description
技术领域
本发明涉及痴呆症识别方法,具体地,涉及利用基于测试的数字生物标记物识别痴呆症的装置及其方法。
背景技术
阿尔茨海默病(AD,Alzheimer's Disease)作为随着衰老产生的脑部疾病,将导致进行性记忆障碍、认知缺陷、个人性格变化等。而且,痴呆症(dementia)是指正常生活的人因多种原因引起的大脑功能受损而导致整体认知能力持续下降的状态。其中,认知能力是指记忆力、语言能力、时空间掌握能力、判断能力及抽象思维能力等多种智力,各个认知能力与大脑的特定部位密切相关。最常见的痴呆症为阿尔茨海默病。
用于诊断阿尔茨海默病、痴呆症或轻度认知障碍的方法有多种。例如,已知有利用嗅觉组织的miR-206的表达水平诊断阿尔茨海默病或轻度认知障碍的方法、利用血液内特征性增加的生物标志物诊断痴呆症的方法等。
但是,为了利用嗅觉组织的miR-206而需要用于组织检测的特殊设备或进行检验,而且,为了利用血液内的生物标记物而需要通过侵入方式采集患者的血液,因此,存在患者的反感相对较大的缺点。
所以,当前急需开发在没有特殊设备或进行检验的情况下几乎不会使患者感到反感的痴呆症诊断方法。
现有技术文献
专利文献
韩国专利申请号10-2019-0135908(申请日:2019年02月01日)
发明内容
本发明用于解决上述问题及其他问题。本发明的目的在于,提供通过使患者不会感到反感的方法精确诊断痴呆症的方法。
本发明所要实现的目的并不限定于以上提及的目的,本发明所属技术领域的普通技术人员可通过以下记载内容明确理解未提及的其他目的。
本发明实施例的痴呆症识别方法可包括如下步骤:执行第一任务,使得用户终端显示包括多个对象在内的第N画面,上述N为1以上的自然数;执行第二任务,当接收从上述第N画面所包括的上述多个对象中选择一个对象的第N选择输入时,使得上述用户终端在与上述第N画面所包括的上述多个对象不同的位置显示重新排列上述多个对象的第N+1画面;以及执行第三任务,当接收从上述第N+1画面所包括的上述多个对象中选择一个对象的第N+1选择输入时,基于通过上述第N+1选择输入选择的对象与通过包括上述第N选择输入的至少一个历史选择输入选择的至少一个对象是否相同来确定上述第N+1选择输入是否正确。
根据本发明实施例,上述痴呆症识别方法还可包括如下步骤,按照预设次数执行上述第二任务及上述第三任务,当上述第二任务多执行M次时,上述N和上述M相加,上述M为1以上的自然数。
根据本发明实施例,上述痴呆症识别方法还可包括如下步骤,基于与上述第一任务及上述第二任务的执行联动获得的包括用户眼睛在内的影像来获得视线信息。
根据本发明实施例,上述视线信息包括视线移动顺序信息、视线停留信息及视线停留时间信息中的至少一个,上述视线移动顺序信息为上述用户的视线移动顺序,上述视线停留信息为与上述用户的视线是否分别停留在上述多个对象的情况相关的信息,上述视线停留时间信息为上述用户的视线分别停留在上述多个对象的时间。
根据本发明实施例,上述痴呆症识别方法可包括如下步骤:向痴呆症识别模型输入上述视线信息、执行上述第三任务的结果数据及上述用户的响应时间信息中的至少一个来计算分数值;以及基于上述分数值确定是否患有痴呆症。
根据本发明实施例,上述结果数据包括正确答案次数信息及错误答案次数信息中的至少一个,上述正确答案次数信息为在上述预设次数中通过上述第三任务确定为正确答案的次数,上述错误答案次数信息为在上述预设次数中通过上述第三任务确定为错误答案的次数,上述响应时间信息可包括从显示上述第N画面或上述第N+1画面的状况到接收上述第N选择输入或上述第N+1选择输入为止的消耗时间。
根据本发明实施例,上述第二任务包括子任务,当接收上述第N选择输入时,使得对于上述第N画面的额外选择输入未激活,上述第三任务可包括子任务,当接收上述第N+1选择输入时,使得对于上述第N+1画面的额外选择输未激活。
根据本发明实施例,上述第三任务可包括如下步骤:当通过上述至少一个历史选择输入选择的上述至少一个对象均与通过上述第N+1选择输入选择的对象不同时,确定为正确答案;以及当通过上述至少一个历史选择输入选择的上述至少一个对象中的一个与通过上述第N+1选择输入选择的对象相同时,确定为正确答案。
根据本发明实施例,上述第二任务可包括子任务,通过随机变更上述第N画面所包括的上述多个对象的相关位置来重新排列上述第N+1画面所包括的上述多个对象。
本发明实施例的计算机程序存储在计算机可读存储介质,当装置的至少一个处理器运行上述计算机程序时,执行痴呆症识别步骤,上述痴呆症识别步骤可包括如下步骤:执行第一任务,使得用户终端显示包括多个对象在内的第N画面,上述N为1以上的自然数;执行第二任务,当接收从上述第N画面所包括的上述多个对象中选择一个对象的第N选择输入时,使得上述用户终端在与上述第N画面所包括的上述多个对象不同的位置显示重新排列上述多个对象的第N+1画面;以及执行第三任务,当接收从上述第N+1画面所包括的上述多个对象中选择一个对象的第N+1选择输入时,基于通过上述第N+1选择输入选择的对象与通过包括上述第N选择输入的至少一个历史选择输入选择的至少一个对象是否相同来确定上述第N+1选择输入是否正确。
本发明实施例的痴呆症识别装置包括:存储部,用于存储至少一个程序指令;以及至少一个处理器,用于执行上述至少一个程序指令,上述至少一个处理器执行的步骤可包括:第一任务,使得用户终端显示包括多个对象在内的第N画面,上述N为1以上的自然数;第二任务,当接收从上述第N画面所包括的上述多个对象中选择一个对象的第N选择输入时,使得上述用户终端在与上述第N画面所包括的上述多个对象不同的位置显示重新排列上述多个对象的第N+1画面;以及第三任务,当接收从上述第N+1画面所包括的上述多个对象中选择一个对象的第N+1选择输入时,基于通过上述第N+1选择输入选择的对象与通过包括上述第N选择输入的至少一个历史选择输入选择的至少一个对象是否相同来确定上述第N+1选择输入是否正确。
本发明所要实现的技术方案并不限定于以上提及的方案,本发明所属技术领域的普通技术人员可通过以下记载内容明确理解未提及的其他技术方案。
以下,对本发明实施例的痴呆症识别技术相关效果进行说明。
根据本发明实施例,可通过使患者不会感到反感的方法精确诊断痴呆症。
可通过本发明获得的效果并不限定于以上提及的效果,本发明所属技术领域的普通技术人员可通过以下记载内容明确理解未提及的其他效果。
附图说明
以下,参照附图说明本发明多个实施例,其中,相似的附图标记概括表示相似的结构要素。在以下实施例中,为了说明层面上的便利性,多个特定细节用于整体理解一个以上实施例而提供。但应当理解的是,这种实施例也可在没有这种具体细节的前提下实施。
图1为用于说明本发明实施例的痴呆症识别系统的简图。
图2为用于说明本发明实施例的装置获得用于识别痴呆症的输入数据的方法一例的图。
图3为用于说明本发明实施例的用户终端显示的画面一例的图。
图4为用于说明本发明实施例的确定用户是否患有痴呆症的方法一例的流程图。
具体实施方式
以下,参照附图详细说明有关本发明的装置及装置控制方法的多个实施例,与附图标记并无关联,对于相同或相似的结构要素赋予了相同的附图标记,因此,将省略对其的重复说明。
本发明的目的、效果及实现它们的技术结构可通过参照附图一并说明的实施例变得更加明确。在说明本发明多个实施例的过程中,当判断有关公知技术的具体说明有可能不必要地混淆本发明多个实施例的主旨时,将省略其详细说明。
本发明的术语作为考虑本发明中的功能而定义的术语,可基于使用人员、操作人员的意图或惯例等产生变化。并且,附图仅用于方便理解本发明的多个实施例,本发明的技术思想并不限定于附图,应理解为包括本发明的思想及技术范围内的所有变更、等同技术方案、代替技术方案。
在以下说明中,对于结构要素的后缀词“模块”及“部”仅为考虑编写本发明的便利性而赋予或混合使用的,其本身并没有相互区分的含义或作用。
虽然“第一”或“第二”等术语可用于说明多种结构要素,但是,上述结构要素并不限定于上述术语。上述术语仅用于对一个结构要素和其他结构要素进行区分。因此,以下提及的第一结构要素也可在本发明的技术思想范围内成为第二结构要素。
除非在文脉上明确表示其他含义,否则单数的表达包括复数的表达。即,除非另有说明或在文脉上未明确表示成单数,否则本发明和权利要求中的单数通常应解释为“一个或一个以上”的含义。
在本说明书中,“包括”、“包含”或“具备”等术语仅用于指定本说明书中所记载的特征、数字、步骤、工作、结构要素、部件或它们的组合的存在,并不预先排除一个或一个以上的其他特征、数字、步骤、工作、结构要素、部件或它们的组合的存在或附加可能性。
在本说明书中,术语“或”为内置含义的“或”,而并非排他含义的“或”。即,除非另有说明或在文脉上未明确表示的情况下,“X利用A或B”表示自然内置取代中的一种含义。即,表示“X利用A或X利用B或X利用A及B”的情况,“X利用A或B”可用于其中任一情况。并且,在本说明书中,应将所使用的术语“和/或”理解为包括可组合相关列出项目中的一个以上项目的所有组合。
在本说明书中,所使用的术语“信息”及“数据”可相互交换使用。
除非另有定义,否则在此使用的所有术语(包括技术术语及科学术语在内)与本发明所属技术领域的普通技术人员通常理解的含义相同。并且,除非在本说明书中明确定义,一般使用的词典中定义的术语不应过度解释。
然而,本发明并不限定于以下公开的实施例,可通过不同实施方式实现。本发明实施例仅用于本发明所属技术领域的普通技术人员能够完全理解本发明的范畴而提供,本发明仅限定于权利要求的范畴。因此,应基于本说明书的全文内容加以定义。
根据本发明实施例,装置的至少一个处理器(以下,称为“处理器”)可利用痴呆症识别模型确定用户是否患有痴呆症。具体地,在执行测试获得用户视线信息、任务结果数据及用户响应时间信息后,可向痴呆症识别模型输入分数值获得分数值。而且,处理器可基于分数值确定用户是否患有痴呆症。以下,参照图1至图4说明痴呆症识别方法。
图1为用于说明本发明实施例的痴呆症识别系统的简图。
参照图1,痴呆症识别系统可包括痴呆症识别装置100及识别用户痴呆症所需的用户终端部200。而且,装置100和用户终端200可通过有线网络/无线网络300连接通信。但是,在实现痴呆症识别系统的层面上,组成图1所示系统的结构要素并非必不可少,相比于以上提及的结构要素,可具有更多或更少的结构要素。
本发明的装置100可通过有线网络/无线网络(wire/wireless network)300与用户终端200配对或连接(pairing or connecting),由此,可收发规定数据。在此情况下,通过有线网络/无线网络300收发的数据可在收发前转换(converting)。其中,“有线网络/无线网络300”是指用于装置100与用户终端200之间的配对和/或为了收发数据而支持多种通信标准和通信协议的通信网络。这种有线网络/无线网络300包括当前或将来根据标准支持的所有通信网络,并且,可支持用于其的一种或一种以上的所有通信协议。
痴呆症识别装置100可包括处理器110、存储部120及通信部130。在实现装置100的层面上,图1所示的结构要素并非必不可少,因此,相比于以上提及的结构要素,本发明说明的装置100可包括更多或更少的结构要素。
在本发明的装置100中,根据实际实现的装置100规格,各个结构要素可被集成、添加或省略。即,根据需求,两个以上的结构要素可结合成一个结构要素或一个结构要素可分化成两个以上的结构要素。并且,各个模块执行的功能仅用于说明本发明实施例,其具体工作或装置并不限定本发明的发明要求保护范围。
本发明的装置100可包括执行收送和接收发数据(data)、内容(content)、服务(service)及应用程序(application)等中的一个以上的所有设备。但并不限定于此。
例如,本发明的装置100可包括服务器(server)、个人计算机(PC,PersonalComputer)、微型处理器、大型计算机、数字处理器、设备控制器等固定型设备(standingdevice)及智能手机(Smart Phone)、平板电脑(Tablet PC)、笔记本电脑(Notebook)等移动设备(mobile device or handheld device)。但并不限定于此。
在本发明中,“服务器”为多种用户终端,即,是指通过客户端(client)提供数据或从客户端接收数据的装置或系统。例如,服务器可包括提供网页(web page)、网页内容或网页服务(web content or web service)的网页服务器(Web server)或门户服务器(portalserver)、提供广告数据(advertising data)的广告服务器(advertising server)、提供内容的内容服务器(content server)、提供社交网络服务(SNS,Social Network Service)的社交网络服务器、制造商(manufacturer)提供的服务服务器(service server)、用于视频点播(VoD,Video on Demand)或提供流式传输(streaming)服务的多通道视频节目分配器(MVPD,Multichannel Video Programming Distributor)、提供付费服务(pay service)的服务服务器等。
在本发明中,在被命名为装置100的情况下,其含义根据文脉是指服务器,但是,也可意味着固定型设备或移动设备,除非另有说明,否则也可包括所有含义。
在通常情况下,除应用程序相关工作外,处理器110可控制装置100的整体工作。处理器110可对通过装置100的结构要素输入或输出的信号、数据、信息等进行处理,或者,可通过驱动存储在存储部120的应用程序来提供或处理适当信息或功能。
为了驱动存储在存储部120的应用程序,处理器110可控制装置100的结构要素中的至少一部分。而且,为了驱动应用程序,处理器110可组合装置100包括的两个以上结构要素进行工作。
处理器110可由一个以上芯组成,可以为多种常用处理器中的任意处理器。例如,处理器110可包括装置的中央处理器(CPU,Central Processing Unit)、通用计算图形处理器(GPUGP,General Purpose Graphics Processing Unit)、张量处理器(TPU,TensorProcessing Unit)等。但并不限定于此。
本发明的处理器110可由双处理器或其他多处理器架构组成。但并不限定于此。
处理器110可读取存储在存储器120的计算机程序并利用本发明实施例的痴呆症识别模型来识别用户是否患有痴呆症。
存储部120可存储支持装置100的多种功能的数据。存储部120可存储装置100驱动的多个应用程序(application program)或应用(application)、用于装置100工作的多种数据、多个指令、多个程序指令。这种应用程序中的至少一部分可通过无线通信从外部服务器下载。并且,为了实现装置100的基本功能,这种应用程序中的至少一部分可从出厂时就存在于装置100上。另一方面,应用程序存储在存储部120并设置在装置100上,可通过处理器110执行装置100的工作(或功能)。
存储部120可存储由处理器110生成或确定的任何类型的信息及通过通信部130接收的任何类型的信息。
存储部120可包括闪存型(flash memory type)、硬盘型(hard disk type)、固态盘型(SSD,Solid State Disk type)、硅磁盘驱动器型(SDD,Silicon Disk Drive type)、微型多媒体记忆卡(multimedia card micro type)、卡型的存储器(例如,SD卡或XD卡等)、随机存取存储器(RAM,random access memory)、静态随机存取存储器(SRAM,staticrandom access memory)、只读存储器(ROM,read-only memory)、带电可擦可编程只读存储器(EEPROM,electrically erasable programmable read-only memory)、可编程只读存储器(PROM,programmable read-only memory))、磁存储器、磁盘及光盘中的至少一种存储介质。装置100也可通过在互联网(internet)上执行存储部120的存储功能的网络存储进行工作。
通信部130可包括使得装置100与有线通信/无线通信系统之间、装置100与其他装置之间或装置100与外部服务器之间能够进行线通信/无线通信的一个以上模块。并且,通信部130可包括使得装置100连接一个以上网络的一个以上模块。
通信部130是指用于有线网络连接/无线网络连接的模块,可内置或外置在装置100。通信部130可收发有线信号/无线信号。
通信部130可在用于移动通信的技术标准或通信方式(例如,GSM(Global Systemfor Mobile communication)、CDMA(Code Division Multi Access)、CDMA2000(CodeDivision Multi Access 2000)、EV-DO(Enhanced Voice-Data Optimized or EnhancedVoice-Data Only)、WCDMA(Wideband CDMA)、HSDPA(High Speed Downlink PacketAccess)、HSUPA(High Speed Uplink Packet Access)、LTE(Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)等构建的移动通信网上与基站、外部终端及服务器中的至少一个收发无线信号。
例如,作为无线网络技术可利用WLAN(Wireless LAN)、Wi-Fi(Wireless-Fidelity)、Wi-Fi(Wireless Fidelity)Direct、DLNA(Digital Living NetworkAlliance)、WiBro(Wireless Broadband)、WiMAX(World Interoperability forMicrowave Access)、HSDPA(High Speed Downlink Packet Access)、HSUPA(High SpeedUplink Packet Access)、LTE(Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)等。但是,通信部130可通过包括以上未示出的网路技术范围内的至少一种无线网络技术收发数据。
并且,通信部130也可通过近距离通信(Short range communication)收发信号。例如,通信部130可利用蓝牙(BluetoothTM)、RFID(Radio Frequency Identification)、红外通信(IrDA,Infrared Data Association)、UWB(Ultra Wideband)、ZigBee、NFC(NearField Communication)、Wi-Fi(Wireless-Fidelity)、Wi-Fi Direct、Wireless USB(Wireless Universal Serial Bus)中的至少一种技术执行近距离通信。通信部130可通过近距离通信网(Wireless Area Networks)支持无线通信。近距离无线通信网可以为近距离无线个人通信网(Wireless Personal Area Networks)。
本发明实施例的装置100可通过通信部130使得用户终端200与有线网络/无线网络300相连接。
在本发明中,用户终端200可通过有线网络/无线网络(wire/wireless network)300与存储痴呆症识别模型的装置100配对或连接(pairing or connecting),由此,可收发并显示规定数据。
本发明的用户终端200可包括执行发送、接收及显示数据(data)、内容(content)、服务(service)及应用程序(application)等中一项以上的所有设备。而且,用户终端200是指需确认痴呆症的用户终端。但并不限定于此。
例如,本发明的用户终端200可包括手机、智能手机(smart phone)、平板电脑(tablet PC)、超极本(ultrabook)等移动终端(mobile device)。但并不限定于此,用户终端200还可包括个人计算机(PC,Personal Computer)、微型处理器、大型计算机、数字处理器、设备控制器等固定型设备(standing device)。
用户终端200可包括处理器210、存储部220、通信部230、影像获取部240、显示部250及声音输出部260。在实现用户终端200的层面上,图1所示的结构要素并非必不可少,相比于以上提及的结构要素,本发明的用户终端200可具有更多或更少的结构要素。
在本发明的用户终端200中,根据实际实现的用户终端200规格,各个结构要素可被集成、添加或省略。即,根据需求,两个以上的结构要素可结合成一个结构要素或一个结构要素可分化成两个以上的结构要素。并且,各个模块执行的功能仅用于说明本发明实施例,其具体工作或装置并不限定本发明的发明要求保护范围。
用户终端200的处理器210、存储部220及通信部230与装置100的处理器110、存储部120及通信部130属于相同结构要素,因此,将省略重复说明,并且,以下着重说明不同之处。
在本发明中,用户终端200的处理器210可为了识别痴呆症而显示包括多个对象的多个画面。其中,多个画面可分别在不同位置包括多个对象。
具体地,处理器210可控制显示部250基于从画面包括的多个对象中选择一个对象的选择输入来显示其他画面。其中,第N+1画面可以为重新排列多个对象的画面。对此,以下参照图2详细说明。
另一方面,为了执行利用痴呆症识别模型的运算而需要高处理速度及高运算能力,因此,痴呆症模型仅存储在装置100的存储部120,可未存储在用户终端200的存储部220。但并不限定于此。
影像获取部240可包括一个或多个摄像头。即,用户终端200可以在前表面或后表面中的至少一个包括一个或多个摄像头的装置。
影像获取部240可处理通过图像传感器获得的静态影像或动态影像等的图像帧。被处理的图像帧可显示在显示部250或存储在存储部220。另一方面,设置在用户终端200的影像获取部240可使得多个摄像头匹配形成矩阵结构。可通过以这种方式形成矩阵结构的摄像头来使得用户终端200接收具有多种角度或焦点的多个影像信息。
本发明的影像获取部240可包括沿着至少一个线排列而成的多个镜头。多个镜头可被排列成行列(matrix)形式。这种摄像头可被命名为阵列摄像机。若影像获取部240为阵列摄像机,则可利用多个镜头按照多种方式拍摄影像,而且,可获得更高质量的影像。
根据本发明实施例,影像获取部240可通过在用户终端200显示特定画面来获得包括用户终端的用户眼睛在内的影像。
显示部250可显示(输出)用户终端200处理的信息。例如,显示部250可显示用户终端200驱动的应用程序的运行画面信息或基于这种运行画面信息的用户界面(UI,UserInterface)、图形用户界面(GUI,Graphic User Interface)信息。
显示部250可包括液晶显示器(LCD,liquid crystal display)、薄膜晶体管液晶显示器(TFT LCD,thin film transistor-liquid crystal display)、有机发光二极管(OLED,organic light-emitting diode)、软性显示器(flexible display)、三维显示器(3D display)、电子墨水显示器(e-ink display)中的至少一个。但并不限定于此。
显示部可包括触控传感器,通过触控方式接收控制指令来检测对于显示部250的触控。显示部250可以与触控传感器相互形成层结构或形成为一体型,可以为触摸屏。这种触摸屏作为向用户提供输入界面的用户输入部,可提供测试装置与用户之间的输出界面。
触控传感器可利用电阻方式、电容方式、红外线方式、超声波方式、磁场方式等多种触控方式中的一种来检测施加于显示部250的触控(或触控输入或选择输入)。
作为一例,触控传感器可将施加于触摸屏的特定部位的压力或在特定部位发生的电容量等变化转换为电输入信号。触控传感器可检测触控触摸屏的触控对象触摸触控传感器的位置、面积、触摸时的压力、触摸时的电容量等。其中,触控对象为触摸触控传感器的对象,可以为手指、触控笔或电容笔(Stylus pen)、指针等。
如上所述,当存在对于触控传感器的触控输入(或选择输入)时,可向触控控制器传输与其相对应的信号。触控控制器处理上述信号后,可向处理器210传输对应数据。由此,处理器可检测是否触控显示部250中的哪个区域等。其中,触控控制器可以为独立于处理器210的结构要素,也可以为处理器210本身。
根据本发明实施例,当执行第一任务时,显示部250可显示包括多个对象的第N画面。而且,当执行第二任务时,显示部250可显示重新排列多个对象的第N+1画面。其中,N可以为1以上的自然数。而且,第N画面与第N+1画面可以为在其他位置包括相同多个对象的画面。
另一方面,在显示第N画面或第N+1画面的状态下,用户可执行从多个对象中选择一个的触控输入。若检测到对于相应对象的触控输入,则处理器210可识别从多个对象中选择相应对象。
声音输出部260可输出从通信部230接收或存储在存储部220的音频数据(或声音数据)。声音输出部260也可输出用户终端200执行的功能相关的声音信号。
声音输出部260可包括接收器(receiver)、扬声器(speaker)、蜂鸣器(buzzer)等。即,声音输出部260可以为接收器(receiver),也可以为扩音器(loud speaker)。但并不限定于此。
根据本发明实施例,声音输出部260可通过执行第一任务、第二任务来输出预设声音(例如,对用户通过第一任务、第二任务执行的工作进行说明的语音)。但并不限定于此。
根据本发明实施例,为了获得输入于痴呆症识别模型的输入数据,可在用户终端200显示特定画面。对此,以下参照图2进一步详细说明。
图2为用于说明本发明实施例的装置获得用于识别痴呆症的输入数据的方法一例的图。在对于图2的说明中,将省略参照图1说明的重复内容并着重说明不同之处。
参照图2,装置100的处理器110可执行第一任务(步骤S110),使得用户终端200显示包括多个对象在内的第N画面(步骤S110),N可以为1以上的自然数。
作为一例,装置100的处理器110可为了从多个对象中接收对于第一对象的第一选择输入而生成包括多个对象的第N画面并向用户终端200传输。在此情况下,用户终端200的处理器210可控制显示部250显示包括多个对象的第N画面。
作为再一例,用户终端200的存储部220可存储多个对象配置在不同位置的多个画面。当用户终端200的处理器210从装置100通过通信部230接收信号来显示包括多个对象的画面时,可通过第N画面显示存储在存储部220的多个画面中的至少一个画面。
作为另一例,用户终端200的存储部220可存储多个对象的图像。当用户终端200的处理器210通过通信部230接收信号来显示包括多个对象的画面时,可生成显示包括多个对象的第N画面。
在步骤S110中,在显示第N画面的情况下,处理器210可确定是否存在对于多个对象中的一个对象(例如,第N对象)的第N选择输入(步骤S120)。
当未检测到第N选择输入时(步骤S120的否),用户终端200的显示部250可持续显示包括多个对象的第N画面。
当检测到从多个对象中选择一个对象的第N选择输入时(步骤S120的是),装置100的处理器110可执行第二任务(步骤S130),使得用户终端200显示重新排列多个对象的第N+1画面。
作为一例,当检测到第N选择输入时,用户终端200的处理器210可控制通信部230向装置100传输检测到第N选择输入的第N信号。其中,上述第N信号可包括从多个对象中选择那个对象的信息。当接收第N信号时,装置100的处理器110可生成重新排列多个对象的第N+1画面并控制通信部130传输于用户终端200。当通过通信部230接收第N+1画面时,用户终端200的处理器210可控制显示部250显示第N+1画面。
作为再一例,用户终端200的存储部220可存储多个对象配置在不同位置的多个画面。当检测到第N选择输入时,用户终端200可向装置100传输检测到第N选择输入的第N信号。其中,上述第N信号可包括从多个对象中选择那个对象的信息。而且,处理器210可控制显示部250从存储在存储部220的多个画面中选择显示之前未显示过的画面。在此情况下,显示之前未显示过的画面可看起来像显示多个对象重新排列的画面。
作为另一例,用户终端200的存储部220可存储多个对象的图像。当检测到第N选择输入时,用户终端200可向装置100传输检测到第N选择输入的第N信号。其中,上述第N信号可包括从多个对象中选择那个对象的信息。用户终端200的处理器210可生成显示在第N画面的多个对象和以在其他位置显示多个对象的方式重新排列多个对象的第N+1画面。而且,处理器210可控制显示部250显示第N+1画面。
在步骤S130中,当显示第N+1画面时,处理器210可确定是否存在对于多个对象中的一个对象的第N+1选择输入(步骤S140)。
当未检测到第N+1选择输入时(步骤S140的否),用户终端200的显示部250可持续显示重新排列多个对象的第N+1画面。
当检测到从显示在第N+1画面的多个对象中选择一个对象的第N+1选择输入时(步骤S140的是),装置100的处理器110可执行第三任务(步骤S150),基于通过第N+1选择输入选择的对象与通过至少一个历史选择输入选择的至少一个对象是否相同来确定第N+1选择输入是否正确。
作为一例,在N为1的情况下,处理器110可识别通过第二选择输入选择的对象与通过作为历史选择输入的第一选择输入选择的对象是否相同。当通过第一选择输入选择的对象与通过第二选择输入选择的对象相同时,处理器110可确定为错误答案,当通过第一选择输入选择的对象与通过第二选择输入选择的对象不同时,可确定为正确答案。
作为再一例,在N为2的情况下,处理器110可识别通过第三选择输入选择的对象与通过作为历史选择输入的第一选择输入及第二选择输入选择的多个对象是否相同。当通过第一选择输入选择的对象及通过第二选择输入选择的对象均与通过第三选择输入选择的对象不同时,处理器110可确定为正确答案,当通过第一选择输入选择的对象及通过第二选择输入选择的对象中的一个与通过第三选择输入选择的对象相同时,可确定为错误答案。
根据本发明实施例,装置100的处理器110可按照预设次数执行第二任务及第三任务。在此情况下,当第二任务多执行M(1以上的自然数)次时,可向N相加M。即,当检测到从显示在用户终端200的画面包括的多个对象中选择一个对象的选择输入时,处理器110可使得显示在用户终端200的画面包括的多个对象相关位置持续变更预设次数。而且,处理器110可基于通过至少一个历史选择输入选择的至少一个对象均与通过当前选择输入选择的对象是否相同来确定当前选择输入是否正确。
根据本发明实施例,在执行第一任务、第二任务及第三任务之前,处理器110可执行储备任务,使得用户能够确认执行问题的方式。其中,储备任务可按照与第一任务、第二任务及第三任务相同的方式执行,因此,将省略其详细说明。
通过储备任务获得的数据输入于痴呆症识别模型,无法用作识别痴呆症的数字生物标记物。但并不限定于此,通过储备任务获得的数据也可用作数字生物标记物。
根据本发明实施例,装置100的处理器110可基于通过执行第一任务及第二任务获得的包括用户眼睛在内的影像来获得视线信息。其中,视线信息可包括视线移动顺序信息,视线停留信息及视线停留时间信息中的至少一个,上述视线移动顺序信息为用户的视线移动顺序,上述视线停留信息为用户的视线是否分别停留在多个对象的情况,上述视线停留时间信息为用户的视线分别停留在多个对象的时间。
根据本发明实施例,处理器110可向痴呆症识别模型输入执行第三任务的结果数据及用户的相应时间信息中的至少一个来计算分数值。而且,处理器110可基于分数值确定是否患有痴呆症。对此,以下参照图4进一步详细说明。
图3为用于说明本发明实施例的用户终端显示的画面一例的图。在对于图3的说明中,将省略参照图1及图2说明的重复内容并着重说明不同之处。
参照图3的(a)部分,用户终端200可控制显示部250显示包括多个对象O的第N画面S1。其中,多个对象O可以为形状及轮廓中的至少一个互不相同的对象。
另一方面,第N画面S1可包括通过当前显示的画面通知用户需执行的工作是什么内容的消息M1。例如,当第N画面S1为最优选显示的第一画面时,消息M1可包括从第一画面包括的多个对象中选择一个对象的内容。但并不限定于此。
根据本发明实施例,也可显示消息M1并通过声音输出部260输出有关消息M1的声音(例如,用于说明消息M1内容的语音)。如上所述,随着与消息M1一并输出声音,当向用户通知用户要执行的工作时,可使得用户明确理解当前要执行的工作。因此,可降低因简单失误而执行错误工作的可能性。
参照图3的(b)部分,用户终端200的处理器210可接收从多个对象O中选择一个对象O1的第N选择输入。
在本发明中,当接收第N选择输入时,处理器210可使得对于第N画面S1的额外选择输入未激活。即,第二任务可包括子任务,当接收第N选择输入时,可使得对于第N画面S1的额外选择输入未激活。其中,额外选择输入可意味着在显示第N画面S1的状态下检测到第一次选择一个对象的选择输入后额外检测到的选择输入。
如上所述,当用户因失误而额外触控第N画面S1上的任意区域时,可通过未激活对于第N画面S1的额外选择输入来减少由此产生的错误。
另一方面,用户终端200的处理器210可控制显示部250向多个对象O中通过第N选择输入选择的对象O1反映预设效果。例如,在多个对象O中,可以只针对通过第N选择输入选择的对象O1以不同于其他对象的颜色突出显示。但并不限定于此。
参照图3的(c)部分,当显示图3的(b)部分所示的第N画面S1时,若接收多个对象中选择一个对象O1的第N选择输入,则用户终端200的处理器210可显示重新排列多个对象的第N+1画面S2。
参照图3的(a)部分及(c)部分,第N画面S1包括的多个对象O相关位置可分别与第N+1画面所包括的多个对象O相关位置互不相同。
即,本发明的第二任务可包括子任务,通过随机变更第N画面S1包括的多个对象O相关位置来重新排列第N+1画面所包括的多个对象。
作为一例,当检测到第N选择输入时,用户终端200的处理器210可控制通信部230向装置100传输检测到第N选择输入的第N信号。其中,上述第N信号可包括从多个对象中选择那个对象O1的信息。当接收第N信号时,装置100的处理器110可通过随机变更第N画面S1包括的多个对象O相关位置来重新排列第N+1画面S2包括的多个对象。而且,处理器110可控制通信部130向用户终端200传输第N+1画面S2。当通过通信部230接收第N+1画面S2时,用户终端200的处理器210可控制显示部250显示第N+1画面S2。
作为再一例,用户终端200的存储部220可存储多个对象的图像。当检测到第N选择输入时,用户终端200可向装置100传输检测到第N选择输入的第N信号。其中,上述第N信号可包括从多个对象中选择那个对象O1的信息。用户终端200的处理器210可通过随机变更多个对象的位置来生成第N+1画面S2,以使得多个对象显示在与第N画面S1显示的多个对象不同的位置。而且,处理器210可控制显示部250显示第N+1画面S2。
另一方面,第N+1画面S2可包括通过当前显示的画面通知用户需执行的工作是什么内容的消息M2。例如,消息M2可包括从第N+1画面所包括的多个对象中选择在之前画面未选择的一个对象的内容。但并不限定于此。
根据本发明实施例,也可显示消息M2并通过声音输出部260输出有关消息M2的声音(例如,用于说明消息M1内容的语音)。如上所述,随着与消息M2一并输出声音,当向用户通知用户要执行的工作时,可使得用户明确理解当前要执行的工作。因此,可降低因简单失误而执行错误工作的可能性。
参照图3的(d)部分,在显示第N+1画面S2的状态下,用户终端200的处理器210可接收从多个对象O中选择一个对象O2的第N+1选择输入。
在本发明中,当接收第N+1选择输入时,处理器210可使得对于第N+1画面S2的额外选择输入未激活。即,第三任务可包括子任务,当接收第N+1选择输入时,使得对于第N+1画面S2的额外选择输入未激活。其中,额外选择输入可意味着在显示第N+1画面S2的状态下检测到第一次选择一个对象的选择输入后额外检测到的选择输入。
如上所述,当用户因失误而额外触控第N+1画面S2上的任意区域时,可通过未激活对于第N+1画面S2的额外选择输入来减少由此产生的错误。
另一方面,用户终端200的处理器210可控制显示部250向多个对象O中通过第N+1选择输入选择的对象O2反映预设效果。例如,在多个对象O中,可以只针对通过第N+1选择输入选择的对象O2以不同于其他对象的颜色突出显示。但并不限定于此。
另一方面,根据本发明实施例,当接收从第N+1画面S2包括的多个对象O中选择一个对象O2的第N+1选择输入时,装置100的处理器110可基于通过第N+1选择输入选择的对象O1与通过包括第N选择输入的至少一个历史选择输入选择的至少一个对象是否相同来确定第N+1选择输入是否正确。
作为一例,在N为1的情况下,当通过第二选择输入选择的对象O2与通过第一选择输入选择的对象O1相同时,装置100的处理器110可确定为错误答案,当通过第二选择输入选择的对象O2与通过第一选择输入选择的对象O1不同时,可将第二选择输入确定为正确答案。
作为再一例,在N为2的情况下,当通过第三选择输入选择的对象O2与通过第二选择输入选择地对象O1及通过第一选择输入选择的对象均不同时,可将第三选择输入确定更为正确答案,当通过第三选择输入选择的对象O2与通过第二选择输入选择的对象O1及通过第一选择输入选择的对象中的一个相同时,可将第三选择输入确定为错误答案。
结果,第三任务可包括如下步骤:当通过至少一个历史选择输入选择的至少一个对象均与通过第N+1选择输入选择的对象不同时,确定为正确答案;以及当通过至少一个历史选择输入选择的至少一个对象中的一个与通过第N+1选择输入选择的对象相同时,确定为正确答案。
另一方面,根据本发明实施例,用于确定第N+1选择输入是否正确的信息可用作数字生物标记物(通过数字设备获得的生物标记物)。对此,以下参照图4进一步详细说明。
图4为用于说明本发明实施例的确定用户是否患有痴呆症的方法一例的流程图。在对于图4的说明中,将省略参照图1至图3说明的重复内容并着重说明不同之处。
按照预设次数执行第二任务及第三任务后,装置100的处理器110可获得执行第三任务的结果数据及响应时间信息中的至少一个。其中,视线信息、结果数据及响应时间信息可以为用于识别痴呆症的数字生物标记物(通过数字设备获得的生物标记物)。
视线信息可由装置100获得,也可从用户终端200获得后由装置100接收。
作为一例,在执行第一任务、第二任务及第三任务的过程中,用户终端200的处理器210可通过影像获取部240获得包括用户眼睛在内的影像。处理器210可控制通信部230向装置100直接传输上述影像。装置100的处理器110可通过通信部130接收上述影像。在此情况下,处理器110可分析上述影像来获得视线信息。
作为再一例,在执行第一任务、第二任务及第三任务的过程中,用户终端200的处理器210可通过影像获取部240获得包括用户眼睛在内的影像。处理器210可分析上述影像来获得视线信息。处理器210可为了向装置100传输视线信息而控制通信部230。在此情况下,处理器110可基于通过通信部130接收视线信息的方法获得视线信息。
在本发明中,视线信息可以仅利用影像所包括的多个帧的各个RGB值中的B值确定用户的瞳孔位置来获得。具体地,在多个帧中,可将具有大于预设临界值的B值的区域识别为瞳孔位置区域。在此情况下,可基于瞳孔位置区域的变化获得视线信息。
另一方面,根据本发明实施例,影像可区分为瞳孔和背景。可向影像应用将瞳孔位置相应部分变更为黑色并将背景相应部分变更为白色的二值化(binarization)过程。经过二值化过程后,可向影像应用洪水覆盖算法(flood fill)来去除影像内的噪声。其中,洪水覆盖算法是指将黑色像素包括的白色像素变为黑色像素并将白色像素包括的黑色像素变为白色像素的工作。
另一方面,本发明的视线信息可包括视线移动顺序信息,视线停留信息及视线停留时间信息中的至少一个,上述视线移动顺序信息为用户的视线移动顺序,上述视线停留信息为用户的视线是否分别停留在多个对象的情况,上述视线停留时间信息为用户的视线分别停留在多个对象的时间。但是,当视线信息包括上述所有信息时,可提高识别痴呆症的精确度。
视线移动顺序信息可以为在显示第N画面(或第N+1画面)的状态下分别凝视第N画面(或第N+1画面)包括的多个对象的顺序。但并不限定于此。
视线停留信息可以为用户是否依次凝视所有对象的信息。但并不限定于此。
视线停留时间信息可以为在用户依次凝视所有对象的情况下分别凝视多个对象的时间。但并不限定于此。
另一方面,参照图4,装置100的处理器110可向痴呆症识别模型输入视线信息、执行第三任务的结果数据及响应时间信息中的至少一个来计算分数值(步骤S210)。但是,为了提高痴呆症识别模型识别痴呆症的精确度,装置100的处理器110也可向痴呆症识别模型均输入线信息、执行第三任务的结果数据及响应时间信息。
在本发明中,输入于痴呆症识别模型的视线信息、执行第三任务的结果数据及响应时间信息可以为多种数字生物标记物中痴呆症识别相关系数较高的数字生物标记物。因此,在基于视线信息、执行第三任务的结果数据及响应时间信息确定痴呆症的情况下,可提高识别痴呆症的精确度。
在本发明中,在按照预设次数执行第二任务及第三任务的情况下,结果数据可包括正确答案次数信息及错误答案次数信息中的至少一个,上述正确答案次数信息为通过第三任务从预设次数中确定正确答案的次数,上述错误答案次数信息为通过第三任务从预设次数中确定错误答案的次数。
在本发明中,响应时间信息可包括从显示第N画面或第N+1画面的状况到接收第N选择输入或第N+1选择输入为止的消耗时间。即,响应时间信息可包括从显示第N画面的状况到接收第N选择输入为止的消耗时间信息及从显示第N+1画面的状况到接收第N+1选择输入为止的消耗时间信息。但并不限定于此。
在本发明中,当输入视线信息、执行第三任务的结果数据及响应时间信息中的至少一个时,为了计算分数值,痴呆症识别模型可以为具有预学习的神经网络结构的人工智能模型。而且,分数值可以为基于大小识别痴呆症的值。
根据本发明实施例,装置100的存储部120可存储已学习的痴呆症识别模型。
痴呆症识别模型可基于如下方法学习,即,通过反向传播(back propagation)标记在学习数据中的标签数据与痴呆症识别模型输出的预测数据之间的差值来更新神经网络的加权值。
在本发明中,学习数据可由多个测试用户通过自身测试装置执行本发明实施例的第一任务、第二任务及第三任务来获得。其中,学习数据可包括视线信息、执行第三任务的结果数据及响应时间信息中的至少一个。
在本发明中,测试用户可包括患有轻度认知障碍的用户、患有阿尔茨海默病的用户、正常用户等。但并不限定于此。
在本发明中,测试装置是指确保学习数据时使得多个测试用户进行测试的装置。其中,测试装置可以为与用于识别痴呆症的用户终端200相同的手机、智能手机(smartphone)、平板电脑(tablet PC)、超极本(ultrabook)等移动终端(mobile device)。但并不限定于此。
在本发明中,标签数据可以为用于识别患者是否正常、是否患有阿尔茨海默病及是否患有轻度认知障碍的分数值。但并不限定于此。
痴呆症识别模型可以由能够通常称为节点的相互连接的计算单元构成。上述节点也可被称为神经元(neuron)。神经网络可包括至少一个节点。构成神经网络的节点(或神经元)可通过一个以上链接相连接。
在痴呆症识别模型内,通过链接连接的一个以上节点可相对形成输入节点及输出节点的关系。输入节点及输出节点作为相对概念,相对于一个节点的输出节点关系中的任何节点均可能与其他节点关系中存在输入节点关系,反之亦然。如上所述,输入节点对输出节点关系可基于链接生成。一个输出节点可通过链接与一个输入节点相连接,反之亦然。
在通过一个链接连接的输入节点及输出节点关系中,输出节点的数据可基于输入节点输入的数据确定其值。其中,使得输入节点与输出节点相连接的链接可具有加权值(weight)。加权值作为可变的,可为了执行神经网络所期望的功能而由用户或算法改变。
例如,当一个以上输入节点通过各个链接与一个输出节点相连接时,输出节点可基于输入于与上述输出节点相连接的输入节点的值及通过分别对应于输入节点的链接设定的加权值确定输出节点值。
如上所述,痴呆症识别模型可通过一个以上链接与一个以上节点相连接来在神经网络内形成输入节点及输出节点关系。可基于痴呆症识别模型内的与多个节点的链接数量、与多个节点与多个链接之间的相关关系、分别赋予多个链接的加权值确定痴呆症识别模型的特性。
痴呆症识别模型可由一个节点的集合构成。构成痴呆症识别模型的多个节点的部分集合可构成层(layer)。构成痴呆症识别模型的多个节点中的一部分可基于从初始输入节点的距离来构成一个层(layer)。例如,从初始输入节点的距离为n的节点集合可构成n层。从初始输入节点的距离可基于为了从初始输入节点到达相应节点而需要经过的链接的最少数量来定义。但是,上述层仅为了说明层面上的便利而随机定义的,因此,痴呆症识别模型内的层数可按照不同于上述方法的方式定义。例如,节点的层也可定义为从最终输出节点的距离。
初始输入节点是指不经过神经网络内的多个节点与其他节点的关系中的链接而直接输入数据(即,视线信息、执行第三任务的结果数据及响应时间信息中的至少一个)的一个以上节点。或者,在痴呆症识别模型内以链接为基准的节点之间的关系层面上不具有通过链接连接的其他输入节点的节点。与此类似地,最终输出节点是指神经网络内的多个节点与其他节点的关系中不具有输出节点的一个以上节点。并且,隐藏节点是指构成神经网络的节点中除初始输入节点及最终输出节点之外的节点。
在本发明实施例的痴呆症识别模型中,输入层的节点数量可大于输出层的节点数量,随着输入层发展成隐藏层,可形成节点数量逐渐减少的神经网络。而且,可输入层的各个节点输入视线信息、执行第三任务的结果数据及响应时间信息中的至少一个。但并不限定于此。
根据本发明实施例,痴呆症识别模型可具有深度神经网络结构。
深度神经网络(DNN,deep neural network)是指包括除输入层及输出层外的多个隐藏层的神经网络。若利用深度神经网络,则可掌握数据的潜结构(latent structures)。
深度神经网络可包括卷积神经网络(CNN,convolutional neural network)、循环神经网络(RNN,recurrent neural network)、自编码器(auto encoder)、生成对抗网络(GAN,Generative Adversarial Networks)、受限玻尔兹曼机(RBM,restricted boltzmannmachine)、深度信念网络(DBN,deep belief network)、Q网络、U网络、连体网络、生成对抗网络(GAN,Generative Adversarial Network)等。但是,上述深度神经网络仅为示例,本发明并不限定于此。
本发明的痴呆症识别模型可通过监督学习(supervised learning)方式学习。但并不限定于此,痴呆症识别模型也可通过无监督学习(unsupervised learning)、半监督学习(semi supervised learning)或强化学习(reinforcement learning)中的至少一种方式学习。
痴呆症识别模型的学习可以为如下过程,即,为了使得痴呆症识别模型执行识别痴呆症的工作而将知识应用于神经网络。
痴呆症识别模型可按照最小化输出错误的方向学习。痴呆症识别模型的学习为如下过程,即,向痴呆症识别模型反复输入学习数据(用于学习的测试结果数据)并计算痴呆症识别模型对于学习数据的输出(通过神经网络预测的分数值)和目标(用作标签数据的分数值)错误以减少错误的方向将痴呆症识别模型的错误从痴呆症识别模型的输出层反向传播(back propagation)到输入层方向来更新痴呆症识别模型的各个节点的加权值。
更新的各个节点的连接加权值可基于学习率(learning rate)确定变化量。痴呆症识别模型对于输入数据的计算和错误的反向传播可构成一个学习周期(epoch)。学习率可基于痴呆症识别模型的学习周期反复次数产生变化。例如,在痴呆症识别模型的学习初期,可使用高学习率使得痴呆症识别模型快速确保规定水平性能来提高效率性,在学习后期,可使用低学习率提高精确度。
在痴呆症识别模型的学习中,学习数据可以为实际数据的部分集合(即,利用已学习的痴呆症识别模型要处理的数据),因此,虽然减少学习数据的错误,但对于实际数据,存在增加错误的学习周期。过度拟合(overfitting)是指因对学习数据进行过度学习而导致对于实际数据的错误增加的现象。
过度拟合可导致机器学习算法的错误增加。为了防止这种过度拟合,可使用多种优化方法。为了防止过度拟合,可应用增加学习数据、调节(regularization)、在学习过程中未激活网络的部分节点的丢失(dropout)、利用批量归一化(batch normalizationlayer)等方法。
另一方面,在通过步骤S220获得分数值的情况下,处理器110可基于分数值确定是否患有痴呆症(步骤S230)。
具体地,处理器110可基于分数值是否大于预设临界值来确定是否患有痴呆症。
作为一例,若痴呆症识别模型输出的分数值大于预设临界值,则处理器110可确定用户患有痴呆症。
作为再一例,若痴呆症识别模型输出的分数值为预设临界值以下,则处理器110可确定用户未患有痴呆症。
上述示例仅为一例示,本发明并不限定于上述示例。
根据本发明实施例,装置100的处理器110可在执行上述第一任务、第二任务及第三任务之前获得用户识别信息。其中,用户识别信息可包括用户的年龄信息、性别信息、名字、地址信息等。而且,用户识别信息的至少一部分可以与视线信息、执行第三任务的结果数据及用户的响应时间信息中一个一并用作痴呆症识别模型的输入数据。具体地,年龄信息及性别信息可以与视线信息、执行第三任务的结果数据及用户的响应时间信息中的至少一个一并用作痴呆症识别模型的输入数据。如上所述,随着用户识别信息的至少一部分与视线信息、执行第三任务的结果数据及用户的响应时间信息中的至少一个一并输入于痴呆症识别模型,在获得分数值的情况下,可进一步提高识别痴呆症的精确度。在此情况下,痴呆症识别模型可以为基于用户识别信息的至少一部分和视线信息、执行第三任务的结果数据及用户的响应时间信息中的至少一个完成学习的模型。
针对认知正常组120人和认知低下组9人进行通过用户终端识别是否患有痴呆症的实验。本实验的目的在于,确认已学习的痴呆症识别模型相关精确度。具体地,装置100可基于向本发明的痴呆症识别模型输入通过第一任务、第二任务及第三任务获得的视线信息、执行第三任务的结果数据及用户的响应时间信息中的至少一个生成的分数值判断是否患有痴呆症。可通过上述实验确认到计算分类的精确度为80%以上。
根据以上本发明实施例中的至少一个实施例,可通过使患者不会感到反感的方法精确诊断痴呆症。
本发明的装置100并不用于限定以上实施例的结构及方法,为了使得上述实施例实现多种变形,可选择性地组合各个实施例的一部分或全部。
本发明的多个实施例可通过软件、硬件或它们的组合实现在计算机或与此相似的设备可读记录介质内。
在由硬件实现的情况下,其中说明的实施例可由专用集成电路(ASICs,application specific integrated circuits)、数字信号处理器(DSPs,digital signalprocessors)、数字信号处理设备(DSPDs,digital signal processing devices)、可编程逻辑器件(PLDs,programmable logic devices)、现场可编程门阵列(FPGAs,fieldprogrammable gate arrays)、处理器、控制器、微型控制器(micro-controllers)、微型处理器(microprocessors)及用于执行其他功能的电子单元中的至少一个来实现。在部分情况下,本发明实施例可由至少一个处理器实现。
在由软件实现的情况下,本发明说明的步骤及功能等实施例可由额外的软件模块实现。软件模块可分别用于执行本发明说明的一个以上功能、任务及工作。可通过由适当的编程语言编写的软件应用程序实现软件代码(software code)。其中,软件代码存储在存储部120,可由至少一个处理器110执行。即,至少一个程序指令可存储在存储部120,至少一个程序指令可由至少一个处理器110执行。
在本发明实施例的装置100中,至少一个处理器110利用痴呆症识别模型识别痴呆症的方法可在设置于装置100的至少一个处理器110可读取的记录介质由至少一个处理器可读取的代码实现。至少一个处理器可读取的记录介质包括存储有至少一个处理器110可读取数据的所有类型的记录设备。作为一例,至少一个处理器可读取的记录介质包括只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、只读光盘存储器(CD-ROM)、磁带、软盘、光学数据存储设备等。
以上,虽然参照附图说明了本发明,但是,这仅为实施例,本发明并不限定于特定实施例,可通过本发明所属技术领域的普通技术人员变形实施的多种内容均属于发明要求保护范围。并且,这种变形实施例不应与本发明的技术思想分开理解。
Claims (11)
1.一种痴呆症识别方法,由装置的至少一个处理器执行,其特征在于,包括如下步骤:
执行第一任务,使得用户终端显示包括多个对象在内的第N画面,上述N为1以上的自然数;
执行第二任务,当接收从上述第N画面所包括的上述多个对象中选择一个对象的第N选择输入时,使得上述用户终端在与上述第N画面所包括的上述多个对象不同的位置显示重新排列上述多个对象的第N+1画面;以及
执行第三任务,当接收从上述第N+1画面所包括的上述多个对象中选择一个对象的第N+1选择输入时,基于通过上述第N+1选择输入选择的对象与通过包括上述第N选择输入的至少一个历史选择输入选择的至少一个对象是否相同来确定上述第N+1选择输入是否正确。
2.根据权利要求1所述的痴呆症识别方法,其特征在于,还包括如下步骤,按照预设次数执行上述第二任务及上述第三任务,当上述第二任务多执行M次时,上述N和上述M相加,上述M为1以上的自然数。
3.根据权利要求2所述的痴呆症识别方法,其特征在于,还包括如下步骤,基于与上述第一任务及上述第二任务的执行联动获得的包括用户眼睛在内的影像来获得视线信息。
4.根据权利要求3所述的痴呆症识别方法,其特征在于,上述视线信息包括视线移动顺序信息、视线停留信息及视线停留时间信息中的至少一个,上述视线移动顺序信息为上述用户的视线移动顺序,上述视线停留信息为与上述用户的视线是否分别停留在上述多个对象的情况相关的信息,上述视线停留时间信息为上述用户的视线分别停留在上述多个对象的时间。
5.根据权利要求3所述的痴呆症识别方法,其特征在于,包括如下步骤:
向痴呆症识别模型输入上述视线信息、执行上述第三任务的结果数据及上述用户的响应时间信息中的至少一个来计算分数值;以及
基于上述分数值确定是否患有痴呆症。
6.根据权利要求5所述的痴呆症识别方法,其特征在于,
上述结果数据包括正确答案次数信息及错误答案次数信息中的至少一个,上述正确答案次数信息为在上述预设次数中通过上述第三任务确定为正确答案的次数,上述错误答案次数信息为在上述预设次数中通过上述第三任务确定为错误答案的次数,
上述响应时间信息包括从显示上述第N画面或上述第N+1画面的状况到接收上述第N选择输入或上述第N+1选择输入为止的消耗时间。
7.根据权利要求1所述的痴呆症识别方法,其特征在于,
上述第二任务包括子任务,当接收上述第N选择输入时,使得对于上述第N画面的额外选择输入未激活,
上述第三任务包括子任务,当接收上述第N+1选择输入时,使得对于上述第N+1画面的额外选择输未激活。
8.根据权利要求1所述的痴呆症识别方法,其特征在于,上述第三任务包括如下步骤:
当通过上述至少一个历史选择输入选择的上述至少一个对象均与通过上述第N+1选择输入选择的对象不同时,确定为正确答案;以及
当通过上述至少一个历史选择输入选择的上述至少一个对象中的一个与通过上述第N+1选择输入选择的对象相同时,确定为正确答案。
9.根据权利要求1所述的痴呆症识别方法,其特征在于,上述第二任务包括子任务,通过随机变更上述第N画面所包括的上述多个对象的相关位置来重新排列上述第N+1画面所包括的上述多个对象。
10.一种计算机程序,存储在计算机可读存储介质,其特征在于,当装置的至少一个处理器运行上述计算机程序时,执行痴呆症识别步骤,
上述痴呆症识别步骤包括如下步骤:
执行第一任务,使得用户终端显示包括多个对象在内的第N画面,上述N为1以上的自然数;
执行第二任务,当接收从上述第N画面所包括的上述多个对象中选择一个对象的第N选择输入时,使得上述用户终端在与上述第N画面所包括的上述多个对象不同的位置显示重新排列上述多个对象的第N+1画面;以及
执行第三任务,当接收从上述第N+1画面所包括的上述多个对象中选择一个对象的第N+1选择输入时,基于通过上述第N+1选择输入选择的对象与通过包括上述第N选择输入的至少一个历史选择输入选择的至少一个对象是否相同来确定上述第N+1选择输入是否正确。
11.一种痴呆症识别装置,其特征在于,
包括:
存储部,用于存储至少一个程序指令;以及
至少一个处理器,用于执行上述至少一个程序指令,
上述至少一个处理器执行的步骤包括:
第一任务,使得用户终端显示包括多个对象在内的第N画面,上述N为1以上的自然数;
第二任务,当接收从上述第N画面所包括的上述多个对象中选择一个对象的第N选择输入时,使得上述用户终端在与上述第N画面所包括的上述多个对象不同的位置显示重新排列上述多个对象的第N+1画面;以及
第三任务,当接收从上述第N+1画面所包括的上述多个对象中选择一个对象的第N+1选择输入时,基于通过上述第N+1选择输入选择的对象与通过包括上述第N选择输入的至少一个历史选择输入选择的至少一个对象是否相同来确定上述第N+1选择输入是否正确。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2022-0001430 | 2022-01-05 | ||
KR1020220001430A KR102392333B1 (ko) | 2022-01-05 | 2022-01-05 | 치매를 식별하는 기법 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116403699A true CN116403699A (zh) | 2023-07-07 |
Family
ID=81429015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211683006.4A Pending CN116403699A (zh) | 2022-01-05 | 2022-12-27 | 痴呆症识别方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240081722A1 (zh) |
KR (3) | KR102392333B1 (zh) |
CN (1) | CN116403699A (zh) |
WO (1) | WO2023132419A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102392333B1 (ko) * | 2022-01-05 | 2022-04-29 | 주식회사 하이 | 치매를 식별하는 기법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1176164A (ja) * | 1997-07-08 | 1999-03-23 | Sekisui Chem Co Ltd | 痴呆性判定装置ならびに痴呆性判定方法 |
US7438418B2 (en) * | 2005-02-23 | 2008-10-21 | Eyetracking, Inc. | Mental alertness and mental proficiency level determination |
KR101951674B1 (ko) * | 2012-06-01 | 2019-02-25 | 엘지전자 주식회사 | 적어도 하나 이상의 이미지 코드를 처리하는 디지털 수신기 및 그 제어 방법 |
KR101357493B1 (ko) * | 2012-08-13 | 2014-02-04 | 성균관대학교산학협력단 | 듀얼 태스크 패러다임을 이용한 치매 진단 장치 및 방법 |
US20160125748A1 (en) * | 2014-11-04 | 2016-05-05 | John Wesson Ashford | Memory test for Alzheimer's disease |
KR20190135908A (ko) | 2019-02-01 | 2019-12-09 | (주)제이엘케이인스펙션 | 인공지능 기반 치매 진단 방법 및 장치 |
KR102414228B1 (ko) * | 2019-11-27 | 2022-06-27 | 박도영 | 경도인지장애 개선 시스템 |
KR102392333B1 (ko) * | 2022-01-05 | 2022-04-29 | 주식회사 하이 | 치매를 식별하는 기법 |
-
2022
- 2022-01-05 KR KR1020220001430A patent/KR102392333B1/ko active IP Right Grant
- 2022-04-20 KR KR1020220048617A patent/KR20230106063A/ko unknown
- 2022-04-20 KR KR1020220048610A patent/KR102455264B1/ko active IP Right Grant
- 2022-07-07 US US18/282,990 patent/US20240081722A1/en active Pending
- 2022-07-07 WO PCT/KR2022/009843 patent/WO2023132419A1/en active Application Filing
- 2022-12-27 CN CN202211683006.4A patent/CN116403699A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
KR102455264B1 (ko) | 2022-10-18 |
KR102392333B1 (ko) | 2022-04-29 |
US20240081722A1 (en) | 2024-03-14 |
KR20230106063A (ko) | 2023-07-12 |
WO2023132419A1 (en) | 2023-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11398223B2 (en) | Electronic device for modulating user voice using artificial intelligence model and control method thereof | |
US20210264576A1 (en) | Photo relighting using deep neural networks and confidence learning | |
US20230225650A1 (en) | Technique for identifying dementia based on mixed tests | |
US11675928B2 (en) | Electronic device for obfuscating and decoding data and method for controlling same | |
US11586977B2 (en) | Electronic apparatus and control method thereof | |
US20200152328A1 (en) | Cognitive analysis for identification of sensory issues | |
CN116403699A (zh) | 痴呆症识别方法 | |
US10997947B2 (en) | Electronic device and control method thereof | |
KR20210095429A (ko) | 사용자의 개인 모델을 학습하는 전자 장치 및 그 동작 방법 | |
US20230114556A1 (en) | Neural network models using peer-attention | |
US11423225B2 (en) | On-device lightweight natural language understanding (NLU) continual learning | |
KR102421879B1 (ko) | 시선 정보에 기초하여 치매를 식별하는 기법 | |
KR102479598B1 (ko) | 시선 정보에 기초하여 경도 인지 장애를 식별하는 기법 | |
KR102431261B1 (ko) | 테스트 결과 데이터에 기초하여 치매 식별 모델을 학습시키는 기법 | |
US20230233138A1 (en) | Technique for identifying dementia based on plurality of result data | |
US11759145B1 (en) | Technique for identifying dementia based on voice data | |
KR102487420B1 (ko) | 치매 식별을 위한 디지털 바이오 마커 데이터인 음성 데이터를 획득하는 방법 | |
KR20240097046A (ko) | 메타 러닝에 기반하여 학습된 인공지능 모델들을 제공하는 서버 | |
US20240169272A1 (en) | Machine Learning Model for Detecting Out-Of-Distribution Inputs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |