CN110430802B - 利用虚拟现实的神经疾病诊断装置及方法 - Google Patents
利用虚拟现实的神经疾病诊断装置及方法 Download PDFInfo
- Publication number
- CN110430802B CN110430802B CN201880014036.1A CN201880014036A CN110430802B CN 110430802 B CN110430802 B CN 110430802B CN 201880014036 A CN201880014036 A CN 201880014036A CN 110430802 B CN110430802 B CN 110430802B
- Authority
- CN
- China
- Prior art keywords
- user
- virtual reality
- reality device
- item
- hidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 208000012902 Nervous system disease Diseases 0.000 title claims abstract description 23
- 208000025966 Neurological disease Diseases 0.000 title claims abstract description 23
- 238000003745 diagnosis Methods 0.000 title description 33
- 230000008569 process Effects 0.000 claims abstract description 30
- 230000009471 action Effects 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001149 cognitive effect Effects 0.000 claims description 4
- 206010012289 Dementia Diseases 0.000 abstract description 69
- 201000010099 disease Diseases 0.000 abstract description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 6
- 210000005036 nerve Anatomy 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 46
- 230000004044 response Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000013215 result calculation Methods 0.000 description 7
- 230000035882 stress Effects 0.000 description 6
- 201000011240 Frontotemporal dementia Diseases 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 208000024827 Alzheimer disease Diseases 0.000 description 3
- 241000234295 Musa Species 0.000 description 3
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 229940124597 therapeutic agent Drugs 0.000 description 3
- 208000011990 Corticobasal Degeneration Diseases 0.000 description 2
- 208000027089 Parkinsonian disease Diseases 0.000 description 2
- 206010034010 Parkinsonism Diseases 0.000 description 2
- 208000000609 Pick Disease of the Brain Diseases 0.000 description 2
- 208000030886 Traumatic Brain injury Diseases 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 201000002212 progressive supranuclear palsy Diseases 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009529 traumatic brain injury Effects 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 1
- 208000009829 Lewy Body Disease Diseases 0.000 description 1
- 201000002832 Lewy body dementia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Child & Adolescent Psychology (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Hospice & Palliative Care (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Developmental Disabilities (AREA)
- General Physics & Mathematics (AREA)
- Neurosurgery (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种利用虚拟现实而诊断痴呆等神经疾病,由外部设备接收神经疾病诊断用问题,并基于接收的神经疾病诊断用问题而通过显示器显示虚拟现实影像,根据通过各种传感器检测的用户的动作而进行利用虚拟现实影像的检查。该过程与PC或智能手机等外部设备联动而进行。尤其,神经疾病诊断用问题包括:第一画面,在虚拟现实空间介绍至少一个物品之后隐藏;第二画面,具有对隐藏的物品的提问。根据本发明,未对患者造成不便或负担,并便于执行对痴呆等神经疾病相关的检查。
Description
技术领域
本发明涉及神经疾病诊断装置及方法,利用虚拟现实而诊断痴呆等神经疾病,且未给予用户精神压力,而方便进行诊断。
背景技术
在全世界高龄化急速发展中,与此同时,痴呆患者也急剧增加。因此,用于管理并治疗痴呆患者的经济性费用增加。近来,研发延迟并改善显示痴呆症状的治疗药,尤其,持续开发改善效能的治疗药的投资与努力。但所述治疗药在痴呆的初期步骤使用而存在效能,由此,痴呆的早期诊断与早期治疗重要。
为了诊断痴呆,通过心理问诊的痴呆诊断方法普遍进行。但通过心理问诊的痴呆诊断方法在诊疗室环境需要长时间问诊,由此,减少对患者造成精神压迫或压力,其导致测试的准确度低下。
作为用于诊断痴呆的其它方法,包括利用MRI设备等而拍摄脑影像,诊断痴呆进行程度的方法,由痴呆患者提取的血液或脑脊液分析而诊断痴呆发展程度的生物标志物(Biomarker)方法,或测定脑电波(EEG或MEG)而诊断痴呆的方法等。
但,该方法适用高价的设备,而增加费用成本,因要提取患者的血液或脑脊液而伴随患者的苦痛。
发明的内容
发明要解决的技术问题
本发明是为了解决如上所述问题而研发,利用电脑与虚拟现实装置而易于诊断痴呆等神经疾病,并减少在神经疾病诊断过程中发生的不便与用户的精神压力。
用于解决问题的技术方案
为了实现如上所述目的,本发明的虚拟现实装置包括:显示器,提供影像而产生的虚拟现实环境,显示影像;传感器部,检测用户的动作;通信部,与外部设备通信;及控制部,基于通过所述通信部而由所述外部设备接收的神经疾病诊断用问题,所述显示器显示虚拟现实环境,通过所述传感器部而检测用户的动作,并进行用于所述神经疾病诊断的检查。
此时,所述神经疾病诊断用问题,包括:第一画面,在虚拟现实空间介绍至少一个物品之后而隐藏;第二画面,包含对所述至少一个物品的提问。
所述第一画面构成为虚拟现象亮相而将所述至少一个物品隐藏至特定空间或特定家具。
所述第一画面及第二画面的背景与所述用户居住的家庭的内部环境相同。
所述神经疾病诊断用问题区分为具有各个多个难易度中任一个难易度的问题,随着难易度增加而隐藏的物品的数量增加。
所述第二画面执行回想步骤、认知步骤及匹配步骤中至少一个步骤,其中,所述回想步骤,用于诊断用户是否记得隐藏的物品;认知步骤,用于诊断用户是否区分隐藏的物品与其它物品;及匹配步骤,用于诊断用户是否关联隐藏的物品与场所。
执行所述回想步骤的第二画面包括第一用户界面,以供依次显示所述隐藏的物品,提问所述显示的物品处于何处,而所述用户讲述。
执行所述认知步骤的第二画面包括第二用户界面,以供显示掺杂所述隐藏的物品与未提前介绍的新的物品的包装画面,在所述包装画面提问区分所述隐藏的物品及所述新的物品,而所述用户说出。
执行所述匹配步骤的第二画面包括第三用户界面,以供显示隐藏所述至少一个物品的虚拟现实空间,所述用户直接移动并查找所述隐藏的物品。
所述控制部包括:结果处理模块,基于所述用户的移动的距离即第一条件、所述用户全部解决所述神经疾病用问题时所需的时间即第二条件及基于所述用户的声音或动作而完成的答题纸即第三条件而计算分数。
所述结果处理模块分别对所述第一至第三条件而赋予预先设定的加权值而计算所述分数。
并且,所述控制部构成为对比所述计算的分数与基准分数,在所述计算的分数超过所述基准分数的情况下,确定所述用户为正常。
另外,根据本发明而向用户提供影像而产生的虚拟现实环境的虚拟现实装置的驱动方法包括如下步骤:由外部设备接收神经疾病诊断用问题;基于所述神经疾病诊断用问题,通过显示器而显示虚拟现实影像,根据通过传感器部检测的用户的动作而进行利用所述虚拟现实影像的检查;及将与利用所述虚拟现实影像进行的检查相关的信息传送至所述外部设备。
此时,显示所述虚拟现实影像的步骤,包括如下步骤:显示在虚拟现实空间中介绍至少一个物品之后隐藏的第一画面;及显示包含所述至少一个物品的提问的第二画面。
发明的效果
根据本发明,利用虚拟现实装置而便利且不存在负担的情况下执行痴呆等神经疾病的检查。
并非厌烦复杂的问诊,通过感受如同实际世界的虚拟现实环境而进行检查,利用用户居住的家庭的内部环境等用户便于面对的影像,而减少患者的负担,而极大减少精神压力。
附图说明
图1为本发明的一个实施例的痴呆诊断系统的结构框图;
图2为本发明的一个实施例的PC的结构框图;
图3为本发明的一个实施例的虚拟现实装置的结构框图;
图4为本发明的一个实施例的痴呆诊断系统的动作流程图;
图5为本发明的另一个实施例的痴呆诊断系统的动作流程图;
图6为本发明的一个实施例的虚拟现实装置的动作流程图;
图7至图12用于说明利用本发明的痴呆诊断系统而进行查找隐藏的物品的测试,而诊断痴呆的方法的示例。
图13至图23为用于说明利用本发明的痴呆诊断系统而进行查找隐藏的物品测试而诊断痴呆的方法的另一示例。
附图标记说明
101:PC
102:头戴式显示器(Head Mount Display,HMD)
104:智能手机
106:服务器
具体实施方式
本发明施加各种变化,并具有各种实施例,将特定实施例显示于附图并进行具体说明。
但,其并非通过特定的实施形式限定本发明,应以包含于本发明的思想及技术范围的所有变化、同等物至代替物进行理解。在说明本发明时,判断相关的公知技术的具体说明混淆本发明的要旨的情况,省略其具体说明。
在本申请中使用的用语仅用于说明特定实施例而使用,并非为限定本发明的意图。对于单数的表达,未在文章中明确不同说明的,包含复数的表达。
在本申请中,“包含”或“具有”等用语应理解为指定说明书上记载的特征、数字、步骤、动作、构成要素、部件或特征、数字、步骤、动作、构成要素、部件等组合的存在,未提前排除一个或以上的其它特征或数字、步骤、动作、构成要素、部件或特征或数字、步骤、动作、构成要素、部件组合的存在或附加可能性。
第一、第二等用语在说明各种构成要素时使用,但所述构成要素并非通过所述用语限定。所述用语仅以将一个构成要素与其它构成要素区分的目的使用。
在本说明书中,“神经疾病”是指神经退行性障碍,例如,由阿尔茨海默病(AD)、血管疾病痴呆,额颞痴呆(FTD)、皮质基底节变性(CBD)、进行性核上性麻痹(PSP)、路易小体痴呆、缠结型老年痴呆(tanglepredominantseniledementia)、皮克氏病(Pick'sdisease)(PiD)、嗜银颗粒(argyrophilicgrain)疾病、肌萎缩侧索硬化(ALS)、其它运动神经疾病、关岛(Guam)帕金森症-痴呆、FTDP-17、Lytico-Bodig疾病、多发性硬化症、外伤性脑损伤(TBI)及帕金森症构成的群中选择。
图1为本发明的实施例的痴呆诊断系统的结构框图。痴呆诊断系统100包括:PC(电脑,101)、虚拟现实装置102、网络162、智能手机104及服务器106。
虚拟现实装置102是指佩戴在用户的头部而将影像直接显示在用户眼前的显示器装置。例如,虚拟现实装置102由可穿戴式眼镜或头戴式显示器(HeadMountDisplay,HMD)构成。对于显示的示例,为了便于说明,将虚拟现实装置以HMD102进行了显示。虚拟现实装置102具有眼镜形式,具有透明的显示器或不透明的显示器。由此,虚拟现实装置102识别佩戴其的用户存在于虚拟现实空间。
根据一个实施例,虚拟现实装置102并非仅包括用于向用户体检虚拟现实的显示器,还包括:扬声器、麦克风、动作检测传感器等。对于该虚拟现实装置102,参照图3作如下具体说明。
PC 101包括:总线110、中央处理器120、内存130、输入输出接口150、显示器160、通信接口170等。总线110相互连接多个构成要素110-170,包括传输多个构成要素之间的通信(例如:控制信息或数据)的电路。中央处理器120包括:中央处理装置、应用软件中央处理器或通讯处理器(communicationprocessor(CP))中一个或一个以上。
中央处理器120执行对PC 101的至少一个其它构成要素的控制及/或通信相关的运算或数据处理。
内存130包括:易失性及/或非易失性内存。内存130存储与PC 101的至少一个其它的构成要素相关的命令或数据,并存储软件及/或程序140。
程序140包括:内核141、中间件143、应用程序编程接口(API)145、应用软件程序147等。内核141、中间件143、API 145的至少一部分称为运营系统。
输入输出接口150将由用户或其它外部设备输入的命令或数据传输至PC 101的其它构成要素,或将由PC 101的其它构成要素接收的命令或数据输出至用户或其它外部设备。
显示器160包括:液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器等。
显示器160包括触摸屏,并接收电子数码笔或利用用户的身体的一部分的触摸、手势、接近或靠近(hovering)输入。
通信接口170,使得PC 101通过各种无线通信或有线通信而与虚拟现实装置102、智能手机104、服务器106)等外部设备相互通信。
无线通信包括使用LTE(长期演进)、LTE-A(LTEAdvance)、CDMA(码分多址,codedivisionmultipleaccess)、WCDMA(宽带码分多址,widebandCDMA)、UMTS(通用移动通信系统,universalmobiletelecommunicationssystem)、WiBro(WirelessBroadband)或GSM(全球移动通信系统,GlobalSystemforMobileCommunications)等至少一个移动通信,并包含近距离通信。近距离通信方式包括:WiFi(wirelessfidelity)、蓝牙,蓝牙低能耗(BLE)、紫蜂协议(Zigbee)、NFC(nearfieldcommunication)中至少一个。
有线通信包括:USB(universalserialbus)、HDMI(高清晰多媒体接口线,highdefinitionmultimediainterface)、RS-232(recommendedstandard232)、低能耗通信、POTS(模拟电话业务,plainoldtelephoneservice)等至少一个。
网络162包括:电子信息传输网络,例如,电脑网络(例如:LAN或WAN),网络或电话网络等。
在PC 101中执行的动作的全部或一部分在智能手机104或服务器106中联动而执行。
根据一个实施例,在PC 101须自动或通过请求而执行任一个功能或服务的情况下,PC 101自动执行该功能或服务,另外向智能手机104或服务器106请求与其相关的至少一部分功能。而智能手机104或服务器106执行所请求的功能或增加功能,并将该结果传输至PC 101。
PC 101直接或另外处理所接收的结果而提供所请求的功能或服务。为此,在本发明的系统中,利用云计算、分布式计算或客户-服务器计算技术。
图2为本发明的一个实施例的PC的结构框图,包括:中央处理器120、内存130、通信接口170、显示器160及输入输出接口150。
中央处理器120包括:内容选定部122、诊断结果计算部124。内容选定部122通过输入输出接口150而由第一用户接收第二用户的信息,选定基于存储于内存130的内容中任一个的问题。
在此,第一用户作为进行痴呆检查的专业人才,确定第二用户是否痴呆的人,例如,作为检查人员的医生或护士。
第二用户作为痴呆检查的对象,到医院而接受痴呆与否的身体检查的被检查对象。
第一用户选择由内容选定部122提供的问题中任一个,PC 101将所选择的问题传送至虚拟现实装置102。
即,PC 101接收由第一用户选择至少一个内容的信息或至少一个内容映射的问题的信息,基于所接收的信息而将检查用问题传送至虚拟现实装置102。
根据一个实施例,内容选定部122根据内存130的用户信息存储部,而参照第二用户的身体检查记录,基于所参照的结果而自动选定及推荐内容。例如,内容选定部122参照第二用户的身体检查记录,将与上次检查的痴呆检查用内容相同或相似的内容通过显示器160而告知第一用户。
根据一个实施例,内容选定部122在PC 101将痴呆检查用问题传送至虚拟现实装置102之后,基于由虚拟现实装置102接收的中断,再次调整痴呆检查用问题的种类或难易度,将再次调整的痴呆检查用问题传送至虚拟现实装置102。
在此,由虚拟现实装置102接收的中断是指在通过虚拟现实装置102进行的第二用户的痴呆测试结果比基准的临界值低的情况下,虚拟现实装置102生成的情况。例如,虚拟现实装置102对于第二用户的痴呆测试结果分数以100分为满分基准,对于不足50分的情况,生成中断而传送至PC 101。
如上所述,对于因最初传送的痴呆检查用问题的难易度不合理,而第二用户的检查结果分数显著偏低的情况,虚拟现实装置102传送中断,第二用户解决适当难易度的问题。因此,本发明能够进行更准确的痴呆诊断,对于痴呆患者利用的情况,执行阶段性脑训练而帮助提高脑功能。
中央处理器120的诊断结果计算部124由虚拟现实装置102接收测试结果信息,基于测试结果信息而计算诊断结果。诊断结果计算部124基于所计算的诊断结果而生成报告,并将所生成的报告通过显示器160输出。
例如,诊断结果计算部124将传送至虚拟现实装置102的问题的正确答案与第二用户通过虚拟现实装置102选择的选项对比而生成评分结果。例如,评分结果为将100分满分作为基准计算。诊断结果计算部124按各个问题项目计算评分结果,基于计算结果而生成报告。
具体地,由PC 101传送至虚拟现实装置102的多个问题由存储至内存130的注意集中力内容、时间空间能力内容、记忆力内容、执行能力内容、语言能力内容、计算能力内容及声音识别力内容中至少一个挑选。
例如,由PC 101传送至虚拟现实装置102的多个问题包含与记忆力内容相应的五项问题,即与执行能力内容相应的五项问题,对于为10问题的情况,诊断结果计算部124分别计算记忆力内容的评分结果、执行能力内容的评分结果。因此,本发明分别单独分析身体检查对象,即接受检查的第二用户的记忆力与执行能力。
另外,诊断结果计算部124在第二用户的痴呆诊断结束的情况下,将诊断结果存储至用户信息存储部。
内存130包括:注意集中力内容130a、时间空间能力内容130b、记忆力内容130c、执行能力内容130d、语言能力内容130e、计算能力内容130f、声音识别力内容130g。
注意集中力内容130a包含由评估相同的图片查找或文字注意力的问题构成的内容。
时间空间能力内容130b包含由评估事物感知力或视觉组合能力的问题构成的内容。
记忆力内容130c包含由国旗记忆、卡片记忆或数字记忆等问题构成的内容。
执行能力内容130d包含由评估图片完成或分类能力与相似性能力的问题构成的内容。
语言能力内容130e包含由评估单词填充或单词查找能力的问题构成的内容。
计算能力内容130f包含由评估计算四则运算的能力的问题构成的内容。
声音识别力内容130g包含由与声音匹配的图片查找或听到顺序查找等问题构成的内容。
图3为本发明的一个实施例的虚拟现实装置的结构框图。包括:控制部310、显示器320、传感器部330、通信部380、内存370、用户输入部360、电源供应部340、输出部350。
传感器部330包括:至少一个照相机332及传感器334。
照相机332拍摄实际空间的个体。通过照相机332拍摄的个体图像是指视频图像或连续的静态影像图像。虚拟现实装置102是指例如,具有通信功能及数据处理功能的眼镜形状的装置。在通过第二用户佩戴的虚拟现实装置102中,朝向第二用户的前方的照相机332拍摄实际空间的个体。
照相机332拍摄第二用户的身体中的至少一部分。例如,照相机332拍摄第二用户的眼睛。
虚拟现实装置102具有朝向第二用户的脸部的眼球追踪用照相机332,通过追踪第二用户的头部姿势(headpose)、眼皮及眼睛动作中至少一个,而追踪第二用户的视线。
并且,照相机332能够拍摄第二用户的手。例如,虚拟现实装置102具有追踪第二用户的手的手追踪用照相机,其追踪第二用户的手背、手指或手腕等中的至少一个,而追踪第二用户的手动作。
传感器334检测虚拟现实装置102的状态或虚拟现实装置102周边的状态,并传输所检测的信息。例如,传感器334能够获取第二用户佩戴虚拟现实装置102的佩戴状态信息。
例如,传感器334包括:地磁传感器334、加速度传感器334、陀螺仪传感器334、接近传感器334、光学传感器334、深度传感器334、红外线传感器334及超声波传感器334等。
通信部380使得将所需的信息与PC 101、智能手机104、服务器106等装置收发,而用于虚拟现实装置102输出影像,并调整输出影像。
内存370能够存储用于基于虚拟现实装置102显示影像320,且虚拟现实装置102的倾斜度而调整影像所需的信息。内存370存储在第二用户接收所提供的影像时最合适的位置佩戴虚拟现实装置102状态即基准佩戴状态的信息。
例如,内存370存储包含从基准佩戴状态获取的第二用户的身体部位的影像及在基准佩戴状态下获取的身体部位的影像检测的特性值的基准佩戴状态信息。
用户输入部360接收用于控制虚拟现实装置102的用户输入。在用户输入部360接收虚拟现实装置102的触摸输入及键盘输入等。并且,用户输入部360也能够接收由照相机332拍摄的第二用户的手势输入。
电源供应部340供应用于虚拟现实装置102的动作而需要的电源。电源供应部340包括充电的电池(未图示),包括由外部接收电力的电缆(未图示)或电缆端口(未图示)。
输出部350将由通信部380接收或在控制部处理或存储至内存370的信息按光、声音及振动中的至少一个形式输出。
例如,输出部350包括输出音频数据的扬声器352。并且,扬声器352输出与在虚拟现实装置102执行的功能(例如,信号接收音、信息接收音、提示音)相关的声音信号。
控制部310控制虚拟现实装置102的整个动作。
例如,控制部310执行存储至内存370的程序,由此,控制显示器320、传感器部330、通信部380、内存370、用户输入部360、输出部350及电源供应部340。控制部310与PC 101或智能手机104通信而接收用于痴呆诊断的问题,将所接收的问题存储至内存370而执行。
虚拟现实装置102通过无线通信、近距离通信或有线通信等而与PC 101或智能手机104连接,由PC 101或智能手机104接收与用于痴呆诊断的问题影像相关的信息,将影像输出至虚拟现实装置102的显示器320上。
控制部310基于通过通信部380而由PC101或智能手机104等外部设备接收的神经疾病诊断用问题,而将虚拟现实影像显示至显示器320,通过传感器部330检测用户的动作,并进行用于神经疾病的诊断的检查。
在该过程中,进行用于虚拟现实实现与检查而需要的各种处理,与外部设备联动而收发各种信息。例如,将检测用户是否佩戴了虚拟现实装置、用户的视线、声音、手势等用户信息;基于所检测的信息而完成的第二用户的答案;利用第二用户的答案的评分结果等虚拟现实影像而进行的检查相关的各种信息实时或在规定时间点上传送至外部设备。
]根据本发明的根据一个实施例,由虚拟现实装置102提供的痴呆诊断用问题包括:第一画面,在虚拟现实空间中介绍至少一个物品之后隐藏;第二画面,包含对所述至少一个物品的提问。在此,优选地,第一画面及第二画面的背景与第二用户居住的家庭内部环境相同。其向接收痴呆诊断的用户提供舒适的心理状态。
第一画面是指虚拟形象出现,而将至少一个物品隐藏至特定空间或特定家具的影像。
第二画面包括:回想步骤,诊断用户是否记得隐藏的物品;认知步骤,诊断用户是否区分隐藏的物品与其它的物品;匹配步骤,诊断用户是否能关联隐藏的物品与场所。
在回想步骤中,虚拟现实装置102提供第一用户界面,供依次显示隐藏的物品,提问所显示的物品隐藏在何处,而用户说出。
在认知步骤中,虚拟现实装置102提供第二用户界面,供显示掺杂所隐藏的物品与未介绍的新的物品的包装画面,提问以使区分在包装画面中所隐藏的物品及新的物品,而用户进行说出。
在匹配步骤中,虚拟现实装置102提供第三用户界面,显示隐藏至少一个物品的虚拟现实空间,用户直接移动并查找所隐藏的物品。
该痴呆诊断用问题构成具有多个步骤,例如第一至第九步骤的难易度中任一难易度,难易度为随着第一步骤至第九步骤增加而所隐藏的物品的数量增加。
另外,虚拟现实装置102在第二用户的痴呆诊断用问题解答结束的情况下,能够直接计算结果。
具体地,虚拟现实装置102的控制部包括:结果处理模块(未图示),基于用户的移动距离的第一条件,用户全部解答痴呆诊断用问题时所需时间的第二条件及基于用户的声音或动作而完成的答题纸的第三条件而计算分数。
此时,结果处理模块对第一至第三条件分别赋予预先设定的加权值而计算分数。
例如,结果处理模块在用户的移动距离的第一条件提高设定加权值,或在第二用户全部解答痴呆诊断用问题时所需的时间的第二条件提高设定加权值,或基于用户的声音或动作而完成的答案纸的第三条件提高设定加权值。
此时,对比计算的分数与基准分数,在所计算的分数超过基准分数的情况下,确定第二用户为正常。
结果处理模块将所计算的分数通过通信部380而传送至PC或智能手机104等外部设备。
图4为本发明的一个实施例的痴呆诊断系统的动作流程图。
图示的示例,虚拟现实装置102为与PC 101或智能手机104通信,但为了下面便于说明,以虚拟现实装置102与PC 101通信进行说明。
在下面的说明中,虚拟现实装置102与PC 101通信的动作应注意在虚拟现实装置102与智能手机104之间能够进行,对于在PC 101中进行的至少一个动作,智能手机104能够执行。
虚拟现实装置102感应第二用户佩戴虚拟现实装置102的情况(401)。在虚拟现实装置102感应第二用户佩戴虚拟现实装置102的情况下,基于所感应的结果而生成感应信号,并将所生成的感应信号传送至PC 101(403)。
PC 101与由虚拟现实装置102接收的感应信号应答,输出画面,以使第一用户识别第二用户佩戴了虚拟现实装置102的情况。PC 101与感应信号应答,输出请求用于诊断第二用户的痴呆的内容的输入的用户界面。PC 101通过用户界面而由第一用户接收选择与内容映射的问题及难易度的输入(405)。
PC 101基于由第一用户选择的信息而将测试用问题及难易度信息传送至虚拟现实装置102(407)。例如,测试用问题是指包含于存储至PC 101的内存的注意集中力内容130a、时间空间能力内容130b、记忆力内容130c、执行能力内容130d、语言能力内容130e、计算能力内容130f、声音识别力内容130g及用户信息存储部130h中的任一个的问题。
虚拟现实装置102基于由PC 101接收的测试用问题及难易度信息而进行测试。(409)
虚拟现实装置102利用传感器及照相机而感应第二用户的视线、声音或手势等并基于所感应的结果而完成第二用户的答案。对于虚拟现实装置102,在测试结束的情况下,将与完成的答案的相应的数据传送至PC 101(411)。
根据其它实施例,虚拟现实装置102感应第二用户的视线、声音或手势等,并将所感应的结果按特定时间单位存储至缓冲器。并且,虚拟现实装置102将存储至缓冲器的信号实时传送至PC 101。
PC 101由虚拟现实装置102接收与完成的答案相应的数据,基于所接收的数据而评分第二用户的答案(413)。
PC 101对比评分结果分数与基准分数(415),基于所对比的结果而生成报告并输出(419)。
另外,PC 101对于评分结果分数低于基准分数的情况,输出请求再次选择问题及问题的难易度的画面。其对于第二用户的测试结果分数显著低的情况,为了准确诊断痴呆,用于再次调整问题及难易度。因此,基准分数是指设定决定再次进行第二用户的测试与否的分数。
PC 101由第一用户接收再次选择问题或难易度的输入,生成包含被变更的问题及难易度的数据(417)。
PC 101将具有再次选择的问题或难易度的数据传送至虚拟现实装置102(421)。
虚拟现实装置102基于由PC 101接收的测试用问题及难易度信息而进行测试(423)。虚拟现实装置102利用传感器及照相机而感应第二用户的视线、声音或手势等,并基于所感应的结果而完成第二用户的第二次答案。
在虚拟现实装置102完成测试的情况下,将与所完成的答案相应的数据传送至PC101(425)。
PC 101由虚拟现实装置102接收与完成的答案相应的数据,基于所接收的数据而评分第二用户的答案(427)。并且,PC 101对比评分结果分数与基准分数(415),基于所对比的结果而生成报告并输出(419)。
图5为本发明的另一实施例的痴呆诊断系统的动作流程图。与图4显示的例子不同,虚拟现实装置102直接对第二用户的选择答案评分,并将评分结果传送至PC 101。并且,对比评分结果分数与基准分数,生成用于再次调整问题或难易度的中断,也能够将所生成的中断传送至PC 101。
虚拟现实装置102感应第二用户佩戴虚拟现实装置102的情况(501)。
在虚拟现实装置102感应第二用户佩戴虚拟现实装置102的情况下,基于所感应的结果而生成感应信号,并将所生成的感应信号传送至PC 101(503)。
PC 101与由虚拟现实装置102接收的感应信号应答,输出画面,以使第一用户识别第二用户佩戴了虚拟现实装置102的情况。PC 101与感应信号应答,输出请求用于诊断第二用户的痴呆的内容的输入的用户界面。PC 101通过用户界面而由第一用户接收选择与内容映射的问题及难易度的输入(505)。
PC 101由第一用户基于所选择的信息而将测试用问题及难易度信息传送至虚拟现实装置102(507)。
此时,PC 101将测试用问题和与问题的正确答案相应的数据一起传送至虚拟现实装置102。例如,测试用问题是指包含于存储至PC 101的内存的注意集中力内容130a、时间空间能力内容130b、记忆力内容130c、执行能力内容130d、语言能力内容130e、计算能力内容130f、声音识别力内容130g、用户信息存储部130h中的至少一个的问题。
虚拟现实装置102基于由PC 101接收的测试用问题及难易度信息而进行测试(509)。虚拟现实装置102利用传感器及照相机而感应第二用户的视线、声音或手势等,并以所感应的结果为基础而完成第二用户的答案。
虚拟现实装置102评分所生成的第二用户的答案。(511)
虚拟现实装置102对比评分结果分数与基准分数(513),将基于所对比的结果的数据传送至PC 101。(515)
PC 101基于由虚拟现实装置102接收的评分结果而生成报告(529)。
另外,虚拟现实装置102对于测试结果分数比基准分数低的情况,生成请求再次选择问题及问题的难易度的中断,而传送至PC 101(517、519)。其对于第二用户的测试结果分数显著低的情况,为了准确诊断痴呆,用于再次调整问题及难易度。因此,基准分数是指用于确定再次进行第二用户的测试与否而设定的分数。
PC 101与由虚拟现实装置102提供的中断应答,以输出请求再次选择问题及问题的难易度的画面。
PC 101由第一用户接收再次选择问题或难易度的输入,从而,生成包含所变更的问题及难易度的数据。(521,523)
虚拟现实装置102基于由PC 101接收的测试用问题及难易度信息而进行测试(523)。虚拟现实装置102利用传感器及照相机而感应第二用户的视线、声音或手势等,并基于所感应的结果而完成第二用户的答案。
虚拟现实装置102对所生成的第二用户的答案评分(525)。
虚拟现实装置102对比评分结果分数与基准分数(513),将基于所对比的结果的数据传送至PC 101(527)。
PC 101基于由虚拟现实装置102接收的评分结果而生成报告(529)。
如上说明的各个实施例所示,虚拟现实装置102将用户佩戴了虚拟现实装置与否、通过用户的视线、声音、手势等各种传感器而检测的信息、基于所检测的信息而完成的第二用户的答案、与利用第二用户的答案的评分结果等虚拟现实影像而进行的检查相关的各种信息实时或规定时间点内传送至与PC或智能手机等本身联动的外部设备。
图6为本发明的一个实施例的虚拟现实装置102的动作流程图。图7至图12为用于说明通过本发明的痴呆诊断系统100而进行隐藏的物品查找测试而诊断痴呆的方法的示例。
参照图6至图12,在步骤601中,虚拟现实装置102感应第二用户佩戴虚拟现实装置102的情况。
在虚拟现实装置102感应第二用户佩戴虚拟现实装置102的情况下,基于所感应的结果而生成感应信号,并将所生成的感应信号传送至PC 101(603)。
PC 101如图7显示所示,与由虚拟现实装置102接收的感应信号应答,而输出引导画面,以使得第一用户识别第二用户佩戴了虚拟现实装置102的情况。PC 101与感应信号应答,输出请求用于诊断第二用户的痴呆的内容的输入的用户界面。PC 101通过用户界面而由第一用户接收选择与内容映射的问题及难易度的输入。
作为具体的例子,难易度区分为隐藏两个至32个的总四个步骤。液能够区分为隐藏两个至32个的总九个步骤。
参照图6及图8,在步骤605中,虚拟现实装置102接收测试用问题及难易度信息。在步骤607中,虚拟现实装置102基于所接收的测试用问题及难易度信息而输出说明进行测试的方法的画面。例如,说明测试进行方法的画面如图8显示所示,作为虚拟现实空间,而将房间801作为背景,并包含说明测试方法的虚拟形象810。
虚拟形象810按视觉信息及声音信息形式说明测试进行方法。例如,输出"自现在显示物品并隐藏。匹配我将玩具熊隐藏至了何处"的声音信息。
参照图6及图9,在步骤609中,虚拟现实装置102在结束测试方法的说明的情况下,进行测试。
虚拟现实装置102利用传感器及照相机而感应第二用户的视线、声音或手势等,并基于所感应的结果而完成第二用户的答案。在进行测试时,虚拟形象810出现而顺序显示多个事物,之后,将所显示的事物隐藏至作为背景而显示的房间801的各处。
虚拟形象810所隐藏的物品如图9显示所示,是指手套901、蛋糕903、钱包905、照相机907、时钟909、眼镜911、棒球913、蜡烛915、钥匙917、苹果919、香蕉921、手机923、玩具熊925、皮鞋927、遥控器929或锤子931中选择的至少一部分。但在本发明中虚拟形象810隐藏的物品并非局限于图9显示的事物,也应注意是指事物或动物。
作为背景的房间由舒适的个人空间形式构成,隐藏物品的场所及物品的数量根据难易度调解而自由调整。
并且,物品甄选在韩语频率字典中使用频率高的或也能够在日常生活中广泛使用的物品中甄选。
参照图10,在虚拟现实装置102借助虚拟形象810而结束物品隐藏的情况下,输出向第二用户要求查找隐藏的物品的接口画面。例如,虚拟现实装置102输出第二用户查找玩具熊925、香蕉921、苹果919或遥控器929隐藏至何处的问题。
虚拟现实装置102利用传感器及照相机而检测第二用户的视线、声音或手势,基于所检测的结果而在显示作为背景的虚拟现实空间(例如:房间801)中移动所显示的第二用户的视线与第二用户的场所。由此,在第二用户佩戴虚拟现实装置102的状态下,控制虚拟现实空间中的视线及场所。
图11显示的示例显示第二用户查找虚拟形象810隐藏至碗橱1101的玩具熊(925)的过程。
参照图6及图12,在步骤611中,虚拟现实装置102在第二用户进行测试期间,基于所感应的第二用户的视线、声音或手势等而完成第二用户的答案,并生成结果数据。
此时,由虚拟现实装置102生成的结果数据如图12的(a)所示,包括:第二用户移动距离信息、如图12的(b)所示,第二用户的测试参与时间信息、如图12的(c)显示所示的评分的结果,即考卷信息,该信息进行分别显示。
另外,测试影像进行适当设定。例如,设定为6分钟至7分钟。其在测试影像的播放时间非常短的情况下,无法在影像展现充分的内容,时间太长的情况下,所包含的内容太多,测试的难易度急剧增加而难易准确诊断。
在步骤613中,虚拟现实装置102完成测试后,将所生成的结果数据传送至PC101。
另外,本发明的另一个实施例的虚拟现实装置102自行进行评分,也能够将评分结果传送至PC 101。
并且,虚拟现实装置102对于评分结果分数低于基准分数的情况,输出请求再次选择问题及问题的难易度的画面。例如,在步骤615中,虚拟现实装置102对比评分结果分数与基准分数,对于测试结果分数低于基准分数的情况,生成请求再次选择问题及问题的难易度的中断而传送至PC 101(617)。
图13至图23为用于说明通过本发明的痴呆诊断系统100而进行隐藏的物品查找测试而诊断痴呆的另一方法的示例。
参照图13,PC 101在诊断第二用户的痴呆之前,输出用于输入第二用户相关的基本信息的用户界面。
由PC 101而输出的用户界面,即基本信息输入画面包含第二用户(被检查者)的名称、性别、出生年月、年龄、学历、把手、视力障碍与否、听力障碍与否、检查实施器官、检查日期、检查者名称、国籍、母语及备忘录等。
参照图14,PC 101与通过第一用户完成基本信息输入应答,输出用于设定检查水平(检查难易度)的菜单。
用于设定检查水平的菜单,例如,选择第一步骤至第四步骤中的任一个。
参照图15,第一用户(检查者)完成设定基本信息输入及检查水平的情况下,向第二用户(被检查者)引导虚拟现实装置102的佩戴。第一用户将第二用户就坐至检查开始点相应的椅子,并引导虚拟现实装置102的使用方法。
虚拟现实装置102包括:HMD等耳麦;供双手持握的控制器。此时,第一用户引导第二用户将耳麦以与双眼匹配佩戴,引导双手抓住控制器。并且,第一用户确认第二用户是否正确佩戴虚拟现实装置102。
确认方法包括如下过程:例如,确认配置在耳麦一侧(例如:左侧)的灯亮灯与否;被检查者将后颈按左右移动,并确认显示空间;及确认配置在双手抓住的控制器的灯亮灯与否。在所述确认过程全部正常结束的情况下,第一用户从空间去除椅子,并引导第二用户在相应支点慢慢等待。
参照图16,第一用户控制PC 101而指示开始痴呆检查。PC 101与来自第一用户的痴呆检查开始指示应答,而控制虚拟现实装置102。在开始痴呆检查的情况下,虚拟现实装置102输出如图16显示所示的画面。
例如,虚拟现实装置102为了使第二用户首先识别及学习虚拟现实空间,输出“返回眼前显示的客厅,并体验后,返回至出发位置”等引导。此时,引导是指在文字、声音中任一个或文字及声音的组合。
在所述引导过程结束的情况下,虚拟现实装置102执行Practicetrial过程。Practicetrial过程,包括:例如,“请在底部沿着红线移动;请打开抽屉;请取出抽屉内的物品;请在抽屉粘贴贴纸;及自由返回客厅之后,在红圆上慢慢查看盒子”等句子。虚拟现实装置102依次一个一个输出所述引导文字,第二用户每次完成相应引导的动作时输出新的引导句子。
参照图17,虚拟现实装置102完成Practicetrial(练习试跳或试掷)过程的情况下,执行Prospectivememory(前瞻性记忆)过程。
例如,虚拟现实装置102在Prospectivememory过程中,输出“暂时隐藏物品并进行查找。在第二次查找物品之后,请打开窗户”等引导句子。所述引导句子也包含“暂时全部查找所有物品之后,请关掉平底锅的火”等内容。
由此,在查找Place-itemmatching等所有物品之后,测试prospectivememory的理由在检查中执行prospectivememory的情况下,对时间、距离产生影响,由此,用于将对其它评估的影响最小化。
参照图18,在虚拟现实装置102完成Prospectivememory的情况下,执行物品隐藏过程。
例如,虚拟现实装置102在物品隐藏过程中,输出“请确认箱子中出来的物体,并记忆所隐藏的场所”,或“此时物品为一个一个进行显示而隐藏至前面显示的空间。很好地记住物体与隐藏的场所”等引导句子。
并且,虚拟现实装置102作为与隐藏的物体相应的单词的示例,输出“苹果”、“香蕉”等。
根据一个实施例,在物品隐藏过程中,虚拟现实装置102显示物品而显示旋转360度的影像,与所述物品匹配的单词通过声音信号输出,并输出所述物品隐藏的场景影像。在此,显示单词的理由在free-recall评估时确认是否按相同物品的各种名称(ex.鸡蛋、鸡卵)中的之前显示了的场景影像应答。
并且,在本发明中,物品在人物虚拟形象出现而未隐藏并仅仅物品飞出时,其理由为难以直接确认人区分物品飞出的轨迹而如何隐藏,并控制人的移动,由此,限制物品飞出的速度调整。
参照图19a,在虚拟现实装置102完成物品隐藏过程的情况下,执行Itemfree-recall过程。例如,虚拟现实装置102在Itemfree-recall过程中,输出“请记住箱子显示的物体”或“请全部按记忆地说出刚才隐藏的物品”等引导句子。
另外,PC 101通过虚拟现实装置102而接收第二用户指示的物体的信息,基于所接收的信息而输出如图19b显示所示的第二用户的答案检查画面。由此,第一用户,通过PC101而识别第二用户执行中的Itemfree-recall测试结果。
参照图20,虚拟现实装置102在Itemfree-recall过程完成的情况下,执行Placefree-recall过程。
例如,虚拟现实装置102在Placefree-recall过程中,输出在“请在物品隐藏的位置粘贴贴纸并返回出发位置”或“返回客厅并在物品隐藏的场所而一个一个显示贴纸”等引导句子。在Placefree-recall过程中仅粘贴贴纸的理由是,对于打开抽屉观察的情况,与物品列举与否无关,对下一个place-itemmatching执行造成影响。
参照图21,虚拟现实装置102完成Placefree-recall过程的情况下,执行Itemrecognition过程。
例如,虚拟现实装置102在Itemrecognition过程中,输出“在现在展示的四种物品中,请选择之前隐藏的一个物品”等引导文字。在Itemrecognition过程中,虚拟现实装置102显示多个物品,其中,输出选择在至少一个之前画面中输出的物品的场景影像。
参照图22,虚拟现实装置102完成Itemrecognition过程的情况下,执行Place-itemmatching。
例如,虚拟现实装置102在Place-itemmatching过程中输出“自此开始,一个一个展示物品。去隐藏该物品的场所而查找物品而装入箱子。在不存在查找的物品或存在其它物品的情况下,直接返回。”等引导句子。
根据本发明的一个实施例,痴呆诊断系统100分为第二用户直接查找物品的情况(O),打开装有其它物品的场所的情况(△),不存在任何物品的情况(X)而计算分数。
在此,对于打开装有其它物品的场所的情况(△)在查找其它物品时给予帮助,并且,记忆物品隐藏至相应位置的情况而反应分数计算。由此,本发明在物品查找测试中,并非单纯地将正确答案/错误答案反应至分数,也反应打开装有其它物品的场所的情况(△),将更多样的情况的数量反应至分数而提高检查结果的可靠性。
在痴呆诊断系统100完成Place-itemmatching过程的情况下,将如图23显示所示的检查结果画面通过PC 101输出。
如上所述,本发明利用电脑与虚拟现实装置而容易诊断痴呆,并减少患者的精神压力。
所述中,将本发明通过特定的优选的实施例显示并进行了说明,但本技术领域的普通技术人员应当明白,在不脱离权利要求范围相关的本发明的技术特征或领域的范围内,能够对本发明进行各种改造及变化。
Claims (7)
1.一种虚拟现实装置,涉及一种提供影像而产生的虚拟现实环境的虚拟现实装置,其特征在于,
包括:
显示器,显示影像;
传感器部,检测用户的动作和声音;
通信部,与外部设备通信;
控制部,基于通过所述通信部而由所述外部设备接收的神经疾病诊断用问题,在所述显示器显示虚拟现实环境,并通过所述传感器部而检测用户的动作和声音,并进行用于所述神经疾病诊断的检测,所述控制部中包括结果处理模块;所述控制部基于所述用户的声音或动作完成的答案信息以及所述用户的答案的评分结果而进行的评分信息通过通信部上传至外部设备;以及
存储部,用于存储有关基准佩戴状态的信息,该基准佩戴状态是指在最适合用户接收影像的位置佩戴所述虚拟现实装置的状态;
有关所述基准佩戴状态的信息包括从所述基准佩戴状态下获得的有关用户身体部位的影像中检测到的特性值;
所述神经疾病诊断用问题包括:
第一画面,在虚拟现实空间中介绍至少一个物品之后隐藏;
第二画面,包含对所述至少一个物品的提问;
所述第二画面依次执行回想步骤、认知步骤、匹配步骤,其中,回想步骤,诊断所述用户是否记得被隐藏的物品;认知步骤,诊断所述用户是否区分隐藏的物品与其它物品;匹配步骤,诊断所述用户是否关联所隐藏的物品与场所;
所述回想步骤包括:
Itemfree-recall过程,使得用户按记忆说出隐藏的物品;以及
Placefree-recall过程,使得用户在物品隐藏的位置粘贴贴纸并返回出发位置;
执行所述匹配步骤的第二画面包括第三用户界面,以显示隐藏所述至少一个物品的虚拟现实空间,并供所述用户直接移动并查找所述隐藏的物品;
如果基于检测结果的分数低于基准分数,则向外部设备发送中断请求重新选择问题和问题的难度级别,从而重新进行检测。
2.根据权利要求1所述的虚拟现实装置,其特征在于,
所述第一画面包括:虚拟形象出现,而将所述至少一个物品隐藏至特定空间或特定家具。
3.根据权利要求1所述的虚拟现实装置,其特征在于,
所述第一画面及第二画面的背景与所述用户居住的家庭内部环境相同。
4.根据权利要求1所述的虚拟现实装置,其特征在于,
所述神经疾病诊断用问题区分为分别具有多个难易度中的任一个的难易度的问题,
随着难易度增加而隐藏的物品的数量增加。
5.根据权利要求1所述的虚拟现实装置,其特征在于,
执行所述回想步骤的第二画面包括:第一用户界面,依次显示所述隐藏的物品,并提问所述显示的物品是否隐藏至何处,而使所述用户说出。
6.根据权利要求1所述的虚拟现实装置,其特征在于,
执行所述认知步骤的第二画面包括:第二用户界面,显示掺杂所述隐藏的物品与未提前介绍的新的物品的包装画面,提问在所述包装画面中区分所述隐藏的物品及所述新的物品,而使所述用户说出;
对于计算的分数超过所述基准分数的情况,确定所述用户为正常。
7.根据权利要求1所述的虚拟现实装置,其特征在于,
所述通信部包括无线通信模块或有线通信模块,
所述外部设备为智能手机或PC。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170037050A KR101983279B1 (ko) | 2017-03-23 | 2017-03-23 | 가상현실을 이용한 신경질환 진단 장치 및 방법 |
KR10-2017-0037050 | 2017-03-23 | ||
PCT/KR2018/003203 WO2018174507A1 (ko) | 2017-03-23 | 2018-03-20 | 가상현실을 이용한 신경질환 진단 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110430802A CN110430802A (zh) | 2019-11-08 |
CN110430802B true CN110430802B (zh) | 2022-07-05 |
Family
ID=63586095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880014036.1A Active CN110430802B (zh) | 2017-03-23 | 2018-03-20 | 利用虚拟现实的神经疾病诊断装置及方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11826160B2 (zh) |
EP (1) | EP3603491A4 (zh) |
KR (1) | KR101983279B1 (zh) |
CN (1) | CN110430802B (zh) |
WO (1) | WO2018174507A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020122463A1 (ko) * | 2018-12-10 | 2020-06-18 | 주식회사 씨투몬스터 | 가상 현실을 이용한 치매 환자 훈련 시스템 |
US11612316B2 (en) | 2019-06-20 | 2023-03-28 | Awss Zidan | Medical system and method operable to control sensor-based wearable devices for examining eyes |
KR102200196B1 (ko) * | 2019-09-11 | 2021-01-08 | 백종엽 | 위치 정보를 이용한 증강현실 기반의 캐릭터 제공 시스템 |
WO2022025563A1 (ko) * | 2020-07-28 | 2022-02-03 | 재단법인 아산사회복지재단 | 가상 현실 기반 중추신경계 탈수초 질환 환자의 뇌 훈련 장치, 방법 및 시스템 |
KR20230047410A (ko) * | 2020-10-30 | 2023-04-07 | 주식회사 이노베이션시스템 | Vr을 이용한 치매 진단 방법 및 이를 이용하는 장치 |
KR102508262B1 (ko) * | 2021-02-26 | 2023-03-09 | (주)블라우비트 | 음성 및 시선 추적을 이용한 치매 진단 장치 및 치매 정보 제공 방법 |
KR102657044B1 (ko) * | 2021-08-10 | 2024-04-15 | 충북대학교 산학협력단 | 가상환경을 이용한 자가 신체 검진 장치 및 그 제어방법 |
KR102392318B1 (ko) * | 2022-01-17 | 2022-05-02 | 주식회사 하이 | 혼합 테스트에 기초하여 치매를 식별하는 기법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005000401A1 (en) * | 2003-06-27 | 2005-01-06 | Fralex Therapeutics Inc. | System for image-guided pulsed magnetic field diagnosis and treatment |
CN106293073A (zh) * | 2016-07-29 | 2017-01-04 | 深圳市前海安测信息技术有限公司 | 基于虚拟现实的辅助老年痴呆症患者寻找物品的系统及方法 |
CN106355010A (zh) * | 2016-08-30 | 2017-01-25 | 深圳市臻络科技有限公司 | 一种自助认知评估的装置和方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7087015B1 (en) * | 2000-01-31 | 2006-08-08 | Panmedix, Inc. | Neurological pathology diagnostic apparatus and methods |
US8014847B2 (en) | 2001-12-13 | 2011-09-06 | Musc Foundation For Research Development | Systems and methods for detecting deception by measuring brain activity |
KR20080084873A (ko) * | 2007-02-06 | 2008-09-22 | 프림포주식회사 | 치매예방 게임시스템 |
US20080280276A1 (en) * | 2007-05-09 | 2008-11-13 | Oregon Health & Science University And Oregon Research Institute | Virtual reality tools and techniques for measuring cognitive ability and cognitive impairment |
US8392250B2 (en) * | 2010-08-09 | 2013-03-05 | The Nielsen Company (Us), Llc | Neuro-response evaluated stimulus in virtual reality environments |
US20120108909A1 (en) * | 2010-11-03 | 2012-05-03 | HeadRehab, LLC | Assessment and Rehabilitation of Cognitive and Motor Functions Using Virtual Reality |
KR101302193B1 (ko) * | 2011-08-03 | 2013-08-30 | 포항공과대학교 산학협력단 | 삼킴 장애 측정 및 치료 장치 |
JP2014535080A (ja) * | 2011-11-16 | 2014-12-25 | ヴェロニク・デボラ・ボーボ | 記憶を改善するためのコンピュータ生成三次元仮想現実環境 |
KR20140046629A (ko) | 2012-10-09 | 2014-04-21 | 대한민국(국립재활원장) | 뇌손상 장애인의 운전능력을 판단하기 위한 인지 지각 능력 평가시스템 |
US8751039B1 (en) * | 2013-02-22 | 2014-06-10 | Remedev, Inc. | Remotely-executed medical therapy device |
ES2768613T3 (es) * | 2013-03-11 | 2020-06-23 | Lincoln Global Inc | Sistemas y métodos que proporcionan educación y formación potenciados en un entorno de realidad virtual |
TWI641943B (zh) * | 2013-03-15 | 2018-11-21 | 美商英特爾公司 | 控制電源供應單元於閒置狀態期間的功率消耗之技術 |
EP2976763A4 (en) * | 2013-03-18 | 2016-09-14 | Cognisens Inc | PERCEPTION AND COGNITION-RELATED MOTION SYSTEM AND METHOD |
KR101534831B1 (ko) | 2013-05-14 | 2015-07-08 | 주식회사 넷블루 | 치매 인지 평가 장치 |
US9965030B2 (en) * | 2014-07-31 | 2018-05-08 | Samsung Electronics Co., Ltd. | Wearable glasses and method of displaying image via the wearable glasses |
US20160125748A1 (en) * | 2014-11-04 | 2016-05-05 | John Wesson Ashford | Memory test for Alzheimer's disease |
KR101711093B1 (ko) * | 2015-02-11 | 2017-03-02 | 울산과학기술원 | 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템 |
US20170173262A1 (en) * | 2017-03-01 | 2017-06-22 | François Paul VELTZ | Medical systems, devices and methods |
-
2017
- 2017-03-23 KR KR1020170037050A patent/KR101983279B1/ko active IP Right Grant
-
2018
- 2018-03-20 CN CN201880014036.1A patent/CN110430802B/zh active Active
- 2018-03-20 US US16/496,100 patent/US11826160B2/en active Active
- 2018-03-20 WO PCT/KR2018/003203 patent/WO2018174507A1/ko unknown
- 2018-03-20 EP EP18772442.2A patent/EP3603491A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005000401A1 (en) * | 2003-06-27 | 2005-01-06 | Fralex Therapeutics Inc. | System for image-guided pulsed magnetic field diagnosis and treatment |
CN106293073A (zh) * | 2016-07-29 | 2017-01-04 | 深圳市前海安测信息技术有限公司 | 基于虚拟现实的辅助老年痴呆症患者寻找物品的系统及方法 |
CN106355010A (zh) * | 2016-08-30 | 2017-01-25 | 深圳市臻络科技有限公司 | 一种自助认知评估的装置和方法 |
Non-Patent Citations (1)
Title |
---|
Student projects in assistive technologies;Lenka Lhotska;《2014 Information Technology Based Higher Education and Training (ITHET)》;20150716;第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
EP3603491A4 (en) | 2021-05-05 |
WO2018174507A1 (ko) | 2018-09-27 |
CN110430802A (zh) | 2019-11-08 |
US11826160B2 (en) | 2023-11-28 |
KR20180108954A (ko) | 2018-10-05 |
KR101983279B1 (ko) | 2019-05-30 |
EP3603491A1 (en) | 2020-02-05 |
US20200093414A1 (en) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110430802B (zh) | 利用虚拟现实的神经疾病诊断装置及方法 | |
JP6815486B2 (ja) | 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム | |
CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
Majaranta et al. | Eye tracking and eye-based human–computer interaction | |
US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
JP2019519053A (ja) | 視覚機能データを獲得し、分析し、生成する、かつデータに基づいてメディアを修正するための方法およびシステム | |
CN112181152A (zh) | 基于mr眼镜的广告推送管理方法、设备及应用 | |
US10709328B2 (en) | Main module, system and method for self-examination of a user's eye | |
US10860104B2 (en) | Augmented reality controllers and related methods | |
KR102105552B1 (ko) | 사용자의 인지능력 개선을 위한 안마의자 시스템 | |
US20170112373A1 (en) | Visual acuity testing method and product | |
US20180011531A1 (en) | Methods and apparatus to determine objects to present in virtual reality environments | |
CN114514563A (zh) | 在电子设备上创建最佳工作、学习和休息环境 | |
US20240164672A1 (en) | Stress detection | |
US20230376107A1 (en) | Detecting unexpected user interface behavior using physiological data | |
WO2024038134A1 (en) | Methods and devices in performing a vision testing procedure on a person | |
Ruotsalo et al. | Affective Relevance | |
JP2022525867A (ja) | ユーザの音響的及び/又は映像的コンテンツの記憶及びレンダリング | |
US20240319789A1 (en) | User interactions and eye tracking with text embedded elements | |
US20240122469A1 (en) | Virtual reality techniques for characterizing visual capabilities | |
US20230418372A1 (en) | Gaze behavior detection | |
JP2024046867A (ja) | 情報処理装置および恐怖症改善支援方法 | |
JP2024046865A (ja) | 情報処理装置および恐怖症改善支援方法 | |
JP2024046866A (ja) | 情報処理装置および恐怖症改善支援方法 | |
CN117120958A (zh) | 压力检测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |