JP2022506651A - 情動障害のスクリーニングおよび治療のための顔の表情検出 - Google Patents
情動障害のスクリーニングおよび治療のための顔の表情検出 Download PDFInfo
- Publication number
- JP2022506651A JP2022506651A JP2021524183A JP2021524183A JP2022506651A JP 2022506651 A JP2022506651 A JP 2022506651A JP 2021524183 A JP2021524183 A JP 2021524183A JP 2021524183 A JP2021524183 A JP 2021524183A JP 2022506651 A JP2022506651 A JP 2022506651A
- Authority
- JP
- Japan
- Prior art keywords
- user
- emotional
- expression
- interaction
- prompt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims description 94
- 238000012216 screening Methods 0.000 title abstract description 6
- 238000001514 detection method Methods 0.000 title description 5
- 208000027534 Emotional disease Diseases 0.000 title description 2
- 230000002996 emotional effect Effects 0.000 claims abstract description 167
- 238000000034 method Methods 0.000 claims abstract description 110
- 230000001149 cognitive effect Effects 0.000 claims abstract description 89
- 230000003993 interaction Effects 0.000 claims abstract description 70
- 230000001815 facial effect Effects 0.000 claims abstract description 46
- 238000012937 correction Methods 0.000 claims abstract description 10
- 230000014509 gene expression Effects 0.000 claims description 88
- 238000012545 processing Methods 0.000 claims description 60
- 230000004044 response Effects 0.000 claims description 32
- 230000009471 action Effects 0.000 claims description 16
- 230000037007 arousal Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 5
- 230000008451 emotion Effects 0.000 abstract description 52
- 238000012549 training Methods 0.000 abstract description 43
- 238000005259 measurement Methods 0.000 abstract description 37
- 238000010586 diagram Methods 0.000 abstract description 20
- 230000008909 emotion recognition Effects 0.000 abstract description 13
- 230000008685 targeting Effects 0.000 abstract description 9
- 230000004048 modification Effects 0.000 abstract description 8
- 238000012986 modification Methods 0.000 abstract description 8
- 230000036992 cognitive tasks Effects 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 26
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 16
- 230000000670 limiting effect Effects 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 12
- 230000019771 cognition Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 230000036961 partial effect Effects 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 230000008094 contradictory effect Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 208000035475 disorder Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000036626 alertness Effects 0.000 description 3
- 208000029560 autism spectrum disease Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000006397 emotional response Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004060 metabolic process Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 201000000980 schizophrenia Diseases 0.000 description 3
- 238000002560 therapeutic procedure Methods 0.000 description 3
- 206010003805 Autism Diseases 0.000 description 2
- 208000020706 Autistic disease Diseases 0.000 description 2
- 208000000094 Chronic Pain Diseases 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003935 attention Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036770 blood supply Effects 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 239000010454 slate Substances 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 208000011117 substance-related disease Diseases 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010013654 Drug abuse Diseases 0.000 description 1
- 208000034846 Familial Amyloid Neuropathies Diseases 0.000 description 1
- 208000023105 Huntington disease Diseases 0.000 description 1
- 208000029726 Neurodevelopmental disease Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000003931 cognitive performance Effects 0.000 description 1
- 238000009226 cognitive therapy Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000000626 neurodegenerative effect Effects 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011867 re-evaluation Methods 0.000 description 1
- 230000003989 repetitive behavior Effects 0.000 description 1
- 208000013406 repetitive behavior Diseases 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 201000009032 substance abuse Diseases 0.000 description 1
- 231100000736 substance abuse Toxicity 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Psychiatry (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Cardiology (AREA)
- Neurology (AREA)
- Physiology (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Entrepreneurship & Innovation (AREA)
Abstract
本開示の実施形態は、認知的および感情的共感を訓練するために、顔認識ならびに模倣ワークフローを使用するためのシステムおよび方法を提供する。システムおよび方法は、ユーザの情動を検出し、1つ以上の認知スクリーニング機器を修正して、ユーザの情動をさらに促すために、顔認識と組み合わせた生理学的測定(例えば、EEGなど)の使用を含む。1つ以上の特定のネガティブな認知バイアスに関連する1つ以上の特定の感情を対象とし、情動に影響を与える。1つ以上の特定の精神病理は、コンピュータ化された認知バイアス修正レジメン内の感情認識訓練コンポーネントを使用して治療され得る。レジメンは、感情の特定、対象化、および修正を含んでもよく、1つ以上の顔入力、認知タスク、顔認識、および顔の模倣プロトコルを利用して、コンピュータ化されたプラットフォームおよびプラットフォーム製品内の1つ以上のコンピュータ化された刺激またはインタラクションの1つ以上の属性を適応的に修正してもよい。【選択図】図3
Description
関連出願の相互参照
本出願は、2018年11月9日に出願された米国仮出願第62/758,461号の優先権の利益を主張し、その全体は、少なくとも参照により本明細書に組み込まれる。
本出願は、2018年11月9日に出願された米国仮出願第62/758,461号の優先権の利益を主張し、その全体は、少なくとも参照により本明細書に組み込まれる。
本開示は、コンピュータ支援の治療処置の分野に関し、特に、認知および情動を伴う特定の精神病理のスクリーニングおよび治療のための顔画像処理システムおよび方法に関する。
ストレス、不安、および他の種類の感情は、選択的注意、作業記憶、および認知制御を含む、認知の重要な要素に深く影響する可能性がある。情動とは、心理学で使用される概念であり、気持ちまたは感情の経験を説明するものである。情動は、刺激に対する生物のインタラクションを仲介する。情動は、顔、声、もしくは身振り行動の情動表示または指標と呼ばれることもある。特定の観点では、認知は、情動の一部と考えられる場合があり、またはその逆である。うつ病、統合失調症、薬物乱用、慢性疼痛、および自閉症などの最も一般的な精神病理の多くは、認知および感情の顕著な障害を伴う。例えば、自閉症スペクトラム障害状態の中心的な欠陥は、認知的共感性の低下である。これらの神経発達障害には、社会的コミュニケーションならびにインタラクションの障害、および興味の制限ならびに反復的な行動という特徴があり得る。
適応バイアスとは、人間の脳が、真実的または合理的ではなく、適応的に推論するように進化したという考えである。認知バイアスは、不確実な状況下で意思決定に直面したときに、認知エラーの数を削減するのではなく、認知エラーの全体コストを削減するメカニズムとして進化した可能性がある。認知バイアス修正(CBM)技術は、うつ病および社会不安などのいくつかの精神病理に特徴的な認知バイアスを修正するように設計されている。これらのバイアスは、これらの障害の持続に関与していると考えられているため、CBM技術は、不適応な認知バイアスを修正するか、または適応バイアスを誘発することを試みる。注意の選択性を変化させるように設計されたCBMにより、感情的な機能障害に関連する注意バイアスを修正できることが証明されている。解釈の選択性を変化させるように設計されたCBMにより、感情的な機能障害の特徴であるネガティブな様式で曖昧さを解決する傾向を修正できることが証明されている。
感情認識訓練(ERT)は、多くの障害の特徴である、はっきりしない顔または曖昧な顔に関する偏った知覚をネガティブなものからよりポジティブなものにシフトするために使用されるCBMタスクである。ERTは、気分の落ち込みに苦しむ個人の情動を改善するのに効果を発揮している。しかしながら、ERTでは、単に一般的なポジティビティバイアスを誘発するだけではない。CBMが最も効果的であるためには、精神疾患の持続において特定の感情の正確な特定および対象化が必要である。
認知的共感は、他人の精神状態を推測する人の能力を表し、一方、感情的共感は、他者の感情状態に対する観察者の感情的反応として定義される。認知的共感は、概念的に感情認識と関連している。人間は、他人の感情表現に対して自発的な模倣で反応することが多い。相手の表現された感情と一致する顔の表現は、「顔の模倣」とラベル付けされており、社会的インタラクションの中心と考えられている。研究によると、人々は個別の感情ではなく、感情の価数を模倣する傾向があることが分かっている。この文脈での価数とは、事象、目的、または状況の本質的な魅力もしくは嫌悪を広く指す。他人の顔の感情表現を模倣することで、観察者の感情状態の共有を助長することが分かっている。模倣は、主に社会的インタラクションにおける感情的信号への親和的反応であるという見解を支持する臨床所見が増えてきている。
認知バイアス修正介入において、正確かつ特異的に感情を対象とすることにより、情動を訓練するより効果的な手段が必要である。適用された努力、創意工夫、および革新を通じて、出願人は、認知および感情の障害に対する、治療および介入に向けた従来のアプローチの欠陥を特定し、本発明によって具体化される解決策を開発し、これは以下に詳細に説明される。
以下は、本発明の基本的な理解を提供するために、本発明のいくつかの実施形態の簡略化された要約を提示する。この要約は、本発明の広範な概要ではない。この要約は、本発明の重要な/重大な要素を特定すること、または本発明の範囲を示すことを意図するものではない。この唯一の目的は、本発明のいくつかの実施形態を、後で提示されるより詳細な説明の前置きとして簡略化された形で提示することである。
本開示の特定の態様では、ユーザインターフェースを備えたコンピューティングデバイスを用いて、感情表現プロンプトを含む、コンピュータ化された刺激またはインタラクションのインスタンスを提供することと、カメラがコンピューティングデバイスと動作可能に係合している状態で、コンピュータ化された刺激またはインタラクションに応答してユーザの顔の表情のデジタル画像を受信することと、感情表現に対応する価数入力および強度または覚醒度入力を決定するために、少なくとも1つのプロセッサを用いてデジタル画像を処理することと、少なくとも1つのプロセッサを用いて、価数入力および強度または覚醒度入力を、感情表現プロンプトに関連する所定の価数および強度/覚醒度範囲と比較することと、少なくとも1つのプロセッサを用いて、ユーザの顔の表情と感情表現プロンプトとの間の一致度を決定することと、を含む、顔画像処理のためのコンピュータ実装方法を提供する。
顔画像処理のためのコンピュータ実施方法の特定の実施形態では、感情表現プロンプトが、感情表現を表す画像またはアイコンを提示すること、およびユーザに感情表現を模倣するように促すことを含むようにさらに構成されてもよい。
顔の画像処理のためのコンピュータ実施方法の特定の実施形態では、プロセッサを用いて、ユーザの顔の表情と感情表現プロンプトとの間の一致度に従って、ユーザの認知バイアスまたは情動状態の尺度を決定することをさらに含んでもよい。
顔の画像処理のためのコンピュータ実施方法の特定の実施形態では、少なくとも1つの生理学的センサを用いて、感情表現プロンプトに応答して、ユーザの顔の表情のデジタル画像を受信すると同時に、少なくとも1つの生理学的入力を測定することをさらに含んでもよい。
顔の画像処理のためのコンピュータ実施方法の特定の実施形態では、コンピューティングデバイスを用いて、ユーザの顔の表情と感情表現プロンプトとの間の一致度に従って、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを提供することをさらに含んでもよい。特定の実施形態では、コンピュータ化された刺激またはインタラクションは、コンピュータ化された認知バイアス修正レジメンに関連している。
顔画像処理のためのコンピュータ実施方法の特定の実施形態では、処理デバイスを用いて、ユーザの認知バイアスまたは情動状態に従って、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含んでもよい。
顔画像処理のためのコンピュータ実施方法の特定の実施形態では、処理デバイスを用いて、少なくとも1つの生理学的入力に従って、ユーザの情動状態を決定することをさらに含んでもよい。
顔画像処理のためのコンピュータ実施方法の特定の実施形態では、処理デバイスを用いて、ユーザの情動状態に従って、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含んでもよい。
顔画像処理のためのコンピュータ実施方法の特定の実施形態では、処理デバイスを用いて、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスに応答して、ユーザの認知バイアスまたは情動状態の変化度を決定することをさらに含んでもよい。
本開示の特定の態様では、ユーザの顔の表情のデジタル画像をリアルタイムで受信するように構成されたカメラを含むコンピューティングデバイスと、コンピューティングデバイスと通信可能に係合された一体型プロセッサまたはリモートプロセッサと、実行されたときに、プロセッサに、1つ以上の動作を実施させる命令が記憶されている、非一時的なコンピュータ可読媒体と、を備える、顔画像処理のためのシステムを提供し、1つ以上の動作は、感情表現プロンプトを含む、コンピュータ化された刺激またはインタラクションのインスタンスをコンピューティングデバイスにレンダリングすること、コンピュータ化された刺激またはインタラクションに応答して、ユーザの顔の表情のリアルタイムデジタル画像を受信すること、感情表現に対応する価数入力および強度入力を決定するために、デジタル画像を処理すること、価数入力および強度入力を、感情表現プロンプトに関連する所定の価数および強度範囲と比較すること、およびユーザの顔の表情と感情表現プロンプトとの間の一致度を決定すること、を含む。
顔画像処理のためのコンピュータ実施システムの特定の実施形態では、コンピュータ化された刺激またはインタラクションに応答して少なくとも1つの生理学的センサ入力を測定するために、プロセッサと動作可能に係合する少なくとも1つの生理学的センサをさらに備えてもよい。
顔画像処理のためのコンピュータ実施システムの特定の実施形態では、感情表現プロンプトが、感情表現を表す画像またはアイコンをレンダリングすること、およびユーザに感情表現を模倣するように促すことを含むようにさらに構成されてもよい。
顔画像処理のためのコンピュータ実施システムの特定の実施形態では、1つ以上の動作が、ユーザの顔の表情と感情表現プロンプトとの間の一致度に従って、ユーザの認知バイアスまたは情動状態の尺度を決定することさらに含むようにさらに構成されてもよい。
顔画像処理のためのコンピュータ実施システムの特定の実施形態では、1つ以上の動作が、ユーザの顔の表情と感情表現プロンプトとの間の一致度に従って、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスをレンダリングすることをさらに含むようにさらに構成されてもよい。
顔画像処理のためのコンピュータ実施システムの特定の実施形態では、1つ以上の動作が、ユーザの認知バイアスまたは情動状態に従って、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含むようにさらに構成されてもよい。
顔画像処理のためのコンピュータ実施システムの特定の実施形態では、1つ以上の動作が、少なくとも1つの生理学的センサ入力に従って、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含むようにさらに構成されてもよい。
顔画像処理のためのコンピュータ実施装システムの特定の実施形態では、1つ以上の動作が、ユーザの顔の表情と感情表現プロンプトとの間の一致度に従って、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含むようにさらに構成されてもよい。
顔画像処理のためのコンピュータ実施システムの特定の実施形態では、1つ以上の動作が、コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスに応答して、ユーザの認知バイアスまたは情動状態の変化度を決定することをさらに含むようにさらに構成されてもよい。
本開示のさらなる態様では、顔画像処理方法の動作を実行するように1つ以上のプロセッサに命令するための命令が符号化された非一時的なコンピュータ可読媒体が提供され、この動作は、感情表現プロンプトを含む、コンピュータ化された刺激またはインタラクションの第1のインスタンスを出力デバイスに提供することと、感情表現プロンプトに応答して、ユーザの顔の表情のデジタル画像を受信することと、顔の表情に対応する価数入力および強度入力を決定するために、デジタル画像を処理することと、価数入力および強度入力を、顔の表情プロンプトに関連する所定の価数ならびに強度範囲と比較することと、ユーザの顔の表情と感情表現プロンプトとの間の一致度を決定することと、を含む。
前述のことは、本発明のより適切で重要な特徴をかなり広く概説しており、その結果、以下の本発明の詳細な説明をより良好に理解することができ、当技術分野への現在の貢献をより完全に理解することができる。本発明の特許請求の範囲の主題を形成する、本発明の追加の特徴を以下に説明する。本発明の同じ目的を実行するために他の構造を修正または設計するための基礎として、本概念および開示された特定の方法ならびに構造を容易に利用できることを当業者は理解すべきである。このような同等の構造は、添付の特許請求の範囲に記載されている本発明の趣旨および範囲から逸脱しないことを当業者は理解すべきである。
本開示の上記ならびに他の目的、特徴、および利点は、添付の図面と併せて取られる以下の詳細な説明からより明らかになるであろう。
本開示の1つ以上の態様が実装され得る、例示的なコンピューティングデバイスの機能ブロック図である。
本開示の1つ以上の態様が実装され得る、システムアーキテクチャの機能ブロック図である。
一実施形態による、顔の表情プロンプトと、画像捕捉と、ユーザ価数との間の関係を示す図である。
一実施形態による、1つ以上の特定の感情を特定、対象化、または修正するための生理学的センサを組み込んだ感情表現訓練プラットフォームの図である。
一実施形態による、認知バイアスに関連する感情を対象とするためのコンピュータ実装方法のプロセスフロー図である。
一実施形態による、特定の精神病理に関連する認知バイアスを特定および対象とするためのコンピュータ実装方法のプロセスフロー図である。
一実施形態による、コンピュータアプリケーションのセッション中のユーザの情動を最適化するためのコンピュータ実装方法のプロセスフロー図である。
一実施形態による、顔の模倣プロンプトを含むCSIのグラフィカルユーザインターフェース図である。
一実施形態による、部分的な表情の矛盾を伴う顔の模倣プロンプトを含む、CSIのグラフィカルユーザインターフェース図である。
一実施形態による、複数の表情の矛盾を伴う顔の模倣プロンプトを含む、CSIのグラフィカルユーザインターフェース図である。
一実施形態による、感情抑制命令による感情的刺激を含む、CSIのグラフィカルユーザインターフェース図である。
一実施形態による、感情再評価命令による感情的刺激を含む、CSIのグラフィカルユーザインターフェース図である。
本開示の態様は、認知的および感情的共感を訓練するための顔認識ならびに模倣ワークフローを含むシステムおよび方法を提供する。様々な実施形態では、システムは、コンピューティングデバイスと、好ましくはリアルタイムで、ユーザの少なくとも1つの顔の表情の1つ以上のデジタル画像を受信するように構成された少なくとも1つのカメラと、をさらに備える、顔画像プロセッサを備える。一実施形態では、コンピューティングデバイスは、プロセッサ、マイクロプロセッサなどを含むがこれらに限定されない一体型コンピューティングプロセッサを含む。代替の実施形態では、コンピューティングデバイスは、リモートコンピューティングプロセッサ、マイクロプロセッサなどと通信可能に係合する。様々な実施形態では、顔画像プロセッサは、プロセッサに1つ以上の動作を実施させるための命令が記憶された非一時的なコンピュータ可読媒体を備える。様々な実施形態では、この動作は、1つ以上の顔の表情プロンプト、画像、アイコンなどを含む、コンピュータ化された刺激またはインタラクション(CSI)の1つ以上、第1、第2、または後続のインスタンスをコンピューティングデバイスにレンダリングすることと、コンピュータ化された刺激またはインタラクションに応答して、好ましくはリアルタイムで、ユーザの顔の表情の1つ以上のデジタル画像を受信することと、顔の表情に対応する価数入力および強度入力を決定するために、デジタル画像を処理することと、価数入力および強度入力を、顔の表情プロンプトに関連する所定の価数および強度の範囲と比較することと、ユーザの顔の表情と顔の表情プロンプトとの間の一致度を決定することと、を含む。
本開示の態様は、コンピュータ化された刺激またはインタラクションに応答して、少なくとも1つの生理学的センサ入力を測定するための少なくとも1つの生理学的センサ(例えば、EEG)を含むシステムおよび方法を提供する。様々な実施形態では、1つ以上の動作は、ユーザの顔の表情と顔の表情プロンプトとの間の一致度に従って、ユーザの認知バイアスまたは情動状態の尺度を決定することをさらに含む。様々な実施形態では、本方法は、生理測定(例えば、EEG、fMRIなど)および/または顔認識技術を使用して、ユーザの1つ以上の感情または情動状態を正確かつ特異的に検出することを含む。様々な実施形態では、1つ以上のCSIは、1つ以上の特定の感情または認知バイアスをさらに対象とし、ユーザの情動状態を修正または最適化するように適合されている。
本開示の態様は、特定のネガティブな認知バイアスに関連する特定の感情を対象とするためのコンピュータ実装方法を含む、ユーザの情動を改善、最適化、または他の方法で左右するためのシステムおよび方法をさらに提供する。様々な実施形態では、特定のネガティブな認知バイアスは、特定の精神病理に関連している。様々な実施形態では、コンピュータ実装方法は、顔画像処理エンジンと動作可能に係合するデジタルカメラを含む。特定の実施形態には、感情表現プロンプトの1つ以上のインスタンスを提供するように構成されたユーザインターフェースを有するコンピューティングデバイスをさらに含んでもよい。特定の実施形態では、感情表現プロンプトのインスタンスは、コンピュータ化されたインタラクションを具体化する。様々な実施形態では、コンピュータ実装方法は、コンピュータ化された刺激またはインタラクションに応答して、少なくとも1つのカメラを介して、ユーザの顔の表情の1つ以上のデジタル画像を受信することを含む。様々な実施形態では、本方法は、ユーザの顔の表情に対応する1つ以上の価数入力および/または1つ以上の強度もしくは覚醒度入力を決定するために、当該デジタル画像を処理するためのステップを含む。様々な実施形態では、本方法は、価数および/または強度入力を、顔の表情の画像、アイコン、またはプロンプトに関連する所定の価数または強度値の範囲と比較し、ユーザの顔の表情と、顔の表情の画像、アイコン、またはプロンプトとの間の一致度を決定するためのステップを含む。様々な実施形態では、本方法は、ユーザの認知バイアスまたは情動状態の尺度を決定するためのステップを含む。様々な実施形態では、本方法は、顔画像、アイコン、または顔の表情プロンプトに応答して、ユーザのデジタル画像、アイコン、または顔の表情と同時に、少なくとも1つの生理測定(例えば、EEG、fMRIなど)を用いて測定するためのステップを含む。一実施形態では、1つ以上の生理学的測定により、ユーザの情動状態の決定が可能になる。様々な実施形態では、本方法は、1つ以上の顔の表情プロンプト、画像、アイコンなどを含む、コンピュータ化された刺激またはインタラクションの1つ以上、第1、第2、または後続のインスタンスを提供するステップを含む。一実施形態では、コンピュータ化された刺激またはインタラクションは、コンピュータ化された認知バイアス修正レジメンを含む。様々な実施形態では、本方法は、認知バイアス、情動状態、および/またはユーザの認知バイアスもしくは情動状態の変化度に従って、処理デバイスを用いて、コンピュータ化された刺激またはインタラクションの1つ以上、第1、第2、もしくは後続のインスタンスを修正するステップを含む。
以下でより詳細に説明される概念のすべての組み合わせ(このような概念が相互に矛盾しないという条件で)は、本明細書に開示される本発明の主題の一部であると考えられることを理解されたい。参照により組み込まれる任意の開示にも現れ得る、本明細書で明示的に採用される用語は、本明細書で開示される特定の概念と最も一致する意味を付与されるべきであることも理解されたい。
以下では、本発明の方法、1つ以上の他のタイプの測定コンポーネント(例えば、EEG、fMRIなど)と結合し、認知、感情模倣共感の認識、ならびに訓練プラットフォームとのユーザインタラクションから、および/または1つ以上の他のタイプのコンポーネントの少なくとも1つの測定から収集されたデータを分析するように構成されている、認知、感情模倣共感の認識、ならびに訓練プラットフォーム、および/またはプラットフォーム製品を含む、装置、およびシステムに関する様々な概念ならびにその実施形態についてより詳細に説明する。非限定的な例として、情動修正または感情認識訓練プラットフォームおよび/またはプラットフォーム製品は、認知ならびに感情の訓練、治療、臨床、もしくは介入の目的のために構成することができる。
例示的な一実装形態では、情動修正または感情認識訓練プラットフォームは、1つ以上の生理学的もしくはモニタリングコンポーネント、および/または認知テストコンポーネントと一体化されてもよい。
別の例示的な実装形態では、情動修正または感情認識訓練プラットフォームは、1つ以上の生理学的もしくはモニタリングコンポーネント、および/または認知テストコンポーネントから分離されてもよく、それらと結合するように構成されてもよい。
本明細書の任意の例では、情動修正または感情認識訓練プラットフォームシステムおよび方法は、認知または感情評価(スクリーニングおよび/またはモニタリングを含む)に情報を与えるコンピュータ化されたタスクおよびプラットフォームインタラクションを提示するように、または治療、セラピー、もしくは介入を行うように構成することができる。
上で紹介され、以下でより詳細に説明される様々な概念は、開示された概念が特定のどの実装形態にも限定されないため、多くの方法のいずれかで実装され得ることを理解されたい。具体的な実装および用途の例は、主に例示目的で提供されている。認知、感情模倣共感の認識および訓練プラットフォームまたはプラットフォーム製品を含む例示的な方法、装置、ならびにシステムは、個人の評価に使用できるデータを提供するために、臨床医、医師、および/または他の医者もしくは医療専門家の個人が使用することができる。
非限定的な例では、情動修正または感情認識訓練プラットフォームもしくはプラットフォーム製品を含む方法、装置、およびシステムは、認知および感情の差異を検出し、健常者、認知、ならびに感情に障害のある個人、またはうつ病、統合失調症、薬物乱用、慢性疼痛、自閉症、認知症、パーキンソン病、脳アミロイド血管症、家族性アミロイドニューロパチー、ハンチントン病、もしくはその他の神経変性状態、自閉症スペクトラム障害(ASD)、16p11.2重複の存在、ならびに/もしくは実行機能障害(以下に限定されるものではないが、注意欠陥多動性障害(ADHD)、感覚処理障害(SPD)、軽度認知障害(MCI)、アルツハイマー病、多発性硬化症、統合失調症、うつ病、または不安症など)を含むが、これらに限定されない、一般的な神経精神疾患と診断された個人の訓練、治療、または介入するためのモニタリングツールとして構成することができる。
本明細書で使用するとき、「含む(includes)」という用語は、これを含むがこれに限定されないことを意味し、「含む(including)」という用語は、これを含むがこれに限定されないことを意味する。「~に基づく」という用語は、少なくとも部分的に基づくことを意味する。
また、本開示は、1つ以上の生理学的もしくはモニタリングコンポーネント、および/または認知テストコンポーネントと結合するように構成された、プラットフォーム製品ならびに認知および感情訓練プラットフォームを含む、例示的なシステムも対象にする。いくつかの例では、システムは、1つ以上の他の生理学的もしくはモニタリングコンポーネント、および/または認知テストコンポーネントと一体化したプラットフォーム製品ならびに認知プラットフォームを備える。他の例では、システムは、このような1つ以上のコンポーネントを使用して行われた測定を示すデータを受信するために、1つ以上の生理学的もしくはモニタリングコンポーネント、および/または認知テストコンポーネントとは別個に収容され、それらと通信するように構成されている、プラットフォーム製品ならびに認知プラットフォームを備える。
本明細書の任意の例では、1つ以上の生理学的コンポーネントは、データまたは生理学的入力を提供するために、電気的活動、心拍数、血流、および酸素化レベルを含む、身体ならびに神経系の物理的特性を測定する任意の手段を含むことができる。これには、生理学的入力を提供するためのカメラベースの心拍数検出、電気皮膚反応の測定、血圧測定、脳波図、心電図、磁気共鳴画像法、近赤外分光法、超音波、および/または瞳孔拡張測定を含むことができる。
生理学的入力を提供するための生理学的測定の他の例としては、体温の測定、心電計(ECG)を使用する心臓もしくは他の心臓関連機能、脳波図(EEG)を使用する電気的活動、事象関連電位(ERP)、機能的磁気共鳴画像(fMRI)、血圧、皮膚の一部の電位、電気皮膚反応(GSR)、脳磁波(MEG)、視線追跡デバイス、もしくは瞳孔の拡張程度を決定するようにプログラムされた処理ユニットを含む他の光学的検出デバイス、機能的近赤外分光法(fNIRS)、および/または陽電子放射断層撮影(PET)スキャナなどが挙げられるが、これらに限定されるものではない。EEG-fMRIまたはMEG-fMRI測定により、電気生理学(EEG/MEG)データおよび血行動態(fMRI)データを同時に取得することができる。
また、fMRIを使用して、脳への酸素化血液供給と脱酸素化血液供給との磁気特性の違いに基づいて神経細胞活性化を示す測定データを提供することができる。fMRIは、神経活動と脳代謝との間のポジティブな相関関係に基づいて、血液供給の局所変化を測定することによって、神経活動の間接的な測定値を提供することができる。
PETスキャナを使用して、陽電子放出放射性核種(トレーサ)によって間接的に放射されたガンマ線を検出することにより、身体の代謝過程および他の生理学的測定値を観察する機能画像化を実施することができる。トレーサは、生物学的に活性な分子を使用してユーザの体内に導入することができる。身体の代謝過程および他の生理学的測定値の指標は、スキャンから得たトレーサ濃度のデータから、二次元ならびに三次元画像のコンピュータ再構成を含むスキャンから導き出すことができる。データには、トレーサ濃度および/またはPET画像(二次元または三次元画像など)の測定値を含めることができる。
本明細書で使用するとき、「コンピュータ化された刺激またはインタラクション」または「CSI」という用語は、刺激とのユーザのインタラクションまたは他のインタラクションを容易にするためにユーザに提示される、コンピュータ化された要素を指す。非限定的な例として、コンピューティングデバイスは、聴覚刺激を提示するか、もしくはユーザとの他の聴覚ベースのインタラクションを開始するか、および/または振動刺激を提示するか、もしくはユーザとの他の振動ベースのインタラクションを開始するか、および/または触覚刺激を提示するか、もしくはユーザとの他の触覚ベースのインタラクションを開始するか、および/または視覚刺激、画像、アイコンを提示するか、もしくはユーザとの他の視覚ベースのインタラクションを開始するように構成することができる。
本明細書の原理による任意のタスクは、コンピューティングデバイス、作動コンポーネント、または1つ以上の刺激もしくは他のインタラクティブな要素を実装するために使用される他のデバイスを介してユーザに提示することができる。例えば、コンピュータ化された刺激またはインタラクション(CSI)もしくは他のインタラクティブな要素を提示するために、グラフィカルユーザインターフェースをレンダリングすることによってユーザにタスクを提示することができる。他の例では、タスクは、作動コンポーネントを使用して、聴覚、触覚、または振動のコンピュータ化された要素(CSIを含む)としてユーザに提示することができる。本明細書の様々な例における1つ以上のCSIの使用(およびデータの分析)の説明は、それらの例の1つ以上のCSIを含むタスクの使用(およびデータの分析)をも包含する。
一例では、情動修正もしくは感情認識訓練プラットフォーム、および/またはプラットフォーム製品は、少なくとも1つの処理ユニットを含むプロセッサ実装システム、方法、または装置として構成することができる。一例では、少なくとも1つの処理ユニットは、コンピュータ化された刺激またはインタラクション(CSI)もしくは他のインタラクティブな要素をユーザに提示してインタラクションを行うために、少なくとも1つのグラフィカルユーザインターフェースをレンダリングするようにプログラムすることができる。他の例では、少なくとも1つの処理ユニットは、プラットフォーム製品の作動コンポーネントに、聴覚、触覚、または振動のコンピュータ化された要素(CSIを含む)を作用させて、刺激またはユーザとの他のインタラクションに影響を与えるようにプログラムすることができる。少なくとも1つの処理ユニットは、プログラム製品のコンポーネントに、入力デバイスを使用して提供された応答を含む、CSIまたは他のインタラクティブな要素とのユーザインタラクションに基づいて、少なくとも1つのユーザ応答を示すデータを受信させるようにプログラムすることができる。コンピュータ化された刺激またはインタラクション(CSI)もしくは他のインタラクティブな要素をユーザに提示するために、少なくとも1つのグラフィカルユーザインターフェースがレンダリングされる例では、少なくとも1つの処理ユニットは、グラフィカルユーザインターフェースに、少なくとも1つのユーザ応答を示すデータを受信させるようにプログラムすることができる。
他の例では、プラットフォーム製品は、表示コンポーネント、入力デバイス、および少なくとも1つの処理ユニットを含む、プロセッサ実装システム、方法、または装置として構成することができる。少なくとも1つの処理ユニットは、コンピュータ化された刺激またはインタラクション(CSI)もしくは他のインタラクティブな要素をユーザに提示してインタラクションを行うために、表示コンポーネントで表示するための少なくとも1つのグラフィカルユーザインターフェースをレンダリングするようにプログラムすることができる。他の例では、少なくとも1つの処理ユニットは、プラットフォーム製品の作動コンポーネントに、聴覚、触覚、または振動のコンピュータ化された要素(CSIを含む)を作用させて、刺激またはユーザとの他のインタラクションに影響を与えるようにプログラムすることができる。
入力デバイスの非限定的な例には、タッチスクリーン、または他の感圧もしくはタッチ式表面、運動センサ、位置センサ、圧力センサ、ジョイスティック、運動機器、および/または画像捕捉デバイス(これに限定されるものではないがカメラなど)が挙げられる。
本明細書の原則によれば、「認知」または「認知の」という用語は、思考、経験、および感覚を通じて知識および理解を獲得する精神行動またはプロセスを指す。これには、実行機能、記憶、知覚、注意、感情、運動制御、および干渉処理などの心理的概念/領域が含まれるが、これらに限定されない。本明細書の原理による例示的なコンピュータ実装デバイスは、プラットフォーム製品とのユーザインタラクションを示すデータを収集し、ユーザのパフォーマンスを定量化するメトリックを計算するように構成することができる。ユーザのパフォーマンスの定量化子を使用して、(認知評価のための)認知の尺度を提供するか、または認知治療の状態もしくは進行状況の尺度を提供することができる。
本明細書の原理によれば、「治療」または「治療する」という用語は、これらに限定されるものではないが、認知、ユーザの気分、感情状態、ならびに/または認知への関与もしくは注意のレベル、感情模倣共感の認識、および訓練プラットフォームに関連する改善など、ユーザの測定可能な改善をもたらすプラットフォーム製品のCSIの任意の操作を指す。改善の程度またはレベルは、本明細書に記載されるように、ユーザの認知バイアスまたは情動状態の尺度に基づいて定量化することができる。一例では、「治療」という用語はまた、セラピーを指す場合がある。
本明細書の原理によれば、「情動」という用語は、気持ちまたは感情の経験を説明するために心理学で使用される概念を指す。また、「情動」という言葉は、情動の指標としての役割を果たす顔、声、または身振り行動である表示に影響を与えることを指す場合もある。
本明細書の原理によれば、「価数」という用語は、事象、目的、または状況の本質的な魅力/「良」性(ポジティブな価数)もしくは嫌悪/「悪」性(ネガティブな価数)を指す。この用語はまた、特定の感情を特徴付け、分類する。例えば、怒りおよび恐怖などの「ネガティブ」と呼ばれる感情は、ネガティブな価数を有する。喜びは、ポジティブな価数を有する。ポジティブな価数の感情は、ポジティブな価数の事象、目的、または状況によって引き起こされる。この用語はまた、気持ち、情動、特定の行動(例えば、接近と回避)、目標達成または非達成、ならびに社会規範への適合もしくは違反の快楽的なトーンを説明するためにも使用される。
先述のように、本明細書の原理による例示的なシステム、方法、および装置は、プログラムされたコンピューティングデバイスの少なくとも1つの処理ユニットを使用して、情動修正または感情認識訓練プラットフォームおよび/もしくプラットフォーム製品(以下、「感情表現訓練プラットフォーム」)を提供するために実装することができる。図1は、本開示内に記載されたシステムおよび方法を含む、感情表現訓練プラットフォームならびに/またはプラットフォーム製品を実装するために使用することができる、本明細書の原理による例示的な装置100を示す。例示的な装置100は、少なくとも1つのメモリ102、および少なくとも1つの処理ユニット104を含む。少なくとも1つの処理ユニット104は、少なくとも1つのメモリ102に通信可能に結合されている。
例示的なメモリ102としては、ハードウェアメモリ、非一時的な有形媒体、磁気記憶ディスク、光ディスク、フラッシュドライブ、計算デバイスメモリ、これらに限定されないが、DRAM、SRAM、EDO、RAMなどのランダムアクセスメモリ、任意の他のタイプのメモリ、またはこれらの組み合わせを挙げることができるが、これらに限定されない。例示的な処理ユニット104としては、マイクロチップ、プロセッサ、マイクロプロセッサ、専用プロセッサ、特定用途向け集積回路、マイクロコントローラ、フィールドプログラマブルゲートアレイ、任意の他の好適なプロセッサ、またはこれらの組み合わせを挙げることができるが、これらに限定されない。
少なくとも1つのメモリ102は、プロセッサ実行可能命令106、およびコンピューティングコンポーネント108を記憶するように構成されている。非限定的な例では、コンピューティングコンポーネント108を使用して、本明細書に記載されるように、1つ以上の生理学的もしくはモニタリングコンポーネント、および/または認知テストコンポーネントと結合された認知プラットフォームならびに/またはプラットフォーム製品から受信したcDATAおよび/もしくはnDATAを分析することができる。また、図1に示すように、メモリ102を使用して、カメラからの顔画像データ、生理学的データ(pData)112(1つ以上の生理学的もしくはモニタリングコンポーネントおよび/または認知テストコンポーネントを使用した測定値(複数可)からの計算測定データを含む)、ならびに/または装置100のグラフィカルユーザインターフェースでレンダリングされたタスク、および/もしくは装置100に結合されているか、または装置100と一体化されている作動コンポーネントからの聴覚、触覚、または振動信号を使用して生成されたタスクに対する応答を含む、1つ以上のタスクに対する個人の応答を示すデータを含むが、これらに限定されないデータ110を記憶することができる。データ110は、装置100に結合されているか、または装置100と一体化されている、1つ以上の生理学的もしくはモニタリングコンポーネントおよび/または認知テストコンポーネントから受信することができる。
非限定的な例では、少なくとも1つの処理ユニット104は、コンピューティングコンポーネント108を使用して、カメラからのデジタル画像データおよび/または本明細書に記載の1つ以上の生理学的もしくはモニタリングコンポーネントならびに/または認知テストコンポーネントと結合された、感情表現訓練プラットフォームおよび/もしくはプラットフォーム製品から受信したpDataを少なくとも分析するために、メモリ102に記憶されたプロセッサ実行可能命令106を実行する。少なくとも1つの処理ユニット104はまた、ユーザ価数または強度/覚醒度または情動を示す計算結果を生成するために、メモリ102に記憶されたプロセッサ実行可能命令106を実行するように構成することができる。少なくとも1つの処理ユニット104はまた、送信ユニットを制御し、本明細書に記載の1つ以上の生理学的もしくはモニタリングコンポーネントおよび/または認知テストコンポーネントと結合された、感情表現訓練プラットフォームならびに/またはプラットフォーム製品から受信した分析を示す値を送信するようにプロセッサ実行可能命令106を実行し、かつ/もしくは分析を示す値を記憶するようにメモリ102を制御する。
図2は、本明細書の原理による、コンピューティングコンポーネントとして使用することができる例示的なコンピューティングデバイス200のブロック図である。本明細書の任意の例では、コンピューティングデバイス200は、コンピューティングコンポーネントを実装するためのユーザ入力を受信するコンソールとして構成することができる。明確にするために、図2はまた、図1の例示的なシステムの様々な要素に関する詳細を参照し、提供する。コンピューティングデバイス200は、実施例を実施するために、1つ以上のコンピュータ実行可能命令もしくはソフトウェアを記憶するための1つ以上の非一時的なコンピュータ可読媒体を含むことができる。非一時的なコンピュータ可読媒体には、1つ以上のタイプのハードウェアメモリ、非一時的な有形媒体(例えば、1つ以上の磁気記憶ディスク、1つ以上の光ディスク、1つ以上のフラッシュドライブ)などを含めることができるが、これらに限定されない。例えば、コンピューティングデバイス200に含まれるメモリ502は、本明細書に開示される動作を実施するためのコンピュータ可読命令およびコンピュータ実行可能命令またはソフトウェアを記憶することができる。例えば、メモリ502は、開示された動作(例えば、プラットフォームおよび/またはプラットフォーム製品の測定データならびに応答データ、顔認識、感情認識、もしくは計算の実施の分析)の様々な組み合わせを実施するように構成されたソフトウェアアプリケーション640を記憶することができる。また、コンピューティングデバイス200は、メモリ502に記憶されたコンピュータ可読命令およびコンピュータ実行可能な命令またはソフトウェア、ならびにシステムハードウェアを制御するための他のプログラムを実行するために、構成可能および/もしくはプログラム可能なプロセッサ504、ならびに関連するコア614、および任意選択的に、1つ以上の追加の構成可能ならびに/もしくはプログラム可能な処理デバイス、例えば、プロセッサ(複数可)612’、および関連するコア(複数可)614’(例えば、複数のプロセッサ/コアを有する計算デバイスの場合)を含む。プロセッサ504およびプロセッサ(複数可)612’は、各々、シングルコアプロセッサまたはマルチコア(614ならびに614’)プロセッサとすることができる。
コンソール内のインフラストラクチャおよびリソースを動的に共有できるように、コンピューティングデバイス200に仮想化を採用することができる。プロセスが複数のコンピューティングリソースではなく1つのコンピューティングリソースのみを使用しているように見えるように、複数のプロセッサ上で実行されているプロセスを処理するために仮想マシン624を提供することができる。1つのプロセッサで複数の仮想マシンを使用することもできる。
メモリ502は、DRAM、SRAM、EDO、RAMなどであるがこれらに限定されない、計算デバイスメモリまたはランダムアクセスメモリを含むことができる。メモリ502は、ハードディスクまたはフラッシュメモリなどであるがこれらに限定されない、不揮発性メモリを含むことができる。メモリ502は、同様に他のタイプのメモリ、またはこれらの組み合わせも含むことができる。
非限定的な例では、メモリ502および少なくとも1つの処理ユニット504は、ドングル(アダプタを含む)または他の周辺ハードウェアなどであるがこれらに限定されない、周辺デバイスのコンポーネントとすることができる。例示的な周辺デバイスは、一次コンピューティングデバイスと通信するか、またはそうでなければ一次コンピューティングデバイスに結合するようにプログラムされて、例示的な認知プラットフォームおよび/もしくはプラットフォーム製品のいずれかの機能を提供し、例示的な分類器モデルを適用し、本明細書に記載された例示的な分析(関連する計算を含む)のいずれかを実装することができる。いくつかの例では、周辺デバイスは、一次コンピューティングデバイスと直接通信するか、またはそうでなければ一次コンピューティングデバイスに結合するようにプログラムすることができ(これらに限定されるものではないが、USBまたはHDMI入力を介してなど)、もしくはケーブル(同軸ケーブルを含む)、銅線(これらに限定されるものではないが、PSTN、ISDN、DSLを含む)、光ファイバー、または他のコネクタまたはアダプタを介して間接的に通信するようにプログラムすることができる。別の例では、周辺デバイスは、一次コンピューティングデバイスと無線(これらに限定されるものではないが、Wi-FiまたはBluetooth(登録商標)など)で通信するようにプログラムすることができる。例示的な一次コンピューティングデバイスとしては、スマートフォン(これらに限定されるものではないが、iPhone(登録商標)、BlackBerry(登録商標)、またはAndroid(商標)ベースのスマートフォンなど)、テレビ、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、スレート、電子書籍リーダ(e-reader)、デジタルアシスタント、もしくは他の電子リーダ、またはハンドヘルド、ポータブル、またはウェアラブルコンピューティングデバイス、もしくは任意の他の同等デバイス、Xbox(登録商標)、Wii(登録商標)、または他の同等形式のコンピューティングデバイスとすることができる。
ユーザは、例示的なシステムおよび方法に従って提供することができる1つ以上のユーザインターフェース630を表示することができる、コンピュータモニタなどの視覚表示ユニット628を介して、コンピューティングデバイス200とインタラクションを行うことができる。コンピューティングデバイス200は、ユーザからの入力を受信するための他のI/Oデバイス、例えば、キーボードまたは任意の好適なマルチポイントタッチインターフェース618、カメラデバイス620、マウス、マイクロフォンもしくは他の録音デバイス、加速度計、ジャイロスコープ、触覚、振動、または聴覚信号用のセンサ、および/または少なくとも1つのアクチュエータを含むことができる。キーボード618およびカメラデバイス620は、視覚表示ユニット628に結合することができる。コンピューティングデバイス200は、他の好適な従来のI/O周辺機器を含むことができる。
コンピューティングデバイス200はまた、本明細書に開示された動作を実施するデータおよびコンピュータ可読命令ならびに/またはソフトウェアを記憶するためのハードドライブ、CD-ROM、もしくは他のコンピュータ可読媒体などの1つ以上の記憶デバイス634(シングルコアプロセッサまたはマルチコアプロセッサ636を含む)も含むことができる。例示的な記憶デバイス634(シングルコアプロセッサまたはマルチコアプロセッサ636を含む)はまた、例示的なシステムおよび方法を実装するために必要な任意の好適な情報を記憶するための1つ以上のデータベースを記憶することができる。データベースは、データベース内の1つ以上の項目を追加、削除、および/もしくは更新するために、任意の好適な時間に手動または自動で更新することができる。
コンピューティングデバイス200は、1つ以上のネットワーク、例えば、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、もしくは標準的な電話回線、LANまたはWANリンク(例えば、802.11、T1、T3、56kb、X.25)、ブロードバンド接続(例えば、ISDN、フレームリレー、ATM)、無線接続、コントローラエリアネットワーク(CAN)などを含むがこれらに限定されない様々な接続によるインターネット、または上記のいずれかもしくはすべての組み合わせを用いて、1つ以上のネットワークデバイス632を介して、インターフェースで接続するように構成されたネットワークインターフェース622を含むことができる。ネットワークインターフェース622は、組み込みネットワークアダプタ、ネットワークインターフェースカード、PCMCIAネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、USBネットワークアダプタ、モデム、またはコンピューティングデバイス200を、本明細書に記載の動作を通信および実施することができる任意のタイプのネットワークにインターフェースで接続するのに好適な任意の他のデバイスを含むことができる。さらに、コンピューティングデバイス200は、スマートフォン(これらに限定されるものではないが、iPhone(登録商標)、BlackBerry(登録商標)、またはアンドロイド(商標)ベースのスマートフォン)、テレビ、ワークステーション、デスクトップコンピュータ、サーバ、ラップトップ、タブレット、スレート、電子書籍リーダ(e-reader)、デジタルアシスタント、もしくは他の電子リーダ、またはハンドヘルド、ポータブル、ウェアラブルコンピューティングデバイス、または任意の他の同等デバイス、Xbox(登録商標)、Wii(登録商標)、もしくは本明細書に記載の動作を実施するのに十分なプロセッサパワーおよびメモリ容量を有するか、またはそれらに結合することができる、他の同等形式のコンピューティングデバイスまたは通信デバイスなど、任意の計算デバイスとすることができる。1つ以上のネットワークデバイス632は、WAP(無線アプリケーションプロトコル)、TCP/IP(伝送制御プロトコル/インターネットプロトコル)、NetBEUI(NetBIOS拡張ユーザインターフェース)、またはIPX/SPX(インターネットワークパケット交換/逐次パケット交換)などであるがこれらに限定されない、異なるタイプのプロトコルを使用して通信してもよい。
コンピューティングデバイス200は、任意のバージョンのMicrosoft(登録商標)Windows(登録商標)のオペレーティングシステム、iOS(登録商標)のオペレーティングシステム、Android(商標)のオペレーティングシステム、異なるリリースのUnixおよびLinuxのオペレーティングシステム、マッキントッシュコンピュータの任意のバージョンのMacOS(登録商標)、任意の組み込みオペレーティングシステム、任意のリアルタイムオペレーティングシステム、任意のオープンソースオペレーティングシステム、任意の独占所有権のあるオペレーティングシステム、またはコンソールで動作し、本明細書に記載の動作を実施することができる任意の他のオペレーティングシステムなど、任意のオペレーティングシステム626を実行することができる。いくつかの例では、オペレーティングシステム626は、ネイティブモードまたはエミュレートモードで動作することができる。一例では、オペレーティングシステム626は、1つ以上のクラウドマシンインスタンス上で動作することができる。
本開示の記憶デバイス634は、感情表現訓練プラットフォームの動作数に関する命令を含む。図3では、1つ以上の命令により、コンピューティングデバイス200は、感情表現プロンプト、画像、アイコンなどを含むコンピュータ刺激700を表示ユニット628上にレンダリングすることができる。コンピューティングデバイス200は、コンピュータ化された刺激またはインタラクション700に応答して、好ましくはリアルタイムでユーザの顔の表情の1つ以上のデジタル画像710を受信する。コンピューティングデバイス200は、デジタル画像710を処理して、顔の表情に対応する価数入力720を決定する。次に、コンピューティングデバイス200は、価数入力720を、1つ以上の記憶デバイス634内に記憶された感情表現プロンプト700に関連する所定の強度範囲と比較する。代替の実施形態では、価数入力720は、強度または覚醒度入力を含む。次に、コンピューティングデバイス200は、ユーザの顔の表情710と、感情表現プロンプト700または1つ以上のCSIとの間の一致度を決定するための命令を実行する。様々な実施形態では、感情表現プラットフォームもしくはプラットフォーム製品は、1つ以上の顔の表情を模倣する人の能力の検出および追跡を可能にする。一実施形態では、検出および追跡のための1つ以上の動作により、1つ以上の特定の精神病理またh病気のスクリーニングが可能になる。様々な実施形態では、1つ以上の画像710を捕捉して感情表現プロンプト700を効率を高めて再現することによるユーザの訓練は、効果的な治療もしくは介入を提供し得る。様々な実施形態では、画像710は、ユーザの顔、および1つ以上の検出された表情を示す価数720のライブビデオフィードである。ユーザは、他人が人の表情をどのように読み取るかをすばやく学ぶことができる。次に、ユーザは、感情表現プロンプト700に応答して表情を模倣するように訓練され、表情を再現または模倣する際の正確さに関するリアルタイムのフィードバックを受信することができる。
図4は、1つ以上の特定の感情を特定、対象化、または修正するための生理学的センサを組み込んだ感情表現訓練プラットフォームシステムを示す。例示的な一実装形態では、生理学的センサ810は、図3の1つ以上の感情表現プロンプト700に応答して、1つ以上の生理学的センサ入力820の測定および収集を可能にする。様々な実施形態では、図2のコンピューティングデバイス200は、図2の記憶デバイス634からの1つ以上の動作命令を実行して、図3のユーザの顔の表情と感情表現プロンプト700との間の一致度に従って、図3の1つ以上の捕捉された画像710からユーザの認知バイアスまたは情動状態の測定値を決定する。非限定的な例示的な一実装形態では、EEG810は、医学的治療の検証および/または個別化治療もしくは介入のための低コストのEEGとすることができる。低コストのEEGデバイスは、使いやすく、医療アプリケーションの精度および有効性を大幅に改善する可能性がある。この例では、プラットフォーム製品は、感情表現訓練プラットフォームと結合されたEEGコンポーネントを含む一体型デバイスとして、またはEEGコンポーネントとは別個であるが、これと結合するように構成された認知および/もしくは情動プラットフォームとして構成されてもよい。
訓練検証の非限定的な一使用例では、ユーザは、感情表現訓練プラットフォームとインタラクションを行い、EEGを使用してユーザの生理学的測定を実施する。EEG測定データ(脳波など)のどの変化も、認知プラットフォームとインタラクションを行う際のユーザ行動に基づいてモニタリングされる。EEGを使用する測定値(脳波など)からの生理学的入力820は、EEG測定値の変化を検出するために収集および分析することができる。この分析を使用して、価数、情動、強度など、ユーザからの応答のタイプを決定することができる。
個別化医療の非限定的な一使用例では、EEG測定値からの生理学的入力820を使用して、感情表現訓練プラットフォーム治療が所望の効果を有することを示す認知または感情もしくは共感のレベルおよび/または変化を特定する(所与のユーザに対して機能するタスクならびに/またはCSI700のタイプを決定することを含む)。この分析を使用して、感情表現訓練プラットフォームが、アプリケーションのユーザ体験を調整することにより、EEGが検出しているこれらのユーザ結果を強化するか、または減少させるためのタスクおよび/もしくはCSIを提供すべきかどうかを判断することができる。
非限定的な例示的な一実装形態では、810からの生理学的測定は、医療アプリケーションの検証および個別化医療、治療、または介入に使用するために、fMRIと結合するように構成された感情表現訓練プラットフォームを使用して行われる。消費者レベルのfMRIデバイスを使用して、脳部分への刺激の変化を追跡および検出することにより、医療アプリケーションの精度ならびに有効性を改善することができる。
非限定的な一例では、fMRI測定を使用して、皮質厚の測定データおよび他の同様の測定データを提供することができる。治療検証の非限定的な一使用例では、ユーザは、認知プラットフォームとインタラクションを行い、fMRIを使用して生理学的データを測定する。ユーザは、認知プラットフォームとインタラクションを行っている間のユーザ行動に基づいて、特定の脳部分または脳部分の組み合わせを刺激することが期待される。この例では、プラットフォーム製品は、認知プラットフォームと結合されたfMRIコンポーネントを含む一体型デバイスとして、またはfMRIコンポーネントとは別個であるが、これと結合するように構成された認知プラットフォームとして構成されてもよい。fMRIを備えたアプリケーションを使用すると、ユーザの脳の一部分の刺激を測定することができ、分析を実施して、ユーザが所望の応答を示しているかどうかを判断するための変化を検出することができる。
個別化治療または介入の非限定的な一使用例では、fMRIを使用して、インタラクションを行うプラットフォームでのユーザの進行状況を特定するために使用される測定データを収集することができる。この分析を使用して、感情表現訓練プラットフォームが、アプリケーションのユーザ体験を調整することにより、fMRIが検出しているこれらのユーザ結果を強化するか、または減少させるためのタスクおよび/もしくはCSIを提供すべきかどうかを判断することができる。
本明細書のいずれかの例では、タスク、通知、および/またはCSIのタイプに対する調整(複数可)もしくは修正(複数可)、または提示は、リアルタイムで行うことができる。様々な実施形態では、生理測定(例えば、EEG、fMRIなど)および/または顔認識技術は、正確かつ特異的に1つ以上の感情を検出する。様々な実施形態では、1つ以上の認知スクリーニング機器(CSI)は、1つ以上の対象とした感情をさらに促進するように適合されている。
ここで図5を参照すると、様々な実施形態による、認知バイアスに関連する感情を対象とするためのコンピュータ実施方法のプロセスフロー図500が開示される。様々な実施形態では、コンピュータ実施方法は、顔画像処理を含み、本方法は、図3の感情表現プロンプト700のインスタンスを表示するように構成されたユーザインターフェースまたは表示ユニット628を有する、図2のコンピューティングデバイス200をさらに含む。代替の実施形態では、図3の感情表現プロンプト700のインスタンスは、コンピュータ化されたインタラクションである。様々な実施形態では、コンピュータ実施方法は、刺激でユーザを促す(ステップ902)ことと、図2の少なくとも1つのカメラデバイス620を介して、図3のコンピュータ化された刺激またはインタラクション700に応答して、ユーザの顔の表情の、図3の1つ以上のデジタル画像710を受信する(ステップ910)ことと、を含む。様々な実施形態では、本方法は、当該デジタル画像を処理して(ステップ920)、図3の1つ以上のユーザ価数720および/もしくは顔の表情に対応する、1つ以上の強度または覚醒度入力を決定する(ステップ930)ためのステップを含む。様々な実施形態では、本方法は、価数および/または強度もしくは覚醒度入力を、顔の表情画像、アイコン、またはプロンプト(例えば、図3の700)に関連する所定の価数または強度値の範囲と比較し(ステップ940)、ユーザの顔の表情と、顔の表情の画像、アイコン、またはプロンプトとの間の一致度を決定するためのステップを含む。様々な実施形態では、本方法は、ユーザの認知バイアスまたは情動状態の尺度を決定する(ステップ950)ためのステップを含む。様々な実施形態では、本方法は、顔画像、アイコン、または表情のプロンプトに応答して、ユーザの当該デジタル画像、アイコン、もしくは顔の表情と同時に、少なくとも1つの生理測定(例えば、EEG、fMRIなど)を用いて測定する(ステップ960)のためのステップを含む。一実施形態では、1つ以上の生理学的測定は、ユーザの情動状態の決定(ステップ950)を可能にする。様々な実施形態では、本方法は、1つ以上の顔の表情プロンプト、画像、アイコンなどを含む、コンピュータ化された刺激もしくはインタラクションの1つ以上、第1、第2、または後続のインスタンスを提供するステップ(ステップ970)を含む。一実施形態では、コンピュータ化された刺激またはインタラクションは、コンピュータ化された認知バイアス修正レジメンを含む。様々な実施形態では、本方法は、認知バイアス、情動状態、および/またはユーザの認知バイアスもしくは情動状態の変化度に従って、処理デバイスを用いて、コンピュータ化された刺激またはインタラクションの1つ以上、第1、第2、もしくは後続のインスタンスを修正するステップを含む。
図6は、認知バイアス修正(CBM)方法600のプロセスフロー図である。本開示の様々な態様によれば、方法600は、うつ病および社会不安などの1つ以上の精神病理に関連する、1つ以上の認知バイアスを特定、対象化、ならびに/または修正するように動作可能に構成されてもよい。方法600は、多くの障害の特徴であるはっきりしない顔または曖昧な顔のユーザに関する偏った知覚をネガティブなものからよりポジティブなものにシフトするように構成された、1つ以上の感情認識訓練タスクを含んでもよい。特定の実施形態によれば、方法600は、コンピュータ化されたCBMアプリケーションとして具体化される。方法600は、CBMアプリケーション601のインスタンスを開始することによって始めてもよい。CBMアプリケーションは、グラフィカルユーザインターフェース603を介して、1つ以上のCSIをユーザに提示するように構成されてもよく、1つ以上のCSIは、少なくとも1つの特定の精神病理に関連するユーザに1つ以上の潜在的な認知バイアスをスクリーニングするように構成されている。一実施形態によれば、CSIは、少なくとも1つの感情表現プロンプトを含む。方法600は、ユーザの顔および/または顔の表情605の1つ以上のデジタル画像を含む、少なくとも1つの感情表現プロンプトに応答して、感情表現入力を受信することによって進む。方法600は、感情表現入力を処理して、ユーザの顔の表情に対応する、1つ以上の価数および強度/覚醒度データを定量化することによって進めてもよい。価数および強度/覚醒度データは、1つ以上のパラメータに従ってさらに処理されて、ユーザ607の1つ以上の認知バイアスを特定するために、ユーザの顔の表情と感情表現プロンプトとの間の一致度を決定してもよい。特定の実施形態では、方法600は、1つ以上の特定の精神病理609をスクリーニングおよび特定するために、価数ならびに強度/覚醒度データを分析することをさらに含んでもよい。方法600は、ユーザの1つ以上の特定の感情を対象とするように構成されている、1つ以上の対象化または修正されたCSIを提示することによってさらに進めてもよく、1つ以上の特定の感情は、特定された認知バイアス611に関連付けられる。1つ以上の対象化または修正されたCSIは、CBMアプリケーションの同じセッションおよび/またはCBMアプリケーションの後続のセッションで提示されてもよい。1つ以上の対象化または修正されたCSIは、1つ以上の感情認識訓練インタラクションに対応する、1つ以上の感情表現プロンプトを含んでもよい。方法600は、1つ以上のインスタンスでは、1つ以上の感情表現プロンプト613に応答して、ユーザの顔/顔の表情のデジタル画像(複数可)を含むカメラ入力を受信することによってさらに進めてもよい。デジタル画像(複数可)は、ユーザの顔の表情に対応する、1つ以上の価数および強度/覚醒度データを定量化するために処理されてもよい。価数および強度/覚醒度データは、1つ以上のパラメータに従ってさらに処理されて、ユーザ615の認知バイアスの変化度を評価するために、ユーザの顔の表情と感情表現プロンプトとの間の一致度を決定してもよい。方法600は、任意選択的に、ユーザ617の認知バイアスの変化度に従って、CSIをさらに修正することによって進めてもよい。
図7は、ソフトウェアプラットフォームまたはアプリケーションとのユーザインタラクション中のユーザの情動を最適化もしくは改善するためのコンピュータ実装方法700のプロセスフロー図である。方法700の実施形態がユーザの情動を改善または最適化するために採用され得る、例示的なコンピュータ化されたユーザインタラクションは、認知バイアス修正プラットフォーム、認知訓練プラットフォーム、気分または感情強化プラットフォーム、および遠隔医療または遠隔精神医学プラットフォームを含んでもよい。例示的なコンピュータ化されたユーザインタラクションは、ビデオゲーム、ソーシャルメディアプラットフォーム、および他のダイナミックメディアプラットフォームなど、ユーザセッションが長時間になる可能性がある、非医療ソフトウェアプラットフォームならびにアプリケーションをさらに含んでもよい。方法700は、ソフトウェアプラットフォームまたはアプリケーション701のセッション中の1つ以上のCSIをユーザに提示することによって開始してもよい。特定の実施形態によれば、ソフトウェアプラットフォームまたはアプリケーションは、1つ以上のCSI703に応答して/反応して、ユーザの顔の1つ以上のリアルタイムデジタル画像を捕捉および通信するように構成されている、少なくとも1つのデジタルカメラと通信可能に(直接的または間接的に)係合してもよい。CSIが感情表現プロンプトを含む特定の実施形態では、ユーザは、カメラに顔の表情を提供することによって、1つ以上のCSIに意図的に応答してもよい。他の実施形態では、カメラは、ソフトウェアプラットフォームまたはアプリケーションのセッション中の1つ以上のCSIに反応して、ユーザの顔の1つ以上のリアルタイムデジタル画像を連続的に捕捉するように構成されてもよい。方法700は、1つ以上のCSI705に応答/反応して、ユーザの顔の1つ以上のリアルタイムデジタル画像の1つ以上の価数および強度/覚醒度特性を分析することによって進めてもよい。価数および強度/覚醒度データは、1つ以上の静的または動的な情動パラメータに従ってさらに処理されて、ソフトウェアアプリケーションまたはプラットフォーム707のセッションにおける異なる時点中のユーザの情動状態のリアルタイム測定値/程度を決定してもよい。ソフトウェアアプリケーションまたはプラットフォームのセッション内のユーザの情動のリアルタイムの測定値/程度をさらに分析して、特定のCSIの提示とユーザの情動状態709との間の時間パターンおよび/または相関関係を決定してもよい。ソフトウェアアプリケーションまたはプラットフォームが認知訓練プラットフォームを含む特定の実施形態によれば、方法700は、認知訓練プラットフォーム711内のユーザの情動状態とユーザ認知パフォーマンスとの間の相関関係の程度を決定するために、ユーザの情動データに対してユーザパフォーマンスデータを分析することをさらに含んでもよい。方法700は、ソフトウェアアプリケーション713のセッション中のユーザの情動状態をさらに改善または最適化するために、特定のCSIの提示とユーザの情動状態との間の時間パターンおよび/または相関関係に応答して、CSIの1つ以上の態様を修正することをさらに含んでもよい。
図8~図12は、本開示によって具体化される方法およびシステムの様々な態様に組み込まれ得る、1つ以上のCSIを含む感情表現プロンプトの複数の例示的な例を提供する。図8は、顔の模倣プロンプト800を含むCSIの図解である。一実施形態によれば、顔の模倣プロンプト800は、顔の画像または表現をユーザに提示することを含み、これに応答して、ユーザは、顔の表情を模倣するように促される。本開示の特定のシステムおよび方法は、感情表現訓練プラットフォームまたはプラットフォーム製品内の顔の模倣プロンプト800を含む、CSIの1つ以上のインスタンスを提示することを含んでもよい。
図9は、部分的な表情の矛盾900を伴う顔の模倣プロンプトを含む、CSIのグラフィカルユーザインターフェース図である。一実施形態によれば、部分的な表情の矛盾900を伴う顔の模倣プロンプトは、2つ以上の矛盾する表現を含む、合成された顔の画像または表現をユーザに提示することを含む。ユーザは、2つ以上の矛盾する表情を区別するように促され、合成画像内の1つ以上の対象ではない表情を無視して、もう一方を模倣するように促される。本開示の特定のシステムおよび方法は、感情表現訓練プラットフォームまたはプラットフォーム製品内の部分的な表情の矛盾900を伴う顔の模倣プロンプトを含む、CSIの1つ以上のインスタンスを提示することを含んでもよい。
図10は、複数の表情の矛盾1000を伴う顔の模倣プロンプトを含む、CSIのグラフィカルユーザインターフェース図である。一実施形態によれば、複数の表情の矛盾1000を伴う顔の模倣プロンプトは、第1の表情を有する第1の顔の画像、および第2の表情、ならびに第1の顔の画像に対して矛盾する表情を有する第2の顔の画像をユーザに提示することを含む。ユーザは、2つの矛盾する表情を区別するように促され、一方の表情を無視して、もう一方を模倣するように促される。本開示の特定のシステムおよび方法は、感情表現訓練プラットフォームまたはプラットフォーム製品内の複数の表情の矛盾1000を伴う顔の模倣プロンプトを含む、CSIの1つ以上のインスタンスを提示することを含んでもよい。
図11は、感情抑制命令1100による感情的刺激を含む、CSIのグラフィカルユーザインターフェース図である。一実施形態によれば、感情抑制命令1100による感情的刺激は、ユーザに感情的反応を引き起こすことを意図した主題を有する画像をユーザに提示することを含む。画像は、感情表現を伴う顔の画像で構成されてもよいか、または国際情動写真システム(IAPS)から選択された画像(またはユーザの特定の感情を誘発するために選択された他の主題)で構成されてもよい。ユーザは、画像によって引き起こされた感情を抑制するように促され、カメラは、ユーザのリアルタイムの顔の反応に従って抑制の測定を可能にするように動作可能に構成されている。本開示の特定のシステムおよび方法は、感情表現訓練プラットフォームまたはプラットフォーム製品内の感情抑制命令1100による感情的刺激を含む、CSIの1つ以上のインスタンスを提示することを含んでもよい。
図12は、感情再評価命令1200による感情抑制命令を伴う感情的刺激を含む、CSIのグラフィカルユーザインターフェース図である。一実施形態によれば、感情再評価命令1200による感情的刺激は、ユーザに感情的反応を引き起こすことを意図した主題を有する画像をユーザに提示することを含む。画像は、感情表現を伴う顔の画像で構成されてもよいか、または国際情動写真システム(IAPS)から選択された画像(またはユーザの特定の感情を誘発するために選択された他の主題)で構成されてもよい。ユーザは、画像によって引き起こされた感情を別の感情に再評価するように促され、カメラは、ユーザのリアルタイムの顔の特徴に従って再評価の測定を可能にするように動作可能に構成されている。本開示の特定のシステムおよび方法は、感情表現訓練プラットフォームまたはプラットフォーム製品内の感情再評価命令1100による感情的刺激を含む、CSIの1つ以上のインスタンスを提示することを含んでもよい。
上述の実施形態は、多くの方法のいずれかで実装することができる。例えば、いくつかの実施形態は、ハードウェア、ソフトウェア、またはこれらの組み合わせを使用して実装することができる。一実施形態のいずれかの態様が少なくとも部分的にソフトウェアに実装されたとき、ソフトウェアコードは、単一のコンピュータで提供されるか、または複数のコンピュータ間に分散されるかにかかわらず、任意の好適なプロセッサもしくはプロセッサの集合で実行することができる。
この点に関して、本発明の様々な態様は、1つ以上のコンピュータまたは他のプロセッサで実行されたとき、上で論じた技術の様々な実施形態を実装する方法を実施する1つ以上のプログラムで符号化されている、コンピュータ可読記憶媒体(または複数のコンピュータ可読記憶媒体)(例えば、コンピュータメモリ、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイもしくは他の半導体デバイスの回路構成、または他の有形コンピュータ記憶媒体もしくは非一時的な媒体)として、少なくとも部分的に具体化されてもよい。コンピュータ可読媒体(複数可)は、それらの媒体に記憶されたプログラムまたは複数のプログラムを1つ以上の異なるコンピュータまたは他のプロセッサにロードして、上で論じた本技術の様々な態様を実装することができるように可搬型とすることができる。
「プログラム」または「ソフトウェア」という用語は、本明細書では、上で論じたように本技術の様々な態様を実装するためにコンピュータまたは他のプロセッサをプログラムするために採用できる、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために一般的な意味で使用される。追加的に、この実施形態の一態様によれば、実行されたときに本技術の方法を実施する1つ以上のコンピュータプログラムが、単一のコンピュータまたはプロセッサ上に存在する必要はないが、本技術の様々な態様を実装するためのいくつかの異なるコンピュータまたはプロセッサの中のモジュール方式で分散され得ることを理解されたい。
コンピュータ実行可能命令は、1つ以上のコンピュータまたは他のデバイスによって実行されるプログラムモジュールなど、多くの形態であってもよい。一般に、プログラムモジュールには、特定のタスクを実施するか、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。典型的には、プログラムモジュールの機能は、様々な実施形態において所望されるように組み合わされるか、または分散されてもよい。
当業者であれば理解するように、本開示の実施形態は、方法(例えば、コンピュータ実装プロセス、ビジネスプロセス、および/または任意の他のプロセスを含む)、装置(例えば、システム、マシン、デバイス、コンピュータプログラム製品などを含む)、もしくは前述のものの組み合わせとして具体化されてもよい。したがって、本発明の実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または本明細書では一般に「システム」と呼ばれ得る、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとってもよい。さらに、本発明の実施形態は、媒体に具体化されたコンピュータ実行可能プログラムコードを有するコンピュータ可読媒体上のコンピュータプログラム製品の形態をとってもよい。
本明細書で定義および使用されるすべての定義は、辞書の定義、参照により組み込まれる文書内の定義、および/または定義された用語の通常の意味を制御するように理解されるべきである。本明細書および特許請求の範囲で本明細書で使用される不定冠詞「a」および「an」は、明確に反対の意味を示さない限り、「少なくとも1つ」を意味するものと理解されるべきである。
本明細書および特許請求の範囲で本明細書で使用される「および/または」という句は、そのように結合された要素の「いずれかまたは両方」を意味すると理解されるべきであり、すなわち、ある場合には結合的に存在し、他の場合には分離的に存在する要素を意味する。「および/または」で列挙されている複数の要素は、同じ方式で解釈されるべきであり、すなわち、そのように結合された要素のうちの「1つ以上」を意味する。「および/または」節によって具体的に特定された要素以外の他の要素は、具体的に特定された要素に関連するか否かにかかわらず、任意選択的に存在してもよい。したがって、非限定的な例として、「Aおよび/またはB」への言及は、「含む」などの制限のない言語と組み合わせて使用するとき、一実施形態では、Aのみ(任意選択的にB以外の要素を含む)、別の実施形態では、Bのみ(任意選択的にA以外の要素を含む)、さらに別の実施形態では、AおよびBの両方(任意選択的に他の要素を含む)などを指すことができる。
本明細書および特許請求の範囲で使用とき、「または」は、上記で定義されている「および/または」と同じ意味を有すると理解するべきである。例えば、リスト内の項目を区切るとき、「または」もしくは「および/または」は、包括的であると解釈される、すなわち、要素の数またはリストのうちの少なくとも1つを含むだけでなく、2つ以上も含み、任意選択的に追加の列挙されていない項目を含むと解釈される。「~のうちの1つのみ」または「~のうちの正確に1つ」、もしくは特許請求の範囲で使用されるときの「から構成される」など、明確に反対の意味を示す用語のみが、要素の数またはリストのうちの正確に1つの要素を含むことを指す。一般に、本明細書で使用する「または」という用語は、「いずれか」、「のうちの1つ」、「のうちの1つのみ」、または「のうちの正確に1つ」などの排他的な用語が先行しているときに、排他的な選択肢(すなわち、「一方または他方であり、両方ではない」)を示しているとしか解釈されないものとする。「本質的に~から構成される」は、特許請求の範囲で使用されるとき、特許法の分野で使用される通常の意味を有するものとする。
本明細書および特許請求の範囲で使用するとき、1つ以上の要素のリストに関連する「少なくとも1つ」という句は、要素のリスト内の任意の1つ以上の要素から選択された少なくとも1つの要素を意味すると理解すべきであるが、必ずしも要素のリスト内に具体的に列挙されている各要素およびすべての要素のうちの少なくとも1つを含むわけではなく、また、要素のリスト内の要素の任意の組み合わせを除外するものではない。また、この定義では、「少なくとも1つ」という句が指す要素のリスト内に、具体的に特定された要素以外の要素が具体的に特定された要素に関連するか否かにかかわらず、任意に存在することを可能にする。したがって、非限定的な例として、「AおよびBのうちの少なくとも1つ」(または、同等に、「AまたはBのうちの少なくとも1つ」、もしくは同等に「Aおよび/またはBのうちの少なくとも1つ」)は、一実施形態では、少なくとも1つの、任意選択的に2つ以上のAを含み、Bが存在しない(および任意選択的にB以外の要素を含む)ことを指し、別の実施形態では、少なくとも1つの、任意選択的に2つ以上のBを含み、Aが存在しない(および任意選択的にA以外の要素を含む)ことを指し、さらに別の実施形態では、少なくとも1つの、任意選択的に2つ以上のAを含み、少なくとも1つの、任意選択的に2つ以上のBを含む(および任意選択的に他の要素を含む)、などを指すことができる。
特許請求の範囲、ならびに上の明細書において、「含む(comprising)」、「含む(including)」、「運ぶ」、「有する」、「含む(containing)」、「関与する」、「保持する」、「成り立つ」などのすべての移行句は、制限がないこと、すなわち、上記を含むがこれらに限定されないことを意味すると理解されるべきである。米国特許庁の特許審査手続マニュアル2111.03章に記載されるように、「~から構成される」および「本質的に~から構成される」の移行句のみが、それぞれ、閉鎖的または半閉鎖的移行句であるものとする。
Claims (20)
- 顔画像処理のためのコンピュータ実装方法であって、
ユーザインターフェースを含むコンピューティングデバイスを用いて、感情表現プロンプトを含む、コンピュータ化された刺激またはインタラクションのインスタンスを提供することと、
カメラが前記コンピューティングデバイスと動作可能に係合している状態で、前記コンピュータ化された刺激またはインタラクションに応答してユーザの顔の表情のデジタル画像を受信することと、
前記顔の表情に対応する価数入力および強度または覚醒度入力を決定するために、少なくとも1つのプロセッサを用いて前記デジタル画像を処理することと、
前記少なくとも1つのプロセッサを用いて、前記価数入力および前記強度または覚醒度入力を、前記感情表現プロンプトに関連する所定の価数および強度または覚醒度範囲と比較することと、
前記少なくとも1つのプロセッサを用いて、前記ユーザの前記顔の表情と前記感情表現プロンプトとの間の一致度を決定することと、を含む、方法。 - 前記感情表現プロンプトが、感情表現を表す画像またはアイコンを提示すること、および前記ユーザに前記感情表現を模倣するように促すことを含む、請求項1に記載の方法。
- 前記プロセッサを用いて、前記ユーザの前記顔の表情と前記感情表現プロンプトとの間の前記一致度に従って、前記ユーザの認知バイアスまたは情動状態の尺度を決定することをさらに含む、請求項1に記載の方法。
- 前記感情表現プロンプトに応答して、前記ユーザの前記顔の表情の前記デジタル画像を受信すると同時に、少なくとも1つの生理学的センサを用いて少なくとも1つの生理学的入力を測定することをさらに含む、請求項1に記載の方法。
- 前記ユーザの前記顔の表情と前記感情表現プロンプトとの間の前記一致度に従って、前記コンピューティングデバイスを用いて前記コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを提供することをさらに含む、請求項1に記載の方法。
- 前記コンピュータ化された刺激またはインタラクションが、コンピュータ化された認知バイアス修正レジメンに関連している、請求項5に記載の方法。
- 前記ユーザの前記認知バイアスまたは前記情動状態に従って、処理デバイスを用いて前記コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含む、請求項3に記載の方法。
- 前記少なくとも1つの生理学的入力に従って、前記処理デバイスを用いて前記ユーザの情動状態を決定することをさらに含む、請求項4に記載の方法。
- 前記ユーザの前記情動状態に従って、前記処理デバイスを用いて前記コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含む、請求項8に記載の方法。
- 前記コンピュータ化された刺激またはインタラクションの前記第2もしくは後続のインスタンスに応答して、前記ユーザの前記認知バイアスまたは情動状態の変化度を、前記処理デバイスを用いて決定することをさらに含む、請求項7に記載の方法。
- 顔画像処理のためのシステムであって、
ユーザの顔の表情のデジタル画像をリアルタイムで受信するように構成されたカメラを含むコンピューティングデバイスと、
前記コンピューティングデバイスと通信可能に係合された一体型プロセッサまたはリモートプロセッサと、
実行されたときに、前記プロセッサに、1つ以上の動作を実施させる命令が記憶されている、非一時的なコンピュータ可読媒体と、を備え、前記1つ以上の動作が、
感情表現プロンプトを含む、コンピュータ化された刺激またはインタラクションのインスタンスを前記コンピューティングデバイスにレンダリングすること、
前記コンピュータ化された刺激またはインタラクションに応答して、ユーザの顔の表情のリアルタイムデジタル画像を受信すること、
前記顔の表情に対応する価数入力および強度入力を決定するために、前記デジタル画像を処理すること、
前記価数入力および前記強度入力を、前記感情表現プロンプトに関連する所定の価数および強度範囲と比較すること、および
前記ユーザの前記顔の表情と前記感情表現プロンプトの間の一致度を決定すること、を含む、システム。 - 前記コンピュータ化された刺激またはインタラクションに応答して少なくとも1つの生理学的センサ入力を測定するために、前記プロセッサと動作可能に係合する少なくとも1つの生理学的センサをさらに備える、請求項11に記載のシステム。
- 前記感情表現プロンプトが、感情表現を表す画像またはアイコンをレンダリングすること、および前記ユーザに前記感情表現を模倣するように促すことを含む、請求項11に記載のシステム。
- 前記1つ以上の動作が、前記ユーザの前記顔の表情と前記感情表現プロンプトとの間の前記一致度に従って、前記ユーザの認知バイアスまたは情動状態の尺度を決定することをさらに含む、請求項11に記載のシステム。
- 前記1つ以上の動作が、前記ユーザの前記顔の表情と前記感情表現プロンプトとの間の前記一致度に従って、前記コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスをレンダリングすることをさらに含む、請求項11に記載のシステム。
- 前記1つ以上の動作が、前記ユーザの前記認知バイアスまたは前記情動状態に従って、前記コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含む、請求項14に記載のシステム。
- 前記1つ以上の動作が、前記少なくとも1つの生理学的センサ入力に従って、前記コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含む、請求項12に記載のシステム。
- 前記1つ以上の動作が、前記ユーザの前記顔の表情と前記感情表現プロンプトとの間の前記一致度に従って、前記コンピュータ化された刺激またはインタラクションの第2もしくは後続のインスタンスを修正することをさらに含む、請求項13に記載のシステム。
- 前記1つ以上の動作が、前記コンピュータ化された刺激またはインタラクションの前記第2もしくは後続のインスタンスに応答して、前記ユーザの前記認知バイアスまたは情動状態の変化度を決定することをさらに含む、請求項16に記載のシステム。
- 顔画像処理のための方法の動作を実行するように1つ以上のプロセッサに命令するための命令で符号化された非一時的なコンピュータ可読媒体であって、前記動作が、
感情表現プロンプトを含む、コンピュータ化された刺激またはインタラクションの第1のインスタンスを出力デバイスに提供することと、
前記感情表現プロンプトに応答して、ユーザの顔の表情のデジタル画像を受信することと、
前記顔の表情に対応する価数入力および強度入力を決定するために、前記デジタル画像を処理することと、
前記価数入力および前記強度入力を、前記顔の表情プロンプトに関連する所定の価数ならびに強度範囲と比較することと、
前記ユーザの前記顔の表情と前記感情表現プロンプトの間の一致度を決定することと、を含む、非一時的なコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862758461P | 2018-11-09 | 2018-11-09 | |
US62/758,461 | 2018-11-09 | ||
PCT/US2019/061011 WO2020097626A1 (en) | 2018-11-09 | 2019-11-12 | Facial expression detection for screening and treatment of affective disorders |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022506651A true JP2022506651A (ja) | 2022-01-17 |
Family
ID=70552349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021524183A Pending JP2022506651A (ja) | 2018-11-09 | 2019-11-12 | 情動障害のスクリーニングおよび治療のための顔の表情検出 |
Country Status (8)
Country | Link |
---|---|
US (2) | US10839201B2 (ja) |
EP (1) | EP3877898A4 (ja) |
JP (1) | JP2022506651A (ja) |
KR (1) | KR20210093281A (ja) |
CN (1) | CN112970027A (ja) |
AU (1) | AU2019376682A1 (ja) |
CA (1) | CA3118759A1 (ja) |
WO (1) | WO2020097626A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11158060B2 (en) | 2017-02-01 | 2021-10-26 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
US11298062B2 (en) * | 2017-02-01 | 2022-04-12 | Conflu3Nce Ltd | Multi-purpose interactive cognitive platform |
US11176675B2 (en) | 2017-02-01 | 2021-11-16 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
JP7268758B2 (ja) * | 2019-11-19 | 2023-05-08 | 日本電信電話株式会社 | 表情ラベル付与装置、表情ラベル付与方法、およびプログラム |
US11645563B2 (en) * | 2020-03-26 | 2023-05-09 | International Business Machines Corporation | Data filtering with fuzzy attribute association |
US12125579B2 (en) * | 2020-11-11 | 2024-10-22 | David A. Godwin, SR. | Mirror image apps device comprises plurality of sensors acquire video and audio data to determine first expression, software and system, and methods of operating same |
EP4009333A1 (en) | 2020-12-01 | 2022-06-08 | Koninklijke Philips N.V. | Method and system for personalized attention bias modification treatment by means of neurofeedback monitoring |
US11399074B2 (en) * | 2020-12-16 | 2022-07-26 | Facebook Technologies, Llc | Devices, systems, and methods for modifying features of applications based on predicted intentions of users |
CN113609851B (zh) * | 2021-07-09 | 2024-07-02 | 浙江连信科技有限公司 | 心理学上想法认知偏差的识别方法、装置及电子设备 |
JP2024537918A (ja) | 2021-08-05 | 2024-10-16 | フィーブ-エックス,インコーポレイテッド | 多感覚で支援型のウェアラブル技術及びそれを用いた感覚的な解放を与える方法 |
US11663790B2 (en) | 2021-08-18 | 2023-05-30 | Optum, Inc. | Dynamic triggering of augmented reality assistance mode functionalities |
CN114842957B (zh) * | 2022-03-28 | 2023-04-07 | 暨南大学 | 一种基于情绪识别的老年痴呆症辅助诊断系统及其方法 |
KR20240140256A (ko) * | 2023-03-16 | 2024-09-24 | 인제대학교 산학협력단 | 인지편향 교정 솔루션 서비스 방법 및 인지편향 교정 솔루션 서비스 시스템 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008264367A (ja) * | 2007-04-24 | 2008-11-06 | Nintendo Co Ltd | トレーニングプログラムおよびトレーニング装置 |
JP2009285115A (ja) * | 2008-05-29 | 2009-12-10 | Univ Of Tsukuba | 装着型人支援装置 |
US20140148728A1 (en) * | 2012-11-20 | 2014-05-29 | El-Mar Inc. | Method of identifying an individual with a disorder or efficacy of a treatment of a disorder |
US20140316881A1 (en) * | 2013-02-13 | 2014-10-23 | Emotient | Estimation of affective valence and arousal with automatic facial expression measurement |
US20150157259A1 (en) * | 2013-12-09 | 2015-06-11 | Stefan Bradu | System for multidimensional analysis, modulation and optimization of facial expressions |
JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009530071A (ja) * | 2006-03-13 | 2009-08-27 | アイモーションズ−エモーション テクノロジー エー/エス | 視覚的注意および感情反応の検出表示システム |
JP4914398B2 (ja) | 2008-04-09 | 2012-04-11 | キヤノン株式会社 | 表情認識装置、撮像装置、方法及びプログラム |
US20110263946A1 (en) * | 2010-04-22 | 2011-10-27 | Mit Media Lab | Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences |
US20150206000A1 (en) * | 2010-06-07 | 2015-07-23 | Affectiva, Inc. | Background analysis of mental state expressions |
US10474875B2 (en) * | 2010-06-07 | 2019-11-12 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation |
US9642536B2 (en) * | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state analysis using heart rate collection based on video imagery |
US10911829B2 (en) * | 2010-06-07 | 2021-02-02 | Affectiva, Inc. | Vehicle video recommendation via affect |
US11410438B2 (en) * | 2010-06-07 | 2022-08-09 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation in vehicles |
US10111611B2 (en) * | 2010-06-07 | 2018-10-30 | Affectiva, Inc. | Personal emotional profile generation |
US10517521B2 (en) * | 2010-06-07 | 2019-12-31 | Affectiva, Inc. | Mental state mood analysis using heart rate collection based on video imagery |
KR101801327B1 (ko) | 2011-07-29 | 2017-11-27 | 삼성전자주식회사 | 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치 |
US9292858B2 (en) * | 2012-02-27 | 2016-03-22 | The Nielsen Company (Us), Llc | Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments |
MX359676B (es) * | 2012-12-11 | 2018-10-05 | Shultz Sarah | Sistemas y metodos para detectar inhibicion del parpadeo como un marcador de trascendencia de estimulo percibido e implicado. |
US20140315168A1 (en) * | 2013-02-12 | 2014-10-23 | Emotient | Facial expression measurement for assessment, monitoring, and treatment evaluation of affective and neurological disorders |
KR101531664B1 (ko) | 2013-09-27 | 2015-06-25 | 고려대학교 산학협력단 | 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 |
WO2015127361A1 (en) * | 2014-02-23 | 2015-08-27 | Interdigital Patent Holdings, Inc. | Cognitive and affective human machine interface |
US10254785B2 (en) * | 2014-06-30 | 2019-04-09 | Cerora, Inc. | System and methods for the synchronization of a non-real time operating system PC to a remote real-time data collecting microcontroller |
US20160063874A1 (en) * | 2014-08-28 | 2016-03-03 | Microsoft Corporation | Emotionally intelligent systems |
JP2016110631A (ja) | 2014-12-02 | 2016-06-20 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 状態推定装置、状態推定方法およびプログラム |
JP6985005B2 (ja) * | 2015-10-14 | 2021-12-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体 |
AU2017306678A1 (en) * | 2016-08-03 | 2019-02-14 | Akili Interactive Labs, Inc. | Cognitive platform including computerized evocative elements |
CA3035122A1 (en) * | 2016-08-26 | 2018-03-01 | Akili Interactive Labs, Inc. | Cognitive platform coupled with a physiological component |
US10709867B2 (en) * | 2016-11-10 | 2020-07-14 | Ramot At Tel-Aviv University Ltd. | Gaze-contingent music reward therapy |
WO2018128996A1 (en) | 2017-01-03 | 2018-07-12 | Clipo, Inc. | System and method for facilitating dynamic avatar based on real-time facial expression detection |
JP7073640B2 (ja) | 2017-06-23 | 2022-05-24 | カシオ計算機株式会社 | 電子機器、感情情報取得システム、プログラム及び感情情報取得方法 |
US10956548B2 (en) * | 2018-10-09 | 2021-03-23 | Lenovo (Singapore) Pte. Ltd. | User authentication via emotion detection |
-
2019
- 2019-11-12 CA CA3118759A patent/CA3118759A1/en active Pending
- 2019-11-12 KR KR1020217017434A patent/KR20210093281A/ko unknown
- 2019-11-12 CN CN201980072865.XA patent/CN112970027A/zh active Pending
- 2019-11-12 US US16/681,711 patent/US10839201B2/en active Active
- 2019-11-12 WO PCT/US2019/061011 patent/WO2020097626A1/en unknown
- 2019-11-12 JP JP2021524183A patent/JP2022506651A/ja active Pending
- 2019-11-12 AU AU2019376682A patent/AU2019376682A1/en not_active Abandoned
- 2019-11-12 EP EP19882809.7A patent/EP3877898A4/en not_active Withdrawn
-
2021
- 2021-05-10 US US17/316,441 patent/US20220039714A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008264367A (ja) * | 2007-04-24 | 2008-11-06 | Nintendo Co Ltd | トレーニングプログラムおよびトレーニング装置 |
JP2009285115A (ja) * | 2008-05-29 | 2009-12-10 | Univ Of Tsukuba | 装着型人支援装置 |
US20140148728A1 (en) * | 2012-11-20 | 2014-05-29 | El-Mar Inc. | Method of identifying an individual with a disorder or efficacy of a treatment of a disorder |
US20140316881A1 (en) * | 2013-02-13 | 2014-10-23 | Emotient | Estimation of affective valence and arousal with automatic facial expression measurement |
US20150157259A1 (en) * | 2013-12-09 | 2015-06-11 | Stefan Bradu | System for multidimensional analysis, modulation and optimization of facial expressions |
JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220039714A1 (en) | 2022-02-10 |
EP3877898A1 (en) | 2021-09-15 |
EP3877898A4 (en) | 2022-08-17 |
US10839201B2 (en) | 2020-11-17 |
WO2020097626A1 (en) | 2020-05-14 |
AU2019376682A1 (en) | 2021-05-27 |
CA3118759A1 (en) | 2020-05-14 |
US20200151439A1 (en) | 2020-05-14 |
KR20210093281A (ko) | 2021-07-27 |
CN112970027A (zh) | 2021-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022506651A (ja) | 情動障害のスクリーニングおよび治療のための顔の表情検出 | |
JP2023025083A (ja) | コンピュータ化された喚起要素を含む認知プラットフォーム | |
US20200402643A1 (en) | Cognitive screens, monitor and cognitive treatments targeting immune-mediated and neuro-degenerative disorders | |
JP2020500360A (ja) | バイオマーカーまたは他のタイプのマーカーとして構成される認知プラットフォーム | |
JP7146800B2 (ja) | プラットフォーム間でデータを安全に収集、分析、及び共有するための分散ネットワーク | |
WO2019173189A1 (en) | Cognitive screens, monitor and cognitive treatments targeting immune-mediated and neuro-degenerative disorders | |
JP2022502789A (ja) | 認知処置を最適化するための努力メトリックを導出するための認知プラットフォーム | |
JP7442596B2 (ja) | ナビゲーション課題を使用するバイオマーカーの識別およびナビゲーション課題を使用する治療のためのプラットフォーム | |
US12026636B2 (en) | Cognitive platform for deriving effort metric for optimizing cognitive treatment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230928 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240417 |