JP2022505836A - デジタルコンテンツ体験との改善されたヒューマンインタラクションのための共感的コンピューティングシステムおよび方法 - Google Patents
デジタルコンテンツ体験との改善されたヒューマンインタラクションのための共感的コンピューティングシステムおよび方法 Download PDFInfo
- Publication number
- JP2022505836A JP2022505836A JP2021522511A JP2021522511A JP2022505836A JP 2022505836 A JP2022505836 A JP 2022505836A JP 2021522511 A JP2021522511 A JP 2021522511A JP 2021522511 A JP2021522511 A JP 2021522511A JP 2022505836 A JP2022505836 A JP 2022505836A
- Authority
- JP
- Japan
- Prior art keywords
- digital content
- experience
- content
- user
- artificial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 152
- 230000003993 interaction Effects 0.000 title description 14
- 210000004556 brain Anatomy 0.000 claims abstract description 142
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000002889 sympathetic effect Effects 0.000 claims abstract description 11
- 230000001537 neural effect Effects 0.000 claims description 70
- 230000004044 response Effects 0.000 claims description 49
- 238000006243 chemical reaction Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 21
- 230000003542 behavioural effect Effects 0.000 claims description 16
- 230000007177 brain activity Effects 0.000 claims description 14
- 206010048909 Boredom Diseases 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008685 targeting Effects 0.000 claims description 10
- 238000007637 random forest analysis Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 230000006397 emotional response Effects 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims 2
- 230000037430 deletion Effects 0.000 claims 2
- 230000007787 long-term memory Effects 0.000 claims 1
- 230000008451 emotion Effects 0.000 abstract description 18
- 230000033001 locomotion Effects 0.000 abstract description 15
- 230000036541 health Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 28
- 238000004458 analytical method Methods 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000011161 development Methods 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 241000282412 Homo Species 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 10
- 230000037007 arousal Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 208000019901 Anxiety disease Diseases 0.000 description 6
- 230000036506 anxiety Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 239000000758 substrate Substances 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000012384 transportation and delivery Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 241001342895 Chorus Species 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003278 mimic effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000004630 mental health Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- SHXWCVYOXRDMCX-UHFFFAOYSA-N 3,4-methylenedioxymethamphetamine Chemical compound CNC(C)CC1=CC=C2OCOC2=C1 SHXWCVYOXRDMCX-UHFFFAOYSA-N 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006998 cognitive state Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 206010010904 Convulsion Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 208000019695 Migraine disease Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 201000008090 alexithymia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000035606 childbirth Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000005100 correlation spectroscopy Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011981 development test Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 239000003792 electrolyte Substances 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000011551 log transformation method Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 206010027599 migraine Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000008925 spontaneous activity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Psychology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Epidemiology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Primary Health Care (AREA)
- Robotics (AREA)
- Acoustics & Sound (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Dermatology (AREA)
- Neurology (AREA)
Abstract
記載されている本発明は、全体として、（例えば、娯楽、トレーニング、健康、セキュリティなどに関連して）より良い、よりパーソナル化されたサービスを提供することを目的として、人間の思考および感情を理解し、それに応じてコンテンツを調節するように構成されているコンピュータ動作を実施する人工脳モデルに関する。記載されている人工脳モデルを実行する共感的コンピューティングシステムは、（例えば、音声コンテンツに関する、ビジュアルコンテンツに関する、他のフォーマットのコンテンツに関する、接続されたホームアプリケーションに関する、AR/VRデバイスアプリケーションに関する、自動車技術アプリケーションに関するものなどの）ユーザの日常生活においてユーザに提供される（例えば、混合メディアフォーマットを含む）デジタルコンテンツ体験の評価に有用である。
Description
関連出願の相互参照
本出願は、本参照によりその全体が本明細書に各々組み入れられる、2018年10月25日に出願された米国仮特許出願第62/750255号、および2019年7月8日に出願された米国仮特許出願第62/871435号の恩典を主張するものである。
本出願は、本参照によりその全体が本明細書に各々組み入れられる、2018年10月25日に出願された米国仮特許出願第62/750255号、および2019年7月8日に出願された米国仮特許出願第62/871435号の恩典を主張するものである。
本開示は、全体として、神経信号処理に関し、具体的には、ブレイン・コンピュータ・インターフェースを使用した、脳活動の迅速なデコーディングと連携したインタラクティブコンテンツ送付のためのシステムおよび方法に関する。
ブレイン・コンピュータ・インターフェース（BCI）のシステムおよび方法を使用して、ユーザをユーザの環境とシームレスに接続し、デジタル世界におけるユーザ体験を向上させることができる。そのようなBCIシステムを使用して、ユーザにカスタマイズまたは改善されたコンテンツを提供するためのフィードバック機構に寄与するように、ユーザがデジタルコンテンツとインタラクトし、かつ/またはユーザの日常生活での他の体験を有する際にユーザからの神経信号データを生成することができる。カスタマイズされたコンテンツの送付に関して、現在のシステムは、ユーザの神経活動を迅速にデコーディングし、デコーディングをユーザに合わせたデジタルコンテンツの提供と連携させることができない。現在のシステムはさらに、コンテンツを評価することができず、ユーザがそのコンテンツにどのように反応するかを適切なレベルの分解能で予測することができない。
概要
記載されている本発明は、全体として、（例えば、娯楽、トレーニング、健康、セキュリティなどのコンテキストで）より良い、よりパーソナル化されたサービスを提供することを目的として、人間の思考および感情を理解し、それに応じてコンテンツを調節するように構成されているコンピュータ演算を実施する人工脳モデルに関する。記載されている人工脳モデルを実行する共感的コンピューティングシステムは、（例えば、音声コンテンツに関する、ビジュアルコンテンツに関する、他のフォーマットのコンテンツに関する、接続されたホームアプリケーションに関する、AR/VRデバイスアプリケーションに関する、自動車技術アプリケーションに関するものなどの）ユーザの日常生活においてユーザに提供される（例えば、混合メディアフォーマットを含む）デジタルコンテンツ体験の評価に有用である。複数の実施形態において、デジタルコンテンツ体験には、デジタルコンテンツ・ファイルによって提供される、音声聴取体験、映像視聴体験、画像閲覧体験、テキスト読み取り体験、買い物体験、およびビデオゲームプレイ体験、のうちの1つまたは複数を含めることができる。
記載されている本発明は、全体として、（例えば、娯楽、トレーニング、健康、セキュリティなどのコンテキストで）より良い、よりパーソナル化されたサービスを提供することを目的として、人間の思考および感情を理解し、それに応じてコンテンツを調節するように構成されているコンピュータ演算を実施する人工脳モデルに関する。記載されている人工脳モデルを実行する共感的コンピューティングシステムは、（例えば、音声コンテンツに関する、ビジュアルコンテンツに関する、他のフォーマットのコンテンツに関する、接続されたホームアプリケーションに関する、AR/VRデバイスアプリケーションに関する、自動車技術アプリケーションに関するものなどの）ユーザの日常生活においてユーザに提供される（例えば、混合メディアフォーマットを含む）デジタルコンテンツ体験の評価に有用である。複数の実施形態において、デジタルコンテンツ体験には、デジタルコンテンツ・ファイルによって提供される、音声聴取体験、映像視聴体験、画像閲覧体験、テキスト読み取り体験、買い物体験、およびビデオゲームプレイ体験、のうちの1つまたは複数を含めることができる。
記載されている本発明はコンテンツ作成にも関し、当該コンテンツ作成は、作成されたコンテンツに対するユーザ（もしくはユーザ層）の予測される反応の評価に関するもの、および/またはコンテンツに対するユーザ（もしくはユーザ層）の予測される反応に基づく作成されたコンテンツの生成もしくは調節に関するものである。
記載されている本発明はまた、ソフトウェアにおける人工脳の開発にも関し、1つのシステム（「第1のサブシステム」）によって解析された人間の神経信号および/または他の生理学的信号が、人工脳モデルを訓練するために第2のシステム（「第2のサブシステム」）によって解析された提供されたデジタルコンテンツの環境信号および特徴で処理され、人工脳モデルは、洞察をまとめてプールし、様々な体験に対する反応に関連した人間の体験的状態のマトリックスを開発する。第2のサブシステムと関連付けられたコンテンツの特徴（例えば、電子コンテンツのデータパラメータやその他の局面）が、コンピュータビジョンおよび音声認識技術を使用するネットワークに供給され、第1のエキスパートシステムと関連付けられたブレイン・コンピュータ・インターフェース（BCI）から取り込まれた神経信号データが、この目的のために特に開発された固有のソフトウェアを使用して処理される。両方のサブシステムからの洞察の組み合わせにより、人工脳モデルは、緻密に、統計的関係を学習し、単一のストリームのみ（例えば、コンテンツの特徴に関連したストリームのみや、脳信号からの特徴に関連したストリームのみ）から将来のデータの予測を行うことができるようになる。よって、サブシステムは、単一のデータストリームを使用して（例えば、ユーザの反応、コンテンツの有効性、ユーザによってインタラクトされているコンテンツの部分などの）予測を生成することができる方法を実施するためのアーキテクチャを含む。
より詳細には、訓練データの量が増えてモデルの精緻化が進むにつれて、システムアーキテクチャ（例えば、システムアーキテクチャによって定義されたマトリックス）は、人間の知覚、感情、反応、判断、および他の人間の体験的状態のモデルを精緻化し、これはひいては、環境入力データ（例えば、デジタル・コンテンツ・データ）のみから人間のような体験または他の行動反応を予測するために使用され得る。そのようなシステムは、人間の体験を模倣することができ、人間とインタラクトする人工知能プログラムおよび自律システムを改善するとともに、人間に提示されるデジタルコンテンツ、例えば、映像コンテンツ（例えば、映画、テレビ、ゲーム）や、音声コンテンツ（例えば、音楽、音響効果、仮想アシスタントの音声特徴）を編集および改善するための貴重なツールであり、その影響を、特定の創造的な判断が有する感情的効果に対する情報に基づく見解を有する制作者が強化することができる。当該システムは、様々な人口層または他のカテゴリの個人にわたる人間の体験または反応を模倣するためのモデルをさらに生成することができる。
複数の実施形態において、システムはまた、1人または複数の対象者がコンテンツとインタラクトする際にその（1人または複数の）対象者から神経信号データを受け取ることもでき、システムは、神経信号データの処理に基づいてコンテンツの予測される部分を出力することができる。よって、ユーザがデジタルコンテンツのどんな部分を消費するかを、神経信号データのみの解析に基づいて予測するように、システムを訓練することができる。
複数の実施形態において、システムはまた、ユーザの集団からのデータを用いて訓練された人工脳モデルの実施に基づいて、同じコンテンツ（例えば、オーディオクリップ、ビデオクリップ、その他の未評価のコンテンツ）に対する（例えば、共感的反応に関する、行動反応に関するなどの）反応の差を特定または予測するためにも使用することができる。
複数の実施形態において、システムを、コンテンツのターゲットとしては予期されていなかった対象者クラスタまたは他のマーケットを、提供されたコンテンツに対する当該対象者の同様の反応に基づいて特定するように構成することができる。よって、システムを、以前は他の方法によって特徴付けられなかった新しいマーケットまたは新しい人口層を特定するための診断ツールとして使用することができる。
複数の実施形態において、システムを、他のインタラクティブコンテンツ（例えば、ビデオゲームの特徴）についてのゲームプレイの設計可能な特徴との関連から当該コンテンツに対するユーザの反応を予測するように、構成することができる。
デジタル環境で動作する仮想アシスタントに関して、仮想アシスタントのインタラクションの特徴を人工脳モデルを使用して試験または生成するために、システムの実施形態を用いることができる。よって、人間に失感情症、すなわち、自己の感情を識別および記述することができない不顕性の無能力、ならびに感情の認識、ソーシャルアタッチメント、および対人関係の機能不全を特徴とする人格構成概念を患っている実体と対話しているという不快感を与える仮想アシスタントのインタラクションに対する防御手段として、システムの出力を使用することができる。人間ユーザの個人的な考え方に関する情報を、体験の状態の特徴を示す様々なデータの形で伝えることによって、機械は、例えば、より自然なユーザ・システムインタラクションを提供することによって、より一層直感的かつ繊細に動作することができる。
詳細な説明
1. システム環境
図1Aに、1つまたは複数の実施形態による、システム100の人工脳の開発および実装のシステム環境を示す。図1Aに示されているシステム100は、ユーザがデジタルコンテンツとインタラクトする際にユーザ105からの神経信号データセットを生成するセンサのアレイを含む、ブレイン・コンピュータ・インターフェース（BCI）120を含む。BCI 120は、ヘッドマウントディスプレイ（HMD）110に結合されるか、またはそれ以外の方法で協働することができ、HMDを介して、かつ/または別のデバイス（例えば、映像をレンダリングおよび/もしくはユーザに音声信号を出力することができるデバイス）を介して、デジタルコンテンツを提供することができる。システム100はまた、HMD 110および/またはBCI 120と接続するように構成されているハードウェアプラットフォーム130も含み、ハードウェアプラットフォーム130は、BCI 120の出力を受け取って調整するための電子機器サブシステム140、ならびにユーザに提供されるデジタルコンテンツ、環境信号、神経信号、および/または他の生理学的信号の特徴を分類し、後続のアクションを実行するための人工脳モデル出力を開発、訓練、および実装するためのアーキテクチャを含む。
1. システム環境
図1Aに、1つまたは複数の実施形態による、システム100の人工脳の開発および実装のシステム環境を示す。図1Aに示されているシステム100は、ユーザがデジタルコンテンツとインタラクトする際にユーザ105からの神経信号データセットを生成するセンサのアレイを含む、ブレイン・コンピュータ・インターフェース（BCI）120を含む。BCI 120は、ヘッドマウントディスプレイ（HMD）110に結合されるか、またはそれ以外の方法で協働することができ、HMDを介して、かつ/または別のデバイス（例えば、映像をレンダリングおよび/もしくはユーザに音声信号を出力することができるデバイス）を介して、デジタルコンテンツを提供することができる。システム100はまた、HMD 110および/またはBCI 120と接続するように構成されているハードウェアプラットフォーム130も含み、ハードウェアプラットフォーム130は、BCI 120の出力を受け取って調整するための電子機器サブシステム140、ならびにユーザに提供されるデジタルコンテンツ、環境信号、神経信号、および/または他の生理学的信号の特徴を分類し、後続のアクションを実行するための人工脳モデル出力を開発、訓練、および実装するためのアーキテクチャを含む。
システム100の実施形態は、デジタルコンテンツの特徴、神経信号、環境信号、および/または他のデータを受け取って処理し、（タイプおよび/またはコンテンツが）低減されたデータストリームを処理し、動作可能な出力を生成することができる人工脳モデルを開発および訓練するように機能する。複数の実施形態において、システム100はコンテンツ作成を促進するように機能することができ、当該コンテンツ作成は、作成されたコンテンツに対するユーザ（もしくはユーザ層）の予測される反応の評価に関するもの、および/またはコンテンツに対するユーザ（もしくはユーザ層）の予測される反応に基づく作成されたコンテンツの生成もしくは調節に関するものである。人工脳モデルの訓練により、システム100の実施形態は、人間とインタラクトする人工知能プログラムおよび自律システムを改善するとともに、人間に提示されるデジタルコンテンツ、例えば、映像コンテンツ（例えば、映画、テレビ、ゲーム）や音声コンテンツ（例えば、音楽、音響効果、仮想アシスタントの音声特徴）を編集および改善するための貴重なツールとして、人間の体験を模倣することができ、その影響を、特定の創造的な判断が有する感情的効果に対する情報に基づく見解を有する制作者が強化することができる。システム100の実施形態は、様々な人口層または他のカテゴリの個人における人間の体験または反応を模倣するためのモデルをさらに生成することができる。
複数の実施形態において、システム100は、追加的または代替的に、1人または複数の対象者がコンテンツとインタラクトする際にその（1人または複数の）対象者から神経信号データを受け取ることもでき、システムは、神経信号データの処理に基づいてコンテンツの予測される部分を出力することができる。よって、ユーザがデジタルコンテンツのどんな部分を消費するかを、神経信号データのみの解析に基づいて予測するように、システムを訓練することができる。複数の実施形態において、システム100を、コンテンツのターゲットとしては予期されていなかった対象者クラスタまたは他のマーケットを、提供されたコンテンツに対する当該対象者の同様の反応に基づいて特定するように構成することもできる。よって、システムを、以前は他の方法によって特徴付けられなかった新しいマーケットまたは新しい人口層を特定するための診断ツールとして使用することができる。システム100を、後述する方法の実施形態を実施もしくは実行するように構成することができ、または追加的もしくは代替的に、ユーザに提供されるコンテンツを改善するための人工脳の用途に関連した他の方法を実行するように構成することもできる。
1.1 システム-BCIおよびHMD
図1Aに示されているように、BCI 120は、使用中にユーザの脳から神経活動を検出するように構成されたセンサセット121を含む。一実施形態では、センサセット121は、電気表面信号（例えば、脳波（EEG）信号、電磁場信号、皮質脳波（ECoG）信号など）を生成するための電極を含み、センサセット121は、電解質処理多孔質材料、高分子材料、布材料、またはユーザの頭部領域との電気的接続を形成できる他の材料のうちの1つまたは複数を含むことができる。別の実施形態では、センサセット121は、以下のうちの1つまたは複数のために動作するセンサを含むことができる：脳磁図（MEG）、陽電子放出断層撮影（PET）、機能的磁気共鳴画像法（fMRI）、（例えば、神経栄養電極やマルチユニットアレイを使用した）単一ニューロン信号感知、およびその他の神経感知モダリティ。さらに別の実施形態では、センサセット121は、以下のうちの1つまたは複数を含む光学式神経感知モダリティのために動作するセンサを含むことができる：拡散光トモグラフィ（DOT）、近赤外分光法（fNIRS）、機能的時間領域近赤外分光法（TD-fNIRS）、拡散相関分光法（DCS）、スペックルコントラスト光トモグラフィ（SCOT）、時間領域干渉近赤外分光法（TD-iNIRS）、ハイパースペクトル画像法、偏光感受型スペックルトモグラフィ（PSST）、スペクトル無相関、およびその他の画像法モダリティ。
図1Aに示されているように、BCI 120は、使用中にユーザの脳から神経活動を検出するように構成されたセンサセット121を含む。一実施形態では、センサセット121は、電気表面信号（例えば、脳波（EEG）信号、電磁場信号、皮質脳波（ECoG）信号など）を生成するための電極を含み、センサセット121は、電解質処理多孔質材料、高分子材料、布材料、またはユーザの頭部領域との電気的接続を形成できる他の材料のうちの1つまたは複数を含むことができる。別の実施形態では、センサセット121は、以下のうちの1つまたは複数のために動作するセンサを含むことができる：脳磁図（MEG）、陽電子放出断層撮影（PET）、機能的磁気共鳴画像法（fMRI）、（例えば、神経栄養電極やマルチユニットアレイを使用した）単一ニューロン信号感知、およびその他の神経感知モダリティ。さらに別の実施形態では、センサセット121は、以下のうちの1つまたは複数を含む光学式神経感知モダリティのために動作するセンサを含むことができる：拡散光トモグラフィ（DOT）、近赤外分光法（fNIRS）、機能的時間領域近赤外分光法（TD-fNIRS）、拡散相関分光法（DCS）、スペックルコントラスト光トモグラフィ（SCOT）、時間領域干渉近赤外分光法（TD-iNIRS）、ハイパースペクトル画像法、偏光感受型スペックルトモグラフィ（PSST）、スペクトル無相関、およびその他の画像法モダリティ。
図1Aに示されているように、BCI 120のセンサ121を支持基体122に結合することができ、支持基体122は、使用中のユーザの頭の前頭部および/または前頭前部、ならびにユーザの頭の側頭部、頭頂部、および顎顔面領域にアーチ状に架かるように構成された部分を含むことができる。複数の実施形態において、支持基体122は、ユーザにコンパクトなフォームファクタでディスプレイおよび感知機能が提供されるように、別のデバイス（例えば、以下でより詳細に説明されるHMD 110）のアイウェアのフレーム、テンプル、および鼻ブリッジ、のうちの1つまたは複数を形成することができる。図1Aに示されているように、BCI 120のセンサ121は、使用中のユーザの頭および/または顔の適切な部分とインターフェースで接続するように支持基体122のテンプル、フレーム、および鼻ブリッジの各部分に面して内側に結合されている。よって、BCI 120は、単一の装置としての構成で、他の頭部装着物（例えば、以下でより詳細に説明されるHMD 110）と、計算構成要素、電源管理構成要素、および/または他の電子機器を共有することができる。システムを、野球帽などの、主にファッションまたは機能目的で装着される頭部装着物と一体化することができ、装着者の脳に関するリアルタイム出力を、ローカルに、すなわち装置自体で、またはリモートに、すなわちクラウド接続されたアプリケーションにおいて提供するように構成することができる。
いくつかの実施形態では、システム100は、ユーザにデジタルコンテンツ（例えば、音声コンテンツ、ビジュアルコンテンツ、触覚コンテンツ、消費者体験、嗅覚など）を提供するためのデバイスも含むことができる。例えば、システム100は、追加的または代替的に、ユーザによって装着され、ハードウェアプラットフォーム130のアーキテクチャによって生成されたデジタルコンテンツをユーザに送付するように構成されたHMD 110を含むこともできる。HMD 110は、ユーザに電子コンテンツをレンダリングするためのディスプレイを含む。以下で方法に関して説明されるように、HMD 110のディスプレイによってレンダリングされるコンテンツは、そのディスプレイに関連する視野内にデジタルコンテンツおよび/または仮想環境109を含むことができる。デジタルオブジェクト107および/または仮想環境109は、後述するように、ユーザとのインタラクションを促すために使用することができる調節可能な特徴を有する。HMD 110は、電源管理に関するデバイス（例えば、充電装置、バッテリー、有線電力インターフェース、無線電力インターフェースなど）、ユーザにウェアラブルコンポーネントを、ユーザが自分の日常生活において動き回ることを可能にするロバストな方法で留める留め具、および任意の他の適切な構成要素、のうちの1つまたは複数もさらに含むことができる。HMD 110はまた、HMD 110を介して送付されるコンテンツの制御に寄与し、かつ/またはユーザによるHMD 110の使用に関連する出力を送付することができる、モバイル・コンピューティング・デバイス（例えば、タブレット、スマートフォン、スマートウォッチなど）といった他のコンピューティングデバイスとのインターフェースも含むことができる。しかしながら、上述したように、HMD 110を、ユーザにコンテンツをレンダリングまたは出力するように動作する（1つまたは複数の）任意の他の適切なデバイスで置き換えまたは補足することもできる。
さらに、複数の実施形態において、図1Aに示されているように、BCI 120をHMD 110の1つまたは複数の部分に結合して、ユーザが、コンテンツ提供機能と神経信号検出および伝送機能の両方を有する単一の装置を装着するようにすることができる。例えば、BCI 120のセンサ121を、使用中のユーザの頭の前頭部および/または前頭前部にアーチ状に架かるように構成された支持基体122に結合することができ、BCI 120のセンサ121は、使用中のユーザの頭に接触するように支持基体122の後部に結合されている。いくつかの実施形態では、支持基体122の末端領域は、HMD 110のハウジング部分の両側部分に結合されている（例えば、電気機械的に結合されている、電気的に結合されている、機械的に結合されている）。よって、HMD 110とBCI 120とは、計算構成要素、電源管理構成要素、および/または他の電子機器を共有することができる。
しかしながら、さらに別の実施形態では、BCI 120の構成要素を、別の方法でHMD 110に結合することができる。さらに別の実施形態では、BCI 120をHMD 110とは物理的に別個のものとして、BCI 120とHMD 110とが単一の装置として構成されないようにすることができる。
1.2 システム-ハードウェアプラットフォーム
図1Aに示されているように、ハードウェアプラットフォーム130は、電子機器サブシステム140と通信するコンピューティングサブシステム150を含み、電子機器サブシステム140は、ネットワーク160上のデータの伝送（以下でより詳細に説明する）、電源管理、データの前処理、および/またはシステム100の構成要素間で伝えられる信号の調整を容易にするための構成要素を含む。さらに、コンピューティングサブシステムは、コンテンツ提供、（例えば、神経信号と関連した、ユーザの環境の要因と関連したなどの）データの取得、ならびに/または（例えば、クラス分類演算の実施と関連した、人工脳モデルの訓練と関連した、人工脳モデルによる入力の処理および出力の生成に関連したなどの）モデルアーキテクチャを用いたデータの処理に関連する異なるモードで動作するためのコンピュータ・プログラム・コードを含む非一時的なコンピュータ可読記憶媒体を含むことができる。
図1Aに示されているように、ハードウェアプラットフォーム130は、電子機器サブシステム140と通信するコンピューティングサブシステム150を含み、電子機器サブシステム140は、ネットワーク160上のデータの伝送（以下でより詳細に説明する）、電源管理、データの前処理、および/またはシステム100の構成要素間で伝えられる信号の調整を容易にするための構成要素を含む。さらに、コンピューティングサブシステムは、コンテンツ提供、（例えば、神経信号と関連した、ユーザの環境の要因と関連したなどの）データの取得、ならびに/または（例えば、クラス分類演算の実施と関連した、人工脳モデルの訓練と関連した、人工脳モデルによる入力の処理および出力の生成に関連したなどの）モデルアーキテクチャを用いたデータの処理に関連する異なるモードで動作するためのコンピュータ・プログラム・コードを含む非一時的なコンピュータ可読記憶媒体を含むことができる。
コンピューティングサブシステム150は、よって、システム100が、出力セットを生成するために、（例えば、BCI 120からの神経信号の特徴を処理する内部クラス分類アーキテクチャ、ならびに/または環境および/もしくは提供されたコンテンツの特徴を処理する外部クラス分類アーキテクチャによって決定される）クラス分類演算の出力を処理することを可能にする人工脳モデルアーキテクチャ151を含むことができる。例において、以下でより詳細に説明するように、出力を、提供されたコンテンツに対するユーザによる予測される共感的反応、提供されたコンテンツに対するユーザによる予測される行動反応、（提供されたデジタルコンテンツの局面に関連する）マーケティングフィードバック、コンテンツ生成および操作に関連する出力、提供されたコンテンツに関連する解析、コンテンツがターゲットとする人口層に関連する解析、ならびに/または他の出力と関連付けることができる。
コンテンツ生成および操作に関して、コンピューティングサブシステムは、（例えば、上述した様々な表示デバイスを介した）コンテンツ提供、（例えば、映像フォーマット、画像フォーマット、音声フォーマット、触覚フォーマットなどでのコンテンツの生成に関する）コンテンツ生成、および/またはコンテンツ操作に関連するサブコンポーネントを含むコンテンツ処理アーキテクチャ153も含むことができる。よって、システム100を、コンピューティングサブシステム150の人工脳モデルの反復の出力を処理し、出力された予測されるユーザの反応を使用して解析を提供し、かつ/または以前に未評価のコンテンツをユーザもしくはターゲット人口層により良く適合するように生成もしくは操作するように構成することができる。
コンピューティングサブシステム150は、よって、パーソナル・コンピューティング・デバイス、リモートサーバ、ポータブル・コンピューティング・デバイス、クラウドベースのコンピューティングシステム、および/または任意の他の適切なコンピューティングシステム、のうちの1つまたは複数に関連するハードウェアモジュールおよび/またはソフトウェアモジュールとして実装されたコンピューティングサブシステムを含むことができる。そのようなコンピューティングサブシステムは、連携し、後述する方法の実施形態、変形形態、および例を実行するためのコンピュータコードを含む非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品を実行または生成することができる。よって、コンピューティングサブシステム150の各部分は、後述する方法の実施形態、変形形態、および例を実装するためのアーキテクチャを含むことができ、このアーキテクチャは、非一時的な媒体に格納されたコンピュータプログラムを含む。
1.3 システム-通信
図1Aに示されているように、システム100の構成要素を、ネットワーク160を介して通信するように構成することができ、ネットワーク160は、有線通信システムおよび/または無線通信システムの両方を使用した、ローカル・エリア・ネットワークおよび/または広域ネットワークの任意の組み合わせを含むことができる。一実施形態では、コンピューティングサブシステム150および/またはシステムの他のデバイス（例えば、HMD 110、BCI 120）は、標準的な通信技術および/またはプロトコルを使用する。例えば、ネットワーク160は、イーサネット、IEEE 802.11、WiMAX（worldwide interoperability for microwave access）、3G、4G、5G、符号分割多元接続（CDMA）、GSM（global system for mobile communications）、デジタル加入者線（DSL）などの技術を使用する通信リンクを含む。システム通信に使用されるネットワーキングプロトコルの例には、伝送制御プロトコル/インターネットプロトコル（TCP/IP）、ハイパーテキスト転送プロトコル（HTTP）、WebSocket（WS）、およびファイル転送プロトコル（FTP）が含まれる。いくつかの実施形態では、システム100の構成要素の通信リンクの全部または一部が、セキュア・ソケット・レイヤ（SSL）上のハイパーテキスト転送プロトコル、WebSocketセキュア（WSS）、セキュアファイル転送プログラム（SFTP）または任意の他の適切な1つもしくは複数の技術などの前記プロトコルのセキュアな拡張を使用して暗号化され得る。
図1Aに示されているように、システム100の構成要素を、ネットワーク160を介して通信するように構成することができ、ネットワーク160は、有線通信システムおよび/または無線通信システムの両方を使用した、ローカル・エリア・ネットワークおよび/または広域ネットワークの任意の組み合わせを含むことができる。一実施形態では、コンピューティングサブシステム150および/またはシステムの他のデバイス（例えば、HMD 110、BCI 120）は、標準的な通信技術および/またはプロトコルを使用する。例えば、ネットワーク160は、イーサネット、IEEE 802.11、WiMAX（worldwide interoperability for microwave access）、3G、4G、5G、符号分割多元接続（CDMA）、GSM（global system for mobile communications）、デジタル加入者線（DSL）などの技術を使用する通信リンクを含む。システム通信に使用されるネットワーキングプロトコルの例には、伝送制御プロトコル/インターネットプロトコル（TCP/IP）、ハイパーテキスト転送プロトコル（HTTP）、WebSocket（WS）、およびファイル転送プロトコル（FTP）が含まれる。いくつかの実施形態では、システム100の構成要素の通信リンクの全部または一部が、セキュア・ソケット・レイヤ（SSL）上のハイパーテキスト転送プロトコル、WebSocketセキュア（WSS）、セキュアファイル転送プログラム（SFTP）または任意の他の適切な1つもしくは複数の技術などの前記プロトコルのセキュアな拡張を使用して暗号化され得る。
1.4 システム-他のセンサおよび要素
システム100のデバイスは、ユーザ状態の局面を検出し、（例えば、ユーザの実世界環境から）コンテキスト情報を検出し、かつ/またはコンピューティングサブシステム150によって生成され、HMD 110および/もしくはその他のデバイスを介して送られた電子コンテンツとのインタラクションの局面を検出するための追加のセンサ構成要素を含むことができる。サブシステムおよび/またはセンサを、提供されたコンテンツとのインタラクション中にユーザによって装着されるHMD 110および/またはBCI 120に結合し、これと一体化し、または他の方法でこれと関連付けることができる。サブシステムおよび/またはセンサを、追加的または代替的に、HMD 110、BCI 120、および/または他のデバイスとは別個のデバイスに結合し、これと一体化し、または他の方法でこれと関連付け、サブシステムおよび/またはセンサが、ユーザと提供されたデジタルコンテンツ体験との間のインタラクション中にコンピューティングサブシステム150と通信することもできる。
システム100のデバイスは、ユーザ状態の局面を検出し、（例えば、ユーザの実世界環境から）コンテキスト情報を検出し、かつ/またはコンピューティングサブシステム150によって生成され、HMD 110および/もしくはその他のデバイスを介して送られた電子コンテンツとのインタラクションの局面を検出するための追加のセンサ構成要素を含むことができる。サブシステムおよび/またはセンサを、提供されたコンテンツとのインタラクション中にユーザによって装着されるHMD 110および/またはBCI 120に結合し、これと一体化し、または他の方法でこれと関連付けることができる。サブシステムおよび/またはセンサを、追加的または代替的に、HMD 110、BCI 120、および/または他のデバイスとは別個のデバイスに結合し、これと一体化し、または他の方法でこれと関連付け、サブシステムおよび/またはセンサが、ユーザと提供されたデジタルコンテンツ体験との間のインタラクション中にコンピューティングサブシステム150と通信することもできる。
追加のセンサには、電子コンテンツおよび/またはユーザを取り囲む環境とのユーザのインタラクションに関連する捕捉された音声を処理する音声センサ（例えば、指向性マイクロフォン、無指向性マイクロフォンなど）を含めることができる。センサには、追加的または代替的に、（例えば、視線追跡に関する、顔の特徴または表情の検出に関する）電子コンテンツおよび/またはユーザを取り囲む環境とのユーザのインタラクションに関連する（電磁スペクトルの任意の部分に関連する）捕捉された光学的に導出された情報を処理する（例えば、カメラと一体化された）光センサも含めることができる。センサには、追加的または代替的に、電子コンテンツおよび/またはユーザを取り囲む環境とのユーザのインタラクションに関連する捕捉された動きデータを処理する動きセンサ（例えば、慣性測定装置、加速度計、ジャイロスコープなど）も含めることができる。センサには、追加的または代替的に、皮膚コンダクタンス/電気皮膚反応（GSR）センサ、心臓血管パラメータ（例えば、電波探知ベースのセンサ、フォトプレチスモグラフィセンサ、心電図センサ、血圧計など）、呼吸パラメータを検出するためのセンサ（例えば、プレチスモグラフィセンサ、音声センサなど）、体温センサ、および/または任意の他の適切なバイオメトリックセンサ、のうちの1つまたは複数を含むバイオメトリック監視センサも含めることができる。よって、ハードウェアプラットフォーム130が、ユーザ状態の決定に関連する非脳活動状態（例えば、補助バイオメトリック信号、補助データ、コンテキストデータなど）を抽出するために追加のセンサ信号を使用することができる。例えば、環境因子（環境脅威の解析など）および/またはデバイス状態（例えば、ユーザのデバイスがネットワークに無線で接続されているか、それともその他の方法で接続されている）を入力として使用することができる。システム100は、よって、センサの出力を処理して、後述する（1つまたは複数の）方法に従ってほぼリアルタイムでコンテンツ調節を誘導するのに役立つ特徴を抽出することができる。
図1Bに、人工脳モデル実装のためのアプリケーション環境の一実施形態を示す。システムおよびアプリケーション環境の動作中、1人または複数のユーザまたは他のエンティティからマルチモーダルデータが取得され、アプリケーション環境は、アプリケーション環境を直接調節し、人工脳モデルの出力を生成する高レベルの推論を行うために使用される。コンピューティングサブシステムによって提供された高レベルの推論は、所与の状態および体験の効率的な生理学的マーカをリバースエンジニアリングするために使用することができる新しいモデルを同時に生成することができる。図1Bに示されているように、アプリケーション環境は、内部および外部由来のデータのマルチモーダル融合を容易にし、マルチモーダル推論によって人工脳モデルの出力を生成し、（例えば、生理学に基づいて、外的要因によって規定された制約に基づいてなど）境界制約下で確認科学を用いて試験的なデータモデリング技術を実施し、母集団規模の推論または人口層固有の推論を処理することができる。
上述の（1つまたは複数の）システムは、好ましくは、後述する（1つまたは複数の）方法の実施形態、変形形態、および/または例を実装するが、これらの（1つまたは複数の）システムは、追加的または代替的に、任意の他の適切な（1つまたは複数の）方法を実装することもできる。
2. 方法-人工脳の開発、精緻化、および実装
図2に、1つまたは複数の実施形態による、人工脳の開発および実装のための方法200を示すフローチャートを示す。図2に示されているように、ハードウェアプラットフォームおよび関連付けられたコンピューティングサブシステムは、ユーザがデジタルコンテンツ体験とインタラクトする際に、ユーザに接続されたBCIから神経信号データセットを受け取る210。次いで、コンピューティングサブシステムは、神経信号データセットおよびデジタルコンテンツ体験の特徴セットを、クラス分類演算セットで処理する220。次いで、コンピューティングサブシステムは、クラス分類演算セットの出力と、デジタルコンテンツ体験に対するユーザの実際の反応を特徴付ける反応データセットとを用いて人工脳モデルを訓練し230、人工脳モデルは、デジタルコンテンツ体験に対する予測されるユーザの反応に関連する出力を返すためのアーキテクチャを含む。次いで、コンピューティングサブシステムは、人工脳モデルを用いて未評価のデジタルコンテンツ体験を処理し次第、当該未評価のデジタルコンテンツ体験に対する予測されるユーザの反応に関連する共感出力および行動出力のセットを返す240。コンピューティングサブシステムは、次いで、共感出力および行動出力のセットに応答してアクションを実行する250。いくつかの実施形態では、システム（例えば、上述したシステムの一実施形態）は、ユーザにデジタルコンテンツ体験を提供すること205およびユーザの集団からの神経信号データを含む集約データセットを用いて人工脳モデルを精緻化すること235、のいずれか1つまたは複数を行うことができ、それによって、人工脳モデルが、評価対象のデジタルコンテンツに関する人口層に関連する解析を出力することが可能になる。
図2に、1つまたは複数の実施形態による、人工脳の開発および実装のための方法200を示すフローチャートを示す。図2に示されているように、ハードウェアプラットフォームおよび関連付けられたコンピューティングサブシステムは、ユーザがデジタルコンテンツ体験とインタラクトする際に、ユーザに接続されたBCIから神経信号データセットを受け取る210。次いで、コンピューティングサブシステムは、神経信号データセットおよびデジタルコンテンツ体験の特徴セットを、クラス分類演算セットで処理する220。次いで、コンピューティングサブシステムは、クラス分類演算セットの出力と、デジタルコンテンツ体験に対するユーザの実際の反応を特徴付ける反応データセットとを用いて人工脳モデルを訓練し230、人工脳モデルは、デジタルコンテンツ体験に対する予測されるユーザの反応に関連する出力を返すためのアーキテクチャを含む。次いで、コンピューティングサブシステムは、人工脳モデルを用いて未評価のデジタルコンテンツ体験を処理し次第、当該未評価のデジタルコンテンツ体験に対する予測されるユーザの反応に関連する共感出力および行動出力のセットを返す240。コンピューティングサブシステムは、次いで、共感出力および行動出力のセットに応答してアクションを実行する250。いくつかの実施形態では、システム（例えば、上述したシステムの一実施形態）は、ユーザにデジタルコンテンツ体験を提供すること205およびユーザの集団からの神経信号データを含む集約データセットを用いて人工脳モデルを精緻化すること235、のいずれか1つまたは複数を行うことができ、それによって、人工脳モデルが、評価対象のデジタルコンテンツに関する人口層に関連する解析を出力することが可能になる。
方法200の実施形態は、デジタルコンテンツの特徴、神経信号、環境信号、および/または他のデータを受け取って処理し、（タイプおよび/またはコンテンツが）低減されたデータストリームを処理し、動作可能な出力を生成することができる人工脳モデルを開発および訓練するように機能する。複数の実施形態において、方法200はコンテンツ作成を促進するように機能することができ、当該コンテンツ作成は、作成されたコンテンツに対するユーザ（もしくはユーザ層）の予測される反応の評価に関するもの、および/またはコンテンツに対するユーザ（もしくはユーザ層）の予測される反応に基づく作成されたコンテンツの生成もしくは調節に関するものである。人工脳モデルの訓練により、方法200の実施形態は、人間とインタラクトする人工知能プログラムおよび自律システムを改善するとともに、人間に提示されるデジタルコンテンツ、例えば、映像コンテンツ（例えば、映画、テレビ、ゲーム）や音声コンテンツ（例えば、音楽、音響効果、仮想アシスタントの音声特徴）を編集および改善するための貴重なツールとして、人間の体験を模倣することができ、その影響を、特定の創造的な判断が有する感情的効果に対する情報に基づく見解を有する制作者が強化することができる。方法200の実施形態は、様々な人口層または他のカテゴリの個人における人間の体験または反応を模倣するためのモデルをさらに生成することができる。次いで、モデルによって生成された模倣された人間体験を使用して受容的な人口層に戦略的にコンテンツを提供し、コンテンツのターゲットをあまり受容的ではないオーディエンスに設定する際の無駄な努力を減らすことができる。模倣された人間体験はまた、メディアおよび娯楽アプリケーションが、生きた人間がテストオーディエンスとしての役割を果たすことを必要とするという制約なしに、新しいコンテンツを生成する際に迅速に反復することを可能にする自律的なコンテンツ作成ループ（機械駆動）も可能にする。そのようなシステムによって可能な試験の規模（例えば、模倣される人の数）および速度（例えば、どのくらいの速さで結果が提供されるか）は、従来の開発プロセスに優る大きな利益をメディアおよび娯楽の制作者に与える。
複数の実施形態において、方法200は、追加的または代替的に、1人または複数の対象者がコンテンツとインタラクトする際にその（1人または複数の）対象者から神経信号データを受け取ることもでき、システムは、神経信号データの処理に基づいてコンテンツの予測される部分を出力することができる。よって、ユーザがデジタルコンテンツのどんな部分を消費するかを、神経信号データのみの解析に基づいて予測するように、システムを訓練することができる。複数の実施形態において、システム100を、コンテンツのターゲットとするための予期しない対象者のクラスタまたは他のマーケットを、提供されたコンテンツに対するそのような対象者の同様の反応に基づいて特定するように構成することもできる。よって、方法200を、以前に他の方法によって特徴付けられなかった新しいマーケットまたは新しい人口層を特定するための診断ツールとして使用することができる。方法200を、上述したシステムの実施形態によって実装もしくは実行することができ、または追加的または代替的に、人工脳モデルを実装するための機能を有する他のシステムもしくはシステム構成要素によって実行することもできる。
2.1 方法-コンテンツ
ユーザにデジタルコンテンツ体験を提供する205ことに関して、デジタルコンテンツは、以下を含む1つまたは複数のフォーマットを含むことができる:映像ファイル・フォーマット（例えば、MP4、3GP、OGG、WMV、WEBM、FLV、AVI、QuickTime（商標）、立体映像フォーマットなど）、音声ファイル・フォーマット（例えば、WAV、AIFF、AU、PCM、FLAC、MPEG、WMA、OPUS、MP3など）、画像ファイルフォーマット（例えば、JPEG、TIFF、GIF、EXIF、BMP、PNG、HDR、ベクトルフォーマット、立体映像フォーマットなど）、触覚ファイルフォーマット（例えば、AHAP）、ビデオゲーム・フォーマット（例えば、PCプラットフォーム、ホーム・コンソール・プラットフォーム、ハンドヘルドプラットフォーム、アーケードプラットフォーム、ウェブ・ブラウザ・プラットフォーム、モバイル・デバイス・プラットフォーム、仮想現実プラットフォーム、拡張現実プラットフォーム、ブロックチェーンプラットフォームなどに関する）、および任意の他の適切なフォーマット。
ユーザにデジタルコンテンツ体験を提供する205ことに関して、デジタルコンテンツは、以下を含む1つまたは複数のフォーマットを含むことができる:映像ファイル・フォーマット（例えば、MP4、3GP、OGG、WMV、WEBM、FLV、AVI、QuickTime（商標）、立体映像フォーマットなど）、音声ファイル・フォーマット（例えば、WAV、AIFF、AU、PCM、FLAC、MPEG、WMA、OPUS、MP3など）、画像ファイルフォーマット（例えば、JPEG、TIFF、GIF、EXIF、BMP、PNG、HDR、ベクトルフォーマット、立体映像フォーマットなど）、触覚ファイルフォーマット（例えば、AHAP）、ビデオゲーム・フォーマット（例えば、PCプラットフォーム、ホーム・コンソール・プラットフォーム、ハンドヘルドプラットフォーム、アーケードプラットフォーム、ウェブ・ブラウザ・プラットフォーム、モバイル・デバイス・プラットフォーム、仮想現実プラットフォーム、拡張現実プラットフォーム、ブロックチェーンプラットフォームなどに関する）、および任意の他の適切なフォーマット。
デジタルコンテンツを、以下のうちの1つまたは複数を含む体験のカテゴリと関連付けることができる：映像視聴（例えば、広告と関連付けた、完全版の映画と関連付けた、短編映画と関連付けた、テレビ番組のエピソードと関連付けた、ムービークリップと関連付けた、拡張現実体験と関連付けた、仮想現実体験と関連付けたなど）、音声聴取（例えば、広告と関連付けた、曲と関連付けた、作曲と関連付けた、再生リストと関連付けた、オーディオクリップと関連付けた、仮想アシスタント体験と関連付けたなど）、買い物体験（例えば、広告と関連付けた、オンラインショッピングと関連付けた、アプリケーションを介した買い物と関連付けた、別の小売環境での買い物と関連付けたなど）、テキストインタラクション体験（例えば、デジタル文書コンテンツの読み取りに関する）、ゲームプレイ体験（例えば、ビデオゲームと関連付けた、ボードゲームと関連付けた、「脱出ゲーム」スタイルの体験と関連付けた、モバイル・デバイス・ゲームと関連付けたなど）、学習体験（例えば、授業環境における、仮想環境における、学習ソフトウェアに関するなど）と関連付けた、および任意の他の適切な体験。
デジタルコンテンツの特徴を、例えば、感情に影響するコンテンツに関して、予想される共感的反応と関連付けることができる。デジタルコンテンツの特徴を、追加的または代替的に、（例えば、購入のためのコンテンツの選択に関して、コンテンツに関連したアクションの実行に関して、再生リストまたはライブラリのためのコンテンツの選択に関して、コンテンツとの関与に関してなど）予想される行動反応と関連付けることもできる。
よって、映像コンテンツの特徴には、主題の特徴（例えば、ある程度の紛争を有する主題、ある程度の紛争解決を有する主題、ある程度の恋愛に関するコンテンツを有する主題、ある程度の冒険に関するコンテンツを有する主題、ある程度の肯定的な情緒性を有する主題、ある程度の否定的な情緒性を有する主題、大人を対象とした主題、子供を対象とした主題、他の年齢層を対象とした主題、異なる民族を対象とした主題、異なる国民を対象とした主題、異なる文化を対象とした主題、歴史に関する主題、現代の主題、未来に関する主題、ある程度の臨場感を有する主題、有名人を含む主題、非有名人を含む主題など）、ライブアクションコンテンツの度合い、アニメーションコンテンツの度合い、特殊効果のレベル、および/または他の主題の特徴を含めることができ、主題の局面を、定性的に（例えば、分類上）かつ/または定量的に（スコアで）評価することができる。映像コンテンツの特徴を、追加的または代替的に、（映像全体の、シーンの、その他の小部分の）持続時間、フレームレート、フォーマット（例えば、広角、立体視、など）、解像度（例えば、4K、8K、など）、ゲージ（例えば、スーパー8、16mm、35mm、65mmなど）、歪み特徴、および任意の他の適切な技術的特徴、のうちの1つまたは複数と関連付けることもできる。
同様に、画像コンテンツの特徴にも、主題の特徴（例えば、ある程度の紛争を有する主題、ある程度の紛争解決を有する主題、ある程度の恋愛に関するコンテンツを有する主題、ある程度の冒険に関するコンテンツを有する主題、ある程度の肯定的な情緒性を有する主題、ある程度の否定的な情緒性を有する主題、大人を対象とした主題、子供を対象とした主題、他の年齢層を対象とした主題、異なる民族を対象とした主題、異なる国民を対象とした主題、異なる文化を対象とした主題、歴史に関する主題、現代の主題、未来に関する主題、ある程度の臨場感を有する主題、様々な程度の関係性の近さを有するエンティティを含む主題、有名人を含む主題、非有名人を含む主題、など）、および/または他の主題の特徴を含めることができ、主題の局面を、定性的に（例えば、分類上）かつ/または定量的に（スコアで）評価することができる。画像コンテンツの特徴を、追加的または代替的に、サイズ、品質、解像度、画像コンテンツを取り込むために使用されたレンズのタイプ、歪み特徴、および任意の他の適切な技術的特徴、のうちの1つまたは複数と関連付けることもできる。
音声コンテンツの特徴には、主題の特徴（例えば、ある程度の紛争を有する主題、ある程度の紛争解決を有する主題、ある程度の恋愛に関するコンテンツを有する主題、ある程度の冒険に関するコンテンツを有する主題、ある程度の肯定的な情緒性を有する主題、ある程度の否定的な情緒性を有する主題、大人を対象とした主題、子供を対象とした主題、他の年齢層を対象とした主題、異なる民族を対象とした主題、異なる国民を対象とした主題、異なる文化を対象とした主題、ある程度の臨場感を有する主題、有名人の声を使用して生成された主題、非有名人の声を使用して生成された主題など）、および/または他の主題の特徴を含めることができ、主題の局面を、定性的に（例えば、分類上）かつ/または定量的に（スコアで）評価することができる。音声コンテンツの特徴を、追加的または代替的に、（音声ファイル全体の、音声の他の小部分の）持続時間、品質、フォーマット、バースの特徴、プレコーラスの特徴、コーラスの特徴、間奏の特徴、クライマックスの特徴、スクリプトの特徴、メロディーの特徴、ビート/メータの特徴ダイナミクス、ハーモニーの特徴、ピッチの徳地、テクスチャの特徴、歪み特徴、および任意の他の適切な技術的特徴、のうちの1つまたは複数と関連付けることもできる。
テキストコンテンツ（例えば、文書コンテンツ）の特徴には、主題の特徴（例えば、ある程度の紛争を有する主題、ある程度の紛争解決を有する主題、ある程度の恋愛に関するコンテンツを有する主題、ある程度の冒険に関するコンテンツを有する主題、ある程度の肯定的な情緒性を有する主題、ある程度の否定的な情緒性を有する主題、大人を対象とした主題、子供を対象とした主題、他の年齢層を対象とした主題、異なる民族を対象とした主題、異なる国民を対象とした主題、異なる文化を対象とした主題、ある程度の臨場感を有する主題など）、ストーリー展開の局面、使用される方言の局面、会話の局面、言語の局面、使いやすさの局面（サイズ、色、フォントなど）、および/または他の主題の特徴を含めることができ、主題の局面を、定性的に（例えば、分類上）かつ/または定量的に（スコアで）評価することができる。
複数の実施形態において、ビデオゲームおよび/またはゲームプレイの局面の特徴には、以下のうちのいずれか1つまたは複数を含めることができる:上述した任意の映像特徴、上述した任意の画像特徴、上述した任意の音声特徴、キャラクタの個性の特徴、キャラクタの外観の特徴、キャラクタの動きの特徴（例えば、移動回数、移動速度など）、オブジェクトの動きの特徴（例えば、移動回数、移動速度など）、オブジェクトの挙動の特徴、オブジェクト・キャラクタインタラクションの特徴、オブジェクト・オブジェクトインタラクションの特徴、ゲームプレイの物理演算の特徴、レンダリング特徴、環境の外観、環境の臨場感、ゲームプレイの困難さ、パワーアップ特徴（例えば、増強特徴、特殊能力特徴）、持続時間の特徴、スコアの特徴、物語の局面の特徴、および/または任意の他の適切な特徴。
複数の実施形態において、デジタルコンテンツは、その実施形態が上述されている、ディスプレイ（すなわち、映像コンテンツ出力のための、画像コンテンツ出力のための）、音声出力要素、触覚フィードバック要素、および/または他の電子機器、のうちの1つまたは複数を有する1つまたは複数デバイスを介して提供される。上述したような変形形態では、デジタルコンテンツを、HMDやその他の出力デバイスを介して提供することができるが、他の変形形態ではデジタルコンテンツを代替の方法で提供することもできる。デジタルコンテンツを、神経信号データの収集に対応する時間窓と同時に提供することもでき、または代替として、以下のセクション2.2で説明するように、他の時間窓に関連して提供することもできる。
方法200の変形形態は、代替として、ユーザへのコンテンツの提供を省略することもでき、代わりに、ユーザへのデジタルコンテンツの直接の提供なしで、人工脳モデルを開発、精緻化、および実装することができる。例えば、第三者エンティティがユーザに直接コンテンツを提供してもよい。
2.2 方法-神経信号の局面
ユーザに接続されたBCIから神経信号データセットを受け取る210ことに関して、BCIは、上述したように、神経信号ストリームを収集し、信号の局面を、コンピューティングサブシステムによって処理するためにハードウェアプラットフォームに送信する。システムの構成要素（例えば、BCI、ハードウェアプラットフォーム、コンピューティングサブシステム）は、よって、ユーザがデジタルコンテンツとインタラクトするか、またはそれ以外にデジタルコンテンツを消費する際に、システムがBCIからの神経信号ストリームを検出することを可能にする検出アーキテクチャを含むことができる。検出アーキテクチャは、異なる脳状態に関連する異なる領域の活動状態を決定するために、ユーザの異なる脳領域に関連する異なる電極チャネルから、（例えば、スペクトル成分に関して、神経振動に関して、誘発電位に関して、イベント関連の電位に関して、活動の異なる周波数帯域に関して、活動の組み合わせに関してなどの）神経活動を決定するための動作モードを有する構造を含む。
ユーザに接続されたBCIから神経信号データセットを受け取る210ことに関して、BCIは、上述したように、神経信号ストリームを収集し、信号の局面を、コンピューティングサブシステムによって処理するためにハードウェアプラットフォームに送信する。システムの構成要素（例えば、BCI、ハードウェアプラットフォーム、コンピューティングサブシステム）は、よって、ユーザがデジタルコンテンツとインタラクトするか、またはそれ以外にデジタルコンテンツを消費する際に、システムがBCIからの神経信号ストリームを検出することを可能にする検出アーキテクチャを含むことができる。検出アーキテクチャは、異なる脳状態に関連する異なる領域の活動状態を決定するために、ユーザの異なる脳領域に関連する異なる電極チャネルから、（例えば、スペクトル成分に関して、神経振動に関して、誘発電位に関して、イベント関連の電位に関して、活動の異なる周波数帯域に関して、活動の組み合わせに関してなどの）神経活動を決定するための動作モードを有する構造を含む。
複数の実施形態において、解析される異なる脳状態には、以下のうちの1つまたは複数を含めることができる:感情状態（例えば、楽しさ、離脱、興味、退屈、ストレス、平静、幸福、怒り、悲しみ、混乱、驚きなど）、警戒状態（例えば、睡眠状態、警戒レベル）、集中の状態（例えば、集中している、注意散漫であるなど）、精神的健康状態（例えば、不安の状態、鬱状態、精神的健康条件のマニュアルで特徴付けられた状態など）、神経学的健康状態（例えば、発作、片頭痛、脳卒中、認知症など）、飲酒状態、顕在的/潜在的注意の状態、感覚刺激に対する反応の状態、空間定位の状態、認知的負荷の状態（例えば、過負荷である）、フローの状態、恍惚状態、想像の状態（例えば、運動動作、情景、音、手順などの）、記憶機能状態（例えば、有効な符号化、忘却など）、および/または任意の他の適切な脳活動状態。
システムは、デジタルコンテンツの提供に対応する時間窓と同時に神経信号データを収集および処理することができ、よって神経信号データは、ユーザがデジタルコンテンツによって提供されたデジタルコンテンツ体験とインタラクトしている際に収集される。よって、神経信号データを、ユーザへのコンテンツ提供と同時に収集することができる。神経信号データを、代替として、ユーザへのコンテンツ提供に関する適切な時間的オフセットを用いて収集することもできる。しかしながら、神経信号データを、代替として、コンテンツ提供に関連する他の時間窓に関して提供することもできる。神経信号データを、提供されたコンテンツに対するユーザの共感的反応および/または行動反応に関連する神経信号の特徴の抽出およびクラス分類のための適切な分解能を提供する任意の適切な速度で収集することができる。
2.3 方法-人工脳モデルの開発および訓練のための特徴処理およびクラス分類
図2に示されているように、コンピューティングサブシステムは、神経信号データセットおよびデジタルコンテンツ体験の特徴セットを、クラス分類演算セットで処理する220。複数の実施形態において、クラス分類演算を、外部由来のデータ/特徴（例えば、（1人または複数の）ユーザが体験したコンテンツに由来するデータ/特徴、（1人または複数の）ユーザの（1つまたは複数の）環境からの信号に由来するデータ/特徴など）に適用される第1の演算セットと、内部由来のデータ/特徴（例えば、（1人または複数の）ユーザの（1つまたは複数の）脳に由来する信号、その他のバイオメトリック信号に由来する信号）に適用される第2の演算セットとを用いて構築することができる。
図2に示されているように、コンピューティングサブシステムは、神経信号データセットおよびデジタルコンテンツ体験の特徴セットを、クラス分類演算セットで処理する220。複数の実施形態において、クラス分類演算を、外部由来のデータ/特徴（例えば、（1人または複数の）ユーザが体験したコンテンツに由来するデータ/特徴、（1人または複数の）ユーザの（1つまたは複数の）環境からの信号に由来するデータ/特徴など）に適用される第1の演算セットと、内部由来のデータ/特徴（例えば、（1人または複数の）ユーザの（1つまたは複数の）脳に由来する信号、その他のバイオメトリック信号に由来する信号）に適用される第2の演算セットとを用いて構築することができる。
変形形態では、特徴抽出方法を使用して、神経信号を、クラス分類演算で処理するための脳活動由来の特徴を抽出するように処理することができ、脳活動由来の特徴は、以下のうちの1つまたは複数から導出することができる:イベントに関連した電位データ（例えば、電圧/時間値など）、安静状態/自発的活動データ（例えば、電圧/時間値など）、異なるイベントへの反応（例えば、タイプ、タイミング、カテゴリの異なるイベントに反応して取得されたイベント関連の電位間の差など）、異なる時間尺度（例えば、1秒未満、秒、分、時間、日、月、年、1年超など）で特徴を表す多くの原子単位に（例えば、確率的に、系統的になど）細分された時間領域信号、スペクトルの局面（例えば、平均値の上および下のストライク長さ、最小値、最大値、正のピーク、負のピーク、極性または他のピークと関連付けられる時点、ピークの振幅、ピークで計算された算術的関係など）、定義された「最大・最小スペクトル」と予め計算されたテンプレートとの間の類似性尺度（例えば、コサイン類似度、様々なカーネルなど）、生の時間領域信号の様々な等価な原子単位間の類似性尺度、特徴の組み合わせに適用される類似性尺度、特徴のクラスタ化（例えば、ソフト/ファジークラスタリング、ハードクラスタリング）から導出された尺度、フィルタリングされた信号（例えば、2次パラメータに基づいて適応的にフィルタリングされた信号、各帯域における分散/自己相関を計算し、帯域にまたがる相互相関/共分散を用いて離散周波数帯域にフィルタリングされた信号）、選択行列間の距離メトリック（例えば、リーマン距離）、（例えば、リーマン幾何学を用いた）反復行列操作由来の特徴、特徴内、特徴間、および異なるユーザの全特徴セット間のエントロピー測定値、部分空間解析（例えば、信号を固定発生源と非固定発生源とに分離する固定部分空間解析）、様々なタイムセグメントの再帰定量化解析、追加の特徴（例えば、形状、エッジ、コーナ、テクスチャ）を抽出する畳み込みニューラルネットワークによって処理された再帰プロット、主成分分析から導出された特徴、独立成分分析から導出された特徴、因子分析から導出された特徴、経験的モード分解から導出された特徴、主要測地線分析から導出された特徴、（例えば、隠れマルコフモデルによって、ビタビアルゴリズムの適用によって、テンプレートとの推定パスの比較によってなど）シーケンス確率から導出された特徴、（例えば、複製に対する異なる歪みの適用ありまたはなしでの）単一チャネル複製から導出された特徴、不変特徴、可変特徴、および任意の他の適切な脳活動由来の特徴。有益な特徴およびそれらが定義する重みを、人工脳がモデル化する体験の特性ごとに、例えば、リアルタイムで、または効率的な計算が必要とされる場合に使用するための、将来のプログラムおよび手順による迅速なアクセスを可能にする方法で事前に計算される一意のテーブルに符号化することができる。
コンピューティングサブシステムはまた、ユーザに提供されたデジタルコンテンツおよび/または環境信号の特徴を抽出するための適切な特徴抽出方法を、対応する人工脳モデルを訓練するためにそのような特徴を使用する前に適用する。
変形形態では、異なるモダリティにわたる特徴のパターン間で第1のレベルで多重統計マッピングを実施して新しい特徴を生成することができ、第1のレベルから追加の特徴セットの生成への分類器出力のパターンに基づいて、上位レベルでマルチモーダル推論を行うことができる。特徴生成/抽出の各レベルで、人工脳モデルを、上述したように、1つまたは複数のネットワーク（例えば、人工ニューラルネットワーク、自然ニューラルネットワーク、および/または他のディープ・ラーニング・アーキテクチャ/学習システム）に表示する入力で訓練することができる。次いで、出力にメタヒューリスティックアルゴリズムを適用して、特定の感覚運動状態、認知状態、情動状態、または共感的なシステムがモデル化しようとしているその他の状態のより一層正確で信頼性の高いモデルを生成することができる。モデルは、任意の他の適切な方法で生成および/または精緻化することができる。
特徴を生成するために、ユーザ脳活動のうちの1つまたは複数から導出された融合データ、および他の発生源（例えば、非脳由来の発生源、補助バイオメトリック信号、補助データなど）からのデータを、各帯域での分散/自己相関の計算を用い、帯域間の相互相関および共分散、ならびに様々な距離メトリック（例えば、リーマン距離）におけるフーリエ変換係数の実数部および虚数部の包含を用いて、2次パラメータに基づいて適応的にフィルタリングし、信号を離散周波数帯域に分離することによって、非線形学習システムに対して追加的にまたは補足的に処理することができる。選択行列間のマッピングを、（例えば、リーマン幾何学を使用した）反復行列操作由来の特徴、特徴内、特徴間、および異なる時間尺度でのサンプリングを含む異なるユーザの全特徴セット間のエントロピー測定値を使用し、実際のまたは導出された、異なる場所の信号を空間的に参照して行うことができる。ユーザ間およびユーザ内の相関、ならびに、特徴セット間、および分類器の特性間の、その他の統計的に定義された関係が、協調フィルタリングおよびその他の技術を使用してアプリケーションにわたって学習されたモデルを転送するためにさらに使用され得る。
2.3.1 方法-人工脳モデルの訓練および精緻化
図2に示されているように、コンピューティングサブシステムは、クラス分類演算セットの出力およびデジタルコンテンツ体験に対するユーザの実際の反応を特徴付ける反応データセットで人工脳モデルを訓練し230、先の方法ステップで、かつ/または他の手段を介して取得されたデータは、人工脳モデルを使用して予測される反応の精度を改善するために、訓練用小部分および試験用小部分に分割される。特に、人工脳モデルは、デジタルコンテンツ体験に対する予測されるユーザの反応に関連する出力を返すためのアーキテクチャを含み、上述したように訓練される。
図2に示されているように、コンピューティングサブシステムは、クラス分類演算セットの出力およびデジタルコンテンツ体験に対するユーザの実際の反応を特徴付ける反応データセットで人工脳モデルを訓練し230、先の方法ステップで、かつ/または他の手段を介して取得されたデータは、人工脳モデルを使用して予測される反応の精度を改善するために、訓練用小部分および試験用小部分に分割される。特に、人工脳モデルは、デジタルコンテンツ体験に対する予測されるユーザの反応に関連する出力を返すためのアーキテクチャを含み、上述したように訓練される。
機械学習および人工脳モデルの訓練のコンテキストにおけるクラス分類演算に関して、コンピューティングサブシステムは、（外部由来のデータストリームと内部由来のデータストリームのどちらかまたは両方のクラス分類について）以下の手法のうちの1つまたは複数を実施することができる:教師あり学習（例えば、ロジスティック回帰を使用する、バック・プロパゲーション・ニューラル・ネットワークを使用する）、教師なし学習（例えば、先験的アルゴリズムを使用する、k平均クラスタリングを使用する）、半教師つき学習、強化学習（例えば、Q学習アルゴリズムを使用する、時間差分学習を使用する）、および任意の他の適切な学習スタイル。さらに、クラス分類および機械学習の手法は、以下のうちのいずれか1つまたは複数を実施することができる:ランダムフォレスト、多変量適応回帰スプライン、勾配ブースティングマシンなど）、ベイズ法（例えば、ナイーブベイズ、AODE（Averaged One-Dependence Estimators）、ベイジアン信念ネットワークなど）、カーネル法（例えば、サポート・ベクター・マシン、放射基底関数、線形判別分析など）、クラスタリング法（例えば、k平均クラスタリング、期待値最大化など）、関連規則学習アルゴリズム（例えば、Aprioriアルゴリズム、Eclatアルゴリズムなど）、人工ニューラルネットワークモデル（例えば、パーセプトロン法、バックプロパゲーション法、ホップフィールドネットワーク法、自己組織化写像法、学習ベクトル量子化法など）、ディープ・ラーニング・アルゴリズム（例えば、制限ボルツマンマシン、深層信念ネットワーク法、畳み込みネットワーク法、積層オートエンコーダ法など）、回帰アルゴリズム（例えば、最小二乗法、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン、局所推定スキャッタプロット平滑化（locally estimated scatterplot smoothing）など）、決定木学習法（例えば、クラス分類および回帰木、ID3（iterative dichotomiser 3）、C4.5、カイ二乗自動相互作用検出、決定株、回帰法、インスタンスベースの方法（例えば、k-最近傍、学習ベクトル量子化、自己組織化写像など）、正則化法（例えば、リッジ回帰、最小絶対収縮と選択演算子、弾性ネットなど）、次元削減法（例えば、主成分分析、部分的最小二乗回帰、ラプラシアン固有写像、isomapping、ウェーブレット閾値化、サモンマップ、多次元尺度法、射影追跡など）、アンサンブル法（例えば、ブースティング、ブートストラップ集約、エイダブースト（AdaBoost）、積み重ね一般化、勾配ブースティングマシン法、ランダムフォレスト法など）、および任意の適切な形のアルゴリズム。
さらに、メタヒューリスティックおよび/または非メタヒューリスティックの手法を、クラス分類および/または特徴ベースの訓練手法のためにコンピューティングサブシステムによって実施することもできる。変形形態において、人工脳モデルのクラス分類および開発のために適用されるメタヒューリスティックアルゴリズムには、以下のうちの1つまたは複数を含めることができる:局所探索戦略、大域探索戦略、単一ソリューションの手法、母集団ベースの手法、ハイブリダイゼーションアルゴリズムの手法、ミーメティックアルゴリズムの手法、並列メタヒューリスティック法、自然にインスパイアされたメタヒューリスティック法、および任意の他の適切な手法。一具体例では、内部および/または外部由来の信号に適用されるメタヒューリスティックアルゴリズムは、遺伝的アルゴリズム（例えば、遺伝的適応アルゴリズム）を含むことができるが、任意の他の適切な手法を使用することができる。追加的または代替的に、非メタヒューリスティックアルゴリズム（例えば、最適化アルゴリズム、反復法）を使用することもできる。
図3Aに、その出力が、未評価のコンテンツに対する予測されるユーザの反応を生成するための人工脳モデルを開発、訓練、および/またはそれ以外に精緻化するために使用される、外部由来の特徴および内部由来の特徴をクラス分類するためのアーキテクチャの一実施形態を示す。図3Aに関してより詳細には、対応するクラス分類演算を有する2つの別個のクラス分類システムの様々な結合が、ある範囲の（例えば、コンテンツ提供に関連する）予測される体験および反応（例えば、ユーザの共感的反応およびユーザの行動反応）を捕捉するように構成されている。一例では、ビデオクリップに関連する体験に対する（例えば、驚きに関する、その他の共感的反応に関する、コンテンツの知覚に関するなどの）反応を予測するための人工脳モデルを開発するために、ビデオクリップを含むデジタルコンテンツで訓練された長・短期記憶（LSTM）ネットワークを適用する外部クラス分類演算と組み合わせて、内部クラス分類演算が脳活動の時空間的特徴で訓練されたカスタム設計の人工ニューラルネットワーク（ANN）を適用する。一変形形態では、脳活動の時空間的特徴で訓練されたカスタム設計のANNを適用する内部クラス分類演算は、代替として、サスペンスに関連した体験を捕捉するために言語のマルコフモデルを適用する外部クラス分類演算と組み合わされ得る。
別の変形形態では、脳活動の時空間的特徴で訓練されたカスタム設計のANNを適用する内部クラス分類演算は、代替として、観察ベースの学習状態を捕捉するために運動実行のベイズモデルを適用する外部クラス分類演算、または非脳データをクラスタ化および差別化するための他の統計的手法と組み合わされ得る。
別の変形形態では、脳活動の時空間的特徴で訓練されたカスタム設計のANNを適用する内部クラス分類演算は、代替として、観察ベースの学習状態を捕捉するために運動実行のベイズモデルを適用する外部クラス分類演算、または非脳データをクラスタ化および差別化するための他の統計的手法と組み合わされ得る。
外部由来の入力データ（例えば、非脳の、またはバイオメトリック関連のデータ）に関連するANNおよびその他のモデルの特徴層を、内部由来の入力データと組み合わせて、利用可能な訓練データセットを増強し、特徴が、異なる信号タイプ（例えば、脳/バイオメトリック対コンテンツ/環境）の特徴であり、最終的に訓練された人工脳モデルの出力が、教師なしの方法を介して、または、以下でより詳細に説明される、様々な形式の自己報告によってラベル付けされた（例えば、実際の体験、共感的反応、および/または行動反応に関する）予測されるユーザの反応のセットである、多項モデルを訓練することができる。転移学習の手法（FEDA）およびオートエンコーダをさらに使用して、あるデータタイプからの識別情報の使用を最適化して別のデータタイプを豊富化することができる。外部由来の要因と内部由来の要因とにおける変数の共依存が、様々な統計法、k-最近傍法、ファジークラスタリング、およびその他の方法、のうちの1つまたは複数を使用して、クラス分類のためのデータをさらに増強するために計算され得る。
出力に関して、入力を処理し、予測されるユーザの共感的反応および/または予測されるユーザの行動反応に関連する出力を返すように、人工脳モデルを訓練することができる。変形形態においては、予測される共感的なユーザの反応を、以下のうちの1つまたは複数に従って分類することができる:アイデンティティ、ストレス、フロー、リラックス、喜び、悲しみ、楽しさ、不快、畏れ、勝ち誇り、興奮、愉快、満足、称賛、美的魅力、退屈、郷愁、恐怖、戦慄、興味、失望、不安、驚き、共感、自尊心、恍惚、崇拝、妬み、およびその他の共感的カテゴリ。共感出力は、（例えば、パーセンテージ、定義されたメトリック、ランク付けによるなどの）スコアをさらに有することができ、追加的もしくは代替的に、2値的に定義することもできる（例えば、この曲は悲しみを生み出した、この曲は悲しみを生み出さなかった）。人間の感情のモデルからの様々な特徴の実施形態が図4Aに示されており、図4A（上）は、円環モデル（すなわち、PADモデル）を示しており、図4A（下）は、人間の感情を滑らかな勾配による時々接続された27次元空間にマップする第2のモデルを示しており、これらを使用して人工脳モデルを開発することができる。
変形形態においては、予測される行動反応を、所望のまたは予想されるユーザによる行動と関連付けることができる。例えば、メディアに関する予測される行動反応には、以下のうちの1つまたは複数を含めることができる：ライブラリまたは再生リストへのコンテンツの追加、ライブラリまたは再生リストからコンテンツの削除、コンテンツの購入、購入の意思、コンテンツを共有する可能性、コンテンツの削除、コンテンツの保存、ウィッシュリストへのコンテンツの追加、完了前（例えば、映画を見ている途中、曲を聴いている途中）のコンテンツの停止、（例えば、ソーシャルプラットフォームを介した）他のエンティティとのコンテンツの共有、およびその他の行動反応。予測される行動反応を、閾値処理解析に基づいて決定することができ、予測される行動の可能性は、所与の神経信号特徴の値が閾値条件を超えるときに増加する。
デジタルコンテンツ・ファイルごとにグローバルに出力をさらに生成することができる。追加的または代替的に、デジタルコンテンツ・ファイル（例えば、オーディオクリップ、映画など）のセグメントごとにローカルに出力を生成することもできる。よって、予想される行動反応に関連する出力を、ムービークリップのシーンごと、または曲の部分（例えば、イントロ、バース、コーラス、間奏など）ごとに生成することができる。
よって、一例では、訓練された人工脳モデルは、入力された音楽クリップに関連する出力を返すことができ、音楽クリップの小部分ごとに、予測される共感的反応が、その可能性のパーセント表示と共に、提供される。一つの具体例では、人工脳モデルは、怒りの別離のシナリオを記述する歌詞を含む曲のコーラスは、聴取者に82％の理解、71％のストレス、57％の怒り、および0％のリラックスをもたらすという予測を返すことができる。しかしながら、この具体例の変形形態を、別の方法で構成することができる。
2.3.2 集約データの処理を用いた人口層別の解析
図2に示されているように、ユーザの集団からの神経信号データを含む集約データセットを用いて人工脳モデルを精緻化し235、それによって、人工脳モデルが、評価対象のデジタルコンテンツに関する人口層に関連する解析を出力できるようにするように、システムをさらに構成することができる。
図2に示されているように、ユーザの集団からの神経信号データを含む集約データセットを用いて人工脳モデルを精緻化し235、それによって、人工脳モデルが、評価対象のデジタルコンテンツに関する人口層に関連する解析を出力できるようにするように、システムをさらに構成することができる。
特に、ユーザの集団は、以下のうちの1つまたは複数に関連する人口層を含むことができる：性別（例えば、男性、女性、ノンバイナリー）、性的指向、民族性、国籍、年齢、配偶関係、世帯の人口統計的特徴（例えば、兄弟姉妹関係、親の特徴、ペットなど）、地理的位置（例えば、居住している場所、居住していた場所、旅行した場所など）、健康状態、個人/個人の家族の病歴、社会経済状態（例えば、収入レベル）、知能（例えば、IQで測定された）、食事面、身体活動レベル、薬物使用、アルコール摂取、肥満度指数関連の特徴、職業、達成された教育レベル、教育を受けた場所、政治的傾向、犯罪歴、性格タイプ、新しい技術を採り入れた履歴、および任意の他の適切な人口統計的特徴。
解析されるユーザの集団の特徴には、ソーシャルネットワークの局面（例えば、APIアクセスを介して、ユーザのソーシャル・ネットワーク・アカウントから抽出された）、娯楽の好み（例えば、消費された映像コンテンツのジャンルに関する、消費された映像コンテンツの長さに関する、消費された映像コンテンツのスタイルに関する、消費された音声コンテンツの長さに関する、消費された文書メディアのジャンルに関する、消費されたメディアのフォーマットに関して、好まれるゲームプレイのジャンルに関するなど）、およびその他の特徴をさらに含めることができる。
よって、コンピューティングサブシステムは、大規模かつ多様なユーザの集団からの集約データを処理して人工脳モデルの能力を精緻化および拡張することができ、（例えば、解析されているデジタルコンテンツに関連した）入力データを、人工脳モデルの「人口層別の」バリエーションで処理して、選択された人口層に関連した所望の出力を生成することができる。変形形態においては、精緻化された人工脳モデルを、特定の人口層（例えば、米国に住んでいる女性、9歳から12歳までの子供、イスラエル人、学生など）について予測される反応を出力するように適合させることができる。
あるいは、ユーザの集団からの集約データセットの処理を使用して、コンピューティングサブシステムが、評価対象デジタルコンテンツに対する特定および/または予測された反応に基づいて、新しい個人クラスタを特定および/または生成することもできる。例えば、人工脳モデルを使用して評価対象コンテンツに対する（例えば、類似性解析による）類似した反応のクラスタから、以前に特定されていない特定のユーザグループを特定することができる。一例では、例えば、肯定的な感情を伝えるオーディオクリップの一部に対して、悲しみで、反応するユーザのクラスタを用いて、新しい人口層を特定することもできる。別の関連例では、コンピューティングシステムを、そのような新しいグループの特定に基づいて（例えば、健康状態に関する、精神的健康状態に関する、未診断の健康状態に関するなどの）診断目的に構成することができる。図4Bに、ユーザの行動に対応する神経信号（左上）と体験されたデジタルコンテンツに対するユーザの反応に対応する神経信号（右上）とから決定された特徴による対象者の階層的クラスタ化を示すグラフの例を示す。図4B（下）に、「新しい」人口層を特定するために、複数の次元にわたる特徴による対象者のクラスタ化を示す。
2.3.3 実施例-覚醒度および感情価についての人工脳モデルを用いた感情反応モデル化のための特徴抽出およびクラス分類の手法
一つの例示的な実施形態において、コンピューティングサブシステムは、BCIユニットによる信号生成と協調して、ユーザが異なるデジタルコンテンツ（例えば、映像コンテンツ、音楽コンテンツなど）の持続時間60秒のセグメントを体験した際のユーザからの神経信号データを処理し、その間にBCIおよびその他のバイオメトリック監視デバイスのいくつかのセンサがそれらの生理学的状態を同時に測定した。この例では、ユーザも、デジタルコンテンツに対する反応に関連する出力で人工脳モデルを訓練するための自己報告データを提供するために主観的質問票に記入した。より詳細には、神経信号およびその他の生理学的信号を有する対のコンテンツの記録された各セグメントに、次いで、主観的質問票によって得られた、1から9の感情価および覚醒度の連続値でラベル付けした。
一つの例示的な実施形態において、コンピューティングサブシステムは、BCIユニットによる信号生成と協調して、ユーザが異なるデジタルコンテンツ（例えば、映像コンテンツ、音楽コンテンツなど）の持続時間60秒のセグメントを体験した際のユーザからの神経信号データを処理し、その間にBCIおよびその他のバイオメトリック監視デバイスのいくつかのセンサがそれらの生理学的状態を同時に測定した。この例では、ユーザも、デジタルコンテンツに対する反応に関連する出力で人工脳モデルを訓練するための自己報告データを提供するために主観的質問票に記入した。より詳細には、神経信号およびその他の生理学的信号を有する対のコンテンツの記録された各セグメントに、次いで、主観的質問票によって得られた、1から9の感情価および覚醒度の連続値でラベル付けした。
この例では、特徴抽出手順を、感情の神経基盤の先験的理解に基づくタスク関連の特徴の抽出のために特に設計した。特徴は、神経信号データの各チャネルにおける対数パワースペクトル密度を含み、コンピューティングシステムは、特徴を正規分布させるために対数変換を適用した。コンピューティングサブシステムはまた、両脳半球から取得した対応する神経信号の対間の対数パワースペクトル密度の差を含む第2の特徴タイプも実施した。この例の変形形態において、コンピューティングサブシステムは、分類器の識別力を改善するために、視線追跡データ、心拍数データ、および心拍変動データ、ならびに他の生理学的信号からの特徴も抽出した。
この例では、特徴を、デジタルコンテンツのタイプに基づいて決定された窓サイズで、ユーザごと、および1ユーザあたりのコンテンツセグメントごとに別々に計算した。映像の場合、例えば、コンピューティングサブシステムがデータセットを増強するために連続した1秒の時間窓ごとの特徴値を計算し、それによって、システムがサンプルと対応する感情価および覚醒度のラベルとの間の関係を学習するためのより多くのサンプルを作成した。クラス分類演算および訓練演算を適用する際に、コンピューティングサブシステムは、各連続した「1秒」の時間枠で分類器出力を集約することによって、感情価および覚醒度のレベルを決定した。この集約の手法により、予測の精度が著しく改善された。
この例では、新しいユーザごとにコンピューティングサブシステムによって2つのランダムフォレスト分類器を実装し、1つのランダムフォレスト分類器を感情価の検出に使用し、1つのランダムフォレスト分類器を覚醒度の検出に使用した。どちらの分類器も、入力として神経信号およびタスク別の抽出された特徴のみを処理し、出力として、ユーザが体験した感情価のレベルと、同様に、覚醒度のレベルとを示す範囲［0,1］内の値を返した。最先端の一般化および転移学習モデルを試みたが、対象者間の変動性が高いために、より良好な結果を得ることは認められなかった。
この例では、各試行における感情価および覚醒度のレベルを示す連続したラベルを、場合によっては、（［1,9］間隔の中間の）閾値5を利用した二分法のラベル［0,1］に変換した。このラベルは、負/正の感情価または低/高の覚醒度をそれぞれ示し、問題を2クラスのクラス分類問題に単純化して、ラベルの主観的性質を低減した。よって、この方法の例は、データの訓練サブセットを用いて、提供されたコンテンツに対する反応を分類することができた。
この例の変形形態において、コンピューティングサブシステムを、以下のうちの1つまたは複数を実装するように構成した：ロジスティック回帰（例えば、ラベル増強データありおよびなしの）、線形判別分析、サポート・ベクター・マシン（例えば、RBFカーネルを用いた、線形カーネルを用いた）、k-最近傍、ランダムフォレストの手法（例えば、心拍数および心拍数変動の特徴を含む）、および予測される感情価および覚醒度の反応を生成する様々な伝達関数。
2.4 方法-人工脳モデルの出力および適用
図2に示されているように、人工脳モデルを十分に訓練して精緻化すれば、コンピューティングサブシステムは、入力（例えば、デジタルコンテンツに関連する入力、他の「要求」）を処理して、未評価のデジタルコンテンツ体験に対する予測されるユーザの反応に関連する共感出力および行動出力のセットを返す240。ターゲットユーザの予測される共感的反応および/または行動反応に関して上述したように出力を返すことができる。図3Bに、図3Aに関して上述したように訓練された人工脳モデルの実装の一実施形態を示す。人工脳モデルが訓練されると、ビデオ、番組、音楽、買い物体験、テキスト、ゲーム、およびその他のコンテンツの特徴に関連する要素を含む入力ベクトルを、人工脳モデルに直接供給することができ、人工脳モデルは次いで、コンテンツの特徴を処理し、1人または複数のユーザ（例えば、ターゲットユーザ）の反応および感情を模倣するクラス分類を出力する。このようにして、共感的コンピューティングシステムを、オンデマンドツールとして使用して、人間ユーザにより良く役立つようコンテンツを調節することができるとともに、開発テストツールとして使用して、コンテンツを評価し、大規模なフォーカスグループおよび様々なグループに対する異なるコンテンツの他のスクリーニングなどを模倣することもできる。図3Cに、図3Aに関して上述したように訓練された人工脳モデルを使用した、コンテンツデータのリアルタイム解析の一実施形態を示す。図3Cによれば、人工脳は、リアルタイムで、コンテンツデータを解析し、内部クラス分類に事前の重みを与えて、コンテキストが解析を通知できるようにするためにも使用され得る。脳状態のクラス分類に対する学習された経験的モデルの寄与により、人工脳モデルの解析能力におけるより高い分解能が得られる。
図2に示されているように、人工脳モデルを十分に訓練して精緻化すれば、コンピューティングサブシステムは、入力（例えば、デジタルコンテンツに関連する入力、他の「要求」）を処理して、未評価のデジタルコンテンツ体験に対する予測されるユーザの反応に関連する共感出力および行動出力のセットを返す240。ターゲットユーザの予測される共感的反応および/または行動反応に関して上述したように出力を返すことができる。図3Bに、図3Aに関して上述したように訓練された人工脳モデルの実装の一実施形態を示す。人工脳モデルが訓練されると、ビデオ、番組、音楽、買い物体験、テキスト、ゲーム、およびその他のコンテンツの特徴に関連する要素を含む入力ベクトルを、人工脳モデルに直接供給することができ、人工脳モデルは次いで、コンテンツの特徴を処理し、1人または複数のユーザ（例えば、ターゲットユーザ）の反応および感情を模倣するクラス分類を出力する。このようにして、共感的コンピューティングシステムを、オンデマンドツールとして使用して、人間ユーザにより良く役立つようコンテンツを調節することができるとともに、開発テストツールとして使用して、コンテンツを評価し、大規模なフォーカスグループおよび様々なグループに対する異なるコンテンツの他のスクリーニングなどを模倣することもできる。図3Cに、図3Aに関して上述したように訓練された人工脳モデルを使用した、コンテンツデータのリアルタイム解析の一実施形態を示す。図3Cによれば、人工脳は、リアルタイムで、コンテンツデータを解析し、内部クラス分類に事前の重みを与えて、コンテキストが解析を通知できるようにするためにも使用され得る。脳状態のクラス分類に対する学習された経験的モデルの寄与により、人工脳モデルの解析能力におけるより高い分解能が得られる。
2.4.1 音楽および映像コンテンツの人工脳モデル処理に対応する例示的な出力
人工脳モデルの例示的な実装形態において、選択した曲目を人工脳モデルで処理し、曲目の一部が他の現代のリリース曲と比較してよりリラックスをもたらすと予測した。特に、1つの曲を、聴取者に最も多くの幸福をもたらすと予測した（続いて検証した）。その他の出力は以下を含んでいた：試験されたあらゆる年齢層で男性が女性よりも1つの曲を楽しむと予測され、男性はその曲の後半よりもその曲の前半でより幸福を感じると予測された。サーファは、ある曲を、試験された残りの人口層よりも退屈ではないと感じると予測された。ヨガの聴取者は、3曲のうちの2曲に対して相反する感情を抱くと予測された。
人工脳モデルの例示的な実装形態において、選択した曲目を人工脳モデルで処理し、曲目の一部が他の現代のリリース曲と比較してよりリラックスをもたらすと予測した。特に、1つの曲を、聴取者に最も多くの幸福をもたらすと予測した（続いて検証した）。その他の出力は以下を含んでいた：試験されたあらゆる年齢層で男性が女性よりも1つの曲を楽しむと予測され、男性はその曲の後半よりもその曲の前半でより幸福を感じると予測された。サーファは、ある曲を、試験された残りの人口層よりも退屈ではないと感じると予測された。ヨガの聴取者は、3曲のうちの2曲に対して相反する感情を抱くと予測された。
加えて、人工脳モデル出力は、予想される曲の成功を判断するために、予測される共感的反応および/または行動反応に関連した複数のメトリックの組み合わせに基づいて「ヒット」スコアを予測した。「ヒット」スコア予測の精度を試験する際に、コンピューティングシステムは、（例えば、ランキングに関する、ダウンロード数に関する、購入数に関する、再生リストへの追加数に関する、反復聴取イベント数に関するなどの）音楽ストリーミングおよび購入プラットフォームからのデータを用いて、「ヒット」スコア予測間の相関を生成した。
図5に、人工脳モデルの例示的な出力を、ユーザによる提供されたコンテンツの消費に対する自己報告反応と相関させる一連のチャートを示す。より詳細には、人工脳モデルは、音楽クリップの特徴に関連する入力ベクトルを受け取り、予測される楽しさ、退屈、リラックス、幸福、および行動（例えば、その音楽の再生リストへの追加に関する）に関連する出力を生成し、コンピューティングサブシステムは、人工脳モデルの出力を、評価されているユーザによる自己報告反応と相関させ、それによって予測の精度を示した。よって、人工脳モデルは、コンテンツを体験した後のユーザの反省的考察に加えて、ユーザがコンテンツを体験した際のユーザのリアルタイムの体験に関する解析を返すことができた。特に、自己報告反応は、反省的フィードバックを提供することができたにすぎない。
図5Aに関連した適用例において、図5Bは、上述した操作によってユーザの反応の予測を生成するモデル出力の例を示しており、ここでは、様々な人口層（例えば、ポップファン、性別、サーファ、年齢、ヨガイスト、場所など）についての反応予測が生成されている。
図6に、様々な人口層（例えば、男性、女性、アメリカ人、イスラエル人、その他の国籍など）についての、評価対象曲全体を通した各セグメントにわたる共感的反応（例えば、リラックス、不安、楽しさ、退屈など）および他の反応に関連する出力メトリックの例を示す。人工脳モデルを、共感出力のカテゴリ（例えば、退屈の予測）ごとにピークイベント（例えば、2:32時点における退屈のピーク、0:20時点における楽しさのピークなど）の表示を返すような構成とした。また人工脳モデルを、コンテンツ（例えば、曲）にわたる、（1つまたは複数の共感的反応カテゴリにおける）感情曲線の表示を返し、異なる評価曲間の感情曲線の特性間の比較を生成するようにも構成した。関連した例では、感情曲線の局面を、成功の尺度と相関させ、上述したような曲の技術的特徴（例えば、メロディーの特徴、ビートの特徴、歌詞の特徴などにマップした。よって、人工脳モデルを使用して、曲の感情曲線の特性に関して、コンテンツの成功と相関させた特徴の解析を提供した。そのような出力を、他のメディアフォーマット（例えば、映像コンテンツ、テキストコンテンツ、ゲームコンテンツ、買い物体験など）に適合させることができる。さらに、これらの方法の変形形態は、予測または他の決定された出力における信頼性の尺度を提供するために、エラーバーまたは誤差範囲を有する出力を生成することができる。
図7に、ビデオゲーム体験の様々なゲームプレイ要因に関する共感的反応（例えば、リラックス、不安、楽しさ、退屈、関与、困難など）に出力が関連する、人工脳モデルによって生成された出力メトリックを示す。
ブロック・パッキング・ゲームに関して、ビデオゲーム・コンテンツの入力特徴は、ラウンド時間、ブロック移動の数（例えば、シフト、回転）、移動の速度、速度上昇イベントの数、速度上昇イベントの時間、設定時間、勝利イベントの数、回復困難性、およびスコア、のうちの1つまたは複数を含んでいた。ブロック・ブレーキング・ゲームに関して、ビデオゲーム・コンテンツの入力特徴は、ラウンド時間、パドル移動の数、パドル移動の速度、パドル位置、ボール位置、パドルヒットの数、ブロックヒットの数、およびスコア、のうちの1つまたは複数を含んでいた。他のゲームのゲームプレイの特徴には、他のゲーム要素、レベル困難性の局面、キャラクタスキン、環境スキン、および上述した他の特徴を含めることができる。
図8に、（神経信号データのみの評価に基づいて）デジタルコンテンツの消費されている部分の出力予測を生成するために、入力神経信号データを処理するために使用される人工脳モデルの出力に対応するグラフの例を示す。
図8に関連する出力を生成する際に、コンピューティングサブシステムが、ユーザの脳活動（例えば、脳記録データエポック）に由来する入力神経信号を相互相関解析と共に使用して、ユーザがどんな映像コンテンツを視聴していたかを脳活動データのみから予測した。より詳細には、コンピューティングサブシステムは、（上述したような）データ処理および特徴抽出演算を実施して、ユーザが何を消費していたか（例えば、キスシーン、旅行するカップルのシーン、パラシュート降下シーン、嫌悪の表情を含むシーン、怒りの電話のシーン、暴力シーン、出産シーン、家族のシーンなど）の予測を捕捉する出力に関するクラス分類の精度を改善した。図8は、予測された視聴コンテンツと、ユーザによって視聴されていた実際のコンテンツとの間の高い相関を示すプロットの例を示しており、予測精度は、脳データ・エポック・サイズ、特徴の構成（例えば、神経信号データの）、解析されている成分の数、信号フィルタリング演算、窓サイズ、およびストライドの影響を受けた。この例の変形形態を、神経信号データのみの解析に基づく、消費されている他のタイプのメディアおよび/またはユーザの他の体験（例えば、ユーザが自分の日常生活を行っている際の実生活体験）の予測に適合させることができる。産業規模では実用的ではないより複雑で費用のかかる画像法（例えば、MRI）を別とすれば、そのような出力を通常ほぼリアルタイムで生成することはできない。
図8に関連する出力を生成する際に、コンピューティングサブシステムが、ユーザの脳活動（例えば、脳記録データエポック）に由来する入力神経信号を相互相関解析と共に使用して、ユーザがどんな映像コンテンツを視聴していたかを脳活動データのみから予測した。より詳細には、コンピューティングサブシステムは、（上述したような）データ処理および特徴抽出演算を実施して、ユーザが何を消費していたか（例えば、キスシーン、旅行するカップルのシーン、パラシュート降下シーン、嫌悪の表情を含むシーン、怒りの電話のシーン、暴力シーン、出産シーン、家族のシーンなど）の予測を捕捉する出力に関するクラス分類の精度を改善した。図8は、予測された視聴コンテンツと、ユーザによって視聴されていた実際のコンテンツとの間の高い相関を示すプロットの例を示しており、予測精度は、脳データ・エポック・サイズ、特徴の構成（例えば、神経信号データの）、解析されている成分の数、信号フィルタリング演算、窓サイズ、およびストライドの影響を受けた。この例の変形形態を、神経信号データのみの解析に基づく、消費されている他のタイプのメディアおよび/またはユーザの他の体験（例えば、ユーザが自分の日常生活を行っている際の実生活体験）の予測に適合させることができる。産業規模では実用的ではないより複雑で費用のかかる画像法（例えば、MRI）を別とすれば、そのような出力を通常ほぼリアルタイムで生成することはできない。
2.5 方法-人工脳モデルのターゲット設定および生成的適用出力
図2に示されているように、コンピューティングサブシステムは、人工脳モデルのオプションを処理し、共感出力および行動出力のセットに応答してアクションを実行する250。よって、人工脳モデルの出力を、新しい入力として、現実世界における改善を生み出すための機械および他のシステムに使用することができる。
図2に示されているように、コンピューティングサブシステムは、人工脳モデルのオプションを処理し、共感出力および行動出力のセットに応答してアクションを実行する250。よって、人工脳モデルの出力を、新しい入力として、現実世界における改善を生み出すための機械および他のシステムに使用することができる。
複数の実施形態において、人工脳モデルの出力に応答して実行されるアクションには、以下のうちの1つまたは複数を含めることができる:戦略的な方法での母集団のサブセットに対する評価されるコンテンツのターゲットを絞ったマーケティング、改善を伴う、デジタルコンテンツの調節または生成に関連するアクション、接続されたデバイスの動作の制御に関連するアクション、および任意の他の適切な（1つまたは複数の）アクション。
2.5.1 戦略的コンテンツのターゲット設定
変形形態においては、戦略的な方法での母集団のサブセットに対する評価されるコンテンツのターゲットを絞ったマーケティングは、あるデジタルコンテンツ（例えば、曲、映画、テレビ番組、ビデオゲーム、本、記事、消耗品、購入品など）に対する特定の人口層からのより肯定的な反応を示す出力に基づいて、その特定の人口層にそのデジタルコンテンツを（例えば、ソーシャルネットワークを介して、ターゲットを絞った広告プラットフォームを介して、大量メール送信を介してなど）自動的に宣伝すること、を含むことができる。よって、この方法は、アクションを実行することを含むことができ、このアクションは、ターゲット設定アクションを含み、ターゲット設定アクションは、未評価のデジタルコンテンツ体験から導出されたデジタルコンテンツを、未評価のデジタルコンテンツに対して肯定的に反応すると予測されるユーザ部分集団に自動的に配布することを含む。変形形態において、ユーザ部分集団は、未評価のデジタルコンテンツに対して肯定的に反応すると予測される、年齢層、性別層、国籍層、および地理的位置層、のうちの少なくとも1つに属する。一例では、特定の年齢層が評価対象コンテンツに肯定的に反応することを示す出力を生成したことに応答して、地理的位置にかかわらず、コンピューティングサブシステムは、評価対象コンテンツを、以前はターゲットとされていなかった地理的位置にわたって対象年齢層に広く配布することができる。別の例では、特定の地理的位置からの人口層がコンテンツに対してあまり肯定的ではない反応をしたことを示す出力を生成したことに応答して、コンピューティングサブシステムは、（例えば、ターゲットを絞った広告を介してなど）そのコンテンツでの特定の地理的位置のターゲット設定を回避する計画を自動的に生成することができる。この例を、楽団のためのツアーの自動計画に適用することができ、これによりその楽団は、あまり受容的ではないエリアで労力を無駄にせず、価値を最大化する。よって、人工脳モデルは、デジタルコンテンツの特徴を効率的かつ迅速に処理し、戦略的なターゲット設定努力を導くようにコンテンツに対する反応を予測することができる。別の例では、コンピューティングサブシステムは、様々な人口層にとってより魅力のあるコンテンツキューを設計するために、人工脳モデルの出力を、加入契約ベースのコンテンツ提供サービス（例えば、視聴、聴取、購読されるべきデジタルコンテンツの提供など）の選択アルゴリズムに適用することができる。別の方法で人工脳出力に基づいてコンテンツの戦略的ターゲット設定を行うために、出力を使用することもできる。
変形形態においては、戦略的な方法での母集団のサブセットに対する評価されるコンテンツのターゲットを絞ったマーケティングは、あるデジタルコンテンツ（例えば、曲、映画、テレビ番組、ビデオゲーム、本、記事、消耗品、購入品など）に対する特定の人口層からのより肯定的な反応を示す出力に基づいて、その特定の人口層にそのデジタルコンテンツを（例えば、ソーシャルネットワークを介して、ターゲットを絞った広告プラットフォームを介して、大量メール送信を介してなど）自動的に宣伝すること、を含むことができる。よって、この方法は、アクションを実行することを含むことができ、このアクションは、ターゲット設定アクションを含み、ターゲット設定アクションは、未評価のデジタルコンテンツ体験から導出されたデジタルコンテンツを、未評価のデジタルコンテンツに対して肯定的に反応すると予測されるユーザ部分集団に自動的に配布することを含む。変形形態において、ユーザ部分集団は、未評価のデジタルコンテンツに対して肯定的に反応すると予測される、年齢層、性別層、国籍層、および地理的位置層、のうちの少なくとも1つに属する。一例では、特定の年齢層が評価対象コンテンツに肯定的に反応することを示す出力を生成したことに応答して、地理的位置にかかわらず、コンピューティングサブシステムは、評価対象コンテンツを、以前はターゲットとされていなかった地理的位置にわたって対象年齢層に広く配布することができる。別の例では、特定の地理的位置からの人口層がコンテンツに対してあまり肯定的ではない反応をしたことを示す出力を生成したことに応答して、コンピューティングサブシステムは、（例えば、ターゲットを絞った広告を介してなど）そのコンテンツでの特定の地理的位置のターゲット設定を回避する計画を自動的に生成することができる。この例を、楽団のためのツアーの自動計画に適用することができ、これによりその楽団は、あまり受容的ではないエリアで労力を無駄にせず、価値を最大化する。よって、人工脳モデルは、デジタルコンテンツの特徴を効率的かつ迅速に処理し、戦略的なターゲット設定努力を導くようにコンテンツに対する反応を予測することができる。別の例では、コンピューティングサブシステムは、様々な人口層にとってより魅力のあるコンテンツキューを設計するために、人工脳モデルの出力を、加入契約ベースのコンテンツ提供サービス（例えば、視聴、聴取、購読されるべきデジタルコンテンツの提供など）の選択アルゴリズムに適用することができる。別の方法で人工脳出力に基づいてコンテンツの戦略的ターゲット設定を行うために、出力を使用することもできる。
2.5.2 コンテンツの調節および生成
変形形態において、コンピューティングサブシステムは、追加的または代替的に、デジタルコンテンツの調節または生成に関連するアクションを行うために人工脳モデルの出力を適用することもできる。特に、コンピューティングサブシステムは、人工脳モデルの出力に関連する（例えば、否定的な反応に関する、感情曲線の局面に関するなどの）所望のまたは望ましくない応答パターンを適用して、（例えば、デジタルコンテンツの部分の切断に関する、デジタルコンテンツの部分の追加に関する、デジタルコンテンツの再生レートに影響を与えることに関する、デジタルコンテンツの速度に影響を与えることに関する、デジタルコンテンツの部分の強度を調整することに関する、修正ありまたはなしでコンテンツの反復を生成することに関するなどの）コンテンツに対するブール演算を行うことができる。評価されている任意のフォーマット（例えば、映像、音声、ゲーム、テキスト、触覚など）のコンテンツにブール演算を適用することができる。さらに、ブール演算を、自動的に適用することもでき、または代替として、（半自律的方法もしくは手動で）適用すべき別のエンティティもしくはコンピューティングサブシステムのための命令の生成を伴って適用することもできる。
変形形態において、コンピューティングサブシステムは、追加的または代替的に、デジタルコンテンツの調節または生成に関連するアクションを行うために人工脳モデルの出力を適用することもできる。特に、コンピューティングサブシステムは、人工脳モデルの出力に関連する（例えば、否定的な反応に関する、感情曲線の局面に関するなどの）所望のまたは望ましくない応答パターンを適用して、（例えば、デジタルコンテンツの部分の切断に関する、デジタルコンテンツの部分の追加に関する、デジタルコンテンツの再生レートに影響を与えることに関する、デジタルコンテンツの速度に影響を与えることに関する、デジタルコンテンツの部分の強度を調整することに関する、修正ありまたはなしでコンテンツの反復を生成することに関するなどの）コンテンツに対するブール演算を行うことができる。評価されている任意のフォーマット（例えば、映像、音声、ゲーム、テキスト、触覚など）のコンテンツにブール演算を適用することができる。さらに、ブール演算を、自動的に適用することもでき、または代替として、（半自律的方法もしくは手動で）適用すべき別のエンティティもしくはコンピューティングサブシステムのための命令の生成を伴って適用することもできる。
一例では、映画に望ましくない不安な共感的反応を生み出したシーンがあることを示す出力を使用して、新しいファイルにおいてムービークリップのそのような部分を自動的に切り捨てまたは削除することができる。別の例では、曲が時点2:12と時点2:31との間で予期しない肯定的反応を生み出すことを示す出力を使用して、その曲の別の部分で時点2:12と時点2:31との間に存在する曲ファイルの技術的特徴を複製することができる。別の例では、デジタルコンテンツ体験の特定の点でのコンテンツとの関与が減少することを示す出力を使用して、離脱の可能性を低減するために、「離脱期間」の前の楽しさに関連する特徴の影響を増大させることができる。
別の例では、ビデオゲームのキャラクタの動きの特徴または速度が退屈をもたらすことを示す出力を使用して、改善されたゲームプレイの局面を生成するために、キャラクタの外観特徴を調整し、動きの速度を増やすことができる。別の例では、ユーザの共感的反応を捕捉するリアルタイムまたはほぼリアルタイム出力を使用して、（例えば、ゲームの特徴とユーザの環境内の周囲状況の両方において、音声、照明、およびその他の出力を制御する接続されたデバイスを介して）ライブのゲーム適応を提供し、それによって、没入型の深く関与する体験を作り出すことができる。よって、各例において、ゲームプレイおよび環境の特徴を、大量リリース前に広範なユーザの集団の予測される反応に関して試験することができる。
別の例では、仮想アシスタントの音声特徴の特性が煩わしいことを示す出力を使用して、（例えば、抑揚に関する、言語系統樹に関する、発話速度に関するなどの）音声特徴を、より煩わしくない仮想アシスタントを生成するように調節することができる。追加的または代替的に、別の例では、仮想アシスタントからの支援のタイミングが（例えば、ユーザの反応に関して）関与の低下の原因となっていることを示す出力を使用して、支援のタイミングを、より高い関与をもたらすように調整することができる。生成アクションを、追加的または代替的に、別の方法で様々なフォーマットのコンテンツに適用することもできる。別の例では、コンピューティングサブシステムは、（例えば、架空の要素に関する、劇的な要素に関する、キャラクタ開発に関する、その他の局面に関する）ストーリー展開の特徴を調節するための提案を生成するために、関与を改善するために、小説を処理するために使用される人工脳モデルの出力を適用することができる。
生成アクションに関して、方法は、追加的または代替的に、調節または生成によってコンテンツが改善されたかどうかを判断するために、人工脳モデルを用いた、調節または生成されたコンテンツの再評価を含むこともできる。
追加的または代替的に、生成アクションに関して、方法は、選択された人口層にわたる、（例えば、異なるムービークリップ/予告編について、異なる曲について、異なるゲームプレイ特徴についてのなどの）異なるデジタルコンテンツ・ファイルにわたって評価されている特徴のA/B試験バージョンを含むこともできる。
2.5.3 他のシステムの動作の調整
変形形態において、コンピューティングサブシステムは、追加的または代替的に、接続されたデバイスまたは他のプラットフォームの動作を制御することに関連するアクションを行うために人工脳モデルの出力を適用することもできる。例えば、ユーザに接続されたBCIユニットを組み込んだシステムの変形形態は、神経信号を処理し、共感的反応の解析に基づいて、ユーザが行いたいアクションを決定することができる。例えば、ユーザがオンラインショッピングに対して肯定的な反応を有し、あるアイテムを購入したがっていることを示す出力を使用して、買い物体験で捕捉されたそのアイテムを自動的に購入するための命令を生成することができる。変形形態において、アクションは、追加的または代替的に、アイテムのショッピングカートへの追加、アイテムのショッピングカートからの削除、アイテムのウィッシュリストへの追加など、のうちの1つまたは複数を含むこともできる。
変形形態において、コンピューティングサブシステムは、追加的または代替的に、接続されたデバイスまたは他のプラットフォームの動作を制御することに関連するアクションを行うために人工脳モデルの出力を適用することもできる。例えば、ユーザに接続されたBCIユニットを組み込んだシステムの変形形態は、神経信号を処理し、共感的反応の解析に基づいて、ユーザが行いたいアクションを決定することができる。例えば、ユーザがオンラインショッピングに対して肯定的な反応を有し、あるアイテムを購入したがっていることを示す出力を使用して、買い物体験で捕捉されたそのアイテムを自動的に購入するための命令を生成することができる。変形形態において、アクションは、追加的または代替的に、アイテムのショッピングカートへの追加、アイテムのショッピングカートからの削除、アイテムのウィッシュリストへの追加など、のうちの1つまたは複数を含むこともできる。
別の例では、ユーザの共感的反応および行動反応を捕捉する出力を使用して、ユーザの認知状態を改善するために、ユーザの環境内の接続されたデバイスの制御命令を生成することができる。そのような接続されたデバイスには、音声出力デバイス、照明出力デバイス、仮想現実装置、熱制御装置、接続された電気器具（例えば、コーヒーメーカ、オーブンなど）、および他のデバイス、のうちの1つまたは複数を含むことができる。
別の例では、コンピューティングサブシステムは、ユーザの行動を検証および開始させるために、神経信号解析を通じて決定されたユーザの意図する行動の解析を、共感的反応モデルの出力と組み合わせることができる。よって、コンピューティングサブシステムは、コンピューティングサブシステムがユーザの意図する行動であると判断した行動の開始後に続くユーザの脳の感情反応に基づいて、コンピューティングサブシステムが誤りを犯したかどうかを確認するためのチェックを行うことができる。
3. 結論
記載のシステムおよび方法は、利益および/または技術的改善を提供することができ、そのうちのいくつかを以下に記載する。
記載のシステムおよび方法は、利益および/または技術的改善を提供することができ、そのうちのいくつかを以下に記載する。
これらのシステムおよび方法は、ブレイン・コンピュータ・インターフェースからの信号を受け取ると、ユーザの脳活動状態を迅速にデコーディングし、デジタルコンテンツを評価するための人工脳モデルを動的に生成することができる。特に、システムは、所望の方法で人口層にデジタルコンテンツを提供するために使用できる方法でユーザ状態を迅速にデコーディングするためのアーキテクチャを含む。よって、これらのシステムおよび方法は、機能的に制限されたデバイスを介したコンテンツ送付の改善に関連、予測的コンピューティングプラットフォーム、デジタルコンテンツ、仮想現実、拡張現実の生成のためのデバイス、および/またはブレイン・コンピュータ・インターフェース・デバイスの機能を改善することができる。
これらのシステムおよび方法はさらに、合理化された処理パイプラインを使用して大量のデータ（例えば神経信号データ）を効率的に処理および送付することができる。そのような動作により、データの計算性能を、これまで達成されたことがなく、人間には決して効率的に行うことができないやり方で改善することができる。そのような動作により、デジタルコンテンツをユーザに送付するためのシステムの機能をさらに改善することができ、仮想システムの性能の向上により、仮想システムのユーザに改善された機能およびアプリケーションの特徴が提供される。
さらに、これらのシステムおよび方法は、これまで達成されたことがないやり方で、現実世界の用途で、新規の訓練データ、人工脳モデルを生成する。
各実施形態の以上の説明は例示のために提示されており、網羅的であることも、本特許権を開示と寸分たがわぬ形態に限定することも意図されていない。当業者であれば、上記の開示に鑑みて多くの改変および変形が可能であることが理解できよう。
この説明のいくつかの部分では、各実施形態を情報に対する演算のアルゴリズムおよび記号表現として説明している。これらのアルゴリズムの記述および表現は、データ処理技術の当業者によって、その作業の内容を他の当業者に効果的に伝えるために一般に使用される。これらの演算は、機能的、計算的、または論理的に記載されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実装されると理解されたい。さらに、一般性を失うことなく、これらの演算の配置をモジュールと呼ぶことが好都合な場合もある。記載の演算およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせとして具体化され得る。
本明細書に記載される工程、演算、またはプロセスのいずれも、単独の、または他のデバイスと組み合わされた、1つまたは複数のハードウェアまたはソフトウェアモジュールを用いて実施または実装され得る。一実施形態では、ソフトウェアモジュールが、記載の工程、演算、またはプロセスのいずれかまたは全部を行うためにコンピュータプロセッサが実行することのできるコンピュータ・プログラム・コードを含むコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。コンピュータは、仮想環境でのユーザのために設計された専用コンピュータとすることができる。
各実施形態はまた、本明細書の演算を実施するための装置にも関し得る。この装置は、必要な目的のために特に構築されていてもよく、かつ/またはコンピュータに格納されたコンピュータプログラムによって選択的に作動もしくは再構成される汎用コンピューティングデバイスを含んでいてもよい。そのようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、またはコンピュータ・システム・バスに接続され得る、電子命令を格納するのに適した任意のタイプのメディアに格納され得る。
さらに、本明細書で言及されている任意のコンピューティングシステムは、単一のプロセッサを含んでいてもよく、またはより高い計算能力を得るための複数プロセッサ設計を用いたアーキテクチャであってもよい。
さらに、本明細書で言及されている任意のコンピューティングシステムは、単一のプロセッサを含んでいてもよく、またはより高い計算能力を得るための複数プロセッサ設計を用いたアーキテクチャであってもよい。
各実施形態はまた、本明細書に記載の計算プロセスによって生成される製品にも関し得る。そのような製品は、計算プロセスの結果として得られる情報を含むことができ、情報は、非一時的な有形のコンピュータ可読記憶媒体に格納され、コンピュータプログラム製品または本明細書に記載の他のデータの組み合わせの任意の実施形態を含み得る。
最後に、本明細書で使用されている文言は、主として、読みやすさおよび教示のために選択されており、本特許権を明確化または限定するために選択されたものではない場合もある。したがって、本特許権の範囲はこの詳細な説明によってではなく、本明細書に基づく出願に関して発行される特許請求の範囲によって限定されることが意図されている。したがって、各実施形態の開示は、添付の特許請求の範囲に記載される本特許権の範囲を例示するためのものであり、限定するためのものではない。
Claims (20)
- 人工脳の精緻化および実装のための方法であって、
ユーザにデジタルコンテンツ体験を提供する工程;
前記ユーザが前記デジタルコンテンツ体験とインタラクトする際に、前記ユーザに接続されたブレイン・コンピュータ・インターフェースから神経信号データセットを受け取る工程;
前記神経信号データセットおよび前記デジタルコンテンツ体験の特徴セットを、クラス分類演算セットで処理する工程;
前記クラス分類演算セットの出力と、前記デジタルコンテンツ体験に対する前記ユーザの実際の反応を特徴付ける反応データセットとを用いて、人工脳モデルを訓練する工程であって、前記人工脳モデルが、デジタルコンテンツ体験に対する予測されるユーザの反応に関連する出力を返すためのアーキテクチャを含む、工程;
ユーザの集団からの神経信号データを含む集約データセットを用いて、前記人工脳モデルを精緻化する工程;
前記人工脳モデルを用いて未評価のデジタルコンテンツ体験を処理し次第、前記未評価のデジタルコンテンツ体験に対する予測されるユーザの反応に関連する共感出力および行動出力のセットを返す工程;ならびに
前記共感出力および行動出力のセットに応答してアクションを実行する工程
を含む、方法。 - 前記デジタルコンテンツ体験が、デジタルコンテンツ・ファイルによって提供される、音声聴取体験、映像視聴体験、画像閲覧体験、テキスト読み取り体験、買い物体験、およびビデオゲームプレイ体験、のうちの1つまたは複数を含む、請求項1記載の方法。
- 前記クラス分類演算セットが、前記デジタルコンテンツ体験の前記特徴セットと環境由来の信号とを含む外部由来の特徴に適用される第1の演算サブセット、ならびに前記神経信号データセットとバイオメトリック特徴とに適用される第2の演算サブセットを含む、請求項1記載の方法。
- 特徴の神経信号データが、イベント関連の電位、時空間的局面、スペクトルの局面、および特徴行列にわたる距離特徴、のうちの少なくとも1つから導出される、請求項1記載の方法。
- 前記共感出力および行動出力のセットが、前記未評価のデジタルコンテンツ体験のターゲットオーディエンスによって体験される、退屈、喜び、フロー、怒り、ストレス、悲しみ、およびリラックス、のうちの1つまたは複数を特徴付ける共感出力を含む、請求項1記載の方法。
- 前記共感出力および行動出力のセットが、前記未評価のデジタルコンテンツ体験のターゲットオーディエンスによる、ライブラリまたは再生リストの少なくとも1つへのコンテンツの追加、前記ライブラリまたは前記再生リストの少なくとも1つからのコンテンツの削除、コンテンツ再生の停止、および購入アクション、のうちの1つまたは複数を特徴付ける行動出力を含む、請求項1記載の方法。
- 前記ユーザの集団が、年齢層、性別層、国籍層、および地理的位置層、のうちの少なくとも1つを含む層のセットのユーザを含み、前記人工脳モデルが、前記層のセットのうちの選択された層についての前記共感出力および行動出力のセットを返すように構成されている、請求項1記載の方法。
- 前記アクションが、前記未評価のデジタルコンテンツ体験に関連するデジタルコンテンツ・ファイルに適用される生成アクションを含み、前記生成アクションが、前記デジタルコンテンツ・ファイルに適用されるブール演算を含む、請求項1記載の方法。
- 前記アクションがターゲット設定アクションを含み、前記ターゲット設定アクションが、前記未評価のデジタルコンテンツ体験から導出されたデジタルコンテンツを、未評価のデジタルコンテンツに対して肯定的に反応すると予測されるユーザ部分集団に自動的に配布することを含む、請求項1記載の方法。
- 人工脳の実装のための方法であって、
未評価のデジタルコンテンツ体験の特徴セットを受け取る工程;
人工脳モデルを用いて前記特徴セットを処理する工程であって、前記人工脳モデルが、ユーザの集団からの神経信号データに適用されるクラス分類演算セットの出力、デジタルコンテンツ体験の特徴、およびデジタルコンテンツ体験に対するユーザの実際の反応を特徴付ける反応データセットを用いて訓練される、工程;
前記人工脳モデルを用いて前記特徴セットを処理し次第、前記未評価のデジタルコンテンツ体験に対する予測されるユーザの反応に関連する共感出力および行動出力のセットを返す工程;ならびに
前記共感出力および行動出力のセットに応答してアクションを実行する工程
を含む、方法。 - 前記未評価のデジタルコンテンツ体験が、デジタルコンテンツ・ファイルによって提供される、音声聴取体験、映像視聴体験、画像閲覧体験、テキスト読み取り体験、買い物体験、およびビデオゲームプレイ体験、のうちの1つまたは複数を含み、前記特徴セットが、ユーザにおいて感情反応を生み出すように構成されている主題の特徴を含む、請求項10記載の方法。
- 前記人工脳モデルの訓練が、ランダムフォレスト演算、長・短期記憶演算、人工ニューラルネットワーク演算、およびメタヒューリスティック演算、のうちの少なくとも1つを実施することを含む、請求項10記載の方法。
- 前記共感出力および行動出力のセットが、前記未評価のデジタルコンテンツ体験のターゲットオーディエンスによって体験される、退屈、喜び、フロー、怒り、ストレス、悲しみ、およびリラックス、のうちの1つまたは複数を特徴付ける共感出力を含む、請求項10記載の方法。
- 前記共感出力および行動出力のセットが、前記未評価のデジタルコンテンツ体験のターゲットオーディエンスによる、ライブラリまたは再生リストの少なくとも1つへのコンテンツの追加、前記ライブラリまたは前記再生リストの少なくとも1つからのコンテンツの削除、コンテンツ再生の停止、および購入アクション、のうちの1つまたは複数を特徴付ける行動出力を含む、請求項1記載の方法。
- 前記アクションが、前記未評価のデジタルコンテンツ体験に関連するデジタルコンテンツ・ファイルに適用される生成アクションを含み、前記生成アクションが、前記共感出力および行動出力のセットに基づいて、前記デジタルコンテンツの、否定的な反応を生み出すと予測される部分に適用される切り捨てアクションを含む、請求項10記載の方法。
- 前記アクションがターゲット設定アクションを含み、前記ターゲット設定アクションが、前記未評価のデジタルコンテンツ体験から導出されたデジタルコンテンツを、未評価のデジタルコンテンツに対して肯定的に反応すると予測されるユーザ部分集団に自動的に配布することを含み、前記ユーザ部分集団が、前記未評価のデジタルコンテンツに対して肯定的に反応すると予測される、年齢層、性別層、国籍層、および地理的位置層、のうちの少なくとも1つに属する、請求項1記載の方法。
- 人工脳を精緻化するための方法であって、
ユーザにデジタルコンテンツ体験を提供する工程;
前記ユーザが前記デジタルコンテンツ体験とインタラクトする際に、前記ユーザに接続されたブレイン・コンピュータ・インターフェースから神経信号データセットを受け取る工程;
前記神経信号データセットおよび前記デジタルコンテンツ体験の特徴セットを、クラス分類演算セットで処理する工程;
前記クラス分類演算セットの出力と、前記デジタルコンテンツ体験に対する前記ユーザの実際の反応を特徴付ける反応データセットとを用いて、人工脳モデルを訓練する工程であって、前記人工脳モデルが、デジタルコンテンツ体験に対する予測されるユーザの反応に関連する出力を返すためのアーキテクチャを含む、工程;ならびに
ユーザの集団からの神経信号データを含む集約データセットを用いて、前記人工脳モデルを精緻化する工程
を含む、方法。 - 前記神経信号データセットが、前記人工脳モデルの訓練のための時空間的脳活動特徴セットを含み、前記デジタルコンテンツ体験の前記特徴セットが、感情反応を生み出すように構成されている特徴を含む、請求項17記載の方法。
- 共感出力および行動出力のセットが、前記デジタルコンテンツ体験のターゲットオーディエンスによって体験される、退屈、喜び、フロー、怒り、ストレス、悲しみ、およびリラックス、のうちの1つまたは複数を特徴付ける共感出力を含み、前記共感出力が、前記デジタルコンテンツ体験の持続時間にわたるセグメントごとに提供される、請求項17記載の方法。
- 前記ユーザの集団が、年齢層、性別層、国籍層、および地理的位置層、のうちの少なくとも1つを含む層のセットのユーザを含み、前記人工脳モデルが、前記層のセットのうちの選択された層についての共感出力および行動出力のセットを返すように構成されている、請求項17記載の方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862750255P | 2018-10-25 | 2018-10-25 | |
| US62/750,255 | 2018-10-25 | ||
| US201962871435P | 2019-07-08 | 2019-07-08 | |
| US62/871,435 | 2019-07-08 | ||
| PCT/US2019/058057 WO2020086959A1 (en) | 2018-10-25 | 2019-10-25 | Empathic computing system and methods for improved human interactions with digital content experiences |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022505836A true JP2022505836A (ja) | 2022-01-14 |
Family
ID=70331677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021522511A Pending JP2022505836A (ja) | 2018-10-25 | 2019-10-25 | デジタルコンテンツ体験との改善されたヒューマンインタラクションのための共感的コンピューティングシステムおよび方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210390366A1 (ja) |
| EP (1) | EP3870038A4 (ja) |
| JP (1) | JP2022505836A (ja) |
| IL (1) | IL282483A (ja) |
| WO (1) | WO2020086959A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210224637A1 (en) * | 2020-01-20 | 2021-07-22 | Angel Raphael Rodriguez | Neurometric authentication system |
| CN112560830B (zh) * | 2021-02-26 | 2021-05-25 | 中国科学院自动化研究所 | 多模态维度情感识别方法 |
| US20220293241A1 (en) * | 2021-03-12 | 2022-09-15 | Facebook Technologies, Llc | Systems and methods for signaling cognitive-state transitions |
| US20230326092A1 (en) * | 2022-04-06 | 2023-10-12 | D6 Vr, Llc | Real-time visualization of head mounted display user reactions |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7094965B2 (en) * | 2001-01-17 | 2006-08-22 | Yamaha Corporation | Waveform data analysis method and apparatus suitable for waveform expansion/compression control |
| KR20140033312A (ko) * | 2010-10-21 | 2014-03-18 | 홀리브레인 비브이비에이 | 인간 경험과 구매 행동의 신경심리학적 모델링을 위한 방법 및 장치 |
| TWI467520B (zh) * | 2010-11-10 | 2015-01-01 | Univ Nat Chiao Tung | 建構個人化神經刺激模型之系統及方法 |
| EP2972662A4 (en) * | 2013-03-15 | 2017-03-01 | Intel Corporation | Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals |
| US10321842B2 (en) * | 2014-04-22 | 2019-06-18 | Interaxon Inc. | System and method for associating music with brain-state data |
| US10449359B2 (en) * | 2015-01-24 | 2019-10-22 | The Trustees Of The University Of Pennsylvania | Method and apparatus for improving cognitive performance |
| EP3481294B1 (en) * | 2016-07-11 | 2021-03-10 | Arctop Ltd | Method and system for providing a brain computer interface |
-
2019
- 2019-10-25 EP EP19875553.0A patent/EP3870038A4/en active Pending
- 2019-10-25 WO PCT/US2019/058057 patent/WO2020086959A1/en unknown
- 2019-10-25 JP JP2021522511A patent/JP2022505836A/ja active Pending
- 2019-10-25 US US17/285,082 patent/US20210390366A1/en active Pending
-
2021
- 2021-04-20 IL IL282483A patent/IL282483A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020086959A1 (en) | 2020-04-30 |
| US20210390366A1 (en) | 2021-12-16 |
| EP3870038A1 (en) | 2021-09-01 |
| EP3870038A4 (en) | 2022-11-02 |
| WO2020086959A9 (en) | 2020-12-03 |
| IL282483A (en) | 2021-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10573313B2 (en) | Audio analysis learning with video data | |
| US9582769B2 (en) | Estimating affective response to a token instance utilizing a window from which the token instance was removed | |
| US10401860B2 (en) | Image analysis for two-sided data hub | |
| US20190102706A1 (en) | Affective response based recommendations | |
| US10779761B2 (en) | Sporadic collection of affect data within a vehicle | |
| US9183509B2 (en) | Database of affective response and attention levels | |
| US20200342979A1 (en) | Distributed analysis for cognitive state metrics | |
| US11700420B2 (en) | Media manipulation using cognitive state metric analysis | |
| JP2022505836A (ja) | デジタルコンテンツ体験との改善されたヒューマンインタラクションのための共感的コンピューティングシステムおよび方法 | |
| US11430561B2 (en) | Remote computing analysis for cognitive state data metrics | |
| US20220101146A1 (en) | Neural network training with bias mitigation | |
| US20200143286A1 (en) | Affective Response-based User Authentication | |
| US20210125065A1 (en) | Deep learning in situ retraining | |
| US11657288B2 (en) | Convolutional computing using multilayered analysis engine | |
| Verma | Multimodal Affective Computing: Affective Information Representation, Modelling, and Analysis | |
| Hamieh | Leveraging Anomaly Detection for Affective Computing Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221018 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20230724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230928 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240327 |