CN113164126A - 利用脑特征活动图谱数据库来表征内容的装置和方法 - Google Patents

利用脑特征活动图谱数据库来表征内容的装置和方法 Download PDF

Info

Publication number
CN113164126A
CN113164126A CN201980078597.2A CN201980078597A CN113164126A CN 113164126 A CN113164126 A CN 113164126A CN 201980078597 A CN201980078597 A CN 201980078597A CN 113164126 A CN113164126 A CN 113164126A
Authority
CN
China
Prior art keywords
brain
activity
stimulus
content
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980078597.2A
Other languages
English (en)
Inventor
亚尼夫·阿萨夫
阿萨夫·霍洛维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brayne Weaver Ltd
Original Assignee
Brayne Weaver Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brayne Weaver Ltd filed Critical Brayne Weaver Ltd
Publication of CN113164126A publication Critical patent/CN113164126A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4472—Mathematical theories or simulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4806—Functional imaging of brain activation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Neurosurgery (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)

Abstract

一种计算机实现的方法，该方法包括：向生物体提供刺激，测量生物体响应于刺激的脑活动，并产生表征脑活动的脑特征活动图谱。针对不同的刺激重复提供、测量和产生的操作，以形成脑特征活动图谱数据库。接收到新的刺激。将新的刺激特征映射到投射的脑活动图谱。将投射的脑活动图谱与脑特征活动图谱数据库进行比较，以识别投射的脑活动图谱和脑特征活动图谱数据库中的条目之间的相似性和差异性，从而标明匹配。基于匹配表征新的刺激。

Description

利用脑特征活动图谱数据库来表征内容的装置和方法
相关申请的交叉引用
本申请要求于2018年12月4日提交的序列号为62/775,018的美国临时专利申请的优先权，该美国临时专利申请的内容通过引用并入本文。
发明领域
本发明总体上涉及自动评估内容以确定认知分类。更具体地，本发明涉及利用脑特征活动图谱数据库(brain feature activity map database)来表征内容的技术。
发明背景
机器学习和深度学习是人工智能领域的分支，它们基于计算系统可以从数据中进行学习的构思。人脑一直是这些方法的灵感来源，尤其是对于计算系统的学习过程。人脑及其底层生物神经网络具有一种有效的方式来处理少量数据，以迅速获得认知分类。
个人发布不良内容(objectionable content)(例如暴力内容、色情内容、辱骂性内容或攻击性内容)会损害用户社交媒体体验。社交媒体提供商努力移除此类内容，但现有技术是手动的，且因此既慢又麻烦。因此，需要自动评估内容以确定认知分类(例如，不良的与非不良的、虚假的与真实的、愉快的与不愉快的，等等)。
发明概述
一种计算机实现的方法，该方法包括向生物体提供刺激，测量生物体响应于刺激的脑活动，并产生表征脑活动的脑特征活动图谱。针对不同的刺激重复提供、测量和产生的操作，以形成脑特征活动图谱数据库。接收新的刺激。将新的刺激特征映射到投射的脑活动图谱(brain activity map)。将投射的脑活动图谱与脑特征活动图谱数据库进行比较，以识别投射的脑活动图谱和脑特征活动图谱数据库中的条目之间的相似性和差异性，从而标明(designate)匹配。基于匹配来表征新的刺激，以建立认知分类。
附图简述
结合以下结合附图的详细描述，更充分地理解本发明，其中：
图1示出了根据本发明的实施例配置的系统。
图2示出了根据本发明的实施例构建脑特征活动图谱数据库的处理操作。
图3示出了利用脑特征活动图谱数据库来表征内容的处理操作。
在附图的几个视图中，相似的附图标记指的是相对应的部分。
发明详述
图1示出了系统100，其中客户端设备102通过网络106与服务器104通信，网络106可以是有线网络和无线网络的任意组合。脑活动测量装置107，诸如磁共振成像(MRI)装置，也连接到网络106。如下文详细讨论的，脑活动测量装置107用于针对提供给诸如人类的生物体的不同刺激生成脑特征活动图谱。通过将来自脑的响应于给定刺激的可测量的脑信号投射到脑的解剖图谱(anatomical atlas)(例如，Brodmann图谱、AAL图谱等)来生成脑特征活动图谱。在这个过程中，给定的刺激被分解成一组预定义的特征，其中每个特征与脑活动之间的相关性是通过相似性分析来测试的。然后，使用脑特征活动图谱来生成脑特征活动图谱数据库，该脑特征活动图谱数据库被用于根据新的刺激的内容对该新的刺激进行分类(例如，暴力的、色情的、攻击性的、辱骂性的、积极的、消极的、中性的等)，并且该脑特征活动图谱数据库被用于关于新的刺激的不良或非不良性质的决策过程。因此，该系统提供了对新的内容进行分类和表征的自动化技术。
可以将新的内容从客户端设备102提交给服务器104。新的内容可以是图像、视频、音频或感觉内容(sensory content)。客户端设备102可以是计算机、平板电脑、智能手机等。客户端设备102包括经由总线114连接到输入/输出设备112的中央处理单元110。输入/输入设备112可以包括键盘、鼠标、触摸屏等。网络接口电路116也连接到总线114，以提供到网络106的连接。存储器120也连接到总线114。存储器120存储可用于与服务器104交互的客户端应用122。客户端设备102和服务器104可以是在没有用户输入的情况下自动运行的基于云的资源。
服务器104包括中央处理单元130、输入/输出设备132、总线134和网络接口电路136。存储器140连接到总线134。存储器140存储由处理器130执行以实现本文公开的操作的指令。存储器140存储脑特征活动图谱生成器142，该脑特征活动图谱生成器142包括产生脑特征活动图谱的指令，该脑特征活动图谱表征响应于呈现给生物体的刺激的脑活动。使用不同的刺激和不同的受试者(subject)来收集脑特征活动图谱，以形成脑特征活动图谱数据库144。存储器140还存储新的刺激处理器146。服务器104接收诸如来自客户端设备102的新的刺激，并将新的刺激的特征映射到投射的脑活动图谱。投射的脑活动图谱是对新的刺激的脑响应的估计。所述估计是通过以下操作进行的：提取新的刺激的预定义特征，(通过相似性分析)从脑特征活动图谱中找到最接近的特征组的匹配，以及通过结合所有特征的相关脑特征活动来计算对新的刺激的脑响应。
在创建投射的脑活动图谱的过程中，还估计了脑特征活动图谱的标记。新的刺激标签(label)的生成是由一组预测器进行的。该一组预测器预测每个特征与来自脑特征活动图谱数据库144的相对应的脑响应的标记之间的相似性和差异性。基于匹配或标明的匹配的组合来表征新的刺激。
图2示出了构建脑特征活动图谱数据库144的处理操作。起初，选择生物体200。典型地，生物体是人类，但是根据本发明的实施例可以使用其他生命形式。生物体连接到脑活动测量装置107。然后，刺激被提供给新的生物体202。测量新的生物体响应于刺激的脑活动204。典型地，该测量是图像形式的，然后如下详细描述的，将其转换成脑特征活动图谱。然后，可以将同一生物体暴露于新的刺激(210-是)，在这种情况下，再次执行操作202-206。如果不向受试者呈现新的刺激(210-否)，则确定是否要测试另一生物体208。如果是(208-是)，则重复操作200-210。因此，该过程潜在地构建关于多个生物体针对多个刺激的多个脑特征活动图谱。当没有其他生物体要被评估时(208-否)，则脑特征活动图谱被加载到脑特征活动数据库212中。然后，如下文详细描述的，脑特征活动图谱可以与标签相关联214。
一旦脑特征活动图谱数据库144被构建，它就可以被用于表征新的刺激。特别地，新的刺激处理器146可以用于从客户端机器102接收新的刺激。可替代地，新的刺激处理器146可以在客户端机器102上实现。图3示出了接收新的刺激300的初始操作。将新的刺激特征映射到投射的脑活动图谱302。该操作与图2的产生脑特征活动图谱206的操作一致。将投射的脑活动图谱与脑活动图谱数据库144进行比较以找到匹配304。基于匹配来表征新的刺激306。换句话说，与匹配相关联的标签与新的刺激相关联。
脑特征活动图谱利用一种变换，该变换使用功能编码方法将非特定图像特征与脑活动的模式相关联，或将非特定系列的视频帧与脑活动的一系列模式相关联。通过以下项中的一项或更多项来执行测量：解剖磁共振成像(MRI)、扩散MRI(dMRI)、功能MRI(fMRI)、脑电图(EEG)、脑磁图(MEG)、红外成像、紫外成像、计算机断层扫描(CT)、脑图谱绘制超声(Brain Mapping Ultrasound)、体内细胞数据、体内分子数据、基因组数据和光学成像。脑活动包括在预定义的脑区域中的脑信号(诸如，来自fMRI的bold信号、来自EEG的ERP信号等)。
脑特征活动模型集成了解剖学、连通性(connectivity)和活动分析。分析该方法中的活动信号以提取刺激特征相关的区域脑响应。使用相同区域之间的连通性矩阵来去相关脑活动响应，以增加特征之间的可变性。
在一个实施例中，评估来自脑活动测量装置107的图像，以确定在预定义的脑区域中的脑信号(诸如，来自fMRI的BOLD信号、来自EEG的ERP信号等)的活动可以如何(参见下一节定义)解释所选择的认知层。例如，脑活动记录分析可以是fMRI的BOLD信号可以如何解释图像中面部的存在。这种方法(类似于加兰特实验室利用fMRI进行编码-解码的发表内容)可以提供不同认知层的全脑整体表示。然后，认知层乘以连通性关联矩阵，以形成特征特定的脑关联矩阵，称为脑连接组(Brain Connectome)。
脑连接组的计算可以是功能性的(静息态fMRI)、结构性的(基于扩散的纤维追踪)、或这两者的结合，并且可以由组织的各种微观结构估计结果(例如，流线(streamline)数量、轴突直径分布等)来加权。
每个刺激经历分解成特征和特征集。这些特征可以表示倒易空间(reciprocalspace)中的图像内容，诸如图像特征的傅立叶变换。整套与事件相关的测量结果经历通过建模(诸如一般线性模型或其他方法)进行的分析，以表示区域特征特定的脑活动。
在逆向工程方法中，使用脑特征活动图谱数据库，新的刺激被解构到其特征空间中，以及然后(通过GLM或示例)被建模以创建图像特定的脑响应区域代码。这种模拟或建模提供了区域脑响应，就好像图像的感知是通过脑活动测量装置测量的一样。
在一个实施例中，收集脑中不同网络和子网络的灰质结构、白质结构和动态功能。灰质数据被转换成标准化的区域灰质指数(“脑区域”)。所分析的白质数据被转换成加权的神经元连接(“脑连接组”)。脑功能和生理数据通过脑区域进行增强，以及然后根据脑连接组进行加权，从而创建附加的脑活动加权图谱。脑活动图谱根据其刺激特定的活动来标记每个脑区域(“活动标签(Activity Label)”)。活动标签是一个连续的数字指数，该数字指数表示每个脑区域内的脑活动的强度，同时考虑脑区域之间的相互作用(即，根据连接组进行加权)。
根据脑灰质解剖数据(例如，解剖磁共振成像(MRI)、扩散张量成像(DTI)以及灰质的其它体内成像技术)计算脑区域，并在分割的脑图谱上进行平均。脑连接组是根据脑白质解剖数据(例如，解剖磁共振成像(MRI)、扩散张量成像(DTI)、红外成像以及脑的白质的其它体内成像技术)来计算的。白质指数基于脑组织的微观结构估计(例如，平均扩散率、分数各向异性、径向扩散率、轴突密度、轴突直径、轴突传导速度等)，并用于表征脑连接组的微观结构水平。通过这些特征，脑连接组的表征创建了一个矩阵，该矩阵包含脑区域之间的生物权重。例如，连接两个脑区域的大量轴突(脑组织的微观结构特征)展示了网络中这两个中枢之间的高度连通性(即，轴突数量越多，连接越强)。使用神经成像技术来揭示白质的微观结构特性产生了揭示脑网络的潜在连通性的脑连接组。
活动标签是根据脑功能和生理成像(例如，扩散张量成像(DTI)、功能MIR(fMRI)、脑电图(EEG)以及脑的其他生理和功能体内成像技术)来计算的，以识别每个脑区域的刺激特定的活动。活动标签是在进行脑功能和生理成像的同时将刺激引入生物体时被创建的。在这个阶段期间，生物体需要在感知刺激时完成标记任务。刺激可以是能够被生物体感觉(例如，视觉、听觉、触觉、气味和味觉)感知的任何数据。呈现刺激的过程包括根据其性质传递刺激的装置，例如，分别用于视觉、听觉、触觉、气味和味觉刺激的屏幕、扬声器、触觉刺激器、气味释放装置和味觉传递装置。传递刺激的装置配备或集成有软件以将刺激传递给脑功能和生理成像装置。这个软件还负责记录给定刺激的时间和顺序。一旦脑多模型成像完成，并且记录了脑特征活动数据，生物体就经历标记阶段。在这个阶段中，刺激被再次引入到生物体，因此生物体可以标记刺激。一旦完成，脑特征活动图谱及其进行标记的原始数据就利用变换进行分析，该变换使用功能编码方法将刺激特征与脑活动的模式或模式序列相关联。如上所述，脑功能和生理数据通过脑区域进行增强，且然后根据脑连接组进行加权，以创建活动标签。为了提高活动标签的特异性，通过将脑活动图谱乘以脑连接组矩阵来对脑活动图谱进行加权。
所有上述多模型脑成像技术都是用于形成活体脑的结构和功能的复杂表示的组件。多模态的组合产生了多层连通性矩阵。用至少两种不同的方法测量脑区域、脑连接组和活动标签的组合。
刺激内容可以表示硬分类(例如，特定对象、声音、触觉、气味等)或软分类(主观的、个体特定的分类)，诸如情感内容、语境(context)、效价(valence)或唤醒(arousal)。该模型使用所分析的神经成像数据，通过建模(诸如，一般线性模型或其他与特定分类相关的方法)来提供一组区域脑响应。本发明的实施例涉及根据视频文件或图像序列估计的脑特征活动图谱的序列。视频被分割成帧的序列，且每一帧被分解到其特征空间，以创建投射的脑活动图谱。然后，组成按次序的脑活动图谱来表示脑响应的动态(例如，创建视频特定的脑响应序列，就好像视频的感知是通过连续的脑活动测量装置来测量的一样)。在创建投射的脑活动图谱的过程期间，给出了标记的按次序的脑活动图谱。刺激和标签被加在一起，以形成按次序的脑特征活动图谱数据库144。一旦被创建，新的图像序列或视频文件就可以基于按次序的脑活动图谱数据库的匹配或标明的匹配的组合来被表征。
本发明的实施例涉及内容污染分数(content contamination score)(CCS)。CCS是通过计算活动标签的累积强度来估计不同内容类型的暴露水平的可测量的指数。当新的刺激出现时，它转换成活动标签的投射的脑活动图谱，并根据其内容进行标记。CCS是一种通过存储每个内容类别的每个刺激的每个活动标签来跟踪有害内容的估计暴露水平及其潜在影响的方法。举例来说，给定的暴力内容刺激集的高CCS评分可能对潜在观看者的健康(wellbeing)产生高负面影响。后者可能会将刺激集标记为“工作不安全(not safe forwork)”(NSFW)，或者将观看者标记为处于影响区(IZ)。以同样的方式，给定的暴力内容刺激集的低CCS评分可以表示对潜在观看者的健康的低负面影响。后者可能会将刺激集标记为“工作安全(safe for work)”(SFW)，或者将观看者标记为处于安全区(SZ)。
本发明的实施例涉及用于对脑特征活动图谱和数据库进行建模的丰富的学习阶段(“丰富的学习模型”)。在丰富的学习模型期间，新的刺激被解构到其特征空间中，以创建投射的脑活动图谱(即，创建图像特定的脑响应，就好像图像的感知是通过脑活动测量装置来测量的一样)。在创建投射的脑活动图谱期间，给出(而不是估计)对脑特征活动图谱的标记。刺激标签被添加到现有的脑特征活动图谱数据库144，以创建丰富的脑特征活动图谱数据库。在丰富学习阶段之后，可以基于匹配或标明的匹配的组合来表征新的未标记的刺激。
本发明的实施例涉及一种计算机存储产品，该计算机存储产品具有计算机可读存储介质，该计算机可读存储介质具有在其上用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是为本发明的目的而专门设计和构造的，或者它们可以是计算机软件领域的技术人员所熟知和可获得的类型。计算机可读介质的示例包括但不限于：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD-ROM、DVD和全息器件；磁光介质；以及专门被配置用于存储和执行程序代码的硬件设备，例如专用集成电路(“ASIC”)、可编程逻辑器件(“PLD”)以及ROM和RAM设备。计算机代码的示例包括机器代码，诸如由编译器产生的代码，以及包含由计算机使用解释器执行的高级代码的文件。例如，可以使用
Figure BDA0003089089540000081
C++或其他面向对象的编程语言和开发工具来实现本发明的实施例。本发明的另一实施例可以在代替机器可执行软件指令或与机器可执行软件指令相结合的硬连线电路中实现。
本发明的实施例涉及可以模拟脑特征活动图谱的过程的硬件电路。硬件由可以同时运行至少200个电路的多核硬件组成。每个电路都通过数字突触矩阵与装置中的所有其他电路物理连接，但两个电路之间的通信将根据生物体的脑连接组进行。一旦刺激被呈现给硬件装置，计算机处理器介质就执行各种计算机实现的操作来分解给定刺激的特征。然后，这些特征被变换到另一个计算机可读存储介质中，该另一计算机可读存储介质上具有用于跨不同的硬件电路执行脑特征活动操作的计算机代码。
出于解释的目的，前面的描述使用了特定的术语来提供对本发明的全面理解。然而，对于本领域的技术人员明显的是，具体的细节并不是实施本发明所必需的。因此，本发明的特定实施例的前述描述是出于说明和描述的目的而被呈现的。它们并非旨在是详尽的或将本发明限制于所公开的准确形式；显然，鉴于以上教导，许多修改和变型都是可能的。选择和描述实施例是为了最好地解释本发明的原理及其实际应用，从而使本领域中的技术人员能够以适合于所设想的特定用途的各种修改最好地利用本发明和各种实现方式。所附权利要求及其等同物旨在限定本发明的范围。

Claims (17)

1.一种计算机实现的方法，包括：
向生物体提供刺激；
测量所述生物体响应于所述刺激的脑活动；
产生表征所述脑活动的脑特征活动图谱；
针对多个刺激，重复提供、测量和产生的操作，以形成脑特征活动图谱数据库；
接收新的刺激；
将所述新的刺激特征映射到投射的脑活动图谱；
将所述投射的脑活动图谱与所述脑特征活动图谱数据库进行比较，以识别在所述投射的脑活动图谱与所述脑特征活动图谱数据库中的条目之间的相似性和差异性，以标明匹配；以及
基于所述匹配表征所述新的刺激。
2.根据权利要求1所述的方法，其中，所述脑特征活动图谱包括脑连通性矩阵。
3.根据权利要求2所述的方法，其中，所述脑连通性矩阵包括基于脑组织的微观结构估计的连通性矩阵权重，以形成脑连接组。
4.根据权利要求1所述的方法，其中，所述脑特征活动图谱基于与连通性关联矩阵相结合的认知层。
5.根据权利要求1所述的方法，还包括将标签应用于所述脑特征活动图谱，其中，所述标签表征所述生物体对所述刺激的解剖响应。
6.根据权利要求1所述的方法，其中，通过以下项中的一项或更多项来执行测量：解剖磁共振成像(MRI)、扩散张量成像(DTI)、功能MRI(fMRI)、脑电图(EEG)、脑磁图(MEG)、红外成像、紫外成像、计算机断层扫描(CT)、脑图谱绘制超声、体内细胞数据、体内分子数据、基因组数据和光学成像。
7.根据权利要求1所述的方法，还包括形成与所述脑活动图谱相对应的硬件电路，其中，所述硬件电路具有与用户响应于所述刺激的所述脑活动相对应的有源元件。
8.根据权利要求1所述的方法，还包括：
向多个生物体提供刺激；
测量所述多个生物体响应于所述刺激的脑活动；
产生表征所述脑活动的脑特征活动图谱。
9.根据权利要求1所述的方法，还包括：
向现有的脑特征活动图谱提供多个标记的刺激，其中，每个标签表征所述生物体对所述刺激的解剖响应；以及
从所述多个标记的刺激产生表征所述脑活动的新的脑特征活动图谱。
10.根据权利要求9所述的方法，其中，所述多个标记的刺激包括被投射到新的脑特征活动图谱的序列的帧、图像、声音、触觉信号或气味的序列。
11.根据权利要求1所述的方法，其中，所述脑特征活动图谱数据库具有带有内容标签的脑特征活动图谱条目。
12.根据权利要求11所述的方法，其中，所述内容标签包括不良内容标签和非不良内容标签。
13.根据权利要求12所述的方法，其中，所述不良内容标签基于暴力刺激、色情刺激、辱骂性刺激或攻击性刺激。
14.根据权利要求1所述的方法，还包括基于所述脑特征活动图谱数据库生成内容指南。
15.根据权利要求11所述的方法，其中，所述内容标签用于决策过程。
16.根据权利要求11所述的方法，其中，所述脑特征活动图谱和所述内容标签用于计算内容污染分数。
17.根据权利要求16所述的方法，其中，所述内容污染分数是表征内容对观看者健康的影响的内容强度的度量。
CN201980078597.2A 2018-12-04 2019-12-03 利用脑特征活动图谱数据库来表征内容的装置和方法 Pending CN113164126A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862775018P 2018-12-04 2018-12-04
US62/775,018 2018-12-04
US16/667,198 US20200170524A1 (en) 2018-12-04 2019-10-29 Apparatus and method for utilizing a brain feature activity map database to characterize content
US16/667,198 2019-10-29
PCT/IB2019/060414 WO2020115664A1 (en) 2018-12-04 2019-12-03 Apparatus and method for utilizing a brain feature activity map database to characterize content

Publications (1)

Publication Number Publication Date
CN113164126A true CN113164126A (zh) 2021-07-23

Family

ID=70848962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980078597.2A Pending CN113164126A (zh) 2018-12-04 2019-12-03 利用脑特征活动图谱数据库来表征内容的装置和方法

Country Status (9)

Country Link
US (1) US20200170524A1 (zh)
EP (1) EP3890604A4 (zh)
JP (1) JP7382082B2 (zh)
KR (1) KR20210108376A (zh)
CN (1) CN113164126A (zh)
AU (1) AU2019391425B2 (zh)
CA (1) CA3121304A1 (zh)
IL (1) IL283489B2 (zh)
WO (1) WO2020115664A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312971A (zh) * 2023-05-15 2023-06-23 之江实验室 认知训练素材生成方法、认知训练方法、装置和介质
CN117172294A (zh) * 2023-11-02 2023-12-05 烟台大学 一种稀疏脑网络的构建方法、系统、设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037296B1 (en) * 2020-08-07 2021-06-15 Omniscient Neurotechnology Pty Limited Deriving target data from selected brain data
KR102478278B1 (ko) * 2020-10-20 2022-12-16 서울대학교산학협력단 뇌의 기능적 활성도에 기반한 뇌 지도 결정 장치 및 방법
WO2022120023A1 (en) * 2020-12-02 2022-06-09 The Texas A&M University System Systems and methods for characterizing brain activity
CN116709988A (zh) * 2021-01-14 2023-09-05 布雷恩维沃有限公司 使用一般内容脑反应模型对特定于学科的内容进行分类
KR102564252B1 (ko) * 2021-02-24 2023-08-04 서울대학교산학협력단 뇌신경의 활성화를 유도하기 위해 복수의 전극쌍을 이용하여 뇌자극을 제공하는 방법 및 침습적 다중 영역 뇌자극 장치
US20240161457A1 (en) * 2021-04-02 2024-05-16 The Regents Of The University Of California System for determining trademark similarity
WO2023056317A1 (en) * 2021-09-28 2023-04-06 Dandelion Science Corp. Systems and methods for generating spatiotemporal sensory codes

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030004429A1 (en) * 1999-11-16 2003-01-02 Price Gregory Walter Interactive-modified interactive event related potential (IMIERP)
JP2004194924A (ja) * 2002-12-18 2004-07-15 Japan Science & Technology Agency 脳機能計測方法及び装置
US20080004660A1 (en) * 2006-06-28 2008-01-03 Medtrode Inc. Systems and methods for improving a cognitive function
US20100069777A1 (en) * 2004-10-20 2010-03-18 Marks Donald H Brain function decoding process and system
CN103778240A (zh) * 2014-02-10 2014-05-07 中国人民解放军信息工程大学 基于功能磁共振成像和图像字典稀疏分解的图像检索方法
US20150012111A1 (en) * 2013-07-03 2015-01-08 University Of Houston Methods for closed-loop neural-machine interface systems for the control of wearable exoskeletons and prosthetic devices
US20160103487A1 (en) * 2013-03-15 2016-04-14 Glen J. Anderson Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals
CN106061373A (zh) * 2011-01-28 2016-10-26 巴伊兰大学 用于非侵入性地监测个体的生物学或生物化学参数的方法和系统
CN106691378A (zh) * 2016-12-16 2017-05-24 深圳市唯特视科技有限公司 一种基于脑电图数据的深度学习视觉分类方法
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控系统
CN107530012A (zh) * 2015-02-16 2018-01-02 内森·英特拉托 用于脑活动解析的系统与方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080097235A1 (en) * 2006-08-25 2008-04-24 Technion Research & Development Foundation, Ltd Subjective significance evaluation tool, brain activity based
US20190159712A1 (en) * 2009-03-30 2019-05-30 Donald H. Marks Brain function decoding process and system
WO2014059234A1 (en) * 2012-10-11 2014-04-17 The Research Foundation Of The City University Of New York Predicting response to stimulus
WO2014169060A1 (en) 2013-04-09 2014-10-16 Wager Tor Fmri-based neurologic signature of physical pain
JP6593838B2 (ja) * 2014-11-12 2019-10-23 国立研究開発法人理化学研究所 閾値推定装置、閾値推定方法、ならびに、プログラム
US10342475B2 (en) * 2014-11-12 2019-07-09 Riken Threshold estimation apparatus, threshold estimation method, and non-transitory computer-readable information recording medium
US10517791B2 (en) * 2015-05-27 2019-12-31 Purdue Research Foundation High-resolution, selective and self-optimizing haptic and electrotactile display and methods of use

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030004429A1 (en) * 1999-11-16 2003-01-02 Price Gregory Walter Interactive-modified interactive event related potential (IMIERP)
JP2004194924A (ja) * 2002-12-18 2004-07-15 Japan Science & Technology Agency 脳機能計測方法及び装置
US20100069777A1 (en) * 2004-10-20 2010-03-18 Marks Donald H Brain function decoding process and system
US20080004660A1 (en) * 2006-06-28 2008-01-03 Medtrode Inc. Systems and methods for improving a cognitive function
CN106061373A (zh) * 2011-01-28 2016-10-26 巴伊兰大学 用于非侵入性地监测个体的生物学或生物化学参数的方法和系统
US20160103487A1 (en) * 2013-03-15 2016-04-14 Glen J. Anderson Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals
US20150012111A1 (en) * 2013-07-03 2015-01-08 University Of Houston Methods for closed-loop neural-machine interface systems for the control of wearable exoskeletons and prosthetic devices
CN103778240A (zh) * 2014-02-10 2014-05-07 中国人民解放军信息工程大学 基于功能磁共振成像和图像字典稀疏分解的图像检索方法
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控系统
CN107530012A (zh) * 2015-02-16 2018-01-02 内森·英特拉托 用于脑活动解析的系统与方法
CN106691378A (zh) * 2016-12-16 2017-05-24 深圳市唯特视科技有限公司 一种基于脑电图数据的深度学习视觉分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNWEI HAN: "Learning Computational Models of Video Memorability from fMRI Brain Imaging", 《IEEE TRANSACTIONS ON CYBERNETICS》, pages 1 - 12 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312971A (zh) * 2023-05-15 2023-06-23 之江实验室 认知训练素材生成方法、认知训练方法、装置和介质
CN116312971B (zh) * 2023-05-15 2023-08-29 之江实验室 认知训练素材生成方法、认知训练方法、装置和介质
CN117172294A (zh) * 2023-11-02 2023-12-05 烟台大学 一种稀疏脑网络的构建方法、系统、设备和存储介质
CN117172294B (zh) * 2023-11-02 2024-01-26 烟台大学 一种稀疏脑网络的构建方法、系统、设备和存储介质

Also Published As

Publication number Publication date
JP7382082B2 (ja) 2023-11-16
JP2022510244A (ja) 2022-01-26
AU2019391425B2 (en) 2022-03-03
WO2020115664A1 (en) 2020-06-11
AU2019391425A1 (en) 2021-06-17
IL283489A (en) 2021-07-29
EP3890604A4 (en) 2022-08-24
IL283489B1 (en) 2024-02-01
KR20210108376A (ko) 2021-09-02
EP3890604A1 (en) 2021-10-13
IL283489B2 (en) 2024-06-01
US20200170524A1 (en) 2020-06-04
CA3121304A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
JP7382082B2 (ja) コンテンツを特徴づけるために脳特徴活動マップデータベースを利用するための装置および方法
Taya et al. Brain enhancement through cognitive training: a new insight from brain connectome
Fernandino et al. Predicting brain activation patterns associated with individual lexical concepts based on five sensory-motor attributes
Qin et al. How is our self related to midline regions and the default-mode network?
Mahon et al. Action-related properties shape object representations in the ventral stream
Schindler et al. Perceived communicative context and emotional content amplify visual word processing in the fusiform gyrus
CN104871160B (zh) 用于感觉和认知剖析的系统和方法
Egorova et al. Neural dynamics of speech act comprehension: an MEG study of naming and requesting
Kitada et al. The brain network underlying the recognition of hand gestures in the blind: the supramodal role of the extrastriate body area
Wagner et al. Decoding the neural representation of self and person knowledge with multivariate pattern analysis and data‐driven approaches
Furl et al. Modulation of perception and brain activity by predictable trajectories of facial expressions
Hindy et al. A cortical network for the encoding of object change
Sharma et al. Modeling observer stress for typical real environments
Torres et al. Evaluation of interpretability for deep learning algorithms in EEG emotion recognition: A case study in autism
Hart et al. Neural substrates of semantic memory
Tian et al. Playing “duck duck goose” with neurons: change detection through connectivity reduction
Caceres et al. Feature selection methods for zero-shot learning of neural activity
Xue et al. A Bayesian spatial model to predict disease status using imaging data from various modalities
Schwarz et al. Properties of face localizer activations and their application in functional magnetic resonance imaging (fMRI) fingerprinting
Williamson et al. Multilayer connector hub mapping reveals key brain regions supporting expressive language
Thirion et al. From deep brain phenotyping to functional atlasing
Kinreich et al. Functional cliques in the amygdala and related brain networks driven by fear assessment acquired during movie viewing
Neyens et al. Representation of semantic similarity in the left intraparietal sulcus: functional magnetic resonance imaging evidence
Almeida et al. The processing of biologically plausible and implausible forms in American Sign Language: evidence for perceptual tuning
Ren et al. Hierarchical spatio-temporal modeling of naturalistic functional magnetic resonance imaging signals via two-stage deep belief network with neural architecture search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination