CN111831118B - 一种基于增强现实的三维脑电显示方法及其显示系统 - Google Patents

一种基于增强现实的三维脑电显示方法及其显示系统 Download PDF

Info

Publication number
CN111831118B
CN111831118B CN202010661044.4A CN202010661044A CN111831118B CN 111831118 B CN111831118 B CN 111831118B CN 202010661044 A CN202010661044 A CN 202010661044A CN 111831118 B CN111831118 B CN 111831118B
Authority
CN
China
Prior art keywords
electroencephalogram
electrophysiological
data
cerebral cortex
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010661044.4A
Other languages
English (en)
Other versions
CN111831118A (zh
Inventor
洪波
王朝
任杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010661044.4A priority Critical patent/CN111831118B/zh
Publication of CN111831118A publication Critical patent/CN111831118A/zh
Application granted granted Critical
Publication of CN111831118B publication Critical patent/CN111831118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于增强现实的三维脑电显示方法及其显示系统。本发明采用建立大脑皮层三维模型和脑电信号电生理源空间定位的方法，以不同的颜色在大脑皮层三维模型中表示电生理源空间各个电生理源的不同强度，并将二者同时显示在目标头部，为研究人员、医生提供了大脑内部更本质的电生理活动信息；利用增强现实技术将脑电的变化实时呈现在大脑皮层三维模型的相关区域，为研究人员、医生提供直观的大脑皮层电生理动态变化过程和立体的网络连接模式；通过增强现实技术，将脑电的时间波形和电生理源活动分布同时显示，为研究人员、医生提供了一种更便捷、全面的脑电数据查看方式；本发明能够拓展为多人互动系统，方便研究人员和医生交互讨论。

Description

一种基于增强现实的三维脑电显示方法及其显示系统
技术领域
本发明涉及脑电显示技术，具体涉及一种基于增强现实的三维脑电显示方法及其显示系统。
背景技术
大脑是人类最高神经中枢，控制着我们的运动、语言及各种认知和情感，近些年来，人们为了更好的认识大脑、保护大脑和利用大脑进行了大量研究。脑电信号是大脑神经细胞在活动时产生的生物电信号，是大脑皮层大量神经元的突触后电位总和的结果，包含了丰富的生理信息，通过分析其变化特征和空间模式可以了解大脑的高级活动机理，进而对大脑的基础研究、功能性障碍和生理性疾病诊治提供理论支撑。
增强现实(Augmented Reality，AR)技术是将虚拟信息与现实世界融合，使两种信息同时显示在同一个画面或者空间中的技术。增强现实技术通过把虚拟的模型匹配到观察者实际空间中，达到画面补充、息量增强的效果。通过合适的模型重建和功能设计，能够将多种信息进行融合，使二维信息立体化、静态数据动态化。随着增强现实技术的发展和硬件装置的更新，目前的增强现实设备已经不只是提供单一的增强现实显示方式，而发展为允许观察者使用手势、语音、眼动等方式进行交互式操作的综合平台。
近些年，增强显示技术逐渐被应用在脑科学研究和临床诊断领域，并展现出了其独有的优势，比如中国电子科技集团信息科学研究院公开号为CN109758230A、名称为“一种基于增强现实技术的神经外科手术导航系统”的发明专利申请，通过将术前的多模态影像数据和手术计划导入增强现实眼镜中，再通过手动配准显示在病人头部相应位置，达到手术导航的目的，北京缙铖智联高科技有限公司公开号为CN107789072A、名称为“一种基于头戴式增强现实设备的颅内病变体表全息投影定位系统”，使用带有标记物的患者头颅磁共振或CT扫描数据，进行重建生成病变及标记物的三维影像，然后利用头戴式增强现实设备投射在患者头部，并手动配准至相应区域。这些方法虽然完成了对术前的静态影像数据进行三维重建，但是缺少大脑的动态生理变化特征，无法为医生、研究人员提供直观的大脑功能区连接网络和工作模式。
目前，传统的脑电信息显示方法和系统都依赖于二维屏幕，众多信息以波形、数字、图形等形式在二维平面中呈现，比如皮质动力学公司公开号为CN101528121B、发明名称为“脑功能监视及显示系统”的发明专利申请，提供了一种分析代表脑活动的脑电图信号的方法和计算机中展示的系统，杭州妞诺科技有限公司公开号为CN109697046A、发明名称为“基于浏览器的脑电波图形显示方法及系统”，提供一种基于浏览器的脑电波图形显示方法及系统。这些都是以传统的方法显示脑电的时间波形，没有三维变化的空间信息和大脑内部电生理活动的本质特征，具有不直观、解读困难等问题，研究人员和医生只有通过自身经验进行判读，工作效率低，经验依赖严重。
针对现有的脑电显示方法和系统，缺乏三维空间信息，不直观、无法获得脑内源活动的具体空间信息等缺点，发明开发一种基于增强现实的脑电三维显示方法和系统具有重要价值。
发明内容
针对目前脑电的二维显示方法和系统，无法直观、形象表现空间信息的缺陷，以及目前只对临床影像数据成像，无大脑活动的动态变化和网络连接模式的缺陷，本发明提出了一种基于增强现实的三维脑电显示方法及其显示系统，通过建立大脑皮层三维模型、脑电信号电生理源定位以及增强现实显示等步骤，使大脑内部电生理变化的时间、空间及过程等信息动态的呈现在大脑皮层空间，不同背景不同经验的研究人员或专家可以同时观看与讨论。
本发明的一个目的在于提出一种基于增强现实的三维脑电显示方法。
本发明的基于增强现实的三维脑电显示方法，包括以下步骤：
1)建立大脑皮层三维模型：
a)获取对象的原始脑部的磁共振影像数据进行医学图像处理，按照不同的组织进行分割，生成各个组织的三维数据；
b)选取去除颅骨的大脑皮层三维数据，将大脑皮层三维数据中的顶点数据进行空间显示，使用面片化将各顶点连接起来，形成初步的三维模型，再利用图像处理技术对初步的三维模型进行模型优化，生成完整的大脑皮层三维模型；
2)脑电信号电生理源定位：
i.获取实时脑电原始数据，对脑电原始数据进行实时处理，得到处理后的脑电数据；
ii.选择合适的头模型，采用球模型或者真实头模型；
iii.根据选择的头模型，结合步骤1)得到的三维数据，建立与各个组织对应的边界元模型，计算各边界元模型的边界元解；
iv.根据步骤1)得到的大脑皮层三维数据，按照电流密度分布估计方法，建立电生理源空间J，电生理源空间由多个点构成，其中的一个点就是一个电生理源j，即多个电生理源j组成电生理源空间J；
v.根据边界元模型的边界元解和电生理源空间，计算得到正向传递算子κ；
vi.正问题公式表达如下：
φ＝κ×J+n
其中，J为电生理源空间，κ为正向传递算子，φ为电生理源空间经过头部组织转换后在头皮表面形成的电势矩阵，n为脑电记录过程中引入的噪声；
vii.逆问题求解：通过改变电生理源空间内的各个电生理源的参数，代入正向传递算子，使得正向计算所得头皮电位数据与测量数据拟合，从而确定每次头皮脑电变化时对应的电生理源空间中每个电生理源的电流变化情况，公式如下：
Figure BDA0002578582700000031
其中，φr为处理后的脑电数据，κ为正向传递算子，也就是头部组织对内部电流向外传递的转换矩阵，Je是待确定的电生理源空间，由多个产生头皮脑电信号的电生理源je组成，，||·||2表示求2范数，E是目标函数；通过改变电生理源空间J内的各个电生理源j的参数，参数包括电流强度和方向，得到je，进而多个je组成Je，使κ×Je计算后的结果与真实测量得到的处理后的脑电数据φr最接近，也就是使目标函数E的值最小，那么便得到了逆问题的解，也就是得到了待确定的电生理源空间和空间中各个产生头皮脑电信号的电生理源的具体参数；
viii.根据大脑皮层三维模型的坐标系，对电生理源空间各个产生头皮脑电信号的电生理源的坐标进行转换，将所有电生理源匹配至大脑皮层三维模型的空间中，作为点云渲染数据；
3)增强现实显示：
i.用于增强现实显示的显示终端载入大脑皮层三维模型和点云渲染数据，以点云的形式在大脑皮层三维模型中显示电生理源空间的各个电生理源，不同的颜色对应表示各个电生理源的不同强度，调整大脑皮层三维模型的透明度，使其透射显示在目标头部，并且不会对目标头部造成完全遮挡；
ii.设置电生理源的刷新帧率，每次刷新对应电生理源的不同时间状态，实现大脑皮层的不同区域随着时间有不同的电生理活动变化；
iii.模型与目标自动配准：增强现实的显示终端通过摄像头采集实际的空间影像，以脑模型配准标记或者特征点作为空间标记点，通过射线检测方法，在空间影像中得到各空间标记点之间及各空间标记点与大脑皮层三维模型的期望配准位置之间的距离位置关系，根据这些空间标记点在空间影像中的坐标，以这些空间标记点坐标作为位置参考，结合各空间标记点之间及与大脑皮层三维模型的期望配准位置之间的距离关系，计算出大脑皮层三维模型的缩放比例及相对配准位置，把大脑皮层三维模型准确配准至通过摄像头采集的空间影像中的头部上的期望配准位置，并实时跟踪实际的头部运动，从而在空间影像上叠加上大脑皮层三维模型以及对应的点云渲染数据，得到渲染后的增强现实显示图像，显示在显示终端。
其中，在步骤1)的a)中，按照不同的组织进行分割，组织包括头皮、颅骨和大脑皮层。
在步骤1)的b)中，将大脑皮层三维数据进行图像处理，采用对大脑皮层三维数据进行平滑或/和空洞填充处理。
在步骤2)的i中，脑电原始数据进行处理包括滤波、去基线漂移、去除坏道和叠加平均。
在步骤2)的ii中，球模型由于其形状规则，后续计算量较小，但是与实际情况存在较大偏差；真实头模型是通过影像数据所得到的真实数据，所得结果的误差较球模型较小，不过边界复杂，计算处理复杂。
在步骤2)的iii中，由于组织分别为头皮、颅骨和大脑皮层，因此建立与头皮、颅骨和大脑皮层对应的边界元模型。
在步骤3)的iii中，特征点包括人脸的眼中点、嘴中点和瞳间距。
本发明的另一个目的在于提出一种基于增强现实的三维脑电显示系统。
本发明的基于增强现实的三维脑电显示系统包括：脑电采集电极、脑模型配准标记、脑电数据采集单元、图像与信号处理单元、摄像头、图像采集单元和显示终端；其中，脑电采集电极分布在脑电帽内侧上，并且在脑电帽的外表面设置多个脑模型配准标记；脑电采集电极连接至脑电数据采集单元；脑电数据采集单元通过脑电数据传输链路连接至图像与信号处理单元；图像与信号处理单元通过脑电可视化数据传输链路连接至显示终端；摄像头连接至图像采集单元；图像采集单元连接至显示终端；脑电采集电极实时采集脑电原始数据，传输至脑电数据采集单元；脑电数据采集单元对脑电原始数据进行数据打包和发送；图像与信号处理单元对脑电数据进行源定位，根据脑电数据和脑部磁共振影像数据生成的大脑皮层三维模型，通过逆问题求解得到电生理源空间中各个电生理源的参数，作为点云渲染数据；点云渲染数据与大脑皮层三维模型通过脑电可视化数据传输链路传输至增强现实显示的显示终端；显示终端以点云的形式在大脑皮层三维模型中显示电生理源的参数，并以不同的颜色对应表示电生理源的不同强度，调整大脑皮层三维模型的透明度，使其透射显示在目标头部，并且不对目标头部造成完全遮挡；摄像头采集实际的空间影像，图像采集单元采集处理后传输至显示终端；以脑模型配准标记或者特征点作为空间标记点，根据这些空间标记点在空间影像中的坐标，以这些空间标记点坐标作为位置参考，把大脑皮层三维模型准确配准至通过摄像头采集的空间影像中的头部上的期望配准位置，并实时跟踪实际的头部运动，从而在空间影像上叠加上大脑皮层三维模型以及对应的点云渲染数据，得到渲染后的增强现实显示图像，显示在显示终端，实现大脑皮层电生理活动的实时增强现实显示。
显示终端为手持设备，或者为可穿戴式设备。
本发明的优点：
本发明采用建立大脑皮层三维模型和脑电信号电生理源空间定位的方法，以不同的颜色在大脑皮层三维模型中表示电生理源空间各个电生理源的不同强度，并将二者同时显示在目标头部，为研究人员、医生提供了大脑内部更本质的电生理活动信息；利用增强现实技术将脑电的变化实时呈现在大脑皮层三维模型的相关区域，为研究人员、医生提供直观的大脑皮层电生理动态变化过程和立体的网络连接模式；通过增强现实技术，将脑电的时间波形和电生理源活动分布同时显示，为研究人员、医生提供了一种更便捷、全面的脑电数据查看方式；本发明能够拓展为多人互动系统，方便研究人员和医生交互讨论。
附图说明
图1为本发明的基于增强现实的三维脑电显示方法的一个实施例的流程图；
图2为本发明的基于增强现实的三维脑电显示方法的一个实施例的建立大脑皮层三维模型的流程图；
图3为本发明的基于增强现实的三维脑电显示方法的一个实施例的脑电信号电生理源定位的流程图；
图4为本发明的基于增强现实的三维脑电显示方法的一个实施例的增强现实显示的流程图；
图5为本发明的基于增强现实的三维脑电显示系统的一个实施例的示意图，其中，(a)为以手持设备为显示终端的基于增强现实的三维脑电显示系统的示意图，(b)为以可穿戴式设备为显示终端的基于增强现实的三维脑电显示系统的示意图。
具体实施方式
下面结合附图，通过具体实施例，进一步阐述本发明。
如图1所示，本实施例的本发明的基于增强现实的三维脑电显示方法，如流程图1所示，包括以下步骤：
1)建立大脑皮层三维模型，如流程图2所示：
a)获取对象的原始脑部的磁共振影像数据进行医学图像处理，按照不同的组织进行分割，生成各个组织的三维数据；
b)选取去除颅骨的大脑皮层三维数据，将大脑皮层三维数据中的顶点数据进行空间显示，使用面片化将各顶点连接起来，形成初步的三维模型，再利用图像处理技术对初步的三维模型进行模型优化，生成完整的大脑皮层三维模型；
2)脑电信号电生理源定位，如流程图3所示：
i.获取实时脑电原始数据，对脑电原始数据进行实时处理，得到处理后的脑电数据；
ii.选择合适的头模型，采用球模型或者真实头模型；
iii.根据选择的头模型，结合步骤1)得到的三维数据，建立与各个组织对应的边界元模型，计算各边界元模型的边界元解；
iv.根据步骤1)得到的大脑皮层三维数据，按照电流密度分布估计方法，建立电生理源空间J，电生理源空间由多个点构成，其中的一个点就是一个电生理源j，即多个电生理源组成电生理源空间J；
v.根据边界元模型的边界元解和电生理源空间，计算得到正向传递算子κ；
vi.正问题公式表达如下：
φ＝κ×J+n
其中，J为电生理源空间，κ为正向传递算子，φ为电生理源空间经过头部组织转换后在头皮表面形成的电势矩阵，n为脑电记录过程中引入的噪声；
vii.逆问题求解：通过改变电生理源空间内的各个电生理源的参数，代入正向传递算子，使得正向计算所得头皮电位数据与测量数据拟合，从而确定每次头皮脑电变化时对应的电生理源空间中每个电生理源的电流变化情况，公式如下：
Figure BDA0002578582700000061
其中，φr为处理后的脑电数据，κ为正向传递算子，也就是头部组织对内部电流向外传递的转换矩阵，Je是待确定的电生理源空间，由多个产生头皮脑电信号的电生理源je组成，，||·||2表示求2范数，E是目标函数；通过改变电生理源空间J内的各个电生理源j的参数，参数包括电流强度和方向得到je，进而多个je组成Je，使κ×Je计算后的结果与真实测量得到的处理后的脑电数据φr最接近，也就是使目标函数E的值最小，那么便得到了逆问题的解，也就是得到了待确定的电生理源空间和空间中各个待确定的电生理源的具体参数；
viii.根据大脑皮层三维模型的坐标系，对电生理源空间各个电生理源的坐标进行转换，将所有电生理源匹配至大脑皮层三维模型的空间中，作为点云渲染数据；
3)增强现实显示，如流程图4所示：
i.用于增强现实显示的显示终端载入大脑皮层三维模型和点云渲染数据，以点云的形式在大脑皮层三维模型中显示电生理源空间的各个电生理源，不同的颜色对应表示各个电生理源的不同强度，调整大脑皮层三维模型的透明度，使其透射显示在目标头部，并且不会对目标头部造成完全遮挡；
ii.设置电生理源的刷新帧率，每次刷新对应电生理源的不同时间状态，实现大脑皮层的不同区域随着时间有不同的电生理活动变化；
iii.模型与目标自动配准：增强现实的显示终端通过摄像头采集实际的空间影像，以脑模型配准标记或者特征点作为空间标记点，通过射线检测方法，在空间影像中，以每个特征点作为起点，向周边发射“射线”，当射线碰到其余特征点或者期望配准位置时便停止延伸，从而得到各空间标记点之间及各空间标记点与大脑皮层三维模型的期望配准位置之间的距离位置关系，根据这些空间标记点在空间影像中的坐标，以这些空间标记点坐标作为位置参考，结合各空间标记点之间及与大脑皮层三维模型的期望配准位置之间的距离关系，把大脑皮层三维模型准确配准至通过摄像头采集的空间影像中的头部上的期望配准位置，并实时跟踪实际的头部运动，从而在空间影像上叠加上大脑皮层三维模型以及对应的点云渲染数据，得到渲染后的增强现实显示图像，显示在显示终端。
如图5所示，本发明的基于增强现实的三维脑电显示系统包括：脑电采集电极、脑模型配准标记2、脑电数据采集单元5、图像与信号处理单元6和显示终端7；其中，脑电采集电极分布在脑电帽上1，并且在脑电帽的外表面设置多个脑模型配准标记2；脑电采集电极连接至脑电数据采集单元；脑电数据采集单元通过脑电数据传输链路8连接至图像与信号处理单元；图像与信号处理单元通过脑电可视化数据传输链路9连接至显示终端；摄像头和图像采集单元内置在显示终端7中；脑电采集电极实时采集脑电原始数据，传输至脑电数据采集单元5。脑电采集电极实时采集脑电原始数据，传输至脑电数据采集单元5；脑电数据采集单元5对脑电原始数据进行数据打包和发送；图像与信号处理单元6对脑电数据进行源定位，根据脑电数据和脑部磁共振影像数据生成的大脑皮层三维模型，通过逆问题求解得到电生理源空间中各个电生理源的参数，作为点云渲染数据；点云渲染数据与大脑皮层三维模型通过脑电可视化数据传输链路传输至增强现实显示的显示终端7；显示终端7以点云的形式在大脑皮层三维模型中显示电生理源的参数，并以不同的颜色对应表示电生理源的不同强度，调整大脑皮层三维模型的透明度，使其透射显示在目标头部，并且不对目标头部造成完全遮挡；增强现实的显示终端7通过摄像头采集实际的空间影像，以脑模型配准标记2或者特征点作为空间标记点，通过射线检测方法，在空间影像中，得到各空间标记点之间及各空间标记点与大脑皮层三维模型的期望配准位置之间的距离位置关系，根据这些空间标记点在空间影像中的坐标，以这些空间标记点坐标作为位置参考，结合各空间标记点之间及与大脑皮层三维模型的期望配准位置之间的距离关系，把大脑皮层三维模型准确配准至通过摄像头采集的空间影像中的头部上的期望配准位置，并实时跟踪实际的头部运动，从而在空间影像上叠加上大脑皮层三维模型以及对应的点云渲染数据，得到渲染后的增强现实显示图像，显示在显示终端7，实现大脑皮层电生理活动的实时增强现实显示。图5中，3代表电生理源，对应增强现实显示图像中的点云渲染数据，4代表大脑皮层，对应增强现实显示图像中的大脑皮层三维模型。图5(a)中显示终端为手持设备，如手机或平板电脑等，对于手持设备，通过摄像头采集实际的空间影像，将大脑皮层三维模型以及对应的点云渲染数据叠加在其上面，最终通过屏幕向观察者呈现融合的效果；图5(b)中显示终端为可穿戴式设备，如增强现实显示眼镜，对于增强现实显示眼镜，由于其具有光学透视能力，因此能够直接将虚拟的大脑皮层三维模型以及对应的点云渲染数据投射至观察者眼睛，使观察者既能够透过眼镜看到实际空间中的目标头部又能够同时看到虚拟的增强现实显示图像，为观察者提供一种虚拟的增强现实显示图像匹配在真实世界中的视觉效果。
最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于增强现实的三维脑电显示方法，其特征在于，所述三维脑电显示方法包括以下步骤：
1)建立大脑皮层三维模型：
a)获取对象的原始脑部的磁共振影像数据进行医学图像处理，按照不同的组织进行分割，生成各个组织的三维数据；
b)选取去除颅骨的大脑皮层三维数据，将大脑皮层三维数据中的顶点数据进行空间显示，使用面片化将各顶点连接起来，形成初步的三维模型，再利用图像处理技术对初步的三维模型进行模型优化，生成完整的大脑皮层三维模型；
2)脑电信号电生理源定位：
i.获取实时脑电原始数据，对脑电原始数据进行实时处理，得到处理后的脑电数据；
ii.选择合适的头模型，采用球模型或者真实头模型；
iii.根据选择的头模型，结合步骤1)得到的三维数据，建立与各个组织对应的边界元模型，计算各边界元模型的边界元解；
iv.根据步骤1)得到的大脑皮层三维数据，按照电流密度分布估计方法，建立电生理源空间J，电生理源空间由多个点构成，其中的一个点就是一个电生理源j，即多个电生理源j组成电生理源空间J；
v.根据边界元模型的边界元解和电生理源空间，计算得到正向传递算子κ；
vi.正问题公式表达如下：
φ＝κ×J+n
其中，J为电生理源空间，κ为正向传递算子，φ为电生理源空间经过头部组织转换后在头皮表面形成的电势矩阵，n为脑电记录过程中引入的噪声；
vii.逆问题求解：通过改变电生理源空间内的各个电生理源的参数，代入正向传递算子，使得正向计算所得头皮电位数据与测量数据拟合，从而确定每次头皮脑电变化时对应的电生理源空间中每个电生理源的电流变化情况，公式如下：
Figure FDA0002578582690000011
其中，φr为处理后的脑电数据，κ为正向传递算子，也就是头部组织对内部电流向外传递的转换矩阵，Je是待确定的电生理源空间，由多个产生头皮脑电信号的电生理源je组成，，||·||2表示求2范数，E是目标函数；通过改变电生理源空间J内的各个电生理源j的参数，参数包括电流强度和方向，得到je，进而多个je组成Je，使κ×Je计算后的结果与真实测量得到的处理后的脑电数据φr最接近，也就是使目标函数E的值最小，那么便得到了逆问题的解，也就是得到了待确定的电生理源空间和空间中各个产生头皮脑电信号的电生理源的具体参数；
viii.根据大脑皮层三维模型的坐标系，对电生理源空间各个产生头皮脑电信号的电生理源的坐标进行转换，将所有电生理源匹配至大脑皮层三维模型的空间中，作为点云渲染数据；
3)增强现实显示：
i.用于增强现实显示的显示终端载入大脑皮层三维模型和点云渲染数据，以点云的形式在大脑皮层三维模型中显示电生理源空间的各个电生理源，不同的颜色对应表示各个电生理源的不同强度，调整大脑皮层三维模型的透明度，使其透射显示在目标头部，并且不会对目标头部造成完全遮挡；
ii.设置电生理源的刷新帧率，每次刷新对应电生理源的不同时间状态，实现大脑皮层的不同区域随着时间有不同的电生理活动变化；
iii.模型与目标自动配准：增强现实的显示终端通过摄像头采集实际的空间影像，以脑模型配准标记或者特征点作为空间标记点，通过射线检测方法，在空间影像中得到各空间标记点之间及各空间标记点与大脑皮层三维模型的期望配准位置之间的距离位置关系，根据这些空间标记点在空间影像中的坐标，以这些空间标记点坐标作为位置参考，结合各空间标记点之间及与大脑皮层三维模型的期望配准位置之间的距离关系，计算出大脑皮层三维模型的缩放比例及相对配准位置，把大脑皮层三维模型准确配准至通过摄像头采集的空间影像中的头部上的期望配准位置，并实时跟踪实际的头部运动，从而在空间影像上叠加上大脑皮层三维模型以及对应的点云渲染数据，得到渲染后的增强现实显示图像，显示在显示终端。
2.如权利要求1所述的三维脑电显示方法，其特征在于，在步骤1)的a)中，按照不同的组织进行分割，组织包括头皮、颅骨和大脑皮层。
3.如权利要求1所述的三维脑电显示方法，其特征在于，在步骤1)的b)中，将大脑皮层三维数据进行图像处理，采用对大脑皮层三维数据进行平滑或/和空洞填充处理。
4.如权利要求1所述的三维脑电显示方法，其特征在于，在步骤2)的i中，脑电原始数据进行处理包括滤波、去基线漂移、去除坏道和叠加平均。
5.如权利要求1所述的三维脑电显示方法，其特征在于，在步骤2)的ii中，球模型由于其形状规则，后续计算量较小，但是与实际情况存在较大偏差，真实头模型是通过影像数据所得到的真实数据，所得结果的误差较球模型较小，不过边界复杂，计算处理复杂。
6.如权利要求1所述的三维脑电显示方法，其特征在于，在步骤2)的iii中，由于组织分别为头皮、颅骨和大脑皮层，因此建立与头皮、颅骨和大脑皮层对应的边界元模型。
7.如权利要求1所述的三维脑电显示方法，其特征在于，在步骤3)的iii中，特征点包括人脸的眼中点、嘴中点和瞳间距。
8.一种基于增强现实的三维脑电显示系统，其特征在于，所述三维脑电显示系统包括：脑电采集电极、脑模型配准标记、脑电数据采集单元、图像与信号处理单元、摄像头、图像采集单元和显示终端；其中，脑电采集电极分布在脑电帽内侧上，并且在脑电帽的外表面设置多个脑模型配准标记；脑电采集电极连接至脑电数据采集单元；脑电数据采集单元通过脑电数据传输链路连接至图像与信号处理单元；图像与信号处理单元通过脑电可视化数据传输链路连接至显示终端；摄像头连接至图像采集单元；图像采集单元连接至显示终端；脑电采集电极实时采集脑电原始数据，传输至脑电数据采集单元；脑电数据采集单元对脑电原始数据进行数据打包和发送；图像与信号处理单元对脑电数据进行源定位，根据脑电数据和脑部磁共振影像数据生成的大脑皮层三维模型，通过逆问题求解得到电生理源空间中各个电生理源的参数，作为点云渲染数据；点云渲染数据与大脑皮层三维模型通过脑电可视化数据传输链路传输至增强现实显示的显示终端；显示终端以点云的形式在大脑皮层三维模型中显示电生理源的参数，并以不同的颜色对应表示电生理源的不同强度，调整大脑皮层三维模型的透明度，使其透射显示在目标头部，并且不对目标头部造成完全遮挡；摄像头采集实际的空间影像，图像采集单元采集处理后传输至显示终端；以脑模型配准标记或者特征点作为空间标记点，根据这些空间标记点在空间影像中的坐标，以这些空间标记点坐标作为位置参考，把大脑皮层三维模型准确配准至通过摄像头采集的空间影像中的头部上的期望配准位置，并实时跟踪实际的头部运动，从而在空间影像上叠加上大脑皮层三维模型以及对应的点云渲染数据，得到渲染后的增强现实显示图像，显示在显示终端，实现大脑皮层电生理活动的实时增强现实显示。
9.如权利要求8所述的三维脑电显示系统，其特征在于，所述特征点包括人脸的眼中点、嘴中点和瞳间距。
10.如权利要求8所述的三维脑电显示系统，其特征在于，所述显示终端为手持设备，或者为可穿戴式设备。
CN202010661044.4A 2020-07-10 2020-07-10 一种基于增强现实的三维脑电显示方法及其显示系统 Active CN111831118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010661044.4A CN111831118B (zh) 2020-07-10 2020-07-10 一种基于增强现实的三维脑电显示方法及其显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010661044.4A CN111831118B (zh) 2020-07-10 2020-07-10 一种基于增强现实的三维脑电显示方法及其显示系统

Publications (2)

Publication Number Publication Date
CN111831118A CN111831118A (zh) 2020-10-27
CN111831118B true CN111831118B (zh) 2022-12-30

Family

ID=72900570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010661044.4A Active CN111831118B (zh) 2020-07-10 2020-07-10 一种基于增强现实的三维脑电显示方法及其显示系统

Country Status (1)

Country Link
CN (1) CN111831118B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570496B (zh) * 2021-07-29 2024-05-28 昕海智创(深圳)科技有限公司 一种波形数据高速缓存回显方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控系统
CN108024752A (zh) * 2015-09-07 2018-05-11 加利福尼亚大学董事会 基于超密电极的脑成像系统
CN109758230A (zh) * 2019-02-26 2019-05-17 中国电子科技集团公司信息科学研究院 一种基于增强现实技术的神经外科手术导航方法和系统
CN109791295A (zh) * 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5951504B2 (ja) * 2010-01-18 2016-07-13 エルミンダ エルティーディー．Ｅｌｍｉｎｄａ Ｌｔｄ． 神経生理学的データの重み付き分析のための方法およびシステム
EP3064130A1 (en) * 2015-03-02 2016-09-07 MindMaze SA Brain activity measurement and feedback system
JP6742628B2 (ja) * 2016-08-10 2020-08-19 国立大学法人広島大学 脳の島皮質活動抽出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控系统
CN108024752A (zh) * 2015-09-07 2018-05-11 加利福尼亚大学董事会 基于超密电极的脑成像系统
CN109791295A (zh) * 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
CN109758230A (zh) * 2019-02-26 2019-05-17 中国电子科技集团公司信息科学研究院 一种基于增强现实技术的神经外科手术导航方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Augmented Reality and Sensory Technology for Treatment of Anxiety Disorders;Preyesse Arquissandás等;《IEEE》;20190715;全文 *
The Future of Healthcare Internet of Things: A Survey of Emerging Technologies;Yazdan Ahmad Qadri等;《IEEE》;20200211;全文 *
基于皮层脑电的大脑语言功能定位方法;钱天翼,王昱婧,周文静,高上凯,洪波;《清华大学学报（自然科学版）》;20131231;全文 *

Also Published As

Publication number Publication date
CN111831118A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
McJunkin et al. Development of a mixed reality platform for lateral skull base anatomy
Abhari et al. Training for planning tumour resection: augmented reality and human factors
WO2017088816A1 (zh) 一种基于dti的颅内神经纤维束的三维重建方法
Goble et al. Two-handed spatial interface tools for neurosurgical planning
Ferrari et al. A 3-D mixed-reality system for stereoscopic visualization of medical dataset
CN101797182A (zh) 一种基于增强现实技术的鼻内镜微创手术导航系统
CN109925057A (zh) 一种基于增强现实的脊柱微创手术导航方法及系统
Qi et al. Holographic mixed-reality neuronavigation with a head-mounted device: technical feasibility and clinical application
TW201717837A (zh) 強化實境之外科導航
Jiang et al. Registration technology of augmented reality in oral medicine: A review
TWI697317B (zh) 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
Shan et al. Augmented reality based brain tumor 3D visualization
CN112967786B (zh) 基于多模影像与交互设备的解剖导航的构建方法及系统
Felsenstein et al. Multi-modal neuroimaging analysis and visualization tool (MMVT)
CN109701160A (zh) 影像引导下可见光定位导航装置及方法
Leuze et al. Mixed-reality guidance for brain stimulation treatment of depression
Wu et al. Accurate image-guided (re) placement of NIRS probes
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
Li et al. Towards quantitative and intuitive percutaneous tumor puncture via augmented virtual reality
CN111831118B (zh) 一种基于增强现实的三维脑电显示方法及其显示系统
Zhu et al. A neuroendoscopic navigation system based on dual-mode augmented reality for minimally invasive surgical treatment of hypertensive intracerebral hemorrhage
CN111540008A (zh) 定位方法、装置、系统、电子设备及存储介质
Silva et al. Interactive visualization of the cranio-cerebral correspondences for 10/20, 10/10 and 10/5 systems
CN111728695A (zh) 一种用于开颅手术的光束辅助定位方法及定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant