CN117012397A - 基于脑图谱的脑活动时间序列三维可视化方法及装置 - Google Patents
基于脑图谱的脑活动时间序列三维可视化方法及装置 Download PDFInfo
- Publication number
- CN117012397A CN117012397A CN202311265913.1A CN202311265913A CN117012397A CN 117012397 A CN117012397 A CN 117012397A CN 202311265913 A CN202311265913 A CN 202311265913A CN 117012397 A CN117012397 A CN 117012397A
- Authority
- CN
- China
- Prior art keywords
- brain
- dimensional
- model
- partition
- activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 313
- 230000007177 brain activity Effects 0.000 title claims abstract description 131
- 238000007794 visualization technique Methods 0.000 title claims abstract description 12
- 238000005192 partition Methods 0.000 claims abstract description 135
- 238000013507 mapping Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 230000001105 regulatory effect Effects 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims description 45
- 238000012800 visualization Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 4
- 238000009877 rendering Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 210000003710 cerebral cortex Anatomy 0.000 description 4
- 230000000284 resting effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000001054 cortical effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000002964 excitative effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请涉及脑信号处理领域，特别是涉及一种基于脑图谱的脑活动时间序列三维可视化方法及装置。所述方法包括：将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列；基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱；将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型；将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。本发明能够支持支持多种模态的脑活动时间序列，且通过脑图谱库匹配得到对应的脑分区图谱能够便捷地对全脑活动的数据进行可视化。
Description
技术领域
本申请涉及脑信号处理领域，特别是涉及一种基于脑图谱的脑活动时间序列三维可视化方法及装置。
背景技术
大脑皮层活动可视化背景是指在二维或三维空间中展示大脑皮层中不同区域的神经活动的技术。目前业界主流使用检测大脑皮层中不同区域的神经活动的技术包含脑电图、心电图及功能磁共振成像技术等。
上述优秀的大脑皮层活动信息检测技术使得我们获得了大量大脑活动的时间序列，即大脑不同区域中，每个区域神经元活动（或其他信息）的时序信息。然而，这样的信息包含了大量的数据，如何将其直观的展示成为了一个难点，展示需要直观地体现出“脑区”的信息以及信号强度的“时序”的信息，目的是让观察者对于大脑活动发生的位置以及特定时间点大脑活动的情况有明确的了解。
现有大脑分区的方法有很多种，不同的脑图谱实现了不同的大脑分区策略。现有脑活动可视化技术无法自适应大脑分区，无法做到便捷地对全脑活动的数据进行可视化，更多情况下需要用户输入大量的信息，增加了用户使用的学习成本并且降低了便捷性。
发明内容
基于此，有必要针对上述技术问题，提供一种基于脑图谱的脑活动时间序列三维可视化方法、装置、计算机设备和存储介质。
第一方面，本发明实施例提出一种基于脑图谱的脑活动时间序列三维可视化方法，所述方法包括：
将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列；
基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱；
将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型；
将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。
在一实施例中，所述将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列包括：
将所述脑活动时间序列的时间轴的单位调整为标准单位；
将单位调整后的所述脑活动时间序列规整为关于时间和脑区数量的矩阵，得到所述脑活动标准时间序列。
在一实施例中，所述基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱包括：
基于所述脑活动标准时间序列，确定脑区数量；
从脑图谱库中匹配得到与所述脑区数量相等的脑分区图谱。
在一实施例中，所述将所述三维大脑模型映射至所述脑分区图谱中得到三维脑分区模型包括：
获取所述三维大脑模型的顶点坐标或组成三角面的顶点坐标；
基于所述顶点坐标或组成三角面的顶点坐标，将所述三维大脑模型映射至所述脑分区图谱中得到三维脑分区模型。
在一实施例中，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
获取所述脑活动标准时间序列中某一时刻的各脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
基于脑区活动水平与颜色的对应关系，对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到所述三维脑分区可视化模型。
在一实施例中，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
基于所述脑活动标准时间序列，确定动态可视化刷新频率；
基于所述动态可视化刷新频率，依次将时刻的各脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
基于脑区活动水平与颜色的对应关系，依次对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到动态的所述三维脑分区可视化模型。
在一实施例中，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
获取所述三维脑分区模型中的感兴趣脑区；
获取所述脑活动标准时间序列中某一时刻的所述感兴趣脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
基于脑区活动水平与颜色的对应关系，对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到所述三维脑分区可视化模型。
第二方面，本发明实施例提出一种基于脑图谱的脑活动时间序列三维可视化装置，所述装置包括：
规整模块，用于将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列；
匹配模块，用于基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱；
映射模块，用于将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型；
可视化模块，用于将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。
第三方面，本发明实施例提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行第一方面所述的步骤。
第四方面，本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的步骤。
相比于现有技术，上述方法、装置、计算机设备和存储介质，通过将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列，基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱，将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型，将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。本发明能够支持支持多种模态的脑活动时间序列，且通过脑图谱库匹配得到对应的脑分区图谱能够便捷地对全脑活动的数据进行可视化。
附图说明
图1为一实施例中终端的结构示意图；
图2为一实施例中基于脑图谱的脑活动时间序列三维可视化方法的流程示意图；
图3为一实施例中脑活动时间序列规整方法的流程示意图；
图4为一实施例中脑分区图谱匹配方法的流程示意图；
图5为一实施例中三维脑分区模型建立方法的流程示意图；
图6为一实施例中三维脑分区可视化模型渲染方法的流程示意图；
图7为另一实施例中三维脑分区可视化模型渲染方法的流程示意图；
图8为又一实施例中三维脑分区可视化模型渲染方法的流程示意图；
图9为一实施例中基于脑图谱的脑活动时间序列三维可视化装置的模块连接示意图；
图10为一实施例中计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本发明应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本发明对根据本发明的实施例的装置中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在计算设备和/或处理器上。模块仅是说明性的，并且装置和方法的不同方面可以使用不同模块。
应当理解的是，当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时，其可以指直接连接或耦接，或者与其它单元、模块或块通信，或者可以存在中间的单元、模块或块，除非上下文明确指明其它方式。本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。
本申请提供的基于脑图谱的脑活动时间序列三维可视化方法，可以应用于如图1所示的终端中。终端可以包括一个或两个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于脑图谱的脑活动时间序列三维可视化方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterfaceController，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
如图2所示，本发明实施例提供了一种基于脑图谱的脑活动时间序列三维可视化方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202：将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列。
任意模态的脑活动时间序列包括但不限于脑电信号、心电信号及功能磁共振信号等任意模态关于脑神经活动测量并处理的脑活动时间序列。此脑活动时间序列主要由专业设备采集或从开源数据集处理后获取。如静息态功能磁共振时间序列可通过磁共振设备对受试者静息状态下颅脑进行成像，通过业内常规处理方法提取静息态功能信号的时间序列。
为解决不同模态信号输入时兼容性问题，将不同模态的脑活动时间序列自动规整为统一的时间序列数据类型。该数据类型包含以下信息：时间序列名字；
时间维度，具体为时刻数值；时间序列数据，具体为不同脑区大脑活动相较基线的不同时刻活动水平数据；采样单位等。
S204：基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱。
脑图谱库内置包含学术界常用的各种人脑分区图谱，如BNA(Brainnetome Atlas）图谱，AAL（Automated Anatomical Labeling）图谱，MNI（MontrealNeurologicalInstitute）等。其中，每一个图谱均包含以下信息：图谱的名字；图谱中脑区的数量；带有顺序的脑区名列表；指定对应脑区是否为皮层上脑区；图谱在标准空间中的模板，包含标准空间类型、模板的体素数据以及模板的体素分辨率；不同脑区对应静息态网络；脑区体积等。
为了实现脑活动时间序列三维可视化的便携和效率，通过脑图谱库匹配得到对应的脑分区图谱的方式更加的便携快速。
S206：将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型。
在对脑活动时间序列进行三维可视化之前，首先对全脑皮层进行三维建模。建模得到的三维大脑模型包含了数万个顶点以及三角面，并且可以人为地拖动及旋转，从而全方位地展示一个立体大脑，为后续将脑活动时间序列渲染到模型特定位置做准备。
通过建模得到的三维大脑模型由两个数据文件组成。其一包含了顶点信息，表明了数万个顶点在三维可视化中物理空间的x, y, z方向坐标，因此该文件实质存储了N行3列的数据，每1行代表了编号为n的顶点的空间坐标，即该文件定义了三维大脑模型上的每个点的位置；另一数据文件包含了三角面的信息，表明了所有组成三维大脑模型的三角面是由哪三个顶点组成的，因此该文件实质存储了M行3列的数据，每1行代表了第m个三角面由哪三个编号的顶点构成。
基于三维大脑模型和脑分区图谱的映射关系，将三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型。
在进行脑分区图谱向三维大脑模型的映射时，也就是告诉三维大脑模型中每一个顶点分别是对应哪一个脑区。这是通过第三个数据文件实现的，该数据文件实质存储了N行1列的数据，每一行代表了第n个顶点对应的脑区序号。以此文件进行脑分区图谱到三维大脑模型的映射，最终使得三维大脑中的数万个顶点都拥有对应的脑区标签。此时三角面的映射规则为，如果组成三角面的三个顶点均所属某一脑区，则该三角面所属该脑区，如果三个顶点分别属于二或三个脑区，则该三角面为脑区之间的边界。至此，完成脑分区图谱向三维大脑模型的映射，得到三维脑分区模型。
S208：将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。
基于脑活动标准时间序列与各脑区的映射关系，将脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。
基于步骤S202-S208，通过将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列，基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱，将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型，将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。本发明能够支持支持多种模态的脑活动时间序列，且通过脑图谱库匹配得到对应的脑分区图谱能够便捷地对全脑活动的数据进行可视化。
在一实施例中，如图3所示，所述将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列包括：
S302：将所述脑活动时间序列的时间轴的单位调整为标准单位；
S304：将单位调整后的所述脑活动时间序列规整为关于时间和脑区数量的矩阵，得到所述脑活动标准时间序列。
提取到的脑活动时间序列具有以下信息：名字（某时间序列），n个脑区随着时间的活动情况（n个1维列表），时间维度数据（1维列表，表明随着时间的活动情况记录时的不同时刻），采样单位（秒）。在进行规整时，首先先将时间轴的单位统一为毫秒（将时间数据的单位统一），再将n个1*时间的列表（即n个脑区的活动情况）整理成【时间，n】的矩阵（时间*脑区的矩阵），得到脑活动标准时间序列。
对于脑电图、心电图及功能磁共振成像等模态数据，采用上述相同的规整方法。
在一实施例中，如图4所示，所述基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱包括：
S402：基于所述脑活动标准时间序列，确定脑区数量；
S404：从脑图谱库中匹配得到与所述脑区数量相等的脑分区图谱。
根据脑活动标准时间序列中【时间，n】的矩阵可以确定脑区的数量n，根据脑区数量n从脑图谱库中匹配得到与所述脑区数量相等的脑分区图谱。
如果恰好脑图谱库中有两种或多种脑分区图谱的脑区数量一致，则需要用户二次确认所选择的脑分区图谱。
在一实施例中，如图5所示，所述将所述三维大脑模型映射至所述脑分区图谱中得到三维脑分区模型包括：
S502：获取所述三维大脑模型的顶点坐标或组成三角面的顶点坐标；
S504：基于所述顶点坐标或组成三角面的顶点坐标，将所述三维大脑模型映射至所述脑分区图谱中得到三维脑分区模型。
基于三维大脑模型与脑分区图谱的映射关系，基于所述顶点坐标或组成三角面的顶点坐标，可以将所述三维大脑模型映射至所述脑分区图谱中得到三维脑分区模型。
该映射关系可以是顶点之间的映射关系或者三角面之间的映射关系。
在一实施例中，如图6所示，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
S602：获取所述脑活动标准时间序列中某一时刻的各脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
S604：基于脑区活动水平与颜色的对应关系，对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到所述三维脑分区可视化模型。
为更好地表示大脑活动的情况，设计一个颜色图（color map）用于脑区活动水平的映射。颜色图由RGB格式代码组成，其能被良好地识别。其中，大脑活动为激发性的为红色，活动水平越高则红色越深；大脑活动为抑制性的为蓝色，抑制程度越高则蓝色越深。
在实现三维大脑的不同脑区空间位置定义后，通过将每个时刻脑区活动水平以矩阵的形式映射到顶点空间中，实现顶点维度的活动水平矩阵，再通过颜色图定义活动强度与展示颜色的关系对顶点进行赋值，从而实现高效的每一顶点脑区活动强度关联的颜色渲染。
在一实施例中，如图7所示，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
S802：基于所述脑活动标准时间序列，确定动态可视化刷新频率；
S804：基于所述动态可视化刷新频率，依次将时刻的各脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
S806：基于脑区活动水平与颜色的对应关系，依次对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到动态的所述三维脑分区可视化模型。
对于不同的时刻，在设置好脑活动标准时间序列的动态可视化刷新频率后，依次对顶点维度的活动水平矩阵进行刷新，从而实现动态的脑活动标准时间序列的三维可视化。
在一实施例中，如图8所示，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
S902：获取所述三维脑分区模型中的感兴趣脑区；
S904：获取所述脑活动标准时间序列中某一时刻的所述感兴趣脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
S906：基于脑区活动水平与颜色的对应关系，对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到所述三维脑分区可视化模型。
为了实现选择不同脑区及对预设的脑活动标准时间序列的三维脑分区可视化模型进行展示时，采取对未被选择的脑区对应的顶点矩阵赋予灰色底色的方式，底色的颜色代码为[0.7，0.7，0.7，1]。对于选中的脑区，形成对应脑区映射到顶点的颜色矩阵，从而进行可视化渲染。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一实施例中，如图9所示，本发明提供了一种基于脑图谱的脑活动时间序列三维可视化装置，所述装置包括：
规整模块1002，用于将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列；
匹配模块1004，用于基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱；
映射模块1006，用于将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型；
可视化模块1008，用于将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。
通过规整模块将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列，通过匹配模块基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱，通过映射模块将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型，通过可视化模块将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。本发明能够支持支持多种模态的脑活动时间序列，且通过脑图谱库匹配得到对应的脑分区图谱能够便捷地对全脑活动的数据进行可视化。
关于基于脑图谱的脑活动时间序列三维可视化装置的具体限定可以参见上文中对于量化方法的限定，在此不再赘述。上述基于脑图谱的脑活动时间序列三维可视化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，本发明实施例提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过装置总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作装置和计算机程序的运行提供环境。该计算机设备的数据库用于存储动作检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任一项基于脑图谱的脑活动时间序列三维可视化方法实施例中的步骤。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一实施例中，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项基于脑图谱的脑活动时间序列三维可视化方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（DynamicRandom Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于脑图谱的脑活动时间序列三维可视化方法，其特征在于，所述方法包括：
将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列；
基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱；
将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型；
将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。
2.根据权利要求1所述的方法，其特征在于，所述将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列包括：
将所述脑活动时间序列的时间轴的单位调整为标准单位；
将单位调整后的所述脑活动时间序列规整为关于时间和脑区数量的矩阵，得到所述脑活动标准时间序列。
3.根据权利要求1所述的方法，其特征在于，所述基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱包括：
基于所述脑活动标准时间序列，确定脑区数量；
从脑图谱库中匹配得到与所述脑区数量相等的脑分区图谱。
4.根据权利要求1所述的方法，其特征在于，所述将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型包括：
获取所述三维大脑模型的顶点坐标或组成三角面的顶点坐标；
基于所述顶点坐标或组成三角面的顶点坐标，将所述三维大脑模型映射至所述脑分区图谱中得到三维脑分区模型。
5.根据权利要求1所述的方法，其特征在于，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
获取所述脑活动标准时间序列中某一时刻的各脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
基于脑区活动水平与颜色的对应关系，对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到所述三维脑分区可视化模型。
6.根据权利要求1所述的方法，其特征在于，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
基于所述脑活动标准时间序列，确定动态可视化刷新频率；
基于所述动态可视化刷新频率，依次将时刻的各脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
基于脑区活动水平与颜色的对应关系，依次对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到动态的所述三维脑分区可视化模型。
7.根据权利要求1所述的方法，其特征在于，所述将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型包括：
获取所述三维脑分区模型中的感兴趣脑区；
获取所述脑活动标准时间序列中某一时刻的所述感兴趣脑区的活动数据以矩阵的形式映射到所述三维脑分区模型中各脑区的顶点；
基于脑区活动水平与颜色的对应关系，对各脑区的顶点所对应的活动数据进行颜色赋值，以对所述三维脑分区模型的颜色渲染，得到所述三维脑分区可视化模型。
8.一种基于脑图谱的脑活动时间序列三维可视化装置，其特征在于，所述装置包括：
规整模块，用于将获取的任意模态的脑活动时间序列规整为脑活动标准时间序列；
匹配模块，用于基于所述脑活动标准时间序列从脑图谱库中匹配得到对应的脑分区图谱；
映射模块，用于将建立的三维大脑模型映射至所述脑分区图谱中，得到三维脑分区模型；
可视化模块，用于将所述脑活动标准时间序列映射至所述三维脑分区模型中，得到三维脑分区可视化模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至权利要求7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至权利要求7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311265913.1A CN117012397B (zh) | 2023-09-28 | 2023-09-28 | 基于脑图谱的脑活动时间序列三维可视化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311265913.1A CN117012397B (zh) | 2023-09-28 | 2023-09-28 | 基于脑图谱的脑活动时间序列三维可视化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117012397A true CN117012397A (zh) | 2023-11-07 |
| CN117012397B CN117012397B (zh) | 2024-03-12 |
Family
ID=88572993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311265913.1A Active CN117012397B (zh) | 2023-09-28 | 2023-09-28 | 基于脑图谱的脑活动时间序列三维可视化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117012397B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942424A (zh) * | 2014-04-13 | 2014-07-23 | 北京师范大学 | 一种基于多通道皮层脑电记录的大尺度皮层网络信息流个体化三维动态可视化方法 |
| US20150045688A1 (en) * | 2013-08-10 | 2015-02-12 | Dario Nardi | Nardi neurotype profiler system |
| US20180110438A1 (en) * | 2009-02-26 | 2018-04-26 | Ramot At Tel-Aviv University Ltd. | Method and system for characterizing cortical structures |
| CN109416939A (zh) * | 2017-12-05 | 2019-03-01 | 北京师范大学 | 面向群体应用的经颅脑图谱生成方法、预测方法及其装置 |
| CN113571163A (zh) * | 2021-07-05 | 2021-10-29 | 新乡医学院 | 一种构建全脑神经元网络连接图谱的方法 |
| US20220122312A1 (en) * | 2020-10-20 | 2022-04-21 | Siemens Healthcare Gmbh | Method and apparatus for the visualization of three-dimensional objects |
| US20220293244A1 (en) * | 2021-03-09 | 2022-09-15 | Washington University | Methods and systems for resting state fmri brain mapping with reduced imaging time |
| CN115115896A (zh) * | 2022-07-28 | 2022-09-27 | 华南师大(清远)科技创新研究院有限公司 | 一种脑功能磁共振图像分类方法、装置、终端及存储介质 |
| CN116189881A (zh) * | 2023-02-24 | 2023-05-30 | 北京航空航天大学 | 一种任务态功能磁共振个体化调控策略制定方法及系统 |
| US20230277061A1 (en) * | 2022-03-03 | 2023-09-07 | Omniscient Neurotechnology Pty Limited | Deriving connectivity data from selected brain data |
| CN116746880A (zh) * | 2023-05-26 | 2023-09-15 | 南京航空航天大学 | 一种基于大脑皮质脑电源的刺激参数调制睡眠疗效评估方法与装置 |
-
2023
- 2023-09-28 CN CN202311265913.1A patent/CN117012397B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180110438A1 (en) * | 2009-02-26 | 2018-04-26 | Ramot At Tel-Aviv University Ltd. | Method and system for characterizing cortical structures |
| US20150045688A1 (en) * | 2013-08-10 | 2015-02-12 | Dario Nardi | Nardi neurotype profiler system |
| CN103942424A (zh) * | 2014-04-13 | 2014-07-23 | 北京师范大学 | 一种基于多通道皮层脑电记录的大尺度皮层网络信息流个体化三维动态可视化方法 |
| CN109416939A (zh) * | 2017-12-05 | 2019-03-01 | 北京师范大学 | 面向群体应用的经颅脑图谱生成方法、预测方法及其装置 |
| US20220122312A1 (en) * | 2020-10-20 | 2022-04-21 | Siemens Healthcare Gmbh | Method and apparatus for the visualization of three-dimensional objects |
| US20220293244A1 (en) * | 2021-03-09 | 2022-09-15 | Washington University | Methods and systems for resting state fmri brain mapping with reduced imaging time |
| CN113571163A (zh) * | 2021-07-05 | 2021-10-29 | 新乡医学院 | 一种构建全脑神经元网络连接图谱的方法 |
| US20230277061A1 (en) * | 2022-03-03 | 2023-09-07 | Omniscient Neurotechnology Pty Limited | Deriving connectivity data from selected brain data |
| CN115115896A (zh) * | 2022-07-28 | 2022-09-27 | 华南师大(清远)科技创新研究院有限公司 | 一种脑功能磁共振图像分类方法、装置、终端及存储介质 |
| CN116189881A (zh) * | 2023-02-24 | 2023-05-30 | 北京航空航天大学 | 一种任务态功能磁共振个体化调控策略制定方法及系统 |
| CN116746880A (zh) * | 2023-05-26 | 2023-09-15 | 南京航空航天大学 | 一种基于大脑皮质脑电源的刺激参数调制睡眠疗效评估方法与装置 |
Non-Patent Citations (6)
| Title |
|---|
| NANNAN NING: "Comparison of Silicon Lattice-Filter-Based O-Band 1×8 (De)Multiplexers With Flat and Gaussian-Like Passbands", IEEE PHOTONICS JOURNAL, vol. 14, no. 2, pages 6615705 * |
| YOUNG, DAVID M.等: "Constructing and optimizing 3D atlases from 2D data with application to the developing mouse brain", ELIFE, vol. 10, pages 1 - 40 * |
| 朱恺等: "基于改进MC算法的脑图谱三维重建", 计算机应用与软件, vol. 33, no. 4, pages 177 - 182 * |
| 王兴朝;赵晓斌;吴琼;李仕维;王博;杨智君;赵赋;李朋;王振民;张晶;艾林;刘丕楠;: "NF1患者大脑活动特征的PET-CT研究", 中华神经创伤外科电子杂志, no. 02 * |
| 王笑等: "面向类脑计算的脑仿真研究进展与展望", 人工智能, no. 6, pages 41 - 53 * |
| 袁现坤;李淑宇;: "基于FreeSurfer面数据的网格点脑分区定位及其可视化", 北京生物医学工程, no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117012397B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nieto-Castanon et al. | CONN functional connectivity toolbox (RRID: SCR_009550), Version 21 | |
| JP7233555B2 (ja) | 画像認識方法、認識モデルのトレーニング方法及びその装置、並びにコンピュータプログラム | |
| CN109242865A (zh) | 基于多图谱的医学图像自动分区系统、方法、装置及存储介质 | |
| CN113646655B (zh) | 差分脑网络分析 | |
| KR101955919B1 (ko) | 딥러닝 기반의 영상데이터 내 관심영역 설정방법 및 프로그램 | |
| Hathaway et al. | Visual cluster validity for prototype generator clustering models | |
| EP3545500B1 (en) | System and method for rendering complex data in a virtual reality or augmented reality environment | |
| Mheich et al. | SimiNet: a novel method for quantifying brain network similarity | |
| US11037296B1 (en) | Deriving target data from selected brain data | |
| CN116797726B (zh) | 器官三维重建方法、装置、电子设备和存储介质 | |
| CN112700012A (zh) | 联邦特征选择方法、装置、设备及存储介质 | |
| US20220101521A1 (en) | Providing a classification explanation and a generative function | |
| CN114998374A (zh) | 基于位置先验的图像分割方法、装置、设备和存储介质 | |
| CN108229270A (zh) | 用于从遥感图像中识别道路的方法、装置和电子设备 | |
| WO2021030995A1 (zh) | 基于vrds ai下腔静脉影像的分析方法及产品 | |
| CN117012397B (zh) | 基于脑图谱的脑活动时间序列三维可视化方法及装置 | |
| Keiriz et al. | Exploring the human connectome topology in group studies | |
| EP4121893A1 (en) | Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms | |
| CN115861298B (zh) | 一种基于内镜检查可视化的图像处理方法及装置 | |
| CN115063439B (zh) | 一种基于网格的建筑信息图像化方法及装置 | |
| CN116486016A (zh) | 图像重建方法、装置、计算机设备和可读存储介质 | |
| Allioui et al. | A cooperative approach for 3D image segmentation | |
| Ma et al. | Rembrain: Exploring dynamic biospatial networks with mosaic matrices and mirror glyphs | |
| CN112257134B (zh) | 模型管理方法、装置及电子设备 | |
| CN113139590B (zh) | 时间序列数据的降维方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |