CN115357125A - 一种搭载图形界面的可交互式脑机接口方法和装置 - Google Patents

一种搭载图形界面的可交互式脑机接口方法和装置 Download PDF

Info

Publication number
CN115357125A
CN115357125A CN202211276614.3A CN202211276614A CN115357125A CN 115357125 A CN115357125 A CN 115357125A CN 202211276614 A CN202211276614 A CN 202211276614A CN 115357125 A CN115357125 A CN 115357125A
Authority
CN
China
Prior art keywords
interface
data
brain
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211276614.3A
Other languages
English (en)
Inventor
冯琳清
姜思逸
魏依娜
唐弢
田琪
朱琴
周津润
朱楠
李雅清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211276614.3A priority Critical patent/CN115357125A/zh
Publication of CN115357125A publication Critical patent/CN115357125A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明提出一种搭载图形界面的可交互式脑机接口方法和装置，提供一站式的相关服务。本发明针对光学脑机接口的各实验阶段，设计了高效的用户图形界面，同时也整合了目前该领域常用的热点工具，能够有效减少研究员进行光学脑机接口实验的时间成本，提高实验效率。本发明还针对光学脑机接口实验进行了普适性调整，可适用于大部分离线、在线实验，且操作灵活简便，运行稳定，可以在光学脑机接口领域广泛使用。

Description

一种搭载图形界面的可交互式脑机接口方法和装置
技术领域
本发明涉及光学脑机接口领域，特别涉及一种搭载图形界面的可交互式脑机接口方法和装置。
背景技术
近年来，光学脑机接口成为脑机接口领域极具潜力的一个分支。它通过钙成像的方式观察脑内神经元活动情况，可以做到对单细胞的长时间活动追踪，为脑部机理研究提供了强有力的支撑。针对光学脑机接口实验，国内外学者开发了许多工具箱，主要包括：发表在《Elife》上的《CaImAn an open source tool for scalable calcium imaging dataanalysis》；发表在《Frontiers in Neural Circuits》上的《EZcalcium: Open-SourceToolbox for Analysis of Calcium Imaging Data》；以及发表在《Biorxiv》上的《Suite2p: beyond 10,000 neurons with standard two-photon microscopy》。以上几种工具箱在采集和离线数据分析方面给研究员提供了很大便利，是近期学者们广泛选择使用的工具。
然而，这些工具箱并没有配置用户图形界面，只能够在代码层面运行，使得用户需要具备一定编程知识才可以使用。在实际使用过程中，用户往往会因为环境搭建、代码阅读、参数调试等问题耗费大量时间。因此，如何提升使用效率是一个待解决的问题。
发明内容
本发明的目的在于提供一种搭载图形界面的可交互式脑机接口方法和装置，以克服现有技术中的不足。
为实现上述目的，本发明提供如下技术方案：
本申请公开了一种搭载图形界面的可交互式脑机接口方法，具体包括如下步骤：
S1、采集包含神经元活动的钙成像实验数据，所述实验数据包括测试数据和训练数据；
S2、对实验数据进行预处理，并进行感兴趣区域和荧光轨迹的提取，得到脑内神经元发放信号；
S3、通过训练数据的脑内神经元发放信号对解码器进行训练；
S4、使用训练好的解码器解析测试数据的脑内神经元发放信号，完成被试者脑活动至行为的解析。
作为优选，步骤S1具体包括如下子步骤：
S11、根据实验需求，调整摄像头的画面参数；
S12、通过摄像头捕捉钙成像画面并显示在图像界面中。
作为优选，步骤S11中画面参数包括曝光值、增益值、LED灯光强度以及显示帧率。
作为优选，步骤S2具体包括如下子步骤：
S21、对实验数据进行运动校正处理，在图像界面中重新加载校正后的数据；
S22，选取感兴趣区域，并在图像界面上显示标注；
S23，对感兴趣区域进行荧光轨迹提取，并显示在图像界面上。
作为优选，步骤S21中运动校正过程具体如下：遍历整个实验数据获取模板，通过模板逐帧对实验数据进行校正。
作为优选，步骤S22中选取感兴趣区域包括自动选取和手动选取，自动选取的算法与参数由用户指定。
作为优选，步骤S23中荧光轨迹提取具体过程包括：提取各感兴趣区域内的荧光值，并以曲线的形式绘制在图像界面上。
本申请还公开了一种搭载图形界面的可交互式脑机接口装置，包括图像用户界面，用于与各模块进行交互；项目管理模块，用于管理整个项目的运行状态；采集模块，用于采集实验数据；离线解析模块，用于对实验数据进行预处理，并提取感兴趣区域中的数据；在线解析模块，用于实时获取并处理实验数据，提取感兴趣区域中的数据；解码模块，用于对提取好的实验数据进行训练或解析。
本发明的有益效果：
1、本发明提供一个可交互式的图形界面，免除了用户因代码技能不足而无法高效利用相关工具的问题。
2、本发明提供一站式服务，保证了各个步骤切换时的数据一致性，避免因各工具包输入输出不同导致的格式切换问题。
3、本发明同时支持离线与在线实验
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1为本发明整体结构的示意图；
图2为本发明中采集模块实施步骤示意图；
图3为本发明中离线模块实施步骤示意图；
图4为本发明中在线模块实施步骤示意图；
图5为本发明中解码模块实施步骤示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明一种搭载图形界面的可交互式脑机接口方法，具体包括如下步骤：
S1、采集包含神经元活动的钙成像实验数据，所述实验数据包括测试数据和训练数据；
S2、对实验数据进行预处理，并进行感兴趣区域和荧光轨迹的提取，得到脑内神经元发放信号；
S3、通过训练数据的脑内神经元发放信号对解码器进行训练；
S4、使用训练好的解码器解析测试数据的脑内神经元发放信号，完成被试者脑活动至行为的解析。
在一种可行的实施例中，步骤S1具体包括如下子步骤：
S11、根据实验需求，调整摄像头的画面参数；
S12、通过摄像头捕捉钙成像画面并显示在图像界面中。
在一种可行的实施例中，步骤S11中画面参数包括曝光值、增益值、LED灯光强度以及显示帧率。
在一种可行的实施例中，步骤S2具体包括如下子步骤：
S21、对实验数据进行运动校正处理，在图像界面中重新加载校正后的数据；
S22，选取感兴趣区域，并在图像界面上显示标注；
S23，对感兴趣区域进行荧光轨迹提取，并显示在图像界面上。
在一种可行的实施例中，步骤S21中运动校正过程具体如下：遍历整个实验数据获取模板，通过模板逐帧对实验数据进行校正。
在一种可行的实施例中，步骤S22中选取感兴趣区域包括自动选取和手动选取，自动选取的算法与参数由用户指定。
在一种可行的实施例中，步骤S23中荧光轨迹提取具体过程包括：提取各感兴趣区域内的荧光值，并以曲线的形式绘制在图像界面上。
实施例：
图1为本申请实例公开的整体结构示意图，包括：项目管理模块、采集模块、离线解析模块、在线解析模块和解码模块；其中，项目管理模块用于管理整个项目的运行状态，例如项目的设置、保存与加载等；采集模块、离线解析模块和解码模块共同支持离线光学脑机接口实验流程；采集模块用于采集实验数据。离线解析模块用于对实验数据进行预处理，并提取感兴趣区域中的数据。解码模块用于对提取好的实验数据进行训练或解析。在线解析模块、解码模块共同支持在线光学脑机接口实验流程；其中在线解析模块用于实时获取并处理实验数据，提取感兴趣区域中的数据；解码模块功能与上述相同。
图2为本发明中采集模块实施流程示意图，具体步骤包括：
S101，获取摄像头编号并设定至对应显示框体中；
S102，获取摄像头捕捉的画面并显示在界面中，调整参数使画面符合实验需求；
S103，录制调整好的画面，以.avi格式保存至本地。
在上述技术方案的基础上，显示画面可调整的参数包括：曝光值、增益值、LED灯光强度以及显示帧率。
图3为本发明中离线解析模块实施流程示意图，具体步骤包括：
S201，读取实验数据，将数据显示在界面中；
S202，对实验数据进行运动校正处理，在界面中重新加载校正后的数据；
S203，手动或自动选取感兴趣区域，并在界面上显示标注；
S204，荧光轨迹提取，并显示在界面上。
在上述技术方案的基础上，读取的实验数据可以是上述采集模块保存的数据，也可以是公开数据集上的数据。
在上述技术方案的基础上，运动校正过程包括：遍历整个实验数据获取模板，通过模板逐帧对实验数据进行校正。
在上述技术方案的基础上，自动感兴趣区域选取的算法与参数可由用户指定，该模块搭载了多种算法，包括：CNMFe、HNCcorr
在上述技术方案的基础上，荧光轨迹提取的过程包括：提取各感兴趣区域内的荧光值，并以曲线的形式绘制在界面上的图表中。
图4为本发明中在线解析模块实施流程示意图，具体步骤包括：
S301，获取摄像头捕捉的画面并显示在界面中，调整参数使画面符合实验需求；
S302，运动校正预处理，在界面中显示校正后的数据；
S303，手动或自动选取感兴趣区域，并在界面上显示标注；
S304，实时荧光轨迹提取，并动态显示在界面上。
在上述技术方案的基础上，运动校正预处理过程包括：预采集一段数据用于生成模板，通过模板对实时加入的数据进行校正，同时对模板进行更新。
在上述技术方案的基础上，自动感兴趣区域选取仅搭载了CNMFe，参数可由用户自由指定。
图5为本发明中解码模块实施流程示意图，具体步骤包括：
S401，获取荧光轨迹数据；
S402，通过荧光轨迹数据训练解码器；
S403，使用解码器解析荧光轨迹数据；
在上述技术方案的基础上，荧光轨迹数据的来源可以是离线解析模块处理后的数据，或是在线解析模块处理后的数据。
在上述技术方案的基础上，解码器的来源可以是本次实验生成的，也可以选取之前实验训练完成的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种搭载图形界面的可交互式脑机接口方法，其特征在于，具体包括如下步骤：
S1、采集包含神经元活动的钙成像实验数据，所述实验数据包括测试数据和训练数据；
S2、对实验数据进行预处理，并进行感兴趣区域和荧光轨迹的提取，得到脑内神经元发放信号；
S3、通过训练数据的脑内神经元发放信号对解码器进行训练；
S4、使用训练好的解码器解析测试数据的脑内神经元发放信号，完成被试者脑活动至行为的解析。
2.如权利要求1所述的一种搭载图形界面的可交互式脑机接口方法，其特征在于，步骤S1具体包括如下子步骤：
S11、根据实验需求，调整摄像头的画面参数；
S12、通过摄像头捕捉钙成像画面并显示在图像界面中。
3.如权利要求2所述的一种搭载图形界面的可交互式脑机接口方法，其特征在于，步骤S11中画面参数包括曝光值、增益值、LED灯光强度以及显示帧率。
4.如权利要求1所述的一种搭载图形界面的可交互式脑机接口方法，其特征在于，步骤S2具体包括如下子步骤：
S21、对实验数据进行运动校正处理，在图像界面中重新加载校正后的数据；
S22，选取感兴趣区域，并在图像界面上显示标注；
S23，对感兴趣区域进行荧光轨迹提取，并显示在图像界面上。
5.如权利要求4所述的一种搭载图形界面的可交互式脑机接口方法，其特征在于，步骤S21中运动校正过程具体如下：遍历整个实验数据获取模板，通过模板逐帧对实验数据进行校正。
6.如权利要求4所述的一种搭载图形界面的可交互式脑机接口方法，其特征在于，步骤S22中选取感兴趣区域包括自动选取和手动选取，自动选取的算法与参数由用户指定。
7.如权利要求4所述的一种搭载图形界面的可交互式脑机接口方法，其特征在于，步骤S23中荧光轨迹提取具体过程包括：提取各感兴趣区域内的荧光值，并以曲线的形式绘制在图像界面上。
8.一种搭载图形界面的可交互式脑机接口装置，其特征在于：包括图像用户界面，用于与各模块进行交互；项目管理模块，用于管理整个项目的运行状态；采集模块，用于采集实验数据；离线解析模块，用于对实验数据进行预处理，并提取感兴趣区域中的数据；在线解析模块，用于实时获取并处理实验数据，提取感兴趣区域中的数据；解码模块，用于对提取好的实验数据进行训练或解析。
CN202211276614.3A 2022-10-19 2022-10-19 一种搭载图形界面的可交互式脑机接口方法和装置 Withdrawn CN115357125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276614.3A CN115357125A (zh) 2022-10-19 2022-10-19 一种搭载图形界面的可交互式脑机接口方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276614.3A CN115357125A (zh) 2022-10-19 2022-10-19 一种搭载图形界面的可交互式脑机接口方法和装置

Publications (1)

Publication Number Publication Date
CN115357125A true CN115357125A (zh) 2022-11-18

Family

ID=84007680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276614.3A Withdrawn CN115357125A (zh) 2022-10-19 2022-10-19 一种搭载图形界面的可交互式脑机接口方法和装置

Country Status (1)

Country Link
CN (1) CN115357125A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1448121A1 (en) * 2001-10-29 2004-08-25 Duke University Closed loop brain machine interface
CN110534180A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 深度学习人机互适应运动想象脑机接口系统和训练方法
CN113935380A (zh) * 2021-10-22 2022-01-14 北京理工大学 一种基于模板匹配的自适应运动想象脑机接口方法与系统
CN114356074A (zh) * 2021-11-30 2022-04-15 上海交通大学 基于在体荧光信号的动物脑机接口实现方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1448121A1 (en) * 2001-10-29 2004-08-25 Duke University Closed loop brain machine interface
CN110534180A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 深度学习人机互适应运动想象脑机接口系统和训练方法
CN113935380A (zh) * 2021-10-22 2022-01-14 北京理工大学 一种基于模板匹配的自适应运动想象脑机接口方法与系统
CN114356074A (zh) * 2021-11-30 2022-04-15 上海交通大学 基于在体荧光信号的动物脑机接口实现方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUIXUE WANG, JIAWEI HAN: "Decoding with Calcium Signals from Layer 2/3 Motor Cortex during A Pressing Movement", 《2019 41ST ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》 *
杨帮华等: "一种运动想象脑机接口训练系统的设计", 《北京生物医学工程》 *

Similar Documents

Publication Publication Date Title
WO2021098796A1 (zh) 图像处理方法、装置、设备及计算机可读存储介质
US20220046161A1 (en) Image acquisition method and apparatus, device, and storage medium
CN109300179B (zh) 动画制作方法、装置、终端和介质
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
EP3823292B1 (en) Electronic apparatus and control method thereof
CN103295171B (zh) 基于智能录播系统的s-t教学自动分析方法
CN103020590B (zh) 一种基于三维模型与图像匹配的车辆识别系统及其方法
CN107370960A (zh) 图像处理方法
EP3852007B1 (en) Method, apparatus, electronic device, readable storage medium and program for classifying video
WO2022194152A1 (zh) 基于图像处理模型的图像处理方法、装置、电子设备、存储介质及计算机程序产品
JP7111873B2 (ja) 信号灯識別方法、装置、デバイス、記憶媒体及びプログラム
US11398207B2 (en) Multi-screen interactive network teaching method and apparatus
DE102020133445A1 (de) Kameraorchestrierungstechnologie zum verbessern von automatischer personenidentifizierung
CN112351336A (zh) 基于视频图像分割优化电视画质方法、装置、终端及介质
CN110087369B (zh) 办公区的灯光控制方法及装置、存储介质、电子设备
CN115272252A (zh) 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN115357125A (zh) 一种搭载图形界面的可交互式脑机接口方法和装置
WO2024178985A1 (zh) 工业检测中的样本生成方法、样本生成装置
CN115995116B (zh) 基于计算机视觉的抑郁状态评估方法、装置、终端及介质
CN116912187A (zh) 图像生成模型训练及图像生成方法、装置、设备和介质
CN110363245B (zh) 在线课堂的精彩图片筛选方法、装置及系统
WO2024119626A1 (zh) 一种全局卷帘快门曝光控制方法、装置及电子设备
CN116309343A (zh) 一种基于深度学习的缺陷检测方法、装置和存储介质
CN114066791B (zh) 一种智能显微镜图像质量增强复原方法
CN110751982B (zh) 一种智能并行化敲除策略筛选的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221118

WW01 Invention patent application withdrawn after publication