CN116382465B - 光学脑机接口系统和方法 - Google Patents

光学脑机接口系统和方法 Download PDF

Info

Publication number
CN116382465B
CN116382465B CN202310131178.9A CN202310131178A CN116382465B CN 116382465 B CN116382465 B CN 116382465B CN 202310131178 A CN202310131178 A CN 202310131178A CN 116382465 B CN116382465 B CN 116382465B
Authority
CN
China
Prior art keywords
image data
registration
optical
neural
preprocessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310131178.9A
Other languages
English (en)
Other versions
CN116382465A (zh
Inventor
蒿杰
杜久林
尚春峰
赵美婷
范秋香
吕志丰
穆宇
汪玙璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Center for Excellence in Brain Science and Intelligence Technology Chinese Academy of Sciences
Guangdong Institute of Artificial Intelligence and Advanced Computing
Original Assignee
Institute of Automation of Chinese Academy of Science
Center for Excellence in Brain Science and Intelligence Technology Chinese Academy of Sciences
Guangdong Institute of Artificial Intelligence and Advanced Computing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, Center for Excellence in Brain Science and Intelligence Technology Chinese Academy of Sciences, Guangdong Institute of Artificial Intelligence and Advanced Computing filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310131178.9A priority Critical patent/CN116382465B/zh
Priority to PCT/CN2023/084459 priority patent/WO2024168994A1/zh
Publication of CN116382465A publication Critical patent/CN116382465A/zh
Application granted granted Critical
Publication of CN116382465B publication Critical patent/CN116382465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Neurosurgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种光学脑机接口系统和方法，属于生物医学领域，采集单元基于预设接口从光学采集设备获取光学神经信号；预处理单元对光学神经信号进行预处理，得到第一神经图像数据；配准单元根据预设的第一配准算法和预设的第二配准算法对第一神经图像数据进行并行配准，得到配准后的第二神经图像数据；解码单元根据预设的感兴趣区域对第二神经图像数据进行解码，得到神经活动表征数据；反馈单元根据神经活动表征数据，得到反馈控制信号以进行闭环反馈。本发明通过接口从光学采集设备直接获取底层的光学神经信号，进行实时的预处理、配准、解码等步骤，通过神经活动表征数据得到反馈控制信号以进行闭环反馈。

Description

光学脑机接口系统和方法
技术领域
本发明涉及生物医学技术领域，尤其涉及一种光学脑机接口系统和方法。
背景技术
脑机接口技术可以记录病患的神经信号，从神经信号中解读活动信息，反馈控制人造设备的运转。具体的，脑机接口技术需要通过电极技术获取神经元的信号，但是，植入电极会伤害神经组织，且仅能在个别脑区采集部分神经元的活动，同时缺乏神经元类型信息和长时间稳定跟踪记录能力，不能充分利用神经元进行环路运算。
为此，光学脑机接口技术通过光学记录方法追踪大规模神经元活动，结合光学信息更有效地了解利用神经环路运作和脑功能的规律，提高脑机接口的运动控制性能。
然而，光学记录手段的迅速发展，对光学神经信号处理提出了相当高的性能要求。不同的光学信息模态、同一模态下的不同传感设备都会产生各自不同的数据结构，虽然传感设备厂商通常会配备适当的数据采集软件，但是难以通过数据采集软件直接获取传感设备的底层数据，无法利用传感设备的底层数据追踪神经信号，光学神经信号处理过程实时性差，无法满足脑机接口系统闭环反馈的要求。
发明内容
本发明提供一种光学脑机接口系统和方法，用以解决现有技术中难以通过数据采集软件直接获取传感设备的底层数据，无法利用传感设备的底层数据追踪神经信号，光学神经信号处理过程实时性差，无法满足脑机接口系统闭环反馈的要求的缺陷。
本发明提供一种光学脑机接口系统，包括：
采集单元，用于基于预设接口从光学采集设备获取光学神经信号；
预处理单元，用于对所述光学神经信号进行预处理，得到第一神经图像数据，其中，所述第一神经图像数据包括至少一层图像数据；
配准单元，用于根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据；
解码单元，用于根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据；
反馈单元，用于根据所述神经活动表征数据，得到反馈控制信号以进行闭环反馈。
根据本发明提供的一种光学脑机接口系统，所述对所述光学神经信号进行预处理，得到第一神经图像数据，包括：
基于所述光学采集设备的工作模式，对所述光学神经信号进行规整，得到所述第一神经图像数据。
根据本发明提供的一种光学脑机接口系统，所述预处理单元，还用于对所述第一神经图像数据进行编号。
根据本发明提供的一种光学脑机接口系统，所述预处理单元，还用于控制所述光学采集设备的启停和工作模式。
根据本发明提供的一种光学脑机接口系统，所述根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据，包括：
对预先获取的参考图像数据进行预处理，得到参考图像预处理数据；
根据所述第一配准算法和所述参考图像预处理数据对所述第一神经图像数据进行全局配准；
根据所述第二配准算法和所述参考图像预处理数据对全局配准后的所述第一神经图像数据进行局部配准；
基于局部配准的配准结果，得到所述第二神经图像数据。
根据本发明提供的一种光学脑机接口系统，所述对预先获取的参考图像数据进行预处理，得到参考图像预处理数据，包括：
基于所述第一配准算法对所述参考图像数据进行全局预处理；
基于所述第二配准算法对所述参考图像数据进行局部预处理；
根据所述全局预处理的结果和所述局部预处理的结果，得到所述参考图像预处理数据。
根据本发明提供的一种光学脑机接口系统，所述配准单元，还用于基于预设的轮询驱动模式获取所述第一神经图像数据。
根据本发明提供的一种光学脑机接口系统，所述根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据，包括：
根据预设的感兴趣区域，确定所述第二神经图像数据中的感兴趣区域；
计算所述第二神经图像数据中每个感兴趣区域的数值以及变化趋势，得到所述神经活动表征数据。
根据本发明提供的一种光学脑机接口系统，还包括：
存储单元，用于分隔存储所述第一神经图像数据和所述第二神经图像数据。
本发明还提供了一种光学脑机接口方法，包括：
基于预设接口从光学采集设备获取光学神经信号；
对所述光学神经信号进行预处理，得到第一神经图像数据；
根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据；
根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据；
根据所述神经活动表征数据，得到反馈控制信号以进行闭环反馈。
本发明提供的光学脑机接口系统和方法，通过接口从光学采集设备直接获取底层的光学神经信号，无需通过厂家配备的数据采集软件，可以对底层的光学神经信号进行实时的预处理、配准、解码等追踪步骤，还可以根据解码后的神经活动表征数据得到反馈控制信号以进行闭环反馈。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的光学脑机接口系统的结构示意图之一；
图2是本发明提供的采集单元和预处理单元的原理框图；
图3是本发明提供的预处理单元的程序模块示意图；
图4是本发明提供的光学脑机接口系统的结构示意图之二；
图5是本发明提供的模板图像窗口滑动示意图；
图6是本发明提供的待配准图像数据和参考图像数据的层间配准关系示意图；
图7是本发明提供的参考图像数据的传输示意图；
图8是本发明提供的待配准图像数据的传输示意图；
图9是本发明提供的ROI提取示意图；
图10为第10脑区一段时间内的ROI折线图示意图；
图11为第19脑区一段时间内的ROI折线图示意图；
图12为第2脑区一段时间内的ROI折线图示意图；
图13为第13脑区一段时间内的ROI折线图示意图，
图14是本发明提供的光学脑机接口方法的流程示意图之一；
图15是本发明提供的光学脑机接口方法的流程示意图之二。
附图标记：
100：采集单元；200：预处理单元；300：配准单元；400：解码单元；500：反馈单元；600：存储单元。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请实施例的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请实施例中的具体含义。
在本申请实施例中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
图1是本发明提供的光学脑机接口系统的结构示意图之一，如图1所示，本发明提供一种光学脑机接口系统，包括：
采集单元100，用于基于预设接口从光学采集设备获取光学神经信号；
预处理单元200，用于对所述光学神经信号进行预处理，得到第一神经图像数据，其中，所述第一神经图像数据包括至少一层图像数据；
配准单元300，用于根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据；
解码单元400，用于根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据；
反馈单元500，用于根据所述神经活动表征数据，得到反馈控制信号以进行闭环反馈。
光学采集设备可以为光学传感器或者光学相机，预设接口是与光学采集设备数据的接口能够进行通信的设备。本发明的采集单元100包含多种通信接口，能够与常用的光学采集设备进行连接通信。比如光学采集设备为生物领域常用的高速荧光相机，采集单元100则通过Camera link协议接口与高速荧光相机连接，直接从高速荧光相机获取底层数据。
Camera Link协议接口有三种配置Base、Medium、Full，主要是解决数据传输量的问题，能够高速传输，为不同速度的相机提供了适合的配置和连接方式。
图2是本发明提供的采集单元和预处理单元的原理框图，如图2所示，具体的，采集单元100可采用采集子卡，采集子卡的数量可根据实际需求设置，本发明对此不做限定。
可选的，预处理单元200包括FPGA(Field Programmable Gate Array)主板和管理终端，采集子卡插在FPGA主板上工作，采集子卡与FPGA主板的连接接口为FMC(FPGAMezzanine Card)接口，FPGA主板可通过高速网口与管理终端进行连接。管理终端可采用笔记本电脑、台式电脑、一体式电脑等。
图3是本发明提供的预处理单元的程序模块示意图，如图3所示，FPGA主板用于接收光学神经信号、对光学神经信号进行预处理和转发第一神经图像数据。FPGA主板包括数据采集模块、数据缓存模块、数据预处理模块、第一网口模块、光学采集设备控制模块和第二网口模块。
其中，数据采集模块用于完成光学神经信号的接收和解析；数据缓存模块用于对解析的光学神经信号进行缓存；数据预处理模块用于对光学神经信号进行预处理，将光学神经信号规整为第一神经图像数据，预处理方法包括图像裁剪、滤波、格式转换等；第一网口模块用于接收来自管理终端的控制指令，包括光学采集设备的控制指令和FPGA主板各个模块的控制指令，第一网口模块还用于上传FPGA主板各个模块和光学采集设备的状态信息，以及光学神经信号预处理的部分中间结果；光学采集设备控制模块用于接收来自第一网口模块的光学采集设备的控制指令，将其转换为光学采集设备可识别的命令格式发送给采集子卡，采集子卡将命令发送给光学采集设备，以实现对光学采集设备的实时控制；第二网口模块用于动态转发第一神经图像数据。
可选的，第一网口模块具体为千兆网口模块，实现千兆网协议，第二网口模块具体为万兆网口模块，用于实现万兆网协议，通过设置不同的目的IP地址，可实现数据的动态分发。
配准单元300使用CPU加多个GPU(Graphics Processing Unit，图形处理器)构成异构计算平台，实现了基于CUDA的并行图像配准算法，在保证图像配准的准确性基础上，加速图像配准的速度，实现海量图像背景下高分辨率图像的快速配准。
可选的，第一配准算法为基于频域相位相关的配准算法，第二配准算法是模板匹配的配准算法。
解码单元400和反馈单元500均通过CPU完成对应的功能。
图4是本发明提供的光学脑机接口系统的结构示意图之二，如图4所示，在其他实施例中，可将采集单元100和预处理单元200集成为一体化结构，构成采集预处理系统。配准单元300、解码单元400和反馈单元500可集成为一体，比如CPU、多GPU卡构成的服务器，构成数据实时处理系统，实现高带宽下图像数据接收、图像配准和脑区观测、信号反馈的实时处理。
可以理解的是，本发明通过接口从光学采集设备直接获取底层的光学神经信号，无需通过厂家配备的数据采集软件，可以对底层的光学神经信号进行实时的预处理、配准、解码等追踪步骤，还可以根据解码后的神经活动表征数据得到反馈控制信号以进行闭环反馈。
在上述实施例的基础上，作为一个可选的实施例，所述对所述光学神经信号进行预处理，得到第一神经图像数据，包括：
基于所述光学采集设备的工作模式，对所述光学神经信号进行规整，得到所述第一神经图像数据。
对所述光学神经信号进行规整，是将采集到的数据规整化成有序的完整图像数据。
不同的光学采集设备对应的工作模式和数据格式不同，例如在生物领域常用的高速荧光相机，其中一种工作模式是光学设备扫描方向由中间向两侧，每次扫描2行数据。
预处理单元200数据行标定，待收到所有数据后对数据行进行排序，形成一幅数据行有序的完整的图像数据。
可以理解的是，本发明获取到光学采集设备的扫描数据后进行实时标定，待光学采集设备将所有数据扫描完成后，数据行标定也随之完成，无需等待光学采集设备配套软件对数据进行加工，实现了数据的实时采集。
在上述实施例的基础上，作为一个可选的实施例，所述预处理单元200，还用于对所述第一神经图像数据进行编号。
具体的，第一神经图像数据包含全脑神经信号对应的图像数据，是由一层一层的图像数据组成的，有图像顺序编号的需求。
可选的，本发明提出的系统还包括时序控制单元，时序控制单元接收来自管理终端的指令，生成时序控制信号，即时序脉冲。时序控制单元可以生成用于触发光学采集设备的曝光的第一触发器脉冲信号以及用于表征本次曝光对应图像数据的层编号信息的第二触发器脉冲信号，其中，在曝光开启的一段特定时间内的第二触发器脉冲信号的脉冲个数代表层编号，第一触发器脉冲信号和第二触发器脉冲信号同步。时序控制单元还可以用于生成其他一些时序控制信号，比如光源控制等。
所述预处理单元200可以接收第二触发器脉冲信号，同步规整化后的第一神经图像数据的图像层编号。
可以理解的是，预处理单元200可以对第一神经图像数据进行批量编号，提高了数据处理的实时性。
在上述实施例的基础上，作为一个可选的实施例，所述预处理单元，还用于控制指令以控制所述光学采集设备的启停和工作模式。
可以理解的是，预处理单元200将光学采集设备的控制指令转换为光学采集设备可识别的命令格式，通过采集单元100的预设接口传输给光学采集设备，无需通过厂商配备的软件进行控制，提高了反馈的实时性。
在上述实施例的基础上，作为一个可选的实施例，所述根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据，包括：
对预先获取的参考图像数据进行预处理，得到参考图像预处理数据；
根据所述第一配准算法和所述参考图像预处理数据对所述第一神经图像数据进行全局配准；
根据所述第二配准算法和所述参考图像预处理数据对全局配准后的所述第一神经图像数据进行局部配准；
基于局部配准的配准结果，得到所述第二神经图像数据。
图6是本发明提供的待配准图像数据和参考图像数据的层间配准关系示意图，如图6所示，可选的，图像配准是全脑同层图像之间的配准，图像层数为l，因此参考图像的个数也为l。配准单元300在初次启动时需要采集参考图像数据，并对其进行预处理。为保证数据的可靠性，每一层的参考图像数据采集数量为多幅，分别进行预处理后取平均值作为该层的参考图像预处理数据。
图7是本发明提供的参考图像数据的传输示意图，图8是本发明提供的待配准图像数据的传输示意图，如图7和图8所示，参考图像数据首先缓存在内存中，但是由于图像配准计算是在GPU中完成，参考图像预处理数据需要存储在显存中，为后续图像数据配准提供参考数据。因为从每个网口接收的参考图像数据不一样，为保证图像配准的完整性和可靠性，每个GPU显存中均需要保存完整的参考图像预处理数据。图像配准工作是在多块GPU卡中并行完成，配准的是不同的图像，无需在每块GPU显存中存储所有图像，只需要存储对应内存缓冲池的图像数据即可。配准图像以单幅图像为单位工作，每个GPU接收到待配准图像后，根据配准算法流程进行配准。其中，配准算法流程包括全局配准和局部配准。
可选的，全局配准即将原始图像数据和参考图像数据进行傅里叶变换，运用相位相关法，得到原始图像数据相对参考图像数据的偏移矢量，并对原始图像数据进行位置调整配准。
第一配准算法为基于频域相位相关的配准算法，是解决具有平移参数的图像配准问题。根据二维傅里叶变换的性质：空域上的平移等价于频域相位的平移，两幅图的平移矢量可以通过互功率谱的相位直接计算。
假设f1(x,y)和f2(x,y)为两个图像信号，满足式(1)的关系，即f2(x,y)由f1(x,y)经过简单的平移得到。
f2(x,y)＝f1(x-x0,y-y0)(1)
其中，x和y表示某一图像数据在图像中的二维坐标，x表示横坐标，y表示纵坐标；x0和y0表示坐标平移偏移量，x0表示横坐标平移偏移量，y0表示纵坐标平移偏移量。
根据傅里叶变换的性质可得
其中，u和v表示图像数据傅里叶变换后的数据二维坐标，u表示横坐标数据，v表示纵坐标数据。
式(2)中的F1(u,v)和F2(u,v)分别为f1(x,y)和f2(x,y)的傅里叶变换，归一化互功率谱为
式(3)中：F1 *(u,v)为F1(u,v)的复数共轭；的傅里叶逆变换可得到在空间位置(x0,y0)处形成的一个二维脉冲函数δ(x-x0,y-y0)，所以只需要对式(3)左边进行傅里叶逆变换。
频域相位相关法就是求取式(3)的傅里叶逆变换，然后找到峰值位置(脉冲位置)来确定平移参数x0和y0，即峰值的位置(x0,y0)就是待配准图像的偏移矢量。
可选的，局部配准即在全局配准的基础上，采用同样的模板滑动方法，分别在参考图像数据和待配准图像数据进行图像数据分割，对分割后的模板图像数据进行配准，根据模板图像数据大小和滑动步长计算出待配准的子图像数据数量n，并将待配准图像中的n个子图像数据与参考图像数据中的n个模板参考图像数据进行一一对应配准，对逻辑空间位置一样的两个模板图像数据(即待配准图像数据中的一个模板图像数据和参考图像数据中的一个模板图像数据)进行相位相关配准，获得局部模板图像数据的偏移矢量，依次配准获得n组偏移矢量后，对待配准的整幅图像数据进行位置调整配准。
图5是本发明提供的模板图像窗口滑动示意图，如图5所示，模板匹配指的是在待配准图像数据中定义一个模板A，在参考图像数据中搜索与之匹配程度最高的模板B，然后根据两个模板之间的平移关系确定这两幅图像之间的配准参数。
假设模板A和参考图像分别为f2(x,y)和f1(x,y)，则衡量参考图像位置(l,m)处的窗口与模板A的相似性度量值(The normalized correlation，NC标准化相关系数)为
其中，l和m是指在参考图像中搜寻的模板图像在参考图像中的二维坐标位置，l表示横坐标，m表示纵坐标。
具体的，设GPU的个数为2，配准算法分为全局配准和局部配准两部分，先进行全局配准，然后在全局配准结果上对图像切割，进行局部配准。全局配准模板：在每个GPU中根据基于傅里叶变换的配准算法，对整幅图像进行傅里叶变换，并保存其频域数据在显存中，此数据即为全局配准数据。
模板图像分割是在每个GPU内完成的，按照定义好的参数采用窗口滑动的方法进行分割，如图4所示。分割后小图像的个数N计算公式为(5)-(7)：
N＝Wn*Wm (5)
其中，W表示图像的宽度，H表示图像的高度，Sw表示滑动窗口的宽度，Sh表示滑动窗口的高度，D表示窗口滑动步长。
参考图像分割后，根据小图像的个数N和小图像的分辨率大小Sw*Sh进行任务划分，并在GPU的kernel内完成并行计算，即根据基于傅里叶变换的配准算法，对每幅小图像进行傅里叶变换，并保存其频域数据在显存中，此数据即为局部配准模板数据。
在配准过程中根据GPU和缓冲区个数进行任务划分，每个任务处理过程中GPU与缓冲区一一对应，即GPU1处理缓冲区1中的待配准图像，GPU2处理缓冲区2中的待配准图像数据，实现海量图像的任务并行处理。每个缓冲区每次最多可以存储图像个数为P：
P＝M/2 (8)
其中M表示待配准的图像总数量。
可以理解的是，本发明通过第一配准算法和第二配准算法对第一神经图像数据进行并行配准，大大提高了图像数据配准的速度。
在上述实施例的基础上，作为一个可选的实施例，所述对预先获取的参考图像数据进行预处理，得到参考图像预处理数据，包括：
基于所述第一配准算法对所述参考图像数据进行全局预处理；
基于所述第二配准算法对所述参考图像数据进行局部预处理；
根据所述全局预处理的结果和所述局部预处理的结果，得到所述参考图像预处理数据。
可选的，全局预处理指的是对整幅参考图像数据进行傅里叶变换，假设f1(x,y)为参考图像数据，经过傅里叶变换得到F1(u,v)，进一步得到其复数共轭F1 *(u,v)，并将F1 *(u,v)数据存储在显存中。
可选的，局部预处理指的是根据窗口滑动方法获取n个模板参考图像数据，并根据全局预处理方法依次处理n个模板参考图像数据，得到n组复数共轭数据，并存储在显存中。
可以理解的是，本发明通过预先对参考图像数据进行预处理，有助于提高第一神经图像数据配准的实时性。
在上述实施例的基础上，作为一个可选的实施例，所述配准单元300，还用于基于预设的轮询驱动模式获取所述第一神经图像数据。
数据实时接收是数据实时处理的必要条件，为确保后续的配准算法实时处理，要保证接收图像数据的完整性，本发明采用的是多网口万兆网卡和高速数据采集IXCAP驱动，用来接收图像实时采集系统发送过来的图像数据。
具体的，所述配准单元可根据光学采集设备的性能和数据带宽需求实现多网卡多网口的数据接收。光学设备采集到的图像数据是有序的，以一帧完整的图像数据为单位分发至不同的网口。将多网口虚拟成一个循环缓冲池，每个网口为一个缓冲区，每个网口一次接收完整的图像数据，根据全脑图像数据层数，在多网口中实现规律性循环接收。
第i层图像数据对应的网口编号计算公式如下：
K＝[(T-1)*E+I]％F (9)
其中，K为网口编号，F为网口数量，E为全脑图像数据层数，T为全脑时序时间，％表示求余。本发明可以保证每个网口可以接收到完整的一帧图像数据，避免了后续数据整合带来的计算延时影响。
可以理解的是，本发明通过高速数据采集IXCAP驱动，采用轮询的驱动模式来对网卡数据进行读取，避免了操作系统对网卡中断响应的不确定性，提高系统传输的可靠性。
在上述实施例的基础上，作为一个可选的实施例，所述根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据，包括：
根据预设的感兴趣区域，确定所述第二神经图像数据中的感兴趣区域；
计算所述第二神经图像数据中每个感兴趣区域的数值以及变化趋势，得到所述神经活动表征数据。
具体的，神经活动的基本单元是神经元集群，表现为一定数目神经元的协同活动，具有高度的动态性。基于对具体神经功能的理解和对神经活动的被动观察，可以确定与该功能相关的一个或多个神经元集群的组成，即所观察的大量神经元对该功能的不同贡献。根据这些贡献的大小差异赋予各神经元活动不同权重，即可得到神经元群体活动的解码规律。在解码单元400中，配准后的第二神经图像数据中每个神经元所在区间的光学信号反映了其神经活动水平，经过信号归一化以消除探针表达水平和激发光强度的影响后，从中得到神经活动信号，进而通过解码规律生成表征当前神经元集群活动状态的变量。同时，基于不同神经元对多个神经元集群的贡献，可以得到全脑神经活动在较低维度空间中的全面表征。
图9是本发明提供的ROI提取示意图，如图9所示，具体的，首先对脑区进行ROI(Regin of interest，感兴趣区域)提取，图9中a、b、c、d代表不同闹区的ROI提取示意图。图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。
对配准后的第二神经图像数据进行感兴趣区域标记，第二神经图像数据中的单层图像数据可能有多个感兴趣区域。对每个感兴趣区域内的所有像素值求和，即为这个区域的ROI值。
每层图像数据都有不同的ROI，需要在数据实时处理系统启动前确定好每层图像的ROI位置。ROI计算是以单层图像数据为单位的，每得到第二神经图像数据中的一层图像数据，计算该层图像数据的所有ROI值，并在系统结束时保存所有的ROI结果至磁盘文件中。
ROI是全脑图像分析所关注的重点，ROI值是脑区活动观测的数据基础，最直观的观测就是将时序ROI归一化后以折线图的形式实时显示。全脑分为多个脑区，脑区活动观测主要是分析同一个脑区内的ROI变化趋势。
每一层图像数据的ROI圈定不一样，同一个脑区的多个ROI可能分布在不同的图像数据层，因此脑区观测是以一组全脑图像数据为单位，每计算完一组全脑图像数据，折线图更新一个点。
根据观测需求，本发明设有两种ROI折线图显示模式。
第一种ROI折线图显示模式：一个显示窗口只包含1个脑区折线图，可以根据脑区数量打开多个显示窗口。此模式不受脑区数量限制，且可以放大窗口至显示工具(如显示器)尺寸大小，更清楚的观测到每条折线的变化和数值。
第二种ROI折线图显示模式：一个显示窗口包含所有脑区折线图，且只能打开一个显示窗口。此模式受脑区数量限制，脑区数量不能超过显示窗口中折线图的数量，其中显示窗口包含的折线图数量可以预设定，且由于显示工具的尺寸限制，每个折线图缩放尺寸有限，但是此模式下便于同时观测所有折现图，可以清楚的看到脑区之间的折线变化区别。
ROI折线图的数量为观测脑区的数量，每个折线图内折线数量为该脑区内ROI的数量。
图10为第10脑区一段时间内的ROI折线图示意图，图11为第19脑区一段时间内的ROI折线图示意图，图12为第2脑区一段时间内的ROI折线图示意图，图13为第13脑区一段时间内的ROI折线图示意图，实时配准一段时间后会产生大量图像数据，折线图的纵坐标为ROI值，横坐标为时间序列下的图像组序列。
计算完一组全脑图像数据的ROI后，根据反馈算法，即计算均值和方差的方法，通过阈值判断输出的反馈信号值，并由串口发送信号至外围控制设备。
具体的，本发明根据全脑神经信号之间的关系或是神经信号完成某些脑区功能的贡献度，实现可以对每个脑区内的所有ROI设置不同的权重，进行权重组合分析。
可选的，根据神经信号活动幅度区别，本发明可以实现两种模式的反馈信号计算方法，包括均值模式和方差模式。
均值模式的计算公式如下：
其中，Fmean表示均值模式下的反馈信号，Fvar表示方差模式下的反馈信号，RNUM表示ROI的个数，ROIi表示第i个ROI，Wi表示第i个ROI的权重值，VALIDROINUM表示有效的ROI数量(即权重值不为0的ROI个数)。
本发明可以需求任意选择反馈模式，比如在预设的神经信号活动幅度差值小于预设的第一阈值的情况下，选用均值模式进行计算，在预设的神经信号活动幅度差值大于预设的第二阈值的情况下，选用方差模式进行计算，其中，第二阈值大于第一阈值。
可以理解的是，根据脑机接口外围设备的控制特点，本发明从神经活动表征中生成并发出反馈信号。该信号可以是某一功能相关神经元集群的活动状态，直接以连续方式控制外围设备的状态更新；也可以是其活动状态水平的判别值，用于控制外部设备的启停；还可以是多个神经集群活动状态的组合表征或同时输出，用于控制有较高自由度的外部设备。
在上述实施例的基础上，作为一个可选的实施例，还包括：
存储单元600，用于分隔存储所述第一神经图像数据和所述第二神经图像数据。
可选的，存储单元600实现高带宽下图像数据的实时接收与存储。可由DELL服务器和高容量磁盘阵列组成，采用的是多网口万兆网卡和高速数据采集IXCAP驱动，实现高带宽下图像数据的实时接收与存储。
具体的，所述配准单元可根据光学采集设备的性能和数据带宽需求实现多网卡多网口的数据接收。光学设备采集到的图像数据是有序的，以一帧完整的图像数据为单位分发至不同的网口。将多网口虚拟成一个循环缓冲池，每个网口为一个缓冲区，每个网口一次接收完整的图像数据，根据全脑图像数据层数，在多网口中实现规律性循环接收。
存储单元600主要是用来存储配准之前的原始图像，以保存原始数据。数据的来源是预处理单元200，与数据实时处理系统同时启动。
可以理解的是，本发明通过将原始图像的存储与数据的处理隔离，避免了对数据处理的实时性能影响，大大提升了数据实时处理效率。
综上所述，本发明在实时处理大量的全脑神经图像数据时，每次将完整的待配准图像放入GPU显存，进行并行配准，直至配准完成，将配准结果再返回GPU内存。CPU中只进行了原始图像读取和配准结果图像存储的任务，所有配准算法步骤均是在GPU内完成，大大提高了并行处理效率与实时性。
下面对本发明提供的光学脑机接口方法进行描述，下文描述的光学脑机接口方法与上文描述的光学脑机接口系统可相互对应参照。
图14是本发明提供的光学脑机接口方法的流程示意图之一，图15是本发明提供的光学脑机接口方法的流程示意图之二，如图14和图15所示，本发明还提供了一种光学脑机接口方法，包括：
S1410，基于预设接口从光学采集设备获取光学神经信号；
S1420，对所述光学神经信号进行预处理，得到第一神经图像数据；
S1430，根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据；
S1440，根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据；
S1450，根据所述神经活动表征数据，得到反馈控制信号以进行闭环反馈。
作为一个实施例，所述对所述光学神经信号进行预处理，得到第一神经图像数据，包括：
基于所述光学采集设备的工作模式，对所述光学神经信号进行规整，得到所述第一神经图像数据。
作为一个实施例，本发明提供的一种光学脑机接口方法，还包括：
对所述第一神经图像数据进行编号。
作为一个实施例，本发明提供的一种光学脑机接口方法，还包括：
根据所述反馈控制信号，确定控制指令以控制所述光学采集设备的启停和工作模式。
作为一个实施例，所述根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据，包括：
对预先获取的参考图像数据进行预处理，得到参考图像预处理数据；
根据所述第一配准算法和所述参考图像预处理数据对所述第一神经图像数据进行全局配准；
根据所述第二配准算法和所述参考图像预处理数据对全局配准后的所述第一神经图像数据进行局部配准；
基于局部配准的配准结果，得到所述第二神经图像数据。
作为一个实施例，所述对预先获取的参考图像数据进行预处理，得到参考图像预处理数据，包括：
基于所述第一配准算法对所述参考图像数据进行全局预处理；
基于所述第二配准算法对所述参考图像数据进行局部预处理；
根据所述全局预处理的结果和所述局部预处理的结果，得到所述参考图像预处理数据。
作为一个实施例，本发明提供的一种光学脑机接口方法，还包括：
基于预设的轮询驱动模式获取所述第一神经图像数据。
作为一个实施例，所述根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据，包括：
根据预设的感兴趣区域，确定所述第二神经图像数据中的感兴趣区域；
计算所述第二神经图像数据中每个感兴趣区域的数值以及变化趋势，得到所述神经活动表征数据。
作为一个实施例，本发明提供的一种光学脑机接口方法，还包括：
分隔存储所述第一神经图像数据和所述第二神经图像数据。
本发明提供的光学脑机接口系统和方法，通过接口从光学采集设备直接获取底层的光学神经信号，无需通过厂家配备的数据采集软件，可以对底层的光学神经信号进行实时的预处理、配准、解码等追踪步骤，还可以根据解码后的神经活动表征数据得到反馈控制信号以进行闭环反馈。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种光学脑机接口系统，其特征在于，包括：
采集单元，用于基于预设接口从光学采集设备获取光学神经信号；
预处理单元，用于对所述光学神经信号进行预处理，得到第一神经图像数据，其中，所述第一神经图像数据包括至少一层图像数据；
配准单元，用于根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据；
解码单元，用于根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据；
反馈单元，用于根据所述神经活动表征数据，得到反馈控制信号以进行闭环反馈；
所述对所述光学神经信号进行预处理，得到第一神经图像数据，包括：
基于所述光学采集设备的工作模式，对所述光学神经信号进行规整，得到所述第一神经图像数据，对所述光学神经信号进行规整，是将采集到的数据规整化成有序的完整图像数据；
所述根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据，包括：
对预先获取的参考图像数据进行预处理，得到参考图像预处理数据；
根据所述第一配准算法和所述参考图像预处理数据对所述第一神经图像数据进行全局配准；第一配准算法为基于频域相位相关的配准算法，是解决具有平移参数的图像配准问题；全局配准即将原始图像数据和参考图像数据进行傅里叶变换，运用相位相关法，得到原始图像数据相对参考图像数据的偏移矢量，并对原始图像数据进行位置调整配准；
根据所述第二配准算法和所述参考图像预处理数据对全局配准后的所述第一神经图像数据进行局部配准；局部配准即在全局配准的基础上，采用同样的模板滑动方法，分别在参考图像数据和待配准图像数据进行图像数据分割，对分割后的模板图像数据进行配准；
基于局部配准的配准结果，得到所述第二神经图像数据。
2.根据权利要求1所述的光学脑机接口系统，其特征在于，所述预处理单元，还用于对所述第一神经图像数据进行编号。
3.根据权利要求1所述的光学脑机接口系统，其特征在于，所述预处理单元，还用于控制所述光学采集设备的启停和工作模式。
4.根据权利要求1所述的光学脑机接口系统，其特征在于，所述对预先获取的参考图像数据进行预处理，得到参考图像预处理数据，包括：
基于所述第一配准算法对所述参考图像数据进行全局预处理；
基于所述第二配准算法对所述参考图像数据进行局部预处理；
根据所述全局预处理的结果和所述局部预处理的结果，得到所述参考图像预处理数据。
5.根据权利要求1所述的光学脑机接口系统，其特征在于，所述配准单元，还用于基于预设的轮询驱动模式获取所述第一神经图像数据。
6.根据权利要求1所述的光学脑机接口系统，其特征在于，所述根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据，包括：
根据预设的感兴趣区域，确定所述第二神经图像数据中的感兴趣区域；
计算所述第二神经图像数据中每个感兴趣区域的数值以及变化趋势，得到所述神经活动表征数据。
7.根据权利要求1所述的光学脑机接口系统，其特征在于，还包括：
存储单元，用于分隔存储所述第一神经图像数据和所述第二神经图像数据。
8.一种光学脑机接口方法，其特征在于，包括：
基于预设接口从光学采集设备获取光学神经信号；
对所述光学神经信号进行预处理，得到第一神经图像数据；
根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据；
根据预设的感兴趣区域对所述第二神经图像数据进行解码，得到神经活动表征数据；
根据所述神经活动表征数据，得到反馈控制信号以进行闭环反馈；
所述对所述光学神经信号进行预处理，得到第一神经图像数据，包括：
基于所述光学采集设备的工作模式，对所述光学神经信号进行规整，得到所述第一神经图像数据，对所述光学神经信号进行规整，是将采集到的数据规整化成有序的完整图像数据；
所述根据预设的第一配准算法和预设的第二配准算法对所述第一神经图像数据进行并行配准，得到配准后的第二神经图像数据，包括：
对预先获取的参考图像数据进行预处理，得到参考图像预处理数据；
根据所述第一配准算法和所述参考图像预处理数据对所述第一神经图像数据进行全局配准；第一配准算法为基于频域相位相关的配准算法，是解决具有平移参数的图像配准问题；全局配准即将原始图像数据和参考图像数据进行傅里叶变换，运用相位相关法，得到原始图像数据相对参考图像数据的偏移矢量，并对原始图像数据进行位置调整配准；
根据所述第二配准算法和所述参考图像预处理数据对全局配准后的所述第一神经图像数据进行局部配准；局部配准即在全局配准的基础上，采用同样的模板滑动方法，分别在参考图像数据和待配准图像数据进行图像数据分割，对分割后的模板图像数据进行配准；
基于局部配准的配准结果，得到所述第二神经图像数据。
CN202310131178.9A 2023-02-17 2023-02-17 光学脑机接口系统和方法 Active CN116382465B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310131178.9A CN116382465B (zh) 2023-02-17 2023-02-17 光学脑机接口系统和方法
PCT/CN2023/084459 WO2024168994A1 (zh) 2023-02-17 2023-03-28 光学脑机接口系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310131178.9A CN116382465B (zh) 2023-02-17 2023-02-17 光学脑机接口系统和方法

Publications (2)

Publication Number Publication Date
CN116382465A CN116382465A (zh) 2023-07-04
CN116382465B true CN116382465B (zh) 2024-02-13

Family

ID=86968276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310131178.9A Active CN116382465B (zh) 2023-02-17 2023-02-17 光学脑机接口系统和方法

Country Status (2)

Country Link
CN (1) CN116382465B (zh)
WO (1) WO2024168994A1 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5853370A (en) * 1996-09-13 1998-12-29 Non-Invasive Technology, Inc. Optical system and method for non-invasive imaging of biological tissue
GB0806653D0 (en) * 2007-04-11 2008-05-14 Forth Photonics Ltd A supporting structure and a workstation incorporating the supporting structure
CN104182042A (zh) * 2014-08-14 2014-12-03 华中科技大学 一种多模态信号的脑机接口方法
CN104375635A (zh) * 2014-08-14 2015-02-25 华中科技大学 一种快速近红外脑机接口方法
WO2017112679A1 (en) * 2015-12-22 2017-06-29 University Of Florida Research Foundation, Inc. Multimodal closed-loop brain-computer interface and peripheral stimulaiton for neuro-rehabilitation
CN107224273A (zh) * 2017-07-25 2017-10-03 西安交通大学 一种基于光学脑成像神经反馈的中枢‑外周神经闭环康复训练方法及系统
CN108968955A (zh) * 2018-07-02 2018-12-11 天津大学 一种基于光学晶体的头盔式脑电帽
GB201819933D0 (en) * 2018-12-06 2019-01-23 Dacombe James Robert An event-related optical signal device and a brain-computer interface system
CN114052765A (zh) * 2021-11-16 2022-02-18 中国科学院自动化研究所 基于局部连接网络的光学断层肿瘤定位系统、方法和设备
CN114626513A (zh) * 2020-12-10 2022-06-14 中国科学院脑科学与智能技术卓越创新中心 一种基于全脑光学成像数据的神经元重构方法及装置
CN114708313A (zh) * 2022-03-24 2022-07-05 安徽大学 基于双支路神经网络的光学与sar图像配准方法
CN115358264A (zh) * 2022-08-15 2022-11-18 浙江大学 一种侵入式脑机接口任务相关神经信号提取方法
WO2023285815A1 (en) * 2021-07-12 2023-01-19 CoMind Technologies Limited Systems and methods for preparing a neuroimaging system for neuroimaging and analysis of a subject's brain tissue

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008211786B2 (en) * 2007-01-30 2014-07-03 Ge Healthcare Limited Tools for aiding in the diagnosis of neurodegenerative diseases
US9480425B2 (en) * 2008-04-17 2016-11-01 Washington University Task-less optical mapping of dynamic brain function using resting state functional connectivity
KR20140067972A (ko) * 2011-09-28 2014-06-05 텔레시스템즈 가부시키가이샤 화상처리장치 및 화상처리방법
CN103040446A (zh) * 2012-12-31 2013-04-17 北京师范大学 基于光学脑成像的神经反馈训练系统和神经反馈训练方法
BR112015018561A2 (pt) * 2013-10-18 2017-07-18 Koninklijke Philips Nv dispositivo de processamento de imagens que pode registrar ao menos duas imagens de um objeto, método para o registro de pelo menos duas imagens de um objeto, e, equipamento de imageamento médico
US10049448B2 (en) * 2014-01-06 2018-08-14 Koninklijke Philips N.V. Articulated structure registration in magnetic resonance images of the brain
US20210196980A1 (en) * 2017-05-26 2021-07-01 Newton Howard Kinetic intelligent wireless implant/neurons on augmented human
CN111629653B (zh) * 2017-08-23 2024-06-21 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
CN114356074B (zh) * 2021-11-30 2024-04-23 上海交通大学 基于在体荧光信号的动物脑机接口实现方法及系统
CN115035149B (zh) * 2022-06-01 2024-06-04 浙江大学 用于单光子钙成像视频流的实时运动矫正方法及用途

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5853370A (en) * 1996-09-13 1998-12-29 Non-Invasive Technology, Inc. Optical system and method for non-invasive imaging of biological tissue
GB0806653D0 (en) * 2007-04-11 2008-05-14 Forth Photonics Ltd A supporting structure and a workstation incorporating the supporting structure
CN104182042A (zh) * 2014-08-14 2014-12-03 华中科技大学 一种多模态信号的脑机接口方法
CN104375635A (zh) * 2014-08-14 2015-02-25 华中科技大学 一种快速近红外脑机接口方法
WO2017112679A1 (en) * 2015-12-22 2017-06-29 University Of Florida Research Foundation, Inc. Multimodal closed-loop brain-computer interface and peripheral stimulaiton for neuro-rehabilitation
CN107224273A (zh) * 2017-07-25 2017-10-03 西安交通大学 一种基于光学脑成像神经反馈的中枢‑外周神经闭环康复训练方法及系统
CN108968955A (zh) * 2018-07-02 2018-12-11 天津大学 一种基于光学晶体的头盔式脑电帽
GB201819933D0 (en) * 2018-12-06 2019-01-23 Dacombe James Robert An event-related optical signal device and a brain-computer interface system
CN114626513A (zh) * 2020-12-10 2022-06-14 中国科学院脑科学与智能技术卓越创新中心 一种基于全脑光学成像数据的神经元重构方法及装置
WO2023285815A1 (en) * 2021-07-12 2023-01-19 CoMind Technologies Limited Systems and methods for preparing a neuroimaging system for neuroimaging and analysis of a subject's brain tissue
CN114052765A (zh) * 2021-11-16 2022-02-18 中国科学院自动化研究所 基于局部连接网络的光学断层肿瘤定位系统、方法和设备
CN114708313A (zh) * 2022-03-24 2022-07-05 安徽大学 基于双支路神经网络的光学与sar图像配准方法
CN115358264A (zh) * 2022-08-15 2022-11-18 浙江大学 一种侵入式脑机接口任务相关神经信号提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SAR光学处理器输出图像的实时处理装置;文大化;光学精密工程(第02期);全文 *
光学神经成像研究进展;付玲;;生物物理学报(第04期);全文 *
大脑神经联接图谱的研究进展;孙乐;杜久林;;中国科学:生命科学(第03期);全文 *
神经元网络的光学实现;孟令奎;金先级;周剑光;;半导体光电(第04期);全文 *

Also Published As

Publication number Publication date
CN116382465A (zh) 2023-07-04
WO2024168994A1 (zh) 2024-08-22

Similar Documents

Publication Publication Date Title
KR102041906B1 (ko) 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진
US20240005590A1 (en) Deformable neural radiance fields
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
US20040151384A1 (en) Clustering appearances of objects under varying illumination conditions
JP2003507822A (ja) 回転指紋キャプチャのための方法および装置
US20090245575A1 (en) Method, apparatus, and program storage medium for detecting object
WO2009123354A1 (en) Method, apparatus, and program for detecting object
Sanaeifar et al. Advancing precision agriculture: The potential of deep learning for cereal plant head detection
US20240096134A1 (en) Action Recognition System and Method
US20090245576A1 (en) Method, apparatus, and program storage medium for detecting object
CN116382465B (zh) 光学脑机接口系统和方法
WO2021213012A1 (zh) 体重检测方法、人体特征参数检测方法及装置
CN113920498A (zh) 一种基于多层特征金字塔的点云3d物体检测方法
JP6996303B2 (ja) 医用画像生成装置
CN114332549B (zh) 一种基于bp神经网络单元的变形体识别方法
CN113593707B (zh) 胃早癌模型训练方法、装置、计算机设备及存储介质
Massad et al. Combining multiple views and temporal associations for 3-D object recognition
Zhang et al. Edge-enabled anti-noise telepathology imaging reconstruction technology in harsh environments
CN114283178A (zh) 图像配准方法、装置、计算机设备及存储介质
CN112651363A (zh) 基于多特征点的微表情拟合方法和系统
JP2021064120A (ja) 情報処理装置、情報処理方法、及びプログラム
Zhang et al. A pyramid approach to motion tracking
WO2022064583A1 (ja) 距離情報生成装置および距離情報生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant