CN114246557A - 用于近红外脑功能成像装置的定位方法、设备及存储介质 - Google Patents
用于近红外脑功能成像装置的定位方法、设备及存储介质 Download PDFInfo
- Publication number
- CN114246557A CN114246557A CN202210189278.2A CN202210189278A CN114246557A CN 114246557 A CN114246557 A CN 114246557A CN 202210189278 A CN202210189278 A CN 202210189278A CN 114246557 A CN114246557 A CN 114246557A
- Authority
- CN
- China
- Prior art keywords
- probe
- positioning
- probes
- mapping
- dimensional brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种用于近红外脑功能成像装置的定位方法、装置和存储介质。近红外脑功能成像装置具有头帽,头帽用于佩戴在对象的头上并且具有多个用于传输和/或接收近红外信号的探头,或能够装配各个探头的安装位,定位方法包括:在显示界面上显示三维脑图像;在要为各个探头测量位置或者在为各个探头测量位置的情况下,获取各个探头的测量位置;基于获取的各个探头的测量位置改变三维脑图像的显示视角,使得三维脑图像对应测量位置的部分朝向用户。其可以使用户无需花费额外精力和动作去调整三维脑图像,就能够直观、实时地观察到当前探头测量点在三维脑图像上的位置,从而便捷地对相关信息进行核对,极大地提高近红外脑功能成像装置的定位效率。
Description
技术领域
本发明涉及医疗设备领域,更具体地,涉及一种用于近红外脑功能成像装置的定位方法、设备及存储介质。
背景技术
近红外光谱脑功能成像(fNIRS)是一种新型的脑功能成像技术。利用近红外光和发射探头-接收探头组成的多通道传感,基于神经-血氧耦合机制,fNIRS可以穿透颅骨,以高时间分辨探测和成像脑活动激活的变化,有效地对脑功能进行可视化和定量评估。
近红外脑功能成像设备的头帽上装设有用于获取近红外信号的探头,一对探头布设形成一个通道,使用时,需要获取头帽上的探头所形成的通道对应在使用者头部上的脑区位置,如此才能确定通过所获取到的近红外数据具体表征哪个脑区的生理状态。目前的定位软件功能较少,且操作繁琐,使用起来不够便捷,用户体验较差。
发明内容
提供了本发明以解决现有技术中存在的上述问题。
需要一种用于近红外脑功能成像装置的定位方法,能够利用在显示界面上显示三维脑图像,并在将要为各个探头测量位置,或者正在为各个探头测量位置的情况下,获取各个探头的测量位置,基于获取的各个探头的测量位置改变所述三维脑图像的显示视角,使显示界面上的三维脑图像对应测量位置的部分在定位过程中实时跟随地朝向用户,使用户无需花费额外的精力和动作去调整三维脑图像,就能够便捷地随时观察探头的定位情况,可以显著地提高近红外脑功能成像装置的定位效率。
根据本发明的第一方案,提供一种用于近红外脑功能成像装置的定位方法,所述近红外脑功能成像装置具有头帽,所述头帽用于佩戴在对象的头上并且具有多个用于传输和/或接收近红外信号的探头,所述定位方法包括在显示界面上显示三维脑图像,在要为各个探头测量位置或者在为各个探头测量位置的情况下,获取各个探头的测量位置,以及基于获取的各个探头的测量位置改变所述三维脑图像的显示视角,使得所述三维脑图像对应所述测量位置的部分朝向用户。
根据本发明的第二方案,提供一种用于近红外脑功能成像装置的定位设备,所述定位设备包括第一定位组件和第一处理器,其中,所述第一定位组件配置为:对近红外脑功能成像装置的头帽上的各个探头进行定位,以确定各个探头的测量位置;所述第一处理器配置为:执行本发明各个实施例的用于近红外脑功能成像装置的定位方法。
根据本发明的第三方案,提供一种近红外脑功能成像系统,所述近红外脑功能成像系统包括:头帽,所述头帽配置为用于佩戴在对象的头上并且具有多个用于传输和/或接收近红外信号的探头或能够装配各个所述探头的安装位;第二定位组件,配置为:对所述头帽上的各个探头进行定位,以确定各个探头的测量位置;第二处理器,所述第二处理器配置为:执行本发明各个实施例的用于近红外脑功能成像装置的定位方法。
根据本发明的第四方案,提供一种存储有程序的非暂时性计算机可读存储介质,所述程序使得处理器执行根据本发明各个实施例的用于近红外脑功能成像装置的定位方法的步骤。
利用根据本发明各个实施例的用于近红外脑功能成像装置的定位方法、设备、存储介质以及近红外脑功能成像系统,其能够在近红外脑功能成像装置的定位过程中,为用户提供定位引导指示,在用户按照指示对头帽上的各个探头进行定位操作的过程中,显示界面上的三维脑图像可以以随动的方式,保持正在测量的探头在三维脑图像上对应测量位置的部分始终朝向用户,使得用户能够在无需进行手动输入信息、手动调整三维脑图像显示视角等额外操作的情况下,直观、实时地观察到当前探头测量点在三维脑图像上的位置,从而便捷地对相关信息进行核对,显著地提高近红外脑功能成像装置的定位效率。
附图说明
在不一定按比例绘制的附图中,相同的附图标记可以在不同的视图中描述相似的部件。附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候,在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的,而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出根据本发明实施例的定位设备与近红外脑功能成像装置协同操作的示意图。
图2示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第一示例的流程图。
图3(a)示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的显示界面的示意图。
图3(b)示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的显示界面的示意图。
图4示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第二示例的流程图。
图5示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第三示例的流程图。
图6示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第四示例的流程图。
图7示出根据本发明实施例的探头的测量位置经由非完全映射形成的通道布局栅格在三维脑图像上显示的示意图。
图8示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第五示例的流程图。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案,下面结合附图和具体实施方式对本发明作详细说明。下面结合附图和具体实施例对本发明的实施例作进一步详细描述,但不作为对本发明的限定。本文中所描述的各个步骤,如果彼此之间没有前后关系的必要性,则本文中作为示例对其进行描述的次序不应视为限制,本领域技术人员应知道可以对其进行顺序调整,只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。
本发明的实施例提供一种用于近红外脑功能成像装置的定位方法。请注意,定位方法可以经由定位设备来实现,该定位设备可以与近红外脑功能成像装置协同操作。
图1示出根据本发明实施例的定位设备与近红外脑功能成像装置协同操作的示意图。图1中没有示出近红外脑功能成像装置100的完整构造,仅示出了与定位相关的部分构件,近红外脑功能成像装置100至少具有头帽101,头帽101用于佩戴在对象107的头上。例如,头帽101可以具有多个用于传输和/或接收近红外信号的探头108。又例如,头帽101可以留有多个安装位以便可拆卸地装配各个探头108,使用时,可以通过安装位将探头108装配到头帽101上。其中,多个探头108中的每一个可以配置为发射探头(S)或接收探头(D),每一对成对布设的探头形成一个通道,SD相连接的线段表示两者所形成的通道。在一些实施例中,一个发射探头可以对应于多个接收探头,或者反过来,一个接收探头对应于多个发射探头,其成对关系根据探头的布设位置、所要检测的脑功能区域等的具体要求而定。
如图1所示,定位设备105可以包括定位组件104和处理器102。其中,定位组件104可以配置为对近红外脑功能成像装置的头帽101上的各个探头108进行定位,并确定各个探头的测量位置。注意,所谓“对头帽101上的各个探头108进行定位”可以经由定位组件104直接对头帽101装配好的各个探头108进行定位(直接定位),但未必需要在头帽101装配有探头108的情况下执行,也可以在头帽101的安装位尚未装配探头108的情况下,对安装位进行定位,以安装位的测量位置作为用于装配的探头108的测量位置,从而实现经由安装位对对应探头108的间接定位(间接定位)。为了描述方便,以直接定位为例进行说明。
处理器102可以配置为执行根据本发明各个实施例的用于近红外脑功能成像装置的定位方法。在一些实施例中,定位设备105还可以包括存储器103和显示器106。其中,存储器103配置为存储使得处理器102执行定位方法的流程的定位程序以及执行过程中产生和/或需要的数据,还可以存储经由定位组件104确定的各个探头的测量位置。在一些实施例中,存储器103可以配置为与各个探头108相关联地存储各个探头108的测量位置和/或映射位置。具体说来,存储器可以只存储与各个探头108相关联的各个探头108的测量位置或映射位置,其也可以两者都存储,本发明对此不作具体限定,只要能够在接收到用户对已经定位过(即已经存储过测量位置和/映射位置)的探头进行重新定位的指示操作时,能够获取到该探头的历史位置信息即可。
具体地,定位组件104可以采用多种实现方式。例如,如图1所示,定位组件104可以包括能够在三维空间内产生正交系磁场的磁源104b和检测笔104a,其中,检测笔104a中包含移动磁传感器,因此可以通过磁源104b和检测笔104a两者之间的磁性作用来确定探头108的测量位置,在此不作赘述。使用时,可以将磁源104b放置在固定支架上,利用检测笔104a移动对头帽101上的各个探头108进行定位,在确定好探头108的测量位置时按下检测笔104a上的按键,由定位组件104将探头108的测量位置数据发送给处理器102进行处理,此处仅为示例,本发明对定位组件104的实现方式不做具体限定。为了描述方便,下文中以图1中所示构造的定位组件104进行定位方法的说明。
在另一些实施例中,用户还可以通过其他诸如触屏按键、鼠标、键盘、轨迹球、手势感应构件等交互构件(未示出)执行定位的各种交互操作,交互操作可以为点击、停留等指定操作。
在一些实施例中,显示器106可以配置为在处理器102的控制下,在其显示界面上显示三维脑图像,其中,该三维脑图像是基于三维脑模型而构建的,三维脑模型可以根据对象的头部医学影像数据来获得,例如,对象的脑核磁图像,或者可以采用现有的脑图谱数据,例如ICBM152图谱,本发明对此不做具体限定。在一些实施例中,显示器106可以采用LED、OLED等,在此不赘述。
在一些实施例中,处理器102可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器102可以配置为执行根据本发明各个实施例的用于近红外脑功能成像装置的定位方法。
下面将结合图2、图3(a)和图3(b)详细介绍根据本发明实施例的用于近红外脑功能成像装置的定位方法。图2示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第一示例的流程图。图3(a)和图3(b)示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的显示界面的示意图。
如图2所示,在用户要对近红外脑功能成像装置进行定位时,可以在显示界面上显示三维脑图像(步骤201),如前所述,三维脑图像基于三维脑模型构建。在一些实施例中,在尚未开始定位之前,三维脑图像的朝向可以是任意方向,也可以是由用户或系统预先定义的缺省方向,优选地,三维脑图像的前额部分朝向用户,以和对象正确佩戴头帽的前额方向相对应,便于用户查看。
接下来,在要为各个探头测量位置或者在为各个探头测量位置的情况下,获取各个探头的测量位置(步骤202)。需要说明的是,本发明中所指的要为各个探头测量位置的情况下可以理解为在要为各个探头测量位置时,或者在需要对探头位置重新测量位置时,旨在表示还没处于探头位置的实际测量阶段,可以是实际测量之前的预备阶段。可以采用各种方式让处理器得知要为各个探头测量位置或者在为各个探头测量位置。例如,定位组件的启动状态,或者对其中的包含移动磁传感器的检测笔的一些操作(例如手持、移动、触及探头或安装位),或者用户对显示界面上执行指示要为各个探头测量位置的操作(例如但不限于对探头的标识部执行诸如鼠标点击或触屏选择等指示操作),可以作为要为各个探头测量位置的指示信息传递给处理器,以便处理器知晓要为各个探头测量位置了。在要为各个探头测量位置的情况下,所获取的各个探头的测量位置并非当前的测量位置(当前并未进行实际测量),而可以是存储的各个探头的最新的或代表性的测量位置。例如,对定位组件中的包含移动磁传感器的检测笔的一些操作(例如特定操作轨迹、触及探头或安装位、按下按键以发送定位得到的测量位置),可以作为正在为各个探头测量位置的指示信息传递给处理器,以便处理器知晓正在为各个探头测量位置。在正为各个探头测量位置的情况下,当前定位测得的探头的测量位置就是所获取的各个探头的测量位置。具体说来,可以接收用户利用检测笔对所述头帽上各个探头测点的指定操作,其中,各个探头测点的位置用于表征各个探头在头上的测量位置。可以响应于所述用户利用检测笔对所述头帽上各个探头测点的指定操作,利用定位组件确定各个探头的测量位置,作为所获取的各个探头的测量位置。
然后,基于获取的各个探头的测量位置改变三维脑图像的显示视角,从当前的显示视角调整到使得三维脑图像对应测量位置的部分朝向用户(步骤203)。注意,“三维脑图像对应测量位置的部分”旨在表示三维脑图像中与测量位置对应的部分,可以是直接对应也可以是间接对应。例如,可以将三维脑图像中包含测量位置的部分朝向用户(直接对应的示例)。在其他一些实施例中,不限于探头的测量位置,还可以基于测量位置计算或衍生得到的其他的代表性位置,并根据探头的代表性位置信息改变三维脑图像的显示视角,从当前的显示视角调整到使得三维脑图像中包含代表性位置的部分朝向用户(间接对应的示例)。
如图3(a)所示,在对接收探头D12进行定位获取到D12的测量位置数据时,三维脑图像的显示视角为D12对应的右颞部,如图3(b)所示,在对接收探头D14进行定位获取到D14的测量位置数据时,三维脑图像基于该测量位置数据将显示视角调整为D14对应的前额部,如此,在定位过程中,显示界面上的三维脑图像可以以随动的方式,保持正在测量的探头在三维脑图像上对应测量位置的部分始终朝向用户,使得用户能够在无需进行手动输入信息、手动调整三维脑图像显示视角等额外操作的情况下,直观、实时地观察到当前探头测量点在三维脑图像上的对应位置,从而便捷地对相关信息进行核对,显著地提高定位效率。
下面以映射位置作为代表性位置的示例进行说明,但须知代表性位置不限于映射位置,也可以根据用户需求选择其他衍生得到的代表性位置。
在如图4所示,步骤401与图2所示的流程图中步骤201相同,步骤402与图2所示的流程图中步骤202相同,在此不赘述。而在本示例中,在步骤402中获取了各个探头的测量位置的情况下,接下来在步骤403中,可以将探头的测量位置映射到三维脑模型,以确定各个探头的映射位置,其中,该三维脑模型用于构建形成三维脑图像,以便在显示界面向用户显示。
接下来,在步骤404中,可以进一步根据所确定的各个探头的映射位置改变三维脑图像的显示视角,从当前的显示视角调整到使得三维脑图像的对应映射位置所在的部分朝向用户。
具体说来,在获取到探头的测量位置后,可以将该测量位置映射到三维脑模型中,也就是从实际的三维空间映射到三维脑模型的空间中,在获取到探头的映射位置后,由三维脑模型构建形成的三维脑图像将当前的显示视角调整到映射位置所在的部分,使得用户在定位的过程中能够及时看到探头在三维脑图像上的映射位置,以便于通过该映射位置判断探头的情况,例如,探头对应的脑区位置是否有误、头帽佩戴是否正确、探头对应的脑区位置与预想位置的偏离程度等。通过将探头的测量位置映射到三维脑模型,并从当前的显示视角调整到使得三维脑图像的映射位置所在的部分朝向用户,映射位置会匹配到三维脑模型上(或紧邻)而不是显著偏离三维脑模型,从而便利用户更准确地把握探头与三维脑模型之间的相对关系。
具体说来,可以采用各种方式,来根据所确定的各个探头的映射位置改变所述三维脑图像的显示视角。
具体地,上述过程可以包括:首先确定三维脑图像上的基准点和人眼的观察点,将基准点与人眼的观察点连接形成基准线,设定基准线的方位角为0°,然后,基于将要用于调整三维脑图像朝向的第一映射位置和三维脑图像上的基准点,确定第一连接线,计算该第一连接线与基准线之间的方位角,即第一方位角。在一些实施例中,可以基于第一方位角,将三维脑图像的显示视角转到第一映射位置所在的方位,从而实现三维脑图像跟随测量点的变化而自动且实时地转动,使得用户在定位过程中能够实时观察当前的探头测点在大脑上的映射位置。
在一些实施例中,在三维脑图像对应测量位置的部分朝向用户的情况下,还可以在三维脑图像上标示出测量位置(或者映射位置等代表性位置),以使定位过程更加可视化和易于理解,同时使用户可以对探头的位置进行便捷地核对。
下面结合图5和图6分别对 “在为各个探头测量位置”和“要为各个探头测量位置”的各个情况下如何获取探头的测量位置以及如何据此改变三维脑图像的显示视角进行详细说明。
图5示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第三示例的流程图。在下文中将结合第三示例描述对探头的位置进行更新的具体流程。
在如图5所示的第三示例中,步骤501、步骤502和步骤503分别与如图4所示的步骤401、步骤402和步骤403中的操作相同,下面仅重点对后续步骤504-步骤506进行描述。
由于根据本发明实施例的近红外脑功能成像装置还可以具有存储器,当分别在步骤502和步骤503中获取了各个探头的测量位置和映射位置后,在一些实施例中,可以根据需要,与各个探头相关联地存储对应的第一测量位置和/或第一映射位置(步骤504)。在一些实施例中,例如当获取到用户通过检测笔对头帽上的探头的点击操作而得到的各个探头的第二测量位置,和/或根据第二测量位置应用各种映射算法而得到的第二映射位置,和/或其他代表性位置(例如第二代表性位置)时,可以对存储器中已存储的内容进行更新,即,用第二测量位置和/或第二映射位置替换已经存储的对应的第一测量位置和/或第一映射位置(步骤505)。在一些实施例中,可以进一步根据更新后的第二映射位置改变三维脑图像的显示视角,从当前的显示视角调整到使得三维脑图像的第二映射位置所在的部分朝向用户(步骤506)。
图6示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第四示例的流程图。在下文中将结合第四示例描述基于存储的探头的位置来调整三维脑图像显示视角的具体流程。
在图6所示的第四示例中,在显示界面上不仅显示三维脑图像,还可以显示各个探头的标识部,如图3(a)和3(b)所示,显示界面的左侧区域上显示有SD排布图,其包括各个探头标识部以及探头间所形成的通道布局栅格,在要为各个探头测量位置时,或者在需要对探头位置进行重新定位时,以第一探头为例,当接收到用户对显示界面上第一探头的标识部的诸如鼠标点击或触屏选择等指示操作(步骤602),响应于该指示操作,可以获取存储器中与第一探头相关联地存储的第一探头的测量位置和/或映射位置(步骤603),并根据所确定的第一探头的映射位置改变三维脑图像的显示视角,从当前的显示视角调整到使得三维脑图像的第一探头的映射位置所在的部分朝向用户(步骤604)。也就是说,即使用户不通过检测笔对头帽上的探头测点进行操作,当用户对显示界面上的探头,例如SD排布图上的探头标识部进行指示操作时,显示界面上的三维脑图像仍然可以仅依据存储器中存储的对应于该探头的定位数据的历史数据,来进行显示视角的随动。此外需要注意的是,当存储器中只存储了第一探头的测量位置而未存储映射位置时,可以采用与图4步骤403中类似的步骤,将从存储器中获取的第一探头的测量位置映射到用于构建形成三维脑图像的三维脑模型,从而确定第一探头的映射位置,然后再通过执行步骤604使得三维脑图像的第一探头的映射位置所在的部分朝向用户。
可以理解的是,上述将测量位置映射到三维脑模型中的映射包括非完全映射和完全映射,其中,非完全映射为各个探头的测量位置之间的相对位置关系在映射到三维脑模型上时不发生变化,也就是,各个探头的实际测量位置之间形成的通道布局栅格在非完全映射到三维脑模型上时不发生形变。
在一些实施例中,除获取各个探头的测量位置、映射位置或其他代表性位置之外,处理器还可以获取其他信息,例如探头间的通道的布局信息,并且基于所获取的探头间的通道的布局信息,利用所确定的各个探头的映射位置形成通道布局栅格,由此可以进一步将该通道布局栅格与前述探头的位置一同在三维脑图像上显示。具体说来,在将测量位置完全映射到三维脑模型中时,用户可以根据各个探头的完全映射位置形成的通道布局栅格判断各个通道实际对应的脑区位置,在将测量位置非完全映射到三维脑模型中时,用户可以根据各个探头的非完全映射位置形成的通道布局栅格判断各个探头是否定位有误,在一个具体实施例中,如图3(a)和图7所示,如图3(a)中所示的SD排布图中可以看出S1、D1、D6与S7这四个探头之间形成的通道布局栅格为矩形,而图7中示出的经由非完全映射形成的通道布局栅格呈现的是非矩形,根据该通道布局的栅格形状,用户可以清楚地看到S7明显偏离预设位置,据此可以判断探头S7的定位有误,需要对其进行重新定位。
在另一实施例中,处理器还可以获取探头间的通道所属的脑区信息,并将该脑区信息显示在显示界面中。具体地,每对SD探头所形成的通道,其所表征的生理状态的解剖学位置就是其所属的脑区信息,可以通过文字、颜色等来进行脑区信息标识。如此,可以使用户能够直接观察当前通道的脑区位置信息,以及将脑区信息与各个探头的预设位置信息对照查看,有利于在头帽设计中修改探头设置位置、对近红外信号进行处理时定位具有显著性差异的脑区等。
在一些实施例中,为实现脑区信息的显示,可以对对全部脑区或部分脑区的轮廓进行标识,或在显示探头的映射位置或探头间形成的通道时,自动对映射位置或通道所对应的脑区的轮廓进行标识,以便于用户能够直接观察到该通道的位置,这种显示方式对于经验较少的用户更为友好。在一些实施例中,脑区信息可以在三维脑图像上显示,或者也可以在显示界面中三维脑图像以外的显示区域中显示,在此不做具体限制。在另一些实施例中,可以对全部脑区或部分脑区进行标识,或在显示探头的映射位置或通道时自动对该位置所在的脑区进行高亮标识,例如通过颜色区分或轮廓线等,当用颜色标识时,可以在显示界面的边栏或其他窗口中呈现各个颜色对应的脑区的图例、文字信息等。此外,在显示探头间的通道时,还可以自动显示所显示的通道所属的脑区信息,或者,在显示该通道时,响应于用户的选中操作、悬停操作等,显示所选中的或所希望查看的通道所属的脑区信息,例如可以在用户点击显示界面中任务栏中的显示按钮时才在三维脑图像上显示脑区信息,或者在另一显示区域以表格的形式显示。在另一些实施例中,还可以在完成对所有探头的定位后,自动显示各个通道的脑区信息,或者也可以根据通道的数量来确定是否在三维脑图像上自动显示该通道的脑区信息,使得自动显示的脑区信息不遮挡通道或探头的信息。仅作为示例,当三维脑图像上所要显示的信息过多,可能造成遮挡的情况下,可以只显示与当前正在进行定位的探头相关联的通道信息和脑区信息,或者按照其他显示规则,使得用户当前关注的定位信息能够得到最大程度的凸显。上述多种方式可以以不相互违背的方式任意组合实现,在此不做具体限制。
基于三维脑图像及显示界面上探头位置、通道布局栅格及通道所属的脑区等信息的显示与提示,用户可以对探头位置的测量情况及合理性进行核对。在一些实施例中,可以在显示界面上显示各个探头的标识部,并基于预设规则对各个探头的映射位置进行核对,不满足预设规则的探头的标识部以第一呈现方式显示。具体地,预设规则例如可以是探头之间的距离、角度等参数的合理的范围,特别是成对的SD之间的距离范围等,还可以包括探头间的通道与显示界面中显示的所属的脑区信息的对照关系,以及其他可以提示用户存在定位错误的其他预设规则等,在此不做具体限制。在一些实施例中,上述第一呈现方式例如可以是以不同于探头的标识部原有颜色的其他颜色或高亮标识来呈现探头的标识部,诸如此类,不做限制。因此,用户不仅能够判断探头的位置、通道的布局、通道与脑区的对应关系等信息是否有误,还可以由此判断头帽的形变程度等情况。
在一些实施例中,在三维脑图像对应测量位置(或基于测量位置映射得到的映射位置,以及其他代表性位置)的部分朝向用户的情况下,还可以在三维脑图像上标示出测量位置和/或映射位置,例如,可以在同一三维脑图像上同时标示出测量位置和映射位置,或在同一界面上的位于不同显示区域的两个三维脑图像上分别标示出测量位置和映射位置,结合三维脑图像的显示视角随当前测量的探头测点的测量位置/或映射位置进行旋转的特征,可以使定位过程更加可视化和易于理解,同时使用户在不必来回切换显示界面的情况下,在同一界面上获得更多的定位信息,且观察视角为正面视角方向,因此,可以对探头的位置进行更便捷、更详细、更准确的核对。在另一实施例中,还可以在不同界面上的三维脑图像上分别标示出测量位置和映射位置,用户可以通过切换界面来查看定位情况,只要利于用户查看、操作即可,本发明对此不做具体限定。
图8示出根据本发明实施例的用于近红外脑功能成像装置的定位方法的第五示例的流程图。在下文中将结合第五示例描述利用检测笔和定位组件来对头帽上的各个探头测点进行位置测量的具体流程。
在如图8所示的第五示例中,在获取各个探头的测量位置的过程中,首先根据预设定位顺序确定要进行定位操作的第二探头(步骤701),作为示例,例如在当前定位的探头为发射探头时,可以依序对与其配对的接收探头进行定位,直到对应于该发射探头的接收探头都定位完毕,再切换至下一个发射探头。在其他实施例中,也可以依据另外的规则来预设定位顺序,在此不做限制。预设定位顺序用于引导用户对头帽上的各个探头进行定位。
在一些实施例中,显示界面上可以显示有SD排布图,SD排布图上具有各个探头的标识部(如图3(a)和3(b)左侧显示区域所示),在确定了要进行定位操作的第二探头后,可以以第一指示方式,包括但不限于利用高亮、不同颜色标记等方式对第二探头的标识部进行标记,指示用户对头帽上的第二探头的测点进行指定操作(步骤702),例如在图3(a)中,探头S7的标识部的颜色不同于其他探头的标识部,即为指示用户下一步对探头S7的测点进行位置测量。类似地,在图3(b)中,探头S9的标识部的颜色不同于其他探头的标识部,可以用于指示用户下一步对探头S9的测点进行位置测量。
接下来,用户根据指示对各个探头进行定位,接收用户利用检测笔对头帽上各个探头测点(例如在步骤701中确定的第二探头)的指定操作,例如用户利用检测笔根据预设定位顺序的指示依次点击头帽上的各个探头测点,其中,各个探头测点的位置用于表征各个探头在对象的头上的测量位置(步骤703)。
响应于用户利用检测笔对头帽上各个探头测点(例如在步骤702中指示的第二探头)的指定操作,利用定位组件确定各个探头(第二探头)的测量位置(步骤704)。
接下来,在实现对第二探头的定位后,以第二指示方式,包括但不限于改变第二探头的标识部的颜色等,来指示第二探头已经实现定位(步骤705)。
在当前探头(第二探头)定位完成后,可以进入下一个循环的步骤701,即,根据预设定位顺序,确定接下来要进行定位操作的探头,直到用户所需定位的所有探头测点全部测量完成。
在整个定位过程中,用户只需要根据预设定位顺序的引导对头帽上的各个探头进行指定操作,并在完成一个探头的定位时从显示界面查看三维脑图像的显示视角、探头的映射位置、通道布局的栅格形状等情况即可,无需另外的手动操作即可直观、实时地获知各个探头的定位情况,显著地提高定位效率。
本发明的实施例还提供一种用于近红外脑功能成像装置的定位设备,该定位设备可以与根据本发明的实施例的具有头帽的近红外脑功能成像装置分开设置,并且至少包括第一定位组件和第一处理器,其中,第一定位组件可以配置为对近红外脑功能成像装置的头帽上的各个探头进行定位,以确定各个探头的测量位置。定位设备中的第一处理器则可以配置为执行根据本发明前述各个实施例的用于近红外脑功能成像装置的定位方法。第一处理器可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。
根据本发明的实施例还提供一种近红外脑功能成像系统,该系统可以至少由头帽、第二定位组件以及第二处理器共同组成,其中,头帽佩戴在对象的头上,并且具有多个用于传输和/或接收近红外信号的探头,或具有能够装配各个探头的安装位,第二定位组件可以用于对头帽上的各个探头进行定位,并确定各个探头的测量位置,第二处理器则可以执行根据本发明各实施例的用于近红外脑功能成像装置的定位方法的步骤。在对头帽上的探头完成定位后,可以利用探头采集对象头部的近红外信号,第二处理器还可以对近红外信号进行数据处理、分析等。可以理解的是,在对头帽上的探头完成定位后,可以利用探头采集对象头部的近红外信号,第二处理器还可以对近红外信号执行数据采集、处理分析以及呈现分析结果等方法。
本发明的实施例还提供一种计算机存储介质,其上存储有计算机可执行指令,该计算机可执行指令可以由处理器执行时,实现根据前述的用于近红外脑功能成像装置的定位方法的步骤。存储介质可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如,闪存、静态随机存取存储器)等,其上可以以任何格式存储计算机可执行指令。
此外,尽管已经在本文中描述了示例性实施例,其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合(例如,各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释,并不限于在本说明书中或本申请的实施期间所描述的示例,其示例将被解释为非排他性的。因此,本说明书和示例旨在仅被认为是示例,真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反,本发明的主题可以少于特定的公开的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本发明的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。
Claims (18)
1.一种用于近红外脑功能成像装置的定位方法,其特征在于,所述近红外脑功能成像装置具有头帽,所述头帽用于佩戴在对象的头上并且具有多个用于传输和/或接收近红外信号的探头,或能够装配各个所述探头的安装位,所述定位方法包括:
在显示界面上显示三维脑图像;
在要为各个探头测量位置或者在为各个探头测量位置的情况下,获取各个探头的测量位置;
基于获取的各个探头的测量位置改变所述三维脑图像的显示视角,使得所述三维脑图像对应所述测量位置的部分朝向用户。
2.根据权利要求1所述的定位方法,其特征在于,所述基于获取的各个探头的测量位置改变所述三维脑图像的显示视角,使得所述三维脑图像对应所述测量位置的部分朝向用户,具体包括:
将获取的各个探头的测量位置映射到三维脑模型,以确定各个探头的映射位置,其中,所述三维脑模型用于构建形成所述三维脑图像;
根据所确定的各个探头的映射位置改变所述三维脑图像的显示视角,使得所述三维脑图像的所述映射位置所在的部分朝向所述用户。
3.根据权利要求1或2所述的定位方法,其特征在于,还包括:在所述三维脑图像对应所述测量位置的部分朝向所述用户的情况下,在所述三维脑图像上标示出所述测量位置和/或映射位置。
4.根据权利要求2所述的定位方法,其特征在于,还包括:
在所述显示界面上显示各个探头的标识部;
接收所述用户对其中的第一探头的标识部的指示操作;
响应于用户对第一探头的标识部的指示操作,获取与所述第一探头相关联地存储的第一探头的测量位置和/或映射位置;
根据所确定的第一探头的映射位置改变所述三维脑图像的显示视角,使得所述三维脑图像的所述第一探头的映射位置所在的部分朝向所述用户。
5.根据权利要求1或2所述的定位方法,其特征在于,获取各个探头的测量位置具体包括:
接收用户利用检测笔对所述头帽上各个探头测点的指定操作,其中,各个探头测点的位置用于表征各个探头在头上的测量位置;
响应于所述用户利用检测笔对所述头帽上各个探头测点的指定操作,利用定位组件确定各个探头的测量位置。
6.根据权利要求5所述的定位方法,其特征在于,在接收用户利用检测笔对所述头帽上各个探头测点的指定操作之前,所述定位方法还包括:
根据预设定位顺序确定要进行定位操作的第二探头;
以第一指示方式,指示用户对头帽上的第二探头的测点进行指定操作;
在实现对所述第二探头的定位后,以第二指示方式指示所述第二探头已经实现定位。
7.根据权利要求2所述的定位方法,其特征在于,所述定位方法还包括:
与各个探头相关联地存储对应的第一测量位置和/或第一映射位置;
在获取到各个探头的第二测量位置和/或第二映射位置时,用所述第二测量位置和/或第二映射位置替换已经存储的对应的第一测量位置和/或第一映射位置;
根据所述第二映射位置改变所述三维脑图像的显示视角,使得所述三维脑图像的所述第二映射位置所在的部分朝向所述用户。
8.根据权利要求1或2所述的定位方法,其特征在于,还包括:
在所述显示界面上显示各个探头的标识部;
基于预设规则对各个探头的映射位置进行核对,不满足预设规则的探头的标识部以第一呈现方式显示。
9.根据权利要求2所述的定位方法,其特征在于,所述根据所确定的各个探头的映射位置改变所述三维脑图像的显示视角,具体包括:
确定所述三维脑图像上的基准点和人眼的观察点,将所述基准点与所述观察点连接形成基准线;
基于第一映射位置和所述基准点确定第一连接线,计算所述第一连接线与所述基准线之间的第一方位角;
基于所述第一方位角,将所述三维脑图像的显示视角转到所述映射位置所在的方位。
10.根据权利要求2所述的定位方法,其特征在于,所述将获取的各个探头的测量位置映射到所述三维脑模型,具体包括:
将获取的各个探头的测量位置非完全映射到所述三维脑模型,或将获取的各个探头的测量位置完全映射到所述三维脑模型,其中,
所述非完全映射为:各个探头的测量位置之间的相对位置关系在映射到所述三维脑模型上时不发生变化。
11.根据权利要求1或2所述的定位方法,其特征在于,所述定位方法还包括:
获取探头间的通道的布局信息;
基于所获取的探头间的通道的布局信息,利用所确定的各个探头的映射位置形成通道布局栅格,在所述三维脑图像上显示所形成的通道布局栅格。
12.根据权利要求1或2所述的定位方法,其特征在于,所述定位方法进一步包括:
在所述显示界面中显示探头间的通道所属的脑区信息。
13.根据权利要求12所述的定位方法,其特征在于,在所述显示界面中显示探头间的通道所属的脑区信息具体包括如下的至少一种:
在显示所述通道时,自动显示所显示的通道所属的脑区信息;
在显示所述通道时,响应于所述用户的选中操作显示所选中的通道所属的脑区信息;
在完成对所有探头的定位后,自动显示各个通道所述的脑区信息;或者
根据所述通道的数量来确定是否在所述三维脑图像上自动显示所述通道所述的脑区信息,使得自动显示的脑区信息不遮挡通道或探头的信息。
14.根据权利要求12所述的定位方法,其特征在于,所述脑区信息在所述三维脑图像上显示,或者在所述显示界面中所述三维脑图像以外的显示区域中显示。
15.根据权利要求1或2所述的定位方法,其特征在于,所述定位方法还包括:
对全部脑区或部分脑区的轮廓进行标识,或在显示所述探头或所述探头间形成的通道的映射位置时,自动对所述映射位置所对应的脑区的轮廓进行标识。
16.一种用于近红外脑功能成像装置的定位设备,其特征在于,所述定位设备包括第一定位组件和第一处理器,其中,
所述第一定位组件配置为:对近红外脑功能成像装置的头帽上的各个探头进行定位,以确定各个探头的测量位置;
所述第一处理器配置为:执行如权利要求1-15中任一项所述的用于近红外脑功能成像装置的定位方法。
17.一种近红外脑功能成像系统,其特征在于,所述近红外脑功能成像系统包括:
头帽,所述头帽配置为用于佩戴在对象的头上并且具有多个用于传输和/或接收近红外信号的探头,或能够装配各个所述探头的安装位;
第二定位组件,配置为:对所述头帽上的各个探头进行定位,以确定各个探头的测量位置;
第二处理器,所述第二处理器配置为:执行如权利要求1-15中任一项所述的用于近红外脑功能成像装置的定位方法。
18.一种存储有程序的非暂时性计算机可读存储介质,所述程序使得处理器执行如权利要求1-15中任一项所述的用于近红外脑功能成像装置的定位方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210189278.2A CN114246557A (zh) | 2022-03-01 | 2022-03-01 | 用于近红外脑功能成像装置的定位方法、设备及存储介质 |
PCT/CN2023/079065 WO2023165527A1 (zh) | 2022-03-01 | 2023-03-01 | 用于近红外脑功能成像装置的定位方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210189278.2A CN114246557A (zh) | 2022-03-01 | 2022-03-01 | 用于近红外脑功能成像装置的定位方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114246557A true CN114246557A (zh) | 2022-03-29 |
Family
ID=80800097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210189278.2A Pending CN114246557A (zh) | 2022-03-01 | 2022-03-01 | 用于近红外脑功能成像装置的定位方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114246557A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272590A (zh) * | 2022-09-30 | 2022-11-01 | 慧创科仪(北京)科技有限公司 | 光学传输参数空间分布的重建方法、装置、系统及介质 |
WO2023165527A1 (zh) * | 2022-03-01 | 2023-09-07 | 丹阳慧创医疗设备有限公司 | 用于近红外脑功能成像装置的定位方法、设备及存储介质 |
CN117156072A (zh) * | 2023-11-01 | 2023-12-01 | 慧创科仪(北京)科技有限公司 | 对多人近红外数据进行处理的装置、处理设备和存储介质 |
CN117456111A (zh) * | 2023-12-25 | 2024-01-26 | 慧创科仪(北京)科技有限公司 | 一种基于近红外脑功能成像数据的标签显示方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050177041A1 (en) * | 2003-03-20 | 2005-08-11 | Comm. Research Lab., Ind. Admin. Institution | Method for mapping higher brain function and headgear for mapping higher brain function |
US20110176713A1 (en) * | 2008-10-01 | 2011-07-21 | Hirokazu Asaka | Biological light measurement device and position display method of light irradiation position and light detection position or measurement channel |
CN207886200U (zh) * | 2017-07-06 | 2018-09-21 | 丹阳慧创医疗设备有限公司 | 一种近红外光谱与脑电联合采集装置 |
CN108903915A (zh) * | 2018-07-24 | 2018-11-30 | 丹阳慧创医疗设备有限公司 | 一种用于近红外光谱脑功能成像系统的定位装置和方法 |
CN109173063A (zh) * | 2018-09-21 | 2019-01-11 | 武汉资联虹康科技股份有限公司 | 一种3d扫描的经颅磁刺激系统及经颅磁刺激方法 |
CN109496338A (zh) * | 2017-12-05 | 2019-03-19 | 北京师范大学 | 基于个体特征的经颅脑图谱生成方法、导航方法及其系统 |
CN113160975A (zh) * | 2021-04-25 | 2021-07-23 | 宁波磁波智能科技有限公司 | 基于原子磁强计的高精度多通道脑磁图系统 |
-
2022
- 2022-03-01 CN CN202210189278.2A patent/CN114246557A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050177041A1 (en) * | 2003-03-20 | 2005-08-11 | Comm. Research Lab., Ind. Admin. Institution | Method for mapping higher brain function and headgear for mapping higher brain function |
US20110176713A1 (en) * | 2008-10-01 | 2011-07-21 | Hirokazu Asaka | Biological light measurement device and position display method of light irradiation position and light detection position or measurement channel |
CN207886200U (zh) * | 2017-07-06 | 2018-09-21 | 丹阳慧创医疗设备有限公司 | 一种近红外光谱与脑电联合采集装置 |
CN109496338A (zh) * | 2017-12-05 | 2019-03-19 | 北京师范大学 | 基于个体特征的经颅脑图谱生成方法、导航方法及其系统 |
CN108903915A (zh) * | 2018-07-24 | 2018-11-30 | 丹阳慧创医疗设备有限公司 | 一种用于近红外光谱脑功能成像系统的定位装置和方法 |
CN109173063A (zh) * | 2018-09-21 | 2019-01-11 | 武汉资联虹康科技股份有限公司 | 一种3d扫描的经颅磁刺激系统及经颅磁刺激方法 |
CN113160975A (zh) * | 2021-04-25 | 2021-07-23 | 宁波磁波智能科技有限公司 | 基于原子磁强计的高精度多通道脑磁图系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023165527A1 (zh) * | 2022-03-01 | 2023-09-07 | 丹阳慧创医疗设备有限公司 | 用于近红外脑功能成像装置的定位方法、设备及存储介质 |
CN115272590A (zh) * | 2022-09-30 | 2022-11-01 | 慧创科仪(北京)科技有限公司 | 光学传输参数空间分布的重建方法、装置、系统及介质 |
CN115272590B (zh) * | 2022-09-30 | 2023-01-24 | 慧创科仪(北京)科技有限公司 | 光学传输参数空间分布的重建方法、装置、系统及介质 |
CN117156072A (zh) * | 2023-11-01 | 2023-12-01 | 慧创科仪(北京)科技有限公司 | 对多人近红外数据进行处理的装置、处理设备和存储介质 |
CN117156072B (zh) * | 2023-11-01 | 2024-02-13 | 慧创科仪(北京)科技有限公司 | 对多人近红外数据进行处理的装置、处理设备和存储介质 |
CN117456111A (zh) * | 2023-12-25 | 2024-01-26 | 慧创科仪(北京)科技有限公司 | 一种基于近红外脑功能成像数据的标签显示方法及装置 |
CN117456111B (zh) * | 2023-12-25 | 2024-04-05 | 慧创科仪(北京)科技有限公司 | 一种基于近红外脑功能成像数据的标签显示方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114246557A (zh) | 用于近红外脑功能成像装置的定位方法、设备及存储介质 | |
CN114569076A (zh) | 用于近红外脑功能成像装置的定位方法、设备及存储介质 | |
CN114246556B (zh) | 用于近红外脑功能成像装置的定位方法、设备和存储介质 | |
US10537247B2 (en) | Information processing apparatus, method, and programmed storage medium, for calculating ranges of regions of interest of scanned or other images | |
CN111093516B (zh) | 用于规划消融的超声系统及方法 | |
WO2023165527A1 (zh) | 用于近红外脑功能成像装置的定位方法、设备及存储介质 | |
US9123096B2 (en) | Information processing apparatus and control method thereof | |
US10881353B2 (en) | Machine-guided imaging techniques | |
CN109998678A (zh) | 在医学规程期间使用增强现实辅助导航 | |
EP3501387A1 (en) | Marking a computerized model of a cardiac surface | |
US9974618B2 (en) | Method for determining an imaging specification and image-assisted navigation as well as device for image-assisted navigation | |
US20080123910A1 (en) | Method and system for providing accuracy evaluation of image guided surgery | |
CN108903915B (zh) | 一种用于近红外光谱脑功能成像系统的定位装置和方法 | |
CN111629670B (zh) | 用于超声系统的回波窗口伪影分类和视觉指示符 | |
JP6866444B2 (ja) | 超音波検査方法、超音波検査システム及び関連装置 | |
KR20160076487A (ko) | 영상 시스템 및 영상 진단 장치 내에 환자를 포지셔닝하는 방법 | |
CN105828723B (zh) | 超声成像组件以及用于显示超声图像的方法 | |
CN107106240A (zh) | 显示线性仪器相对于3d医学图像导航后的位置和取向的方法和系统 | |
CN106157282A (zh) | 图像处理系统及方法 | |
US20230309954A1 (en) | System for visualization and control of surgical devices utilizing a graphical user interface | |
CN104519788A (zh) | 图像显示装置和医用图像摄像装置 | |
CN109907801B (zh) | 一种可定位超声引导穿刺方法 | |
CN117045205B (zh) | 一种近红外数据的分析装置、分析方法和存储介质 | |
US20190129606A1 (en) | Information processing device, biomedical-signal measuring system, display method, and recording medium storing program code | |
EP3503026A1 (en) | Device, system and method for interacting with vessel images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |