CN114332850A - 核酸检测仪及基于影像的核酸检测方法 - Google Patents
核酸检测仪及基于影像的核酸检测方法 Download PDFInfo
- Publication number
- CN114332850A CN114332850A CN202110602307.9A CN202110602307A CN114332850A CN 114332850 A CN114332850 A CN 114332850A CN 202110602307 A CN202110602307 A CN 202110602307A CN 114332850 A CN114332850 A CN 114332850A
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- images
- line
- nucleic acid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
- G01N27/26—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating electrochemical variables; by using electrolysis or electrophoresis
- G01N27/416—Systems
- G01N27/447—Systems using electrophoresis
- G01N27/44704—Details; Accessories
- G01N27/44717—Arrangements for investigating the separated zones, e.g. localising zones
- G01N27/44721—Arrangements for investigating the separated zones, e.g. localising zones by optical means
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
- C12Q1/6844—Nucleic acid amplification reactions
- C12Q1/6851—Quantitative amplification
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
- C12Q1/6844—Nucleic acid amplification reactions
- C12Q1/686—Polymerase chain reaction [PCR]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
- G01N27/26—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating electrochemical variables; by using electrolysis or electrophoresis
- G01N27/416—Systems
- G01N27/447—Systems using electrophoresis
- G01N27/44756—Apparatus specially adapted therefor
- G01N27/44773—Multi-stage electrophoresis, e.g. two-dimensional electrophoresis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/04—Recognition of patterns in DNA microarrays
Landscapes
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Organic Chemistry (AREA)
- Physics & Mathematics (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Zoology (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Engineering & Computer Science (AREA)
- Wood Science & Technology (AREA)
- Electrochemistry (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Microbiology (AREA)
- Biotechnology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Genetics & Genomics (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本申请提供一种基于影像的核酸检测方法,该方法包括:拍摄检测液进行电泳时的多张影像;识别所述多张影像中是否存在目标影像;及基于所述目标影像分析核酸检测结果。本申请还提供一种实现所述基于影像的核酸检测方法的核酸检测仪。本申请可基于图像对核酸检测结果进行分析。
Description
技术领域
本发明涉及病毒检测领域,尤其涉及一种核酸检测仪及基于影像的核酸检测方法。
背景技术
目前针对分子诊断、形态学、免疫学等的检测大多是在固定的实验室中进行。存在检测耗时长、检测效率低、灵活性差、检测系统操作复杂,需要专业人员操作,无法实现家庭自检。
发明内容
鉴于以上内容,有必要提供一种核酸检测仪及基于影像的核酸检测方法,操作简单,检测时间较短,可实现家庭自检。
所述基于影像的核酸检测方法包括:拍摄检测液执行电泳时的多张影像;识别所述多张影像中是否存在目标影像;及基于所述目标影像分析核酸检测结果。
可选地,该方法在拍摄所述多张影像之前还包括:利用收集杯收集受试者的生物样本,并将生物样本与检测药剂混合形成检测液;将所述收集杯安装于加热槽上,利用所述加热槽以预设的第一温度对所述收集杯中的检测液加热第一预设时长;利用加样器从所述收集杯内定量吸取检测液,并利用所述加样器将所吸取的检测液经由加样槽加入到设置于抽屉内的检测盒内,利用所述检测盒对所述检测液执行PCR扩增反应;及在所述检测液中添加荧光染料,利用凝胶对所述检测液进行电泳。
可选地,所述拍摄检测液执行电泳时的多张影像包括:控制时间继电器计算所述电泳分析的时长;及在所述电泳分析进行了第二预设时长时,控制摄像头每隔第三预设时长拍摄至少一张影像,获得所述多张影像。
可选地,所述识别所述多张影像中是否存在目标影像包括:利用预先训练得到的辨识模型对所述多张影像中的每张影像的多个目标区域进行识别,并利用预设的记号对识别到的每个目标区域进行标记;及根据对所述多张影像中的每张影像的预定位置范围内是否出现指定的目标区域的判断,从所述多张影像中确定目标影像。
可选地,所述利用预先训练得到的辨识模型对所述多张影像中的每张影像的多个目标区域进行识别包括:利用所述预先训练得到的辨识模型对所述多张影像中的第一张影像的所述多个目标区域进行识别;根据凝胶在所述第一张影像中所占区域的位置及大小对所述多张影像中的所有其他影像进行裁切;及利用所述预先训练得到的辨识模型对经过裁剪的所有其他影像中的每张其他影像的所述多个目标区域进行识别并对所识别的每个目标区域进行标记。
可选地,所述第一张影像为所述多张影像中,拍摄时间最早的一张影像;所述多张影像中的所有其他影像是指所述多张影像中,除所述第一张影像之外的所有影像。
可选地,所述目标影像是指所述多张影像中,在预定位置范围内包括了荧光染料的影像。
可选地,所述目标影像是指所述多张影像中,在所述预定位置范围内包括了所述荧光染料的影像,且该影像的每个目标区域的信心分数大于预设值。
可选地,所述目标影像是指所述多张影像中,在所述预定位置范围内包括了所述荧光染料的影像,且该影像的每个目标区域的信心分数大于所述预设值,且该影像的每个目标区域的像素值的平均亮度大于预设的亮度值。
可选地,所述基于所述目标影像分析核酸检测结果包括:根据所述目标影像中的所述多个目标区域中的每个目标区域对应的所述预设的记号确定多个目标的位置,所述多个目标的位置包括注入口的位置、荧光染料的位置、检测线的位置以及洋菜胶的位置,其中,所述检测线包括第一线、第二线以及第三线;根据所述多个目标的位置计算所述检测线的位置值;根据所述检测线的位置值与预设的有效数据范围的比较确定所述检测线是否有效;及根据所述检测线是否有效确定核酸检测结果。
可选地,所述第一线的位置值P1=d11/d2,所述第二线的位置值P2=d12/d2,所述第三线的位置值P3=d13/d2,其中,d11代表所述第一线的位置与所述注入口的位置之间的距离,d12代表所述第二线的位置与所述注入口的位置之间的距离,d13代表所述第三线的位置与所述注入口的位置之间的距离,所述d2等于所述注入口的位置到所述荧光染料的位置之间的距离。
可选地,该方法还包括:预设所述第一线对应的第一有效数据范围;及根据所述第一线的位置值分别为所述第二线和第三线设定有效数据范围。
可选地,该方法还包括:当从所述目标影像中没有识别到所述检测线时,认定所述检测线无效。
所述核酸检测仪,用于执行所述的基于影像的核酸检测方法。
相较于现有技术,本申请提供的所述核酸检测仪及基于影像的核酸检测方法,可以在电泳分析进行了预设时长时,拍摄电泳分析的多张影像,再利用预先训练获得的辨识模型对所述多张影像进行辨识后,根据预设的范围出现的标示结果从所述多张影像中选定一张影像并标示出辨识结果,检测时间短且操作方便,可实现家庭自检。
附图说明
图1为本发明一较佳实施方式中的核酸检测仪的示意图。
图2为本发明一较佳实施方式中的核酸检测仪拆分后结构示意图。
图3为本发明一较佳实施方式中的核酸检测仪的硬件框架图。
图4A举例说明在电泳分析时所拍摄的影像。
图4B和图4C举例说明对所拍摄的影像进行目标区域的标记。
图5A是本申请较佳实施例的核酸检测系统的功能模块图。
图5B是本申请较佳实施例的核酸检测方法的流程图。
图6举例说明在目标影像中对目标所在的区域进行标记。
图7举例说明不同目标之间的距离的计算。
图8举例说明在目标影像中对检测线的标记。
图9举例说明根据检测线是否有效辨识核酸检测结果。
主要元件符号说明
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施例对本申请进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
图1为本发明一较佳实施方式中的核酸检测仪的示意图。图2为本发明一较佳实施方式中的核酸检测仪拆分后结构示意图。图3为本发明一较佳实施方式中的核酸检测仪的硬件框架图。
请同时参阅图1、图2以及图3,本实施例中,核酸检测仪100包括主机10、检测盒20、收集杯30、加样器40。本实施例中,所述收集杯30还配置有杯盖50。
需要说明的是,在检测前,所述检测盒20、收集杯30、加样器40、杯盖50可收纳在一专用的包装盒(图中未示意)内。本实施例中,所述检测盒20、收集杯30、加样器40分别设置有识别码(编码信息),通过所述识别码可以将所述检测盒20、收集杯30、加样器40进行关联,避免不同受试者(也可以称为“待测者”或“待试者”)的生物样本(也可以称为“核酸样本”)例如唾液的混淆。
在一个实施例中,所述识别码可以为二维码、条形码(Bar Code),或者其他任何适用于本申请的识别码。本实施例中,所述核酸检测仪100还包括一加热槽101、加样槽102、抽屉(也可以称为“检测盒抽屉”)103,以及互相之间通讯连接的显示屏104、第一摄像头105、第二摄像头106、第一传感器107、第二传感器108、多个时间继电器109、多个温度传感器110、处理器111以及存储器112。
本实施例中,所述收集杯30可拆卸地设置于所述加热槽101内。所述加样槽102与所述抽屉103连通。所述检测盒20可拆卸地设置于所述抽屉103内。
本实施例中,所述收集杯30用于收集受试者的生物样本。当所述收集杯30收集的所述生物样本与检测药剂(例如Buffer液)混合形成检测液后,将所述收集杯30安装于所述加热槽101,并利用所述加热槽101以第一温度(例如95摄氏度)对所述检测液加热第一预定时长(预定时间)例如20分钟。然后利用所述加样器40从该收集杯30内定量吸取所述检测液,并利用所述加样器40将所吸取的检测液经由所述加样槽102加入到设置于所述抽屉103内的所述检测盒20内。
本实施例中,所述显示屏104可以为具有触摸功能的显示屏,用于提供一个交互界面以实现用户与所述核酸检测仪100的交互。例如,所述显示屏104可以用于显示受试者的核酸检测结果。
本实施例中,所述第一摄像头105可以用以扫描所述收集杯30的识别码以及扫描所述加样器40的识别码。所述处理器111可以将所述第一摄像头105扫描获得的识别码进行存储,例如存储至所述存储器112中。
在本发明一较佳的实施方式,所述第一摄像头105还用于对操作者(也可以称为“用户”)的操作过程进行拍摄。所述处理器11还将所述第一摄像头105拍摄该操作过程的影像进行存储,例如存储在所述存储器112中。
本实施例中,所述第二摄像头106用于拍摄核糖核酸试剂与检测液反应后的结果的影像(也即是核酸检测过程中电泳分析的影像)。在本发明的一较佳实施方式中,所述第二摄像头106所拍摄的影像为黑白影像。在其他实施例中,所述第二摄像头106所拍摄的影像为彩色影像。本实施例中,所述第二摄像头106还可以用于扫描所述检测盒20的识别码。在一个实施例中,所述第二摄像头106所拍摄的电泳分析的影像还可以包括所述检测盒20的识别码。
本实施例中,所述第一传感器107用于侦测所述收集杯30是否置放于所述加热槽101中。
在本实施例中,所述第一传感器107可以为按压开关器。具体地,当所述收集杯30是放置于所述加热槽101中时,所述第一传感器107则处于通电状态;而当所述收集杯30没有放置于所述加热槽101中时,所述第一传感器107则处于断电状态,由此,可以根据该第一传感器107是否处于通电状态来侦测所述收集杯30是否放置于所述加热槽101中。
本实施例中,所述第二传感器108用于侦测检测盒20是否置放于所述抽屉103中。
在本实施例中,所述第二传感器108可以为按压开关器。具体地,当所述检测盒20置放于所述抽屉103中时,所述第二传感器108则处于通电状态;而当所述检测盒20没有置放于所述抽屉103中时,所述第二传感器108则处于断电状态,由此,可以根据该第二传感器108是否处于通电状态来侦测所述检测盒20是否置放于所述抽屉103中。本实施例中,所述抽屉103内设有液珠电路芯片与电泳槽,该液珠电路芯片用于执行PCR(Polymerase chainreaction,聚合酶链式反应)转变过程,核酸检测仪100利用该电泳槽对所述检测盒20内的检测液执行电泳。
本实施例中,所述多个时间继电器109包括用于计算所述加热槽101的加热时间的时间继电器,以及用于计算PCR的反应时间的时间继电器。
本实施例中,所述多个温度传感器110包括设置于所述加热槽101内的温度传感器及设置于所述加样槽102内的温度传感器,用以测量加热温度。
本实施例中,所述检测盒20包括上层201和下层202。所述检测盒20用于对检测液进行PCR扩增反应。具体地,通过在设定的第二温度(例如60摄氏度)与第三温度(例如95摄氏度)之间重复加热循环预设次数(例如40次),使得所述检测液在所述检测盒20的上层201完成PCR扩增反应。具体地,从所述第二温度值开始加热所述检测盒20,直至温度达到所述第三温度值,然后再逐渐降温至所述第二温度值,此为一个加热循环,重复该加热循环预设次数,则所述检测液完成PCR扩增反应。所述检测液在该检测盒20的上层201完成所述PCR扩增反应后,滴入到所述检测盒20的下层。然后将所述检测液与荧光染料结合再利用设置在所述检测盒20的下层的凝胶例如洋菜胶(agarose gel)进行电泳(electrophoresis)。本申请利用所述第二摄像头106拍摄电泳执行过程中的影像,
在一较佳实施方式,所述检测盒20的上层的检测液在完成PCR扩增反应后,滴入到所述检测盒20的下层进行电泳。在所述电泳进行了第二预设时长时,所述第二摄像头106每隔第三预设时长例如1分钟拍摄电泳过程中的影像,由此获得多张影像如图4A所示。所述第二摄像头106拍摄得到多张影像后,再利用预先训练获得的辨识模型(也可以称为“AI影像辨识程序”)对所述多张影像进行辨识后,根据预设的范围出现的标示结果从所述多张影像中选定一张影像并标示出辨识结果如图4B或图4C所示。
在一个实施例中,所述第二预设时长可以为12到15分钟中的任意一个值例如14分钟。在其他实施例中,所述第二预设时长可以为15到20分钟中的任意一个值例如16分钟。电泳进行的时间长度是依据荧光染料是否到达指定的区域来确定的,如果荧光染料到达指定的区域,则可以停止电泳,如荧光染料还没有到达指定的区域,则继续电泳。具体细节后面结合图5B来介绍。
本实施例中,所述处理器111可以由集成电路组成。例如,可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器111是所述核酸检测仪100的控制核心(ControlUnit),利用各种接口和线路连接整个所述核酸检测仪100的各个部件,通过执行存储在所述存储器112内的程序或者模块或者指令,以及调用存储在所述存储器112内的数据,以执行所述核酸检测仪100的各种功能和处理数据,例如,进行核酸检测的功能(具体细节参后面对图5B的介绍)。
所述存储器112可以是核酸检测仪100本身的存储器,也可以是外部存储器。在一些实施例中,所述存储器112可以用于存储计算机程序的程序代码和各种数据。例如,所述存储器112可以用于存储安装在所述核酸检测仪100中的核酸检测系统1001,并在核酸检测仪100的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器112可以是包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的非易失性的计算机可读的存储介质。
在本实施例中,所述核酸检测系统1001可以被分割成一个或多个模块,所述一个或多个模块存储在所述存储器112中,并由一个或多个处理器(例如处理器111)执行,以实现本申请所提供的功能。参阅图5A所示,本实施例中,所述核酸检测系统1001可以分割成获取模块1011、执行模块1012。本申请所称的模块是能够完成一特定功能的计算机程序段。关于各模块的详细功能将在下面结合图5B作具体描述。
图5B是本发明较佳实施例提供的基于影像的核酸检测方法的流程图。
在本实施例中,可以直接在该核酸检测仪100上集成本发明的方法所提供的用于核酸检测的功能,或者以软件开发工具包(Software Development Kit,SDK)的形式运行在所述核酸检测仪100上。
如图5B所示,所述核酸检测仪100方法具体包括以下步骤,根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
步骤S101,利用所述收集杯30收集受试者的生物样本例如唾液,并将生物样本与检测药剂(例如Buffer液)混合形成检测液。然后将所述收集杯30安装于加热槽101上。执行模块1012控制所述加热槽101以预设的第一温度对所述收集杯30中的检测液加热第一预设时长。执行完步骤S101后执行步骤S102。
本发明一较佳实施例,所述预设的温度为95摄氏度,所述第一预设时长为20分钟。即利用所述加热槽101以95摄氏度的温度对所述收集杯30加热20分钟。具体地,所述执行模块1012可以利用所述时间继电器109计算所述加热槽101的加热时长,当加热时长达到所述第一预设时长时,所述执行模块1012则控制所述加热槽101停止对所述收集杯30加热。
需要说明的是,本实施例中,在将所述收集杯30收集了生物样本之后,所述获取模块1011利用所述第一摄像头105扫描所述收集杯30的识别码,并将所述收集杯30的识别码存储到所述存储器112中。所述获取模块1011还利用所述第一摄像头105扫描所述加样器40的识别码,并将所述加样器40的识别码存储到所述存储器112中。
步骤S102,利用加样器40从所述收集杯30内定量吸取检测液,并利用所述加样器40将所吸取的检测液经由所述加样槽102加入到设置于所述抽屉103内的所述检测盒20内,利用所述检测盒20对所述检测液执行PCR扩增反应。于所述检测液完成PCR扩增反应后,执行步骤S103。
具体地,操作者通过操作所述加样器40,则可以将所述检测液经由所述加样槽102加入到所述检测盒20的上层。
具体地,可通过在设定的第二温度(例如60摄氏度)与第三温度(例如95摄氏度)之间对设置于所述抽屉103内的所述检测盒20重复加热循环预设次数(例如40次),使得所述检测液完成PCR扩增反应。具体地,从所述第二温度值开始加热设置于所述抽屉103内的所述检测盒20,直至温度达到所述第三温度值,然后再逐渐降温至所述第二温度值,此为一个加热循环,重复该加热循环预设次数,则所述检测液完成PCR扩增反应。
步骤S103,在所述检测液中添加荧光染料,然后再利用凝胶(例如洋菜胶)对所述检测液执行电泳(electrophoresis)。
具体地,所述检测盒20的检测液在检测盒20的上层完成PCR扩增反应后,滴入到所述检测盒20的下层,所述检测盒20下层设置有所述凝胶。因此,所述执行模块1012可以通过控制施加给所述检测盒20的电压来对检测液执行电泳或者停止电泳。
需要说明的是,电泳的过程实际上是于所述电泳槽的两端,给正负极电压。凝胶能发生电泳现象,是因为凝胶的胶体粒子带有电荷,一般来说,是由于胶体粒子具有相对较大的表面积,能吸附离子的原因引起的。利用不同物质分子表面所带有的不均匀电荷而形成的偶极矩强度的不同,使得分子对于外加电荷和移动介质的吸引力各有所差异,导致在移动介质中的运动速度不同,由此将不同大小片段的DNA分离。
步骤S104,所述获取模块1011控制所述第二摄像头106拍摄所述检测液执行电泳时的多张影像。
在本实施例中,所述获取模块1011可以控制所述时间继电器109计算所述电泳的时长。
在一较佳实施方式中,在所述电泳进行了第二预设时长例如15-20分钟时,所述获取模块1011控制所述第二摄像头106每隔第三预设时长例如1分钟拍摄至少一张影像,由此获得多张影像。
在一个实施例中,所述多张影像分别为黑白影像如图4A所示。在其他实施例中,所述多张影像分别为彩色影像。
在一个实施例中,所述多张影像中的每张影像包括所述检测盒20的识别码。
步骤S105,所述执行模块1012识别所述多张影像中是否存在目标影像。当所述多张影像中存在目标影像时,执行步骤S106。当所述多张影像中不存在目标影像时,回到步骤S103。需要说明的是,当从步骤S105回到步骤S103时,则直接控制所述检测盒20继续利用凝胶电泳进行电泳。即无需再添加荧光染料。
在一个实施例中,所述执行模块1012在对所述多张影像进行识别之前还首先识别每张影像所包括识别码是否与所述收集杯30、加样器40的识别码一致。当任意一张影像所包括识别码与所述收集杯30、加样器40的识别码不一致时,发出警示。当每张影像所包括识别码与所述收集杯30、加样器40的识别码一致时,则开始对所述多张影像进行识别。
在一个实施例,所述识别所述多张影像中是否存在目标影像包括(a1)-(a2):
(a1)利用预先训练得到的辨识模型(也可以称为“AI影像辨识程序”)对所述多张影像中的每张影像的多个目标区域进行识别,并利用预设的记号对识别到的每个目标区域进行标记。
本实施例中,参阅图4B或者图4C所示,所述多个目标区域包括:注入口的区域、检测线(也可以称为“显影条”)的区域、荧光染料的区域,以及凝胶例如洋菜胶的区域。其中,所述检测线的区域包括第一线的区域、第二线的区域以及第三线的区域。所述第一线存在则表示所述检测液中存在人类基因。所述第二线存在则表示存在RNA复制酶(RNA-dependent RNA polymerase)。所述第三线存在则表示存在N蛋白(protein)。
在一个实施例中,所述执行模块1012可以利用不同颜色的方框分别对所述多个目标区域进行标记。例如,利用红框32标记所述注入口的区域;利用绿框33标记所述检测线的区域;利用蓝框34标记所述荧光染料的区域;利用黄框31标记所述凝胶例如洋菜胶的区域。
在一个实施例中,所述利用预先训练得到的辨识模型(AI影像辨识模型)对所述多张影像中的每张影像的多个目标区域进行识别包括:利用所述预先训练得到的辨识模型对所述多张影像中的第一张影像的所述多个目标区域进行识别,根据凝胶例如所述洋菜胶在所述第一张影像中所占区域的位置及大小对所述多张影像中的所有其他影像进行裁切(所述洋菜胶在所述第一张影像中所占区域也可以称为“整体检测区域”);然后再利用所述预先训练得到的辨识模型对经过裁剪的所有其他影像中的每张其他影像的所述多个目标区域进行识别并对所识别的每个目标区域进行标记。例如,图6示意了对经过裁剪的一张其他影像的每个目标区域进行标记。
为便于说明,以下将“经过裁剪的所述其他影像”称为“裁剪影像”。
在一个实施例中,所述第一张影像可以为所述多张影像中,拍摄时间最早的一张影像。所述多张影像中的所有其他影像是指所述多张影像中,除所述第一张影像之外的所有影像。
需要说明的是,本申请对所述其他影像进行裁切,舍去所述其他影像中的多余信息,即可以过滤影像中可能包含错误信息的区域(如卡夹上与线条形状相似的反光),由此可降低辨识模型对影像的分辨率的要求,达到减少模型参数量、加快模型计算速度的有益结果。
(a2)根据对所述多张影像中的每张影像的预定位置范围内是否出现指定目标的判断,从所述多张影像中确定目标影像。
本实施例中,所述指定目标是指荧光染料,所述预定位置范围是(0.65~0.75)。也即所述目标影像是指所述多张影像中,在所述预定位置范围内包括了所述荧光染料的影像。
在一个实施例中,所述根据对所述多张影像中的每张影像的预定位置范围内是否出现指定目标的判断,从所述多张影像中确定目标影像包括:计算每张影像的荧光染料的位置值,其中,每张影像的荧光染料的位置值等于每张影像的荧光染料的位置与注入口的位置之间距离除以每张影像的凝胶的长度;当任意一张影像的荧光染料的位置值属于所述预定的位置范围之内时,确定该任意一张影像为目标影像;及当任意一张影像的荧光染料的位置值不属于所述预定的位置范围之内时,确定该任意一张影像不是目标影像。
以所述任意一张影像为图4B或4C所示的影像为例,假设利用红框32标记所述注入口的区域,利用蓝框34标记所述荧光染料的区域,利用黄框31标记所述凝胶例如洋菜胶的区域为例,则所述任意一张影像的荧光染料的位置为所述篮筐34的横向中心线所在的位置。所述任意一张影像的注入口的位置为所述红框32的横向中心线所在的位置。所述任意一张影像的凝胶的长度为所述黄框31的顶端到低端的距离。
在其他实施例中,所述执行模块1012还可以利用所述辨识模型对所述多张影像中的每张影像计算影像高维特征值,得到每张影像的每个目标区域的中心位置、长宽比例,以及该每个目标区域的信心分数(信心分为为0-1之间的一个值)。所述执行模块1012还可以根据每张影像的每个目标区域的信心分数过滤所述多张影像。例如,当所述多张影像中的任意一张影像的任意一个目标区域的信心分数小于预设分值例如0.1时,则过滤掉该任意一张影像,即不考虑将该任意一张影像作为目标影像,由此可过滤掉因为影像噪声及/或光线变化等因素所造成的对目标区域的误判。换句话来讲,所述目标影像是指所述多张影像中,在所述预定位置范围内包括了所述荧光染料的影像,且该影像的每个目标区域的信心分数大于所述预设值。
在其他本实施例中,所述执行模块1012还可以利用所述辨识模型计算每个目标区域内的像素值的平均亮度。在其他本实施例中,所述目标影像是指所述多张影像中,在所述预定位置范围内包括了所述荧光染料的影像,且该影像的每个目标区域的信心分数大于所述预设值,且该影像的每个目标区域的像素值的平均亮度大于预设的亮度值。
还需要说明的是,若存在多张影像分别在所述预定位置范围内包括了所述荧光染料,则所述执行模块1012可以将所述多张影像中,所有目标区域的信心分数的总值最大,且所有目标区域的像素值的平均亮度的总值最大的影像作为所述目标影像。
在一个实施例中,所述执行模块1012训练所述辨识模型的方法包括(a11)-(a13):
(a11)获取预设数量(例如1万张)的样本影像,该预设数量的样本影像中的每张样本影像包括所述多个目标区域的标记,所述多个目标区域包括注入口的区域、检测线的区域、荧光染料的区域,以及凝胶例如洋菜胶的区域,不同的区域利用不同的记号进行标记。所述检测线的区域包括第一线的区域、第二线的区域以及第三线的区域。
在一个实施例中,所述不同的区域可以分别利用不同颜色的方框作为记号分别进行标记。例如,利用红框标记所述注入口的区域;利用绿框标记所述检测线的区域;利用蓝框标记所述荧光染料的区域;利用黄框标记所述洋菜胶的区域。
本实施例中,所述预设数量的样本影像可以为利用数十台核酸检测仪100进行核酸检测时在执行电泳分析过程中所拍摄的影像。
(a12)将所述预设数量的样本影像随机分成训练集和验证集,利用所述训练集训练深度神经网络获得所述辨识模型,并利用所述验证集验证所述辨识模型的准确率;及
若所述准确率大于或者等于预设准确率时,则结束训练;若所述准确率小于所述预设准确率时,则增加样本影像重新训练深度神经网络直至重新获得的所述辨识模型的所述准确率大于或者等于所述预设准确率。
因此,所述执行模块1012可以利用所述辨识模型对所述多张影像中的每张影像的注入口的区域、检测线的区域、荧光染料的区域,以及凝胶例如洋菜胶的区域进行标记。
步骤S106,所述执行模块1012基于所述目标影像分析核酸检测结果。所述执行模块1012还输出所述核酸检测结果。例如,在所述显示屏104显示所述核酸检测结果。
在一个实施例中,所述执行模块1012还将所述核酸检测结果上载到区块链。
在本实施例中,所述基于所述目标影像分析核酸检测结果包括(c1)-(c4):
(c1)根据所述目标影像中的所述多个目标区域中的每个目标区域对应的所述预设的记号(例如所述不同颜色的方框)确定多个目标的位置。所述多个目标的位置包括注入口的位置、荧光染料的位置、检测线的位置以及凝胶例如洋菜胶的位置,其中,所述检测线包括第一线、第二线以及第三线。
需要说明的是,所述多个目标也即是注入口、荧光染料、检测线、凝胶。
以所述目标影像为图4B或4C所示的影像为例,假设利用黄框31标记所述凝胶例如洋菜胶的区域,利用红框32标记所述注入口的区域,利用绿框33标记所述检测线的区域,以及利用蓝框34标记所述荧光染料的区域为例,则所述目标影像的凝胶的长度为所述黄框31的顶端到低端的直线距离。所述目标影像的注入口的位置为所述红框32的横向中心线所在的位置。所述目标影像的每条检测线的位置为每个绿框33的横向中心线所在的位置。所述目标影像的荧光染料的位置为所述篮筐34的横向中心线所在的位置。
(c2)根据所述多个目标的位置计算所述检测线的位置值。
在一个实施例中,所述检测线的位置值P0=d1/d2,其中,d1代表所述注入口的位置与所述检测线的位置之间的距离,所述d2等于所述注入口的位置到所述荧光染料的位置之间的距离。在一个实施例中,参阅图7所示,可以将所述洋菜胶所对应的区域的顶端到低端均分为100个刻度,由此实现d1和d2的计算。在其他实施例中,也可以将所述注入口的位置到所述荧光染料的位置之间的距离作为一个整数1,然后均分为多个刻度,由此实现d1和d2的计算。
具体地,所述第一线的位置值P1=d11/d2(所述第一线的位置值P0也可以记为“IC”),所述第二线的位置值P2=d12/d2,所述第三线的位置值P3=d13/d2,其中,d11代表所述第一线的位置与所述注入口的位置之间的距离,d12代表所述第二线的位置与所述注入口的位置之间的距离,d13代表所述第三线的位置与所述注入口的位置之间的距离,所述d2等于所述注入口的位置到所述荧光染料的位置之间的距离。
(c3)根据所述检测线的位置值与预设的有效数据范围的比较确定所述检测线是否有效,即判断所述检测线是有效检测线还是无效检测线。
本实施例中,当所述检测线的位置值P0落入预设的有效数据范围时,则确定所述检测线有效。当所述检测线的位置值P0不在所述预设的有效数据范围之内时,则确定所述检测线有效。
还需要说明的是,当从所述目标影像中没有识别到所述检测线时,所述执行模块1012则直接认定所述检测线无效。举例而言,当从所述目标影像中没有识别到所述第一线时,则直接认定所述第一线无效。类似地,当从所述目标影像中没有识别到所述第二线时,则直接认定所述第二线无效。当从所述目标影像中没有识别到所述第三线时,则直接认定所述第三线无效。
本实施例中,所述第一线对应的预设的第一有效数据范围为[A,B],较佳地,A=62.0%;B=77.0%。
本实施例中,所述执行模块1012根据所述第一线的位置值P1分别为所述第二线和第三线设定有效数据范围。
具体地,为所述第二线预设第二有效数据范围为[A1,B1],其中,A1=P1+C1;B1=P1+C2;优选地,C1=6%;C2=12%。
为所述第三线预设第三有效数据范围为[A2,B2],其中,A2=P1+C2;B2=P1+C3;优选地,C3=18%。
本实施例中,当所述第一线的位置值P1落入所述预设的第一有效数据范围时,则确定所述第一线有效。当所述第一线的位置值P1没有落入所述预设的第一有效数据范围时,则确定所述第一线无效。
当所述第二线的位置值P2落入所述预设的第二有效数据范围时,则确定所述第二线有效。当所述第二线的位置值P2没有落入所述预设的第二有效数据范围时,则确定所述第二线无效。
当所述第三线的位置值P3落入所述预设的第三有效数据范围时,则确定所述第三线有效。当所述第三线的位置值P3没有落入所述预设的第三有效数据范围时,则确定所述第三线无效。
举例而言,假设所述第一线的第一有效数据范围为[62.0%-77.0%],计算得到所述第一线的位置值为64.4%,落入所述第一有效数据范围,则确定该第一线有效,并以IC(Internal Control)在所述目标影像中进行标示。如图8所示,本实施例中,所述第一线用于判断是否为人类基因存在于所述检测液。即当所述第一线存在则表示所述检测液中存在人类基因。
再如,第一检测线的第二有效数据范围[70.4%-76.4%],第二线用于判断是否存在RNA复制酶(RNA-dependent RNA polymerase)。再如,第三线的第二有效数据范围[76.4%-82.4%],该第三线用于检测是否存在N蛋白(protein)。
(c4)根据所述检测线是否有效确定核酸检测结果。
具体地,参阅图9所示,(1)代表第一线,(2)代表第二线,(3)代表第三线。当所述目标影像中出现有效的第一线时,代表为所述检测液包含人类基因。当所述目标影像中未出现有效的第一线时,代表所述检测液未包含人类基因。类似地,当所述目标影像中出现有效的第二线时,代表所述检测液包含RNA复制酶RNA-dependent RNA polymerase。当所述目标影像中未出现有效的第二线时,代表所述检测液未包含RNA复制酶RNA-dependent RNApolymerase。当所述目标影像中出现有效的第三线时,代表所述检测液包含表N蛋白(protein)。当所述目标影像中未出现有效的第三线时,代表所述检测液未包表N蛋白(protein)。
所述检测液经过核酸检测仪100的影像判读结果可以判断检测液是否包含人类基因,且检验结果呈阳性反应或阴性反应,其判断依据如下:
当所述目标影像出现有效的第一线、第二线、第三线,则核酸检测结果为:所述检测液含人类基因,呈阳性反应。
当所述目标影像出现有效的第一线、第二线,但是未出现第三线时,则核酸检测结果为:所述检测液含人类基因,呈阳性反应。
当所述目标影像出现有效的第一线、第三线,但是未出现第二线时,则核酸检测结果为:所述检测液含人类基因,呈阳性反应。
当所述目标影像出现有效的第一线,但是未出现第二线和第三线时,则核酸检测结果为:所述检测液含人类基因,呈阴性反应。
当所述目标影像出现有效的第二线,但是未出现第一线和第三线时,则核酸检测结果为:所述检测液不含人类基因,无法判断阳性反应或阴性反应。
当所述目标影像出现有效的第三线,但是未出现第一线和第二线时,则核酸检测结果为:所述检测液不含人类基因,无法判断阳性反应或阴性反应。
当所述目标影像出现有效的第二线、第三线,但是未出现第二线时,则核酸检测结果为:所述检测液不含人类基因,无法判断阳性反应或阴性反应。
最后所应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照以上较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (14)
1.一种基于影像的核酸检测方法,其特征在于,该方法包括:
拍摄检测液执行电泳时的多张影像;
识别所述多张影像中是否存在目标影像;及
基于所述目标影像分析核酸检测结果。
2.如权利要求1所述的基于影像的核酸检测方法,其特征在于,该方法在拍摄所述多张影像之前还包括:
利用收集杯收集受试者的生物样本,并将生物样本与检测药剂混合形成检测液;
将所述收集杯安装于加热槽上,利用所述加热槽以预设的第一温度对所述收集杯中的检测液加热第一预设时长;
利用加样器从所述收集杯内定量吸取检测液,并利用所述加样器将所吸取的检测液经由加样槽加入到设置于抽屉内的检测盒内,利用所述检测盒对所述检测液执行PCR扩增反应;及
在所述检测液中添加荧光染料,利用凝胶对所述检测液进行电泳。
3.如权利要求2所述的基于影像的核酸检测方法,其特征在于,所述拍摄检测液执行电泳时的多张影像包括:
控制时间继电器计算所述电泳分析的时长;及
在所述电泳分析进行了第二预设时长时,控制摄像头每隔第三预设时长拍摄至少一张影像,并获得多张影像。
4.如权利要求1所述的基于影像的核酸检测方法,其特征在于,所述识别所述多张影像中是否存在目标影像包括:
利用预先训练得到的辨识模型对所述多张影像中的每张影像的多个目标区域进行识别,并利用预设的记号对识别到的每个目标区域进行标记;及
根据对所述多张影像中的每张影像的预定位置范围内是否出现指定的目标区域的判断,从所述多张影像中确定目标影像。
5.如权利要求4所述的基于影像的核酸检测方法,其特征在于,所述利用预先训练得到的辨识模型对所述多张影像中的每张影像的多个目标区域进行识别包括:
利用所述预先训练得到的辨识模型对所述多张影像中的第一张影像的所述多个目标区域进行识别;
根据凝胶在所述第一张影像中所占区域的位置及大小对所述多张影像中的所有其他影像进行裁切;及
利用所述预先训练得到的辨识模型对经过裁剪的所有其他影像中的每张其他影像的所述多个目标区域进行识别并对所识别的每个目标区域进行标记。
6.如权利要求5所述的基于影像的核酸检测方法,其特征在于,所述第一张影像为所述多张影像中,拍摄时间最早的一张影像;所述多张影像中的所有其他影像是指所述多张影像中,除所述第一张影像之外的所有影像。
7.如权利要求4所述的基于影像的核酸检测方法,其特征在于,所述目标影像是指所述多张影像中,在预定位置范围内包括了荧光染料的影像。
8.如权利要求7所述的基于影像的核酸检测方法,其特征在于,所述目标影像是指所述多张影像中,在所述预定位置范围内包括了所述荧光染料的影像,且该影像的每个目标区域的信心分数大于预设值。
9.如权利要求8所述的基于影像的核酸检测方法,其特征在于,所述目标影像是指所述多张影像中,在所述预定位置范围内包括了所述荧光染料的影像,且该影像的每个目标区域的信心分数大于所述预设值,且该影像的每个目标区域的像素值的平均亮度大于预设的亮度值。
10.如权利要求4所述的基于影像的核酸检测方法,其特征在于,所述基于所述目标影像分析核酸检测结果包括:
根据所述目标影像中的所述多个目标区域中的每个目标区域对应的所述预设的记号确定多个目标的位置,所述多个目标的位置包括注入口的位置、荧光染料的位置、检测线的位置以及洋菜胶的位置,其中,所述检测线包括第一线、第二线以及第三线;
根据所述多个目标的位置计算所述检测线的位置值;
根据所述检测线的位置值与预设的有效数据范围的比较确定所述检测线是否有效;及
根据所述检测线是否有效确定核酸检测结果。
11.如权利要求10所述的基于影像的核酸检测方法,其特征在于,所述第一线的位置值P1=d11/d2,所述第二线的位置值P2=d12/d2,所述第三线的位置值P3=d13/d2,其中,d11代表所述第一线的位置与所述注入口的位置之间的距离,d12代表所述第二线的位置与所述注入口的位置之间的距离,d13代表所述第三线的位置与所述注入口的位置之间的距离,所述d2等于所述注入口的位置到所述荧光染料的位置之间的距离。
12.如权利要求11所述的基于影像的核酸检测方法,其特征在于,该方法还包括:
预设所述第一线对应的第一有效数据范围;及
根据所述第一线的位置值分别为所述第二线和第三线设定有效数据范围。
13.如权利要求10所述的基于影像的核酸检测方法,其特征在于,该方法还包括:
当从所述目标影像中没有识别到所述检测线时,认定所述检测线无效。
14.一种核酸检测仪,其特征在于,该核酸检测仪用于执行如权利要求1至13中任一项所述的基于影像的核酸检测方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21199530.3A EP3979213A3 (en) | 2020-09-30 | 2021-09-28 | Nucleic acid detector and image-based nucleic acid detection method |
JP2021158316A JP2022058247A (ja) | 2020-09-30 | 2021-09-28 | 核酸検出器及び映像による核酸検出方法 |
PCT/CN2021/122431 WO2022068937A1 (zh) | 2020-09-30 | 2021-09-30 | 核酸检测设备 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063085377P | 2020-09-30 | 2020-09-30 | |
US63/085377 | 2020-09-30 | ||
US202063091521P | 2020-10-14 | 2020-10-14 | |
US63/091521 | 2020-10-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114332850A true CN114332850A (zh) | 2022-04-12 |
Family
ID=80823694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110602307.9A Pending CN114332850A (zh) | 2020-09-30 | 2021-05-31 | 核酸检测仪及基于影像的核酸检测方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220099623A1 (zh) |
CN (1) | CN114332850A (zh) |
TW (1) | TW202215293A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115131784A (zh) * | 2022-04-26 | 2022-09-30 | 东莞博奥木华基因科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-05-31 CN CN202110602307.9A patent/CN114332850A/zh active Pending
- 2021-05-31 TW TW110119747A patent/TW202215293A/zh unknown
- 2021-08-13 US US17/401,563 patent/US20220099623A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115131784A (zh) * | 2022-04-26 | 2022-09-30 | 东莞博奥木华基因科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202215293A (zh) | 2022-04-16 |
US20220099623A1 (en) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6927465B2 (ja) | 検体中の妨害因子を分類するためのモデルベース方法及び装置 | |
EP2313787B1 (en) | Apparatus, method and article to perform assays using assay strips | |
US7267799B1 (en) | Universal optical imaging and processing system | |
ES2123476T3 (es) | Metodo para evaluar la calidad de portaobjetos y de preparacion de muestras. | |
US20210096083A1 (en) | Method for calibrating a camera of a mobile device for detecting an analyte in a sample | |
WO2018022280A1 (en) | Systems, methods and apparatus for identifying a specimen container cap | |
CN116250004A (zh) | 诊断测试试剂盒及其分析方法 | |
CN106526177A (zh) | 基于胶体金试纸条的生物标志物检测系统及方法 | |
US20160093039A1 (en) | Method for identifying a unit using a camera | |
JP2016008927A (ja) | 検出装置および生体試料分析装置 | |
WO2020012571A1 (ja) | 分析システム、オートサンプラ、及びオートサンプラ用テンプレートシート | |
CN114332850A (zh) | 核酸检测仪及基于影像的核酸检测方法 | |
CN103679152A (zh) | 基于光学图谱系统的真假指纹鉴别方法 | |
CN114667444A (zh) | 执行分析测量的方法 | |
CN114332058A (zh) | 基于神经网络的血清质量识别方法、装置、设备及介质 | |
CA3157870A1 (en) | Method of determining a concentration of an analyte in a bodily fluid | |
WO2018078582A1 (en) | Method for distinguishing fresh meat from meat subjected to freezing by means of analysis of images of muscle tissue and corresponding system arranged to execute said method | |
EP3979213A2 (en) | Nucleic acid detector and image-based nucleic acid detection method | |
CN109919054B (zh) | 一种基于机器视觉的试剂卡自动分类的检测方法 | |
CN114317224A (zh) | 核酸检测主机及核酸检测设备 | |
EP3954990B1 (en) | Test strip fixation device for optical measurements of an analyte | |
CN220231752U (zh) | 一种便携式胶体金免疫层析试纸定量检测设备 | |
CN114339046B (zh) | 基于自动旋转试管的图像采集方法、装置、设备及介质 | |
JP7407282B2 (ja) | 管アセンブリタイプを識別する装置および方法 | |
WO2001046671A1 (en) | Apparatus and method for image analysis quality control and assurance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |