CN104641381A - 用于检测圆形标签中的2d条形码的方法和系统 - Google Patents
用于检测圆形标签中的2d条形码的方法和系统 Download PDFInfo
- Publication number
- CN104641381A CN104641381A CN201380047988.0A CN201380047988A CN104641381A CN 104641381 A CN104641381 A CN 104641381A CN 201380047988 A CN201380047988 A CN 201380047988A CN 104641381 A CN104641381 A CN 104641381A
- Authority
- CN
- China
- Prior art keywords
- region
- fact
- circular
- data carrier
- barcode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1456—Methods for optical code recognition including a method step for retrieval of the optical code determining the orientation of the optical code with respect to the reader and correcting therefore
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种用于识别和读取圆形标签上的条形码的方法和系统。在实施例中所讨论的这样的系统和方法针对用于使用锥形管和对应的流体容器条的生物学分析的机电系统中的条形码读取器的工程中的特定的例子进行了具体的阐述。系统要求的是,正确的锥形管与正确的条匹配。为了避免任何人为的错误,条形码读取系统被实现,其通过将条形码(例如,2D条形码)放置在锥形管上并且将条形码放置在条上:然而,锥的特殊形状在自动定位和读取锥顶部的圆形标签上的条形码方面存在一些问题。由于不允许读取器和目标之间的直线对准的机器的各个组件的相对定位,目前的系统的另一个困难是,条形码读取器相对于携带编码的圆形标签的倾斜。使用根据本公开的优选实施例的方法,扫描圆形标签以检测2D条形码,然后读取条形码,使用要求有限的功率和硬件资源的简化的算法。
Description
技术领域
本发明涉及用于条形码读取的方法和系统。具体的是,本发明涉及用于定位放置在圆形区域,更具体的是放置在圆形标签上的条形码(例如,2D条形码)的方法和系统。
背景技术
扫描条形码的问题可以应用于各种各样的应用情景中,在本申请中,不失一般性,我们具体地阐述了用于生物分析的机电系统中的条形码读取器的设计的特定例子。更具体的是,条形码读取系统已经在由生物梅里埃制造和发布的酶联荧光免疫分析系统(The Vitek ImmunoDiagnostic AssaySystem)中实现,也称为或在其最近的版本中称为它是使用预先配发的一次性试剂条和特定涂层的固相容器的紧凑全自动多参数免疫分析仪。可以直接从原始样品管中吸取、混合、培育、控制和分析样品。
具有四个独立的部分,其中每个部分可以支持多达3个样品。另外的特征允许自动地执行来自主管中的样品的处理。操作员将离心的、开盖的管、和条引入仪器中。全部剩下的操作(主管的条形码读取和从主管的样品吸取)由系统自动地操作。试剂条处理、所使用的算法、分析和试剂盒组件(试剂条、等)都与目前的和微型是相同的。类似于和微型将为血清学、免疫化学、抗原检测和免疫止血提供常规批量试验或随机访问(混合的)试验。免疫学的方法是间接的EIA、免疫捕捉、夹层或竞争,全部涉及使用碱性磷酸酶的结合物。类似于和微型 使用仪器协议作为对每个化验产物的定义。这些协议是通过产品包装上的条形码信息在计算机知识库中选出的。用户通过用户菜单确定化验选择。试验结果被传输到计算机以被分析和打印。
系统能够同时运行多个分析,该多个分析包括通过共享的机械组件在样品上执行的动作序列;每个分析的最大持续时间受到生物学约束的限制,但是随后的动作之间的等待时间被允许在不确定的区间范围内。
每个类型的生物学分析由预处理阶段和解析协议(analytic protocol)组成。在分析的开始,由条形码唯一地标识的锥形试管包含样品,被安排为一排的多个容器的其它多个管包含稀释液和培养液。在预处理阶段期间,自动化的吸移管管理器反复地在各个管之间倒出样品;每个吸移管管理器动作持续一段确定的时间。在两个连续的动作之间允许等待时间,但是等待时间被限制在由培养周期/反应周期和样品退化特性所确定的最小值和最大值之间的范围内。在预处理阶段结束之后,解析协议遵循固定顺序的步骤,在该固定顺序的步骤期间,样品与试剂混合并且多次测量由读取头进行。
另外,在这种情况下,读取头的动作是确定性的并且使用等待时间交织(见图1)。为了机电组件的高效利用,多个分析,并且可以是不同类型的多个分析是同时实施的。为此,系统包括多个部分,每个分析使用一个部分。每个部分被依次分为狭槽,携带可以接受不同预处理并且可以在不同受试样品上操作的不同样品。然而,由于读取头被设计用于一次测量整个部分,所以在相同部分的所有狭槽受到运行相同解析协议的制约(见图2)。
吸移管管理器和读取头在不同狭槽和部分之间是共享的并且不能由两个不同的分析同时地使用。
在这样的生物学分析中,正确的锥形试管与正确的试剂条匹配当然是很重要的。在机器中锥形试管和试剂条的插入通常是由操作员手工完成。具有多个部分和狭槽的布置使得更容易在锥形试管/试剂条对的定位上犯错。为了便于由人类操作员进行的操作,强调两个匹配组件之间的匹配的几个方法已经被实施(即,锥形试管和试剂条上的颜色相同)。然而,为了确定分析是正确执行的,机器应该更好的提供自动化识别机制以避免任何人为的错误。条形码读取似乎是可能的解决方案之一,其使用在锥形管上的条形码(即,2D条形码)和在试剂条上的条形码:然而,锥形管的特定形状在自动定位和读取在锥形管顶部的圆形标签上的条形码方面存在一些问题(见图3)。已知的图像识别的方法和软件就资源消耗和时间消耗而言是非常昂贵的。目前的系统的另外一个困难是由于不允许读取器和目标间的直接的对准的机器的各个组件的相对定位,条形码读取器可能相对于携带编码的圆形标签倾斜。
因此,非常期望一个简化的、更快的和消耗更少的硬件资源的解决方案。
本公开的目的
本公开的一个目的是克服至少一些与现有技术相关的问题。
本发明的另一个目的是提供一种以快速和可靠的方式识别实质上圆形的标签上的2D条形码图像的位置的方法。
本发明的第三个目的是提供一种机电仪器,用于执行具有能够定位和读取实质上圆形的标签上的2D条形码的条形码读取器的生物学分析。
概要
本发明提供一种如在随附权利要求中阐述的调度方法。
根据第一个实施例,本公开提供了一种用于使用数字图像处理系统,确定实质上圆形的区域内的矩形数据载体的位置的方法,该数据载体位于圆冠区域的预定部分内,圆冠区域由中心基本上与实质上圆形的区域的中心重合的内圆和外圆定义,圆冠区域的预定部分由至少一个视觉标记识别,该方法包括的步骤有:获取实质上圆形的区域的数字表示;确定实质上圆形的区域的中心;建立包括内圆和外圆的检测环形区;径向扫描检测环形区以识别指示圆冠区域的预定部分的起始位置的至少一个视觉标记;从开始的位置开始,扫描检测环形区以确定数据载体边界的位置。
另外,在本公开优选的实施例中,圆冠区域的预定部分包括在圆形分段内,圆形分段和实质上圆形的区域的剩余部分之间的最小对比度超过预定的阈值,并且至少一个视觉标记由圆冠区域与定义圆形分段的弦交叉的位置表示。
另外,在优选的实施例中,数据载体表示2D条形码并且数据载体所放置的圆形分段的背景是黑色的。有利的是,由圆形分段所覆盖的面积至多是实质上圆形的区域的总面积的90%,优选的是,至多70%并且更优选的是至多50%。在更优选的方式中,由圆形分段所覆盖的面积小于实质上圆形的区域的总面积的50%。具有相对于实质上圆形的区域的部分圆形分段的其中一个优点是除了条形码信息外的其他信息可以被包括在不同于圆形区域的区域内。另一个优点在于更小的圆形分段便于其读取和由此寻找2D条形码。
另外,在本公开的优选的实施例中,获取数字表示包括通过数字图像处理系统捕捉包括实质上圆形的区域的黑白矩形照片,该矩形照片包括像素阵列并存储数字图像处理中的表示,其中每个像素都具有灰度等级。确定实质上圆形的区域的中心的步骤包括:识别在矩形照片内的实质上圆形的区域的边缘;关于所识别的边缘,确定实质上圆形的区域的中心。在本发明的实施例中,识别实质上圆形的区域的边缘包括:水平扫描矩形照片以识别转变点,在该转变点处,相邻像素的灰度等级之间的差异超过了预定值,水平转变点指示实质上圆形的区域的横向边缘;垂直扫描矩形照片以识别转变点,在该转变点处相邻像素的灰度等级间的差异超过了预定值,垂直转变点指示实质上圆形的区域的垂直边缘。
有利的是,建立检测环形区的步骤包括确定包括关于实质上圆形的区域的中心的内半径和外半径之间所包括的圆冠区域。
根据本公开的另一个方面,提供计算机程序,其包括在计算机上执行时实现上述方法的程序代码装置。
根据另一个实施例,我们提供一种用于使用数字图像处理系统确定实质上圆形的区域内的矩形数据载体的位置的系统,数据载体位于预定的圆冠区域内和实质上圆形的区域的圆形分段内,圆形分段具有的背景的最小暗度高于预定阈值,圆冠区域由中心基本上与实质上圆形区域的中心重合的内圆和外圆定义,系统包括适用于执行上面方法的步骤的一个或多个组件。
根据本公开的又一个方面,我们提供一种条形码读取系统,该系统包括用于在实质上圆形的区域内确定矩形数据载体的位置的上述系统。同时提供的是一个用于执行生物学分析的机电系统,该系统包括条形码读取系统。
本发明提供了很多好处。本发明的优选的实施例中的一个优点是简化的、低资源消耗的图像识别软件满足了识别、定位和读取在圆形标签上的条形码的需求。
附图说明
现在将通过举例的方式,对附图进行参考,在附图中:
图1是在用于执行生物试验的机电仪器中运行单个分析系统组件的物理架构示意图;
图2是根据本发明的实施例,在用于执行生物试验的机电仪器中的多个狭槽和部分中包含多个分析的整个系统的物理架构的示意图;
图3是相对于通过检测装置中心的垂直轴倾斜的检测装置和目标的相对位置的示意图;
图4到图18展示了根据本发明的优选的实施例的方法的各个阶段和各个方面;
图19展示了根据本发明的优选的实施例的方法步骤的流程图。
优选实施例的详细说明
相对于目标105倾斜角δ(例如,35°)的检测装置(例如,包括传感器101和透镜103的照相机)的布置在图3中表示。在本例子中,目标是携带被应用于锥形管顶部的条形码的圆形标签。如上所述,这种管必须与相应的条匹配。由实现本公开实施例的系统所执行的任务是获取表示在目标105的标签上的图像,定位条形码(即,2D条形码)和读取包含在条形码内的信息。这样的信息则可以被用来核实锥形管和条之间的正确匹配。本公开所阐述的更一般的问题是在圆形标签上读取条形码,该标签可能在相对于检测装置和目标的垂直线倾斜的平面上。2D条形码通常是表示数据载体,即,由黑白“单元”组成的二维载体或在正方形或矩形图案中所布置的模块。要编码的信息可以是文本或原始数据。
检测装置由计算机或具有在固件上嵌入代码的微型处理器控制;例如,在这里所描述的实例中,微型处理器是基于ARM9内核、主要针对多媒体和低功耗的应用运行高达400Mhz的处理器。该处理器是必需的以便于提供足够的能力去获取图像和解码数据载体(DMTX)编码。微型处理器配有:FLASH存储器、RAM存储器和EEPROM存储器:FLASH存储器被用来存储应用和FW代码;RAM存储器被用来在数据载体解码过程期间,执行代码和同时存储图像信息和临时信息。EEPROM存储器被用来存储有关数据,诸如相机板的参数或校准数据。在本公开的优选实施例中,运行处理由检测装置101所捕获的图像的软件的这样的计算机被安装在板上。在本公开的优选实施例中,软件包括数据载体解码算法(DDA),该算法能够对使用ECC200的固定大小(即,8x18块的编码密度,且任何单个元素具有5密耳(0.127mm)的边长)数据载体进行解码。ECC200是数据载体的最新的版本并且支持先进的编码差错检测和纠正算法。ECC200允许整个已编码的数据串的例行重构,即使当字符已经遭受高达30%的损害时也能重构,前提假设是载体仍然可以被准确定位。检测装置和目标平面间的最佳工作距离是包括在106mm和98mm之间,例如,如在本例中是102.5mm。在本公开的实施例中,具有检测装置101的板是与相对于目标平面(以及圆形标签)的垂直轴成35度的角度放置。
在本公开的一个实施例中,检测装置包括照相机(例如,具有CMOS传感器1280x1024(SXGA)的豪威OV9121B&W),配有透镜,例如16mm的标准透镜。在透镜上有允许更大景深(DOF)的机械的和固定的光圈(aperture)。DOF是在图像中出现可接受的清晰度的场景中的最近对象和最远对象之间的距离。虽然透镜可以一次只精确地聚焦一个距离,但是清晰度的降低在所聚焦的距离的每个边上是逐步减小的,使得在DOF内,在正常的观看条件下,不清晰度是不被察觉的。在下面的图中,我们可以看到动作中的光圈。图4A是在没有机械光圈的条件下获取的。焦点减少了图像中心的输出:DMTX是模糊的。图4B是在具有机械光圈和所有圆形标签(在下面也称为DOT)拥有正确焦点的情况下获取的。
照明也是创造高质量、鲁棒性的和及时的视觉检查的一个重要方面:根据本公开的优选实施例的系统围绕照相机主体的透镜周围安装了6个红色LED以照明小圆点。
在本公开的优选实施例中,图像识别软件将剪掉一部分图像以获取512x512像素的最终照片。对于正确的分析,DOT必须是完整地在由相机所捕捉的区域的内部。图5A表示DOT被移动到相对于所期望的中心的左边的例子,而图5B展示了DOT是合理地居中的例子。
图像处理开始于图像的第一像素处的指针的设置,其中:它对应于阵列(或载体)的第一个字节并且它在图像的左上方。没有任何图像复制,因为它要花许多毫秒,大约200毫秒,所以系统直接使用由主固件填充的缓冲区。图6展示了图像中的XY轴的传统方向。
系统具有正确地解码DMTX的灵活性的范围。该范围可以通过改变相机和DOT之间的距离来粗略计算。在本例子的优选实施例中,DOT通常在具有大约35°读取角的(102.5mm)的名义距离+3mm/-4mm处是可读的。系统可以在更远或更近的距离处正确读取DMTX,但是在这些情况下,其他变量(位置、旋转、变形、污斑)能够影响最终的结果。在视觉检验中,背景也是一个重要的方面:最终的场景必须类似于在设置试验期间所获取的场景。
下面是设置试验条件(在该实施例中所使用的)的例子:
-光不强于150勒克司;
-目标(DOT)之外的背景尽可能的暗和尽可能的均匀。根据优选的实施例,如果不存在检测到的两个相邻的像素之间的灰度等级(gl)超过预定的阈值的区域,则背景可以被认为是均匀的,例如,在上升边缘或下降边缘的情况下为10gl,并且在峰值的情况下为5gl。术语“上升边缘/下降边缘”、“峰值”和“峰值检测”是指它们在图像处理领域使用的意思;
-目标(DOT)的图像基本上在大小为512x512像素的窗的中间应当是可取的;然而对于正常工作的算法而言,整个图像在窗的边界内是足够的,并且可取的是,DOT的边界应该大约距离窗的边界10个像素。
如果变化剧烈,则系统的功能将会受影响,特别是在“缺失小圆点”的分析中时。为了找到“缺失DOT”,系统实施累积的直方图函数,该直方图函数按16个部分分组收集所有像素值。
-部分0:从0到15的灰度等级的值。
-部分1:从16到32的灰度等级的值。
-部分2:从33到48的灰度等级的值。
并且直到
-部分16:从241到256的灰度等级的值。
完成直方图之后,为了证明DOT的存在,仅必须对比最后一个值与阈值。图7A和7B是直方图的图形表示。图7A展示了缺失DOT的例子,而图7B展示了DOT存在的例子。
为了寻找图像上的DOT和DMTX的位置(DMTX的位置在DOT的里面),系统实施一系列函数:
-找到DOT的边缘和DOT的中心;
-将一组环形掩膜应用到图像(对于DOT的中心对齐);
-搜索选定环形内部的DMTX。
被称为“搜索中心环形(SearchCenterRing)”的函数通过对5个左轮廓、5个右轮廓和底部对角线的扫描来搜索和寻找DOT的中心。轮廓通常被用来平均特定数目的像素并且这是一种捕捉更好的上升或下降边缘的方式。
-首先,5个左水平轮廓搜索DOT的左边。
-其次,5个右水平轮廓搜索DOT的右边。
-最后,扫描借助于从图像的底部开始的7个径向轮廓来搜索DOT的底边。
1.系统通过从5个轮廓中选出最佳轮廓寻找DOT的左边缘,即,垂直地扫描位于图像中心的5个轮廓。对于这些轮廓中的每个轮廓,系统为每个X坐标集成5个垂直像素,其中X坐标从X=10开始到图像的中心。5个垂直灰度等级(gl)被存储在数组中以被分析,但是,并不是将它们的值与固定的全局阈值进行比较,而是采用一种相关的方式。相关的分析是通过将值I和值(I+6)(即,5个位置的偏移)之间的差异和预定的参考绝对值进行比较来完成的。如果差异超出了这样的参考值(例如,10gl),我们就假定存在边缘并由此存在DOT的左界。在这样的方式中,我们只考虑到最小深度的真实边缘(例如,从黑色到白色转换时的上升边缘或在相反的情况下的下降边缘),太薄的边缘除外。如果边缘窄于预定的阈值,则正(或负)转换紧随一个相反符号的转换:我们称这些为“峰值”并且用于检测的参考绝对值(例如,5)低于用于边缘的参考绝对值。
所以,根据本例子,当下列关系被证明时,系统将检测到上升边缘:
gl(x+6)-gl(x)>10
(如果gl(x+6)-gl(x)<-10,同样也可以识别下降边缘)。
当遇到峰值时,下列两个关系同时满足:
gl(x+6)-gl(x)>5和gl(x+6)-gl(x+12)<-5
系统将5个水平轮廓中所检测的边缘的x坐标存储在存储器中。最左边的x坐标被作为DOT的左边界。
2.DOT的右边缘遵循如用于左边缘的相似的方法确定。一旦我们确定了左边界和右边界,我们就可以得到DOT的直径并且该值将在下列的步骤中所用。
3.DDA通过7个边缘扫描寻找DOT的底边缘。通过左边和右边的分析,DDA知道了DOT的水平中心。因此,为了寻找DOT中心的垂直坐标,它从y=512到图像的预定适当位置来扫描图像,其中在本实现中图像的预定适当位置是一半高度=258,但是其他适当位置可以被代替使用,例如,高度的四分之三:(512/4)*3=384像素。最后,DDA使用超过10的值来搜寻上升边缘。该算法基本上遵循所描述的用于左边缘和右边缘的相同的方法步骤,其中左边缘和右边缘使用相同的上升/下降边缘检测函数(例如,超过10gl的预定阈值)和相同的峰值检测函数(例如,超过5gl的预定阈值)。在扫描的结束处,系统选择在7个轮廓之间的最下面的Y坐标。
图8展示了10个水平轮廓(用灰色表示的左轮廓和轮廓)和7个底部扫描(用白色的线表示)。
系统使用左边缘、右边缘和底部边缘,现在可以计算DOT的中心的XY坐标和它的近似半径。由于为使用所发现的半径进行后续分析的预计算的正弦和余弦,下一个步骤允许确定所有循环指针(地址)。该步骤由预计算从-20°到360+20°的所有指针的“计算环形指针(CalculateRingPoints)”函数执行。该额外的成角(angulation)(+/-20°)允许在DMTX接近于0°or 360°时,截取(intercept)DMTX。上面所描述的预计算是一个复杂的技巧,但是对于在后续图像处理期间节约时间却是有效的方式。为了寻找DMTX的位置,系统实施被称为“环形轮廓扫描(RingProfileScan)”的函数,该函数从预定的圆冠位置开始(例如,作为0°参考的EST位置)并且遵循顺时针方向的旋转,通过使用以前的预计算的点,执行沿着整个圆冠轮廓的径向扫描。
参考图10c,如我们将更好地看到的(由两条垂直线突出强调),由于DMTX被放置的(印制的)黑色区域,在冠里面的DMTX的位置总是以由具有非常低的gl值的两个区域限制的带有几个gl值变化的区域为特征。通过检测黑色区段内的这些区域,系统能够截取DTMX。
为了执行DOT的Y轴位置估计的一些调整(例如,由于图像噪声的存在),存在一个循环,该循环允许6个扫描使用不同的圆环(或冠):
-冠1:在Y轴上偏移为Y=(中心-20像素);
-冠2:在Y轴上偏移为Y=(中心-10像素);
-冠3:在Y轴的中心;
-冠4:在Y轴上偏移为Y=(中心+10像素);
-冠5:在Y轴上偏移为Y=(中心+20像素);
-冠6:在Y轴上偏移为Y=(中心+30像素);
换句话说,第一个冠在DOT上放置于确定的Y坐标(中心Y)减去20像素,即,Y=中心Y-20;第二个放置于Y=中心Y-10;第三个在Y=中心Y上;第四个在Y=中心Y+10;第五个在Y=中心Y+20;以及第六个在Y=中心Y+30。
图9A-9F展示了冠的例子,而图10A-10F图形表示他们对应的径向的轮廓:
-如图9A中所展示的冠1,被表示为图10A中的与冠3(图9C)合并的径向轮廓。冠1与冠3一起展示是因为冠3已经被算法确定为最佳的选择,即,已经被确定为更可能包括数据载体的冠。
-如图9B中所展示的冠2,被表示为图10B中的与冠3合并的径向轮廓。冠2与冠3一起展示,冠3已经被算法确定为最佳的选择,即,已被确定为更可能包括数据载体的冠。
-由算法选出的最佳冠(在这种情况下,最佳冠为冠3)在图10C中表示并且通过两条垂直线来强调。
-如图9D中所展示的冠4,被表示为图10D中的与冠3合并的径向轮廓。冠4与冠3一起展示,冠3已经被算法确定为最佳的选择,即,已被确定为更可能包括数据载体的冠。
-如图9E中所展示的冠5,被表示为图10E中的与冠3合并的径向轮廓。冠5与冠3一起展示,冠3已经被算法确定为最佳的选择,即,已被确定为更可能包括数据载体的冠。
-如图9F中所展示的冠6,被表示为图10F中的与冠3合并的径向轮廓。冠6与冠3一起展示,冠3已经被算法确定为最佳的选择,即,已被确定为更可能包括数据载体的冠。
为了寻找DMTX的位置,系统实施被称为“环形轮廓分析(RingProfileAnalyze)”的函数,该函数分析由“环轮廓扫描”函数在全部6个冠上收集到的数据。通过使用这6个扫描,系统可以选择最接近于数据载体的最佳冠。为了选择最佳冠,算法分析数据计算:
-左基准长度20像素(基准Sx)的灰度等级的累加器
-右基准长度20像素(基准Dx)的灰度等级的累加器
-DMTX长度46像素(基准DM)的灰度等级的累加器
对径向扫描的所有度检查这些条件:
-1)基准Sx累加器+基准Dx累加器必须全部360度中最小的一个;
-2)基准DM累加器必须高于阈值;
-3)基准Sx与基准Dx之间的差异必须小于预定的阈值(例如,500);
-4)基准DM累加器中值的+0.25%必须大于预定的参考值RV,该参考值RV在每个冠扫描轮廓期间所检测的围绕DTMX的黑色区域中是最小值;
-5)基准Sx与基准Dx必须小于预定值RV的两倍。
所有上面的条件允许确定对应于我们可以寻找到数据载体的角坐标的最佳点。
在图10C中,我们可以看到数据载体是如何放置在两个暗区段(静区段)之间,所述两个暗区段具有特定的高度,该高度对应于白色的微型小圆点的对比度,黑色区段也具有特定的宽度(大约46个点,且在左边和在右边有20个暗点)。当数据载体在图形中被检测到时,绘制对应于最佳点的两条垂直的线。
霍夫变换
霍夫变换的目的是,通过执行明确地表决程序,执行将边缘点分组为候选对象。该表决程序在参数空间内实施,从参数空间中可以获取在所谓的累加器空间中作为局部最大值的候选对象。
对于在具有坐标的图像平面上的任意点(例如,(x0,y0)),通过它的线是:
r(θ)=x0cosθ+y0sinθ,
其中,r(线和原点之间的距离)由θ确定。这对应于平面(r,θ)中的正弦曲线,该正弦曲线对在图11中所表示的点是唯一的。
线性回归
线性回归函数,也称为“线拟合(LineFit)”,计算最靠近通过所有输入点的直线。图12展示了线拟合算法的例子。直观的点不属于相同的直线,但是线性回归模型使用最小二乘方法来计算最佳线。
寻找基准线宽度(BLW)和基准线高度(BLH)的开始/结束
在本公开的优选实施例中,为了增加DMTX达到的精度(例如,在图13中所表示的一个),系统实施称为“搜索BLW的开始结束(SearchStartEndBLW)”和“搜索BLH的开始结束(SearchStartEndBLH)”的两个函数,这两个函数寻找BLW和BLH的开始和结束。基准线宽度(BLW)和基准线高度(BLH)是两个正交的分段,这两个正交的分段限制矩形DMTX并且它们通常被用于识别DTMX的定向。为了成功地遵循基准线,存在4个试验。第一个试验,接受和分析基本上水平的BLW。在该试验中,存在另一个检查来寻找DMTX的位置。即下象限(0°到180°)或上象限(180°to360°)。
第二个试验接受和分析基本上垂直的BLW。在该试验中,存在另一个检查来寻找DMTX的位置。即左象限(90°到270°)或右象限(270°to90°)。
该函数以从BLW的中心的扫描开始并且转到外侧以寻找BLW在哪开始和结束。
为了增强下降边缘(从白色到黑色)的搜寻,算法对三个像素中的两个像素进行比较和求和。
在已经找到最佳下降边缘之后,它又再次尝试通过子像素功能总是遵循BLW方向的最佳精度。
图14展示了说明上述概念的例子。
在第一个步骤中,从X0开始,算法检查是否满足(gl1-gl2)>阈值,其中:
gl1=(x0y0+x0y1+x0y2)+(x1y0+x1y1+x1y2)=(200+205+203)+(205+207+204)
gl2=(x2y0+x2y1+x2y2)+(x3y0+x3y1+x3y2)=(190+188+191)+(180+175+178)
第二个步骤中,从X1开始,算法始终检查gl1和gl2,但是从X1开始,第三个步骤从X2开始,等等。
对于基准线高度,“搜索BLH的开始结束”函数从由上一个函数“搜索BLW的开始结束”所找到的点中间开始寻找BLH的开始和结束。一旦在BLH上找到了这样的点,算法就以子像素的精确度改善了边缘检测(见图15)。
为了增强下降边缘(从白色到黑色)的搜寻,该算法对三个像素值中的两个像素值进行比较和求和。
在已经找到最佳下降边缘之后,它又再次尝试通过子像素函数总是遵循BLH方向的更好的精确度。
寻找矢量(clock)(定时图样)
在本公开优选的实施例中,为了增加BLW结束的正确解释,系统实施被称为“搜索平行BLH(SearchParallelBLH)”的函数,该函数搜索BLH的平行线,这是因为BLH是被截断的或因为相对于围绕DTMX的暗区段没有足够的从白色到黑色的间隔。
在图16和图17中所示的模糊图像标识错误解释的两个例子。
BLW的结束(由DDA所解释的)用虚线强调。
为了克服该问题,存在被实施的称为“搜索平行BLH(SearchParallelBLH)”的函数,该函数搜索BLH的平行线。该程序执行垂直轮廓以正确地寻找在上面的图像中用微小的线强调的DMTX的结束。所以,在已经找到BLW的结束之后,该“搜索平行BLH”函数验证和搜索DMTX的结束。在图18A、18B和18C中所示的照片,表示不断进展的垂直轮廓。图18C使用大的灰十字展示了正确的DMTX结束,其相对于小的灰十字位于最右侧(图18A、图18B)。
上面所描述的方法也在图19中所示的图表中体现。我们将对下面的例子假设要被识别(并且连续地扫描和读取)的数据载体(例如,2-D条形码)被放置在具有暗(即,黑色)的背景的圆冠和圆形分段内。从技术上讲,这意味着这样的圆冠的分段的数字表示的每个像素的最小暗度高于预定的阈值(即,不需要真正的黑色,而是只要所有像素都比该阈值更暗,系统就认为它是“黑色”背景)。本领域的技术人员将很容易的领会,如果背景是“白色”,即,如果这样的圆冠的分段的数字表示的所有像素的最大暗度低于预定的阈值(即,不需要真正的白色,而是只要所有像素都比该阈值更明亮,系统就认为它是“白色”),根据本发明的方法能够同样地工作。更普遍的是,圆形分段和实质上圆形的区域的剩余部分之间的最小对比度必须超过预定的阈值。其它可代替的实施例是可能的,例如,不需要该“黑色”背景覆盖整个圆形分段:它可以例如是围绕数据载体的矩形。甚至更普遍的是,包含数据载体的圆冠部分可以由图像处理系统识别就足够了:作为一个例子,视觉标记可以被放置以指示包含数据载体的圆冠部分(即,要扫描的部分)在哪里开始。黑色的分段(或更好的是,圆冠与定义该分段的弦(或割线)的交叉点)是这样的标记的可能的实现。该方法在数据图像处理系统中执行并且旨在确定在实质上圆形的区域(例如,圆形标签)内的矩形数据载体的位置,该数据载体被放置在预定的圆冠区域内和在实质上圆形的区域的圆形分段内;如上面所提到的,圆形分段具有的背景的最小暗度高于预定的阈值(或低于预定的阈值),该圆冠区域由中心与实质上圆形的区域的中心实质上重合的中心的内圆和外圆定义。该方法在黑色圆1901开始进而转到1903,在1903处,标签上的圆形区域的数据表示由系统获取。明显的是,标签不需要是圆形的;该方法同样可以与其它形状很好的工作,只要其包括具有上面所提到的特性的圆形区域。换句话说,只要数据载体的位置可参考DOT的中心识别和在如上面所讨论的圆冠及圆形分段内即可。系统然后处理图像并且在步骤1905,根据本发明的优选实施例的方法确定DOT的中心;确定这样的中心的例子和方式的细节已经在上面讨论过了,并且本领域的技术人员将很容易的领会,为了该目的,几个现有方法和技术可以被使用和合并。在本发明的实施例中,确定DOT的中心包括用水平扫描和垂直扫描识别实质上圆形的边缘:水平扫描旨在识别转变点,在该转变点处,相邻像素的灰度等级间的差异超过了预定的值,水平转变点是实质上圆形的区域的横向边缘(左和/或右)的指示;垂直扫描对垂直边缘(上和/或下边缘)进行相同的操作。
在步骤1907,接着识别包括数据载体的环形区域:一旦DOT的中心被确定,包括在内圆和外圆内的环形区域可以很容易被识别。这样的环形区域将与“黑色”(或“白色”,参考上面的注解)圆形区段(circular sector)的边缘的两个点交叉:根据本发明的优选的实施例的方法的步骤1909,径向地扫描环形区域以便于确定一个这样的交叉部分。扫描可以顺时针方向或逆时针方向执行:在本例子中,它是顺时针的。在步骤1911中,从圆形区段开始的径向扫描被执行以便于识别数据载体的边缘,参考上面更详细解释的内容。
一旦在数字地表示的圆形区域上的数据载体的位置已经被确定,则由数据载体携带的信息就可以使用现有技术方法被读取并处理。
应该理解的是,可以对上述内容做改变和修改而不违背本公开的范围。顺利成章的是,为了满足局部的和特定的要求,本领域的技术人员可以将许多修改和改变应用到上面所描述的解决方案中。特别是,尽管本公开已经参考它的优选的实施例进行了一定程度的描述,但是它应该被理解为,形式和细节上的各种省略、代替和改变以及其他实施例是可能的;此外,它的明显意图是,在结合本公开的任何公开的实施例所描述的特定的元素可以作为设计选择的一般元素包含在任何其他实施例中。
例如,如果组件具有不同的结构或包括等效的单元,应用类似的考虑。另外,本领域的技术人员可以很容易地理解,本公开可以扩展到需要识别在圆形区域上的数据载体位置的任何应用,只要其满足数据载体已经被放在预定的环形区域(距离圆形区域的中心的预定距离处)内和圆形分段内。在上面所讨论的例子中,圆形分段的面积已经被假定为小于圆形区域的剩余部分的面积,即,分段的面积小于圆形区域的总面积的50%。使用这样的配置,系统的性能被优化,然而,本发明的方法也可以与更大的分段一起工作,该分段覆盖超过圆形区域的面积的一半。
Claims (16)
1.一种用于使用数字图像处理系统确定位于实质上圆形的区域内的矩形数据载体的位置的方法,所述数据载体被放置在圆冠区域的预定部分内,所述圆冠区域由中心与所述实质上圆形的区域的中心实质上重合的内圆和外圆定义,所述圆冠区域的所述预定的部分由至少一个视觉标记识别,所述方法包括以下步骤:
获取所述实质上圆形的区域的数字表示;
确定所述实质上圆形的区域的中心;
建立包括所述内圆和所述外圆的检测环形区;
径向地扫描所述检测环形区以识别指示所述圆冠区域的所述预定部分的开始位置的所述至少一个视觉标记;
从所述开始位置开始扫描所述检测环形区以确定所述数据载体的边界的位置。
2.根据权利要求1所述的方法,其中所述圆冠区域的所述预定部分被包括在圆形分段中,所述圆形分段和所述实质上圆形的区域的剩余部分之间的最小对比度超过预定的阈值,并且其中,所述至少一个视觉标记由所述圆冠区域与定义所述圆形分段的弦相交的位置表示。
3.根据权利要求1所述的方法,其中,所述数据载体表示2D条形码。
4.根据权利要求2或3所述的方法,其中,由所述圆形分段所覆盖的面积小于所述实质上圆形的区域的总面积的50%。
5.根据权利要求2到4中的任一项所述的方法,其中,所述数据载体位于其中的所述圆形分段的背景是黑色的。
6.根据上述任一项权利要求所述的方法,其中,获取所述数字表示包括:通过数字图像处理系统捕捉包括所述实质上圆形的区域的黑白矩形照片,所述矩形照片包括像素阵列并且存储数字图像处理中的所述表示,每个像素都具有灰度等级。
7.根据权利要求6所述的方法,其中,确定所述实质上圆形的区域的中心的步骤包括:
识别在所述矩形照片内的所述实质上圆形的区域的边缘;
相对于所识别的边缘,确定所述实质上圆形的区域的中心。
8.根据权利要求7所述的方法,其中,识别所述实质上圆形的区域的边缘包括:
水平地扫描所述矩形照片以识别相邻像素的灰度等级之间的差异超过预定值的转变点,所述水平转变点指示所述实质上圆形的区域的横向边缘;
垂直地扫描所述矩形照片以识别相邻像素的灰度等级之间的差异超过预定值的转变点,所述垂直转变点指示所述实质上圆形的区域的垂直边缘。
9.根据上述任一项权利要求所述的方法,其中,径向地扫描所述检测环形区的步骤包括:以超过360°的角度执行顺时针方向的径向扫描。
10.根据权利要求3到9中的任一项所述的方法,其中,从所述开始位置开始扫描所述检测环形区的步骤包括寻找所述2D条形码的横向边缘。
11.一种包括程序代码装置的计算机程序,当所述程序在计算机上运行时,所述计算机程序用于执行如任一前述权利要求所述的方法。
12.一种计算机程序产品,其包括:存储如权利要求11所述的计算机程序的计算机可读装置。
13.一种用于使用数字图像处理系统确定位于实质上圆形的区域内的矩形数据载体的位置的系统,所述数据载体被放置在预定的圆冠区域内和所述实质上圆形的区域的圆形分段内,所述圆形分段具有的背景的最小暗度高于预定的阈值,所述圆冠区域由中心与所述实质上圆形的区域的中心实质上重合的内圆和外圆定义,所述系统包括适用于执行如权利要求1-10中的任一项所述的方法的步骤的一个或多个组件。
14.一种条形码读取系统,其包括:如权利要求13所述的用于确定实质上圆形的区域内的矩形数据载体的位置的系统。
15.一种用于执行生物学分析的机电系统,其包括:如权利要求14所述的条形码读取系统。
16.一种携带实质上圆形的区域的标签,其包括数据载体,所述数据载体的位置待通过使用如权利要求1-10中的任一项所述的方法来确定。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12185478.0A EP2711866A1 (en) | 2012-09-21 | 2012-09-21 | Method and system for detecting a 2D barcode in a circular label |
EP12185478.0 | 2012-09-21 | ||
PCT/EP2013/069460 WO2014044747A1 (en) | 2012-09-21 | 2013-09-19 | Method and system for detecting 2d barcode in a circular label |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104641381A true CN104641381A (zh) | 2015-05-20 |
CN104641381B CN104641381B (zh) | 2017-05-24 |
Family
ID=47257407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380047988.0A Active CN104641381B (zh) | 2012-09-21 | 2013-09-19 | 用于检测圆形标签中的2d条形码的方法和系统 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9292725B2 (zh) |
EP (2) | EP2711866A1 (zh) |
CN (1) | CN104641381B (zh) |
ES (1) | ES2612884T3 (zh) |
PL (1) | PL2898449T3 (zh) |
PT (1) | PT2898449T (zh) |
WO (1) | WO2014044747A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492091A (zh) * | 2017-07-06 | 2017-12-19 | 东莞理工学院 | 基于机器视觉的标签外观检测方法及终端设备 |
CN109724990A (zh) * | 2019-01-08 | 2019-05-07 | 上海大学 | 一种包装盒标签中喷码区域的快速定位与检测方法 |
CN115428236A (zh) * | 2020-11-26 | 2022-12-02 | 株式会社Lg新能源 | 电池单元的制造方法和袋成形设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10288410B2 (en) * | 2016-11-10 | 2019-05-14 | The Boeing Company | Method and system for identifying wire contact insertion holes of a connector |
CN108256522B (zh) * | 2018-01-09 | 2020-05-19 | 北京航空航天大学 | 一种spr与波导混合吸收谱特征位置的二维识别方法 |
CN110096920B (zh) * | 2019-04-22 | 2022-05-17 | 浙江大学滨海产业技术研究院 | 一种面向视觉伺服的高精度高速定位标签和定位方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5798514A (en) * | 1996-01-11 | 1998-08-25 | Accumed Inc. | Circular bar code |
EP1143372A2 (en) * | 2000-04-06 | 2001-10-10 | Seiko Epson Corporation | Method of and apparatus for reading a two-dimensional bar code symbol and data storage medium |
US20050269412A1 (en) * | 2002-11-20 | 2005-12-08 | Setrix Ag | Method of detecting the presence of figures and methods of managing a stock of components |
US20060269136A1 (en) * | 2005-05-23 | 2006-11-30 | Nextcode Corporation | Efficient finder patterns and methods for application to 2D machine vision problems |
US7398928B2 (en) * | 2002-10-24 | 2008-07-15 | Commissariat A L'energie Atomique | Coded target and photogrammetry method using such targets |
US7571864B2 (en) * | 2005-12-16 | 2009-08-11 | Pisafe, Inc. | Method and system for creating and using barcodes |
-
2012
- 2012-09-21 EP EP12185478.0A patent/EP2711866A1/en not_active Withdrawn
-
2013
- 2013-09-19 PT PT137708616T patent/PT2898449T/pt unknown
- 2013-09-19 PL PL13770861T patent/PL2898449T3/pl unknown
- 2013-09-19 CN CN201380047988.0A patent/CN104641381B/zh active Active
- 2013-09-19 US US14/428,761 patent/US9292725B2/en active Active
- 2013-09-19 EP EP13770861.6A patent/EP2898449B1/en active Active
- 2013-09-19 WO PCT/EP2013/069460 patent/WO2014044747A1/en active Application Filing
- 2013-09-19 ES ES13770861.6T patent/ES2612884T3/es active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5798514A (en) * | 1996-01-11 | 1998-08-25 | Accumed Inc. | Circular bar code |
EP1143372A2 (en) * | 2000-04-06 | 2001-10-10 | Seiko Epson Corporation | Method of and apparatus for reading a two-dimensional bar code symbol and data storage medium |
US7398928B2 (en) * | 2002-10-24 | 2008-07-15 | Commissariat A L'energie Atomique | Coded target and photogrammetry method using such targets |
US20050269412A1 (en) * | 2002-11-20 | 2005-12-08 | Setrix Ag | Method of detecting the presence of figures and methods of managing a stock of components |
US20060269136A1 (en) * | 2005-05-23 | 2006-11-30 | Nextcode Corporation | Efficient finder patterns and methods for application to 2D machine vision problems |
US7571864B2 (en) * | 2005-12-16 | 2009-08-11 | Pisafe, Inc. | Method and system for creating and using barcodes |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492091A (zh) * | 2017-07-06 | 2017-12-19 | 东莞理工学院 | 基于机器视觉的标签外观检测方法及终端设备 |
CN109724990A (zh) * | 2019-01-08 | 2019-05-07 | 上海大学 | 一种包装盒标签中喷码区域的快速定位与检测方法 |
CN109724990B (zh) * | 2019-01-08 | 2021-08-06 | 上海大学 | 一种包装盒标签中喷码区域的快速定位与检测方法 |
CN115428236A (zh) * | 2020-11-26 | 2022-12-02 | 株式会社Lg新能源 | 电池单元的制造方法和袋成形设备 |
Also Published As
Publication number | Publication date |
---|---|
EP2898449A1 (en) | 2015-07-29 |
EP2898449B1 (en) | 2016-11-09 |
PL2898449T3 (pl) | 2017-04-28 |
CN104641381B (zh) | 2017-05-24 |
WO2014044747A1 (en) | 2014-03-27 |
ES2612884T3 (es) | 2017-05-19 |
EP2711866A1 (en) | 2014-03-26 |
PT2898449T (pt) | 2017-02-10 |
US9292725B2 (en) | 2016-03-22 |
US20150278571A1 (en) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104641381A (zh) | 用于检测圆形标签中的2d条形码的方法和系统 | |
US11455482B2 (en) | Systems and methods for decoding two-dimensional matrix symbols with incomplete or absent fixed patterns | |
US9607199B2 (en) | Decoding machine-readable optical codes with aesthetic component | |
US7398928B2 (en) | Coded target and photogrammetry method using such targets | |
CN100377167C (zh) | 一种用于二维码识别的二维码区域精确定位方法 | |
US10832436B2 (en) | Method, system and apparatus for recovering label positions | |
US11960073B2 (en) | System and method for template-based image analysis | |
EP2393036B1 (en) | Barcode decoding chip | |
JP7289927B2 (ja) | 二次元コードの認識方法、生成方法、装置、二次元コード及び小車 | |
US11948042B2 (en) | System and method for configuring an ID reader using a mobile device | |
CN109215016B (zh) | 一种编码标志的识别定位方法 | |
JP2007114828A (ja) | 画像処理装置および画像処理方法 | |
WO2019187420A1 (ja) | 画像処理方法、画像処理装置、プログラムおよび記録媒体 | |
CN115609591A (zh) | 一种基于2D Marker的视觉定位方法和系统、复合机器人 | |
CN108256375A (zh) | 一种一维条形码扫描方法 | |
CN112150398B (zh) | 图像合成方法、装置及设备 | |
US20230296875A1 (en) | Microscopy System and Method for Determining an Orientation of a Sample Carrier | |
US20240085445A1 (en) | Detection method for sample presence and device associated | |
CN112069851B (zh) | 一种dm码区域的获取方法及装置 | |
JP7076361B2 (ja) | 画像処理方法、画像処理装置、プログラムおよび記憶媒体 | |
JP2008117126A (ja) | 文字認識装置及び文字認識方法 | |
CN112288781A (zh) | 图像配准方法、装置和计算机程序产品 | |
KR200285409Y1 (ko) | 영상처리를 용이하게 하는 마커를 갖춘 바이오 칩 | |
Zosel et al. | Using Automated Cap Inspection to Prevent Medical Errors | |
SCALISE et al. | A library for simultaneous localization and mapping using data matrix visual markers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |