CN117557806A - 硅棒生长视觉监测方法、装置、设备及存储介质 - Google Patents
硅棒生长视觉监测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117557806A CN117557806A CN202311633387.XA CN202311633387A CN117557806A CN 117557806 A CN117557806 A CN 117557806A CN 202311633387 A CN202311633387 A CN 202311633387A CN 117557806 A CN117557806 A CN 117557806A
- Authority
- CN
- China
- Prior art keywords
- silicon rod
- growth
- image
- identified
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 title claims abstract description 295
- 229910052710 silicon Inorganic materials 0.000 title claims abstract description 291
- 239000010703 silicon Substances 0.000 title claims abstract description 291
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012544 monitoring process Methods 0.000 title claims abstract description 64
- 230000000007 visual effect Effects 0.000 title claims abstract description 44
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 238000009499 grossing Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 54
- 230000008021 deposition Effects 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000009467 reduction Effects 0.000 claims description 24
- 238000012806 monitoring device Methods 0.000 claims description 21
- 239000004020 conductor Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 abstract description 29
- 238000006722 reduction reaction Methods 0.000 description 26
- 230000000875 corresponding effect Effects 0.000 description 25
- 229920005591 polysilicon Polymers 0.000 description 23
- 230000008569 process Effects 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 8
- 238000003708 edge detection Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- ZDHXKXAHOVTTAH-UHFFFAOYSA-N trichlorosilane Chemical compound Cl[SiH](Cl)Cl ZDHXKXAHOVTTAH-UHFFFAOYSA-N 0.000 description 1
- 239000005052 trichlorosilane Substances 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Silicon Compounds (AREA)
- Crystals, And After-Treatments Of Crystals (AREA)
Abstract
本公开提供一种硅棒生长视觉监测方法、装置、设备及存储介质。该方法包括:获取硅棒的待识别图像,并对待识别图像进行平滑滤波处理,再计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向,然后基于每个像素点的梯度幅值和梯度方向,确定待识别图像中的硅棒边界点和边界线;再基于边界线,确定硅棒尺寸信息,以基于尺寸信息,监控硅棒的生长状态。本公开解决了现有技术中对硅棒的生长状态无法精确和实时监测的问题,准确实时地判断硅棒生长状态,有效提高得到的多晶硅质量。
Description
技术领域
本公开涉及光伏半导体技术领域,尤其涉及一种硅棒生长视觉监测方法、装置、设备及存储介质。
背景技术
随着光伏产业的快速发展,光伏产业中的重要原料之一的多晶硅,也取得了长足的发展。现有的多晶硅生产都是将物料放入还原炉中,基于还原反应,在还原炉内通过控制设备内的电流,以控制硅棒生长过程中的环境温度,使硅棒保持均匀生长的状态。而判断硅棒的生长状态是否合适,对多晶硅生产至关重要。
相关的硅棒生长监控,一般是在还原炉上加装的视镜,然后通过人工观察或红外测温仪测量,来判断硅棒生长状态,但人工观察和红外温度仪测量,都具有滞后性,且受炉内环境干扰影响,准确性不足,导致生产得到的多晶硅质量不足。
发明内容
本公开提供了一种硅棒生长视觉监测方法、装置、设备及存储介质,以解决现有技术进行硅棒生长过程中的监测存在滞后性和准确性不足的问题。
第一方面,本公开提供了一种硅棒生长视觉监测方法,硅棒生长视觉监测方法包括:
获取硅棒的待识别图像,并对待识别图像进行平滑滤波处理,平滑滤波处理包括灰度处理;
计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向;
基于每个像素点的梯度幅值和梯度方向,确定待识别图像中的硅棒边界点和边界线;
基于边界线,确定硅棒尺寸信息,以基于尺寸信息,监控硅棒的生长状态。
第二方面,本公开提供了一种硅棒生长控制方法,该硅棒生长控制方法包括:
获取硅棒的尺寸信息,确定硅棒处于沉积阶段的导体状态,尺寸信息通过本公开第一方面中任一项实施例中的硅棒生长视觉监测方法得到;
获取硅棒对应的直径沉积曲线数据;
基于直径沉积曲线数据和硅棒的尺寸信息,对硅棒生长进行控制处理。
第三方面,本公开提供了一种硅棒生长视觉监测装置,该硅棒生长视觉监测装置包括:
获取模块,用于获取硅棒的待识别图像,并对待识别图像进行平滑滤波处理,平滑滤波处理包括灰度处理;
第一计算模块,用于计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向;
第二计算模块,用于基于每个像素点的梯度幅值和梯度方向,确定待识别图像中的硅棒边界点和边界线;
处理模块,用于基于边界线,确定硅棒尺寸信息,以基于尺寸信息,监控硅棒的生长状态。
第四方面,本公开提供了一种硅棒生长控制装置,该硅棒生长控制装置包括:
第一获取模块,用于获取硅棒的尺寸信息,确定硅棒处于沉积阶段的导体状态,尺寸信息通过本公开第三方面中任一项实施例中的硅棒生长视觉监测装置得到;
第二获取模块,用于获取硅棒对应的直径沉积曲线数据;
控制模块,用于基于直径沉积曲线数据和硅棒的尺寸信息,对硅棒生长进行控制处理。
第五方面,本公开还提供了一种控制设备,该控制设备包括:
至少一个处理器;
以及与至少一个处理器通信连接的存储器;
其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使控制设备执行如本公开第一方面中任一实施例对应的硅棒生长视觉监测方法;和/或,指令被至少一个处理器执行,以使控制设备执行如本公开第二方面中任一实施例对应的硅棒生长控制方法。
第四方面,本公开还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如本公开第一方面任一的硅棒生长视觉监测方法;和/或,计算机执行指令被处理器执行时用于实现如本公开第二方面中任一实施例对应的硅棒生长控制方法。
第五方面,本公开还提供了一种计算机程序产品,计算机程序产品包含计算机执行指令,计算机执行指令被处理器执行时用于实现如本公开第一方面任一的硅棒生长视觉监测方法;和/或,计算机执行指令被处理器执行时用于实现如本公开第二方面中任一实施例对应的硅棒生长控制方法。
本公开提供的硅棒生长视觉监测方法、装置、设备及存储介质,通过获取硅棒的待识别图像,并对待识别图像进行平滑滤波处理,再计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向,然后基于每个像素点的梯度幅值和梯度方向,确定待识别图像中的硅棒边界点和边界线;再基于边界线,确定硅棒尺寸信息,以基于尺寸信息,监控硅棒的生长状态。由此,能够解决现有技术中对硅棒的生长状态无法精确和实时监测的问题,通过对硅棒的待识别图像进行平滑滤波处理,以适应还原炉中图像存在大量介质流动和干扰的问题,通过计算像素点的梯度幅值和梯度方向,并据此确定硅棒边界,以对图像中的边缘噪声干扰进行抑制,提高受高温环境影响的检测结果的准确性,通过得到的硅棒边界,能够快速计算硅棒尺寸,进而准确判断硅棒生长状态,有效提高得到的多晶硅质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1a为本公开实施例提供的硅棒生长视觉监测方法的一种应用场景图;
图1b为本公开实施例提供的硅棒生长视觉监测方法的一种应用场景图;
图2为本公开一个实施例提供的硅棒生长视觉监测方法的流程图;
图3为本公开又一个实施例提供的硅棒生长视觉监测方法的流程图;
图4为本公开又一个实施例提供的硅棒生长控制方法的流程图;
图5为图4所示实施例中提供的直径沉积曲线确定的方法流程图;
图6为本公开又一个实施例提供的硅棒生长视觉监测装置的结构示意图;
图7为本公开又一个实施例提供的硅棒生长视觉监测装置的结构示意图;
图8为本公开又一个实施例提供的控制设备的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
随着光伏产业的快速发展,光伏产业中的重要原料之一的多晶硅,也取得了长足的发展。现有的多晶硅生产都是将物料三氯氢硅和氢气通入还原炉中,在1000~1200℃高温的硅芯上进行气相沉积反应,使硅芯上逐渐生长以得到硅棒,再通过硅棒得到高纯晶硅。其中,硅芯的温度,主要通过控制还原炉内的电流来实现。为使硅棒保持均匀生长的状态,需要实时调整物料的进料流量、进料比例和电流值。而判断硅棒的生长状态是否合适,对多晶硅生产至关重要。
相关的硅棒生长监控,一般是在还原炉上加装的视镜,然后通过人工观察或红外测温仪测量,来判断硅棒生长状态,但人工观察和红外温度仪测量,都具有滞后性,且受炉内环境干扰影响,准确性不足,当人工或温度监测判断发生异常时,炉内通常已出现雾化情况,此时低质量的多晶硅已经沉积在硅棒上,虽然可以通过及时调整恢复正常生产,但部分低质量的多晶硅已经完成了沉积,它们会严重影响后续的硅参与反应,最终导致这一批次的多晶硅质量大幅下降。
为了解决上述问题,本公开实施例提供一种硅棒生长视觉监测方法,通过获取硅棒的待识别图像,并进行边缘检测处理,得到硅棒尺寸,以基于硅棒尺寸,对硅棒生长状态进行监测,由此,以提高得到的多晶硅的质量。
下面对本公开实施例的应用场景进行解释:
图1a为本公开实施例提供的硅棒生长视觉监测方法的一种应用场景图。如图1a所示,监测设备100通过还原炉110中的视镜111对还原炉110中的硅棒120实时生长状态进行拍摄,并通过对拍摄的图像进行边缘检测,确定硅棒120尺寸信息,以判断硅棒120生长状态。
再结合图1b,其为本公开实施例提供的硅棒生长视觉监测方法的另一种应用场景图。视镜111中的硅棒120有一对,且分别通过电极130架设在还原炉110内,以便进行拍摄和监测。
需说明的是,图1a和图1b所示场景中监测设备、还原炉、视镜、硅棒和电极仅以一个或两个为例进行示例说明,但本公开不以此为限制,也就是说,监测设备、还原炉、视镜、硅棒和电极的个数可以是任意的。
以下通过具体实施例详细说明本公开提供的硅棒生长视觉监测方法。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本公开一个实施例提供的硅棒生长视觉监测方法的流程图。如图2所示,包括以下步骤:
步骤S201、获取硅棒的待识别图像,并对待识别图像进行平滑滤波处理。
其中,平滑滤波处理包括灰度处理。
具体的,硅棒的待识别图像可以通过在还原炉的视镜口设置高清摄像机来获取,通过实时采集硅棒生长状态的照片,并进行实时识别和处理,能够及时对硅棒的生长状态进行控制,避免出现低质量的多晶硅。
可选的,可以采用400万像素及以上的防爆型高清网络摄像机进行,以适应还原炉旁的复杂环境,且需要满足防爆等级Exd IIC T4,防护等级IP65等要求,其接口协议可以采用MODBUS RTU,TCP/IP。
可选的,用于实现生长视觉检测方法的软件,可以基于OpenCV实现,也可以采用其他任意视觉处理开源平台,此处不做限制。
待识别图像中包含有一对(通常只有一对,也可以为其他数量,如两对或者不成对的数量)硅棒(硅棒为已经包含生成的多晶硅的硅芯),以便识别和计算硅棒的尺寸信息。
待识别图像通常为彩色图像,为提高处理效率,可以将其转化为灰度图像。灰度转换为图像处理领域的成熟技术,此处不再赘述。
待识别图像中拍摄到的硅棒,受还原炉内高温、气体物料、受高温影响的气流变化等影响,存在大量噪声干扰。因此,需要进行降噪处理,以方便进一步识别。
步骤S202、计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向。
具体的,平滑滤波处理后的待识别图像实际上仍会包含一些难以处理的特殊噪声,如椒盐噪声,导致对硅棒边缘的识别不准确。
因此,可以通过计算待识别图像的梯度幅值和梯度方向,以找出待识别图像中灰度变化明显的点(即梯度幅值较大的点),并结合梯度方向,确定待识别图像中的边界点。
具体计算方法可以采用canny边缘检测算法实现,在后续实施例中会对此进一步展开说明,此处不再赘述。
步骤S203、基于每个像素点的梯度幅值和梯度方向,确定待识别图像中的硅棒边界点和边界线。
具体的,通过梯度幅值和梯度方向确定边界点后,通过边界点的连接,就可以得到硅棒的边界线,以基于边界线确定硅棒的形状。
步骤S204、基于边界线,确定硅棒尺寸信息,以基于尺寸信息,监控硅棒的生长状态。
具体的,通过边界线可以计算硅棒的尺寸。
在实际应用中,主要计算的硅棒尺寸是硅棒的外径,通过预先确定的硅棒对应电极间的距离值(电极所在位置即硅棒的中线所在位置),与获取到的硅棒间的相邻边的距离值做差,即可得到硅棒的外径。
通过确保硅棒外径的变化状态,就可以监控硅棒的生长状态,当硅棒外径变化与预期存在差异时,就可以通过调整对应电流或进入的物料等,及时保证硅棒的生长状态,由此,能够显著提高生成的多晶硅质量。
本公开实施例提供的硅棒生长视觉监测方法,通过获取硅棒的待识别图像,并对待识别图像进行平滑滤波处理,再计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向,然后基于每个像素点的梯度幅值和梯度方向,确定待识别图像中的硅棒边界点和边界线;再基于边界线,确定硅棒尺寸信息,以基于尺寸信息,监控硅棒的生长状态。由此,能够解决现有技术中对硅棒的生长状态无法精确和实时监测的问题,通过对硅棒的待识别图像进行平滑滤波处理,以适应还原炉中图像存在大量介质流动和干扰的问题,通过计算像素点的梯度幅值和梯度方向,并据此确定硅棒边界,以对图像中的边缘噪声干扰进行抑制,提高受高温环境影响的检测结果的准确性,通过得到的硅棒边界,能够快速计算硅棒尺寸,进而准确判断硅棒生长状态,有效提高得到的多晶硅质量。
图3为本公开提供的一个硅棒生长视觉监测方法的流程图。如图3所示,本实施例提供的硅棒生长视觉监测方法包括以下步骤:
步骤S301、确定用于获取待识别图像的监测设备完成参数标定和校准。
具体的,为确保识别得到的硅棒尺寸的准确性,需要确保待识别图像的准确性和可靠性,为此,需要确定监测设备完成了参数标定和校准。
监测设备通常为高清摄像机,通过获取监测设备的配置信息,可以确定监测设备完成了参数标定和校准的动作(在完成这些动作之后,其配置信息中可以包含相应动作的记录)。
步骤S302、确定监测设备的拍摄范围内仅包含两个硅棒。
具体的,为方便计算,需要确保拍摄范围内仅包含两个相邻的硅棒(这一过程可以在开始实际生产多晶硅前,通过调整监测设备相对于视镜内硅棒的位置,并预先试拍摄图像来实现),以便在已知硅棒对应电极的距离的情况下,通过图像处理获取硅棒间距离,进而计算得到硅棒外径,以通过硅棒外径对硅棒尺寸进行监测。
步骤S303、获取硅棒的待识别图像。
具体的,在硅棒进入沉积阶段时,可以按设定频率获取硅棒的待识别图像,以对硅棒的生长状态实时监测。
步骤S304、对待识别图像中的每个像素点进行灰度处理。
具体的,每个像素点的颜色可以由红、绿、蓝三个颜色变量表示,即(R,G,B),通过给这三个变量赋值,来改变这个像素点的颜色,使其变为灰色。在实际操作中,可以使用封装的灰度处理函数,实现彩色到灰度的转换。
灰度处理为图像处理领域的成熟技术,此处不做限制。
步骤S305、对灰度转换后的像素点进行滤波降噪处理。
具体的,由于监测设备会受环境干扰、监测设备采集能力等多方面因素影响,其采集到的图像信息会包含大量噪声信息,因此,为方便后续识别,需要进行滤波处理。由于图像数据中最常见的噪声信息为高斯噪声,因此可以通过高斯滤波来去除噪声,故,本步骤中进行滤波降噪处理的滤波函数可以为高斯滤波器。
通过进行滤波降噪处理,以避免后续进行边缘检测时,将错误的噪声信息误识别为边缘。其中,滤波函数中的滤波核的维数不应选的过大,否则可能会将边缘信息给平滑掉,使得后续边缘检测中无法正确识别边缘信息。
其具体计算步骤,可以用高斯滤波器函数G(x,y)与图像中的像素点f(x,y)做卷积运算,则滤波后的像素点f'(x,y)=G(x,y)×f(x,y),高斯滤波器函数为本领域常用函数,此处不再展开描述。
步骤S306、基于四个方向的索贝尔算子,对平滑滤波处理后的待识别图像上每个像素点的分别做卷积运算,得到每个像素点在四个方向上的偏导数。
具体的,本方案中使用的检测待识别图像中的硅棒形状的方法基于现有canny边缘检测算法改进得到。Canny边缘检测算法中,需要通过索贝尔算子进行梯度幅值计算和幅度方向计算。其中,梯度幅值用于判断一个像素点沿幅度方向的灰度变化率,变化率越大,越有可能是硅棒的边界点。
其中,在进行梯度幅值计算时,首先需要对像素点在设定方向上做卷积运算,索贝尔算子对应了卷积运算的方向。
现有的索贝尔算子仅对应x轴方向和y轴方向,对于非这两个方向的像素梯度幅值计算的精准度有限,且在多晶硅生产中,还原炉内处于高温、且伴有持续气流变化的环境中,同时,硅棒并非平面结构,基于硅棒拍摄生成的图像还需要考虑深度因素,即硅棒的不同位置与监测设备的距离不同,不同位置的边界点在待识别图像中的清晰度和噪声也会存在差异,且该差异处于实时变化中,因此,仅使用x轴方向和y轴方向的索贝尔算子,无法保证确定的边界点的准确性,导致硅棒生长监测的可靠性严重不足。
为此,本步骤中,同时使用四个方向的索贝尔算子进行计算(示例性的,如索贝尔算子的方向包括x轴方向、y轴方向、45度角方向和135度角方向),通过添加额外的方向,充分考虑待识别图像中对应不同位置不同角度的硅棒的像素点的灰度变化情况,进而保证梯度幅值计算的全面性和准确性,进而提高canny边缘检测算法在非X轴和非Y轴方向的准确性。
其中,四个索贝尔算子具体为:
式中,等号右侧的矩阵为四个索贝尔算子,Px(x,y)、Py(x,y)、P45(x,y)、P135(x,y)分别为滤波后的像素点f′(x,y)在x轴、y轴、45度、135度共四个方向的偏导数。
步骤S307、基于每个像素点在四个方向上的偏导数,得到每个像素点在水平方向和垂直方向上的差分结果。
具体的,为方便分析,需要将四个方向的偏导数整合为两个相互垂直的方向,即水平方向和垂直方向。其计算公式可以为:
Gx(x,y)=Px(x,y)+[P45(x,y)+P135(x,y)]/2;
Gy(x,y)=Py(x,y)+[P45(x,y)+P135(x,y)]/2;
式中,Gx(x,y)为水平方向的差分结果,Gy(x,y)为竖直方向的差分结果。
步骤S308、基于差分结果,计算每个像素点的梯度幅值和梯度方向。
具体的,基于差分结果,可以直接计算每个像素点的梯度幅值和梯度方向,其计算方式为现有技术,此处不做限制。具体计算公式为:
式中,M(x,y)为梯度幅值,θ为梯度方向。
步骤S309、基于像素点的梯度方向,确定像素点的灰度值为同一梯度方向的所有像素点的灰度值中的最小值,并将像素点的灰度值取为零。
其中,灰度值通过灰度处理得到。
具体的,通过计算得到的梯度幅值和梯度方向,可以从像素点中确定边界点。具体计算方式首先要结合梯度方向和灰度值,进行非极大值抑制处理,以排除灰度值非极值的像素点是边界点的可能性。其具体计算方式即依次考察同一梯度方向的所有像素点的灰度值,就确定其非边界点,否则,即视为备选的边界点,以便后续计算。
步骤S310、将所有灰度值非零的像素点,确定为备选边界点。
具体的,通过快速确定备选边界点,并保留备选边界点的灰度值,可以使待识别图像的边界迅速细化和清晰化。
步骤S311、若备选边界点的梯度偏差值为其相邻点的梯度偏差值中的最小值,则将备选边界点确定为边界点。
具体的,但由于硅棒所处环境的复杂性,硅棒对应的待识别图像对应的备选边界点可以较多,导致基于备选边界点确定的硅棒边界线较厚(波动幅度较大),不利于准确计算硅棒尺寸,因此,需要进一步从备选边界点从筛选出边界点。
具体确定方式,需要结合备选边界点与其周边相邻点的梯度偏差值对比进行确定,其中的相邻点为与备选坐标点相邻的所有像素点(而不限于备选坐标点)。梯度偏差值E的计算方式为:
E=[M(s,t)-M(x,y)]2+[θ(s,t)-θ(x,y)]2,
式中,(s,t)为备选坐标点(x,y)的相邻点坐标,M(s,t)为相邻点(s,t)的梯度幅值,θ(s,t)为其梯度方向,M(x,y)为备选坐标点的梯度幅值,θ(x,y)为其梯度方向。
通过任选一个备选边缘点,并遍历其相邻点,分别计算这些点的E值,再从中找出E值最小的点,并确定为边界点,从而可以完成边界点的计算。
步骤S312、基于边界点,确定边界线。
具体的,在确定边界点后,通过在待识别图像中,将边界点连接成轮廓,并在到达轮廓的端点时,继续通过步骤S311中的方法,确定新的边界点,直至将整个待识别图像中的边缘点连成闭合的边界线,就可以得到准确的硅棒边界。
步骤S313、基于边界线,确定硅棒尺寸信息,以基于尺寸信息,监控硅棒的生长状态。
具体的,通过硅棒边界线,可以提取计算得到硅棒的尺寸信息,具体步骤与图2所示实施例中的相应步骤内容相同,此处不再赘述。
本公开实施例提供的硅棒生长视觉监测方法,通过在确定监测设备满足监测要求后,通过对待识别图像进行灰度处理、滤波降噪处理,再进行卷积运算、并将计算结果整合到两个方向,以计算像素点的梯度幅值和梯度方向,以据此确定边界点,进而得到边界线,以便据此确定硅棒的尺寸,判断硅棒的生长状态。由此,使得确定的硅棒生长状态不受人工经验和温度传感器不准确的影响,充分保证检测的准确性,进而保证对硅棒生长状态识别的准确性,同时,能够根据实时拍摄到的图像识别硅棒生长状态,从而能够保证对硅棒生长状态监控的实时性,以及时有效的调控硅棒生长,保证得到的多晶硅质量。
图4为本公开提供的一个硅棒生长控制方法的流程图。如图4所示,本实施例提供的硅棒生长控制方法包括以下步骤:
步骤S401、获取硅棒的尺寸信息,确定硅棒处于沉积阶段的导体状态。
其中,尺寸信息通过图2至图3中任一项实施例中的硅棒生长视觉监测方法得到。
具体的,多晶硅在还原炉中的还原反应要经历启炉阶段、沉积阶段、停炉阶段。其中,启炉阶段就可以通过前述实施例中提供的硅棒生长视觉检测方法来监测硅棒的生长状态。而沉积阶段为多晶硅棒稳定成长阶段,因此,在沉积阶段需要对硅棒的生长进行稳定控制,以保证得到的多晶硅的质量。
当多晶硅进入沉积阶段时,还原炉会通过高压将硅棒击穿,使硅棒成为导体,此后,硅棒就能匀速正常,因此,通过判断硅棒的状态,就可以确定硅棒是否处于沉积阶段。
实际应用中,若硅棒对应的监测电流、监测电压的波动幅度均小于对应设定范围,且硅棒尺寸呈均匀变化,则确定硅棒处于沉积阶段的导体状态。
具体的,在沉积阶段时,硅棒对应的监测电流和监测电压都处于稳定状态,且硅棒尺寸变化也处于均匀状态,此时即可以确定硅棒处于沉积阶段的导体状态。
步骤S402、获取硅棒对应的直径沉积曲线数据。
具体的,直径沉积曲线为硅棒生长的最佳(或相对最佳)状态,因此,通过实时对比硅棒的尺寸信息和直径沉积曲线数据中相应数据,就可以判断硅棒是否处于较好的生长状态,以便在硅棒生长状态偏离最佳(或相对最佳)状态时,及时采取措施进行调整。
进一步地,如图5所示,其为直径沉积曲线确定的方法流程图。直径沉积曲线数据通过如下方式得到:
步骤S4021、获取设定数量的硅棒在整个沉积阶段的尺寸变化信息,并基于硅棒尺寸变化信息,确定生长状态最好的硅棒为目标硅棒,并将目标硅棒的尺寸变化信息确定为目标尺寸变化信息。
其中,尺寸变化信息基于沉积阶段每个时刻的尺寸信息得到。
具体的,采集设定数量(如四组)硅棒在整个沉积阶段的尺寸信息,进而得到这些硅棒的尺寸变化信息。其中,选择硅棒应该属于同等规模且同一型号的还原炉(可以每个还原炉中一组硅棒,也可以多组,一组通常为一对,也可以为其他数量)。
然后将还原反应结束时,得到的质量最高的多晶硅所对应的硅棒确定为目标硅棒,并将其对应的尺寸变化信息,确定为目标尺寸变化信息,以据此确定直径沉积曲线数据。
步骤S4022、重复设定次数获取目标尺寸变化信息,并将目标尺寸变化信息中每个时刻的尺寸信息的加权平均值,作为直径沉积曲线数据。
具体的,由于单次测试得到的数据可能存在偶然性,因此需要多次重复获取目标尺寸变化信息,以保证得到的数据贴近最优。可选的,设定次数可以为三次或更多。
在得到这些目标尺寸变化信息后,可以根据最终的多晶硅质量,赋予每个目标尺寸变化信息以不同的权重(如多晶硅质量越高,权重越大,反之越小),然后将这些尺寸变化信息中每个时刻的尺寸信息,按权重求加权平均值,将结果作为最终的直径沉积曲线数据。
步骤S403、基于直径沉积曲线数据和硅棒的尺寸信息,对硅棒生长进行控制处理。
具体的,通过对比直径沉积曲线数据和硅棒实时的尺寸信息,可以在硅棒生长状态偏离最佳(或相对最佳)时采取措施进行调节,如控制监测电流的输出值来消除硅棒生长外径的偏差,并可以建立对应的PID调节,实现自动化控制。
在实际应用中,若硅棒对应的待识别图像出现模糊,导致硅棒的尺寸信息异常(如出现超过设定阈值的尺寸突变,设定阈值可以为5%),则可以通过现有的混浊预判算法和专家系统对输入的物料比值进行调整,通过能够起到控制硅棒生长状态的作用。
本公开实施例提供的硅棒生长视觉监测方法,通过获取硅棒尺寸信息,并确定硅棒处于沉积阶段的导体状态,将硅棒尺寸与直径沉积曲线数据对比,以实现对硅棒生长的控制。由此,能够自动化的保证硅棒的生长始终处于最佳或相对最佳的状态,显著提升生成得到的多晶硅质量。
图6为本公开提供的一个硅棒生长视觉监测装置的结构示意图。如图6所示,该硅棒生长视觉监测装置500包括:获取模块510、第一计算模块520、第二计算模块530和处理模块540。其中:
获取模块510,用于获取硅棒的待识别图像,并对待识别图像进行平滑滤波处理,平滑滤波处理包括灰度处理;
第一计算模块520,用于计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向;
第二计算模块530,用于基于每个像素点的梯度幅值和梯度方向,确定待识别图像中的硅棒边界点和边界线;
处理模块540,用于基于边界线,确定硅棒尺寸信息,以基于尺寸信息,监控硅棒的生长状态。
可选地,获取模块510具体用于,获取硅棒的待识别图像;对待识别图像中的每个像素点进行灰度处理;对灰度转换后的像素点进行滤波降噪处理。
可选地,获取模块510具体包括,滤波降噪处理的滤波函数为高斯滤波器。
可选地,第一计算模块520具体用于,基于四个方向的索贝尔算子,对平滑滤波处理后的待识别图像上每个像素点的分别做卷积运算,得到每个像素点在四个方向上的偏导数;基于每个像素点在四个方向上的偏导数,得到每个像素点在水平方向和垂直方向上的差分结果;基于差分结果,计算每个像素点的梯度幅值和梯度方向。
可选地,第一计算模块520具体包括,索贝尔算子的方向包括:x轴方向、y轴方向、45度角方向和135度角方向。
可选地,第二计算模块530具体用于,基于像素点的梯度方向,确定像素点的灰度值为同一梯度方向的所有像素点的灰度值中的最小值,并将像素点的灰度值取为零,灰度值通过灰度处理得到;将所有灰度值非零的像素点,确定为备选边界点;若备选边界点的梯度偏差值为其相邻点的梯度偏差值中的最小值,则将备选边界点确定为边界点;基于边界点,确定边界线。
可选地,获取模块510还用于,在获取硅棒的待识别图像,并对待识别图像进行平滑滤波处理之前,确定用于获取待识别图像的监测设备完成参数标定和校准;确定监测设备的拍摄范围内仅包含两个硅棒。
上述实施例中的技术效果已经在前述对应方法实施例中充分描述,此处不再赘述。
图7为本公开提供的一个硅棒生长控制装置的结构示意图。如图7所示,该硅棒生长控制装置600包括:第一获取模块610、第二获取模块620和控制模块630。其中:
第一获取模块610,用于获取硅棒的尺寸信息,确定硅棒处于沉积阶段的导体状态,尺寸信息通过本公开第三方面中任一项实施例中的硅棒生长视觉监测装置得到;
第二获取模块620,用于获取硅棒对应的直径沉积曲线数据;
控制模块630,用于基于直径沉积曲线数据和硅棒的尺寸信息,对硅棒生长进行控制处理。
可选地,第一获取模块610具体用于,若硅棒对应的监测电流、监测电压的波动幅度均小于对应设定范围,且硅棒尺寸呈均匀变化,则确定硅棒处于沉积阶段的导体状态。
可选地,第二获取模块620具体包括,通过如下方式得到直径沉积曲线数据:获取设定数量的硅棒在整个沉积阶段的尺寸变化信息,并基于硅棒尺寸变化信息,确定生长状态最好的硅棒为目标硅棒,并将目标硅棒的尺寸变化信息确定为目标尺寸变化信息,尺寸变化信息基于沉积阶段每个时刻的尺寸信息得到;重复设定次数获取目标尺寸变化信息,并将目标尺寸变化信息中每个时刻的尺寸信息的加权平均值,作为直径沉积曲线数据。
上述实施例中的技术效果已经在前述对应方法实施例中充分描述,此处不再赘述。
图8为本公开提供的一个控制设备的结构示意图,如图8所示,该控制设备700包括:存储器710和处理器720。
其中,存储器710存储有可被至少一个处理器720执行的计算机程序。该算机程序被至少一个处理器720执行,以使控制设备实现如上任一实施例中提供的硅棒生长视觉监测方法。
其中,存储器710和处理器720可以通过总线730连接。
相关说明可以对应参见方法实施例所对应的相关描述和效果进行理解,此处不予赘述。
本公开一个实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现如图2至图3对应的任意实施例的硅棒生长视觉监测方法;和/或,计算机程序被处理器执行以实现如图4对应的任意实施例的硅棒生长控制方法。
其中,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开一个实施例提供了一种计算机程序产品,其包含计算机执行指令,该计算机执行指令被处理器执行时用于实现如图2至图3对应的任意实施例的硅棒生长视觉监测方法;和/或,该计算机执行指令被处理器执行时用于实现如图4对应的任意实施例的硅棒生长控制方法。
在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (14)
1.一种硅棒生长视觉监测方法,其特征在于,所述方法包括:
获取硅棒的待识别图像,并对所述待识别图像进行平滑滤波处理,所述平滑滤波处理包括灰度处理;
计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向;
基于每个像素点的梯度幅值和梯度方向,确定所述待识别图像中的硅棒边界点和边界线;
基于所述边界线,确定所述硅棒尺寸信息,以基于所述尺寸信息,监控所述硅棒的生长状态。
2.根据权利要求1所述的硅棒生长视觉监测方法,其特征在于,所述获取硅棒的待识别图像,并对所述待识别图像进行平滑滤波处理,包括:
获取硅棒的待识别图像;
对所述待识别图像中的每个像素点进行灰度处理;
对灰度转换后的像素点进行滤波降噪处理。
3.根据权利要求2所述的硅棒生长视觉监测方法,其特征在于,所述滤波降噪处理的滤波函数为高斯滤波器。
4.根据权利要求1至3中任一项所述的硅棒生长视觉监测方法,其特征在于,所述计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向,包括:
基于四个方向的索贝尔算子,对平滑滤波处理后的待识别图像上每个像素点的分别做卷积运算,得到每个像素点在四个方向上的偏导数;
基于每个像素点在四个方向上的偏导数,得到每个像素点在水平方向和垂直方向上的差分结果;
基于所述差分结果,计算每个像素点的梯度幅值和梯度方向。
5.根据权利要求4所述的硅棒生长视觉监测方法,其特征在于,所述索贝尔算子的方向包括:x轴方向、y轴方向、45度角方向和135度角方向。
6.根据权利要求4所述的硅棒生长视觉监测方法,其特征在于,所述基于每个像素点的梯度幅值和梯度方向,确定所述待识别图像中的硅棒边界点和边界线,包括:
基于像素点的梯度方向,确定像素点的灰度值为同一梯度方向的所有像素点的灰度值中的最小值,并将所述像素点的灰度值取为零,所述灰度值通过灰度处理得到;
将所有灰度值非零的像素点,确定为备选边界点;
若所述备选边界点的梯度偏差值为其相邻点的梯度偏差值中的最小值,则将所述备选边界点确定为边界点;
基于所述边界点,确定所述边界线。
7.根据权利要求1至3中任一项所述的硅棒生长视觉监测方法,其特征在于,所述获取硅棒的待识别图像,并对所述待识别图像进行平滑滤波处理之前,还包括:
确定用于获取所述待识别图像的监测设备完成参数标定和校准;
确定所述监测设备的拍摄范围内仅包含两个硅棒。
8.一种硅棒生长控制方法,其特征在于,包括如下步骤:
获取所述硅棒的尺寸信息,确定所述硅棒处于沉积阶段的导体状态,所述尺寸信息通过权利要求1至7中任一项所述的硅棒生长视觉监测方法得到;
获取所述硅棒对应的直径沉积曲线数据;
基于所述直径沉积曲线数据和所述硅棒的尺寸信息,对硅棒生长进行控制处理。
9.根据权利要求8所述的硅棒生长控制方法,其特征在于,所述获取所述硅棒的尺寸信息,确定所述硅棒处于沉积阶段的导体状态,包括:
若所述硅棒对应的监测电流、监测电压的波动幅度均小于对应设定范围,且所述硅棒尺寸呈均匀变化,则确定所述硅棒处于沉积阶段的导体状态。
10.根据权利要求8所述的硅棒生长控制方法,其特征在于,所述直径沉积曲线数据通过如下方式得到:
获取设定数量的硅棒在整个沉积阶段的尺寸变化信息,并基于所述硅棒尺寸变化信息,确定生长状态最好的硅棒为目标硅棒,并将目标硅棒的尺寸变化信息确定为目标尺寸变化信息,所述尺寸变化信息基于所述沉积阶段每个时刻的尺寸信息得到;
重复设定次数获取所述目标尺寸变化信息,并将所述目标尺寸变化信息中每个时刻的尺寸信息的加权平均值,作为所述直径沉积曲线数据。
11.一种硅棒生长视觉监测装置,其特征在于,包括:
获取模块,用于获取硅棒的待识别图像,并对所述待识别图像进行平滑滤波处理,所述平滑滤波处理包括灰度处理;
第一计算模块,用于计算平滑滤波处理后的待识别图像上每个像素点的梯度幅值和梯度方向;
第二计算模块,用于基于每个像素点的梯度幅值和梯度方向,确定所述待识别图像中的硅棒边界点和边界线;
处理模块,用于基于所述边界线,确定所述硅棒尺寸信息,以基于所述尺寸信息,监控所述硅棒的生长状态。
12.一种硅棒生长控制装置,其特征在于,包括:
第一获取模块,用于获取所述硅棒的尺寸信息,确定所述硅棒处于沉积阶段的导体状态,所述尺寸信息通过权利要求1至7中任一项所述的硅棒生长视觉监测方法得到;
第二获取模块,用于获取所述硅棒对应的直径沉积曲线数据;
控制模块,用于基于所述直径沉积曲线数据和所述硅棒的尺寸信息,对硅棒生长进行控制处理。
13.一种控制设备,其特征在于,包括:
至少一个处理器;
以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述控制设备执行如权利要求1至7中任一项所述的硅棒生长视觉监测方法;和/或,所述指令被所述至少一个处理器执行,以使所述控制设备执行如权利要求8至10中任一项所述的硅棒生长控制方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的硅棒生长视觉监测方法;和/或,所述计算机执行指令被处理器执行时用于实现如权利要求8至10中任一项所述的硅棒生长控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311633387.XA CN117557806A (zh) | 2023-11-30 | 2023-11-30 | 硅棒生长视觉监测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311633387.XA CN117557806A (zh) | 2023-11-30 | 2023-11-30 | 硅棒生长视觉监测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117557806A true CN117557806A (zh) | 2024-02-13 |
Family
ID=89810811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311633387.XA Pending CN117557806A (zh) | 2023-11-30 | 2023-11-30 | 硅棒生长视觉监测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117557806A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117824889A (zh) * | 2024-03-04 | 2024-04-05 | 杭州中为光电技术有限公司 | 硅棒内力检测系统、检测方法及截断方法 |
CN118154105A (zh) * | 2024-05-13 | 2024-06-07 | 青岛云创智通科技有限公司 | 一种智能仓库管理系统 |
-
2023
- 2023-11-30 CN CN202311633387.XA patent/CN117557806A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117824889A (zh) * | 2024-03-04 | 2024-04-05 | 杭州中为光电技术有限公司 | 硅棒内力检测系统、检测方法及截断方法 |
CN118154105A (zh) * | 2024-05-13 | 2024-06-07 | 青岛云创智通科技有限公司 | 一种智能仓库管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101655614B (zh) | 液晶显示面板云纹缺陷的检测方法和检测装置 | |
CN117557806A (zh) | 硅棒生长视觉监测方法、装置、设备及存储介质 | |
CN110261069B (zh) | 一种用于光学镜头的检测方法 | |
CN112730251B (zh) | 一种用于屏幕颜色缺陷检测的装置及方法 | |
CN112614164A (zh) | 一种图像融合方法、装置、图像处理设备及双目系统 | |
CN113706495A (zh) | 一种在传送带上自动检测锂电池参数的机器视觉检测系统 | |
CN115379123B (zh) | 一种用无人机巡检的变压器故障检测方法 | |
CN109584175A (zh) | 一种图像处理方法及装置 | |
CN111222360B (zh) | 硅料熔化状态的检测方法、设备及存储介质 | |
CN110827355B (zh) | 一种基于视频图像坐标的移动目标快速定位方法及系统 | |
CN109949725B (zh) | 一种aoi系统图像灰度标准化方法及系统 | |
CN106435731B (zh) | 蓝宝石炉自动引晶控制系统和单晶炉引晶控制方法 | |
CN114199127A (zh) | 基于机器视觉的汽车零件尺寸检测系统及方法 | |
CN116485801B (zh) | 基于计算机视觉的胶管质量在线检测方法及系统 | |
CN113834585A (zh) | 还原炉内硅棒检测方法及系统、装置、介质及电子设备 | |
CN113136620A (zh) | 一种单晶炉加热系统的控制方法 | |
CN115615992B (zh) | 一种耐火砖尺寸测量及缺陷检测方法 | |
CN115035168B (zh) | 基于多约束的光伏面板多源图像配准方法、装置及系统 | |
CN112052727B (zh) | 一种基于大数据的人像识别分析系统及方法 | |
CN115984360A (zh) | 一种基于图像处理的计算干滩长度的方法及系统 | |
CN115482196A (zh) | 一种基于多源信息融合的烧结混料水分在线软测量方法及系统 | |
CN109087278B (zh) | 基于改进Canny算子的安全套正反面识别法 | |
WO2020238116A1 (zh) | 产品定位方法 | |
CN117649367B (zh) | 一种图像方位的校正方法及系统 | |
CN110322443A (zh) | 一种智能家电的质量检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |