CN117123131B - 石油助剂的生产设备及其方法 - Google Patents

石油助剂的生产设备及其方法 Download PDF

Info

Publication number
CN117123131B
CN117123131B CN202311392738.2A CN202311392738A CN117123131B CN 117123131 B CN117123131 B CN 117123131B CN 202311392738 A CN202311392738 A CN 202311392738A CN 117123131 B CN117123131 B CN 117123131B
Authority
CN
China
Prior art keywords
stirring state
feature
time sequence
raw material
monitoring video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311392738.2A
Other languages
English (en)
Other versions
CN117123131A (zh
Inventor
许海涛
刘智
周龙龙
张文俊
邓涛
慎娜娜
关宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karamay Lanrun Environmental Protection Technology Co ltd
Original Assignee
Karamay Lanrun Environmental Protection Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karamay Lanrun Environmental Protection Technology Co ltd filed Critical Karamay Lanrun Environmental Protection Technology Co ltd
Priority to CN202311392738.2A priority Critical patent/CN117123131B/zh
Publication of CN117123131A publication Critical patent/CN117123131A/zh
Application granted granted Critical
Publication of CN117123131B publication Critical patent/CN117123131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01FMIXING, e.g. DISSOLVING, EMULSIFYING OR DISPERSING
    • B01F35/00Accessories for mixers; Auxiliary operations or auxiliary devices; Parts or details of general application
    • B01F35/20Measuring; Control or regulation
    • B01F35/21Measuring
    • B01F35/213Measuring of the properties of the mixtures, e.g. temperature, density or colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01FMIXING, e.g. DISSOLVING, EMULSIFYING OR DISPERSING
    • B01F35/00Accessories for mixers; Auxiliary operations or auxiliary devices; Parts or details of general application
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01FMIXING, e.g. DISSOLVING, EMULSIFYING OR DISPERSING
    • B01F35/00Accessories for mixers; Auxiliary operations or auxiliary devices; Parts or details of general application
    • B01F35/20Measuring; Control or regulation
    • B01F35/21Measuring
    • B01F35/2131Colour or luminescence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01FMIXING, e.g. DISSOLVING, EMULSIFYING OR DISPERSING
    • B01F35/00Accessories for mixers; Auxiliary operations or auxiliary devices; Parts or details of general application
    • B01F35/20Measuring; Control or regulation
    • B01F35/22Control or regulation
    • B01F35/2201Control or regulation characterised by the type of control technique used
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种石油助剂的生产设备及其方法,其通过引入监控视频采集和分析技术,实现对原料搅拌状态的实时监测,并基于此来实现搅拌的自动化控制,提高石油助剂的生产效率。

Description

石油助剂的生产设备及其方法
技术领域
本申请涉及智能生产领域,且更为具体地,涉及一种石油助剂的生产设备及其方法。
背景技术
石油助剂是钻井液用单向压力封闭剂,是经特别工艺处理的多种天然纤维与填充粒子及添加剂,按适当的级配和一定的工艺复合而成的灰黄色粉末状产品,产品在钻井中加入后,在单向压力差作用下,能对地层有各种渗漏起到良好的封堵效果,使用方便,配伍性好,不影响泥浆性能。
目前的石油助剂生产加工用拌合加工设备,其原料不能按百分比匀速进料,需要人工进行称量,还有的原料粘在搅拌桶内壁不能及时清理,导致搅拌不够均匀,浪费原料的同时,还影响石油助剂的效果。
因此,期待一种优化的方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种石油助剂的生产设备及其方法,其通过引入监控视频采集和分析技术,实现对原料搅拌状态的实时监测,并基于此来实现搅拌的自动化控制,提高石油助剂的生产效率。
根据本申请的一个方面,提供了一种石油助剂的生产方法,其包括:获取由摄像头采集的原料搅拌状态监控视频;对所述原料搅拌状态监控视频进行特征提取以得到搅拌状态时序上下文特征向量;以及基于所述搅拌状态时序上下文特征向量,确定是否停止搅拌。
在上述石油助剂的生产方法中,对所述原料搅拌状态监控视频进行特征提取以得到搅拌状态时序上下文特征向量,包括:对所述原料搅拌状态监控视频进行信息冗余优化以得到多个稀疏化原料搅拌状态监控视频片段;以及对所述多个稀疏化原料搅拌状态监控视频片段进行时序分析和关联模式提取以得到所述搅拌状态时序上下文特征向量。
在上述石油助剂的生产方法中,对所述原料搅拌状态监控视频进行信息冗余优化以得到多个稀疏化原料搅拌状态监控视频片段,包括:对所述原料搅拌状态监控视频进行视频切分以得到多个原料搅拌状态监控视频片段;以及对所述多个原料搅拌状态监控视频片段进行稀疏采样以得到所述多个稀疏化原料搅拌状态监控视频片段。
在上述石油助剂的生产方法中,对所述多个稀疏化原料搅拌状态监控视频片段进行时序分析和关联模式提取以得到所述搅拌状态时序上下文特征向量,包括:分别提取所述多个稀疏化原料搅拌状态监控视频片段中各个稀疏化原料搅拌状态监控视频片段的搅拌状态信息以得到多个搅拌状态时序关联特征图;对所述多个搅拌状态时序关联特征图进行特征分布优化以得到多个优化后搅拌状态时序关联特征图;将所述多个优化后搅拌状态时序关联特征图分别展开为特征向量以得到多个搅拌状态时序关联特征向量;以及将所述多个搅拌状态时序关联特征向量通过基于RNN模型的搅拌状态时序上下文编码器以得到所述搅拌状态时序上下文特征向量。
在上述石油助剂的生产方法中,分别提取所述多个稀疏化原料搅拌状态监控视频片段中各个稀疏化原料搅拌状态监控视频片段的搅拌状态信息以得到多个搅拌状态时序关联特征图,包括:将所述多个稀疏化原料搅拌状态监控视频片段分别通过基于三维卷积神经网络模型的搅拌状态时序关联特征提取器以得到所述多个搅拌状态时序关联特征图。
在上述石油助剂的生产方法中,对所述多个搅拌状态时序关联特征图进行特征分布优化以得到多个优化后搅拌状态时序关联特征图,包括:分别计算所述搅拌状态时序关联特征图的各个特征矩阵的全局特征均值组成的特征向量的第一优化权重,以及,所述搅拌状态时序关联特征图的各个特征矩阵的第二优化权重的序列;以所述第一优化权重对所述搅拌状态时序关联特征图沿通道进行加权以得到加权后搅拌状态时序关联特征图;以所述第二优化权重的序列对所述加权后搅拌状态时序关联特征图的各个特征矩阵进行加权以得到所述优化后搅拌状态时序关联特征图。
在上述石油助剂的生产方法中,分别计算所述搅拌状态时序关联特征图的各个特征矩阵的全局特征均值组成的特征向量的第一优化权重,以及,所述搅拌状态时序关联特征图的各个特征矩阵的第二优化权重的序列,包括:其中,是所述搅拌状态时序关联特征图的第/>个特征矩阵,/>是所述搅拌状态时序关联特征图的通道数,/>是特征矩阵/>的全局特征均值,/>是/>组成的特征向量,/>表示特征向量/>的二范数的平方,/>是特征矩阵/>的尺度,且/>表示特征矩阵的Frobenius范数的平方,/>是所述第一优化权重,/>是所述第二优化权重的序列中的第/>个第二优化权重。
在上述石油助剂的生产方法中,基于所述搅拌状态时序上下文特征向量,确定是否停止搅拌,包括:将所述搅拌状态时序上下文特征向量通过分类器以得到分类结果,所述分类结果用于表示是否停止搅拌。
根据本申请的另一个方面,提供了一种石油助剂的生产设备,其中,所述石油助剂的生产设备以如上所述的石油助剂的生产方法进行运转。
与现有技术相比,本申请提供的一种石油助剂的生产设备及其方法,其通过引入监控视频采集和分析技术,实现对原料搅拌状态的实时监测,并基于此来实现搅拌的自动化控制,提高石油助剂的生产效率。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的石油助剂的生产方法的流程图。
图2为根据本申请实施例的石油助剂的生产方法的系统架构图。
图3为根据本申请实施例的石油助剂的生产方法的子步骤S2的流程图。
图4为根据本申请实施例的石油助剂的生产方法的子步骤S21的流程图。
图5为根据本申请实施例的石油助剂的生产方法的子步骤S22的流程图。
图6为根据本申请实施例的石油助剂的生产方法的场景示意图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
目前的石油助剂生产加工用拌合加工设备,其原料不能按百分比匀速进料,需要人工进行称量,还有的原料粘在搅拌桶内壁不能及时清理,导致搅拌不够均匀,浪费原料的同时,还影响石油助剂的效果。因此,期待一种优化的方案。
在本申请的技术方案中,提出了一种石油助剂的生产方法。图1为根据本申请实施例的石油助剂的生产方法的流程图。图2为根据本申请实施例的石油助剂的生产方法的系统架构图。如图1和图2所示,根据本申请的实施例的石油助剂的生产方法,包括步骤:S1,获取由摄像头采集的原料搅拌状态监控视频;S2,对所述原料搅拌状态监控视频进行特征提取以得到搅拌状态时序上下文特征向量;以及,S3,基于所述搅拌状态时序上下文特征向量,确定是否停止搅拌。
具体地,在步骤S1中,获取由摄像头采集的原料搅拌状态监控视频。其中,原料搅拌状态监控视频能够反映原料混合均匀度、搅拌速度和效率、搅拌过程中的变化以及异常情况的检测等等。
根据本申请的实施例,可通过使用工业摄像头来获取原料搅拌状态监控视频。工业摄像头是专门设计用于工业环境的摄像设备,用于监控和记录生产过程中的各种情况。它们通常具有高分辨率、耐用性和适应各种工作条件的特点。工业摄像头广泛应用于制造业、物流、安全监控等领域。工业摄像头可以安装在生产线上,用于监测原料搅拌状态、产品质量、生产效率等。它们可以捕捉高清图像或视频,并通过连接到监控设备或网络进行实时监控或记录。值得注意的是,在安装摄像头进行监测的时候,需保证摄像头的稳定性和角度的全面化,以此来更好地获取原料搅拌状态。
具体地,在步骤S2中,对所述原料搅拌状态监控视频进行特征提取以得到搅拌状态时序上下文特征向量。特别地,在本申请的一个具体示例中,如图3所示,所述S2,包括:S21,对所述原料搅拌状态监控视频进行信息冗余优化以得到多个稀疏化原料搅拌状态监控视频片段;以及,S22,对所述多个稀疏化原料搅拌状态监控视频片段进行时序分析和关联模式提取以得到所述搅拌状态时序上下文特征向量。
相应地,所述S21,对所述原料搅拌状态监控视频进行信息冗余优化以得到多个稀疏化原料搅拌状态监控视频片段。也就是,对所述原料搅拌状态监控视频进行信息冗余优化以得到多个稀疏化原料搅拌状态监控视频片段。这里,考虑到所述原料搅拌状态监控视频直接输入至模型当中会由于其存在大量冗余信息而增加不必要的运算时间,因此,在本申请的技术方案中,期待对其进行信息冗余优化。特别地,在本申请的一个具体示例中,如图4所示,所述S21,包括:S211,对所述原料搅拌状态监控视频进行视频切分以得到多个原料搅拌状态监控视频片段;以及,S212,对所述多个原料搅拌状态监控视频片段进行稀疏采样以得到所述多个稀疏化原料搅拌状态监控视频片段。
所述S211,对所述原料搅拌状态监控视频进行视频切分以得到多个原料搅拌状态监控视频片段。其中,视频切分是将一个长时间的视频分割成多个较短的视频片段,每个片段代表视频中的一个时间段。视频切分将长时间的视频切分成较短的片段可以更方便地进行数据管理和存储。较短的视频片段可以更容易地进行索引、检索和备份。通过视频切分,可以将视频中的特定事件或行为提取出来,方便后续分析和处理。例如,对于原料搅拌状态监控视频,可以将每个片段与特定的搅拌状态相关联,以便进行状态变化的监测和分析;以及,对所述原料搅拌状态监控视频进行视频切分还可以提高处理效率:长时间的视频可能包含大量的冗余信息,对整个视频进行处理可能会消耗大量的计算资源和时间。通过视频切分,可以将处理任务分解为多个较小的任务,提高处理效率,每个视频片段都可以独立地进行特征提取和特征向量表示,从而更好地理解和分析原料搅拌状态的变化和异常情况。
相应的,在一种可能的实现方式中,可通过以下步骤对所述原料搅拌状态监控视频进行视频切分以得到多个原料搅拌状态监控视频片段,例如:将原料搅拌状态监控视频导入到计算机系统中,并进行必要的备份和存储;对原料搅拌状态监控视频进行预处理,包括去除噪声、调整视频亮度和对比度等,以提高后续处理的准确性和可靠性;将原料搅拌状态监控视频分解成一系列连续的视频帧。视频帧是视频的基本单位,每个视频帧都包含了一张静止的图像;对每个视频帧进行特征提取。特征可以包括颜色直方图、纹理特征、形状特征等。这些特征可以反映原料搅拌状态的不同方面,如颜色变化、纹理变化和形状变化等;将提取的特征与相邻帧的特征进行比较和分析,以建立上下文关系。上下文建模可以帮助捕捉原料搅拌状态的时序信息和变化趋势;将提取的特征和上下文信息组合成特征向量。特征向量是对原料搅拌状态的抽象表示,可以用于后续的分析和应用;利用得到的特征向量进行原料搅拌状态的分析和监测。可以使用机器学习算法、模式识别技术等方法对特征向量进行分类、聚类或异常检测,以实现对原料搅拌状态的自动化监控和控制。
所述S212,对所述多个原料搅拌状态监控视频片段进行稀疏采样以得到所述多个稀疏化原料搅拌状态监控视频片段。值得注意的是,在视频切分的过程中,稀疏采样是一种常用的方法,用于减少视频帧的数量并提高处理效率。稀疏采样是指从原料搅拌状态监控视频中选择一部分关键帧进行提取和处理,而不是对每一帧都进行处理。通过稀疏采样,可以大大减少需要处理的视频帧数量,从而提高处理效率。同时,选择关键帧进行处理也可以保留视频中的重要信息,以更好地理解和分析原料搅拌状态的变化和异常情况。
相应的,在一种可能的实现方式中,可通过以下步骤对所述多个原料搅拌状态监控视频片段进行稀疏采样以得到所述多个稀疏化原料搅拌状态监控视频片段,例如:对原料搅拌状态监控视频进行预处理,包括去噪、图像增强、调整亮度和对比度等操作,以提高视频质量和可视化效果;将原料搅拌状态监控视频分解成多个连续的视频片段。这可以通过时间窗口的方式进行,例如每隔一定时间间隔切分视频,或者根据特定事件进行切分;对得到的多个原料搅拌状态监控视频片段进行稀疏采样。稀疏采样是指从连续的视频帧中选择一部分关键帧作为代表,以减少数据量和计算复杂度。选择哪些帧作为关键帧可以根据需要和应用场景进行调整;对稀疏化的原料搅拌状态监控视频片段进行特征提取。特征可以包括颜色直方图、纹理特征、运动特征等,用于描述视频中的搅拌状态信息;将得到的特征序列进行上下文建模,即考虑前后帧之间的关联性和时序信息。这可以通过使用循环神经网络(RNN)或者卷积神经网络(CNN)等模型来实现;将上下文建模得到的特征序列转换为固定维度的特征向量。可以使用技术如平均池化、最大池化或者注意力机制等方法来实现;得到的特征向量可以用于搅拌状态的分类、异常检测、搅拌速度和效率分析等应用。根据具体需求,可以使用机器学习算法或者深度学习模型进行分析和预测。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述原料搅拌状态监控视频进行信息冗余优化以得到多个稀疏化原料搅拌状态监控视频片段,例如:视频预处理:首先,对原料搅拌状态监控视频进行预处理,包括去噪、图像增强等操作,以提高视频质量和清晰度,可以使用图像处理算法,如滤波器、锐化等技术来改善图像质量;视频分解:将原料搅拌状态监控视频分解为一系列视频帧,每个视频帧代表一个时间点的搅拌状态,可以使用视频处理库或框架来实现视频分解操作;特征提取:对每个视频帧进行特征提取,提取与原料搅拌状态相关的特征,特征可以包括颜色直方图、纹理特征、梯度特征等,可以使用计算机视觉算法和技术来提取这些特征;上下文建模:将特征向量与其相邻的特征向量进行比较,建立上下文关系,可以使用时间序列分析或机器学习算法来建模上下文关系;特征向量表示:将每个视频帧的特征向量表示为稀疏化的形式,以减少冗余信息,可以使用压缩算法或稀疏编码技术来实现特征向量的稀疏化表示;应用:将稀疏化的原料搅拌状态监控视频片段用于分析和监测;可以使用机器学习算法或模式识别技术来分析这些片段,提取搅拌状态的变化、异常情况等信息。
相应地,所述S22,对所述多个稀疏化原料搅拌状态监控视频片段进行时序分析和关联模式提取以得到所述搅拌状态时序上下文特征向量。特别地,在本申请的一个具体示例中,如图5所示,所述S22,包括:S221,分别提取所述多个稀疏化原料搅拌状态监控视频片段中各个稀疏化原料搅拌状态监控视频片段的搅拌状态信息以得到多个搅拌状态时序关联特征图;S222,对所述多个搅拌状态时序关联特征图进行特征分布优化以得到多个优化后搅拌状态时序关联特征图;S223,将所述多个优化后搅拌状态时序关联特征图分别展开为特征向量以得到多个搅拌状态时序关联特征向量;以及,S224,将所述多个搅拌状态时序关联特征向量通过基于RNN模型的搅拌状态时序上下文编码器以得到所述搅拌状态时序上下文特征向量。
所述S221,分别提取所述多个稀疏化原料搅拌状态监控视频片段中各个稀疏化原料搅拌状态监控视频片段的搅拌状态信息以得到多个搅拌状态时序关联特征图。特别地,在本申请的一个具体示例中,所述S221,包括:将所述多个稀疏化原料搅拌状态监控视频片段分别通过基于三维卷积神经网络模型的搅拌状态时序关联特征提取器以得到所述多个搅拌状态时序关联特征图。
根据本申请的实施例,将所述多个稀疏化原料搅拌状态监控视频片段分别通过基于三维卷积神经网络模型的搅拌状态时序关联特征提取器以得到所述多个搅拌状态时序关联特征图,包括:使用所述基于三维卷积神经网络模型的搅拌状态时序关联特征提取器的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述基于三维卷积神经网络模型的搅拌状态时序关联特征提取器的最后一层的输出为所述多个搅拌状态时序关联特征图,所述基于三维卷积神经网络模型的搅拌状态时序关联特征提取器的第一层的输入为所述多个稀疏化原料搅拌状态监控视频片段。
三维卷积神经网络(3D CNN)是卷积神经网络的一种变体,专门用于处理具有时间维度的三维数据,例如视频、体积数据等。与传统的二维卷积神经网络不同,3D CNN可以在时间维度上进行卷积操作,从而捕捉到时空特征。3D CNN的基本结构和操作与二维卷积神经网络类似,但在卷积操作中引入了时间维度。以下是3D CNN的一般步骤:输入数据:输入数据是一个三维张量,包含视频或其他具有时间维度的数据。它通常由多个时间步骤组成,每个时间步骤都是一个二维图像或特征图;卷积层:3D CNN使用三维卷积核对输入数据进行卷积操作。卷积核在时间维度和空间维度上滑动,提取时空特征。卷积操作会生成一系列的特征图,每个特征图对应一个卷积核;激活函数:在卷积层之后,可以使用激活函数(如ReLU)来引入非线性性质,增强网络的表达能力;池化层:为了减少计算量和参数数量,可以使用池化层对特征图进行下采样。常见的池化操作有最大池化和平均池化;全连接层:在经过多个卷积层和池化层之后,可以将特征图展平为一维向量,并通过全连接层进行分类或回归等任务;输出层:最后一层是输出层,根据具体任务选择适当的激活函数和损失函数。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式分别提取所述多个稀疏化原料搅拌状态监控视频片段中各个稀疏化原料搅拌状态监控视频片段的搅拌状态信息以得到多个搅拌状态时序关联特征图,例如:对原料搅拌状态监控视频进行预处理,包括去噪、调整亮度、对比度等,以提高后续处理的效果;将每个原料搅拌状态监控视频片段分解成一系列连续的帧,通常以每秒帧数(fps)作为参考;从每个视频片段中选择一部分帧进行稀疏采样,以减少计算量。可以根据需要调整采样频率;对于每个采样的帧,使用计算机视觉技术提取特征。常见的特征包括颜色直方图、纹理特征、形状特征等。这些特征可以用于表示搅拌状态的不同方面;考虑到搅拌状态的时序关联性,可以通过建立上下文模型来捕捉视频帧之间的关系。可以使用循环神经网络(RNN)或卷积神经网络(CNN)等模型来处理时序数据;将每个视频片段的搅拌状态信息转化为特征向量表示。可以将每个帧的特征向量按照时间顺序排列,形成一个时序特征向量序列;将得到的多个搅拌状态时序关联特征图用于后续任务,比如分类、聚类、时序分析等。
所述S222,对所述多个搅拌状态时序关联特征图进行特征分布优化以得到多个优化后搅拌状态时序关联特征图。在本申请的技术方案中,在对所述多个原料搅拌状态监控视频片段进行稀疏采样得到所述多个稀疏化原料搅拌状态监控视频片段时,尽管可以通过稀疏采样减少数据量及强化源图像语义差异,但也会使得基于三维卷积神经网络模型的搅拌状态时序关联特征提取器提取到的时序关联特征表达减弱,这样,所述多个搅拌状态时序关联特征图的各个特征矩阵之间存在的较为明显的特征分布差异会更加显著,使得所述多个搅拌状态时序关联特征图对于其各个特征矩阵表达的图像语义特征存在不均衡。
这里,本申请进一步发现,这种不均衡在很大程度上与特征表达尺度相关,即特征矩阵的源图像域的图像语义特征表达尺度,和各个特征矩阵间的多维度通道/时序关联分布尺度,例如,可以理解为相对于进行多维度通道/时序关联分布的尺度,源图像域的图像语义特征分布越不均衡,则所述多个搅拌状态时序关联特征图的整体表达也越不均衡。因此,优选地,对于所述多个搅拌状态时序关联特征图中的每个搅拌状态时序关联特征图,对于其各个特征矩阵,例如记为进行特征尺度约束的概率密度收敛优化,具体表示为,对所述多个搅拌状态时序关联特征图进行特征分布优化以得到多个优化后搅拌状态时序关联特征图,包括:分别计算所述搅拌状态时序关联特征图的各个特征矩阵的全局特征均值组成的特征向量的第一优化权重,以及,所述搅拌状态时序关联特征图的各个特征矩阵的第二优化权重的序列;以所述第一优化权重对所述搅拌状态时序关联特征图沿通道进行加权以得到加权后搅拌状态时序关联特征图;以所述第二优化权重的序列对所述加权后搅拌状态时序关联特征图的各个特征矩阵进行加权以得到所述优化后搅拌状态时序关联特征图。
特别地,在本申请的一个具体示例中,分别计算所述搅拌状态时序关联特征图的各个特征矩阵的全局特征均值组成的特征向量的第一优化权重,以及,所述搅拌状态时序关联特征图的各个特征矩阵的第二优化权重的序列,包括:其中,/>是所述搅拌状态时序关联特征图的第/>个特征矩阵,/>是所述搅拌状态时序关联特征图的通道数,/>是特征矩阵/>的全局特征均值,/>是/>组成的特征向量,表示特征向量/>的二范数的平方,/>是特征矩阵/>的尺度,且/>表示特征矩阵/>的Frobenius范数的平方,/>是所述第一优化权重,/>是所述第二优化权重的序列中的第/>个第二优化权重。
这里,所述特征尺度约束的概率密度收敛优化可以通过类标准柯西分布式的尾部分布加强机制,来基于特征尺度对高维特征空间内的特征概率密度分布进行多层次分布结构的相关性约束,以使得具有不同尺度的高维特征的概率密度分布在整体概率密度空间内进行均匀性展开,从而弥补特征尺度偏差导致的概率密度收敛异质性。这样,在训练过程中,以上述权重对所述搅拌状态时序关联特征图沿通道进行加权,并以上述权重进行加权,就可以提升优化后的搅拌状态时序关联特征图在预定概率密度分布域的收敛性,从而提升其展开为特征向量后通过RNN模型进行的上下文关联特征编码效果。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述多个搅拌状态时序关联特征图进行特征分布优化以得到多个优化后搅拌状态时序关联特征图,例如:首先,对于每个搅拌状态时序关联特征图,进行特征分布分析。可以使用统计方法或可视化工具来观察特征的分布情况,例如直方图、散点图等;根据特征分布分析的结果,选择对搅拌状态判别有较大影响的特征。可以使用特征选择算法,如方差选择、相关系数等,来筛选出具有显著差异的特征;对于选定的特征,进行归一化处理,以消除不同特征之间的量纲差异。常见的归一化方法包括最小-最大归一化、Z-score归一化等;如果特征之间存在复杂的关系,可以考虑使用特征转换方法,将原始特征映射到一个新的特征空间中。常见的特征转换方法包括主成分分析(PCA)、线性判别分析(LDA)等;对于多个搅拌状态时序关联特征图,可以将它们进行聚类分析,以发现不同搅拌状态之间的相似性和差异性。常见的聚类算法包括K均值聚类、层次聚类等;根据特征聚类的结果,可以将每个搅拌状态时序关联特征图映射到一个新的特征空间中。这样可以减少特征的维度,并提取出更具代表性的特征;将优化后的多个搅拌状态时序关联特征图用于后续任务,如分类、聚类、时序分析等。
所述S223,将所述多个优化后搅拌状态时序关联特征图分别展开为特征向量以得到多个搅拌状态时序关联特征向量。应可以理解,特征图通常具有较高的维度,展开为特征向量可以将其维度降低,从而减少数据的复杂性和计算的复杂度,通过展开特征图为特征向量,可以提取出关键的特征信息,例如颜色、纹理、形状等,这些特征可以用于后续的分类、聚类或其他机器学习任务,更具体地,特征向量可以更方便地表示数据,可以用于可视化、存储和传输;以及,可以应用机器学习算法或模式识别方法来分析和识别特征向量中的模式。这可以用于检测异常、分类不同的搅拌状态或进行其他相关任务。
相应的,在一种可能的实现方式中,可通过以下步骤将所述多个优化后搅拌状态时序关联特征图分别展开为特征向量以得到多个搅拌状态时序关联特征向量,例如:对每个搅拌状态时序关联特征图进行预处理,包括去噪、平滑或其他必要的图像处理步骤;对每个预处理后的特征图提取关键特征。这可以包括使用计算机视觉技术如卷积神经网络(CNN)或特征描述符来提取特征;将每个特征提取得到的特征表示为一个特征向量;将每个搅拌状态的特征向量按照时间顺序连接起来,形成一个搅拌状态时序关联特征向量;重复步骤2至4:对于每个搅拌状态的特征图,重复步骤2至4,得到其他的搅拌状态时序关联特征向量。
所述S224,将所述多个搅拌状态时序关联特征向量通过基于RNN模型的搅拌状态时序上下文编码器以得到所述搅拌状态时序上下文特征向量。其中,所述RNN(循环神经网络)是一种适用于处理序列数据的神经网络模型。它具有记忆能力,可以利用之前的输入信息来影响当前的输出。RNN通过在网络中引入循环连接,使得信息可以在不同时间步之间传递。RNN模型的基本结构包括输入层、隐藏层和输出层。在每个时间步,RNN接收一个输入向量,并输出一个隐藏状态向量。隐藏状态向量会被传递到下一个时间步,以保留历史信息。RNN模型的参数在时间步之间是共享的,这使得模型可以处理不同长度的序列数据。RNN模型在处理序列数据时具有广泛的应用,包括自然语言处理(如语言建模、机器翻译、情感分析)、语音识别、时间序列预测等任务。值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述多个稀疏化原料搅拌状态监控视频片段进行时序分析和关联模式提取以得到所述搅拌状态时序上下文特征向量,例如:对多个稀疏化原料搅拌状态监控视频片段进行时序分析。这可以通过观察视频片段中搅拌状态的变化趋势、周期性或者其他时间相关性来实现。常见的时序分析方法包括时间序列分析、周期性分析、频域分析等;从时序分析得到的结果中提取搅拌状态的关联模式。关联模式指的是不同搅拌状态之间的关系和相关性。可以使用关联规则挖掘、序列模式挖掘、时间序列聚类等技术来提取关联模式;根据时序分析和关联模式提取的结果,构建搅拌状态的时序上下文特征向量。这个特征向量可以包括搅拌状态的变化趋势、周期性信息、关联模式等。具体的表示方法可以根据需求和应用场景进行设计。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述原料搅拌状态监控视频进行特征提取以得到搅拌状态时序上下文特征向量,例如:首先,对原料搅拌状态监控视频进行预处理。这可能包括视频格式转换、降噪处理、视频稳定化等操作,以确保视频质量较高且适合后续处理;将预处理后的视频分解为一系列连续的帧。可以使用视频处理库或工具来实现此步骤;由于视频帧往往是连续的,为了减少计算量并捕捉到关键的时序上下文特征,可以进行稀疏采样。例如,可以选择每隔几个帧进行采样,以获取代表性的帧;对采样后的视频帧应用图像处理和计算机视觉技术,提取每个帧的特征。这些特征可以包括颜色直方图、纹理特征、形状特征等。可以使用深度学习模型(如卷积神经网络)或传统的特征提取算法来提取这些特征;在时序上下文特征向量中,除了当前帧的特征之外,还需要考虑其前后帧的特征。因此,需要进行上下文建模,以捕捉到搅拌状态的时序演变。可以使用滑动窗口或循环神经网络(如长短期记忆网络)来建模上下文;将每个帧的特征与其上下文特征结合起来,形成搅拌状态的时序上下文特征向量。可以使用向量拼接、平均池化等方式来表示特征向量;得到搅拌状态的时序上下文特征向量后,可以将其用于各种应用,如搅拌状态分类、异常检测、行为分析等。可以使用机器学习算法(如支持向量机、随机森林)或深度学习模型(如循环神经网络、注意力机制)来训练和应用这些模型。
具体地,在步骤S3中,基于所述搅拌状态时序上下文特征向量,确定是否停止搅拌。特别地,在本申请的一个具体示例中,所述S3,包括:将所述搅拌状态时序上下文特征向量通过分类器以得到分类结果,所述分类结果用于表示是否停止搅拌。具体地,使用所述分类器的多个全连接层对所述搅拌状态时序上下文特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
分类器(Classifier)是指一种机器学习模型或算法,用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分,它通过学习从输入数据到输出类别的映射关系来进行分类任务。
全连接层(Fully Connected Layer)是神经网络中常见的一种层类型。在全连接层中,每个神经元都与上一层的所有神经元相连接,每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入,并通过权重对这些输入进行加权求和,然后将结果传递给下一层。
Softmax分类函数是一种常用的激活函数,用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值,并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层,特别适用于多分类问题,因为它能够将网络输出映射为各个类别的概率分布。在训练过程中,Softmax函数的输出可以用于计算损失函数,并通过反向传播算法来更新网络参数。值得注意的是,Softmax函数的输出并不会改变元素之间的相对大小关系,只是对其进行了归一化处理。因此,Softmax函数并不改变输入向量的特性,只是将其转化为概率分布形式。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式基于所述搅拌状态时序上下文特征向量,确定是否停止搅拌,例如:定义停止搅拌的条件:首先需要确定停止搅拌的条件。这可以是一个预先设定的阈值,例如达到一定的搅拌时间或者特定的搅拌状态特征向量的范围;获取当前的搅拌状态时序上下文特征向量:在每个时间步,获取当前的搅拌状态时序上下文特征向量;判断是否满足停止搅拌的条件:将当前的搅拌状态时序上下文特征向量与停止搅拌的条件进行比较。如果满足条件,则停止搅拌;否则,继续搅拌;反馈结果:根据判断的结果,可以采取相应的操作来停止搅拌,例如关闭搅拌器或者发出停止搅拌的信号。
综上,根据本申请实施例的石油助剂的生产方法被阐明,其通过引入监控视频采集和分析技术,实现对原料搅拌状态的实时监测,并基于此来实现搅拌的自动化控制,提高石油助剂的生产效率。
图6为根据本申请实施例的石油助剂的生产方法的场景示意图。如图6所示,在该应用场景中,通过摄像头(例如,如图6中所示意的C)获取原料搅拌状态监控视频。接着,将上述视频输入至部署有用于石油助剂的生产算法的服务器(例如,图6中的S)中,其中,所述服务器能够以所述石油助剂的生产算法对上述输入的视频进行处理,以生成用于表示是否停止搅拌的分类结果。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (4)

1.一种石油助剂的生产方法,其特征在于,包括:
获取由摄像头采集的原料搅拌状态监控视频;
对所述原料搅拌状态监控视频进行特征提取以得到搅拌状态时序上下文特征向量;以及
基于所述搅拌状态时序上下文特征向量,确定是否停止搅拌;
其中,对所述原料搅拌状态监控视频进行特征提取以得到搅拌状态时序上下文特征向量,包括:
对所述原料搅拌状态监控视频进行信息冗余优化以得到多个稀疏化原料搅拌状态监控视频片段;以及
对所述多个稀疏化原料搅拌状态监控视频片段进行时序分析和关联模式提取以得到所述搅拌状态时序上下文特征向量;
其中,对所述原料搅拌状态监控视频进行信息冗余优化以得到多个稀疏化原料搅拌状态监控视频片段,包括:
对所述原料搅拌状态监控视频进行视频切分以得到多个原料搅拌状态监控视频片段;以及
对所述多个原料搅拌状态监控视频片段进行稀疏采样以得到所述多个稀疏化原料搅拌状态监控视频片段;
其中,对所述多个稀疏化原料搅拌状态监控视频片段进行时序分析和关联模式提取以得到所述搅拌状态时序上下文特征向量,包括:
分别提取所述多个稀疏化原料搅拌状态监控视频片段中各个稀疏化原料搅拌状态监控视频片段的搅拌状态信息以得到多个搅拌状态时序关联特征图;
对所述多个搅拌状态时序关联特征图进行特征分布优化以得到多个优化后搅拌状态时序关联特征图;
将所述多个优化后搅拌状态时序关联特征图分别展开为特征向量以得到多个搅拌状态时序关联特征向量;以及
将所述多个搅拌状态时序关联特征向量通过基于RNN模型的搅拌状态时序上下文编码器以得到所述搅拌状态时序上下文特征向量;
其中,对所述多个搅拌状态时序关联特征图进行特征分布优化以得到多个优化后搅拌状态时序关联特征图,包括:
分别计算所述搅拌状态时序关联特征图的各个特征矩阵的全局特征均值组成的特征向量的第一优化权重,以及,所述搅拌状态时序关联特征图的各个特征矩阵的第二优化权重的序列;
以所述第一优化权重对所述搅拌状态时序关联特征图沿通道进行加权以得到加权后搅拌状态时序关联特征图;
以所述第二优化权重的序列对所述加权后搅拌状态时序关联特征图的各个特征矩阵进行加权以得到所述优化后搅拌状态时序关联特征图;
其中,分别计算所述搅拌状态时序关联特征图的各个特征矩阵的全局特征均值组成的特征向量的第一优化权重,以及,所述搅拌状态时序关联特征图的各个特征矩阵的第二优化权重的序列,包括:
其中,是所述搅拌状态时序关联特征图的第/>个特征矩阵,/>是所述搅拌状态时序关联特征图的通道数,/>是特征矩阵/>的全局特征均值,/>是/>组成的特征向量,/>表示特征向量/>的二范数的平方,/>是特征矩阵/>的尺度,且/>表示特征矩阵/>的Frobenius范数的平方,/>是所述第一优化权重,/>是所述第二优化权重的序列中的第/>个第二优化权重。
2.根据权利要求1所述的石油助剂的生产方法,其特征在于,分别提取所述多个稀疏化原料搅拌状态监控视频片段中各个稀疏化原料搅拌状态监控视频片段的搅拌状态信息以得到多个搅拌状态时序关联特征图,包括:
将所述多个稀疏化原料搅拌状态监控视频片段分别通过基于三维卷积神经网络模型的搅拌状态时序关联特征提取器以得到所述多个搅拌状态时序关联特征图。
3.根据权利要求2所述的石油助剂的生产方法,其特征在于,基于所述搅拌状态时序上下文特征向量,确定是否停止搅拌,包括:
将所述搅拌状态时序上下文特征向量通过分类器以得到分类结果,所述分类结果用于表示是否停止搅拌。
4.一种石油助剂的生产设备,其特征在于,所述石油助剂的生产设备以如权利要求1至3任一所述的石油助剂的生产方法进行运转。
CN202311392738.2A 2023-10-25 2023-10-25 石油助剂的生产设备及其方法 Active CN117123131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311392738.2A CN117123131B (zh) 2023-10-25 2023-10-25 石油助剂的生产设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311392738.2A CN117123131B (zh) 2023-10-25 2023-10-25 石油助剂的生产设备及其方法

Publications (2)

Publication Number Publication Date
CN117123131A CN117123131A (zh) 2023-11-28
CN117123131B true CN117123131B (zh) 2024-02-02

Family

ID=88856710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311392738.2A Active CN117123131B (zh) 2023-10-25 2023-10-25 石油助剂的生产设备及其方法

Country Status (1)

Country Link
CN (1) CN117123131B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117656243A (zh) * 2024-01-05 2024-03-08 潮州市永宣家用陶瓷制作厂有限公司 轻量多孔日用陶瓷的生产方法
CN117680026B (zh) * 2024-02-01 2024-04-30 深圳市盘古环保科技有限公司 一种垃圾渗滤液膜浓缩液的处理设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118560A (ja) * 2006-11-07 2008-05-22 Kddi Corp 画像データの撹拌装置およびその復元装置
CN111861910A (zh) * 2020-06-29 2020-10-30 深圳高性能医疗器械国家研究院有限公司 一种ct图像降噪系统及方法
AU2020103709A4 (en) * 2020-11-26 2021-02-11 Daqing Oilfield Design Institute Co., Ltd A modified particle swarm intelligent optimization method for solving high-dimensional optimization problems of large oil and gas production systems
CN115358325A (zh) * 2022-09-29 2022-11-18 河南大学 未知概率Skew及重尾噪声下的目标跟踪方法
CN116226710A (zh) * 2023-02-22 2023-06-06 华南师范大学 一种脑电信号分类方法和帕金森病检测装置
CN116661322A (zh) * 2023-06-15 2023-08-29 杭州高腾机电科技有限公司 一种无缝内衣机控制系统及控制方法
CN116694129A (zh) * 2023-08-07 2023-09-05 济宁九德半导体科技有限公司 用于紫外固化型油墨制备的自动控制系统及其方法
WO2023166330A1 (en) * 2022-03-01 2023-09-07 Hemolens Diagnostic Spółka Z Ograniczoną Odpowiedzialnością A method of detection of a landmark in a volume of medical images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10983059B2 (en) * 2017-02-09 2021-04-20 Technion Research & Development Foundation Ltd. Sparsity-based super-resolution correlation microscopy
US11151416B2 (en) * 2019-09-11 2021-10-19 Expedera, Inc. Method and apparatus for efficiently processing convolution neural network operations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118560A (ja) * 2006-11-07 2008-05-22 Kddi Corp 画像データの撹拌装置およびその復元装置
CN111861910A (zh) * 2020-06-29 2020-10-30 深圳高性能医疗器械国家研究院有限公司 一种ct图像降噪系统及方法
AU2020103709A4 (en) * 2020-11-26 2021-02-11 Daqing Oilfield Design Institute Co., Ltd A modified particle swarm intelligent optimization method for solving high-dimensional optimization problems of large oil and gas production systems
WO2023166330A1 (en) * 2022-03-01 2023-09-07 Hemolens Diagnostic Spółka Z Ograniczoną Odpowiedzialnością A method of detection of a landmark in a volume of medical images
CN115358325A (zh) * 2022-09-29 2022-11-18 河南大学 未知概率Skew及重尾噪声下的目标跟踪方法
CN116226710A (zh) * 2023-02-22 2023-06-06 华南师范大学 一种脑电信号分类方法和帕金森病检测装置
CN116661322A (zh) * 2023-06-15 2023-08-29 杭州高腾机电科技有限公司 一种无缝内衣机控制系统及控制方法
CN116694129A (zh) * 2023-08-07 2023-09-05 济宁九德半导体科技有限公司 用于紫外固化型油墨制备的自动控制系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LSCN:一种用于动作识别的长短时序关注网络;杨珂;王敬宇;戚琦;孙海峰;王晶;廖建新;;电子学报(03);第89-95页 *

Also Published As

Publication number Publication date
CN117123131A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN117123131B (zh) 石油助剂的生产设备及其方法
EP3800588B1 (en) System and method using knowledge distillation for training a machine learning classifier
CN113076215B (zh) 一种独立于数据类型的无监督异常检测方法
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
Bisheh et al. A layer-by-layer quality monitoring framework for 3D printing
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN117784710B (zh) 数控机床远程状态监控系统及其方法
CN112488102A (zh) 基于多视图学习和深度监督自编码器的医学影像分类方法及装置
KR102366787B1 (ko) 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템
CN117037031A (zh) 防辐射玻璃的制备方法及其系统
CN116703642A (zh) 基于数字孪生技术的产品制造生产线智能管理系统
CN112949344B (zh) 一种用于异常检测的特征自回归方法
CN117676099B (zh) 基于物联网的安全预警方法及系统
CN113869234A (zh) 人脸表情识别方法、装置、设备及存储介质
Pawar et al. Deep learning-based intelligent surveillance model for detection of anomalous activities from videos
US20230342986A1 (en) Autoencoder-based segmentation mask generation in an alpha channel
Balachandran et al. Machine learning based video segmentation of moving scene by motion index using IO detector and shot segmentation
Vu et al. Detection of unknown anomalies in streaming videos with generative energy-based boltzmann models
Lastra et al. Computer Vision for Real-Time ESP Failure Detection and Diagnostics
Yousefi et al. Locally anomaly detection in crowded scenes using Locality constrained Linear Coding
Sheikh et al. Framework for deep learning based model for human activity recognition (HAR) using adapted PSRA6 dataset
Fazel Asl et al. Abnormal Behavior Detection over Normal Data and Abnormal-augmented Data in Crowded Scenes
US20240257492A1 (en) Transfer learning by downscaling and upscaling
Vijayananda et al. Abnormal Event Detection and Signaling in Multiple Video Surveillance Scenes Using CNN
CN116740639A (zh) 冰箱内置摄像头监控系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant