CN116935308B - 基于车辆情景ai智能识别的洗车机安全监控系统及方法 - Google Patents

基于车辆情景ai智能识别的洗车机安全监控系统及方法 Download PDF

Info

Publication number
CN116935308B
CN116935308B CN202310839685.8A CN202310839685A CN116935308B CN 116935308 B CN116935308 B CN 116935308B CN 202310839685 A CN202310839685 A CN 202310839685A CN 116935308 B CN116935308 B CN 116935308B
Authority
CN
China
Prior art keywords
image
data
detection
definition
judging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310839685.8A
Other languages
English (en)
Other versions
CN116935308A (zh
Inventor
郑辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yizizhu Network Technology Co ltd
Original Assignee
Nanjing Yizizhu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yizizhu Network Technology Co ltd filed Critical Nanjing Yizizhu Network Technology Co ltd
Priority to CN202310839685.8A priority Critical patent/CN116935308B/zh
Publication of CN116935308A publication Critical patent/CN116935308A/zh
Application granted granted Critical
Publication of CN116935308B publication Critical patent/CN116935308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于车辆情景AI智能识别的洗车机安全监控系统及方法,涉及洗车机技术领域,为了解决洗车机内图像处理不完善以及模型构建不够优化的问题。本发明通过图片分析模块对采集图像偏斜度的计算可以保证图像在校正偏斜后更加的准确可靠,对采集图像清晰度的检测可以对图像进行清晰度的调整,有助于消除模糊或不清晰的图像,并提升图像质量,对图像失真度的检测可以减少或消除图像失真的问题,确保图像的准确性和可靠性,图像参数数据通过正向传播训练时,可以使经过各个隐藏层,图像参数数据通过反向传播时,根据梯度递减公式,逐层的向前反馈,形成反向传播机制,可以优化图像的参数。

Description

基于车辆情景AI智能识别的洗车机安全监控系统及方法
技术领域
本发明涉及洗车机技术领域,具体为基于车辆情景AI智能识别的洗车机安全监控系统及方法。
背景技术
洗车机主要是利用电脑控制毛刷和高压水自动来清洗汽车的一种机器。
公开号为CN110867046A的中国专利公开了一种基于云计算的智能洗车机视频监控预警系统,主要通过传感器控制与伺服系统对云计算平台或视频监控装置进行反馈控制实现对运动目标的自动跟踪,运用云计算优势,实现资源整合,提供可扩展的、灵活的、中央集成的视频管理、视频访问和视频存储环境,主动对视频图像信息进行智慧分析处理,在危险行为发生之前自动识别,并进行预警,对视频图像进行实时分析,识别可疑行为,并进行报警事件记录,建立报警事件数据库,便于事后查询、检索,上述专利虽然解决了洗车机监控的问题,但是在实际操作中还存在以下问题:
1.对洗车机内的图像进行采集后没有对图像进行进一步的处理,从而使图像数据的质量不佳导致后期AI模型数据训练不精准。
2.将洗车机内数据采集后没有对数据进行模型训练优化,从而使模型数据不够精细,导致数据在后期计算时不精准。
3.对洗车机内数据进行评估时,没有根据评估属性进行进一步的分类评估,以及没有根据采集数据的异常程度进行不同程度的警报,导致警报不准确。
发明内容
本发明的目的在于提供基于车辆情景AI智能识别的洗车机安全监控系统及方法,通过图片分析模块对采集图像偏斜度的计算可以保证图像在校正偏斜后更加的准确可靠,对采集图像清晰度的检测可以对图像进行清晰度的调整,有助于消除模糊或不清晰的图像,并提升图像质量,对图像失真度的检测可以减少或消除图像失真的问题,确保图像的准确性和可靠性,图像参数数据通过正向传播训练时,可以使经过各个隐藏层,图像参数数据通过反向传播时,根据梯度递减公式,逐层的向前反馈,形成反向传播机制,可以优化图像的参数,可以解决现有技术中的问题。
为实现上述目的,本发明提供如下技术方案:
基于车辆情景AI智能识别的洗车机安全监控系统,包括:
监控数据采集单元,用于:
根据洗车机内的监控设备,将汽车在洗车机内的操作情况进行监控采集,并将实时采集的数据进行单独存储,其中,监控设备分布在洗车机内的多个位置中;
采集数据处理单元,用于:
基于监控数据采集单元中监控设备获取的实时采集数据,将实时采集数据进行确认,实时采集数据确认完成后将采集的图片数据进行数据处理,数据处理完成后标注为目标图片数据;
处理数据模型构建训练单元,用于:
基于采集数据处理单元中获取的目标图片数据,将目标图片数据的数据参数进行获取,参数获取后将参数导入神经网络模型中进行模型训练,模型训练完成后标注为目标模型数据;
模型数据评估单元,用于:
基于处理数据模型构建训练单元中获取的目标模型数据,将目标模型数据的属性进行分类,分类完成后根据每个属性的特征进行特征对比,将特征对比结果进行判定,并将异常对比结果进行独立存储;
异常数据管理单元,用于:
基于模型数据评估单元中获取的对比结果,将异常对比结果进行获取,异常对比结果获取后根据异常对比结果的异常程度进行异常等级划分,根据异常等级划分进行不同警报程度的警报;
所述采集数据处理单元,包括:
图片分析模块,用于:
将监控设备中采集的图像进行获取,采集图像获取后对图像的偏斜度、清晰度和失真度进行分析;
其中,图像的偏斜度分析利用边缘检测方式检测图像中的边缘信息,并根据边缘信息计算图像的偏斜度;
若偏斜度超过预设的偏斜度阈值,则对图像进行偏斜度调整,获得偏斜度调整后的图像;
将调整后的偏斜度图像再次进行偏斜度检测,若调整后的偏斜度图像对应的偏斜度超过预设的第二偏斜度阈值,则判定存在异常;
若调整后的偏斜度图像对应的偏斜度未超过预设的第二偏斜度阈值,则判定偏斜度调整后的图像为有效图像数据,并作为标准偏斜度图像;
其中,清晰度检测先将标准偏斜度图像进行获取,获取后对标准偏斜度图像的清晰度进行检测,并获取标准偏斜度图像对应的清晰度;
根据对应的清晰度进行检测,若清晰度低于预设的清晰度阈值,则对图像进行清晰度调整,获得清晰度调整后的图像;
根据调整后的清晰度图像进行二次清晰度检测,若调整后的清晰度图像对应的清晰度低于预设的第二清晰度阈值,则判定存在异常;
若调整后的清晰度图像对应的清晰度未低于预设的第二清晰度阈值,则判定调整后的清晰度图像为有效图像数据,并作为标准清晰度图像;
其中,失真度检测先将标准清晰度图像进行获取,获取后对标准清晰度图像进行检测,并获取标准清晰度图像对应的失真度;
根据对应的失真度进行检测,若失真度超过预设的失真度阈值,则对所述图像进行失真度调整,获得失真度调整后的图像;
根据调整后的失真度图像进行二次失真度检测,若调整后的失真度图像对应的失真度超过预设的第二失真度阈值,则判定存在异常;
若调整后的失真度图像对应的失真度未超过预设的第二失真度阈值,则判定调整后的失真度图像为标准图像数据;
数据质量检测模块,用于:
实时监测图像二次检测情况和图像异常判定结果,其中,所述图像二次检测情况包括二次偏斜度检测次数、二次清晰度检测次数和二次失真度检测次数;
通过所述图像二次检测情况对图像数据的数据质量进行一级判定,获得一级判定参数;其中,所述一级判定参数通过如下公式获取:
A=A1·w1+A2·w2
其中,P1表示一级判定参数;M表示图像的总数量;Mz表示进行二次检测的图像总数量;A表示判定因子;A1表示第一判定因子分量;A2表示第二判定因子分量;M1、M2和M3分别表示进行过二次偏斜度检测的图像数量、二次清晰度检测的图像数量和二次失真度检测的图像数量;Mc表示同一个图像进行两种及以上的检测类型的二次检测的图像数量;n1、n2和n3分别表示二次偏斜度检测次数、二次清晰度检测次数和二次失真度检测次数;Ya1、Yb1和Yc1分别表示预设的偏斜度阈值、清晰度阈值和失真度阈值;Ua1i、Ub1i和Uc1i分别表示图像的第i个二次偏斜度检测、二次清晰度检测和二次失真度检测对应的第一次调整后的偏斜度、清晰度和失真度;w1和w2分别表示预设的权重值;
当所述一级判定参数超过预设的第一判定阈值时,则表明当前采集的图像质量级别为一般,并进行图像数据检测质量异常提示;
当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,并根据二级判定参数确定是否需要对监控设备进行运维;
当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,并根据二级判定参数确定是否需要对监控设备进行运维,包括:
当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,其中,所述二级判定参数通过如下公式获取:
其中,P2表示二级判定参数;j表示第二次检测的种类,当j=a,表示二次二次偏斜度检测,当j=b,表示二次清晰度检测,当j=c,表示二次失真度检测次数;m表示判定为异常的图像数量;Yj2表示第j种二次检测类型的第二次检测对应的阈值,即第二偏移度阈值、第二清晰度阈值和第二失真度阈值;Uj2i表示第j种检测类型,第i个图像的第二次检测数值;
当所述二级判定参数超过第二参数阈值时,则判定需要对当前监控设备进行运维,并进行运维报警;
所述处理数据模型构建训练单元,包括:
图片神经网络训练模块,用于:
将目标图片数据导入神经网络模型中,其中,先将神经网络模型参数进行设置,神经网络模型参数设置完成后,将目标图像数据参数进行获取;
先将目标图像数据参数导入神经网络模型中进行正向传播,其中,参数数据是由低层次向高层次进行传播;
当传播得出的数据结果与标准参数数据不一致时进行反向传播,其中;反向传播是将误差从高层次向底层次进行传播;
模型图像生成检测模块,用于;
基于图片神经网络训练模块中获取的训练完成图像,将图像生成检测图像,并获取检测图像对应像素位置的像素值;
确定洗车机内的车辆对应像素位置的像素值,其中,洗车机内车辆位置通过洗车机内安装的红外传感器进行获取;
将检测图像的像素值与车辆的像素值进行峰值信噪比计算;
根据检测图像的像素值与车辆的像素值的计算结果与标准像素值结果进行数据对比;
根据数据对比的阈值判定检测图像的像素值与车辆的像素值的合格范围,并将合格范围内的数据标注为目标模型数据;
所述模型数据评估单元,还用于:
目标模型数据的属性包括车辆检测、车辆定位和车辆分类;
其中,车辆检测用于判断目标模型数据中是否有车辆在洗车机内的检测,车辆定位用于判断目标模型数据中的车辆是否在标准的洗车区域内的检测,车辆分类用于检测车辆类型的检测。
优选的,所述采集数据处理单元,还包括:
图像获取模块,用于:
基于图片分析模块中获取的检测图像,将检测完成的图像进行确认,图像确认后将检测合格的图像和检测异常的图像分别进行获取,并将检测异常的图像单独进行存储,将检测合格的图像标注为目标图片数据。
优选的,所述异常数据管理单元,用于:
当异常对比结果阈值超出标准阈值时,将此对比数据标注为一级警报数据;
当异常对比结果阈值低于标准阈值时,将此对比数据标注为二级警报数据;
当异常对比数据阈值在标准阈值范围内时,将此对比数据标注为三级警报数据;
其中,一级警报数据的警报强度最强,三级警报数据的警报强弱,根据警报强度判定异常数据的异常程度。
本发明提供另一种技术方案,基于车辆情景AI智能识别的洗车机安全监控系统的监控方法,包括以下步骤:
第一步:先通过监控数据采集单元将洗车机内的画面图像进行采集,并且洗车机内的监控设备设置有多个,分别对洗车机内的不同角度进行画面采集;
第二步:通过采集数据处理单元将洗车机内采集的图像进行初步的图像处理,将图像的清晰度、失真度和偏斜度进行进一步的分析,并将清晰度、失真度和偏斜度的检测将检测有异常的图像进行单独存储;
第三步:通过处理数据模型构建训练单元将检测没有异常的图像数据进行模型训练,模型训练完成后数据进行峰值信噪比计算;
第四步:通过模型数据评估单元将计算完成的数据进行评估判断,判断完成后通过异常数据管理单元将判断有异常的数据生成警报数据。
与现有技术相比,本发明的有益效果如下:
1.本发明提供的基于车辆情景AI智能识别的洗车机安全监控系统及方法,通过图片分析模块对采集图像偏斜度的计算可以保证图像在校正偏斜后更加的准确可靠,对采集图像清晰度的检测可以对图像进行清晰度的调整,有助于消除模糊或不清晰的图像,并提升图像质量,对图像失真度的检测可以减少或消除图像失真的问题,确保图像的准确性和可靠性,通过图像获取模块将图片分析模块中检测异常的图像单独进行存储,更加便于后期对图像的检索。
2.本发明提供的基于车辆情景AI智能识别的洗车机安全监控系统及方法,通过图片神经网络训练模块将处理好的图像数据进行神经网络模型训练,图像参数数据通过正向传播训练时,可以使经过各个隐藏层,在经过隐藏层时得出最终损失的数据,图像参数数据通过反向传播时,根据梯度递减公式,逐层的向前反馈,形成反向传播机制,可以优化图像的参数,使模型的构建更加完善,通过模型图像生成检测模块可以将优化完成的图像数据进行进一步的图像质量优化,实现了图像的精准衡量。
3.本发明提供的基于车辆情景AI智能识别的洗车机安全监控系统及方法,通过模型数据评估单元将数据中是否有车辆在洗车机内、车辆是否在标准的洗车区域内以及车辆类型进行评估,将车辆检测、车辆定位和车辆分类数据与标准的数据特征进行对比,当对比结果一致时则判定此数据为合格数据,当对比结果不一致时,则判定此数据为异常数据,通过异常数据管理单元将异常数据进行获取,获取后将不同等级的数据进行不同程度的预警,工作人员可以根据不同强度的警报采取不用的方式的应对措施。
附图说明
图1为本发明的整理检测流程示意图;
图2为本发明的采集数据处理单元模块示意图;
图3为本发明的处理数据模型构建训练单元模块示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术中,在对洗车机内的图像进行采集后没有对图像进行进一步的处理,从而使图像数据的质量不佳导致后期AI模型数据训练不精准的问题,请参阅图1和图2,本实施例提供以下技术方案:
基于车辆情景AI智能识别的洗车机安全监控系统,包括:监控数据采集单元,用于:根据洗车机内的监控设备,将汽车在洗车机内的操作情况进行监控采集,并将实时采集的数据进行单独存储,其中,监控设备分布在洗车机内的多个位置中;采集数据处理单元,用于:基于监控数据采集单元中监控设备获取的实时采集数据,将实时采集数据进行确认,实时采集数据确认完成后将采集的图片数据进行数据处理,数据处理完成后标注为目标图片数据;处理数据模型构建训练单元,用于:基于采集数据处理单元中获取的目标图片数据,将目标图片数据的数据参数进行获取,参数获取后将参数导入神经网络模型中进行模型训练,模型训练完成后标注为目标模型数据;模型数据评估单元,用于:基于处理数据模型构建训练单元中获取的目标模型数据,将目标模型数据的属性进行分类,分类完成后根据每个属性的特征进行特征对比,将特征对比结果进行判定,并将异常对比结果进行独立存储;异常数据管理单元,用于:基于模型数据评估单元中获取的对比结果,将异常对比结果进行获取,异常对比结果获取后根据异常对比结果的异常程度进行异常等级划分,根据异常等级划分进行不同警报程度的警报。
所述采集数据处理单元,包括:图片分析模块,用于:将监控设备中采集的图像进行获取,采集图像获取后对图像的偏斜度、清晰度和失真度进行分析;其中,图像的偏斜度分析利用边缘检测方式检测图像中的边缘信息,并根据边缘信息计算图像的偏斜度;若偏斜度超过预设的偏斜度阈值,则对图像进行偏斜度调整,获得偏斜度调整后的图像;将调整后的偏斜度图像再次进行偏斜度检测,若调整后的偏斜度图像对应的偏斜度超过预设的第二偏斜度阈值,则判定存在异常;若调整后的偏斜度图像对应的偏斜度未超过预设的第二偏斜度阈值,则判定偏斜度调整后的图像为有效图像数据,并作为标准偏斜度图像,所述图片分析模块,还用于:其中,清晰度检测先将标准偏斜度图像进行获取,获取后对标准偏斜度图像的清晰度进行检测,并获取标准偏斜度图像对应的清晰度;根据对应的清晰度进行检测,若清晰度低于预设的清晰度阈值,则对图像进行清晰度调整,获得清晰度调整后的图像;根据调整后的清晰度图像进行二次清晰度检测,若调整后的清晰度图像对应的清晰度低于预设的第二清晰度阈值,则判定存在异常;若调整后的清晰度图像对应的清晰度未低于预设的第二清晰度阈值,则判定调整后的清晰度图像为有效图像数据,并作为标准清晰度图像;其中,失真度检测先将标准清晰度图像进行获取,获取后对标准清晰度图像进行检测,并获取标准清晰度图像对应的失真度;根据对应的失真度进行检测,若失真度超过预设的失真度阈值,则对所述图像进行失真度调整,获得失真度调整后的图像;根据调整后的失真度图像进行二次失真度检测,若调整后的失真度图像对应的失真度超过预设的第二失真度阈值,则判定存在异常;若调整后的失真度图像对应的失真度未超过预设的第二失真度阈值,则判定调整后的失真度图像为标准图像数据,所述采集数据处理单元,还包括:图像获取模块,用于:基于图片分析模块中获取的检测图像,将检测完成的图像进行确认,图像确认后将检测合格的图像和检测异常的图像分别进行获取,并将检测异常的图像单独进行存储,将检测合格的图像标注为目标图片数据。
具体的,通过图片分析模块对采集图像偏斜度的计算可以保证图像在校正偏斜后更加的准确可靠,对采集图像清晰度的检测可以对图像进行清晰度的调整,有助于消除模糊或不清晰的图像,并提升图像质量,对图像失真度的检测可以减少或消除图像失真的问题,确保图像的准确性和可靠性,通过图像获取模块将图片分析模块中检测异常的图像单独进行存储,更加便于后期对图像的检索。
具体的,数据质量检测模块,用于:
实时监测图像二次检测情况和图像异常判定结果,其中,所述图像二次检测情况包括二次偏斜度检测次数、二次清晰度检测次数和二次失真度检测次数;
通过所述图像二次检测情况对图像数据的数据质量进行一级判定,获得一级判定参数;其中,所述一级判定参数通过如下公式获取:
A=A1·w1+A2·w2
其中,P1表示一级判定参数;M表示图像的总数量;Mz表示进行二次检测的图像总数量;A表示判定因子;A1表示第一判定因子分量;A2表示第二判定因子分量;M1、M2和M3分别表示进行过二次偏斜度检测的图像数量、二次清晰度检测的图像数量和二次失真度检测的图像数量;Mc表示同一个图像进行两种及以上的检测类型的二次检测的图像数量;n1、n2和n3分别表示二次偏斜度检测次数、二次清晰度检测次数和二次失真度检测次数;Ya1、Yb1和Yc1分别表示预设的偏斜度阈值、清晰度阈值和失真度阈值;Ua1、Ub1和Uc1分别表示图像的第一次调整后的偏斜度、清晰度和失真度;w1和w2分别表示预设的权重值;
当所述一级判定参数超过预设的第一判定阈值时,则表明当前采集的图像质量级别为一般,并进行图像数据检测质量异常提示;
当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,并根据二级判定参数确定是否需要对监控设备进行运维。
上述技术方案的效果为:上述技术方案能够实时监测图像的二次偏斜度、清晰度和失真度检测次数。这意味着系统可以实时跟踪图像的质量指标,并在需要时进行二次检测。同时,通过对图像的二次检测情况进行一级判定,系统可以得出一级判定参数,用于评估图像数据的质量。这些参数是通过计算公式得出的,并可以综合考虑偏斜度、清晰度和失真度等指标。当一级判定参数超过预设的第一判定阈值时,系统判定当前采集的图像质量级别为一般,并进行图像数据检测质量异常提示。这意味着系统可以及时发现并提示图像质量异常情况。当一级判定参数未超过预设的第一判定阈值时,系统利用一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数。根据二级判定参数的结果,系统可以确定是否需要对监控设备进行运维操作。这有助于系统管理人员根据图像质量情况来采取适当的维护措施。
本实施例上述技术方案能够实现实时监测和评估图像数据质量,提供一级和二级判定参数,并根据判定结果进行图像质量异常提示和设备运维决策。这有助于提高监控系统的可靠性和可用性,减少图像数据质量问题对监控效果的影响。
具体的,当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,并根据二级判定参数确定是否需要对监控设备进行运维,包括:
当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,其中,所述二级判定参数通过如下公式获取:
其中,P2表示二级判定参数;j表示第二次检测的种类,当j=a,表示二次二次偏斜度检测,当j=b,表示二次清晰度检测,当j=c,表示二次失真度检测次数;m表示判定为异常的图像数量;Yj2表示第j种二次检测类型的第二次检测对应的阈值,即第二偏移度阈值、第二清晰度阈值和第二失真度阈值;Uj2i表示第j种检测类型,第i个图像的第二次检测数值;
当所述二级判定参数超过第二参数阈值时,则判定需要对当前监控设备进行运维,并进行运维报警。
上述技术方案的效果为:当一级判定参数未超过预设的第一判定阈值时,系统利用一级判定参数和图像异常判定结果进行二级判定,从而获得二级判定参数。二级判定参数综合考虑了一级判定参数和图像异常判定结果,用于更深入地评估图像质量和设备状态。根据二级判定参数的结果,系统可以判定是否需要对当前监控设备进行运维操作。如果二级判定参数超过第二参数阈值,系统会判定需要对设备进行运维,并进行运维报警。这意味着系统可以根据图像质量和设备状态的综合判定结果,及时采取运维措施来修复问题或进行维护。
本实施例上述技术方案通过一级和二级判定参数的计算和比较,以及结合图像异常判定结果,实现了对监控设备运维的决策。系统可以根据图像质量和设备状态的综合判定结果,判断是否需要进行运维操作,并进行相应的运维报警。这有助于提高监控设备的可靠性和稳定性,及时处理可能存在的问题,保障监控系统的正常运行。
为了解决现有技术中,将洗车机内数据采集后没有对数据进行模型训练优化,从而使模型数据不够精细,导致数据在后期计算时不精准的问题,请参阅图3,本实施例提供以下技术方案:
所述处理数据模型构建训练单元,包括:图片神经网络训练模块,用于:将目标图片数据导入神经网络模型中,其中,先将神经网络模型参数进行设置,神经网络模型参数设置完成后,将目标图像数据参数进行获取;先将目标图像数据参数导入神经网络模型中进行正向传播,其中,参数数据是由低层次向高层次进行传播;当传播得出的数据结果与标准参数数据不一致时进行反向传播,其中;反向传播是将误差从高层次向底层次进行传播;模型图像生成检测模块,用于;基于图片神经网络训练模块中获取的训练完成图像,将图像生成检测图像,并获取检测图像对应像素位置的像素值;确定洗车机内的车辆对应像素位置的像素值,其中,洗车机内车辆位置通过洗车机内安装的红外传感器进行获取;将检测图像的像素值与车辆的像素值进行峰值信噪比计算;根据检测图像的像素值与车辆的像素值的计算结果与标准像素值结果进行数据对比;根据数据对比的阈值判定检测图像的像素值与车辆的像素值的合格范围,并将合格范围内的数据标注为目标模型数据。
具体的,通过图片神经网络训练模块将处理好的图像数据进行神经网络模型训练,图像参数数据通过正向传播训练时,可以使经过各个隐藏层,在经过隐藏层时得出最终损失的数据,图像参数数据通过反向传播时,根据梯度递减公式,逐层的向前反馈,形成反向传播机制,可以优化图像的参数,使模型的构建更加完善,通过模型图像生成检测模块可以将优化完成的图像数据进行进一步的图像质量优化,实现了图像的精准衡量。
为了解决现有技术中,对洗车机内数据进行评估时,没有根据评估属性进行进一步的分类评估,以及没有根据采集数据的异常程度进行不同程度的警报,导致警报不准确的问题,请参阅图1,本实施例提供以下技术方案:
所述模型数据评估单元,还用于:目标模型数据的属性包括车辆检测、车辆定位和车辆分类;其中,车辆检测用于判断目标模型数据中是否有车辆在洗车机内的检测,车辆定位用于判断目标模型数据中的车辆是否在标准的洗车区域内的检测,车辆分类用于检测车辆类型的检测。
所述异常数据管理单元,用于:当异常对比结果阈值超出标准阈值时,将此对比数据标注为一级警报数据;当异常对比结果阈值低于标准阈值时,将此对比数据标注为二级警报数据;当异常对比数据阈值在标准阈值范围内时,将此对比数据标注为三级警报数据;其中,一级警报数据的警报强度最强,三级警报数据的警报强弱,根据警报强度判定异常数据的异常程度。
具体的,通过模型数据评估单元将数据中是否有车辆在洗车机内、车辆是否在标准的洗车区域内以及车辆类型进行评估,将车辆检测、车辆定位和车辆分类数据与标准的数据特征进行对比,当对比结果一致时则判定此数据为合格数据,当对比结果不一致时,则判定此数据为异常数据,通过异常数据管理单元将异常数据进行获取,获取后将不同等级的数据进行不同程度的预警,工作人员可以根据不同强度的警报采取不用的方式的应对措施。
基于车辆情景AI智能识别的洗车机安全监控系统的监控方法,包括以下步骤:
第一步:先通过监控数据采集单元将洗车机内的画面图像进行采集,并且洗车机内的监控设备设置有多个,分别对洗车机内的不同角度进行画面采集;
第二步:通过采集数据处理单元将洗车机内采集的图像进行初步的图像处理,将图像的清晰度、失真度和偏斜度进行进一步的分析,并将清晰度、失真度和偏斜度的检测将检测有异常的图像进行单独存储;
其中,对采集图像偏斜度的计算可以保证图像在校正偏斜后更加的准确可靠,对采集图像清晰度的检测可以对图像进行清晰度的调整,有助于消除模糊或不清晰的图像,并提升图像质量,对图像失真度的检测可以减少或消除图像失真的问题,确保图像的准确性和可靠性;
第三步:通过处理数据模型构建训练单元将检测没有异常的图像数据进行模型训练,模型训练完成后数据进行峰值信噪比计算;
其中,图像参数数据通过正向传播训练时,可以使经过各个隐藏层,在经过隐藏层时得出最终损失的数据,图像参数数据通过反向传播时,根据梯度递减公式,逐层的向前反馈,形成反向传播机制,可以优化图像的参数;
第四步:通过模型数据评估单元将计算完成的数据进行评估判断,判断完成后通过异常数据管理单元将判断有异常的数据生成警报数据。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.基于车辆情景AI智能识别的洗车机安全监控系统,其特征在于,包括:
监控数据采集单元,用于:
根据洗车机内的监控设备,将汽车在洗车机内的操作情况进行监控采集,并将实时采集的数据进行单独存储,其中,监控设备分布在洗车机内的多个位置中;
采集数据处理单元,用于:
基于监控数据采集单元中监控设备获取的实时采集数据,将实时采集数据进行确认,实时采集数据确认完成后将采集的图片数据进行数据处理,数据处理完成后标注为目标图片数据;
处理数据模型构建训练单元,用于:
基于采集数据处理单元中获取的目标图片数据,将目标图片数据的数据参数进行获取,参数获取后将参数导入神经网络模型中进行模型训练,模型训练完成后标注为目标模型数据;
模型数据评估单元,用于:
基于处理数据模型构建训练单元中获取的目标模型数据,将目标模型数据的属性进行分类,分类完成后根据每个属性的特征进行特征对比,将特征对比结果进行判定,并将异常对比结果进行独立存储;
异常数据管理单元,用于:
基于模型数据评估单元中获取的对比结果,将异常对比结果进行获取,异常对比结果获取后根据异常对比结果的异常程度进行异常等级划分,根据异常等级划分进行不同警报程度的警报;
所述采集数据处理单元,包括:
图片分析模块,用于:
将监控设备中采集的图像进行获取,采集图像获取后对图像的偏斜度、清晰度和失真度进行分析;
其中,图像的偏斜度分析利用边缘检测方式检测图像中的边缘信息,并根据边缘信息计算图像的偏斜度;
若偏斜度超过预设的偏斜度阈值,则对图像进行偏斜度调整,获得偏斜度调整后的图像;
将调整后的偏斜度图像再次进行偏斜度检测,若调整后的偏斜度图像对应的偏斜度超过预设的第二偏斜度阈值,则判定存在异常;
若调整后的偏斜度图像对应的偏斜度未超过预设的第二偏斜度阈值,则判定偏斜度调整后的图像为有效图像数据,并作为标准偏斜度图像;
其中,清晰度检测先将标准偏斜度图像进行获取,获取后对标准偏斜度图像的清晰度进行检测,并获取标准偏斜度图像对应的清晰度;
根据对应的清晰度进行检测,若清晰度低于预设的清晰度阈值,则对图像进行清晰度调整,获得清晰度调整后的图像;
根据调整后的清晰度图像进行二次清晰度检测,若调整后的清晰度图像对应的清晰度低于预设的第二清晰度阈值,则判定存在异常;
若调整后的清晰度图像对应的清晰度未低于预设的第二清晰度阈值,则判定调整后的清晰度图像为有效图像数据,并作为标准清晰度图像;
其中,失真度检测先将标准清晰度图像进行获取,获取后对标准清晰度图像进行检测,并获取标准清晰度图像对应的失真度;
根据对应的失真度进行检测,若失真度超过预设的失真度阈值,则对所述图像进行失真度调整,获得失真度调整后的图像;
根据调整后的失真度图像进行二次失真度检测,若调整后的失真度图像对应的失真度超过预设的第二失真度阈值,则判定存在异常;
若调整后的失真度图像对应的失真度未超过预设的第二失真度阈值,则判定调整后的失真度图像为标准图像数据;
数据质量检测模块,用于:
实时监测图像二次检测情况和图像异常判定结果,其中,所述图像二次检测情况包括二次偏斜度检测次数、二次清晰度检测次数和二次失真度检测次数;
通过所述图像二次检测情况对图像数据的数据质量进行一级判定,获得一级判定参数;其中,所述一级判定参数通过如下公式获取:
A=A1·w1+A2·w2
其中,P1表示一级判定参数;M表示图像的总数量;Mz表示进行二次检测的图像总数量;A表示判定因子;A1表示第一判定因子分量;A2表示第二判定因子分量;M1、M2和M3分别表示进行过二次偏斜度检测的图像数量、二次清晰度检测的图像数量和二次失真度检测的图像数量;Mc表示同一个图像进行两种及以上的检测类型的二次检测的图像数量;n1、n2和n3分别表示二次偏斜度检测次数、二次清晰度检测次数和二次失真度检测次数;Ya1、Yb1和Yc1分别表示预设的偏斜度阈值、清晰度阈值和失真度阈值;Ua1i、Ub1i和Uc1i分别表示图像的第i个二次偏斜度检测、二次清晰度检测和二次失真度检测对应的第一次调整后的偏斜度、清晰度和失真度;w1和w2分别表示预设的权重值;
当所述一级判定参数超过预设的第一判定阈值时,则表明当前采集的图像质量级别为一般,并进行图像数据检测质量异常提示;
当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,并根据二级判定参数确定是否需要对监控设备进行运维;
当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,并根据二级判定参数确定是否需要对监控设备进行运维,包括:
当所述一级判定参数未超过预设的第一判定阈值时,则利用所述一级判定参数和图像异常判定结果进行二级判定,获得二级判定参数,其中,所述二级判定参数通过如下公式获取:
其中,P2表示二级判定参数;j表示第二次检测的种类,当j=a,表示二次二次偏斜度检测,当j=b,表示二次清晰度检测,当j=c,表示二次失真度检测次数;m表示判定为异常的图像数量;Yj2表示第j种二次检测类型的第二次检测对应的阈值,即第二偏移度阈值、第二清晰度阈值和第二失真度阈值;Uj2i表示第j种检测类型,第i个图像的第二次检测数值;
当所述二级判定参数超过第二参数阈值时,则判定需要对当前监控设备进行运维,并进行运维报警;
所述处理数据模型构建训练单元,包括:
图片神经网络训练模块,用于:
将目标图片数据导入神经网络模型中,其中,先将神经网络模型参数进行设置,神经网络模型参数设置完成后,将目标图像数据参数进行获取;
先将目标图像数据参数导入神经网络模型中进行正向传播,其中,参数数据是由低层次向高层次进行传播;
当传播得出的数据结果与标准参数数据不一致时进行反向传播,其中;反向传播是将误差从高层次向底层次进行传播;
模型图像生成检测模块,用于;
基于图片神经网络训练模块中获取的训练完成图像,将图像生成检测图像,并获取检测图像对应像素位置的像素值;
确定洗车机内的车辆对应像素位置的像素值,其中,洗车机内车辆位置通过洗车机内安装的红外传感器进行获取;
将检测图像的像素值与车辆的像素值进行峰值信噪比计算;
根据检测图像的像素值与车辆的像素值的计算结果与标准像素值结果进行数据对比;
根据数据对比的阈值判定检测图像的像素值与车辆的像素值的合格范围,并将合格范围内的数据标注为目标模型数据;
所述模型数据评估单元,还用于:
目标模型数据的属性包括车辆检测、车辆定位和车辆分类;
其中,车辆检测用于判断目标模型数据中是否有车辆在洗车机内的检测,车辆定位用于判断目标模型数据中的车辆是否在标准的洗车区域内的检测,车辆分类用于检测车辆类型的检测。
2.根据权利要求1所述的基于车辆情景AI智能识别的洗车机安全监控系统,其特征在于:所述采集数据处理单元,还包括:
图像获取模块,用于:
基于图片分析模块中获取的检测图像,将检测完成的图像进行确认,图像确认后将检测合格的图像和检测异常的图像分别进行获取,并将检测异常的图像单独进行存储,将检测合格的图像标注为目标图片数据。
3.根据权利要求1所述的基于车辆情景AI智能识别的洗车机安全监控系统,其特征在于:所述异常数据管理单元,用于:
当异常对比结果阈值超出标准阈值时,将此对比数据标注为一级警报数据;
当异常对比结果阈值低于标准阈值时,将此对比数据标注为二级警报数据;
当异常对比数据阈值在标准阈值范围内时,将此对比数据标注为三级警报数据;
其中,一级警报数据的警报强度最强,三级警报数据的警报强弱,根据警报强度判定异常数据的异常程度。
4.一种如权利要求1-3任一项所述的基于车辆情景AI智能识别的洗车机安全监控系统的监控方法,其特征在于,包括以下步骤:
第一步:先通过监控数据采集单元将洗车机内的画面图像进行采集,并且洗车机内的监控设备设置有多个,分别对洗车机内的不同角度进行画面采集;
第二步:通过采集数据处理单元将洗车机内采集的图像进行初步的图像处理,将图像的清晰度、失真度和偏斜度进行进一步的分析,并将清晰度、失真度和偏斜度的检测将检测有异常的图像进行单独存储;
第三步:通过处理数据模型构建训练单元将检测没有异常的图像数据进行模型训练,模型训练完成后数据进行峰值信噪比计算;
第四步:通过模型数据评估单元将计算完成的数据进行评估判断,判断完成后通过异常数据管理单元将判断有异常的数据生成警报数据。
CN202310839685.8A 2023-07-10 2023-07-10 基于车辆情景ai智能识别的洗车机安全监控系统及方法 Active CN116935308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310839685.8A CN116935308B (zh) 2023-07-10 2023-07-10 基于车辆情景ai智能识别的洗车机安全监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310839685.8A CN116935308B (zh) 2023-07-10 2023-07-10 基于车辆情景ai智能识别的洗车机安全监控系统及方法

Publications (2)

Publication Number Publication Date
CN116935308A CN116935308A (zh) 2023-10-24
CN116935308B true CN116935308B (zh) 2024-04-09

Family

ID=88383662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310839685.8A Active CN116935308B (zh) 2023-07-10 2023-07-10 基于车辆情景ai智能识别的洗车机安全监控系统及方法

Country Status (1)

Country Link
CN (1) CN116935308B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110867046A (zh) * 2018-08-27 2020-03-06 西安唐朝机器人科技有限公司 一种基于云计算的智能洗车机视频监控预警系统
WO2021012504A1 (zh) * 2019-07-25 2021-01-28 平安科技(深圳)有限公司 基于智慧交通的道路信息提示方法、装置、服务器及介质
CN112758046A (zh) * 2021-01-27 2021-05-07 的卢技术有限公司 一种基于智能识别的挡风玻璃清晰度控制方法与系统
CN112822458A (zh) * 2021-01-12 2021-05-18 南京易自助网络科技有限公司 洗车过程的视频监控方法及终端
WO2021248833A1 (zh) * 2020-06-12 2021-12-16 浙江驿公里智能科技有限公司 一种利用摄像头主动引导停车的防撞系统及方法
CN114283370A (zh) * 2022-02-18 2022-04-05 城云科技(中国)有限公司 车辆未清洗识别方法、装置及应用
CN115131584A (zh) * 2022-07-04 2022-09-30 安徽屹盛机电科技有限公司 一种用于车辆清洗机器人的视觉识别系统
CN116168490A (zh) * 2023-01-12 2023-05-26 南京易自助网络科技有限公司 基于物联网的自动洗车远程交互系统及其控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110867046A (zh) * 2018-08-27 2020-03-06 西安唐朝机器人科技有限公司 一种基于云计算的智能洗车机视频监控预警系统
WO2021012504A1 (zh) * 2019-07-25 2021-01-28 平安科技(深圳)有限公司 基于智慧交通的道路信息提示方法、装置、服务器及介质
WO2021248833A1 (zh) * 2020-06-12 2021-12-16 浙江驿公里智能科技有限公司 一种利用摄像头主动引导停车的防撞系统及方法
CN112822458A (zh) * 2021-01-12 2021-05-18 南京易自助网络科技有限公司 洗车过程的视频监控方法及终端
CN115002416A (zh) * 2021-01-12 2022-09-02 南京易自助网络科技有限公司 洗车过程的车辆移动检测方法及终端
CN112758046A (zh) * 2021-01-27 2021-05-07 的卢技术有限公司 一种基于智能识别的挡风玻璃清晰度控制方法与系统
CN114283370A (zh) * 2022-02-18 2022-04-05 城云科技(中国)有限公司 车辆未清洗识别方法、装置及应用
CN115131584A (zh) * 2022-07-04 2022-09-30 安徽屹盛机电科技有限公司 一种用于车辆清洗机器人的视觉识别系统
CN116168490A (zh) * 2023-01-12 2023-05-26 南京易自助网络科技有限公司 基于物联网的自动洗车远程交互系统及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的自动洗车机控制系统研究;黄富元;硕士电子期刊(第12期);全文 *

Also Published As

Publication number Publication date
CN116935308A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN106127779B (zh) 基于视觉识别的缺陷检测方法及系统
JP3733094B2 (ja) 良否判定装置、良否判定プログラムおよび良否判定方法
US20180253836A1 (en) Method for automated detection of defects in cast wheel products
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN113344475B (zh) 基于序列模态分解的变压器套管缺陷识别方法及系统
CN111381579A (zh) 一种云台故障检测方法、装置、计算机设备及存储介质
CN110689524B (zh) 一种无参考在线图像清晰度评价方法与系统
CN116758491B (zh) 应用于3d打印的打印监控图像分析方法及系统
US11315229B2 (en) Method for training defect detector
CN115277464A (zh) 基于多维时间序列分析的云网络变更流量异常检测方法
CN111612773B (zh) 一种红外热像仪及实时自动盲元检测处理方法
CN104766100B (zh) 基于机器学习的红外小目标图像背景预测方法与装置
CN116935308B (zh) 基于车辆情景ai智能识别的洗车机安全监控系统及方法
CN112668754A (zh) 一种基于多源特征信息融合的电力设备缺陷诊断方法
CN117406027A (zh) 一种配电网故障测距方法及其系统
CN112347818B (zh) 一种视频目标检测模型的困难样本图像筛选方法及装置
CN111860097A (zh) 一种基于模糊理论的异常行为检测方法
CN116030013A (zh) 多目标多类别破损缺陷检测方法、系统及计算机存储介质
CN113705672B (zh) 图像目标检测的阈值选取方法、系统、装置及存储介质
CN107194923B (zh) 一种用于接触网电力设备缺陷巡检的紫外图像诊断方法
Liu et al. Quality assessment for inspection images of power lines based on spatial and sharpness evaluation
CN115272284A (zh) 基于图像质量评估的输电线路缺陷识别方法
CN113919396A (zh) 一种基于半监督学习的振动信号和图像特征机床刀具磨损状态监测方法
CN112801110A (zh) 轨道列车线阵相机图像畸变校正的目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant