CN111401314A - 着装信息检测方法、装置、设备及存储介质 - Google Patents
着装信息检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111401314A CN111401314A CN202010280768.4A CN202010280768A CN111401314A CN 111401314 A CN111401314 A CN 111401314A CN 202010280768 A CN202010280768 A CN 202010280768A CN 111401314 A CN111401314 A CN 111401314A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- target person
- image information
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及预测模型领域,公开了一种着装信息检测方法、装置、设备及存储介质,用于采用目标检测算法yolov3模型对物流人员进行着装检测,提高着装信息的识别效率。着装信息检测方法包括:当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息;对目标人员的着装图像信息进行图像预处理,得到已处理图像信息;通过训练好的模型对已处理图像信息进行检测,得到检测结果;当检测结果不为目标值时,确定目标人员已穿着工作服,工作服包含工服标志;当检测结果不为目标值时,确定目标人员未穿着工作服,生成告警信息,并向目标终端推送告警信息,以使得目标终端向目标人员提醒告警信息。
Description
技术领域
本发明涉及预测模型领域,尤其涉及一种着装信息检测方法、装置、设备及存储介质。
背景技术
在物流行业,物流人员在工作期间穿着工作服,不仅可以体现物流人员的精神风貌,更能体现企业的文化内涵,统一着装不仅能体现企业的开拓精神,还能给企业带来更多的广告宣传效益和经济价值。
但在日常情况下,物流人员穿着工作服的意识较为淡薄,而在现有技术中,一般采用模板匹配算法或者原型匹配算法对着装信息进行检测识别,从已有的图像检测结果中,可以发现现有的图像检测算法对工作服中的工服标志检测准确率较低,同时在物流人员的着装信息检测领域,采用现有的图像检测算法存在识别效率较低的问题。
发明内容
本发明的主要目的在于解决采用现有的图像检测算法识别物流人员的着装信息,存在识别效率较低以及识别准确率较低的技术问题。
本发明第一方面提供了一种着装信息检测方法,包括:当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息;对所述目标人员的着装图像信息进行图像预处理,得到已处理图像信息;通过训练好的模型对所述已处理图像信息进行检测,得到检测结果;当所述检测结果不为目标值时,确定所述目标人员已穿着工作服,所述工作服包含工服标志;当所述检测结果为目标值时,确定所述目标人员未穿着工作服,生成告警信息,并向目标终端推送所述告警信息,以使得所述目标终端向所述目标人员提醒所述告警信息。
可选的,在本发明第一方面的第一种实现方式中,所述当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息,包括:当目标人员进入预置监控区域时,从预置监控视频中获取包含目标人员的视频流;对所述包含目标人员的视频流进行图像截取,得到目标人员的着装图像信息。
可选的,在本发明第一方面的第二种实现方式中,所述对所述目标人员的着装图像信息进行图像预处理,得到已处理图像信息,包括:按照预设尺寸对所述目标人员的着装图像信息进行尺寸校正,得到已校正的图像信息;对所述已校正的图像信息依次调整对比度、亮度、色调和饱和度,得到已处理图像信息。
可选的,在本发明第一方面的第三种实现方式中,所述通过训练好的模型对所述已处理图像信息进行检测,得到检测结果,包括:通过训练好的模型中的预设特征提取网络对所述已处理图像信息提取特征,得到特征图像信息;对所述特征图像信息进行检测识别,得到检测结果。
可选的,在本发明第一方面的第四种实现方式中,所述对所述特征图像信息进行检测识别,得到检测结果,包括:将所述特征图像信息划分成多个单元格,并对每个单元格划分多个边界框,每个边界框包括4个坐标值和1个置信度;对每个边界框中的4个坐标值进行归一化处理,并计算每个边界框中的置信度分数;对所述置信度分数小于预设置信度阈值的边界框进行删除,得到已过滤的边界框;采用非极大值抑制算法从所述已过滤的边界框中筛选置信度分数最大的边界框,得到检测结果。
可选的,在本发明第一方面的第五种实现方式中,所述在所述当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息之前,所述着装信息检测方法还包括:获取初始样本数据集,并对所述初始样本数据集中的每个图像依次进行图像裁剪、尺度转换、亮度调整和噪声处理,得到已处理样本数据集;对所述已处理样本数据集中的每个图像进行图像标注,得到目标样本数据集,所述目标样本数据集中的每个图像用于使用可扩展标记语言标注文件表示所述工服标志和标志位置信息;采用所述目标样本数据集对预置目标检测算法模型进行训练,得到所述训练好的模型。
可选的,在本发明第一方面的第六种实现方式中,所述采用所述目标样本数据集对预置目标检测算法模型进行训练,得到所述训练好的模型,包括:将所述目标样本数据集划分为训练数据集和测试数据集;采用所述训练数据集训练预置目标检测算法模型,得到已训练的模型;采用所述测试数据集测试所述已训练的模型,得到测试结果,并基于所述测试结果对所述已训练的模型进行优化处理,得到所述训练好的模型。
本发明第二方面提供了一种着装信息检测装置,包括:提取模块,当目标人员进入预置监控区域时,用于从预置监控视频中提取目标人员的着装图像信息;预处理模块,用于对所述目标人员的着装图像信息进行图像预处理,得到已处理图像信息;检测模块,用于通过训练好的模型对所述已处理图像信息进行检测,得到检测结果;确定模块,当所述检测结果不为目标值时,用于确定所述目标人员已穿着工作服,所述工作服包含工服标志;告警模块,当所述检测结果为目标值时,用于确定所述目标人员未穿着工作服,生成告警信息,并向目标终端推送所述告警信息,以使得所述目标终端向所述目标人员提醒所述告警信息。
可选的,在本发明第二方面的第一种实现方式中,所述提取模块具体用于:当目标人员进入预置监控区域时,从预置监控视频中获取包含目标人员的视频流;对所述包含目标人员的视频流进行图像截取,得到目标人员的着装图像信息。
可选的,在本发明第二方面的第二种实现方式中,所述预处理模块具体用于:按照预设尺寸对所述目标人员的着装图像信息进行尺寸校正,得到已校正的图像信息;对所述已校正的图像信息依次调整对比度、亮度、色调和饱和度,得到已处理图像信息。
可选的,在本发明第二方面的第三种实现方式中,所述检测模块还包括:提取单元,用于通过训练好的模型中的预设特征提取网络对所述已处理图像信息提取特征,得到特征图像信息;识别单元,用于对所述特征图像信息进行检测识别,得到检测结果。
可选的,在本发明第二方面的第四种实现方式中,所述识别单元具体用于:将所述特征图像信息划分成多个单元格,并对每个单元格划分多个边界框,每个边界框包括4个坐标值和1个置信度;对每个边界框中的4个坐标值进行归一化处理,并计算每个边界框中的置信度分数;对所述置信度分数小于预设置信度阈值的边界框进行删除,得到已过滤的边界框;采用非极大值抑制算法从所述已过滤的边界框中筛选置信度分数最大的边界框,得到检测结果。
可选的,在本发明第二方面的第五种实现方式中,所述着装信息检测装置还包括:获取模块,用于获取初始样本数据集,并对所述初始样本数据集中的每个图像依次进行图像裁剪、尺度转换、亮度调整和噪声处理,得到已处理样本数据集;标注模块,用于对所述已处理样本数据集中的每个图像进行图像标注,得到目标样本数据集,所述目标样本数据集中的每个图像用于使用可扩展标记语言标注文件表示所述工服标志和标志位置信息;训练模块,用于采用所述目标样本数据集对预置目标检测算法模型进行训练,得到所述训练好的模型。
可选的,在本发明第二方面的第六种实现方式中,所述训练模块具体用于:将所述目标样本数据集划分为训练数据集和测试数据集;采用所述训练数据集训练预置目标检测算法模型,得到已训练的模型;采用所述测试数据集测试所述已训练的模型,得到测试结果,并基于所述测试结果对所述已训练的模型进行优化处理,得到所述训练好的模型。
本发明第三方面提供了一种着装信息检测设备,包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述指令,以使得所述着装信息检测设备执行上述的着装信息检测方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的着装信息检测方法。
本发明提供的技术方案中,当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息;对所述目标人员的着装图像信息进行图像预处理,得到已处理图像信息;通过训练好的模型对所述已处理图像信息进行检测,得到检测结果;当所述检测结果不为目标值时,确定所述目标人员已穿着工作服,所述工作服包含工服标志;当所述检测结果为目标值时,确定所述目标人员未穿着工作服,生成告警信息,并向目标终端推送所述告警信息,以使得所述目标终端向所述目标人员提醒所述告警信息。本发明实施例中,通过在预置监测区域采集物流人员的着装图片信息,并采用目标检测算法yolov3模型对物流人员的着装图片信息进行智能检测,得到检测结果,提高着装信息的识别效率和识别准确率;同时根据检测结果确定物流人员是否穿着工作服,并采用告警信息提醒物流人员更换工作服,提高物流人员穿工作服的意识。
附图说明
图1为本发明实施例中着装信息检测方法的一个实施例示意图;
图2为本发明实施例中着装信息检测方法的另一个实施例示意图;
图3为本发明实施例中着装信息检测装置的一个实施例示意图;
图4为本发明实施例中着装信息检测装置的另一个实施例示意图;
图5为本发明实施例中着装信息检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种着装信息检测方法、装置、设备及存储介质,通过在预置监测区域采集物流人员的着装图片信息,并采用目标检测算法yolov3模型对物流人员的着装图片信息进行智能检测,得到检测结果,提高着装信息的识别效率和识别准确率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中着装信息检测方法的一个实施例包括:
101、当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息。
其中,目标人员包括快递派送人员和物流管理人员,预置监控区域包括物流企业的仓库以及配送站点,预置监控视频用于实时监控目标人员在正常工作期间的行为。具体的,当目标人员进入预置监控区域时,服务器按照预设间隔时长和预置视频路径对预置监控视频进行视频截图,得到目标人员的着装图像信息。其中,预设间隔时长可以为10分钟,也可以为30秒,具体此处不做限定,预置视频路径用于指示连接到预置监控视频的地址。进一步地,在预置时长范围内,服务器采用多媒体视频处理工具ffmpeg对预置监控视频进行视频截图,得到目标人员的着装图像信息。例如,预置时长范围为上午8:00到下午18:00。
需要说明的是,多媒体视频处理工具ffmpeg是一套可以用来记录和转换数字音频以及视频流,并能将其转化为流的开源计算机程序。
可以理解的是,本发明的执行主体可以为着装信息检测装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、对目标人员的着装图像信息进行图像预处理,得到已处理图像信息。
具体的,服务器对目标人员的着装图像信息转换图像高度和图像宽度,得到初始调整图像信息,例如,初始调整图像信息对应的尺寸为1024×512;进一步地,服务器对初始调整图像信息调整亮度、对比度和饱和度,得到已处理图像信息。其中,亮度是指图像信息中画面的明亮程度,对比度指的是图像信息中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,饱和度是指图像信息中色调的鲜艳程度。
需要说明的是,图像预处理还可以对目标人员的着装图像信息进行图像校正以及去噪处理,具体此处不做限定。
103、通过训练好的模型对已处理图像信息进行检测,得到检测结果。
其中,训练好的模型可以为已训练好的目标检测算法yolov3模型,具体的,服务器将已处理图像信息输入到训练好的模型中,服务器通过训练好的模型对已处理图像信息进行检测,得到工服标志和标志位置信息,其中,工服标志包括工作服的前胸部标志logo、工作服的后背部logo和工作服的拉链logo,进一步地,服务器根据工服标志和标志位置信息确定检测结果,服务器执行步骤104。同时,当服务器未检测到工服标志时,服务器获取训练好的模型的输出值为0,也就是服务器获取检测结果为0,进一步地,服务器执行步骤105。
104、当检测结果不为目标值时,确定目标人员已穿着工作服,工作服包含工服标志。
其中,目标值为0,0用于指示未检测到目标人员着装信息,服务器确定检测结果不等于0时,也就是,检测结果可以为1,也可以为0.8,服务器识别到工作服的工服标志,并确定目标人员已穿着工作服,其中,工服标志包括工作服的前胸部标志logo、工作服的后背部logo和工作服的拉链logo。
105、当检测结果为目标值时,确定目标人员未穿着工作服,生成告警信息,并向目标终端推送告警信息,以使得目标终端向目标人员提醒告警信息。
当检测结果为0时,服务器确定未识别到工作服的工服标志,服务器确定目标人员未穿着工作服。进一步地,服务器按照预置人脸识别算法获取目标人员的员工信息,其中,目标人员的员工信息包括员工姓名、手机号码以及员工标识;服务器基于预设告警模板和目标人员的员工信息生成告警信息;服务器按照预设推送方式将告警信息推送到目标终端,以使得目标终端提醒目标人员更换工作服。
可选的,服务器还可以将目标人员的着装图像信息保存到预置目录中,得到已存储文件路径,例如,预置目录为/var/www/html/file/,着装图像信息的名称可以采用员工标识和时间戳进行设置,例如,sz2048_1585642984.png,那么已存储文件路径为/var/www/html/file/sz2048_1585642984.png;服务器将员工标识和已存储文件路径写入到预置数据表中,建立关联映射关系。进一步地,服务器还可以采用对预置数据表中的数据进行分析,得到每个员工每个月份未按照规定穿着工服的次数。
本发明实施例中,通过在预置监测区域采集物流人员的着装图片信息,并采用目标检测算法yolov3模型对物流人员的着装图片信息进行智能检测,得到检测结果,提高着装信息的识别效率和识别准确率;同时根据检测结果确定物流人员是否穿着工作服,并采用告警信息提醒物流人员更换工作服,提高物流人员穿工作服的意识。
请参阅图2,本发明实施例中着装信息检测方法的另一个实施例包括:
201、当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息。
具体的,服务器按照预置视频地址连接预置监控视频;服务器从预置监控视频中获取包含目标人员的视频流;服务器对包含目标人员的视频流进行图像截取,得到目标人员的着装图像信息。可以理解的是,在正常工作期间,目标人员应该穿戴工作服,因此,服务器采集目标人员的着装图像信息,用于检测目标人员是否规范。例如,服务器从预置监控视频中获取快递人员A的着装图像信息。
202、对目标人员的着装图像信息进行图像预处理,得到已处理图像信息。
具体的,服务器按照预设尺寸对目标人员的着装图像信息进行尺寸校正,得到已校正的图像信息,其中,预设尺寸包括预设高度和预设宽度,例如,预设高度为1024,预设宽度为512;服务器对已校正的图像信息依次调整对比度、亮度、色调和饱和度,得到已处理图像信息。例如,服务器对已校正的图像信息提升对比度、亮度、色调和饱和度,得到已处理图像信息为32位的图像。可选的,服务器采用跨平台计算机视觉库opencv对目标人员的着装图像信息进行图像预处理,得到已处理图像信息。
203、通过训练好的模型中的预设特征提取网络对已处理图像信息提取特征,得到特征图像信息。
具体的,服务器将已处理图像信息设置输入图像信息,并将输入图像信息输入到训练好的模型中;服务器通过训练好的模型中的预设特征提取网络对输入图像提取特征,得到特征图像信息,特征图像信息的尺寸大小可以为13×13、26×26或者52×52,对应的,服务器也需要采用13×13、26×26或者52×52的三个尺度特征进行对象检测,具体尺寸大小由训练好的模型进行确定。
可选的,服务器获取初始样本数据集,其中,初始样本数据集包括采集的图像数据集,以及历史图像数据集,例如,采集的图像数据集有2323张,历史图像数据集有13085张,并对初始样本数据集中的每个图像依次进行图像裁剪、尺度转换、亮度调整和噪声处理,得到已处理样本数据集;服务器对已处理样本数据集中的每个图像进行图像标注,得到目标样本数据集,目标样本数据集中的每个图像用于使用可扩展标记语言标注文件表示工服标志和标志位置信息;服务器采用目标样本数据集对预置目标检测算法模型进行训练,得到训练好的模型,具体的,服务器将目标样本数据集划分为训练数据集和测试数据集,进一步地,服务器采用预设比例对目标样本数据集进行划分,得到训练数据集和测试数据集,其中,测试数据集是待检测的多张长宽均高于5000像素的图像;服务器采用训练数据集训练预置目标检测算法模型,得到已训练的模型;服务器采用测试数据集测试已训练的模型,得到测试结果,并基于测试结果对已训练的模型进行优化处理,得到训练好的模型。
进一步地,训练好的模型可以为已训练好的目标检测算法yolov3模型,而服务器对yolov3模型训练的过程中,从可扩展标记语言标注文件中读取各标签与工服标志的边界框坐标信息。其中,可扩展标记语言标注文件的报头说明了可扩展标记语言的版本与编码格式,例如,编码格式为utf-8,尺寸size标签下的元素表示图像的分辨率与三原色RGB通道,对象object标签下的元素表示该图像含有一个工服标志,类别为1表示标志类别为靠右侧logo,标签difficult=0表示工服标志信息易于读取;盒子bndbox标签下的元素表示工服标志的边界框坐标信息,边界框坐标信息包括边界框的左上角的坐标值与边界框的右下角的坐标值,例如,(400,271)和(830和700)。
需要说明的是,服务器采用预置图像标注工具labelimg对已处理样本数据集中的每个图像进行图像标注,得到可扩展标记语言标注文件。已处理样本数据集中的每个图像中共有3种类型工服标志,可扩展标记语言标注文件包含3种类型工服标志的坐标位置信息。
204、对特征图像信息进行检测识别,得到检测结果。
进一步地,服务器将所述特征图像信息划分成多个单元格,例如,将特征图像信息划分成13×13个单元格,并对每个单元格划分多个边界框,每个边界框包括4个坐标值和1个置信度;服务器对每个边界框中的4个坐标值进行归一化处理,并计算每个边界框中的置信度分数;服务器对所述置信度分数小于预设置信度阈值的边界框进行删除,得到已过滤的边界框,其中,预设置信度阈值为预先对模型训练过程中确定的参数值;服务器采用非极大值抑制算法从所述已过滤的边界框中筛选置信度分数最大的边界框,得到检测结果。例如,已过滤的边界框包括边界框A、B和C,边界框A的置信度分数为0.93,边界框B的置信度分数为0.66,边界框C的置信度分数为1,则服务器采用非极大值抑制算法对边界框A、B和C进行筛选,得到置信度分数最大的边界框C,进一步地,服务器获取边界框C的置信度分数1和边界框C的坐标信息,服务器将边界框C的置信度分数1和边界框C的坐标信息设置为检测结果,服务器执行步骤205。同时,当服务器未检测到特征图像信息中包括工服标志时,服务器获取训练好的模型的输出值,并将训练好的模型的输出值设置为检测结果,检测结果为0,服务器执行步骤206。
205、当检测结果不为目标值时,确定目标人员已穿着工作服,工作服包含工服标志。
其中,目标值为0,0用于指示未检测到目标人员着装信息,服务器确定检测结果不等于0时,也就是,检测结果为1时,服务器确定识别到目标人员穿着工作服中的工服标志,其中,服务器采用1表示工作服的前胸部标志logo,服务器采用2表示工作服的后背部logo,服务器采用3表示工作服的拉链logo。
206、当检测结果为目标值时,确定目标人员未穿着工作服,生成告警信息,并向目标终端推送告警信息,以使得目标终端向目标人员提醒告警信息。
当检测结果为0时,服务器确定未识别到工作服的工服标志,服务器确定目标人员未穿着工作服。进一步地,服务器按照人脸识别算法获取目标人员的员工信息,其中,目标人员的员工信息包括员工姓名、手机号码以及员工标识;服务器基于预设告警模板和目标人员的员工信息生成告警信息;服务器按照预设推送方式将告警信息推送到目标终端,以使得目标终端提醒目标人员更换工作服,进一步地,目标终端可以采用语音播报或者文字信息方式对目标人员提示告警信息。同时,服务器还可以统计目标人员着装不规范的次数,生成告警统计报表,以用于进行绩效考核。
需要说明的是,当服务器确定目标人员未穿着工作服时,服务器通过预置人脸识别算法未识别到目标人员的信息时,服务器还可以向相关人员发送通知,以使得相关人员对目标人员进行身份信息核查。
本发明实施例中,通过在预置监测区域采集物流人员的着装图片信息,并采用目标检测算法yolov3模型对物流人员的着装图片信息进行智能检测,得到检测结果,提高着装信息的识别效率和识别准确率;同时根据检测结果确定物流人员是否穿着工作服,并采用告警信息提醒物流人员更换工作服,提高物流人员穿工作服的意识。
上面对本发明实施例中着装信息检测方法进行了描述,下面对本发明实施例中着装信息检测装置进行描述,请参阅图3,本发明实施例中着装信息检测装置一个实施例包括:
提取模块301,当目标人员进入预置监控区域时,用于从预置监控视频中提取目标人员的着装图像信息;
预处理模块302,用于对目标人员的着装图像信息进行图像预处理,得到已处理图像信息;
检测模块303,用于通过训练好的模型对已处理图像信息进行检测,得到检测结果;
确定模块304,当检测结果不为目标值时,用于确定目标人员已穿着工作服,工作服包含工服标志;
告警模块305,当检测结果为目标值时,用于确定目标人员未穿着工作服,生成告警信息,并向目标终端推送告警信息,以使得目标终端向目标人员提醒告警信息。
本发明实施例中,通过在预置监测区域采集物流人员的着装图片信息,并采用目标检测算法yolov3模型对物流人员的着装图片信息进行智能检测,得到检测结果,提高着装信息的识别效率和识别准确率;同时根据检测结果确定物流人员是否穿着工作服,并采用告警信息提醒物流人员更换工作服,提高物流人员穿工作服的意识。
请参阅图4,本发明实施例中着装信息检测装置的另一个实施例包括:
提取模块301,当目标人员进入预置监控区域时,用于从预置监控视频中提取目标人员的着装图像信息;
预处理模块302,用于对目标人员的着装图像信息进行图像预处理,得到已处理图像信息;
检测模块303,用于通过训练好的模型对已处理图像信息进行检测,得到检测结果;
确定模块304,当检测结果不为目标值时,用于确定目标人员已穿着工作服,工作服包含工服标志;
告警模块305,当检测结果为目标值时,用于确定目标人员未穿着工作服,生成告警信息,并向目标终端推送告警信息,以使得目标终端向目标人员提醒告警信息。
可选的,提取模块301还可以具体用于:
当目标人员进入预置监控区域时,从预置监控视频中获取包含目标人员的视频流;
对包含目标人员的视频流进行图像截取,得到目标人员的着装图像信息。
可选的,预处理模块302还可以具体用于:
按照预设尺寸对目标人员的着装图像信息进行尺寸校正,得到已校正的图像信息;
对已校正的图像信息依次调整对比度、亮度、色调和饱和度,得到已处理图像信息。
可选的,检测模块303还包括:
提取单元3031,通过训练好的模型中的预设特征提取网络对已处理图像信息提取特征,得到特征图像信息;
识别单元3032,对特征图像信息进行检测识别,得到检测结果。
可选的,识别单元3032还可以具体用于:
将特征图像信息划分成多个单元格,并对每个单元格划分多个边界框,每个边界框包括4个坐标值和1个置信度;
对每个边界框中的4个坐标值进行归一化处理,并计算每个边界框中的置信度分数;
对置信度分数小于预设置信度阈值的边界框进行删除,得到已过滤的边界框;
采用非极大值抑制算法从已过滤的边界框中筛选置信度分数最大的边界框,得到检测结果。
可选的,着装信息检测装置还包括:
获取模块306,用于获取初始样本数据集,并对初始样本数据集中的每个图像依次进行图像裁剪、尺度转换、亮度调整和噪声处理,得到已处理样本数据集;
标注模块307,用于对已处理样本数据集中的每个图像进行图像标注,得到目标样本数据集,目标样本数据集中的每个图像用于使用可扩展标记语言标注文件表示工服标志和标志位置信息;
训练模块308,用于采用目标样本数据集对预置目标检测算法模型进行训练,得到训练好的模型。
可选的,训练模块308还可以具体用于:
将目标样本数据集划分为训练数据集和测试数据集;
采用训练数据集训练预置目标检测算法模型,得到已训练的模型;
采用测试数据集测试已训练的模型,得到测试结果,并基于测试结果对已训练的模型进行优化处理,得到训练好的模型。
本发明实施例中,通过在预置监测区域采集物流人员的着装图片信息,并采用目标检测算法yolov3模型对物流人员的着装图片信息进行智能检测,得到检测结果,提高着装信息的识别效率和识别准确率;同时根据检测结果确定物流人员是否穿着工作服,并采用告警信息提醒物流人员更换工作服,提高物流人员穿工作服的意识。
上面图3和图4从模块化功能实体的角度对本发明实施例中的着装信息检测装置进行详细描述,下面从硬件处理的角度对本发明实施例中着装信息检测设备进行详细描述。
图5是本发明实施例提供的一种着装信息检测设备的结构示意图,该着装信息检测设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对着装信息检测设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在着装信息检测设备500上执行存储介质530中的一系列指令操作。
着装信息检测设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5示出的着装信息检测设备结构并不构成对着装信息检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述着装信息检测方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种着装信息检测方法,其特征在于,所述着装信息检测方法包括:
当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息;
对所述目标人员的着装图像信息进行图像预处理,得到已处理图像信息;
通过训练好的模型对所述已处理图像信息进行检测,得到检测结果;
当所述检测结果不为目标值时,确定所述目标人员已穿着工作服,所述工作服包含工服标志;
当所述检测结果为目标值时,确定所述目标人员未穿着工作服,生成告警信息,并向目标终端推送所述告警信息,以使得所述目标终端向所述目标人员提醒所述告警信息。
2.根据权利要求1所述的着装信息检测方法,其特征在于,所述当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息,包括:
当目标人员进入预置监控区域时,从预置监控视频中获取包含目标人员的视频流;
对所述包含目标人员的视频流进行图像截取,得到目标人员的着装图像信息。
3.根据权利要求1所述的着装信息检测方法,其特征在于,所述对所述目标人员的着装图像信息进行图像预处理,得到已处理图像信息,包括:
按照预设尺寸对所述目标人员的着装图像信息进行尺寸校正,得到已校正的图像信息;
对所述已校正的图像信息依次调整对比度、亮度、色调和饱和度,得到已处理图像信息。
4.根据权利要求1所述的着装信息检测方法,其特征在于,所述通过训练好的模型对所述已处理图像信息进行检测,得到检测结果,包括:
通过训练好的模型中的预设特征提取网络对所述已处理图像信息提取特征,得到特征图像信息;
对所述特征图像信息进行检测识别,得到检测结果。
5.根据权利要求4所述的着装信息检测方法,其特征在于,所述对所述特征图像信息进行检测识别,得到检测结果,包括:
将所述特征图像信息划分成多个单元格,并对每个单元格划分多个边界框,每个边界框包括4个坐标值和1个置信度;
对每个边界框中的4个坐标值进行归一化处理,并计算每个边界框中的置信度分数;
对所述置信度分数小于预设置信度阈值的边界框进行删除,得到已过滤的边界框;
采用非极大值抑制算法从所述已过滤的边界框中筛选置信度分数最大的边界框,得到检测结果。
6.根据权利要求1-5中任一项所述的着装信息检测方法,其特征在于,在所述当目标人员进入预置监控区域时,从预置监控视频中提取目标人员的着装图像信息之前,所述着装信息检测方法还包括:
获取初始样本数据集,并对所述初始样本数据集中的每个图像依次进行图像裁剪、尺度转换、亮度调整和噪声处理,得到已处理样本数据集;
对所述已处理样本数据集中的每个图像进行图像标注,得到目标样本数据集,所述目标样本数据集中的每个图像用于使用可扩展标记语言标注文件表示所述工服标志和标志位置信息;
采用所述目标样本数据集对预置目标检测算法模型进行训练,得到所述训练好的模型。
7.根据权利要求6中任一项所述的着装信息检测方法,其特征在于,所述采用所述目标样本数据集对预置目标检测算法模型进行训练,得到所述训练好的模型,包括:
将所述目标样本数据集划分为训练数据集和测试数据集;
采用所述训练数据集训练预置目标检测算法模型,得到已训练的模型;
采用所述测试数据集测试所述已训练的模型,得到测试结果,并基于所述测试结果对所述已训练的模型进行优化处理,得到所述训练好的模型。
8.一种着装信息检测装置,其特征在于,所述着装信息检测装置包括:
提取模块,当目标人员进入预置监控区域时,用于从预置监控视频中提取目标人员的着装图像信息;
预处理模块,用于对所述目标人员的着装图像信息进行图像预处理,得到已处理图像信息;
检测模块,用于通过训练好的模型对所述已处理图像信息进行检测,得到检测结果;
确定模块,当所述检测结果不为目标值时,用于确定所述目标人员已穿着工作服,所述工作服包含工服标志;
告警模块,当所述检测结果为目标值时,用于确定所述目标人员未穿着工作服,生成告警信息,并向目标终端推送所述告警信息,以使得所述目标终端向所述目标人员提醒所述告警信息。
9.一种着装信息检测设备,其特征在于,所述着装信息检测设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述着装信息检测设备执行如权利要求1-7中任意一项所述的着装信息检测方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述着装信息检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010280768.4A CN111401314B (zh) | 2020-04-10 | 2020-04-10 | 着装信息检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010280768.4A CN111401314B (zh) | 2020-04-10 | 2020-04-10 | 着装信息检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111401314A true CN111401314A (zh) | 2020-07-10 |
CN111401314B CN111401314B (zh) | 2023-06-13 |
Family
ID=71433241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010280768.4A Active CN111401314B (zh) | 2020-04-10 | 2020-04-10 | 着装信息检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111401314B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931652A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 着装检测方法、装置和监测终端 |
CN112528855A (zh) * | 2020-12-11 | 2021-03-19 | 南方电网电力科技股份有限公司 | 一种电力作业着装规范识别方法和装置 |
CN112738705A (zh) * | 2021-01-05 | 2021-04-30 | 北京小米移动软件有限公司 | 一种音效调节方法、装置、电子设备及存储介质 |
CN112861826A (zh) * | 2021-04-08 | 2021-05-28 | 重庆工程职业技术学院 | 基于视频图像的煤矿监管方法、系统、设备及存储介质 |
CN112966618A (zh) * | 2021-03-11 | 2021-06-15 | 京东数科海益信息科技有限公司 | 着装识别方法、装置、设备及计算机可读介质 |
CN113055743A (zh) * | 2021-03-10 | 2021-06-29 | 珠海安士佳电子有限公司 | 一种智能推送视频的方法及系统 |
CN113159984A (zh) * | 2021-03-19 | 2021-07-23 | 云南电网有限责任公司西双版纳供电局 | 一种变电站工作人员工作路径追踪方法 |
CN113762171A (zh) * | 2021-09-09 | 2021-12-07 | 赛思沃德(武汉)科技有限公司 | 铁路施工现场安全监测的方法及装置 |
CN113807240A (zh) * | 2021-09-15 | 2021-12-17 | 国网河北省电力有限公司衡水供电分公司 | 基于非配合式人脸识别的变电站人员着装智能监控方法 |
CN113837138A (zh) * | 2021-09-30 | 2021-12-24 | 重庆紫光华山智安科技有限公司 | 一种着装监控方法、系统、介质及电子终端 |
CN113887310A (zh) * | 2021-09-03 | 2022-01-04 | 珠高电气检测有限公司 | 工人规范着装识别方法、系统及介质 |
CN115082848A (zh) * | 2022-05-18 | 2022-09-20 | 贝壳找房(北京)科技有限公司 | 工地工服穿着管理方法、装置、设备、介质及程序产品 |
CN115457457A (zh) * | 2022-08-23 | 2022-12-09 | 中国航空油料集团有限公司 | 航油油库周界区域安全检测方法、装置及安全运维系统 |
CN116824511A (zh) * | 2023-08-03 | 2023-09-29 | 行为科技(北京)有限公司 | 一种基于深度学习和颜色空间的工装识别方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635697A (zh) * | 2018-12-04 | 2019-04-16 | 国网浙江省电力有限公司电力科学研究院 | 基于YOLOv3目标检测的电力作业人员安全着装检测方法 |
CN110807429A (zh) * | 2019-10-23 | 2020-02-18 | 西安科技大学 | 基于tiny-YOLOv3的施工安全检测方法及系统 |
WO2020037898A1 (zh) * | 2018-08-23 | 2020-02-27 | 平安科技(深圳)有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
-
2020
- 2020-04-10 CN CN202010280768.4A patent/CN111401314B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020037898A1 (zh) * | 2018-08-23 | 2020-02-27 | 平安科技(深圳)有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
CN109635697A (zh) * | 2018-12-04 | 2019-04-16 | 国网浙江省电力有限公司电力科学研究院 | 基于YOLOv3目标检测的电力作业人员安全着装检测方法 |
CN110807429A (zh) * | 2019-10-23 | 2020-02-18 | 西安科技大学 | 基于tiny-YOLOv3的施工安全检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
熊昌镇;王聪;: "图切技术和卷积网络的交通标志数据集构建方法" * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931652A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 着装检测方法、装置和监测终端 |
CN112528855A (zh) * | 2020-12-11 | 2021-03-19 | 南方电网电力科技股份有限公司 | 一种电力作业着装规范识别方法和装置 |
CN112528855B (zh) * | 2020-12-11 | 2021-09-03 | 南方电网电力科技股份有限公司 | 一种电力作业着装规范识别方法和装置 |
WO2022121886A1 (zh) * | 2020-12-11 | 2022-06-16 | 南方电网电力科技股份有限公司 | 一种电力作业着装规范识别方法和装置 |
CN112738705A (zh) * | 2021-01-05 | 2021-04-30 | 北京小米移动软件有限公司 | 一种音效调节方法、装置、电子设备及存储介质 |
CN113055743B (zh) * | 2021-03-10 | 2023-06-30 | 珠海安士佳电子有限公司 | 一种智能推送视频的方法及系统 |
CN113055743A (zh) * | 2021-03-10 | 2021-06-29 | 珠海安士佳电子有限公司 | 一种智能推送视频的方法及系统 |
CN112966618A (zh) * | 2021-03-11 | 2021-06-15 | 京东数科海益信息科技有限公司 | 着装识别方法、装置、设备及计算机可读介质 |
CN112966618B (zh) * | 2021-03-11 | 2024-02-09 | 京东科技信息技术有限公司 | 着装识别方法、装置、设备及计算机可读介质 |
CN113159984A (zh) * | 2021-03-19 | 2021-07-23 | 云南电网有限责任公司西双版纳供电局 | 一种变电站工作人员工作路径追踪方法 |
CN112861826A (zh) * | 2021-04-08 | 2021-05-28 | 重庆工程职业技术学院 | 基于视频图像的煤矿监管方法、系统、设备及存储介质 |
CN112861826B (zh) * | 2021-04-08 | 2021-12-14 | 重庆工程职业技术学院 | 基于视频图像的煤矿监管方法、系统、设备及存储介质 |
CN113887310A (zh) * | 2021-09-03 | 2022-01-04 | 珠高电气检测有限公司 | 工人规范着装识别方法、系统及介质 |
CN113762171A (zh) * | 2021-09-09 | 2021-12-07 | 赛思沃德(武汉)科技有限公司 | 铁路施工现场安全监测的方法及装置 |
CN113807240A (zh) * | 2021-09-15 | 2021-12-17 | 国网河北省电力有限公司衡水供电分公司 | 基于非配合式人脸识别的变电站人员着装智能监控方法 |
CN113837138B (zh) * | 2021-09-30 | 2023-08-29 | 重庆紫光华山智安科技有限公司 | 一种着装监控方法、系统、介质及电子终端 |
CN113837138A (zh) * | 2021-09-30 | 2021-12-24 | 重庆紫光华山智安科技有限公司 | 一种着装监控方法、系统、介质及电子终端 |
CN115082848A (zh) * | 2022-05-18 | 2022-09-20 | 贝壳找房(北京)科技有限公司 | 工地工服穿着管理方法、装置、设备、介质及程序产品 |
CN115457457A (zh) * | 2022-08-23 | 2022-12-09 | 中国航空油料集团有限公司 | 航油油库周界区域安全检测方法、装置及安全运维系统 |
CN115457457B (zh) * | 2022-08-23 | 2023-09-26 | 中国航空油料集团有限公司 | 航油油库周界区域安全检测方法、装置及安全运维系统 |
CN116824511A (zh) * | 2023-08-03 | 2023-09-29 | 行为科技(北京)有限公司 | 一种基于深度学习和颜色空间的工装识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111401314B (zh) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111401314B (zh) | 着装信息检测方法、装置、设备及存储介质 | |
CN110826538B (zh) | 一种用于电力营业厅的异常离岗识别系统 | |
CN110472524B (zh) | 基于深度学习的发票信息管理方法、系统和可读介质 | |
CN111507283A (zh) | 基于课堂场景的学生行为识别方法及系统 | |
CN111461101B (zh) | 工服标志的识别方法、装置、设备及存储介质 | |
CN105447859A (zh) | 一种田间麦蚜虫计数方法 | |
CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
CN109190657A (zh) | 基于数据切片及图像哈希组合的样本同源分析方法 | |
CN107229560A (zh) | 一种界面显示效果测试方法、图像样张获取方法及装置 | |
CN113888480A (zh) | 一种基于mes的质量追溯方法和系统 | |
CN115439753B (zh) | 一种基于dem的陡峭河岸识别方法及系统 | |
CN106022313A (zh) | 一种能自动适应场景的人脸识别方法 | |
CN105678301B (zh) | 一种自动识别并分割文本图像的方法、系统及装置 | |
CN114049325A (zh) | 轻量化人脸口罩佩戴检测模型的构建方法及应用 | |
US20180165622A1 (en) | Action analysis device, acton analysis method, and analysis program | |
CN112906464A (zh) | 行人检测识别方法、装置、设备及存储介质 | |
CN111950457A (zh) | 油田安全生产图像识别方法及系统 | |
JP2017521011A (ja) | シンボルの光学的検出方法 | |
CN106971150B (zh) | 基于逻辑回归的排队异常检测方法及装置 | |
CN116340928B (zh) | 一种物联网智能设备的数据安全管理方法及系统 | |
CN110782392B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108921185A (zh) | 一种基于图像识别的货架促销信息识别方法、装置和系统 | |
CN111914743A (zh) | 一种变电站员工安全帽检测方法及装置 | |
CN116958085A (zh) | 泄漏检测行为合规审核方法、装置、电子设备及存储介质 | |
CN112613476A (zh) | 一种基于机器视觉自动检测工人不安全行为的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |