CN112613452B - 人员越线识别方法、装置、设备及存储介质 - Google Patents

人员越线识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112613452B
CN112613452B CN202011599030.0A CN202011599030A CN112613452B CN 112613452 B CN112613452 B CN 112613452B CN 202011599030 A CN202011599030 A CN 202011599030A CN 112613452 B CN112613452 B CN 112613452B
Authority
CN
China
Prior art keywords
image
determining
boundary
identified
boundary point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011599030.0A
Other languages
English (en)
Other versions
CN112613452A (zh
Inventor
林孝斌
黎阳羊
胡金磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202011599030.0A priority Critical patent/CN112613452B/zh
Publication of CN112613452A publication Critical patent/CN112613452A/zh
Application granted granted Critical
Publication of CN112613452B publication Critical patent/CN112613452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人员越线识别方法、装置、设备及存储介质。该方法包括：获取待识别图像，并根据待识别图像确定人员位置坐标；将待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；根据边界点集合确定安全区域，并根据人员位置坐标以及安全区域对应的坐标范围确定人员越线状态。本发明实施例的技术方案，解决了现有技术中安全区域位置需要进行手动划分，且在划分后才可对作业人员越线情况进行判断而导致的安全管理效率低下的问题，同时还解决了现有技术中安全区域位置的划分仅考虑RGB颜色空间下的图像，而导致在复杂场景及不同光照下安全区域划分不准确的问题，提升了安全区域划分的准确性和划分效率。

Description

人员越线识别方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像识别技术领域，尤其涉及一种人员越线识别方法、装置、设备及存储介质。
背景技术
在作业施工过程中，大都对施工现场进行围挡以确保安全，且一些工作需要作业人员在规定的安全区域内作业。如果作业人员越过安全区域进行作业，则会威胁到作业人员的人身安全，但部分作业人员由于安全意识薄弱，在作业过程中存在越过安全区域进行作业的现象，存在巨大的人身安全风险问题。
目前在作业监管中，常依靠安全员人为对作业人员进行越线监管，且随着图像识别技术的发展，在部分施工现场可通过对监控画面中的作业安全区域进行人为划定，进而识别作业人员是否越线作业。
然而，依靠安全员进行越线监管的管理效率低下，且由于安全员的注意力难以实时集中，常出现监管不及时的情况，极容易出现人身安全事故；而通过人为在监控区域中划分安全区域，每次作业是均需手动进行安全区域划分，操作复杂繁琐，均严重影响安全区域检测的效率，使得安全管理效率低下，作业人员的人身安全难以得到较好的保护。
发明内容
本发明提供一种人员越线识别方法、装置、设备及存储介质，以对监控图像或视频中的作业安全区域自动识别划分，并根据人员与作业安全区域间的位置关系确定人员是否越线，提升了监管人员的安全管理效率，并对作业人员人身安全提供了保障。
第一方面，本发明实施例提供了一种人员越线识别方法，包括：
获取待识别图像，并根据待识别图像确定人员位置坐标；
将待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；
根据边界点集合确定安全区域，并根据人员位置坐标以及安全区域对应的坐标范围确定人员越线状态。
第二方面，本发明实施例还提供了一种人员越线识别装置，包括：
图像获取模块，用于获取待识别图像，并根据待识别图像确定人员位置坐标；
边界点确定模块，用于将待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；
越线状态确定模块，用于根据边界点集合确定安全区域，并根据人员位置坐标以及安全区域对应的坐标范围确定人员越线状态。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的人员越线识别方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例提供的人员越线识别方法。
本发明实施例通过获取待识别图像，并根据待识别图像确定人员位置坐标；将待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；根据边界点集合确定安全区域，并根据人员位置坐标以及安全区域对应的坐标范围确定人员越线状态。通过采用上述技术方案，对获取的待识别图像进行多颜色空间过滤及梯度过滤，并根据过滤后的待识别图像确定边界点集合，充分考虑不同颜色空间下边界区域所具有的特性，更精确地确定边界区域的位置，并对确定出的边界区域位置进行梯度过滤，滤除其中的噪声信息，进而根据过滤筛选后的待识别图像确定边界点集合，并根据边界点集合明确安全区域位置，使得安全区域位置可由获取到的待识别图像中直接检测确定得到，通过采用多种过滤方法，保证了在复杂场景和不同光照条件下对安全区域位置检测识别的准确性，进而使得确定出的人员越线状态更加准确。解决了现有技术中安全区域位置需要进行手动划分，且在划分后才可对作业人员越线情况进行判断而导致的安全管理效率低下的问题，同时还解决了现有技术中安全区域位置的划分仅考虑RGB颜色空间下的图像，而导致在复杂场景及不同光照下安全区域划分不准确的问题，提升了安全区域划分的准确性和划分效率，同时提高了监管人员的安全管理效率，在作业人员越线时可及时发现并进行提醒，降低了作业人员作业的危险性。
附图说明
图1是本发明实施例一中的一种人员越线识别方法的流程图；
图2是本发明实施例二中的一种人员越线识别方法的流程图；
图3是本发明实施例二中的一种施工作业现场示例图；
图4是本发明实施例二中的一种多颜色空间结合梯度过滤后的边界区域图像示例图；
图5是本发明实施例二中的一种筛选后的边界点集合示例图；
图6是本发明实施例二中的一种边界点集合的凸包示例图；
图7是本发明实施例二中的一种安全区域划分示例图；
图8是本发明实施例三中的一种人员越线识别装置的结构示意图；
图9是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以互相组合。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种人员越线识别方法的流程图，本实施例可适用于通过监控采集的待识别图像对作业安全区域进行划分并确定作业人员是否越线的情况，该方法可以由人员越线识别装置来执行，该人员越线识别装置可以由软件和/或硬件来实现，该人员越线识别装置可以配置在计算设备上，具体包括如下步骤：
S101、获取待识别图像，并根据待识别图像确定人员位置坐标。
在本实施例中，待识别图像可理解为通过监控视频等方式采集的，需要确定其中所包含安全区域信息以及人员位置信息的图像；人员位置坐标可理解为在待识别图像中识别出的需进行越线判断的作业人员在待识别图像中所处的位置坐标。
具体的，通过摄像头等图像采集装置获取需要进行人员越线识别区域的监控视频或监控图像，将监控视频中的一帧或监控图像作为需要进行处理进而确定其中作业人员是否越过安全区域界线进行作业的待识别图像，通过人员识别算法提取待识别图像中人像所处的位置信息，根据上述位置信息确定该人像在待识别图像中的相对位置坐标，并将上述相对位置坐标确定为人员位置坐标。
一般的，可认为提取到的人像为处于作业现场的人员，由于作业现场中除安全区域范围内的区域均存在较高的人身安全风险，故不论提取到的人像是否为作业人员，均需对提取到的人像进行越线识别，以避免造成安全隐患。
S102、将待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合。
在本实施例中，颜色空间也可称为色彩空间或色彩模型，可理解为通过一组值(通常使用三个、四个值或者颜色成分)表示颜色方法的抽象数学模型，也即为通过坐标系统所能定义的色彩范围即可称之为颜色空间。梯度过滤可理解为对多颜色空间过滤后的待识别图像求导，确定出其中各像素点间的变化率，并根据变化率确定各像素点中可被认为是噪声的跳变点，对上述跳变点进行滤除的过滤方法。
一般的，在进行数字图像处理时，常采用六种颜色空间对图像的颜色进行定义，包括：RGB颜色空间、CMY/CMYK颜色空间、HSV/HSB颜色空间、HSI/HSL颜色空间、Lab颜色空间和YUV颜色空间。其中，RGB颜色空间为现实中应用最多的颜色空间，也是图像处理中最基本、最常用并面向硬件的颜色空间，由三个通道表示一幅图像，三个通道分别为红色(R)、绿色(G)和蓝色(B)；CMY颜色空间为工业印刷采用的颜色空间，其基于青色(C)、洋红色(M)和黄色(Y)进行图像表示；HSV颜色空间是为了更好的数字化处理颜色而提出的颜色模型，该模型中颜色的参数分别为：色相(H)、饱和度(S)和明度(V)；HSL颜色空间是一种将RGB颜色空间中的点在圆柱坐标系中的表示法，其中的颜色参数分别为：色相(H)、饱和度(S)和亮度(L)；Lab颜色空间是由国际照明委员会制定的，通过数字化方式来描述人的视觉感应；YUV颜色空间则是通过亮度-色差来描述颜色的颜色空间。
具体的，由于通过不同颜色空间表示同一图像的侧重点不同，故可将待识别图像转换至多个颜色空间下进行表示，并对表示于多个颜色空间下的待识别图像中进行过滤，得到其中用以圈定安全区域的边界信息，并将各边界信息进行融合，得到融合后的边界区域图像，并将融合后的边界区域图像求取梯度，对其中的噪点进行滤除，进而将噪点滤除后的边界区域图像进行离散，将包含安全区域边界信息的多个边界点组成边界点集合。
本发明实施例中，通过将待识别图像转换至不同颜色空间中进行边界信息提取，并将不同颜色空间中识别得到的边界信息进行融合，充分考虑了复杂场景和不同光线条件下对边界信息的影响，并对融合后的边界图像进行梯度过滤，滤除其中的噪点，使得根据过滤后的待识别图像确定的边界点集合中包含的边界点更加准确的位于安全区域边界上。
S103、根据边界点集合确定安全区域，并根据人员位置坐标以及安全区域对应的坐标范围确定人员越线状态。
在本实施例中，安全区域可理解为作业施工现场中不会威胁到作业人员人身安全的区域。示例性的，在实际作业施工现场，常通过醒目标识带在施工区域圈定出一个具有开口的圈定区域，可认为该圈定区域以及与开口方向对应的开放区域为作业施工现场中的安全区域。
具体的，根据边界点集合确定包含最大范围的边界区域，并根据边界点集合确定其可闭合包括的最大范围区域，并确定边界的开口方向，将上述最大范围区域以及开口方向所对应的开放区域确定为安全区域，并确定安全区域在图像中所在的坐标范围，若人员位置坐标落在安全区域对应的坐标范围内，则可认为人员处在安全区域内，若人员位置坐标落在安全区域对应的坐标范围外，则可认为人员处在安全区域外，进而可确定人员越线状态。
本实施例的技术方案，通过获取待识别图像，并根据待识别图像确定人员位置坐标；将待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；根据边界点集合确定安全区域，并根据人员位置坐标以及安全区域对应的坐标范围确定人员越线状态。通过采用上述技术方案，对获取的待识别图像进行多颜色空间过滤及梯度过滤，并根据过滤后的待识别图像确定边界点集合，充分考虑不同颜色空间下边界区域所具有的特性，更精确地确定边界区域的位置，并对确定出的边界区域位置进行梯度过滤，滤除其中的噪声信息，进而根据过滤筛选后的待识别图像确定边界点集合，并根据边界点集合明确安全区域位置，使得安全区域位置可由获取到的待识别图像中直接检测确定得到，通过采用多种过滤方法，保证了在复杂场景和不同光照条件下对安全区域位置检测识别的准确性，进而使得确定出的人员越线状态更加准确。解决了现有技术中安全区域位置需要进行手动划分，且在划分后才可对作业人员越线情况进行判断而导致的安全管理效率低下的问题，同时还解决了现有技术中安全区域位置的划分仅考虑RGB颜色空间下的图像，而导致在复杂场景及不同光照下安全区域划分不准确的问题，提升了安全区域划分的准确性和划分效率，同时提高了监管人员的安全管理效率，在作业人员越线时可及时发现并进行提醒，降低了作业人员作业的危险性。
实施例二
图2为本发明实施例二提供的一种人员越线识别方法的流程图，本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化，通过分别在RGB颜色空间、HSL颜色空间以及HSV颜色空间上对图像中的边界信息进行提取，并对提取后的边界信息进行融合和梯度过滤得到对应的边界区域图像，通过对边界区域图像进行分割排序确定边界点集合，并根据边界点集合确定出安全区域，提升了确定出的安全区域的准确度，进而提升了对人员越线状态确定的准确性。具体包括如下步骤：
S201、获取待识别图像。
S202、将待识别图像进行白平衡处理，确定白平衡图像。
其中，白平衡图像为RGB颜色空间中的图像。
在本实施例中，白平衡(White Balance)处理可理解为使得图像不管在任何光源下，都能将白色物体还原为白色的颜色处理方法，也即对在特定光源下拍摄出现的偏色现象，通过加强对应的补色进行补偿的处理方法。
具体的，由于人通过视觉系统观测物体时，视线和感知会根据场景光源进行自动调节，而机械以及光敏元件则会因场景光源受到较大的影响。因此，对于通过图像采集装置采集得到的待识别图像，需对其进行白平衡以降低场景光照强度的变化对图像信息识别的影响。确定待识别图像R、G和B三个通道的像素平均值，并求取R、G和B三个通道的增益系数，根据确定的增益系数对待识别图像中各像素的像素值进行调整，并将调整后的待识别图像作为白平衡图像。
示例性的，假设待识别图像中R、G和B三个通道的像素平均值分别为Rave、Gave和Bave，三个通道的增益系数为K，待识别图像中三个通道的初始值分别为RA、GA和BA，经白平衡后白平衡图像的三个通道的值分别为RB、GB和BB，则白平衡图像的计算方式如下所示：
S203、通过预设人员检测算法确定白平衡图像中的人员图像框。
在本实施例中，人员图像框可理解为将白平衡图像中的人物作为目标识别对象时，以最小面积窗口对人物图像进行圈框所得到的圈框边界，示例性的，若待识别人物是立正站立于白平衡图像中的，则人员图像框上边界与待识别人物头顶最高点相切、下边界与待识别人物脚部最低点相切、左边界和右边界分别与待识别人物身体最左点和最右点相切。
可选的，预设人员检测算法可为YOLO算法，也可为其他目标识别算法，本发明实施例对此不进行限制。
S204、根据人员图像框确定人员位置坐标。
具体的，根据人员图像框在白平衡图像中的相对位置，确定人员图像框在白平衡图像中所占坐标区域，并根据实际情况或预设坐标选择条件由上述坐标区域中选择一个位置坐标作为人员位置坐标。示例性的，可将人员图像框的中心点所对应的位置坐标确定为人员位置坐标，即将检测到的人物中心作为其在图像中所处位置，也可将人员图像框下边界的中点确定为人员位置坐标，也即将识别出的人员脚部位置确定为其在图像中所处位置，本发明实施例对此不进行限制。
需要明确的是，步骤S203与步骤S205间没有明显执行的先后顺序。
S205、将白平衡图像转换为HSL颜色空间图像和HSV颜色空间图像。
具体的，由于白平衡图像为RGB颜色空间下的图像，而HSL和HSV颜色空间为对RGB颜色空间中像素点的两种有关系的表示方式，尝试描述比RGB更准确的感知颜色联系，并仍保持计算上的简单，故将RGB颜色空间下的白平衡图像通过对应转换公式分别转换为HSL颜色空间图像和HSV颜色空间图像。
进一步地，转换公式如下所示：
V＝max
其中，H、S1和L分别表示HSL颜色空间中色相(H)、饱和度(S)和亮度(L)分量的值，H、S2和V分别表示HSV颜色空间中色相(H)、饱和度(S)和色调(V)分量的值，R、G和B分别表示RGB颜色空间中R、G和B分量上的坐标值，max和min分别表示R、G和B中的最大值和最小值。
S206、根据预设边界颜色特征分别确定白平衡图像、HSL颜色空间图像和HSV颜色空间图像中的第一边界信息、第二边界信息和第三边界信息。
具体的，由于用于表示安全区域的边界在不同颜色空间下具有不同的颜色特征，则可根据其在各颜色空间中具有的颜色特征为不同颜色空间设置不同的颜色过滤范围对不同颜色空间图像中不属于边界的信息进行过滤，将白平衡图像过滤后得到的边界图像确定为第一边界信息，将HSL颜色空间图像过滤后得到的边界图像确定为第二边界信息，将HSV颜色空间图像过滤后得到的边界图像确定为第三边界信息。
示例性的，对不同颜色空间图像中不属于边界的信息进行过滤，可通过将不再颜色过滤范围内的像素点的像素值设置为0，将在颜色过滤范围内的像素点的像素值保持不变得到。
S207、根据第一边界信息、第二边界信息和第三边界信息确定第一边界区域图像。
具体的，将第一边界信息、第二边界信息与第三边界信息取交集，也即将三个颜色空间过滤得到的三种边界中重合的部分提取出来，将提取出的边界确定为第一边界区域图像。
S208、根据预设梯度幅值对第一边界区域图像进行梯度过滤，确定第二边界区域图像。
具体的，对第一边界区域图像中根据颜色确定的边界信息取梯度，可得到第一边界区域图像中各像素点的方向导数沿梯度方向的最大值，表明各像素点间的变化率，故梯度的大小常被用于边缘检测中对边界位置的判断，进而可根据实际情况预设一个梯度幅值，将第一边界区域图像中梯度幅值大于预设梯度幅值的部分进行滤除，也即将噪声部分进行滤除，得到边界区域划分更准确第二边界区域图像。
示例性的，图3为本发明实施例提供的一种施工作业现场示例图，图4为本发明实施例提供的一种多颜色空间结合梯度过滤后的边界区域图像示例图。对图3中作业现场中用于划分安全区域的标示带具有与环境不同的颜色，故在经过多颜色空间过滤及梯度过滤后可得到入图4所示的边界区域图像示例图。
S209、根据预设网格比例将第二边界区域图像进行分割，确定至少两个图像网格。
具体的，为更精确的提取图像中的特征信息可对图像进行网格化，也即将完整的大数据量像素图像划分为多个具有较少数据量像素的图像网格。因此，可根据实际所需精度确定预设网格比例，并按照预设网格比例对第二边界区域图像进行分割，得到至少两个图像网格。
进一步地，预设网格比例与识别精度相关，当预设网格比例较小时，第二边界区域图像将被划分为较多数量的图像网格，各图像网格中包含的图像特征较少但较精确，同时导致后续计算数据量增大；而当预设网格比例较大时，第二边界区域图像被划分为较少数量的图像网格，各图像网格中包含的图像特征较多但叫粗略，在将各图像网格中的特征均通过网格中一点进行表示时，可减少计算量但同时会导致部分特征信息的丢失。故可根据实际需求选取精度与计算量均适合的网格划分比例对第二边界区域图像进行分割。
S210、将包含边界信息的各图像网格确定为目标网格，并将各目标网格的中心点确定为待筛选边界点。
具体的，由于需要有边界区域图像中筛选出包含边界的部分，故可分别对划分第二边界区域图像得到的各图像网格中包含的图像信息进行确定，当图像网格中包括边界信息时，则可认为该图像网格中包括用于确定安全区域边界的位置信息，将该图像网格确定为目标网格，并可近似用该目标网格的中心点位置代指待筛选边界点的位置信息。进一步地，可将根据各目标网格确定出的多个待筛选边界点生成一个待筛选边界点集。
S211、根据预设区域范围对各待筛选边界点进行筛选，确定筛选边界点集，并将筛选边界点集按预设排序规则进行排序，将排序后的筛选边界点集确定为边界点集合。
具体的，由于实际应用场景中，常存在与用于划分安全区域的标示带相同颜色的环境区域，则在经过多颜色空间过滤、梯度过滤及网格化图像后所得到的待筛选边界点集中可能包含并不属于用于划分安全区域的标示带上的点，且不属于用于划分安全区域的标示带上的待筛选边界点常与其他待筛选边界点间存在较大距离，故可预先设置一个区域范围对各待筛选边界点进行筛选，若一个待筛选边界点在以其为中心的预设区域范围内不存在另一个待筛选边界点，则可认为该待筛选边界点离群严重，有较大概率为不属于与用于划分安全区域的标示带上的点，进而可将上述待筛选边界点筛除，并将筛选掉所有离群严重待筛选边界点的待筛选边界点集确定为筛选边界点集。且由于在实际应用场景中，用于划分安全区域的标示带常具有开口以供作业人员出入，则可根据标示带的延伸方向确定一个预设排序规则将筛选边界点集中的各筛选边界点进行排序，得到边界点集合。
接上述示例，图5为本发明实施例提供的一种筛选后的边界点集合示例图。假设预设区域范围为以8个像素为半径的区域，预设排序规则为顺时针排序，则对待筛选边界点集中的每一个待筛选边界点，均以上述待筛选边界点为中心，以8个像素为半径的区域内的像素进行确定，若其中存在另一个待筛选边界点，则认为该待筛选边界点为边界区域上的点，无需对其进行筛除，否则认为该待筛选边界点离群严重，对其进行筛除，得到筛除后的筛选边界点集，并将筛选边界点集中的各点以确定出的标示带的一端所在的最边缘边界点为起始点，按照标示带所在位置进行顺时针排序存入边界点集合中，其中，边界点集合中的最末点为标示带另一端所在的最边缘边界点。
S212、确定边界点集合的凸包，并将边界点集合中的第一个边界点与最后一个边界点相连，确定开口连线。
在本实施例中，凸包可理解为对于给定集合X，所有包含X的凸集的交集，对于二维平面点集，凸包也可理解为将最外层的点连接起来所构成的凸多边形，示例性的，图6为本发明实施例提供的一种边界点集合的凸包示例图。
具体的，由于凸包由点集中所有点最外层的点连接而成，故根据边界点集合生成的凸包刚好包裹着边界点集合中的所有点，可以较好地勾勒出标示带的位置区域，而由于标示带一般为开口的，边界点集合又是以预设排列规则排序的点集，则边界点集合中的第一个边界点和最后一个边界点可理解为标示带所围区域的开口点，将上述第一个边界点和最后一个边界点相连，即可得到开口连线。
S213、将开口连线与凸包构成的闭合区域，以及根据开口连线形成的两个区域中满足设定条件的目标区域确定为安全区域。
其中，两个区域通过以开口连线作为分隔线划定形成，设定条件为不存在凸包的开放区域。
具体的，根据凸包可确定标示带的位置区域，而开口连线为标示带开口两端的连线，故可通过开口连线与凸包构成一个闭合区域，即为作业人员在施工作业区域中的安全作业区域，而由于标示带开口所对的区域为非施工作业区域，作业人员在其中也应没有安全隐患，根据开口连线对监控图像进行划分，则可在其两侧划分为两个区域，其中一个为包括凸包的施工作业区域，而另一侧为不包括凸包的开放区域，作业人员由该开放区域进入施工作业区域中的安全作业区域进行作业，故将上述开放区域确定为目标区域，并将目标区域与闭合区域共同组成的区域确定为获取的待识别图像中的安全区域。
示例性的，图7为本发明实施例提供的一种安全区域划分示例图。其中，Q1区域为凸包和开口连线构成的闭合区域，Q2区域为根据开口连线确定出的开放区域，将二者结合即可得到待识别图像中的安全区域。
S214、判断人员位置坐标是否位于安全区域对应的坐标范围内，若是，则执行步骤S215；若否，则执行步骤S216。
S215、确定人员越线状态为非越线。
进一步地，由于人员越线状态为非越线，则可认为待识别图像中的人员不存在危险，故无需对待识别图像中的人员或对施工现场的安全员进行警告。
S216、确定人员越线状态为越线。
进一步地，由于人员越线状态为越线，则可认为待识别图像中的人员存在较大的人身危险，故此时可通过声光等对待识别图像中的越线人员进行警告，也可对施工作业现场的安全员进行提示，使得作业人员尽快回到安全区域内，避免发生人身危险。
本实施例的技术方案，通过分别在RGB颜色空间、HSL颜色空间以及HSV颜色空间上对图像中的边界信息进行提取，并对提取后的边界信息进行融合和梯度过滤得到对应的边界区域图像，充分考虑光线因素等对待识别图像中边界区域识别的影响，确定出更准确的边界区域图像，同时通过对边界区域图像进行分割、离群边界点筛除以及排序确定边界点集合，并根据边界点的凸包及开口连线确定安全区域，提升了所确定安全区域的准确度，进而使得根据人员位置坐标以及安全区域对应的坐标范围确定出的人员越线状态更加准确，同时实现了安全区域的自动划分，提高了监管人员对作业人员进行安全管理的效率，降低了作业人员的作业危险性。
实施例三
图8为本发明实施例三提供的一种人员越线识别装置的结构示意图，该人员越线识别装置包括：图像获取模块31，边界点确定模块32和越线状态确定模块33。
其中，图像获取模块31，用于获取待识别图像，并根据待识别图像确定人员位置坐标；边界点确定模块32，用于将待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；越线状态确定模块33，用于根据边界点集合确定安全区域，并根据人员位置坐标以及安全区域对应的坐标范围确定人员越线状态。
本实施例的技术方案，解决了现有技术中安全区域位置需要进行手动划分，且在划分后才可对作业人员越线情况进行判断而导致的安全管理效率低下的问题，同时还解决了现有技术中安全区域位置的划分仅考虑RGB颜色空间下的图像，而导致在复杂场景及不同光照下安全区域划分不准确的问题，提升了安全区域划分的准确性和划分效率，同时提高了监管人员的安全管理效率，在作业人员越线时可及时发现并进行提醒，降低了作业人员作业的危险性。
可选的，人员越线识别装置，还包括：
白平衡模块，用于将待识别图像进行白平衡处理，确定白平衡图像；其中，白平衡图像为RGB颜色空间中的图像。
可选的，图像获取模块31，包括：
图像获取单元，用于获取待识别图像；
图像框确定单元，用于通过预设人员检测算法确定所述白平衡图像中的人员图像框；
位置坐标确定单元，用于根据所述人员图像框确定人员位置坐标。
可选的，边界点确定模块32，包括：
图像转换单元，用于将所述白平衡图像转换为HSL颜色空间图像和HSV颜色空间图像；
边界信息确定单元，用于根据预设边界颜色特征分别确定所述白平衡图像、所述HSL颜色空间图像和所述HSV颜色空间图像中的第一边界信息、第二边界信息和第三边界信息；
第一图像确定单元，用于根据所述第一边界信息、所述第二边界信息和所述第三边界信息确定第一边界区域图像；
第二图像确定单元，用于根据预设梯度幅值对所述第一边界区域图像进行梯度过滤，确定第二边界区域图像；
图像分割单元，用于根据预设网格比例将所述第二边界区域图像进行分割，确定至少两个图像网格；
边界点确定单元，用于将包含边界信息的各图像网格确定为目标网格，并将各所述目标网格的中心点确定为待筛选边界点；
边界点集合确定单元，用于根据预设区域范围对各所述待筛选边界点进行筛选，确定筛选边界点集，并将所述筛选边界点集按预设排序规则进行排序，将排序后的筛选边界点集确定为边界点集合。
可选的，越线状态确定模块33，包括：
连线确定单元，用于确定所述边界点集合的凸包，并将所述边界点集合中的第一个边界点与最后一个边界点相连，确定开口连线；
安全区域确定单元，用于将所述开口连线与所述凸包构成的闭合区域，以及将根据所述开口连线形成的两个区域中满足设定条件的目标区域确定为安全区域；其中，所述两个区域通过以所述开口连线作为分割线划定形成，所述设定条件为不存在凸包的开放区域；
越线状态确定单元，用于若所述人员位置坐标位于所述安全区域对应的坐标范围内，则确定人员越线状态为非越线；若所述人员位置坐标位于所述安全区域对应的坐标范围外，则确定所述人员越线状态为越线。
本发明实施例提供的人员越线识别装置可执行本发明任意实施例所提供的人员越线识别方法，具备执行方法相应的功能模块和有益效果。
实施例四
图9为本发明实施例四提供的一种计算机设备的结构示意图，如图9所示，该计算机设备包括处理器41、存储装置42、输入装置43和输出装置44；计算机设备中处理器41的数量可以是一个或多个，图9中以一个处理器41为例；计算机设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储装置42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的人员越线识别方法对应的程序指令/模块(例如，图像获取模块31，边界点确定模块32和越线状态确定模块33)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的人员越线识别方法。
存储装置42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人员越线识别方法，该方法包括：
获取待识别图像，并根据待识别图像确定人员位置坐标；
将待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；
根据边界点集合确定安全区域，并根据人员位置坐标以及安全区域对应的坐标范围确定人员越线状态。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的人员越线识别方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种人员越线识别方法，其特征在于，包括：
获取待识别图像，并根据所述待识别图像确定人员位置坐标；
将所述待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；
根据所述边界点集合确定安全区域，并根据所述人员位置坐标以及所述安全区域对应的坐标范围确定人员越线状态；
其中，所述多颜色空间过滤为将表示与多个颜色空间下的待识别图像进行过滤，以得到所述待识别图像中用以圈定安全区域边界信息的过滤方法；所述梯度过滤为对多颜色空间过滤后的待识别图像求导，确定所述待识别图像中各像素点间的变化率，并根据各所述变化率确定各所述像素点中为噪声的跳变点，以对所述跳变点进行滤除的过滤方法；
其中，所述获取待识别图像之后，还包括：
将所述待识别图像进行白平衡处理，确定白平衡图像；
其中，所述白平衡图像为RGB颜色空间中的图像；
其中，所述将所述待识别图像进行多颜色空间过滤及梯度过滤，包括：
将所述白平衡图像转换为HSL颜色空间图像和HSV颜色空间图像；
根据预设边界颜色特征分别确定所述白平衡图像、所述HSL颜色空间图像和所述HSV颜色空间图像中的第一边界信息、第二边界信息和第三边界信息；
根据所述第一边界信息、所述第二边界信息和所述第三边界信息确定第一边界区域图像；
根据预设梯度幅值对所述第一边界区域图像进行梯度过滤，确定第二边界区域图像；
其中，所述根据过滤后的待识别图像确定边界点集合，包括：
根据预设网格比例将所述第二边界区域图像进行分割，确定至少两个图像网格；
将包含边界信息的各图像网格确定为目标网格，并将各所述目标网格的中心点确定为待筛选边界点；
根据预设区域范围对各所述待筛选边界点进行筛选，确定筛选边界点集，并将所述筛选边界点集按预设排序规则进行排序，将排序后的筛选边界点集确定为边界点集合；
其中，所述根据所述边界点集合确定安全区域，包括：
确定所述边界点集合的凸包，并将所述边界点集合中的第一个边界点与最后一个边界点相连，确定开口连线；
将所述开口连线与所述凸包构成的闭合区域，以及将根据所述开口连线形成的两个区域中满足设定条件的目标区域确定为安全区域；
其中，所述两个区域通过以所述开口连线作为分割线划定形成，所述设定条件为不存在凸包的开放区域。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别图像确定人员位置坐标，包括：
通过预设人员检测算法确定所述白平衡图像中的人员图像框；
根据所述人员图像框确定人员位置坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据所述人员位置坐标以及所述安全区域对应的坐标范围确定人员越线状态，包括：
若所述人员位置坐标位于所述安全区域对应的坐标范围内，则确定人员越线状态为非越线；
若所述人员位置坐标位于所述安全区域对应的坐标范围外，则确定所述人员越线状态为越线。
4.一种人员越线识别装置，其特征在于，包括：
图像获取模块，用于获取待识别图像，并根据所述待识别图像确定人员位置坐标；
边界点确定模块，用于将所述待识别图像进行多颜色空间过滤及梯度过滤，根据过滤后的待识别图像确定边界点集合；
越线状态确定模块，用于根据所述边界点集合确定安全区域，并根据所述人员位置坐标以及所述安全区域对应的坐标范围确定人员越线状态；
其中，所述多颜色空间过滤为将表示与多个颜色空间下的待识别图像进行过滤，以得到所述待识别图像中用以圈定安全区域边界信息的过滤方法；所述梯度过滤为对多颜色空间过滤后的待识别图像求导，确定所述待识别图像中各像素点间的变化率，并根据各所述变化率确定各所述像素点中为噪声的跳变点，以对所述跳变点进行滤除的过滤方法；
其中，所述人员越线识别装置，还包括：
白平衡模块，用于将待识别图像进行白平衡处理，确定白平衡图像；其中，白平衡图像为RGB颜色空间中的图像；
其中，所述边界点确定模块，包括：
图像转换单元，用于将所述白平衡图像转换为HSL颜色空间图像和HSV颜色空间图像；
边界信息确定单元，用于根据预设边界颜色特征分别确定所述白平衡图像、所述HSL颜色空间图像和所述HSV颜色空间图像中的第一边界信息、第二边界信息和第三边界信息；
第一图像确定单元，用于根据所述第一边界信息、所述第二边界信息和所述第三边界信息确定第一边界区域图像；
第二图像确定单元，用于根据预设梯度幅值对所述第一边界区域图像进行梯度过滤，确定第二边界区域图像；
图像分割单元，用于根据预设网格比例将所述第二边界区域图像进行分割，确定至少两个图像网格；
边界点确定单元，用于将包含边界信息的各图像网格确定为目标网格，并将各所述目标网格的中心点确定为待筛选边界点；
边界点集合确定单元，用于根据预设区域范围对各所述待筛选边界点进行筛选，确定筛选边界点集，并将所述筛选边界点集按预设排序规则进行排序，将排序后的筛选边界点集确定为边界点集合；
其中，所述越线状态确定模块，包括：
连线确定单元，用于确定所述边界点集合的凸包，并将所述边界点集合中的第一个边界点与最后一个边界点相连，确定开口连线；
安全区域确定单元，用于将所述开口连线与所述凸包构成的闭合区域，以及将根据所述开口连线形成的两个区域中满足设定条件的目标区域确定为安全区域；其中，所述两个区域通过以所述开口连线作为分割线划定形成，所述设定条件为不存在凸包的开放区域。
5.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的人员越线识别方法。
6.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-3中任一项所述的人员越线识别方法。
CN202011599030.0A 2020-12-29 2020-12-29 人员越线识别方法、装置、设备及存储介质 Active CN112613452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011599030.0A CN112613452B (zh) 2020-12-29 2020-12-29 人员越线识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011599030.0A CN112613452B (zh) 2020-12-29 2020-12-29 人员越线识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112613452A CN112613452A (zh) 2021-04-06
CN112613452B true CN112613452B (zh) 2023-10-27

Family

ID=75248915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011599030.0A Active CN112613452B (zh) 2020-12-29 2020-12-29 人员越线识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112613452B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869245A (zh) * 2021-09-30 2021-12-31 南方电网电力科技股份有限公司 一种安全区域的识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103606A (zh) * 2017-02-27 2017-08-29 口碑控股有限公司 一种图像识别方法及装置
CN111708907A (zh) * 2020-06-11 2020-09-25 中国建设银行股份有限公司 一种目标人员的查询方法、装置、设备及存储介质
CN112101260A (zh) * 2020-09-22 2020-12-18 广东电科院能源技术有限责任公司 一种作业人员安全带识别方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100552695B1 (ko) * 2003-11-20 2006-02-20 삼성전자주식회사 칼라영상의 색조절방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103606A (zh) * 2017-02-27 2017-08-29 口碑控股有限公司 一种图像识别方法及装置
CN111708907A (zh) * 2020-06-11 2020-09-25 中国建设银行股份有限公司 一种目标人员的查询方法、装置、设备及存储介质
CN112101260A (zh) * 2020-09-22 2020-12-18 广东电科院能源技术有限责任公司 一种作业人员安全带识别方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于HSV颜色空间的运动目标识别;付长斐 等;《控制与信息技术》(第2期);70-74 *

Also Published As

Publication number Publication date
CN112613452A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
EP2833288B1 (en) Face calibration method and system, and computer storage medium
WO2021147418A1 (zh) 一种图像去雾方法、装置、设备及计算机存储介质
KR20120089528A (ko) 차선이탈 경보 시스템 및 방법
CN102819728A (zh) 一种基于分类模板匹配的交通标志检测方法
CN112101260B (zh) 一种作业人员安全带识别方法、装置、设备和存储介质
Xiong et al. Early smoke detection of forest fires based on SVM image segmentation
KR101875891B1 (ko) 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
US20210365725A1 (en) System and method for creating an image and/or automatically interpreting images
CN112613452B (zh) 人员越线识别方法、装置、设备及存储介质
CN115205977A (zh) 一种地铁施工作业人员不安全行为识别方法与系统
CN113537092A (zh) 烟火检测方法、装置、设备及存储介质
CN112699760A (zh) 一种脸部目标区域检测方法、装置和设备
Pujas et al. Robust colour image segmentation
US20230051823A1 (en) Systems, methods, and computer program products for image analysis
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质
CN113869245A (zh) 一种安全区域的识别方法及装置
CN112488031A (zh) 一种基于颜色分割的安全帽检测方法
CN112633142A (zh) 一种输电线路违章建筑物识别方法及相关装置
CN112733841A (zh) 钢卷内部紊乱判断方法、系统、设备及介质
CN116740577B (zh) 道路积水识别方法、系统、终端及存储介质
CN110717946A (zh) 一种从视频图像中筛选火焰目标的方法
Ji et al. Moving cast shadow detection using joint color and texture features based on direction and distance
CN116863333B (zh) Fsu设备工作状态的ai智能检测方法
CN111832392B (zh) 火焰烟雾检测方法及装置
JP2005128774A (ja) 画像領域抽出装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant