CN116013091A - 基于车流量大数据的隧道监控系统与分析方法 - Google Patents

基于车流量大数据的隧道监控系统与分析方法 Download PDF

Info

Publication number
CN116013091A
CN116013091A CN202310292791.9A CN202310292791A CN116013091A CN 116013091 A CN116013091 A CN 116013091A CN 202310292791 A CN202310292791 A CN 202310292791A CN 116013091 A CN116013091 A CN 116013091A
Authority
CN
China
Prior art keywords
tunnel
vehicle
representing
monitoring image
vehicle scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310292791.9A
Other languages
English (en)
Other versions
CN116013091B (zh
Inventor
陈俊山
苏浩
刘长增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Kangwei Big Data Technology Co ltd
Original Assignee
Shandong Kangwei Big Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Kangwei Big Data Technology Co ltd filed Critical Shandong Kangwei Big Data Technology Co ltd
Priority to CN202310292791.9A priority Critical patent/CN116013091B/zh
Publication of CN116013091A publication Critical patent/CN116013091A/zh
Application granted granted Critical
Publication of CN116013091B publication Critical patent/CN116013091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及隧道监控分析的技术领域,揭露了基于车流量大数据的隧道监控系统与分析方法,所述方法流程包括:获取隧道监控图像,并对所获取的隧道监控图像进行规范化处理;构建自适应隧道车辆场景生成模型,利用改进的L‑BFGS算法求解得到最优自适应隧道车辆场景生成模型;将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图;根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,并基于隧道内车辆追踪结果进行隧道车流量统计。本发明根据相邻车辆场景解析图之间不同车辆像素分布的相似性,识别得到相邻车辆场景解析图中的同一车辆并进行标记,实现隧道内车辆追踪以及车流量统计。

Description

基于车流量大数据的隧道监控系统与分析方法
技术领域
本发明涉及隧道监控分析的技术领域,尤其涉及基于车流量大数据的隧道监控系统与分析方法。
背景技术
随着现代化城市规模的不断发展壮大,城市机动车保有量逐年升高。各类因事故,复杂交通场景或异常天气而导致的拥堵也愈发平常,对车辆监控行为分析的需求日益增加。 同时,车辆与交通道路带来的巨大海量数据信息为城市智慧交通系统建设提供了基础信息资源,也加快了对于系统建设的迫切需求。但是,现有的车辆监控行为分析主要应用场景是城市环境,在应用于隧道环境时存在车辆识别不准确、语义理解程度低等问题,尤其是昏暗隧道环境中内部车辆高速行驶,车辆监控系统无法快速精确识别车辆不同时刻在隧道内部不同位置的通过车辆是否为同一车辆,导致存在车流量统计误差,对准确掌握隧道内部车流量差生重要影响。针对该问题,本发明提出一种基于车流量大数据的隧道监控系统与分析方法,能够在隧道昏暗环境中精确识别车辆,实现智能化隧道车辆流量统计。
发明内容
有鉴于此,本发明提供基于车流量大数据的隧道监控系统与分析方法,目的在于:1)采用基于图像空间域以及亮度域的图像滤波方式对隧道监控图像进行滤波处理,隧道昏暗环境下的车辆监控图像像素点的亮度差异不大,因此用结合空间域信息的滤波方式过滤车辆监控图像的噪声,在不同车辆交接的边缘,由于两者边缘像素的空间位置距离较小,因此用结合亮度域信息的滤波方式进行滤波处理,从而有效过滤噪声以及分割不同的车辆,提高车辆前景图像区域分割的准确性,有效从隧道昏暗监控图像中检测到车辆区域;2)构建自适应隧道车辆场景生成模型,所构建模型包括车辆编码模块以及车辆场景解析模块,车辆编码模块以规范化处理后的隧道监控图像为输入,以隧道监控图像中前景部分的二维编码向量为输出,车辆场景解析模块以隧道监控图像中前景部分的二维编码向量为输入,以表征隧道内车辆分布情况的车辆场景解析图为输出,其中车辆分布情况包括车辆位置分布以及车辆像素分布,并根据相邻车辆场景解析图之间不同车辆像素分布的相似性,识别得到相邻车辆场景解析图中的同一车辆并进行标记,实现隧道内车辆追踪以及车流量统计,且由于通过车辆像素分布进行车辆追踪,而隧道内阴暗环境只会等比例降低像素值,对像素分布的影响较小,能够有效在隧道环境下实现车辆追踪,并对传统L-BFGS算法进行迭代步长的改进,提高传统算法的迭代效率,快速得到可用模型。
为实现上述目的,一方面,本发明提供的基于车流量大数据的隧道分析方法,包括以下方法步骤:
S1:获取隧道监控图像,并对所获取的隧道监控图像进行规范化处理;
S2:构建自适应隧道车辆场景生成模型,所构建模型包括车辆编码模块以及车辆场景解析模块;
S3:确定所构建自适应隧道车辆场景生成模型的优化目标函数;
S4:利用改进的L-BFGS算法对优化目标函数进行优化求解,得到最优自适应隧道车辆场景生成模型;
S5:将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图;
S6:根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,并基于隧道内车辆追踪结果进行隧道车流量统计。
作为本发明的进一步改进流程:
可选地,所述S1步骤中获取隧道监控图像,对隧道监控图像进行规范化处理,包括:
利用隧道内部的监控装置实时获取隧道监控图像,其中所获取的隧道监控图像为,t表示隧道监控图像的采集时刻,相邻隧道监控图像的采集时间间隔为
对所获取的隧道监控图像进行规范化处理,其中规范化处理流程为:
S11:对隧道监控图像进行灰度化处理,其中灰度化处理公式为:
其中:
分别表示隧道监控图像中像素在R,G,B三个颜色通道的颜色值,表示隧道监控图像中像素的灰度值,其中像素表示图像中第x行第y列的像素;
S12:计算得到隧道监控图像中每个像素的亮度值,其中像素的亮度值计算公式为:
其中:
表示隧道监控图像中像素的亮度值;
S13:基于图像空间域以及亮度域对隧道监控图像进行滤波处理,其中像素的滤波结果为:
其中:
表示隧道监控图像中像素的滤波结果;
表示以像素为中心的邻域像素矩阵,其中邻域像素矩阵的大小为
表示邻域像素矩阵中的任意像素,表示像素的灰度值,表示像素的亮度值,表示像素的滤波加权系数;
表示L1范数;
表示邻域像素矩阵中像素灰度值的标准差,表示邻域像素矩阵中像素亮度值的标准差;
S14:利用最大类间方差法对滤波处理后的隧道监控图像进行二值化处理,得到隧道监控图像中的前景部分以及背景部分,其中隧道监控图像中的前景部分为车辆图像,背景部分为车道及其他区域的图像;
S15:将隧道监控图像中的前景部分在灰度化处理后的隧道监控图像中标记,得到规范化处理后的隧道监控图像
在本发明实施例中,隧道内部安装有监控装置,其中监控装置为摄像设备,监控装置每隔时间拍摄隧道内部图像作为隧道监控图像。
可选地,所述S2步骤中构建自适应隧道车辆场景生成模型,包括:
构建自适应隧道车辆场景生成模型,所构建模型包括车辆编码模块以及车辆场景解析模块,车辆编码模块以规范化处理后的隧道监控图像为输入,以隧道监控图像中前景部分的二维编码向量为输出,车辆场景解析模块以隧道监控图像中前景部分的二维编码向量为输入,以表征隧道内车辆分布情况的车辆场景解析图为输出。
可选地,所述S2步骤中自适应隧道车辆场景生成模型的运行流程为:
基于自适应隧道车辆场景生成模型的车辆场景解析图输出流程为:
S21:计算所输入规范化处理后隧道监控图像中第k个前景部分的像素分布
其中:
表示第k个前景部分中灰度级G的概率分布,表示第k个前景部分中灰度值为G的像素数目,表示第k个前景部分的像素总数;
S22:将第k个前景部分的像素分布输入到车辆编码模块中,得到第k个前景部分的二维编码向量
其中:
表示第k个前景部分的二维编码向量,表示添加的噪声向量,表示噪声向量符合高斯分布,表示逐元素相乘;
表示车辆编码模块中隐藏层的权重系数,表示车辆编码模块中隐藏层的偏置量;
S23:将第k个前景部分的二维编码向量输入到车辆场景解析模块,车辆场景解析模块将二维编码向量解析为二维高斯分布图,其中解析公式为:
其中:
表示二维编码向量对应的二维高斯分布图,表示二维编码向量在横轴的均值,表示二维编码向量在纵轴的均值;
表示第k个前景部分的宽,表示第k个前景部分的高;
将所有前景部分的二维高斯分布图进行等比例缩放,使得缩放后的二维高斯分布图大小与规范化处理后隧道监控图像中对应前景部分的大小相同,并将前景部分替换为缩放后的对应二维高斯分布图,得到表征隧道内车辆分布情况的车辆场景解析图。
可选地,所述S3步骤中确定自适应隧道车辆场景生成模型的优化目标函数,包括:
获取同一车辆在不同隧道场景下的图像构成训练数据集,并基于训练数据集确定所构建自适应隧道车辆场景生成模型的优化目标函数:
其中:
表示将第d辆车在第m种隧道场景下的图像输入到基于模型参数的自适应隧道车辆场景生成模型中,车辆编码模块输出的二维编码向量;
表示第d辆车在隧道外场景下图像对应的二维编码向量;
表示L2范数;
表示待优化求解的模型参数,,其中T表示转置。
可选地,所述S4步骤中利用改进的L-BFGS算法对优化目标函数进行优化求解得到最优自适应隧道车辆场景生成模型,包括:
利用改进的L-BFGS算法对优化目标函数进行优化求解,得到自适应隧道车辆场景生成模型的最优参数,并基于最优参数构建得到最优自适应隧道车辆场景生成模型,其中优化目标函数的优化求解流程为:
S41:随机生成一组模型参数作为初始解,设定算法的当前迭代次数为r,最大迭代次数为Max,则第r次迭代得到的模型参数为
S42:计算模型参数的迭代步长:
其中:
表示第r次迭代的迭代步长;
表示L1范数;
表示梯度算子,表示以模型参数为变量的优化目标函数梯度;
S43:结合迭代步长,利用L-BFGS算法对模型参数进行更新:
其中:
I为单位矩阵;
为单位矩阵;
S44:若,则终止迭代,将作为自适应隧道车辆场景生成模型的最优参数;否则令,返回步骤S42。
可选地,所述S5步骤中将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,包括:
将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图,其中车辆场景解析图为隧道监控图像中不同车辆的二维高斯分布图。
可选地,所述S6步骤中根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,包括:
根据解析得到的相邻时刻的隧道内车辆场景解析图,计算不同车辆场景解析图中任意两个二维高斯分布图的相似性,其中所比较的两个高斯分布图来源于不同车辆场景解析图,二维高斯分布图的相似性计算公式为:
其中:
表示二维高斯分布图与二维高斯分布图的相似性;
若不同车辆场景解析图中任意两个二维高斯分布图的相似性高于预设置的阈值,则表示两个二维高斯分布图所对应的前景部分为同一前景,即两个二维高斯分布图对应同一车辆,并在相邻车辆场景解析图中标记同一车辆,实现相邻隧道监控时刻的车辆追踪,其中相邻车辆场景解析图为相邻拍摄时刻的隧道监控图像所对应的车辆场景解析图。
可选地,所述S6步骤中基于隧道内车辆追踪结果进行隧道车流量统计,包括:
基于隧道内车辆追踪结果,标记相邻车辆场景解析图中的同一车辆,并统计任意时间范围内的隧道车流量,其中任意时间范围内隧道车流量的统计流程为:
提取所选取时间范围内的所有车辆场景解析图,并标记相邻车辆场景解析图中的同一车辆;
对于相邻车辆场景解析图中同一车辆所对应的两个二维高斯分布图,仅保留一个二维高斯分布图;
统计所提取所有车辆场景解析图中的二维高斯分布图数目,作为所选取时间范围内的隧道车流量。
为了解决上述问题,另一方面,本发明提供一种基于车流量大数据的隧道监控系统,所述系统结构包括:
隧道监控装置,用于获取隧道监控图像,并对所获取的隧道监控图像进行规范化处理;
车辆解析模块,用于构建自适应隧道车辆场景生成模型,确定所构建自适应隧道车辆场景生成模型的优化目标函数,利用改进的L-BFGS算法对优化目标函数进行优化求解,得到最优自适应隧道车辆场景生成模型,将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图;
车流量统计装置,用于根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,并基于隧道内车辆追踪结果进行隧道车流量统计。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;
通信接口,实现电子设备通信;及
处理器,执行所述存储器中存储的指令以实现上述所述的基于车流量大数据的隧道分析方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于车流量大数据的隧道分析方法。
相对于现有技术,本发明提出基于车流量大数据的隧道监控系统与分析方法,该技术具有以下优势:
首先,本方案提出一种基于图像空间域以及亮度域的图像滤波方式,其中像素的滤波结果为:
其中:
表示隧道监控图像中像素的滤波结果;
表示以像素为中心的邻域像素矩阵,其中邻域像素矩阵的大小为
表示邻域像素矩阵中的任意像素,表示像素的灰度值,表示像素的亮度值,表示像素的滤波加权系数;
表示L1范数;
表示邻域像素矩阵中像素灰度值的标准差,表示邻域像素矩阵中像素亮度值的标准差;
利用最大类间方差法对滤波处理后的隧道监控图像进行二值化处理,得到隧道监控图像中的前景部分以及背景部分,其中隧道监控图像中的前景部分为车辆图像,背景部分为车道及其他区域的图像;将隧道监控图像中的前景部分在灰度化处理后的隧道监控图像中标记,得到规范化处理后的隧道监控图像
本方案采用基于图像空间域以及亮度域的图像滤波方式对隧道监控图像进行滤波处理,其中在同一物体表面,像素点的亮度差异不大,因此用结合空间域信息的滤波方式过滤同一物体表面的噪声,而在不同物体交接的边缘,由于两者边缘像素的空间位置距离较小,因此用结合亮度域信息的滤波方式进行滤波处理,从而有效过滤噪声以及分割不同的物体,提高车辆前景图像区域分割的准确性,有效从隧道监控图像中检测到车辆区域。
同时,本方案提出一种自适应隧道车辆场景生成模型,所构建模型包括车辆编码模块以及车辆场景解析模块,车辆编码模块以规范化处理后的隧道监控图像为输入,以隧道监控图像中前景部分的二维编码向量为输出,车辆场景解析模块以隧道监控图像中前景部分的二维编码向量为输入,以表征隧道内车辆分布情况的车辆场景解析图为输出,其中车辆分布情况包括车辆位置分布以及车辆像素分布。基于自适应隧道车辆场景生成模型的车辆场景解析图输出流程为:
计算所输入规范化处理后隧道监控图像中第k个前景部分的像素分布
其中:
表示第k个前景部分中灰度级G的概率分布,表示第k个前景部分中灰度值为G的像素数目,表示第k个前景部分的像素总数;
S22:将第k个前景部分的像素分布输入到车辆编码模块中,得到第k个前景部分的二维编码向量
其中:
表示第k个前景部分的二维编码向量,表示添加的噪声向量,表示噪声向量符合高斯分布,表示逐元素相乘;
表示车辆编码模块中隐藏层的权重系数,表示车辆编码模块中隐藏层的偏置量;
S23:将第k个前景部分的二维编码向量输入到车辆场景解析模块,车辆场景解析模块将二维编码向量解析为二维高斯分布图,其中解析公式为:
其中:
表示二维编码向量对应的二维高斯分布图,表示二维编码向量在横轴的均值,表示二维编码向量在纵轴的均值;
表示第k个前景部分的宽,表示第k个前景部分的高;将所有前景部分的二维高斯分布图进行等比例缩放,使得缩放后的二维高斯分布图大小与规范化处理后隧道监控图像中对应前景部分的大小相同,并将前景部分替换为缩放后的对应二维高斯分布图,得到表征隧道内车辆分布情况的车辆场景解析图。根据相邻车辆场景解析图之间不同车辆像素分布的相似性,识别得到相邻车辆场景解析图中的同一车辆并进行标记,实现隧道内车辆追踪以及车流量统计,且由于通过车辆像素分布进行车辆追踪,而隧道内阴暗环境只会等比例降低像素值,对像素分布的影响较小,能够有效在隧道环境下实现车辆追踪,并对传统L-BFGS算法进行迭代步长的改进,提高传统算法的迭代效率,快速得到可用模型。
附图说明
图1为本发明一实施例提供的基于车流量大数据的隧道分析方法的流程示意图;
图2为本发明一实施例提供的基于车流量大数据的隧道监控系统的功能模块图;
图3为本发明一实施例提供的实现隧道系统的电子设备的结构示意图。
图中:100基于车流量大数据的隧道监控系统,101隧道监控装置,102车辆解析模块,103车流量统计装置,1电子设备,10处理器,11存储器,12程序,13通信接口。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供基于车流量大数据的隧道分析方法。所述基于车流量大数据的隧道分析方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述隧道系统可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1:
本实施例提供一种基于车流量大数据的隧道分析方法,包括以下步骤:
S1:获取隧道监控图像,并对所获取的隧道监控图像进行规范化处理。
所述S1步骤中获取隧道监控图像,对隧道监控图像进行规范化处理,包括:
利用隧道内部的监控装置实时获取隧道监控图像,其中所获取的隧道监控图像为,t表示隧道监控图像的采集时刻,相邻隧道监控图像的采集时间间隔为
对所获取的隧道监控图像进行规范化处理,其中规范化处理流程为:
S11:对隧道监控图像进行灰度化处理,其中灰度化处理公式为:
其中:
分别表示隧道监控图像中像素在R,G,B三个颜色通道的颜色值,表示隧道监控图像中像素的灰度值,其中像素表示图像中第x行第y列的像素;
S12:计算得到隧道监控图像中每个像素的亮度值,其中像素的亮度值计算公式为:
其中:
表示隧道监控图像中像素的亮度值;
S13:基于图像空间域以及亮度域对隧道监控图像进行滤波处理,其中像素的滤波结果为:
其中:
表示隧道监控图像中像素的滤波结果;
表示以像素为中心的邻域像素矩阵,其中邻域像素矩阵的大小为
表示邻域像素矩阵中的任意像素,表示像素的灰度值,表示像素的亮度值,表示像素的滤波加权系数;
表示L1范数;
表示邻域像素矩阵中像素灰度值的标准差,表示邻域像素矩阵中像素亮度值的标准差;
S14:利用最大类间方差法对滤波处理后的隧道监控图像进行二值化处理,得到隧道监控图像中的前景部分以及背景部分,其中隧道监控图像中的前景部分为车辆图像,背景部分为车道及其他区域的图像;
S15:将隧道监控图像中的前景部分在灰度化处理后的隧道监控图像中标记,得到规范化处理后的隧道监控图像
在本发明实施例中,隧道内部安装有监控装置,其中监控装置为摄像设备,监控装置每隔时间拍摄隧道内部图像作为隧道监控图像。
S2:构建自适应隧道车辆场景生成模型,所构建模型包括车辆编码模块以及车辆场景解析模块。
所述S2步骤中构建自适应隧道车辆场景生成模型,包括:
构建自适应隧道车辆场景生成模型,所构建模型包括车辆编码模块以及车辆场景解析模块,车辆编码模块以规范化处理后的隧道监控图像为输入,以隧道监控图像中前景部分的二维编码向量为输出,车辆场景解析模块以隧道监控图像中前景部分的二维编码向量为输入,以表征隧道内车辆分布情况的车辆场景解析图为输出。
所述S2步骤中自适应隧道车辆场景生成模型的运行流程为:
基于自适应隧道车辆场景生成模型的车辆场景解析图输出流程为:
S21:计算所输入规范化处理后隧道监控图像中第k个前景部分的像素分布
其中:
表示第k个前景部分中灰度级G的概率分布,表示第k个前景部分中灰度值为G的像素数目,表示第k个前景部分的像素总数;
S22:将第k个前景部分的像素分布输入到车辆编码模块中,得到第k个前景部分的二维编码向量
其中:
表示第k个前景部分的二维编码向量,表示添加的噪声向量,表示噪声向量符合高斯分布,表示逐元素相乘;
表示车辆编码模块中隐藏层的权重系数,表示车辆编码模块中隐藏层的偏置量;
S23:将第k个前景部分的二维编码向量输入到车辆场景解析模块,车辆场景解析模块将二维编码向量解析为二维高斯分布图,其中解析公式为:
其中:
表示二维编码向量对应的二维高斯分布图,表示二维编码向量在横轴的均值,表示二维编码向量在纵轴的均值;
表示第k个前景部分的宽,表示第k个前景部分的高;
将所有前景部分的二维高斯分布图进行等比例缩放,使得缩放后的二维高斯分布图大小与规范化处理后隧道监控图像中对应前景部分的大小相同,并将前景部分替换为缩放后的对应二维高斯分布图,得到表征隧道内车辆分布情况的车辆场景解析图。
S3:确定所构建自适应隧道车辆场景生成模型的优化目标函数。
所述S3步骤中确定自适应隧道车辆场景生成模型的优化目标函数,包括:
获取同一车辆在不同隧道场景下的图像构成训练数据集,并基于训练数据集确定所构建自适应隧道车辆场景生成模型的优化目标函数:
其中:
表示将第d辆车在第m种隧道场景下的图像输入到基于模型参数的自适应隧道车辆场景生成模型中,车辆编码模块输出的二维编码向量;
表示第d辆车在隧道外场景下图像对应的二维编码向量;
表示L2范数;
表示待优化求解的模型参数,,其中T表示转置。
S4:利用改进的L-BFGS算法对优化目标函数进行优化求解,得到最优自适应隧道车辆场景生成模型。
所述S4步骤中利用改进的L-BFGS算法对优化目标函数进行优化求解得到最优自适应隧道车辆场景生成模型,包括:
利用改进的L-BFGS算法对优化目标函数进行优化求解,得到自适应隧道车辆场景生成模型的最优参数,并基于最优参数构建得到最优自适应隧道车辆场景生成模型,其中优化目标函数的优化求解流程为:
S41:随机生成一组模型参数作为初始解,设定算法的当前迭代次数为r,最大迭代次数为Max,则第r次迭代得到的模型参数为
S42:计算模型参数的迭代步长:
其中:
表示第r次迭代的迭代步长;
表示L1范数;
表示梯度算子,表示以模型参数为变量的优化目标函数梯度;
S43:结合迭代步长,利用L-BFGS算法对模型参数进行更新:
其中:
I为单位矩阵;
为单位矩阵;
S44:若,则终止迭代,将作为自适应隧道车辆场景生成模型的最优参数;否则令,返回步骤S42。
S5:将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图。
所述S5步骤中将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,包括:
将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图,其中车辆场景解析图为隧道监控图像中不同车辆的二维高斯分布图。
S6:根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,并基于隧道内车辆追踪结果进行隧道车流量统计。
所述S6步骤中根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,包括:
根据解析得到的相邻时刻的隧道内车辆场景解析图,计算不同车辆场景解析图中任意两个二维高斯分布图的相似性,其中所比较的两个高斯分布图来源于不同车辆场景解析图,二维高斯分布图的相似性计算公式为:
其中:
表示二维高斯分布图与二维高斯分布图的相似性;
若不同车辆场景解析图中任意两个二维高斯分布图的相似性高于预设置的阈值,则表示两个二维高斯分布图所对应的前景部分为同一前景,即两个二维高斯分布图对应同一车辆,并在相邻车辆场景解析图中标记同一车辆,其中相邻车辆场景解析图为相邻拍摄时刻的隧道监控图像所对应的车辆场景解析图。
所述S6步骤中基于隧道内车辆追踪结果进行隧道车流量统计,包括:
基于隧道内车辆追踪结果,标记相邻车辆场景解析图中的同一车辆,并统计任意时间范围内的隧道车流量,其中任意时间范围内隧道车流量的统计流程为:
提取所选取时间范围内的所有车辆场景解析图,并标记相邻车辆场景解析图中的同一车辆;
对于相邻车辆场景解析图中同一车辆所对应的两个二维高斯分布图,仅保留一个二维高斯分布图;
统计所提取所有车辆场景解析图中的二维高斯分布图数目,作为所选取时间范围内的隧道车流量。
实施例2:
如图2所示,是本发明一实施例提供的基于车流量大数据的隧道监控系统的功能模块图,其可以实现实施例1中的基于车流量大数据的隧道分析方法。
本发明所述基于车流量大数据的隧道监控系统100可以安装于电子设备中。根据实现的功能,所述隧道系统可以包括隧道监控装置101、车辆解析模块102及车流量统计装置103。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
隧道监控装置101,用于获取隧道监控图像,并对所获取的隧道监控图像进行规范化处理;
车辆解析模块102,用于构建自适应隧道车辆场景生成模型,确定所构建自适应隧道车辆场景生成模型的优化目标函数,利用改进的L-BFGS算法对优化目标函数进行优化求解,得到最优自适应隧道车辆场景生成模型,将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图;
车流量统计装置103,用于根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,并基于隧道内车辆追踪结果进行隧道车流量统计。
详细地,本发明实施例中所述隧道系统100中的所述各模块在使用时采用与上述的图1中所述的隧道分析方法是一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
实施例3:
如图3所示,是本发明一实施例提供的实现基于车流量大数据的隧道监控系统的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card, SMC)、安全数字(SecureDigital, SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(用于实现隧道内车流量统计的程序12等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述通信接口13可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接,并实现电子设备内部组件之间的连接通信。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
具体地,所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述,在此不赘述。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于车流量大数据的隧道分析方法,其特征在于,所述基于车流量大数据的隧道分析方法包括:
S1:获取隧道监控图像,并对所获取的隧道监控图像进行规范化处理;
S2:构建自适应隧道车辆场景生成模型,所构建模型包括车辆编码模块以及车辆场景解析模块;
S3:确定所构建自适应隧道车辆场景生成模型的优化目标函数;
S4:利用改进的L-BFGS算法对优化目标函数进行优化求解,得到最优自适应隧道车辆场景生成模型;
S5:将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图;
S6:根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,并基于隧道内车辆追踪结果进行隧道车流量统计。
2.如权利要求1所述的基于车流量大数据的隧道分析方法,其特征在于,所述S1步骤中获取隧道监控图像,对隧道监控图像进行规范化处理,包括:
利用隧道内部的监控装置实时获取隧道监控图像,其中所获取的隧道监控图像为,t表示隧道监控图像的采集时刻,相邻隧道监控图像的采集时间间隔为
对所获取的隧道监控图像进行规范化处理,其中规范化处理流程为:
S11:对隧道监控图像进行灰度化处理,其中灰度化处理公式为:
其中:
分别表示隧道监控图像中像素在R,G,B三个颜色通道的颜色值,表示隧道监控图像中像素的灰度值,其中像素表示图像中第x行第y列的像素;
S12:计算得到隧道监控图像中每个像素的亮度值,其中像素的亮度值计算公式为:
其中:
表示隧道监控图像中像素的亮度值;
S13:基于图像空间域以及亮度域对隧道监控图像进行滤波处理,其中像素的滤波结果为:
其中:
表示隧道监控图像中像素的滤波结果;
表示以像素为中心的邻域像素矩阵,其中邻域像素矩阵的大小为
表示邻域像素矩阵中的任意像素,表示像素的灰度值,表示像素的亮度值,表示像素的滤波加权系数;
表示L1范数;
表示邻域像素矩阵中像素灰度值的标准差,表示邻域像素矩阵中像素亮度值的标准差;
S14:利用最大类间方差法对滤波处理后的隧道监控图像进行二值化处理,得到隧道监控图像中的前景部分以及背景部分,其中隧道监控图像中的前景部分为车辆图像,背景部分为车道及其他区域的图像;
S15:将隧道监控图像中的前景部分在灰度化处理后的隧道监控图像中标记,得到规范化处理后的隧道监控图像
3.如权利要求1所述的基于车流量大数据的隧道分析方法,其特征在于,所述S2步骤中构建自适应隧道车辆场景生成模型,包括:
构建自适应隧道车辆场景生成模型,所构建模型包括车辆编码模块以及车辆场景解析模块,车辆编码模块以规范化处理后的隧道监控图像为输入,以隧道监控图像中前景部分的二维编码向量为输出,车辆场景解析模块以隧道监控图像中前景部分的二维编码向量为输入,以表征隧道内车辆分布情况的车辆场景解析图为输出。
4.如权利要求3所述的基于车流量大数据的隧道分析方法,其特征在于,所述S2步骤中自适应隧道车辆场景生成模型的运行流程为:
基于自适应隧道车辆场景生成模型的车辆场景解析图输出流程为:
S21:计算所输入规范化处理后隧道监控图像中第k个前景部分的像素分布
其中:
表示第k个前景部分中灰度级G的概率分布,表示第k个前景部分中灰度值为G的像素数目,表示第k个前景部分的像素总数;
S22:将第k个前景部分的像素分布输入到车辆编码模块中,得到第k个前景部分的二维编码向量
其中:
表示第k个前景部分的二维编码向量,表示添加的噪声向量,表示噪声向量符合高斯分布,表示逐元素相乘;
表示车辆编码模块中隐藏层的权重系数,表示车辆编码模块中隐藏层的偏置量;
S23:将第k个前景部分的二维编码向量输入到车辆场景解析模块,车辆场景解析模块将二维编码向量解析为二维高斯分布图,其中解析公式为:
其中:
表示二维编码向量对应的二维高斯分布图,表示二维编码向量在横轴的均值,表示二维编码向量在纵轴的均值;
表示第k个前景部分的宽,表示第k个前景部分的高;
将所有前景部分的二维高斯分布图进行等比例缩放,使得缩放后的二维高斯分布图大小与规范化处理后隧道监控图像中对应前景部分的大小相同,并将前景部分替换为缩放后的对应二维高斯分布图,得到表征隧道内车辆分布情况的车辆场景解析图。
5.如权利要求1所述的基于车流量大数据的隧道分析方法,其特征在于,所述S3步骤中确定自适应隧道车辆场景生成模型的优化目标函数,包括:
获取同一车辆在不同隧道场景下的图像构成训练数据集,并基于训练数据集确定所构建自适应隧道车辆场景生成模型的优化目标函数:
其中:
表示将第d辆车在第m种隧道场景下的图像输入到基于模型参数的自适应隧道车辆场景生成模型中,车辆编码模块输出的二维编码向量;
表示第d辆车在隧道外场景下图像对应的二维编码向量;
表示L2范数;
表示待优化求解的模型参数,,其中T表示转置。
6.如权利要求5所述的基于车流量大数据的隧道分析方法,其特征在于,所述S4步骤中利用改进的L-BFGS算法对优化目标函数进行优化求解得到最优自适应隧道车辆场景生成模型,包括:
利用改进的L-BFGS算法对优化目标函数进行优化求解,得到自适应隧道车辆场景生成模型的最优参数,并基于最优参数构建得到最优自适应隧道车辆场景生成模型,其中优化目标函数的优化求解流程为:
S41:随机生成一组模型参数作为初始解,设定算法的当前迭代次数为r,最大迭代次数为Max,则第r次迭代得到的模型参数为
S42:计算模型参数的迭代步长:
其中:
表示第r次迭代的迭代步长;
表示L1范数;
表示梯度算子,表示以模型参数为变量的优化目标函数梯度;
S43:结合迭代步长,利用L-BFGS算法对模型参数进行更新:
其中:
I为单位矩阵;
为单位矩阵;
S44:若,则终止迭代,将作为自适应隧道车辆场景生成模型的最优参数;否则令,返回步骤S42。
7.如权利要求6所述的基于车流量大数据的隧道分析方法,其特征在于,所述S5步骤中将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,包括:
将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图,其中车辆场景解析图为隧道监控图像中不同车辆的二维高斯分布图。
8.如权利要求7所述的基于车流量大数据的隧道分析方法,其特征在于,所述S6步骤中根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,包括:
根据解析得到的相邻时刻的隧道内车辆场景解析图,计算不同车辆场景解析图中任意两个二维高斯分布图的相似性,其中所比较的两个高斯分布图来源于不同车辆场景解析图,二维高斯分布图的相似性计算公式为:
其中:
表示二维高斯分布图与二维高斯分布图的相似性;
若不同车辆场景解析图中任意两个二维高斯分布图的相似性高于预设置的阈值,则表示两个二维高斯分布图所对应的前景部分为同一前景,即两个二维高斯分布图对应同一车辆,并在相邻车辆场景解析图中标记同一车辆,其中相邻车辆场景解析图为相邻拍摄时刻的隧道监控图像所对应的车辆场景解析图。
9.如权利要求8所述的基于车流量大数据的隧道分析方法,其特征在于,所述S6步骤中基于隧道内车辆追踪结果进行隧道车流量统计,包括:
基于隧道内车辆追踪结果,标记相邻车辆场景解析图中的同一车辆,并统计任意时间范围内的隧道车流量,其中任意时间范围内隧道车流量的统计流程为:
提取所选取时间范围内的所有车辆场景解析图,并标记相邻车辆场景解析图中的同一车辆;
对于相邻车辆场景解析图中同一车辆所对应的两个二维高斯分布图,仅保留一个二维高斯分布图;
统计所提取所有车辆场景解析图中的二维高斯分布图数目,作为所选取时间范围内的隧道车流量。
10.基于车流量大数据的隧道监控系统,其特征在于,所述系统结构包括:
隧道监控装置,用于获取隧道监控图像,并对所获取的隧道监控图像进行规范化处理;
车辆解析模块,用于构建自适应隧道车辆场景生成模型,确定所构建自适应隧道车辆场景生成模型的优化目标函数,利用改进的L-BFGS算法对优化目标函数进行优化求解,得到最优自适应隧道车辆场景生成模型,将规范化处理后的隧道监控图像输入到最优自适应隧道车辆场景生成模型,得到对应的车辆场景解析图;
车流量统计装置,用于根据隧道内的相邻车辆场景解析图进行隧道内车辆追踪,并基于隧道内车辆追踪结果进行隧道车流量统计,以实现如权利要求1-9所述的基于车流量大数据的隧道分析方法。
CN202310292791.9A 2023-03-24 2023-03-24 基于车流量大数据的隧道监控系统与分析方法 Active CN116013091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310292791.9A CN116013091B (zh) 2023-03-24 2023-03-24 基于车流量大数据的隧道监控系统与分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310292791.9A CN116013091B (zh) 2023-03-24 2023-03-24 基于车流量大数据的隧道监控系统与分析方法

Publications (2)

Publication Number Publication Date
CN116013091A true CN116013091A (zh) 2023-04-25
CN116013091B CN116013091B (zh) 2023-07-07

Family

ID=86023416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310292791.9A Active CN116013091B (zh) 2023-03-24 2023-03-24 基于车流量大数据的隧道监控系统与分析方法

Country Status (1)

Country Link
CN (1) CN116013091B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991449A (en) * 1995-08-31 1999-11-23 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for encoding and decoding an image
CN1949271A (zh) * 2005-10-11 2007-04-18 索尼株式会社 图像处理装置
CN102651075A (zh) * 2011-02-28 2012-08-29 中兴智能交通系统(北京)有限公司 车辆识别模型训练方法、车辆识别方法及装置
CN110176022A (zh) * 2019-05-23 2019-08-27 广西交通科学研究院有限公司 一种基于视频检测的隧道全景监控系统及方法
CN112001362A (zh) * 2020-09-11 2020-11-27 汪秀英 一种图像分析方法、图像分析装置及图像分析系统
CN113946858A (zh) * 2021-12-20 2022-01-18 湖南丰汇银佳科技股份有限公司 一种基于数据隐私计算的身份安全认证方法及系统
CN114771570A (zh) * 2022-04-24 2022-07-22 北京京东乾石科技有限公司 自动驾驶车辆的控制方法和装置
US20220270289A1 (en) * 2020-04-28 2022-08-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for detecting vehicle pose
CN115285143A (zh) * 2022-08-03 2022-11-04 东北大学 一种基于场景分类的自动驾驶车辆导航方法
CN115422640A (zh) * 2022-09-02 2022-12-02 浙江工商大学 一种基于深度学习和细粒度优化的室内场景合成方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991449A (en) * 1995-08-31 1999-11-23 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for encoding and decoding an image
CN1949271A (zh) * 2005-10-11 2007-04-18 索尼株式会社 图像处理装置
CN102651075A (zh) * 2011-02-28 2012-08-29 中兴智能交通系统(北京)有限公司 车辆识别模型训练方法、车辆识别方法及装置
CN110176022A (zh) * 2019-05-23 2019-08-27 广西交通科学研究院有限公司 一种基于视频检测的隧道全景监控系统及方法
US20220270289A1 (en) * 2020-04-28 2022-08-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for detecting vehicle pose
CN112001362A (zh) * 2020-09-11 2020-11-27 汪秀英 一种图像分析方法、图像分析装置及图像分析系统
CN113946858A (zh) * 2021-12-20 2022-01-18 湖南丰汇银佳科技股份有限公司 一种基于数据隐私计算的身份安全认证方法及系统
CN114771570A (zh) * 2022-04-24 2022-07-22 北京京东乾石科技有限公司 自动驾驶车辆的控制方法和装置
CN115285143A (zh) * 2022-08-03 2022-11-04 东北大学 一种基于场景分类的自动驾驶车辆导航方法
CN115422640A (zh) * 2022-09-02 2022-12-02 浙江工商大学 一种基于深度学习和细粒度优化的室内场景合成方法

Also Published As

Publication number Publication date
CN116013091B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111191663B (zh) 车牌号码识别方法、装置、电子设备及存储介质
CN107944450B (zh) 一种车牌识别方法及装置
CN112052850B (zh) 车牌识别方法、装置、电子设备及存储介质
CN112507934B (zh) 活体检测方法、装置、电子设备及存储介质
CN111639704A (zh) 目标识别方法、装置及计算机可读存储介质
CN114998838B (zh) 一种危化品智能存储柜实时监测方法与装置
CN111860496A (zh) 车牌识别方法、装置、设备及计算机可读存储介质
CN111767915A (zh) 车牌检测方法、装置、设备及存储介质
CN113792672B (zh) 公共场所健康码获取方法、装置、设备及介质
CN110033425B (zh) 干扰区域检测装置及方法、电子设备
CN117455762A (zh) 基于全景行车记录仪的记录画面分辨率提升方法及系统
CN116013091B (zh) 基于车流量大数据的隧道监控系统与分析方法
CN115798004A (zh) 基于局部区域的人脸打卡方法、装置、电子设备及介质
CN111950546A (zh) 一种车牌识别方法、装置、计算机设备和存储介质
CN114663731B (zh) 车牌检测模型的训练方法及系统、车牌检测方法及系统
CN114821513B (zh) 一种基于多层网络的图像处理方法及装置、电子设备
CN114092410B (zh) 一种基于多尺度卷积神经网络的手机表面缺陷精准识别方法
CN115760854A (zh) 基于深度学习的电力设备缺陷检测方法、装置及电子设备
CN111402185A (zh) 一种图像检测方法及装置
CN113298102A (zh) 一种目标分类模型的训练方法及装置
CN112101279B (zh) 目标物异常检测方法、装置、电子设备及存储介质
CN111695609B (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN115866411B (zh) 基于光线校正的车载监控自适应曝光方法、装置及设备
CN117218162B (zh) 一种基于ai的全景追踪控视系统
CN114926753B (zh) 一种海量图像条件下的快速目标场景信息提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant