CN112153373A - 明厨亮灶设备的故障识别方法、装置及存储介质 - Google Patents
明厨亮灶设备的故障识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112153373A CN112153373A CN202011006317.8A CN202011006317A CN112153373A CN 112153373 A CN112153373 A CN 112153373A CN 202011006317 A CN202011006317 A CN 202011006317A CN 112153373 A CN112153373 A CN 112153373A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- camera
- acquiring
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 230000007257 malfunction Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及设备故障识别技术领域，应用于智慧城市的智慧食品安全领域中，尤其涉及一种明厨亮灶设备的故障识别方法、装置及存储介质，获取所述摄像头的实时视频流中不连续的任意多帧图像；检测第一待测图像是否为异常显示图像；根据第二待测图像和第三待测图像的相似度，判断摄像头是否出现拍摄卡顿现象；分别获取第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像；通过上述方式，结合对从实时视频流中截取的图像进行图像识别判断摄像头是否故障，可以避免出现摄像头的状态在线但所拍摄的视频无法播放的情况；从多个角度解析视频，在判断摄像头故障的同时有利于区分视频故障点。
Description
【技术领域】
本发明涉及设备故障识别技术领域，应用于智慧城市的智慧食品安全领域中，尤其涉及一种明厨亮灶设备的故障识别方法、装置及存储介质。
【背景技术】
随着人们生活水平不断提高，食品的质量和安全越来越受到关注，人们的观念已经从如何吃得饱向如何吃得好、吃得安全转变。目前，为了保证食品安全以及及时发现食品安全问题，传统依靠执法监管人员上门检查的监管方式已经不能起到很好的效果，同时，餐饮企业数量巨大，而执法监管人员数量相对不足，依靠现有的以上门抽检为主的监管方式难以实现有效监管，迫切地需要提高监管效率，于是出现了明厨亮灶设备，包括在餐厅设置的多个摄像头，通过多个摄像头实时采集餐厅不同位置的视频，通过对视频的监控及分析，在没有执法人员上门的情况下就能够及时发现违规操作，监管效率高。
现有技术中的明厨亮灶设备的故障识别主要是由设备发起的，明厨亮灶设备的一般架构为每一个餐厅设有多个摄像头和一个服务器、平台设有一个服务器，由餐厅中的那台服务器收集各摄像头的状态以及进行流推送，其中，摄像头的状态包括电流状态、电压状态、温度状态、信号连接状态中的一种或多种，设于平台的那台服务器进行接收和存储，然后平台的服务器根据上传的各摄像头的状态来进行判断。现有技术中的故障识别方式具有如下缺点：由餐厅端的服务器采集各摄像头的状态后发送至平台服务器，再由平台服务器根据接收的状态判断各摄像头是否出现故障，摄像头状态的准确获取依赖于网络状态，当出现网络问题时，摄像头状态无法准确获取；同时，由于摄像头的状态无法直接反应摄像头所拍摄的视频状态，导致摄像头故障判断不准确，例如，经常会存在摄像头在线，但是所拍摄的视频却播放不了。
【发明内容】
本发明的目的在于提供一种明厨亮灶设备的故障识别方法、装置及存储介质，以解决现有技术中摄像头故障判断不准确的技术问题。
本发明的技术方案如下：提供一种1、一种明厨亮灶设备的故障识别方法，所述明厨亮灶设备包括分别设于餐厅不同位置的多个摄像头，其特征在于，包括：
获取所述摄像头的实时视频流中不连续的任意多帧图像；
从所述任意多帧图像中获取第一待测图像，检测所述第一待测图像是否为异常显示图像，其中，所述异常显示图像包括黑屏图像、蓝屏图像或花屏图像，得到第一检测结果；
从所述任意多帧图像中获取第二待测图像和第三待测图像，检测所述第二待测图像和所述第三待测图像是否相似，得到第二检测结果；
从所述任意多帧图像中获取第四待测图像，获取所述第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像，得到第三检测结果；
根据所述第一检测结果、所述第二检测结果和所述第三检测结果判断所述摄像头是否发生故障；
其中，所述第一待测图像与所述第二待测图像相同或不同，所述第一待测图像与所述第四待测图像相同或不同。
优选地，所述获取所述摄像头的实时视频流中不连续的任意多帧图像之前，还包括：
检测是否能获取所述摄像头的实时视频流；
若检测到能获取摄像头的实时视频流，则获取所述摄像头的实时视频流；
若检测到不能获取摄像头的实时视频流，则确定所述摄像头发生故障。
优选地，所述异常显示图像包括黑屏图像或蓝屏图像；所述检测所述第一待测图像是否为异常显示图像，包括：
在所述第一待测图像的边缘区域以及中间区域分别获取多个大小相同的像素块，其中，每个所述像素块包括一个或多个像素点；
计算每个所述像素块的RGB值，基于所述RGB值确定任意两个不同的所述像素块是否相似；
若相似的所述像素块的数量占所述像素块的总数的百分比大于或等于预设百分比，则判断所述第一待测图像为异常显示图像中的黑屏图像或蓝屏图像。
优选地，所述异常显示图像包括花屏图像；所述检测所述第一待测图像是否为异常显示图像，包括：
将所述第一待测图像进行灰度化处理，得到对应的灰度图；
对所述灰度图进行缩小处理，得到缩小后的灰度图；
获取所述缩小后的灰度图上的垂直方向上的每行像素值的方差；
基于相邻的两行像素值的方差，判断是否存在像素值的方差突变的行；
若是，则判断所述第一待测图像为异常显示图像中的花屏图像。
优选地，所述检测所述第二待测图像和所述第三待测图像是否相似，包括：
将所述第二待测图像和所述第三待测图像分别进行灰度化处理，得到对应的灰度图；
将所述灰度图进行归一化处理，得到预设尺寸的灰度图像；
获取所述灰度图像的M乘N的灰度矩阵；
将所述灰度矩阵中的每个灰度值按照预设比例进行缩小，以将所述灰度图像的灰度简化，得到简化灰度矩阵；
计算所述简化灰度矩阵的平均灰度值，将所述简化灰度矩阵中大于或等于所述平均灰度值的元素设置为1，小于所述平均灰度值的元素设置为0，根据所述简化灰度矩阵中修改后的元素按照一定的顺序排列形成由M乘N位hash值组成的图片摘要；
对比所述第二待测图像的图片摘要和所述第三待测图像的图片摘要中的对应元素是否相同，若不相同的元素的个数小于或等于第一预设个数，则确定所述第二待测图像和所述第三待测图像相似。
优选地，所述获取所述摄像头的实时视频流中不连续的任意多帧图像之后，还包括：
将所述任意多帧图像上传至区块链中，以使得所述区块链对所述任意多帧图像进行加密存储。
优选地，所述分别获取所述第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像，包括：
根据所述实时视频流的长度设置一时间长度阈值；
分别获取所述第四待测图像的拍摄时间以及服务器的系统时间；
获取所述系统时间与所述拍摄时间的时间差；
当所述时间差大于或等于所述时间长度阈值时，判断所述第四待测图像为过期图像。
本发明的另一技术方案如下：提供一种明厨亮灶设备的故障识别装置，包括：
图像抽取模块，用于获取所述摄像头的实时视频流中不连续的任意多帧图像；
异常显示检测模块，用于从所述任意多帧图像中获取第一待测图像，检测所述第一待测图像是否为异常显示图像，其中，所述异常显示图像包括黑屏图像、蓝屏图像或花屏图像，得到第一检测结果；
卡顿检测模块，用于从所述任意多帧图像中获取第二待测图像和第三待测图像，检测所述第二待测图像和所述第三待测图像是否相似，得到第二检测结果；
超时检测模块，用于从所述任意多帧图像中获取第四待测图像，获取所述第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像，得到第三检测结果；
故障识别模块，用于根据所述第一检测结果、所述第二检测结果和所述第三检测结果判断所述摄像头是否发生故障；
其中，所述第一待测图像与所述第二待测图像相同或不同，所述第一待测图像与所述第四待测图像相同或不同。
本发明的另一技术方案如下：提供一种明厨亮灶设备的故障识别装置，所述装置包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有程序指令；所述处理器用于执行所述存储器存储的所述程序指令以执行上述的明厨亮灶设备的故障识别方法。
本发明的另一技术方案如下：提供一种存储介质，所述存储介质存储程序指令，所述程序指令被处理器执行时，实现上述的明厨亮灶设备的故障识别方法。
本发明的有益效果在于：本发明的明厨亮灶设备的故障识别方法、装置及存储介质，获取所述摄像头的实时视频流中不连续的任意多帧图像；检测第一待测图像是否为异常显示图像；根据第二待测图像和第三待测图像的相似度，判断所述摄像头是否出现拍摄卡顿现象；分别获取第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像；通过上述方式，由于直接获取摄像头拍摄的实时视频流，减少网络问题带来的影响；通过结合对从实时视频流中截取的图像进行图像识别判断摄像头是否故障，可以避免出现摄像头的状态在线但所拍摄的视频无法播放的情况；从多个角度解析视频，在判断摄像头故障的同时有利于区分视频故障点。
【附图说明】
图1为本发明第一实施例的明厨亮灶设备的故障识别方法的流程图；
图2为本发明第二实施例的明厨亮灶设备的故障识别方法的流程图；
图3为本发明第三实施例的明厨亮灶设备的故障识别装置的结构示意图；
图4为本发明第四实施例的明厨亮灶设备的故障识别装置的结构示意图；
图5为本发明第五实施例的存储介质的结构示意图。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的明厨亮灶设备的故障识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该明厨亮灶设备的故障识别方法包括步骤：
S101，获取所述摄像头的实时视频流中不连续的任意多帧图像。
在步骤S101中，多个摄像头位于餐厅的不同位置，平台服务器从餐厅服务器获取各摄像头拍摄的实时视频流，从实时视频流中截取其中任意几帧不连续的视频帧并保存成图像。从实时视频流中获取的不连续的任意多帧图像构成了待测试图像集合。
在本实施例中，在截取实时视频流中的图像之前，检测是否能获取所述摄像头的实时视频流；若检测到能获取摄像头的实时视频流，则获取所述摄像头的实时视频流；若检测到不能获取摄像头的实时视频流，则确定所述摄像头发生故障。
也就是说，当平台服务器无法正常获取到摄像头的实时视频流时，判断对应的摄像头发生设备故障，例如，获取实时视频流时出现404错误码或500错误码；当平台服务器能够正常获取实时视频流时，再从实时视频流中截取其中不连续的几帧(例如为两帧、三帧或四帧)保存成图像，以两帧图像为例，截取的两帧图像之间间隔一定时间，例如可以为1分钟。
S102，从所述任意多帧图像中获取第一待测图像，检测所述第一待测图像是否为异常显示图像，以判断所述摄像头是否发生故障，其中，所述异常显示图像包括黑屏图像、蓝屏图像或花屏图像。
在本实施例中，具体地，根据任意一帧图像的整体轮廓特征和颜色特征判断是否出现黑屏、蓝屏或花屏，例如，图像中整体颜色呈某一种颜色，或者，图像中局部区域出现超过一定面积的异常区域。可以选择其中的第一待测图像进行上述判断，也可以对截取的图像都进行上述判断。在步骤S102中，第一待测图像可以为从实时视频流中获取的待测试图像集合中的任意一个图像，检测所述第一待测图像是否为异常显示图像；若是，则确定所述摄像头发生故障。异常显示图像为黑屏图像、蓝屏图像或花屏图像，当所述第一待测图像为黑屏图像、蓝屏图像或花屏图像时，说明摄像头拍摄的实时视频流出现了异常显示。
蓝屏或黑屏图像的特点在于，图像中的全部区域或大部分区域均为蓝色或黑色，在一个可选的实施方式中，对于截取的任意一个图像是否黑屏或者蓝屏，按照如下算法确认：
S1021，在所述第一待测图像的边缘区域以及中间区域分别获取多个大小相同的像素块，其中，每个所述像素块包括一个或多个像素点。
S1022，计算每个所述像素块的RGB值，基于所述RGB值确定任意两个不同的所述像素块是否相似。
S1023，若相似的所述像素块的数量占所述像素块的总数的百分比大于或等于预设百分比，则判断所述第一待测图像为异常显示图像中的黑屏图像或蓝屏图像。
在本实施例中，待测图像可以具备RGB(Red、Green、Blue，红绿蓝)图像格式。在这种情况下，待测图像中像素点的像素值可以分别通过R分量、G分量以及B分量来表示，其中，每个颜色分量分别表示对应色彩的数值。需要说明的是，待测图像还可以具备更多的图像格式，根据采用的图像格式的不同，视频图像中像素点的像素值也可以通过不同的分量来表示，这里就不一一列举。具体地，在步骤S1022中，计算任意两个不同的像素块的RGB的差值，若差值的绝对值小于预设阈值V，则判断该两个不同的像素块相似，否则，判断该两个不同的像素块不相似。
花屏图像的特点在于，在正常显示区域和花屏区域的交界处像素值会发生突变，在另一个可选的实施方式中，对于截取的任意一个图像是否花屏，按照如下算法确认：
S1021’，将所述第一待测图像进行灰度化处理，得到对应的灰度图。
S1022’，对所述灰度图进行缩小处理，得到缩小后的灰度图。
S1023’，获取所述缩小后的灰度图上的垂直方向上的每行像素值的方差。
S1024’，基于相邻的两行像素值的方差，判断是否存在像素值的方差突变的行。
S1025’，若是，则判断所述第一待测图像为异常显示图像中的花屏图像。
具体地，通过步骤S1021’和步骤S1022’中转化为灰度图片以及缩小尺寸可以将该原始图片简化，对原始图片进行简化后有利于提高后续过程中的计算效率。进一步地，在进行灰度转化和尺寸缩小之前，还可以对该原始图片进行白平衡处理及去噪处理，以去除原始图片中的噪声，减小对图像摘要的提取过程产生影响。在S1024’中，计算相邻的两行像素值的方差的差值绝对值，若差值的绝对值小于预设阈值S，则判断该相邻的两行像素值的差值没有发生突变，否则，判断该相邻的两行像素值的差值发生突变，即存在像素值的方差突变的行。
在另一个可选的实施方式中，对于异常显示的图像识别，可以存取大量的黑屏、蓝屏或花屏的图像，包括整体或局部黑屏、整体或局部蓝屏、整体或局部花屏的图像，对其中的黑屏、蓝屏或花屏区域进行特征提取，将提取的特征按照各种异常显示(全黑屏、全蓝屏、全花屏、局部黑屏、局部蓝屏、局部花屏)对应分类，建立特征信息库，在对待测图像进行识别时，可以提取图像的特征，在上述特征信息库中进行比对。进一步地，对于异常显示的图像识别，还可以通过训练异常显示识别模型实现，收集大量异常显示的图像作为训练集并对训练集中图像的异常显示进行标注，每种标注对应一种显示异常的类型，具体地，分类类别包括全黑屏、全蓝屏、全花屏、局部黑屏、局部蓝屏以及局部花屏，构建初始的异常显示识别模型，将标注后的图像输入到初始的异常显示识别模型中进行训练，以对初始的异常显示识别模型的各项参数进行调整，得到异常显示识别模型。
进一步地，该异常显示识别模型可以为双向深度学习模型，也即，该异常显示识别模型具有两个深度学习单元以及一个输出端，例如，该异常显示识别模型设置有第一深度学习单元及第二深度学习单元，用于接收待测图像。其中，上述异常显示识别模型可以使用算法以及软件来进行建立，例如，可以使用算法构建两个LSTM(Long Short-Term Memory，长短期记忆网络)学习单元，并连接到一个输出端中，进而构成一个异常显示识别模型。其中，上述第一深度学习单元及第二深度学习单元可以为LSTM单元，该异常显示识别模型为LSTM模型。并且，第一深度学习单元及第二深度学习单元还可以为GRU(Gated recurrentunits，门循环单元)单元、NTM(Neural Turing machines，神经图灵机)单元、BiLSTM(bidirectional long short term memory networks，双向长短期记忆网络)单元或BiGRU(bidirectional gated recurrent units，双向门循环单元)单元。上述第一深度学习单元及第二学习单元可以不同，例如第一深度学习单元为LSTM单元，第二深度学习单元为GRU单元，本实施例不做限定。
S103，从所述任意多帧图像中获取第二待测图像和第三待测图像，检测所述第二待测图像和所述第三待测图像是否相似，以判断所述摄像头是否出现拍摄卡顿现象。
在步骤S103中，所述第一待测图像与所述第二待测图像相同或不同，第二待测图像和第三待测图像不同。在一个可选的实施方式中，所述第二待测图像和所述第三待测图像的相似度采用感知哈希算法，具体过程如下：
S1031，将所述第二待测图像和所述第三待测图像分别进行灰度化处理，得到对应的灰度图。
S1032，将所述灰度图进行归一化处理，得到预设尺寸的灰度图像。
S1033，获取所述灰度图像的M乘N的灰度矩阵。
S1034，将所述灰度矩阵中的每个灰度值按照预设比例进行缩小，以将所述灰度图像的灰度简化，得到简化灰度矩阵。
S1035，计算所述简化灰度矩阵的平均灰度值，将所述简化灰度矩阵中大于或等于所述平均灰度值的元素设置为1，小于所述平均灰度值的元素设置为0，根据所述简化灰度矩阵中修改后的元素按照一定的顺序排列形成由M乘N位hash值组成的图片摘要。一般地，M和N均为8。
S1036，对比所述第二待测图像的图片摘要和所述第三待测图像的图片摘要中的对应元素是否相同，若不相同的元素的个数小于或等于第一预设个数，则确定所述第二待测图像和所述第三待测图像相似，进而判断所述摄像头出现拍摄卡顿现象。
进一步地，在步骤S1036中，当判断所述第二待测图像和所述第三待测图像相似时，先不直接判断摄像头出现拍摄卡顿现象，继续从视频流中截取位于所述第二待测图像和所述第三待测图像之间或者位于所述第三待测图像之后的一帧图像(第五待测图像)，按照步骤S1031至S1035的方法提取第五待测图像的图片摘要，对比第二待测图像和第五待测图像的图片摘要中的每个元素是否相同，若不相同的元素的个数不超过第一预设个数，则判断第二待测图像和第五待测图像相似，进而判断所述摄像头出现拍摄卡顿现象。
本领域技术人员应当理解，除了上述采用感知哈希算法计算相似度的方式外，还可以采用其他方式计算相似度。
S104，从所述任意多帧图像中获取第四待测图像，分别获取所述第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像，以判断所述摄像头是否发生故障。
其中，所述第一待测图像与所述第四待测图像相同或不同。可以根据实时视频流的长度设置一个时间长度阈值，当系统时间与图像时间的差异大于该时间长度阈值时，可以判断摄像头发生故障没有工作，所获取的第四待测图像为过期图像，所获取的视实时频流为过期的视频。
在本实施例中，当步骤S102的第一检测结果、步骤S103的第二检测结果以及步骤S104的第三检测结果中至少一个为是时，判断所述摄像头发生故障；当上述三个检测结果均为否时，判断所述摄像头未发生故障。
在本实施例中，直接获取摄像头拍摄的实时视频流，减少网络问题带来的影响；通过结合对从实时视频流中截取的图像进行图像识别判断摄像头是否故障，可以避免出现摄像头的状态在线但所拍摄的视频无法播放的情况；并且，从显示异常、卡顿及图像过期多个角度解析视频，在判断摄像头故障的同时有利于区分视频故障点。本方案属于智慧食品安全领域，通过本方案能够推动智慧城市的建设。
图2是本发明第一实施例的明厨亮灶设备的故障识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该明厨亮灶设备的故障识别方法包括步骤：
S201，检测是否能获取所述摄像头的实时视频流。
S202，若检测到不能获取摄像头的实时视频流，则确定所述摄像头发生故障。
S203，若检测到能获取摄像头的实时视频流，则获取所述摄像头的实时视频流。
S204，获取所述实时视频流中不连续的两帧图像，分别为第一帧图像和第二帧图像。
S205，将所述第一帧图像和第二帧图像上传至区块链中，以使得所述区块链对所述第一帧图像和第二帧图像进行加密存储。
在步骤S205中，基于第一帧图像和第二帧图像分别得到对应的摘要信息，具体来说，摘要信息由第一帧图像或第二帧图像进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息，以便查证第一帧图像或第二帧图像是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
S206，检测第一帧图像是否为异常显示图像，当检测结果为是时，确定所述摄像头发生故障。
S207，检测所述第一帧图像和第二帧图像是否相似，当检测结果为是时，确定所述摄像头发生故障。
S208，获取第一帧图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第一帧图像是否为过期图像，当判断结果为是时，确定所述摄像头发生故障。
步骤S206至步骤S208具体参见第一实施例的描述，在此不进行一一赘述。
进一步地，可以基于判断设备故障的类别(无法获取视频流、黑屏、蓝屏、花屏、卡顿、过期)初步确定故障点对应的可能原因。
图3为本发明第三实施例的明厨亮灶设备的故障识别装置的结构示意图。如图3所示，该装置30包括：图像抽取模块31、异常显示检测模块32、卡顿检测模块33、超时检测模块34以及故障识别模块35，其中，图像抽取模块31，用于获取所述摄像头的实时视频流中不连续的任意多帧图像；异常显示检测模块32，用于从所述任意多帧图像中获取第一待测图像，检测所述第一待测图像是否为异常显示图像，得到第一检测结果，其中，所述异常显示图像包括黑屏图像、蓝屏图像或花屏图像；卡顿检测模块33，用于从所述任意多帧图像中获取第二待测图像和第三待测图像，检测所述第二待测图像和所述第三待测图像是否相似，得到第二检测结果；超时检测模块34，用于从所述任意多帧图像中获取第四待测图像，分别获取所述第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像，得到第三检测结果；故障识别模块35，用于根据所述第一检测结果、所述第二检测结果和所述第三检测结果判断所述摄像头是否发生故障；其中，所述第一待测图像与所述第二待测图像相同或不同，所述第一待测图像与所述第四待测图像相同或不同。
进一步地，图像抽取模块31还用于检测是否能获取所述摄像头的实时视频流；若检测到能获取摄像头的实时视频流，则获取所述摄像头的实时视频流；若检测到不能获取摄像头的实时视频流，则确定所述摄像头发生故障。
进一步地，异常显示检测模块32用于在所述第一待测图像的边缘区域以及中间区域分别获取多个大小相同的像素块，其中，每个所述像素块包括一个或多个像素点；计算每个所述像素块的RGB值，基于所述RGB值确定任意两个不同的所述像素块是否相似；若相似的所述像素块的数量占所述像素块的总数的百分比大于或等于预设百分比，则判断所述第一待测图像为异常显示图像中的黑屏图像或蓝屏图像。
进一步地，异常显示检测模块32用于将所述第一待测图像进行灰度化处理，得到对应的灰度图；对所述灰度图进行缩小处理，得到缩小后的灰度图；获取所述缩小后的灰度图上的垂直方向上的每行像素值的方差；基于相邻的两行像素值的方差，判断是否存在像素值的方差突变的行；若是，则判断所述第一待测图像为异常显示图像中的花屏图像。
进一步地，卡顿检测模块33用于将所述第二待测图像和所述第三待测图像分别进行灰度化处理，得到对应的灰度图；将所述灰度图进行归一化处理，得到预设尺寸的灰度图像；获取所述灰度图像的M乘N的灰度矩阵；将所述灰度矩阵中的每个灰度值按照预设比例进行缩小，以将所述灰度图像的灰度简化，得到简化灰度矩阵；计算所述简化灰度矩阵的平均灰度值，将所述简化灰度矩阵中大于或等于所述平均灰度值的元素设置为1，小于所述平均灰度值的元素设置为0，根据所述简化灰度矩阵中修改后的元素按照一定的顺序排列形成由M乘N位hash值组成的图片摘要；对比所述第二待测图像的图片摘要和所述第三待测图像的图片摘要中的对应元素是否相同，若不相同的元素的个数小于或等于第一预设个数，则确定所述第二待测图像和所述第三待测图像相似。
图4是本发明第四实施例的明厨亮灶设备的故障识别装置的结构示意图。如图4所示，该明厨亮灶设备的故障识别装置40包括处理器41及和处理器41耦接的存储器42。
存储器42存储有用于实现上述任一实施例的明厨亮灶设备的故障识别方法的程序指令。
处理器41用于执行存储器42存储的程序指令以进行明厨亮灶设备的故障识别。
其中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图5，图5为本发明第五实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有明厨亮灶设备的故障识别方法的程序指令51，其中，该程序指令51可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。
以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
Claims (10)
1.一种明厨亮灶设备的故障识别方法，所述明厨亮灶设备包括分别设于餐厅不同位置的多个摄像头，其特征在于，包括：
获取所述摄像头的实时视频流中不连续的任意多帧图像；
从所述任意多帧图像中获取第一待测图像，检测所述第一待测图像是否为异常显示图像，得到第一检测结果，其中，所述异常显示图像包括黑屏图像、蓝屏图像或花屏图像；
从所述任意多帧图像中获取第二待测图像和第三待测图像，检测所述第二待测图像和所述第三待测图像是否相似，得到第二检测结果；
从所述任意多帧图像中获取第四待测图像，获取所述第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像，得到第三检测结果；
根据所述第一检测结果、所述第二检测结果和所述第三检测结果判断所述摄像头是否发生故障。
其中，所述第一待测图像与所述第二待测图像相同或不同，所述第一待测图像与所述第四待测图像相同或不同。
2.根据权利要求1所述的明厨亮灶设备的故障识别方法，其特征在于，所述获取所述摄像头的实时视频流中不连续的任意多帧图像之前，还包括：
检测是否能获取所述摄像头的实时视频流；
若检测到能获取摄像头的实时视频流，则获取所述摄像头的实时视频流；
若检测到不能获取摄像头的实时视频流，则确定所述摄像头发生故障。
3.根据权利要求1所述的明厨亮灶设备的故障识别方法，其特征在于，所述异常显示图像包括黑屏图像或蓝屏图像；所述检测所述第一待测图像是否为异常显示图像，包括：
在所述第一待测图像的边缘区域以及中间区域分别获取多个大小相同的像素块，其中，每个所述像素块包括一个或多个像素点；
计算每个所述像素块的RGB值，基于所述RGB值确定任意两个不同的所述像素块是否相似；
若相似的所述像素块的数量占所述像素块的总数的百分比大于或等于预设百分比，则判断所述第一待测图像为异常显示图像中的黑屏图像或蓝屏图像。
4.根据权利要求1所述的明厨亮灶设备的故障识别方法，其特征在于，所述异常显示图像包括花屏图像；所述检测所述第一待测图像是否为异常显示图像，包括：
将所述第一待测图像进行灰度化处理，得到对应的灰度图；
对所述灰度图进行缩小处理，得到缩小后的灰度图；
获取所述缩小后的灰度图上的垂直方向上的每行像素值的方差；
基于相邻的两行像素值的方差，判断是否存在像素值的方差突变的行；
若是，则判断所述第一待测图像为异常显示图像中的花屏图像。
5.根据权利要求1所述的明厨亮灶设备的故障识别方法，其特征在于，所述检测所述第二待测图像和所述第三待测图像是否相似，包括：
将所述第二待测图像和所述第三待测图像分别进行灰度化处理，得到对应的灰度图；
将所述灰度图进行归一化处理，得到预设尺寸的灰度图像；
获取所述灰度图像的M乘N的灰度矩阵；
将所述灰度矩阵中的每个灰度值按照预设比例进行缩小，以将所述灰度图像的灰度简化，得到简化灰度矩阵；
计算所述简化灰度矩阵的平均灰度值，将所述简化灰度矩阵中大于或等于所述平均灰度值的元素设置为1，小于所述平均灰度值的元素设置为0，根据所述简化灰度矩阵中修改后的元素按照一定的顺序排列形成由M乘N位hash值组成的图片摘要；
对比所述第二待测图像的图片摘要和所述第三待测图像的图片摘要中的对应元素是否相同，若不相同的元素的个数小于或等于第一预设个数，则确定所述第二待测图像和所述第三待测图像相似。
6.根据权利要求1所述的明厨亮灶设备的故障识别方法，其特征在于，所述获取所述摄像头的实时视频流中不连续的任意多帧图像之后，还包括：
将所述任意多帧图像上传至区块链中，以使得所述区块链对所述任意多帧图像进行加密存储。
7.根据权利要求1所述的明厨亮灶设备的故障识别方法，其特征在于，所述分别获取所述第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像，包括：
根据所述实时视频流的长度设置一时间长度阈值；
分别获取所述第四待测图像的拍摄时间以及服务器的系统时间；
获取所述系统时间与所述拍摄时间的时间差；
当所述时间差大于或等于所述时间长度阈值时，判断所述第四待测图像为过期图像。
8.一种明厨亮灶设备的故障识别装置，其特征在于，包括：
图像抽取模块，用于获取所述摄像头的实时视频流中不连续的任意多帧图像；
异常显示检测模块，用于从所述任意多帧图像中获取第一待测图像，检测所述第一待测图像是否为异常显示图像，得到第一检测结果，其中，所述异常显示图像包括黑屏图像、蓝屏图像或花屏图像；
卡顿检测模块，用于从所述任意多帧图像中获取第二待测图像和第三待测图像，检测所述第二待测图像和所述第三待测图像是否相似，得到第二检测结果；
超时检测模块，用于从所述任意多帧图像中获取第四待测图像，获取所述第四待测图像的拍摄时间以及服务器的系统时间，根据所述拍摄时间和所述系统时间判断所述第四待测图像是否为过期图像，得到第三检测结果；
故障识别模块，用于根据所述第一检测结果、所述第二检测结果和所述第三检测结果判断所述摄像头是否发生故障；
其中，所述第一待测图像与所述第二待测图像相同或不同，所述第一待测图像与所述第四待测图像相同或不同。
9.一种明厨亮灶设备的故障识别装置，其特征在于，所述装置包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有程序指令；所述处理器用于执行所述存储器存储的所述程序指令以执行权利要求1至7中任一项的明厨亮灶设备的故障识别方法。
10.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被处理器执行时，实现权利要求1至7中任一项的明厨亮灶设备的故障识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011006317.8A CN112153373A (zh) | 2020-09-23 | 2020-09-23 | 明厨亮灶设备的故障识别方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011006317.8A CN112153373A (zh) | 2020-09-23 | 2020-09-23 | 明厨亮灶设备的故障识别方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112153373A true CN112153373A (zh) | 2020-12-29 |
Family
ID=73897675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011006317.8A Pending CN112153373A (zh) | 2020-09-23 | 2020-09-23 | 明厨亮灶设备的故障识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112153373A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112511821A (zh) * | 2021-02-03 | 2021-03-16 | 腾讯科技（深圳）有限公司 | 视频卡顿检测方法、装置和存储介质 |
| CN113640597A (zh) * | 2021-07-16 | 2021-11-12 | 瑞芯微电子股份有限公司 | 一种检测智慧空间设备的方法、存储设备和检测设备的方法、系统 |
| CN113660483A (zh) * | 2021-08-05 | 2021-11-16 | 北京飞讯数码科技有限公司 | 一种视频播放质量的实时监控方法、装置和计算机设备 |
| CN115019253A (zh) * | 2022-06-08 | 2022-09-06 | 北京亚洲卫星通信技术有限公司 | 一种基于云计算大数据分析的智慧明厨亮灶管理系统 |
| CN115331155A (zh) * | 2022-10-14 | 2022-11-11 | 智慧齐鲁(山东)大数据科技有限公司 | 一种海量视频监控点位出图状态检测方法及系统 |
| CN118334866A (zh) * | 2024-06-12 | 2024-07-12 | 广东工业大学 | 一种基于视频ai分析的交通流量预测系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107094249A (zh) * | 2017-03-31 | 2017-08-25 | 腾讯科技（上海）有限公司 | 一种测试摄像头延时的方法及装置 |
| CN107123127A (zh) * | 2017-04-27 | 2017-09-01 | 北京京东尚科信息技术有限公司 | 一种图像主体提取方法及装置 |
| CN107465881A (zh) * | 2017-09-30 | 2017-12-12 | 努比亚技术有限公司 | 一种双摄像头对焦方法、移动终端以及计算机可读存储介质 |
| CN108495120A (zh) * | 2018-01-31 | 2018-09-04 | 华为技术有限公司 | 一种视频帧检测、处理方法、装置及系统 |
| CN109005457A (zh) * | 2018-09-19 | 2018-12-14 | 腾讯科技（北京）有限公司 | 黑屏检测方法、装置、计算机设备及存储介质 |
| CN109167997A (zh) * | 2017-03-30 | 2019-01-08 | 安徽四创电子股份有限公司 | 一种视频质量诊断系统及方法 |
| CN110896471A (zh) * | 2018-09-13 | 2020-03-20 | 广州弘度信息科技有限公司 | 一种基于图像处理检测视频传输丢包的方法 |
| CN111405273A (zh) * | 2020-03-02 | 2020-07-10 | 深圳奇迹智慧网络有限公司 | 摄像头运维方法和系统 |
-
2020
- 2020-09-23 CN CN202011006317.8A patent/CN112153373A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109167997A (zh) * | 2017-03-30 | 2019-01-08 | 安徽四创电子股份有限公司 | 一种视频质量诊断系统及方法 |
| CN107094249A (zh) * | 2017-03-31 | 2017-08-25 | 腾讯科技（上海）有限公司 | 一种测试摄像头延时的方法及装置 |
| CN107123127A (zh) * | 2017-04-27 | 2017-09-01 | 北京京东尚科信息技术有限公司 | 一种图像主体提取方法及装置 |
| CN107465881A (zh) * | 2017-09-30 | 2017-12-12 | 努比亚技术有限公司 | 一种双摄像头对焦方法、移动终端以及计算机可读存储介质 |
| CN108495120A (zh) * | 2018-01-31 | 2018-09-04 | 华为技术有限公司 | 一种视频帧检测、处理方法、装置及系统 |
| CN110896471A (zh) * | 2018-09-13 | 2020-03-20 | 广州弘度信息科技有限公司 | 一种基于图像处理检测视频传输丢包的方法 |
| CN109005457A (zh) * | 2018-09-19 | 2018-12-14 | 腾讯科技（北京）有限公司 | 黑屏检测方法、装置、计算机设备及存储介质 |
| CN111405273A (zh) * | 2020-03-02 | 2020-07-10 | 深圳奇迹智慧网络有限公司 | 摄像头运维方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘凯伦等: "基于图像感知哈希的运动目标跟踪", 《电脑知识与技术》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112511821A (zh) * | 2021-02-03 | 2021-03-16 | 腾讯科技（深圳）有限公司 | 视频卡顿检测方法、装置和存储介质 |
| CN113640597A (zh) * | 2021-07-16 | 2021-11-12 | 瑞芯微电子股份有限公司 | 一种检测智慧空间设备的方法、存储设备和检测设备的方法、系统 |
| CN113660483A (zh) * | 2021-08-05 | 2021-11-16 | 北京飞讯数码科技有限公司 | 一种视频播放质量的实时监控方法、装置和计算机设备 |
| CN113660483B (zh) * | 2021-08-05 | 2024-09-10 | 北京飞讯数码科技有限公司 | 一种视频播放质量的实时监控方法、装置和计算机设备 |
| CN115019253A (zh) * | 2022-06-08 | 2022-09-06 | 北京亚洲卫星通信技术有限公司 | 一种基于云计算大数据分析的智慧明厨亮灶管理系统 |
| CN115019253B (zh) * | 2022-06-08 | 2023-01-17 | 北京亚洲卫星通信技术有限公司 | 一种基于云计算大数据分析的智慧明厨亮灶管理系统 |
| CN115331155A (zh) * | 2022-10-14 | 2022-11-11 | 智慧齐鲁(山东)大数据科技有限公司 | 一种海量视频监控点位出图状态检测方法及系统 |
| CN115331155B (zh) * | 2022-10-14 | 2023-02-03 | 智慧齐鲁(山东)大数据科技有限公司 | 一种海量视频监控点位出图状态检测方法及系统 |
| CN118334866A (zh) * | 2024-06-12 | 2024-07-12 | 广东工业大学 | 一种基于视频ai分析的交通流量预测系统 |
| CN118334866B (zh) * | 2024-06-12 | 2024-09-03 | 广东工业大学 | 一种基于视频ai分析的交通流量预测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112153373A (zh) | 明厨亮灶设备的故障识别方法、装置及存储介质 | |
| CN108846365B (zh) | 视频中打架行为的检测方法、装置、存储介质及处理器 | |
| JP5669082B2 (ja) | 照合装置 | |
| CN108304816B (zh) | 身份识别方法、装置、存储介质及电子设备 | |
| CN110390229B (zh) | 一种人脸图片筛选方法、装置、电子设备及存储介质 | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| CN101316371B (zh) | 火焰侦测方法及装置 | |
| CN111951258A (zh) | 一种基于边缘计算的货架缺货预警分析系统及方法 | |
| JP2013214143A (ja) | 車両異常管理装置、車両異常管理システム、車両異常管理方法、及びプログラム | |
| CN1845607A (zh) | 基于视频监控与图像识别的电力变压器风机状态识别方法 | |
| CN114840286B (zh) | 基于大数据的业务处理方法及服务器 | |
| CN110796014A (zh) | 垃圾投放习惯分析方法、系统、装置及存储介质 | |
| CN114222163A (zh) | 一种营业厅智能视频分析系统 | |
| CN117854402A (zh) | 显示屏的异常显示检测方法、装置、终端设备 | |
| CN109614893B (zh) | 基于情境推理的异常行为行踪智能识别方法及装置 | |
| CN111818331B (zh) | 弹幕显示流畅性的检测方法、装置、设备和介质 | |
| CN114973135A (zh) | 一种基于头肩的时序视频睡岗识别方法、系统及电子设备 | |
| CN108875572A (zh) | 基于背景抑制的行人重识别方法 | |
| CN111402189B (zh) | 一种视频图像偏色检测装置及方法 | |
| CN115552483A (zh) | 一种数据收集方法、装置、设备及存储介质 | |
| CN113160012A (zh) | 一种基于深度学习的计算机在线考试监考方法 | |
| CN111882536A (zh) | 一种基于图片对比实现散货数量监测的方法 | |
| CN115100597B (zh) | 双录场景下人数清点和跟踪的方法、服务器及系统 | |
| CN113361410B (zh) | 一种基于网格聚类的小孩检测框过滤算法 | |
| CN117496201B (zh) | 一种用于电子烟、雾化器和电池杆的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |
|
| RJ01 | Rejection of invention patent application after publication |