CN112949382A - 摄像头移动的检测方法及设备、电子设备 - Google Patents

摄像头移动的检测方法及设备、电子设备 Download PDF

Info

Publication number
CN112949382A
CN112949382A CN202110086807.1A CN202110086807A CN112949382A CN 112949382 A CN112949382 A CN 112949382A CN 202110086807 A CN202110086807 A CN 202110086807A CN 112949382 A CN112949382 A CN 112949382A
Authority
CN
China
Prior art keywords
image
current image
key points
determining
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110086807.1A
Other languages
English (en)
Inventor
陈航
王露
朱烽
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110086807.1A priority Critical patent/CN112949382A/zh
Publication of CN112949382A publication Critical patent/CN112949382A/zh
Priority to PCT/CN2021/129969 priority patent/WO2022156319A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种摄像头移动的检测方法及设备，所述方法包括：基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点；根据所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对；基于所述关键点匹配对确定所述摄像头是否发生移动。

Description

摄像头移动的检测方法及设备、电子设备
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种摄像头移动的检测方法及设备、电子设备。
背景技术
在安防领域，通常通过摄像摄像头获取视觉信息；在一些场景下，要求摄像头的位置、朝向和高度等因素保持稳定，避免图像中的场景发生移动；因此需要检测摄像头的移动性。
申请内容
为解决上述技术问题，本申请实施例提供了一种摄像头移动的检测方法及设备、计算机程序产品、存储介质、电子设备。
本申请实施例提供的摄像头移动的检测方法，包括：
基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点；
根据所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对；
基于所述关键点匹配对确定所述摄像头是否发生移动。
本申请一可选实施方式中，所述基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点，包括：
以所述历史图像作为所述神经网络模型的输入，将所述神经网络模型输出的第一检测矩阵中每个位置的值与第一阈值比较，确定所述值大于所述第一阈值的所述第一检测矩阵中的位置所对应的所述历史图像上的位置为所述历史图像的关键点；
以所述当前图像作为所述神经网络模型的输入，将所述神经网络模型输出的第二检测矩阵中每个位置的值与所述第一阈值比较，确定所述值大于所述第一阈值的所述第二检测矩阵中的位置所对应的所述当前图像上的位置为所述当前图像的关键点。
本申请一可选实施方式中，所述基于所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对包括：
利用所述历史图像的关键点的位置，对所述神经网络模型输出的第一特征矩阵采样，得到所述历史图像的关键点的第一特征；
利用所述当前图像的关键点的位置，对所述神经网络模型输出的第二特征矩阵采样，得到所述当前图像的关键点的第二特征；
基于所述第一特征和所述第二特征，确定所述历史图像的关键点与所述当前图像的关键点的相似度；
确定所述相似度满足第二阈值的所述历史图像的关键点和所述当前图像的关键点为所述关键点匹配对。
本申请一可选实施方式中，所述确定所述相似度满足第二阈值的所述历史图像的关键点和所述当前图像的关键点为所述关键点匹配对，包括：
若确定所述当前图像中与所述历史图像的第一关键点相似度最高的点为第二关键点，且确定所述历史图像中与所述第二关键点相似度最高的点为所述第一关键点，且所述第一关键点与所述第二关键点的相似度不小于第二阈值，则确定所述第一关键点和所述第二关键点为关键点匹配对。
本申请一可选实施方式中，所述基于所述第一特征和所述第二特征，确定所述历史图像的关键点与所述当前图像的关键点的相似度包括：
基于所述第一特征确定第一矩阵，基于所述第二特征确定第二矩阵；
基于所述第一矩阵与所述第二矩阵的转置矩阵的乘积确定相似度矩阵，所述相似度矩阵中第i行第j列的值为所述历史图像的第i个关键点与所述当前图像的第j个关键点的相似度；
其中，所述第一矩阵的行数等于所述历史图像的关键点的个数，所述第二矩阵的行数等于所述当前图像的关键点的个数，所述第一矩阵和所述第二矩阵的列数均等于特征长度。
本申请一可选实施方式中，所述基于所述关键点匹配对确定所述摄像头是否发生移动，包括：
获取全部关键点匹配对的欧式距离；
确定所述全部关键点匹配对的欧式距离的平均值；
将所述平均值与第三阈值进行比较，在所述平均值大于所述第三阈值的情况下，确定所述摄像头发生移动。
本申请一可选实施方式中，所述基于所述平均值确定所述摄像头是否发生移动，包括：
在所述平均值小于或等于所述第三阈值的情况下，确定所述摄像头未发生移动。
本申请一可选实施方式中，所述确定关键点匹配对之前，所述方法还包括：
对所述历史图像和/或所述当前图像的关键点进行过滤。
本申请一可选实施方式中，所述对所述历史图像和/或所述当前图像的关键点进行过滤，包括：
按照所述历史图像和/或所述当前图像对应的检测矩阵在关键点处的值降序的顺序遍历所述历史图像和/或所述当前图像的关键点，以所述历史图像和/或所述当前图像的每个关键点为中心，删除位于中心的关键点周围第一区域内的关键点；所述第一区域为大小为第一像素乘以第一像素的区域。
本申请一可选实施方式中，所述对所述历史图像和/或所述当前图像的关键点进行过滤，包括：
确定所述历史图像和/或所述当前图像的第二区域；
删除位于所述第二区域的关键点，所述第二区域至少包括：
边缘区域和/或水印区域。
本申请实施例提供的摄像头移动的检测设备，包括：
获取单元，用于基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点；
第一确定单元，用于根据所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对；
第二确定单元，用于基于所述关键点匹配对确定所述摄像头是否发生移动。
本申请一可选实施方式中，所述获取单元，用于以所述历史图像作为所述神经网络模型的输入，将所述神经网络模型输出的第一检测矩阵中每个位置的值与第一阈值比较，确定所述值大于所述第一阈值的所述第一检测矩阵中的位置所对应的所述历史图像上的位置为所述历史图像的关键点；
以所述当前图像作为所述神经网络模型的输入，将所述神经网络模型输出的第二检测矩阵中每个位置的值与所述第一阈值比较，确定所述值大于所述第一阈值的所述第二检测矩阵中的位置所对应的所述当前图像上的位置为所述当前图像的关键点。
本申请一可选实施方式中，所述第一确定单元，用于利用所述历史图像的关键点的位置，对所述神经网络模型输出的第一特征矩阵采样，得到所述历史图像的关键点的第一特征；
利用所述当前图像的关键点的位置，对所述神经网络模型输出的第二特征矩阵采样，得到所述当前图像的关键点的第二特征；
基于所述第一特征和所述第二特征，确定所述历史图像的关键点与所述当前图像的关键点的相似度；
确定所述相似度满足第二阈值的所述历史图像的关键点和所述当前图像的关键点为所述关键点匹配对。
本申请一可选实施方式中，所述第一确定单元，用于确定所述当前图像中与所述历史图像的第一关键点相似度最高的点为第二关键点；
确定所述历史图像中与所述第二关键点相似度最高的点为所述第一关键点；
所述第一关键点与所述第二关键点的相似度不小于第二阈值。
本申请一可选实施方式中，所述第一确定单元，用于基于所述第一特征确定第一矩阵，基于所述第二特征确定第二矩阵；
基于所述第一矩阵与所述第二矩阵的转置矩阵的乘积确定相似度矩阵，所述相似度矩阵中第i行第j列的值为所述历史图像的第i个关键点与所述当前图像的第j个关键点的相似度；
其中，所述第一矩阵的行数等于所述历史图像的关键点的个数，所述第二矩阵的行数等于所述当前图像的关键点的个数，所述第一矩阵和所述第二矩阵的列数均等于特征长度。
本申请一可选实施方式中，所述第二确定单元，用于获取全部关键点匹配对的欧式距离；
确定所述全部关键点匹配对的欧式距离的平均值；
将所述平均值与第三阈值进行比较，在所述平均值大于所述第三阈值的情况下，确定所述摄像头发生移动。
本申请一可选实施方式中，所述第二确定单元，用于在所述平均值小于或等于所述第三阈值的情况下，确定所述摄像头未发生移动。
本申请一可选实施方式中，所述设备还包括：
过滤单元，用于对所述历史图像和/或所述当前图像的关键点进行过滤。
本申请一可选实施方式中，所述过滤单元，用于按照所述历史图像和/或所述当前图像对应的检测矩阵在关键点处的值降序的顺序遍历所述历史图像和/或所述当前图像的关键点，以所述历史图像和/或所述当前图像的每个关键点为中心，删除位于中心的关键点周围第一区域内的关键点；所述第一区域为大小为第一像素乘以第一像素的区域。
本申请一可选实施方式中，所述过滤单元，用于确定所述历史图像和/或所述当前图像的第二区域；
删除位于所述第二区域的关键点。
本申请一可选实施方式中，所述第二区域至少包括：
边缘区域和/或水印区域。
本申请实施例提供的计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的摄像头移动的检测方法。
本申请实施例提供的存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的摄像头移动的检测方法。
本申请实施例提供的电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的摄像头移动的检测方法。
本申请实施例提供的摄像头移动的检测方法中，摄像头移动的检测设备基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点，根据所述历史图像的关键点和所述当前图像的关键点确定关键点匹配对，基于所述关键点匹配对确定所述摄像头是否发生移动。如此，通过基于神经网络模型能够更准确地获取关键点和确定关键点的特征，进而提高摄像头移动的检测的准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附附图，作详细说明如下。
附图说明
图1为本申请实施例提供的摄像头移动的检测方法的流程示意图；
图2为本申请实施例提供的神经网络模型的结构示意图；
图3为本申请实施例提供的基于所述关键点匹配对确定所述摄像头是否发生移动的处理流程示意图；
图4为本申请实施例提供的摄像头移动的检测设备的结构组成示意图；
图5为本申请实施例的电子设备的结构组成示意图。
具体实施方式
在对本申请实施例进行详细描述之前，对检测摄像头的移动进行简要说明。
摄像头在使用过程中，由于天气影响、设备老化以及人为操作等原因可能会导致摄像头发生移动，如摄像头的位置、朝向和高度等发生移动。而在一些场景下，要求摄像头的安装状态保持稳定，因此需要检测摄像头的移动性。
检测摄像头的移动性的一种可实现方式是利用传统的MOG背景相减法，对场景进行建模；场景模型被在线训练更新。或者，将摄像头拍摄的图像的特征点进行K-mean聚类，计算每个类中心的运动矢量，统计运动矢量为零的类中心的数量。或者，提取摄像头拍摄的图像的SIFT特征，并根据SIFT特征进行特征点的匹配，利用匹配的特征点的移动程度判断摄像头是否移动。或者，先利用MOG进行背景构建，更新背景帧，再利用背景差分法来统计前景点的个数。
但是，申请人在实施检测摄像头的移动性的过程中发现，利用MOG进行背景构建时容易受到光照的影响。利用传统的SIFT特征进行特征点匹配时，计算精度差。
基于此，本申请将神经网络模型引入到摄像头的移动性检测中，提出一种基于深度学习的监控摄像头的移动性检测方法。
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
下面对本申请实施例所涉及的一种摄像头移动的检测方法进行详细介绍，本申请实施例所提供的摄像头移动的检测方法的执行主体可以为上述AR设备，也可以为其它具有数据处理能力的处理装置，本申请实施例中不作限定。
参见图1所示，为本申请实施例所提供的一种摄像头移动的检测方法的流程示意图，包括以下几个步骤：
S101、基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点。
S102、根据所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对。
S103、基于所述关键点匹配对确定所述摄像头是否发生移动。
下面对上述S101～S103的过程进行具体分析。
针对上述S101，历史图像是摄像头在当前时刻之前的第一时间间隔拍摄的图像，所述第一时间间隔可根据实际的应用场景灵活设定；当前图像是摄像头在当前时刻拍摄的图像，当前图像与历史图像是针对同一场景在不同时刻分别拍摄的图片。神经网络模型可以是基于深度学习框架来构建和测试得到的，所述神经网络模型可以是卷积神经网络模型。所述神经网络模型的结构，如图2所示，所述神经网络模型的输入为一幅图像，所述神经网络模型的输出包括检测矩阵和特征矩阵。
以输入至所述神经网络模型的图像为历史图像时，所述神经网络模型输出第一检测矩阵和第一特征矩阵为例，对获取历史图像的关键点的过程进行如下说明：将所述历史图像输入至所述神经网络模型，则将所述神经网络模型输出的第一检测矩阵中每个位置的值与第一阈值比较，比较结果中值大于所述第一阈值的所述第一检测矩阵中的位置所对应的历史图像上的位置为所述历史图像的关键点。这里，第一检测矩阵中每个位置的值也可以称为分数，第一阈值可以是预设的阈值，第一阈值可以是0.015，或者第一阈值的取值根据实际的应用场景灵活设定。若第一检测矩阵中某一个位置的值大于第一阈值，则表征第一检测矩阵中该位置对应的历史图像中的位置为历史图像的关键点。
以输入至所述神经网络模型的图像为当前图像时，所述神经网络模型输出第二检测矩阵和第二特征矩阵为例，对获取当前图像的关键点的过程进行如下说明：将所述当前图像输入至所述神经网络模型，则将所述神经网络模型输出的第二检测矩阵中每个位置的值与第一阈值比较，比较结果中值大于所述第一阈值的所述第二检测矩阵中的位置所对应的前图像上的位置为所述当前图像的关键点。这里，第二检测矩阵中每个位置的值也可以称为分数，第一阈值可以是预设的阈值，第一阈值可以是0.015，或者第一阈值的取值根据实际的应用场景灵活设定。若第二检测矩阵中某一个位置的值大于第一阈值，则表征第二检测矩阵中该位置对应的当前图像中的位置为当前图像的关键点。
在一些实施例中，第一检测矩阵和第二检测矩阵的大小均为H*W，第一特征矩阵和第二特征矩阵的大小均为256*H*W。其中，H为历史图片或当前图片的高度，W为历史图片或当前图片的宽度，256为每个位置的特征的维度。
针对上述S102，摄像头移动的检测设备可以根据历史图像的关键点和当前图像的关键点的相似度，确定关键点匹配对。在具体实施时，若所述当前图像中与所述历史图像的第一关键点相似度最高的点为第二关键点，且所述历史图像中与所述第二关键点相似度最高的点为所述第一关键点，且所述第一关键点与所述第二关键点的相似度不小于第二阈值，则确定所述第一关键点和所述第二关键点为关键点匹配对。其中，所述第二阈值为预先设定的，或根据实际的应用场景灵活设定；在一些实施例中，可以设置所述第二阈值的值为0.875。
在确定历史图像的关键点和当前图像的关键点的相似度时，可以先利用所述历史图像的关键点的位置，对所述神经网络模型输出的第一特征矩阵采样，得到所述历史图像的关键点的第一特征；利用所述当前图像的关键点的位置，对所述神经网络模型输出的第二特征矩阵采样，得到所述当前图像的关键点的第二特征。再基于所述第一特征和所述第二特征确定所述历史图像的关键点与所述当前图像的关键点的相似度。
针对确定历史图像的关键点和当前图像的关键点的相似度的过程，在具体实施时，可以先将每个关键点的特征进行标准化；如对历史图像的每个关键点的第一特征进行标准化，对当前图像的每个关键点的第二特征进行标准化；在一些实施例中，每个关键点的特征维度可以为256，即历史图像的每个关键点的第一特征有256个，当前图像的每个关键点的第一特征有256个。对每个关键点的特征进行标准化即为计算出每个关键点的特征的模，再将256个特征都除以特征的模长。对每个关键点的特征进行标准化的公式如下所示：
Figure BDA0002911161450000101
其中，x'为标准化后的关键点的特征，x为标准化前的关键点的特征，||x||为特征的模长。
上述对第一特征和第二特征分别进行标准化之后，首先可以基于标准化后的第一特征确定第一矩阵，用矩阵A表示；基于标准化后的第二特征确定第二矩阵，用矩阵B表示。其中，A为n行d列的矩阵，B为m行d列的矩阵，n为历史图像的关键点个数，m为当前图像的关键点个数，d为特征长度，且第一特征和第二特征的特征长度相同；本实施例中以特征长度为256进行举例。第一矩阵(矩阵A)和第二矩阵(矩阵B)的每一行分别存储了其中一个关键点的特征向量，则基于所述第一矩阵与所述第二矩阵的转置矩阵的乘积可以确定相似度矩阵，用矩阵D表示。则相似度矩阵可以表示为：D＝ABT；其中，矩阵D为n行m列的矩阵，矩阵D的第i行第j列的值为历史图像中第i个关键点与当前图像中第j个关键点的余弦相似度。
针对上述S103，基于所述关键点匹配对确定所述摄像头是否发生移动的可选实现流程，如图3所示，可以包括如下步骤：
步骤a，获取全部关键点匹配对的欧式距离。
在一些实施例中，若历史图像与当前图像共有N个关键点匹配对，则计算N个关键点匹配对的欧式距离。
步骤b，确定全部关键点匹配对的欧式距离的平均值。
在一些实施例中，通过计算N个关键点匹配对的欧式距离之和与N的商，得到全部关键点匹配对的欧式距离的平均值。
步骤c，将所述平均值与第三阈值进行比较；在所述平均值大于所述第三阈值的情况下，确定所述摄像头发生移动；在所述平均值小于或等于所述第三阈值的情况下，确定所述摄像头未发生移动。
其中，所述第三阈值为预先设置的值，所述第三阈值也可以根据实际的应用场景灵活设置。
本申请实施例中，在步骤S102确定关键点匹配对之前，所述方法还可以包括：
步骤S100，对所述历史图像和/或所述当前图像的关键点进行过滤。
在一些实施例中，可根据实际的情况仅对历史图像的关键点进行过滤，也可以进对当前图像的关键点进行过滤，还可以既对历史图像的关键点进行过滤，又对当前图像的关键点进行过滤。
在一些实施例中，对关键点进行过滤可以包括下述中的至少一种：过滤第二区域的关键点、过滤关键点周围第一区域内的关键点；下面分别进行说明：
针对过滤关键点周围第一区域内的关键点，以历史图像为例，按照历史图像对应的第一检测矩阵在关键点处的值降序的顺序遍历所述历史图像的关键点，以所述历史图像的每个关键点为中心，删除位于中心的关键点周围第一区域内的关键点。举例来说，历史图像的关键点包括P个，则按照历史图像对应的第一检测矩阵中P个关键点对应的值由大到小的顺序，遍历所述历史图像的关键点；即从值最高的关键点开始，以该关键点为中心，删除位于该关键点周围第一区域内的关键点；再以次高值的关键点为中心，删除位于该关键点周围第一区域内的关键点；以此类推。在一些实施例中，所述第一区域为大小为第一像素乘以第一像素的区域；在具体实施时可以设置第一区域的大小为8像素*8像素，所述第一区域的大小也可以根据实际的应用场景灵活设定。如此，通过删除关键点周围第一区域内的关键点，能够节省关键点匹配对的计算量。上述仅以历史图像为例过滤关键点周围第一区域内的关键点进行说明，在实际应用中，对当前图像过滤关键点周围第一区域内的关键点的处理过程相似，这里不再赘述。
针对过滤第二区域的关键点，第二区域可以是所述历史图像和/或所述当前图像的边缘区域，第二区域也可以是所述历史图像和/或所述当前图像的水印区域，第二区域还可以是所述历史图像和/或所述当前图像的边缘区域、以及所述历史图像和/或所述当前图像的水印区域。
以第二区域为历史图像的边缘区域为例，过滤历史图像的第二区域的关键点的具体实现过程可以是：确定所述历史图像的边缘区域，删除所述历史图像的边缘区域的关键点。在具体实施时，所述边缘区域的大小可根据实际的应用场景灵活设定，如设置边缘区域的边缘宽度为4像素；其中，边缘区域为一幅图像中靠近外侧的区域，通常边缘区域包括的有效信息量比较少。
以第二区域为历史图像的水印区域为例，过滤历史图像的第二区域的关键点的具体实现过程可以是：确定所述历史图像的水印区域，删除所述历史图像的水印区域的关键点。在具体实施时，一幅图像的水印区域可能达到十几个、二十几个甚至更多；通常一个汉字、或一个字符、或一个数字生成一个水印区域，为了节省计算量，可将全部水印区域合并为一个总的水印区域，再针对关键点逐个判断关键点是否位于水印区域内；若关键点位于水印区域内，则水印区域会覆盖部分关键点，进而影响关键点的匹配效果，因此，可将水印区域内的关键点过滤。其中，在摄像头采集的图像中通常会包括日期、或时间、或地点、或摄像头编号等水印，因此，图像中包括水印的区域称为水印区域。
本申请实施例中，通过对关键点进行过滤，能够有效地减少关键点匹配过程中的计算量，提高关键点匹配的效率。
本申请实施例中，获取针对同一场景的两幅图像(历史图像和当前图像)的关键点，根据所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对；获取全部关键点匹配对的欧式距离的平均值；将所述平均值与第三阈值进行比较，在所述平均值大于所述第三阈值的情况下，确定所述摄像头发生移动；在所述平均值小于或等于所述第三阈值的情况下，确定所述摄像头未发生移动。如此，仅需要获取针对同一场景的历史图像和当前图像能够确定出采集所述历史图像和所述当前图像的摄像头是否发生了移动，相比较现有技术中需要依赖整个视频的输入才能够确定摄像头是否发生了移动，能够降低计算量，提高确定摄像头是否发生移动的效率。
本申请实施例中，通过深度学习框架来构建和测试神经网络模型，基于神经网络模型能够更准确地获取关键点和确定关键点的特征，提高了摄像头移动的检测的准确性。
基于上述对本申请实施例提供的摄像头移动的检测方法的说明，本申请实施例提供的摄像头移动的检测方法至少可以应用于图像分类、物体检测、目标跟踪、智能视频分析、安防监控等场景。
为实现本申请实施例提供的上述摄像头移动的检测方法，本申请实施例还提供一种摄像头移动的检测设备，图4为本申请实施例提供的摄像头移动的检测设备400的结构组成示意图，所述设备包括：
获取单元401，用于基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点；
第一确定单元402，用于根据所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对；
第二确定单元403，用于基于所述关键点匹配对确定所述摄像头是否发生移动。
本申请一可选实施方式中，所述获取单元401，用于以所述历史图像作为所述神经网络模型的输入，将所述神经网络模型输出的第一检测矩阵中每个位置的值与第一阈值比较，确定所述值大于所述第一阈值的所述第一检测矩阵中的位置所对应的所述历史图像上的位置为所述历史图像的关键点；
以所述当前图像作为所述神经网络模型的输入，将所述神经网络模型输出的第二检测矩阵中每个位置的值与所述第一阈值比较，确定所述值大于所述第一阈值的所述第二检测矩阵中的位置所对应的所述当前图像上的位置为所述当前图像的关键点。
本申请一可选实施方式中，所述第一确定单元402，用于利用所述历史图像的关键点的位置，对所述神经网络模型输出的第一特征矩阵采样，得到所述历史图像的关键点的第一特征；
利用所述当前图像的关键点的位置，对所述神经网络模型输出的第二特征矩阵采样，得到所述当前图像的关键点的第二特征；
基于所述第一特征和所述第二特征确定所述历史图像的关键点与所述当前图像的关键点的相似度；
确定所述相似度满足第二阈值的所述历史图像的关键点和所述当前图像的关键点为所述关键点匹配对。
本申请一可选实施方式中，所述第一确定单元402，用于在确定所述当前图像中与所述历史图像的第一关键点相似度最高的点为第二关键点，且确定所述历史图像中与所述第二关键点相似度最高的点为所述第一关键点，且所述第一关键点与所述第二关键点的相似度不小于第二阈值的情况下，确定所述第一关键点和所述第二关键点为关键点匹配对。
本申请一可选实施方式中，所述第一确定单元402，用于基于所述第一特征确定第一矩阵，基于所述第二特征确定第二矩阵；
基于所述第一矩阵与所述第二矩阵的转置矩阵的乘积确定相似度矩阵，所述相似度矩阵中第i行第j列的值为所述历史图像的第i个关键点与所述当前图像的第j个关键点的相似度；
其中，所述第一矩阵的行数等于所述历史图像的关键点的个数，所述第二矩阵的行数等于所述当前图像的关键点的个数，所述第一矩阵和所述第二矩阵的列数均等于特征长度。
本申请一可选实施方式中，所述第二确定单元403，用于获取全部关键点匹配对的欧式距离；
确定所述全部关键点匹配对的欧式距离的平均值；
将所述平均值与第三阈值进行比较，在所述平均值大于所述第三阈值的情况下，确定所述摄像头发生移动。
本申请一可选实施方式中，所述第二确定单元403，用于在所述平均值小于或等于所述第三阈值的情况下，确定所述摄像头未发生移动。
本申请一可选实施方式中，所述设备还包括：
过滤单元404，用于对所述历史图像和/或所述当前图像的关键点进行过滤。
本申请一可选实施方式中，所述过滤单元404，用于按照所述历史图像和/或所述当前图像对应的检测矩阵在关键点处的值降序的顺序遍历所述历史图像和/或所述当前图像的关键点，以所述历史图像和/或所述当前图像的每个关键点为中心，删除位于中心的关键点周围第一区域内的关键点，所述第一区域为大小为第一像素乘以第一像素的区域。
本申请一可选实施方式中，所述过滤单元404，用于确定所述历史图像和/或所述当前图像的第二区域；
删除位于所述第二区域的关键点，所述第二区域至少包括：边缘区域和/或水印区域。
需要说明的是，本申请实施例中的摄像头可以是红外摄像仪、或录像机等具有摄像或录像功能的图像采集设备，本申请实施例中的摄像头还可以是手机、电脑、可穿戴设备等具有图像采集功能的电子设备。本社情实施例提供的检测摄像头移动性的设备可以是具有计算能力和/或信息处理能力的电子设备。
本领域技术人员应当理解，图4所示的摄像头移动的检测设备中的各单元的实现功能可参照前述摄像头移动的检测方法的相关描述而理解。图4所示的摄像头移动的检测设备中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
本申请实施例上述的摄像头移动的检测设备如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本申请实施例的上述的摄像头移动的检测方法。
为实现本申请实施例提供的上述摄像头移动的检测方法，本申请实施例还提供一种电子设备，图5为本申请实施例的电子设备的结构组成示意图，如图5所示，电子设备50可以包括一个或多个(图中仅示出一个)处理器502(处理器502可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable GateArray)等的处理装置)、用于存储数据的存储器504、以及用于通信功能的传输装置506。本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备50还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。
存储器504可用于存储应用软件的软件程序以及模块，如本申请实施例中的方法对应的程序指令/模块，处理器502通过运行存储在存储器504内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器504可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器504可进一步包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至电子设备50。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备50的通信供应商提供的无线网络。在一个实例中，传输装置506包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置506可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (14)

1.一种摄像头移动的检测方法，其特征在于，所述方法包括：
基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点；
根据所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对；
基于所述关键点匹配对确定所述摄像头是否发生移动。
2.根据权利要求1所述的方法，其特征在于，所述基于神经网络模型获取历史图像的关键点和当前图像的关键点，包括：
以所述历史图像作为所述神经网络模型的输入，将所述神经网络模型输出的第一检测矩阵中每个位置的值与第一阈值比较，确定所述值大于所述第一阈值的所述第一检测矩阵中的位置所对应的所述历史图像上的位置为所述历史图像的关键点；
以所述当前图像作为所述神经网络模型的输入，将所述神经网络模型输出的第二检测矩阵中每个位置的值与所述第一阈值比较，确定所述值大于所述第一阈值的所述第二检测矩阵中的位置所对应的所述当前图像上的位置为所述当前图像的关键点。
3.根据权利要求1所述的方法，其特征在于，所述基于所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对包括：
利用所述历史图像的关键点的位置，对所述神经网络模型输出的第一特征矩阵采样，得到所述历史图像的关键点的第一特征；
利用所述当前图像的关键点的位置，对所述神经网络模型输出的第二特征矩阵采样，得到所述当前图像的关键点的第二特征；
基于所述第一特征和所述第二特征，确定所述历史图像的关键点与所述当前图像的关键点的相似度；
确定所述相似度满足第二阈值的所述历史图像的关键点和所述当前图像的关键点为所述关键点匹配对。
4.根据权利要求3所述的方法，其特征在于，所述确定所述相似度满足第二阈值的所述历史图像的关键点和所述当前图像的关键点为所述关键点匹配对，包括：
若确定所述当前图像中与所述历史图像的第一关键点相似度最高的点为第二关键点，且确定所述历史图像中与所述第二关键点相似度最高的点为所述第一关键点，且所述第一关键点与所述第二关键点的相似度不小于第二阈值，则确定所述第一关键点和所述第二关键点为关键点匹配对。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征和所述第二特征，确定所述历史图像的关键点与所述当前图像的关键点的相似度包括：
基于所述第一特征确定第一矩阵，基于所述第二特征确定第二矩阵，所述第一矩阵的行数等于所述历史图像的关键点的个数，所述第二矩阵的行数等于所述当前图像的关键点的个数，所述第一矩阵和所述第二矩阵的列数均等于特征长度；
基于所述第一矩阵与所述第二矩阵的转置矩阵的乘积确定相似度矩阵，所述相似度矩阵中第i行第j列的值为所述历史图像的第i个关键点与所述当前图像的第j个关键点的相似度。
6.根据权利要求1所述的方法，其特征在于，所述基于所述关键点匹配对确定所述摄像头是否发生移动，包括：
获取全部关键点匹配对的欧式距离；
确定所述全部关键点匹配对的欧式距离的平均值；
将所述平均值与第三阈值进行比较，在所述平均值大于所述第三阈值的情况下，确定所述摄像头发生移动。
7.根据权利要求6所述的方法，其特征在于，所述基于所述关键点匹配对确定所述摄像头是否发生移动，包括：
在所述平均值小于或等于所述第三阈值的情况下，确定所述摄像头未发生移动。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述确定关键点匹配对之前，所述方法还包括：
对所述历史图像和/或所述当前图像的关键点进行过滤。
9.根据权利要求8所述的方法，其特征在于，所述对所述历史图像和/或所述当前图像的关键点进行过滤，包括：
按照所述历史图像和/或所述当前图像对应的检测矩阵在关键点处的值降序的顺序遍历所述历史图像和/或所述当前图像的关键点，以所述历史图像和/或所述当前图像的每个关键点为中心，删除位于中心的关键点周围第一区域内的关键点；
所述第一区域为大小为第一像素乘以第一像素的区域。
10.根据权利要求8所述的方法，其特征在于，所述对所述历史图像和/或所述当前图像的关键点进行过滤，包括：
确定所述历史图像和/或所述当前图像的第二区域；
删除位于所述第二区域的关键点，所述第二区域至少包括：边缘区域和/或水印区域。
11.一种摄像头移动的检测设备，其特征在于，所述检测设备包括：
获取单元，用于基于神经网络模型获取针对同一场景的历史图像的关键点和当前图像的关键点；
第一确定单元，用于根据所述历史图像的关键点和所述当前图像的关键点，确定关键点匹配对；
第二确定单元，用于基于所述关键点匹配对确定所述摄像头是否发生移动。
12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至10任一项所述的方法步骤。
13.一种存储介质，其特征在于，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现权利要求1至10任一项所述的方法步骤。
14.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至10任一项所述的方法步骤。
CN202110086807.1A 2021-01-22 2021-01-22 摄像头移动的检测方法及设备、电子设备 Pending CN112949382A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110086807.1A CN112949382A (zh) 2021-01-22 2021-01-22 摄像头移动的检测方法及设备、电子设备
PCT/CN2021/129969 WO2022156319A1 (zh) 2021-01-22 2021-11-11 摄像头移动的检测方法、设备、电子设备、存储介质和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110086807.1A CN112949382A (zh) 2021-01-22 2021-01-22 摄像头移动的检测方法及设备、电子设备

Publications (1)

Publication Number Publication Date
CN112949382A true CN112949382A (zh) 2021-06-11

Family

ID=76235936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110086807.1A Pending CN112949382A (zh) 2021-01-22 2021-01-22 摄像头移动的检测方法及设备、电子设备

Country Status (2)

Country Link
CN (1) CN112949382A (zh)
WO (1) WO2022156319A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022156319A1 (zh) * 2021-01-22 2022-07-28 深圳市商汤科技有限公司 摄像头移动的检测方法、设备、电子设备、存储介质和程序

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996184A (zh) * 2013-10-07 2014-08-20 香港应用科技研究院有限公司 增强现实应用中的可变形表面跟踪
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN108280386A (zh) * 2017-01-05 2018-07-13 浙江宇视科技有限公司 监控场景检测方法及装置
CN109255337A (zh) * 2018-09-29 2019-01-22 北京字节跳动网络技术有限公司 人脸关键点检测方法和装置
US20190156145A1 (en) * 2019-01-29 2019-05-23 Intel Corporation End to end framework for geometry-aware multi-scale keypoint detection and matching in fisheye images
CN111462188A (zh) * 2020-04-10 2020-07-28 三一重工股份有限公司 摄像头移动检测方法和系统
CN111652240A (zh) * 2019-12-18 2020-09-11 南京航空航天大学 一种基于cnn的图像局部特征检测与描述方法
CN111931766A (zh) * 2020-08-05 2020-11-13 郑州玛源网络科技有限公司 基于人工智能及bim的牛饮水槽自蓄水多视图处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634593B (zh) * 2013-12-23 2015-12-02 深圳市捷顺科技实业股份有限公司 摄像机移动检测方法和系统
JP7193006B2 (ja) * 2019-03-01 2022-12-20 日本電気株式会社 画像形成装置、判定装置、画像形成方法、及び画像形成プログラム
CN110532981B (zh) * 2019-09-03 2022-03-15 北京字节跳动网络技术有限公司 人体关键点提取方法、装置、可读存储介质及设备
CN110929638B (zh) * 2019-11-20 2023-03-07 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备
CN112949382A (zh) * 2021-01-22 2021-06-11 深圳市商汤科技有限公司 摄像头移动的检测方法及设备、电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996184A (zh) * 2013-10-07 2014-08-20 香港应用科技研究院有限公司 增强现实应用中的可变形表面跟踪
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN108280386A (zh) * 2017-01-05 2018-07-13 浙江宇视科技有限公司 监控场景检测方法及装置
CN109255337A (zh) * 2018-09-29 2019-01-22 北京字节跳动网络技术有限公司 人脸关键点检测方法和装置
US20190156145A1 (en) * 2019-01-29 2019-05-23 Intel Corporation End to end framework for geometry-aware multi-scale keypoint detection and matching in fisheye images
CN111652240A (zh) * 2019-12-18 2020-09-11 南京航空航天大学 一种基于cnn的图像局部特征检测与描述方法
CN111462188A (zh) * 2020-04-10 2020-07-28 三一重工股份有限公司 摄像头移动检测方法和系统
CN111931766A (zh) * 2020-08-05 2020-11-13 郑州玛源网络科技有限公司 基于人工智能及bim的牛饮水槽自蓄水多视图处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XUNYU PAN 等: "Region Duplication Detection Using Image Feature Matching", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 *
石祥滨 等: "一种自适应阈值分块BRISK的图像配准方法", 《沈阳航空航天大学学报》 *
陈科宇 等: "基于神经网络的移动端人脸特征点检测", 《计算机时代》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022156319A1 (zh) * 2021-01-22 2022-07-28 深圳市商汤科技有限公司 摄像头移动的检测方法、设备、电子设备、存储介质和程序

Also Published As

Publication number Publication date
WO2022156319A1 (zh) 2022-07-28

Similar Documents

Publication Publication Date Title
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN111488756B (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
CN111797653B (zh) 基于高维图像的图像标注方法和装置
CN109635686B (zh) 结合人脸与外观的两阶段行人搜索方法
US20140140583A1 (en) Image recognition apparatus and image recognition method for identifying object
Akbulut et al. Deep learning based face liveness detection in videos
WO2019102608A1 (en) Image processing device, image processing method, and image processing program
CN109815823B (zh) 数据处理方法及相关产品
CN111291612A (zh) 一种基于多人多摄像头跟踪的行人重识别方法及装置
CN111291646A (zh) 一种人流量统计方法、装置、设备及存储介质
CN111445442B (zh) 基于神经网络的人群计数方法、装置、服务器及存储介质
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
CN113918510A (zh) 图片归档方法、装置、终端设备及计算机可读存储介质
EP3647997A1 (en) Person searching method and apparatus and image processing device
Haq et al. On temporal order invariance for view-invariant action recognition
CN112949382A (zh) 摄像头移动的检测方法及设备、电子设备
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
CN114550022A (zh) 模型训练方法及装置、电子设备和可读存储介质
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN112084874A (zh) 一种物体检测方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051327

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210611