CN113158926A - 一种高空抛物轨迹判别方法、装置、设备及存储介质 - Google Patents
一种高空抛物轨迹判别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113158926A CN113158926A CN202110458487.8A CN202110458487A CN113158926A CN 113158926 A CN113158926 A CN 113158926A CN 202110458487 A CN202110458487 A CN 202110458487A CN 113158926 A CN113158926 A CN 113158926A
- Authority
- CN
- China
- Prior art keywords
- node
- list
- nodes
- parabolic
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000013138 pruning Methods 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012850 discrimination method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000009423 ventilation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 229940050494 j-max Drugs 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种高空抛物轨迹判别方法、装置、设备及存储介质，涉及图像技术领域。该高空抛物轨迹判别方法包括：接收视频流数据，并根据帧差法处理所述视频流数据，获得连通域；根据所述连通域创建节点，获得节点图列表；根据预设距离计算公式计算所述节点相互间的距离，更新所述节点图列表；根据预设条件对所述节点图列表中的所述节点进行剪枝及删除；间隔预设帧数遍历剪枝及删除处理后的所述节点图列表，并根据所述节点图列表确定抛物轨迹。该高空抛物轨迹判别方法可以实现实时监控高空抛物事件，能够判别抛物的运动轨迹，具有运算速度快、鲁棒性强的技术效果。
Description
技术领域
本申请涉及图像技术领域，具体而言，涉及一种高空抛物轨迹判别方 法、装置、设备及存储介质。
背景技术
目前，高空抛物是一种城市中较为常见的不文明现象，这种将杂物从 楼宇的窗户或天台扔出的行为，轻则污染环境卫生，重则造成严重伤人甚 至致命的后果。因此，不少地区将高空抛物列为犯罪行为。
现有技术中，传统的高空抛物监管方法主要是在抛物事件发生后调取 时间段的监控录像进行人工筛查。这种方法不仅耗时耗力，而且可能出现 漏检或录像数据被清理的情况，导致事故难以追责。因此，一系列高空抛 物智能监测方法被提出以缩减人力成本，提高监管力度。然而，这类基于 毫米波雷达、传感器、无线电信号、深度学习等技术的监测方法存在计算 耗时、设备维护昂贵、数据需求量大等问题。
发明内容
本申请实施例的目的在于提供一种高空抛物轨迹判别方法、装置、设 备及存储介质，可以实现实时监控高空抛物事件，能够判别抛物的运动轨 迹，具有运算速度快、鲁棒性强的技术效果。
第一方面，本申请实施例提供了一种高空抛物轨迹判别方法，包括：
接收视频流数据，并根据帧差法处理所述视频流数据，获得连通域；
根据所述连通域创建节点，获得节点图列表；
根据预设距离计算公式计算所述节点相互间的距离，更新所述节点图 列表；
根据预设条件对所述节点图列表中的所述节点进行剪枝及删除；
间隔预设帧数遍历剪枝及删除处理后的所述节点图列表，并根据所述 节点图列表确定抛物轨迹。
在上述实现过程中，该高空抛物轨迹判别方法基于最小生成树改进算 法，即通过自定义的预设距离计算公式计算所述节点相互间的距离，更新 所述节点图列表，并根据预设条件对所述节点图列表中的所述节点进行剪 枝及删除，最后遍历节点图列表即可完成高空抛物的轨迹判定；该方法相 比于深度学习的方法，具有更快的处理速度，单帧视频仅需五毫秒，能够 实时批量处理视频数据，迅速检测到抛物事件并发出告警，而且，该方法能够在识别到抛物事件并发出警告的同时就勾勒出抛物的轨迹，仅一步完 成；从而，该高空抛物轨迹判别方法实现实时监控高空抛物事件，能够判 别抛物的运动轨迹，具有运算速度快、鲁棒性强的技术效果。
进一步地，所述根据所述连通域创建节点，获得节点图列表的步骤， 包括：
根据所述连通域创建节点，所述节点作为所述连通域的标记，所述节 点为一个长度为8的元组(x,y,w,h,t,c,father,childrens[k])，其中x为所述连 通域外接矩形中心点的横轴坐标，y为所述连通域外接矩形中心点的纵轴坐 标，w为连通域外接矩形的宽，h为连通域外接矩形的高，t为当前连通域 所属帧的编号，c为当前连通域在对应原图上的颜色分布均值，father为当 前节点所属的父节点，childrens[k]为包含当前节点所有子节点的列表，k为 子节点个数。
进一步地，所述根据预设距离计算公式计算所述节点相互间的距离， 更新所述节点图列表的步骤中，任意两个所述节点ni，nj间的预设距离计算 公式为：
其中deg(ni)为所述节点ni的度函数：
其中，ki为节点ni的子节点长度，||·||p为p的范数，α1为第一参数，α2为第二参数，α3为第三参数，α4为第四参数。
在上述实现过程中，根据预设距离计算公式计算节点相互间的距离， 从而重新定义节点间的距离，并使节点的距离(或权重)与节点的度相关 联，以确保叶子优先的连接原则。
进一步地，所述根据预设条件对所述节点图列表中的所述节点进行剪 枝及删除的步骤，包括：
计算所述节点的度，若所述节点的度大于预设值，根据所述预设距离 计算公式选择距离所述节点最远的子节点，裁剪所述子节点；
将所述子节点从子节点列表中剔除，并设置所述子节点的父节点为空；
将所述子节点加入所述节点图列表中。
在上述实现过程中，采用剪枝技术修剪图的节点以避免过多的内存消 耗。
进一步地，所述将所述子节点加入所述节点图列表中的步骤之后，还 包括：
在所述视频流数据的当前帧和所述节点所属帧的差值大于第一阈值 时，标记所述节点为过旧节点，并将所述节点从节点图列表中删除。
在上述实现过程中，由于持续接收实时的视频流，节点图列表的节点 会持续增加，因此设置第一阈值删除过旧节点的过程以确保节点图列表的 大小不会超过限定的范围，避免内存耗尽。
进一步地，所述间隔预设帧数遍历剪枝及删除处理后的所述节点图列 表，并根据所述节点图列表确定抛物轨迹的步骤，包括：
遍历所述节点图列表；
根据遍历后的所述节点图列表计算抛物轨迹近似度得分；
若所述抛物轨迹近似度得分超过第二阈值，并且当前遍历的节点图列 表中总节点数超过预设的数值，则判定当前的最小生成图为抛物轨迹。
在上述实现过程中，通过遍历节点图列表的各个节点，并计算抛物轨 迹近似度得分，通过抛物轨迹近似度得分和当前遍历的节点图列表中总节 点数来判断是否有抛物轨迹，若是，则可判定当前的最小生成图为抛物轨 迹。
进一步地，所述遍历所述节点图列表的步骤中，包括：
步骤1：从所述节点图列表的根节点开始迭代，记所述根节点为当前节 点，近似度变量的初始值置0；
步骤2：判断所述当前节点是否满足为抛物线节点的条件，当满足抛物 线节点条件时近似度变量加1，其中判定为抛物线节点的条件包括以下一种 或多种：所述当前节点的父节点、所述当前节点、所述当前节点的子节点 三者在水平上的位移方向一致；所述当前节点的父节点、所述当前节点、 所述当前节点的子节点三者梯度方向的变化在预设的范围以内；所述当前 节点的父节点、所述当前节点、所述当前节点的子节点三者组成的曲线的 二阶梯度小于0；
步骤3：遍历所述当前节点的所有子节点，记该子节点为所述当前节点， 重复步骤2，直至所述节点图列表的所有节点被完全遍历；
所述根据遍历后的所述节点图列表计算抛物轨迹近似度得分的步骤 中，所述抛物轨迹近似度得分的计算公式为：
其中，score为所述抛物轨迹近似度得分，warning_counts为所述近似 度变量，length(root_node)为当前遍历的所述节点图列表的总节点数。
进一步地，所述接收视频流数据，并根据帧差法处理所述视频流数据， 获得连通域的步骤，包括：
接收所述视频流数据，并根据帧差法获取所述视频流数据中当前视频 帧与前面一个或多个视频帧之间的绝对差值；
根据所述绝对差值获得帧差二值图；
遍历所述帧差二值图上的每个像素点，获得所述连通域。
第二方面，本申请实施例提供了一种高空抛物轨迹判别装置，包括：
连通域模块，用于接收视频流数据，并根据帧差法处理所述视频流数 据，获得连通域；
图列表模块，根据所述连通域创建节点，获得节点图列表；
更新模块，用于根据预设距离计算公式计算所述节点相互间的距离， 更新所述节点图列表；
剪枝及删除模块，用于根据预设条件对所述节点图列表中的所述节点 进行剪枝及删除；
抛物判定模块，用于间隔预设帧数遍历剪枝及删除处理后的所述节点 图列表，并根据所述节点图列表确定抛物轨迹。
进一步地，所述剪枝及删除模块包括删除单元，所述删除单元用于在 所述视频流数据的当前帧和所述节点所属帧的差值大于第一阈值时，标记 所述节点为过旧节点，并将所述节点从所述节点图列表中删除。
进一步地，所述剪枝及删除模块还包括剪枝单元，所述剪枝单元包括：
计算子单元，用于计算所述节点的度，若所述节点的度大于预设值， 根据所述预设距离计算公式选择距离所述节点最远的子节点，裁剪所述子 节点；
剔除子单元，用于将所述子节点从子节点列表中剔除，并设置所述子 节点的父节点为空；
加入子单元，用于将所述子节点加入所述节点图列表中。
进一步地，所述抛物判定模块包括：
遍历单元，用于遍历所述节点图列表；
近似度单元，用于根据遍历后的所述节点图列表计算抛物轨迹近似度 得分；
判定单元，用于若所述抛物轨迹近似度得分超过第二阈值，并且当前 遍历的节点图列表中总节点数超过预设的数值，则判定当前的最小生成图 为抛物轨迹。
进一步地，所述连通域模块包括：
接收单元，用于接收所述视频流数据，并根据帧差法获取所述视频流 数据中当前视频帧与前面一个或多个视频帧之间的绝对差值；
二值图单元，用于根据所述绝对差值获得帧差二值图；
连通域单元，用于遍历所述帧差二值图上的每个像素点，获得所述连 通域。
第三方面，本申请实施例提供的一种设备，包括：存储器、处理器以 及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理 器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
第四方面，本申请实施例提供的一种存储介质，所述存储介质上存储 有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面 任一项所述的方法。
第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程 序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分 特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公 开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实 施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例 中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请 的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人 员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相 关的附图。
图1为本申请实施例提供的高空抛物轨迹判别方法的流程示意图；
图2为本申请实施例提供的节点剪枝及删除的流程示意图；
图3为本申请实施例提供的根据节点图列表确定抛物轨迹的流程示意 图；
图4为本申请实施例提供的获得连通域的流程示意图；
图5a为本申请实施例提供的第一帧差图的示意图；
图5b为本申请实施例提供的第二帧差图的示意图；
图5c为本申请实施例提供的第三帧差图的示意图；
图5d为本申请实施例提供的第四帧差图的示意图；
图6为本申请实施例提供的高空抛物轨迹判别装置的结构示意图；
图7为本申请实施例提供的一种设备的结构框图。
图标：100-连通域模块；200-图列表模块；300-更新模块；400-剪枝及 删除模块；500-抛物判定模块；510-处理器；520-通信接口；530-存储器； 540-通信总线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进 行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一 旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步 定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区 分描述，而不能理解为指示或暗示相对重要性。
第一方面，本申请实施例提供了一种高空抛物轨迹判别方法、装置、 设备及存储介质，可以应用于判别高空抛物的抛物轨迹；该高空抛物轨迹 判别方法基于最小生成树改进算法，即通过自定义的预设距离计算公式计 算所述节点相互间的距离，更新所述节点图列表，并根据预设条件对所述 节点图列表中的所述节点进行剪枝及删除，最后遍历节点图列表即可完成 高空抛物的轨迹判定；该方法相比于深度学习的方法，具有更快的处理速度，单帧视频仅需五毫秒，能够实时批量处理视频数据，迅速检测到抛物 事件并发出告警，而且，该方法能够在识别到抛物事件并发出警告的同时 就勾勒出抛物的轨迹，仅一步完成；从而，该高空抛物轨迹判别方法实现 实时监控高空抛物事件，能够判别抛物的运动轨迹，具有运算速度快、鲁 棒性强的技术效果。
请参见图1，图1为本申请实施例提供的高空抛物轨迹判别方法的流程 示意图，该高空抛物轨迹判别方法包括如下步骤：
S100：接收视频流数据，并根据帧差法处理视频流数据，获得连通域。
示例性地，视频流数据为智能高清相机拍摄并上传的数据。
示例性地，对于实时接收的视频流，采用帧差法获取当前视频帧与前 面若干帧之间的绝对差值，获得帧差图像，从而获取移动物体的位置及轮 廓。帧差图像以二值图的形式存贮。当监测系统获取到帧差二值图，可以 通过遍历二值图上的每个像素点找出N个连通域，连通域记为contours。
示例性地，二值图(Binary Image)也成为二值图像，是每个像素点均 为黑色或者白色的图像。二值图像一般用来描述字符图像，其优点是占用 空间少，缺点是，当表示人物，风景的图像时，二值图像只能展示其边缘 信息，图像内部的纹理特征表现不明显。这时候要使用纹理特征更为丰富 的灰度图像。二值图像是每个像素只有两个可能值的数字图像。但是也可 以用来表示每个像素只有一个采样值的任何图像，例如灰度图像等。
S200：根据连通域创建节点，获得节点图列表。
本申请所称的节点图列表，指的是由节点构成的节点图、并以列表的 形式呈现该节点图的所有信息，包括节点的坐标、节点间的连接关系(父 节点、子节点)、连通域的外接矩形、节点图的颜色分布均值等信息。
示例性地，初始化节点图列表和对应的节点列表，将根据连通域创建 节点的相关信息插入/输出至初始化节点图列表。
S300：根据预设距离计算公式计算节点相互间的距离，更新节点图列 表。
S400：根据预设条件对节点图列表中的节点进行剪枝及删除。
示例性地，最小生成树算法是一种对已知节点通过计算最短距离生成 极小连通子图的算法，其最大特点是生成出来的图维持了图连通的最小权 重。本方法应用最小生成树算法并进行改进，具体改进方式为：添加剪枝 技术及删除操作(限制节点的最大连接距离)，使原算法中的最小生成树变 为本方法改进算法中的最小生成图；根据预设距离计算公式计算节点相互 间的距离，从而重新定义节点间的距离，并使节点的距离(或权重)与节点的度相关联，以确保叶子优先的连接原则。
在一些实施方式中，由于节点连接的度过多不符合实际的高空抛物场 景，该节点会被认为是噪点，因此本方法通过剪枝技术可对每个节点连接 的度进行限制。
S500：间隔预设帧数遍历剪枝及删除处理后的节点图列表，并根据节 点图列表确定抛物轨迹。
在一些实施方式中，该高空抛物轨迹判别方法基于最小生成树改进算 法，即通过自定义的预设距离计算公式计算所述节点相互间的距离，更新 所述节点图列表，并根据预设条件对所述节点图列表中的所述节点进行剪 枝及删除，最后遍历节点图列表即可完成高空抛物的轨迹判定；该方法相 比于深度学习的方法，具有更快的处理速度，单帧视频仅需五毫秒，能够 实时批量处理视频数据，迅速检测到抛物事件并发出告警，而且，该方法能够在识别到抛物事件并发出警告的同时就勾勒出抛物的轨迹，仅一步完 成；从而，该高空抛物轨迹判别方法实现实时监控高空抛物事件，能够判 别抛物的运动轨迹，具有运算速度快、鲁棒性强的技术效果。
示例性地，S200：根据连通域创建节点，获得节点图列表的步骤，包 括：
根据连通域创建节点，节点作为连通域的标记，节点为一个长度为8 的元组(x,y,w,h,t,c,father,childrens[k])，其中x为连通域外接矩形中心点的 横轴坐标，y为连通域外接矩形中心点的纵轴坐标，w为连通域外接矩形的 宽，h为连通域外接矩形的高，t为当前连通域所属帧的编号，c为当前连 通域在对应原图上的颜色分布均值，father为当前节点所属的父节点， childrens[k]为包含当前节点所有子节点的列表，k为子节点个数。
示例性地，S300：根据预设距离计算公式计算节点相互间的距离，更 新节点图列表的步骤中，任意两个节点ni，nj间的预设距离计算公式为：
其中deg(ni)为节点ni的度函数：
其中，ki为节点ni的子节点长度，||·||p为p的范数，α1为第一参数，α2为第二参数，α3为第三参数，α4为第四参数，即α1、α2、α3、α4为设置参数， xi、yi、wi、hi、ti、ci节点ni的节点数据，xj、yj、wj、hj、tj、cj节点nj的节 点数据。
示例性地，节点间的距离权重通过自定义函数，即预设距离计算公式 计算；作为示例，设任意两个节点为ni,nj,i,j＝1,2,...,m，其中m为节点列表 node_list的长度，任意两节点ni,nj的距离定义如预设距离计算公式所示。
示例性地，根据预设距离计算公式计算节点相互间的距离，从而重新 定义节点间的距离，并使节点的距离(或权重)与节点的度相关联，以确 保叶子优先的连接原则。
在一些实施方式中，对于新加入节点列表node_list的节点node，计算该 节点与节点列表node_list中所有其余节点之间的距离，取出其中最短距离所 对应的节点作为节点node的父节点。其中最短距离必须小于预设的阈值， 否则不连接到任何已有的节点，而是单独形成新的图。
请参见图2，图2为本申请实施例提供的节点剪枝及删除的流程示意图。
示例性地，S400：根据预设条件对节点图列表中的节点进行剪枝及删 除的步骤，包括：
S411：计算节点的度，若节点的度大于预设值，根据预设距离计算公 式选择距离节点最远的子节点，裁剪子节点；
S412：将子节点从子节点列表中剔除，并设置子节点的父节点为空；
S413：将子节点加入节点图列表中。
示例性地，所谓节点的度，表示为该节点与其他节点之间的连接边条 数，即该节点相关联的边的条数；节点的度又称之为关联度。
示例性地，本方法将节点最大的度限制为max_degree，具体的剪枝过程 如下：若某节点的度大于max_degree，根据公式[1]选择距离该节点最远的子 节点，记为cut_node，将子节点cut_node裁剪掉；将cut_node从子节点列表 中剔除，并且设置cut_node的父节点
将cut_node加入图列表 nodes_graph中。
示例性地，S400：根据预设条件对节点图列表中的节点进行剪枝及删 除的步骤，包括：
S420：在视频流数据的当前帧和节点所属帧的差值大于第一阈值时， 标记节点为过旧节点，并将节点从节点图列表中删除。
示例性地，由于持续接收实时的视频流数据，图列表nodes_graph的节 点会持续增加，最终导致内存耗尽，因此通过设置一个删除过旧节点的过 程，以确保图列表nodes_graph的大小不会超过限定的范围。
在一些实施方式中，本方法采用控制处理的最大帧长、即第一阈值 (max_num_frames)的方法，即设某一节点所属第i帧，当前帧为第j帧， 若满足i<j-max_num_frames，则认为该节点是过旧的节点，并将该节点从 图列表nodes_graph中删除。
请参见图3，图3为本申请实施例提供的根据节点图列表确定抛物轨迹 的流程示意图。
示例性地，S500：间隔预设帧数遍历剪枝及删除处理后的节点图列表， 并根据节点图列表确定抛物轨迹的步骤，包括：
S510：遍历节点图列表；
S520：根据遍历后的节点图列表计算抛物轨迹近似度得分；
S530：若抛物轨迹近似度得分超过第二阈值，并且当前遍历的节点图 列表中总节点数超过预设的数值，则判定当前的最小生成图为抛物轨迹。
在一些实施方式中，本发明每间隔一定的帧数对图列表nodes_graph进 行一次抛物线判定，具体的判定步骤示例如下：
首先，遍历节点图列表nodes_graph：
步骤1：从根节点root_node开始迭代，记根节点root_node为当前节点， 初始化近似度变量warning_counts＝0。
步骤2：判断当前节点是否满足为抛物线节点的条件，当满足抛物线节 点条件时近似度变量warning_counts+＝1。其中判定为抛物线节点的条件可 包括：父节点、当前节点、子节点三者在水平上的位移方向一致；父节点、 当前节点、子节点三者梯度方向的变化于预设的范围以内；父节点、当前 节点、子节点三者组成的曲线(折现)满足凹性，即满足二阶梯度小于0。
步骤3：遍历当前节点的所有子节点，记该子节点为当前节点，重复步 骤2，直至所有节点被完全遍历。此处遍历时采用深度优先搜索和广度优先 搜索均可。
其次，计算抛物轨迹近似度得分：
遍历完图列表nodes_graph后，可以通过以下公式对当前的图进行抛物 线近似度评分：
其中score为所述抛物轨迹近似度得分，warning_counts为所述近似度 变量，length(root_node)表示当前遍历的图列表总节点数，若得分score超过 第二阈值并且length(root_node)超过预设的阈值，则判定当前的最小生成图为 抛物轨迹，即当前视频存在抛物事件。
请参见图4，图4为本申请实施例提供的获得连通域的流程示意图。
示例性地，S100：接收视频流数据，并根据帧差法处理视频流数据， 获得连通域的步骤，包括：
S110：接收视频流数据，并根据帧差法获取视频流数据中当前视频帧 与前面一个或多个视频帧之间的绝对差值；
S120：根据绝对差值获得帧差二值图；
S130：遍历帧差二值图上的每个像素点，获得连通域。
示例性地，通过帧差法处理视频流数据，并根据帧差二值图获得连通 域，即将监控摄像头实时获取的视频流数据解析切帧，对得到的多帧图像 采用帧差法以获取移动物体的位置及轮廓，其中帧差图以二值图存储。
请参见图5a至图5d，其中图5a为本申请实施例提供的第一帧差图的 示意图，图5b为本申请实施例提供的第二帧差图的示意图，图5c为本申 请实施例提供的第三帧差图的示意图，图5d为本申请实施例提供的第四帧 差图的示意图。
示例性地，第一帧差图至第四帧差图都属于是同一个视频流数据中的 帧差图数据，其中第一帧差图至第四帧差图分别为第67帧、第190帧、第 260帧、第384帧。
示例性地，当检测到第67帧(图5a)时，系统仅记录零星的噪点，此 时图的抛物轨迹近似度得分score为0.05。当检测到第190帧(图5b)时， 图中积累足够多的疑似抛物节点，此时图的抛物轨迹近似度得分score为 0.77，开始出发高空抛物警报。当检测到第260帧(图5c)时，图列表积 累疑似抛物节点的完整路径，此时图的抛物轨迹近似度得分score达到最高 0.90，由于系统受到噪点干扰，图中出现开叉的异常叶子节点。当检测到第 384帧(图5d)时，由于疑似抛物节点变成过旧的节点，从图中被剔除， 图的抛物轨迹近似度得分降到第二阈值以下，警报消除。
在一些实施方式中，本申请实施例提供的高空抛物轨迹判别方法，基 于一种改进的最小生成树算法来判别抛物轨迹，通过将监控摄像头实时获 取的视频数据解析切帧，对得到的多帧图像采用帧差法以获取移动物体的 位置及轮廓，其中帧差图以二值图存储；此外，运用基于最小生成树的改 进算法，即最小生成图算法来拟合物体的轨迹，算法采用剪枝技术修剪图 的节点以避免过多的内存消耗，降低运算复杂度；最后，遍历图的节点， 同时判断各个节点是否满足设定的抛物条件，若满足抛物条件的节点数与 总节点数的比值超过第二阈值，则认为当前的图显示抛物线，即当前的视 频存在抛物事件，发出警告。
示例性地，本申请实施例提供的高空抛物轨迹判别方法具有如下优点：
其一，针对现有的高空抛物难以取证的难题，本发明提出一种基于最 小生成树改进算法的高空抛物判别方法，通过自动监控抛物事件告警，节 约大量人力和时间成本，利于事后追责取证；
其二，本发明相比于深度学习的方法具有更快的处理速度，单帧视频 仅需五毫秒，能够实时批量处理视频数据，迅速检测到抛物事件并发出告 警。
其三，基于机器视觉的方法通常分为两个步骤，第一步判断实时监控 的视频中是否发生抛物事件，第二步对发生抛物事件的视频段分析，识别 抛物轨迹，以此溯源。本发明则能够在识别到抛物事件并发出警告的同时 就勾勒出抛物的轨迹，仅一步完成。
其四，本发明使用的智能高清相机相比于基于毫米波雷达、传感器等 设备的监测方法具有更小的硬件成本。
请参见图6，图6为本申请实施例提供的高空抛物轨迹判别装置的结构 示意图，该高空抛物轨迹判别装置包括：
连通域模块100，用于接收视频流数据，并根据帧差法处理视频流数据， 获得连通域；
图列表模块200，根据连通域创建节点，获得节点图列表；
更新模块300，用于根据预设距离计算公式计算节点相互间的距离，更 新节点图列表；
剪枝及删除模块400，用于根据预设条件对节点图列表中的节点进行剪 枝及删除；
抛物判定模块500，用于间隔预设帧数遍历剪枝及删除处理后的节点图 列表，并根据节点图列表确定抛物轨迹。
示例性地，剪枝及删除模块400包括删除单元，删除单元用于在视频 流数据的当前帧和节点所属帧的差值是否大于第一阈值时，标记节点为过 旧节点，并将节点从节点图列表中删除。
示例性地，剪枝及删除模块400还包括剪枝单元，剪枝单元包括：
计算子单元，用于计算节点的度，若节点的度大于预设值，根据预设 距离计算公式选择距离节点最远的子节点，裁剪子节点；
剔除子单元，用于将子节点从子节点列表中剔除，并设置子节点的父 节点为空；
加入子单元，用于将子节点加入节点图列表中。
示例性地，抛物判定模块500包括：
遍历单元，用于遍历节点图列表；
近似度单元，用于根据遍历后的节点图列表计算抛物轨迹近似度得分；
判定单元，用于若抛物轨迹近似度得分超过第二阈值，并且当前遍历 的节点图列表中总节点数超过预设的数值，则判定当前的最小生成图为抛 物轨迹。
示例性地，连通域模块100包括：
接收单元，用于接收视频流数据，并根据帧差法获取视频流数据中当 前视频帧与前面一个或多个视频帧之间的绝对差值；
二值图单元，用于根据绝对差值获得帧差二值图；
连通域单元，用于遍历帧差二值图上的每个像素点，获得连通域。
应理解，图6所示的高空抛物轨迹判别装置与图1至图4所示的方法 实施例相对应，为避免重复，此处不再赘述。
本申请还提供一种设备，请参见图7，图7为本申请实施例提供的一种 设备的结构框图。设备可以包括处理器510、通信接口520、存储器530和 至少一个通信总线540。其中，通信总线540用于实现这些组件直接的连接 通信。其中，本申请实施例中设备的通信接口520用于与其他节点设备进 行信令或数据的通信。处理器510可以是一种集成电路芯片，具有信号的 处理能力。
上述的处理器510可以是通用处理器，包括中央处理器(CPU， CentralProcessing Unit)、网络处理器(NP，Network Processor)等；还可以是 数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。 可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通 用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。
存储器530可以是，但不限于，随机存取存储器(RAM， Random Access Memory)，只读存储器(ROM，Read Only Memory)，可编 程只读存储器(PROM，Programmable Read-OnlyMemory)，可擦除只读 存储器(EPROM，Erasable Programmable Read-Only Memory)，电可擦除 只读存储器(EEPROM，Electric Erasable Programmable Read-Only Memory) 等。存储器530中存储有计算机可读取指令，当所述计算机可读取指令由 所述处理器510执行时，设备可以执行上述图1至图4方法实施例涉及的 各个步骤。
可选地，设备还可以包括存储控制器、输入输出单元。
所述存储器530、存储控制器、处理器510、外设接口、输入输出单元 各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如， 这些元件相互之间可通过一条或多条通信总线540实现电性连接。所述处 理器510用于执行存储器530中存储的可执行模块，例如设备包括的软件 功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时 段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是， 但不限于，鼠标和键盘等。
可以理解，图7所示的结构仅为示意，所述设备还可包括比图7中所 示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的 各组件可以采用硬件、软件或其组合实现。
本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当 所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实 施例所述的方法，为避免重复，此处不再赘述。
本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上 运行时，使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法， 也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的， 例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方 法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流 程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所 述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标 注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方 框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依 所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及 框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的 基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个 独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集 成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申 请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服 务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光 盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围， 对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本 申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示 类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需 要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可 轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请 的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用 来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者 暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语 “包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包 括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包 括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定 的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在 另外的相同要素。
Claims (10)
1.一种高空抛物轨迹判别方法，其特征在于，包括：
接收视频流数据，并根据帧差法处理所述视频流数据，获得连通域；
根据所述连通域创建节点，获得节点图列表；
根据预设距离计算公式计算所述节点相互间的距离，更新所述节点图列表；
根据预设条件对所述节点图列表中的所述节点进行剪枝及删除；
间隔预设帧数遍历剪枝及删除处理后的所述节点图列表，并根据所述节点图列表确定抛物轨迹。
2.根据权利要求1所述的高空抛物轨迹判别方法，其特征在于，所述节点作为所述连通域的标记，所述节点为一个长度为8的元组(x,y,w,h,t,c,father,childrens[k])，其中x为所述连通域外接矩形中心点的横轴坐标，y为所述连通域外接矩形中心点的纵轴坐标，w为连通域外接矩形的宽，h为连通域外接矩形的高，t为当前连通域所属帧的编号，c为当前连通域在对应原图上的颜色分布均值，father为当前节点所属的父节点，childrens[k]为包含当前节点所有子节点的列表，k为子节点个数；所述根据预设距离计算公式计算所述节点相互间的距离，更新所述节点图列表的步骤中，任意两个所述节点ni，nj间的预设距离计算公式为：
其中deg(ni)为所述节点ni的度函数：
其中，ki为节点ni的子节点长度，||·||p为p的范数，α1为第一参数，α2为第二参数，α3为第三参数，α4为第四参数。
3.根据权利要求1所述的高空抛物轨迹判别方法，其特征在于，所述根据预设条件对所述节点图列表中的所述节点进行剪枝及删除的步骤，包括：
计算所述节点的度，若所述节点的度大于预设值，根据所述预设距离计算公式选择距离所述节点最远的子节点，裁剪所述子节点；
将所述子节点从子节点列表中剔除，并设置所述子节点的父节点为空；
将所述子节点加入所述节点图列表中。
4.根据权利要求3所述的高空抛物轨迹判别方法，其特征在于，所述将所述子节点加入所述节点图列表中的步骤之后，还包括：
在所述视频流数据的当前帧和所述节点所属帧的差值大于第一阈值时，标记所述节点为过旧节点，并将所述节点从所述节点图列表中删除。
5.根据权利要求1所述的高空抛物轨迹判别方法，其特征在于，所述间隔预设帧数遍历剪枝及删除处理后的所述节点图列表，并根据所述节点图列表确定抛物轨迹的步骤，包括：
遍历所述节点图列表；
根据遍历后的所述节点图列表计算抛物轨迹近似度得分；
若所述抛物轨迹近似度得分超过第二阈值，并且当前遍历的节点图列表中总节点数超过预设的数值，则判定当前的最小生成图为抛物轨迹。
6.根据权利要求5所述的高空抛物轨迹判别方法，其特征在于，所述遍历所述节点图列表的步骤中，包括：
步骤1：从所述节点图列表的根节点开始迭代，记所述根节点为当前节点，近似度变量的初始值置0；
步骤2：判断所述当前节点是否满足为抛物线节点的条件，当满足抛物线节点条件时近似度变量加1，其中判定为抛物线节点的条件包括以下一种或多种：所述当前节点的父节点、所述当前节点、所述当前节点的子节点三者在水平上的位移方向一致；所述当前节点的父节点、所述当前节点、所述当前节点的子节点三者梯度方向的变化在预设的范围以内；所述当前节点的父节点、所述当前节点、所述当前节点的子节点三者组成的曲线的二阶梯度小于0；
步骤3：遍历所述当前节点的所有子节点，记该子节点为所述当前节点，重复步骤2，直至所述节点图列表的所有节点被完全遍历。
7.根据权利要求1所述的高空抛物轨迹判别方法，其特征在于，所述接收视频流数据，并根据帧差法处理所述视频流数据，获得连通域的步骤，包括：
接收所述视频流数据，并根据帧差法获取所述视频流数据中当前视频帧与前面一个或多个视频帧之间的绝对差值；
根据所述绝对差值获得帧差二值图；
遍历所述帧差二值图上的每个像素点，获得所述连通域。
8.一种高空抛物轨迹判别装置，其特征在于，包括：
连通域模块，用于接收视频流数据，并根据帧差法处理所述视频流数据，获得连通域；
图列表模块，根据所述连通域创建节点，获得节点图列表；
更新模块，用于根据预设距离计算公式计算所述节点相互间的距离，更新所述节点图列表；
剪枝及删除模块，用于根据预设条件对所述节点图列表中的所述节点进行剪枝及删除；
抛物判定模块，用于间隔预设帧数遍历剪枝及删除处理后的所述节点图列表，并根据所述节点图列表确定抛物轨迹。
9.一种设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的高空抛物轨迹判别方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的高空抛物轨迹判别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110458487.8A CN113158926B (zh) | 2021-04-26 | 2021-04-26 | 一种高空抛物轨迹判别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110458487.8A CN113158926B (zh) | 2021-04-26 | 2021-04-26 | 一种高空抛物轨迹判别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113158926A true CN113158926A (zh) | 2021-07-23 |
| CN113158926B CN113158926B (zh) | 2022-04-15 |
Family
ID=76871266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110458487.8A Active CN113158926B (zh) | 2021-04-26 | 2021-04-26 | 一种高空抛物轨迹判别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158926B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693556A (zh) * | 2022-03-25 | 2022-07-01 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物帧差法运动目标检测去拖影方法 |
| CN115049692A (zh) * | 2022-08-15 | 2022-09-13 | 山东万牧农业科技有限公司郯城分公司 | 模拟自然生态的海洋水产养殖光照智能调节方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001099921A (ja) * | 1999-09-30 | 2001-04-13 | Mitsubishi Electric Corp | 並列多目標追尾装置 |
| CN109118510A (zh) * | 2018-08-10 | 2019-01-01 | 平安科技（深圳）有限公司 | 一种监控视频处理方法、装置及计算机可读介质 |
| CN110659559A (zh) * | 2019-08-02 | 2020-01-07 | 浙江省北大信息技术高等研究院 | 一种监控场景多目标跟踪方法及系统 |
| CN111401311A (zh) * | 2020-04-09 | 2020-07-10 | 苏州海赛人工智能有限公司 | 一种基于图像检测的高空抛物识别方法 |
| CN112016414A (zh) * | 2020-08-14 | 2020-12-01 | 熵康(深圳)科技有限公司 | 一种检测高空抛物事件的方法、装置及楼面智能监控系统 |
-
2021
- 2021-04-26 CN CN202110458487.8A patent/CN113158926B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001099921A (ja) * | 1999-09-30 | 2001-04-13 | Mitsubishi Electric Corp | 並列多目標追尾装置 |
| CN109118510A (zh) * | 2018-08-10 | 2019-01-01 | 平安科技（深圳）有限公司 | 一种监控视频处理方法、装置及计算机可读介质 |
| CN110659559A (zh) * | 2019-08-02 | 2020-01-07 | 浙江省北大信息技术高等研究院 | 一种监控场景多目标跟踪方法及系统 |
| CN111401311A (zh) * | 2020-04-09 | 2020-07-10 | 苏州海赛人工智能有限公司 | 一种基于图像检测的高空抛物识别方法 |
| CN112016414A (zh) * | 2020-08-14 | 2020-12-01 | 熵康(深圳)科技有限公司 | 一种检测高空抛物事件的方法、装置及楼面智能监控系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693556A (zh) * | 2022-03-25 | 2022-07-01 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物帧差法运动目标检测去拖影方法 |
| CN115049692A (zh) * | 2022-08-15 | 2022-09-13 | 山东万牧农业科技有限公司郯城分公司 | 模拟自然生态的海洋水产养殖光照智能调节方法及系统 |
| CN115049692B (zh) * | 2022-08-15 | 2022-12-16 | 山东万牧农业科技有限公司郯城分公司 | 模拟自然生态的海洋水产养殖光照智能调节方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113158926B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112418069B (zh) | 一种高空抛物检测方法、装置、计算机设备及存储介质 | |
| CN108446630B (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
| CN113158926B (zh) | 一种高空抛物轨迹判别方法、装置、设备及存储介质 | |
| JP5325899B2 (ja) | 侵入警報ビデオ処理装置 | |
| CN107437318B (zh) | 一种可见光智能识别算法 | |
| CN111444854B (zh) | 异常事件检测方法、相关设备及可读存储介质 | |
| CN109377694B (zh) | 社区车辆的监控方法及系统 | |
| WO2013101460A2 (en) | Clustering-based object classification | |
| CN109886219A (zh) | 抛洒物检测方法、装置及计算机可读存储介质 | |
| CN111523397B (zh) | 一种智慧灯杆视觉识别装置、方法及其系统和电子设备 | |
| CN112784821A (zh) | 基于YOLOv5的工地行为安全检测识别方法及系统 | |
| CN111539360B (zh) | 安全带佩戴识别方法、装置及电子设备 | |
| CN109255360B (zh) | 一种目标分类方法、装置及系统 | |
| CN113299034B (zh) | 一种适应多场景的火焰识别预警方法 | |
| CN114639075A (zh) | 一种高空抛物坠物的识别方法、系统及计算机可读介质 | |
| CN114373162B (zh) | 用于变电站视频监控的危险区域人员入侵检测方法及系统 | |
| CN110674753A (zh) | 偷盗行为预警方法、终端设备及存储介质 | |
| CN111460917A (zh) | 基于多模态信息融合的机场异常行为检测系统及方法 | |
| CN115311623A (zh) | 一种基于红外热成像的设备漏油检测方法及系统 | |
| CN107832732B (zh) | 基于三叉树遍历的车道线检测方法 | |
| CN107729811B (zh) | 一种基于场景建模的夜间火焰检测方法 | |
| WO2016019973A1 (en) | Method for determining stationary crowds | |
| Tsetsos et al. | A forest fire detection system: The Meleager approach | |
| CN115690914A (zh) | 异常行为提醒方法、装置、电子设备及存储介质 | |
| JP3986643B2 (ja) | 監視用画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230329 Address after: 528311 no.l203 Country Garden International Club, Beijiao Town, Shunde District, Foshan City, Guangdong Province Patentee after: Zero Hole Technology Co.,Ltd. Address before: 528000 a2-05, 2nd floor, building A1, 1 Panpu Road, Biguiyuan community, Beijiao Town, Shunde District, Foshan City, Guangdong Province (for office use only) (residence declaration) Patentee before: GUANGDONG BOZHILIN ROBOT Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231227 Address after: Room 01, Floor 9, Xinlihua Center Building, 151 Mount Taishan Road, Jianye District, Nanjing, Jiangsu 210004 Patentee after: Nanjing Lingdong Shuzhi Technology Co.,Ltd. Address before: 528311 no.l203 Country Garden International Club, Beijiao Town, Shunde District, Foshan City, Guangdong Province Patentee before: Zero Hole Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |