CN112464880B - 夜间异动物体检测方法、装置、介质及设备 - Google Patents
夜间异动物体检测方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN112464880B CN112464880B CN202011456170.2A CN202011456170A CN112464880B CN 112464880 B CN112464880 B CN 112464880B CN 202011456170 A CN202011456170 A CN 202011456170A CN 112464880 B CN112464880 B CN 112464880B
- Authority
- CN
- China
- Prior art keywords
- moving object
- object detection
- frame
- abnormal
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 177
- 230000002159 abnormal effect Effects 0.000 claims abstract description 98
- 238000012216 screening Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 14
- 241001465754 Metazoa Species 0.000 description 12
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 244000045947 parasite Species 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例公开了一种夜间异动物体检测方法、装置及电子设备，该方法包括将待测视频分帧处理为多帧图像后输入训练好的运动物体检测模型进行运动物体检测，在每帧图像中获得运动物体检测框；对检测到的每个运动物体进行连续性筛选，获得连续运动物体轨迹集合；将连续运动物体轨迹集合中每个运动物体检测框对应的图像输入事先训练好的异动物体检测模型进行异动物体检测，输出每个运动物体的异动物置信度；筛选异动物体置信度大于异动物体置信度阈值的运动物体，获得待测视频中的异动物体。本发明能够对夜间的异动物体进行快速、准确、高效的检测，同时能够节约人力和物力成本，提高食堂等应用场景中的管理。
Description
技术领域
本说明书涉及计算机视觉技术领域，尤其是涉及一种夜间异动物体检测方法、夜间异动物体检测装置、电子设备、计算机可读存储介质。
背景技术
异动检测是指通过视频监控判断待测场景中是否存在异常的运动物体，比如学校食堂夜间存在小动物(例如：老鼠、小猫、小狗)出没的现象，这些小动物身上的寄生虫、病毒等会随着其活动而传播散落在食堂内，容易造成食物污染，带来安全隐患，在此场景下小动物即为异动物体，而运动中的人由于不属于该场景中监测的异常对象，因此不能被视为异动物体。
由于动物体积小，行动速度快，人眼难以及时发现动物的行踪，即使安装视频监控，安排工作人员抽查视频，也无法精准的检测到小动物出没。同时，由于夜间采集的视频一般为近红外视频，其图像本身分辨率低，加大了异动物体检测的难度，因此有必要提出一种高效、准确的夜间异动物体检测方法。
发明内容
本说明书实施例的目的在于提供一种夜间异动物体监测方法、装置、介质及设备，能够通过人工智能的方式在夜间对异动物体进行检测，提高了夜间异动物体检测的准确率和效率。
为实现上述目的，第一方面，本说明书提供一种夜间异动物体检测方法，所述方法包括：
将待测视频分帧处理为多帧图像后输入事先训练好的运动物体检测模型进行运动物体检测，在每帧图像中获得运动物体检测框；
对检测到的每个运动物体进行连续性筛选，获得连续运动物体轨迹集合；
将所述连续运动物体轨迹集合中每个运动物体对应的图像输入事先训练好的异动物体检测模型进行异动物体检测，输出每个运动物体的异动物体置信度；
筛选所述异动物置体信度大于异动物体阈值的运动物体，获得待测视频中的异动物体。
可选的，所述对检测到的运动物体进行连续性筛选，获得连续运动物体轨迹集合包括：
根据每个所述运动物体检测框对运动物体进行初步筛选，在每帧图像中获得初始解集合；
对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合。
可选的，所述根据所述运动物体检测框对运动物体进行初步筛选，在每帧图像中获得初始解集合包括：
根据每个所述运动物体检测框的坐标信息计算每个运动物体检测框的面积；
将每帧图像中所有运动物体检测框的面积进行均值计算，再分别除以异动物体上限常数和异动物体下限常数，获得每帧图像内运动物体的面积大小范围[s1，s2]；
筛选每帧图像中运动物体检测框的面积位于所述面积大小范围内的运动物体作为初始解集合，所述初始解集合中包括每个运动物体检测框的坐标和对应的时间。
可选的，所述对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合包括：
按照预设的时间窗长度将待测视频拆分成多个视频片段，在每个视频片段中根据每帧图像中检测到的运动物体方框中心坐标进行KNN聚类，获得多类运动物体集合，筛选每类运动物体集合中运动物体方框的个数大于阈值的运动物体集合，获得每个时间窗内的运动物体集合；
将相邻两个时间窗内的运动物体集合中运动物体检测框的中心距离之间的最小距离小于距离阈值的运动物体集合中的运动物体检测框中心添加相同的标签；
将所有时间窗内具有相同标签的运动物体集合进行组合获得连续运动物体集合；
当所述连续运动物体集合中运动物体的运动持续时长大于时间阈值时的集合作为待测视频内的连续运动轨迹集合。
可选的，所述异动物体检测模型的拓扑结构为卷积神经网络，所述卷积神经网络包括四个卷积层，其激活函数为ReLU函数，损失函数为L1范式损失函数和L2范式损失函数。
可选的，所述异动物体置信度阈值根据所述连续运动物体轨迹集合中连续运动物体轨迹和待测视频的采集场景决定所述阈值的取值。
第二方面，本说明书实施例提供一种夜间异动物体检测装置，所述装置包括：
运动物体检测模块，用于将待测视频分帧处理为多帧图像后输入事先训练好的运动物体检测模型进行运动物体检测，在每帧图像中获得至少一个运动物体检测框；
筛选模块，用于对检测到的运动物体进行连续性筛选，获得连续运动物体轨迹集合；
异动物体检测模块，用于将所述连续运动物体轨迹集合中每个运动物体检测框对应的图像输入事先训练好的异动物体检测模型进行异动物体检测，输出每个运动物体的异动物体置信度；
异动物体获取模块，用于筛选所述异动物体置信度大于异动物体置信度阈值的运动物体，获得待测视频中的异动物体。
可选的，所述筛选模块包括初筛选单元和连续筛选单元，其中，
所述初筛选单元，用于根据每个所述运动物体检测框对运动物体进行初步筛选，在每帧图像中获得初始解集合；
所述连续筛选单元，用于对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合。
第三方面，本说明书实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述第一方面任一项所述的基于动作识别的履职评价方法。
第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述第一方面任一项所述的夜间异动物体检测方法。
本说明书一个或多个实施例提供的夜间异动物体检测方法、装置、介质及设备，通过使用训练好的运动物体检测模型获得运动物体，之后对运动物体进行连续性筛选，得到连续运动物体轨迹集合，再使用训练好的异动物体检测模型，判断连续运动物体是否是异动物体，如是则获得待测视频中的异动物体。本发明能够对夜间的异动物体进行快速、准确、高效的检测，同时能够节约人力和物力成本，自动化输出存在异动物体的视频片段，提高食堂等应用场景中的管理。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本说明书提供的一种夜间异动物体检测方法实施例的流程示意图；
图2为本说明书提供的一些实施例中对运动物体进行初筛选的示意图；
图3为本说明书提供的一些实施例中将待测视频拆分为多个视频片段的示意图；
图4为本说明书提供的一些实施例中时间窗内运动物体集合的示意图；
图5为本说明书提供的一些实施例中运动物体集合对应的运动轨迹在视频片段平面内的投影示意图；
图6为本说明书提供的一些实施例中将标记后的所有时间窗内运动物体持续时间长度小于阈值的删去得到视频内连续运动轨迹的示意图；
图7为本说明书提供的一些实施例中连续运动物体轨迹在视频片段平面内的投影示意图；
图8为本说明书提供的一些实施例中对运动物体进行连续性筛选的示意图；
图9为本说明书提供的一些实施例中对运动物体进行异动物体检测的示意图；
图10为本说明书提供的一种夜间异动物体检测装置实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。
本说明书提供的实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其他通用或者专用的计算机系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算机系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或者膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
参见图1，图1是本说明书提供的一种夜间异动物体检测方法实施例流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。具体的一个实施例如图1所示，本说明书提供的夜间异动物体检测方法的一个实施例中，所述方法可以包括如下步骤：
S20.将待测视频分帧处理为多帧图像后输入事先训练好的运动物体检测模型进行运动物体检测，在每帧图像中获得运动物体检测框。
在一个可选示例中，本说明书中可以对采集到的待测视频通过opencv(开源计算机视觉库)技术进行视频分帧，通过分帧得到多帧具有时序关系的待测图像。需要说明的是，一般来说，将待测视频进行分帧处理时的总帧数由视频的帧率决定，而视频的帧率是由安装应用程序的电子设备自身的性能决定，帧率越高分离出来的图像就越多，那么每两帧图像之间的间隔时间就越短，计算出来的结果精度就越高。
在本说明书中，将待测视频分帧处理为多帧图像后输入事先训练好的运动物体检测模型进行运动物体检测，所述多帧具有时序关系的图像可以为视频中的多个连续的视频帧，也可以为从视频中的多个连续的视频帧中切分出来的多个图像块。由于视频中的多个连续的视频帧具有时序关系，因此，通过对视频帧切分所获得的多个图像块也具有时序关系。本申请中的具有时序关系的多帧图像的大小应满足运动物体识别模型对输入图像大小的预设要求，例如，每帧图像的大小可以包括但不限于224×224。
本说明书实施例中，首先需要训练运动物体检测模型，运动物体检测模型的拓扑结构可以为卷积神经网络，用于对每帧图像中的运动物体进行检测，即卷积神经网络对输入的多个具有时序关系的图像进行识别处理，并在每一帧图像中输出识别结果，也即运动物体检测框，从而能够获得运动物体检测框的位置坐标。
在一个可选示例中，所述卷积神经网络可以是具有深度学习能力的卷积神经网络，包括但不限于多个卷积层，该卷积神经网络还可以包括：池化层、全连接层以及用于执行分类操作的层等。卷积神经网络能够实现深度学习，与其他深度学习结构相比，深度卷积神经网络在图像识别方面展示出更加突出的性能。
在对每帧图像进行运动物体检测之前，可以通过预先使用包含丰富运动物体标注信息的数据集作为训练样本，对卷积神经网络的图像分类任务进行训练，获得具有运动物体分类作用的运动物体检测模型。
利用该经过训练的运动物体检测模型对每帧图像进行测试，可以在每帧图像中获得各区域的运动物体置信度。其中，运动物体置信度为该区域的图像为运动物体的概率，将该运动物体置信度和预设的运动物体置信度阈值进行比较，可以将各区域图像进行分类，区分出运动物体和非运动物体，从而获得运动物体检测框及运动物体检测框的坐标信息。
需要说明的是，本发明提供的夜间异动物体检测方法，待测视频为特定时间段内采集的视频，在该时间段内采集的视频进行分帧处理后，每帧图像的灰度小于阈值且未在连续时间内出现非异动物体，例如，待测时段是每晚十点至次日凌晨四点，在该时段内采集的图像灰度小于阈值，且该时间段内没有出现食堂工人，在该时间段以外，食堂工人为非异动物体。
S22.对检测到的运动物体进行连续性筛选，获得连续运动物体轨迹集合。
在本说明书中，当获得每一帧图像中的运动物体后，还需要进一步筛选获得的运动物体是否是连续运动的物体，以排除光影等影响造成的误识别。
在一个可选示例中，所述对检测到的运动物体进行连续性筛选，获得连续运动物体轨迹集合，一种可能的实施方式是通过以下步骤实现：
S221.根据每个所述运动物体检测框对运动物体进行初步筛选，在每帧图像中获得初始解集合。
在本步骤中，可以首先对每帧图像中获得的运动物体检测框进行初步筛选，例如，可以根据每个运动物体检测框的坐标信息计算出每个运动物体检测框的面积，之后将每帧图像中检测到的所有运动物体检测框的面积进行均值计算获得运动物体检测框面积均值，之后将运动物体检测框面积均值分别除以异动物体上限常数和异动物体下限常数，获得每帧图像中运动物体的面积范围[s1，s2]，之后判断每个运动物体检测框的面积是否位于面积范围[s1，s2]内，若是，则获得该帧图像中运动物体的初始解集合，该初始解集合中包括每个运动物体的位置信息和时间信息，其中，s1表示运动物体检测框的面积范围的最小值，s2表示运动物体检测框的面积范围的最大值。
也即，计算检测到的运动物体Ai面积Area，若s1≤Area≤s2则保留运动物体Ai，反之删去，其中，i表示运动物体的序号，逐个判断每帧图像中的运动物体检测框的面积是否位于面积范围内，将位于面积范围内的运动物体组成初始解集合。
请参考图2，图2为本说明书提供的一些实施例中对运动物体进行初筛选的示意图。图2中待测图像的采集场景为夜间一辆行进中的车辆的车灯闪烁时采集学校食堂的图像，有些物体会由于光影等影响被识别为运动物体。
如图2中，将待测图像输入运动物体检测模型后输出多个运动物体检测框，计算每个运动物体检测的面积，当某个运动物体检测框的面积没有位于面积范围内时，可以将该运动物体检测框删掉，请参见图2，进行初筛选后在待测图像中保留6个运动物体检测框，分别为异动物体小猫，以及由于光影等因素影响被视为运动物体的情形，例如凳子、门把手、或者没有实物的区域等，本发明在后文中将详细阐述如何从检测到的运动物体中进一步检测真正的异动物体。于经过初筛选能够初步删除一些明显不是异动物体的情形，因此，能够进一步缩小视频数据的处理量，从而能够提高后续步骤的处理效率。
S222.对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合。
在本步骤中，当获得运动物体的初始解集合后，还需要判断初始解集合内的运动物体是否在连续运动，例如，需要判断图2中的6个运动物体检测框里的物体是否在连续运动，能够进一步排除由于光影等外界影响造成的误识别。
在一些可选示例中，所述步骤S222对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合可通过以下步骤实现：
S2221.按照预设的时间窗长度将待测视频拆分成多个视频片段，在每个视频片段中根据每帧图像中检测到的运动物体方框中心坐标进行KNN聚类，获得多类运动物体集合，筛选每类运动物体集合中运动物体方框的个数大于阈值的运动物体集合，获得每个时间窗内的运动物体集合。
在本步骤中，可以选择合适的时间窗长度lt(单位：s)和合适的时间步长st(单位：s)，从待测视频开始时间以步长st移动时间窗至待测视频结束，将待测视频拆分成多个视频片段，在每个视频片段中根据每帧图像中检测到的运动物体检测框的中心坐标进行聚类，获得多类运动物体集合Km，其中，m为运动物体集合的序号，计算每个运动物体集合Km中运动物体检测框的个数，筛选出运动物体检测框的个数大于阈值的运动物体集合筛选出来，作为时间窗内的运动物体集合。
请参照图3，图3为本说明书提供的一些实施例中将待测视频拆分为多个视频片段的示意图，图3中的阴影平面内的部分表示每个视频片段，在每个视频片段中根据每个检测到的运动物体检测框的中心点坐标进行聚类，将聚类后每类运动集合内运动物体方框的个数大于阈值的运动物体集合筛选出来，作为时间窗内的连续动作。请参照图4，图4为本说明书提供的一些实施例中时间窗内运动物体集合的示意图，图5为本说明书提供的一些实施例中运动物体集合对应的运动轨迹在视频片段平面内的投影示意图。
使用KNN聚类方法对每个时间窗内的运动物体检测框的中心坐标进行聚类是本领域技术人员的常用技术，此处不再赘述。
S2222.将相邻两个时间窗内的运动物体集合中运动物体检测框的中心距离之间的最小距离小于距离阈值的运动物体集合中的运动物体检测框中心添加相同的标签。
在本步骤中，当获得每个时间窗内的运动物体的集合之后，为当前时间窗内的运动物体集合Km中的每一个运动物体检测框的中心xj添加运动标签
其中，xj表示当前时间窗内的聚类中心集合中运动物体检测框的中心，j表示当前时间窗内的聚类中心集合中运动物体检测框的中心的序号，
表示运动标签。
对于两个相邻两个时间窗内的运动物体集合Km和Km+1，若当前时间窗的运动物体集合Km中某个运动物体检测框的中心xj与相邻时间窗的运动物体集合Km+1中某个运动物体检测框的中心yj之间的距离小于距离阈值，则将相邻时间窗的运动物体集合Km+1中的运动物体检测框的中心yj的运动标签
记为
本步骤的目的为了将不同时间窗内的运动动作连接起来，如果不同时间窗内的连续动作属于同一个运动物体，则理论上前一个时间窗内的某一个运动物体检测框中心和后一个时间窗内的某一运动物体检测框中心之间的距离将特别接近，也即前一个时间窗内运动物体检测框的中心xj与相邻时间窗Km+1内某个运动物体检测框的中心yj之间的距离小于距离阈值，则将相邻时间窗内的运动物体检测框的中心yj的运动标签
记为
S2224.将所有时间窗内具有相同标签的运动物体集合进行组合获得连续运动物体集合。
在本步骤中，当不同时间窗内的运动物体检测框中心具有相应的标签时，可以认为这些不同时间窗内的运动物体检测框中心属于同一个运动物体，因此，将所有时间窗内具有相同标签的运动物体集合进行汇总，获得连续运动物体集合，将这些连续运动物体集合中运动物体检测框中心点连接起来组成某一个运动物体的完整的运动轨迹。
S226.当所有连续运动物体集合的持续时长大于时间阈值时获得待测视频内的连续运动轨迹集合。
在本步骤中，当将不同时间窗内具有下具有相同标签的运动物体进行汇总后，根据不同时间窗的个数可以计算出该运动物体的运动持续时间，如果持续时间大于时间阈值，则将该运动物体集合作为待测视频内的连续运动轨迹集合{Bi},i表示运动物体的序号。
请参照图6和图7，图6为本说明书提供的一些实施例中将标记后的所有时间窗内运动物体持续时间长度小于阈值的删去得到视频内连续运动轨迹的示意图，图7为本说明书提供的一些实施例中连续运动物体轨迹在视频片段平面内的投影示意图。
请参考图8，图8是本发明一些实施例中对运动物体进行连续性筛选的示意图，通过上述方法，将图2中的运动物体进行了筛选，筛选出连续运动物体和非连续运动物体。
例如，图8中标记为true的运动物体检测框有2个，其中一个标记为true的运动物体是真正的运动物体，该运动物体检测框内有一只小猫，另一个标记为true的运动物体则是由于光影等影响造成的，该运动物体检测框里面并没有任何实物，以及图3中标记为false的运动物体检测框有4个，包括凳子、门把手、地板上由于光影造成的影子等，经过初步筛选，可以将标记为false的运动物体检测框删掉，只保留标记为true的运动物体检测框。
S24.将所述连续运动物体轨迹集合中每个运动物体检测框对应的图像输入事先训练好的异动物体检测模型进行异动物体检测，输出每个运动物体的异动物置信度。
在本步骤中，当判断视频中某一物体属于连续运动的物体后，还需要进一步判断连续运动物体轨迹集合中的运动物体是否属于异动物体，比如，在夜间的食堂场景中，人的运动不属于异动物体，而小动物的运动则属于异动物体，因此，为了进一步进行异动物体检测，还需要进行异动物体检测。
本说明书实施例中，首先需要训练异动物体检测模型，异动物体检测模型的拓扑结构可以为卷积神经网络，包括但不限于多个卷积层，该卷积神经网络还可以包括：池化层、全连接层以及用于执行分类操作的层等。
在对待测图像进行移动物体检测之前，可以通过预先使用包含丰富异动物体标注信息的数据集作为训练样本，对卷积神经网络的图像分类任务进行训练，获得具有异动物体分类作用的异动物体检测模型。
利用该经过训练的异动物体检测模型对运动物体检测框对应的图像进行测试，可以获得该图像中各区域的异动物体置信度。其中，异动物体置信度为该区域的图像为异动物体的概率，将该异动物体置信度和预设的异动物体置信度阈值进行比较，可以将各区域图像进行分类，区分出异动物体和非异动物体，从而获得在图像中获得异动物体及异动物体置信度{bi}，继而合并得到集合{Ci＝(Bi，bi)}。
在一些可选示例中，该异动物体置信度阈值的选取可以根据连续运动轨迹集合中连续运动物体轨迹和待测视频的采集场景来决定。
请参见图9，图9为本说明书提供的一些实施例中对运动物体进行异动物体检测的示意图，将运动物体检测框对应的图像输入预先训练好的异动物体检测模型，能够输出异动物体检测框，该异动物体检测框包括异动物体检测框的坐标和异动物体置信度。
在一个可选示例中，异动物体检测模型的拓扑结构可以为卷积神经网络，至少包括4个卷积层，卷积神经网络的激活函数，可以使用ReLU(英文：Rectified Linear Units，中文：修正线性单元)激活函数，用于选取出各层中参与模型训练的神经元。所述卷积神经网络的损失函数可以为L1和L2范数损失函数。其中，L1范数损失函数，也被称为最小绝对值偏差(LAD)，或者最小绝对值误差(LAE)。是把实际值与经过工位识别模型输出的估计值的绝对差值的总和最小化。L2范数损失函数，也被称为最小平方误差(LSE)，是把实际值和经给工位识别模型输出的估计值的差值的平方和最小化。具体如下：
其中，第一卷积神经网络使用的ReLU激活函数公式如下：
PReLU(x)＝max(αx，x)
其中，α表示经验常数。
第一卷积神经网络的损失函数的计算公式如下：
L＝L1+L2
其中，
表示所述异动物检测框的中心坐标误差，(xi，yi)表示所述卷积神经网络输出的所述异动物体检测框的中心坐标，i表示异动物体检测框的序号，
表示所述异动物体检测框的真实的中心坐标，(wi，hi)表示所述卷积神经网络输出的所述异动物体检测框的宽和高，
表示所述异动物体检测框的真实的宽和高，
表示激活函数带来的分类误差，其中，pi表示所述卷积神经网络输出的所述异动物体检测框的分类结果，
表示所述异动物体检测框的真实的分类结果。
S26.筛选所述异动物置信度大于异动物体置信度阈值的运动物体，获得待测视频中的异动物体。
在本步骤中，将每一帧图像中异动物体置信度大于异动物体置信度的异动物体筛选为异动物体，从而获得异动物体集合，也即对集合{Ci＝(Bi，bi)}进行异动物体置信度阈值筛选，得到检测视频内的夜间异动情况，对于每个Ci＝(Bi，bi)，若bi＞p(p为异动物体置信度阈值)，则保留Ci作为夜间异动的轨迹输出，反之则删去。
其中，该异动物体置信度阈值的选取根据连续运动物体轨迹集合中连续运动物体轨迹和待测视频的采集场景决定所述阈值的取值。
本说明书实施例提供的异动物体检测方法，通过使用训练好的运动物体检测模型获得运动物体，之后对运动物体进行连续性筛选，得到连续运动物体轨迹集合，再使用训练好的异动物体识别模型，判断连续运动物体是否是异动物体，如是则获得待测视频中的异动物体。本发明能够对夜间的异动物体进行快速、准确、高效的检测，同时能够节约人力和物力成本，自动化输出存在异动物体的视频片段，提高食堂等应用场景中的管理。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于上述实施例提供的方法，说明书一个或多个实施例还提供一种基于动作识别的履职评价装置，请参见图10，图10是本说明书提供的一种夜间异动物体检测装置实施例的结构示意图，所述装置可以包括运动物体检测模块30，筛选模块32、异动物体检测模块34和异动物体获取模块36。
所述运动物体检测模块30，用于将待测视频分帧处理为多帧图像后输入事先训练好的运动物体检测模型进行运动物体检测，在每帧图像中获得至少一个运动物体检测框。
所述筛选模块32，用于对检测到的每个运动物体进行连续性筛选，获得连续运动物体轨迹集合，
所述异动物体检测模块34，用于将所述连续运动物体轨迹集合中每个运动物体对应的图像输入事先训练好的异动物体检测模型进行异动物体检测，输出每个运动物体的异动物体置信度。
所述异动物体获取模块36，用于筛选所述异动物体置信度大于异动物体置信度阈值的运动物体，获得待测视频中的异动物体。
在一个可选示例中，所述筛选模块包括初筛选单元和连续筛选单元，其中，
所述初筛选单元，用于根据每个所述运动物体检测框对运动物体进行初步筛选，在每帧图像中获得初始解集合。
所述连续筛选单元，用于对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合。
在一个可选示例中，所述筛选模块32可包括初筛选单元和连续性筛选单元。
所述初筛选单元，用于根据每个所述运动物体检测框对运动物体进行初步筛选，在每帧待测图像中获得初始解集合。
所述连续筛选单元，用于对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合。
在一个可选示例中，所述初筛选单元可包括面积计算子单元，面积范围计算子单元，初筛选子单元。
所述面积计算子单元，用于根据每个所述运动物体检测框的坐标信息计算每个运动物体检测框的面积。
所述面积范围计算子单元，用于将每帧图像中所有运动物体检测框的面积进行均值计算，再分别除以异动物体上限常数和异动物体下限常数，获得每帧图像内运动物体的面积大小范围[s1，s2]，其中，s1表示运动物体检测框的面积范围的最小值，s2表示运动物体检测框的面积范围的最大值。
所述初筛选子单元，用于筛选每帧图像中运动物体检测框的面积位于所述面积大小范围内的运动物体作为初始解集合，所述初始解集合中包括每个运动物体检测框的坐标和对应的时间。
在一些可选示例中，所述连续筛选单元可包括运动物体子单元，标记子单元，连续运动物体子单元，判断子单元。
所述运动物体子单元，用于按照预设的时间窗长度将待测视频拆分成多个视频片段，在每个视频片段中根据每帧图像中检测到的运动物体方框中心坐标进行KNN聚类，获得多类运动物体集合，筛选每类运动物体集合中运动物体方框的个数大于阈值的运动物体集合，获得每个时间窗内的运动物体集合。
所述标记子单元，用于将相邻两个时间窗内的运动物体集合中运动物体检测框的中心距离之间的最小距离小于距离阈值的运动物体集合中的运动物体检测框中心添加相同的标签。
所述连续运动物体子单元，用于将所有时间窗内具有相同标签的运动物体集合进行组合获得连续运动物体集合。
所述判断子单元，用于当所述连续运动物体集合中运动物体的运动持续时长大于时间阈值时的集合作为待测视频内的连续运动轨迹集合。
在一些可选示例中，所述异动物体检测模型的拓扑结构为卷积神经网络，所述卷积神经网络包括四个卷积层，其激活函数为ReLU函数，损失函数为L1范式损失函数和L2范式损失函数。
在一些可选示例中，所述异动物体置信度根据所述连续运动物体轨迹集合中连续运动物体轨迹和待测视频的采集场景决定所述阈值的取值。
本说明书实施例提供的夜间异动物体检测装置，通过使用训练好的运动物体检测模型获得运动物体，之后对运动物体进行连续性筛选，得到连续运动物体轨迹集合，再使用训练好的异动物体识别模型，判断连续运动物体是否是异动物体，如是则获得待测视频中的异动物体。本发明能够对夜间的异动物体进行快速、准确、高效的检测，同时能够节约人力和物力成本，自动化输出存在异动物体的视频片段，提高食堂等应用场景中的管理。
需要说明的，上述所述的夜间异动物体检测装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
相应的，本说明书实施例还公开了一种电子设备，所述电子设备，包括存储器，处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所处处理器执行所述计算机程序时实现本说明书上述任一实施例中所述的夜间异动物体检测方法的步骤。
相应的，本说明书实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本说明书上述任一实施例中所述的夜间异动物体检测方法的步骤。
本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (7)
1.一种夜间异动物体检测方法，其特征在于，所述方法包括：
将待测视频分帧处理为多帧图像后输入事先训练好的运动物体检测模型进行运动物体检测，在每帧图像中获得运动物体检测框；
根据每个所述运动物体检测框对运动物体进行初步筛选，在每帧图像中获得初始解集合；
对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合；
将所述连续运动物体轨迹集合中每个运动物体检测框对应的图像输入事先训练好的异动物体检测模型进行异动物体检测，输出每个运动物体的异动物体置信度；
筛选所述异动物体置信度大于异动物体置信度阈值的运动物体，获得待测视频中的异动物体；
其中，所述根据所述运动物体检测框对运动物体进行初步筛选，在每帧图像中获得初始解集合包括：
根据每个所述运动物体检测框的坐标信息计算每个运动物体检测框的面积；
将每帧图像中所有运动物体检测框的面积进行均值计算，再分别除以异动物体上限常数和异动物体下限常数，获得每帧图像内运动物体的面积大小范围[s1，s2]；
筛选每帧图像中运动物体检测框的面积位于所述面积大小范围内的运动物体作为初始解集合，所述初始解集合中包括每个运动物体检测框的坐标和对应的时间。
2.根据权利要求1所述的夜间异动物体检测方法，其特征在于，所述对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合包括：
按照预设的时间窗长度将待测视频拆分成多个视频片段，在每个视频片段中根据每帧图像中检测到的运动物体方框中心坐标进行KNN聚类，获得多类运动物体集合，筛选每类运动物体集合中运动物体方框的个数大于阈值的运动物体集合，获得每个时间窗内的运动物体集合；
将相邻两个时间窗内的运动物体集合中运动物体检测框的中心距离之间的最小距离小于距离阈值的运动物体集合中的运动物体检测框中心添加相同的标签；
将所有时间窗内具有相同标签的运动物体集合进行组合获得连续运动物体集合；
当所述连续运动物体集合中运动物体的运动持续时长大于时间阈值时的集合作为待测视频内的连续运动轨迹集合。
3.根据权利要求1-2任意一项所述的夜间异动物体检测方法，其特征在于，所述异动物体检测模型的拓扑结构为卷积神经网络，所述卷积神经网络包括四个卷积层，其激活函数为ReLU函数，损失函数为L1范式损失函数和L2范式损失函数。
4.根据权利要求1-2任意一项所述的夜间异动物体检测方法，其特征在于，所述异动物体置信度阈值根据所述连续运动物体轨迹集合中连续运动物体轨迹和待测视频的采集场景决定所述阈值的取值。
5.一种夜间异动物体检测装置，其特征在于，所述装置包括：
运动物体检测模块，用于将待测视频分帧处理为多帧图像后输入事先训练好的运动物体检测模型进行运动物体检测，在每帧图像中获得至少一个运动物体检测框；
筛选模块，用于对检测到的运动物体进行连续性筛选，获得连续运动物体轨迹集合；
异动物体检测模块，用于将所述连续运动物体轨迹集合中每个运动物体检测框对应的图像输入事先训练好的异动物体检测模型进行异动物体检测，输出每个运动物体的异动物体置信度；
异动物体获取模块，用于筛选所述异动物体置信度大于异动物体置信度阈值的运动物体，获得待测视频中的异动物体；
所述筛选模块包括初筛选单元和连续筛选单元，其中，
所述初筛选单元，用于根据每个所述运动物体检测框对运动物体进行初步筛选，在每帧图像中获得初始解集合；
所述连续筛选单元，用于对所述初始解集合中的运动物体进行连续性筛选，获得连续运动物体轨迹集合；
所述初筛选单元包括：
面积计算子单元，用于根据每个所述运动物体检测框的坐标信息计算每个运动物体检测框的面积；
面积范围计算子单元，用于将每帧图像中所有运动物体检测框的面积进行均值计算，再分别除以异动物体上限常数和异动物体下限常数，获得每帧图像内运动物体的面积大小范围[s1，s2]；
初筛选子单元，用于筛选每帧图像中运动物体检测框的面积位于所述面积大小范围内的运动物体作为初始解集合，所述初始解集合中包括每个运动物体检测框的坐标和对应的时间。
6.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-4中任一项所述的夜间异动物体检测方法。
7.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-4中任一项所述的夜间异动物体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011456170.2A CN112464880B (zh) | 2020-12-11 | 2020-12-11 | 夜间异动物体检测方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011456170.2A CN112464880B (zh) | 2020-12-11 | 2020-12-11 | 夜间异动物体检测方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112464880A CN112464880A (zh) | 2021-03-09 |
| CN112464880B true CN112464880B (zh) | 2021-09-21 |
Family
ID=74800159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011456170.2A Active CN112464880B (zh) | 2020-12-11 | 2020-12-11 | 夜间异动物体检测方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464880B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435425B (zh) * | 2021-08-26 | 2021-12-07 | 绵阳职业技术学院 | 一种基于递归多特征融合的野生动物出没检测方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11810671B2 (en) * | 2018-12-11 | 2023-11-07 | K Health Inc. | System and method for providing health information |
| CN110717933B (zh) * | 2019-10-10 | 2023-02-07 | 阿波罗智能技术(北京)有限公司 | 针对运动物体漏检的后处理方法、装置、设备和介质 |
| CN110969645A (zh) * | 2019-11-28 | 2020-04-07 | 北京影谱科技股份有限公司 | 面向拥挤场景的无监督异常轨迹检测方法和装置 |
| CN112053382A (zh) * | 2020-08-04 | 2020-12-08 | 浙江大华技术股份有限公司 | 出入口监测方法、设备及计算机可读存储介质 |
| CN111898581B (zh) * | 2020-08-12 | 2024-05-17 | 成都佳华物链云科技有限公司 | 动物检测方法、装置、电子设备及可读存储介质 |
| CN112055172B (zh) * | 2020-08-19 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种监控视频的处理方法、装置以及存储介质 |
| CN112052787B (zh) * | 2020-09-03 | 2021-07-30 | 腾讯科技（深圳）有限公司 | 基于人工智能的目标检测方法、装置及电子设备 |
-
2020
- 2020-12-11 CN CN202011456170.2A patent/CN112464880B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112464880A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9224046B2 (en) | Multi-view object detection using appearance model transfer from similar scenes | |
| US11138442B2 (en) | Robust, adaptive and efficient object detection, classification and tracking | |
| US9454819B1 (en) | System and method for static and moving object detection | |
| US8649594B1 (en) | Active and adaptive intelligent video surveillance system | |
| US10007850B2 (en) | System and method for event monitoring and detection | |
| US8243987B2 (en) | Object tracking using color histogram and object size | |
| US9569531B2 (en) | System and method for multi-agent event detection and recognition | |
| CN106709449A (zh) | 一种基于深度学习和强化学习的行人重识别方法及系统 | |
| CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
| CN111027370A (zh) | 一种多目标跟踪及行为分析检测方法 | |
| US11893727B2 (en) | Rail feature identification system | |
| Hinz et al. | Online multi-object tracking-by-clustering for intelligent transportation system with neuromorphic vision sensor | |
| CN104346802A (zh) | 一种人员离岗监控方法及设备 | |
| Soleimanitaleb et al. | Single object tracking: A survey of methods, datasets, and evaluation metrics | |
| CN112464880B (zh) | 夜间异动物体检测方法、装置、介质及设备 | |
| Nater et al. | Temporal Relations in Videos for Unsupervised Activity Analysis. | |
| CN111027482B (zh) | 基于运动向量分段分析的行为分析方法及装置 | |
| Bharathi et al. | A Conceptual Real-Time Deep Learning Approach for Object Detection, Tracking and Monitoring Social Distance using Yolov5 | |
| CN114663835B (zh) | 一种行人跟踪方法、系统、设备及存储介质 | |
| CN109859234A (zh) | 一种视频人体轨迹跟踪方法、装置及存储介质 | |
| Kurmasha et al. | Threshold adaptation and XOR accumulation algorithm for objects detection | |
| Zin et al. | A deep learning method of edge-based cow region detection and multiple linear classification | |
| Harel et al. | On the optimality of spatial attention for object detection | |
| Jain et al. | An artificial approach of video object action detection by using gaussian mixture model | |
| Shine et al. | Comparison of Background Extraction Methods for Anomaly Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Building 7, No. 124 Dongbao Road, Dongcheng Street, Dongguan City, Guangdong Province, 523128 Patentee after: Guangdong Prophet Big Data Co.,Ltd. Country or region after: China Address before: 523128 Room 401, building 6, No.5 Weifeng Road, Dongcheng Street, Dongguan City, Guangdong Province Patentee before: Dongguan prophet big data Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |