CN116385527A - 基于多源传感器的物体定位方法、装置和介质 - Google Patents
基于多源传感器的物体定位方法、装置和介质 Download PDFInfo
- Publication number
- CN116385527A CN116385527A CN202310311661.5A CN202310311661A CN116385527A CN 116385527 A CN116385527 A CN 116385527A CN 202310311661 A CN202310311661 A CN 202310311661A CN 116385527 A CN116385527 A CN 116385527A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- operation platform
- information
- cloud data
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 230000001788 irregular Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000000746 purification Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于多源传感器的物体定位方法、装置和介质，在该方法中，对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据。然后基于预处理后的点云数据，获取数据中的前景信息，根据前景信息，采用K‑means算法进行点云聚类，并基于聚类结果进行分割，得到操作平台上的每个物体对应的3D矩形包络框，将物体的3D矩形包络框投影至背景平面，计算物体尺寸信息，根据对操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位。通过这种方式能够准确定位操作平台上的物体，即提高物体定位精度，并避免异常数据对物体定位的影响，降低点云分析误差。
Description
技术领域
本申请涉及光学图像处理领域，尤其涉及一种基于多源传感器的物体定位方法、装置和介质。
背景技术
随着人工智能技术的飞速发展，各个行业中通过机器替代人工进行生产的应用也逐渐增加，在仓储物流领域，工厂需要多设备配合生产等需要将物体通过传送带或者操作平台进行传送的场景下，需要对传送的每个物体进行定位，以便实现相应的生产操作。
现有技术中，常规的对于物体的定位识别主要是通过在每个物体上设置电子标签，通过电子标签对物体进行定位，这种实现方式并不适用于所有物品并且成本高昂，对于不能设置电子标签的物品还可以通过图像分析实现，通过设置在现场的摄像机拍摄获取现场物体传送过程中的图像，然后对图像进行图像识别处理，从而实现对物体的定位。然而，由于技术的限制以及现场环境的影响，目前通过图像识别对传输过程中的物体进行定位的方法存在较大误差，定位准确度较低。
发明内容
本申请提供一种基于多源传感器的物体定位方法、装置和介质，以解决现有技术中目前通过图像识别对传输过程中的物体进行定位的方法存在较大误差，定位准确度较低的问题。
第一方面，本申请实施例提供一种基于多源传感器的物体定位方法，所述方法包括：
对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据；
基于所述预处理后的点云数据，获取数据中的前景信息；
根据所述前景信息，采用K-means算法进行点云聚类，并基于聚类结果进行分割，得到所述操作平台上的每个物体对应的3D矩形包络框；
针对每个物体，将所述物体的3D矩形包络框投影至背景平面，并基于所述物体在所述背景平面上的投影信息计算物体尺寸信息；
根据对所述操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位。
可选的，所述方法还包括：
针对目标物体，根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息，以及所述目标物体与所述操作平台之间的高度差，对所述目标物体进行姿态识别检测。
可选的，所述根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息，以及所述目标物体与所述操作平台之间的高度差，对所述目标物体进行姿态识别检测，包括：
根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息以及不同帧中所述目标物体与所述操作平台之间的高度差，采用预设的姿态识别模型以及改进后的DEEPSORT算法，对所述目标物体进行实时的姿态识别检测；
其中，所述改进后的DEEPSORT算法是对DEEPSORT算法的关联匹配过程中加入图神经网络进行改进得到的。
可选的，所述方法还包括：
通过所述多源传感器对所述操作平台上的图像进行拍摄，获取对应的深度图像；
基于所述深度图像，计算获取所述操作平台上物体的点云数据；
相应的，所述对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据，包括：
采用高斯滤波的方式对所述点云数据进行预处理，剔除其中的离群点和异常点，得到所述预处理后的点云数据。
可选的，所述基于所述预处理后的点云数据，获取数据中的前景信息，包括：
根据所述预处理后的点云数据中的每个点云的空间位置，以所述多源传感器为原点进行三维建模，得到每个点云在三维模型中的三维坐标数据；
对所述点云数据中的点云进行平面拟合检测，将检测到的最大平面作为所述操作平台的平面，并获取所述最大平面的四个顶点的坐标；
对三维建模之后的所述三维模型进行整体旋转，以使所述最大平面与水平面平行，且三维模型中的Z轴指向所述最大平面上方；
将旋转后的三维模型中处于所述最大平面下方的点云进行删除，处于所述最大平面上方的点云作为前景，存储作为前景的点云信息作为所述前景信息，处于所述最大平面中的点云作为背景。
可选的，所述根据所述前景信息，采用K-means算法进行点云聚类，并基于聚类结果进行分割，得到所述操作平台上的每个物体对应的3D矩形包络框，包括：
根据所述前景信息中每个点云的信息，根据点云之间的空间距离，采用K-means算法进行点云聚类，将前景中的点云聚类成多个簇；
将所述多个簇进行分割，分割成单一的点云簇，得到在所述操作平台上的每个物体对应的3D矩形包络框；其中，不规则的物体选择最小矩形进行包络。
可选的，所述根据对所述操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位之前，所述方法还包括：
通过摄像机对所述操作平台上的物体进行实时拍摄，获取所述操作平台的图像信息。
第二方面，本申请实施例提供一种基于多源传感器的物体定位装置，所述装置包括：
第一处理模块，用于对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据；
第二处理模块，用于基于所述预处理后的点云数据，获取数据中的前景信息；
第三处理模块，用于根据所述前景信息，采用K-means算法进行点云聚类，并基于聚类结果进行分割，得到所述操作平台上的每个物体对应的3D矩形包络框；
第四处理模块，用于针对每个物体，将所述物体的3D矩形包络框投影至背景平面，并基于所述物体在所述背景平面上的投影信息计算物体尺寸信息；
第五处理模块，用于根据对所述操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位。
第三方面，本申请实施例提供一种计算机设备，包括：处理器、存储器、传输接口及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时用于实现如第一方面任一项所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的方法。
本申请实施例提供的基于多源传感器的物体定位方法、装置和介质，通过多源传感器对操作平台上物体进行图像采集，获取点云数据，将点云数据进行数据预处理，剔除离群点及异常点；预处理后的点云数据进行背景建模，并将原始点云数据去除背景，提取前景，得到前景信息。对提取的前景信息进行聚类，形成3D包络，得到操作平台上的每个物体对应的3D矩形包络框；再将物体的3D矩形包络框投影到背景中，根据投影计算物体尺寸信息，最终实现对物体的跟踪。本发明能够准确定位操作平台上的物体，可以有效避免异常数据对物体定位及分析的影响，从而降低物体点云分析的误差，提高物体定位的精确。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本发明提供的基于多源传感器的物体定位方法实施例一的流程示意图；
图2为本发明提供的基于多源传感器的物体定位方法实施例二的流程示意图；
图3为本发明提供的基于多源传感器的物体定位方法实施例三的流程示意图；
图4本发明提供的基于多源传感器的物体定位装置实施例一的结构示意图；
图5本发明提供的基于多源传感器的物体定位装置实施例二的结构示意图；
图6为本发明提供的计算机设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提对物流领域，智能工厂等领域中通过传输带等平台进行物体传输的场景下，对平台上的物体的定位精确度，本发明提供一种基于多源传感器的操作平台上对物体进行定位分析的方案。
多源传感器在本发明中指的是多个可以采集操作平台上物体的相关图像的装置或者设备，例如，深度相机，结构光相机，摄像机等。
本发明的技术方案可以应用在具有数据分析处理功能的计算机设备中，该计算机设备可以是智能终端，个人计算机，服务器等设备。
下面通过几个具体实施例对本发明提供的基于多源传感器的物体定位方法进行详细说明。
图1为本发明提供的基于多源传感器的物体定位方法实施例一的流程示意图。如图1所示，该基于多源传感器的物体定位方法可以包括如下步骤：
S101：对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据.
在本步骤中，首先需要通过的多源传感器对操作平台以及平台上物体进行数据采集，主要可通过所述多源传感器中的结构光相机或者深度相机等对所述操作平台上的图像进行拍摄，获取对应的深度图像。然后基于所述深度图像，计算获取所述操作平台上物体的点云数据。
在获取到点云数据之后，可以采用高斯滤波的方式对所述点云数据进行预处理，剔除其中的离群点和异常点，得到所述预处理后的点云数据。
在一种可能的实施方式中，(点云获取与预处理)通过多源传感器获取深度图像，然后对深度图逐个像素进行遍历，根据公示：
其中d为该像素深度值，m、n为该像素在图片中的位置坐标，scale、cx、cy、fx、fy均为相机参数。在根据深度图计算出点云图后，使用高斯滤波等方法删去噪音点进行初步去噪处理。
S102：基于所述预处理后的点云数据，获取数据中的前景信息。
在本步骤中，在得到点云数据之后，需要对点云数据建模，以及进行平面拟合检测，对其中的前景，背景等信息进行筛，以得到处于操作平台之上的物体的信息，也就是这里的前景信息。
在一种可能的实施方式中，获取前景信息首先可以出创建三维模型，具体可以所述多源传感器为原点进行三维建模，得到每个点云在三维模型中的三维坐标数据，然后再对对所述点云数据中的点云进行平面拟合检测，将检测到的最大平面作为所述操作平台的平面，并获取所述最大平面的四个顶点的坐标。对三维建模之后的所述三维模型进行整体旋转，以使所述最大平面与水平面平行，且三维模型中的Z轴指向所述最大平面上方；将旋转后的三维模型中处于所述最大平面下方的点云进行删除，处于所述最大平面上方的点云作为前景，存储作为前景的点云信息作为所述前景信息，处于所述最大平面中的点云作为背景。
S103：根据所述前景信息，采用K-means算法进行点云聚类，并基于聚类结果进行分割，得到所述操作平台上的每个物体对应的3D矩形包络框。
在本步骤中，在获取到了前景信息之后，前景中可能会包括多个物体，需要对多个物体进行区分，此时可以采用K-means算法进行点云聚类，基于点云之间的距离，将距离近的点云聚类在一起，再基于聚类的结果对点云进行分割，相当于将每个物体分割开，得到每个物体的点云数据，在三维空间中，还可以得到每个物体的3D矩形包络框。
S104：针对每个物体，将所述物体的3D矩形包络框投影至背景平面，并基于所述物体在所述背景平面上的投影信息计算物体尺寸信息。
S105：根据对所述操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位。
在本步骤之前，还需要通过摄像机对操作平台进行拍摄，尤其是对物体进行实时拍摄，获取该操作平台的图像信息。
在上述两个步骤中，在根据上述步骤分割出不同物体的点云，行程3D矩形包络框(应理解，每个物体的包络框有大有效，不规则的物体可以选择最小矩形进行包络)，可以将每个物体的矩形包络框分别投影至背景平面中，然后基于投影计算物体的尺寸，得到每个物体的物体尺寸信息。
本方案，可以根据前景中的点云的坐标和背景上的点云的坐标进行对比差异，得到高度差，并且基于该高度差以及每一帧图像中的高度的变化，对物体进行定位和跟踪。
本实施例提供的基于多源传感器的物体定位方法，能够准确定位操作平台上的物体，可以有效避免异常数据对物体定位及分析的影响，从而降低物体点云分析的误差，提高物体定位的精确。
图2为本发明提供的基于多源传感器的物体定位方法实施例二的流程示意图，如图2所示，该步骤S102具体包括以下步骤：
S1021：根据所述预处理后的点云数据中的每个点云的空间位置，以所述多源传感器为原点进行三维建模，得到每个点云在三维模型中的三维坐标数据。
在本步骤中，首先，根据预处理后的点云数据中每个点云在实际空间中的空间位置，也就是三维坐标，以拍摄的相机(多源传感器)为原点进行建模，从而得到每个点云在建模后的三维模型中的三维坐标数据(x,y,z)。
S1022：对所述点云数据中的点云进行平面拟合检测，将检测到的最大平面作为所述操作平台的平面，并获取所述最大平面的四个顶点的坐标。
在本步骤中，需要进行平面检测。具体的，在完成建模后对场景中的点云进行平面拟合与检测，将检测到的最大平面作为操作平台平面并进行记录，然后根据平面内点云的坐标信息计算其一般方程：
Ax+Bx+Cy+D＝0
得到参数A、B、C、D并进行记录，同时记录最大平面的四个顶点的坐标。
可选的，在该步骤的执行过程中，在连续帧对应的点云中，检测最大平面上的点云数量，若点云数量少于预设下限num_bg_cloud，则认为前面建模的三维模型中的背景(背景模型)发生了变化，则重新进行建模；否则，在已有三维模型基础上进行更新。
S1023：对三维建模之后的所述三维模型进行整体旋转，以使所述最大平面与水平面平行，且三维模型中的Z轴指向所述最大平面上方。
在本步骤中，在完成上述建模过程之后，需要基于上述的模型进行左边变换和点云拆分。首先需要对模型中的坐标系进行旋转。具体的，在检测出最大平面基础上，对三维建模进行整体旋转处理，使得最大平面与水平面平行(水平面只是个举例，实际上只需要将最大平面旋转至与三维空间中的X，Y轴组成的平面平行即可)，Z轴指向最大平面上方，以便后续处理，同时记录转换后的平面参数与平面顶点参数。
S1024：将旋转后的三维模型中处于所述最大平面下方的点云进行删除，处于所述最大平面上方的点云作为前景，存储作为前景的点云信息作为所述前景信息，处于所述最大平面中的点云作为背景。
在本步骤中，在进行了坐标系旋转之后，需要进行点云提纯和点云分类。具体的，在完成坐标系变换后，根据每个点云在坐标系中的位置关系，将所有在最大平面下方的点云进行删除处理，得到纯净的背景与前景。
在提纯的基础上，再次根据空间中的每个点云的坐标关系，将所有在最大平面上方的点云(也就是放置在操作平台上的物体)进行存储作为前景，将最大平面内的所有点云作为背景。同时在每帧内进行背景更新判断。
图3为本发明提供的基于多源传感器的物体定位方法实施例三的流程示意图，如图3所示，在上述实施例的基础上，在获取到前景信息之后需要对点云进行聚类分割，该步骤S103具体包括以下步骤：
S1031：根据所述前景信息中每个点云的信息，根据点云之间的空间距离，采用K-means算法进行点云聚类，将前景中的点云聚类成多个簇。
S1032：将所述多个簇进行分割，分割成单一的点云簇，得到在所述操作平台上的每个物体对应的3D矩形包络框；其中，不规则的物体选择最小矩形进行包络。
在上述步骤中，处理后的物体点云(已删除背景包含的点云)，基于点云之间的空间距离，利用聚类的方法分割出不同的物体，进行单个物体的提取。背景及前景中包含的异常点提取出来并进行有选择的删减，得到提纯后的前景点云。
基于提纯后的前景点云之间的空间距离，利用K-means这一经典聚类算法，聚成k簇，即代表不同物体的聚类结果，以此分割出不同的物体。可选的，还可以根据不同场景过滤有效区域。
在上述实施例的基础上，下面对S104中，将物体的3D矩形包络框投影至背景平面，并基于物体在所述背景平面上的投影信息计算物体尺寸信息的具体实现进行解释，具体包括以下过程：
首先对得到的投影进行预处理，利用像素点的对比度得到二进制图像：
然后，使用中值滤波器对图像进行去噪处理，并对图像进行灰度化，得到灰度图像；
对上述得到的灰度图像使用导数滤波器寻找对比区域，将背景投影的像素值设置为参考数值。设置判定阈值，检测范围内，如果像素值与背景像素值的差值大于阈值，则将其标记为1，否则标记为0。创建具有选定原始图像边缘的二进制图像，将上述结果输入，得到检测物体与背景的二进制图像。
然后，确定投影的外围图线，对图线内部的空缺部分进行填充，将物体图像与背景图像的差值做差，得到物体的边界图线。F6计算闭合图线的面积，保留面积最大的图线，对其内部进行填充，得到无空缺的图形；将投影的边界部分采取不等式填充法，对不规则边界进行修正。
设定长度最小阈值与最大阈值，在区间内对图像边界进行截取，将图像边界分段。设置精确度e,取上述某线段，在精确度内对其进行拟合，将不规则边界拟合为函数图像。再对上述某段函数的左右边界取得值或表达式，将方程转为不等式，完成图像填充。
最后，对各段边界图线重复上述操作，最终得到由规则函数表示的投影边界。
计算投影面积：求最小外界矩阵：获取投影最开始的minx,maxx,miny,maxy，确定最初的外接矩形，然后对点簇进行旋转，按照：
x'＝xcos(b)-ysin(b)；
y'＝xsin(b)+ycos(b)；
旋转后，求出新的minx,maxx,miny,maxy，计算此时的面积，直到面积达到最小，得到的即为最小外接矩形，此时外接矩形的面积即为所求。
基于操作平面的不平整，计算物体上表面即最小外接矩形内的点，求其距正下方的高度差。再根据物体上表面每一个点和其正下方平台模型对应的点的高度差进行统计，并由低到高排序。去除异常点和不稳定点的(比如胶带在最上面的情况)，取所有点中第95％最高位置，即为物体的高度差H。
在一种具体实施方式中，通过上述方式通过前景和其正下方平台对比差异得到高度差，在此基础上，还可以对目标物体进行跟踪，对比不同帧的高度，实现对物体的姿态识别检测。本发明的技术方案还包括以下步骤：
针对目标物体，根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息，以及所述目标物体与所述操作平台之间的高度差，对所述目标物体进行姿态识别检测。
具体实现中，可以根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息以及不同帧中所述目标物体与所述操作平台之间的高度差，采用预设的姿态识别模型以及改进后的DEEPSORT算法，对所述目标物体进行实时的姿态识别检测；其中，所述改进后的DEEPSORT算法是对DEEPSORT算法的关联匹配过程中加入图神经网络进行改进得到的。
下面对物体进行实时追踪检测的方案进行详细描述，具体包括以下过程：
1、基于检测识别模型及DEEPSORT算法，实现对物体的实时追踪。
2、将DEEPSORT的关联匹配过程加以改进，加入图神经网络的有关信息，可有效实现在目标被遮挡或丢失后的重新识别，减少信息丢失。
3、依据前述实施例中计算出前景表面最大高度和正下方平台的最大高度，再利用前述方案中高度的计算公式，得到当前物体的高度。
4、在目标物体跟踪过程中，记录每一帧目标物体的高度，并对每一帧得到的高度进行同步的线性拟合，在没有异常姿态的情况下，该曲线呈线性关系，没有离群点。
5、找出拟合曲线的某一时刻的离群点或强影响点，对其进行信息记录。
该步骤中的强影响点即为物体姿态异常点。
在另一种可能的实施方式中，对多目标(指多个目标物体)跟踪的方法包括如下步骤：
1、单帧物体检测，具体流程如下：
将OpenNI数据转换为OpenCV下的格式，OpenNI(Open Natural Interaction)是用于3D感知的开发接口，OpenNI2就是一个RGBD相机的用户态驱动，对上提供统一的接口，方便用户获取RGBD的图像数据，对下提供统一的标准类，方便RGBD厂商进行适配。使用oni2mat函数将深度相机获取的OpenNI数据转化为后续需要在OpenCV中使用的格式。
将景深图像转化为点云，在进行转化之后将三维点云存为32FC3格式，以供之后的背景建模使用。这里的CV_32FC3格式是OpenCV中的一种数据格式，F表示Float单精度浮点型，C3则表示3通道图像即RGB彩色图像，并且该类型的取值仅为0.0到1.0。利用函数image2PointCloudMat转化后的三维点云，其三维度分别表示xyz坐标轴。并利用背景模型提取前景点云fgMaskMOG2，再利用高斯滤波进行点云去噪
基于背景模型，提取当前帧的前景点云并返回当前帧的背景(传送带平台上)点云数量，用于判断是否需要重新建模，利用相机参数将景深图转化为三维空间中的坐标点，同时，基于空间关系删除传送带下方的点云(地面等背景信息)并统计出属于传送带平面的点云个数。
再次删减当前帧中前景点云fgMaskMOG2的传送带平台下方部分背景点，提纯前景点云，将Mat格式的点云转化为pcl点云image2，并返回当前帧背景点云数量。如果新一帧中的背景平台点云数量少于预设下限num_bg_cloud，则说明背景模型有变化(相机被碰撞，或者传送带升降的情况)。连续多帧背景平台点云数量不足，则在主函数中进行判断并进行背景模型自适应构建，替换原有模型。
对提取的点云基于原点，按照不同的转角进行旋转操作至传送带平面和相机空间的xoy平行，然后利用系列滤波进行去噪和降数量。该旋转的原因是后续统计物体尺寸的时候，先计算物体在传送带平面投影的2D矩阵包络，得到物体长宽，再计算z轴的高度信息。旋转后的物体高度和坐标系z轴一致，便于统计高度信息。
对处理得到的物体点云(已删除传送带平台包含的点云)，基于点云之间的空间距离，利用聚类方法分割出不同的物体。
对分割出来的每个物体，进行三维尺寸测量。先计算物体在传送带平面投影的2D矩阵包络，得到物体长宽，再计算z轴的高度信息。
画出物体边界并与操作台边界进行比较，物体投影区域若有部分越过了操作台边界，则该物体在操作台边缘区域，以此判断xy平面的矩形包络和传送带平面的位置关系，判断物体是否完整进入传送带区域。最后输出当前帧的物体信息。
2、物体追踪，具体流程如下：
对于完整进入传送带区域的物体使用定速卡尔曼滤波器，将卡尔曼滤波器推广到3D范围，对于物体的轨迹T用十个维度进行推算(x,y,z,θ,l,w,h,vx,vy,vz)进行推算，具体公式如下：
x＝x+vx,y＝y+vy,z＝z+vz；
如果在同一帧中有多个物体，就变成
(T＝trajectory,m＝m个物体轨迹,t＝t时刻)。
有了每一帧的3D目标检测Dt与卡尔曼滤波器推算后的物体轨迹
后，通过匈牙利算法将Dt与/>
中的物体计算3D IOU并进行匹配。
将刚匹配好的目标轨迹进行状态更新(
跟/>
)，更新后的值是根据/>
跟
的不确定性之加权平均(目标检测中的score与估计值的斜方差)。
关联物体尺寸与速度信息：使用前述单帧物体检测输出的物体尺寸(l,w,h,)，使用输入卡尔曼滤波器的速度，将二者与
相关联。
增添记忆模块，更新目标追踪中轨迹的生存周期。
新增目标轨迹：默认Dunmatch为新出现的物体(目标检测中无法与当前轨迹匹配的物体)，为了避免算法误检，设定Fmin，当物体连续满足Fmin帧都存在，为此目标增添一个新的待加入轨道
并初始化v，同时这个目标轨迹也要使用卡尔曼滤波器进行状态预测与更新，当连续满足下几帧也有匹配的目标后，则让/>
进入/>
新增的初始状态为当前检测状态(x,y,z,θ,l,w,h)，加上(vx,vy,vz)，速度分别用0进行初始化。
移除目标轨迹：默认Tunmatch为物体离开检测范围，但为了避免正样本算法漏检情况，持续追踪Tunmatch这个轨道的，设定Agemax，当超过这个值，还没有匹配目标出现，则将该目标轨道删除。
本发明提供的方案能够基于对物体的三维形态进行准确测量，亦可用于“料堆”型传送带应用中，例如中药材智能煎药工厂，水泥、粮食升降式自动计量传送带等，对于具体的应用领域，本发明技术方案不做限制。
本发明提供的基于多源传感器的操作平台对物体进行定位分析的技术，通过结构光相机等多源传感器采集点云数据，进行离群点和异常点去除，然后将预处理的数据进行背景建模，得到操作平台的平面信息，并提取前景信息。基于算法对前进信息进行点云聚类，得到不同物体的3D矩形包络框，对得到的矩形包络框进行投影，投影至背景平面中，再根据投影后的数据得到操作平台的高度以及物体最高平面的高度，包络在背景中的投影，计算得到物体的长宽高等尺寸信息，基于物体的尺寸相机以及相机拍摄得到的图像信息，进行融合，最后再采用改进后的DEEPSORT算法对物体进行实时跟踪，通过这种方式能够准确的定位平台上的物体，避免异常数据对物体的位置的影响，降低物体点云分析的误差，提高定位精确度。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图4本发明提供的基于多源传感器的物体定位装置实施例一的结构示意图。如图4所示，该基于多源传感器的物体定位装置10包括：
第一处理模块11，用于对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据；
第二处理模块12，用于基于所述预处理后的点云数据，获取数据中的前景信息；
第三处理模块13，用于根据所述前景信息，采用K-means算法进行点云聚类，并基于聚类结果进行分割，得到所述操作平台上的每个物体对应的3D矩形包络框；
第四处理模块14，用于针对每个物体，将所述物体的3D矩形包络框投影至背景平面，并基于所述物体在所述背景平面上的投影信息计算物体尺寸信息；
第五处理模块15，用于根据对所述操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位。
本实施例提供的基于多源传感器的物体定位装置，用于执行前述任一方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，所述第五处理模块15还用于：
针对目标物体，根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息，以及所述目标物体与所述操作平台之间的高度差，对所述目标物体进行姿态识别检测。
可选的，所述第五处理模块15还具体用于：
根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息以及不同帧中所述目标物体与所述操作平台之间的高度差，采用预设的姿态识别模型以及改进后的DEEPSORT算法，对所述目标物体进行实时的姿态识别检测；
其中，所述改进后的DEEPSORT算法是对DEEPSORT算法的关联匹配过程中加入图神经网络进行改进得到的。
图5本发明提供的基于多源传感器的物体定位装置实施例二的结构示意图。如图5所示，该基于多源传感器的物体定位装置10还包括：
图像采集模块16，用于通过所述多源传感器对所述操作平台上的图像进行拍摄，获取对应的深度图像；
图像处理模块17，用于基于所述深度图像，计算获取所述操作平台上物体的点云数据；
相应的，所述第一处理模块11具体用于：
采用高斯滤波的方式对所述点云数据进行预处理，剔除其中的离群点和异常点，得到所述预处理后的点云数据。
可选的，所述第二处理模块12具体用于：
根据所述与处理后的点云数据中的每个点云的空间位置，以所述多源传感器为原点进行三维建模，得到每个点云在三维模型中的三维坐标数据；
对所述点云数据中的点云进行平面拟合检测，将检测到的最大平面作为所述操作平台的平面，并获取所述最大平面的四个顶点的坐标；
对三维建模之后的所述三维模型进行整体旋转，以使所述最大平面与水平面平行，且三维模型中的Z轴指向所述最大平面上方；
将旋转后的三维模型中处于所述最大平面下方的点云进行删除，处于所述最大平面上方的点云作为前景，存储作为前景的点云信息作为所述前景信息，处于所述最大平面中的点云作为背景。
可选的，所述第三处理模块13具体用于：
根据所述前景信息中每个点云的信息，根据点云之间的空间距离，采用K-means算法进行点云聚类，将前景中的点云聚类成多个簇；
将所述多个簇进行分割，分割成单一的点云簇，得到在所述操作平台上的每个物体对应的3D矩形包络框；其中，不规则的物体选择最小矩形进行包络。
可选的，所述图像采集模块16还用于：
通过摄像机对所述操作平台上的物体进行实时拍摄，获取所述操作平台的图像信息。
前述任一实施例提供的基于多源传感器的物体定位装置，用于执行前述任一方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外，这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图6为本发明提供的计算机设备的结构示意图。如图6所示，该计算机设备200包括：
处理器201、存储器202、传输接口203及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时用于实现前述任一方法实施例的技术方案。
该计算机设备可以被实现为服务器，个人计算机，电脑，智能终端等能够进行图像数据分析处理的设备，对于具体的设备形态，本发明不做限制。
该计算机设备在被实现为终端设备时，还需要对相关的提示信息进行显示，因此还需要包括I/O接口，例如显示器。
可选的，该计算机设备的上述各个器件之间可以通过系统总线连接。
存储器可以是单独的存储单元，也可以是集成在处理器中的存储单元。处理器的数量为一个或者多个。
可选的，计算机设备还可以包括与其他设备进行交互的接口。
收发器用于和其他计算机进行通信，该收发器构成通信接口。
显示器用于显示处理器的处理结果以及和人机交互。在一些实施例中，显示器可以为终端设备的前面板；在另一些实施例中，显示器可以是柔性显示屏，设置在终端设备的弯曲表面上或折叠面上。甚至，显示器还可以设置成非矩形的不规则图形的显示屏，也即异形屏。显示器可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等材质制备。
应理解，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
系统总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器可能包括随机存取存储器(randomaccess memory，RAM)，也可能还包括非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储器(存储介质)包括：只读存储器(read-only memory，ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(magnetic tape)、软盘(floppy disk)、光盘(optical disc)及其任意组合。
本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现前述任一方法实施例中网络接入方法中任一执行主体侧的技术方案。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器，电可擦除可编程只读存储器，可擦除可编程只读存储器，可编程只读存储器，只读存储器，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
可选的，将可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种基于多源传感器的物体定位方法，其特征在于，所述方法包括：
对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据；
基于所述预处理后的点云数据，获取数据中的前景信息；
根据所述前景信息，采用K-means算法进行点云聚类，并基于聚类结果进行分割，得到所述操作平台上的每个物体对应的3D矩形包络框；
针对每个物体，将所述物体的3D矩形包络框投影至背景平面，并基于所述物体在所述背景平面上的投影信息计算物体尺寸信息；
根据对所述操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对目标物体，根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息，以及所述目标物体与所述操作平台之间的高度差，对所述目标物体进行姿态识别检测。
3.根据权利要求2所述的方法，其特征在于，所述根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息，以及所述目标物体与所述操作平台之间的高度差，对所述目标物体进行姿态识别检测，包括：
根据采集到的不同帧对应的点云数据中获取到的所述目标物体的物体尺寸信息以及不同帧中所述目标物体与所述操作平台之间的高度差，采用预设的姿态识别模型以及改进后的DEEPSORT算法，对所述目标物体进行实时的姿态识别检测；
其中，所述改进后的DEEPSORT算法是对DEEPSORT算法的关联匹配过程中加入图神经网络进行改进得到的。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
通过所述多源传感器对所述操作平台上的图像进行拍摄，获取对应的深度图像；
基于所述深度图像，计算获取所述操作平台上物体的点云数据；
相应的，所述对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据，包括：
采用高斯滤波的方式对所述点云数据进行预处理，剔除其中的离群点和异常点，得到所述预处理后的点云数据。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述预处理后的点云数据，获取数据中的前景信息，包括：
根据所述预处理后的点云数据中的每个点云的空间位置，以所述多源传感器为原点进行三维建模，得到每个点云在三维模型中的三维坐标数据；
对所述点云数据中的点云进行平面拟合检测，将检测到的最大平面作为所述操作平台的平面，并获取所述最大平面的四个顶点的坐标；
对三维建模之后的所述三维模型进行整体旋转，以使所述最大平面与水平面平行，且三维模型中的Z轴指向所述最大平面上方；
将旋转后的三维模型中处于所述最大平面下方的点云进行删除，处于所述最大平面上方的点云作为前景，存储作为前景的点云信息作为所述前景信息，处于所述最大平面中的点云作为背景。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述前景信息，采用K-means算法进行点云聚类，并基于聚类结果进行分割，得到所述操作平台上的每个物体对应的3D矩形包络框，包括：
根据所述前景信息中每个点云的信息，根据点云之间的空间距离，采用K-means算法进行点云聚类，将前景中的点云聚类成多个簇；
将所述多个簇进行分割，分割成单一的点云簇，得到在所述操作平台上的每个物体对应的3D矩形包络框；其中，不规则的物体选择最小矩形进行包络。
7.根据权利要求1至3任一项所述的方法，其特征在于，所述根据对所述操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位之前，所述方法还包括：
通过摄像机对所述操作平台上的物体进行实时拍摄，获取所述操作平台的图像信息。
8.一种基于多源传感器的物体定位装置，其特征在于，所述装置包括：
第一处理模块，用于对多源传感器采集获取的操作平台上物体的点云数据，进行离群点和异常点剔除，得到预处理后的点云数据；
第二处理模块，用于基于所述预处理后的点云数据，获取数据中的前景信息；
第三处理模块，用于根据所述前景信息，采用K-means算法进行点云聚类，并基于聚类结果进行分割，得到所述操作平台上的每个物体对应的3D矩形包络框；
第四处理模块，用于针对每个物体，将所述物体的3D矩形包络框投影至背景平面，并基于所述物体在所述背景平面上的投影信息计算物体尺寸信息；
第五处理模块，用于根据对所述操作平台进行拍摄获取的图像信息以及每个物体的物体尺寸信息对物体进行定位。
9.一种计算机设备，其特征在于，包括：处理器、存储器、传输接口及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时用于实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310311661.5A CN116385527A (zh) | 2023-03-27 | 2023-03-27 | 基于多源传感器的物体定位方法、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310311661.5A CN116385527A (zh) | 2023-03-27 | 2023-03-27 | 基于多源传感器的物体定位方法、装置和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385527A true CN116385527A (zh) | 2023-07-04 |
Family
ID=86978116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310311661.5A Pending CN116385527A (zh) | 2023-03-27 | 2023-03-27 | 基于多源传感器的物体定位方法、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385527A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116796278A (zh) * | 2023-08-21 | 2023-09-22 | 北京理工大学 | 多源异构数据的异常检测方法和系统 |
-
2023
- 2023-03-27 CN CN202310311661.5A patent/CN116385527A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116796278A (zh) * | 2023-08-21 | 2023-09-22 | 北京理工大学 | 多源异构数据的异常检测方法和系统 |
| CN116796278B (zh) * | 2023-08-21 | 2023-10-24 | 北京理工大学 | 多源异构数据的异常检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11703951B1 (en) | Gesture recognition systems | |
| CN109388093B (zh) | 基于线特征识别的机器人姿态控制方法、系统及机器人 | |
| Tan et al. | Robust monocular SLAM in dynamic environments | |
| CN108875723B (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN110197146B (zh) | 基于深度学习的人脸图像分析方法、电子装置及存储介质 | |
| CN111402336A (zh) | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 | |
| CN109977997B (zh) | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 | |
| CN111797657A (zh) | 车辆周边障碍检测方法、装置、存储介质及电子设备 | |
| CN112734852A (zh) | 一种机器人建图方法、装置及计算设备 | |
| CN111611643A (zh) | 户型矢量化数据获得方法、装置、电子设备及存储介质 | |
| CN110490171B (zh) | 一种危险姿态识别方法、装置、计算机设备及存储介质 | |
| CN112633084A (zh) | 人脸框确定方法、装置、终端设备及存储介质 | |
| CN111382637A (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
| CN116385527A (zh) | 基于多源传感器的物体定位方法、装置和介质 | |
| CN114820639A (zh) | 基于动态场景的图像处理方法、装置、设备及存储介质 | |
| CN113420648B (zh) | 一种具有旋转适应性的目标检测方法及系统 | |
| EP3035234A1 (en) | Method and electronic device for object tracking in a light-field capture | |
| Yin et al. | Removing dynamic 3D objects from point clouds of a moving RGB-D camera | |
| CN112507924B (zh) | 一种3d手势识别方法、装置及系统 | |
| CN112686872B (zh) | 基于深度学习的木材计数方法 | |
| CN111460858A (zh) | 图像中指尖点的确定方法、装置、存储介质及电子设备 | |
| CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
| CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
| CN116563376A (zh) | 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置 | |
| CN111242084A (zh) | 机器人控制方法、装置、机器人及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |