CN109344813B - 一种基于rgbd的目标识别和场景建模方法 - Google Patents
一种基于rgbd的目标识别和场景建模方法 Download PDFInfo
- Publication number
- CN109344813B CN109344813B CN201811437555.7A CN201811437555A CN109344813B CN 109344813 B CN109344813 B CN 109344813B CN 201811437555 A CN201811437555 A CN 201811437555A CN 109344813 B CN109344813 B CN 109344813B
- Authority
- CN
- China
- Prior art keywords
- data
- target recognition
- target
- module
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于RGBD的目标识别和场景建模系统，涉及目标识别技术领域。该系统包括数据采集模块、数据处理模块、场景建模算法模块、目标识别算法模块，数据采集模块用于采集RGBD图像；数据处理模块用于存储本地数据集，控制各功能模块工作，并对各功能模块传来的数据进行处理；场景建模算法模块用于进行场景建模；目标识别算法模块用于进行目标识别；场景建模算法模块与目标识别算法模块之间数据交换，并根据对方数据进行工作。通过目标识别和场景建模同时进行，目标识别模块和场景建模模块得到的数据进行交换、评估和融合，形成了一种处理机制，该系统解决了传统系统中存在的处理速度慢的问题，同时提高了目标识别的准确性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种激光雷达目标识别和场景建模方法。
背景技术
目标识别技术(target identification technique)，是利用雷达和计算机对遥远目标进行辨认的技术，通过对雷达回波中的幅度、相位、频谱和极化等目标特征信息的分析，在数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决。
目前，使用激光雷达进行目标识别，一般先从几何特征，将物体的点云分割好，也就是将不同物体通过点云分割出来，然后通过成像关系和RGBD配准信息，在图像上找到对应的区域，即感兴趣区域（Region of Interest，ROI），然后对图像进行识别，后续根据识别结果再进行抓取。这一过程中，会将物体所在场景的图像也包括进来，出现背景干扰项，影响最后的检测精度。要提高激光雷达对目标识别的准确度，就要求对目标所在场景有一个模型进行研究，对物体所在场景进行建模是目标识别研究重要的数据源。
传统方法的目标识别和场景建模是两个独立的流程，各自运行，没有交互，没有相关性。场景建模得出的模拟数据为目标识别提供数据源，这种情况下场景建模模块计算完成后，再将结果发予目标识别模块进行计算，计算速度慢，同时也会造成对目标的识别不准确和建模准度偏差大的问题。
发明内容
本发明实施例的目的在于提出一种基于RGBD的目标识别和场景建模方法，针对传统系统中目标识别和场景建模依次进行，彼此之间数据不参考对照，数据处理速度慢，目标识别和场景建模准确性差的问题，本发明实施例采用目标识别和场景建模同时进行，目标识别模块和场景建模模块得到的数据进行交换、判断和融合，形成了一种处理机制，该系统不仅提升了数据处理的速度，而且提高了对目标识别和场景建模的准确性。其中，“RGBD”包括RGB图像数据和深度数据（D）。为达此目的，本发明实施例采用以下技术方案：
一种基于RGBD的目标识别和场景建模方法，包括如下步骤：
a、数据采集模块采集RGBD图像数据并将数据传输给数据处理模块；
b、数据处理模块对数据采集模块进行器件标定，确定数据采集模块的参数；
c、数据处理模块根据步骤b的参数对RGBD图像处理，处理得到RGBD点云数据后发予场景建模算法模块、目标识别算法模块；
d、场景建模算法模块、目标识别算法模块将RGBD点云数据与本地数据集进行训练、匹配，得到建模成功概率、目标识别匹配准度概率，发回数据处理模块；
e、数据处理模块将建模成功概率和目标识别匹配准度概率比较，根据比较结果控制场景建模算法模块、目标识别算法模块进行场景建模、目标识别；
f、场景建模算法模块、目标识别算法模块将场景数据与目标识别结果发予数据处理模块，数据处理模块进行融合，输出。
进一步地，所述的数据匹配包括建模匹配和目标识别匹配，其中所述的步骤d包括如下步骤：
d1、场景建模算法模块、目标识别算法模块分别对卷积神经网络里存储的本地数据集进行训练学习，得到训练参数；
d2、场景建模算法模块、目标识别算法模块接收数据处理模块发来的数据并根据训练参数进行匹配，得到建模成功概率、目标识别匹配准度概率。
进一步地，所述的步骤e包括如下步骤：
e1、数据处理模块将建模成功概率和目标识别匹配准度概率进行比较，得出比较结果；
e2、当目标识别匹配准度概率大于等于建模成功概率时，数据处理模块控制目标识别算法模块进行目标识别，得到目标识别结果，场景建模算法模块根据目标识别结果进行场景建模；
e3、当目标识别匹配准度概率小于建模成功概率时，数据处理模块控制场景建模算法模块进行场景建模，得到场景建模结果，目标识别算法模块根据场景建模结果进行目标识别。
进一步地，所述的场景建模包括：
e21、对RGBD点云数据进行数据处理，提取相关数据，无关数据过滤剔除；
e22、对数据进行分割，获取场景中的各目标物体,在卷积神经网络的本地数据子集中对目标物体进行检索得到匹配的模型,所有模型组合得出重建场景。
进一步地，所述的目标识别包括：
e31、目标识别算法模块将RGBD点云数据中的各个点云簇通过规则进行聚类提取，RGB着色，得到像素；
e32、提取用于表述已知目标的像素，然后，将目标的纹理和层次进行匹配，将目标分割出来；
e33、对目标分割后的RGBD点云数据，通过其轮廓、颜色、距离信息与训练参数匹配，进行判定，分类出数据是否属于目标；
e34、目标检测，通过卷积神经网络训练后，得到针对不同目标的不同参数，形状特征，将图像数据与参数，形状特征对比，把图像中所有的目标准确找出来，确定其位置及范围；
e35、参考场景建模信息进一步判断图像中像素归属目标，完成目标识别。
进一步地，所述的步骤c中，对RGBD图像处理数据处理包括将RGBD图像分成RGB图像和深度图像并按照时间一一对应，按照数据采集模块的参数将RGB图像和深度图像统一在一个坐标系内，对深度图像进行过滤去噪。
进一步地，一种基于RGBD的目标识别和场景建模方法，还包括效果渲染：数据处理模块内置的卷积神经网络对融合后的数据进行训练、数据学习后将新增数据存储到本地数据集里，形成新的数据子集，并对目标进行分类、打标签。
本发明的一个实施例具有以下有益效果：
本实施例使用多线程处理，将目标识别和场景建模进行并行处理，剔除冗余信息，缩减特征提取、匹配和分类的时间，有针对性的数据抓取和融合，提升了数据处理速度。
本发明实施例还提高对目标识别和场景建模的准确性：由于现有技术中，基于背景和基于世界坐标系的地平面假设，需要进行多重映射和变换，故存在匹配一致性的误差。本方法通过数据处理模块进行建模匹配和目标识别匹配，场景建模模块和目标识别模块彼此交换数据，建模结果和目标识别结果相互参考，使得特征提取和处理更加规律一致、对目标轮廓判断更准确，两次进行数据过滤去噪，剔除离群点和杂散点，从而使得用于识别和建模的目标数据信息完整且无其他数据干扰（如背景数据、其他物体数据等，从而使准确率大大提高。
附图说明
图1是本发明实施例1的系统模块示意图。
图2是本发明实施例1的功能框图。
图3是本发明实施例2的系统模块示意图。
图4是本发明实施例2的功能框图。
图中：1、数据采集模块；2、数据处理模块；3、场景建模算法模块；4、目标识别算法模块；5、共享内存；6、原型输出端口；7、演示上位机。
实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本发明实施例
实施例
如图1所示，一种基于RGBD的目标识别和场景建模系统，包括数据采集模块1、数据处理模块2、场景建模算法模块3、目标识别算法模块4，所述数据采集模块1用于采集RGBD图像，数据采集模块1选用网络相机、雷达或深度相机，所述的RGBD图像数据包括RGB图像和深度图像，RGB图像即彩色图像。网络相机用于采集彩色图像，雷达或深度相机用于采集深度图像。
数据处理模块2用于存储本地数据集，控制各功能模块工作，并对各功能模块传来的数据进行处理。所述的本地数据集存储了训练参数，包括：场景建模经本地数据集训练后的用于指导建模的参数，如分类方式、场景物体几何特征匹配、场景内物体长宽高；场景建模算法模块匹配的场景参数；目标识别算法模块匹配的目标的定位坐标；本地数据集接收场景建模算法模块和目标识别算法模块发来的数据并对本地数据集进行更新。
场景建模算法模块3用于进行场景建模；目标识别算法模块4用于进行目标识别；所述场景建模算法模块3与目标识别算法模块4之间数据交换，并根据对方数据进行工作。
所述的数据处理模块2包括卷积神经网络，所述的卷积神经网络用于存储本地数据集，场景建模算法模块3、目标识别算法模块4在卷积神经网络中进行训练、学习。
如图2所示，一种基于RGBD的目标识别和场景建模方法，包括如下步骤：
数据采集模块1采集RGBD图像数据并将数据传输给数据处理模块2；
b、数据处理模块2对数据采集模块1进行器件标定，确定数据采集模块1的参数；
所述的器件标定采用棋盘格进行二维标定，分别采用平面拟合方法对rgb相机、采用平面配准方法对雷达或深度相机进行初始参数标定和相对位姿标定，确定数据采集模块1的内外参数。平面拟合方法、平面配准方法为现有技术。
通过对数据采集模块1，即rgb相机、雷达或深度相机的标定，得到RGB相机坐标系和世界坐标系的转换关系、深度相机坐标系和世界坐标系的转换关系、RGB相机和深度相机两个坐标系的转换可以通过公式推导得到，这样数据处理模块可以通过一次变换得到RGB信息和深度信息的融合，时间三维的目标识别和场景建模，目标识别处理结果和场景建模处理结果的融合也变得更加高效。
c、数据处理模块2根据步骤b的参数对RGBD图像处理，处理得到RGBD点云数据发予场景建模算法3模块、目标识别算法模块4；
所述的数据处理包括将RGBD图像分成RGB图像和深度图像并按照时间一一对应，按照步骤b得到的数据采集模块1的参数将RGB图像和深度图像统一在一个坐标系内，对深度图像进行过滤去噪、数据合并、拼接，得到RGBD点云数据。
具体步骤为对深度图像进行过滤去噪、数据合并、拼接，具体步骤为数据处理模块2先将深度图像转化成深度点云图像，再将深度点云图像中的杂点过滤，除去干扰噪声；之后将深度点云图像处理成深度点云数据，并将rgb图像复合到深度点云数据上，对深度点云数据着色，进行数据合并及拼接。
d、场景建模算法模块3、目标识别算法模块4将RGBD点云数据与本地数据集进行匹配，得到建模成功概率、目标识别匹配准度概率，发回数据处理模块；
具体来说，数据匹配包括如下步骤：
d1、场景建模算法模块、目标识别算法模块分别对卷积神经网络里存储的本地数据集进行训练学习，得到训练参数；
其中训练参数包括了场景建模经本地数据集训练后的用于指导建模的参数，如分类方式、场景物体几何特征匹配、场景内物体长宽高；场景建模算法模块匹配的场景参数；目标识别算法模块匹配的目标的定位坐标；体素，数据置信度。
d2、场景建模算法模块、目标识别算法模块接收数据处理模块发来的数据并根据训练参数进行匹配，得到建模成功概率、目标识别匹配准度概率。
e、数据处理模块将建模成功概率和目标识别匹配准度概率比较，根据比较结果控制场景建模算法模块、目标识别算法模块进行场景建模、目标识别；
具体来说，场景建模、目标识别包括如下步骤：
e1、数据处理模块将建模成功概率和目标识别匹配准度概率进行比较，得出比较结果；
e2、当目标识别匹配准度概率大于等于建模成功概率时，数据处理模块控制目标识别算法模块进行目标识别，得到目标识别结果，场景建模算法模块根据目标识别结果进行场景建模；
e3、当目标识别匹配准度概率小于建模成功概率时，数据处理模块控制场景建模算法模块进行场景建模，得到场景建模结果，目标识别算法模块根据场景建模结果进行目标识别。
其中场景建模包括如下步骤：
e21、对RGBD点云数据进行数据处理，提取相关数据，无关数据过滤剔除；
e22、对数据进行分割，获取场景中的各目标物体,在卷积神经网络的本地数据子集中对目标物体进行检索得到匹配的模型,所有模型组合得出重建场景。
当目标识别匹配准度概率大于等于建模成功概率时，场景建模算法模块对目标识别后的RGBD点云数据进行数据处理、场景建模；当目标识别匹配准度概率小于建模成功概率时，场景建模算法模块直接对步骤c得到的RGBD点云数据进行数据处理，场景建模。
目标识别包括如下步骤：
e31、目标识别算法模块将RGBD点云数据中的各个点云簇通过规则进行聚类提取，RGB着色，得到像素；
e32、提取用于表述已知目标的像素，然后，将目标的纹理和层次进行匹配，将目标分割出来；
e33、对彩色图像和步骤e22处理得到的深度点云数据，通过其轮廓、颜色、距离信息与训练参数匹配，进行判定，分类出数据是否属于目标；
e34、目标检测，通过卷积神经网络训练后，得到针对不同目标的不同参数，形状特征，将图像数据与参数，形状特征对比，把图像中所有的目标准确找出来，确定其位置及范围；
e35、参考场景建模信息进一步判断图像中像素归属目标，完成目标识别。
当目标识别匹配准度概率大于等于建模成功概率时，目标识别模块直接对步骤c得到的深度图像点云进行聚类提取、目标识别；当目标识别匹配准度概率小于建模成功概率时，目标识别算法模块对场景建模后的深度图像点云进行聚类提取、目标识别。
f、场景建模算法模块、目标识别算法模块将场景数据与目标识别结果发予数据处理模块，进行融合，输出。
实施例
如图3所示，一种基于RGBD的目标识别和场景建模系统，包括数据采集模块1、数据处理模块2、场景建模算法模块3、目标识别算法模块4，所述数据采集模块1用于采集RGBD图像，所述场景建模算法模块3用于进行建模匹配，场景建模；所述目标识别算法模块4用于进行目标检测匹配，目标识别。数据采集模块1、数据处理模块2、场景建模算法模块3、目标识别算法模块4与实施例1相同。
为了安全便捷的传输RGBD数据，在数据采集模块1和数据处理模块2之间设置原型输出端口6，原型输出端口6可以选择多种通信端口，优选为USB端口。
为了向外界输出图像，本实施例还包括演示上位机7，演示上位机7可以选用电视、电脑、手机等终端。
数据采集模块1采集到RGBD图像并将数据通过原型输出端口6发予数据处理模块3，数据处理模块3接收RGBD图像数据并对数据进行解析、过滤，将目标的深度图像转化为点云数据；对场景建模成功率和目标识别匹配准度概率进行比较，根据结果控制场景建模算法模块4、目标识别算法模块6，将场景建模，目标识别结果融合后发予演示上位机7，发予方式为直接发予演示上位机7或者演示上位机7通过轮询查看的方式获取融合后的数据，即是上位机定时查询数据处理模块是否处理完毕，生成可展示的数据，若有可展示数据则展示，否则，过固定时间后继续查询。
为了提高场景建模算法模块3、目标识别算法模块4之间的数据交换效率，本实施例还包括共享内存5，所述共享内存5用于存储、传输场景建模算法模块3、目标识别算法模块4发来的数据，并接受场景建模算法模块3、目标识别算法模块4提取数据。
如图4所示，为了提高图像质量，本申请方法还包括效果渲染：数据处理模块内置的卷积神经网络对融合后的数据进行训练、数据学习后将新增数据存储到本地数据集里，形成新的数据子集，并对目标进行分类、打标签。
所述的效果渲染包括如下步骤：
g1、进行匹配标示，即对RGB图像和经数据处理模块3处理深度点云数据转化得到的点云进行配准，进行坐标系转换，将RGB信息配准到深度点云数据转化的点云中；
g2、目标统计及分类，通过卷积神经网络对本地数据集进行训练，对数据融合后的图像进行识别和建模。这一步骤与之前的识别、建模步骤相同，是闭环重复操作，达到实时训练，实时更新目标识别和场景建模。
数据输出，演示上位机接收融合后的数据输出，演示。
本方法有效规避多次坐标系转换，使得特征提取和处理更加规律一致、对目标轮廓判断更准确，对背景进行统一处理（非目标物体使用统一物体模拟和空阔场景统一剔除离群点和杂散点），从而使得用于识别和建模的目标数据信息完整且无其他数据干扰（如背景数据、其他物体数据等），从而使准确率大大提高。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。
Claims (6)
1.一种基于RGBD的目标识别和场景建模方法，其特征在于，包括如下步骤：
a、数据采集模块采集RGBD图像数据并将数据传输给数据处理模块；
b、数据处理模块对数据采集模块进行器件标定，确定数据采集模块的参数；
c、数据处理模块根据步骤b的参数对RGBD图像处理，处理得到RGBD点云数据后发予场景建模算法模块、目标识别算法模块；
d、场景建模算法模块、目标识别算法模块将RGBD点云数据与本地数据集进行训练、匹配，得到建模成功概率、目标识别匹配准度概率，发回数据处理模块；
e、数据处理模块将建模成功概率和目标识别匹配准度概率比较，根据比较结果控制场景建模算法模块、目标识别算法模块进行场景建模、目标识别；
e1、数据处理模块将建模成功概率和目标识别匹配准度概率进行比较，得出比较结果；
e2、当目标识别匹配准度概率大于等于建模成功概率时，数据处理模块控制目标识别算法模块进行目标识别，得到目标识别结果，场景建模算法模块根据目标识别结果进行场景建模；
e3、当目标识别匹配准度概率小于建模成功概率时，数据处理模块控制场景建模算法模块进行场景建模，得到场景建模结果，目标识别算法模块根据场景建模结果进行目标识别
f、场景建模算法模块、目标识别算法模块将场景数据与目标识别结果发予数据处理模块，进行融合。
2.根据权利要求1所述的一种基于RGBD的目标识别和场景建模方法，其特征在于，所述的步骤d包括如下步骤：
d1、场景建模算法模块、目标识别算法模块分别对卷积神经网络里存储的本地数据集进行训练学习，得到训练参数；
d2、场景建模算法模块、目标识别算法模块接收数据处理模块发来的数据并根据训练参数进行匹配，得到建模成功概率、目标识别匹配准度概率。
3.根据权利要求1所述的一种基于RGBD的目标识别和场景建模方法，其特征在于，所述的场景建模包括：
e21、对RGBD点云数据进行数据处理，提取相关数据，无关数据过滤剔除；
e22、对数据进行分割，获取场景中的各目标物体,在卷积神经网络的本地数据子集中对目标物体进行检索得到匹配的模型,所有模型组合得出重建场景。
4.根据权利要求1所述的一种基于RGBD的目标识别和场景建模方法，其特征在于，所述的目标识别包括：
e31、目标识别算法模块将RGBD点云数据中的各个点云簇通过规则进行聚类提取，RGB着色，得到像素；
e32、提取用于表述已知目标的像素，然后，将目标的纹理和层次进行匹配，将目标分割；
e33、对目标分割后的RGBD点云数据，通过其轮廓、颜色、距离信息与训练参数匹配，进行判定，分类出数据是否属于目标；
e34、目标检测，通过卷积神经网络训练后，得到针对不同目标的不同参数，形状特征，将图像数据与参数，形状特征对比，把图像中所有的目标准确找出，确定其位置及范围；
e35、参考场景建模信息进一步判断图像中像素归属目标，完成目标识别。
5.根据权利要求1所述的一种基于RGBD的目标识别和场景建模方法，其特征在于，所述的步骤c中，对RGBD图像处理数据处理包括将RGBD图像分成RGB图像和深度图像并按照时间一一对应，按照数据采集模块的参数将RGB图像和深度图像统一在一个坐标系内，对深度图像进行过滤去噪、数据合并、拼接。
6.根据权利要求1所述的一种基于RGBD的目标识别和场景建模方法，其特征在于，还包括效果渲染：数据处理模块内置的卷积神经网络对融合后的数据进行训练、数据学习后将新增数据存储到本地数据集里，形成新的数据子集，并对目标进行分类、打标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811437555.7A CN109344813B (zh) | 2018-11-28 | 2018-11-28 | 一种基于rgbd的目标识别和场景建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811437555.7A CN109344813B (zh) | 2018-11-28 | 2018-11-28 | 一种基于rgbd的目标识别和场景建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109344813A CN109344813A (zh) | 2019-02-15 |
| CN109344813B true CN109344813B (zh) | 2023-11-28 |
Family
ID=65318602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811437555.7A Active CN109344813B (zh) | 2018-11-28 | 2018-11-28 | 一种基于rgbd的目标识别和场景建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344813B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008843B (zh) * | 2019-03-11 | 2021-01-05 | 武汉环宇智行科技有限公司 | 基于点云和影像数据的车辆目标联合认知方法和系统 |
| CN111797875B (zh) * | 2019-04-09 | 2023-12-01 | Oppo广东移动通信有限公司 | 场景建模方法、装置、存储介质及电子设备 |
| CN110223297A (zh) * | 2019-04-16 | 2019-09-10 | 广东康云科技有限公司 | 基于扫描点云数据的分割与识别方法、系统及存储介质 |
| CN110047093B (zh) * | 2019-04-23 | 2021-04-27 | 南昌航空大学 | 高精度边缘保护型rgbd场景流估计方法 |
| CN110412595A (zh) * | 2019-06-04 | 2019-11-05 | 深圳市速腾聚创科技有限公司 | 路基感知方法、系统、车辆、设备和存储介质 |
| CN110321854B (zh) * | 2019-07-05 | 2021-12-24 | 阿波罗智联(北京)科技有限公司 | 用于检测目标对象的方法和装置 |
| CN110954921B (zh) * | 2019-12-03 | 2022-01-04 | 浙江大学 | 一种基于块匹配3d协同滤波的激光雷达回波信号信噪比提升方法 |
| CN111476894A (zh) * | 2020-05-14 | 2020-07-31 | 小狗电器互联网科技（北京）股份有限公司 | 三维语义地图构建方法、装置、存储介质及电子设备 |
| CN112561985B (zh) * | 2020-10-27 | 2021-07-20 | 广西大学 | 一种基于双目视觉的绿篱苗木修剪对中方法 |
| CN113038264B (zh) * | 2021-03-01 | 2023-02-24 | 北京字节跳动网络技术有限公司 | 直播视频处理方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578121A (zh) * | 2013-11-22 | 2014-02-12 | 南京信大气象装备有限公司 | 干扰运动环境下基于共享高斯模型的运动检测方法 |
| CN106529394A (zh) * | 2016-09-19 | 2017-03-22 | 广东工业大学 | 一种室内场景物体同时识别与建模方法 |
| CN106960181A (zh) * | 2017-02-28 | 2017-07-18 | 中科唯实科技（北京）有限公司 | 一种基于rgbd数据的行人属性识别方法 |
| CN107358629A (zh) * | 2017-07-07 | 2017-11-17 | 北京大学深圳研究生院 | 一种基于目标识别的室内建图与定位方法 |
| CN107527038A (zh) * | 2017-08-31 | 2017-12-29 | 复旦大学 | 一种三维地物自动提取与场景重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101640077B1 (ko) * | 2009-06-05 | 2016-07-15 | 삼성전자주식회사 | 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법 |
-
2018
- 2018-11-28 CN CN201811437555.7A patent/CN109344813B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578121A (zh) * | 2013-11-22 | 2014-02-12 | 南京信大气象装备有限公司 | 干扰运动环境下基于共享高斯模型的运动检测方法 |
| CN106529394A (zh) * | 2016-09-19 | 2017-03-22 | 广东工业大学 | 一种室内场景物体同时识别与建模方法 |
| CN106960181A (zh) * | 2017-02-28 | 2017-07-18 | 中科唯实科技（北京）有限公司 | 一种基于rgbd数据的行人属性识别方法 |
| CN107358629A (zh) * | 2017-07-07 | 2017-11-17 | 北京大学深圳研究生院 | 一种基于目标识别的室内建图与定位方法 |
| CN107527038A (zh) * | 2017-08-31 | 2017-12-29 | 复旦大学 | 一种三维地物自动提取与场景重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Subject Adaptive Affection Recognition via Sparse Reconstruction;Chenyang Zhang et al.;2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops;第1-8页 * |
| 基于RGB-D图像的物体识别与位置估计方法;刘海龙 等;机械制造;56(第07期);第62-74页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109344813A (zh) | 2019-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344813B (zh) | 一种基于rgbd的目标识别和场景建模方法 | |
| CN108229366B (zh) | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 | |
| CN105678689B (zh) | 高精地图数据配准关系确定方法及装置 | |
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN104850850B (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
| CN109102547A (zh) | 基于物体识别深度学习模型的机器人抓取位姿估计方法 | |
| CN111539273A (zh) | 一种交通视频背景建模方法及系统 | |
| CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
| JP2019514123A (ja) | 地理的領域におけるコンテナ内に格納された量の遠隔決定 | |
| CN108229416B (zh) | 基于语义分割技术的机器人slam方法 | |
| CN110073362A (zh) | 用于车道标记检测的系统及方法 | |
| CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
| CN109934108B (zh) | 一种多目标多种类的车辆检测和测距系统及实现方法 | |
| CN112818925B (zh) | 一种城市建筑和树冠识别方法 | |
| CN110298281B (zh) | 视频结构化方法、装置、电子设备及存储介质 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
| CN113050074B (zh) | 无人驾驶环境感知中相机与激光雷达标定系统及标定方法 | |
| CN112464766A (zh) | 一种农田地头自动识别方法及系统 | |
| CN112016497A (zh) | 基于人工智能的单视角太极拳动作分析及考核系统 | |
| CN106709432B (zh) | 基于双目立体视觉的人头检测计数方法 | |
| CN113160292B (zh) | 一种基于智能移动终端的激光雷达点云数据三维建模装置及方法 | |
| CN103533332A (zh) | 一种2d视频转3d视频的图像处理方法 | |
| Li et al. | Feature point extraction and tracking based on a local adaptive threshold | |
| CN114972646B (zh) | 一种实景三维模型独立地物的提取与修饰方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |