CN108986162B - 基于惯性测量单元和视觉信息的菜品和背景分割方法 - Google Patents

基于惯性测量单元和视觉信息的菜品和背景分割方法 Download PDF

Info

Publication number
CN108986162B
CN108986162B CN201810686554.XA CN201810686554A CN108986162B CN 108986162 B CN108986162 B CN 108986162B CN 201810686554 A CN201810686554 A CN 201810686554A CN 108986162 B CN108986162 B CN 108986162B
Authority
CN
China
Prior art keywords
picture
dish
point cloud
posture
inertial measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810686554.XA
Other languages
English (en)
Other versions
CN108986162A (zh
Inventor
王梓里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou Yinglie Intellectual Property Operation Co ltd
Original Assignee
Hangzhou Jiji Intellectual Property Operation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jiji Intellectual Property Operation Co ltd filed Critical Hangzhou Jiji Intellectual Property Operation Co ltd
Priority to CN201810686554.XA priority Critical patent/CN108986162B/zh
Publication of CN108986162A publication Critical patent/CN108986162A/zh
Application granted granted Critical
Publication of CN108986162B publication Critical patent/CN108986162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明涉及图像处理技术领域，具体为一种基于惯性测量单元和视觉信息的菜品和背景分割方法，包括以下步骤：1)采集连续拍摄的图片；2)基于视觉信息及惯性测量单元获得每一帧图片所对应相机的位置和姿态；3)将步骤1)中图片通过稠密点云算法并结合所述位置和姿态获得所述图片的3D稠密点云图。本发明利用惯性测量单元和视觉信息的融合获得菜品以及周围物体的3D点云,使用菜品和背景的3D点云信息来分割图像中的菜品，相对现有通用算法的优点是不需要事先训练，精度更高，使用场景更广。

Description

基于惯性测量单元和视觉信息的菜品和背景分割方法
技术领域
本发明涉及图像处理技术领域，具体为一种基于惯性测量单元和视觉信息的菜品和背景分割方法。
背景技术
菜品的图像识别中，背景图案会对识别产生干扰作用，如果能够事先把菜品从背景中分割出来，可以大大提高菜品识别的鲁棒性。现有技术都是通过深度学习来分割菜品和背景，需要大量的人工标记，需要事先训练模型，计算效率低，使用复杂。
专利申请号为CN201610694814.9的发明专利公开了一种图像前背景分割网络模型的训练方法，包括：获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；对所述特征向量进行卷积处理，获取特征向量卷积结果；对所述特征向量卷积结果进行放大处理；判断放大后的所述特征向量卷积结果是否满足收敛条件；若满足，则完成对用于分割图像前背景的卷积神经网络模型的训练；若不满足，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。该方法的图像前背景分割网络模型需要大量的人工标记，需要事先训练模型，计算效率低。
专利申请号为CN201310687416.0的发明专利公开了一种背景分割方法，所述方法包括：为每个像素建立一个高斯混合模型GMMs；更新所述GMMs模型的充分统计量；基于更新后的充分统计量计算GMMs模型的参数，获得新的GMMs模型；根据所述新的GMMs模型确定当前像素为背景或前景。该背景分割方法需要大量的人工标记，需要事先训练模型，使用复杂。
利用视觉信息和惯性测量单元对3D模型的重建算法已进入到应用阶段，使用类似的技术，可以解决很多问题，比如在物体识别方面，不仅可以利用图片的明暗信息，还可以利用图片的深度信息，以达到更好的识别效果。因此，本申请通过视觉信息和惯性测量单元来对图像进行菜品和背景分割。
发明内容
本发明针对现有技术存在的问题，提出了一种基于惯性测量单元和视觉信息的菜品和背景分割方法，不需要事先训练，精度更高，使用场景更广。
本发明解决其技术问题所采用的技术方案是：一种基于惯性测量单元和视觉信息的菜品和背景分割方法，包括以下步骤：
1)采集连续拍摄的图片；
2)基于视觉信息及惯性测量单元获得每一帧图片所对应的相机的位置和姿态；
3)将步骤1)中图片通过稠密点云算法并结合所述位置和姿态获得所述图片的3D稠密点云图；
4)将所述3D稠密点云图通过图像分割算法获得菜品3D稠密点云图；
5)将所述图片与所述3D稠密点云图匹配以选出待识别图片并计算所述待识别图片所对应的相机的位置和姿态；
6)基于所述待识别图片所对应的相机的位置和姿态及所述菜品3D稠密点云图获得待识别图片的菜品区域。
作为优选，图片采集频率大于10赫兹。
作为优选，图片采集设备在采集所述图片时围绕菜品在经度方向上旋转的角度不小于60度。
作为优选，所述步骤2)具体为基于视觉惯性里程计获得每一帧图片所对应的相机的位置和姿态。
作为优选，所述步骤2)通过视觉惯性里程计还获得了所述图片的稀疏点云数据，所述稀疏点云数据辅助计算所述图片所对应的相机的位置和姿态。
作为优选,所述步骤3)具体为计算不同位置和姿态的相机所对应的图片的对应像素之间的视差，并使用全局优化获得图片的3D稠密点云图。
作为优选，所述步骤4)中的图像分割算法采用高度作为区别特征，并对所述3D稠密点云图进行垂直扫描和聚类以将菜品对应的点云分割出来形成菜品3D稠密点云图。
作为优选，所述步骤5)具体为将所述待识别图片通过的步骤3)中的3D稠密点云图获取待识别图片所对应的相机的位置和姿态。
作为优选，所述步骤5)具体为通过查询步骤2)中的图片所对应的相机的位置和姿态来获取待识别图片所对应的相机的位置和姿态。
作为优选，所述步骤6)具体为将3D稠密点云图在与所述待识别图片所对应的相机的位置和姿态相同的方向上投影获得相应的2D稠密点云图，并将待识别图片与2D稠密点云图匹配以获得待识别图片的菜品区域。
本发明的有益效果是，本发明利用惯性测量单元和视觉信息的融合来获得菜品以及周围物体的3D点云,使用菜品和背景的3D点云信息来分割图像中的菜品，相对现有通用算法的优点是不需要事先训练，精度更高，使用场景更广。
附图说明
图1为本发明一种基于惯性测量单元和视觉信息的菜品和背景分割方法的流程图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
如图1所示，一种基于惯性测量单元和视觉信息的菜品和背景分割方法，包括以下步骤：
1)采集连续拍摄的图片。用户可以通过手机、相机等装有摄像头的设备拍摄图片。用户在拍摄图片时需要从俯视的角度围绕菜品旋转，图片采集设备在采集所述图片时围绕菜品在经度方向上旋转的角度不小于60度，否则采集的图片不能够获取有效的3D稠密点云图，在纬度方向上不做要求，可以是任意值。图片采集频率需要大于10赫兹，否则采集的图片同样不能够获取有效的3D稠密点云图。图片拍摄的时间可以根据图片采集的频率决定，当图片采集频率高时，拍摄的时间可以相对较短，如4至8秒钟。当图片采集频率低时，拍摄的时间可以相对较长，如9至12秒钟。
2)基于视觉信息及惯性测量单元获得每一帧图片所对应的相机的位置和姿态。具体为基于视觉惯性里程计获得每一帧图片所对应的相机的位置和姿态。视觉惯性里程计包括惯性测量单元，所述惯性测量单元所提供加速度值和角速度值的频率需要大于100赫兹，否则同样不能够获取有效的3D稠密点云图。目前视觉惯性里程计(VIO)是主流的基于惯性测量单元和视觉信息来计算摄像头位置和姿态的方法。VIO全称是：Visual–InertialOdometry，已经有很多成熟的算法。视觉和惯性测量单元融合目前主要基于三类方法。
基于滤波的方法：扩展卡尔曼滤波器(EKF)框架通常由预测步骤和更新步骤组成。对于基于滤波的VIO方法，惯性传感器测量得到的三轴加速度和转动速度，可用于计算3D刚体运动的数据驱动动力学模型或先验分布，并且可在预测步骤中用来进行运动预测。相机能够提供特征和移动平台之间的角度和距离测量，可用作测量模型或似然分布，并用于在更新步骤中更新预测。状态向量只包含当前状态，由于线性化误差和计算能力的限制，通常只能构建很少的landmark/mappoint，或者创建structureless的状态向量(将landmark/mappoint边缘化)，典型代表为MSCKF。边缘化是将旧状态融合进当前状态的先验中，滤波方法主要的缺陷也就存在于边缘化过程中，首先当前测量的structure信息需要延迟处理，降低当前状态的更新精度，其次边缘化对线性化近似和外点(outlier)都比较敏感，容易造成滤波器状态失准。
基于优化的方法：基于优化的方法主要依赖于特征提取的图像处理技术和图像配准的最优化，而惯性测量被视为先验，可当作正则项或完全忽略。在大多数情况下，基于优化的方法有两个阶段：构图和跟踪。在构图阶段，由各种特征检测器从图像中提取特征，如3D空间中的角点，边缘或其他地标。然后，对于检测到的所有特征，定义两帧图像之间的重投影误差。该误差用作要优化的损失函数，以便找到特征或地标的坐标。在跟踪阶段中，地图中特征和地标的坐标被用于定义两帧图像之间的重投影误差，并且再次应用优化算法以计算出移动平台的位置和方向的变化。将估计问题分为两个阶段的想法可以获得快速的跟踪结果，然而构图处理还是耗时的。引入关键帧的概念能够边缘化旧的状态而保持一个有界优化窗口，保证实时性。
Fixed-Lag Smoothing，也就是滑动窗口优化(Sliding WindowOptimization)，状态向量包含随时间滑动的窗口内多个状态，但是也需要将旧状态边缘化到高斯先验中，因此在滤波算法中存在的边缘化问题，这里都存在。但是由于采用了多个状态的窗口，状态估计更精确，同时可以建立鲁棒的优化代价函数，降低外点对状态估计的影响。状态向量中可以加入测量的structure，但是太多strcuture会造成高斯先验矩阵是稠密的，通常会想办法减少structure的数量。
基于滤波方法和优化方法的结合：基于滤波和基于优化的方法都可以在贝叶斯推理下形成。经由近似线性化，两者的联系可以通过迭代EKF来明确表示。当近似线性化仅是单个步骤时，包含前通和后通的基于平滑的方法，等价于利用最小二乘问题中信息矩阵的Cholesky分解来求解的基于优化的方法。为了降低计算复杂度，通过保留仅有的关键帧或滑动窗口来减少要估计的状态变量。特别地，滑动窗的方案或滚动时域估计将损失函数划分为两部分，流行的方式是在一个部分中优化结果，在另一部分中用EKF来忽视过去的状态。
Full Smoothing，也就是batch non-linear least-squares或者全局优化，状态向量包含所有相机位姿和strcuture信息，做大规模的非线性优化，显然是最精确的方法，虽说稀疏性降低了计算量，但是依然比滤波大，主要工作集中于降低计算量，可以采用只优化关键帧，以及将优化放在独立线程中，最新的研究采用因子图，增量式地根据测量更新部分状态，典型代表为ISAM。当引入惯性测量单元后，由于惯性测量单元频率通常在100Hz-1kHz量级，无法每次惯性测量单元测量都更新状态向量.通常的做法是在关键帧之间对惯性测量单元进行积分，初始状态由上一帧状态提供，根据惯性测量单元的微分运动方程，积分出当前状态，再将视觉测量引入更新。然而，由于优化过程中上一帧的状态是会变化的，这样积分的初始状态改变了，需要重新算积分，为了避免每一次优化调整后都需要重复计算惯性测量单元积分，利用预积分preintegration将相对运动约束再参数化。
步骤2)中通过视觉惯性里程计还获得了所述图片的稀疏点云数据，所述稀疏点云数据辅助计算所述图片中每一帧图片的图片位姿。通过VIO能够得到图像的稀疏点云，但是这些点云因为太稀疏，不足以用来分辨桌面背景和菜品，所以我们只利用稀疏点云辅助得到图片采集设备的位姿。
3)将步骤1)中图片通过稠密点云算法并结合所述位置和姿态获得所述图片的3D稠密点云图。步骤3)具体为计算不同位置和姿态的相机所对应的图片的对应像素之间的视差，并使用全局优化获得图片的3D稠密点云图。使用专门提取稠密点云的算法来计算菜品的3D模型，其基本原理是计算不同位置和姿态的相机所对应的图片的对应像素之间的视差，视差越大的点，对应深度越大。最后使用全局优化得到和所有菜品框架一致的稠密点云。
4)将所述3D稠密点云图通过图像分割算法获得菜品3D稠密点云图。步骤4)中的图像分割算法采用高度作为区别特征，并对所述3D稠密点云图进行垂直扫描和聚类以将菜品对应的点云分割出来形成菜品3D稠密点云图。有了稠密点云后，再使用算法对点云进行分割，基本原理是将高度最小的一部分点云判定为桌面，之上部分聚拢的点云判定为菜品。
5)将所述图片与所述3D稠密点云图匹配以选出待识别图片并计算所述待识别图片所对应的相机的位置和姿态。待识别图片所对应的相机的位置和姿态可以直接通过查询步骤2)中的图片所对应的相机的位置和姿态来获取。或者待识别图片可通过步骤3)中的3D稠密点云图来获取待识别图片所对应的相机的位置和姿态，将待识别图片与3D稠密点云图的投影匹配来获取待识别图片所对应的相机的位置和姿态，通过2D图像和3D点云的匹配，可以计算拍摄这张图片的摄像头在3D空间中所对应的相机的位置和姿态。
6)基于所述待识别图片所对应的相机的位置和姿态及所述菜品3D稠密点云图获得待识别图片的菜品区域。步骤6)具体为将菜品3D稠密点云图在与待识别图片所对应的相机的位置和姿态相同的方向上投影获得相应的菜品2D稠密点云图，并将待识别图片与菜品2D稠密点云图匹配以获得待识别图片的菜品区域。
实施例一，
1)采集连续拍摄的图片，用户围绕菜品在经度方向上旋转90度来拍摄菜品，拍摄图片的时长是10秒。
2)基于视觉惯性里程计获得每一帧图片所对应的相机的位置和姿态，视觉惯性里程计采用基于滤波方法和优化方法的结合。
3)将步骤1)中图片通过稠密点云算法并结合所述位置和姿态获得所述图片的3D稠密点云图。
4)将所述3D稠密点云图通过图像分割算法获得菜品3D稠密点云图，图像分割算法采用高度作为区别技术特征。
5)将所述图片与所述3D稠密点云图匹配以选出待识别图片并获取待识别图片所对应的相机的位置和姿态，待识别图片所对应的相机的位置和姿态可以直接通过查询步骤2)中的图片所对应的相机的位置和姿态来获取。
6)基于所述待识别图片所对应相机的位置和姿态及所述菜品3D稠密点云图获得待识别图片的菜品区域。
实施例二
1)采集连续拍摄的图片，用户围绕菜品在经度方向上旋转90度来拍摄菜品，拍摄图片的时长是10秒。
2)基于视觉惯性里程计获得每一帧图片所对应的相机的位置和姿态，视觉惯性里程计采用基于滤波方法和优化方法的结合。
3)将步骤1)中图片通过稠密点云算法并结合所述位置和姿态获得所述图片的3D稠密点云图。
4)将所述3D稠密点云图通过图像分割算法获得菜品3D稠密点云图，图像分割算法采用高度作为区别技术特征。
5)将所述图片与所述3D稠密点云图匹配以选出待识别图片并获取待识别图片所对应的相机的位置和姿态，待识别图片通过所述3D稠密点云图来获取待识别图片所对应的相机的位置和姿态，即将待识别图片与3D稠密点云图的投影匹配来获取待识别图片所对应的相机的位置和姿态。
6)基于所述待识别图片所对应相机的位置和姿态及步所述菜品3D稠密点云图获得待识别图片的菜品区域。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：包括以下步骤：
1)采集连续拍摄的图片；
2)基于视觉信息及惯性测量单元获得每一帧图片所对应的相机的位置和姿态；所述惯性测量单元还获得了所述图片的稀疏点云数据，所述稀疏点云数据辅助计算所述图片中每一帧图片的图片位姿；
3)将步骤1)中图片通过稠密点云算法并结合所述位置和姿态获得所述图片的3D稠密点云图；
4)将所述3D稠密点云图通过图像分割算法获得菜品3D稠密点云图；
5)将所述图片与所述3D稠密点云图匹配以选出待识别图片并计算所述待识别图片所对应的相机的位置和姿态；
6)基于所述待识别图片所对应的相机的位置和姿态及所述菜品3D稠密点云图获得待识别图片的菜品区域。
2.根据权利要求1所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：图片采集频率大于10赫兹。
3.根据权利要求1所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：图片采集设备在采集所述图片时围绕菜品在经度方向上旋转的角度不小于60度。
4.根据权利要求1所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：所述步骤2)具体为基于视觉惯性里程计获得每一帧图片所对应的相机的位置和姿态。
5.根据权利要求4所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：所述步骤2)通过视觉惯性里程计还获得了所述图片的稀疏点云数据，所述稀疏点云数据辅助计算所述图片所对应的相机的位置和姿态。
6.根据权利要求1所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：所述步骤3)具体为计算不同位置和姿态的相机所对应的图片的对应像素之间的视差，并使用全局优化获得图片的3D稠密点云图。
7.根据权利要求1所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：所述步骤4)中的图像分割算法采用高度作为区别特征，并对所述3D稠密点云图进行垂直扫描和聚类以将菜品对应的点云分割出来形成菜品3D稠密点云图。
8.根据权利要求1所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：所述步骤5)具体为将所述待识别图片通过步骤3)中的3D稠密点云获取待识别图片所对应的相机的位置和姿态。
9.根据权利要求1所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：所述步骤5)具体为通过查询步骤2)中的图片所对应的相机的位置和姿态来获取待识别图片所对应的相机的位置和姿态。
10.根据权利要求1所述的基于惯性测量单元和视觉信息的菜品和背景分割方法，其特征在于：所述步骤6)具体为将3D稠密点云图在与所述待识别图片所对应的相机的位置和姿态相同的方向上投影获得相应的2D稠密点云图，并将待识别图片与2D稠密点云图匹配以获得待识别图片的菜品区域。
CN201810686554.XA 2018-06-28 2018-06-28 基于惯性测量单元和视觉信息的菜品和背景分割方法 Active CN108986162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810686554.XA CN108986162B (zh) 2018-06-28 2018-06-28 基于惯性测量单元和视觉信息的菜品和背景分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810686554.XA CN108986162B (zh) 2018-06-28 2018-06-28 基于惯性测量单元和视觉信息的菜品和背景分割方法

Publications (2)

Publication Number Publication Date
CN108986162A CN108986162A (zh) 2018-12-11
CN108986162B true CN108986162B (zh) 2022-02-22

Family

ID=64539278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810686554.XA Active CN108986162B (zh) 2018-06-28 2018-06-28 基于惯性测量单元和视觉信息的菜品和背景分割方法

Country Status (1)

Country Link
CN (1) CN108986162B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047139B (zh) * 2019-04-28 2022-07-08 南昌航空大学 一种指定目标三维重建方法及系统
CN111047625B (zh) * 2020-02-18 2023-04-07 神思电子技术股份有限公司 一种菜品视频样本半自动标记的方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN104331699A (zh) * 2014-11-19 2015-02-04 重庆大学 一种三维点云平面化快速搜索比对的方法
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN105184852A (zh) * 2015-08-04 2015-12-23 百度在线网络技术（北京）有限公司 一种基于激光点云的城市道路识别方法及装置
CN105513127A (zh) * 2015-12-25 2016-04-20 武汉大学 基于密度峰值聚类的杆状物规则化三维建模方法及系统
CN105761242A (zh) * 2016-01-27 2016-07-13 北京航空航天大学 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
CN106056664A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构系统及方法
CN106371104A (zh) * 2016-08-16 2017-02-01 长春理工大学 多线点云数据机器学习的车辆目标识别方法及防撞装置
CN106971403A (zh) * 2017-04-27 2017-07-21 武汉数文科技有限公司 点云图像处理方法及装置
CN107687850A (zh) * 2017-07-26 2018-02-13 哈尔滨工业大学深圳研究生院 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法
CN107767425A (zh) * 2017-10-31 2018-03-06 南京维睛视空信息科技有限公司 一种基于单目vio的移动端AR方法
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉系统及控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310757A1 (en) * 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US9153061B2 (en) * 2012-05-04 2015-10-06 Qualcomm Incorporated Segmentation of 3D point clouds for dense 3D modeling
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN106846484A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于双视图三维重建的食物体积估计方法
CN107247834B (zh) * 2017-05-31 2019-09-24 华中科技大学 一种基于图像识别的三维环境模型重构方法、设备及系统
CN108171790B (zh) * 2017-12-25 2019-02-15 北京航空航天大学 一种基于字典学习的目标重建方法
CN108198230A (zh) * 2018-02-05 2018-06-22 西北农林科技大学 一种基于散乱图像的作物果实三维点云提取系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN104331699A (zh) * 2014-11-19 2015-02-04 重庆大学 一种三维点云平面化快速搜索比对的方法
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN105184852A (zh) * 2015-08-04 2015-12-23 百度在线网络技术（北京）有限公司 一种基于激光点云的城市道路识别方法及装置
CN105513127A (zh) * 2015-12-25 2016-04-20 武汉大学 基于密度峰值聚类的杆状物规则化三维建模方法及系统
CN105761242A (zh) * 2016-01-27 2016-07-13 北京航空航天大学 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
CN106056664A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构系统及方法
CN106371104A (zh) * 2016-08-16 2017-02-01 长春理工大学 多线点云数据机器学习的车辆目标识别方法及防撞装置
CN106971403A (zh) * 2017-04-27 2017-07-21 武汉数文科技有限公司 点云图像处理方法及装置
CN107687850A (zh) * 2017-07-26 2018-02-13 哈尔滨工业大学深圳研究生院 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法
CN107767425A (zh) * 2017-10-31 2018-03-06 南京维睛视空信息科技有限公司 一种基于单目vio的移动端AR方法
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉系统及控制方法

Also Published As

Publication number Publication date
CN108986162A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
US10546387B2 (en) Pose determination with semantic segmentation
CN110125928B (zh) 一种基于前后帧进行特征匹配的双目惯导slam系统
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
US9888235B2 (en) Image processing method, particularly used in a vision-based localization of a device
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
EP2917874A1 (en) Cloud feature detection
Krombach et al. Feature-based visual odometry prior for real-time semi-dense stereo SLAM
CN110553648A (zh) 一种用于室内导航的方法和系统
KR20150144727A (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN112802096A (zh) 实时定位和建图的实现装置和方法
Nagy et al. Online targetless end-to-end camera-LiDAR self-calibration
CN108986162B (zh) 基于惯性测量单元和视觉信息的菜品和背景分割方法
Huai et al. Stereo-inertial odometry using nonlinear optimization
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
CN112598709B (zh) 一种基于视频流的行人运动速度智能感知方法
Wang et al. An attitude estimation method based on monocular vision and inertial sensor fusion for indoor navigation
CN114089364A (zh) 一种集成化的感知系统装置及实现方法
CN114581522A (zh) 一种支撑点搜索的单目视觉室内定位方法
Kniaz et al. An algorithm for pedestrian detection in multispectral image sequences
KR101639264B1 (ko) 무인 단말기 제어 방법 및 장치
Burlacu et al. Ground geometry assessment in complex stereo vision based applications
Tamura et al. Visual odometry with effective feature sampling for untextured outdoor environment
Nie et al. Model-based optical flow for large displacements and homogeneous regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190409

Address after: 201616 No. 3666 Sixian Road, Songjiang District, Shanghai

Applicant after: PHICOMM (SHANGHAI) Co.,Ltd.

Address before: 610100 125 Longquan Street Park Road, Longquanyi District, Chengdu, Sichuan.

Applicant before: Sichuan fixun Information Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201113

Address after: Room 10242, No. 260, Jiangshu Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Jiji Intellectual Property Operation Co.,Ltd.

Address before: 201616 Shanghai city Songjiang District Sixian Road No. 3666

Applicant before: Phicomm (Shanghai) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230106

Address after: 313000 room 1019, Xintiandi commercial office, Yishan street, Wuxing District, Huzhou, Zhejiang, China

Patentee after: Huzhou YingLie Intellectual Property Operation Co.,Ltd.

Address before: Room 10242, No. 260, Jiangshu Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Jiji Intellectual Property Operation Co.,Ltd.