CN106651958A - 一种移动物体的对象识别装置及方法 - Google Patents

一种移动物体的对象识别装置及方法 Download PDF

Info

Publication number
CN106651958A
CN106651958A CN201610943947.5A CN201610943947A CN106651958A CN 106651958 A CN106651958 A CN 106651958A CN 201610943947 A CN201610943947 A CN 201610943947A CN 106651958 A CN106651958 A CN 106651958A
Authority
CN
China
Prior art keywords
main control
control chip
image
gridiron pattern
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610943947.5A
Other languages
English (en)
Other versions
CN106651958B (zh
Inventor
陈安
朱烙盛
胡跃明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201610943947.5A priority Critical patent/CN106651958B/zh
Publication of CN106651958A publication Critical patent/CN106651958A/zh
Application granted granted Critical
Publication of CN106651958B publication Critical patent/CN106651958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种移动物体的对象识别装置及方法；包括电源模块、主控芯片、线状结构光投射器、工业摄像机及传送带；工业摄像机通过相机标定、结构光平面标定及运动估计，可监测传送带上物体的移动，结合线状结构光投射，主控芯片可自动对移动物体进行三维重构，获取点云信息，识别对象的三维姿态及最小包络矩形空间，通过模板匹配进行对象识别，进一步提高对象识别的准确性和鲁棒性。

Description

一种移动物体的对象识别装置及方法
技术领域
本发明涉及计算机视觉识别装置，尤其涉及一种移动物体的对象识别装置及方法。
背景技术
三维重构技术是现代精密测量技术的一个重要分支，该技术通过使用精密测量设备来获取被测场景表面离散的几何坐标，而重构出被测场景表面的三维信息。基于结构光三维场景重建技术具有非接触、高效率、高分辨率和全场景测量等特性，已成为三维测量技术中的重要方法，在诸多行业都有着广泛的应用或应用前景，如产品设计与制造、产品检测与质量控制、医疗技术、虚拟现实、人体测量和文物保护等领域。随着应用的深入，各行业对三维测量技术的测量准确度、测量精度和数据稳定性等性能要求也越来越高。然而，传统的基于二维视觉的对象识别容易受到光照等外部因素的影响，
发明内容
本发明的目的在于克服上述现有技术的缺点和不足，提供一种移动物体的对象识别装置及方法。通过基于结构光的三维重构方法获取对象高精度的三维位姿和三维形状，进一步辅助提高对象识别的准确性和鲁棒性。
本发明通过下述技术方案实现：
一种移动物体的对象识别装置，包括电源模块、主控芯片、线状结构光投射器、摄像机、及传送带；
所述电源模块与主控芯片的电源输入端连接，为主控芯片提供工作电压；
所述线状结构光投射器，用以将线状结构光投射在传送带上；
所述摄像机通过第一数据接口与主控芯片连接，用以将获取到的图像传送至主控芯片；
所述传送带5，用以带动物体4以固定速率移动。
所述移动物体的对象识别装置，还包括显示1单元及输入单元；所述显示单元1与主控芯片的第二数据端口连接，用于显示主控芯片传送过来的数据；所述输入单元与主控芯片的第三数据端口连接，用于传送预设参数到主控芯片。
所述摄像机为工业摄像机2；所述工业摄像机2和线状结构光投射器3安装在支架6上并与之固定；所述传送带5位于支架6的一侧，待测的物体4放置在传送带5上、并跟随传动带移动；
当物体4经过工业摄像机2视场时，需落在其视场范围内；当物体4经过线状结构光投射器3的结构光投影时，需落在其结构光投影范围内。
一种移动物体的对象识别方法，其包括如下步骤：
步骤一：相机标定步骤
准备一棋盘格标定板；将棋盘格标定板中的棋盘格正方形的边长传送到主控芯片；将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格在相机视场范围内，拍摄一张图像；然后改变标定板的位置，同时保证以上两个条件，并使棋盘格标定板所在位置与之前的位置不在同一平面，再拍摄一张图像；
重复以上过程九次，获得十副标定图像，传送到主控芯片；主控芯片运行摄像机标定进程，将自动提取图像中棋盘格的角点，计算出摄像机的内参数矩阵、重投影误差及每张图像中棋盘格对应的外参数矩阵，通过显示单元显示参数矩阵及标定效果；
步骤二：结构光标定步骤
将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格与线状结构光相交，拍摄一张图像；然后改变标定板的位置，同时保证以上两个条件，并确保标定板所在位置与之前的位置不在同一平面，再拍摄一张图像；
重复以上过程三次，获得四副标定图像，传送到主控芯片；主控芯片运行线状结构光平面标定进程，将自动提取图像中棋盘格线与线状结构光的交点，计算出该交点在摄像机坐标系下的坐标及线状结构光平面方程参数，通过显示单元显示平面方程参数及交点提取效果；
步骤三：运动估计步骤
传送带设定固定速率并带动棋盘格标定板移动，从棋盘格标定板完全进入摄像机视场范围开始采集图像，棋盘格标定板部分离开摄像机视场范围结束采集，保证棋盘格标定板在相机视场范围内，得到多帧图像传送到主控芯片；
主控芯片运行运动进程，将自动寻找每张图像中棋盘格的匹配点，计算出物体移动方向向量，通过显示单元显示方向向量数值；
步骤四：对象三维重构步骤
将待识别的物体4放置在传送带5上，当该物体4进入摄像机视场范围开始采集图像，物体4离开摄像机视场范围结束采集，保证物体4在移动过程中与结构光线发生相交，得到多帧图像，传送到主控芯片；
主控芯片运行三维重构进程，将自动寻找每张图像中的结构光点，计算结构光点的摄像机坐标系坐标，结合运动方向向量及图像帧率构造出物体的三维点云数据，通过显示单元显示物体的三维点云图；
步骤五：对象识别步骤
主控芯片运行对象识别进程，将三维点云数据投影到传送带所在平面，通过计算投影点的最小包络矩形，得到最小包络矩形的长宽、中心点及旋转角度；通过旋转校正将点云最小包络矩形空间参数与对象模板最小包络空间参数进行匹配，结合可见光图像做二次匹配，根据相似度判断对象识别结果，通过显示单元显示对象的识别效果。
本发明移动物体的对象识别装置及方法结合了二维图像和三维点云信息，提取出三维特征描述子，最后利用三维特征进行对象分类识别。不仅适用于复杂场景下的对象识别，而且在存在遮挡和噪声的场景下也适用，同时本方法具有较高的识别精度和鲁棒性，能够实现多个目标的同时识别。
本发明通过简便的技术手段，在移动对象识别中大大提高识别精度和准确率。
附图说明
图1为本发明移动物体的对象识别装置的结构原理图。
图2为本发明识别过程中，工业摄像机2和线状结构光投射器3在支架6上的安装结构图；图中，传送带5位于支架6的一侧，待测的物体4放置在传送带5上、并跟随传动带移动。
图3为本发明移动物体的对象识别步骤流程图。
具体实施方式
下面结合具体实施例对本发明作进一步具体详细描述。
实施例
如图1至3所示。本发明公开了一种移动物体的对象识别装置，包括电源模块、主控芯片、线状结构光投射器、摄像机、及传送带；
所述电源模块与主控芯片的电源输入端连接，为主控芯片提供工作电压；
所述线状结构光投射器，用以将线状结构光投射在传送带上；
所述摄像机通过第一数据接口与主控芯片连接，用以将获取到的图像传送至主控芯片；
所述传送带5，用以带动物体4以固定速率移动。
所述移动物体的对象识别装置，还包括显示1单元及输入单元；所述显示单元1与主控芯片的第二数据端口连接，用于显示主控芯片传送过来的数据；所述输入单元与主控芯片的第三数据端口连接，用于传送预设参数到主控芯片。
所述摄像机为工业摄像机2；所述工业摄像机2和线状结构光投射器3安装在支架6上并与之固定；所述传送带5位于支架6的一侧，待测的物体4放置在传送带5上、并跟随传动带移动；
当物体4经过工业摄像机2视场时，需落在其视场范围内；当物体4经过线状结构光投射器3的结构光投影时，需落在其结构光投影范围内。
本发明移动物体的对象识别方法，可通过如下步骤实现：
步骤一：相机标定步骤
准备一棋盘格标定板(该棋盘格标定板采用通用的市售产品、或者根据要求制定)；将棋盘格标定板中的棋盘格正方形的边长传送到主控芯片；将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格在相机视场范围内，拍摄一张图像；然后改变标定板的位置，同时保证以上两个条件，并使棋盘格标定板所在位置与之前的位置不在同一平面，再拍摄一张图像；
重复以上过程九次，获得十副标定图像，传送到主控芯片；主控芯片运行摄像机标定进程，将自动提取图像中棋盘格的角点，计算出摄像机的内参数矩阵、重投影误差及每张图像中棋盘格对应的外参数矩阵，通过显示单元显示参数矩阵及标定效果；
步骤二：结构光标定步骤
将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格与线状结构光相交，拍摄一张图像；然后改变标定板的位置，同时保证以上两个条件，并确保标定板所在位置与之前的位置不在同一平面，再拍摄一张图像；
重复以上过程三次，获得四副标定图像，传送到主控芯片；主控芯片运行线状结构光平面标定进程，将自动提取图像中棋盘格线与线状结构光的交点，计算出该交点在摄像机坐标系下的坐标及线状结构光平面方程参数，通过显示单元显示平面方程参数及交点提取效果；
步骤三：运动估计步骤
传送带设定固定速率并带动棋盘格标定板移动，从棋盘格标定板完全进入摄像机视场范围开始采集图像，棋盘格标定板部分离开摄像机视场范围结束采集，保证棋盘格标定板在相机视场范围内，得到多帧图像传送到主控芯片；
主控芯片运行运动进程，将自动寻找每张图像中棋盘格的匹配点，计算出物体移动方向向量，通过显示单元显示方向向量数值；
步骤四：对象三维重构步骤
将待识别的物体4放置在传送带5上，当该物体4进入摄像机视场范围开始采集图像，物体4离开摄像机视场范围结束采集，保证物体4在移动过程中与结构光线发生相交，得到多帧图像，传送到主控芯片；
主控芯片运行三维重构进程，将自动寻找每张图像中的结构光点，计算结构光点的摄像机坐标系坐标，结合运动方向向量及图像帧率构造出物体的三维点云数据，通过显示单元显示物体的三维点云图；
步骤五：对象识别步骤
主控芯片运行对象识别进程，将三维点云数据投影到传送带所在平面，通过计算投影点的最小包络矩形，得到最小包络矩形的长宽、中心点及旋转角度；通过旋转校正将点云最小包络矩形空间参数与对象模板最小包络空间参数进行匹配，结合可见光图像做二次匹配，根据相似度判断对象识别结果，通过显示单元显示对象的识别效果。
如上所述，本发明通过单目摄像机对移动物体进行三维重构与对象识别，实现了对移动物体的无人工干预的无损、实时和高精度的测量识别。
本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种移动物体的对象识别装置，其特征在于：包括电源模块、主控芯片、线状结构光投射器、摄像机、及传送带；
所述电源模块与主控芯片的电源输入端连接，为主控芯片提供工作电压；
所述线状结构光投射器，用以将线状结构光投射在传送带上；
所述摄像机通过第一数据接口与主控芯片连接，用以将获取到的图像传送至主控芯片；
所述传送带(5)，用以带动物体(4)以固定速率移动。
2.根据权利要求1所述移动物体的对象识别装置，其特征在于：所述移动物体的对象识别装置，还包括显示(1)单元及输入单元；
所述显示单元(1)与主控芯片的第二数据端口连接，用于显示主控芯片传送过来的数据；
所述输入单元与主控芯片的第三数据端口连接，用于传送预设参数到主控芯片。
3.根据权利要求2所述移动物体的对象识别装置，其特征在于：所述摄像机为工业摄像机(2)；所述工业摄像机(2)和线状结构光投射器(3)安装在支架(6)上并与之固定；所述传送带(5)位于支架(6)的一侧，待测的物体(4)放置在传送带(5)上、并跟随传动带移动；
当物体(4)经过工业摄像机(2)视场时，需落在其视场范围内；
当物体(4)经过线状结构光投射器(3)的结构光投影时，需落在其结构光投影范围内。
4.一种移动物体的对象识别方法，其特征在于采用权利要求1至3中任一项所述移动物体的对象识别装置实现，其包括如下步骤：
步骤一：相机标定步骤
准备一棋盘格标定板；将棋盘格标定板中的棋盘格正方形的边长传送到主控芯片；将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格在相机视场范围内，拍摄一张图像；然后改变标定板的位置，同时保证以上两个条件，并使棋盘格标定板所在位置与之前的位置不在同一平面，再拍摄一张图像；
重复以上过程九次，获得十副标定图像，传送到主控芯片；主控芯片运行摄像机标定进程，将自动提取图像中棋盘格的角点，计算出摄像机的内参数矩阵、重投影误差及每张图像中棋盘格对应的外参数矩阵，通过显示单元显示参数矩阵及标定效果；
步骤二：结构光标定步骤
将棋盘格标定板放在摄像机景深范围内的任一位置，并保证棋盘格与线状结构光相交，拍摄一张图像；然后改变标定板的位置，同时保证以上两个条件，并确保标定板所在位置与之前的位置不在同一平面，再拍摄一张图像；
重复以上过程三次，获得四副标定图像，传送到主控芯片；主控芯片运行线状结构光平面标定进程，将自动提取图像中棋盘格线与线状结构光的交点，计算出该交点在摄像机坐标系下的坐标及线状结构光平面方程参数，通过显示单元显示平面方程参数及交点提取效果；
步骤三：运动估计步骤
传送带设定固定速率并带动棋盘格标定板移动，从棋盘格标定板完全进入摄像机视场范围开始采集图像，棋盘格标定板部分离开摄像机视场范围结束采集，保证棋盘格标定板在相机视场范围内，得到多帧图像传送到主控芯片；
主控芯片运行运动进程，将自动寻找每张图像中棋盘格的匹配点，计算出物体移动方向向量，通过显示单元显示方向向量数值；
步骤四：对象三维重构步骤
将待识别的物体(4)放置在传送带(5)上，当该物体(4)进入摄像机视场范围开始采集图像，物体(4)离开摄像机视场范围结束采集，保证物体(4)在移动过程中与结构光线发生相交，得到多帧图像，传送到主控芯片；
主控芯片运行三维重构进程，将自动寻找每张图像中的结构光点，计算结构光点的摄像机坐标系坐标，结合运动方向向量及图像帧率构造出物体的三维点云数据，通过显示单元显示物体的三维点云图；
步骤五：对象识别步骤
主控芯片运行对象识别进程，将三维点云数据投影到传送带所在平面，通过计算投影点的最小包络矩形，得到最小包络矩形的长宽、中心点及旋转角度；通过旋转校正将点云最小包络矩形空间参数与对象模板最小包络空间参数进行匹配，结合可见光图像做二次匹配，根据相似度判断对象识别结果，通过显示单元显示对象的识别效果。
CN201610943947.5A 2016-11-02 2016-11-02 一种移动物体的对象识别装置及方法 Active CN106651958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610943947.5A CN106651958B (zh) 2016-11-02 2016-11-02 一种移动物体的对象识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610943947.5A CN106651958B (zh) 2016-11-02 2016-11-02 一种移动物体的对象识别装置及方法

Publications (2)

Publication Number Publication Date
CN106651958A true CN106651958A (zh) 2017-05-10
CN106651958B CN106651958B (zh) 2023-06-16

Family

ID=58821514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610943947.5A Active CN106651958B (zh) 2016-11-02 2016-11-02 一种移动物体的对象识别装置及方法

Country Status (1)

Country Link
CN (1) CN106651958B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545247A (zh) * 2017-08-23 2018-01-05 北京伟景智能科技有限公司 基于双目识别的立体认知方法
CN107577984A (zh) * 2017-07-17 2018-01-12 华南理工大学 一种基于显著性分析的3d对象识别分层方法
CN107957246A (zh) * 2017-11-29 2018-04-24 北京伟景智能科技有限公司 基于双目视觉的传送带上物体几何尺寸测量方法
CN108573231A (zh) * 2018-04-17 2018-09-25 中国民航大学 基于运动历史点云生成的深度运动图的人体行为识别方法
CN112805720A (zh) * 2018-10-10 2021-05-14 利拉伐控股有限公司 使用视觉技术的动物标识
CN112805720B (zh) * 2018-10-10 2024-05-31 利拉伐控股有限公司 使用视觉技术的动物标识

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419061A (zh) * 2008-12-08 2009-04-29 北京航空航天大学 一种镜像式结构光视觉测量系统和测量方法
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419061A (zh) * 2008-12-08 2009-04-29 北京航空航天大学 一种镜像式结构光视觉测量系统和测量方法
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577984A (zh) * 2017-07-17 2018-01-12 华南理工大学 一种基于显著性分析的3d对象识别分层方法
CN107545247A (zh) * 2017-08-23 2018-01-05 北京伟景智能科技有限公司 基于双目识别的立体认知方法
CN107545247B (zh) * 2017-08-23 2020-05-12 北京伟景智能科技有限公司 基于双目识别的立体认知方法
CN107957246A (zh) * 2017-11-29 2018-04-24 北京伟景智能科技有限公司 基于双目视觉的传送带上物体几何尺寸测量方法
CN108573231A (zh) * 2018-04-17 2018-09-25 中国民航大学 基于运动历史点云生成的深度运动图的人体行为识别方法
CN108573231B (zh) * 2018-04-17 2021-08-31 中国民航大学 基于运动历史点云生成的深度运动图的人体行为识别方法
CN112805720A (zh) * 2018-10-10 2021-05-14 利拉伐控股有限公司 使用视觉技术的动物标识
CN112805720B (zh) * 2018-10-10 2024-05-31 利拉伐控股有限公司 使用视觉技术的动物标识

Also Published As

Publication number Publication date
CN106651958B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN105222724B (zh) 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN106767399B (zh) 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN105203046B (zh) 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN110230983B (zh) 抗振式光学三维定位方法及装置
CN106550228B (zh) 获取三维场景的深度图的设备
CN106500628B (zh) 一种含有多个不同波长激光器的三维扫描方法及扫描仪
CN103292695B (zh) 一种单目立体视觉测量方法
CN108288292A (zh) 一种三维重建方法、装置及设备
CN106651958A (zh) 一种移动物体的对象识别装置及方法
US20160134860A1 (en) Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
US20160044301A1 (en) 3d modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
US20150070468A1 (en) Use of a three-dimensional imager's point cloud data to set the scale for photogrammetry
CN110068270A (zh) 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN103852060B (zh) 一种基于单目视觉的可见光图像测距方法
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
EP3069100B1 (en) 3d mapping device
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
CN110230998A (zh) 一种基于线激光和双目相机的快速精密三维测量方法和装置
CN106875435A (zh) 获取深度图像的方法及系统
WO2015023483A1 (en) 3d mapping device for modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements
CN108180888A (zh) 一种基于可转动摄像头的距离检测方法
CN101271590A (zh) 一种获取凸轮廓物体形状的方法
CN106643504A (zh) 一种基于跟踪器的大型物体三维测量中led标记的标定方法
CN110926371A (zh) 三维表面检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant