CN109631799B - 一种智能化的测量与标记方法 - Google Patents

一种智能化的测量与标记方法 Download PDF

Info

Publication number
CN109631799B
CN109631799B CN201910014304.6A CN201910014304A CN109631799B CN 109631799 B CN109631799 B CN 109631799B CN 201910014304 A CN201910014304 A CN 201910014304A CN 109631799 B CN109631799 B CN 109631799B
Authority
CN
China
Prior art keywords
dimensional information
dimensional
projection
marking method
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910014304.6A
Other languages
English (en)
Other versions
CN109631799A (zh
Inventor
王红军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huajia Technology Co.,Ltd.
Original Assignee
Walkinfo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Walkinfo Technology Co ltd filed Critical Walkinfo Technology Co ltd
Priority to CN201910014304.6A priority Critical patent/CN109631799B/zh
Publication of CN109631799A publication Critical patent/CN109631799A/zh
Application granted granted Critical
Publication of CN109631799B publication Critical patent/CN109631799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明是一种智能化的测量与标记方法，在已知空间物体分布的情况下，通过深度测量传感器，就可以测得所有物体在空间内的三维分布信息，根据这些物体的信息，我们就可以通过软件算法对空间的物体做计算与设计，这些计算与设计的结果，就可以通过投影设备真实地投影到物体的表面，不仅方便查看、修正其计算与设计的效果，还可以方便操作工人根据实际的投影效果进行加工制作，大大提高设计与制作的工作效率。

Description

一种智能化的测量与标记方法
技术领域
本发明涉及智能化的测量等技术概念，特别是利用工具打孔、挖槽、划线、贴瓷砖的工作中，另外通过本发明的智能化测量，还可以解决投影仪的畸变矫正中，不仅仅是垂直或水平的梯形矫正，对任意四边形畸变都可以做出矫正。
背景技术
随着近些年人工智能技术的发展，大大促进了商业项目的落地，像人脸识别、刷脸支付、无人驾驶等，本发明就是结全人工智能技术与投影设备，做出安装、加工、制造业的智能化辅助工具，大大提高这些行业的效率与工作精度。
另外，本发明也可以解决投影仪的畸变矫正问题，一般的投影仪都具备垂直方向的梯形矫正，高端的投影仪设备有水平方向的梯形矫正，但是对于任意四边形畸变投影，目前技术上还是空白，市场上也没有此类产品。
发明目的
本发明的主要目的就是提供一种智能化的测量与标记方法，提高安装、加工、制造业的工作效率，方便设计人员的测量与设计工作。
技术方案
本发明的目的是这样实现的：用已经固定装配好深度传感器与投影仪的组合设备，完成智能化的测量与标记工作，其实现按以下步骤：
(1)在待工作空间内，启动深度传感器，进行三维扫描工作空间内的所有物体，得到当前工作空间内的物体表面形状的3D点云数据，这些就是当前的三维信息；
(2)对于已经固定装配好深度传感器与投影仪的组合设备，深度传感器的三维坐标系与投影设备的三维坐标系有固定的旋转矩阵R与平移矩阵T联系，这两个矩阵都可以由装配关系提前实验测得，假设深度传感器的三维坐标系的点坐标为(ξ,τ,ε)，此点在投影设备的三维坐标系的坐标为(x,y,z)，则有：
Figure BDA0001940267100000011
其中：
Figure BDA0001940267100000012
R为旋转矩阵，
Figure BDA0001940267100000013
T为平移矩阵；
这样，深度传感器内的3D点云数据的三维信息就转化成投影设备内的三维信息；
(3)根据投影设备内的三维信息，进行点云的降噪、滤波、曲面重建，就得到三维结构信息，设计人员在三维结构信息上进行设计与标记；
(4)在三维结构信息上，根据设计好的点、线、面的三维标记信息，由投影设备的水平视角、垂直视角参数，转化成投影图像上对应点、线、面的二维像素标记信息；
(5)打开投影设备，把转化后的投影图像在实际的工作空间上进行投影，显示出标记好的二维像素标记信息；
(6)设计人员可以查看与修正设计效果，操作人员可以根据投影出来的二维像素标记信息，进行实际的加工与制造工作。
本发明所使用的系统组成如下：深度传感器测量系统、投影设备转化系统、三维信息设计与标记系统、二维像素信息标记系统，二维像素投影系统。这五个系统是按照功能设置的软件系统，各子系统具体功能如下：
*深度传感器测量系统：利用深度传感器测量工作空间内物体的表面形状分布，
*投影设备转化系统：把深度传感器测得的三维信息旋转平移到投影设备的坐标系内，
*三维信息设计与标记系统：对三维信息进行计算、设计与标记，
*二维像素信息标记系统：把三维信息的标记转化成二维投影图像的像素信息标记，
*二维像素投影系统：把二维的像素标记信息投影到实际工作空间上。
附图说明：
图1是本发明方法所用系统组成图
图2是实际的工作空间
图3是二维像素投影图
具体实施方式
下面结合附图，以二维工作空间平面墙为例，在墙面上安装挂载框画，说明本发明的实施方式。
本发明方法所用的系统整体结构可参考附图1，它有五个子系统组成，具体包含如下步骤：
第一步
在深度传感器测量系统中，启动深度传感器，开始测量工作空间内的平面墙，平面墙如附图2所示，得到平面墙的3D点云数据，记深度传感器的坐标系为S:ξτε，这些3D点云数据的三维坐标记为：
(ξi,τi,εi)，其中，1≤i≤n，
这里，因为深度传感器与平面墙不一定是平行的关系，所以这些三维坐标中的εi不一定相同，平面墙为坐标系S:ξτε内的空间平面。
第二步
在投影设备转化系统中，记投影设备的坐标系为O:xyz，根据实际深度传感器与投影设备的一体装配关系，得到旋转矩阵与平移矩阵，实验测得分别如下：
Figure BDA0001940267100000021
根据如下公式：
Figure BDA0001940267100000022
得到坐标系为O:xyz内的3D点云数据的三维坐标为：
Figure BDA0001940267100000031
从而，在坐标系为O:xyz内的3D点云数据的三维信息记为：
(xi,yi,zi)，其中，1≤i≤n，
第三步
在三维信息设计与标记系统中，对坐标系O:xyz内的3D点云数据进行降噪、滤波处理，进而做平面重建，如果真实的工作空间是曲面的话，这里就要做曲面重建，平面的情况较简单，可以用平面的法线及平面内的一点来表示这个平面，根据重力传感器也可以在这个平面上把水平线标记出来，在这个空间平面上，根据所挂画框的大小及孔的位置信息，全部标记出来，设计清楚哪些三维点是矩形画框的角点，孔的位置在什么位置点，这些统称为三维标记信息；
第四步
在二维像素信息标记系统中，根据上一部的三维标记信息，转化成二维投影图像的像素信息，也就是空间坐标系O:xyz内的三维点的坐标(xi,yi,zi)如何转化成二维像素坐标(ui,vi)，具体一个投影设备都有一组特有的属性：水平视场角θ、垂直视场角
Figure BDA0001940267100000032
分辨率(width,height)，有的投影设备是偏轴的，有的是非偏轴的，我们为了方便仅以非偏轴情况为例说明，其转换公式如下：
Figure BDA0001940267100000033
这样就完成了三维标记信息向二维像素标记信息的转化；
第五步
在二维像素投影系统中，根据上一部的二维像素标记信息，由投影设备把图像投影出来，如附图3所示，外围的不规则四边形为投影图像的边缘，因为投影设备不与平面墙平行，所以会投出畸变的不规则四边形，内部的矩形则是设计的画框的四边，画框的上、下两条边是水平的，与图中所示的水平线是平行的，图中的两个黑色圆点表示画框的挂孔，这样技术经验不高的操作工人，按照图示，就可以方便、快速地完成钻孔、打钉、挂画的工作。
综上，我们可以看到在给定的工作空间内，通过这一套智能化的测量与标记方法，能很快的完成既定的工作目标，类似地工作还有：在墙上开槽、在圆柱面上画线，在凹形面上贴瓷砖。

Claims (8)

1.一种智能化的测量与标记方法，该方法是首先用深度传感器测量工作空间内物体的位置、深度、形状分布信息，也就是测量工作空间内物体的表面形状的三维信息，这些三维信息是在深度传感器的三维坐标系内测量所得，需要把这些三维信息转化到投影设备的三维坐标系内，深度传感器与投影设备有固定的装配关系，可以通过旋转矩阵与平移矩阵就可以在两个坐标系内做三维信息的转化，在投影设备的坐标系内，对三维信息进行计算与设计，把计算与设计的结果转化成二维的投影图像上，把计算与设计结果通过投影设备在实际物体表面投射，方便设计结果的查看与修正，及操作工人的实际加工制作，其实现按如下步骤给出：
(1)通过深度传感器测量工作空间内的物体表面形状的三维信息；
(2)把物体表面形状的三维信息旋转、平移到投影设备的坐标系内；
(3)根据投影设备内的三维信息，进行计算与设计，完成设计结果的三维信息标记；
(4)根据重力传感器的信息，附加上水平数据的三维信息标记；
(5)把三维信息标记转化成投影图像的二维信息标记；
(6)把带二维信息标记的投影图像在真实空间的物体上进行投影显示，进行设计结果的查看与修正；
(7)操作工人在实际物体上，根据最终的二维信息标记，进行加工制作。
2.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，结合深度传感器、投影设备、重力传感器进行测量与标记工作。
3.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，三维信息的计算与设计，可以在投影设备的坐标系内，也可以在深度传感器的坐标系内。
4.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，水平数据的三维信息标记，根据实际工作需要选择附加或不附加。
5.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，三维信息标记到二维信息标记的转化。
6.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，二维信息标记的投影，方便查看与修正设计效果，方便指导操作工人的加工制作。
7.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，三维深度测量设备与投影设备的结合，完成实际物体与虚拟投影图像的联系。
8.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，工作空间可以是三维的任意曲率的不规则曲面，也可以是三维空间内的平面。
CN201910014304.6A 2019-01-09 2019-01-09 一种智能化的测量与标记方法 Active CN109631799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910014304.6A CN109631799B (zh) 2019-01-09 2019-01-09 一种智能化的测量与标记方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910014304.6A CN109631799B (zh) 2019-01-09 2019-01-09 一种智能化的测量与标记方法

Publications (2)

Publication Number Publication Date
CN109631799A CN109631799A (zh) 2019-04-16
CN109631799B true CN109631799B (zh) 2021-03-26

Family

ID=66058107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910014304.6A Active CN109631799B (zh) 2019-01-09 2019-01-09 一种智能化的测量与标记方法

Country Status (1)

Country Link
CN (1) CN109631799B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1512455A (zh) * 2002-12-27 2004-07-14 中国科学院自动化研究所 基于主动视觉的物体三维模型快速获取方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110807A (ja) * 1995-09-04 1996-04-30 Omron Corp 自動キャリブレーション方法およびその装置
GB2372656A (en) * 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
DE10322738A1 (de) * 2003-05-20 2004-12-16 Siemens Ag Verfahren zur markerlosen automatischen Fusion von 2D-Fluoro-C-Bogen-Bildern mit präoperativen 3D-Bildern unter Verwendung eines intraoperativ gewonnenen 3D-Datensatzes
EP1492054B1 (en) * 2003-06-23 2019-07-31 Harman Becker Automotive Systems GmbH Method and apparatus for capturing and displaying a three-dimensional scene
DE102007042963A1 (de) * 2007-09-10 2009-03-12 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur dreidimensionalen Digitalisierung von Objekten
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
CN104424662B (zh) * 2013-08-23 2017-07-28 三纬国际立体列印科技股份有限公司 立体扫描装置
CN104077446B (zh) * 2014-06-30 2017-03-08 中国能源建设集团广东省电力设计研究院有限公司 从数字化三维模型中提取二维电气施工图的方法及系统
CN104019766A (zh) * 2014-07-03 2014-09-03 曹振 一种以三维空间几何体为参照系的三维扫描方法
CN104374374B (zh) * 2014-11-11 2017-07-07 浙江工业大学 基于主动全景视觉的3d环境复制系统及3d全景显示绘制方法
CN105205858B (zh) * 2015-09-18 2018-04-13 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN106156740B (zh) * 2016-07-05 2019-06-28 张宁 民航机场候机楼人脸快速识别系统
CN106157372B (zh) * 2016-07-25 2019-01-25 深圳市唯特视科技有限公司 一种基于视频图像的3d人脸网格重构方法
CN107146287B (zh) * 2017-03-22 2019-08-02 西北大学 二维投影图像至三维模型的映射方法
CN108615258A (zh) * 2018-04-23 2018-10-02 陕西学前师范学院 一种三维虚拟室内设计系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1512455A (zh) * 2002-12-27 2004-07-14 中国科学院自动化研究所 基于主动视觉的物体三维模型快速获取方法

Also Published As

Publication number Publication date
CN109631799A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN203084734U (zh) 用于再生虚拟物体的系统
CN105627992B (zh) 一种快速高精度非接触测绘古建筑的方法
CN110146038B (zh) 筒形件装配转角的分布式单目相机激光测量装置及方法
CN104260112B (zh) 一种机器人手眼定位方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN110717943A (zh) 用于二维平面的眼在手上机械手手眼标定方法及系统
CN108594245A (zh) 一种目标物运动监测系统及方法
CN103337069B (zh) 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN111524195B (zh) 一种掘进机截割头定位中的相机标定方法
CN103191958B (zh) 一种板料成形回弹的光学检测方法
CN111811433B (zh) 基于红蓝正交条纹的结构光系统标定方法及装置和应用
CN111145345A (zh) 隧道施工区域三维模型构建方法及系统
CN104463969A (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN110363801B (zh) 工件实物与工件三维cad模型的对应点匹配方法
CN116187158A (zh) 一种多目视觉测量系统中多相机的自动布局方法
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN107328358A (zh) 铝电解槽位姿的测量系统及测量方法
CN109631799B (zh) 一种智能化的测量与标记方法
Xu et al. Study on binocular stereo camera calibration method
CN111768383A (zh) 立体靶标及利用其恢复视觉传感器工作功能的方法
CN110842930A (zh) 基于dlp和相机标定的用于机器人的视觉装置及测量方法
CN115205390A (zh) 工业机器人面结构光立体相机位姿在线标定方法及系统
CN115578465B (zh) 一种基于双目视觉的激光定位与标注方法及产品和应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201214

Address after: 065000 Baoshi Huayuan, Guangyang District, Langfang City, Hebei Province

Applicant after: Han Xiaoliu

Address before: Room A502, wankecheng qiutongju, Bantian street, Longgang District, Shenzhen City, Guangdong Province

Applicant before: Wang Hongjun

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210311

Address after: 310016 room 1101, block B, tianxinglong building, 358 Fengqi East Road, Jianggan District, Hangzhou City, Zhejiang Province

Applicant after: WALKINFO TECHNOLOGY Co.,Ltd.

Address before: 065000 Baoshi Huayuan, Guangyang District, Langfang City, Hebei Province

Applicant before: Han Xiaoliu

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310000 room 1101, block B, Wufu tianxinglong building, No. 358, Fengqi East Road, Shangcheng District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Huajia Technology Co.,Ltd.

Address before: 310016 room 1101, block B, tianxinglong building, 358 Fengqi East Road, Jianggan District, Hangzhou City, Zhejiang Province

Patentee before: WALKINFO TECHNOLOGY Co.,Ltd.