CN109631799A - 一种智能化的测量与标记方法 - Google Patents
一种智能化的测量与标记方法 Download PDFInfo
- Publication number
- CN109631799A CN109631799A CN201910014304.6A CN201910014304A CN109631799A CN 109631799 A CN109631799 A CN 109631799A CN 201910014304 A CN201910014304 A CN 201910014304A CN 109631799 A CN109631799 A CN 109631799A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- information
- projection device
- measurement
- labeling method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 13
- 238000000691 measurement method Methods 0.000 title claims abstract description 6
- 238000013461 design Methods 0.000 claims abstract description 17
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000004519 manufacturing process Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明是一种智能化的测量与标记方法，在已知空间物体分布的情况下，通过深度测量传感器，就可以测得所有物体在空间内的三维分布信息，根据这些物体的信息，我们就可以通过软件算法对空间的物体做计算与设计，这些计算与设计的结果，就可以通过投影设备真实地投影到物体的表面，不仅方便查看、修正其计算与设计的效果，还可以方便操作工人根据实际的投影效果进行加工制作，大大提高设计与制作的工作效率。
Description
技术领域
本发明涉及智能化的测量等技术概念，特别是利用工具打孔、挖槽、划线、贴瓷砖的工作中，另外通过本发明的智能化测量，还可以解决投影仪的畸变矫正中，不仅仅是垂直或水平的梯形矫正，对任意四边形畸变都可以做出矫正。
背景技术
随着近些年人工智能技术的发展，大大促进了商业项目的落地，像人脸识别、刷脸支付、无人驾驶等，本发明就是结全人工智能技术与投影设备，做出安装、加工、制造业的智能化辅助工具，大大提高这些行业的效率与工作精度。
另外，本发明也可以解决投影仪的畸变矫正问题，一般的投影仪都具备垂直方向的梯形矫正，高端的投影仪设备有水平方向的梯形矫正，但是对于任意四边形畸变投影，目前技术上还是空白，市场上也没有此类产品。
发明目的
本发明的主要目的就是提供一种智能化的测量与标记方法，提高安装、加工、制造业的工作效率，方便设计人员的测量与设计工作。
技术方案
本发明的目的是这样实现的：用已经固定装配好深度传感器与投影仪的组合设备，完成智能化的测量与标记工作，其实现按以下步骤：
(1)在待工作空间内，启动深度传感器，进行三维扫描工作空间内的所有物体，得到当前工作空间内的物体表面形状的3D点云数据，这些就是当前的三维信息；
(2)对于已经固定装配好深度传感器与投影仪的组合设备，深度传感器的三维坐标系与投影设备的三维坐标系有固定的旋转矩阵R与平移矩阵T联系，这两个矩阵都可以由装配关系提前实验测得，假设深度传感器的三维坐标系的点坐标为(ξ,τ,ε)，此点在投影设备的三维坐标系的坐标为(x,y,z)，则有：
其中：
R为旋转矩阵，T为平移矩阵；
这样，深度传感器内的3D点云数据的三维信息就转化成投影设备内的三维信息；
(3)根据投影设备内的三维信息，进行点云的降噪、滤波、曲面重建，就得到三维结构信息，设计人员在三维结构信息上进行设计与标记；
(4)在三维结构信息上，根据设计好的点、线、面的三维标记信息，由投影设备的水平视角、垂直视角参数，转化成投影图像上对应点、线、面的二维像素标记信息；
(5)打开投影设备，把转化后的投影图像在实际的工作空间上进行投影，显示出标记好的二维像素标记信息；
(6)设计人员可以查看与修正设计效果，操作人员可以根据投影出来的二维像素标记信息，进行实际的加工与制造工作。
本发明所使用的系统组成如下：深度传感器测量系统、投影设备转化系统、三维信息设计与标记系统、二维像素信息标记系统，二维像素投影系统。这五个系统是按照功能设置的软件系统，各子系统具体功能如下：
*深度传感器测量系统：利用深度传感器测量工作空间内物体的表面形状分布，
*投影设备转化系统：把深度传感器测得的三维信息旋转平移到投影设备的坐标系内，
*三维信息设计与标记系统：对三维信息进行计算、设计与标记，
*二维像素信息标记系统：把三维信息的标记转化成二维投影图像的像素信息标记，
*二维像素投影系统：把二维的像素标记信息投影到实际工作空间上。
附图说明：
图1是本发明方法所用系统组成图
图2是实际的工作空间
图3是二维像素投影图
具体实施方式
下面结合附图，以二维工作空间平面墙为例，在墙面上安装挂载框画，说明本发明的实施方式。
本发明方法所用的系统整体结构可参考附图1，它有五个子系统组成，具体包含如下步骤：
第一步
在深度传感器测量系统中，启动深度传感器，开始测量工作空间内的平面墙，平面墙如附图2所示，得到平面墙的3D点云数据，记深度传感器的坐标系为S:ξτε，这些3D点云数据的三维坐标记为：
(ξi,τi,εi)，其中，1≤i≤n，
这里，因为深度传感器与平面墙不一定是平行的关系，所以这些三维坐标中的εi不一定相同，平面墙为坐标系S:ξτε内的空间平面。
第二步
在投影设备转化系统中，记投影设备的坐标系为O:xyz，根据实际深度传感器与投影设备的一体装配关系，得到旋转矩阵与平移矩阵，实验测得分别如下：
根据如下公式：
得到坐标系为O:xyz内的3D点云数据的三维坐标为：
从而，在坐标系为O:xyz内的3D点云数据的三维信息记为：
(xi,yi,zi)，其中，1≤i≤n，
第三步
在三维信息设计与标记系统中，对坐标系O:xyz内的3D点云数据进行降噪、滤波处理，进而做平面重建，如果真实的工作空间是曲面的话，这里就要做曲面重建，平面的情况较简单，可以用平面的法线及平面内的一点来表示这个平面，根据重力传感器也可以在这个平面上把水平线标记出来，在这个空间平面上，根据所挂画框的大小及孔的位置信息，全部标记出来，设计清楚哪些三维点是矩形画框的角点，孔的位置在什么位置点，这些统称为三维标记信息；
第四步
在二维像素信息标记系统中，根据上一部的三维标记信息，转化成二维投影图像的像素信息，也就是空间坐标系O:xyz内的三维点的坐标(xi,yi,zi)如何转化成二维像素坐标(ui,vi)，具体一个投影设备都有一组特有的属性：水平视场角θ、垂直视场角分辨率(width,height)，有的投影设备是偏轴的，有的是非偏轴的，我们为了方便仅以非偏轴情况为例说明，其转换公式如下：
这样就完成了三维标记信息向二维像素标记信息的转化；
第五步
在二维像素投影系统中，根据上一部的二维像素标记信息，由投影设备把图像投影出来，如附图3所示，外围的不规则四边形为投影图像的边缘，因为投影设备不与平面墙平行，所以会投出畸变的不规则四边形，内部的矩形则是设计的画框的四边，画框的上、下两条边是水平的，与图中所示的水平线是平行的，图中的两个黑色圆点表示画框的挂孔，这样技术经验不高的操作工人，按照图示，就可以方便、快速地完成钻孔、打钉、挂画的工作。
综上，我们可以看到在给定的工作空间内，通过这一套智能化的测量与标记方法，能很快的完成既定的工作目标，类似地工作还有：在墙上开槽、在圆柱面上画线，在凹形面上贴瓷砖。
Claims (8)
1.一种智能化的测量与标记方法，该方法是首先用深度传感器测量工作空间内物体的位置、深度、形状分布信息，也就是测量工作空间内物体的表面形状的三维信息，这些三维信息是在深度传感器的三维坐标系内测量所得，需要把这些三维信息转化到投影设备的三维坐标系内，深度传感器与投影设备有固定的装配关系，可以通过旋转矩阵与平移矩阵就可以在两个坐标系内做三维信息的转化，在投影设备的坐标系内，对三维信息进行计算与设计，把计算与设计的结果转化成二维的投影图像上，把计算与设计结果通过投影设备在实际物体表面投射，方便设计结果的查看与修正，及操作工人的实际加工制作，其实现按如下步骤给出：
(1)通过深度传感器测量工作空间内的物体表面形状的三维信息；
(2)把物体表面形状的三维信息旋转、平移到投影设备的坐标系内；
(3)根据投影设备内的三维信息，进行计算与设计，完成设计结果的三维信息标记；
(4)根据重力传感器的信息，附加上水平数据的三维信息标记；
(5)把三维信息标记转化成投影图像的二维信息标记；
(6)把带二维信息标记的投影图像在真实空间的物体上进行投影显示，进行设计结果的查看与修正；
(7)操作工人在实际物体上，根据最终的二维信息标记，进行加工制作。
2.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，结合深度传感器、投影设备、重力传感器进行测量与标记工作。
3.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，三维信息的计算与设计，可以在投影设备的坐标系内，也可以在深度传感器的坐标系内。
4.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，水平数据的三维信息标记，根据实际工作需要选择附加或不附加。
5.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，三维信息标记到二维信息标记的转化。
6.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，二维信息标记的投影，方便查看与修正设计效果，方便指导操作工人的加工制作。
7.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，三维深度测量设备与投影设备的结合，完成实际物体与虚拟投影图像的联系。
8.如权利要求1所述的一种智能化的测量与标记方法，其特征在于，工作空间可以是三维的任意曲率的不规则曲面，也可以是三维空间内的平面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910014304.6A CN109631799B (zh) | 2019-01-09 | 2019-01-09 | 一种智能化的测量与标记方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910014304.6A CN109631799B (zh) | 2019-01-09 | 2019-01-09 | 一种智能化的测量与标记方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109631799A true CN109631799A (zh) | 2019-04-16 |
| CN109631799B CN109631799B (zh) | 2021-03-26 |
Family
ID=66058107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910014304.6A Active CN109631799B (zh) | 2019-01-09 | 2019-01-09 | 一种智能化的测量与标记方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109631799B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08110807A (ja) * | 1995-09-04 | 1996-04-30 | Omron Corp | 自動キャリブレーション方法およびその装置 |
| CN1512455A (zh) * | 2002-12-27 | 2004-07-14 | 中国科学院自动化研究所 | 基于主动视觉的物体三维模型快速获取方法 |
| ATE284541T1 (de) * | 2001-02-23 | 2004-12-15 | Ind Control Systems Ltd | Vorrichtung und verfahren zur erzeugung von dreidimensionalen positionsdaten aus einem erfassten zweidimensionalen bild |
| WO2004114214A1 (en) * | 2003-06-23 | 2004-12-29 | Harman/Becker Automotive Systems Gmbh | Method and apparatus for capturing and displaying a three-dimensional scene |
| US7010080B2 (en) * | 2003-05-20 | 2006-03-07 | Siemens Aktiengesellschaft | Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record |
| EP2034269A1 (de) * | 2007-09-10 | 2009-03-11 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur dreidimensinalen Digitalisierung von Objekten |
| CN104019766A (zh) * | 2014-07-03 | 2014-09-03 | 曹振 | 一种以三维空间几何体为参照系的三维扫描方法 |
| CN104077446A (zh) * | 2014-06-30 | 2014-10-01 | 中国能源建设集团广东省电力设计研究院 | 从数字化三维模型中提取二维电气施工图的方法及系统 |
| CN104374374A (zh) * | 2014-11-11 | 2015-02-25 | 浙江工业大学 | 基于主动全景视觉的3d环境复制系统及3d全景显示绘制方法 |
| CN104956404A (zh) * | 2013-01-30 | 2015-09-30 | 高通股份有限公司 | 具有功率有效深度传感器使用的实时三维重建 |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| US9432655B2 (en) * | 2013-08-23 | 2016-08-30 | Xyzprinting, Inc. | Three-dimensional scanner based on contours from shadow images |
| CN106157372A (zh) * | 2016-07-25 | 2016-11-23 | 深圳市唯特视科技有限公司 | 一种基于视频图像的3d人脸网格重构方法 |
| CN106156740A (zh) * | 2016-07-05 | 2016-11-23 | 张宁 | 民航机场候机楼人脸快速识别系统 |
| CN107146287A (zh) * | 2017-03-22 | 2017-09-08 | 西北大学 | 二维投影图像至三维模型的映射方法 |
| CN108615258A (zh) * | 2018-04-23 | 2018-10-02 | 陕西学前师范学院 | 一种三维虚拟室内设计系统 |
-
2019
- 2019-01-09 CN CN201910014304.6A patent/CN109631799B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08110807A (ja) * | 1995-09-04 | 1996-04-30 | Omron Corp | 自動キャリブレーション方法およびその装置 |
| ATE284541T1 (de) * | 2001-02-23 | 2004-12-15 | Ind Control Systems Ltd | Vorrichtung und verfahren zur erzeugung von dreidimensionalen positionsdaten aus einem erfassten zweidimensionalen bild |
| CN1512455A (zh) * | 2002-12-27 | 2004-07-14 | 中国科学院自动化研究所 | 基于主动视觉的物体三维模型快速获取方法 |
| US7010080B2 (en) * | 2003-05-20 | 2006-03-07 | Siemens Aktiengesellschaft | Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record |
| WO2004114214A1 (en) * | 2003-06-23 | 2004-12-29 | Harman/Becker Automotive Systems Gmbh | Method and apparatus for capturing and displaying a three-dimensional scene |
| EP2034269A1 (de) * | 2007-09-10 | 2009-03-11 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur dreidimensinalen Digitalisierung von Objekten |
| CN104956404A (zh) * | 2013-01-30 | 2015-09-30 | 高通股份有限公司 | 具有功率有效深度传感器使用的实时三维重建 |
| US9432655B2 (en) * | 2013-08-23 | 2016-08-30 | Xyzprinting, Inc. | Three-dimensional scanner based on contours from shadow images |
| CN104077446A (zh) * | 2014-06-30 | 2014-10-01 | 中国能源建设集团广东省电力设计研究院 | 从数字化三维模型中提取二维电气施工图的方法及系统 |
| CN104019766A (zh) * | 2014-07-03 | 2014-09-03 | 曹振 | 一种以三维空间几何体为参照系的三维扫描方法 |
| CN104374374A (zh) * | 2014-11-11 | 2015-02-25 | 浙江工业大学 | 基于主动全景视觉的3d环境复制系统及3d全景显示绘制方法 |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN106156740A (zh) * | 2016-07-05 | 2016-11-23 | 张宁 | 民航机场候机楼人脸快速识别系统 |
| CN106157372A (zh) * | 2016-07-25 | 2016-11-23 | 深圳市唯特视科技有限公司 | 一种基于视频图像的3d人脸网格重构方法 |
| CN107146287A (zh) * | 2017-03-22 | 2017-09-08 | 西北大学 | 二维投影图像至三维模型的映射方法 |
| CN108615258A (zh) * | 2018-04-23 | 2018-10-02 | 陕西学前师范学院 | 一种三维虚拟室内设计系统 |
Non-Patent Citations (3)
| Title |
|---|
| XIAOBO CHEN等: "《Accurate calibration for a camera–projector measurement system based on structured light projection》", 《OPTICS AND LASERS IN ENGINEERING》 * |
| 葛云峰等: "《基于三维激光扫描技术的岩体结构面智能识别与信息提取》", 《岩石力学与工程学报》 * |
| 陈会等: "《结构光三维重建系统中投影仪的标定》", 《科学通报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109631799B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111473739B (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
| CN203084734U (zh) | 用于再生虚拟物体的系统 | |
| CN106408556B (zh) | 一种基于一般成像模型的微小物体测量系统标定方法 | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| CN103994762B (zh) | 基于数据矩阵码的移动机器人定位方法 | |
| US20080031514A1 (en) | Camera Calibration Method And Camera Calibration Device | |
| JP2020516883A (ja) | 高精密な校正システム及び方法 | |
| CN106323286B (zh) | 一种机器人坐标系与三维测量坐标系的变换方法 | |
| CN104835144A (zh) | 利用一个球的球心的像及正交性求解摄像机内参数 | |
| CN101901501A (zh) | 一种生成激光彩色云图的方法 | |
| CN107784038A (zh) | 一种传感器数据的标注方法 | |
| CN110260857A (zh) | 视觉地图的校准方法、装置及存储介质 | |
| CN104463969A (zh) | 一种对航空倾斜拍摄的地理照片的模型的建立方法 | |
| CN101995219A (zh) | 一种基于三点编码标记点的车架的关键点测量方法 | |
| CN101865656B (zh) | 一种使用少数共面点精确定位多摄像头系统位姿的方法 | |
| CN106643504A (zh) | 一种基于跟踪器的大型物体三维测量中led标记的标定方法 | |
| CN107798010A (zh) | 一种传感器数据的标注装置 | |
| Lee et al. | Nontarget-based measurement of 6-DOF structural displacement using combined RGB color and depth information | |
| CN103954220A (zh) | 撞桥试验中船体运动状态数字图像测量方法 | |
| CN110619661A (zh) | 一种基于增强现实的测量室外料场原料体积的方法 | |
| CN1605830A (zh) | 不基于粘性标记的大型三维形体形貌测量拼接方法 | |
| Chen et al. | Extrinsic self-calibration of the surround-view system: A weakly supervised approach | |
| CN102168973B (zh) | 全方位视觉传感器自动导航z轴定位方法及其定位系统 | |
| CN109631799A (zh) | 一种智能化的测量与标记方法 | |
| CN108592789A (zh) | 一种基于bim和机器视觉技术的钢结构工厂预拼装方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201214 Address after: 065000 Baoshi Huayuan, Guangyang District, Langfang City, Hebei Province Applicant after: Han Xiaoliu Address before: Room A502, wankecheng qiutongju, Bantian street, Longgang District, Shenzhen City, Guangdong Province Applicant before: Wang Hongjun |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210311 Address after: 310016 room 1101, block B, tianxinglong building, 358 Fengqi East Road, Jianggan District, Hangzhou City, Zhejiang Province Applicant after: WALKINFO TECHNOLOGY Co.,Ltd. Address before: 065000 Baoshi Huayuan, Guangyang District, Langfang City, Hebei Province Applicant before: Han Xiaoliu |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 310000 room 1101, block B, Wufu tianxinglong building, No. 358, Fengqi East Road, Shangcheng District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang Huajia Technology Co.,Ltd. Address before: 310016 room 1101, block B, tianxinglong building, 358 Fengqi East Road, Jianggan District, Hangzhou City, Zhejiang Province Patentee before: WALKINFO TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |