CN115597551A - 一种手持激光辅助双目扫描装置及方法 - Google Patents

一种手持激光辅助双目扫描装置及方法 Download PDF

Info

Publication number
CN115597551A
CN115597551A CN202211597602.0A CN202211597602A CN115597551A CN 115597551 A CN115597551 A CN 115597551A CN 202211597602 A CN202211597602 A CN 202211597602A CN 115597551 A CN115597551 A CN 115597551A
Authority
CN
China
Prior art keywords
laser
binocular
camera
image
handheld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211597602.0A
Other languages
English (en)
Other versions
CN115597551B (zh
Inventor
李杨
戴忠余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Liangxin Integrated Technology Co ltd
Original Assignee
Chengdu Liangxin Integrated Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Liangxin Integrated Technology Co ltd filed Critical Chengdu Liangxin Integrated Technology Co ltd
Priority to CN202211597602.0A priority Critical patent/CN115597551B/zh
Publication of CN115597551A publication Critical patent/CN115597551A/zh
Application granted granted Critical
Publication of CN115597551B publication Critical patent/CN115597551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种手持激光辅助双目扫描装置及方法，属于光电测量技术领域，所述装置包括手持架、设于手持架上的主控器和双目摄像头、转动设于手持架上的旋转基座、设于旋转基座上的转接座、以及设于转接座上的激光测距模块和振镜模块；所述方法包括通过神经网络模型对双目摄像头和激光测距模块的标定，像素坐标、激光坐标和相机坐标的对应关系构建，以及利用激光的三维测量。本发明结构简单、设计科学合理，使用方便，去除了双目系统由于摄像头位置变化等因素引入的标定困难和重复标定等问题，可以在任何时候实现自动标定，特别解决了产品出厂后发生位置偏移后，必须返厂进行重新标定的问题。

Description

一种手持激光辅助双目扫描装置及方法
技术领域
本发明属于光电测量技术领域，具体涉及一种手持激光辅助双目扫描装置及方法。
背景技术
目前应用的手持测距辅助双目扫描系统采用固定摄像头、固定摄像头与摄像头间距可调等安装方式。出厂前均需要对双目摄像头的位置及辅助的测距模块位置等进行标定，过程相当的繁琐，生产成本高，特别是在出厂后，摄像头或辅助测距模块的位置发生偏移后，客户无法自行标定，必须返厂，系统稳定性低、维护成本高，成为所属技术领域技术人员亟待解决的技术问题。
基于上述缺点，本发明提出了一种手持激光辅助双目扫描装置及方法，依靠装置本身结构及自动标定方法实现了设备随时自动标定，避免了标定过程繁琐、费时、成本高和需要专业人员操作等限制条件，同时解决了由系统部件位置发生变化带来的稳定性问题，降低了系统维护时间和成本，可在每次测量前都进行标定，有效提升了系统的稳定性和测量精度。
发明内容
本发明要解决的技术问题是：提供一种手持激光辅助双目扫描装置及方法，解决现有测距辅助双目扫描装置标定过程繁琐、费时、成本高和需要专业人员操作以及系统稳定性差等缺点技术问题。
为实现上述目的，本发明采用的技术方案如下：
一种手持激光辅助双目扫描装置，包括手持架、设于手持架上的主控器和双目摄像头、转动设于手持架上的旋转基座、设于旋转基座上的转接座、以及设于转接座上的激光测距模块和振镜模块，所述主控器分别与双目摄像头、激光测距模块和振镜模块相连接，所述激光测距模块的激光出射口对准振镜模块的入射口。
进一步地，所述双目摄像头包括分别位于旋转基座两侧的第一摄像头和第二摄像头；
第一摄像头和第二摄像头的视场合并，形成视场覆盖区；第一摄像头和第二摄像头的视场部分重叠，形成视场重叠区，视场重叠区覆盖被测墙面；所述振镜模块投射的激光点覆盖区域大于所述视场重叠区。
进一步地，所述旋转基座连接有用于驱动旋转基座转动的驱动机构，驱动机构与主控器相连接。
进一步地，所述旋转基座上设有角传感器，角传感器与主控器相连接。
进一步地，所述手持架包括手持杆和与手持杆相连接的底座。
一种手持激光辅助双目扫描装置的扫描方法，包括以下步骤：
步骤1、主控器控制激光测距模块产生标定激光，标定激光经振镜模块折转并投射到被测墙面，形成标定激光点；
步骤2、双目摄像头采集标定激光点的墙面图像，形成对应的标定图像，激光测距模块依次产生分布于标定图像各个位置的激光点，双目摄像头采集各激光点对应的墙面图像形成训练图像并传输至主控器中，基于训练图像构建神经网络模型并训练；
步骤3、神经网络模型检测各激光点在对应训练图像中的像素坐标，并提取各激光点在激光测距模块中对应的激光坐标，基于一一对应的像素坐标和激光坐标，对双目摄像头和激光测距模块进行标定；
步骤4、双目摄像头和激光测距模块经神经网络模型标定后，控制器不断调整振镜模块的投射坐标和旋转基座的位置，直至确定双目摄像头的视场重叠区的边界和视场覆盖区的边界，记录所述过程中所有激光点对应图像的像素坐标、激光测距模块的激光坐标和双目摄像头的相机坐标，并建立三者的对应关系；
步骤5、主控器控制双目摄像头对被测墙面进行拍照，得到双目图像B并反馈至主控器得到双目图像B的像素坐标，根据所述对应关系，主控器控制激光测距模块产生重建激光，重建激光经振镜模块折转投射到双目图像B一个像素坐标对应的被测墙面位置形成重建激光点，由双目摄像头拍下对应的双目图像C并计算重建激光点的距离，主控器重复以上过程直至得到双目图像B上每个像素坐标对应重建激光点的双目图像C和距离，完成被测墙面三维信息的重建。
进一步地，所述神经网络模型构建和训练包括：步骤A、利用labelme软件对各训练图像进行标注，获得对应激光点的像素坐标标签，然后利用高斯核函数计算激光点像素坐标周围的像素值，得到标注热力图；将所有标注热力图按照2:8的比例进行随机分类，其中80%用于神经网络模型训练，20%用于神经网络模型测试；步骤B、利用ResNet50模型提取各训练图像特征得到特征图，再通过反卷积将特征图恢复到训练图像的原尺寸，得到神经网络模型的预测热力图；步骤C、利用focal loss损失函数，评价预测热力图与标注热力图的差异，得到损失值，步骤D、利用随机梯度下降法SGD，用80%的标注热力图对神经网络模型进行反复迭代训练，每一轮训练后用剩余20%的标注热力图验证神经网络模型的检测精度，直到损失值、检测精度趋于平稳，获得最优的神经网络模型。
进一步地，所述高斯核函数为：
Figure 57679DEST_PATH_IMAGE001
，其中（px，py）为标注所得的激光点的像素坐标、（x，y）为（px，py）周围半径R的像素坐标、
Figure 127267DEST_PATH_IMAGE002
为标准差；
所述focal loss损失函数为：
Figure 590609DEST_PATH_IMAGE003
，其中N为图像分辨率、Y为标注热力图中各点的概率值，
Figure 262899DEST_PATH_IMAGE004
预测热力图中各点的概率值；
Figure 495297DEST_PATH_IMAGE005
为超参数。
进一步地，所述步骤3包括：步骤31、从不同角度拍摄10-20张贴于墙面上的平面棋盘格的图像，利用张正友标定法，获得双目摄像头的相机内参矩阵；步骤32、利用双目摄像头的相机内参矩阵，由最优的神经网络模型将训练图像中激光点的像素坐标投影到双目摄像头的相机坐标系下，采用PnP算法得到激光测距模块与双目摄像头的外参矩阵。
进一步地，所述双目图像A包括第一双目图像A和第二双目图像A；标定激光点在双目图像A中的位置包括：标定激光点同时出现在第一双目图像A和第二双目图像A，标定激光点出现在第一双目图像A或第二双目图像A，标定激光点不出现在第一双目图像A和第二双目图像A；双目图像B包括第一双目图像B和第二双目图像B，双目图像C包括第一双目图像C和第二双目图像C。
与现有技术相比，本发明具有以下有益效果：
本发明结构简单、设计科学合理，使用方便，去除了双目系统由于摄像头位置变化等因素引入的标定困难和重复标定等问题，可以在任何时候实现自动标定，特别解决了产品出厂后发生位置偏移后，必须返厂进行重新标定的问题。
附图说明
图1为本发明正面示意图。
图2为本发明背面示意图。
图3为本发明激光发射和成像示意图。
图4为本发明双目摄像头和激光光斑覆盖墙面的面积示意图。
其中，附图标记对应的名称为：
1-双目摄像头、2-主控器、3-激光测距模块、4-振镜模块、5-旋转基座、6-转接座、7-手持架、9-被测墙面、10-激光覆盖区域、11-第一摄像头、12-第二摄像头、13-第一摄像头覆盖区域、14-第二摄像头覆盖区域、71-手持杆、72-底座。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此其不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；当然的，还可以是机械连接，也可以是电连接；另外的，还可以是直接相连，也可以是通过中间媒介间接相连，或者可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如图1-图2所示，本发明提供的一种手持激光辅助双目扫描装置，包括手持架7、设于手持架7上的主控器2和双目摄像头1、转动设于手持架7上的旋转基座5、设于旋转基座5上的转接座6、以及设于转接座6上的激光测距模块3和振镜模块4，所述主控器2分别与双目摄像头1、激光测距模块3和振镜模块4相连接，所述激光测距模块3的激光出射口对准振镜模块4的入射口。本发明通过双目摄像头对被测墙体拍照，并通过旋转基座5控制转接座6和转接座6上的激光测距模块3和振镜模块4，将激光点照射到被测墙体的特定位置，并获取该激光点的精确距离信息，辅助双目摄像头重建被测墙体的信息，激光测距模块和振镜模块安装在转接座上，去除了双目系统由于摄像头位置变化等因素引入的标定困难和重复标定等问题，可以在任何时候由旋转基座5实现自动标定。
如图3所示，所述双目摄像头1连接到主控器2，主控器2控制双目摄像头1拍照并输出当前图像的像素坐标信息。所述激光测距模块3和振镜模块4分别连接到主控器2，并且激光测距模块3的激光出射口对准振镜模块4的入射口，主控器2控制激光测距模块3发出激光并由激光测距模块3的激光出射口输出，再经振镜模块4的入射口进入在振镜模块4折转后从振镜模块4的出射口投射到被测墙面形成激光点，并产生激光反射光线，最终激光反射光线通过振镜模块4的接收口后进入激光测距模块3的接收口，测量出所述激光的距离信息。
在部分实施例中，所述双目摄像头1包括分别位于旋转基座5两侧的第一摄像头11和第二摄像头12，第一摄像头11和第二摄像头12不一定必须关于旋转基座5对称分布，因为使用激光标定视场范围的原因，所以有一定的偏差也可以正常使用。采用双目摄像头为模拟人眼立体视觉，利用三角测量原理从双目成像模型中恢复所拍摄景物的深度信息或者在空间中的三维坐标信息，即从二维成像影像中恢复三维信息，进而建立准确墙体的三维信息。如图4所示，第一摄像头11的第一摄像头覆盖区域13和第二摄像头12的第二摄像头覆盖区域14的视场合并，形成视场覆盖区；第一摄像头11的第一摄像头覆盖区域13和第二摄像头12的第二摄像头覆盖区域14的视场部分重叠，形成视场重叠区，视场重叠区覆盖被测墙面9。并且，所述振镜模块4投射的激光点覆盖区域大于所述视场重叠区，如此保证反射激光能被激光测距模块3全部获取，避免测距点的遗漏。
本发明通过旋转基座5控制转接座6、以及转接座6上的激光测距模块3和振镜模块4，将激光点照射到被测墙体的特定位置，并获取该激光点的精确距离信息。所述旋转基座5的驱动力包括手动驱动和电动驱动两种方式，其中优选电动驱动，为此在部分实施例中，所述旋转基座5连接有用于驱动旋转基座5转动的驱动机构，驱动机构与主控器2相连接。驱动机构采用驱动电机，旋转基座5与驱动电机的驱动轴相连接，并可通过主控器2自动并精确控制转动角度，驱动电机优选伺服电机。
在部分实施例中，所述旋转基座5上设有角传感器，角传感器与主控器2相连接。角传感器可将旋转基座5的旋转角度实时反馈至主控器2。
本发明的激光测距模块3发射的激光，双目摄像头1可见，并根据需要选配人眼可见或不可见的激光测距模块3，所述激光测距模块3包括但不限于具有激光测距功能的多种激光测距仪，其均可在市场上购买并直接使用，故此不做赘述。作为优选，所述激光测距模块3测距精度为毫米级或毫米级以下。
本发明的手持架7便于整体结构的使用，使装置的整体结构更加小巧、随身携带。在部分实施例中，所述手持架7包括手持杆71和与手持杆71相连接的底座72。手持架7便于手持使用，底座72则提高了装置的支撑稳定性。
本发明所用主控器2优选为嵌入式计算机，体积小、且较易与其他结构集成，便于携带使用。所述双目摄像头1和振镜模块4均为现有已知电气设备，并且均可在市场上直接购买使用，其结构、电路、以及控制原理均为现有已知技术，在此不赘述。
一种手持激光辅助双目扫描装置的扫描方法，包括以下步骤：
步骤1、主控器控制激光测距模块产生标定激光，标定激光经振镜模块折转并投射到被测墙面，形成标定激光点；
步骤2、双目摄像头采集标定激光点的墙面图像，形成对应的标定图像，激光测距模块依次产生分布于标定图像各个位置的激光点，双目摄像头采集各激光点对应的墙面图像形成训练图像并传输至主控器中，基于训练图像构建神经网络模型并训练；
步骤3、神经网络模型检测各激光点在对应训练图像中的像素坐标，并提取各激光点在激光测距模块中对应的激光坐标，基于一一对应的像素坐标和激光坐标，对双目摄像头和激光测距模块进行标定；
步骤4、双目摄像头和激光测距模块经神经网络模型标定后，控制器不断调整振镜模块的投射坐标和旋转基座的位置，直至确定双目摄像头的视场重叠区的边界和视场覆盖区的边界，记录所述过程中所有激光点对应图像的像素坐标、激光测距模块的激光坐标和双目摄像头的相机坐标，并建立三者的对应关系；
步骤5、主控器控制双目摄像头对被测墙面进行拍照，得到双目图像B并反馈至主控器得到双目图像B的像素坐标，根据所述对应关系，主控器控制激光测距模块产生重建激光，重建激光经振镜模块折转投射到双目图像B一个像素坐标对应的被测墙面位置形成重建激光点，由双目摄像头拍下对应的双目图像C并计算重建激光点的距离，主控器重复以上过程直至得到双目图像B上每个像素坐标对应重建激光点的双目图像C和距离，完成被测墙面三维信息的重建。
在部分实施例中，所述神经网络模型构建和训练包括：步骤A、利用labelme软件对各训练图像进行标注，获得对应激光点的像素坐标标签，然后利用高斯核函数计算激光点像素坐标周围的像素值，得到标注热力图；将所有标注热力图按照2:8的比例进行随机分类，其中80%用于神经网络模型训练，20%用于神经网络模型测试；步骤B、利用ResNet50模型提取各训练图像特征得到特征图，再通过反卷积将特征图恢复到训练图像的原尺寸，得到神经网络模型的预测热力图；步骤C、利用focal loss损失函数，评价预测热力图与标注热力图的差异，得到损失值，步骤D、利用随机梯度下降法SGD，用80%的标注热力图对神经网络模型进行反复迭代训练，每一轮训练后用剩余20%的标注热力图验证神经网络模型的检测精度，直到损失值、检测精度趋于平稳，获得最优的神经网络模型。
在部分实施例中，所述高斯核函数为：
Figure 1365DEST_PATH_IMAGE001
，其中（px，py）为标注所得的激光点的像素坐标、（x，y）为（px，py）周围半径R的像素坐标、
Figure 545478DEST_PATH_IMAGE002
为标准差；
所述focal loss损失函数为：
Figure 162405DEST_PATH_IMAGE003
，其中N为图像分辨率、Y为标注热力图中各点的概率值，
Figure 249309DEST_PATH_IMAGE004
预测热力图中各点的概率值；
Figure 785333DEST_PATH_IMAGE005
为超参数。
在部分实施例中，所述步骤3包括：步骤31、从不同角度拍摄10-20张贴于墙面上的平面棋盘格的图像，利用张正友标定法，获得双目摄像头的相机内参矩阵；步骤32、利用双目摄像头的相机内参矩阵，由最优的神经网络模型将训练图像中激光点的像素坐标投影到双目摄像头的相机坐标系下，采用PnP算法得到激光雷达与相机的外参矩阵。
在部分实施例中，所述双目图像A包括第一双目图像A和第二双目图像A；标定激光点在双目图像A中的位置包括：标定激光点同时出现在第一双目图像A和第二双目图像A，标定激光点出现在第一双目图像A或第二双目图像A，标定激光点不出现在第一双目图像A和第二双目图像A。通过标定激光点在双目图像A中的位置，将多个双目图像A叠加，从而构建出视场重叠区的和视场覆盖区，进而再得到视场重叠区的边界和视场覆盖区的边界。双目图像B包括第一双目图像B和第二双目图像B，双目图像C包括第一双目图像C和第二双目图像C。
标定激光点对应的像素坐标、激光测距模块的激光坐标和双目摄像头的相机坐标的对应关系，例如标定激光点在图像中的像素坐标（Xc，Yc），其对应的激光测距模块的激光坐标（Xb，Yb，d）和双目摄像头的相机坐标（Xa，Ya，Za）。像素坐标为摄像头内部感光芯片的阵列坐标，每个图片具有对应的像素坐标，例如摄像头的最大分辨率为1024*768，则该摄像头输出图片时其像素坐标最大为（X=1024，Y=768）。双目摄像头的坐标即为双目摄像头对真实世界坐标的映射。激光测距模块的激光坐标中，(Xb，Yb）为激光扫描坐时扫描点的二维坐标，d为激光测距距离。
最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种手持激光辅助双目扫描装置，其特征在于，包括手持架（7）、设于手持架（7）上的主控器（2）和双目摄像头（1）、转动设于手持架（7）上的旋转基座（5）、设于旋转基座（5）上的转接座（6）、以及设于转接座（6）上的激光测距模块（3）和振镜模块（4），所述主控器（2）分别与双目摄像头（1）、激光测距模块（3）和振镜模块（4）相连接，所述激光测距模块（3）的激光出射口对准振镜模块（4）的入射口。
2.根据权利要求1所述的一种手持激光辅助双目扫描装置，其特征在于，所述双目摄像头（1）包括分别位于旋转基座（5）两侧的第一摄像头（11）和第二摄像头（12）；
第一摄像头（11）和第二摄像头（12）的视场合并，形成视场覆盖区；第一摄像头（11）和第二摄像头（12）的视场部分重叠，形成视场重叠区，视场重叠区覆盖被测墙面；所述振镜模块（4）投射的激光点覆盖区域大于所述视场重叠区。
3.根据权利要求1所述的一种手持激光辅助双目扫描装置，其特征在于，所述旋转基座（5）连接有用于驱动旋转基座（5）转动的驱动机构，驱动机构与主控器（2）相连接。
4.根据权利要求1所述的一种手持激光辅助双目扫描装置，其特征在于，所述旋转基座（5）上设有角传感器，角传感器与主控器（2）相连接。
5.根据权利要求1所述的一种手持激光辅助双目扫描装置，其特征在于，所述手持架（7）包括手持杆（71）和与手持杆（71）相连接的底座（72）。
6.一种手持激光辅助双目扫描装置的扫描方法，其特征在于，包括以下步骤：
步骤1、主控器控制激光测距模块产生标定激光，标定激光经振镜模块折转并投射到被测墙面，形成标定激光点；
步骤2、双目摄像头采集标定激光点的墙面图像，形成对应的标定图像，激光测距模块依次产生分布于标定图像各个位置的激光点，双目摄像头采集各激光点对应的墙面图像形成训练图像并传输至主控器中，基于训练图像构建神经网络模型并训练；
步骤3、神经网络模型检测各激光点在对应训练图像中的像素坐标，并提取各激光点在激光测距模块中对应的激光坐标，基于一一对应的像素坐标和激光坐标，对双目摄像头和激光测距模块进行标定；
步骤4、双目摄像头和激光测距模块经神经网络模型标定后，控制器不断调整振镜模块的投射坐标和旋转基座的位置，直至确定双目摄像头的视场重叠区的边界和视场覆盖区的边界，记录所述过程中所有激光点对应图像的像素坐标、激光测距模块的激光坐标和双目摄像头的相机坐标，并建立三者的对应关系；
步骤5、主控器控制双目摄像头对被测墙面进行拍照，得到双目图像B并反馈至主控器得到双目图像B的像素坐标，根据所述对应关系，主控器控制激光测距模块产生重建激光，重建激光经振镜模块折转投射到双目图像B一个像素坐标对应的被测墙面位置形成重建激光点，由双目摄像头拍下对应的双目图像C并计算重建激光点的距离，主控器重复以上过程直至得到双目图像B上每个像素坐标对应重建激光点的双目图像C和距离，完成被测墙面三维信息的重建。
7.根据权利要求6所述的一种手持激光辅助双目扫描装置的扫描方法，其特征在于，所述神经网络模型构建和训练包括：步骤A、利用labelme软件对各训练图像进行标注，获得对应激光点的像素坐标标签，然后利用高斯核函数计算激光点像素坐标周围的像素值，得到标注热力图；将所有标注热力图按照2:8的比例进行随机分类，其中80%用于神经网络模型训练，20%用于神经网络模型测试；步骤B、利用ResNet50模型提取各训练图像特征得到特征图，再通过反卷积将特征图恢复到训练图像的原尺寸，得到神经网络模型的预测热力图；步骤C、利用focal loss损失函数，评价预测热力图与标注热力图的差异，得到损失值，步骤D、利用随机梯度下降法SGD，用80%的标注热力图对神经网络模型进行反复迭代训练，每一轮训练后用剩余20%的标注热力图验证神经网络模型的检测精度，直到损失值、检测精度趋于平稳，获得最优的神经网络模型。
8.根据权利要求7所述的一种手持激光辅助双目扫描装置的扫描方法，其特征在于，所述高斯核函数为：
Figure 708905DEST_PATH_IMAGE001
，其中（px，py）为标注所得的激光点的像素坐标、（x，y）为（px，py）周围半径R的像素坐标、
Figure 618217DEST_PATH_IMAGE002
为标准差；
所述focal loss损失函数为：
Figure DEST_PATH_IMAGE003
，其中N为图像分辨率、Y为标注热力图中各点的概率值，
Figure 643942DEST_PATH_IMAGE004
预测热力图中各点的概率值；
Figure DEST_PATH_IMAGE005
为超参数。
9.根据权利要求7所述的一种手持激光辅助双目扫描装置的扫描方法，其特征在于，所述步骤3包括：步骤31、从不同角度拍摄10-20张贴于墙面上的平面棋盘格的图像，利用张正友标定法，获得双目摄像头的相机内参矩阵；步骤32、利用双目摄像头的相机内参矩阵，由最优的神经网络模型将训练图像中激光点的像素坐标投影到双目摄像头的相机坐标系下，采用PnP算法得到激光测距模块与双目摄像头的外参矩阵。
10.根据权利要求6所述的一种手持激光辅助双目扫描装置的扫描方法，其特征在于，所述双目图像A包括第一双目图像A和第二双目图像A；标定激光点在双目图像A中的位置包括：标定激光点同时出现在第一双目图像A和第二双目图像A，标定激光点出现在第一双目图像A或第二双目图像A，标定激光点不出现在第一双目图像A和第二双目图像A；双目图像B包括第一双目图像B和第二双目图像B，双目图像C包括第一双目图像C和第二双目图像C。
CN202211597602.0A 2022-12-14 2022-12-14 一种手持激光辅助双目扫描装置及方法 Active CN115597551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211597602.0A CN115597551B (zh) 2022-12-14 2022-12-14 一种手持激光辅助双目扫描装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211597602.0A CN115597551B (zh) 2022-12-14 2022-12-14 一种手持激光辅助双目扫描装置及方法

Publications (2)

Publication Number Publication Date
CN115597551A true CN115597551A (zh) 2023-01-13
CN115597551B CN115597551B (zh) 2023-04-07

Family

ID=84854087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211597602.0A Active CN115597551B (zh) 2022-12-14 2022-12-14 一种手持激光辅助双目扫描装置及方法

Country Status (1)

Country Link
CN (1) CN115597551B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116772744A (zh) * 2023-08-24 2023-09-19 成都量芯集成科技有限公司 一种基于激光测距和视觉融合的3d扫描装置及其方法
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Citations (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3612645A (en) * 1969-09-09 1971-10-12 Nasa Optical binocular scanning apparatus
US5543866A (en) * 1994-01-07 1996-08-06 Jozef F. Van de Velde Scanning laser ophthalmoscope for binocular imaging and functional testing
CN101504275A (zh) * 2009-03-11 2009-08-12 华中科技大学 一种基于空间无线定位的手持式线激光三维测量系统
CN102867304A (zh) * 2012-09-04 2013-01-09 南京航空航天大学 双目立体视觉系统中场景立体深度与视差的关系建立方法
CN105981074A (zh) * 2014-11-04 2016-09-28 深圳市大疆创新科技有限公司 相机标定
CN106949845A (zh) * 2017-01-19 2017-07-14 南京航空航天大学 基于双目立体视觉的二维激光振镜扫描系统及标定方法
CN107093195A (zh) * 2017-03-10 2017-08-25 西北工业大学 一种激光测距与双目相机结合的标记点定位方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN108154538A (zh) * 2018-02-06 2018-06-12 华中科技大学 一种双摄像机模组校正和标定方法及装置
CN109282743A (zh) * 2018-07-30 2019-01-29 上海大学 适合深海原位测量的激光高速线扫描双目视觉三维成像装置
US20190164312A1 (en) * 2017-11-29 2019-05-30 Adobe Inc. Neural network-based camera calibration
CN109934877A (zh) * 2019-03-15 2019-06-25 苏州天准科技股份有限公司 一种用于2d激光-双目相机联合标定的标定方法
CN110009696A (zh) * 2019-04-10 2019-07-12 哈尔滨理工大学 基于蜂群算法优化bp神经网络三目视觉标定
CN110279389A (zh) * 2019-07-23 2019-09-27 西安工业大学 基于双目视觉和结构光的手持口腔扫描系统
US20190301861A1 (en) * 2018-03-02 2019-10-03 TuSimple Method and apparatus for binocular ranging
US10503966B1 (en) * 2018-10-11 2019-12-10 Tindei Network Technology (Shanghai) Co., Ltd. Binocular pedestrian detection system having dual-stream deep learning neural network and the methods of using the same
US20200074661A1 (en) * 2018-08-30 2020-03-05 Samsung Electronics Co., Ltd. Method for training convolutional neural network to reconstruct an image and system for depth map generation from an image
CN211178311U (zh) * 2019-11-21 2020-08-04 杭州非白三维科技有限公司 一种手持激光三维扫描设备骨架结构
CN112365585A (zh) * 2020-11-24 2021-02-12 革点科技(深圳)有限公司 一种基于事件相机的双目结构光三维成像方法
CN112686877A (zh) * 2021-01-05 2021-04-20 同济大学 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN113052919A (zh) * 2021-04-23 2021-06-29 深圳市商汤科技有限公司 一种视觉传感器的标定方法及装置、电子设备和存储介质
US20210225035A1 (en) * 2020-01-21 2021-07-22 Compound Eye Inc. System and method for camera calibration
CN213874191U (zh) * 2020-11-13 2021-08-03 北京伟景智能科技有限公司 手持式三维检测装置
CN113808219A (zh) * 2021-09-17 2021-12-17 西安电子科技大学 基于深度学习的雷达辅助相机标定方法
WO2021259365A1 (zh) * 2020-06-24 2021-12-30 杭州海康威视数字技术股份有限公司 一种目标测温方法、装置及测温系统
CN114034248A (zh) * 2021-11-19 2022-02-11 北京科技大学 一种基于双目视觉的激光三维投影方法
CN114355373A (zh) * 2022-03-14 2022-04-15 成都量芯集成科技有限公司 一种激光测距装置
CN114516055A (zh) * 2022-04-07 2022-05-20 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN114782507A (zh) * 2022-06-20 2022-07-22 中国科学技术大学 一种基于无监督学习的非对称双目立体匹配方法及系统
WO2022179623A1 (zh) * 2021-02-25 2022-09-01 先临三维科技股份有限公司 手持扫描仪及其扫描方法
CN114998499A (zh) * 2022-06-08 2022-09-02 深圳大学 一种基于线激光振镜扫描的双目三维重建方法及系统
CN115014296A (zh) * 2022-07-06 2022-09-06 南方电网数字电网研究院有限公司 基于相机的输电线测距方法、装置和计算机设备
WO2022198901A1 (zh) * 2021-03-23 2022-09-29 南京理工大学 一种基于网格提取种子点的数字散斑相关快速实现方法
CN115471566A (zh) * 2022-08-05 2022-12-13 武汉智谱科技有限公司 一种双目标定方法和系统

Patent Citations (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3612645A (en) * 1969-09-09 1971-10-12 Nasa Optical binocular scanning apparatus
US5543866A (en) * 1994-01-07 1996-08-06 Jozef F. Van de Velde Scanning laser ophthalmoscope for binocular imaging and functional testing
CN101504275A (zh) * 2009-03-11 2009-08-12 华中科技大学 一种基于空间无线定位的手持式线激光三维测量系统
CN102867304A (zh) * 2012-09-04 2013-01-09 南京航空航天大学 双目立体视觉系统中场景立体深度与视差的关系建立方法
CN105981074A (zh) * 2014-11-04 2016-09-28 深圳市大疆创新科技有限公司 相机标定
CN106949845A (zh) * 2017-01-19 2017-07-14 南京航空航天大学 基于双目立体视觉的二维激光振镜扫描系统及标定方法
CN107093195A (zh) * 2017-03-10 2017-08-25 西北工业大学 一种激光测距与双目相机结合的标记点定位方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
US20190164312A1 (en) * 2017-11-29 2019-05-30 Adobe Inc. Neural network-based camera calibration
CN108154538A (zh) * 2018-02-06 2018-06-12 华中科技大学 一种双摄像机模组校正和标定方法及装置
US20190301861A1 (en) * 2018-03-02 2019-10-03 TuSimple Method and apparatus for binocular ranging
CN109282743A (zh) * 2018-07-30 2019-01-29 上海大学 适合深海原位测量的激光高速线扫描双目视觉三维成像装置
US20200074661A1 (en) * 2018-08-30 2020-03-05 Samsung Electronics Co., Ltd. Method for training convolutional neural network to reconstruct an image and system for depth map generation from an image
US10503966B1 (en) * 2018-10-11 2019-12-10 Tindei Network Technology (Shanghai) Co., Ltd. Binocular pedestrian detection system having dual-stream deep learning neural network and the methods of using the same
CN109934877A (zh) * 2019-03-15 2019-06-25 苏州天准科技股份有限公司 一种用于2d激光-双目相机联合标定的标定方法
CN110009696A (zh) * 2019-04-10 2019-07-12 哈尔滨理工大学 基于蜂群算法优化bp神经网络三目视觉标定
CN110279389A (zh) * 2019-07-23 2019-09-27 西安工业大学 基于双目视觉和结构光的手持口腔扫描系统
CN211178311U (zh) * 2019-11-21 2020-08-04 杭州非白三维科技有限公司 一种手持激光三维扫描设备骨架结构
US20210225035A1 (en) * 2020-01-21 2021-07-22 Compound Eye Inc. System and method for camera calibration
WO2021259365A1 (zh) * 2020-06-24 2021-12-30 杭州海康威视数字技术股份有限公司 一种目标测温方法、装置及测温系统
CN213874191U (zh) * 2020-11-13 2021-08-03 北京伟景智能科技有限公司 手持式三维检测装置
CN112365585A (zh) * 2020-11-24 2021-02-12 革点科技(深圳)有限公司 一种基于事件相机的双目结构光三维成像方法
CN112686877A (zh) * 2021-01-05 2021-04-20 同济大学 基于双目相机的三维房屋损伤模型构建测量方法及系统
WO2022179623A1 (zh) * 2021-02-25 2022-09-01 先临三维科技股份有限公司 手持扫描仪及其扫描方法
WO2022198901A1 (zh) * 2021-03-23 2022-09-29 南京理工大学 一种基于网格提取种子点的数字散斑相关快速实现方法
CN113052919A (zh) * 2021-04-23 2021-06-29 深圳市商汤科技有限公司 一种视觉传感器的标定方法及装置、电子设备和存储介质
CN113808219A (zh) * 2021-09-17 2021-12-17 西安电子科技大学 基于深度学习的雷达辅助相机标定方法
CN114034248A (zh) * 2021-11-19 2022-02-11 北京科技大学 一种基于双目视觉的激光三维投影方法
CN114355373A (zh) * 2022-03-14 2022-04-15 成都量芯集成科技有限公司 一种激光测距装置
CN114516055A (zh) * 2022-04-07 2022-05-20 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置
CN114998499A (zh) * 2022-06-08 2022-09-02 深圳大学 一种基于线激光振镜扫描的双目三维重建方法及系统
CN114782507A (zh) * 2022-06-20 2022-07-22 中国科学技术大学 一种基于无监督学习的非对称双目立体匹配方法及系统
CN115014296A (zh) * 2022-07-06 2022-09-06 南方电网数字电网研究院有限公司 基于相机的输电线测距方法、装置和计算机设备
CN115471566A (zh) * 2022-08-05 2022-12-13 武汉智谱科技有限公司 一种双目标定方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUNCHAO TU 等: "《Effective data-driven calibration for a galvanometric laser scanning system using binocular stereo vision》", 《SENSORS》 *
崔彦平 等: "《基于神经网络的双目视觉摄像机标定方法的研究》", 《光电子激光》 *
张峰峰 等: "《差分遗传算法优化BP神经网络的双目相机标定》", 《哈尔滨工程大学学报》 *
杜宇楠等: "基于激光与立体视觉同步数据的场景三维重建", 《软件》 *
韩硕等: "手持线激光扫描视频三维重建中的运动线提取算法", 《计算机应用与软件》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116772744A (zh) * 2023-08-24 2023-09-19 成都量芯集成科技有限公司 一种基于激光测距和视觉融合的3d扫描装置及其方法
CN116772744B (zh) * 2023-08-24 2023-10-24 成都量芯集成科技有限公司 一种基于激光测距和视觉融合的3d扫描装置及其方法
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统
CN116953680B (zh) * 2023-09-15 2023-11-24 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Also Published As

Publication number Publication date
CN115597551B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN115597551B (zh) 一种手持激光辅助双目扫描装置及方法
US7697126B2 (en) Three dimensional spatial imaging system and method
EP1607718B1 (en) Surveying instrument and electronic storage medium
JP5816778B2 (ja) 追加の検出装置を備えたレーザスキャナ
CN111238374B (zh) 一种基于坐标测量的三维模型构建及测量方法
AU2020417796B2 (en) System and method of capturing and generating panoramic three-dimensional images
CN114998499A (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN111815716A (zh) 一种参数标定方法及相关装置
CN113532329A (zh) 一种以投射光斑为标定点的标定方法
CN112254670B (zh) 一种基于光扫描和智能视觉融合的3d信息采集设备
CN110966921B (zh) 室内三维扫描设备及方法
CN112303423B (zh) 一种转动稳定的智能三维信息采集设备
CN112254680B (zh) 一种多自由度的智能视觉3d信息采集设备
CN112254675B (zh) 一种包含运动物体的空间占用率采集判断设备及方法
EP3706073A1 (en) System and method for measuring three-dimensional coordinates
CN111340959A (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
CN112254638B (zh) 一种可俯仰调节的智能视觉3d信息采集设备
CN112254676B (zh) 一种便携式智能3d信息采集设备
CN112082486A (zh) 一种手持式智能3d信息采集设备
US11943539B2 (en) Systems and methods for capturing and generating panoramic three-dimensional models and images
CN112254669B (zh) 一种多偏置角度的智能视觉3d信息采集设备
CN112254677B (zh) 一种基于手持设备的多位置组合式3d采集系统及方法
JP2003035536A (ja) 画像処理変位計測における補正方法
CN112254671B (zh) 一种多次组合式3d采集系统及方法
CN112257535B (zh) 一种躲避物体的三维匹配的设备及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant