CN116399306A - 一种基于视觉识别的跟踪测量方法、装置、设备及介质 - Google Patents

一种基于视觉识别的跟踪测量方法、装置、设备及介质 Download PDF

Info

Publication number
CN116399306A
CN116399306A CN202310310154.XA CN202310310154A CN116399306A CN 116399306 A CN116399306 A CN 116399306A CN 202310310154 A CN202310310154 A CN 202310310154A CN 116399306 A CN116399306 A CN 116399306A
Authority
CN
China
Prior art keywords
target
coordinates
image
preset
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310310154.XA
Other languages
English (en)
Other versions
CN116399306B (zh
Inventor
高寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Yunyu Intelligent Technology Co ltd
Original Assignee
Wuhan Yunyu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Yunyu Intelligent Technology Co ltd filed Critical Wuhan Yunyu Intelligent Technology Co ltd
Priority to CN202310310154.XA priority Critical patent/CN116399306B/zh
Publication of CN116399306A publication Critical patent/CN116399306A/zh
Application granted granted Critical
Publication of CN116399306B publication Critical patent/CN116399306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02—Means for marking measuring points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于视觉识别的跟踪测量方法、装置、设备及介质，其先获取待测物体图像，并得到待测物体表面的预设标靶的标靶图像坐标，然后根据标靶图像坐标得到设备调整参数以调整测量设备跟踪预设标靶，再通过测量设备得到标靶实际坐标并在计算机虚拟空间中建立同步虚拟模型，最后根据同步虚拟模型得到测量结果。相比于现有技术，本发明通过识别预设标靶得到标靶图像坐标，并根据标靶图像调整测量设备实现测量中的自动跟踪目标，同时通过测量预设标靶得到标靶实际坐标，再根据标靶实际坐标建立同步虚拟模型，与工程模型进行结合，实现了自动化、智能化的测量，相比于手动测量，极大地提高的测量的速度，优化使用体验。

Description

一种基于视觉识别的跟踪测量方法、装置、设备及介质
技术领域
本发明涉及工程测量技术领域，尤其涉及一种基于视觉识别的跟踪测量方法、装置、设备及介质。
背景技术
工程测量包括在工程建设勘测、设计、施工和管理阶段所进行的各种测量工作。其直接为各项建设项目的勘测、设计、施工、安装、竣工、监测以及营运管理等一系列工程工序服务，是工程项目中重要的一环。
以建筑为例，目前通常使用全站仪进行测量，而目前常用的全站仪中大部分是人眼通过目镜观察并手动调节对中，其中角度值是通过读取光栅刻度来换算并确定的，少量的自动对中全站仪具有自动跟踪模式，但需要专用的棱镜，并且对中效果不理想，经常出现跟踪丢失的情况，十分影响使用体验。另一方面，现有测量结果都是单点并以数据的形式输出，与目前广泛使用的建筑BIM模型关联性不强。
其他类型的工程测量同样存在上述缺陷，因此人们亟需一种能够自动跟踪目标，并且能够结合工程模型进行测量的检测方法。
发明内容
有鉴于此，有必要提供一种基于视觉识别的跟踪测量方法、装置、设备及介质，用以达到工程测量中自动跟踪目标，并且能够结合工程模型进行测量的目的。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种基于视觉识别的跟踪测量方法，包括：
获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标；
根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶；
通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标；
根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果；
其中，所述计算机虚拟空间与所述待测物体所在的所述实体空间对应，所述同步虚拟模型相对所述计算机虚拟空间的位置与所述待测物体相对所述实体空间的位置同步。
进一步的，所述预设标靶包括多个标靶特征点；所述获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标，包括：
获取所述待测物体图像，并从所述待测物体图像中识别出多个标靶特征点；
计算多个所述标靶特征点在所述待测物体图像中的特征坐标；
根据多个所述特征坐标，得到所述预设标靶在所述待测物体图像中的所述标靶图像坐标。
进一步的，所述根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶，包括：
获取所述待测物体图像中的检测基准坐标，其中，在所述待测物体图像中位于所述检测基准坐标的对象能够被所述测量设备检测到；
根据所述检测基准坐标和所述标靶图像坐标，得到所述设备调整参数；
基于所述设备调整参数，调整所述测量设备。
进一步的，所述根据所述检测基准坐标和所述标靶图像坐标，得到所述设备调整参数，包括：
基于所述待测物体图像，得到所述检测基准坐标和所述标靶图像坐标之间的像素差值；
根据所述像素差值，得到所述设备调整参数。
进一步的，所述基于所述设备调整参数，调整所述测量设备，包括：
根据所述设备调整参数，调整一次所述测量设备，并在调整后重新获取待测物体图像；
根据新的待测物体图像，重新得到标靶图像坐标；
根据新的标靶图像坐标，重新得到设备调整参数；
根据新的设备调整参数，再次调整所述测量设备并再次重新获取待测物体图像以再次得到标靶图像坐标，重复调整所述测量设备直至标靶图像坐标和所述检测基准坐标的差距小于或等于预设阈值。
进一步的，所述测量设备为测距装置，所述设备调整参数包括摆动旋转角度；所述通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标，包括：
通过所述测量设备测量所述预设标靶，得到所述预设标靶和所述测量设备之间的实际距离；
根据所述设备调整参数，得到累计摆动旋转角度；
根据所述实际距离和所述累计摆动旋转角度，得到所述预设标靶在相对坐标系中的标靶相对坐标；
获取所述相对坐标系中的预设相对坐标点集以及实体坐标系中的预设实体坐标点集，并根据所述预设相对坐标点集和所述预设实体坐标点集进行奇异值分解，得到所述相对坐标系和所述实体坐标系的转换矩阵；
根据所述标靶相对坐标和所述转换矩阵，得到所述标靶实际坐标；
其中，所述相对坐标系基于所述测量设备建立，所述实体坐标系基于所述实体空间建立。
进一步的，所述根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果，包括：
获取所述待测物体的预设虚拟模型，所述预设虚拟模型包括所述预设标靶和所述待测物体的相对位置关系；
基于所述标靶实际坐标，根据所述预设虚拟模型，在所述计算机虚拟空间中建立同步虚拟模型；
根据所述同步虚拟模型，得到所述测量结果。
第二方面，本发明还提供一种基于视觉识别的跟踪测量装置，包括：
视觉识别模块，用于获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标；
调整跟踪模块，用于根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶；
坐标判定模块，用于通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标；
模型同步模块，用于根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果；
其中，所述计算机虚拟空间与所述待测物体所在的所述实体空间对应，所述同步虚拟模型相对所述计算机虚拟空间的位置与所述待测物体相对所述实体空间的位置同步。
第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的基于视觉识别的跟踪测量方法中的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的基于视觉识别的跟踪测量方法中的步骤。
本发明提供一种基于视觉识别的跟踪测量方法、装置、设备及介质，其先获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标，然后根据所述标靶图像坐标，得到设备调整参数，并基于所述设备调整参数，调整测量设备以跟踪所述预设标靶，再通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标，最后根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果。相比于现有技术，本发明通过识别预设标靶得到标靶图像坐标，并根据标靶图像调整测量设备实现测量中的自动跟踪目标，同时通过测量预设标靶得到标靶实际坐标，再根据标靶实际坐标建立同步虚拟模型，与工程模型进行结合，实现了自动化、智能化的测量，相比于手动测量，极大地提高的测量的速度，优化使用体验。
附图说明
图1为本发明提供的基于视觉识别的跟踪测量方法一实施例的方法流程图；
图2为图1中步骤S102一实施例的方法流程图；
图3为本发明提供的基于视觉识别的跟踪测量方法一实施例中待测物体图像的坐标示意图；
图4为本发明提供的基于视觉识别的跟踪测量装置一实施例的结构示意图；
图5为本发明提供的电子设备一实施例的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明基于计算机视觉，识别出待测物体图像中预设标靶并得到标靶图像坐标，根据标靶图像坐标实现跟踪测量，在测量后根据标靶实际坐标建立同步虚拟模型，将测量与工程模型相结合，根据同步虚拟模型精确、快速地得到测量结果。
本发明提供了一种基于视觉识别的跟踪测量方法、装置、设备及介质，以下分别进行说明。
结合图1所示，本发明的一个具体实施例，公开了一种基于视觉识别的跟踪测量方法，包括：
S101、获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标；
S102、根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶；
S103、通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标；
S104、根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果；
其中，所述计算机虚拟空间与所述待测物体所在的所述实体空间对应，所述同步虚拟模型相对所述计算机虚拟空间的位置与所述待测物体相对所述实体空间的位置同步。
本发明提供一种基于视觉识别的跟踪测量方法，其先获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标，然后根据所述标靶图像坐标，得到设备调整参数，并基于所述设备调整参数，调整测量设备以跟踪所述预设标靶，再通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标，最后根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果。相比于现有技术，本发明通过识别预设标靶得到标靶图像坐标，并根据标靶图像调整测量设备实现测量中的自动跟踪目标，同时通过测量预设标靶得到标靶实际坐标，再根据标靶实际坐标建立同步虚拟模型，与工程模型进行结合，实现了自动化、智能化的测量，相比于手动测量，极大地提高的测量的速度，优化使用体验。
在一个优选的实施例中，所述预设标靶包括多个标靶特征点；上述步骤S101、获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标，具体包括：
获取所述待测物体图像，并从所述待测物体图像中识别出多个标靶特征点；
计算多个所述标靶特征点在所述待测物体图像中的特征坐标；
根据多个所述特征坐标，得到所述预设标靶在所述待测物体图像中的所述标靶图像坐标。
实际实施时，上述过程中的预设标靶可以为待测物体本身的特征，如棱角、边缘、待测物体表面的图案、待测物体表面醒目的零件等，也可以为人为设置于待测物体表面的实体结构，其与待测物体的相对位置不发生变化。预设标靶中，能够方便计算机识别的特征，如颜色、形状、结构等，为所述标靶特征点。
本发明还提供一更加详细的实施例，用以清楚地说明上述过程：
本实施例中通过数码相机拍摄待测物体以捕捉特定形状的预设标靶，本实施例中的预设标靶包含四个及以上的可被数码相机观测到的空间相对位置唯一的点位(具体地，本实施例采用的是红外相机观测红外led灯珠，实际中也可以为其他现有的物体)，获取待测物体图像后，可以采用任意现有的图像识别算法识别标靶特征点，然后通过PNP(Perspective-n-Point)算法来计算得到标靶的位姿，并通过Two-pass连通域标记算法，获取点位在拍摄图像中的坐标，即所述标靶图像坐标。
可以理解的是，上述过程中的PNP算法、Two-pass连通域标记算法等均为本领与技术人员能够从公开文件中获取并实施的现有技术，因此本文中不做过多说明。此外，实际中也可以通过其他的现有的视觉识别算法得到标靶图像坐标，例如，可采用YOLO算法，由算法从图像中直接识别标靶，得到的图像位置中心即为所述标靶图像坐标。
进一步的，结合图2所示，上述步骤S102、根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶，具体包括：
S201、获取所述待测物体图像中的检测基准坐标，其中，在所述待测物体图像中位于所述检测基准坐标的对象能够被所述测量设备检测到；
S202、根据所述检测基准坐标和所述标靶图像坐标，得到所述设备调整参数；
S203、基于所述设备调整参数，调整所述测量设备。
在一个优选的实施例中，上述步骤S202、根据所述检测基准坐标和所述标靶图像坐标，得到所述设备调整参数，具体包括：
基于所述待测物体图像，得到所述检测基准坐标和所述标靶图像坐标之间的像素差值；
根据所述像素差值，得到所述设备调整参数。
可以理解的是，实际中根据测量设备的不同，检测基准坐标、设备调整参数的具体内容也可以不同，例如，当采用双目摄像头这一现有设备进行测量时，可以将每个摄像头采集的图像的中心作为检测基准坐标，设备调整参数即为调整两个摄像头所需的参数，如焦距、基线距离等参数，其具体调整方法为现有技术，本文中不做过多说明。
在一个优选的实施例中，上述步骤S203、基于所述设备调整参数，调整所述测量设备，具体包括：
根据所述设备调整参数，调整一次所述测量设备，并在调整后重新获取待测物体图像；
根据新的待测物体图像，重新得到标靶图像坐标；
根据新的标靶图像坐标，重新得到设备调整参数；
根据新的设备调整参数，再次调整所述测量设备并再次重新获取待测物体图像以再次得到标靶图像坐标，重复调整所述测量设备直至标靶图像坐标和所述检测基准坐标的差距小于或等于预设阈值。
需要说明的是，上述过程中，重新得到标靶图像坐标，重新得到设备调整参数等步骤均与前文所述的方法一致，因此不做过多赘述。因设计及中，调整测量设备可能存在精度的问题，如手动调节的误差、电机等执行件的精度，会导致一次调整可能调整不到位，因此上述步骤S203的具体过程即重复调整并不断精调的过程，直到最终的过程达到一个可接受的范围内，即误差小于或等于预设阈值。
本发明还提供一更加详细的实施例，用以清楚地说明上述过程S201～S203：
本实施例中采用相机配合激光测距仪实现(例如全站仪)，相机的拍摄方向和激光测距仪的检测方向一致，相机和激光测距仪同步运动，其中激光测距仪和相机共同作为所述测量设备，实际中也可以仅为激光测距仪。激光测距仪用于测量其与预设标靶之间的距离，激光测距仪连接由电机，通过电机可以使得激光测距仪和相机水平或竖直摆动以调整其检测方向，电机与激光测距仪如何连接，如何调整均为现有技术，本文中不做过多说明。可以理解的是，实际中测量设备也可以为其他种类的测距装置，如超声波测距仪等。具体调整过程如下；
第一步：设备开始运行，通过上下电机的运动，将相机运行到初始位置，测量数值校准原点位置，此时基于相机拍摄到的图像建立坐标系，图像横向即为x轴，同时也为激光测距仪水平摆动旋转的方向，图像纵向即为y轴，同时也为激光测距仪竖直摆动旋转的方向，初始时拍摄图像的中心即为检测基准坐标，并且激光测距仪可以检测到位于相机图像中心的对象的距离。
第二步，结合图3所示，通过相机进行拍照，通过视觉识别，确定照片中心点位二维坐标X0Y0(即所述检测基准坐标)，确定预设标靶的中心点位所在的坐标X1Y1(即所述标靶图像坐标，图3中的被测物体坐标值)，通过X0Y0、X1Y1确定像素差值，将X、Y方向的像素差值换算程电机水平旋转角度值∠1、竖直旋转角度值∠2(二者即为所述设备调整参数，具体为后文中的摆动旋转角度)。具体地，待测物体图像可以视为在相机的成像平面上的图像，根据成像平面上物体的位置、相机的焦距等参数便可以计算出相机(以及激光测距仪)应作出的旋转角度，可以理解的是，上述得到角度值的具体过程为现有技术，本文中不做过多说明。
第三步，通过第二步换算的电机旋转角度进行旋转，旋转后通过内置相机进行第n次拍照，重复第二步骤计算出新X"0Y"0、X"1Y"1(即新的标靶图像坐标)，确定新的电机旋转角度值∠"1、∠"2(即新的设备调整参数)，计算的数值的电机旋转角度值进行旋转，旋转后进行第n+1次拍照，再进行计算，得出X"0Y"0与X"1Y"1相同(即预设阈值为0)，则进行下一步操作。
进一步的，在一个优选的实施例中，所述测量设备为测距装置，所述设备调整参数包括摆动旋转角度；上述步骤S103、通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标，具体包括：
通过所述测量设备测量所述预设标靶，得到所述预设标靶和所述测量设备之间的实际距离；
根据所述设备调整参数，得到累计摆动旋转角度；
根据所述实际距离和所述累计摆动旋转角度，得到所述预设标靶在相对坐标系中的标靶相对坐标；
获取所述相对坐标系中的预设相对坐标点集以及实体坐标系中的预设实体坐标点集，并根据所述预设相对坐标点集和所述预设实体坐标点集进行奇异值分解，得到所述相对坐标系和所述实体坐标系的转换矩阵；
根据所述标靶相对坐标和所述转换矩阵，得到所述标靶实际坐标；
其中，所述相对坐标系基于所述测量设备建立，所述实体坐标系基于所述实体空间建立。
本发明还提供一更加详细的实施例，用以清楚地说明上述过程S103：
通过反馈的角位移(即设备调整参数，如水平旋转角度值∠1、竖直旋转角度值∠2)及激光测距仪测量的距离D，计算出被测点相对于激光测距仪初始位置累计摆动的角坐标(α,β)(其中α为激光测距仪相对其初始位置水平摆动的总角度，β为激光测距仪相对其初始位置竖直摆动的总角度，二者均为所述累计摆动旋转角度)，并转换为相对于激光测距仪的相对坐标(X',Y',Z')(即所述标靶相对坐标)，具体的计算公式如下:
Figure BDA0004148138360000121
再根据已有的激光测距仪相对坐标系O1-XYZ(即所述相对坐标系)和世界坐标系O2-XYZ(即所述实体坐标系)内若干的对应点集合U1{(x1,y1,z1),(x2,y2,z2)…(xn,yn,zn)}(即所述预设相对坐标点集)和U2{(x1,y1,z1),(x2,y2,z2)…(xn,yn,zn)}(即所述预设实体坐标点集)来进行奇异值分解，并进一步计算得到从激光测距仪相对坐标系O1-XYZ到O2-XYZ的平移旋转RT矩阵(即所述转换矩阵)，最终得到被测点的世界坐标(X,Y,Z)(即所述标靶实际坐标)，具体的计算公式如下:
Figure BDA0004148138360000122
进一步的，在一个优选的实施例中，上述步骤S104、根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果，具体包括：
获取所述待测物体的预设虚拟模型，所述预设虚拟模型包括所述预设标靶和所述待测物体的相对位置关系；
基于所述标靶实际坐标，根据所述预设虚拟模型，在所述计算机虚拟空间中建立同步虚拟模型；
根据所述同步虚拟模型，得到所述测量结果。
本发明还提供一更加详细的实施例，用以清楚地说明上述过程步骤S104：
将所测世界坐标数据(即所述标靶实际坐标)传输至计算机的建筑BIM模型(BIM模型所在空间即为所述计算机虚拟空间)中，从而得出该点在建筑BIM模型中的空间点位信息，通过空间姿态识别及多个点位的同步测量，并将BIM模型中待测物体的虚拟模型与测量结果进行绑定，建立同步虚拟模型，从而实现待测物体在实体空间及同步虚拟模型在BIM模型中的姿态同步和输出三维数据，并可扩展应用实现构件安装过程中的实时跟踪。可通过直接观察模型在计算机虚拟空间中的姿态位置来确定其在实体空间中的姿态位置。
可以理解的是，根据实际工程项目的不同，上述预设虚拟模型可以为BIM模型、CAD模型、三维物体模型等任意现有的模型，且根据标靶实际坐标，结合实体空间和计算机虚拟空间建立模型的具体过程为现有技术，本发明中不做过多说明。此外，根据实际具体需求，利用同步虚拟模型得到测量结果也各有不同，例如测量结果可以为待测物体与理论模型的位置偏差，待测物体实际的运动路径等。
为了更好实施本发明实施例中的基于视觉识别的跟踪测量方法，在基于视觉识别的跟踪测量方法基础之上，对应的，请参阅图4，图4为本发明提供的基于视觉识别的跟踪测量装置的一实施例的结构示意图，本发明实施例提供的一种基于视觉识别的跟踪测量装置400，包括：
视觉识别模块410，用于获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标；
调整跟踪模块420，用于根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶；
坐标判定模块430，用于通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标；
模型同步模块440，用于根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果；
其中，所述计算机虚拟空间与所述待测物体所在的所述实体空间对应，所述同步虚拟模型相对所述计算机虚拟空间的位置与所述待测物体相对所述实体空间的位置同步。
这里需要说明的是：上述实施例提供的对应的装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
请参阅图5，图5为本发明实施例提供的电子设备的结构示意图。基于上述基于视觉识别的跟踪测量方法，本发明还相应提供了一种基于视觉识别的跟踪测量设备500，即上述电子设备，基于视觉识别的跟踪测量设备500可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该基于视觉识别的跟踪测量设备500包括处理器510、存储器520及显示器530。图5仅示出了基于视觉识别的跟踪测量设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器520在一些实施例中可以是基于视觉识别的跟踪测量设备500的内部存储单元，例如基于视觉识别的跟踪测量设备500的硬盘或内存。存储器520在另一些实施例中也可以是基于视觉识别的跟踪测量设备500的外部存储设备，例如基于视觉识别的跟踪测量设备500上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器520还可以既包括基于视觉识别的跟踪测量设备500的内部存储单元也包括外部存储设备。存储器520用于存储安装于基于视觉识别的跟踪测量设备500的应用软件及各类数据，例如安装基于视觉识别的跟踪测量设备500的程序代码等。存储器520还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器520上存储有基于视觉识别的跟踪测量程序540，该基于视觉识别的跟踪测量程序540可被处理器510所执行，从而实现本申请各实施例的基于视觉识别的跟踪测量方法。
处理器510在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器520中存储的程序代码或处理数据，例如执行基于视觉识别的跟踪测量方法等。
显示器530在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器530用于显示在基于视觉识别的跟踪测量设备500的信息以及用于显示可视化的用户界面。基于视觉识别的跟踪测量设备500的部件510-530通过系统总线相互通信。
在一实施例中，当处理器510执行存储器520中基于视觉识别的跟踪测量程序540时实现如上的基于视觉识别的跟踪测量方法中的步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有基于视觉识别的跟踪测量程序，该基于视觉识别的跟踪测量程序被处理器执行时可实现上述实施例中的步骤。
本发明提供一种基于视觉识别的跟踪测量方法、装置、设备及介质，其先获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标，然后根据所述标靶图像坐标，得到设备调整参数，并基于所述设备调整参数，调整测量设备以跟踪所述预设标靶，再通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标，最后根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果。相比于现有技术，本发明通过识别预设标靶得到标靶图像坐标，并根据标靶图像调整测量设备实现测量中的自动跟踪目标，同时通过测量预设标靶得到标靶实际坐标，再根据标靶实际坐标建立同步虚拟模型，与工程模型进行结合，实现了自动化、智能化的测量，相比于手动测量，极大地提高的测量的速度，优化使用体验。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于视觉识别的跟踪测量方法，其特征在于，包括：
获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标；
根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶；
通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标；
根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果；
其中，所述计算机虚拟空间与所述待测物体所在的所述实体空间对应，所述同步虚拟模型相对所述计算机虚拟空间的位置与所述待测物体相对所述实体空间的位置同步。
2.根据权利要求1所述的基于视觉识别的跟踪测量方法，其特征在于，所述预设标靶包括多个标靶特征点；所述获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标，包括：
获取所述待测物体图像，并从所述待测物体图像中识别出多个标靶特征点；
计算多个所述标靶特征点在所述待测物体图像中的特征坐标；
根据多个所述特征坐标，得到所述预设标靶在所述待测物体图像中的所述标靶图像坐标。
3.根据权利要求1所述的基于视觉识别的跟踪测量方法，其特征在于，所述根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶，包括：
获取所述待测物体图像中的检测基准坐标，其中，在所述待测物体图像中位于所述检测基准坐标的对象能够被所述测量设备检测到；
根据所述检测基准坐标和所述标靶图像坐标，得到所述设备调整参数；
基于所述设备调整参数，调整所述测量设备。
4.根据权利要求3所述的基于视觉识别的跟踪测量方法，其特征在于，所述根据所述检测基准坐标和所述标靶图像坐标，得到所述设备调整参数，包括：
基于所述待测物体图像，得到所述检测基准坐标和所述标靶图像坐标之间的像素差值；
根据所述像素差值，得到所述设备调整参数。
5.根据权利要求3所述的基于视觉识别的跟踪测量方法，其特征在于，所述基于所述设备调整参数，调整所述测量设备，包括：
根据所述设备调整参数，调整一次所述测量设备，并在调整后重新获取待测物体图像；
根据新的待测物体图像，重新得到标靶图像坐标；
根据新的标靶图像坐标，重新得到设备调整参数；
根据新的设备调整参数，再次调整所述测量设备并再次重新获取待测物体图像以再次得到标靶图像坐标，重复调整所述测量设备直至标靶图像坐标和所述检测基准坐标的差距小于或等于预设阈值。
6.根据权利要求1所述的基于视觉识别的跟踪测量方法，其特征在于，所述测量设备为测距装置，所述设备调整参数包括摆动旋转角度；所述通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标，包括：
通过所述测量设备测量所述预设标靶，得到所述预设标靶和所述测量设备之间的实际距离；
根据所述设备调整参数，得到累计摆动旋转角度；
根据所述实际距离和所述累计摆动旋转角度，得到所述预设标靶在相对坐标系中的标靶相对坐标；
获取所述相对坐标系中的预设相对坐标点集以及实体坐标系中的预设实体坐标点集，并根据所述预设相对坐标点集和所述预设实体坐标点集进行奇异值分解，得到所述相对坐标系和所述实体坐标系的转换矩阵；
根据所述标靶相对坐标和所述转换矩阵，得到所述标靶实际坐标；
其中，所述相对坐标系基于所述测量设备建立，所述实体坐标系基于所述实体空间建立。
7.根据权利要求1所述的基于视觉识别的跟踪测量方法，其特征在于，所述根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果，包括：
获取所述待测物体的预设虚拟模型，所述预设虚拟模型包括所述预设标靶和所述待测物体的相对位置关系；
基于所述标靶实际坐标，根据所述预设虚拟模型，在所述计算机虚拟空间中建立同步虚拟模型；
根据所述同步虚拟模型，得到所述测量结果。
8.一种基于视觉识别的跟踪测量装置，其特征在于，包括：
视觉识别模块，用于获取待测物体图像，并根据所述待测物体图像，得到待测物体表面的预设标靶在所述待测物体图像中的标靶图像坐标；
调整跟踪模块，用于根据所述标靶图像坐标，得到测量设备的设备调整参数，并基于所述设备调整参数，调整所述测量设备以跟踪所述预设标靶；
坐标判定模块，用于通过所述测量设备测量所述预设标靶，得到所述预设标靶在实体空间中的标靶实际坐标；
模型同步模块，用于根据所述标靶实际坐标，在计算机虚拟空间中建立同步虚拟模型，并根据所述同步虚拟模型得到测量结果；
其中，所述计算机虚拟空间与所述待测物体所在的所述实体空间对应，所述同步虚拟模型相对所述计算机虚拟空间的位置与所述待测物体相对所述实体空间的位置同步。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述基于视觉识别的跟踪测量方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述基于视觉识别的跟踪测量方法中的步骤。
CN202310310154.XA 2023-03-27 2023-03-27 一种基于视觉识别的跟踪测量方法、装置、设备及介质 Active CN116399306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310310154.XA CN116399306B (zh) 2023-03-27 2023-03-27 一种基于视觉识别的跟踪测量方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310310154.XA CN116399306B (zh) 2023-03-27 2023-03-27 一种基于视觉识别的跟踪测量方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116399306A true CN116399306A (zh) 2023-07-07
CN116399306B CN116399306B (zh) 2024-01-23

Family

ID=87013619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310310154.XA Active CN116399306B (zh) 2023-03-27 2023-03-27 一种基于视觉识别的跟踪测量方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116399306B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095858A (ja) * 2009-10-27 2011-05-12 Panasonic Electric Works Co Ltd ３次元デジタイザ
US20200333428A1 (en) * 2019-04-16 2020-10-22 National Cheng Kung University Optical tracking system and training system for medical equipment
CN112967342A (zh) * 2021-03-18 2021-06-15 深圳大学 一种高精度三维重建方法、系统、计算机设备及存储介质
CN114329747A (zh) * 2022-03-08 2022-04-12 盈嘉互联（北京）科技有限公司 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
CN114333243A (zh) * 2021-12-21 2022-04-12 长江三峡勘测研究院有限公司（武汉） 一种滑坡监测预警方法、装置、介质、电子设备及终端
CN114993273A (zh) * 2022-05-19 2022-09-02 中铁隆工程集团有限公司 一种工程装置终端识别跟踪定位方法、系统、应用
CN115454057A (zh) * 2022-08-24 2022-12-09 中国矿业大学 一种煤矿机器人群数字孪生智能管控建模系统与方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095858A (ja) * 2009-10-27 2011-05-12 Panasonic Electric Works Co Ltd ３次元デジタイザ
US20200333428A1 (en) * 2019-04-16 2020-10-22 National Cheng Kung University Optical tracking system and training system for medical equipment
CN112967342A (zh) * 2021-03-18 2021-06-15 深圳大学 一种高精度三维重建方法、系统、计算机设备及存储介质
CN114333243A (zh) * 2021-12-21 2022-04-12 长江三峡勘测研究院有限公司（武汉） 一种滑坡监测预警方法、装置、介质、电子设备及终端
CN114329747A (zh) * 2022-03-08 2022-04-12 盈嘉互联（北京）科技有限公司 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
CN114993273A (zh) * 2022-05-19 2022-09-02 中铁隆工程集团有限公司 一种工程装置终端识别跟踪定位方法、系统、应用
CN115454057A (zh) * 2022-08-24 2022-12-09 中国矿业大学 一种煤矿机器人群数字孪生智能管控建模系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏振忠;孙文;张广军;任少盟;: "激光跟踪视觉导引测量系统的全局校准方法", 仪器仪表学报, vol. 30, no. 11 *

Also Published As

Publication number Publication date
CN116399306B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
US10810734B2 (en) Computer aided rebar measurement and inspection system
US11704833B2 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
US11285613B2 (en) Robot vision image feature extraction method and apparatus and robot using the same
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
US20140300736A1 (en) Multi-sensor camera recalibration
CN112509057B (zh) 相机外参标定方法、装置、电子设备以及计算机可读介质
CN103795935B (zh) 一种基于图像校正的摄像式多目标定位方法及装置
CN112492292B (zh) 一种自由姿态的智能视觉3d信息采集设备
CN110675455A (zh) 一种基于自然场景的车身环视相机自标定方法和系统
CN107687818A (zh) 三维量测方法及三维量测装置
CN111307146A (zh) 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN111623773A (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
Mi et al. A vision-based displacement measurement system for foundation pit
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN111105467A (zh) 一种图像标定方法、装置及电子设备
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
CN112254676B (zh) 一种便携式智能3d信息采集设备
CN113601510A (zh) 基于双目视觉的机器人移动控制方法、装置、系统及设备
CN113327289A (zh) 一种多源异构传感器的同时内外参标定方法
CN116399306B (zh) 一种基于视觉识别的跟踪测量方法、装置、设备及介质
CN106296797A (zh) 一种三维扫描仪特征点建模数据处理方法
CN108592789A (zh) 一种基于bim和机器视觉技术的钢结构工厂预拼装方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant