CN112150507B - 一种物体姿态和位移的3d模型同步重现方法及系统 - Google Patents

一种物体姿态和位移的3d模型同步重现方法及系统 Download PDF

Info

Publication number
CN112150507B
CN112150507B CN202011047452.7A CN202011047452A CN112150507B CN 112150507 B CN112150507 B CN 112150507B CN 202011047452 A CN202011047452 A CN 202011047452A CN 112150507 B CN112150507 B CN 112150507B
Authority
CN
China
Prior art keywords
state
information
displacement
environment
edge computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011047452.7A
Other languages
English (en)
Other versions
CN112150507A (zh
Inventor
林兰芳
袁志浩
王强
林瑞敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Hl Wymobi Technology Co ltd
Original Assignee
Xiamen Hl Wymobi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Hl Wymobi Technology Co ltd filed Critical Xiamen Hl Wymobi Technology Co ltd
Priority to CN202011047452.7A priority Critical patent/CN112150507B/zh
Publication of CN112150507A publication Critical patent/CN112150507A/zh
Application granted granted Critical
Publication of CN112150507B publication Critical patent/CN112150507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种物体姿态和位移的3D模型同步重现方法及系统，所述方法包括：在物体侧执行：部署传感器，通过传感器实时采集物体的状态信息及影响物体状态的环境信息；在物体及其主要活动部件设置物体标识，通过摄像头实时采集物体的视频图像；部署位置校正标识设置摄像头的空间原点；在边缘计算节点执行：实时处理物体的状态信息及影响物体状态的环境信息，并输出物体状态指标信息，及转发物体的视频图像信息和对物体的错误状态或情况进行紧急处理；在数字孪生平台执行：接收边缘计算节点上传的物体状态指标信息，并在3D场景下进行状态显示；接收物体的视频图像信息，从图像中标识出物体，并同步传输到3D引擎，进行物体姿态和位移的同步展示。

Description

一种物体姿态和位移的3D模型同步重现方法及系统
技术领域
本发明涉及计算机数字化建模领域，尤其涉及一种物体姿态和位移的3D模型同步重现方法系统。
背景技术
随着物联网及工业互联网快速发展，相关的物体建模、物体感应及监控、工业平台的智能计算、人工智能等技术层出不穷。但是大多数的建模和感应监控技术手段都是基于单一物体进行，没有考虑物体所处的环境和多个物体之间的关联关系，如：对物体的监控缺乏对物体所处的环境因素考虑，无法准确恰当的反应物体的真实状态；缺乏多物体状态之间的联动分析和协同作业安排。然而在实际的工厂环境中，物体或设备的运行状况以及控制都是与所处的环境、以及周边的物体关系紧密，融合特定环境下的物体监控对实际的工业互联网和物联网的应用意义重大。
同时在数字孪生应用中，需要进行快速的三维重现，比便于精确实现多物体间的协同作业。
发明内容
本发明的目的在于提供一种物体姿态和位移的3D模型同步重现方法及系统，以完成在特定环境下的多物体之间的状态监控，及快速的三维重建，以便于精确实现多物体间的协同作业。
为实现上述目的，本发明提供了一种物体姿态和位移的3D模型同步重现方法，包括：
在物体侧部署物体标识、位置校正标识、摄像头和传感器，执行：在物体侧部署传感器，通过传感器实时采集物体的状态信息及影响物体状态的环境信息，并上传边缘计算节点；在物体及其主要活动部件上设置物体标识，通过摄像头实时采集物体的视频图像，并将视频图像信息上传边缘计算节点；在摄像头的视角范围内设置一位置校正标识，用于设置摄像头的空间原点；
在边缘计算节点执行：实时处理物体的状态信息及影响物体状态的环境信息，并输出物体状态指标信息，及转发物体的视频图像信息；同时对物体的错误状态或情况进行紧急处理；
在数字孪生平台执行：接收边缘计算节点上传的物体状态指标信息，并在3D场景下进行状态显示；接收物体的视频图像信息，从图像中标识出物体，并分析捕获物体的姿态和位移信息，生成物体及其主要活动部件的坐标变换，并同步传输到3D引擎，进行物体姿态和位移的同步展示。
进一步的，所述物体标识、位置校正标识均为ArUco标识。
进一步的，所述从图像中标识出物体，并分析捕获物体的姿态和位移信息，生成物体及其主要活动部件的坐标变换，具体包括：
识别图像中的位置校正标识，获得空间原点；
识别图像中的物体标识，在图像中标识出物体及其主要活动部件；
通过PNP算法求解出所述位置校正标识的旋转矩阵与位移矢量；
通过PNP算法递归求解每一个物体标识的旋转矩阵与位移矢量，从而分析出物体的姿态和位移信息，生成物体及其主要活动部件的坐标变换。
进一步的，所述的对物体的错误状态或情况进行紧急处理，具体包括：物体紧急状态的监控和处置，物体姿态和位移的防错位、防碰撞处理。
本发明还提供了一种物体姿态和位移的3D模型同步重现系统，其特征在于，包括：
摄像头，部署于物体侧，用于实时采集物体的视频图像，并将视频图像信息上传边缘计算节点；在摄像头的视野范围内设置一位置校正标识，用于设置摄像头的空间原点；
传感器，部署于物体侧，用于实时采集物体的状态信息及影响物体状态的环境信息，并上传边缘计算节点；
物体标识，设置于物体及其主要活动部件上，用于标识物体的位置及物体的姿态信息；
边缘计算节点，用于实时处理物体的状态信息及影响物体状态的环境信息，并输出物体状态指标信息，及转发物体的视频图像信息；同时对物体的错误状态或情况进行紧急处理；
数字孪生平台，用于接收边缘计算节点上传的物体状态指标信息，并在3D场景下进行状态显示；接收物体的视频图像信息，从图像中标识出物体，分析捕获物体的姿态和位移信息，生成物体或部件的坐标变换，并同步传输到3D引擎，进行物体姿态和位移的同步展示。
进一步的，所述物体标识、位置校正标识均为ArUco标识。
进一步的，所述云端数字孪生平台，具体包括：3D引擎、模型库、环境和物体状态处理模块、物体姿态和位移处理模块；所述3D引擎用于呈现物体的3D模型、构建环境和物体的3D场景；所述模型库存储有物体的3D模型；所述环境和物体状态处理模块用于处理边缘计算节点上传的物体状态指标信息及影响物体状态的环境信息，生成用于在环境和物体的3D场景下进行状态显示的信息；所述物体姿态和位移处理模块用于处理物体的视频图像信息，从图像中标识出物体，并分析捕获物体的姿态和位移，生成物体或部件的坐标变换，生成用于在环境和物体的3D场景下进行物体姿态和位移同步显示的信息。
本发明提供的物体姿态和位移的3D模型同步重现方法及系统，完成在特定环境下的物体状态、物体姿态和位移监控，可以重现现场环境和物体的3D模型，提供虚拟实景为后续的多物体协同作业打下基础；同时通过边缘计算节点，减少因处理紧急事务对数字孪生平台的处理能力的压力，减少数字孪生平台的处理延时。
附图说明
图1是本发明的物体姿态和位移的3D模型同步重现系统框图；
图2是应用于本发明的ArUco标记示意图；
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
如图1所示，本发明公开了一种物体姿态和位移的3D模型同步重现方法，包括以下步骤：
步骤S1，在物体侧部署物体标识、位置校正标识、摄像头和传感器，执行：在物体侧部署传感器，通过传感器实时采集物体的状态信息及影响物体状态的环境信息(即图1的环境1、环境2中物体监控和环境监控)，并上传边缘计算节点；在物体及其主要活动部件上设置物体标识，通过摄像头实时采集物体的视频图像(即图1的环境1、环境2中的视频监控)，并将视频图像信息上传边缘计算节点；在摄像头的视角范围内设置一位置校正标识，用于设置摄像头的空间原点。通过在物体及其主要活动部件上设置不同的物体标识，以标识物体的位置及物体的姿态信息。
步骤S2，在边缘计算节点执行：实时处理物体的状态信息及影响物体状态的环境信息，并输出物体状态指标信息，及转发物体的视频图像信息；同时对物体的错误状态或情况进行紧急处理。
所述紧急处理的内容包括物体紧急状态的监控和处置，物体姿态和位移的防错位、防碰撞等处理。
步骤S3、在云端数字孪生平台，接收边缘计算节点上传的物体状态指标信息，并在环境和物体的3D场景下进行状态显示；接收物体的视频图像信息，从图像中标识出物体，并分析捕获物体的姿态和位移，生成物体或部件的坐标变换，并同步传输到U3D引擎，进行物体姿态和位移的同步展示。
所述云端数字孪生平台基于U3D的3D引擎构建，平台首先从模型库里导入物体的3D模型，并通过U3D引擎呈现出物体的3D模型。同时平台接收边缘计算节点上传的物体状态指标信息，并在环境和物体的3D场景下进行状态显示。另外平台接收物体的视频图像信息，从图像中标识出物体，并准确分析捕获物体的姿态和位移，生成物体及其主要活动部件的坐标变换，并同步传输到U3D引擎，进行物体姿态和位移的同步展示。
在实现物体姿态和位移的3D模型同步重现中涉及物体状态监控、物体识别、物体姿态和位移监控等技术，分别说明如下。
1、物体状态监控和环境监控
物体的状态会受自身因素及环境因素的影响，如大风会引起桥梁的变形、抖动，此时不能将被监控的物体及其主要活动部件作为完全的刚性体，需要对物体的状态及影响物体状态的环境信息进行采集，因此在物体侧需要部署传感器，以实时采集物体的状态信息及影响物体状态的环境信息，并上传边缘计算节点。
所述传感器可以包括一个或多个环境传感器和设置于物体内部，用于检测物体自身状态的传感器，可根据具体应用环境设置，进行温度、湿度、PM2.5(颗粒浓度)、盐度、辐射值等物体的状态信息及影响物体状态的环境信息的检测。
2、物体识别
在3D建模和数字孪生中，最重要的是从真实世界的图形、图像、视频中识别出物体，建立与孪生世界模型之间的联系，孪生世界才能同步反馈和呈现真实世界的物体。
物体识别一般采用OpenCV库中的ArUco码来实现。ArUco标记是可用于摄像机姿态估计的二进制方形基准标记，由宽黑色边框和确定其标识符(ID)的内部二进制矩阵组成的正方形标记，如图2所示，给出了多个具有不同ID的ArUco标记。通俗地说，ArUco标记其实就是一种编码，被广泛用来增加从二维世界映射到三维世界时的信息量，便于发现二维世界与三维世界之间的投影关系，从而实现姿态估计、图形矫正等等应用。
3、物体姿态和位移监控
通过视频监控实现。
根据刚体的几何不变性，在物体主要活动部位粘贴标识，以标识的空间姿态来表示物体的姿态。
(1)在摄像机视角范围内选择一合适位置粘贴位置校正标识，以位置校正标识的空间位置作为空间原点。
(2)然后通过PnP(pespective-n-point)算法解出位置校正标识的旋转矩阵与位移矢量，若位置校正标识以及摄像头的空间位置不发生改变，该求解过程仅需执行一次。
(3)对粘贴在物体主要活动部件上的标识，通过PnP算法递归求解每一个标识的旋转矩阵与位移矢量。
PnP算法是指通过多对3D与2D匹配点，在已知或者未知摄像头内参的情况下，利用最小化重投影误差来求解摄像头外参的算法。
由于各物体标识与位置校正标识都是在同一摄像头坐标空间中进行PnP求解的，因此可以通过矩阵变换求解各物体标识相对于位置校正标识的位移与旋转变化关系，从而实现物体姿态和位移的监控。若ArUco标识识别失败，利用Harris角点检测标识的四个角点，将四个角点的像素坐标作为PnP算法的输入参数，从而求解标识的姿态和位移信息。
如图1所示，本发明还公开了一种物体姿态和位移的3D模型同步重现系统，包括：
摄像头，部署于物体侧，用于实时采集物体的视频图像，并将视频图像信息上传边缘计算节点；在摄像头的视野范围内设置一位置校正标识，用于设置摄像头的空间原点。
优选的，所述摄像头还包括识别模块，所述识别模块用于从图像中标识出物体或物体的部件，并从图像中分析抓取出物体或部件的姿态和位移的坐标轨迹。以减少边缘计算节点的数据处理量。
传感器，部署于物体侧，用于实时采集物体的状态信息及影响物体状态的环境信息，并上传边缘计算节点；
所述传感器可以包括一个或多个环境传感器和设置于物体内部，用于检测物体自身状态的传感器，可根据具体应用环境设置，进行温度、湿度、PM2.5(颗粒浓度)、盐度、辐射值等物体的状态信息及影响物体状态的环境信息的检测。
物体标识，设置于物体及其主要活动部件上，用于标识物体及其主要活动部件。在本实施例中，物体标识和位置校正标识均采用ArUco标识。
边缘计算节点，用于实时处理物体的状态信息及影响物体状态的环境信息，并输出物体状态指标信息，及转发物体的视频图像信息；同时对物体的错误状态或情况进行紧急处理；
云端数字孪生平台，用于接收边缘计算节点上传的物体状态指标信息，并在3D场景下进行状态显示；接收物体的视频图像信息，从图像中标识出物体，分析捕获物体的姿态和位移信息，生成物体或部件的坐标变换，并同步传输到3D引擎，进行物体姿态和位移的同步展示。
通过物体-边缘计算节点-数字孪生平台的三级结构，由边缘计算节点实时处理物体的状态信息及影响物体状态的环境信息等信息，及对物体的错误状态或情况进行紧急处理，可实现数据的归集和数据格式和协议的标准化，及减少因处理紧急事务对数字孪生平台的处理能力的压力，减少数字孪生平台的处理延时。
云端数字孪生平台，具体包括：3D引擎、模型库、环境和物体状态处理模块、物体姿态和位移处理模块；所述3D引擎用于呈现物体的3D模型、构建环境和物体的3D场景；所述模型库存储有物体的3D模型；所述环境和物体状态处理模块用于处理边缘计算节点上传的物体状态指标信息及影响物体状态的环境信息，生成用于在环境和物体的3D场景下进行状态显示的信息；所述物体姿态和位移处理模块用于处理物体的视频图像信息，从图像中标识出物体，并分析捕获物体的姿态和位移，生成物体或部件的坐标变换，生成用于在环境和物体的3D场景下进行物体姿态和位移同步显示的信息。
通过本发明的物体姿态和位移的3D模型同步重现方案及系统，可以重现现场环境和物体的3D模型，提供虚拟实景为后续的多物体协同作业打下基础；同时通过边缘计算节点，减少因处理紧急事务对数字孪生平台的处理能力的压力，减少数字孪生平台的处理延时。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明作出各种变化，均为本发明的保护范围。

Claims (5)

1.一种物体姿态和位移的3D模型同步重现方法，其特征在于，包括：
在物体侧部署物体标识、位置校正标识、摄像头和传感器，执行：在物体侧部署传感器，通过传感器实时采集物体的状态信息及影响物体状态的环境信息，并上传边缘计算节点；在物体及其主要活动部件上设置物体标识，通过摄像头实时采集物体的视频图像，并将视频图像信息上传边缘计算节点；在摄像头的视角范围内设置一位置校正标识，用于设置摄像头的空间原点；
在边缘计算节点执行：实时处理物体的状态信息及影响物体状态的环境信息，并输出物体状态指标信息，及转发物体的视频图像信息；同时对物体的错误状态或情况进行紧急处理；
在数字孪生平台执行：接收边缘计算节点上传的物体状态指标信息，并在3D场景下进行状态显示；接收物体的视频图像信息，从图像中标识出物体，并分析捕获物体的姿态和位移信息，生成物体及其主要活动部件的坐标变换，并同步传输到3D引擎，进行物体姿态和位移的同步展示；
所述从图像中标识出物体，并分析捕获物体的姿态和位移信息，生成物体及其主要活动部件的坐标变换，具体包括：
识别图像中的位置校正标识，获得空间原点；
识别图像中的物体标识，在图像中标识出物体及其主要活动部件；
通过PNP算法求解出所述位置校正标识的旋转矩阵与位移矢量；
通过PNP算法递归求解每一个物体标识的旋转矩阵与位移矢量，从而分析出物体的姿态和位移信息，生成物体及其主要活动部件的坐标变换。
2.如权利要求1所述的物体姿态和位移的3D模型同步重现方法，其特征在于：所述物体标识、位置校正标识均为ArUco标识。
3.如权利要求1所述的物体姿态和位移的3D模型同步重现方法，其特征在于：所述的对物体的错误状态或情况进行紧急处理，具体包括：物体紧急状态的监控和处置，物体姿态和位移的防错位、防碰撞处理。
4.一种物体姿态和位移的3D模型同步重现系统，其特征在于，包括：
摄像头，部署于物体侧，用于实时采集物体的视频图像，并将视频图像信息上传边缘计算节点；在摄像头的视野范围内设置一位置校正标识，用于设置摄像头的空间原点；
传感器，部署于物体侧，用于实时采集物体的状态信息及影响物体状态的环境信息，并上传边缘计算节点；
物体标识，设置于物体及其主要活动部件上，用于标识物体的位置及物体的姿态信息；
边缘计算节点，用于实时处理物体的状态信息及影响物体状态的环境信息，并输出物体状态指标信息，及转发物体的视频图像信息；同时对物体的错误状态或情况进行紧急处理；
数字孪生平台，用于接收边缘计算节点上传的物体状态指标信息，并在3D场景下进行状态显示；接收物体的视频图像信息，从图像中标识出物体，分析捕获物体的姿态和位移信息，生成物体或部件的坐标变换，并同步传输到3D引擎，进行物体姿态和位移的同步展示；
所述数字孪生平台，具体包括：3D引擎、模型库、环境和物体状态处理模块、物体姿态和位移处理模块；所述3D引擎用于呈现物体的3D模型、构建环境和物体的3D场景；所述模型库存储有物体的3D模型；所述环境和物体状态处理模块用于处理边缘计算节点上传的物体状态指标信息及影响物体状态的环境信息，生成用于在环境和物体的3D场景下进行状态显示的信息；所述物体姿态和位移处理模块用于处理物体的视频图像信息，从图像中标识出物体，并分析捕获物体的姿态和位移，生成物体或部件的坐标变换，生成用于在环境和物体的3D场景下进行物体姿态和位移同步显示的信息。
5.如权利要求4所述的物体姿态和位移的3D模型同步重现系统，其特征在于：所述物体标识、位置校正标识均为ArUco标识。
CN202011047452.7A 2020-09-29 2020-09-29 一种物体姿态和位移的3d模型同步重现方法及系统 Active CN112150507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011047452.7A CN112150507B (zh) 2020-09-29 2020-09-29 一种物体姿态和位移的3d模型同步重现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011047452.7A CN112150507B (zh) 2020-09-29 2020-09-29 一种物体姿态和位移的3d模型同步重现方法及系统

Publications (2)

Publication Number Publication Date
CN112150507A CN112150507A (zh) 2020-12-29
CN112150507B true CN112150507B (zh) 2024-02-02

Family

ID=73895149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011047452.7A Active CN112150507B (zh) 2020-09-29 2020-09-29 一种物体姿态和位移的3d模型同步重现方法及系统

Country Status (1)

Country Link
CN (1) CN112150507B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115289982A (zh) * 2022-09-28 2022-11-04 天津大学建筑设计规划研究总院有限公司 一种基于ArUco码的结构平面位移视觉监测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015038699A (ja) * 2013-08-19 2015-02-26 日本電信電話株式会社 拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム
CN105615831A (zh) * 2015-12-18 2016-06-01 李占和 医学影像全息ar显示系统
CN107301654A (zh) * 2017-06-12 2017-10-27 西北工业大学 一种多传感器的高精度即时定位与建图方法
CN107645651A (zh) * 2017-10-12 2018-01-30 北京临近空间飞艇技术开发有限公司 一种增强现实的远程指导方法和系统
CN107741785A (zh) * 2017-10-12 2018-02-27 北京临近空间飞艇技术开发有限公司 一种保护前端安全的远程指导方法和系统
CN108664121A (zh) * 2018-03-31 2018-10-16 中国人民解放军海军航空大学 一种仿真作战体系演练系统
CN109917918A (zh) * 2019-03-07 2019-06-21 联想(北京)有限公司 一种基于增强现实技术的信息处理方法及电子设备
CN111078751A (zh) * 2019-12-13 2020-04-28 万翼科技有限公司 一种基于unreal4进行目标统计的方法及其系统
CN111091611A (zh) * 2019-12-25 2020-05-01 青岛理工大学 一种面向车间数字孪生的增强现实系统及方法
CN111479087A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 3d监控场景控制方法、装置、计算机设备及存储介质
CN111510701A (zh) * 2020-04-22 2020-08-07 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及计算机可读介质
CN111649724A (zh) * 2020-06-04 2020-09-11 百度在线网络技术（北京）有限公司 基于移动边缘计算的视觉定位方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015038699A (ja) * 2013-08-19 2015-02-26 日本電信電話株式会社 拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム
CN105615831A (zh) * 2015-12-18 2016-06-01 李占和 医学影像全息ar显示系统
CN107301654A (zh) * 2017-06-12 2017-10-27 西北工业大学 一种多传感器的高精度即时定位与建图方法
CN107645651A (zh) * 2017-10-12 2018-01-30 北京临近空间飞艇技术开发有限公司 一种增强现实的远程指导方法和系统
CN107741785A (zh) * 2017-10-12 2018-02-27 北京临近空间飞艇技术开发有限公司 一种保护前端安全的远程指导方法和系统
CN108664121A (zh) * 2018-03-31 2018-10-16 中国人民解放军海军航空大学 一种仿真作战体系演练系统
CN111479087A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 3d监控场景控制方法、装置、计算机设备及存储介质
CN109917918A (zh) * 2019-03-07 2019-06-21 联想(北京)有限公司 一种基于增强现实技术的信息处理方法及电子设备
CN111078751A (zh) * 2019-12-13 2020-04-28 万翼科技有限公司 一种基于unreal4进行目标统计的方法及其系统
CN111091611A (zh) * 2019-12-25 2020-05-01 青岛理工大学 一种面向车间数字孪生的增强现实系统及方法
CN111510701A (zh) * 2020-04-22 2020-08-07 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及计算机可读介质
CN111649724A (zh) * 2020-06-04 2020-09-11 百度在线网络技术（北京）有限公司 基于移动边缘计算的视觉定位方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A vision-based quadrotor swarm for the participation in the 2013 international micro air vehicle competition;Pestana J等;《2014 International Conference on Unmanned Aircraft Systems (ICUAS)》;617-622 *
三维人脸表情获取及重建技术综述;王珊等;《系统仿真学报》;第30卷(第7期);2423-2444 *
基于ASODVS的全景相机运动估计及管网3D重构技术;杨仲元等;《仪器仪表学报》;第38卷(第8期);2007-2014 *
基于Kinect的个性化人体三维动作重现与动作细节比对研究;任洪林;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第3期);I138-4492 *
基于Kinect的人体三维重建方法;李翔等;《计算机系统应用》;第27卷(第6期);178-183 *

Also Published As

Publication number Publication date
CN112150507A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
Sahu et al. Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
US10699165B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
CN110458895B (zh) 图像坐标系的转换方法、装置、设备及存储介质
Barandiaran et al. Real-time optical markerless tracking for augmented reality applications
TW201915943A (zh) 對圖像內目標物體進行自動標註的方法、裝置及系統
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN112258574A (zh) 标注位姿信息的方法、装置及计算机可读存储介质
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN112150507B (zh) 一种物体姿态和位移的3d模型同步重现方法及系统
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN101572770A (zh) 一种可用于实时监控的运动检测方法与装置
CN110942092A (zh) 一种图形图像识别方法及识别系统
Abbas Recovering homography from camera captured documents using convolutional neural networks
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN116259001A (zh) 一种多视角融合的三维行人姿态估计与追踪方法
Uma et al. Marker based augmented reality food menu
CN111860035A (zh) 图书封面检测方法、装置及存储介质和电子设备
CN111399634B (zh) 一种手势引导物体识别的方法及装置
CN108058170A (zh) 一种视觉机器人数据采集处理系统
Gulde et al. Ropose-real: Real world dataset acquisition for data-driven industrial robot arm pose estimation
CN112270357A (zh) Vio视觉系统及方法
CN103440666B (zh) 一种非静态背景下运动区域快速定位的智能装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant