CN110415329B - 三维建模装置及应用于其的校准方法 - Google Patents

三维建模装置及应用于其的校准方法 Download PDF

Info

Publication number
CN110415329B
CN110415329B CN201811532976.8A CN201811532976A CN110415329B CN 110415329 B CN110415329 B CN 110415329B CN 201811532976 A CN201811532976 A CN 201811532976A CN 110415329 B CN110415329 B CN 110415329B
Authority
CN
China
Prior art keywords
processing unit
wearable display
dimensional modeling
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811532976.8A
Other languages
English (en)
Other versions
CN110415329A (zh
Inventor
萧淳泽
王铨祺
陈加珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW107141879A external-priority patent/TWI692968B/zh
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN110415329A publication Critical patent/CN110415329A/zh
Application granted granted Critical
Publication of CN110415329B publication Critical patent/CN110415329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种三维建模装置包括摄影机及穿戴式显示器。摄影机用以取得多个第一图帧、第二图帧及深度信息。穿戴式显示器耦接至摄影机，包括显示单元、处理单元、储存单元及投影单元。储存单元用以储存第一模块及第二模块。当第一模块由处理单元执行，使处理单元计算穿戴式显示器的第一位姿。当第二模块由处理单元执行，使处理单元依据第一图帧、深度信息、第一位姿及多个校准参数计算三维模型，依据第二图帧更新三维模型。投影单元用以将三维模型及第二图帧依据第一位姿投影至显示单元，以与实际影像共同显示于显示单元。

Description

三维建模装置及应用于其的校准方法
技术领域
本公开是有关于一种三维建模装置及方法。
背景技术
三维场景建模是计算机视觉领域里一个热门的研究题目，一般是利用多张图帧和深度信息来建构出一个完整的三维场景模型。三维场景模型的优劣取决于能否估算出图帧正确的位姿。然而，事实上位姿却容易因为误差累积或是特征点不明显而产生位姿漂移。现有技术中大多利用优化算法来缩小这些误差，但是成效有限。
公开内容
本公开的目的是提供一种三维建模装置及应用于其的校准方法，能够建立环境场景的三维模型。
本公开的一方面揭露一种三维建模装置，包括摄影机及穿戴式显示器。摄影机用以取得多个第一图帧、第二图帧及深度信息。穿戴式显示器耦接至摄影机。穿戴式显示器包括显示单元、处理单元、储存单元及投影单元。储存单元耦接至处理单元，且用以储存第一模块及第二模块。当第一模块由处理单元执行时，致使处理单元计算穿戴式显示器的第一位姿。当第二模块由处理单元执行时，致使处理单元依据该些第一图帧、深度信息、第一位姿及多个校准参数计算三维模型，并依据第二图帧更新三维模型。投影单元耦接至处理单元，且用以将三维模型及第二图帧依据第一位姿投影至显示单元，以与实际影像共同显示于显示单元。
本公开的另一方面揭示一种应用于三维建模装置的校准方法，包括：令三维建模装置沿多个方向直线移动，并分别取得三维建模装置的穿戴式显示器对应于各方向的多个第一移动速度向量、三维建模装置的摄影机对应于各方向的多个第二移动速度向量；依据多个第一移动速度向量及第二移动速度向量计算旋转参数；任意移动三维建模装置，并记录多笔旋转量信息，其中多个旋转量信息分别记录每一次三维建模装置的角速度大于第一阀值时穿戴式显示器于该时间点的旋转量、穿戴式显示器于该时间点相对于前一个时间点的位移量、摄影机于该时间点相对于前一个时间点的位移量，并依据该时间点的旋转量计算该时间点的旋转轴单位向量；以及依据多个旋转量信息及旋转轴单位向量计算位移参数。
为了对本公开的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
图1绘示依据本公开一实施例的三维建模装置的方块图。
图2绘示依据本公开一实施例的三维建模装置的示意图。
图3绘示依据本公开一实施例的校准参数产生方法的流程图。
【附图中本公开实施例主要元件符号说明】
10：三维建模装置
102：摄影机
104：穿戴式显示器
1041：处理单元
1043：储存单元
1045：投影单元
1047：输入单元
1049：显示单元
M1：第一模块
M2：第二模块
S301～S307：步骤
具体实施方式
请参照图1，图1绘示依据本公开一实施例的三维建模装置的方块图。请同时参照图2，图2绘示的是依据本公开一实施例的三维建模装置的示意图。三维建模装置10包括一摄影机102以及一穿戴式显示器104。三维建模装置10是用以建立环境场景的三维模型。在一实施例中，三维建模装置10是一扩增实境(Augmented Reality,AR)装置。在其他实施例中，三维建模装置10可为一虚拟现实VR(Virtual Reality,VR)装置、一替代实境(Substitutional Reality)装置或一混合实境(Mixed Reality,MR)装置。
摄影机102可为一RGB-D摄影机(RGB-D camera)。摄影机102除了能够捕捉环境的色彩信息，还能够通过自身具备的深度传感器捕捉环境的深度信息。摄影机102是用以取得多个第一图帧、一第二图帧及一深度信息，其中第二图帧是当前取得的最新的图帧，而第一图帧则是在第二图帧之前取得的多个图帧。如图2所示，摄影机102是可拆卸地或固定地设置在穿戴式显示器104上。
穿戴式显示器104耦接至摄影机102，而使得两者之间可进行信号及数据的传输。穿戴式显示器104包括一显示单元1049、一处理单元1041、一储存单元1043、一投影单元1045以及一输入单元1047。显示单元1049的配置如图2所示，显示单元1049可为一头戴式显示屏幕(Head Mount Display,HMD)。处理单元1041可包括一或多个专用集成电路芯片或通用处理器，用以执行三维建模的运算。储存单元1043可为非挥发性内存，例如NAND闪存，用以储存应用程序及数据。储存单元1043包括一第一模块M1及一第二模块M2。第一模块M1与第二模块M2为计算器可读程序，包括多个计算器可读指令。当第一模块M1由处理单元1041执行时，会使处理单元1041计算穿戴式显示器104的一第一位姿(pose)。处理单元1041可根据穿戴式显示器104所具备的一或多个传感器(未绘示)来计算第一位姿，计算的方式可采用本领域中常用的手段，因此在这里不加赘述。当第二模块M2由处理单元1041执行时，会使处理单元1041根据多个第一图帧、深度信息、第一位姿及多个校准参数计算一三维模型，并依据第二图帧更新三维模型，其中校准参数的细节会在下文进行说明。简单来说，第一模块M1是用来计算穿戴式显示器104当前的位姿，第二模块M2是用来建立环境场景的三维模型。
投影单元1045耦接至处理单元1041。投影单元1045是用以将处理单元1041建立好的三维模型及第二图帧投影至显示单元1049。于混合实境的应用中，用户可通过显示单元1049看到一实际影像，即实际的环境场景。被投影至显示单元1049上的三维模型及第二图帧可与实际影像共同呈现于显示单元1049上。
由于摄影机102与穿戴式显示器104有各自的坐标系统，因此，穿戴式显示器104在使用来自摄影机102的第一图帧、第二图帧与深度信息时须先进行坐标系统的转换(或称校准)，才不会令三维模型与实际场景有大幅的偏差。前文所述的校准参数即是用以进行坐标系统转换的依据。
输入单元1047耦接至处理单元1041。输入单元1047可为一输入控制器，可以与显示单元1049链接，用以接收来自用户的输入指令，并将输入指令传送至处理单元1041。处理单元1041可响应于用户的输入指令对第二图帧及/或三维模型进行调整。关于此部分的细节将于下文进行说明。
请参照图3，图3绘示的是依据本公开一实施例的校准参数的产生方法的流程图。校准参数包括一旋转参数R及一位移参数T，其中R及T可为矩阵的形式。
步骤S301，令三维建模装置10沿多个方向直线移动，并分别取得穿戴式显示器104对应于各个方向的多个第一移动速度向量、摄影机102对应于各个方向的多个第二移动速度向量。举例来说，可准备一三轴平台(X轴、Y轴及Z轴，三轴相互垂直)，将建模装置10固定于三轴平台的一承载单元上。首先，操作承载单元以令建模装置10沿X轴方向移动，以取得穿戴式显示器104对应于X轴方向的第一移动速度向量v1及摄影机102对应于X轴方向的第二移动速度向量c1，得到v1＝Rc1，其中R为旋转参数。接着，操作承载单元以令建模装置10沿Y轴方向移动，以取得穿戴式显示器104对应于Y轴方向的第一移动速度向量v2及摄影机102对应于X轴方向的第二移动速度向量c2，得到v2＝Rc2。再接着，操作承载单元以令建模装置10沿Z轴方向移动，以取得穿戴式显示器104对应于Z轴方向的第一移动速度向量v3及摄影机102对应于X轴方向的第二移动速度向量c3，得到v3＝Rc3。
在获取第一移动速度向量时可通过穿戴式显示器104所具备的传感器来量测。另一方面，在获取第二移动速度向量时可通过摄影机102所具备的传感器来量测。取得的第一移动速度向量及第二移动速度向量可提供给穿戴式显示器104的处理单元1041或一外部计算器(未绘示)进行后续的计算。所谓的“外部计算器”是指不包括在三维建模装置10内，而是从外部耦接至三维建模装置10的计算器，例如背包计算机。
步骤S303，依据第一移动速度向量及第二移动速度向量计算旋转参数。以上述例子来说，R＝[v1 v2 v3][c1 c2 c3]-1。
值得一提的是，移动的方向不限于三个，而可以扩展至N个(N>3)以提高精准度。在移动的方向为N个的情况下，所取得的第一移动速度向量与第二移动速度向量之间的关系可被整理成：
通过最小平方法(least square)可解出上述方程式，得到R如下：
完成旋转参数R的计算后，接着计算位移参数T。
步骤S305，任意移动三维建模装置10，并记录多笔旋转量信息，其中多笔旋转量信息分别记录每一次角速度大于一第一阀值时穿戴式显示器104于该时间点t的旋转量Rt、穿戴式显示器104于该时间点t相对于前一个时间点的位移量Tvt，摄影机102于该时间点t相对于前一个时间点的位移量Tct，并依据该时间点t的旋转量Rt计算该时间点t的旋转轴单位向量ωt。
步骤S307，依据旋转量信息及旋转轴单位向量计算位移参数T。举例来说，假设收集到的旋转量信息有n笔，其中n为大于或等于2的整数。当n为奇数时，旋转量信息、旋转轴单位向量及位移参数之间的关系可由下式表示：
当n为偶数时，旋转量信息、旋转轴单位向量及位移参数之间的关系可由下式表示：
其中I为单位矩阵，ΔTt＝Tct-Tvt，[ωt]X为一自定义的运算符，定义如下：
其中ωxt为单位旋转轴向量ωt在X轴的分量，ωyt为单位旋转轴向量ωt在Y轴的分量，ωzt为单位旋转轴向量ωt在Z轴的分量。
需要注意的是，此处的旋转量Rt与步骤S303算出的旋转参数R是不同的。
通过Psudo Inverse解上述关系式，即可得到位移参数T。
在一实施例中，处理单元1041可通过管理一第一缓冲器及一第二缓冲器，例如先进先出(first in first out,FIFO)缓冲器，来实时更新旋转参数R及位移参数T。例如，第一缓冲器用以储存计算旋转参数R的相关信息，第二缓冲器用以储存用以计算位移参数T的相关信息。当第一缓冲器满时(例如已累积n笔相关信息)，处理单元1041即依据第一缓冲器内储存的信息计算旋转参数R，计算的方式可采用前文所述的方式。每当有一笔新的信息被储存至第一缓冲器，最旧的一笔信息就会被丢弃，处理单元1041就可再计算一次旋转参数R，以进行旋转参数R的更新。相似地，位移参数T也可以类似的方式实时更新。
在计算出校准参数后，可将它记载于第二模块M2中，而当第二模块M2由处理单元1041执行时，处理单元1041便可依据这些校准参数将摄影机102提供的第一图帧、第二图帧及深度信息以穿戴式显示器104的坐标系统表示，接着再根据第一位姿及上述转换后的第一图帧、第二图帧及深度信息建立/更新三维模型。
在一实施例中，使用者通过比较投影于显示单元1049上的第二图帧与实际影像以确定投影的第二图帧是否与实际影像(或三维模型)相符。若用户认为第二图帧与实际影像有所偏差，用户可通过输入单元1047发出一图帧调整指令。图帧调整指令可包括沿X轴、Y轴及Z轴方向的移动及/或以X轴、Y轴及Z轴为中心的旋转。在第二模块M2由处理单元1041执行的情况下，处理单元1041在接收到图帧调整指令后会判断可能是校准参数需要调整，于是处理单元1041会依据图帧调整指令产生多个第一修正参数。接着，处理单元1041可根据第一修正参数更新校准参数。
在一实施例中，使用者通过比较投影于显示单元1049上的三维模型与实际影像可以得知处理单元1041所建立的三维模型是否与实际影像相符。若用户认为三维模型与实际影像有所偏差或认为三维模型的位置需要调整，用户可通过输入单元1047发出一模型调整指令。模型调整指令可包括沿X轴、Y轴及Z轴方向的移动及/或以X轴、Y轴及Z轴为中心的旋转。在第二模块M2由处理单元1041执行的情况下，处理单元1041在接收到模型调整指令后会判断可能是第一位姿需要调整，于是处理单元1041会依据模型调整指令产生多个第二修正参数。当第一模块M1由处理单元1041执行时，处理单元1041会依据第二修正参数更新第一位姿。
在一实施例中，第一修正参数及第二修正参数可分别依据图帧调整指令及模型调整指令所调整的位移量及/或旋转量产生。
在一实施例中，当第二模块M2由处理单元1041执行时，会致使处理单元1041依据第二图帧及三维模型计算一相似度，依据相似度产生一调整提示，并令投影单元1045将调整提示投影至显示单元1049。例如，处理单元1041会先计算一重迭区域A＝Overlap(F,pf,M,pm)，可采用如voxelhulls方法找出重迭区域。接着，计算重迭区域对应点的差值平方和平均值作为相似度，其中包含RGB信息图及深度信息图两部分，并分别乘上一个正实数权值(ωr,ωd)结合成最终的相似度S如下：
其中Δrgb为RGB信息图中的RGB值差异量，Δdepth为深度信息图中深度的差异量，N为重迭区域的总点数。
在另一实施例中，三维建模装置为一虚拟现实装置。在这个实施例中，三维建模装置还包括一第一摄影机，用以拍摄环境场景并显示于显示单元上。处理单元可令投影单元将建好的三维模型及第二图帧投影于显示单元上，或是通过运算功能将三维模型及第二图帧显示于显示单元上。前文所述的校准方法、调整第二图帧/三维模型及计算相似度等皆可应用于本实施例中。
通过本公开提供的三维建模装置，能够将摄影机与穿戴式显示器进行整合，并透过校准方法产生的校准参数，使得穿戴式显示器根据校准参数将来自摄影机取得的图帧与深度信息转换为自身所在的坐标系统，并用以建立三维模型。此外，通过将摄影机提供的当前的图帧与实际影像比较，用户可实时调整图帧或三维模型的位置及/或角度，穿戴式显示器根据使用者的调整可针对自身的位姿及/或校准参数进行修正，使得更新后的三维模型更加贴近实际的环境场景，达到图帧和场景模型的交互式调整的效果。不仅如此，穿戴式显示器还可以计算当前的图帧与三维模型的相似度，并根据相似度产生调整提示，以供使用者做为调整的参考。
综上所述，虽然本公开已以实施例揭示如上，然而其并非用以限定本公开。本公开所属技术领域中普通技术人员，在不脱离本公开的精神和范围内，当可作各种的变动与润饰。因此，本公开的保护范围以权利要求所界定的为准。

Claims (9)

1.一种三维建模装置，包括：
一摄影机，用以取得多个第一图帧、一第二图帧及一深度信息；以及
一穿戴式显示器，耦接至该摄影机，该穿戴式显示器包括：
一显示单元；
一处理单元；
一储存单元，耦接至该处理单元，且用以储存一第一模块及一第二模块，当该第一模块由该处理单元执行时，致使该处理单元计算该穿戴式显示器的一第一位姿，当该第二模块由该处理单元执行时，致使该处理单元依据该些第一图帧、该深度信息、该第一位姿及多个校准参数计算一三维模型，并依据该第二图帧更新该三维模型；以及
一投影单元，耦接至该处理单元，且用以将该三维模型及该第二图帧依据该第一位姿投影至该显示单元，以与一实际影像共同显示于该显示单元，
其中，该多个校准参数为进行该摄影机的一坐标系统与该穿戴式显示器的一坐标系统之间转换的依据；
其中，该些校准参数包括一旋转参数，该旋转参数由以下方式产生：
令该三维建模装置沿多个方向直线移动，并分别取得该穿戴式显示器对应于各该方向的多个第一移动速度向量、该摄影机对应于各该方向的多个第二移动速度向量；以及
依据该些第一移动速度向量及该些第二移动速度向量计算该旋转参数。
2.根据权利要求1所述的三维建模装置，其中该穿戴式显示器还包括一输入单元，耦接至该处理单元，且用以接收来自一使用者的一图帧调整命令，当该第二模块由该处理单元执行时，还致使该处理单元依据该图帧调整命令产生多个第一修正参数，并依据该些第一修正参数变更该些校准参数的至少其中之一，
其中，该多个校准参数用于使得该穿戴式显示器将来自该摄像机的该些第一图帧、该第二图帧和该深度信息转换至该穿戴式显示器自身所在的坐标系统。
3.根据权利要求1所述的三维建模装置，还包括一输入单元，耦接至该处理单元，且用以接收来自一用户的一模型调整命令，当该第二模块由该处理单元执行时，还致使该处理单元依据该模型调整命令产生多个第二修正参数，当该第一模块由该处理单元执行时，还致使该处理单元依据该些第二修正参数变更该第一位姿，
其中，该多个校准参数用于使得该穿戴式显示器将来自该摄像机的该些第一图帧、该第二图帧和该深度信息转换至该穿戴式显示器自身所在的坐标系统。
4.根据权利要求1所述的三维建模装置，其中当该第二模块由该处理单元执行时，还致使该处理单元依据该第二图帧及该三维模型计算一相似度，并依据该相似度产生一调整提示。
5.根据权利要求1所述的三维建模装置，其中该些校准参数还包括一位移参数，该位移参数由以下方式产生：
任意移动该三维建模装置，并记录多笔旋转量信息，其中该些旋转量信息分别记录每一次该三维建模装置的角速度大于一第一阈值时该穿戴式显示器于该时间点的旋转量、穿戴式显示器于该时间点相对于前一个时间点的位移量、该摄影机于该时间点相对于前一个时间点的位移量，并依据该时间点的旋转量计算该时间点的旋转轴单位向量；以及
依据该些旋转量信息及该些旋转轴单位向量计算该位移参数。
6.一种应用于三维建模装置的校准方法，包括：
令该三维建模装置沿多个方向直线移动，并分别取得该三维建模装置的一穿戴式显示器对应于各该方向的多个第一移动速度向量、该三维建模装置的一摄影机对应于各该方向的多个第二移动速度向量；
依据该些第一移动速度向量及该些第二移动速度向量计算一旋转参数；
任意移动该三维建模装置，并记录多笔旋转量信息，其中该些旋转量信息分别记录每一次该三维建模装置的角速度大于一第一阈值时该穿戴式显示器于该时间点的旋转量、该穿戴式显示器于该时间点相对于前一个时间点的位移量、该摄影机于该时间点相对于前一个时间点的位移量，并依据该时间点的旋转量计算该时间点的旋转轴单位向量；以及
依据该些旋转量信息及该些旋转轴单位向量计算一位移参数。
7.根据权利要求6所述的校准方法，其中该穿戴式显示器的一处理单元依据该旋转参数、该位移参数、该摄影机提供的多个第一图帧、一深度信息、一第一位姿及多个校准参数计算一三维模型，并依该摄影机提供的第二图帧更新该三维模型。
8.根据权利要求7所述的校准方法，其中该处理单元依据一用户的一图帧调整命令产生多个第一修正参数，并依据该些第一修正参数变更该旋转参数及该位移参数的至少其中之一。
9.根据权利要求7所述的校准方法，其中该处理单元依据来自一用户的一模型调整产生多个第二修正参数，该处理单元依据该些第二修正参数变更该第一位姿。
CN201811532976.8A 2018-04-26 2018-12-14 三维建模装置及应用于其的校准方法 Active CN110415329B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862662781P 2018-04-26 2018-04-26
US62/662,781 2018-04-26
TW107141879 2018-11-23
TW107141879A TWI692968B (zh) 2018-04-26 2018-11-23 三維建模裝置及應用於其之校準方法

Publications (2)

Publication Number Publication Date
CN110415329A CN110415329A (zh) 2019-11-05
CN110415329B true CN110415329B (zh) 2023-10-13

Family

ID=68291673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811532976.8A Active CN110415329B (zh) 2018-04-26 2018-12-14 三维建模装置及应用于其的校准方法

Country Status (2)

Country Link
US (1) US10891805B2 (zh)
CN (1) CN110415329B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116430795B (zh) * 2023-06-12 2023-09-15 威海海洋职业学院 基于plc的可视化工业控制器及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN103914875A (zh) * 2014-04-17 2014-07-09 中国科学院深圳先进技术研究院 室内场景的功能性建模方法
CN104661010A (zh) * 2013-11-20 2015-05-27 财团法人资讯工业策进会 三维立体模型的建立方法和装置
KR20150081975A (ko) * 2014-01-07 2015-07-15 한국전자통신연구원 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치
CN106846479A (zh) * 2017-02-15 2017-06-13 山东大学 基于深度摄像头的隧道三维建模系统及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1407504A (zh) 2001-08-30 2003-04-02 虹光精密工业股份有限公司 可产生多批扫描图像数据的扫描系统
TWI321297B (en) 2006-09-29 2010-03-01 Ind Tech Res Inst A method for corresponding, evolving and tracking feature points in three-dimensional space
TWI358606B (en) 2007-12-28 2012-02-21 Ind Tech Res Inst Method for three-dimension (3d) measurement and an
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
CN103988226B (zh) 2011-08-31 2017-09-26 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
TWI591584B (zh) 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
TWI503618B (zh) 2012-12-27 2015-10-11 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US20150193971A1 (en) 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9754419B2 (en) * 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
CN106488204B (zh) 2015-09-02 2018-06-15 财团法人工业技术研究院 具备自身校准的深度摄影装置以及自身校准方法
TWI571099B (zh) 2015-10-16 2017-02-11 財團法人工業技術研究院 深度估測裝置及方法
CN105404392B (zh) 2015-11-03 2018-04-20 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统
US10976809B2 (en) 2016-03-14 2021-04-13 Htc Corporation Interaction method for virtual reality
TWI612795B (zh) 2016-09-13 2018-01-21 財團法人工業技術研究院 場景掃描方法及系統
US10109055B2 (en) 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation
TWI622960B (zh) 2017-11-10 2018-05-01 財團法人工業技術研究院 深度影像擷取裝置的校正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN104661010A (zh) * 2013-11-20 2015-05-27 财团法人资讯工业策进会 三维立体模型的建立方法和装置
KR20150081975A (ko) * 2014-01-07 2015-07-15 한국전자통신연구원 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치
CN103914875A (zh) * 2014-04-17 2014-07-09 中国科学院深圳先进技术研究院 室内场景的功能性建模方法
CN106846479A (zh) * 2017-02-15 2017-06-13 山东大学 基于深度摄像头的隧道三维建模系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于遗传算法的深度图像配准方法研究;宋晓卿等;《电脑开发与应用》;20110105(第01期);全文 *

Also Published As

Publication number Publication date
CN110415329A (zh) 2019-11-05
US20190333286A1 (en) 2019-10-31
US10891805B2 (en) 2021-01-12

Similar Documents

Publication Publication Date Title
CN110880189B (zh) 联合标定方法及其联合标定装置和电子设备
US20190371003A1 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
US7663649B2 (en) Information processing device and method for aiding control operations relating to controlling the position and orientation of a virtual object and method for changing the positioning and orientation of a virtual object
US11557083B2 (en) Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
WO2021043213A1 (zh) 标定方法、装置、航拍设备和存储介质
JP2018511098A (ja) 複合現実システム
WO2019104571A1 (zh) 图像处理方法和设备
CN108846867A (zh) 一种基于多目全景惯导的slam系统
JP2002259992A (ja) 画像処理装置およびその方法並びにプログラムコード、記憶媒体
WO2020140431A1 (zh) 相机位姿确定方法、装置、电子设备及存储介质
WO2022002132A1 (zh) 多传感器手柄控制器混合追踪方法及装置
JP2018009836A (ja) プログラム、頭部装着型表示装置、キャリブレーション方法
CN109544630A (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
US20180075660A1 (en) Method and device for blurring a virtual object in a video
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
KR101349347B1 (ko) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN110415329B (zh) 三维建模装置及应用于其的校准方法
TWI726536B (zh) 影像擷取方法及影像擷取設備
TWI692968B (zh) 三維建模裝置及應用於其之校準方法
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
CN115278086B (zh) 一种陀螺仪电子防抖方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant