CN110706159A - 空间坐标转换服务器以及方法 - Google Patents

空间坐标转换服务器以及方法 Download PDF

Info

Publication number
CN110706159A
CN110706159A CN201910095870.4A CN201910095870A CN110706159A CN 110706159 A CN110706159 A CN 110706159A CN 201910095870 A CN201910095870 A CN 201910095870A CN 110706159 A CN110706159 A CN 110706159A
Authority
CN
China
Prior art keywords
points
coordinate
space
spatial
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910095870.4A
Other languages
English (en)
Other versions
CN110706159B (zh
Inventor
洪家伟
黄世凯
翁明昉
林敬文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN110706159A publication Critical patent/CN110706159A/zh
Application granted granted Critical
Publication of CN110706159B publication Critical patent/CN110706159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种空间坐标转换服务器及其方法。空间坐标转换服务器从摄像装置接收纪录有立体标的物的场域影片，并据以产生点云模型。空间坐标转换服务器判断场域影片的多个关键帧，并基于摄像装置旋转与位移数据，将点云模型投影至关键帧的关键影像，以产生三维坐标点集合。空间坐标转换服务器判断立体标的物在关键影像中的多个二维坐标点，并根据二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点。空间坐标转换服务器根据立体标的物的标记点以及三维坐标点决定空间坐标转换关系。

Description

空间坐标转换服务器以及方法
【技术领域】
本发明是关于一种空间坐标转换服务器及其方法；更具体而言，本发明的空间坐标转换服务器及其方法是用于叠合虚拟空间的坐标以及实际空间的坐标。
【背景技术】
虚拟实境(Virtual Reality,VR)、扩增实境(Augmented Reality,AR)及混合实境(Mixed Reality,MR)是目前影像处理、电脑视觉及电脑图学领域发展相当热门的技术，其主要是通过虚拟环境或虚拟环境与实际环境的结合，让使用者可以高度拟真的使用者体验。
而在AR或MR技术中，通常会先依据真实环境的物件或场域进行扫描，以生成虚拟环境的模型，俾后续相应的利用。惟所生成的虚拟环境的空间坐标通常与真实环境的空间坐标不一致，因此，为达空间叠合的目的，多需针对空间的坐标进行转换及对齐的步骤。然而，就现有的技术观之，空间坐标转换及对齐的方式误差仍偏高，如此，将会使得AR或MR技术的利用产生明显错误。
据此，如何降低空间坐标转换及对齐的误差，提升空间叠的合正确性，以避免AR或MR技术在利用时产生错误，乃业界须共同努力的目标。
【发明内容】
本发明主要是提供一种用于空间坐标转换服务器的空间坐标转换方法，包含：空间坐标转换服务器从摄像装置接收场域影片，其中，场域影片记录有立体标的物，立体标的物具有多个标记点；空间坐标转换服务器根据场域影片产生点云模型，其中，点云模型包含多个点云数据；空间坐标转换服务器判断场域影片的多个关键帧，其中，各关键帧包含关键影像以及摄像装置旋转与位移数据；空间坐标转换服务器基于各关键帧的摄像装置旋转与位移数据，将点云模型的点云数据投影至相应的各关键帧的关键影像，以产生相应于各关键帧的关键影像的三维坐标点集合。
接着，空间坐标转换服务器基于标记点，判断立体标的物在各关键帧的关键影像中的多个二维坐标点，其中，二维坐标点相应于标记点的至少二标记点；空间坐标转换服务器根据二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点，其中，三维坐标点相应于至少二标记点；空间坐标转换服务器根据至少二标记点的实际点坐标以及三维坐标点，决定空间坐标转换关系。
为达上述目的，本发明公开一种空间坐标转换服务器，包含传输接口以及处理单元。传输接口用以从摄像装置接收场域影片，其中，场域影片记录有立体标的物，立体标的物具有多个标记点。处理单元电性连结至传输接口，用以：根据场域影片产生点云模型，其中，点云模型包含多个点云数据；判断场域影片的多个关键帧，其中，各关键帧包含关键影像以及摄像装置旋转与位移数据；基于各关键帧的摄像装置旋转与位移数据，将点云模型的点云数据投影至相应的各关键帧的关键影像，以产生相应于各关键帧的关键影像的三维坐标点集合。
接着，处理单元用以：基于标记点，判断立体标的物在各关键帧的关键影像中的多个二维坐标点，其中，二维坐标点相应于标记点的至少二标记点；根据等二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点，其中，三维坐标点相应于至少二标记点；根据至少二标记点的实际点坐标以及三维坐标点，决定空间坐标转换关系。
【附图说明】
图1A是本发明第一实施例的空间坐标转换服务器的操作示意图；
图1B是本发明第一实施例的空间坐标转换服务器的方块图；
图2A是本发明第二实施例的空间坐标转换服务器的操作示意图；
图2B是本发明第二实施例的空间坐标转换服务器的方块图；
图3是本发明第三实施例的空间坐标转换方法的流程图；以及
图4A～4B是本发明第四实施例的空间坐标转换方法的流程图。
【符号说明】
1、4 空间坐标转换服务器
11、41 传输接口
13、43 处理单元
2、5 摄像装置
20、50 场域影片
3、6 立体标的物
30、60 标记点
PM1、PM2 点云模型
PMdata1、PMdata2 点云数据
KF1、KF2 关键帧
KM1、KM2 关键影像
Kdata1、Kdata2 摄像装置旋转与位移数据
Cset1、Cset2 三维坐标点集合
2DP1、2DP2 二维坐标点
3DP1、3DP2 三维坐标点
【具体实施方式】
以下将通过本发明的实施例来阐释本发明。然而，所述多个实施例并非用以限制本发明需在如实施例所述的任何环境、应用程序或方式方能实施。因此，以下实施例的说明仅在于阐释本发明，而非用以限制本发明。在以下实施例及附图中，与本发明非直接相关的元件已省略而未示出，且示出在附图中的各元件之间的尺寸关系仅为便于理解，而非用以限制为实际的实施比例。
请同时参考图1A～1B。图1A是本发明第一实施例的空间坐标转换服务器1的操作示意图。图1B是本发明第一实施例的空间坐标转换服务器1的方块图，空间坐标转换服务器1包含一传输接口11以及一处理单元13。其中，传输接口11以及处理单元13间具有电性连结，而其间的互动将在下文中进一步阐述。
首先，如图1A所示，空间坐标转换服务器1的传输接口11，从一摄像装置2接收一场域影片20。如图所示，场域影片20是摄像装置2拍摄特定场域所得，而特定场域中设有一立体标的物3，且此立体标的物3具有多个标记点30，因此，拍摄产生的场域影片20将记录有立体标的物3。
接着，空间坐标转换服务器1的处理单元13先根据场域影片20产生一点云模型PM1。其中，点云模型PM1包含多个点云数据PMdata1。期间，处理单元13进一步判断场域影片20的多个关键帧KF1，而每一关键帧KF1包含一关键影像KM1以及一摄像装置旋转与位移数据Kdata1。须说明，摄像装置旋转与位移数据Kdata1是摄像装置2拍摄关键影像KM1当下的装置旋转与位移信息。
随后，针对每一关键帧KF1，处理单元13基于关键帧KF1的摄像装置旋转与位移数据Kdata1，将点云模型PM1的点云数据PMdata1投影至关键帧KF1的关键影像KM1，如此一来，将会得到相应于关键影像KM1的一三维坐标点集合Cset1。
更详细来说，由于点云数据PMdata1与关键影像KM1是分别通过三维以及二维的方式记录特定场域中各特征点的数据，因此，点云数据PMdata1将会与关键影像KM1所记录的特定场域具有相对应的特征点。据此，处理单元13主要是通过拍摄当下的摄像装置旋转与位移数据Kdata1，将点云数据PMdata1投影至各关键影像KM1，以产生相应的三维坐标点集合Cset1。其中，三维坐标点集合Cset1包含各关键影像KM1记录的特定场域特征点所对应的三维坐标点。
进一步来说，由于场域影片20中记录有立体标的物3，因此，关键帧KF1的关键影像KM1中亦记录有立体标的物3。据此，处理单元13便可基于立体标的物3的标记点30，判断立体标的物3的标记点30在不同关键帧KF1的关键影像KM1中的多个二维坐标点2DP1。
需特别说明，由于拍摄角度及范围不同的因素，因此，关键影像中可能包含不同个数的立体标的物的标记点。而在第一实施例中，立体标的物3是立方体，二维坐标点2DP1相应于标记点30中的至少二标记点。另外，标记点可以立体标的物的顶点为主，并通过在立体标的物不同面设置不同辨识图样的方式，便在影像处理中完成不同顶点的辨识。
接着，处理单元13根据二维坐标点2DP1，在三维坐标点数据集合Cset1中挑选关联性最高的多个三维坐标点3DP1，如此，三维坐标点3DP1则相应于标记点30的至少二标记点。最后，处理单元13便根据标记点30的至少二标记点的实际点坐标(可由使用者提供)以及三维坐标点3DP1，决定一空间坐标转换关系(未示出)，俾虚拟的坐标与实际的坐标间的转换。
请同时参考图2A～2B。图2A是本发明第二实施例的空间坐标转换服务器4的操作示意图。图2B是本发明第二实施例的空间坐标转换服务器4的方块图，空间坐标转换服务器4包含一传输接口41以及一处理单元43。其中，传输接口41以及处理单元43间具有电性连结。其中，第二实施例主要是进一步例示本发明空间坐标转换的操作细节。
首先，如图2A所示，空间坐标转换服务器4的传输接口41，从一摄像装置5接收一场域影片50。如图所示，场域影片50是摄像装置5拍摄特定场域所得，而特定场域中设有一立体标的物6，且此立体标的物6具有多个标记点60，因此，拍摄产生的场域影片50将记录有立体标的物6。
接着，空间坐标转换服务器4的处理单元43先根据场域影片50产生一点云模型PM2。其中，点云模型PM2包含多个点云数据PMdata2。期间，处理单元43进一步判断场域影片50的多个关键帧KF2，而每一关键帧KF2包含一关键影像KM2以及一摄像装置旋转与位移数据Kdata2。须说明，摄像装置旋转与位移数据Kdata2是摄像装置5拍摄关键影像KM2当下的装置旋转与位移信息。
需特别说明中，在第二实施例中，点云模型PM2主要是基于即时定位与地图构建(Simultaneous Localization And Mapping,SLAM)的技术完成(例如：ORB-SLAM)，本领域技术人员应可轻易理解，在此不再赘述。
随后，针对每一关键帧KF2，处理单元43基于关键帧KF2的摄像装置旋转与位移数据Kdata2，将点云模型PM2的点云数据PMdata2投影至关键帧KF2的关键影像KM2，如此一来，将会得到相应于关键影像KM2的一三维坐标点集合Cset2。同样地，三维坐标点集合Cset2包含各关键影像KM2记录的特定场域特征点所对应的三维坐标点。
进一步来说，由于场域影片50中记录有立体标的物6，因此，关键帧KF2的关键影像KM2中亦记录有立体标的物6。据此，处理单元43便可基于立体标的物6的标记点60，判断立体标的物6的标记点60在不同关键帧KF2的关键影像KM2中的多个二维坐标点2DP2。需特别说明，在第二实施例中，立体标的物6是立方体，二维坐标点2DP2相应于标记点60中的四标记点60a～60d。
接着，处理单元43根据二维坐标点2DP2，在三维坐标点数据集合Cset2中挑选关联性最高的四个三维坐标点3DP2(例如：投影点与二维坐标点2DP2距离最近的三维坐标点)，如此，三维坐标点3DP2则相应于标记点60的四标记点60a～60d。
随后，处理单元43根据立体标的物6的四标记点60a～60d的实际点坐标(使用者提供)计算一实际中心坐标点(未示出)，并分别计算标记点60a～60d与实际中心坐标点的四实际距离。另外，处理单元43根据三维坐标点3DP2计算一参考中心坐标点(未示出)，并分别计算三维坐标点3DP2与参考中心坐标点的多个参考距离。据此，处理单元43便可根据多个实际距离以及多个参考距离计算一空间比值。其中，空间比值是多个实际距离的平均距离与多个参考距离的平均距离的比值。
再者，处理单元43进一步根据标记点60a～60d的实际坐标点、三维坐标点3DP2以及空间比值，计算一空间旋转矩阵(未示出)以及一空间位移矩阵(未示出)，并基于空间旋转矩阵、空间位移矩阵或二矩阵的组合决定一空间坐标转换关系(未示出)。其中，空间坐标转换关系包含空间旋转矩阵、空间位移矩阵或二矩阵的组合。如此一来，虚拟空间的以及实际空间的坐标，便可通过空间旋转矩阵、空间位移矩阵或二矩阵的组合完成转换。
需特别说明，处理单元43可基于奇异值分解(Singular Value Decomposition,SVD)技术或随机抽样一致性(RANdom SAmple Consensus,RANSAC)技术，针对标记点的实际坐标点、三维坐标点以及空间比值计算前述的矩阵，本领域技术人员应可轻易理解，在此不再赘述。
另外，前述实施例的传输接口可为实体传输线路或无线网络收发器，处理单元可为中央处理单元、其他可执行相关指令的硬件电路元件或本领域技术人员可通过本发明内容理解的的其他计算电路中的任一者，惟其并非用以限制本发明的硬件实施态样。
本发明的第三实施例为空间坐标转换方法，其流程图请参考图3。第三实施例的方法是用于一空间坐标转换服务器(例如前述实施例的空间坐标转换服务器)。第三实施例的详细步骤如下所述。
首先，执行步骤301，空间坐标转换服务器从一摄像装置接收一场域影片。其中，场域影片记录有一立体标的物，立体标的物具有多个标记点。执行步骤302，空间坐标转换服务器根据场域影片产生一点云模型。其中，点云模型包含多个点云数据。执行步骤303，空间坐标转换服务器判断场域影片的多个关键帧。其中，各关键帧包含一关键影像以及一摄像装置旋转与位移数据。
接着，执行步骤304，空间坐标转换服务器基于各关键帧的摄像装置旋转与位移数据，将点云模型的点云数据投影至相应的各关键帧的关键影像，以产生相应于各关键帧的关键影像的一三维坐标点集合。执行步骤305，空间坐标转换服务器基于标记点，判断立体标的物在各关键帧的关键影像中的多个二维坐标点。其中，二维坐标点相应于标记点的至少二标记点。
随后，执行步骤306，空间坐标转换服务器根据二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点。其中，三维坐标点相应于至少二标记点。最后，执行步骤307，空间坐标转换服务器根据至少二标记点的实际点坐标以及三维坐标点，决定一空间坐标转换关系。
本发明的第四实施例为空间坐标转换方法，其流程图请参考图4A～4B。第四实施例的方法是用于一空间坐标转换服务器(例如前述实施例的空间坐标转换服务器)。第四实施例的详细步骤如下所述。
首先，执行步骤401空间坐标转换服务器从一摄像装置接收一场域影片。其中，场域影片记录有一立体标的物，立体标的物具有多个标记点。执行步骤402，空间坐标转换服务器基于SLAM技术，根据场域影片产生一点云模型。其中，点云模型包含多个点云数据。执行步骤403，空间坐标转换服务器判断场域影片的多个关键帧。其中，各关键帧包含一关键影像以及一摄像装置旋转与位移数据。
接着，执行步骤404，空间坐标转换服务器基于各关键帧的摄像装置旋转与位移数据，将点云模型的点云数据投影至相应的各关键帧的关键影像，以产生相应于各关键帧的关键影像的一三维坐标点集合。执行步骤405，空间坐标转换服务器基于标记点，判断立体标的物在各关键帧的关键影像中的多个二维坐标点。其中，二维坐标点相应于标记点的至少二标记点。执行步骤406，空间坐标转换服务器根据二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点。其中，三维坐标点相应于至少二标记点。
随后，执行步骤407a及步骤407b。其中，步骤407a主要是空间坐标转换服务器根据立体标的物的至少二标记点的实际点坐标计算一实际中心坐标点，并分别计算至少二标记点与实际中心坐标点的至少二实际距离。步骤407b主要是空间坐标转换服务器根据三维坐标点计算一参考中心坐标点，并分别计算三维坐标点与参考中心坐标点的多个参考距离。
执行步骤408，空间坐标转换服务器根据至少二实际距离以及参考距离计算一空间比值。其中，空间比值是至少二实际距离的平均距离与参考距离的平均距离的比值。执行步骤409，空间坐标转换服务器基于SVD或RANSAC技术，根据至少二标记点的实际坐标点、三维坐标点以及空间比值，计算一空间旋转矩阵或一空间位移矩阵，并据以决定一空间坐标转换关系。其中，空间坐标转换关系包含空间旋转矩阵或空间位移矩阵。
综合上述，本发明的空间坐标转换服务器及方法，主要可通过场域中特殊立体标的物的设置与辨识，大幅地增加坐标转换的可靠度，如此一来，便可降低空间坐标转换及对齐的误差，提升空间叠的合正确性，并改善先前技术的缺点。
惟上述实施例仅为例示性说明本发明的实施态样，以及阐释本发明的技术特征，并非用来限制本发明的保护范畴。任何熟悉此技艺的人士可轻易完成的改变或均等性的安排均属于本发明所主张的范围，本发明的权利保护范围应以申请专利范围为准。

Claims (10)

1.一种用于一空间坐标转换服务器的空间坐标转换方法，其特征在于，包含：
所述空间坐标转换服务器从一摄像装置接收一场域影片，其中，所述场域影片记录有一立体标的物，所述立体标的物具有多个标记点；
所述空间坐标转换服务器根据所述场域影片产生一点云模型，其中，所述点云模型包含多个点云数据；
所述空间坐标转换服务器判断所述场域影片的多个关键帧，其中，各所述关键帧包含一关键影像以及一摄像装置旋转与位移数据；
所述空间坐标转换服务器基于各所述关键帧的所述摄像装置旋转与位移数据，将所述点云模型的所述多个点云数据，投影至相应的各所述关键帧的所述关键影像，以产生相应于各所述关键帧的所述关键影像的一三维坐标点集合；
所述空间坐标转换服务器基于所述多个标记点，判断所述立体标的物在各所述关键帧的所述关键影像中的多个二维坐标点，其中，所述多个二维坐标点相应于所述多个标记点的至少二标记点；
所述空间坐标转换服务器根据所述多个二维坐标点，在所述三维坐标点数据集合中挑选多个三维坐标点，其中，所述多个三维坐标点相应于所述至少二标记点；及
所述空间坐标转换服务器根据所述至少二标记点的实际点坐标以及所述多个三维坐标点，决定一空间坐标转换关系。
2.如权利要求1所述的空间坐标转换方法，其特征在于，所述空间坐标转换服务器决定所述空间坐标转换关系的步骤还包含：
所述空间坐标转换服务器根据所述立体标的物的所述至少二标记点的实际点坐标计算一实际中心坐标点，并分别计算所述至少二标记点与所述实际中心坐标点的至少二实际距离；
所述空间坐标转换服务器根据所述多个三维坐标点计算一参考中心坐标点，并分别计算所述多个三维坐标点与所述参考中心坐标点的多个参考距离；
所述空间坐标转换服务器根据所述至少二实际距离以及所述多个参考距离计算一空间比值，其中，所述空间比值是所述至少二实际距离的平均距离与所述多个参考距离的平均距离的比值；及
所述空间坐标转换服务器根据所述至少二标记点的实际坐标点、所述多个三维坐标点以及所述空间比值，计算一空间旋转矩阵，其中，所述空间坐标转换关系包含所述空间旋转矩阵。
3.如权利要求2所述的空间坐标转换方法，其特征在于，所述空间坐标转换服务器基于奇异值分解(Singular Value Decomposition)技术或随机抽样一致性(RANdom SAmpleConsensus)技术计算所述空间旋转矩阵。
4.如权利要求1所述的空间坐标转换方法，其特征在于，所述空间坐标转换服务器决定所述空间坐标转换关系的步骤还包含：
所述空间坐标转换服务器根据所述立体标的物的所述至少二标记点的实际点坐标计算一实际中心坐标点，并分别计算所述至少二标记点与所述实际中心坐标点的至少二实际距离；
所述空间坐标转换服务器根据所述多个三维坐标点计算一参考中心坐标点，并分别计算所述多个三维坐标点与所述参考中心坐标点的多个参考距离；
所述空间坐标转换服务器根据所述至少二实际距离以及所述多个参考距离计算一空间比值，其中，所述空间比值是所述至少二实际距离的平均距离与所述多个参考距离的平均距离的比值；及
所述空间坐标转换服务器根据所述至少二标记点的实际坐标点、所述多个三维坐标点以及所述空间比值，计算一空间位移矩阵，其中，所述空间坐标转换关系包含所述空间位移矩阵。
5.如权利要求4所述的空间坐标转换方法，其特征在于，所述空间坐标转换服务器基于奇异值分解(Singular Value Decomposition)技术或随机抽样一致性(RANdom SAmpleConsensus)技术计算所述空间位移矩阵。
6.如权利要求1所述的空间坐标转换方法，其特征在于，所述空间坐标转换服务器基于即时定位与地图构建(Simultaneous Localization And Mapping)技术产生所述点云模型。
7.一种空间坐标转换服务器，其特征在于，包含：
一传输接口，用以从一摄像装置接收一场域影片，其中，所述场域影片记录有一立体标的物，所述立体标的物具有多个标记点；及
一处理单元，电性连结至所述传输接口，用以：
根据所述场域影片产生一点云模型，其中，所述点云模型包含多个点云数据；
判断所述场域影片的多个关键帧，其中，各所述关键帧包含一关键影像以及一摄像装置旋转与位移数据；
基于各所述关键帧的所述摄像装置旋转与位移数据，将所述点云模型的所述多个点云数据，投影至相应的各所述关键帧的所述关键影像，以产生相应于各所述关键帧的所述关键影像的一三维坐标点集合；
基于所述多个标记点，判断所述立体标的物在各所述关键帧的所述关键影像中的多个二维坐标点，其中，所述多个二维坐标点相应于所述多个标记点的至少二标记点；
根据所述多个二维坐标点，在所述三维坐标点数据集合中挑选多个三维坐标点，其中，所述多个三维坐标点相应于所述至少二标记点；及
根据所述至少二标记点的实际点坐标以及所述多个三维坐标点，决定一空间坐标转换关系。
8.如权利要求7所述的空间坐标转换服务器，其特征在于，所述处理单元还用以：
根据所述立体标的物的所述至少二标记点的实际点坐标计算一实际中心坐标点，并分别计算所述至少二标记点与所述实际中心坐标点的至少二实际距离；
根据所述多个三维坐标点计算一参考中心坐标点，并分别计算所述多个三维坐标点与所述参考中心坐标点的多个参考距离；
根据所述至少二实际距离以及所述多个参考距离计算一空间比值，其中，所述空间比值是所述至少二实际距离的平均距离与所述多个参考距离的平均距离的比值；及
根据所述至少二标记点的实际坐标点、所述多个三维坐标点以及所述空间比值，计算一空间旋转矩阵，其中，所述空间坐标转换关系包含所述空间旋转矩阵。
9.如权利要求7所述的空间坐标转换服务器，其特征在于，所述处理单元还用以：
根据所述立体标的物的所述至少二标记点的实际点坐标计算一实际中心坐标点，并分别计算所述至少二标记点与所述实际中心坐标点的至少二实际距离；
根据所述多个三维坐标点计算一参考中心坐标点，并分别计算所述多个三维坐标点与所述参考中心坐标点的多个参考距离；
根据所述至少二实际距离以及所述多个参考距离计算一空间比值，其中，所述空间比值是所述至少二实际距离的平均距离与所述多个参考距离的平均距离的比值；及
根据所述至少二标记点的实际坐标点、所述多个三维坐标点以及所述空间比值，计算一空间位移矩阵，其中，所述空间坐标转换关系包含所述空间位移矩阵。
10.如权利要求7所述的空间坐标转换服务器，其特征在于，所述处理单元基于即时定位与地图构建(Simultaneous Localization And Mapping)技术产生所述点云模型。
CN201910095870.4A 2018-07-09 2019-01-31 空间坐标转换服务器以及方法 Active CN110706159B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107123709 2018-07-09
TW107123709A TWI678679B (zh) 2018-07-09 2018-07-09 空間座標轉換伺服器以及方法

Publications (2)

Publication Number Publication Date
CN110706159A true CN110706159A (zh) 2020-01-17
CN110706159B CN110706159B (zh) 2023-05-26

Family

ID=69101663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910095870.4A Active CN110706159B (zh) 2018-07-09 2019-01-31 空间坐标转换服务器以及方法

Country Status (3)

Country Link
US (1) US10769811B2 (zh)
CN (1) CN110706159B (zh)
TW (1) TWI678679B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI709062B (zh) * 2019-09-20 2020-11-01 財團法人資訊工業策進會 虛實疊合方法與系統
CN111178266B (zh) * 2019-12-30 2023-09-01 北京华捷艾米科技有限公司 一种生成人脸关键点的方法及装置
CN112066876B (zh) * 2020-08-27 2021-07-02 武汉大学 一种利用手机快速测量物体尺寸方法
CN114119684B (zh) * 2020-08-31 2023-02-28 中国移动通信集团浙江有限公司 基于四面体结构的标记点配准方法
US11830213B2 (en) * 2020-11-05 2023-11-28 Streem, Llc Remote measurements from a live video stream

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194983A (zh) * 2017-05-16 2017-09-22 华中科技大学 一种基于点云与影像数据的三维可视化方法和系统
CN107392944A (zh) * 2017-08-07 2017-11-24 广东电网有限责任公司机巡作业中心 全景影像与点云的配准方法及装置
CN107798704A (zh) * 2016-08-30 2018-03-13 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI323425B (en) * 2006-07-28 2010-04-11 Univ Nat Cheng Kung Method and system for reconstructing 3-d endoscopic images
CN102169579A (zh) 2011-03-31 2011-08-31 西北工业大学 密集点云模型快速精确配准方法
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103325143B (zh) * 2013-06-13 2016-10-05 华南理工大学 基于模型匹配的标记点自动注册方法
EP3525173A4 (en) * 2016-07-11 2020-07-08 Taiwan Main Orthopaedic Biotechnology Co., Ltd. IMAGE REALITY EXTENSION PROCESS AND SURGICAL GUIDE TO APPLY THIS TO WEARABLE GLASSES
CN107665507B (zh) * 2016-07-29 2021-04-30 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798704A (zh) * 2016-08-30 2018-03-13 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法及装置
CN107194983A (zh) * 2017-05-16 2017-09-22 华中科技大学 一种基于点云与影像数据的三维可视化方法和系统
CN107392944A (zh) * 2017-08-07 2017-11-24 广东电网有限责任公司机巡作业中心 全景影像与点云的配准方法及装置

Also Published As

Publication number Publication date
US20200013187A1 (en) 2020-01-09
CN110706159B (zh) 2023-05-26
TWI678679B (zh) 2019-12-01
US10769811B2 (en) 2020-09-08
TW202006668A (zh) 2020-02-01

Similar Documents

Publication Publication Date Title
CN110706159B (zh) 空间坐标转换服务器以及方法
US10977818B2 (en) Machine learning based model localization system
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN105009120B (zh) 基于客户端-服务器的动态搜索
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
JP4297197B2 (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
JP2021528734A (ja) ジオメトリ情報の動き補償
US20150193935A1 (en) Online reference generation and tracking for multi-user augmented reality
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
CN110869980B (zh) 将内容分发和呈现为球形视频和3d资产组合
CN103345736A (zh) 一种虚拟视点绘制方法
JP2016070674A (ja) ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム
US20120162220A1 (en) Three-dimensional model creation system
JP2019190974A (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
da Silveira et al. Dense 3D scene reconstruction from multiple spherical images for 3-DoF+ VR applications
US11328445B1 (en) Methods and systems for volumetric modeling independent of depth data
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
JP2023512272A (ja) 画像処理方法及び装置
Lao et al. Rolling shutter homography and its applications
WO2023083256A1 (zh) 位姿显示方法、装置及系统、服务器以及存储介质
JPWO2021076757A5 (zh)
Lan et al. Development of a virtual reality teleconference system using distributed depth sensors
WO2020184174A1 (ja) 画像処理装置および画像処理方法
KR20050061115A (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR100447778B1 (ko) 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant