CN113920189A - 同时追踪可移动物体与可移动相机的六自由度方位的方法与系统 - Google Patents
同时追踪可移动物体与可移动相机的六自由度方位的方法与系统 Download PDFInfo
- Publication number
- CN113920189A CN113920189A CN202110554564.XA CN202110554564A CN113920189A CN 113920189 A CN113920189 A CN 113920189A CN 202110554564 A CN202110554564 A CN 202110554564A CN 113920189 A CN113920189 A CN 113920189A
- Authority
- CN
- China
- Prior art keywords
- movable
- camera
- degree
- freedom
- movable object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 33
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000007613 environmental effect Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000000087 stabilizing effect Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims 2
- 238000006073 displacement reaction Methods 0.000 description 19
- 239000011521 glass Substances 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种同时追踪可移动物体与可移动相机的数个六自由度方位的方法与系统，方法包括以下步骤：以可移动相机撷取一连串的影像，从这些影像中提取数个环境特征点，匹配这些环境特征点计算可移动相机的数个相机矩阵，再由这些相机矩阵计算可移动相机的六自由度方位；并同时从可移动相机撷取的这些影像中推算可移动物体的数个特征点，使用这些影像各自对应的相机矩阵，以及预先定义的几何限制和时间限制，修正可移动物体的这些特征点的坐标，再以这些修正后的特征点坐标及其各自对应的相机矩阵，计算可移动物体的六自由度方位。
Description
技术领域
本发明涉及一种同时追踪可移动物体与可移动相机的六自由度方位的方法与系统。
背景技术
在现有的追踪技术中，例如同时定位与地图构建技术(SimultaneousLocalization And Mapping，SLAM)可以追踪可移动相机的六自由度方位，但却无法同时追踪可移动物体。原因是可移动相机需要用稳定的环境特征点才能进行定位，而可移动物体的特征点不稳定，通常会被丢弃，无法用于追踪。
另一方面，用于追踪可移动物体的技术都会忽略环境特征点以避免干扰，因此这些技术都无法追踪可移动相机。
大多数神经网络所学习的特征都是用来区分物体的类型，而不是计算物体的六自由度方位。某些用于辨识姿态或手势的神经网络只能够输出骨胳关节在影像平面的2D坐标(x，y)，即使靠深度感测技术估算关节与相机之间的距离，也不是空间中真正的3D坐标，更无法计算空间中的六自由度方位。
在运动捕捉系统中，则是使用多个固定相机追踪关节位置，一般会在关节上贴标记以减少误差，没有追踪可移动相机的六自由度方位。
因此，就目前已知的技术而言，尚未有任何技术能够做到同时追踪可移动物体与可移动相机。
随着混合实境(mixed reality，MR)的快速发展，促使研究人员开发能够同时追踪可移动相机和可移动物体的六个自由度方位的技术。在混合实境的应用中，由于安装在MR眼镜上的相机会随头部移动，因此需要知道相机的六自由度方位才能知道使用者的位置和方向。与使用者互动的物体也会移动，因此还需要知道该物体的六自由度方位才能在适当的位置和方向显示虚拟内容。戴着MR眼镜的使用者可能在室内或室外自由走动，很难在环境中放置标记。而且为了有较好的使用体验，除了物体本身的特征外，也不会在物体上贴特殊的标记。
虽然这些情况提高追踪六自由度方位的难度，我们仍开发出能够同时追踪可移动物体与可移动相机的技术，以解决上述这些问题并满足更多的应用。
发明内容
本发明所提出的技术例如可以应用于：当使用者戴着MR眼镜时，可以在手持装置，例如：手机的真实荧幕旁显示一个或多个虚拟荧幕，根据手机和MR眼镜上的相机的六自由度方位设定虚拟荧幕的预设位置、方向和大小。并且，通过六自由度方位的追踪，可以自动控制虚拟荧幕旋转和移动，使其与观看方向一致。本发明技术可以为使用者提供以下好处：(1)将小的实体荧幕扩展到大的虚拟荧幕；(2)将单个实体荧幕增加到多个虚拟荧幕，以同时查看更多应用程序；(3)虚拟荧幕的内容不会被他人窥探。
根据本发明的一实施例，提出一种同时追踪可移动物体与可移动相机的六自由度方位(6 DoF poses)的方法，包括以下步骤：以可移动相机撷取一连串的影像，从这些影像中提取数个环境特征点，匹配这些环境特征点计算可移动相机的数个相机矩阵，再由这些相机矩阵计算可移动相机的六自由度方位；并同时从可移动相机撷取的这些影像中推算可移动物体的数个特征点，使用这些影像各自对应的相机矩阵，以及预先定义的几何限制和时间限制，修正可移动物体的这些特征点的坐标，再以这些修正后的特征点坐标及其对应的相机矩阵，计算可移动物体的六自由度方位。
根据本发明的另一实施例，提出一种同时追踪可移动物体与可移动相机的六自由度方位的系统，包括可移动相机、可移动相机六自由度方位计算单元及可移动物体六自由度方位计算单元。可移动相机用于撷取一连串的影像。可移动相机六自由度方位计算单元用于从这些影像中提取数个环境特征点，匹配这些环境特征点计算可移动相机的数个相机矩阵，再由这些相机矩阵计算可移动相机的六自由度方位。可移动物体六自由度方位计算单元，用于从可移动相机撷取的这些影像中推算可移动物体的数个特征点，通过这些影像各自对应的相机矩阵，以及预先定义的几何限制、和时间限制，修正可移动物体的这些特征点的坐标，再以这些修正后的特征点坐标及其对应的这些相机矩阵，计算可移动物体的六自由度方位。
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
图1A、1B绘示本发明同时追踪可移动物体与可移动相机的技术与现有技术相比在应用上的说明；
图2A绘示根据一实施例的同时追踪可移动物体与可移动相机的六自由度方位的系统与方法；
图2B绘示加入训练阶段的同时追踪可移动物体与可移动相机的六自由度方位的系统与方法；
图3A绘示可移动相机撷取的一连串影像中，环境特征点、可移动物体特征点各自的对应关系；
图3B示例说明物体在空间的位置与方向；
图4A～4B绘示修补可移动物体的特征点；
图5A～5D绘示以手机为例的特征点定义及各种训练数据；
图6绘示神经网络在训练阶段的结构；
图7绘示在相邻的两张影像之间，特征点位移的计算方式；
图8绘示时间限制的计算及判定方法；
图9绘示缺少时间限制而产生不正确位移的情况；
图10绘示加入增量学习的同时追踪可移动物体与可移动相机的六自由度方位的系统与方法；
图11绘示应用于MR眼镜的同时追踪可移动物体与可移动相机的六自由度方位的系统与方法。
各附图中符号含义如下所示：
100，200，300：同时追踪可移动物体与可移动相机的六自由度方位的系统
110：可移动相机
120：可移动相机六自由度方位计算单元
121：环境特征撷取单元
122：相机矩阵计算单元
123：相机方位计算单元
130：可移动物体六自由度方位计算单元
131：物体特征坐标推算单元
132：物体特征坐标修正单元
133：物体方位计算单元
140：训练数据生成单元
150：神经网络训练单元
260：自动扩增单元
270：权重调整单元
310：方位修正单元
311：交叉比对单元
312：修正单元
320：方位稳定单元
330：视轴计算单元
340：荧幕方位计算单元
350：立体影像产生单元
351：影像产生单元
352：成像单元
900：可移动物体
CD：可移动相机的六自由度方位
CM：相机矩阵
d，d’，d”：位移
D1，D4：实体荧幕
D2，D3：虚拟荧幕
DD：虚拟荧幕的六自由度方位
EF：环境特征点
ET：特征提取器
FL：特征点坐标预测层
FV：特征向量
G1：MR眼镜
GC：几何限制
GCL：几何限制层
IM，IM’：影像
LV：损失值
MD：神经网络推论模型
m：位移平均值
OD：可移动物体的六自由度方位
OF，OF’，OF*，OF**：特征点
OLV：总损失值
P1：手机
s：位移标准差
ST1：训练阶段
ST2：追踪阶段
ST3：增量学习阶段
TC：时间限制
TCL：时间限制层
(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x′2，y′2)，(xt-1，yt-1)，(xt′，yt′)，(xt″，yt″)，Pt，Pt-1，：坐标
||Pt-Pt-1||：位移
PL：最佳平面
C：中心点
N：法向量
具体实施方式
请参照图1A、1B，其绘示本发明同时追踪可移动物体与可移动相机的技术与现有技术相比在应用上的说明。本发明所提出的技术例如可以应用于：如图1A所示，当使用者戴着MR眼镜G1(MR眼镜G1上配置可移动相机110)时，可以在手持装置，例如：手机P1(即可移动物体900)的真实荧幕旁显示一个或多个虚拟荧幕，根据手机P1和MR眼镜G1上的可移动相机110的六自由度方位设定虚拟荧幕D2、D3的预设位置、方向和大小。可移动相机110的“可移动”是指相对于三维空间的静止物而言。并且，通过六自由度方位的追踪，可以自动控制虚拟荧幕D2、D3旋转和移动，使其与观看方向一致(如图1B所示)，使用者也可以根据自己的喜好调整这些虚拟荧幕D2、D3的位置和角度。现有技术所显示的虚拟荧幕会跟着MR眼镜G1移动，不会跟着物体的六自由度方位移动。本发明技术可以为使用者提供以下好处：(1)将小的实体荧幕D1扩展到大的虚拟荧幕D2；(2)将单个实体荧幕D1增加到多个虚拟荧幕D2、D3，以同时查看更多应用程序；(3)虚拟荧幕D2、D3的内容不会被他人窥探。上述技术也可以应用于平板电脑或笔记本电脑，在其实体荧幕旁设置虚拟荧幕。可移动物体900除了实体荧幕以外，还可以是其他能定义特征的物体，例如：汽车、自行车、行人等。可移动相机110不局限是MR眼镜G1上的相机，也可以是自主移动机器人和车辆上的相机。
请参照图2A，其绘示根据一实施例的同时追踪可移动物体900(标示于图1A)与可移动相机110的六自由度方位的系统100与方法。可移动物体900例如是图1A的手机P1；可移动相机110例如是图1A的MR眼镜G1上的相机。同时追踪可移动物体900与可移动相机110的六自由度方位的系统100包括可移动相机110、可移动相机六自由度方位计算单元120及可移动物体六自由度方位计算单元130。可移动相机110用于撷取一连串影像IM。可移动相机110可以设置于头戴式立体显示器、移动装置、电脑或机器人上。可移动相机六自由度方位计算单元120及/或可移动物体六自由度方位计算单元130例如是电路、芯片、电路板、程序代码、或储存程序代码的储存装置。
可移动相机六自由度方位计算单元120包括环境特征撷取单元121、相机矩阵计算单元122及相机方位计算单元123，其实施方式例如是电路、芯片、电路板、程序代码、或储存程序代码的储存装置。环境特征撷取单元121用于从这些影像IM中提取数个环境特征点EF。相机矩阵计算单元122是匹配这些环境特征点EF计算可移动相机110的数个相机矩阵CM。相机方位计算单元123再由相机矩阵CM计算可移动相机110的六自由度方位CD。
可移动物体六自由度方位计算单元130包括物体特征坐标推算单元131、物体特征坐标修正单元132及物体方位计算单元133，其实施方式例如是电路、芯片、电路板、程序代码、或储存程序代码的储存装置。物体特征坐标推算单元131用于从可移动相机110撷取的这些影像IM中推算可移动物体900的数个特征点OF，这些特征点OF为预先定义，与可移动相机110撷取的这些影像IM做比对，以推算这些特征点OF的坐标。其中，可移动物体900为刚性物体。
请参照图2B所绘示的另一实施例，同时追踪可移动物体900与可移动相机110的六自由度方位的方法包含训练阶段(training stage)ST1和追踪阶段(tracking stage)ST2。其中，物体特征坐标推算单元131使用神经网络推论模型MD，从可移动相机110撷取的这些影像IM中推算可移动物体900特征点OF的坐标，神经网络推论模型MD为预先训练，训练数据由手动或自动标记获得，在训练过程中加入几何限制GC和时间限制TC。
物体特征坐标修正单元132使用这些影像IM各自对应的相机矩阵CM，以及预先定义的几何限制GC和时间限制TC，修正可移动物体900的这些特征点OF的坐标。其中，物体特征坐标修正单元132使用这些相机矩阵CM，将这些特征点OF的二维坐标投影至对应的三维坐标，依据几何限制GC，删除三维坐标偏差大于预定值的特征点OF，或以相邻特征点OF的坐标依据几何限制GC补充未被侦测到的特征点OF的坐标。并且，物体特征坐标修正单元132还依据时间限制TC，比对这些特征点OF在多张连续影像IM中的坐标变化，再以这些连续影像IM中对应的这些特征点OF的坐标修正坐标变化大于预定值的特征点OF的坐标，得到修正后的这些特征点OF’的坐标。
请参照图3A，其示例说明可移动相机撷取的一连串影像中，环境特征点、可移动物体特征点各自的对应关系。对于非平面物体来说，则可以通过几个选定的特征点OF的质心来定义方向和位置。请参照图3B，其示例说明物体在空间的位置与方向。特征点OF拟合出最佳平面PL，最佳平面PL的中心点C可以代表物体在三维空间中的位置(x，y，x)，并且用最佳平面PL的法向量N可以表示物体的方向。
几何限制GC定义于三维空间中，对于刚性物体，特征点OF之间的距离应该是固定的。经过相机矩阵投影至二维影像平面后，所有特征点OF的位置须限制在合理的范围内。
请参照图4A～4B，其示例说明修正特征点OF的坐标。相机矩阵CM不仅可用于计算可移动相机110和可移动物体900的六自由度方位，还可套用三维的几何限制GC，修正特征点OF*投影到二维影像平面的坐标(如图4A所示)或添加缺少的特征点OF**坐标(如图4B所示)。
物体方位计算单元133再以修正后的这些特征点OF’的坐标及其对应的这些相机矩阵CM，计算可移动物体900的六自由度方位OD。对于平面的可移动物体，使用这些特征点OF计算最佳拟合平面。可移动物体900的六自由度方位OD由平面的中心点及法向量定义。对于非平面的可移动物体，可移动物体900的六自由度方位OD由这些特征点OF′的三维坐标的质心定义。
如图2B所示，同时追踪可移动物体900与可移动相机110的六自由度方位的系统100的训练阶段(training stage)ST1包括训练数据生成单元140及神经网络训练单元150，其实施方式例如是电路、芯片、电路板、程序代码、或储存程序代码的储存装置。
神经网络训练单元150用于训练神经网络推论模型MD。神经网络推论模型MD用于推算可移动物体900的特征点OF的位置和序列。在训练数据生成单元140中，训练数据可以是手动标记特征点的位置和序列的影像、或者是自动扩充已标记的影像。请参照图5A～5D，其绘示以手机为例的各种训练数据。在这些附图中，特征点OF由实体荧幕D4的四个内角定义。实体荧幕D4摆放成纵向方向时，顺时针方向从左上角到左下角依序指定为四个特征点OF的顺序。如图5A所示，四个特征点OF依序具有坐标(x1，y1)、坐标(x2，y2)、坐标(x3，y3)、坐标(x4，y4)。即使将实体荧幕D4屏幕旋转到横向，特征点OF的顺序也保持不变(如图5B所示)。在某些情况中，并不是所有的特征点OF都能被拍到。因此，训练数据需要包含一些类似图5C或图5D这种缺漏一些特征点OF的影像。如图5A与图5D所示，特征点标记的动作可以分辨出手机的正面(即荧幕)与背面，而仅在正面进行标记。为了获得较高的精准度，在标记特征点OF时放大每张影像，直到清楚地看到每个像素。由于手动标记的动作非常耗时，因此需要自动扩充才能将训练数据扩展到百万张数等级。对手动标记的影像进行自动扩充的方法包含：按比例缩放与旋转、以透视投影法进行映射、转换到不同的颜色、调整其亮度和对比度、添加移动模糊和杂讯、加上其他物体遮盖某些特征点(如图5C与图5D所示)、变更荧幕显示的内容、或者替换背景等等。再将这些手动标记的特征点OF的位置按照转换关系重新计算在自动扩充的影像中的位置。
请参照图6，其示例说明神经网络在训练阶段的主要结构包含特征提取和特征点坐标预测。其中特征提取器ET可以使用如ResNet这种深度残差网络或其他有类似功能的网络。所提取的特征向量FV传送至特征点坐标预测层FL中，推算特征点OF的坐标(例如目前影像的特征点OF的坐标以Pt表示、前一张影像的特征点OF的坐标以Pt-1表示)。除了特征点预测层之外，本实施例还加上几何限制层GCL和时间限制层TCL以减少错误的预测。在训练阶段，每一层会根据损失函数计算出预测值与真值的损失值LV，然后将这些损失值及其各自的权重进行累加以获得总损失值OLV。
请参照图7，其示例说明在相邻的两张影像之间，特征点位移的计算方式。在目前影像中特征点OF的坐标为Pt，同一特征点OF在前一张影像中的坐标为Pt-1，其间的位移定为||Pt-Pt-1||。
不合理的位移以惩罚值
进行限制。惩罚值
例如是按照下式(1)进行计算。
其中m为所有训练数据针对每个特征点OF所计算出的位移平均值，s是位移标准差，d是同一特征点OF在前一影像与目前影像之间的位移。当d≤m时，位移属于可接受范围内，没有惩罚值(即
)。请参照图8，其示例说明时间限制TC、惩罚值
的计算及判定方法。圆的中心代表在前一张影像中特征点OF的坐标(xt-1，yt-1)，圆的面积代表在目前影像中特征点OF可接受的位移。如果在目前影像中，特征点OF的预测坐标(xt′，yt′)在圆内(位移d′≤m)，则惩罚值
为零。如果在目前影像中特征点OF的预测坐标(xt″，yt″)在圆外(位移d″＞m)，则惩罚值
为
位移超出圆的半径(即m)越多，在训练过程中将会得到较大的惩罚值
和较大的损失值，以此限制特征点OF的坐标在合理范围内。
请参照图9，其示例说明缺少时间限制TC而产生不正确位移的情况。图9的左侧图示为前一影像，右侧图示为目前影像。在前一影像中，辨识出具有坐标(x2，y2)的特征点OF。但在目前影像中，从反光成像中辨识出具有坐标(x′2，y′2)的特征点OF，坐标(x′2，y′2)与坐标(x2，y2)之间的位移大于时间限制TC所设定的范围，故可以判定坐标(x′2，y′2)不正确。
如图2B所示，在追踪阶段ST2，可移动相机110撷取一连串的影像IM。从这些影像中提取数个环境特征点EF，然后将其用于计算可移动相机110的相应的相机矩阵CM和六自由度方位CD。同时，可移动物体900的特征点OF的坐标也被神经网络推论模型MD推算出来，并由相机矩阵CM转换、修正，以获得可移动物体900的六自由度方位OD。
请参照图10，其绘示加入增量学习阶段(incremental learning stage)ST3的同时追踪可移动物体900(标示于图1A)与可移动相机110的六自由度方位的系统200与方法，包含：自动扩增单元260及权重调整单元270，其实施方式例如是电路、芯片、电路板、程序代码、或储存程序代码的储存装置。
在图10的实施例中，神经网络推论模型MD在训练阶段，其训练数据由手动标记和自动扩充组成；而在增量学习阶段，其训练数据由自动标记和自动扩充组成。
在追踪可移动物体900的同时，神经网络推论模型MD在背景执行增量学习。增量学习的训练数据包括：可移动相机110撷取的影像IM及自动扩增单元260根据影像IM自动扩增的影像IM’。自动扩增单元260并以对应影像IM及IM’的修正后的特征点OF的坐标取代手动标记，作为特征点坐标真值。权重调整单元270调整神经网络推论模型MD中的权重，以更新为神经网络推论模型MD’，借此适应使用情境以精准追踪可移动物体900的六自由度方位OD。
此外，请参照图11，其绘示应用于MR眼镜的同时追踪可移动物体900与可移动相机110的六自由度方位的系统300与方法，包括：方位修正单元310、方位稳定单元320、视轴计算单元330、荧幕方位计算单元340及立体影像产生单元350，其实施方式例如是电路、芯片、电路板、程序代码、或储存程序代码的储存装置。方位修正单元310包括交叉比对单元311及修正单元312，其实施方式例如是电路、芯片、电路板、程序代码、或储存程序代码的储存装置。立体影像产生单元350包括影像产生单元351及成像单元352，其实施方式例如是电路、芯片、电路板、程序代码、或储存程序代码的储存装置。
随着可移动相机110和可移动物体900的移动，需要对它们的六自由度方位CD、OD进行交叉比对和修正(如图8所示)。方位修正单元310的交叉比对单元311用于交叉比对可移动物体900的六自由度方位OD与可移动相机110的六自由度方位CD。修正单元312用于修正可移动物体900的六自由度方位OD与可移动相机110的六自由度方位CD。
为减少因头部无意识的轻微晃动，而重新计算可移动相机及可移动物体的六自由度方位，造成虚拟荧幕D2(绘示于图1A)跟着晃动产生晕眩。方位稳定单元320用于判断当可移动物体900的六自由度方位OD或可移动相机110的六自由度方位CD的变动小于预设值时，不改变可移动物体900的六自由度方位OD与可移动相机110的六自由度方位CD。
视轴计算单元330用于根据可移动相机110的六自由度方位CD计算使用者的双眼的视轴。
荧幕方位计算单元340用于根据可移动物体900的六自由度方位OD与可移动相机110的六自由度方位CD计算虚拟荧幕D2的六自由度方位DD，让虚拟荧幕D2随着可移动物体900一起移动(如图1B所示)，或是随着可移动相机110的六自由度方位改变虚拟荧幕D2呈显的视角。
立体影像产生单元350的影像产生单元351用于根据虚拟荧幕D2的六自由度方位DD及立体显示器(例如图1A的MR眼镜G1)的光学参数产生虚拟荧幕D2的左眼影像及右眼影像。立体影像产生单元350的成像单元352用于显示虚拟荧幕D2的立体影像于立体显示器(例如是图1A的MR眼镜G1)。
其中，立体影像产生单元350的成像单元352可以根据使用者设定，将虚拟荧幕D2显示于可移动物体900周围的特定位置。
综上所述，虽然本发明已以实施例公开如上，然其并非用于限定本发明。本发明本领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求所界定者为准。
Claims (20)
1.一种同时追踪可移动物体与可移动相机的多个六自由度方位的方法，其特征在于同时追踪可移动物体与可移动相机的多个六自由度方位的方法包括：
以该可移动相机撷取多张影像，从该些影像中提取多个环境特征点，匹配该些环境特征点计算该可移动相机的多个相机矩阵，再由该些相机矩阵计算该可移动相机的该些六自由度方位；以及
从该可移动相机撷取的该些影像中推算该可移动物体的多个特征点，通过该些影像对应的该些相机矩阵，以及预先定义的几何限制和时间限制，修正该可移动物体的该些特征点的多个坐标，再以修正后的该些特征点的该些坐标及其对应的该些相机矩阵，计算该可移动物体的该些六自由度方位。
2.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中从该可移动相机撷取的该些影像中推算该可移动物体的该些特征点为预先定义，与该可移动相机撷取的该些影像做比对推算该些特征点的该些坐标。
3.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中从该可移动相机撷取的该些影像中推算该可移动物体的该些特征点，并由神经网络推论模型推算该些特征点的该些坐标，该神经网络推论模型为预先训练，训练数据由手动标记和自动扩充组成，在训练过程中加入该几何限制和该时间限制。
4.根据权利要求3所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中在追踪该可移动物体时，该神经网络推论模型在背景执行增量学习，该增量学习的训练数据包括：该可移动相机撷取的该些影像及由该些影像自动扩增的影像，并以对应该些影像的修正后的该些特征点的坐标取代手动标记，调整该神经网络推论模型中的权重，更新该神经网络推论模型以精准推算该可移动物体特征点的坐标。
5.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，还包括：
交叉比对该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位，以修正该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位；
当该可移动物体的该些六自由度方位或该可移动相机的该些六自由度方位的变动小于预设值时，不改变该可移动物体的该些六自由度方位及该可移动相机的该些六自由度方位；
根据该可移动相机的该些六自由度方位计算使用者的双眼的视轴；
根据该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位计算虚拟荧幕的该些六自由度方位；以及
根据该虚拟荧幕的该些六自由度方位及立体显示器的光学参数产生该虚拟荧幕的左眼影像及右眼影像，以显示该虚拟荧幕的立体影像于该立体显示器。
6.根据权利要求5所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中该虚拟荧幕由该使用者设定显示于该可移动物体周围的特定位置，该虚拟荧幕随着该可移动物体一起移动。
7.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中修正该可移动物体的该些特征点的坐标的步骤包括：
使用该些相机矩阵，将该些特征点的二维坐标投影至对应的三维坐标；
依据该几何限制，删除该三维坐标偏差大于预定值的该些特征点，或以相邻特征点的坐标依据该几何限制补充未被侦测到的特征点的坐标；以及
依据该时间限制，比对该些特征点在连续的该些影像中的坐标变化，再以连续的该些影像中对应的该些特征点的坐标修正该坐标变化大于设定值的该些特征点的坐标。
8.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中在计算该可移动物体的该些六自由度方位的步骤中，
对于平面的该可移动物体，使用该些特征点计算拟合平面，该可移动物体的该些六自由度方位由该平面的中心点及法向量定义；
对于非平面的该可移动物体，该可移动物体的该些六自由度方位由该些特征点的三维坐标的质心定义。
9.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中该可移动物体为刚性物体，该可移动相机设置于头戴式立体显示器、移动装置、电脑或机器人上。
10.一种同时追踪可移动物体与可移动相机的多个六自由度方位的系统，其特征在于同时追踪可移动物体与可移动相机的多个六自由度方位的系统包括：
该可移动相机，用于撷取多张影像；
可移动相机六自由度方位计算单元，用于从该些影像中提取多个环境特征点，匹配该些环境特征点计算该可移动相机的多个相机矩阵，再由该些相机矩阵计算该可移动相机的该些六自由度方位；以及
可移动物体六自由度方位计算单元，用于从该可移动相机撷取的该些影像中推算该可移动物体的多个特征点，通过该些影像对应的该些相机矩阵，以及预先定义的几何限制、和时间限制，修正该可移动物体的该些特征点的坐标，再以修正后的该些特征点的坐标及其对应的该些相机矩阵，计算该可移动物体的该些六自由度方位。
11.根据权利要求10所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中该可移动相机六自由度方位计算单元包括：
环境特征撷取单元，用于从该些影像中提取该些环境特征点；
相机矩阵计算单元，为匹配该些环境特征点计算该可移动相机的该些相机矩阵；以及
相机方位计算单元，用该些相机矩阵计算该可移动相机的该些六自由度方位。
12.根据权利要求10所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中该可移动物体六自由度方位计算单元包括：
物体特征推算单元，用于从该可移动相机撷取的该些影像中推算该可移动物体的该些特征点；
物体特征坐标修正单元，用于通过该些张影像对应的该些相机矩阵，以及预先定义的该几何限制和该时间限制，修正该可移动物体的该些特征点的坐标；以及
物体方位计算单元，是以修正后的该些特征点的坐标及其对应的该些相机矩阵，计算该可移动物体的该些六自由度方位。
13.根据权利要求12所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中该物体特征推算单元从该可移动相机撷取的该些影像中推算该可移动物体的该些特征点为预先定义，与该可移动相机撷取的该些影像做比对推算该些特征点的坐标。
14.根据权利要求12所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中该物体特征推算单元从该可移动相机撷取的该些影像中推算该可移动物体的该些特征点，并由神经网络推论模型推算该些特征点的坐标，该神经网络推论模型为预先训练，训练数据由手动标记和自动扩充组成，在训练过程中加入该几何限制和该时间限制。
15.根据权利要求14所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中在追踪该可移动物体时，该神经网络推论模型在背景执行增量学习，该增量学习的训练数据包括：该可移动相机撷取的该些影像及由该些影像自动扩增的影像，并以对应该些影像的修正后的该些特征点的坐标取代手动标记，调整该神经网络推论模型中的权重，更新该神经网络推论模型以精准推算该可移动物体特征点的坐标。
16.根据权利要求10所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，还包括：
方位修正单元，用于交叉比对该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位，以修正该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位；
方位稳定单元，当该可移动物体的该些六自由度方位或该可移动相机的该些六自由度方位的变动小于预设值时，不改变该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位；
视轴计算单元，用于根据该可移动相机的该些六自由度方位计算使用者的双眼的视轴；
荧幕方位计算单元，用于根据该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位计算虚拟荧幕的多个六自由度方位；以及
立体影像产生单元，用于根据该虚拟荧幕的该些六自由度方位及立体显示器的光学参数产生该虚拟荧幕的左眼影像及右眼影像，以显示该虚拟荧幕的立体影像于该立体显示器。
17.根据权利要求16所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中该虚拟荧幕由该使用者设定显示于该可移动物体周围的特定位置，该虚拟荧幕随着该可移动物体一起移动。
18.根据权利要求12所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中该物体特征坐标修正单元
使用该些相机矩阵，将该些特征点的二维坐标投影至对应的三维坐标；并
依据该几何限制，删除该三维坐标偏差大于预定值的该些特征点，或以相邻特征点的坐标依据该几何限制补充未被侦测到的特征点的坐标；以及
依据该时间限制，比对该些特征点于连续的该些影像中的坐标变化，再以连续的该些影像中对应的该些特征点的坐标修正该坐标变化大于设定值的该些特征点的坐标。
19.根据权利要求12所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中该物体方位计算单元
对于平面的该可移动物体，使用该些特征点计算拟合平面，该可移动物体的该些六自由度方位由该平面的中心点及法向量定义；
对于非平面的该可移动物体，该可移动物体的该些六自由度方位由该些特征点的三维坐标的质心定义。
20.根据权利要求10所述的同时追踪可移动物体与可移动相机的该些六自由度方位的系统，其中该可移动物体为刚性物体，该可移动相机设置于头戴式立体显示器、移动装置、电脑或机器人上。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063049161P | 2020-07-08 | 2020-07-08 | |
| US63/049,161 | 2020-07-08 | ||
| TW110114401A TWI793579B (zh) | 2020-07-08 | 2021-04-21 | 同時追蹤可移動物體與可移動相機的六自由度方位之方法與系統 |
| TW110114401 | 2021-04-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113920189A true CN113920189A (zh) | 2022-01-11 |
Family
ID=79172460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110554564.XA Pending CN113920189A (zh) | 2020-07-08 | 2021-05-20 | 同时追踪可移动物体与可移动相机的六自由度方位的方法与系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11506901B2 (zh) |
| CN (1) | CN113920189A (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020255384A1 (ja) * | 2019-06-21 | 2020-12-24 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
| US11879984B2 (en) * | 2021-05-21 | 2024-01-23 | Booz Allen Hamilton Inc. | Systems and methods for determining a position of a sensor device relative to an object |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201303707D0 (en) * | 2013-03-01 | 2013-04-17 | Tosas Bautista Martin | System and method of interaction for mobile devices |
| US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
| CN105988219B (zh) | 2015-03-17 | 2020-11-10 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
| JP6565465B2 (ja) * | 2015-08-12 | 2019-08-28 | セイコーエプソン株式会社 | 画像表示装置、コンピュータープログラム、および画像表示システム |
| US10146334B2 (en) | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Passive optical and inertial tracking in slim form-factor |
| US20190235622A1 (en) | 2016-06-20 | 2019-08-01 | Huawei Technologies Co., Ltd. | Augmented Reality Display Method and Head-Mounted Display Device |
| US10529135B2 (en) | 2016-07-27 | 2020-01-07 | Google Llc | Low-power mode feature identification at a head mounted display |
| US20180224927A1 (en) | 2017-01-18 | 2018-08-09 | Htc Corporation | Positioning apparatus and method |
| US10444865B2 (en) | 2017-05-01 | 2019-10-15 | Google Llc | Tracking of position and orientation of objects in virtual reality systems |
| CN109584295B (zh) | 2017-09-29 | 2022-08-26 | 阿里巴巴集团控股有限公司 | 对图像内目标物体进行自动标注的方法、装置及系统 |
| US10948912B2 (en) | 2017-10-31 | 2021-03-16 | Passion Mobility Ltd. | Automatic following system and method |
| US10545506B2 (en) | 2018-02-14 | 2020-01-28 | Ford Global Technologies, Llc | Methods and apparatus to perform visual odometry using a vehicle camera system |
| US10311833B1 (en) * | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
| US11036284B2 (en) * | 2018-09-14 | 2021-06-15 | Apple Inc. | Tracking and drift correction |
| CN111311632B (zh) | 2018-12-11 | 2023-12-01 | 深圳市优必选科技有限公司 | 一种物体位姿跟踪方法、装置及设备 |
-
2021
- 2021-05-20 CN CN202110554564.XA patent/CN113920189A/zh active Pending
- 2021-07-07 US US17/369,669 patent/US11506901B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20220011579A1 (en) | 2022-01-13 |
| US11506901B2 (en) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108717712B (zh) | 一种基于地平面假设的视觉惯导slam方法 | |
| CN110582798B (zh) | 用于虚拟增强视觉同时定位和地图构建的系统和方法 | |
| US10380763B2 (en) | Hybrid corner and edge-based tracking | |
| KR102562378B1 (ko) | 입력 영상에 포함된 객체의 3차원 포즈를 추정하기 위한 데이터를 생성하는 방법 및 장치와 3차원 포즈 추정을 위한 추론 모델 | |
| JP5291605B2 (ja) | カメラ姿勢推定装置およびカメラ姿勢推定プログラム | |
| US20200175717A1 (en) | Information processing apparatus and method of controlling the same | |
| CN108227920B (zh) | 运动封闭空间追踪方法及追踪系统 | |
| CN105678809A (zh) | 手持式自动跟拍装置及其目标跟踪方法 | |
| CN103914855B (zh) | 一种运动目标的定位方法及装置 | |
| US10438412B2 (en) | Techniques to facilitate accurate real and virtual object positioning in displayed scenes | |
| CN113920189A (zh) | 同时追踪可移动物体与可移动相机的六自由度方位的方法与系统 | |
| CN109785373B (zh) | 一种基于散斑的六自由度位姿估计系统及方法 | |
| US10838515B1 (en) | Tracking using controller cameras | |
| CN112541973B (zh) | 虚实叠合方法与系统 | |
| CN110751685B (zh) | 深度信息确定方法、确定装置、电子装置和车辆 | |
| JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
| CN114615441A (zh) | 校准装置以及校准方法 | |
| CN111680671A (zh) | 一种基于光流的摄像方案自动生成方法 | |
| CN113256718A (zh) | 定位方法和装置、设备及存储介质 | |
| CN112912936A (zh) | 混合现实系统、程序、移动终端装置和方法 | |
| CN112967340A (zh) | 同时定位和地图构建方法、装置、电子设备及存储介质 | |
| TWI793579B (zh) | 同時追蹤可移動物體與可移動相機的六自由度方位之方法與系統 | |
| CN114092668A (zh) | 虚实融合方法、装置、设备及存储介质 | |
| Kim et al. | Implicit 3d modeling and tracking for anywhere augmentation | |
| CN115914841A (zh) | 一种被动式光学运动捕捉方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |