CN111492409A - 用于增强现实远程协助的三维交互的装置和方法 - Google Patents

用于增强现实远程协助的三维交互的装置和方法 Download PDF

Info

Publication number
CN111492409A
CN111492409A CN202080000431.1A CN202080000431A CN111492409A CN 111492409 A CN111492409 A CN 111492409A CN 202080000431 A CN202080000431 A CN 202080000431A CN 111492409 A CN111492409 A CN 111492409A
Authority
CN
China
Prior art keywords
poi
snapshot
indicator
estimated
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080000431.1A
Other languages
English (en)
Other versions
CN111492409B (zh
Inventor
倪一翔
陈燕儿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/820,644 external-priority patent/US11043038B1/en
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN111492409A publication Critical patent/CN111492409A/zh
Application granted granted Critical
Publication of CN111492409B publication Critical patent/CN111492409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种在电子三维(3D)观看环境中跟踪兴趣点(POI)的方法,包括:通过光学传感器捕获并记录现场用户的运动,其中,每个运动包括现场用户周围的图像和现场用户的位姿;向远程用户显示快照,其中,快照是记录的运动之一;从第二用户接收快照中的POI指示符;使用POI指示符数据、从每个记录的运动到快照的运动轨迹以及光学传感器到POI中心之间的距离的估计,估计POI在电子3D观看环境中的3D位置;以及使用POI的估计的3D位置、运动轨迹和记录的运动在电子3D观看环境中渲染和叠加POI指示符,以显示给现场用户。

Description

用于增强现实远程协助的三维交互的装置和方法
技术领域
本发明总体上涉及用于电子三维(3D)观看环境用户交互的方法和系统,以及使用电子3D观看环境用于增强现实远程协助。
背景技术
以前,现场技术人员依靠诸如智能手机和膝上型计算机之类的几种计算设备来安装和维护信息技术(IT)设备。这通常耗费大量时间和精力来同时管理和使用这些多个设备从而访问远程存储的信息,更不用说必须与其他远方人员和主题专家合作的额外困难。在现场技术人员的现场工作中引入增强现实(AR)观看设备(即,AR眼镜、针对AR应用进行配置的智能手机和平板电脑),实时情报、故障排除日志、图形和来自后端系统的加密数据可以被流式传输,并且使现场技术人员可以随时随地进行现场访问,从而显著提高了操作速度和质量。
在复杂的故障排除操作的情况下,位于远程位置的后端工程师可以查看从现场技术人员正在使用的AR观看设备传输到AR操作控制台的流式传输的实时图像。在流式传输的图像显示(以2D)于AR操作控制台中的情况下,后端工程师可以在图像中限定兴趣点(POI),并使POI被跟踪,其中,其指示符叠加在现场技术人员通过她的AR观看设备观看的电子3D观看环境中。这种即时的电子3D交互能力大大提高了操作速度和质量。这种即时的电子3D交互能力大大提高了操作速度和质量。
然而,通过几何校准、特征提取和3D映射在电子3D观看环境中跟踪POI并投射其指示符的当前方法面临着高成本、POI指示符定位准确性和可靠性的挑战。
发明内容
在解决当前现有技术中的上述挑战时,本发明提供了一种允许在电子3D观看环境中限定和跟踪POI的装置和方法,使得可以用于包括增强现实远程协助的各种应用中。本发明的一个目的是提供一种能够以高准确性和可靠性实时跟踪用户限定的POI的装置和方法。本发明的又一个目的是提供一种不需要昂贵的设备(例如高端深度传感器)或数据计算量大的算法的装置和方法。
根据本发明的一个实施例,提供了一种在电子3D观看环境中跟踪POI的方法,该方法包括:捕获并记录现场用户的多个运动(每个运动具有周围图像和位姿);显示快照,其中,快照是记录的运动之一,以允许在快照上限定POI指示符;确定从每个记录的运动到快照的运动轨迹;使用POI指示符数据、记录的运动、从每个记录的运动到快照的运动轨迹以及光学传感器到POI中心(或POI内的任何一个参考点)之间的距离的估计,估计POI在电子3D观看环境中的3D位置;以及使用POI的估计的3D位置、运动轨迹和记录的运动在电子3D观看环境中渲染和叠加POI指示符,以显示给第一用户。
在一个实施例中,估计POI在电子3D观看环境中的3D位置包括:迭代地执行估计过程步骤,包括:估计每个POI像素在快照中每个3D空间深度;使用2D投射坐标和POI像素在快照中的估计的3D空间深度、光学传感器到POI中心之间的估计的距离以及从记录的运动到快照的运动轨迹,估计每个POI像素在记录的运动之一中的2D投射坐标;确定估计误差,该估计误差是记录的运动中的POI像素的估计的2D投射坐标处的所有像素的图像强度与快照中的所有POI像素的图像强度之间的差;继续上述估计过程步骤的迭代,直到找到小于估计误差阈值的估计误差,或执行了最大迭代次数为止;其中,POI在电子3D观看环境中的估计的3D位置是在估计误差小于估计误差阈值或具有最小的估计误差的估计迭代中计算出的POI像素的估计的3D空间坐标。
在另一实施例中,POI指示符包括:在由POI指示符水平/垂直/倾斜平面模板限定的POI指示符3D空间平面上围绕/标记POI的周界内的POI像素的2D投射坐标,其中,该周界限定其中的POI像素的2D投射坐标;以及POI指示符3D空间平面的法线与快照中的y轴(x轴或用作参考方向的任何其他参考轴;但在本发明实施例的整个描述中仅y轴被参考以便简化对本发明的概念的说明)之间的交角;并且其中,快照中每个POI像素的每个3D空间深度的估计的每次迭代使用:POI像素的2D投射坐标、POI指示符3D空间平面的法线与快照中的y轴之间的交角、光学传感器到POI中心之间的距离的估计以及沿法线向量轴与从光学传感器中心到POI中心的向量叉积的估计的旋转角度。
附图说明
在下文中参考附图更详细地描述本发明的实施例,其中:
图1描绘了示出在电子3D观看环境中跟踪POI的常规方法的示意图;
图2描绘了示出根据本发明的各种实施例的用于在电子3D观看环境中跟踪POI的方法的示意图;
图3描绘了流程图,该流程图示出根据本发明的各种实施例的在电子3D观看环境中跟踪POI的方法的过程步骤;
图4示出了根据本发明的一个实施例的在电子3D观看环境中跟踪POI的方法中的快照图像像素的深度估计的计算;
图5A示出了根据本发明的一个实施例的在电子3D观看环境中跟踪POI的方法中,在快照图像POI像素的深度估计中使用POI指示符水平平面模板;
图5B示出了根据本发明的一个实施例的在电子3D观看环境中跟踪POI的方法中,在快照图像POI像素的深度估计中使用POI指示符垂直平面模板;
图5C示出了根据本发明的一个实施例的在电子3D观看环境中跟踪POI的方法中,在快照图像POI像素的深度估计中使用POI指示符倾斜平面模板;
图6进一步示出了根据本发明的一个实施例的在电子3D观看环境中跟踪POI的方法中,在快照图像POI像素的深度估计中使用POI指示符模板;和
图7描绘了根据本发明的各种实施例的用于在电子3D观看环境中跟踪POI的装置的示意图。
具体实施方式
在下面的描述中,作为优选示例阐述了在电子3D观看环境中允许限定POI并跟踪POI的装置和方法等。对于本领域技术人员将显而易见的是,在不脱离本发明的范围和精神的情况下,可以进行包括增加和/或替换的修改。可以省略具体细节,以免使本发明模糊不清。然而,撰写本公开内容是为了使本领域技术人员能够在不进行过多实验的情况下实践本文的教导。
参考图1。在现场服务的实例中,现场用户(即现场技术人员)佩戴一副AR眼镜,该AR眼镜与由远程用户(即后端工程师)观看和控制的分离的AR控制台进行通信。在常规方法下,当本地处理器(即AR眼镜的内置处理器)正在通过光学传感器(即AR眼镜的内置自内向外相机)捕获现场用户周围的实时图像时,具有位姿的快照图像被发送到AR控制台。在捕获实时图像的同时,本地处理器也正在收集深度传感器数据和运动传感器数据。远程用户通过AR控制台在快照图像中限定POI,该快照图像以2D形式显示。POI限定数据(即,在一组未投射光线中–图像像素2D投射坐标数据和/或表示在捕获图像时穿过光学传感器的光学中心的光线的线方程)被发送回本地处理器用于渲染。利用深度传感器数据,本地处理器执行3D映射操作以创建空间图;利用运动传感器数据和实时图像,本地处理器跟踪现场用户的位置;并且一起利用空间图和POI限定数据,本地处理器将POI指示符渲染并叠加(即通过光线投射操作)到现场用户通过其AR眼镜感知到的3D观看环境的当前位姿中。这样,常规方法至少需要深度传感器,这是很昂贵的。3D映射操作也需要大量计算和数据,但准确性较低。
参考图2。根据本发明的各种实施例,该方法与常规方法的不同之处在于本地处理器不需要任何深度传感器数据。相反,记录捕获的周围图像,并利用收集的运动传感器数据估计并记录现场用户的运动轨迹。然后,本地处理器将所记录的图像、所记录的运动轨迹估计以及POI的限定作为输入,以估计POI在3D观看环境的当前位姿中的3D位置。另外,如果使用预定的POI指示符模板创建了POI的限定,则POI在当前位姿中的3D位置的计算可以大大加快,因为POI的像素中的大多数的3D坐标可以通过数学方程计算来估计。
参考图3。根据本发明的一个实施例,提供了一种在电子3D观看环境中跟踪POI的方法,包括:
(301)启动本地处理器,以命令现场用户正在使用的光学传感器开始捕获现场用户周围的图像,并且运动传感器开始收集运动传感器数据以跟踪现场用户的位置;
(302)本地处理器捕获并记录现场用户的n个运动,每个运动包括周围图像,图像i,和位姿,位姿i
(303)本地处理器从远程显示和用户接口设备接收用于限定POI的请求;
(304)本地处理器向远程显示和用户接口设备发送快照(图像n-1和位姿n-1);
(305)远程显示和用户接口设备接收快照中的POI的POI限定,其中,所述POI限定包括快照中的一个或多个POI 2D投射坐标以及对POI指示符模板的选择;然后将POI限定转发给本地处理器;
(306)本地处理器使用接收的POI限定和记录的运动来估计POI在现场用户通过AR观看设备观看的3D观看环境中的3D位置(POI的像素的3D空间坐标);其中,所述确定包括:基于所选择的POI指示符模板,迭代地估计每个POI像素p的3D空间深度Z;在深度估计的每次迭代中确定估计误差;
(307)如果找到最小估计误差(也小于最小估计误差阈值的最小估计误差,或者如果执行最大迭代次数后无法找到小于最小估计误差阈值的估计误差,则就是最小估计误差),则本地处理器使用相应迭代的深度估计、POI限定和所选择的POI指示符模板,以在现场用户通过AR观看设备感知到的当前3D观看环境中渲染和叠加POI指示符。
(308)否则,在达到最大迭代次数之后,选择m个最低估计误差,并使用相应迭代的深度估计及记录的图像中与快照图像最不相似的一个(ImagemaxT)进行渲染和叠加m个相应的POI指示符到3D观看环境中;和
(309)允许用户从m个POI指示符中选择一个作为优化的POI指示符,并渲染和叠加到现场用户通过AR观看设备感知到的当前3D观看环境上。
为了更好地说明POI像素距其2D投射坐标的3D空间深度Z的估计,请参考图4。快照图像中像素的3D空间深度可以通过以下方式估计:
p′=π(T-1π-1(p,Z(p)));
Figure BDA0002432467990000061
其中,p是快照图像图像s(Images)中的POI像素坐标;
p′是记录的图像i,图像i(Imagei),中的POI像素的估计坐标;
Z(p)是POI像素在图像s中的深度估计;
π-1是逆投射函数;
T是从位姿i(Posei)到位姿s(Poses)的运动轨迹的函数;
Is(p)是图像s中坐标p处像素的图像强度;
Ii(p′)是图像i中坐标p′处的像素的图像强度;和
δ是一组POI像素(0…n-1)’坐标的测光误差。
迭代地计算Z(p)函数(所有POI像素的Z(p)),直到找到最小δ(即最小估计)为止,并且计算量很大。
在该实施例中,基于记录的运动中的POI像素的估计的2D投射坐标处的所有像素的图像强度与快照中的所有POI像素的图像强度之间的差来确定估计误差。本领域普通技术人员可以容易地采用其他技术来确定估计误差,而无需过度实验或背离本发明的精神。这些技术包括但不限于使用记录的运动中的POI像素的估计的2D投射坐标处的所有像素和快照中的所有POI像素的图像匹配质量的函数(即反函数),图像匹配质量的函数指示图像之间的不匹配程度。
估计POI中所有像素的3D空间深度(即Z(p)函数)需要大量的计算。为了减少所需的计算资源要求,POI指示符模板用于在快照图像中限定POI。参考图5A-5C。如果POI在快照图像中沿着水平平面出现,例如水平表面或搁置在水平表面(即地板)上的物体,则用户可以选择POI指示符水平平面模板,然后在快照图像中限定沿水平平面围绕/标记POI的周界(即四边形))(即,在显示快照图像的AR控制台的触摸显示屏上,在POI周围绘制四边形框),如图5A所示。用户限定的四边形框的四个角提供了四个POI角像素的2D投射坐标(p1(x1,y1),p2(x2,y2),p3(x3,y3),p4(x4,y4))。获得水平平面四边形框的法线,该法线指向上方或下方,这取决于POI是朝上还是朝下。因此,还获得法线与2D空间y轴(x轴或用作参考方向的任何其他参考轴;但在本发明实施例的整个描述中仅y轴被参考以便简化对本发明的概念的说明)之间的交角,即,对于指向上的法线,交角为0°;对于指向下的法线,交角为180°。对于侧面出现或位于垂直表面上的POI,可以选择POI指示符垂直平面模板。类似地,如图5B所示,用户在快照图像中限定沿垂直平面围绕/标记POI的周界(即,在显示快照图像的AR控制台的触摸显示屏上围绕POI绘制四边形)。同样,四个角提供了四个POI角像素的2D投射坐标(p1(x1,y1),p2(x2,y2),p3(x3,y3),p4(x4,y4));获得垂直平面四边形框的法线,该法线指向光学传感器,向右或是向左,这取决于POI朝向光学传感器的右侧还是左侧;并且,如果POI不朝向光学传感器,则还获得法线与2D空间y轴之间的交角,即对于右指向法线,交角为270°而对于左指向法线,交角为90°。扩展POI指示符水平和垂直平面模板的概念,如图5C所示,POI指示符倾斜平面模板可用于位于法线指向所有可能的2D空间方向之一的任何2D空间平面上的POI,具有任意的交角θ。因此,交角可以被视为使用POI指示符平面模板之一限定的POI的2D空间平面的横摆角。另外,获得了光学传感器中心与POI指示符中心之间的估计距离d,其可由用户指定(即,对于附近的POI为0.2~2米,对于远处的POI为2~10米)。
利用四个POI角像素的2D投射坐标(p1(x1,y1),p2(x2,y2),p3(x3,y3),p4(x4,y4))、法线和2D空间y轴之间的交角θ以及光学传感器中心与POI指示符中心之间的估计距离d,可以进行进一步的计算以获得Z(p)函数。参考图6。在2D空间平面中,可以从p1(x1,y1),p2(x2,y2),p3(x3,y3)和p4(x4,y4)找到POI的中心坐标c(xc,yc)。法线向量可以限定为
Figure BDA0002432467990000081
并且
Figure BDA0002432467990000082
与2D空间y轴之间的交角为:
Figure BDA0002432467990000083
即,当反投射到3D空间时,方向向量
Figure BDA0002432467990000084
和3D空间Y轴之间的交角也等于θ。
利用光学传感器中心和POI指示符中心之间的估计距离d,可以通过解算下式获得
Figure BDA0002432467990000085
Figure BDA0002432467990000086
Figure BDA0002432467990000087
Figure BDA0002432467990000088
其中,(fx,fy)是光学传感器的焦距。
然后通过解算:
Figure BDA0002432467990000089
Figure BDA00024324679900000810
计算
Figure BDA00024324679900000811
其是从点P处的POI像素到POI中心C(或POI内的任何一个参考点)的向量。然后根据
Figure BDA00024324679900000812
计算
Figure BDA00024324679900000813
其是绕POI指示符的3D空间平面的旋转轴
Figure BDA00024324679900000814
旋转点P之后的
Figure BDA00024324679900000815
的新向量,通过下式进行计算:
Figure BDA00024324679900000816
Figure BDA00024324679900000817
Figure BDA00024324679900000818
其中,α是沿着法线向量轴与从光学传感器中心到POI中心的向量叉积的旋转角度。
最后,可以通过下式估计Z(p):
Figure BDA0002432467990000091
其中O是光学传感器的光学中心,
Figure BDA0002432467990000092
是POI像素的2D投射坐标p的未投射光线,而
Figure BDA0002432467990000093
是碰撞器(collider)。
尽管上述实施例利用四边形周界作为围绕/标记POI的POI指示符,但是本领域普通技术人员可以理解,在不进行过度实验或不背离本发明的精神的情况下,也可以容易地采用任何其他周界形状,例如圆形、椭圆形和多边形。
参考图7。根据本发明的各种实施例,提供了一种用于在电子3D观看环境中跟踪POI的设备。该装置包括:本地处理器701(即,在现场用户使用的AR观看设备中);远程处理器702(即,在远程用户使用的位于远程的AR控制台中);与本地处理器701通信的光学传感器703,用于捕获远程用户的周围图像;与本地处理器701通信的一个或多个运动传感器704,用于捕获远程用户的位置和方位;以及AR显示器705(即,AR观看设备的3D显示器,用于向现场用户显示3D观看环境)。本地处理器701包括:位置跟踪模块711,用于处理来自运动传感器704的运动传感器信号数据和来自光学传感器703的图像、生成现场用户在周围和运动轨迹中的位姿和位置的数据并提供实时图像和当前位姿;运动记录器模块712,用于记录来自光学传感器703的图像和来自位置跟踪模块711的用户的运动轨迹数据、响应于来自远程处理器702的请求提供快照图像(从记录的图像获取)并提供记录的图像和记录的运动轨迹数据;3D位置估计模块713,用于处理从远程处理器702接收的POI限定数据、记录的图像和来自运动记录器模块712的记录的运动轨迹数据,从而估计POI的3D位置(POI的像素的3D空间坐标);渲染模块714,用于处理来自3D位置估计模块713的POI的估计的3D位置、从位置跟踪模块711获取实时图像和当前位姿并将POI指示符渲染并叠加到3D观看环境上以由AR显示器705进行显示。远程处理器702包括用户接口模块721,用于提供对POI指示符模板的选择并接收远程用户的POI限定(POI角像素的2D投射坐标)和对POI指示符模板的选择。
本领域普通技术人员可以理解,在不过度实验或不背离本发明的精神的情况下,可以容易地实现包括用于执行和进行不同的前述功能的不同数量的本地和/或远程处理器的各种其他实施例、在其中本地处理器和远程处理是同一处理器的各种其他实施例以及现场用户和远程用户是同一人的其他实施例。
可以使用一个或多个计算设备、计算机处理器或包括但不限于专用集成电路(ASIC)、现场可编程门阵列(FPGA)和根据本公开的教导而特别地被配置或编程的其他可编程逻辑器件的电子电路来实现本文公开的实施例。基于本公开的教导,计算机和电子领域的技术人员可以容易地准备在计算设备、计算机处理器或可编程逻辑器件中执行的机器指令和/或其中的电子电路配置。
前述计算设备、计算机处理器或电子电路可以被并入一个或多个服务器计算机、个人计算机、膝上型计算机、诸如智能电话和平板计算机之类的移动计算设备中。
电子实施例包括其中存储有机器指令和/或电子电路配置数据的瞬态和非瞬态电子存储介质,机器指令和/或电子电路配置数据可以用于配置计算设备、计算机处理器或电子电路以执行本发明的任何过程。存储介质可以包括但不限于软盘、光盘、蓝光盘、DVD、CD-ROM和磁光盘、ROM、RAM、闪存设备或适用于存储指令、代码和/或数据的任何类型的介质或设备。
本发明的各种实施例也可以在分布式计算环境和/或云计算环境中实现,其中,机器指令的全部或部分由通过通信网络(例如内联网、广域网(WAN)、局域网(LAN)、互联网和其他形式的数据传输介质)互连的一个或多个处理设备以分布式方式执行。
为了说明和描述的目的,已经提供了本发明的前述描述。其并非旨在穷举或将本发明限制为所公开的精确形式。许多修改和变化对本领域技术人员而言是显而易见的。
选择和描述实施例是为了最好地解释本发明的原理及其实际应用,从而使本领域的其他技术人员能够理解本发明的各种实施例以及具有适合于所设想的特定用途的各种修改。

Claims (20)

1.一种在电子三维(3D)观看环境中跟踪兴趣点(POI)的方法,包括:
通过电连接到光学传感器和运动传感器的本地处理器捕获并记录第一用户的多个运动,其中,每个运动包括所述第一用户周围的图像和所述第一用户的位姿;
通过远程处理器经由远程用户接口向第二用户显示快照,其中,所述快照是记录的运动之一;
通过所述远程处理器从所述第二用户接收在所述快照中围绕或标记POI的POI指示符;
通过所述远程处理器将所述POI指示符数据发送到所述本地处理器;
通过所述本地处理器,使用所述POI指示符数据、从每个记录的运动到快照的运动轨迹以及所述光学传感器到POI中心之间的距离的估计,估计所述POI在电子3D观看环境中的3D位置;和
通过所述本地处理器,使用所述POI的估计的3D位置、所述运动轨迹和记录的运动,在所述电子3D观看环境中渲染和叠加所述POI指示符,以向所述第一用户显示。
2.根据权利要求1所述的方法,其中,估计所述POI在电子3D观看环境中的3D位置包括:
迭代地执行估计过程步骤,所述估计过程步骤包括:
估计每个POI像素在所述快照中的每个3D空间深度;
使用快照中POI像素的2D投射坐标和快照中POI像素的估计的3D空间深度以及从记录的运动到快照的运动轨迹,估计每个POI像素在记录的运动之一中的估计的2D投射坐标;
确定估计误差;和
继续上述估计过程步骤的迭代,直到找到小于估计误差阈值的估计误差,或者执行了最大迭代次数为止;
其中,所述POI在电子3D观看环境中的估计的3D位置是在估计误差小于估计误差阈值的估计迭代或具有最小的估计误差的估计迭代中计算出的POI像素的估计的3D空间坐标。
3.根据权利要求2所述的方法,
其中,所述POI指示符包括:
在由POI指示符平面模板限定的POI指示符3D空间平面上围绕/标记所述POI的周界内的POI像素的2D投射坐标,其中,所述周界在其中限定POI像素的2D投射坐标;和
所述POI指示符3D空间平面的法线与快照中的参考轴之间的交角;并且
其中,所述快照中每个POI像素的每个3D空间深度的估计的每次迭代使用:
POI像素的2D投射坐标,
POI指示符3D空间平面的法线与快照中的参考轴之间的交角,光学传感器到POI中心之间的距离的估计,以及
沿法线向量轴与从光学传感器中心到所述POI中心的向量叉积的估计的旋转角度。
4.根据权利要求3所述的方法,
其中,所述POI指示符平面为POI指示符水平平面模板;
其中,所述3D空间平面的法线与参考轴之间的交角对于朝上的POI为0°,或者对于朝下的POI为180°;和
其中,所述参考轴是y轴。
5.根据权利要求3所述的方法,
其中,所述POI指示符平面是POI指示符垂直平面模板;
其中,所述法线指向所述光学传感器,或者所述3D空间平面的法线与参考轴之间的交角对于朝右的POI为270°,对于朝左的POI为90°;并且
其中,所述参考轴是y轴。
6.根据权利要求3所述的方法,
其中,所述POI指示符平面是具有指向所有可能的2D空间方向之一的法线的POI指示符倾斜平面模板;
其中,所述3D空间平面的法线与参考轴之间的交角在0°至360°之间;并且
其中,所述参考轴是y轴。
7.根据权利要求3所述的方法,其中,围绕/标记所述POI的周界是四边形。
8.根据权利要求2所述的方法,其中,估计所述POI在电子3D观看环境中的3D位置的估计还包括:选择具有最低估计误差的数个执行的估计迭代;
对于每个选择的估计迭代,使用在选择的估计迭代中计算出的POI像素的估计的3D空间坐标作为所述POI的估计的3D位置及记录的运动中与快照最不相似的一个,进行渲染和叠加所述POI指示符到一个可选择POI的电子3D观看环境中;
接收用户在可选择POI的电子3D观看环境中选择的一个POI指示符;和
使用与所选择的POI指示符对应的POI像素的估计的3D空间坐标作为估计的3D位置,以在所述电子3D观看环境中渲染和叠加POI指示符,以向所述第一用户显示。
9.根据权利要求2所述的方法,其中,所述估计误差是记录的运动中的POI像素的估计的2D投射坐标处的所有像素的图像强度与快照中的所有POI像素的图像强度之间的差。
10.根据权利要求2所述的方法,其中,所述估计误差是记录的运动中的POI像素的估计的2D投射坐标处的所有像素和快照中的所有POI像素的图像匹配质量的函数,所述图像匹配质量的函数指示图像之间的不匹配程度。
11.一种用于在电子三维(3D)观看环境中跟踪兴趣点(POI)的装置,包括:
电连接到光学传感器和运动传感器的本地处理器,所述本地处理器被配置为:
捕获并记录第一用户的多个运动,其中,每个运动包括所述第一用户周围的图像和所述第一用户的位姿;和
远程处理器,所述远程处理器被配置为:
通过远程用户接口向第二用户显示快照,其中,所述快照是记录的运动之一;
从所述第二用户接收在快照中围绕或标记POI的POI指示符;
将POI指示符数据发送到所述本地处理器;
其中,所述本地处理器还被配置为使用所述POI指示符数据、从每个记录的运动到快照的运动轨迹以及所述光学传感器到POI中心之间的距离的估计,估计所述POI在电子3D观看环境中的3D位置;
其中,所述本地处理器还被配置为使用所述POI的估计的3D位置、所述运动轨迹和记录的运动,在所述电子3D观看环境中渲染和叠加所述POI指示符。
12.根据权利要求11所述的装置,其中,估计所述POI在所述电子3D观看环境中的3D位置包括:
迭代地执行估计过程步骤,所述估计过程步骤包括:
估计每个POI像素在所述快照中的每个3D空间深度;
使用快照中POI像素的2D投射坐标和快照中POI像素的估计的3D空间深度以及从记录的运动到快照的运动轨迹,估计每个POI像素在记录的运动之一中的估计的2D投射坐标;
确定估计误差;和
继续上述估计过程步骤的迭代,直到找到小于估计误差阈值的估计误差,或者执行了最大迭代次数为止;
其中,所述POI在电子3D观看环境中的估计的3D位置是在估计误差小于估计误差阈值的估计迭代或具有最小的估计误差的估计迭代中计算出的POI像素的估计的3D空间坐标。
13.根据权利要求12所述的装置,
其中,所述POI指示符包括:
在由POI指示符平面模板限定的POI指示符3D空间平面上围绕/标记所述POI的周界内的POI像素的2D投射坐标,其中,所述周界在其中限定所述POI像素的所述2D投射坐标;和
所述POI指示符3D空间平面的法线与快照中的参考轴之间的交角;并且
其中,所述快照中每个POI像素的每个3D空间深度的估计的每次迭代使用:
POI像素的2D投射坐标,
POI指示符3D空间平面的法线与快照中的参考轴之间的交角,光学传感器到POI中心之间的距离的估计,以及
沿法线向量轴与从光学传感器中心到所述POI中心的向量叉积的估计的旋转角度。
14.根据权利要求13所述的装置,
其中,所述POI指示符平面为POI指示符水平平面模板;
其中,所述3D空间平面的法线与参考轴之间的交角对于朝上的POI为0°,或者对于朝下的POI为180°;和
其中,所述参考轴是y轴。
15.根据权利要求13所述的装置,
其中,所述POI指示符平面是POI指示符垂直平面模板;
其中,所述法线指向所述光学传感器,或者所述3D空间平面的法线与参考轴之间的交角对于朝右的POI为270°,对于朝左的POI为90°;并且
其中,所述参考轴是y轴。
16.根据权利要求13所述的装置,
其中,所述POI指示符平面是具有指向所有可能的2D空间方向之一的法线的POI指示符倾斜平面模板;
其中,所述3D空间平面的法线与参考轴之间的交角在0°至360°之间;并且
其中,所述参考轴是y轴。
17.根据权利要求13所述的装置,其中,围绕/标记所述POI的周界是四边形。
18.根据权利要求12所述的装置,其中,估计所述POI在所述电子3D观看环境中的3D位置的估计还包括:
选择具有最低估计误差的数个执行的估计迭代;
对于每个选择的估计迭代,使用在选择的估计迭代中计算出的POI像素的估计的3D空间坐标作为所述POI的估计的3D位置及记录的运动中与快照最不相似的一个,进行渲染和叠加所述POI指示符到一个可选择POI的电子3D观看环境中;
接收用户在可选择POI的电子3D观看环境中选择的一个POI指示符;和
使用与所选择的POI指示符对应的POI像素的估计的3D空间坐标作为估计的3D位置,以在电子3D观看环境中渲染和叠加POI指示符,以向所述第一用户显示。
19.根据权利要求12所述的装置,其中,所述估计误差是记录的运动中的POI像素的估计的2D投射坐标处的所有像素的图像强度与快照中的所有POI像素的图像强度之间的差。
20.根据权利要求12所述的装置,其中,所述估计误差是记录的运动中的POI像素的估计的2D投射坐标处的所有像素和快照中的所有POI像素的图像匹配质量的函数,所述图像匹配质量的函数指示图像之间的不匹配程度。
CN202080000431.1A 2020-03-16 2020-03-18 用于增强现实远程协助的三维交互的装置和方法 Active CN111492409B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/820,644 2020-03-16
US16/820,644 US11043038B1 (en) 2020-03-16 2020-03-16 Apparatus and method of three-dimensional interaction for augmented reality remote assistance
PCT/CN2020/079868 WO2021184234A1 (en) 2020-03-16 2020-03-18 Apparatus and method of three-dimensional interaction for augmented reality remote assistance

Publications (2)

Publication Number Publication Date
CN111492409A true CN111492409A (zh) 2020-08-04
CN111492409B CN111492409B (zh) 2023-05-02

Family

ID=71813769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080000431.1A Active CN111492409B (zh) 2020-03-16 2020-03-18 用于增强现实远程协助的三维交互的装置和方法

Country Status (1)

Country Link
CN (1) CN111492409B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113615169A (zh) * 2021-05-17 2021-11-05 香港应用科技研究院有限公司 用于扩增现实用户手册的设备和方法
WO2022241644A1 (en) * 2021-05-17 2022-11-24 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for augmented reality user manual

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090040225A1 (en) * 2007-07-20 2009-02-12 Fujitsu Limited Apparatus and method for three-dimensional model retrieval
US20140043322A1 (en) * 2012-08-10 2014-02-13 Nokia Corporation Method and apparatus for displaying interface elements
US20160055676A1 (en) * 2013-04-04 2016-02-25 Sony Corporation Display control device, display control method, and program
CN105659295A (zh) * 2013-09-24 2016-06-08 Metaio有限公司 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090040225A1 (en) * 2007-07-20 2009-02-12 Fujitsu Limited Apparatus and method for three-dimensional model retrieval
US20140043322A1 (en) * 2012-08-10 2014-02-13 Nokia Corporation Method and apparatus for displaying interface elements
US20160055676A1 (en) * 2013-04-04 2016-02-25 Sony Corporation Display control device, display control method, and program
CN105659295A (zh) * 2013-09-24 2016-06-08 Metaio有限公司 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113615169A (zh) * 2021-05-17 2021-11-05 香港应用科技研究院有限公司 用于扩增现实用户手册的设备和方法
CN113615169B (zh) * 2021-05-17 2022-06-10 香港应用科技研究院有限公司 用于扩增现实用户手册的设备和方法
WO2022241644A1 (en) * 2021-05-17 2022-11-24 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for augmented reality user manual

Also Published As

Publication number Publication date
CN111492409B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
WO2021184234A1 (en) Apparatus and method of three-dimensional interaction for augmented reality remote assistance
US11394950B2 (en) Augmented reality-based remote guidance method and apparatus, terminal, and storage medium
US9519968B2 (en) Calibrating visual sensors using homography operators
JP6057298B2 (ja) 迅速な3dモデリング
US20160210785A1 (en) Augmented reality system and method for positioning and mapping
US20190228263A1 (en) Training assistance using synthetic images
US11488354B2 (en) Information processing apparatus and information processing method
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US11416078B2 (en) Method, system and computer program for remotely controlling a display device via head gestures
US11132586B2 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
CN111492409B (zh) 用于增强现实远程协助的三维交互的装置和方法
US20180322671A1 (en) Method and apparatus for visualizing a ball trajectory
Bapat et al. Towards kilo-hertz 6-dof visual tracking using an egocentric cluster of rolling shutter cameras
US10388069B2 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
US11770551B2 (en) Object pose estimation and tracking using machine learning
US11758100B2 (en) Portable projection mapping device and projection mapping system
CN113615169B (zh) 用于扩增现实用户手册的设备和方法
CN116433848B (zh) 屏幕模型生成方法、装置、电子设备和存储介质
Fernández-Rodicio et al. Projection surfaces detection and image correction for mobile robots in HRI
KR20240124277A (ko) 동적 투시를 통한 카메라 추적
Fernández-Rodicio et al. Research Article Projection Surfaces Detection and Image Correction for Mobile Robots in HRI
CN117063206A (zh) 用于在增强现实观看环境中对齐虚拟物体的装置和方法
Yousefi et al. Interactive 3D visualization on a 4K wall-sized display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051415

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant