CN109976523A - 信息处理方法和电子设备 - Google Patents

信息处理方法和电子设备 Download PDF

Info

Publication number
CN109976523A
CN109976523A CN201910226193.5A CN201910226193A CN109976523A CN 109976523 A CN109976523 A CN 109976523A CN 201910226193 A CN201910226193 A CN 201910226193A CN 109976523 A CN109976523 A CN 109976523A
Authority
CN
China
Prior art keywords
equipment
virtual objects
map information
reference frame
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910226193.5A
Other languages
English (en)
Other versions
CN109976523B (zh
Inventor
高立鑫
朱琳
李储存
盛兴东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201910226193.5A priority Critical patent/CN109976523B/zh
Publication of CN109976523A publication Critical patent/CN109976523A/zh
Application granted granted Critical
Publication of CN109976523B publication Critical patent/CN109976523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种信息处理方法和一种电子设备。一种信息处理方法应用于从设备,该方法包括,获得主设备基于周围环境生成的参考地图信息,其中,所述参考地图信息是基于所述主设备建立的参考坐标系生成的,基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数,所述映射参数用于将当前坐标系中的坐标映射为所述参考坐标系中的坐标,以及响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象。

Description

信息处理方法和电子设备
技术领域
本公开涉及一种信息处理方法和电子设备。
背景技术
随着人工智能、自动控制、通信和计算机技术的快速发展,增强现实(AugmentedReality,AR)技术的应用越来越广泛。例如AR眼镜被应用在观影、打游戏等情景中,使得用户有一种身临其境的感觉。
但是,现有的增强现实设备之间不能互相通信,导致不同增强现实设备的用户无法对增强现实场景中的同一对象或者不同的对象进行互动操作。
发明内容
本公开的一个方面提供了一种信息处理方法,应用于从设备,所述方法包括,获得主设备基于周围环境生成的参考地图信息,其中,参考地图信息是基于所述主设备建立的参考坐标系生成的,基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数,所述映射参数用于将当前坐标系中的坐标映射为所述参考坐标系中的坐标,以及响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象。
可选地,响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象包括,响应于接收到所述主设备或其他从设备发送的对虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在当前坐标系中的位姿,控制所述从设备显示所述虚拟对象,或者响应于获取到本地的对虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在参考坐标系中的位姿,以供所述主设备或其他从设备控制显示所述虚拟对象。
可选地,基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数包括,获得所述从设备在当前坐标系中的位姿信息,基于所述参考地图信息和所述从设备获得的当前地图信息,确定所述从设备在参考坐标系下的位姿信息,以及基于所述从设备在参考坐标系下的位姿信息和所述从设备在当前坐标系中的位姿信息,确定所述当前坐标系相对于所述参考坐标系的映射参数。
可选地,参考地图信息包括多张图像的图像特征信息,所述基于所述参考地图信息和所述从设备获得的当前地图信息,确定从设备在参考坐标系下的位姿信息包括,基于所述图像特征信息,从所述多张图像中选择与所述当前地图信息中的第一图像相匹配的第二图像,确定多个特征点分别在所述第一图像和第二图像中的坐标数据,以及基于所述坐标数据,确定从设备在参考坐标系下的位姿信息。
可选地,所述控制显示所述虚拟对象包括以下至少一种,控制所述虚拟对象在特定位置显示、控制当前显示的所述虚拟对象消失、控制所述虚拟对象按照预设规则运动或者控制所述虚拟对象改变状态。
本公开的另一个方面提供了一种电子设备,包括处理器和存储器。存储器用于存储可执行指令,其中,当所述指令被所述处理器执行时,使得所述处理器执行,获得主设备基于周围环境生成的参考地图信息,其中,所述参考地图信息是基于所述主设备建立的参考坐标系生成的,基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数,所述映射参数用于将当前坐标系中的坐标映射为所述参考坐标系中的坐标,以及响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象。
可选地,处理器响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象包括,响应于接收到所述主设备或其他从设备发送的对虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在当前坐标系中的位姿,控制所述从设备显示所述虚拟对象,或者响应于获取到本地的对显示虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在参考坐标系中的位姿,以供所述主设备或其他从设备控制显示所述虚拟对象。
可选地,处理器基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数包括,获得所述从设备在当前坐标系中的位姿信息,基于所述参考地图信息和所述从设备获得的当前地图信息,确定所述从设备在参考坐标系下的位姿信息,以及基于所述从设备在参考坐标系下的位姿信息和所述从设备在当前坐标系中的位姿信息,确定所述当前坐标系相对于所述参考坐标系的映射参数。
可选地,参考地图信息包括多张图像的图像特征信息,所述处理器基于所述参考地图信息和所述从设备获得的当前地图信息,确定从设备在参考坐标系下的位姿信息包括,基于所述图像特征信息,从所述多张图像中选择与所述当前地图信息中的第一图像相匹配的第二图像,确定多个特征点分别在所述第一图像和第二图像中的坐标数据,以及基于所述坐标数据,确定从设备在参考坐标系下的位姿信息。
可选地,所述处理器控制显示所述虚拟对象包括以下至少一种,控制所述虚拟对象在特定位置显示、控制当前显示的所述虚拟对象消失、控制所述虚拟对象按照预设规则运动或者控制所述虚拟对象改变状态。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1A和图1B示意性示出了根据本公开的实施例的信息处理方法的应用场景;
图2示意性示出了根据本公开实施例的信息处理方法的流程图;
图3示意性示出了根据本公开实施例的基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数方法的流程图;
图4示意性示出了根据本公开实施例的基于所述参考地图信息和所述从设备获得的当前地图信息,确定从设备在参考坐标系下的位姿信息的流程图;
图5示意性示出了根据本公开的实施例的信息处理系统的框图;
图6示意性示出了根据本公开的实施例的确定模块的框图;
图7示意性示出了根据本公开的实施例的第一确定子模块的框图;以及
图8示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开的实施例提供了一种信息处理方法,应用于从设备,所述方法包括,获得主设备基于周围环境生成的参考地图信息,其中,所述参考地图信息是基于所述主设备建立的参考坐标系生成的,基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数,所述映射参数用于将当前坐标系中的坐标映射为所述参考坐标系中的坐标,以及响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象。
图1A和图1B示意性示出了根据本公开的实施例的信息处理方法的应用场景。需要注意的是,图1A和图1B所示仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1A所示,用户A1~A5分别佩戴有AR眼镜B1~B5,AR眼镜B1~B5可以根据本发明的信息处理方法实现彼此通信,使用户A1~A5能够对增强现实场景中的同一对象或者不同的对象进行互动操作。例如,用户A1~A5可以分别通过AR眼镜B1~B5观看到图1B所示的增强现实场景。若用户A1控制图1B所示的增强现实场景中的玩具汽车从桌子上移动到了地上,则AR眼镜B2~B5可以通过与AR眼镜B1通信获得到控制玩具汽车从桌子上移动到地上的指令,并执行该指令,使得用户A2~A5也能够观看到玩具汽车从桌子上移动到了地上。
可以理解,虽然这里示出了五个增强现实设备(即AR眼镜),但本发明的实施例可以应用于更多或更少的增强现实设备。另外,虽然这里示出了任一增强现实设备与其他的增强现实设备彼此通信,但任一增强现实设备也可以和其他一个、两个、或三个增强现实设备彼此通信。通过本发明的实施例,可以实现多个增强现实设备之间的信息交互、信息共享、协同工作等。
同样也可以理解的是,虽然这里示出了AR眼镜可以根据本发明的信息处理方法来彼此通信,但是本发明的实施例可以应用于其他增强现实设备,并不限于AR眼镜。
下面参考图2~4说明根据本发明的实施例的信息处理方法。
图2示意性示出了根据本公开实施例的信息处理方法的流程图。
如图2所示,该方法包括操作S210~S230。
在操作S210,获得主设备基于周围环境生成的参考地图信息,其中,所述参考地图信息是基于所述主设备建立的参考坐标系生成的。
在操作S220,基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数,所述映射参数用于将当前坐标系中的坐标映射为所述参考坐标系中的坐标。
在操作S230,响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象。
根据本公开实施例的信息处理方法可以使得多个增强现实设备具有统一的坐标系,从而能够实现多个增强现实设备之间互相通信的技术效果。
根据本公开的实施例,该方法可以应用于从设备。例如,在图1A所示的情景中,主设备例如可以是AR眼镜B1,从设备例如可以是AR眼镜B2~B5。从设备AR眼镜B2~B5可以执行根据本公开实施例的信息处理方法。
根据本公开的实施例,主设备例如可以是用户从多个AR设备中任意选择出来的,或者也可以是多个AR设备组成的系统默认的。例如,在图1A所示的情景中,AR设备B1~B5组成的系统中默认主设备为AR眼镜B1。
根据本公开的实施例,在操作S210,例如可以是从设备接收主设备发送的基于周围环境生成的参考地图信息,或者也可以是从云端获得主设备基于周围环境生成的参考地图信息。参考地图信息例如可以包括主设备扫描周围环境生成的图像特征信息、周围环境中特征点的坐标数据、主设备在不同时刻在参考坐标系中的位姿信息等等。
根据本公开的实施例,在操作S220中,根据本公开的实施例,例如可以根据主设备的参考地图信息和从设备的参考地图信息确定映射参数。其中,映射参数例如可以是当前坐标系中的坐标点变换到参考坐标系的变换矩阵。例如,当前坐标系和参考坐标系为笛卡尔坐标系,将当前坐标系中的坐标点A乘以变换矩阵,便可以得到坐标点A在参考坐标系中对应的坐标。
下面结合图3和图4说明根据本公开实施例的操作S220的实施方式。
图3示意性示出了根据本公开实施例的操作S220基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数方法的流程图。
如图3所示,该方法包括操作S310~S330。
在操作S310,获得所述从设备在当前坐标系中的位姿信息。
在操作S320,基于所述参考地图信息和所述从设备获得的当前地图信息,确定所述从设备在参考坐标系下的位姿信息。
在操作S330,基于所述从设备在参考坐标系下的位姿信息和所述从设备在当前坐标系中的位姿信息,确定所述当前坐标系相对于所述参考坐标系的映射参数。
根据本公开的实施例,在操作S310,例如可以是从设备在初始位置进行初始化,以确定当前坐标系。然后从初始位置开始移动,在移动过程中例如可以通过摄像头采集多张图像,完成对周围环境的扫描。根据本公开的实施例,从设备例如可以根据采集到的多张图像,通过SLAM(Simultaneous Localization And Mapping,即时定位与地图构建)算法确定从设备在不同时刻在当前坐标系中的位姿信息。
根据本公开的实施例,在操作S320,参考地图信息例如是主设备通过扫描周围环境生成的,参考地图信息例如可以包括周围环境中的多个特征点在参考坐标系中的坐标。从设备获得的当前地图信息例如可以包括周围环境中的多个特征点在当前坐标系中的坐标。根据多个特征点分别在参考坐标系中的坐标和当前坐标系中的坐标,确定从设备在参考坐标系下的位姿信息。
图4示意性示出了根据本公开实施例的操作S320基于所述参考地图信息和所述从设备获得的当前地图信息,确定从设备在参考坐标系下的位姿信息的流程图。
如图4所示,该方法包括操作S410~S430。在该方法中参考地图信息包括多张图像的图像特征信息。
在操作S410,基于所述图像特征信息,从所述多张图像中选择与所述当前地图信息中的第一图像相匹配的第二图像。
在操作S420,确定多个特征点分别在所述第一图像和第二图像中的坐标数据。
在操作S430,基于所述坐标数据,确定从设备在参考坐标系下的位姿信息。
根据本公开的实施例,参考地图信息包括多张图像的图像特征信息。例如主设备从初始位置开始移动,在移动过程中采集多张图像,该多张图像生成各自对应的图像特征信息。
根据本公开的实施例,在操作S410,将主设备获得的多张图像分别对应的图像特征信息与从设备获得的多张图像分别对应的图像特征信息进行比对,确定出图像特征信息的相似度大于预设值的两张图像,该两张图像分别由主设备和从设备采集得到。根据本公开的实施例,预设值例如可以是90%、95%等。
根据本公开的实施例,在操作S420,确定第一图像和第二图像中的多个特征点,并确定该多个特征点分别在第一图像和第二图像中的坐标数据。根据本公开的实施例,特征点的数量例如可以是大于20个。
根据本公开的实施例,在操作S430,例如可以是根据多个特征点的坐标数据,确定从设备采集第一图像时与主设备采集第二图像时的位姿的差异,从而确定出从设备采集第一图像时在参考坐标系下的位姿信息。
返回参考图3,根据本公开的实施例,在操作S330,例如可以根据从设备在采集到第一图像时在当前坐标系中的位姿信息和采集到第一图像时在参考坐标系中的位姿信息,确定所述当前坐标系相对于所述参考坐标系的映射参数。
返回参考图2,根据本公开的实施例,在操作S230,对虚拟对象的操作指令,例如可以是控制虚拟对象显示、控制虚拟对象移动、控制虚拟对象消失等等。
根据本公开的实施例,在操作S230,响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象包括,响应于接收到所述主设备或其他从设备发送的对虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在当前坐标系中的位姿,控制所述从设备显示所述虚拟对象。
下面以图1所示的情景中的AR眼镜B2为从设备,AR眼镜B1为主设备,AR眼镜B3~B5为其他从设备为例说明该实施例。从设备AR眼镜B2接收到主设备AR眼镜B1或者其他从设备AR眼镜B3~B5发送的对虚拟对象的操作指令,从设备AR眼镜B2基于映射参数,控制显示虚拟对象。该操作指令例如可以包括虚拟对象在参考坐标系中的坐标,映射参数例如可以是参考坐标系变换为当前坐标系的变换矩阵。从设备AR眼镜B2基于映射参数,控制显示虚拟对象,例如可以是从设备AR眼镜B2将虚拟对象在参考坐标系中的坐标乘以映射参数,得到虚拟对象在当前坐标系中的坐标,以及根据虚拟对象在当前坐标系中的坐标,控制从设备显示虚拟对象。
例如,从设备接收到“在公路的M位置显示车辆”,从设备根据该M位置和变换矩阵得到M位置在从设备的当前坐标系中的坐标,并在该位置显示车辆。
根据本公开的实施例,在操作S230,响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象包括,响应于获取到本地的对显示虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在参考坐标系中的位姿,以供所述主设备或其他从设备控制显示所述虚拟对象。
下面以图1所示的情景中的AR眼镜B2为从设备,AR眼镜B1为主设备,AR眼镜B3~B5为其他从设备为例说明该实施例。从设备AR眼镜B2响应于用户对该从设备AR眼镜B2的输入操作,生成对虚拟对象的操作指令,该操作指令例如可以包括虚拟对象在当前坐标系中的坐标。从设备AR眼镜B2根据映射参数,将虚拟对象在当前坐标系中的坐标转换成在参考坐标系中的坐标,以及例如可以是从设备AR眼镜B2用虚拟对象在参考坐标系中的坐标替换操作指令中的虚拟对象在当前坐标系中的坐标,生成新的操作指令,并将该新的操作指令发送到主设备AR眼镜B1或者其他从设备AR眼镜B3~B5,使主设备AR眼镜B1或者其他从设备AR眼镜B3~B5根据新的操作指令控制显示虚拟对象。
例如,从设备在本地生成的操作指令为“在(x0,y0,z0)位置设置草丛”,从设备根据映射参数,将(x0,y0,z0)转换为在参考坐标系中的坐标(x1,y1,z1),以及从设备将指令“在(x1,y1,z1)位置设置草丛”发送到主设备或者其他从设备。
根据本公开的实施例,在操作S230,控制显示所述虚拟对象包括控制所述虚拟对象在特定位置显示。例如,控制虚拟对象花朵显示在桌面的中心位置。
根据本公开的实施例,在操作S230,控制显示所述虚拟对象包括控制当前显示的所述虚拟对象消失。例如,控制桌面中心位置的虚拟对象花朵消失。
根据本公开的实施例,在操作S230,控制显示所述虚拟对象包括控制所述虚拟对象按照预设规则运动。例如,控制桌面上的花朵做旋转运动。又例如,控制桌面中心位置的虚拟对象机器人跳跃到地面上。
根据本公开的实施例,在操作S230,控制显示所述虚拟对象包括控制所述虚拟对象改变状态。例如,控制虚拟对象机器人由透明显示变成不透明显示。
图5示意性示出了根据本公开的实施例的信息处理系统500的框图。
如图5所示,信息处理系统500包括获得模块510、确定模块520、响应模块530。该信息处理系统500可以执行上面参考图2~图4描述的方法,以实现多个增强现实设备之间的通信。
获得模块510,例如执行上文参考图2描述的操作S210,用于获得主设备基于周围环境生成的参考地图信息,其中,所述参考地图信息是基于所述主设备建立的参考坐标系生成的。
确定模块520,例如执行上文参考图2描述的操作S220,用于基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数,所述映射参数用于将当前坐标系中的坐标映射为所述参考坐标系中的坐标。
响应模块530,例如执行上文参考图2描述的操作S230,用于响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象。
根据本公开的实施例,响应模块530响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象包括,响应于接收到所述主设备或其他从设备发送的对虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在当前坐标系中的位姿,控制所述从设备显示所述虚拟对象。或者,响应于获取到本地的对显示虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在参考坐标系中的位姿,以供所述主设备或其他从设备控制显示所述虚拟对象。
根据本公开的实施例,响应模块530控制显示所述虚拟对象包括以下至少一种,控制所述虚拟对象在特定位置显示、控制当前显示的所述虚拟对象消失、控制所述虚拟对象按照预设规则运动或者控制所述虚拟对象改变状态。
图6示意性示出了根据本公开的实施例的确定模块520的框图。
如图6所示,确定模块520包括获得子模块521、第一确定子模块522、第二确定子模块523。
获得子模块521,例如执行上文参考图3描述的操作S310,用于获得所述从设备在当前坐标系中的位姿信息。
第一确定子模块522,例如执行上文参考图3描述的操作S320,用于基于所述参考地图信息和所述从设备获得的当前地图信息,确定所述从设备在参考坐标系下的位姿信息。
第二确定子模块523,例如执行上文参考图3描述的操作S330,用于基于所述从设备在参考坐标系下的位姿信息和所述从设备在当前坐标系中的位姿信息,确定所述当前坐标系相对于所述参考坐标系的映射参数。
图7示意性示出了根据本公开的实施例的第一确定子模块522的框图。
如图7所示,第一确定子模块522包括选择单元710、第一确定单元720、第二确定单元730。
选择单元710,例如执行上文参考图4描述的操作S410,用于基于所述图像特征信息,从所述多张图像中选择与所述当前地图信息中的第一图像相匹配的第二图像。
第一确定单元720,例如执行上文参考图4描述的操作S420,用于确定多个特征点分别在所述第一图像和第二图像中的坐标数据。
第二确定单元730,例如执行上文参考图4描述的操作S430,用于基于所述坐标数据,确定从设备在参考坐标系下的位姿信息。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,获得模块510、确定模块520以及响应模块530中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,获得模块510、确定模块520以及响应模块530中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获得模块510、确定模块520以及响应模块530中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图8示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。图8示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,电子设备800包括处理器810、计算机可读存储介质820。该电子设备800可以执行根据本公开实施例的方法。
具体地,处理器810例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器810还可以包括用于缓存用途的板载存储器。处理器810可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质820,例如可以是非易失性的计算机可读存储介质,具体示例包括但不限于:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;等等。
计算机可读存储介质820可以包括计算机程序821,该计算机程序821可以包括代码/计算机可执行指令,其在由处理器810执行时使得处理器810执行根据本公开实施例的方法或其任何变形。
计算机程序821可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序821中的代码可以包括一个或多个程序模块,例如包括821A、模块821B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器810执行时,使得处理器810可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例,获得模块510、确定模块520以及响应模块530中的至少一个可以实现为参考图8描述的计算机程序模块,其在被处理器810执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种信息处理方法,应用于从设备,所述方法包括:
获得主设备基于周围环境生成的参考地图信息,其中,所述参考地图信息是基于所述主设备建立的参考坐标系生成的;
基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数,所述映射参数用于将当前坐标系中的坐标映射为所述参考坐标系中的坐标;以及
响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象。
2.根据权利要求1所述的方法,其中,所述响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象包括:
响应于接收到所述主设备或其他从设备发送的对虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在当前坐标系中的位姿,控制所述从设备显示所述虚拟对象;或者
响应于获取到本地的对显示虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在参考坐标系中的位姿,以供所述主设备或其他从设备控制显示所述虚拟对象。
3.根据权利要求1所述的方法,其中,基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数包括:
获得所述从设备在当前坐标系中的位姿信息;
基于所述参考地图信息和所述从设备获得的当前地图信息,确定所述从设备在参考坐标系下的位姿信息;以及
基于所述从设备在参考坐标系下的位姿信息和所述从设备在当前坐标系中的位姿信息,确定所述当前坐标系相对于所述参考坐标系的映射参数。
4.根据权利要求3所述的方法,其中,所述参考地图信息包括多张图像的图像特征信息,所述基于所述参考地图信息和所述从设备获得的当前地图信息,确定从设备在参考坐标系下的位姿信息包括:
基于所述图像特征信息,从所述多张图像中选择与所述当前地图信息中的第一图像相匹配的第二图像;
确定多个特征点分别在所述第一图像和第二图像中的坐标数据;以及
基于所述坐标数据,确定从设备在参考坐标系下的位姿信息。
5.根据权利要求1所述的方法,其中,所述控制显示所述虚拟对象包括以下至少一种:
控制所述虚拟对象在特定位置显示、控制当前显示的所述虚拟对象消失、控制所述虚拟对象按照预设规则运动或者控制所述虚拟对象改变状态。
6.一种电子设备,包括:
处理器;以及
存储器,用于存储可执行指令,其中,当所述指令被所述处理器执行时,使得所述处理器执行:
获得主设备基于周围环境生成的参考地图信息,其中,所述参考地图信息是基于所述主设备建立的参考坐标系生成的;
基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数,所述映射参数用于将当前坐标系中的坐标映射为所述参考坐标系中的坐标;以及
响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象。
7.根据权利要求6所述的电子设备,其中,所述处理器响应于获取到对虚拟对象的操作指令,基于所述映射参数,控制显示所述虚拟对象包括:
响应于接收到所述主设备或其他从设备发送的对虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在当前坐标系中的位姿,控制所述从设备显示所述虚拟对象;或者
响应于获取到本地的对虚拟对象的操作指令,基于所述映射参数,确定所述虚拟对象在参考坐标系中的位姿,以供所述主设备或其他从设备控制显示所述虚拟对象。
8.根据权利要求6所述的电子设备,其中,所述处理器基于所述参考地图信息,确定所述从设备建立的当前坐标系相对于所述参考坐标系的映射参数包括:
获得所述从设备在当前坐标系中的位姿信息;
基于所述参考地图信息和所述从设备获得的当前地图信息,确定所述从设备在参考坐标系下的位姿信息;以及
基于所述从设备在参考坐标系下的位姿信息和所述从设备在当前坐标系中的位姿信息,确定所述当前坐标系相对于所述参考坐标系的映射参数。
9.根据权利要求8所述的电子设备,其中,所述参考地图信息包括多张图像的图像特征信息,所述处理器基于所述参考地图信息和所述从设备获得的当前地图信息,确定从设备在参考坐标系下的位姿信息包括:
基于所述图像特征信息,从所述多张图像中选择与所述当前地图信息中的第一图像相匹配的第二图像;
确定多个特征点分别在所述第一图像和第二图像中的坐标数据;以及
基于所述坐标数据,确定从设备在参考坐标系下的位姿信息。
10.根据权利要求6所述的电子设备,其中,所述处理器控制显示所述虚拟对象包括以下至少一种:
控制所述虚拟对象在特定位置显示、控制当前显示的所述虚拟对象消失、控制所述虚拟对象按照预设规则运动或者控制所述虚拟对象改变状态。
CN201910226193.5A 2019-03-22 2019-03-22 信息处理方法和电子设备 Active CN109976523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910226193.5A CN109976523B (zh) 2019-03-22 2019-03-22 信息处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910226193.5A CN109976523B (zh) 2019-03-22 2019-03-22 信息处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN109976523A true CN109976523A (zh) 2019-07-05
CN109976523B CN109976523B (zh) 2021-05-18

Family

ID=67080440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910226193.5A Active CN109976523B (zh) 2019-03-22 2019-03-22 信息处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN109976523B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717994A (zh) * 2019-10-21 2020-01-21 联想(北京)有限公司 远程视频交互的实现方法及相关设备
CN110866977A (zh) * 2019-10-31 2020-03-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111077999A (zh) * 2019-11-14 2020-04-28 联想(北京)有限公司 一种信息处理方法、设备及系统
CN111917918A (zh) * 2020-07-24 2020-11-10 腾讯科技(深圳)有限公司 基于增强现实的事件提醒管理方法、装置以及存储介质
CN112650422A (zh) * 2020-12-17 2021-04-13 咪咕文化科技有限公司 设备的ar交互方法、装置、电子设备及存储介质
WO2021104032A1 (zh) * 2019-11-27 2021-06-03 Oppo广东移动通信有限公司 数据处理方法、装置、用户设备及增强现实系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520904A (zh) * 2009-03-24 2009-09-02 上海水晶石信息技术有限公司 带有现实环境估算的增强现实的方法及其系统
CN102792339A (zh) * 2010-03-17 2012-11-21 索尼公司 信息处理装置、信息处理方法以及程序
US20140240444A1 (en) * 2013-02-27 2014-08-28 Zugara, Inc. Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space
CN107657589A (zh) * 2017-11-16 2018-02-02 上海麦界信息技术有限公司 基于三基准点标定的手机ar定位坐标轴同步方法
CN109087359A (zh) * 2018-08-30 2018-12-25 网易(杭州)网络有限公司 位姿确定方法、位姿确定装置、介质和计算设备
CN109126121A (zh) * 2018-06-01 2019-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520904A (zh) * 2009-03-24 2009-09-02 上海水晶石信息技术有限公司 带有现实环境估算的增强现实的方法及其系统
CN102792339A (zh) * 2010-03-17 2012-11-21 索尼公司 信息处理装置、信息处理方法以及程序
US20140240444A1 (en) * 2013-02-27 2014-08-28 Zugara, Inc. Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space
CN107657589A (zh) * 2017-11-16 2018-02-02 上海麦界信息技术有限公司 基于三基准点标定的手机ar定位坐标轴同步方法
CN109126121A (zh) * 2018-06-01 2019-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质
CN109087359A (zh) * 2018-08-30 2018-12-25 网易(杭州)网络有限公司 位姿确定方法、位姿确定装置、介质和计算设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717994A (zh) * 2019-10-21 2020-01-21 联想(北京)有限公司 远程视频交互的实现方法及相关设备
CN110866977A (zh) * 2019-10-31 2020-03-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
WO2021082801A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111077999A (zh) * 2019-11-14 2020-04-28 联想(北京)有限公司 一种信息处理方法、设备及系统
WO2021104032A1 (zh) * 2019-11-27 2021-06-03 Oppo广东移动通信有限公司 数据处理方法、装置、用户设备及增强现实系统
CN111917918A (zh) * 2020-07-24 2020-11-10 腾讯科技(深圳)有限公司 基于增强现实的事件提醒管理方法、装置以及存储介质
CN111917918B (zh) * 2020-07-24 2021-09-21 腾讯科技(深圳)有限公司 基于增强现实的事件提醒管理方法、装置以及存储介质
CN112650422A (zh) * 2020-12-17 2021-04-13 咪咕文化科技有限公司 设备的ar交互方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109976523B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN109976523A (zh) 信息处理方法和电子设备
US11043031B2 (en) Content display property management
KR102494795B1 (ko) 상이한 비디오 데이터 스트림들 내의 상이한 유리한 지점들로부터 표현된 가상 오브젝트 및 실세계 오브젝트에 기초하여 병합된 현실 장면을 생성하기 위한 방법들 및 시스템들
CN105050670B (zh) 混合现实体验共享
US9429912B2 (en) Mixed reality holographic object development
CN105518574B (zh) 用于混合现实分级信息递送的方法和系统
CN105051648B (zh) 混合现实过滤
US9551871B2 (en) Virtual light in augmented reality
CN103761085B (zh) 混合现实全息对象开发
CN105981076B (zh) 合成增强现实环境的构造
EP1883052B1 (en) Generating images combining real and virtual images
CN109313470A (zh) 利用重新投影的锐利文本绘制
CN110663012B (zh) 用于定制虚拟现实数据的方法和系统
Veas et al. Extended overview techniques for outdoor augmented reality
CN116210019A (zh) 用于组织和共享目的地位置的界面
EP2887322A1 (en) Mixed reality holographic object development
WO2013009815A2 (en) Methods and systems for social overlay visualization
US9588651B1 (en) Multiple virtual environments
CN116325663A (zh) 用于标识地理位置的增强现实内容生成器
CN116261710A (zh) 用于目的地活动的增强现实内容生成器
CN116964547A (zh) 用于浏览目的地的增强现实内容生成器
CN116091676B (zh) 虚拟对象的面部渲染方法及点云特征提取模型的训练方法
US11238657B2 (en) Augmented video prototyping
US11315306B2 (en) Systems and methods for processing volumetric data
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant