CN111161350B - 位置信息及位置关系确定方法、位置信息获取装置 - Google Patents
位置信息及位置关系确定方法、位置信息获取装置 Download PDFInfo
- Publication number
- CN111161350B CN111161350B CN201911311616.XA CN201911311616A CN111161350B CN 111161350 B CN111161350 B CN 111161350B CN 201911311616 A CN201911311616 A CN 201911311616A CN 111161350 B CN111161350 B CN 111161350B
- Authority
- CN
- China
- Prior art keywords
- camera
- angle
- positioning device
- dimensional
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
一种位置信息确定方法、位置关系确定方法、三维空间建模方法、位置信息获取装置和存储介质,该位置信息确定方法包括:获取相机拍摄的三维空间的全景图像的第一平面切图;根据第一平面切图,确定定位装置与相机之间的相对位置关系,定位装置用于在相机拍摄时记录相机在三维空间内的第一位置信息;以及根据第一位置信息和相对位置关系,确定拍摄时相机在三维空间内的第二位置信息。
Description
技术领域
本公开的实施例涉及一种位置信息确定方法、位置关系确定方法、三维空间建模方法、位置信息获取装置和存储介质。
背景技术
在房屋租赁、买卖及装修等领域,房屋的二维户型图(即平面户型图) 以及三维户型图是很重要的信息。二维户型图能让用户对房屋的功能间划分有清晰的认知,用户也可直观地看到各个功能间的面积、尺寸等信息。三维户型图在二维户型图的基础上,可以让用户进一步了解各个功能间的内部结构,使用户可以直观地看到各个功能间内的陈设、布局等信息。由此,用户无需进行实地看房便可以了解房屋的情况,进而提高例如房屋租赁、买卖及装修的效率。
发明内容
本公开至少一个实施例提供一种位置信息确定方法,包括:获取相机拍摄的三维空间的全景图像的第一平面切图;根据所述第一平面切图,确定定位装置与所述相机之间的相对位置关系,其中,所述定位装置用于在所述相机拍摄时记录所述相机在所述三维空间内的第一位置信息;以及根据所述第一位置信息和所述相对位置关系,确定拍摄时所述相机在所述三维空间内的第二位置信息。
本公开至少一个实施例还提供一种位置关系确定方法,包括:获取相机拍摄的多个三维空间中至少一个三维空间的全景图像的第一平面切图;根据所述至少一个三维空间的全景图像的第一平面切图,确定定位装置与所述相机之间的相对位置关系,其中,所述定位装置用于在所述相机拍摄时记录所述相机在所述多个三维空间内的第一位置信息;以及根据所述第一位置信息和所述相对位置关系,确定拍摄时所述相机在所述多个三维空间内的第二位置信息,以基于所述多个三维空间中每个三维空间的全景图像,确定所述多个三维空间的位置关系。
例如,在本公开一实施例提供的位置关系确定方法中,在获取所述相机拍摄的所述多个三维空间中至少一个三维空间的全景图像的第一平面切图之前,所述方法还包括:采用所述相机拍摄所述多个三维空间中每个三维空间的全景图像,并且在所述相机拍摄时采用所述定位装置记录所述相机在所述多个三维空间内的所述第一位置信息。
例如,在本公开一实施例提供的位置关系确定方法中,所述第一位置信息包括在所述多个三维空间内的第一欧拉角,所述第二位置信息包括在所述多个三维空间内的第二欧拉角;根据所述至少一个三维空间的全景图像的第一平面切图,确定所述定位装置与所述相机之间的所述相对位置关系,包括:根据所述第一平面切图,确定所述第一欧拉角与所述第二欧拉角在第一平面上的相对角度;其中,所述第一平面切图为所述全景图像对应于所述第一平面的切图。
例如,在本公开一实施例提供的位置关系确定方法中,根据所述第一平面切图,确定所述第一欧拉角与所述第二欧拉角在所述第一平面上的所述相对角度,包括:从所述第一平面切图中提取包括所述定位装置的投影的图像;通过图像处理方法,根据所述图像确定所述定位装置的投影的外部轮廓的主方向;以及计算所述定位装置的投影的外部轮廓的主方向与所述第一平面切图的水平方向之间的夹角,以确定所述第一欧拉角与所述第二欧拉角在所述第一平面上的所述相对角度。
例如,在本公开一实施例提供的位置关系确定方法中,所述定位装置面向所述相机的一侧的表面包括用于图像识别的长条状色块,所述长条状色块的延伸方向基本平行于所述定位装置面向所述相机的一侧的表面的外部轮廓的主方向;通过图像处理方法,根据所述图像确定所述定位装置的投影的外部轮廓的主方向,包括:从所述图像中识别出所述长条状色块的投影;以及计算所述长条状色块的投影的外部轮廓,并确定所述长条状色块的投影的外部轮廓的主方向以作为所述定位装置的投影的外部轮廓的主方向。
例如,在本公开一实施例提供的位置关系确定方法中,所述定位装置具有显示屏幕,且被配置为在所述显示屏幕提供包括所述长条状色块的显示画面。
例如,在本公开一实施例提供的位置关系确定方法中,所述第一位置信息还包括第一指南针角度,所述第二位置信息还包括第二指南针角度,所述第一指南针角度与所述第二指南针角度之间的相对角度为所述第一欧拉角与所述第二欧拉角在所述第一平面上的相对角度。
例如,在本公开一实施例提供的位置关系确定方法中,所述第一位置信息还包括在所述多个三维空间内的第一位移向量,所述第二位置信息还包括在所述多个三维空间内的第二位移向量,所述第一位移向量与所述第二位移向量相同。
例如,在本公开一实施例提供的位置关系确定方法中,在采用所述相机拍摄所述多个三维空间中每个三维空间的全景图像时,所述定位装置与所述相机之间的所述相对位置关系保持不变。
例如,在本公开一实施例提供的位置关系确定方法中,根据所述至少一个三维空间的全景图像的第一平面切图,确定所述定位装置与所述相机之间的所述相对位置关系,还包括:在获取所述相机拍摄的所述多个三维空间中至少两个三维空间的全景图像的第一平面切图时,取根据所述至少两个三维空间的全景图像的第一平面切图确定的相对角度的平均值。
例如,本公开一实施例提供的位置关系确定方法还包括:基于所述多个三维空间中每个三维空间的全景图像,分别获取每个三维空间的全景图像的平面轮廓;基于拍摄时所述相机在所述多个三维空间内的所述第二位置信息,将每个三维空间的全景图像的平面轮廓的点坐标转换到同一坐标系中;以及基于所述同一坐标系,获取所述多个三维空间的链接关系。
例如,在本公开一实施例提供的位置关系确定方法中,所述三维空间为六面体空间,所述第一平面切图为所述全景图像对应于所述六面体空间的底面的切图。
本公开至少一个实施例还提供一种三维空间建模方法,包括:采用本公开任一实施例所述的位置关系确定方法得到所述多个三维空间的位置关系;以及根据所述多个三维空间的位置关系,拼接所述多个三维空间中每个三维空间的全景图像的平面轮廓,以得到所述多个三维空间的3D模型或2D模型。
本公开至少一个实施例还提供一种位置信息获取装置,包括:图像提取单元,被配置为获取拍摄单元拍摄的三维空间的全景图像的第一平面切图;图像处理单元,被配置为根据所述第一平面切图,确定定位单元与所述拍摄单元之间的相对位置关系,其中,所述定位单元用于在所述拍摄单元拍摄时记录所述拍摄单元在所述三维空间内的第一位置信息;计算单元,被配置为根据所述第一位置信息和所述相对位置关系,确定拍摄时所述拍摄单元在所述三维空间内的第二位置信息。
例如,本公开一实施例提供的位置信息获取装置还包括所述拍摄单元和所述定位单元。
例如,本公开一实施例提供的位置信息获取装置还包括:位置关系建立单元,被配置为基于拍摄时所述拍摄单元在多个三维空间内的第二位置信息以及所述多个三维空间中每个三维空间的全景图像,确定所述多个三维空间的位置关系。
例如,在本公开一实施例提供的位置信息获取装置中,所述第一位置信息包括在所述三维空间内的第一欧拉角,所述第二位置信息包括在所述三维空间内的第二欧拉角;所述定位单元与所述拍摄单元之间的所述相对位置关系包括:所述第一欧拉角与所述第二欧拉角在第一平面上的相对角度,其中,所述第一平面切图为所述全景图像对应于所述第一平面的切图。
本公开至少一个实施例还提供一种位置信息获取装置,包括:处理器;存储器,包括计算机程序指令;其中,所述计算机程序指令被存储在所述存储器中并被配置为由所述处理器执行,所述计算机程序指令包括用于实现本公开任一实施例所述的位置关系确定方法的指令。
例如,本公开一实施例提供的位置信息获取装置还包括所述相机和所述定位装置,其中,所述相机包括至少两个同时用于拍摄的镜头。
例如,在本公开一实施例提供的位置信息获取装置中,所述定位装置包括用于记录第一指南针角度的方向传感器。
本公开至少一个实施例还提供一种存储介质,非暂时性地存储有计算机程序指令,其中,当所述计算机程序指令由计算机执行时可以实现本公开任一实施例所述的位置关系确定方法。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本公开一实施例提供的一种位置信息确定方法的流程示意图;
图2为本公开一实施例提供的一种位置关系确定方法的流程示意图;
图3为本公开一实施例提供的另一种位置关系确定方法的流程示意图;
图4为本公开一实施例提供的一种相机和定位装置的示意图;
图5为图2所示的方法的步骤S22的一种示例的流程示意图;
图6A为本公开一实施例提供的一种第一平面切图的局部示意图;
图6B为基于图6A得到的角度关系的示意图;
图7为本公开一实施例提供的再一种位置关系确定方法的流程示意图;
图8为本公开一实施例提供的一种三维空间建模方法的流程示意图;
图9为一种可用于实施本公开实施例提供的位置关系确定方法的系统;
图10为本公开一实施例提供的一种位置信息获取装置的示意框图;
图11为本公开一实施例提供的另一种位置信息获取装置的示意框图;
图12为本公开一实施例提供的再一种位置信息获取装置的示意框图;
图13为本公开一实施例提供的一种存储介质的示意图;以及
图14为本公开一实施例提供的一种二维户型图的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
房屋的二维(2D)户型图和三维(3D)户型图可以通过人工手动绘制,也可以借助软件生成。由于人工手动绘制得到的二维户型图及三维户型图的尺寸、结构等存在较大的信息误差,且所需时间较长、效率较低,因此房屋的二维户型图和三维户型图通常借助软件生成。在借助软件生成二维户型图和三维户型图时,通常需要使用相机对房屋的各个房间分别进行拍摄,再将拍摄的照片进行处理拼接以生成房屋的二维户型图或三维户型图。例如,可以采用全景相机对各个房间分别进行拍摄以得到各个房间的全景图像,再根据房间之间的位置关系将各个房间的全景图像中的图像信息进行拼接,以建立房屋的三维模型或二维模型,由此便可以得到房屋的三维户型图或二维户型图。
在上述过程中,各个房间的全景图像中的图像信息需要根据房间之间的位置关系进行拼接。房间的位置关系可以通过人为判断,也可以通过分析比对各个房间的全景图像中相同的特征点来确定;或者也可以在拍摄各个房间的全景图像时分别记录相机拍摄时的方位,将各个房间的全景图像中的图像信息转换到同一个坐标系中,进而确定各个房间的链接关系。
在采用上述通过记录相机拍摄全景图像时的方位来确定各个房间的链接关系的方法时,可以避免人为确定房间之间的位置关系时由于人工干预而可能存在的误判,也可以大大降低在分析比对各个房间的全景图像中相同的特征点时所需的较大运算量,并且基于相机拍摄全景图像时的方位得到的房间的链接关系也更加准确、可靠,由此可以提升确定的房间位置关系的准确度和精确度,并且缩短所需的时间,使效率显著提高。
通常,相机在拍摄全景图像时的方位可以借助定位装置进行记录,例如记录拍摄时相机在房间内的坐标以及拍摄角度。由于定位装置记录的方位为其自身的方位,为了避免记录的相机的方位出现偏差,例如拍摄角度的偏差,通常在拍摄时需要使用特定的支架将相机与定位装置固定在同一朝向。但是,由于所需的支架需要特别定制,因而使拍摄设备受限且增加了拍摄成本,并且即便采用特定的支架,也不能保证相机的朝向与定位装置的朝向完全一致,难以完全消除相机与定位装置之间的角度偏差。由于该角度偏差难以完全消除,并且也难以通过人为测量而准确获取相机与定位装置之间的相对角度,因此导致定位装置记录的方位与相机的实际方位不一致,使基于相机拍摄时的方位确定的房间位置关系的准确度和精确度降低,进而对各个房间的全景图像中的图像信息的拼接造成不良影响,使生成的房屋的三维户型图或二维户型图的准确度和精确度降低。
本公开至少一个实施例提供一种位置信息确定方法、位置关系确定方法、三维空间建模方法、位置信息获取装置和存储介质。该位置信息确定方法可以降低或消除利用定位装置获取相机拍摄时的位置信息时可能存在的偏差,提升获取的相机的位置信息的准确度和精确度,进而有助于将相机拍摄的三维空间的全景图像中的图像信息与其他三维空间的信息建立联系。
下面,将参考附图详细地说明本公开的实施例。应当注意的是,不同的附图中相同的附图标记将用于指代已描述的相同的元件。
本公开至少一个实施例提供一种位置信息确定方法。该位置信息确定方法包括:获取相机拍摄的三维空间的全景图像的第一平面切图;根据第一平面切图,确定定位装置与相机之间的相对位置关系,其中,定位装置用于在相机拍摄时记录相机在三维空间内的第一位置信息;以及根据第一位置信息和相对位置关系,确定拍摄时相机在三维空间内的第二位置信息。
图1为本公开一实施例提供的一种位置信息确定方法的流程示意图。
例如,如图1所示,该位置信息确定方法包括如下操作。
步骤S11:获取相机拍摄的三维空间的全景图像的第一平面切图。
步骤S12:根据第一平面切图,确定定位装置与相机之间的相对位置关系。定位装置用于在相机拍摄时记录相机在三维空间内的第一位置信息。
步骤S13:根据第一位置信息和相对位置关系,确定拍摄时相机在三维空间内的第二位置信息。
在本公开实施例提供的位置信息确定方法中,根据全景图像的第一平面切图可以确定定位装置与相机之间的相对位置关系,进而使相机的第二位置信息可以由定位装置记录的第一位置信息(例如该第一位置信息与定位装置在三维空间内的位置信息相同)和定位装置与相机之间的相对位置关系共同确定,从而减小或消除了利用定位装置获取相机的第二位置信息时可能存在的偏差,提升了获取的相机在三维空间内的第二位置信息的准确度和精确度,进而有助于将相机拍摄的三维空间的全景图像中的图像信息与其他三维空间的信息建立联系。
例如,在本公开一些实施例中,相机拍摄的三维空间可以为例如房间、车库、大型设备的内部空间等立体空间,例如该三维空间包括地面以及墙面由此形成至少部分封闭的空间,或者该三维空间还可以包括天花板,本公开实施例对此不作限制。例如,在三维空间为包括至少一个房间的房屋中的一个房间时,基于确定的相机的第二位置信息,可以将房间的全景图像中的图像信息与房屋的其他房间的内部图像信息建立联系。
本公开实施例提供的位置信息确定方法可以借助例如计算机等具有数据处理能力和/或程序执行能力的第三方装置来实现,例如第三方装置分别与定位装置以及相机信号连接,在从定位装置和相机获取到相应的信息后,该第三方装置通过相应的系统或程序实现上述位置信息确定方法;或者,在本公开实施例中,定位装置可以为具有数据处理能力和/或程序执行能力的装置,例如手机等移动设备,定位装置在通过信号连接的方式获取到相机拍摄的全景图像后利用相应的软件或系统实现上述位置信息确定方法,本公开实施例对此不作限制。
本公开实施例提供的位置信息确定方法的具体应用、技术效果以及其步骤的具体说明可以参考下文中关于位置关系确定方法的实施例中的相应描述,在此不再赘述。
本公开至少一个实施例提供一种位置关系确定方法,该位置关系确定方法包括:获取相机拍摄的多个三维空间中至少一个三维空间的全景图像的第一平面切图;根据至少一个三维空间的全景图像的第一平面切图,确定定位装置与相机之间的相对位置关系,其中,定位装置用于在相机拍摄时记录相机在多个三维空间内的第一位置信息;以及根据第一位置信息和相对位置关系,确定拍摄时相机在多个三维空间内的第二位置信息,以基于多个三维空间中每个三维空间的全景图像,确定多个三维空间的位置关系。
图2为本公开一实施例提供的一种位置关系确定方法的流程示意图。
例如,如图2所示,该位置关系确定方法包括如下操作。
步骤S 21:获取相机拍摄的多个三维空间中至少一个三维空间的全景图像的第一平面切图。
步骤S 22:根据至少一个三维空间的全景图像的第一平面切图,确定定位装置与相机之间的相对位置关系。定位装置用于在相机拍摄时记录相机在多个三维空间内的第一位置信息。
步骤S 23:根据第一位置信息和相对位置关系,确定拍摄时相机在多个三维空间内的第二位置信息,以基于多个三维空间中每个三维空间的全景图像,确定多个三维空间的位置关系。
在本公开实施例提供的位置关系确定方法中,根据一个或多个三维空间的全景图像的第一平面切图可以确定定位装置与相机之间的相对位置关系,例如在三维空间内定位装置的旋转角度与相机的旋转角度之间的偏差,由此在相机拍摄时不需要提供例如特定的支架以使定位装置与相机固定在同一朝向,进而降低了实现定位功能所需的成本,避免设备受限,并且还避免了在使用支架固定时可能产生的误差。因此,无论相比于提供特定的支架还是人为手动测量定位装置与相机之间的角度偏差,本公开实施例提供的位置关系确定方法可以减小或消除通过定位装置获取相机的第二位置信息时可能存在的偏差,提升获取的相机在三维空间内的第二位置信息的准确度和精确度,使基于相机的第二位置信息确定的多个三维空间的位置关系更加准确。
进一步,还有助于基于该位置关系对多个三维空间的全景图像进行拼接,使得到的多个三维空间的3D模型或2D模型(例如多个房间的三维户型图或二维户型图)的准确度和精确度提高,从而可以使用户通过三维空间的3D模型或2D模型更直观准确地获取多个三维空间的信息。
本公开实施例提供的位置关系确定方法可以借助例如计算机等具有数据处理能力和/或程序执行能力的第三方装置来实现,例如第三方装置分别与定位装置及相机信号连接,在从定位装置和相机获取到相应的信息后,该第三方装置通过相应的系统或程序实现上述位置关系确定方法;或者,在本公开实施例中,定位装置可以为具有数据处理能力和/或程序执行能力的装置,例如手机等移动设备,定位装置在通过信号连接的方式获取到相机拍摄的全景图像后利用相应的软件或系统实现上述位置关系确定方法,本公开实施例对此不作限制。
图3为本公开一实施例提供的另一种位置关系确定方法的流程示意图。需要说明的是,图3所示的位置关系确定方法除步骤S30外,步骤S31-S33 与图2所示的位置关系确定方法的步骤S21-S23基本相同或相似,在此不再赘述。
例如,如图3所示,步骤S30包括:采用相机拍摄多个三维空间中每个三维空间的全景图像,并且在相机拍摄时采用定位装置记录相机在多个三维空间内的第一位置信息。
例如,在本公开一些实施例中,定位装置可以记录相机在三维空间中的第一位置信息,例如该第一位置信息与定位装置在三维空间内的位置信息相同,定位装置例如可以为手机、平板电脑等任意适用的具有定位功能的设备,本公开的实施例对此不作限制。例如,在一些实施例中,定位装置具有同步定位及建图功能,例如其中运行有同步定位及建图软件,例如SLAM (Simultaneous Localization and Mapping),通过该软件可以确定相机在三维空间中的第一位置信息,例如位移向量和欧拉角。由此,在确定定位装置和相机的相对位置关系后,可以根据该相对位置关系和定位装置获取的第一位置信息得到相机在三维空间中的第二位置信息。
例如,在一些实施例中,定位装置还具有地磁方向定位功能,例如定位装置中可以设置有具有记录指南针角度(例如磁方位角度或磁航向角度)功能的方向传感器,例如方向传感器可以是以指南针芯片的方式内置于定位装置中,也可以固定于定位装置的外部。例如,该方向传感器可以为霍尔传感器或磁阻传感器等。由此,在定位装置利用SLAM软件得到基于像素坐标系的欧拉角的同时,定位装置通过该方向传感器还可以记录在地磁场中的磁方位角,进而建立欧拉角与磁方位角之间的映射关系。
例如,位移向量可以通过三维坐标系得到,例如该位移向量可以表示为列向量,即表示为3*1的矩阵。例如,欧拉角代表了在三维空间中的角度信息,包括章动角、旋进角(即进动角)和自转角;欧拉角可以用四元数表示,也可以利用通常的数学运算方法转换为3*3的矩阵。例如,相机的欧拉角可以表示相机的主视角方向,例如相机拍摄的全景图像的主视图的角度;定位装置的欧拉角例如可以指定位装置的朝向,例如以定位装置为手机为例,定位装置的欧拉角可以为手机屏幕的朝向。
上述位移向量和欧拉角均以实际环境为参考坐标系。关于位移向量、欧拉角、利用同步定位及建图软件获取位置信息的详细说明,可参考常规设计,此处不再详述。
例如,在本公开一些实施例中,相机可以为全景相机或者具有360度全景拍摄功能的电子设备等,从而可以通过相机获取三维空间的全景图像。例如,相机的拍摄方式可以为光律式、节点式或棱镜扫描式等,本公开的实施例对此不作限制。
例如,在本公开一些实施例中,全景图像为一组图片,例如包括多张拍摄点处的场景图片。例如,全景图像包括拍摄点处的前、后、左、右、上、下等多个方位的场景图片。全景图像的第一平面切图可以是上述多个方位中任一方位的场景图片。
例如,为了获取包括多张场景图片的全景图像,相机可以包括平行且背向设置的两个镜头,或者也可以包括更多个镜头,例如可以对多个镜头拍摄的多幅照片取并集以得到所需的全景图像。
例如,在三维空间为房间时,可以将相机设置于房间内的拍摄地点,并且拍摄得到该拍摄地点的前、后、左、右等四面墙的场景图片以及该拍摄地点上方天花板和下方地板的场景图片。由此,可以得到该房间的全景图片。
需要说明的是,本公开的实施例中,全景图像的获取方式不受限制,可以根据实际需求而定。全景图像所包括的一组图片的数量不受限制,可以为 6张(即对应于前、后、左、右、上、下的6个方位的图片,以呈现完整且全面的场景),也可以为5张(即对应于前、后、左、右、上、下中的5个方位的图片,以减少数据量),图片的具体数量可以根据实际需求而定。
下面以多个三维空间为房屋的多个房间为例,对本公开实施例提供的位置关系确定方法进行说明。需要说明的是,本公开实施例提供的位置关系确定方法还可以用于其他三维空间或者应用于其他场景,本公开实施例对此不作限制。
例如,以构建多个房间的二维户型图或三维户型图为例,为了将相机拍摄的多个房间的全景图像中的图像信息(例如平面轮廓)进行拼接,需要将多个房间的全景图像中的图像信息彼此建立联系,例如确定多个房间的链接关系。例如,可以基于每个房间的全景图像中的图像信息以及拍摄全景图像时相机的第二位置信息(例如拍摄点的位移坐标和欧拉角),将多个房间的全景图像中的图像信息转换到同一坐标系中,由此获取多个房间的链接关系。
例如,为了获取相机的第二位置信息,需要在拍摄时采用定位装置与相机配合工作。例如,以图4所示的定位装置10和相机20为例,定位装置10 和相机20固定在同一支架上,以使拍摄时定位装置10与相机20的相对位置可以保持固定。由于在拼接各个房间的全景图像的平面轮廓以构建多个房间的二维户型图或三维户型图时,通常不需要将对应于地板的平面轮廓进行拼接,并且各房间的地板图案通常是彼此相同的,因此为了减小或避免定位装置10对相机20的拍摄画面造成遮挡,可以将相机20设置在支架的顶端,定位装置10设置在相机20的下方。
在拍摄时,由于相机20和定位装置10在支架上的相对位置不发生改变,因此定位装置10的位移向量可以等同于相机20的位移向量。在拍摄时,相机20的欧拉角仅在平行于天花板或地板的平面内发生改变,即欧拉角中的章动角为固定值,仅有欧拉角中的自转角和进动角发生改变,因此在基于相机20的第二位置信息建立多个房间的全景图像中的图像信息之间的联系时,只需确定拍摄时相机20的欧拉角在平行于天花板或地板的平面内的角度,也即相机20的主视角在平行于天花板或地板的平面内的旋转角度。因此,仅需确定定位装置的欧拉角与相机的欧拉角在平行于天花板或地板的平面内的相对角度,就可以基于获取的定位装置10的欧拉角,得到相机20的欧拉角在平行于天花板或地板的平面内的角度,进而确定相机20的欧拉角。
下面结合图4所示的相机20和定位装置10,对利用本公开实施例提供的位置关系确定方法实现多个房间的位置关系(例如链接关系)的确定进行具体说明。
例如,在利用图4所示的相机20和定位装置10执行本公开实施例提供的位置关系确定方法以确定多个房间的链接关系时,图2所示的方法可以包括:获取相机20拍摄的多个房间中至少一个房间的全景图像的第一平面切图(例如对应于图2所示的方法的步骤S21或图3所示的方法的步骤S31);根据至少一个房间的全景图像的第一平面切图,确定定位装置10与相机20 之间的相对位置关系(例如对应于图2所示的方法的步骤S22或图3所示的方法的步骤S32);根据第一位置信息和相对位置关系,确定拍摄时相机20 在多个房间内的第二位置信息,以基于多个房间中每个房间的全景图像,确定多个房间的位置关系(例如对应于图2所示的方法的步骤S23或图3所示的方法的步骤S33)。
在本公开一些实施例中,房间(即三维空间)为六面体空间,第一平面切图可以为全景图像对应于六面体空间的底面的切图,例如第一平面切图为全景图像对应于房间的地板所在面的切图,从而获取定位装置的欧拉角与相机的欧拉角在平行于天花板或地板的平面(例如第一平面)内的相对角度。
在本公开一些实施例中,第一位置信息包括在多个三维空间内的第一欧拉角,第二位置信息包括在多个三维空间内的第二欧拉角。图2所示的方法的步骤S22(或图3所示的方法的步骤S32)包括:根据第一平面切图,确定第一欧拉角与第二欧拉角在第一平面上的相对角度。第一平面切图为全景图像对应于第一平面的切图。
例如,结合图4所示的相机20和定位装置10,定位装置10获取的第一位置信息包括在房间内的第一欧拉角E1(例如该第一欧拉角E1与定位装置 10在房间内的欧拉角相同),所需确定的相机20的第二位置信息包括相机 20在房间内的第二欧拉角E2,即相机20在房间内的实际欧拉角。根据第一平面切图(例如全景图像对应于房间的地板所在面的切图),确定第一欧拉角E1与第二欧拉角E2在第一平面(例如房间的地板所在的平面)上的相对角度,进而便可以基于第一欧拉角E1在第一平面内的角度,得到第二欧拉角E2在第一平面内的角度,进而确定相机20的欧拉角。
通过本公开实施例提供的位置关系确定方法,可以根据全景图像的第一平面切图确定第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度,这样在相机20拍摄时不需要使定位装置10与相机20固定在同一朝向,例如不需要提供的特定的支架或使用特殊的设备,进而降低了获取相机20拍摄时的第二位置信息所需的成本,避免了设备受限,并且还避免了在使用例如支架固定时可能产生的误差。因此,无论相比于提供特定的支架还是人为手动测量第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度,本公开实施例提供的位置关系确定方法可以减小或消除在获取第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度时可能存在的偏差,提升得到的相机20 的第二欧拉角E2在第一平面内的角度的准确率和精确率,进而提升获取的相机20的第二位置信息的准确度和精确度,使基于相机20的第二位置信息确定的多个房间的位置关系更加准确。
进一步,还可以有助于基于该位置关系对多个房间的全景图像的平面轮廓进行拼接,使得到的多个房间的3D模型或2D模型(例如多个房间的三维户型图或二维户型图)的准确度和精确度提高,从而可以使用户更直观准确地获取多个房间的信息。
需要说明的是,在利用图4所示的相机20和定位装置10确定多个房间的位置关系的过程中,由于相机20的第二欧拉角E2仅在第一平面内发生改变,也即仅第二欧拉角E2的进动角和自转角发生改变,第二欧拉角E2的章动角不发生改变,因而第二欧拉角E2的章动角的数值可以设置为固定值(例如设置为0度)。相应地,仅需要确定第一欧拉角E1第二欧拉角E2在第一平面上的相对角度,便可以基于定位装置10记录的第一欧拉角E1得到相机 20的第二欧拉角E2,也即仅需要获取定位装置10记录的第一欧拉角E1在第一平面内的角度。因此,定位装置10与第一平面的夹角可以灵活设置,也即定位装置10的欧拉角的章动角可以灵活设置,例如该夹角可以设置为 45°,以便于定位装置10采用SLAM方法实现三维空间定位。
例如,在一些实施例中,第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度可以表示为定位装置10在第一平面内的朝向与相机20在第一平面内的朝向的相对角度。例如,相机20在第一平面内的朝向为相机20的主视角方向,例如相机20拍摄的全景图像的主视图的角度。例如,第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度的数值可以表示为在第一平面内定位装置10的旋转角度与相机20的旋转角度之间的差值。
图5为图2所示的方法的步骤S22(或图3所示的方法的步骤S32)的一种示例的流程示意图。
例如,如图5所示,步骤S22可以包括如下操作。
步骤S221:从第一平面切图中提取包括定位装置的投影的图像。
步骤S222:通过图像处理方法,根据图像确定定位装置的投影的外部轮廓的主方向。
步骤S223:计算定位装置的投影的外部轮廓的主方向与第一平面切图的水平方向之间的夹角,以确定第一欧拉角与第二欧拉角在第一平面上的相对角度。
例如,结合图4所示的相机20和定位装置10,在确定多个房间的位置关系的过程中,根据第一平面切图中定位装置10的投影,计算定位装置10 的投影的外部轮廓的主方向与第一平面切图的水平方向之间的夹角α,该夹角α即为第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度的大小。
例如,在本公开一些实施例中,在得到定位装置10的投影的外部轮廓的主方向与第一平面切图的水平方向之间的夹角α后,可以结合定位装置10 的投影在第一平面切图中的位置,确定第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度。
在本公开一些实施例中,定位装置面向相机的一侧的表面包括用于图像识别的长条状色块,长条状色块的延伸方向基本平行于定位装置面向相机的一侧的表面的外部轮廓的主方向。图5所示的方法的步骤S222包括:从图像中识别出长条状色块的投影;以及计算长条状色块的投影的外部轮廓,并确定长条状色块的投影的外部轮廓的主方向以作为定位装置的投影的外部轮廓的主方向。
例如,该长条状色块的颜色可以为便于识别的颜色,例如区别于房间的地板的颜色,由此便可以在第一平面切图中清楚地识别出长条状色块的投影,进而准确地得出定位装置10记录的第一欧拉角E1在第一平面内的角度,从而提升确定的第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度的准确性和精确性。
在本公开一些实施例中,定位装置具有显示功能,包括显示屏幕,且该显示屏幕被配置为提供包括长条状色块的显示画面。该显示屏幕可以为各种类型的显示屏幕,例如液晶显示屏幕、有机发光显示屏幕、发光二极管显示屏幕。
例如,以图4所示的定位装置10为例,定位装置10可以为具有显示功能的例如手机等显示装置,进而使定位装置10提供的长条状色块可以根据实际不同需求而灵活调整。例如,可以根据房间的地板的不同颜色改变长条状色块的显示颜色,使长条状色块的投影能够从第一平面切图中被清楚准确地识别出,从而进一步提升确定的第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度的准确性和精确性。
在本公开的其他一些实施例中,该长条状色块也可以通过例如黏贴、焊接、涂覆等方式固定于定位装置面向相机的一侧的表面,本公开实施例对此不作限制。
例如,以定位装置10为手机且提供包括该长条状色块的显示画面为例,如图6A所示,在包括手机的投影的图像中,由于长条状色块的颜色区别于房间地板的颜色,因此可以从该图像中通过图像识别方法清晰准确地识别出长条状色块的投影,进而计算出长条状色块的投影的外部轮廓的主方向R1 (例如长条状色块的投影的延伸方向)。由此,如图6A和图6B所示,将长条状色块的投影的外部轮廓的主方向R1作为手机的投影的外部轮廓的主方向,计算出手机的投影的外部轮廓的主方向(即R1)与水平方向R2之间的夹角α,以获得第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度的数值。
例如,在本公开一些实施例中,在得到手机的投影的外部轮廓的主方向 (即R1)与第一平面切图的水平方向R2之间的夹角α后,可以结合该长条状色块的投影(或者手机的投影)在第一平面切图中的位置,例如可以比较该长条状色块的投影与第一平面切图中沿水平方向的中轴线之间的相对位置,确定第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度。
例如,在本公开的一些实施例中,该长条状色块也可以为标记有箭头方向的箭头状色块,该箭头方向可以为对应于第一欧拉角α1在第一平面内的角度,也即对应于定位装置10在第一平面内的朝向。由此,可以根据第一平面切图中该箭头状色块标记的箭头方向,直接确定第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度。
在本公开的一些实施例中,第一位置信息还包括通过定位装置获取的在多个三维空间内的第一位移向量(例如该第一位移向量与定位装置在多个三维空间内的位移向量相同),第二位置信息还包括相机在多个三维空间内的第二位移向量,第一位移向量与第二位移向量相同。由此,在得到第一欧拉角与第二欧拉角在第一平面上的相对角度后,便可以确定定位装置与相机之间的相对位置关系。
例如,在采用图4所示的相机20和定位装置10执行本公开实施例提供的位置关系确定方法以确定多个房间的位置关系时,定位装置10的第一位移向量等同于相机20的第二位移向量。由此,在确定第一欧拉角E1与第二欧拉角E2在第一平面上的相对角度后,便可以确定定位装置10与相机20 之间的相对位置关系,从而根据定位装置10记录的相机20的第一位置信息得到相机20的第二位置信息。
在本公开的一些实施例中,在采用相机拍摄多个三维空间中每个三维空间的全景图像时,定位装置与相机之间的相对位置关系保持不变。
例如,在本公开一些实施例中,可以仅基于一个房间的全景图像得到第一欧拉角与第二欧拉角在第一平面上的相对角度,也可以基于多个房间的全景图像得到第一欧拉角与第二欧拉角在第一平面上的多个相对角度数值,再取多个相对角度数值的平均值作为第一欧拉角与第二欧拉角在第一平面上的相对角度。
例如,在本公开一些实施例中,图2所示的方法的步骤S22(或图3所示的方法的步骤S32)还包括:在获取相机拍摄的多个三维空间中至少两个三维空间的全景图像的第一平面切图时,取根据至少两个三维空间的全景图像的第一平面切图确定的相对角度的平均值。由此,可以进一步提升确定的第一欧拉角与第二欧拉角在第一平面上的相对角度的准确性和精确性,从而使获取的相机的第二欧拉角更加准确、精确,进而使建立的多个三维空间的位置关系更加准确。
例如,在本公开一些实施例中,第一位置信息还包括第一指南针角度,第二位置信息还包括第二指南针角度,第一指南针角度与第二指南针角度之间的相对角度为第一欧拉角与第二欧拉角在所述第一平面上的相对角度。
例如,以图4所示的定位装置10为例,定位装置10包括用于记录第一指南针角度的方向传感器,例如霍尔传感器、磁阻传感器等。第一指南针角度和第二指南针角度为对应于地球的经纬度的方向角,例如第一指南针角度和第二指南针角度可以是相对于地磁北极的夹角。由此,在得到第一欧拉角与第二欧拉角在第一平面上的相对角度(也即第一指南针角度与第二指南针角度的相对角度)后,可以根据定位装置10记录的第一指南针角度得到第二指南针角度,进而在确定多个三维空间的位置关系的同时,还可以确定多个三维空间的实际地理方向,例如在地磁场中的方向,进而有助于将确定的三维空间的位置关系应用至实际不同的生活场景中。
例如,以确定多个房间的链接关系为例,在获取多个房间的链接关系以及实际地理方位后,可以基于相机的第二指南针角度(例如相机的磁方位角) 确定多个房间的不同朝向,例如房间朝南或朝北等。进而,在基于多个房间的链接关系建立多个房间的二维户型图或三维户型图时,用户还可以直观地了解到房间的实际地理朝向,使用户可以掌握关于房源的更多信息,进而提升用户体验。
图7为本公开一实施例提供的再一种位置关系确定方法的流程示意图。需要说明的是,图7所示的位置关系确定方法除步骤S44-S46外,步骤 S41-S43与图2所示的位置关系确定方法的步骤S21-S23(或图3所示的位置关系确定方法的步骤S31-S33)基本相同或相似,在此不再赘述。
例如,如图7所示,步骤S44-S46可以包括如下操作。
步骤S44:基于多个三维空间中每个三维空间的全景图像,分别获取每个三维空间的全景图像的平面轮廓。
步骤S45:基于拍摄时相机在多个三维空间内的第二位置信息,将每个三维空间的全景图像的平面轮廓的点坐标转换到同一坐标系中。
步骤S46:基于同一坐标系,获取多个三维空间的链接关系。
例如,在利用如图4所示的相机20和定位装置10执行本公开实施例提供的位置关系确定方法以确定多个房间的位置关系时,在根据定位装置10 与相机20的相对位置关系以及定位装置10记录的相机20的第一位置信息确定相机20的第二位置信息后,可以基于相机20的第二位置信息将每个房间的全景图像中的图像信息统一到同一坐标系中,例如该图像信息可以为每个房间的全景图像的平面轮廓的点坐标等图像信息。在将每个房间的全景图像中的图像信息统一到同一坐标系后,便可基于该坐标系确定多个房间的链接关系,例如找到相邻房间的房门之间的链接关系,由此根据多个房间的链接关系将每个房间的全景图像的平面轮廓进行拼接,以得到多个房间的2D 模型或3D模型,生成多个房间的2D户型图或3D户型图,从而可以使用户更直观准确地获取多个房间的信息。
例如,以生成图14所示的房屋户型图的过程为例,在将第一房间Q1、第二房间Q2、第三房间Q3的全景图像中的图像信息统一到同一坐标系后,便可基于该坐标系确定第一房间Q1、第二房间Q2、第三房间Q3的链接关系,例如找到房间的房门S1、S2之间的链接关系,进而实现房间Q1、Q2、 Q3的位置关系的确定。由此,根据房间Q1、Q2、Q3的链接关系,可以采用下文所述的三维空间建模方法将每个房间的全景图像的平面轮廓进行拼接,得到房间Q1、Q2、Q3的2D模型或3D模型,从而生成图14所示的房间Q1、Q2、Q3的二维户型图,以使用户可以更直观准确地获取房间Q1、 Q2、Q3的信息,例如用户可直观地看到房间Q1、Q2、Q3的面积、尺寸等信息。
本公开至少一个实施例还提供一种三维空间建模方法,包括:采用本公开任一实施例所述的位置关系确定方法得到多个三维空间的位置关系;以及根据多个三维空间的位置关系,拼接多个三维空间中每个三维空间的全景图像的平面轮廓,以得到多个三维空间的3D模型或2D模型。
图8为本公开一实施例提供的一种三维空间建模方法的流程示意图。
例如,图8所示,该三维空间建模方法包括以下步骤。
步骤S51:采用(例如图2所示的)位置关系确定方法得到多个三维空间的位置关系。
步骤S52:根据多个三维空间的位置关系,拼接多个三维空间中每个三维空间的全景图像的平面轮廓,以得到多个三维空间的3D模型或2D模型。
在本公开实施例提供的三维空间建模方法的步骤中,由于在拼接三维空间的全景图像的平面轮廓时,所依据的多个三维空间的位置关系是采用本公开实施例提供的位置关系确定方法获得,因而拼接得到的多个三维空间的 3D模型或2D模型的准确度和精确度更高,从而可以使用户通过3D模型或 2D模型(例如二维户型图或三维户型图)更直观准确地获取多个三维空间的信息。
例如,在利用如图4所示的相机20和定位装置10采用图2所示的位置关系确定方法得到多个房间的位置关系后,便可基于多个房间的位置关系将每个房间的全景图像中的平面轮廓进行拼接,进而得到更加准确、精确的多个房间的2D模型或3D模型,使生成的多个房间的二维户型图或三维户型图的准确度和精确度提升,从而使用户可以直观准确地掌握所需的房屋信息。例如,用户可直观地看到各个房间的面积、尺寸等信息,并且还可以让用户进一步了解各个房间的内部结构,使用户可以直观地看到各个房间内的陈设、布局等信息。由此,用户无需进行实地看房便可以了解房屋的情况,进而提高例如房屋租赁、买卖及装修的效率。
例如,以生成图14所示的房屋户型图的过程为例,在利用如图4所示的相机20和定位装置10采用图2所示的位置关系确定方法得到第一房间 Q1、第二房间Q2、第三房间Q3的位置关系后,便可基于例如房间Q1、Q2、 Q3的房门S1、S2的链接关系将每个房间的全景图像的平面轮廓进行拼接,得到房间Q1、Q2、Q3的2D模型或3D模型,进而生成图14所示的房间Q1、Q2、Q3的二维户型图。
需要说明的是,图8所示的步骤S51中,也可以采用图3或图7所示的位置关系确定方法得到多个三维空间的位置关系,或者也可以采用本公开其他任意实施例提供的位置关系确定方法得到多个三维空间的位置关系,本公开实施例对此不作限制。
本公开实施例提供的三维空间建模方法可以借助例如计算机等具有数据处理能力和/或程序执行能力的第三方装置来实现,例如第三方装置可以基于通过位置关系确定方法得到的多个三维空间的位置关系以及相机采集的全景图像,利用相应的系统或程序实现上述三维空间建模方法,本公开实施例对此不作限制。
图9为一种可用于实施本公开实施例提供的位置关系确定方法的系统。如图9所示,该系统100可以包括用户终端110、网络120、服务器130以及数据库140。例如,该系统100可以用于实施本公开任一实施例所述的位置关系确定方法。例如,该系统100也可以用于实施本公开任一实施例所述的位置信息确定方法,其具体结构及功能等可以参考下文中用于实施位置关系确定方法的系统的相应内容。
用户终端110例如为电脑110-1或手机110-2。可以理解的是,用户终端110可以是能够执行数据处理的任何其他类型的电子设备,其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、可穿戴设备、车载电子设备、监控设备等。用户终端110也可以是设置有电子设备的任何装备,例如车辆、机器人等。例如,在图4所示的定位装置10为具有数据处理能力和/或程序执行能力的装置(例如手机)的情形,定位装置 10可以作为该用户终端110。
用户可以对安装在用户终端110上的应用程序进行操作,应用程序通过网络120将用户行为数据传输给服务器130,用户终端110还可以通过网络 120接收服务器130传输的数据。用户终端110可以通过运行程序或线程的方式实施本公开实施例提供的位置关系确定方法,并将得到的多个三维空间的位置关系通过网络120传输给服务器130。
在一些示例中,用户终端110可以利用其内置的应用程序执行位置关系确定方法。在另一些示例中,用户终端110可以通过调用用户终端110外部存储的应用程序执行位置关系确定方法。
网络120可以是单个网络,或至少两个不同网络的组合。例如,网络120 可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。
服务器130可以是一个单独的服务器,或一个服务器群组,群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的,例如数据中心,也可以是分布式的。服务器130可以是本地的或远程的。
数据库140可以泛指具有存储功能的设备。数据库140主要用于存储用户终端110和服务器130在工作中所利用、产生和输出的各种数据。例如,数据库140中存储有大量三维空间的全景图像以及位置信息等,服务器130 从数据库140中读取用户所需要的信息或数据,并将该信息或数据通过网络 120发送至用户终端110,用户终端110显示多个三维空间的位置关系,从而便于用户浏览。数据库140可以是本地的或远程的。数据库140可以包括各种存储器、例如随机存取存储器(Random Access Memory,RAM)、只读存储器(Read OnlyMemory,ROM)等。以上提及的存储设备只是列举了一些例子,该系统100可以使用的存储设备并不局限于此。
数据库140可以经由网络120与服务器130或其一部分相互连接或通信,或直接与服务器130相互连接或通信,或是上述两种方式的结合。
在一些示例中,数据库140可以是独立的设备。在另一些示例中,数据库140也可以集成在用户终端110和服务器130中的至少一个中。例如,数据库140可以设置在用户终端110上,也可以设置在服务器130上。又例如,数据库140也可以是分布式的,其一部分设置在用户终端110上,另一部分设置在服务器130上。
例如,在一些示例中,用户终端110基于多个三维空间中每个三维空间的全景图像以及相机拍摄时的第二位置信息,进行处理和计算后,得到多个三维空间的位置关系,例如多个房间的链接关系,然后进一步得到多个三维空间的2D模型或3D模型,例如可以为房屋的多个房间的二维户型图或三维户型图。例如,以二维户型图或三维户型图为例,该二维户型图或三维户型图通过网络120传输给服务器130,并被保存至数据库140。当其他用户在该用户终端110或其他用户终端上使用例如看房软件时,服务器130通过网络120将用户浏览的房源信息传输给用户终端110,这些房源信息包括该房源的二维户型图或三维户型图。用户终端110上的看房软件显示房源的二维户型图或三维户型图,用户通过点击操作可以对该二维户型图或三维户型图进行缩放、挪动、标记等操作。
本公开至少一个实施例还提供一种位置信息获取装置,该位置信息获取装置可以根据一个或多个三维空间的全景图像的第一平面切图,确定定位装置与相机之间的相对位置关系,例如在三维空间内定位装置的旋转角度与相机的旋转角度之间的偏差,由此在相机拍摄时不需要提供例如特定的支架以使定位装置与相机固定在同一朝向,进而降低了实现定位功能所需的成本,避免设备受限,并且还避免了在使用支架固定时可能产生的误差。因此,无论相比于提供特定的支架还是人为手动测量定位装置与相机之间的角度偏差,本公开实施例提供的位置信息获取装置可以减小或消除通过定位装置获取的相机的第二位置信息可能存在的偏差,提升获取的相机在三维空间内的第二位置信息的准确度和精确度,使基于相机的第二位置信息确定的多个三维空间的位置关系更加准确。
进一步,还有助于基于该位置关系对多个三维空间的全景图像进行拼接,使得到的多个三维空间的3D模型或2D模型(例如多个房间的三维户型图或二维户型图)的准确度和精确度提高,从而可以使用户通过三维空间的3D模型或2D模型更直观准确地获取多个三维空间的信息。
图10为本公开一实施例提供的一种位置信息获取装置的示意框图。如图10所示,该位置信息获取装置200包括图像提取单元210、图像处理单元 220和计算单元230。例如,该位置信息获取装置200可以应用于应用程序中(例如二维空间或三维空间建模软件中),也可以应用于任意的需要确定多个三维空间的位置关系的设备或系统中,本公开的实施例对此不作限制
图像提取单元210被配置为获取拍摄单元拍摄的三维空间的全景图像的第一平面切图。例如,图像提取单元210可以执行如图2所示的位置关系确定方法的步骤S21、如图3所示的位置关系确定方法的步骤S31或者如图7 所示的位置关系确定方法的步骤S41。图像处理单元220被配置为根据第一平面切图,确定定位单元与拍摄单元之间的相对位置关系,定位单元用于在拍摄单元拍摄时记录拍摄单元在三维空间内的第一位置信息。例如,图像处理单元220可以执行如图2所示的位置关系确定方法的步骤S22、如图3所示的位置关系确定方法的步骤S32或者如图7所示的位置关系确定方法的步骤S42。计算单元230被配置为根据第一位置信息和相对位置关系,确定拍摄时拍摄单元在三维空间内的第二位置信息。例如,计算单元230可以执行如图2所示的位置关系确定方法的步骤S23、如图3所示的位置关系确定方法的步骤S33或者如图7所示的位置关系确定方法的步骤S43。
例如,在本公开一些实施例中,该位置信息获取装置还包括拍摄单元和定位单元,即上述关于位置信息获取装置200的描述中所涉及的拍摄单元和定位单元也被包括在位置信息获取装置200内。例如,拍摄单元和定位单元可以执行如图3所示的位置关系确定方法的步骤S30。
例如,在本公开一些实施例中,该位置信息获取装置还包括位置关系建立单元。该位置关系建立单元被配置为基于拍摄时拍摄单元在多个三维空间内的第二位置信息以及多个三维空间中每个三维空间的全景图像,确定多个三维空间的位置关系。例如,位置关系建立单元可以执行如图7所示的位置关系确定方法的步骤S44-S46。
例如,在本公开一些实施例中,第一位置信息包括在三维空间内的第一欧拉角,第二位置信息包括在三维空间内的第二欧拉角。定位单元与拍摄单元之间的相对位置关系包括:第一欧拉角与第二欧拉角在第一平面上的相对角度。第一平面切图为全景图像对应于第一平面的切图。
例如,图像提取单元210、图像处理单元220、计算单元230、拍摄单元、定位单元和位置关系建立单元可以为硬件、软件、固件以及它们的任意可行的组合。例如,图像提取单元210、图像提取单元220、计算单元230、拍摄单元、定位单元和位置关系建立单元可以为专用或通用的电路、芯片或装置等,也可以为处理器和存储器的结合。关于上述各个单元的具体实现形式,本公开的实施例对此不作限制。
需要说明的是,本公开的实施例中,位置信息获取装置200的各个单元与前述的位置关系确定方法的各个步骤对应,关于位置信息获取装置200的具体功能可以参考关于位置关系确定方法的相关描述,此处不再赘述。图10 所示的位置信息获取装置200的组件和结构只是示例性的,而非限制性的,根据需要,该位置信息获取装置200还可以包括其他组件和结构。
图11为本公开一实施例提供的另一种位置信息获取装置的示意框图。如图11所示,该位置信息获取装置300包括处理器310和存储器320。存储器320用于存储非暂时性计算机程序指令(例如一个或多个计算机程序指令)。处理器310用于运行非暂时性计算机程序指令,非暂时性计算机程序指令被处理器310运行时可以执行上文所述的位置关系确定方法中的一个或多个步骤。存储器320和处理器310可以通过总线系统和/或其它形式的连接机构(未示出)互连。
例如,位置信息获取装置300的存储器320存储的非暂时性计算机程序指令被处理器310运行时还可以执行上文所述的位置信息确定方法中的一个或多个步骤。
例如,处理器310可以是中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元,例如现场可编程门阵列(FPGA)等;例如,中央处理单元(CPU)可以为X86或ARM架构等。处理器310可以为通用处理器或专用处理器,可以控制位置信息获取装置300中的其它组件以执行期望的功能。
例如,存储器320可以包括一个或多个计算机程序产品的任意组合,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM) 和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储计算机程序指令,例如一个或多个计算机程序模块,处理器310可以运行该计算机程序指令,以实现位置信息获取装置300的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。
例如,在本公开一些实施例中,位置信息获取装置还包括相机和定位装置。例如,该相机可以包括至少两个同时用于拍摄的镜头以获取三维空间的全景图像。该定位装置用于采集相机在三维空间内的第一位置信息。
例如,在本公开一些实施例中,该相机也可以只包括一个镜头,并通过在同一个拍摄点从不同角度对三维空间进行拍摄来获取三维空间的全景图像。
例如,在本公开一些实施例中,定位装置包括用于记录第一指南针角度的方向传感器。例如,该方向传感器可以为霍尔传感器或磁阻传感器等,由此可以获取相机的实际地理方位信息,使确定的多个三维空间的位置关系或位置信息可以应用于实际场景下。
需要说明的是,本公开的实施例中,位置信息获取装置300的具体功能和技术效果可以参考上文中关于位置关系确定方法的描述,此处不再赘述。
图12为本公开一实施例提供的再一种位置信息获取装置的示意框图。该位置信息获取装置400例如适于用来实施本公开实施例提供的位置关系确定方法,或者也可以适于用来实施本公开实施例提供的位置信息确定方法。位置信息获取装置400可以是终端设备等。需要注意的是,图12示出的位置信息获取装置400仅仅是一个示例,其不会对本公开实施例的功能和使用范围带来任何限制。
如图12所示,位置信息获取装置400可以包括处理装置(例如中央处理器、图形处理器等)410,其可以根据存储在只读存储器(ROM)420中的程序或者从存储装置480加载到随机访问存储器(RAM)430中的程序而执行各种适当的动作和处理。在RAM 430中,还存储有位置信息获取装置 400操作所需的各种程序和数据。处理装置410、ROM 420以及RAM 430通过总线440彼此相连。输入/输出(I/O)接口450也连接至总线440。
通常,以下装置可以连接至I/O接口450:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置460;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置470;包括例如磁带、硬盘等的存储装置480;以及通信装置490。通信装置490可以允许位置信息获取装置400与其他电子设备进行无线或有线通信以交换数据。虽然图12 示出了具有各种装置的位置信息获取装置400,但应理解的是,并不要求实施或具备所有示出的装置,位置信息获取装置400可以替代地实施或具备更多或更少的装置。
例如,根据本公开的实施例,上述位置关系确定方法或位置信息确定方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包括用于执行上述位置关系确定方法(或位置信息确定方法)的程序代码。在这样的实施例中,该计算机程序可以通过通信装置490从网络上被下载和安装,或者从存储装置480安装,或者从ROM 420安装。在该计算机程序被处理装置410执行时,可以执行本公开实施例提供的位置关系确定方法(或位置信息确定方法)中限定的功能。
本公开至少一个实施例还提供一种存储介质,用于存储非暂时性计算机程序指令,当该非暂时性计算机程序指令由计算机执行时可以实现本公开任一实施例所述的位置关系确定方法;或者,当该非暂时性计算机程序指令由计算机执行时可以实现本公开任一实施例所述的位置信息确定方法。
图13为本公开一实施例提供的一种存储介质的示意图。如图13所示,存储介质500非暂时性地存储有计算机程序指令510。例如,当计算机程序指令510由计算机执行时可以执行根据上文所述的位置关系确定方法中的一个或多个步骤。
例如,该存储介质500可以应用于上述位置信息获取装置300中。例如,存储介质500可以为图11所示的位置信息获取装置300中的存储器320。例如,关于存储介质500的相关说明可以参考图11所示的位置信息获取装置 300中的存储器320的相应描述,此处不再赘述。
有以下几点需要说明:
(1)本公开实施例附图只涉及到本公开实施例涉及到的结构,其他结构可参考通常设计。
(2)在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (19)
1.一种位置信息确定方法,包括:
获取相机拍摄的三维空间的全景图像的第一平面切图;
根据所述第一平面切图,确定定位装置与所述相机之间的相对位置关系,其中,所述定位装置用于在所述相机拍摄时记录所述相机在所述三维空间内的第一位置信息;以及
根据所述第一位置信息和所述相对位置关系,确定拍摄时所述相机在所述三维空间内的第二位置信息;
其中,所述第一位置信息包括在所述三维空间内的第一欧拉角,所述第二位置信息包括在所述三维空间内的第二欧拉角;
根据所述第一平面切图,确定所述定位装置与所述相机之间的所述相对位置关系,包括:
根据所述第一平面切图,确定所述第一欧拉角与所述第二欧拉角在第一平面上的相对角度;
其中,所述第一平面切图为所述全景图像对应于所述第一平面的切图;
根据所述第一平面切图,确定所述第一欧拉角与所述第二欧拉角在所述第一平面上的所述相对角度,包括:
从所述第一平面切图中提取包括所述定位装置的投影的图像;
通过图像处理方法,根据所述图像确定所述定位装置的投影的外部轮廓的主方向;以及
计算所述定位装置的投影的外部轮廓的主方向与所述第一平面切图的水平方向之间的夹角,以确定所述第一欧拉角与所述第二欧拉角在所述第一平面上的所述相对角度。
2.一种位置关系确定方法,包括:
获取相机拍摄的多个三维空间中至少一个三维空间的全景图像的第一平面切图;
根据所述至少一个三维空间的全景图像的第一平面切图,确定定位装置与所述相机之间的相对位置关系,其中,所述定位装置用于在所述相机拍摄时记录所述相机在所述多个三维空间内的第一位置信息;以及
根据所述第一位置信息和所述相对位置关系,确定拍摄时所述相机在所述多个三维空间内的第二位置信息,以基于所述多个三维空间中每个三维空间的全景图像,确定所述多个三维空间的位置关系;
其中,所述第一位置信息包括在所述多个三维空间内的第一欧拉角,所述第二位置信息包括在所述多个三维空间内的第二欧拉角;
根据所述至少一个三维空间的全景图像的第一平面切图,确定所述定位装置与所述相机之间的所述相对位置关系,包括:
根据所述第一平面切图,确定所述第一欧拉角与所述第二欧拉角在第一平面上的相对角度;
其中,所述第一平面切图为所述全景图像对应于所述第一平面的切图;
根据所述第一平面切图,确定所述第一欧拉角与所述第二欧拉角在所述第一平面上的所述相对角度,包括:
从所述第一平面切图中提取包括所述定位装置的投影的图像;
通过图像处理方法,根据所述图像确定所述定位装置的投影的外部轮廓的主方向;以及
计算所述定位装置的投影的外部轮廓的主方向与所述第一平面切图的水平方向之间的夹角,以确定所述第一欧拉角与所述第二欧拉角在所述第一平面上的所述相对角度。
3.根据权利要求2所述的位置关系确定方法,其中,在获取所述相机拍摄的所述多个三维空间中至少一个三维空间的全景图像的第一平面切图之前,所述方法还包括:
采用所述相机拍摄所述多个三维空间中每个三维空间的全景图像,并且在所述相机拍摄时采用所述定位装置记录所述相机在所述多个三维空间内的所述第一位置信息。
4.根据权利要求2所述的位置关系确定方法,其中,所述定位装置面向所述相机的一侧的表面包括用于图像识别的长条状色块,所述长条状色块的延伸方向基本平行于所述定位装置面向所述相机的一侧的表面的外部轮廓的主方向;
通过图像处理方法,根据所述图像确定所述定位装置的投影的外部轮廓的主方向,包括:
从所述图像中识别出所述长条状色块的投影;以及
计算所述长条状色块的投影的外部轮廓,并确定所述长条状色块的投影的外部轮廓的主方向以作为所述定位装置的投影的外部轮廓的主方向。
5.根据权利要求4所述的位置关系确定方法,其中,所述定位装置具有显示屏幕,且被配置为在所述显示屏幕提供包括所述长条状色块的显示画面。
6.根据权利要求2-5任一所述的位置关系确定方法,其中,所述第一位置信息还包括第一指南针角度,所述第二位置信息还包括第二指南针角度,
所述第一指南针角度与所述第二指南针角度之间的相对角度为所述第一欧拉角与所述第二欧拉角在所述第一平面上的相对角度。
7.根据权利要求2-5任一所述的位置关系确定方法,其中,所述第一位置信息还包括在所述多个三维空间内的第一位移向量,
所述第二位置信息还包括在所述多个三维空间内的第二位移向量,
所述第一位移向量与所述第二位移向量相同。
8.根据权利要求2-5任一所述的位置关系确定方法,其中,在采用所述相机拍摄所述多个三维空间中每个三维空间的全景图像时,所述定位装置与所述相机之间的所述相对位置关系保持不变。
9.根据权利要求8所述的位置关系确定方法,其中,根据所述至少一个三维空间的全景图像的第一平面切图,确定所述定位装置与所述相机之间的所述相对位置关系,还包括:
在获取所述相机拍摄的所述多个三维空间中至少两个三维空间的全景图像的第一平面切图时,取根据所述至少两个三维空间的全景图像的第一平面切图确定的相对角度的平均值。
10.根据权利要求2-5任一所述的位置关系确定方法,还包括:
基于所述多个三维空间中每个三维空间的全景图像,分别获取每个三维空间的全景图像的平面轮廓;
基于拍摄时所述相机在所述多个三维空间内的所述第二位置信息,将每个三维空间的全景图像的平面轮廓的点坐标转换到同一坐标系中;以及
基于所述同一坐标系,获取所述多个三维空间的链接关系。
11.根据权利要求2-5任一所述的位置关系确定方法,其中,所述三维空间为六面体空间,
所述第一平面切图为所述全景图像对应于所述六面体空间的底面的切图。
12.一种三维空间建模方法,包括:
采用如权利要求2所述的位置关系确定方法得到所述多个三维空间的位置关系;以及
根据所述多个三维空间的位置关系,拼接所述多个三维空间中每个三维空间的全景图像的平面轮廓,以得到所述多个三维空间的3D模型或2D模型。
13.一种位置信息获取装置,包括:
图像提取单元,被配置为获取拍摄单元拍摄的三维空间的全景图像的第一平面切图;
图像处理单元,被配置为根据所述第一平面切图,确定定位单元与所述拍摄单元之间的相对位置关系,其中,所述定位单元用于在所述拍摄单元拍摄时记录所述拍摄单元在所述三维空间内的第一位置信息;
计算单元,被配置为根据所述第一位置信息和所述相对位置关系,确定拍摄时所述拍摄单元在所述三维空间内的第二位置信息;
其中,所述第一位置信息包括在所述三维空间内的第一欧拉角,所述第二位置信息包括在所述三维空间内的第二欧拉角;
所述定位单元与所述拍摄单元之间的所述相对位置关系包括:所述定位单元的所述第一欧拉角与所述拍摄单元的所述第二欧拉角在第一平面上的相对角度,其中,所述第一平面切图为所述全景图像对应于所述第一平面的切图;
所述图像处理单元还被配置为:从所述第一平面切图中提取包括所述定位装置的投影的图像;通过图像处理方法,根据所述图像确定所述定位装置的投影的外部轮廓的主方向;以及计算所述定位装置的投影的外部轮廓的主方向与所述第一平面切图的水平方向之间的夹角,以确定所述第一欧拉角与所述第二欧拉角在所述第一平面上的所述相对角度。
14.根据权利要求13所述的位置信息获取装置,还包括所述拍摄单元和所述定位单元。
15.根据权利要求13或14所述的位置信息获取装置,还包括:
位置关系建立单元,被配置为基于拍摄时所述拍摄单元在多个三维空间内的第二位置信息以及所述多个三维空间中每个三维空间的全景图像,确定所述多个三维空间的位置关系。
16.一种位置信息获取装置,包括:
处理器;
存储器,包括计算机程序指令;
其中,所述计算机程序指令被存储在所述存储器中并被配置为由所述处理器执行,所述计算机程序指令包括用于实现权利要求2-11任一所述的位置关系确定方法的指令。
17.根据权利要求16所述的位置信息获取装置,还包括所述相机和所述定位装置,
其中,所述相机包括至少两个同时用于拍摄的镜头。
18.根据权利要求16或17所述的位置信息获取装置,其中,所述定位装置包括用于记录第一指南针角度的方向传感器。
19.一种存储介质,非暂时性地存储有计算机程序指令,其中,当所述计算机程序指令由计算机执行时可以实现权利要求2-11任一所述的位置关系确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911311616.XA CN111161350B (zh) | 2019-12-18 | 2019-12-18 | 位置信息及位置关系确定方法、位置信息获取装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911311616.XA CN111161350B (zh) | 2019-12-18 | 2019-12-18 | 位置信息及位置关系确定方法、位置信息获取装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111161350A CN111161350A (zh) | 2020-05-15 |
CN111161350B true CN111161350B (zh) | 2020-12-04 |
Family
ID=70557782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911311616.XA Active CN111161350B (zh) | 2019-12-18 | 2019-12-18 | 位置信息及位置关系确定方法、位置信息获取装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111161350B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113593052B (zh) * | 2021-08-06 | 2022-04-29 | 贝壳找房(北京)科技有限公司 | 场景朝向确定方法及标记方法 |
CN114020142A (zh) * | 2021-09-14 | 2022-02-08 | 安徽省沃瑞网络科技有限公司 | 一种无人机看房实时传输系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413339B (zh) * | 2013-07-23 | 2016-08-10 | 清华大学 | 十亿像素高动态范围图像重建与显示的方法 |
US9224237B2 (en) * | 2013-09-27 | 2015-12-29 | Amazon Technologies, Inc. | Simulating three-dimensional views using planes of content |
US20150219767A1 (en) * | 2014-02-03 | 2015-08-06 | Board Of Regents, The University Of Texas System | System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates |
CN105279787B (zh) * | 2015-04-03 | 2018-01-12 | 北京明兰网络科技有限公司 | 基于拍照的户型图识别生成三维房型的方法 |
EP3430595B1 (en) * | 2017-05-23 | 2020-10-28 | Brainlab AG | Determining the relative position between a point cloud generating camera and another camera |
CN109816768B (zh) * | 2017-11-21 | 2024-04-26 | 百度在线网络技术(北京)有限公司 | 一种室内重建方法、装置、设备和介质 |
CN109099915B (zh) * | 2018-06-27 | 2020-12-25 | 未来机器人(深圳)有限公司 | 移动机器人定位方法、装置、计算机设备和存储介质 |
CN108924629B (zh) * | 2018-08-28 | 2021-01-05 | 恒信东方文化股份有限公司 | 一种vr图像处理方法 |
CN110505463A (zh) * | 2019-08-23 | 2019-11-26 | 上海亦我信息技术有限公司 | 基于拍照的实时自动3d建模方法 |
-
2019
- 2019-12-18 CN CN201911311616.XA patent/CN111161350B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111161350A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113240769B (zh) | 空间链接关系识别方法及装置、存储介质 | |
US10791268B2 (en) | Construction photograph integration with 3D model images | |
US20150116691A1 (en) | Indoor surveying apparatus and method | |
US8787700B1 (en) | Automatic pose estimation from uncalibrated unordered spherical panoramas | |
US20210056751A1 (en) | Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method | |
CN108810473B (zh) | 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统 | |
US20120300020A1 (en) | Real-time self-localization from panoramic images | |
CN113345028B (zh) | 一种确定目标坐标变换信息的方法与设备 | |
US10997785B2 (en) | System and method for collecting geospatial object data with mediated reality | |
CN114202613A (zh) | 房屋户型确定方法、装置和系统、电子设备和存储介质 | |
CN109269472A (zh) | 倾斜摄影测量建筑物特征线提取方法、装置与存储介质 | |
CN111161350B (zh) | 位置信息及位置关系确定方法、位置信息获取装置 | |
US11783540B2 (en) | Method for generating roof outlines from lateral images | |
US20190266793A1 (en) | Apparatus, systems, and methods for tagging building features in a 3d space | |
US8509522B2 (en) | Camera translation using rotation from device | |
CN115601496A (zh) | Ar辅助三维地图尺度恢复的方法和系统 | |
JP7220784B2 (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
US12112431B2 (en) | Three dimensional mapping | |
US20160349409A1 (en) | Photovoltaic shade impact prediction | |
Araujo et al. | Life cycle of a slam system: Implementation, evaluation and port to the project tango device | |
CN113008135B (zh) | 用于确定空间中目标点位置的方法、设备、电子装置及介质 | |
KR20210149658A (ko) | 3d 투어 내에서 실제 거리 측정 방법 및 그를 위한 3d 투어 시스템 | |
US20200005527A1 (en) | Method and apparatus for constructing lighting environment representations of 3d scenes | |
Angladon | Room layout estimation on mobile devices | |
RU2828682C2 (ru) | Способ и система определения местоположения и ориентации устройства пользователя с привязкой к визуальным особенностям окружения |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |