CN104700355A - 室内二维平面图的生成方法、装置和系统 - Google Patents

室内二维平面图的生成方法、装置和系统 Download PDF

Info

Publication number
CN104700355A
CN104700355A CN201510150509.9A CN201510150509A CN104700355A CN 104700355 A CN104700355 A CN 104700355A CN 201510150509 A CN201510150509 A CN 201510150509A CN 104700355 A CN104700355 A CN 104700355A
Authority
CN
China
Prior art keywords
indoor
base
plane
active line
line feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510150509.9A
Other languages
English (en)
Inventor
蒋昭炎
蒋斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510150509.9A priority Critical patent/CN104700355A/zh
Publication of CN104700355A publication Critical patent/CN104700355A/zh
Priority to HK15110422.0A priority patent/HK1209884A1/zh
Priority to TW104135505A priority patent/TWI587241B/zh
Priority to JP2015232566A priority patent/JP6174104B2/ja
Priority to KR1020150168937A priority patent/KR101759798B1/ko
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种室内二维平面图的生成方法、装置和系统。该方法包括:接收由多个摄像头拍摄的多个室内平面图像;基于接收到的所述室内平面图像拼接生成室内全景图像;提取所述全景图像中的有效线特征,所述有效线特征包括代表墙面与地面交界线的线特征;以及,基于所述有效线特征生成室内二维平面图。按照本申请的方案,能够基于普通摄像头采集到的室内平面图像自动生成室内二维平面图,且识别准确率较高。

Description

室内二维平面图的生成方法、装置和系统
技术领域
本公开一般涉及计算机技术领域,具体涉及图像处理技术,尤其涉及一种室内二维平面图的生成方法、装置和系统。
背景技术
现有的室内二维平面图恢复技术,主要有两大类:一类是基于深度传感器恢复并重建出室内二维平面图;另一类是基于图像恢复并重建出室内二维平面图。
然而现有的室内二维平面图恢复技术存在如下的问题。
对于第一类技术,需要较为专业的深度传感器,并且大场景中由于传感器存在较大误差,恢复得到室内二维平面图会存在较大的误差。
对于第二类技术,在得到室内二维平面图的过程中,需要人工参与,效率较低。此外,在第二类技术中,对一些复杂场景的识别准确度较低。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种室内二维平面图的生成方法、装置和系统,其可利用普通摄像头采集到的室内平面图像自动的生成室内二维平面图,且识别准确率较高。
为了实现上述一个或多个目的,本申请实施例提供了一种室内二维平面图的生成方法,包括:接收由多个摄像头拍摄的多个室内平面图像;基于接收到的室内平面图像拼接生成室内全景图像;提取全景图像中的有效线特征,有效线特征包括代表墙面与地面交界线的线特征;基于有效线特征生成室内二维平面图。
第二方面,本申请实施例提供了一种室内二维平面图的生成装置,包括:接收模块,配置用于接收由多个摄像头拍摄的多个室内平面图像;全景图像生成模块,配置用于基于室内平面图像拼接生成室内全景图像;有效线特征提取模块,配置用于提取有效线特征,有效线特征包括代表墙面与地面的交界线的线特征;平面图生成模块,配置用于基于有效线特征生成室内二维平面图。
第三方面,本申请实施例还提供了一种室内二维平面图的生成系统,包括采集器和处理器;其中,采集器用于采集多个室内平面图像;处理器用于基于接收到的室内平面图像拼接生成室内全景图像;提取全景图像中的有效线特征,有效线特征包括代表墙面与地面交界线的线特征;以及,基于有效线特征生成室内二维平面图。
本申请实施例提供的室内二维平面图的生成方法、装置和系统,相较于现有技术,其不需要专用传感器,更加便捷;无需后期处理,更加快速;不需人工参与,可基于获取到的室内平面图像自动生成。
此外,由于提取的有效线特征中包含了尺度信息,因而最终得到的二维平面图中的各条线段之间具有相对地空间位置关系,并且每条线段还包含了尺度信息,从而为后续使用提供了方便。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了根据本申请一个实施例的室内二维平面图的生成方法的示意性流程图;
图2示出了有关基于接收到的室内平面图像拼接生成室内全景图像的一个实施例的示意性流程图;
图3示出了有关提取全景图像中的全部线特征的一个实施例的示意性流程图;
图4示出了二进方块400及其中的一个基401的示意性示意图;
图5示出了有关从全部线特征中提取有效线特征的一个实施例的示意性流程图;
图6示出了有关基于有效线特征生成室内二维平面图的一个实施例的示意性流程图;
图7示出了根据本申请的一个实施例的室内二维平面图的生成装置的示意性结构图;
图8示出了根据本申请的一个实施例的室内二维平面图的生成系统的示意性结构图;
图9示出了图8中采集器810的一个实施例的示意性结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请一个实施例的室内二维平面图的生成方法的示意性流程图100。
如图1所示,在步骤110中,接收由多个摄像头拍摄的多个室内平面图像。例如,可以将多个摄像头位置设置在能够采集到室内场景全貌的任意位置。或者,还可以用具有陀螺仪等可检测偏转、倾斜的传感器的带拍照功能的电子设备来拍摄室内平面图像。例如,可利用包含陀螺仪的手机的摄像头来拍摄室内平面图像。由于手机中的陀螺仪可检测手机的偏转和倾斜角度,进而可以获得与其拍摄到的室内平面图像相对应的拍摄参数,例如拍摄角度等。
接下来,在步骤120中,基于接收到的室内平面图像拼接生成室内全景图像。
从步骤110接收到的多个室内平面图像中,可以得到每个室内平面图像的拍摄参数,进而,可利用这些室内平面图像内包含的拍摄参数信息来将多个室内平面图像拼接形成室内全景图像。
图2示出了基于接收到的室内平面图像拼接生成室内全景图像,也即是图1中的步骤120的一个实施例的示意性流程图。
如图2所示,在步骤121中,提取每个室内平面图像中的特征点。例如,可以提取每个室内平面图像中的尺度不变特征(Scale-invariantfeature transform,SIFT)。例如,可以通过如下的几个步骤来完成SIFT特征的提取:首先,可通过例如高斯微分函数来检测每个室内平面图像中潜在的对于尺度和旋转不变的兴趣点。接着,在兴趣点位置上,确定关键点的位置和尺度。接着,基于图像局部的梯度方向,给每个关键点分配方向。最后,在每个关键点的领域内测量图像局部的梯度,并用一个特征向量来表达。
接着,在步骤122中,基于特征点确定各室内平面图像的邻接关系。例如,在一种实施方式中,如果多个室内平面图像包含相互匹配的基于SIFT特征的特征点构成的特征向量,则该多个室内平面图像具有邻接关系。
接着,在步骤123中,获取每个室内平面图像的拍摄参数。拍摄参数例如可以包括摄像头的焦距、摄像头的拍摄角度和摄像头光心距预设参考点的位移量。基于室内平面图像的拍摄参数,可以得到室内平面图像在一预定三维坐标系中的坐标值。
接着,在步骤124中,基于各室内平面图像的邻接关系和每个室内平面图像的拍摄参数将室内平面图映射至单位球面坐标系中的对应位置以生成室内全景图像。其中,单位球面坐标系的球心为预设参考点,且该单位球面坐标系的球半径为单位值。
需要说明的是,当采用手机等非固定位置的设备作来拍摄各室内平面图像时,可首先将拍摄每张室内平面图像时的拍摄参数进行换算,进而对拍摄到的室内平面图像进行变换,以便于将室内平面图映射至单位球面坐标系中的对应位置以生成室内全景图像。
例如,可将采集每张室内平面图像时,手机与固定参考点的位置转变为同一数值,再对每张室内平面图像进行相应的变换,然后再将变换后的室内平面图像映射至单位球面坐标系的对应位置。
此外,作为一种优选方案,在生成室内全景图像之后,可以对各室内平面图像的拼接处进行融合处理,从而使得更加真实的反映室内特征。还可以对生成的室内全景图像进行匀光、匀色等优化处理,以防止多张室内平面图像的一些拍摄参数(例如,亮度)的差异对后续步骤产生负面的影响。
接着参考图1,在步骤130中,提取全景图像中的有效线特征,有效线特征包括代表墙面与地面交界线的线特征。提取出的有效线特征,即可作为最终生成室内二维平面图所用到的线特征。
在一种实施方式中,步骤130可以包括:
步骤131:提取全景图像中的全部线特征。在这里,全部线特征代表了各室内平面图像中所有的直线段。通常在室内平面图像中,可能会存在很多具有直线特征的对象,例如墙面的交线、墙面与地面的交线,以及室内摆放的一些家具的轮廓(例如床、书桌、衣柜等等)。
然而,在生成室内二维平面图时,显然不需要用到全部的具有直线特征的线特征。因此,可以通过对全部线特征进行过滤,从中提取出生成室内二维平面图所需要的那部分线特征。
因此,步骤130还可以包括:
步骤132:从全部线特征中提取有效线特征。
图3示出了提取全景图像中的全部线特征,也即步骤131的一种示意性流程图。
参见图3所示,在步骤1311中,将全景图像划分为多个二进方块。其中,二进方块为四边的像素数为2的幂次方的矩形。
接着,在步骤1312中,遍历每个二进方块中的基,当基满足预设条件时,提取基为二进方块的最优基。在这里,基是指两个端点在二进方块的边的任意像素位置的线段。
参见图4所示,为二进方块400及其中的一个基401的示意性示意图。图4中,显然二进方块400为正方形,其各边边长包含了24个像素,基401为该二进方块400中的一个基。基的竖直分量和水平分量可用数对{p,q}来表示,其中p是其中较大者。在图4中,显然基401可表示为{9,5}。
作为一种实施方式,可以将δ&(φ‖γ)为真设为预设条件。
其中,记Yb>ε为δ,记Yb11为φ,并记Yb21为γ。则上述预设条件的表达式的物理意义为,当δ为真,且φ或γ中的至少一者为真,ε,ε12∈(0,1),为预设的阈值。
Yb、Yb1和Yb2分别代表了基401及其两条平行基(可分别称为第一平行基和第二平行基)上的像素突变量。第一平行基和第二平行基与基401平行,且第一平行基和第二平行基的端点分别与基的两个端点相邻。以图4中的基401为例,其第一平行基可用数对(10,6)来表示,而第二平行基可用数对(8,4)来表示。
在一种实施方式中,可以用基的能量统计来代表其上的像素突变量。当用基的能量统计来代表其上的像素突变量时,有:
Yb={|T(b)|/l(b),b∈B};
其中,T(b)为变换系数,l(b)为基401的长度的对数。
在一种实施方式中,例如可以先对每个二进方块进行小波变换以突显二进方块中可能出现的线特征,再将经小波变换的二进方块进行beamlet变换后所得到的变换系数作为T(b)。
接着参考图1,由于在生成室内二维平面图时,不需要用到全部的直线段,因此在提取出全景图像中的全部线特征后,可采用如图5的方式从全部线特征中提取有效线特征。
图5示出了从全部线特征中提取有效线特征,即图1中的步骤132的一个实施例的示意性流程图。
参照图5所示在步骤1321中,从所有线特征中,提取候补线特征。其中,候补线特征为长度大于预设值的线特征。例如,可以根据线特征和与之对应的二进方块之间的大小比例来设置预设值。
接着,在步骤1322中,在候补线特征中提取参考线特征,在这里,将垂直于地平面的线特征作为参考线特征。这样一来,可以提取出所每两个墙壁面交接处的线特征,以及门与墙面交接处的线特征。
最后,在步骤1323中,在候补线特征中提取与参考线特征相交的线特征作为有效线特征。这样一来便可以将墙面与地面的交界线作为最终的有效线特征提取出来。此外,还能够通过和门与墙面交界处的线特征相交这一条件,在有效线特征中,标注出门的相应位置。
再参照图1,在提取出有效线特征后,本实施方式的方法还包括了步骤140,基于有效线特征生成室内二维平面图。由于有效线特征是从单位球面坐标系中的室内全景图像中提取出来的,因此,室内全景图像中的每一个像素点,在该单位球面坐标系中,均具有其唯一的坐标值。这样一来,提取出的有效线特征上的每一个像素点也都包含了唯一的坐标值。因此,提取出的有效线特征包含了尺度信息。
例如,作为一种实施方式,可将有效线特征映射至世界坐标系以得到室内二维平面图。
如图6所示,为将有效线特征映射至世界坐标系的一种实施方式的示意图。
首先,获取每一条有效线特征b0上的任意两点与单位球面坐标系球心之间的连接线的第一平面S1
接着,求取与每一条有效线特征b0对应的第一平面S1与地平面S0的交线b1以得到室内二维平面图中的每一条线。由于线特征的球面坐标可一一映射至世界坐标(即三维笛卡尔坐标系中的坐标)。因此,在得到每一条交线b1的同时,可得到在三维笛卡尔坐标系中与该交线b1对应的尺度。
图7示出了根据本申请的一个实施例的室内二维平面图的生成装置的示意性结构图700。
在该实施方式中,室内二维平面图的生成装置700包括接收模块710、全景图生成模块720、有效线特征提取模块730和平面图生成模块740。
其中,接收模块710配置用于接收由多个摄像头拍摄的多个室内平面图像。
全景图像生成模块720配置用于基于室内平面图像拼接生成室内全景图像。
有效线特征提取模块730配置用于提取有效线特征。其中,有效线特征可包括代表墙面与地面的交界线的线特征。
平面图生成模块740配置用于基于有效线特征生成室内二维平面图。
在一种实施方式中,全景图像生成模块720可以包括特征点提取单元721、邻接关系确定单元722、拍摄参数获取单元723和映射单元724。
其中,特征点提取单元721配置用于提取每个室内平面图像的特征点。
邻接关系确定单元722配置用于基于特征点确定各室内平面图像的邻接关系。例如,邻接关系确定单元722可配置用于在多个室内平面图像包含相互匹配的基于SIFT特征的特征点构成的特征向量时,确定多个所述室内平面图像具有邻接关系。
拍摄参数获取单元723配置用于获取每个室内平面图像的拍摄参数,拍摄参数包括摄像头的焦距、摄像头的拍摄角度和摄像头光心距预设参考点的位移量。
映射单元724配置用于基于各室内平面图像的邻接关系和每个室内平面图像的拍摄参数将室内平面图映射至单位球面坐标系中的对应位置以生成室内全景图像,单位球面坐标系的球心为预设参考点。
在一种实施方式中,有效线特征提取模块730可以包括预提取单元731和过滤单元732。
其中,预提取单元731可配置用于提取全景图像中的全部线特征。过滤单元732可配置用于从全部线特征中提取有效线特征。
作为一种优选方案,预提取单元731还可以进一步包括二进方块划分子单元和最优基提取子单元。
其中,二进方块划分子单元可配置用于将全景图像划分为多个二进方块,二进方块为四边的像素数为2的幂次方的矩形。最优基提取子单元可配置用于遍历每个二进方块中的基,当基满足预设条件时,提取基为二进方块的最优基,基为两个端点在二进方块的边的任意像素位置的线段。
在一种实施方式中,预设条件例如可以为:基上的像素值突变量大于第一预设值,以及基的第一平行基上的像素值突变量小于第二预设值或者基的第二平行基的像素值突变量小于第三预设值。
其中,第一平行基和第二平行基与基平行,且第一平行基和第二平行基的端点分别与基的两个端点相邻。
作为一种优选方案,过滤单元732可进一步包括候补线特征提取子单元、参考线特征提取子单元和有效线特征提取子单元。
其中,候补线特征提取子单元可配置用于在所有线特征中,提取候补线特征,候补线特征的长度大于预设值。参考线特征提取子单元可配置用于在候补线特征中提参考线特征,其中,参考线特征垂直于地平面。有效线特征提取子单元可配置用于在候补线特征中提取与参考线特征相交的线特征作为有效线特征。
作为一种优选方案,平面生成模块740可具体配置用于将有效线特征映射至世界坐标系。
在一种实施方式中,平面生成模块740可包括第一平面获取单元741和交线求取单元742。
其中,第一平面获取单元741可配置用于获取每一条有效线特征上的任意两点与单位球面坐标系的球心连接线的第一平面。交线求取单元742可配置用于求取与每一条有效线特征对应的第一平面与地平面的交线以得到室内二维平面图中的每一条线。
图8示出了根据本申请的一个实施例的室内二维平面图的生成系统的示意性结构图。
在图8的实施例中,室内二维平面图的生成系统800包括采集器810和处理器820。
其中,采集器810用于采集多个室内平面图像。采集器810可包括多个摄像装置。摄像装置的焦平面垂直于地平面。
参见图9所示,为采集器810的一种实现方式。采集器810可以包含多个采集装置811。
再参照图8所示,处理器820用于基于接收到的室内平面图像拼接生成室内全景图像,提取全景图像中的有效线特征,以及,基于有效线特征生成室内二维平面图。其中,有效线特征包括代表墙面与地面交界线的线特征。
作为一种优选方案,室内二维平面图的生成系统还可以包括显示装置830。显示装置用于显示处理器820生成的室内二维平面图。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括接收模块、全景图生成模块、有效特征提取模块和平面生成模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,接收模块还可以被描述为“用于接收室内平面图像的单元”。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (21)

1.一种室内二维平面图的生成方法,其特征在于,包括:
接收由多个摄像头拍摄的多个室内平面图像;
基于接收到的所述室内平面图像拼接生成室内全景图像;
提取所述全景图像中的有效线特征,所述有效线特征包括代表墙面与地面交界线的线特征;以及
基于所述有效线特征生成室内二维平面图。
2.根据权利要求1所述的方法,其特征在于,所述基于接收到的所述室内平面图像拼接生成室内全景图像包括:
提取每个所述室内平面图像中的特征点;
基于所述特征点确定各所述室内平面图像的邻接关系;
获取每个所述室内平面图像的拍摄参数,所述拍摄参数包括摄像头的焦距、摄像头的拍摄角度和摄像头光心距预设参考点的位移量;
基于各所述室内平面图像的邻接关系和每个所述室内平面图像的拍摄参数,将所述室内平面图映射至单位球面坐标系中的对应位置以生成所述室内全景图像,所述单位球面坐标系的球心为所述预设参考点。
3.根据权利要求2所述的方法,其特征在于,所述基于所述特征点确定各所述室内平面图像的邻接关系包括:
如果多个室内平面图像包含相互匹配的基于尺度不变特征的特征点构成的特征向量,则所述多个室内平面图像具有邻接关系。
4.根据权利要求1所述的方法,其特征在于,所述提取所述全景图像中的有效线特征包括:
提取所述全景图像中的全部线特征;
从所述全部线特征中提取有效线特征。
5.根据权利要求4所述的方法,其特征在于,提取所述全景图像中的全部线特征包括:
将所述全景图像划分为多个二进方块,所述二进方块为四边的像素数为2的幂次方的矩形;
遍历每个所述二进方块中的基,提取满足预设条件的基为所述二进方块的最优基,所述基为两个端点在所述二进方块的边的任意像素位置的线段。
6.根据权利要求5所述的方法,其特征在于,所述预设条件为:
所述基上的像素值突变量大于第一预设值,以及
所述基的第一平行基上的像素值突变量小于第二预设值,或者所述基的第二平行基的像素值突变量小于第三预设值;
其中,所述第一平行基和所述第二平行基与所述基平行,且所述第一平行基和所述第二平行基的端点分别与所述基的两个端点相邻。
7.根据权利要求4所述的方法,其特征在于,从所述全部线特征中提取有效线特征包括:
在所有所述线特征中,提取候补线特征,所述候补线特征的长度大于预设值;
在所述候补线特征中提取参考线特征,所述参考线特征垂直于地平面;
在所述候补线特征中提取与所述参考线特征相交的线特征作为有效线特征。
8.根据权利要求1-7任意一项所述的方法,其特征在于,所述基于所述有效线特征生成室内二维平面图包括:
将所述有效线特征映射至世界坐标系以得到所述室内二维平面图。
9.根据权利要求8所述的方法,其特征在于,将所述有效线特征映射至世界坐标系包括:
获取每一条有效线特征上的任意两点与所述单位球面坐标系的球心连接线的第一平面;
求取与每一条有效线特征对应的所述第一平面与地平面的交线以得到所述室内二维平面图中的每一条线。
10.一种室内二维平面图的生成装置,其特征在于,包括:
接收模块,配置用于接收由多个摄像头拍摄的多个室内平面图像;
全景图像生成模块,配置用于基于所述室内平面图像拼接生成室内全景图像;
有效线特征提取模块,配置用于提取有效线特征,所述有效线特征包括代表墙面与地面的交界线的线特征;
平面图生成模块,配置用于基于所述有效线特征生成室内二维平面图。
11.根据权利要求10所述的装置,其特征在于,全景图像生成模块包括:
特征点提取单元,配置用于提取每个所述室内平面图像中的特征点;
邻接关系确定单元,配置用于基于所述特征点确定各所述室内平面图像的邻接关系;
拍摄参数获取单元,配置用于获取每个所述室内平面图像的拍摄参数,所述拍摄参数包括摄像头的焦距、摄像头的拍摄角度和摄像头光心距预设参考点的位移量;
映射单元,配置用于基于各所述室内平面图像的邻接关系和每个所述室内平面图像的拍摄参数将所述室内平面图映射至单位球面坐标系中的对应位置以生成所述室内全景图像,所述单位球面坐标系的球心为所述预设参考点。
12.根据权利要求11所述的装置,其特征在于,所述邻接关系确定单元还配置用于在多个室内平面图像包含相互匹配的基于尺度不变特征的特征点构成的特征向量时,确定多个所述室内平面图像具有邻接关系。
13.根据权利要求10所述的装置,其特征在于,所述有效线特征提取模块包括:
预提取单元,配置用于提取所述全景图像中的全部线特征;以及
过滤单元,配置用于从所述全部线特征中提取有效线特征。
14.根据权利要求13所述的装置,其特征在于,所述预提取单元包括:
二进方块划分子单元,配置用于将所述全景图像划分为多个二进方块,所述二进方块为四边的像素数为2的幂次方的矩形;
最优基提取子单元,配置用于遍历每个所述二进方块中的基,提取满足预设条件的基为所述二进方块的最优基,所述基为两个端点在所述二进方块的边的任意像素位置的线段。
15.根据权利要求14所述的装置,其特征在于,所述预设条件为:
所述基上的像素值突变量大于第一预设值,以及
所述基的第一平行基上的像素值突变量小于第二预设值或者所述基的第二平行基的像素值突变量小于第三预设值;
其中,所述第一平行基和所述第二平行基与所述基平行,且所述第一平行基和所述第二平行基的端点分别与所述基的两个端点相邻。
16.根据权利要求13所述的装置,其特征在于,所述过滤单元包括:
候补线特征提取子单元,配置用于在所有所述线特征中,提取候补线特征,所述候补线特征的长度大于预设值;
参考线特征提取子单元,配置用于在所述候补线特征中提参考线特征,所述参考线特征垂直于地平面;
有效线特征提取子单元,配置用于在所述候补线特征中提取与所述参考线特征相交的线特征作为有效线特征。
17.根据权利要求10-16任意一项所述的装置,其特征在于:
所述平面图生成模块还配置用于将所述有效线特征映射至世界坐标系。
18.根据权利要求17所述的装置,其特征在于,所述平面图生成模块包括:
第一平面获取单元,配置用于获取每一条有效线特征上的任意两点与所述单位球面坐标系的球心连接线的第一平面;
交线求取单元,配置用于求取与每一条有效线特征对应的所述第一平面与地平面的交线以得到所述室内二维平面图中的每一条线。
19.一种室内二维平面图的生成系统,其特征在于,包括采集器和处理器,其中,
所述采集器用于采集多个室内平面图像;
所述处理器用于基于接收到的所述室内平面图像拼接生成室内全景图像;提取所述全景图像中的有效线特征,所述有效线特征包括代表墙面与地面交界线的线特征;以及,基于所述有效线特征生成室内二维平面图。
20.根据权利要求19所述的系统,其特征在于:
所述采集器包括多个摄像装置;
所述摄像装置的焦平面垂直于地平面。
21.根据权利要求19或20所述的系统,其特征在于,还包括显示装置;
所述显示装置用于显示所述处理器生成的所述室内二维平面图。
CN201510150509.9A 2015-03-31 2015-03-31 室内二维平面图的生成方法、装置和系统 Pending CN104700355A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201510150509.9A CN104700355A (zh) 2015-03-31 2015-03-31 室内二维平面图的生成方法、装置和系统
HK15110422.0A HK1209884A1 (zh) 2015-03-31 2015-10-22 室內二維平面圖的生成方法、裝置和系統
TW104135505A TWI587241B (zh) 2015-03-31 2015-10-28 Method, device and system for generating two - dimensional floor plan
JP2015232566A JP6174104B2 (ja) 2015-03-31 2015-11-30 室内2d平面図の生成方法、装置及びシステム
KR1020150168937A KR101759798B1 (ko) 2015-03-31 2015-11-30 실내 2d 평면도의 생성 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510150509.9A CN104700355A (zh) 2015-03-31 2015-03-31 室内二维平面图的生成方法、装置和系统

Publications (1)

Publication Number Publication Date
CN104700355A true CN104700355A (zh) 2015-06-10

Family

ID=53347444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510150509.9A Pending CN104700355A (zh) 2015-03-31 2015-03-31 室内二维平面图的生成方法、装置和系统

Country Status (5)

Country Link
JP (1) JP6174104B2 (zh)
KR (1) KR101759798B1 (zh)
CN (1) CN104700355A (zh)
HK (1) HK1209884A1 (zh)
TW (1) TWI587241B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269229A (zh) * 2016-12-30 2018-07-10 央视国际网络无锡有限公司 一种全景图像或视频的像素位置分布优化方法
CN113052977A (zh) * 2021-03-30 2021-06-29 联想(北京)有限公司 处理方法及装置
CN114529566A (zh) * 2021-12-30 2022-05-24 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
WO2024131479A1 (zh) * 2022-12-21 2024-06-27 腾讯科技(深圳)有限公司 虚拟环境的显示方法、装置、可穿戴电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018358273B2 (en) 2017-10-31 2023-11-16 Adeka Corporation Sheet-like decellularized material and artificial blood vessel employing said material
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
CN113269877B (zh) * 2021-05-25 2023-02-21 三星电子(中国)研发中心 获取房间布局平面图的方法和电子设备
KR20230039097A (ko) * 2021-09-13 2023-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102659582B1 (ko) 2024-01-05 2024-04-22 주식회사 커넥트코리아 건축 구조 기반 평면도 생성 및 편집 방법, 장치 및 시스템

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076181A (ja) * 1999-09-08 2001-03-23 Mixed Reality Systems Laboratory Inc 視点位置設定方法、コンピュータ、三次元画像編集装置、およびプログラム記憶媒体
US6486877B1 (en) * 1998-06-17 2002-11-26 Olympus Optical Company, Ltd. Method and apparatus for creating virtual environment, and record medium having recorded thereon computer readable program for creating virtual environment
JP2008077261A (ja) * 2006-09-20 2008-04-03 Chudenko Corp 画像処理装置および画像処理プログラム
TW200929064A (en) * 2007-12-28 2009-07-01 Ind Tech Res Inst Methof for producing an image with depth by using 2D image
KR20100009451A (ko) * 2008-07-17 2010-01-27 삼성전자주식회사 영상의 그라운드 라인 결정 방법
CN101825840A (zh) * 2010-05-06 2010-09-08 浙江大学 一种多镜头实时全景成像系统
TW201129944A (en) * 2009-12-15 2011-09-01 Himax Tech Ltd Depth map generation for a video conversion system
KR20120023284A (ko) * 2010-09-01 2012-03-13 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬?틸트 영상을 얻는 방법 및 그 영상 시스템
CN102645180A (zh) * 2011-02-21 2012-08-22 株式会社拓普康 全方向图像测量仪器
JP2013046270A (ja) * 2011-08-25 2013-03-04 Olympus Corp 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム
CN103729850A (zh) * 2013-12-31 2014-04-16 楚天科技股份有限公司 一种在全景图中提取直线的方法
CN104240247A (zh) * 2014-09-10 2014-12-24 无锡儒安科技有限公司 一种基于单张图片的建筑物俯视轮廓的快速提取方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6486877B1 (en) * 1998-06-17 2002-11-26 Olympus Optical Company, Ltd. Method and apparatus for creating virtual environment, and record medium having recorded thereon computer readable program for creating virtual environment
JP2001076181A (ja) * 1999-09-08 2001-03-23 Mixed Reality Systems Laboratory Inc 視点位置設定方法、コンピュータ、三次元画像編集装置、およびプログラム記憶媒体
JP2008077261A (ja) * 2006-09-20 2008-04-03 Chudenko Corp 画像処理装置および画像処理プログラム
TW200929064A (en) * 2007-12-28 2009-07-01 Ind Tech Res Inst Methof for producing an image with depth by using 2D image
KR20100009451A (ko) * 2008-07-17 2010-01-27 삼성전자주식회사 영상의 그라운드 라인 결정 방법
TW201129944A (en) * 2009-12-15 2011-09-01 Himax Tech Ltd Depth map generation for a video conversion system
CN101825840A (zh) * 2010-05-06 2010-09-08 浙江大学 一种多镜头实时全景成像系统
KR20120023284A (ko) * 2010-09-01 2012-03-13 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬?틸트 영상을 얻는 방법 및 그 영상 시스템
CN102645180A (zh) * 2011-02-21 2012-08-22 株式会社拓普康 全方向图像测量仪器
JP2013046270A (ja) * 2011-08-25 2013-03-04 Olympus Corp 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム
CN103729850A (zh) * 2013-12-31 2014-04-16 楚天科技股份有限公司 一种在全景图中提取直线的方法
CN104240247A (zh) * 2014-09-10 2014-12-24 无锡儒安科技有限公司 一种基于单张图片的建筑物俯视轮廓的快速提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴阳: "全景图拼接技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑 (月刊)》 *
杨玲香等: "基于小波和Beamlet变换的图像线特征提取", 《石河子大学学报(自然科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269229A (zh) * 2016-12-30 2018-07-10 央视国际网络无锡有限公司 一种全景图像或视频的像素位置分布优化方法
CN108269229B (zh) * 2016-12-30 2021-08-06 央视国际网络无锡有限公司 一种全景图像或视频的像素位置分布优化方法
CN113052977A (zh) * 2021-03-30 2021-06-29 联想(北京)有限公司 处理方法及装置
CN114529566A (zh) * 2021-12-30 2022-05-24 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
CN114529566B (zh) * 2021-12-30 2022-11-22 北京城市网邻信息技术有限公司 图像处理方法、装置、设备及存储介质
WO2024131479A1 (zh) * 2022-12-21 2024-06-27 腾讯科技(深圳)有限公司 虚拟环境的显示方法、装置、可穿戴电子设备及存储介质

Also Published As

Publication number Publication date
JP2016194895A (ja) 2016-11-17
JP6174104B2 (ja) 2017-08-02
KR101759798B1 (ko) 2017-07-31
TWI587241B (zh) 2017-06-11
TW201635242A (zh) 2016-10-01
KR20160117143A (ko) 2016-10-10
HK1209884A1 (zh) 2016-04-08

Similar Documents

Publication Publication Date Title
CN104700355A (zh) 室内二维平面图的生成方法、装置和系统
ES2890414T3 (es) Método para modelado en 3D basándose en procesamiento de estructura a partir de movimiento de imágenes en 2D
CN102834845B (zh) 用于多摄像装置校准的方法与装置
Fathi et al. Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features
US7554575B2 (en) Fast imaging system calibration
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
Santos et al. 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera
WO2021129305A1 (zh) 光学动捕系统中标定杆检测方法、装置、设备和存储介质
CN101894366A (zh) 一种获取标定参数的方法、装置及一种视频监控系统
JP4906683B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
Scaioni et al. Some applications of 2-D and 3-D photogrammetry during laboratory experiments for hydrogeological risk assessment
EP2916286A1 (en) Camera calibration method and apparatus using a color-coded structure
CN103489165B (zh) 一种面向视频拼接的小数查找表生成方法
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
CN114766039A (zh) 对象检测方法、对象检测设备、终端设备、以及介质
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN112634377B (zh) 扫地机器人的相机标定方法、终端和计算机可读存储介质
Mikrut et al. Integration of image and laser scanning data based on selected example
Zhang et al. Point cloud registration with 2D and 3D fusion information on mobile robot integrated vision system
CN104157008A (zh) 一种基于asift的深度像匹配方法
Wang et al. Automatic registration of large-scale multi-sensor datasets
Kolecki Towards the automatic motion recovery using single-view image sequences acquired from bike

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1209884

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20150610

RJ01 Rejection of invention patent application after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1209884

Country of ref document: HK