CN109711443A - 基于神经网络的户型图识别方法、装置、设备及存储介质 - Google Patents
基于神经网络的户型图识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109711443A CN109711443A CN201811539200.9A CN201811539200A CN109711443A CN 109711443 A CN109711443 A CN 109711443A CN 201811539200 A CN201811539200 A CN 201811539200A CN 109711443 A CN109711443 A CN 109711443A
- Authority
- CN
- China
- Prior art keywords
- floor plan
- house type
- demand
- default
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明涉及图像检测领域,提供一种基于神经网络的户型图识别方法、装置、设备及存储介质,该方法包括:在接收查询终端发送的户型图识别指令时,获取需求户型图,并基于预设复合网络模型对需求户型图进行特征提取,得到需求特征向量;根据需求特征向量进行户型图查询,以判断预设户型图库中是否存在匹配的目标户型图;若存在,则向所述查询终端返回所述目标户型图;若不存在,则向所述查询终端返回对应的户型图不存在提示。本发明通过复合网络模型对户型图进行特征提取,再通过提取的特征对户型图进行检测和匹配操作,从而实现户型图的智能识别,提高了识别效率,同时也降低了人为工作量,有利于节约人力成本。
Description
技术领域
本发明涉及图像检测领域,尤其涉及一种基于神经网络的户型图识别方法、装置、设备及存储介质。
背景技术
户型图就是房屋的平面空间布局图,即对各个独立空间的使用功能、相应位置、大小进行描述的图型。在房产领域,通过户型图可以直观的看清房屋的走向布局;对此,房产公司往往收集大量的户型图,并为用户提供户型图识别匹配服务。但在面对海量户型图数据时,通过人工识别和查找相同户型图的方式效率低下,而且由于个人记忆量有限,无法记海量户型图,故不易识别一张新户型图是否是图片库中已经存在匹配的户型图。
发明内容
本发明的主要目的在于提供一种基于神经网络的户型图识别方法、装置、设备及存储介质,旨在实现户型图的智能识别,提高识别效率。
为实现上述目的,本发明提供一种基于神经网络的户型图识别方法,所述户型图识别方法包括:
在接收到查询终端发送的户型图识别指令时,获取需要识别的需求户型图,并基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量;
根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图;
若所述预设户型图库中存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回所述目标户型图;
若所述预设户型图库中不存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回对应的户型图不存在提示。
此外,为实现上述目的,本发明还提供一种基于神经网络的户型图识别装置,所述户型图识别装置包括:
第一提取模块,用于在接收到查询终端发送的户型图识别指令时,获取需要识别的需求户型图,并基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量;
户型图查询模块,用于根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图;
第一返回模块,用于若所述预设户型图库中存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回所述目标户型图;
第二返回模块,用于若所述预设户型图库中不存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回对应的户型图不存在提示
此外,为实现上述目的,本发明还提供一种基于神经网络的户型图识别设备,所述户型图识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的户型图识别程序,其中所述户型图识别程序被所述处理器执行时,实现如上述的基于神经网络的户型图识别方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有户型图识别程序,其中所述户型图识别程序被处理器执行时,实现如上述的基于神经网络的户型图识别方法的步骤。
本发明基于神经网络的方式预先构建复合网络模型,并通过该复合网络模型对户型图进行特征,再通过提取的特征对户型图进行检测和匹配操作,从而实现户型图的智能识别,提高了识别效率,同时也降低了人为工作量,有利于节约人力成本。
附图说明
图1为本发明实施例方案中涉及的基于神经网络的户型图识别设备的硬件结构示意图;
图2为本发明基于神经网络的户型图识别方法第一实施例的流程示意图;
图3为本发明基于神经网络的户型图识别装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例涉及的基于神经网络的户型图识别方法主要应用于基于神经网络的户型图识别设备,该户型图识别设备可以是由个人计算机(personal computer,PC)、服务器等具有数据处理功能的设备实现的。
参照图1,图1为本发明实施例方案中涉及的基于神经网络的户型图识别设备的硬件结构示意图。本发明实施例中,该户型图识别设备可以包括处理器1001(例如中央处理器Central Processing Unit,CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity,WI-FI接口);存储器1005可以是高速随机存取存储器(random access memory,RAM),也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解,图1中示出的硬件结构并不构成对本发明的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及户型图识别程序。在图1中,网络通信模块主要用于连接数据库,与数据库进行数据通信;而处理器1001可以调用存储器1005中存储的户型图识别程序,并执行本发明实施例提供的基于神经网络的户型图识别方法。
本发明实施例提供了一种基于神经网络的户型图识别方法。
参照图2,图2为本发明基于神经网络的户型图识别方法第一实施例的流程示意图。
本实施例中,所述基于神经网络的户型图识别方法包括以下步骤:
步骤S10,在接收到查询终端发送的户型图识别指令时,获取需要识别的需求户型图,并基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量;
户型图就是房屋的平面空间布局图,即对各个独立空间的使用功能、相应位置、大小进行描述的图型。在房产领域,通过户型图可以直观的看清房屋的走向布局;对此,房产公司往往收集大量的户型图,并为用户提供户型图识别匹配服务。但在面对海量户型图数据时,通过人工识别和查找相同户型图的方式效率低下,而且由于个人记忆量有限,无法记海量户型图,故不易识别一张新户型图是否是图片库中已经存在匹配的户型图。对此,本实施例提出了一种基于神经网络的户型图识别方法,基于神经网络的方式预先构建复合网络模型,并通过该复合网络模型对户型图进行特征提取,再通过提取的特征对户型图进行检测和匹配操作,从而实现户型图的智能识别,提高了识别效率,同时也降低了人为工作量,有利于节约人力成本。
本实施例的基于神经网络的户型图识别方法是由基于神经网络的户型图识别设备实现的,该设备以识别服务器为例进行说明。本实施例中,当用户 (如客户、工作人员等)需要对某一张户型图进行识别,以判断数据库中是否已存储有对应资料时,即可在查询终端进行操作,从本地上传或指定某张网络上的户型图作为需求户型图,并触发户型图识别请求;其中,该查询终端可以是个人计算机PC、手机、平板电脑等。查询终端在接收到该户型图识别请求时,即可向识别服务器发送对应的户型图识别指令,该户型图识别指令中包括该从本地上传的需求户型图或该需求户型图的网络存储地址。当识别服务器接收到查询终端发送的户型图识别指令时,即可根据该户型图识别指令获取需要识别的需求户型图。
识别服务器在获取到该需求户型图时,将基于预先训练好的预设复合网络模型对该需求户型图进行特征提取,得到该需求户型图的需求特征;其中为了方便在预设户型图库中进行户型图查询,该需求特征将以向量的方式表征,即需求特征向量。而对于本实施例中的预设复合网络模型,为了能够提高户型图的特征识别能力,可基于卷积神经网络(Convolutional Neural Network,CNN)的方式构建,且预设复合网络模型中包括一个深层网络和两个浅层网络,为描述方便,可分别称为第一深层网络、第二浅层网络和第三浅层网络;其中该第一深层网络以深度见长,主要用于提取户型图中强大的不变形和语义级别的特征;而第二浅层网络和第三浅层网络的网络深度略浅,主要是提取较少的不变形和视觉上的特征;通过将高层次结构网络和低层次结构网络进行融合来提取户型图的特征向量,以进一步提高特征识别和提取的准确性,有利于提高后续户型图识别操作的准确性。
进一步的,关于本实施例中第一深层网络,可以基于VGG16网络框架(出自论文“VERY DEEP CONVOLUTIONAL NETWORK SFOR LARGE-SCALE IMAGE RECOGNITION”)进行构建的;而考虑到本实施例中所提取的特征主要用于户型图特征提取和户型图匹配(该论文中的VGG16网络框架主要用于分类),因此可对该VGG16进行一定的变换。具体的,对于本实施例中的第一深层网络,将原VGG16的卷积层后的第一全连接层替换为全局均值池化层,从而减少了参数量,避免过拟合,也即本实施例中的第一深层网络包括 13个卷积层、1个全局均值池化层和2个全连接层;对于卷积层的卷积核kernel 均为3*3,卷积步长可参照原VGG16进行设置。对于第二浅层网络,包括1 个卷积层和1个最大池化层,该卷积层的卷积核为8*8,步长为16*16,池化层为7*7,步长为4*4。对于第二浅层网络,包括第一浅层网络包括1个卷积层和1个最大池化层,该卷积层的卷积核为8*8,步长为32*32,池化层为7*7,步长为2*2。
本实施例中,当通过上述包括三个网络的预设复合网络模型进行特征提取时,所述步骤S10包括:
基于预设预处理规则对所述需求户型图进行预处理,获得对应的标准户型图;
识别服务器在通过预设复合网络模型对需求户型图进行特征提取时,首先将基于预设预处理规则对需求户型图进行预处理,以使得该需求户型图满足各网络的输入需求,同时还有利于提高特征提取的效率;其中该预处理的过程可以包括图片尺寸的统一、像素值的统一(例如线性函数归一化、对数函数归一化)等;当预处理完成时,即得到了对应的标准户型图。例如,对需求户型图进行预处理后的标准户型图的格式为224*224*3(3指RGB三通道)。
分别通过所述第一深层网络、所述第二浅层网络和所述第三浅层网络对所述标准户型图进行特征提取,获得第一子特征向量、第二子特征向量和第三子特征向量,并分别对所述第一子特征向量、所述第二子特征向量和所述第三子特征向量进行标准化处理;
在得到标准户型图时,识别服务器将通过预设复合网络模型中的三个网络分别对该标准户型图进行特征,得到三个子特征向量;为描述方便,第一深层网络提取的子特征向量可称为第一子特征向量,第二浅层网络提取的子特征向量可称为第二子特征向量,第三浅层网络提取的子特征向量可称为第三子特征向量。例如,在通过第一深层网络提取第一子特征向量的过程中,对于224*224*3的标准户型图,首先通过卷积层部分得到进行卷积处理,得到7*7*512的卷积特征图像,然后对卷积特征图像进行全局均值池化,得到 512维度的池化特征向量,再将该512维度的池化特征向量依次通过两个全连接层,即得到4096维度的第一子特征向量。又例如,通过第二深层网络提取第二子特征向量的过程中,对于224*224*3的标准户型图,首先通过卷积层部分得到14*14*96的卷积特征图像,然后通过最大池化层对特征图像进行最大池化得到4*4*96的池化特征向量,并将该4*4*96的池化特征向量展开(平铺)得到1536维度的第二子特征向量。第三浅层网络的特征提取与上述第二浅层网络的提取过程类似,此处不再赘述。在得到三个子特征向量时,为方便后续的合并处理,将对三个子特征向量进行标准化处理,以使三个子特征向量处于相同(或相似)的特征空间。例如可对三个子特征向量进行L2范数标准化,主要思想是对每个子特征向量的元素计算其p-范数,然后对每个元素除以该范数,这样处理的结果是使得每个处理后向量的p-范数(比如 l1-norm,l2-norm)等于1。
对标准化处理后的第一子特征向量、第二子特征向量和第三子特征向量进行合并,并根据合并结果获得需求特征向量。
在对三个子特征向量时,识别服务器可对三个子特征向量进行合并(拼加)处理,得到一个合并特征向量,然后根据实际情况进行线性投影(映射),从而将其转化一定维度的向量,以作为该需求户型图的需求特征向量进行后续的户型图查找操作。例如,对于上述4096维度的第一子特征向量,1536维度的第二子特征向量和1536维度的第三子特征向量,三者合并后的合并特征向量为7168维度的,再通过线性投影将其转换为4096维度的需求特征向量。
步骤S20,根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图;
本实施例中,在得到需求户型图的需求特征向量时,即可根据该需求特征向量在预设户型图库中进行户型图查询,以判断预设户型图库中是否存在与需求户型图匹配的目标户型图。其中,该预设户型图库中包括有预先收集的若干样本户型图,还包括各样本户型图各自的样本特征向量;对于这些样本特征向量,也是通过预设复合网络模型对样本户型图进行特征提取得到的。在根据需求特征向量在预设户型图库中进行户型图查询时,即是将需求特征向量分别与各样本户型图的样本特征向量比对,基于一定的距离或角度公式(如欧式距离、马氏距离、余弦夹角等)计算两者的距离或角度,从而查询与需求户型图匹配的目标户型图。例如,本实施例中可以是通过欧式距离的方式进行查找的,识别服务器可根据欧式距离公式计算需求特征向量与各样本特征向量的欧式距离,欧式距离公式为
其中,V1为需求特征向量,V2为样本特征向量,d(V1,V2)为需求特征向量与样本特征向量的欧式距离;
v1i为需求特征向量的第i个元素,v2i为样本特征向量的第i个元素, i≥1。
当计算得到需求特征向量与各样本特征向量的欧式距离时,可筛选出其中最小一个的欧式距离,并将该最小欧式距离与预设临界值进行比较;若该最小欧式距离小于预设临界值,则认为该最小欧式距离所对应的样本特征向量的样本户型图与需求户型图匹配(相同),也即该样本户型图为目标户型图,此时进入步骤S30;反之,若该最小欧式距离大于或等于预设临界值,则认为预设户型图库中不存在与需求户型图匹配的目标户型图,此时进入步骤 S40。
进一步的,在实际中,预设户型图库中存储有大量的样本户型图,且这些样本户型图的样本特征向量为高维数据;在户型图比较查找阶段,为提高检索速度,可基于局部敏感哈希(LSH)的思想进行快速查询,找到候选的样本特征向量,再通过计算需求特征向量与各候选的样本特征向量的欧式距离来进行户型图查找。其中,局部敏感哈希的基本思想是:对于在原始数据空间(高维空间)中的两个数据点,若这两个数据点相邻(距离小于一定阈值),则基于一定的局部敏感哈希算法对这两个数据点进行相同的映射或投影变换(projection)后,这两个数据点在新的数据空间(低维度空间)中依然相邻的概率很大(大于一定阈值);而若这两个数据点在原始数据空间不相邻(距离大于或等于一定阈值),则这两个数据点在新的数据空间的相邻概率也很小。
具体的,步骤S20之前,还包括:
基于所述预设复合网络模型分别对所述预设户型图库中的各样本户型图进行特征提取,获得各样本特征向量;
对于预设户型图中的各样本户型图,识别服务器会预先通过预设复合网络模型对样本户型图进行特征提取,得到的各自对应的样本特征向量。该特征提取的过程与步骤S10中对需求户型图的特征提取过程类似,此处不再赘述。
通过预设局部敏感哈希算法将所述各样本特征向量映射至对应的样本哈希桶中;
在得到各样本户型图各自对应的样本特征向量时,识别服务器将通过预设局部敏感哈希算法对各样本特征向量进行映射,从而将各样本特征向量分别映射至对应的样本哈希桶中。为了方便管理和后续查询,识别服务器还可记录下每个样本特征向量在映射后对于的哈希桶编号。
所述步骤S20包括:
通过所述预设敏感哈希算法对所述需求特征向量进行映射,并根据所述需求特征向量的映射结果在所述样本哈希桶中确定目标哈希桶;
当根据需求特征向量在预设户型图库中进行户型图查询时,可通过相同的预设敏感哈希算法对需求特征向量进行映射,从而也将该需求特征向量映射至对应的样本哈希桶中;当映射完成时,可将需求特征向量所对应的样本哈希桶确定为目标哈希桶;该目标哈希桶所对应的样本特征向量即有较高的概率是与需求特征向量相邻(距离接近)。
将所述需求特征向量分别与所述目标哈希桶中的各样本特征向量进行比对,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图。
识别服务器在确定目标哈希桶时,即可将需求特征向量分别与目标哈希桶的各样本特征向量进行具体地比对,基于一定的距离或角度公式(如欧式距离、马氏距离、余弦夹角等)计算两者的距离或角度,从而查询与需求户型图匹配的目标户型图。通过上述基于局部敏感哈希(LSH)的思想进行快速查询,找到候选的样本特征向量,再通过计算需求特征向量与各候选的样本特征向量的欧式距离来进行户型图查找,可有效减少计算量,从而提高检索效率。
步骤S30,若所述预设户型图库中存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回所述目标户型图;
本实施例中,若识别服务器在预设户型图中查找到了与该需求户型图匹配的目标户型图(即判断该预设户型图库中存在与需求户型图匹配的目标户型图),则识别服务器将获取该目标户型图,并向查询终端返回该目标户型图。
当然,在判断该预设户型图库中存在与需求户型图匹配的目标户型图之后,识别服务器还可进一步查询目标户型图所对应的户型信息,并将所述户型信息返回至查询终端,以供用户查看和了解;其中,这些户型信息可以包括户型面积、户型图所属小区、户型图所述小区的所在地址、户型图入库时间等;对于这些户型信息,可以是预先收集并存储在预设户型图库中,也可以是从网络中查询得到。
步骤S40,若所述预设户型图库中不存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回对应的户型图不存在提示。
本实施例中,若识别服务器在预设户型图中未查找到了与该需求户型图匹配的目标户型图,即可判断该预设户型图库中不存在与需求户型图匹配的目标户型图),此时识别服务器会向查询终端返回对应的户型图不存在提示。当然,虽然预设户型图库中不存在与需求户型图匹配的目标户型图,也可以返回与该需求户型图相似的样本户型图(如特征向量距离最小的样本户型图)。
本实施例中,在接收查询终端发送的户型图识别指令时,获取需要识别的需求户型图,并基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量;根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图;若所述预设户型图库中存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回所述目标户型图;若所述预设户型图库中不存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回对应的户型图不存在提示。通过以上方式,本实施例基于神经网络的方式预先构建复合网络模型,并通过该复合网络模型对户型图进行特征,再通过提取的特征对户型图进行检测和匹配操作,从而实现户型图的智能识别,提高了识别效率,同时也降低了人为工作量,有利于节约人力成本。
基于上述图2所示实施例,提出本发明基于神经网络的户型图识别方法的第二实施例。
本实施例中,步骤S10之前还包括:
以三元组的方式从预设训练样本集中获取训练样本三元组,所述训练样本三元组包括一个基础户型训练图、一个同类户型训练图和一个异类户型训练图,其中所述基础户型训练图和所述同类户型训练图对应同一户型,所述基础户型训练图和所述异类户型训练图分别对应不同户型;
本实施例中,用户在上传需求户型图时,由于实际拍摄角度或是光照条件的差异,不同用户对同一户型所拍摄和上传的需求户型图可能会存在区别。为了提高预设复合网络模型对需求户型图的识别能力,在对构建和训练复合网络模型的过程中,可以是基于三元组(triplet)思想训练模型,使得模型损失尽可能的小,训练后的复合网络模型在两张图片是同一户型结构的时候所提取到特征向量的距离尽可能的小,反之距离尽可能的大。具体的,在训练时,识别服务器可以是以三元组的方式从预设训练样本集中获取训练样本三元组;其中该预设训练样本集为预先收集的户型训练图,当然该预先训练样本集与上述的预设户型图库可以是同一个图库;而对于每个训练样本三元组,则包括一个基础户型训练图、一个同类户型训练图和一个异类户型训练图,基础户型训练图和同类户型训练图是对应同一户型(例如以不同的角度对同一户型图拍摄得到的),而基础户型训练图和异类户型训练图则分别对应不同户型,也即基础户型训练图和同类户型训练图属于同类样本,基础户型训练图和异类户型训练图属于异类样本。
通过预设基础模型分别对所述基础户型训练图、所述同类户型训练图和所述异类户型训练图进行特征提取,分别获得基础训练特征向量a、同类训练特征向量p和异类训练特征向量n;
在得到训练样本三元组的同时,识别服务器还将构建出预设基础模型,然后通过该预设基础模型分别对训练样本三元组中的基础户型训练图、同类户型训练图和异类户型训练图进行特征提取,分别获得对应的基础训练特征向量a、同类训练特征向量p和异类训练特征向量n;该特征提取过程与上述步骤S10中的类似,此处不再赘述。
将所述基础训练特征向量a、所述同类训练特征向量p和所述异类训练特征向量n代入至预设目标函数计算模型损失,以根据调整后的模型参数获得所述预设复合网络模型。
在得到训练样本三元组中各样本对应的训练特征向量时,识别服务器即可将这些特征向量代入至预设目标函数以计算模型损失;该损失越大,则说明当前模型的特征提取结果与实际情况(理想情况)相差越大。对此,识别服务器可根据该模型损失对模型的各参数进行相应的调整,如调整各卷积层的卷积核参数等,从而根据调整后的参数获得训练完成的预设复合网络模型。
进一步的,在本实施例中是采用了该三元组的思想进行训练,则该预设目标函数可以为
其中,L为所述模型损失;
m为所述训练样本三元组的组数,m≥1;
为第i组训练样本三元组中基础训练特征向量与同类训练特征向量之间的欧式距离度量,1≤i≤m;
为第i组训练样本三元组中基础训练特征向量与异类训练特征向量之间的欧式距离度量;
α为预设最小间隔,α≥0。
对于上述预设目标函数,当基础训练特征向量a与异类训练特征向量n 之间的距离(异类样本距离)小于基础训练特征向量a与同类训练特征向量p 之间的距离(同类样本距离)加一常数值时,[]内的值大于零,就会产生模型损失;反之模型损失为零。
值得说明的是,本实施例中还可通过重复上述步骤的方式不断对预设基础模型进行迭代训练和调整,直至满足一定的预设训练条件(如迭代次数达到预设迭代阈值,模型损失小于预设损失阈值等),即可认为训练完成,此时即得到了预设复合网络模型。通过以上基于三元组(triplet)思想进行模型训练,有利于提高预设复合网络模型对需求户型图的识别能力,从而提高户型图识别的准确度。
此外,本发明实施例还提供一种基于神经网络的户型图识别装置。
参照图3,图3为本发明基于神经网络的户型图识别装置第一实施例的功能模块示意图。
本实施例中,所述基于神经网络的户型图识别装置包括:
第一提取模块10,用于在接收到查询终端发送的户型图识别指令时,获取需要识别的需求户型图,并基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量;
户型图查询模块20,用于根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图;
第一返回模块30,用于若所述预设户型图库中存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回所述目标户型图;
第二返回模块40,用于若所述预设户型图库中不存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回对应的户型图不存在提示。
其中,上述基于神经网络的户型图识别装置的各虚拟功能模块存储于图1 所示基于神经网络的户型图识别设备的存储器1005中,用于实现户型图识别程序的所有功能;各模块被处理器1001执行时,可实现通过该复合网络模型对户型图进行特征,再通过提取的特征对户型图进行检测和匹配操作,从而进行户型图智能识别的功能。
进一步的,所述预设复合网络模型包括第一深层网络、第二浅层网络和第三浅层网络;
所述第一深层网络包括13个卷积层、1个全局均值池化层和2个全连接层;
所述第二浅层网络包括1个卷积层和1个最大池化层;
所述第三浅层网络包括1个卷积层和1个最大池化层。
进一步的,所述第一提取模块10包括:
预处理单元11,用于基于预设预处理规则对所述需求户型图进行预处理,获得对应的标准户型图;
特征提取单元12,用于分别通过所述第一深层网络、所述第二浅层网络和所述第三浅层网络对所述标准户型图进行特征提取,获得第一子特征向量、第二子特征向量和第三子特征向量,并分别对所述第一子特征向量、所述第二子特征向量和所述第三子特征向量进行标准化处理;
向量合并单元13,用于对标准化处理后的第一子特征向量、第二子特征向量和第三子特征向量进行合并,并根据合并结果获得需求特征向量。
进一步的,所述基于神经网络的户型图识别装置,还包括:
模型训练模块,用于以三元组的方式从预设训练样本集中获取训练样本三元组,所述训练样本三元组包括一个基础户型训练图、一个同类户型训练图和一个异类户型训练图,其中所述基础户型训练图和所述同类户型训练图对应同一户型,所述基础户型训练图和所述异类户型训练图分别对应不同户型;通过预设基础模型分别对所述基础户型训练图、所述同类户型训练图和所述异类户型训练图进行特征提取,分别获得基础训练特征向量a、同类训练特征向量p和异类训练特征向量n;将所述基础训练特征向量a、所述同类训练特征向量p和所述异类训练特征向量n代入至预设目标函数计算模型损失,并根据所述模型损失对所述预设基础模型的模型参数进行调整,以根据调整后的模型参数获得所述预设复合网络模型。
进一步的,所述预设目标函数为:
其中,L为所述模型损失;
m为所述训练样本三元组的组数,m≥1;
为第i组训练样本三元组中基础训练特征向量与同类训练特征向量之间的欧式距离度量,1≤i≤m;
为第i组训练样本三元组中基础训练特征向量与异类训练特征向量之间的欧式距离度量;
α为预设最小间隔,α≥0。
进一步的,所述基于神经网络的户型图识别装置,还包括:
第二提取模块,用于基于所述预设复合网络模型分别对所述预设户型图库中的各样本户型图进行特征提取,获得各样本特征向量;
样本映射模块,用于通过预设局部敏感哈希算法将所述各样本特征向量映射至对应的样本哈希桶中;
所述户型图查询模块20包括:
哈希桶确定单元,用于通过所述预设敏感哈希算法对所述需求特征向量进行映射,并根据所述需求特征向量的映射结果在所述样本哈希桶中确定目标哈希桶;
向量比对单元,用于将所述需求特征向量分别与所述目标哈希桶中的各样本特征向量进行比对,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图。
进一步的,所述基于神经网络的户型图识别装置,还包括:
第三返回模块,用于查询所述目标户型图所对应的户型信息,并将所述户型信息返回至所述查询终端。
其中,上述基于神经网络的户型图识别装置中各个模块的功能实现与上述基于神经网络的户型图识别方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明实施例还提供一种存储介质。
本发明存储介质上存储有户型图识别程序,其中所述户型图识别程序被处理器执行时,实现如上述的基于神经网络的户型图识别方法的步骤。
其中,户型图识别程序被执行时所实现的方法可参照本发明基于神经网络的户型图识别方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于神经网络的户型图识别方法,其特征在于,所述户型图识别方法包括:
在接收到查询终端发送的户型图识别指令时,获取需要识别的需求户型图,并基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量;
根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图;
若所述预设户型图库中存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回所述目标户型图;
若所述预设户型图库中不存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回对应的户型图不存在提示。
2.如权利要求1所述的户型图识别方法,其特征在于,所述预设复合网络模型包括第一深层网络、第二浅层网络和第三浅层网络;
所述第一深层网络包括13个卷积层、1个全局均值池化层和2个全连接层;
所述第二浅层网络包括1个卷积层和1个最大池化层;
所述第三浅层网络包括1个卷积层和1个最大池化层。
3.如权利要求2所述的户型图识别方法,其特征在于,所述基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量的步骤包括:
基于预设预处理规则对所述需求户型图进行预处理,获得对应的标准户型图;
分别通过所述第一深层网络、所述第二浅层网络和所述第三浅层网络对所述标准户型图进行特征提取,获得第一子特征向量、第二子特征向量和第三子特征向量,并分别对所述第一子特征向量、所述第二子特征向量和所述第三子特征向量进行标准化处理;
对标准化处理后的第一子特征向量、第二子特征向量和第三子特征向量进行合并,并根据合并结果获得需求特征向量。
4.如权利要求1所述的户型图识别方法,其特征在于,所述在接收查询终端发送的户型图识别指令时,获取需要识别的需求户型图,并基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量的步骤之前,还包括:
以三元组的方式从预设训练样本集中获取训练样本三元组,所述训练样本三元组包括一个基础户型训练图、一个同类户型训练图和一个异类户型训练图,其中所述基础户型训练图和所述同类户型训练图对应同一户型,所述基础户型训练图和所述异类户型训练图分别对应不同户型;
通过预设基础模型分别对所述基础户型训练图、所述同类户型训练图和所述异类户型训练图进行特征提取,分别获得基础训练特征向量a、同类训练特征向量p和异类训练特征向量n;
将所述基础训练特征向量a、所述同类训练特征向量p和所述异类训练特征向量n代入至预设目标函数计算模型损失,并根据所述模型损失对所述预设基础模型的模型参数进行调整,以根据调整后的模型参数获得所述预设复合网络模型。
5.如权利要求4所述的户型图识别方法,其特征在于,所述预设目标函数为:
其中,L为所述模型损失;
m为所述训练样本三元组的组数,m≥1;
为第i组训练样本三元组中基础训练特征向量与同类训练特征向量之间的欧式距离度量,1≤i≤m;
为第i组训练样本三元组中基础训练特征向量与异类训练特征向量之间的欧式距离度量;
α为预设最小间隔,α≥0。
6.如权利要求1所述的户型图识别方法,其特征在于,所述根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图的步骤之前,还包括:
基于所述预设复合网络模型分别对所述预设户型图库中的各样本户型图进行特征提取,获得各样本特征向量;
通过预设局部敏感哈希算法将所述各样本特征向量映射至对应的样本哈希桶中;
所述根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图的步骤包括:
通过所述预设敏感哈希算法对所述需求特征向量进行映射,并根据所述需求特征向量的映射结果在所述样本哈希桶中确定目标哈希桶;
将所述需求特征向量分别与所述目标哈希桶中的各样本特征向量进行比对,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图。
7.如权利要求1至6中任一项所述的户型图识别方法,其特征在于,若所述预设户型图库中存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回所述目标户型图的步骤之后,还包括:
查询所述目标户型图所对应的户型信息,并将所述户型信息返回至所述查询终端。
8.一种基于神经网络的户型图识别装置,其特征在于,所述户型图识别装置包括:
第一提取模块,用于在接收到查询终端发送的户型图识别指令时,获取需要识别的需求户型图,并基于预设复合网络模型对所述需求户型图进行特征提取,得到需求特征向量;
户型图查询模块,用于根据所述需求特征向量在预设户型图库中进行户型图查询,以判断所述预设户型图库中是否存在与所述需求户型图匹配的目标户型图;
第一返回模块,用于若所述预设户型图库中存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回所述目标户型图;
第二返回模块,用于若所述预设户型图库中不存在与所述需求户型图匹配的目标户型图,则向所述查询终端返回对应的户型图不存在提示。
9.一种基于神经网络的户型图识别设备,其特征在于,所述户型图识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的户型图识别程序,其中所述户型图识别程序被所述处理器执行时,实现如权利要求1至7中任一项所述的基于神经网络的户型图识别方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有户型图识别程序,其中所述户型图识别程序被处理器执行时,实现如权利要求1至7中任一项所述的基于神经网络的户型图识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811539200.9A CN109711443A (zh) | 2018-12-14 | 2018-12-14 | 基于神经网络的户型图识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811539200.9A CN109711443A (zh) | 2018-12-14 | 2018-12-14 | 基于神经网络的户型图识别方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109711443A true CN109711443A (zh) | 2019-05-03 |
Family
ID=66256669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811539200.9A Pending CN109711443A (zh) | 2018-12-14 | 2018-12-14 | 基于神经网络的户型图识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109711443A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197225A (zh) * | 2019-05-28 | 2019-09-03 | 广东三维家信息科技有限公司 | 基于深度学习的户型空间匹配方法和系统 |
CN110210564A (zh) * | 2019-05-30 | 2019-09-06 | 贝壳技术有限公司 | 相似户型检测方法及装置 |
CN110222621A (zh) * | 2019-05-30 | 2019-09-10 | 贝壳技术有限公司 | 相似户型检测方法、电子设备及存储介质 |
CN110633553A (zh) * | 2019-10-09 | 2019-12-31 | 郑豪 | 一种住宅户型平面图自动生成方法和系统 |
CN111209567A (zh) * | 2019-12-30 | 2020-05-29 | 北京邮电大学 | 提高检测模型鲁棒性的可知性判断方法及装置 |
CN111382805A (zh) * | 2020-04-02 | 2020-07-07 | 贝壳技术有限公司 | 用于处理房屋的户型矢量数据的方法、电子设备和介质 |
CN111651819A (zh) * | 2020-05-27 | 2020-09-11 | 广东博智林机器人有限公司 | 一种家装设计方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426860A (zh) * | 2015-12-01 | 2016-03-23 | 北京天诚盛业科技有限公司 | 人脸识别的方法和装置 |
CN106202362A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 图像推荐方法和图像推荐装置 |
CN106844614A (zh) * | 2017-01-18 | 2017-06-13 | 天津中科智能识别产业技术研究院有限公司 | 一种户型图功能区域快速识别系统 |
CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN108197326A (zh) * | 2018-02-06 | 2018-06-22 | 腾讯科技(深圳)有限公司 | 一种车辆检索方法及装置、电子设备、存储介质 |
CN108875811A (zh) * | 2018-06-01 | 2018-11-23 | 平安科技(深圳)有限公司 | 动物种类的分类方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-14 CN CN201811539200.9A patent/CN109711443A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426860A (zh) * | 2015-12-01 | 2016-03-23 | 北京天诚盛业科技有限公司 | 人脸识别的方法和装置 |
CN106202362A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 图像推荐方法和图像推荐装置 |
CN106844614A (zh) * | 2017-01-18 | 2017-06-13 | 天津中科智能识别产业技术研究院有限公司 | 一种户型图功能区域快速识别系统 |
CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN108197326A (zh) * | 2018-02-06 | 2018-06-22 | 腾讯科技(深圳)有限公司 | 一种车辆检索方法及装置、电子设备、存储介质 |
CN108875811A (zh) * | 2018-06-01 | 2018-11-23 | 平安科技(深圳)有限公司 | 动物种类的分类方法、装置、计算机设备和存储介质 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197225A (zh) * | 2019-05-28 | 2019-09-03 | 广东三维家信息科技有限公司 | 基于深度学习的户型空间匹配方法和系统 |
CN110210564A (zh) * | 2019-05-30 | 2019-09-06 | 贝壳技术有限公司 | 相似户型检测方法及装置 |
CN110222621A (zh) * | 2019-05-30 | 2019-09-10 | 贝壳技术有限公司 | 相似户型检测方法、电子设备及存储介质 |
CN110222621B (zh) * | 2019-05-30 | 2021-06-11 | 贝壳找房(北京)科技有限公司 | 相似户型检测方法、电子设备及存储介质 |
CN110633553A (zh) * | 2019-10-09 | 2019-12-31 | 郑豪 | 一种住宅户型平面图自动生成方法和系统 |
CN111209567A (zh) * | 2019-12-30 | 2020-05-29 | 北京邮电大学 | 提高检测模型鲁棒性的可知性判断方法及装置 |
CN111209567B (zh) * | 2019-12-30 | 2022-05-03 | 北京邮电大学 | 提高检测模型鲁棒性的可知性判断方法及装置 |
CN111382805A (zh) * | 2020-04-02 | 2020-07-07 | 贝壳技术有限公司 | 用于处理房屋的户型矢量数据的方法、电子设备和介质 |
CN111651819A (zh) * | 2020-05-27 | 2020-09-11 | 广东博智林机器人有限公司 | 一种家装设计方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109711443A (zh) | 基于神经网络的户型图识别方法、装置、设备及存储介质 | |
CN111177446B (zh) | 一种用于足迹图像检索的方法 | |
CN110209859B (zh) | 地点识别及其模型训练的方法和装置以及电子设备 | |
KR101531618B1 (ko) | 이미지들의 비교 방법 및 시스템 | |
CN109582880B (zh) | 兴趣点信息处理方法、装置、终端及存储介质 | |
CN109711228B (zh) | 一种实现图像识别的图像处理方法及装置、电子设备 | |
Cheng et al. | A data-driven point cloud simplification framework for city-scale image-based localization | |
CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
KR20140109463A (ko) | 이미지들을 비교하는 방법 및 시스템 | |
CN110309810B (zh) | 一种基于批次中心相似度的行人重识别方法 | |
CN110969648A (zh) | 一种基于点云序列数据的3d目标跟踪方法及系统 | |
CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
CN109670423A (zh) | 一种基于深度学习的图像识别系统、方法及介质 | |
CN116385707A (zh) | 基于多尺度特征与特征增强的深度学习场景识别方法 | |
CN113793370B (zh) | 三维点云配准方法、装置、电子设备及可读介质 | |
CN106599926A (zh) | 一种表情图片推送方法及系统 | |
Karkar et al. | CamNav: a computer-vision indoor navigation system | |
CN108446737B (zh) | 用于识别对象的方法和装置 | |
CN116977250A (zh) | 一种工业零件的缺陷检测方法、装置和计算机设备 | |
CN111966851B (zh) | 基于少量样本的图像识别方法和系统 | |
Zhang et al. | Hierarchical Image Retrieval Method Based on Bag-of-Visual-Word and Eight-point Algorithm with Feature Clouds for Visual Indoor Positioning | |
CN114638846A (zh) | 拾取位姿信息确定方法、装置、设备和计算机可读介质 | |
CN115995079A (zh) | 图像语义相似度分析方法和同语义图像检索方法 | |
Ma et al. | A fast C-GIST based image retrieval method for vision-based Indoor localization | |
Jyothi et al. | Computational color naming for human-machine interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |