CN113239785A - 一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备 - Google Patents

一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN113239785A
CN113239785A CN202110509758.8A CN202110509758A CN113239785A CN 113239785 A CN113239785 A CN 113239785A CN 202110509758 A CN202110509758 A CN 202110509758A CN 113239785 A CN113239785 A CN 113239785A
Authority
CN
China
Prior art keywords
house type
key point
dimensional
wall body
dimensional house
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110509758.8A
Other languages
English (en)
Inventor
夏江东
周海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baianju Information Technology Shanghai Co ltd
Original Assignee
Baianju Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baianju Information Technology Shanghai Co ltd filed Critical Baianju Information Technology Shanghai Co ltd
Priority to CN202110509758.8A priority Critical patent/CN113239785A/zh
Publication of CN113239785A publication Critical patent/CN113239785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备。所述方法包括：输入待识别二维户型图到户型关键点预测模型；获取所述二维户型图中墙体、门窗的关键点位置数据，所述关键点位置数据包括该点属于墙体、门窗对应类别的概率；根据所述墙体、门窗关键点位置数据将所述关键点转化为线段，并对所述线段进行扩展，校正所述线段位置偏差；输出所述二维户型图识别结果。本发明能够解决了传统户型识别泛化能力不够的问题，同时极大程度上提高了墙体线位置识别的准确率，避免装修设计师人力资源的浪费，提高了装修设计师的设计效率。

Description

一种基于卷积神经网络的户型自动识别的方法、系统、存储介 质及电子设备
技术领域
本发明涉及户型识别，特别是涉及一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备。
背景技术
在装修设计领域，随着互联网技术与人工智能技术的飞速发展，各种在线进行家装设计需求激增，在自动布局方面和三维重建方面，户型图的自动识别都具有重要。
目前二维户型图的识别主要有三种方法：以户型图作为临摹底图手动重构户型特征；通过opencv模型以边缘检测手段识别二维户型图中墙体、门及窗的位置以及基于深度学习的目标检测模型提取户型特征。其中第一种方法，会消耗大量的人力资源，并且效率及其低下；第二种方法通过阈值的调整，只能满足部分户型图识别的需求，保证不了识别模型的泛化能力，第三种方法会丢失一部分检测目标，并且检测出的构件位置会有一定的偏差。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备，用于解决现有技术中的以上问题。
为实现上述目的及其他相关目的，本发明提供一种基于卷积神经网络的户型自动识别的方法，所述方法包括：输入待识别二维户型图到户型关键点预测模型；获取所述二维户型图中墙体、门窗的关键点位置数据，所述关键点位置数据包括该点属于墙体、门窗对应类别的概率；根据所述墙体、门窗关键点位置数据将所述关键点转化为线段，并对所述线段进行扩展，校正所述线段位置偏差；输出所述二维户型图识别结果。
于本发明一实施例中，所述方法还包括：输入待识别二维户型图片可以是户型图片的RGB值，并将所述户型图片的RGB值统一转化为同一格式的三维数组。
于本发明一实施例中，所述方法还包括：所述待识别二维户型图包括传统方正户型图。
于本发明一实施例中，所述方法还包括建立所述户型关键点预测模型：标注所述墙体、门窗关键点位置数据并转化为概率图；抽取所述二维户型图语义特征，并将语义特征转换成期望的所述墙体、门窗关键点位置；构建损失函数，优化所述户型关键点预测模型的参数；训练迭代优化所述户型关键点预测模型。
于本发明一实施例中，所述方法中所述墙体、门窗关键点位置数据还包括：所述二维户型图中每个像素位置属于所述墙体、门窗关键点位置的所属类别数据、坐标数据、连接方向数据以及对应类别的概率；所述二维户型图中每个像素点越远于所述墙体、门窗关键点位置的概率越接近于m，距离所述墙体、门窗关键点位置越近的概率越接近于n，所述m、n为预设阈值。
于本发明一实施例中，所述方法还包括：通过Gaussian函数处理标注所述墙体、门窗关键点位置数据。
于本发明一实施例中，所述方法还包括：通过卷积神经网络抽取所述语义特征，将输入的所述二维户型图数据通过权值共享的全连接和下采样实现压缩，生成语义向量，并从depth,width,resolution三个维度放大所述户型关键点预测模型网络结构，以增加网络的性能，提高模型预测的准确率。
于本发明一实施例中，所述方法还包括：在所述语义特征抽取压缩后通过所述损失函数将所述二维户型图的每个像素点转换为墙体、门窗关键点的概率数值，所述概率数值在预设阈值m～n之间；所述损失函数可以采用y＝sigmoid(x)函数。
于本发明一实施例中，所述方法还包括：通过获取二维户型图样本、或经过数据增广的二维户型图样本及其标注的关键点位置数据，训练迭代优化所述户型关键点预测模型。
于本发明一实施例中，所述方法还包括：根据所述墙体、门窗关键点位置数据将所述关键点形成线段；以所述线段为中心线向两边扩展形成矩形区域；将所述矩形区域进行图像处理以校正墙体线位置。
为实现上述目的及其他相关目的，本发明提供基于卷积神经网络的户型自动识别的系统，所述系统包括：二维户型图输入模块，用于输入待识别二维户型图到户型关键点预测模型；关键点位置数据获取模块，用于获取所述二维户型图中墙体、门窗的关键点位置数据；关键点处理模块，用于根据所述墙体、门窗关键点位置数据将所述关键点转化为线段，并对所述线段进行扩展，校正所述线段位置偏差；识别结果输出模块，用于输出所述二维户型图识别结果。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序被处理器加载执行时，实现所述的鼠标操作模拟方法。
为实现上述目的及其他相关目的，本发明提供一种电子设备，包括：处理器、存储器、及通信接口；其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行所述的基于卷积神经网络的户型自动识别方法；所述通信接口用于实现访问装置与其他设备之间的通信。
如上所述，本发明的基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备，装修设计师在将户型设计时无需以二维户型图作为临摹底图手动重构户型特征，避免消耗大量的人力资源。本发明还解决了传统户型识别泛化能力不够的问题，即某些技术只能识别既有一定特征的户型图，同时极大程度上提高了墙体线位置识别的准确率，以及提高了装修设计师的设计效率。
附图说明
图1显示为本发明一实施例中的户型自动识别方法的流程示意图。
图2显示为本发明一实施例中的关键点预测模型建立的具体流程示意图。
图3显示为本发明一实施例中的像素点所属关键点类别及概率示意图。
图4显示为本发明一实施例中关键点预测模型建立样本获取及处理的流程示意图。
图5显示为本发明一实施例中的户型自动识别系统的模块示意图。
图6显示为本发明一实施例中的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
为了解决现有技术中装修设计师在进行户型设计前需根据户型图手动重构户型特征，浪费人力资源或者采用现有技术进行户型识别的泛化能力不够以及识别准确率不高的技术问题，本发明提供一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备。
如图1所示，本实施例提供一种基于基于卷积神经网络的户型自动识别的方法，该方法包括如下步骤：
S11：输入待识别二维户型图到户型关键点预测模型。
具体的，输入到所述户型关键点预测模型的待识别二维户型图需要数值化，以便计算机模型能够识别，本方法将二维户型图图片转换成RGB像素值作为模型的输入，优选的，RGB像素值的具体实施过程可以通过python的Pyqt5模块进行。
进一步的，需要将二维户型图图片的RGB像素值统一转化为同一格式的三维数组，例如：统一转化成512*512*3的三维数组。
进一步的，所述待识别二维户型图为实际户型图的等比例缩放户型图。
进一步的，所述待识别二维户型图为传统方正户型图。
S12：获取所述二维户型图中墙体、门窗的关键点位置数据，所述关键点位置数据包括该点属于墙体、门窗对应类别的概率。
具体的，通过所述关键点预测模型判断所述输入的待识别二维户型图中每个像素点属于墙体、门窗的关键点对应类别的概率，获取所述二维户型图中每个像素位置属于所述墙体、门窗关键点类别数据、坐标数据、连接方向数据以及对应类别的概率数据。优选的，所述墙体、门窗的关键点为二维户型图中墙体、门窗线段的端点。
进一步的，所述二维户型图中每个像素点越远于所述墙体、门窗关键点位置的概率越接近于m，距离所述墙体、门窗关键点位置越近的概率越接近于n，所述m、n为预设阈值。例如：越距离墙体关键点位置越远的像素点的概率越接近0，距离越近的像素点的概率越接近1。
进一步的，所述二维户型图中每个像素点属于墙体、门窗的关键点对应类别的概率可以用概率图表示，如图3所示：墙体关键点概率图31表示该待识别二维户型图该范围内像素点属于墙体关键点的概率图，该范围内越中心位置像素点的属于墙体关键点的概率越趋近于预设阈值1，越边缘的位置像素点属于墙体关键点的概率越趋近于预设阈值0。其他例如门关键点概率图32和窗关键点概率图33的概率图表示与之相同，
优选的，可以通过Gaussian函数处理所述墙体、门窗关键点位置数据。
S13：根据所述墙体、门窗关键点位置数据将所述关键点转化为线段，并对所述线段进行扩展，校正所述线段位置偏差。
具体而言，本步骤对S12获取的所述二维户型图中墙体、门窗的关键点位置数据进行后处理，例如：根据获取关键点数据的依据所述类别数据、坐标数据、方向数据，概率数据形成一些线段，以每条线段为中心线，向两边扩展为矩形区域，在该局部区域通过opencv进行图像的二值化处理，边缘提取，进行墙体线的位置校正。
S14：输出所述二维户型图识别结果，以便设计师根据输出的户型图进行装修设计。
具体而言，为实现上述发明方法需建立所述户型关键点预测模型，该关键点预测模型是一种概率估计模型，主要为了估计出户型图中墙体关键点，门窗这些关键点，所述户型关键点预测模型的建立如图2所示，包括以下步骤：
S21：标注所述墙体、门窗关键点位置数据并转化为概率图。
举例而言，通过二维户型图样本进行关键点数据标注，将所述二维户型图图片转换成RGB像素值，将所述二维户型图的墙体关键点像素位置、门窗关键点像素位置，和墙体、门窗分别定义为3个不同的类别，优选的像素位置的具体实施过程可以通过python的Pyqt5模块进行。
进一步的，将所述二维户型图作为底图，画出每个墙体、门窗的中心线，每条中心线的关键点即为像素位置。优选的，所述关键点为中心线端点。
进一步的，标注好的关键点数据以坐标形式体现，并且以概率图来表示。
S22：抽取所述二维户型图语义特征，并将语义特征转换成期望的所述墙体、门窗关键点位置。
具体的，所述语义特征信息可以理解成是图像的纹理，颜色，或者目标的类别等信息，例如，在检测网络中，一个图像输入到网络中，经过一层层的卷积之后，语义信息会越来越明显。
进一步的，通过抽取二维户型图样本的语义特征，将所述语义特征转换成期望的所述墙体、门窗关键点位置。进一步的，该语义特征抽取器为卷积网络，所述卷积网络将输入得二维户型图关键点数据通过权值共享的全连接和下采样实现压缩，生成语义向量，并从depth,width,resolution三个维度放大模型网络结构，增加参数量，以便增加网络的性能，提高所述关键点预测模型预测的准确率。优选的，该模型的特征抽取器为Efficientnet卷积网络。
S23：构建损失函数，优化所述户型关键点预测模型的参数。
具体的，优化所述户型关键点预测模型参数即通过构建损失函数进行反向传播而实现的，本发明方法的损失函数主要定义的是二维户型图的每个像素为墙体、门窗关键点的概率，取值范围可以预设为为m～n，优选的，取值范围为0～1，根据S22步骤经由所述语义特征抽取器压缩出的户型图语义特征，需要进一步转换成数值为0～1的结果，而y＝sigmoid(x)函数可实现该转换，即y＝1/(1+e-x)，同时该函数是具有单增可导的S型函数，可以满足卷积神经网络的反向传播需求。
S24：训练迭代优化所述户型关键点预测模型。
具体而言，迭代优化所述户型关键点预测模型需根据所述二维户型图样本、以及经过数据增广的样本及其标注的特征，进行模型训练。
进一步的将二维户型图关键点数据输入进建立好的深度学习模型，并且以标注后并转换成概率图的关键点数据作该二维户型图的标签，不断训练迭代所述户型关键点预测模型，以使所述模型具备预测的能力。
需要说明的是，在建立所述户型关键点预测模型及对其进行训练迭代优化时，需要大量二维户型图样本，而所述二维户型图样本获取及处理方式如图4所示，具体实现方式例如：
S41：获取户型关键点预测模型训练样本。
先是通过爬虫技术获取不同开放平台的二维户型图，再是通过深度学习模型和人工根据平台、色调、风格、户型大小等方面进行分类，然后每种类别选取相同数量的二维户型图，最后将分类后的二维户型图作为所述户型关键点预测模型学习训练的样本。
S42：标注样本关键特征。
该步骤同步骤S21，在此不做过多赘述。
S43：通过数据增广增加样本。
在通过步骤S41进行了大量多样性样本的选择，但是人为选择的样本总是存在一定的局限性，所以通过数据增广，调整一些随机因子，变换已有的样本，达到样本的多样性。数据增广主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力。
具体方法可以将已有的二维户型图样本进行镜像、平移、放缩、色彩变换、亮度变换、背景噪音增加等，并对例如平移的像素数量，放缩的比例，色调变化的比例等设置相应的操作系数，所述操作系数都可以定义为随机量，以便所述二维户型图样本的数量成几何倍增长。
实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。基于这样的理解，本发明还提供一种计算机程序产品，包括一个或多个计算机指令。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。
参阅图5，本实施例提供一种户型自动识别系统50，作为一款软件搭载于电子设备中，以在运行时执行前述方法实施例所述的基于卷积神经网络的户型自动识别的方法。由于本系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
本实施例的户型自动识别系统50具体包括：二维户型图输入模块51、关键点位置数据获取模块52、关键点处理模块53、识别输出模块54。二维户型图输入模块51用于输入待识别二维户型图到户型关键点预测模型；关键点位置数据获取模块52用于获取所述二维户型图中墙体、门窗的关键点位置数据；关键点处理模块53根据所述墙体、门窗关键点位置数据将所述关键点转化为线段，并对所述线段进行扩展，校正所述线段位置偏差；识别输出模块54用于输出所述二维户型图识别结果。
本领域技术人员应当理解，图5实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个或多个物理实体上。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，关键点处理模块52可以为单独设立的处理元件，也可以集成在某一个芯片中实现，此外，也可以以程序代码的形式存储于存储器中，由某一个处理元件调用并执行关键点处理模块52的功能。其它模块的实现与之类似。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
参阅图6，本实施例提供一种电子设备，电子设备可以是便携式电脑、智能手机、平板电脑等设备。详细的，电子设备至少包括通过总线61连接的：存储器62、处理器63、通信接口64，其中，通信接口64用于用于实现访问装置与其他设备之间的通信，存储器62用于存储计算机程序，处理器63用于执行存储器62存储的计算机程序，以执行前述方法实施例中的全部或部分步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral PomponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备，能通过输入二维户型图自动识别户型及其构件，解决了传统户型识别泛化能力不够的问题，即某些技术只能识别既有一定特征的户型图，同时极大程度上提高了墙体线位置识别的准确率，以及提高了装修设计师的设计效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种基于卷积神经网络的户型自动识别的方法，其特征在于，包括：
输入待识别二维户型图到户型关键点预测模型；
获取所述二维户型图中墙体、门窗的关键点位置数据，所述关键点位置数据包括该点属于墙体、门窗对应类别的概率；
根据所述墙体、门窗关键点位置数据将所述关键点转化为线段，并对所述线段进行扩展，校正所述线段位置偏差；
输出所述二维户型图识别结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
输入待识别二维户型图片可以是户型图片的RGB值，并将所述户型图片的RGB值统一转化为同一格式的三维数组。
3.根据权利要求1或2所述的方法，其特征在于，所述待识别二维户型图包括对实际户型图的进行等比例缩放的二维户型图。
4.根据权利要求1所述的方法，其特征在于，还包括建立所述户型关键点预测模型：
标注所述墙体、门窗关键点位置数据并转化为概率图；
抽取所述二维户型图语义特征，并将语义特征转换成期望的所述墙体、门窗关键点位置；
构建损失函数，优化所述户型关键点预测模型的参数；
训练迭代优化所述户型关键点预测模型。
5.根据权利要求1或4所述的方法，其特征在于，所述墙体、门窗关键点位置数据还包括：
所述二维户型图中每个像素位置属于所述墙体、门窗关键点位置的所属类别数据、坐标数据、连接方向数据以及对应类别的概率；
所述二维户型图中每个像素点越远于所述墙体、门窗关键点位置的概率越接近于m，距离所述墙体、门窗关键点位置越近的概率越接近于n，所述m、n为预设阈值。
6.根据权利要求5所述的方法，其特征在于，还包括通过Gaussian函数处理标注所述墙体、门窗关键点位置数据。
7.根据权利要求4所述的方法，其特征在于，还包括：
通过卷积神经网络抽取所述语义特征，将输入的所述二维户型图数据通过权值共享的全连接和下采样实现压缩，生成语义向量，并从depth,width,resolution三个维度放大所述户型关键点预测模型网络结构，以增加网络的性能，提高模型预测的准确率。
8.根据权利要求4或7所述的方法，其特征在于，还包括：
在所述语义特征抽取压缩后通过所述损失函数将所述二维户型图的每个像素点转换为墙体、门窗关键点的概率数值，所述概率数值在预设阈值m～n之间；
所述损失函数可以采用y＝sigmoid(x)函数。
9.根据权利要求4所述的方法，其特征在于，还包括：
通过获取二维户型图样本、或经过数据增广的二维户型图样本及其标注的关键点位置数据，训练迭代优化所述户型关键点预测模型。
10.根据权利要求1所述的方法，其特征在于，还包括：
根据所述墙体、门窗关键点位置数据将所述关键点形成线段；
以所述线段为中心线向两边扩展形成矩形区域；
将所述矩形区域进行图像处理以校正墙体线位置。
11.一种基于卷积神经网络的户型自动识别的系统，其特征在于，所述系统包括：
二维户型图输入模块，用于输入待识别二维户型图到户型关键点预测模型；
关键点位置数据获取模块，用于获取所述二维户型图中墙体、门窗的关键点位置数据；
关键点处理模块，用于根据所述墙体、门窗关键点位置数据将所述关键点转化为线段，并对所述线段进行扩展，校正所述线段位置偏差；
识别结果输出模块，用于输出所述二维户型图识别结果。
12.一种计算机可读存储介质，其中存储有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1至10中任一所述的基于卷积神经网络的户型自动识别方法。
13.一种电子设备，其特征在于，包括：处理器、存储器、及通信接口；其中，
所述存储器用于存储计算机程序；
所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1至10中任一所述的基于卷积神经网络的户型自动识别方法；
所述通信接口用于实现访问装置与其他设备之间的通信。
CN202110509758.8A 2021-05-11 2021-05-11 一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备 Pending CN113239785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110509758.8A CN113239785A (zh) 2021-05-11 2021-05-11 一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110509758.8A CN113239785A (zh) 2021-05-11 2021-05-11 一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113239785A true CN113239785A (zh) 2021-08-10

Family

ID=77133473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110509758.8A Pending CN113239785A (zh) 2021-05-11 2021-05-11 一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113239785A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674418A (zh) * 2021-08-26 2021-11-19 深圳须弥云图空间科技有限公司 针对户型图中元素的处理方法、装置、介质及电子设备
CN114973297A (zh) * 2022-06-17 2022-08-30 广州市圆方计算机软件工程有限公司 一种平面户型图的墙体区域识别方法、系统、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966107A (zh) * 2015-07-10 2015-10-07 安徽清新互联信息科技有限公司 一种基于机器学习的信用卡卡号识别方法
CN107424193A (zh) * 2017-04-27 2017-12-01 巧夺天宫（深圳）科技有限公司 一种门窗信息提取方法及其装置
CN110020502A (zh) * 2019-04-18 2019-07-16 广东三维家信息科技有限公司 户型图的生成方法及装置
CN110163954A (zh) * 2019-04-12 2019-08-23 平安城市建设科技(深圳)有限公司 三维户型模型生成方法、装置、设备及存储介质
CN110686648A (zh) * 2019-09-06 2020-01-14 平安城市建设科技(深圳)有限公司 基于图像检测的户型图生成方法、装置、设备及存储介质
CN111008484A (zh) * 2019-12-24 2020-04-14 深圳市蓝图速配科技有限公司 一种二维户型图转三维场景图的处理方法
CN111008654A (zh) * 2019-11-26 2020-04-14 江苏艾佳家居用品有限公司 一种户型图中房间的识别方法及系统
CN111523485A (zh) * 2020-04-24 2020-08-11 浙江商汤科技开发有限公司 位姿识别方法及装置、电子设备和存储介质
CN111611643A (zh) * 2020-05-27 2020-09-01 电子科技大学中山学院 户型矢量化数据获得方法、装置、电子设备及存储介质
US20200364929A1 (en) * 2019-05-13 2020-11-19 Wuhan University Multi-story indoor structured three-dimensional modeling method and system
CN112200884A (zh) * 2020-09-08 2021-01-08 浙江大华技术股份有限公司 一种车道线的生成方法及装置
CN112488967A (zh) * 2020-11-20 2021-03-12 中国传媒大学 基于室内场景的对象和场景合成方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966107A (zh) * 2015-07-10 2015-10-07 安徽清新互联信息科技有限公司 一种基于机器学习的信用卡卡号识别方法
CN107424193A (zh) * 2017-04-27 2017-12-01 巧夺天宫（深圳）科技有限公司 一种门窗信息提取方法及其装置
CN110163954A (zh) * 2019-04-12 2019-08-23 平安城市建设科技(深圳)有限公司 三维户型模型生成方法、装置、设备及存储介质
CN110020502A (zh) * 2019-04-18 2019-07-16 广东三维家信息科技有限公司 户型图的生成方法及装置
US20200364929A1 (en) * 2019-05-13 2020-11-19 Wuhan University Multi-story indoor structured three-dimensional modeling method and system
CN110686648A (zh) * 2019-09-06 2020-01-14 平安城市建设科技(深圳)有限公司 基于图像检测的户型图生成方法、装置、设备及存储介质
CN111008654A (zh) * 2019-11-26 2020-04-14 江苏艾佳家居用品有限公司 一种户型图中房间的识别方法及系统
CN111008484A (zh) * 2019-12-24 2020-04-14 深圳市蓝图速配科技有限公司 一种二维户型图转三维场景图的处理方法
CN111523485A (zh) * 2020-04-24 2020-08-11 浙江商汤科技开发有限公司 位姿识别方法及装置、电子设备和存储介质
CN111611643A (zh) * 2020-05-27 2020-09-01 电子科技大学中山学院 户型矢量化数据获得方法、装置、电子设备及存储介质
CN112200884A (zh) * 2020-09-08 2021-01-08 浙江大华技术股份有限公司 一种车道线的生成方法及装置
CN112488967A (zh) * 2020-11-20 2021-03-12 中国传媒大学 基于室内场景的对象和场景合成方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩红剑: "《面向视频序列的三维室内场景建模技术研究》", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674418A (zh) * 2021-08-26 2021-11-19 深圳须弥云图空间科技有限公司 针对户型图中元素的处理方法、装置、介质及电子设备
CN113674418B (zh) * 2021-08-26 2024-04-19 深圳须弥云图空间科技有限公司 针对户型图中元素的处理方法、装置、介质及电子设备
CN114973297A (zh) * 2022-06-17 2022-08-30 广州市圆方计算机软件工程有限公司 一种平面户型图的墙体区域识别方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN111008597A (zh) Cad图纸的空间识别方法、装置、电子设备及存储介质
CN110532431B (zh) 短视频关键词提取方法、装置及存储介质
CN110942013A (zh) 一种基于深度神经网络的卫星影像特征提取方法及系统
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
WO2020077940A1 (en) Method and device for automatic identification of labels of image
CN113239785A (zh) 一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN111047596A (zh) 一种三维点云实例分割方法、系统及电子设备
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
CN112101386A (zh) 文本检测方法、装置、计算机设备和存储介质
CN115410030A (zh) 目标检测方法、装置、计算机设备及存储介质
CN109712075B (zh) 一种数字图像数据原图识别方法及装置
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN114626118A (zh) 建筑物室内模型生成方法及装置
Belhedi et al. Adaptive scene‐text binarisation on images captured by smartphones
CN116612280A (zh) 车辆分割方法、装置、计算机设备和计算机可读存储介质
CN108536769B (zh) 图像分析方法、搜索方法及装置、计算机装置及存储介质
CN114283431B (zh) 一种基于可微分二值化的文本检测方法
CN111768436B (zh) 一种基于Faster-RCNN改进的图像特征块配准方法
CN114627139A (zh) 基于像素特征学习的无监督图像分割方法、装置及设备
CN114549968A (zh) 目标检测方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210810

WD01 Invention patent application deemed withdrawn after publication