CN113744350B - 基于单张图像的柜体结构识别方法、装置、设备及介质 - Google Patents

基于单张图像的柜体结构识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN113744350B
CN113744350B CN202111016362.6A CN202111016362A CN113744350B CN 113744350 B CN113744350 B CN 113744350B CN 202111016362 A CN202111016362 A CN 202111016362A CN 113744350 B CN113744350 B CN 113744350B
Authority
CN
China
Prior art keywords
cabinet
cabinet body
calculating
data set
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111016362.6A
Other languages
English (en)
Other versions
CN113744350A (zh
Inventor
柯建生
戴振军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Pole 3d Information Technology Co ltd
Original Assignee
Guangzhou Pole 3d Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Pole 3d Information Technology Co ltd filed Critical Guangzhou Pole 3d Information Technology Co ltd
Priority to CN202111016362.6A priority Critical patent/CN113744350B/zh
Publication of CN113744350A publication Critical patent/CN113744350A/zh
Application granted granted Critical
Publication of CN113744350B publication Critical patent/CN113744350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了基于单张图像的柜体结构识别方法、装置、设备及介质，方法包括：获取柜体图片的表面数据集和特征数据集；根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类；根据输入的柜体尺寸计算柜体正面布局结构图；根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据；其中，所述柜体部件与板件的位置数据用于家具建模。本发明能够提高设计效率，可广泛应用于智能家居技术领域。

Description

基于单张图像的柜体结构识别方法、装置、设备及介质
技术领域
本发明涉及智能家居技术领域，尤其是基于单张图像的柜体结构识别方法、装置、设备及介质。
背景技术
在家具行业中，家具个性化定制受到越来越多消费者青睐。由于柜体由多块板件组合而成，不同于一般家具定制思路，需要设计师根据环境的尺寸、风格、功能性，以及加工工艺要求等因素针对性设计柜体的结构方案。在具体业务场景中，设计师有时要根据顾客提供的照片设计符合用户喜好的柜体。纯人工设计模式耗时比较长，并且需要依赖设计师的专业知识并熟悉现有柜体产品定做规则。随着柜体产品不断丰富，传统柜体设计模式对设计师要求越来越高，设计耗时也随之延长。
目前的家具识别方法主要可分为三大类。第一类是基于图片特征的家具产品识别。首先，对已有产品模型多角度拍摄获取多张产品图像，再根据OCR、CNN等特征识别算法对比目标图片与产品库图片的特征信息，从而找到对应产品模型。第二类通过神经网络学习对应类别产品的二维图片像素坐标与三维模型空间坐标映射关系，从而直接根据输入图像生成目标体素或mesh模型。第三类通过激光扫描仪等设备获取模型点云，通过点云相关算法分割出模型的各个部件，再通过算法拟合出模型平面生成目标模型。
在柜体设计的业务场景中，需要根据大部分用户能提供的数据信息快速生成结构一致的模型，并且此模型应有良好的可编辑性以便设计师快速修改，还必须支持工艺规则确保其可被生产。上述第一类图片特征识别方法只适用于结构规范的产品，无法识别定制家具复杂多变结构信息。第二类通过神经网络直接将二维图片中的物体直接生成三维模型的方法，在大量人脸、人体模型数据支持下已在一些领域落地应用，但在柜体建模这类复杂多变的应用场景中效果较差，且其生成的体素和mesh模型表面相对粗糙，难以转化为可编辑模型。第三类方法虽然能精确拿到模型尺寸信息，但采集设备难以广泛推广，且点云数据处理速度慢，将其转化为可编辑模型的技术尚未完全成熟，难以在柜体识别与建模领域应用。
发明内容
有鉴于此，本发明实施例提供基于单张图像的柜体结构识别方法、装置、设备及介质。
本发明的一方面提供了基于单张图像的柜体结构识别方法，包括：
获取柜体图片的表面数据集和特征数据集；
根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类；
根据输入的柜体尺寸计算柜体正面布局结构图；
根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据；
其中，所述柜体部件与板件的位置数据用于家具建模。
可选地，所述获取柜体图片的表面数据集和特征数据集，包括：
从柜体图片中标定柜体平面区域数据，所述柜体平面区域包括正面、侧面、顶面和底面；
从所述柜体图片中标注柜体的每个空格特征和柜门特征；
将标注得到的数据以二维掩膜矩阵的形式保存为当前平面区域的范围数据信息，对所述范围数据信息标注对应的所属平面类别。
可选地，所述根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类，包括：
根据所述表面数据集生成第一实例分割模型，并根据所述特征数据集生成第二实例分割模型；
将所述表面数据集和所述特征数据集输入已预训练的Resnet神经网络，计算得到对应的特征图谱；
根据不同的预设长宽比，对特征图谱中每个像素点生成多个候选框；
将每个候选框内的特征数据输入到RPN网络中进行二值分类，并且进行包围盒尺寸回归计算，通过IOU算法筛选出最符合检测目标的候选框；
对筛选得到的候选框进行分类，对平面模型检测候选框检测其属于正面、侧面、顶面或是底面，对特征模型检测候选框检测其属于空格或是柜门产品类别；
输出每个候选框的掩膜和所属类型信息，以确定候选框属于柜体的正面、侧面、顶面或底面，以及确定候选框选中柜体部件为空格或柜门。
可选地，所述根据输入的柜体尺寸计算柜体正面布局结构图，包括：
矫正柜体正面平面边界；
计算正面平面长宽与位置；
根据所述柜体正面平面边界以及矫正对象的高度，对齐柜体正面布局图。
可选地，所述矫正柜体正面平面边界，包括：
选取所有柜体正面区域作为矫正对象；
对每个候选对象的掩膜运用openCV的contourArea方法计算最大包围矩形，确定矩形的四个边界点二维像素坐标；
对每个候选对象的上下两组坐标点分别计算其直线方程；
确定平面上与直线之间距离之和最短的目标点；
计算所述目标点的坐标，根据所述目标点的坐标计算每一条直线的c值和y值。
可选地，所述计算正面平面长宽与位置，包括：
根据目标柜体的宽度计算每个矫正对象的宽度；
计算每个矫正对象的高度；
根据所述矫正对象的宽度和高度，生成柜体的正面布局图。
可选地，所述根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据，包括：
回溯计算支撑横竖板件尺寸与结构；
计算剩余部件与板件尺寸与结构；
根据所述支撑横竖板件尺寸与结构，以及所述剩余部件与板件尺寸与结构，确定柜体部件与板件的位置数据。
本发明实施例的另一方面提供了一种基于单张图像的柜体结构识别装置，包括：
第一模块，用于获取柜体图片的表面数据集和特征数据集；
第二模块，用于根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类；
第三模块，用于根据输入的柜体尺寸计算柜体正面布局结构图；
第四模块，用于根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据；
其中，所述柜体部件与板件的位置数据用于家具建模。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例获取柜体图片的表面数据集和特征数据集；根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类；根据输入的柜体尺寸计算柜体正面布局结构图；根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据；其中，所述柜体部件与板件的位置数据用于家具建模。本发明能够提高设计效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的整体步骤流程图；
图2为本发明实施例的一种柜体结构示意图；
图3为本发明实施例的柜体平面区域标注示意图；
图4为本发明实施例的柜体特征标注示意图；
图5为本发明实施例提供的矫正对象计算过程示意图；
图6为本发明实施例提供的支撑回溯示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术存在的问题，本发明实施例提出了一种基于单张图像的柜体结构识别方法，
包括：
获取柜体图片的表面数据集和特征数据集；
根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类；
根据输入的柜体尺寸计算柜体正面布局结构图；
根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据；
其中，所述柜体部件与板件的位置数据用于家具建模。
可选地，所述获取柜体图片的表面数据集和特征数据集，包括：
从柜体图片中标定柜体平面区域数据，所述柜体平面区域包括正面、侧面、顶面和底面；
从所述柜体图片中标注柜体的每个空格特征和柜门特征；
将标注得到的数据以二维掩膜矩阵的形式保存为当前平面区域的范围数据信息，对所述范围数据信息标注对应的所属平面类别。
可选地，所述根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类，包括：
根据所述表面数据集生成第一实例分割模型，并根据所述特征数据集生成第二实例分割模型；
将所述表面数据集和所述特征数据集输入已预训练的Resnet神经网络，计算得到对应的特征图谱；
根据不同的预设长宽比，对特征图谱中每个像素点生成多个候选框；
将每个候选框内的特征数据输入到RPN网络中进行二值分类，并且进行包围盒尺寸回归计算，通过IOU算法筛选出最符合检测目标的候选框；
对筛选得到的候选框进行分类，对平面模型检测候选框检测其属于正面、侧面、顶面或是底面，对特征模型检测候选框检测其属于空格或是柜门产品类别；
输出每个候选框的掩膜和所属类型信息，以确定候选框属于柜体的正面、侧面、顶面或底面，以及确定候选框选中柜体部件为空格或柜门。
可选地，所述根据输入的柜体尺寸计算柜体正面布局结构图，包括：
矫正柜体正面平面边界；
计算正面平面长宽与位置；
根据所述柜体正面平面边界以及矫正对象的高度，对齐柜体正面布局图。
可选地，所述矫正柜体正面平面边界，包括：
选取所有柜体正面区域作为矫正对象；
对每个候选对象的掩膜运用openCV的contourArea方法计算最大包围矩形，确定矩形的四个边界点二维像素坐标；
对每个候选对象的上下两组坐标点分别计算其直线方程；
确定平面上与直线之间距离之和最短的目标点；
计算所述目标点的坐标，根据所述目标点的坐标计算每一条直线的c值和y值。
可选地，所述计算正面平面长宽与位置，包括：
根据目标柜体的宽度计算每个矫正对象的宽度；
计算每个矫正对象的高度；
根据所述矫正对象的宽度和高度，生成柜体的正面布局图。
可选地，所述根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据，包括：
回溯计算支撑横竖板件尺寸与结构；
计算剩余部件与板件尺寸与结构；
根据所述支撑横竖板件尺寸与结构，以及所述剩余部件与板件尺寸与结构，确定柜体部件与板件的位置数据。
本发明实施例的另一方面提供了一种基于单张图像的柜体结构识别装置，包括：
第一模块，用于获取柜体图片的表面数据集和特征数据集；
第二模块，用于根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类；
第三模块，用于根据输入的柜体尺寸计算柜体正面布局结构图；
第四模块，用于根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据；
其中，所述柜体部件与板件的位置数据用于家具建模。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
下面结合说明书附图，对本发明的具体实现原理进行详细描述：
为方便设计系统根据用户提供的单张图像快速构建柜体的基本结构，提出一种基于单张图像的柜体结构识别方法。首先，识别系统获取用户提供的单张RBG图像，通过实例分割的神经网络模型识别柜体的各表面区域范围与柜体部件信息，并通过消失点比例放缩计算柜体正面结构图。然后，系统结合用户输入的柜体尺寸与柜体板件工艺规则，运用回溯算法推断柜体内部主体板件的布局、位置与尺寸信息。最后，系统输出包含柜体板件与柜门信息的json文件，供家具设计系统快速搭建柜体模型。
本发明提出的一种柜体结构识别方法。采用用户方便提供的单幅RGB图像作为输入，运用实例分割的神经网络模型分别从特征、平面两个维度快速分析图片中柜体的部件信息和表面信息，再通过工艺规则的回溯算法推断柜体板件结构以保证计算结果符合加工生产需求。整个方法效率高，识别出的结果为柜体板件和部件精确的长宽高值和坐标位置，使柜体设计软件能根据这些数据快速生成柜体模型，提高设计师的设计效率。
如图1所示，首先，本发明通过人为标注或者设计软件对多个柜体图片生成表面数据集和特征数据集。其次，将柜体平面区域和柜体部件特征当作不同学习对象，运用深度学习的实例分割算法进行识别和分类。然后，根据消失点原理结合用户输入的柜体尺寸计算柜体正面布局结构图。最后，应用回溯方法根据工艺加工规则回溯出合理的板件布局信息，从而得到柜体部件与板件的位置数据，供家具设计系统快速建模。
具体地：
1、制作柜体平面与部件数据集
I.标定柜体平面区域数据,包括以下步骤a-b；
a.针对图2所示的柜体，柜体平面区域标注如图3所示。将所视区域内的柜体分为正面、侧面、顶面、底面四种区域，每个区域内的柜体表面相邻并且同属于一个空间平面。如果一个平面的部分区域被另一平面遮挡，如图3中顶面区域右上角被正面区域遮挡，依据“所见即所得”的图片标定原则，此处重叠的区域应标注为正面区域。
需要说明的是，本申请的正面、侧面、顶面和底面非一般意义上的柜体表面特征，而是柜体在空间上针对地面与视野方向综合的到的柜体空间位置信息。其中，正面与侧面的区别(因为视野一般从侧面看)在于柜体正面指有柜门、空格、抽屉等那一个平面，侧面指正面左右两个平面。平面信息与柜体特征无关，只与空间位置有关。
b.标注数据以二维掩膜矩阵保存此区域的范围数据信息，并配有此区域所属平面类别的标注信息。
II.标定柜体部件特征数据,包括以下步骤c-d；
c.针对图2所示的柜体，柜体特征标注如图4所示。需要标注柜体每个空格和柜门特征，其中空格特征范围不包含柜体自身板件，柜门特征范围以柜门上下左右四个边界为准。
d.标注数据以二维掩膜矩阵保存此区域的范围数据信息，并配有此区域所属特征类别的标注信息，其中柜门种类以公司产品数据库中的柜门信息为依据。
2、实例分割模型识别柜体平面区域与部件特征,包括以下步骤e-f；
e.对上述两个数据集生成两个实例分割模型，分别负责识别图片中柜体的平面区域特征和柜体部件特征。
f.先将数据集输入已预训练的Resnet神经网络计算对应的特征图谱(featuremap)，对每个像素点根据不同的预设长宽比生成多个候选框，然后将每个候选框内的特征数据输入到RPN网络中进行二值分类和包围盒尺寸回归计算，并通过IOU算法筛选出最符合检测目标的候选框。最后对筛选结果进一步分类，对平面模型检测候选框检测其属于正面、侧面、顶面或是底面，对特征模型检测候选框检测其属于空格或是公司哪一种类别的柜门产品。最后输出每个结果候选框的掩膜和所属类型信息。
需要说明的是，本申请实施例的实例分割方法最终输出的json应该包括柜门、空格等空间特征信息，本申请的数据集制作的柜体平面信息基于三维模型空间位置、与普遍上实例分割模型用于检测特征信息是有差异的。具体地：本申请将平面数据输入实例分割模型，目的是并非让模型学习柜子表面特征信息，而学习出柜体各整体上的平面朝向、平面区域这类空间位置信息，才能在后续的流程结合两模型识别的特征信息和空间位置信息计算柜体正面结构图。
3、计算柜体正面布局结构图,包括以下步骤Ⅰ、Ⅱ、Ⅲ；
I.矫正柜体正面平面边界，包括以下步骤g-i；
g.选取所有在上一步检测出的柜体正面区域作为矫正对象。
h.对每个候选对象的掩膜运用openCV的contourArea方法计算最大包围矩形，取出矩形的四个边界点二维像素坐标。
i.对每个候选对象的上下两组坐标点分别计算其直线方程:
ax+by+c＝0
求解平面上一点P，与第i步生成的n条直线距离之和最短，如图5所示，公式为：
Figure BDA0003239980570000081
计算出P点的坐标后，重新计算每一条直线的c值，并保持x不变，更新每个点y值。
axp+byp+c′＝0
Figure BDA0003239980570000082
II.计算正面平面长宽与位置，包括以下步骤j-i；
j.根据用户给出的目标柜体的宽度，设所有矫正对象中最左的坐标点像素横坐标比例为x左，最右的坐标点像素横坐标比例为x右，每个矫正对象的宽度通过其左右像素点所在坐标x1,x2求出。
Figure BDA0003239980570000091
k.取像素柜体范围内一点作一条竖直线，取此线与各直线的交点坐标。如图5所示，竖直线为图中的粗实线，与各直线分别交于A、B、C、D、E、F点。取其中y轴坐标最大和最小的点A和F作为放缩范围，求出每个矫正对象的高度H。以图中最上方的矫正区域为例：
Figure BDA0003239980570000092
l.以新的交点位置作为每个矫正区域的上下边界起点，以j中宽度计算的方法计算每个矫正区域四个顶点到竖直线的水平距离并连线，将每个矫正区域不规则的四边形转化为规则的长方形，生成柜体的正面布局图。
III.对齐柜体正面布局图
m.对生成的柜体布局图进行对齐减少识别误差的影响。对齐过程分横向对齐和竖向对齐两个阶段，在一次对齐中，以一般柜体板件厚度的三倍数值作为对齐阀值，将方向上距离为阀值内的矫正区域边缘进行对齐。
4、回溯柜体板件尺寸位置信息，包括以下Ⅰ、Ⅱ、Ⅲ；
I.回溯计算支撑横竖板件尺寸与结构，包括以下n-q；
n.首先，遍历柜体正面布局图中水平方向的线段，当线段的长度与柜体整体宽度相等时，此水平线段为柜体的水平支撑线，以支撑线为对称线根据默认板件厚度添加支撑横板。然后用水平支撑板件切分正面布局图中的竖直线段，被切分后的竖直线段作为对称线根据默认板件厚度添加支撑竖板。使得支撑横板和支撑竖版在正面布局图的转角位置不会出现干涉现象。
o.检查最上方和最下方的两条支撑横板，在其两端与支撑竖板链接的位置进行图6所示的顶底回溯，将横板边缘回退到竖板内侧，以符合柜体顶部与底部的封边工艺需求。
p.检查中间的支撑横板左右两端点下方是否与支撑竖版链接，如图6，中间的支撑横板右侧断点下方无支撑，则需找到此横板下方连接的最右边的支撑竖版，在交点位置进行镂空回溯，添加支撑链接板件和镂空支撑部件，保证柜体结构的安全性。
q.计算当前被支撑横板和支撑竖版围起来的每一个长方体区域面积，按从上往下，从左到右的顺序求其底部支撑横板上方支撑的区域面积之和。如果计算到某一区域面积和超过预设面积阀值，则对前一个区域的右下角位置进行图6所示的支撑回溯，将这个位置的支撑横板断开并将此位置下方的支撑竖板从一块增添为两块，保证柜体结构安全性。之后将左上方的区域从计算队列排除，并重复步骤q的整个过程，直到所有区域被遍历完毕。
II.计算剩余部件与板件尺寸与结构
r.对正面平面图剩余的水平线段，以其两侧的支撑竖版内侧距离为宽度设置水平板件，使横竖板件整体结构与正面布局图一致。再根据柜体结构图整体的边界轮廓按预设的板件厚度计算柜体背板尺寸和位置。最后根据预设柜门厚度计算识别的柜门尺寸和位置。
III.输出json计算结果
s.结合之前的计算结果，提取每块板件和柜门的长宽高WDH和左下后坐标点XYZ数据，以及柜门识别出的产品类别信息，输出到json文件中供家具设计软件使用。
综上所述，本发明实现了针对用户图片快速生成结构一致、风格类似的柜体模型结构信息，生成的柜体板件数据易于编辑，也可用于加工生产，从而简化行业定制柜体的设计操作，提高了设计效率。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.基于单张图像的柜体结构识别方法，其特征在于，包括：
获取柜体图片的表面数据集和特征数据集；
根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类；
根据所述识别分类的结果以及用户输入的柜体尺寸计算柜体正面布局结构图；
根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据；
其中，所述柜体部件与板件的位置数据用于家具建模；
所述获取柜体图片的表面数据集和特征数据集，包括：
从柜体图片中标定柜体平面区域数据，所述柜体平面区域包括正面、侧面、顶面和底面；
从所述柜体图片中标注柜体的每个空格特征和柜门特征；
将标注得到的数据以二维掩膜矩阵的形式保存为当前平面区域的范围数据信息，对所述范围数据信息标注对应的所属平面类别。
2.根据权利要求1所述的基于单张图像的柜体结构识别方法，其特征在于，所述根据所述表面数据集和特征数据集，采用深度学习算法对柜体平面区域和柜体部件特征对应的学习对象进行识别分类，包括：
根据所述表面数据集生成第一实例分割模型，并根据所述特征数据集生成第二实例分割模型；
将所述表面数据集和所述特征数据集输入已预训练的Resnet神经网络，计算得到对应的特征图谱；
根据不同的预设长宽比，对特征图谱中每个像素点生成多个候选框；
将每个候选框内的特征数据输入到RPN网络中进行二值分类，并且进行包围盒尺寸回归计算，通过IOU算法筛选出最符合检测目标的候选框；
对筛选得到的候选框进行分类，对平面模型检测候选框检测其属于正面、侧面、顶面或是底面，对特征模型检测候选框检测其属于空格或是柜门产品类别；
输出每个候选框的掩膜和所属类型信息，以确定候选框属于柜体的正面、侧面、顶面或底面，以及确定候选框选中柜体部件为空格或柜门。
3.根据权利要求2所述的基于单张图像的柜体结构识别方法，其特征在于，所述根据输入的柜体尺寸计算柜体正面布局结构图，包括：
矫正柜体正面平面边界；
计算正面平面长宽与位置；
根据所述柜体正面平面边界以及矫正对象的高度，对齐柜体正面布局图。
4.根据权利要求3所述的基于单张图像的柜体结构识别方法，其特征在于，所述矫正柜体正面平面边界，包括：
选取所有柜体正面区域作为矫正对象；
对每个候选对象的掩膜运用openCV的contourArea方法计算最大包围矩形，确定矩形的四个边界点二维像素坐标；
对每个候选对象的上下两组坐标点分别计算其直线方程；
确定平面上与直线之间距离之和最短的目标点；
计算所述目标点的坐标，根据所述目标点的坐标计算每一条直线的c值和y值。
5.根据权利要求3所述的基于单张图像的柜体结构识别方法，其特征在于，所述计算正面平面长宽与位置，包括：
根据目标柜体的宽度计算每个矫正对象的宽度；
计算每个矫正对象的高度；
根据所述矫正对象的宽度和高度，生成柜体的正面布局图。
6.根据权利要求1所述的基于单张图像的柜体结构识别方法，其特征在于，所述根据所述柜体正面布局结构图，生成板件布局信息，确定柜体部件与板件的位置数据，包括：
回溯计算支撑横竖板件尺寸与结构；
计算剩余部件与板件尺寸与结构；
根据所述支撑横竖板件尺寸与结构，以及所述剩余部件与板件尺寸与结构，确定柜体部件与板件的位置数据。
7.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-6中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。
CN202111016362.6A 2021-08-31 2021-08-31 基于单张图像的柜体结构识别方法、装置、设备及介质 Active CN113744350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016362.6A CN113744350B (zh) 2021-08-31 2021-08-31 基于单张图像的柜体结构识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016362.6A CN113744350B (zh) 2021-08-31 2021-08-31 基于单张图像的柜体结构识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113744350A CN113744350A (zh) 2021-12-03
CN113744350B true CN113744350B (zh) 2022-06-28

Family

ID=78734465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016362.6A Active CN113744350B (zh) 2021-08-31 2021-08-31 基于单张图像的柜体结构识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113744350B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098051A1 (en) * 2022-11-04 2024-05-10 Levin Jacqueline M Methods and systems for space segmentation or organization
CN115953418B (zh) * 2023-02-01 2023-11-07 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3229175A1 (en) * 2016-04-08 2017-10-11 Abb Ag Computer system and method to generate input data for building automation configuration from cabinet images
JP2019128842A (ja) * 2018-01-25 2019-08-01 国立大学法人京都大学 コンピュータプログラム、識別装置及び識別方法
CN111104704A (zh) * 2019-12-10 2020-05-05 杭州群核信息技术有限公司 柜体内部布局设计方法、装置、系统以及存储介质
CN112541922A (zh) * 2020-12-04 2021-03-23 北京科技大学 基于数字图像的试卷布局分割方法、电子设备及存储介质
CN112835036A (zh) * 2020-12-29 2021-05-25 湖南时变通讯科技有限公司 一种移动分布图的生成方法、装置、设备和存储介质
CN113297647A (zh) * 2021-02-01 2021-08-24 阿里巴巴集团控股有限公司 定制化产品的辅助设计方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8122370B2 (en) * 2006-11-27 2012-02-21 Designin Corporation Visual bookmarks for home and landscape design
CN112699775A (zh) * 2020-12-28 2021-04-23 中国平安人寿保险股份有限公司 基于深度学习的证件识别方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3229175A1 (en) * 2016-04-08 2017-10-11 Abb Ag Computer system and method to generate input data for building automation configuration from cabinet images
JP2019128842A (ja) * 2018-01-25 2019-08-01 国立大学法人京都大学 コンピュータプログラム、識別装置及び識別方法
CN111104704A (zh) * 2019-12-10 2020-05-05 杭州群核信息技术有限公司 柜体内部布局设计方法、装置、系统以及存储介质
CN112541922A (zh) * 2020-12-04 2021-03-23 北京科技大学 基于数字图像的试卷布局分割方法、电子设备及存储介质
CN112835036A (zh) * 2020-12-29 2021-05-25 湖南时变通讯科技有限公司 一种移动分布图的生成方法、装置、设备和存储介质
CN113297647A (zh) * 2021-02-01 2021-08-24 阿里巴巴集团控股有限公司 定制化产品的辅助设计方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Layout Analysis of Handwritten Historical Documents for Searching the Archive of the Cabinet of the Dutch Queen;Marius Bulacu;《 Ninth International Conference on Document Analysis and Recognition》;20071212;全文 *
自动生成图形布局综述;唐煜祺;《现代计算机》;20210531;全文 *

Also Published As

Publication number Publication date
CN113744350A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Li et al. Manhattan-world urban reconstruction from point clouds
CN108389251B (zh) 基于融合多视角特征的投影全卷积网络三维模型分割方法
Hedau et al. Recovering the spatial layout of cluttered rooms
Liu et al. Strokeaggregator: Consolidating raw sketches into artist-intended curve drawings
EP1267309B1 (en) 3D Computer Modelling Apparatus
CN113744350B (zh) 基于单张图像的柜体结构识别方法、装置、设备及介质
Pound et al. A patch-based approach to 3D plant shoot phenotyping
CN110263794B (zh) 基于数据增强的目标识别模型的训练方法
Pantoja-Rosero et al. Generating LOD3 building models from structure-from-motion and semantic segmentation
CN112926441B (zh) 基于机器视觉的家居识别方法、系统、装置及介质
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
CN113327324A (zh) 三维建筑模型的构建方法、装置、计算机设备及存储介质
Zhao et al. Region-based saliency estimation for 3D shape analysis and understanding
Fang et al. Structure-aware indoor scene reconstruction via two levels of abstraction
Ma et al. Segmentation-based stereo matching using combinatorial similarity measurement and adaptive support region
Bricola et al. Morphological processing of stereoscopic image superimpositions for disparity map estimation
Martens et al. VOX2BIM+-A Fast and Robust Approach for Automated Indoor Point Cloud Segmentation and Building Model Generation
US11978197B2 (en) Inspection method for inspecting an object and machine vision system
Li et al. Texture category-based matching cost and adaptive support window for local stereo matching
Zeng et al. Integrating as-built BIM model from point cloud data in construction projects
Mahmoud et al. Automated BIM generation for large-scale indoor complex environments based on deep learning
Huang et al. From BIM to pointcloud: automatic generation of labeled indoor pointcloud
Kelly et al. VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding
He et al. Minimum spanning tree based stereo matching using image edge and brightness information
Yogeswaran 3D Surface Analysis for the Automated Detection of Deformations on Automotive Panels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant