CN112837336B - 一种基于关键点热图修正的房间布局估计获取方法与系统 - Google Patents

一种基于关键点热图修正的房间布局估计获取方法与系统 Download PDF

Info

Publication number
CN112837336B
CN112837336B CN202110200205.4A CN202110200205A CN112837336B CN 112837336 B CN112837336 B CN 112837336B CN 202110200205 A CN202110200205 A CN 202110200205A CN 112837336 B CN112837336 B CN 112837336B
Authority
CN
China
Prior art keywords
key point
heat map
boundary
acquiring
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110200205.4A
Other languages
English (en)
Other versions
CN112837336A (zh
Inventor
文世挺
王傲鹏
高云君
庞超逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Science and Technology ZUST
Original Assignee
Zhejiang University of Science and Technology ZUST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Science and Technology ZUST filed Critical Zhejiang University of Science and Technology ZUST
Priority to CN202110200205.4A priority Critical patent/CN112837336B/zh
Publication of CN112837336A publication Critical patent/CN112837336A/zh
Application granted granted Critical
Publication of CN112837336B publication Critical patent/CN112837336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于关键点热图修正的房间布局估计获取方法与系统，涉及关键点热图修正领域，其通过对数据集中的图片进行翻转、关键点重排序后训练神经网络模型，通过神经网络模型获取待识别图像的关键点热图以及房间类型，根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点，获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上，最后根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计，该方法通过关键点重排序以及修正边界关键点的操作，解决了关键点重叠以及像素误差导致的关键点连通区域数量错误问题，很大程度上提升了数据集以及模型的精准性。

Description

一种基于关键点热图修正的房间布局估计获取方法与系统
技术领域
本发明涉及关键点热图修正领域，尤其涉及一种基于关键点热图修正的房间布局估计获取方法与系统。
背景技术
目前，通过神经网络获取的关键点热图，其边界关键点通常会由于网络的预测误差以及坐标放缩的误差导致经常把本应存在于图片边界的关键点预测在距离边界几十个像素的位置，如果不进行关键点修正则会导致在根据房间类型获取关键点热图的连接关系时得到错误的连通区域数量，对模型的最终表现有很大的影响。其次，在训练神经网络时使用的数据集，目前基本上是对数据集清洗后诸如筛选出关键点顺序错误的图片后就进行使用，对翻转了的数据集图片均未进行处理，这些操作均可导致数据集图片数据不精准，使用这种数据集进行训练，对模型的最终表现有很大的影响，如果对数据集的数据进行调整，将会有效提升训练模型的精度。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于关键点热图修正的房间布局估计获取方法，包括步骤：
S1：接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；
S2：根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；
S3：获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；
S4：根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。
进一步地，所述步骤S1前还包括神经网络模型的训练，具体包括步骤：
S01：获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；
S02：根据扩充后的数据集训练神经网络模型。
进一步地，所述步骤S01中重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。
进一步地，所述步骤S3中的修正方法包括步骤：
S31：根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；
S32：获取垂直距离最小的关键点热图边界线并作为修正边界线；
S33：以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上。
本发明还提出了一种基于关键点热图修正的房间布局估计获取系统，包括：
神经网络模块，接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；
边界关键点模块，根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；
关键点热图修正模块，获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；
边界关键点连接模块，根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。
进一步地，所述神经网络模块前还包括神经网络模型的训练，具体包括：
获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；根据扩充后的数据集训练神经网络模型。
进一步地，所述重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。
进一步地，所述关键点热图修正模块中的修正方法包括：
根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；获取垂直距离最小的关键点热图边界线并作为修正边界线；以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上。
本发明至少具有以下有益效果：
1、修正边界关键点至关键点热图的图像边界线上解决了由于网络的预测以及坐标放缩导致的像素误差问题；
2、修正边界关键点避免了算错关键点连通区域数量的问题；
3、对图片关键点重排序后，每个点都分布在图片中相对固定的区域，该操作减小了网络的学习难度，使网络能较快收敛并且起到一定减小误差的效果；
4、另外重排序后减小了关键点重叠区域，从语义上降低了模糊性从而使模型预测结果得到了显著的提升。
附图说明
图1为一种基于关键点热图修正的房间布局估计获取方法的方法步骤图；
图2为一种基于关键点热图修正的房间布局估计获取系统的系统结构图；
图3为房间类型关键点图；
图4为房间类型关键点图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
基于目前神经网络获取到的关键点热图，我们可以了解到其边界关键点通常会预测在距离边界几十个像素的位置，导致在根据房间类型获取关键点热图的连接关系时得到错误的连通区域数量，对模型的最终表现有很大的影响，其次在对神经网络进行训练时使用到的数据集，在进行数据集扩充时水平翻转了数据集图片，这些操作均可导致数据集图片数据不精准，为了解决这些问题，提升模型精准度，如图1所示，本发明提出了一种基于关键点热图修正的房间布局估计获取方法，具体通过下述步骤实现：
神经网络模型的训练方法，具体包括步骤：
S01：获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；
所述步骤S01中重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。
需要说明的是，首先，对翻转后的图片关键点重排序后，每个点都分布在图片中相对固定的区域，该操作减小了神经网络的学习难度，使网络能较快收敛并且起到一定减小误差的效果，其次，降低了关键点误差、逐像素的计算误差，提升了数据集图片的精准度。
另外重排序后减小了关键点重叠区域，从语义上降低了模糊性从而使模型预测结果得到了显著的提升。
S02：根据扩充后的数据集训练神经网络模型。
S1：接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；
S2：根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；
需要说明的是，边界关键点为图片最外围的点，参见图3中的点2、4、6、8，图4中的点2、3、5、6，该图3、图4中的点均为房间类型的关键点，每一个不同类型的房间都可以被视为一个立方体盒子，按照特定顺序将这些顶点连接起来就可以得出正确的房间布局估计。
S3：获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；
所述步骤S3中的修正方法包括步骤：
S31：根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；
S32：获取垂直距离最小的关键点热图边界线并作为修正边界线；
S33：以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上。
S4：根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。
需要说明的是，修正边界关键点至关键点热图的图像边界线上，解决了由于网络的预测以及坐标放缩导致的像素误差问题，同时避免了算错关键点连通区域数量的问题，很大程度上提升了模型的精准度。
实施例二
如图2所示，本发明提出了一种基于关键点热图修正的房间布局估计获取系统，包括：
神经网络模型的训练模块，具体包括：
获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；
所述重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。
需要说明的是，首先，对翻转后的图片关键点重排序后，每个点都分布在图片中相对固定的区域，该操作减小了神经网络的学习难度，使网络能较快收敛并且起到一定减小误差的效果，其次，降低了关键点误差、逐像素的计算误差，提升了数据集图片的精准度。
另外重排序后减小了关键点重叠区域，从语义上降低了模糊性从而使模型预测结果得到了显著的提升。
根据扩充后的数据集训练神经网络模型。
神经网络模块，接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；
边界关键点模块，根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；
需要说明的是，边界关键点为图片最外围的点，参见图3中的点2、4、6、8，图4中的点2、3、5、6，该图3、图4中的点均为房间类型的关键点，每一个不同类型的房间都可以被视为一个立方体盒子，按照特定顺序将这些顶点连接起来就可以得出正确的房间布局估计。
关键点热图修正模块，获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；
所述关键点热图修正模块中的修正方法包括：
根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；获取垂直距离最小的关键点热图边界线并作为修正边界线；以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上。
边界关键点连接模块，根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。
需要说明的是，修正边界关键点至关键点热图的图像边界线上，解决了由于网络的预测以及坐标放缩导致的像素误差问题，同时避免了算错关键点连通区域数量的问题，很大程度上提升了模型的精准度。
本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于关键点热图修正的房间布局估计获取方法，其特征在于，包括步骤：
S1：接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；
S2：根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；
S3：获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；
所述步骤S3中的修正方法包括步骤：
S31：根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；
S32：获取垂直距离最小的关键点热图边界线并作为修正边界线；
S33：以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上；
S4：根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。
2.根据权利要求1所述的基于关键点热图修正的房间布局估计获取方法，其特征在于，所述步骤S1前还包括神经网络模型的训练方法，具体包括步骤：
S01：获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；
S02：根据扩充后的数据集训练神经网络模型。
3.根据权利要求2所述的基于关键点热图修正的房间布局估计获取方法，其特征在于，所述步骤S01中重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。
4.一种基于关键点热图修正的房间布局估计获取系统，其特征在于，包括：
神经网络模块，接收待识别图像，通过神经网络模型获取待识别图像的关键点热图以及房间类型；所述房间类型由若干个有序关键点组成，并含有若干个边界关键点，各关键点之间有序连接；
边界关键点模块，根据房间类型的关键点与关键点热图的关键点的对应关系获取关键点热图的边界关键点；
关键点热图修正模块，获取边界关键点的图像坐标并根据图像坐标修正边界关键点至关键点热图的图像边界线上；
所述关键点热图修正模块中的修正方法包括：
根据各边界关键点的坐标获取各边界关键点与关键点热图边界线的垂直距离；获取垂直距离最小的关键点热图边界线并作为修正边界线；以修正边界线的垂直方向为目标方向移动边界关键点至修正边界线上；
边界关键点连接模块，根据房间类型获取修正后的关键点热图的连接关系，并根据连接关系获取房间布局估计。
5.根据权利要求4所述的基于关键点热图修正的房间布局估计获取系统，其特征在于，所述神经网络模块前还包括神经网络模型的训练模块，具体包括：
获取数据集，所述数据集中包括多类预设房间类型的关键点标号图，通过翻转标号图并对翻转后的标号图重排序获取扩充后的数据集；根据扩充后的数据集训练神经网络模型。
6.根据权利要求5所述的基于关键点热图修正的房间布局估计获取系统，其特征在于，所述重排序的方法为：以翻转前标号图的标号顺序为排序标准，使翻转后的标号顺序与翻转前标号图的顺序一致。
CN202110200205.4A 2021-02-23 2021-02-23 一种基于关键点热图修正的房间布局估计获取方法与系统 Active CN112837336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110200205.4A CN112837336B (zh) 2021-02-23 2021-02-23 一种基于关键点热图修正的房间布局估计获取方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110200205.4A CN112837336B (zh) 2021-02-23 2021-02-23 一种基于关键点热图修正的房间布局估计获取方法与系统

Publications (2)

Publication Number Publication Date
CN112837336A CN112837336A (zh) 2021-05-25
CN112837336B true CN112837336B (zh) 2022-02-22

Family

ID=75932947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200205.4A Active CN112837336B (zh) 2021-02-23 2021-02-23 一种基于关键点热图修正的房间布局估计获取方法与系统

Country Status (1)

Country Link
CN (1) CN112837336B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596193A (zh) * 2018-04-27 2018-09-28 东南大学 一种搭建针对人耳识别的深度学习网络结构的方法及系统
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN110419049A (zh) * 2017-03-17 2019-11-05 奇跃公司 房间布局估计方法和技术
CN111191622A (zh) * 2020-01-03 2020-05-22 华南师范大学 基于热力图和偏移向量的姿态识别方法、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242966A (zh) * 2020-01-15 2020-06-05 北京大豪科技股份有限公司 图像边界修正方法、装置、电子设备及存储介质
CN111488836B (zh) * 2020-04-13 2023-06-02 广州市百果园信息技术有限公司 人脸轮廓修正方法、装置、设备及存储介质
CN112287977B (zh) * 2020-10-06 2024-02-09 武汉大学 一种基于边界框关键点距离的目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110419049A (zh) * 2017-03-17 2019-11-05 奇跃公司 房间布局估计方法和技术
CN108596193A (zh) * 2018-04-27 2018-09-28 东南大学 一种搭建针对人耳识别的深度学习网络结构的方法及系统
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN111191622A (zh) * 2020-01-03 2020-05-22 华南师范大学 基于热力图和偏移向量的姿态识别方法、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Attention Consistent Network for Remote Sensing Scene Classification;Xu Tang，and etc;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》;20210114(第14期);第2030-2045页 *
关键点检测的复杂建筑物模型自动重建;李鹏程等;《遥感学报》;20140630;第18卷(第6期);第1237-1246页 *

Also Published As

Publication number Publication date
CN112837336A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN105069799B (zh) 一种角点定位方法及装置
US10636165B2 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
CN110838133B (zh) 多目标跟踪方法及相关设备
CN111932504B (zh) 一种基于边缘轮廓信息的亚像素定位方法及装置
CN111784775B (zh) 一种标识辅助的视觉惯性增强现实注册方法
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN106296587B (zh) 轮胎模具图像的拼接方法
CN108694716B (zh) 一种工件检测方法、模型训练方法及设备
CN111161318A (zh) 一种基于yolo算法及gms特征匹配的动态场景slam方法
CN111104883A (zh) 作业答案提取方法、装置、设备及计算机可读存储介质
CN106780308B (zh) 一种图像透视变换方法
CN110197501B (zh) 图像处理方法和设备
CN113610835B (zh) 看护摄像机的人形检测方法
CN112837336B (zh) 一种基于关键点热图修正的房间布局估计获取方法与系统
CN112802104A (zh) 一种基于rgb-d相机的回环检测方法
CN114693782A (zh) 用于确定三维场景模型坐标系和物理坐标系的转换关系的方法及装置
CN112950621B (zh) 图像处理方法、装置、设备及介质
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车
CN113269728B (zh) 视觉巡边方法、设备、可读存储介质及程序产品
JP2002008014A (ja) ３次元形状抽出方法及び装置並びに記録媒体
CN111178366B (zh) 一种移动机器人的定位方法和移动机器人
CN113850100A (zh) 一种校正二维码的方法和装置
CN107358138A (zh) 非线性畸变ean条码的校正方法、移动终端及存储装置
CN111179355A (zh) 一种结合点云和语义识别的双目摄像头标定方法
JP2017027363A (ja) 映像処理装置、映像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant