CN111476136B - 家具类型确定方法、装置、电子设备及可读存储介质 - Google Patents

家具类型确定方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111476136B
CN111476136B CN202010246950.8A CN202010246950A CN111476136B CN 111476136 B CN111476136 B CN 111476136B CN 202010246950 A CN202010246950 A CN 202010246950A CN 111476136 B CN111476136 B CN 111476136B
Authority
CN
China
Prior art keywords
furniture
sample image
preset
sample
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010246950.8A
Other languages
English (en)
Other versions
CN111476136A (zh
Inventor
张磊
陈高
陈彦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010246950.8A priority Critical patent/CN111476136B/zh
Publication of CN111476136A publication Critical patent/CN111476136A/zh
Application granted granted Critical
Publication of CN111476136B publication Critical patent/CN111476136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出的一种家具类型确定方法、装置、电子设备及可读存储介质,通过获取目标家具的多张局部图像,对局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值,根据各张局部图像对应的预设特征的值确定目标家具的家具特征值,将家具特征值输入预训练的家具模型,即可输出目标家具对应的家具类型。利用上述方法只需获取家具的局部图像即可确定家具所对应的家具类型,不再需求采集包含完整家具的图像,解决了确定家具类型费时费力的问题。

Description

家具类型确定方法、装置、电子设备及可读存储介质
技术领域
本发明实施例涉及图像处理技术领域,具体涉及一种家具类型确定方法、装置、电子设备及可读存储介质。
背景技术
现有扫地机在构建地图的方法为扫地机器人运动到某一家具位置处时,通过摄像头采集包含完整家具的图像,利用计算机对采集的包含完整家具的图像进行图像处理和计算,得到该被拍摄的家具的家具类型,以构建地图。
在上述方法中,需要摄像头采集到包含完整家具的图像,才能确定被拍摄家具的家具类型,但实际情况下,一方面,受距离和扫描范围的限制,摄像头往往不能拍摄到包含完整家具的图像,从而无法确定被拍摄家具的家具类型;另一方面,即使能够拍摄到包含完整家具的图像,但是为了确定家具的结构需要多次、多角度的拍摄,费时费力,操作方式不灵活。
上述对问题的发现过程的描述,仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
为了解决上述确定家具类型费时费力的技术问题,本发明实施例提供了一种家具类型确定方法、装置、电子设备及可读存储介质。
有鉴于此,第一方面,本发明实施例提供一种家具类型确定方法,包括:
获取目标家具的多张局部图像;
对所述多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值;
根据所述各张局部图像对应的预设特征的值,确定所述目标家具对应的家具特征值;
将所述家具特征值输入预训练的家具模型,输出所述目标家具对应的家具类型。
在一种可能的实现方式中,所述方法还包括:
根据预设的家具类型与家具结构的对应关系,获取与所述目标家具的家具类型对应的家具结构。
在一种可能的实现方式中,对所述多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值,包括:
对所述多张局部图像分别进行灰度处理,得到各张局部图像对应的灰度矩阵,所述局部图像对应的灰度矩阵中的元素表示所述局部图像中像素点的灰度值;
根据所述灰度矩阵,计算各张局部图像对应的预设特征的值。
在一种可能的实现方式中,根据所述各张局部图像对应的预设特征的值,确定所述目标家具对应的家具特征值,包括:
根据所述各张局部图像对应的预设特征的值,计算所述多张局部图像中每两张局部图像之间的相关系数;
根据各局部图像与所述多张局部图像中其他局部图像之间的相关系数,计算各张局部图像对应的整体相关系数;
确定整体相关系数最大的局部图像对应的预设特征的值,作为所述目标家具对应的家具特征值。
在一种可能的实现方式中,所述家具模型的训练过程包括:
获取样本图像集合,所述样本图像集合包含多个样本图像子集,一个样本图像子集对应一个家具类型,一个样本子集由多张包含完整家具的样本图像组成;
分别对各个所述样本图像子集进行图像数据分析,得到样本图像子集对应的家具类型的家具特征集合;
利用所述样本图像子集对应的家具类型的家具特征集合,对预设的初始模型进行训练;
将训练后的初始模型作为家具模型,所述家具模型以家具特征为输入,以家具类型为输出。
在一种可能的实现方式中,针对每个样本图像子集,对所述样本图像子集进行图像数据分析,得到样本图像子集对应的家具类型的家具特征集合,包括:
对所述样本图像子集中的样本图像进行灰度处理,得到所述样本图像子集中各样本图像对应的灰度矩阵,所述样本图像对应的灰度矩阵中的元素表示所述样本图像中像素点的灰度值;
根据所述灰度矩阵,计算各样本图像对应的预设特征的值;
根据样本图像对应的预设特征的值,计算所述样本图像子集中每两张样本图像之间的家具特征的相关系数;
根据所述相关系数对所述样本图像子集中的样本图像进行筛选;
利用筛选后的所述样本图像子集中的样本图像对应的预设特征的值组成所述样本图像子集对应的家具类型的家具特征集合。
在一种可能的实现方式中,根据所述相关系数对所述样本图像子集中的样本图像进行筛选,包括:
针对所述样本图像子集中的每个样本图像,分别计算低于预设系数阈值的相关系数的数量与相关系数总数的比值;
将所述样本图像子集中所述比值大于预设比值阈值的样本图像,作为目标样本图像;
去除所述样本图像子集中的所述目标样本图像。
在一种可能的实现方式中,利用筛选后的所述样本图像子集中的样本图像对应的预设特征的值组成所述样本图像子集对应的家具类型的家具特征集合,包括:
分别对筛选后的所述样本图像子集中的各样本图像对应的预设特征的值进行向量化,得到所述各样本图像对应的预设特征向量;
将所述各样本图像对应的预设特征向量组成的预设特征向量集合,作为所述样本图像子集对应的家具类型的家具特征集合。
在一种可能的实现方式中,利用所述样本图像子集对应的家具类型的家具特征集合,对预设的初始模型进行训练,包括:
将所述样本图像子集拆分为训练集和验证集;
利用所述训练集中包含的样本图像和对应的家具类型的家具特征集合对预设的初始模型进行训练;
利用所述验证集中包含的样本图像和对应的家具类型的家具特征集合对训练后的初始模型进行验证,计算训练后的初始模型的正确率;
若正确率低于预设的正确率阈值,则利用所述样本图像子集继续对所述初始模型进行训练,直至所述正确率不低于预设的正确率阈值。
在一种可能的实现方式中,所述预设特征至少包括:像素点的最大值、像素点的最小值、各像素点的均值、各像素点的中值、各像素点的方差值和灰度值为特定值的像素点的占比中的一种或多种。
第二方面,本发明实施例还提供了一种家具类型确定装置,包括:
图像获取模块,用于获取目标家具的多张局部图像;
图像数据分析模块,用于对所述多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值;
特征值确定模块,用于根据所述各张局部图像对应的预设特征的值,确定所述目标家具对应的家具特征值;
家具类型输出模块,用于将所述家具特征值输入预训练的家具模型,输出所述目标家具对应的家具类型。
在一种可能的实现方式中,所述装置还可以包括:
家具结构确定模块,用于根据预设的家具类型与家具结构的对应关系,获取与所述目标家具的家具类型对应的家具结构。
在一种可能的实现方式中,所述图像数据分析模块具体用于:
对所述多张局部图像分别进行灰度处理,得到各张局部图像对应的灰度矩阵,所述局部图像对应的灰度矩阵中的元素表示所述局部图像中像素点的灰度值;
根据所述灰度矩阵,计算各张局部图像对应的预设特征的值。
在一种可能的实现方式中,所述特征值确定模块具体用于:
根据所述各张局部图像对应的预设特征的值,计算所述多张局部图像中每两张局部图像之间的相关系数;
根据各局部图像与所述多张局部图像中其他局部图像之间的相关系数,计算各张局部图像对应的整体相关系数;
确定整体相关系数最大的局部图像对应的预设特征的值,作为所述目标家具对应的家具特征值。
在一种可能的实现方式中,所述装置还包括家具模型训练装置,所述家具模型训练装置包括:
样本获取子模块,用于获取样本图像集合,所述样本图像集合包含多个样本图像子集,一个样本图像子集对应一个家具类型,一个样本子集由多张包含完整家具的样本图像组成;
特征集合确定子模块,用于分别对各个所述样本图像子集进行图像数据分析,得到样本图像子集对应的家具类型的家具特征集合;
训练子模块,用于利用所述样本图像子集对应的家具类型的家具特征集合,对预设的初始模型进行训练;
模型确定子模块,用于将训练后的初始模型作为家具模型,所述家具模型以家具特征为输入,以家具类型为输出。
在一种可能的实现方式中,所述特征集合确定子模块,具体用于:
对所述样本图像子集中的样本图像进行灰度处理,得到所述样本图像子集中各样本图像对应的灰度矩阵,所述样本图像对应的灰度矩阵中的元素表示所述样本图像中像素点的灰度值;
根据所述灰度矩阵,计算各样本图像对应的预设特征的值;
根据样本图像对应的预设特征的值,计算所述样本图像子集中每两张样本图像之间的家具特征的相关系数;
根据所述相关系数对所述样本图像子集中的样本图像进行筛选;
利用筛选后的所述样本图像子集中的样本图像对应的预设特征的值组成所述样本图像子集对应的家具类型的家具特征集合。
在一种可能的实现方式中,根据所述相关系数对所述样本图像子集中的样本图像进行筛选,包括:
针对所述样本图像子集中的每个样本图像,分别计算低于预设系数阈值的相关系数的数量与相关系数总数的比值;
将所述样本图像子集中所述比值大于预设比值阈值的样本图像,作为目标样本图像;
去除所述样本图像子集中的所述目标样本图像。
在一种可能的实现方式中,利用筛选后的所述样本图像子集中的样本图像对应的预设特征的值组成所述样本图像子集对应的家具类型的家具特征集合,包括:
分别对筛选后的所述样本图像子集中的各样本图像对应的预设特征的值进行向量化,得到所述各样本图像对应的预设特征向量;
将所述各样本图像对应的预设特征向量组成的预设特征向量集合,作为所述样本图像子集对应的家具类型的家具特征集合。
在一种可能的实现方式中,所述训练子模块,具体用于:
将所述样本图像子集拆分为训练集和验证集;
利用所述训练集中包含的样本图像和对应的家具类型的家具特征集合对预设的初始模型进行训练;
利用所述验证集中包含的样本图像和对应的家具类型的家具特征集合对训练后的初始模型进行验证,计算训练后的初始模型的正确率;
若正确率低于预设的正确率阈值,则利用所述样本图像子集继续对所述初始模型进行训练,直至所述正确率不低于预设的正确率阈值。
第三方面,本发明实施例还提出一种电子设备,包括:
处理器、存储器、通信接口和总线;
其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述通信接口用于外部设备之间的信息传输;
所述处理器用于调用所述存储器中的程序指令,以执行如第一方面所述的家具类型确定方法的步骤。
第四方面,本发明实施例还提出一种可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如第一方面所述的家具类型确定方法的步骤。
相比现有技术,本发明实施例提出的一种家具类型确定方法,通过获取目标家具的多张局部图像,对局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值,根据各张局部图像对应的预设特征的值确定目标家具的家具特征值,将家具特征值输入预训练的家具模型,即可输出目标家具对应的家具类型。利用上述方法只需获取家具的局部图像即可确定家具所对应的家具类型,不再需求采集包含完整家具的图像,解决了确定家具类型费时费力的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种家具类型确定方法的流程图;
图2为本发明实施例提供的一种家具类型确定方法的流程图;
图3为本发明实施例提供的一种家具模型训练方法的流程图;
图4为本发明另一个实施例提供的一种利用样本图像子集训练模型的流程图;
图5为本发明实施例提供的一种家具类型确定装置的框图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种家具类型确定方法的流程图,如图1所示,该方法可以包括如下步骤:
S11.获取目标家具的多张局部图像。
因为一张局部图像可能会存在图像不清晰、特征不明显等情况,导致无法对家具类型进行识别,因此为了保证家具类型识别的准确性,本方案获取目标家具的多张局部图像,具体局部图像的数量可以根据实际情况设定。
S12.对多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值。
对多张局部图像进行图像数据分析的目的是从多张局部图像中选取出清晰、特征明显的图像。
S13.根据各张局部图像对应的预设特征的值,确定目标家具对应的家具特征值。
从多张局部图像的预设特征的值中确定目标家具对应的家具特征值,保证了家具特征值的准确性。
S14.将家具特征值输入预训练的家具模型,输出目标家具对应的家具类型。
利用预训练的家具模型确定家具类型,方便、快速。
本发明实施例提出的一种家具类型确定方法,通过获取目标家具的多张局部图像,对局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值,根据各张局部图像对应的预设特征的值确定目标家具的家具特征值,将家具特征值输入预训练的家具模型,即可输出目标家具对应的家具类型。利用上述方法只需获取家具的局部图像即可确定家具所对应的家具类型,不再需求采集包含完整家具的图像,即解决了受距离和扫描范围限制引起的无法获取包括完整家具的图像的问题,又节省了因多次多角度拍摄引起的建图时间过长的问题,优化了流程。
在上述实施例的基础上,家具类型确定方法还可以包括:
S15.根据预设的家具类型与家具结构的对应关系,获取与目标家具的家具类型对应的家具结构。
扫地机器人等智能设备在绘制地图时,通常需要在地图上显示家具的结构,因此可以预先构建家具类型与家具结构的对应关系,这样根据目标家具的局部图像确定了家具类型后,还可以就可以进一步确定家具结构,从而完成地图的绘制。
在上述实施例的基础上,S12对多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值,可以包括:
对多张局部图像分别进行灰度处理,得到各张局部图像对应的灰度矩阵,局部图像对应的灰度矩阵中的元素表示局部图像中像素点的灰度值,根据灰度矩阵,计算各张局部图像对应的预设特征的值。
其中预设特征可以根据需求设置,例如可以为像素点的最大值、像素点的最小值、各像素点的均值、各像素点的中值、各像素点的方差值和灰度值为特定值(例如零值)的像素点的占比等等。
上述灰度处理和计算预设特征值可以采用图像处理软件来实现,例如采用MATLAB中的图像数据分析工具,具体可以包括:MATLAB使用image函数采集获取到目标家具的多张局部图像的数据,对采集的数据进行去重、标准化、修正误差等等,保存成与局部图像对应的数据文件,使用rgb2gray()命令将局部图像由RGB图像转化成灰度图像,MATLAB会把灰度图像存储为一个数据矩阵,这个数据矩阵就是局部图像对应的灰度矩阵,灰度矩阵中的元素分别代表了局部图像中的像素点,一副行像素数为M,列像素数为N的图像,其对应的灰度矩阵就是一个M×N的矩阵,例如一个像素为800*600的图像,对应的灰度矩阵就是一个800×600的矩阵。
利用灰度矩阵可以分析图像的各种特征以及对数据进行处理。
例如在本实施例中局部图像的各像素点中的最大值,可以通过调用MATLAB中的max()函数得到,局部图像中各像素点中的最小值,可以通过调用MATLAB中的min()函数得到,局部图像中的各像素点的均值,可以通过调用MATLAB中的mean()函数得到,局部图像中各像素点的中值,可以通过调用MATLAB中的median()函数得到,局部图像中各像素点的方差值,可以通过调用MATLAB中的var()函数得到,局部图像中灰度值为特定值(例如零值)的像素点的占比,则可以通过MATLAB确定局部图像对应的灰度矩阵中数值为特定值的像素点的个数,再用得到的个数除以局部图像对应的像素点的总个数即可得到占比。
在上述实施例的基础上,S13根据各张局部图像对应的预设特征的值,确定目标家具对应的家具特征值,可以包括:
根据各张局部图像对应的预设特征的值,计算多张局部图像中每两张局部图像之间的相关系数,根据各局部图像与多张局部图像中其他局部图像之间的相关系数,计算各张局部图像对应的整体相关系数,确定整体相关系数最大的局部图像对应的预设特征的值,作为目标家具对应的家具特征值。
其中两图间的预设特征的相关性可以通过调用MATLAB中的corrcoef函数得到,也可以通过pearson、kendall、spearman等方式来计算。
获取的多张局部图像中可能存在不清楚或与目标家具不相关等不便于用于家具类型确定的图像,为了保证家具类型确定结果的准确性,需要对多张局部图像进行筛选,选出最适合输入家具模型的局部图像,在本实施例中通过对多张局部图像中,以任意两张图像为一组进行排列组合,对每一组分别进行预设特征的相关性分析,得到相关系数,根据得到的相关系数,计算各张局部图像对应的整体相关系数,整体相关系数可以为局部图像与其他局部图像的相关系数的和,整体相关系数越大说明该局部图像与其他局部图像越相关,也就说明该局部图像与目标家具越相关,因此选取整体相关系数最大的局部图像对应的预设特征的值作为目标家具对应的家具特征值输出到家具模型中输出的家具类型最准确。
在上述实施例的基础上,图3为家具模型的训练方法流程图,如图3家具模型的训练可以包括:
S31.获取样本图像集合,样本图像集合包含多个样本图像子集,一个样本图像子集对应一个家具类型,一个样本子集由多张包含完整家具的样本图像组成。
因为家具的类型有很多,因此为了保证家具模型可以对多种家具类型进行预测,本申请获取多个样本图像子集,利用多个样本图像子集对家具模型进行训练,从而使得家具模型可以预测多种家具类型。
获取样本图像集合即为获取用于家具模型训练的数据源,例如可以通过MATLAB调用image函数对样本图像进行数据采集,将采集的数据进行去重、标准化、修正误差等等,将每张样本图像分别保存为与一个数据文件,为之后的图像数据分析做准备。
为了保证训练到的家具模型的准确性,每个样本图像子集中的样本图像最好为从多个角度拍摄的包含完整家具的图像。
S32.分别对各个样本图像子集进行图像数据分析,得到样本图像子集对应的家具类型的家具特征集合。
针对每个样本图像子集,对样本图像子集进行图像数据分析,得到样本图像子集对应的家具类型的家具特征集合,可以包括:
对样本图像子集中的样本图像进行灰度处理,得到样本图像子集中各样本图像对应的灰度矩阵,样本图像对应的灰度矩阵中的元素表示样本图像中像素点的灰度值,根据灰度矩阵,计算各样本图像对应的预设特征的值,根据样本图像对应的预设特征的值,计算样本图像子集中每两张样本图像之间的家具特征的相关系数,根据相关系数对样本图像子集中的样本图像进行筛选,利用筛选后的样本图像子集中的样本图像对应的预设特征的值组成样本图像子集对应的家具类型的家具特征集合。
其中预设特征可以根据需求设置,例如可以为像素点的最大值、像素点的最小值、各像素点的均值、各像素点的中值、各像素点的方差值和灰度值为特定值(例如零值)的像素点的占比等等。
得到灰度矩阵、计算预设特征的值和两图像间的相关系数的方法与S12和S13采用的方式相同,此处不再赘述。
S33.利用样本图像子集对应的家具类型的家具特征集合,对预设的初始模型进行训练。
利用样本图像集合中的各个样本图像子集分别对初始模型进行训练。
S34.将训练后的初始模型作为家具模型,家具模型以家具特征为输入,以家具类型为输出。
本实施例中,利用与多种家具类型对应的多个样本图像子集对模型进行训练,使得模型可以对多种家具类型进行识别,利用包含完整家具的图像也就是包含家具多个部位的图像作为样本图像,使得训练得到的模型可以根据家具的各个部位识别出家具对应的家具类型。
在上述实施例的基础上,S32在对样本图像子集进行图像数据分析时,还可以包括:
在本实施例中,对样本图像对应的预设特征的值进行图标可视化分析,便于用于查看和了解数据。
在上述实施例的基础上,其中,根据相关系数对样本图像子集中的样本图像进行筛选,可以包括:
针对样本图像子集中的每个样本图像,分别计算低于预设系数阈值的相关系数的数量与相关系数总数的比值,将样本图像子集中比值大于预设比值阈值的样本图像,作为目标样本图像,去除样本图像子集中的目标样本图像。
筛选的目的是去除样本图像子集中与对应的家具类型不相关或相关性低的图像,从而提高训练结果的准确率,而如果一个样本图像与其所属的样本图像子集中的大部分样本图像间的相关系数均低于系数阈值,则说明该样本图像可以与其所属样本图像子集对应的家具类型不相关或相关性太低,因此将其从样本图像子集中删除。
其中系数阈值和比值阈值为根据需求设定的值。
其中,针对样本图像子集中的每个样本图像,分别计算低于预设系数阈值的相关系数的数量与相关系数总数的比值,可以通过下述方式计算:
选取样本图像子集中的任意一个样本图像作为待计算样本图像,确定样本图像子集的与待计算样本图像间的相关系数小于系数阈值的其他样本图像的数量,利用数量除以样本图像子集中除了待计算样本图像外的其他样本图像的总数量,得到的即为待计算样本图像与样本图像子集中其他样本图像之间的相关系数低于系数阈值的占比。
例如一个样本图像子集中共有n个样本图像,与待计算样本图像间的相关系数小于系数阈值的样本图像的数量为m,则待计算样本图像与样本图像子集中其他样本图像之间的相关系数低于系数阈值的占比为m/(n-1)。
在上述实施例的基础上,利用筛选后的样本图像子集中的样本图像对应的预设特征的值组成样本图像子集对应的家具类型的家具特征集合,可以包括:
分别对筛选后的样本图像子集中的各样本图像对应的预设特征的值进行向量化,得到各样本图像对应的预设特征向量,将各样本图像对应的预设特征向量组成的预设特征向量集合,作为样本图像子集对应的家具类型的家具特征集合。
向量化是对特征提取结果的再加工,目的是增强特征的表示能力,防止模型过于复杂和学习困难,比如对连续的特征值进行离散化,用数字进行表示。
在上述实施例的基础上,如图4所示,S33利用样本图像子集对应的家具类型的家具特征集合,对预设的初始模型进行训练,可以包括:
步骤1:将样本图像子集拆分为训练集和验证集。
步骤2:利用训练集中包含的样本图像和对应的家具类型的家具特征集合对预设的初始模型进行训练。
其中初始模型可以为深度学习模型,训练方法可以采用现有的深度学习模型训练方法,例如将训练集中包含的样本图像对应的家具类型的家具特征集合输入神经网络进行正向传播,得到得分;将得分输入误差函数,与期待值比较得到误差;通过反向传播确定梯度向量;最终通过梯度向量来调整每一个权值,向“得分”使误差趋于0或收敛的趋势调整,重复上述过程直到到达设定的次数或误差的平均值不再下降。
步骤3:利用验证集中包含的样本图像和对应的家具类型的家具特征集合对训练后的初始模型进行验证,计算训练后的初始模型的正确率,若正确率低于预设的正确率阈值,则利用训练集继续对初始模型进行训练,直至正确率不低于预设的正确率阈值。若正确率不低于预设的正确率阈值,则停止利用该样本图像子集继续对初始模型进行训练。
其中正确率阈值为根据实际情况设定的值。
验证集可采用k折交叉验证的方式对训练后的模型进行验证。
在训练后的模型低于正确率阈值时,对模型再训练,在不改变训练集的情况下,重复步骤2、3,直至,模型的正确率不再低于正确率阈值。通过验证集对模型进行验证,从而得到更为可靠稳定的家具模型。
在上述实施例的基础上,上述家具类型确定方法可以应用到智能家居机器人(例如扫地机器人、空气净化机器人等)构建地图的过程中。
本发明实施例还提供一种构建地图的方法,可以包括:智能机器人在运动过程中采集位置信息和与位置信息对应的目标家具的局部图像,通过家具类型确定方法确定与目标家具对应的家具类型和家具结构,根据位置信息、家具类型和家具结构构建地图。
通过上述方法构建地图,无需采集家具的完整图像,省时省力。
本发明实施例还提供了一种家具类型确定装置,如图5所示,该装置可以包括:
图像获取模块501,用于获取目标家具的多张局部图像;
图像数据分析模块502,用于对多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值;
特征值确定模块503,用于根据各张局部图像对应的预设特征的值,确定目标家具对应的家具特征值;
家具类型输出模块504,用于将家具特征值输入预训练的家具模型,输出目标家具对应的家具类型。
在一种可能的实现方式中,装置还可以包括:
家具结构确定模块,用于根据预设的家具类型与家具结构的对应关系,获取与目标家具的家具类型对应的家具结构。
在一种可能的实现方式中,图像数据分析模块502具体用于:
对多张局部图像分别进行灰度处理,得到各张局部图像对应的灰度矩阵,局部图像对应的灰度矩阵中的元素表示局部图像中像素点的灰度值;
根据灰度矩阵,计算各张局部图像对应的预设特征的值。
在一种可能的实现方式中,特征值确定模块503具体用于:
根据各张局部图像对应的预设特征的值,计算多张局部图像中每两张局部图像之间的相关系数;
根据各局部图像与多张局部图像中其他局部图像之间的相关系数,计算各张局部图像对应的整体相关系数;
确定整体相关系数最大的局部图像对应的预设特征的值,作为目标家具对应的家具特征值。
在一种可能的实现方式中,装置还包括家具模型训练装置,家具模型训练装置包括:
样本获取子模块,用于获取样本图像集合,样本图像集合包含多个样本图像子集,一个样本图像子集对应一个家具类型,一个样本子集由多张包含完整家具的样本图像组成;
特征集合确定子模块,用于分别对各个样本图像子集进行图像数据分析,得到样本图像子集对应的家具类型的家具特征集合;
训练子模块,用于利用样本图像子集对应的家具类型的家具特征集合,对预设的初始模型进行训练;
模型确定子模块,用于将训练后的初始模型作为家具模型,家具模型以家具特征为输入,以家具类型为输出。
在一种可能的实现方式中,特征集合确定子模块,具体用于:
对样本图像子集中的样本图像进行灰度处理,得到样本图像子集中各样本图像对应的灰度矩阵,样本图像对应的灰度矩阵中的元素表示样本图像中像素点的灰度值;
根据灰度矩阵,计算各样本图像对应的预设特征的值;
根据样本图像对应的预设特征的值,计算样本图像子集中每两张样本图像之间的家具特征的相关系数;
根据相关系数对样本图像子集中的样本图像进行筛选;
利用筛选后的样本图像子集中的样本图像对应的预设特征的值组成样本图像子集对应的家具类型的家具特征集合。
在一种可能的实现方式中,根据相关系数对样本图像子集中的样本图像进行筛选,包括:
针对样本图像子集中的每个样本图像,分别计算低于预设系数阈值的相关系数的数量与相关系数总数的比值;
将样本图像子集中比值大于预设比值阈值的样本图像,作为目标样本图像;
去除样本图像子集中的目标样本图像。
在一种可能的实现方式中,利用筛选后的样本图像子集中的样本图像对应的预设特征的值组成样本图像子集对应的家具类型的家具特征集合,包括:
分别对筛选后的样本图像子集中的各样本图像对应的预设特征的值进行向量化,得到各样本图像对应的预设特征向量;
将各样本图像对应的预设特征向量组成的预设特征向量集合,作为样本图像子集对应的家具类型的家具特征集合。
在一种可能的实现方式中,训练子模块,具体用于:
将样本图像子集拆分为训练集和验证集;
利用训练集中包含的样本图像和对应的家具类型的家具特征集合对预设的初始模型进行训练;
利用验证集中包含的样本图像和对应的家具类型的家具特征集合对训练后的初始模型进行验证,计算训练后的初始模型的正确率,若正确率低于预设的正确率阈值,则利用样本图像子集继续对初始模型进行训练,直至正确率不低于预设的正确率阈值。
如图6所示,本实施例公开一种电子设备,包括:处理器601、存储器602、通信接口603和总线604;
其中,处理器601、存储器602、通信接口603通过总线604完成相互间的通信;
通信接口603用于外部设备之间的信息传输;外部设备例如为用户设备UE;
处理器601用于调用存储器602中的程序指令,以执行如各方法实施例所提供的方法,例如包括:
获取目标家具的多张局部图像;
对多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值;
根据各张局部图像对应的预设特征的值,确定目标家具对应的家具特征值;
将家具特征值输入预训练的家具模型,输出目标家具对应的家具类型。
本发明实施例还提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行各方法实施例所提供的方法,例如包括:
获取目标家具的多张局部图像;
对多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值;
根据各张局部图像对应的预设特征的值,确定目标家具对应的家具特征值;
将家具特征值输入预训练的家具模型,输出目标家具对应的家具类型。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明各个实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例的方法或者实施例的某些部分的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种家具类型确定方法,其特征在于,包括:
获取目标家具的多张局部图像;
对所述多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值;
根据所述各张局部图像对应的预设特征的值,确定所述目标家具对应的家具特征值;
将所述家具特征值输入预训练的家具模型,输出所述目标家具对应的家具类型;
其中,根据所述各张局部图像对应的预设特征的值,确定所述目标家具对应的家具特征值,包括:
根据所述各张局部图像对应的预设特征的值,计算所述多张局部图像中每两张局部图像之间的相关系数;
根据各局部图像与所述多张局部图像中其他局部图像之间的相关系数,计算各张局部图像对应的整体相关系数;
确定整体相关系数最大的局部图像对应的预设特征的值,作为所述目标家具对应的家具特征值。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据预设的家具类型与家具结构的对应关系,获取与所述目标家具的家具类型对应的家具结构。
3.根据权利要求1所述的方法,其特征在于,对所述多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值,包括:
对所述多张局部图像分别进行灰度处理,得到各张局部图像对应的灰度矩阵,所述局部图像对应的灰度矩阵中的元素表示所述局部图像中像素点的灰度值;
根据所述灰度矩阵,计算各张局部图像对应的预设特征的值。
4.根据权利要求1所述的方法,其特征在于,所述家具模型的训练过程包括:
获取样本图像集合,所述样本图像集合包含多个样本图像子集,一个样本图像子集对应一个家具类型,一个样本子集由多张包含完整家具的样本图像组成;
分别对各个所述样本图像子集进行图像数据分析,得到样本图像子集对应的家具类型的家具特征集合;
利用所述样本图像子集对应的家具类型的家具特征集合,对预设的初始模型进行训练;
将训练后的初始模型作为家具模型,所述家具模型以家具特征为输入,以家具类型为输出。
5.根据权利要求4所述的方法,其特征在于,针对每个样本图像子集,对所述样本图像子集进行图像数据分析,得到样本图像子集对应的家具类型的家具特征集合,包括:
对所述样本图像子集中的样本图像进行灰度处理,得到所述样本图像子集中各样本图像对应的灰度矩阵,所述样本图像对应的灰度矩阵中的元素表示所述样本图像中像素点的灰度值;
根据所述灰度矩阵,计算各样本图像对应的预设特征的值;
根据样本图像对应的预设特征的值,计算所述样本图像子集中每两张样本图像之间的家具特征的相关系数;
根据所述相关系数对所述样本图像子集中的样本图像进行筛选;
利用筛选后的所述样本图像子集中的样本图像对应的预设特征的值组成所述样本图像子集对应的家具类型的家具特征集合。
6.根据权利要求5所述的方法,其特征在于,根据所述相关系数对所述样本图像子集中的样本图像进行筛选,包括:
针对所述样本图像子集中的每个样本图像,分别计算低于预设系数阈值的相关系数的数量与相关系数总数的比值;
将所述样本图像子集中所述比值大于预设比值阈值的样本图像,作为目标样本图像;
去除所述样本图像子集中的所述目标样本图像。
7.根据权利要求5所述的方法,其特征在于,利用筛选后的所述样本图像子集中的样本图像对应的预设特征的值组成所述样本图像子集对应的家具类型的家具特征集合,包括:
分别对筛选后的所述样本图像子集中的各样本图像对应的预设特征的值进行向量化,得到所述各样本图像对应的预设特征向量;
将所述各样本图像对应的预设特征向量组成的预设特征向量集合,作为所述样本图像子集对应的家具类型的家具特征集合。
8.根据权利要求4所述的方法,其特征在于,利用所述样本图像子集对应的家具类型的家具特征集合,对预设的初始模型进行训练,包括:
将所述样本图像子集拆分为训练集和验证集;
利用所述训练集中包含的样本图像和对应的家具类型的家具特征集合对预设的初始模型进行训练;
利用所述验证集中包含的样本图像和对应的家具类型的家具特征集合对训练后的初始模型进行验证,计算训练后的初始模型的正确率;
若正确率低于预设的正确率阈值,则利用所述样本图像子集继续对所述初始模型进行训练,直至所述正确率不低于预设的正确率阈值。
9.根据权利要求1所述的方法,其特征在于,所述预设特征至少包括:像素点的最大值、像素点的最小值、各像素点的均值、各像素点的中值、各像素点的方差值和灰度值为特定值的像素点的占比中的一种或多种。
10.一种家具类型确定装置,其特征在于,包括:
图像获取模块,用于获取目标家具的多张局部图像;
图像数据分析模块,用于对所述多张局部图像进行图像数据分析,得到各张局部图像对应的预设特征的值;
特征值确定模块,用于根据所述各张局部图像对应的预设特征的值,确定所述目标家具对应的家具特征值;
家具类型输出模块,用于将所述家具特征值输入预训练的家具模型,输出所述目标家具对应的家具类型;
其中,特征值确定模块,具体用于:
根据所述各张局部图像对应的预设特征的值,计算所述多张局部图像中每两张局部图像之间的相关系数;
根据各局部图像与所述多张局部图像中其他局部图像之间的相关系数,计算各张局部图像对应的整体相关系数;
确定整体相关系数最大的局部图像对应的预设特征的值,作为所述目标家具对应的家具特征值。
11.一种电子设备,其特征在于,包括:
处理器、存储器、通信接口和总线;
其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述通信接口用于外部设备之间的信息传输;
所述处理器用于调用所述存储器中的程序指令,以执行权利要求1-9任一所述家具类型确定方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质存储计算机指令,所述计算机指令使所述计算机执行权利要求1-9任一所述家具类型确定方法的步骤。
CN202010246950.8A 2020-03-31 2020-03-31 家具类型确定方法、装置、电子设备及可读存储介质 Active CN111476136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010246950.8A CN111476136B (zh) 2020-03-31 2020-03-31 家具类型确定方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010246950.8A CN111476136B (zh) 2020-03-31 2020-03-31 家具类型确定方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111476136A CN111476136A (zh) 2020-07-31
CN111476136B true CN111476136B (zh) 2024-01-16

Family

ID=71750295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010246950.8A Active CN111476136B (zh) 2020-03-31 2020-03-31 家具类型确定方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111476136B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409381A (zh) * 2018-09-18 2019-03-01 北京居然之家云地汇新零售连锁有限公司 基于人工智能的家具顶视图的分类方法及系统
WO2019144469A1 (zh) * 2018-01-24 2019-08-01 华讯方舟科技有限公司 一种图像质量分类方法、系统及终端设备
CN110472693A (zh) * 2019-08-22 2019-11-19 华东交通大学 一种图像处理及分类方法和系统
CN110880167A (zh) * 2019-11-20 2020-03-13 广东三维家信息科技有限公司 室内效果图描述的生成方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144469A1 (zh) * 2018-01-24 2019-08-01 华讯方舟科技有限公司 一种图像质量分类方法、系统及终端设备
CN109409381A (zh) * 2018-09-18 2019-03-01 北京居然之家云地汇新零售连锁有限公司 基于人工智能的家具顶视图的分类方法及系统
CN110472693A (zh) * 2019-08-22 2019-11-19 华东交通大学 一种图像处理及分类方法和系统
CN110880167A (zh) * 2019-11-20 2020-03-13 广东三维家信息科技有限公司 室内效果图描述的生成方法、装置和电子设备

Also Published As

Publication number Publication date
CN111476136A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
US20070189586A1 (en) Finger/palm print image processing system and finger/palm print image processing method
CN111311543B (zh) 图像清晰度检测方法、系统、设备及存储介质
WO2014070273A1 (en) Recursive conditional means image denoising
CN110383332B (zh) 图像处理装置、图像处理方法及图像处理程序
CN111935479A (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
CN107146216A (zh) 一种基于梯度自相似度的无参考图像客观质量评价方法
US11120308B2 (en) Vehicle damage detection method based on image analysis, electronic device and storage medium
CN112883983A (zh) 特征提取方法、装置和电子系统
CN111476136B (zh) 家具类型确定方法、装置、电子设备及可读存储介质
CN110929731B (zh) 一种基于探路者智能搜索算法的医疗影像处理方法及装置
CN114514539A (zh) 剪枝模块的确定方法、装置及计算机可读存储介质
CN113688810B (zh) 一种边缘设备的目标捕获方法、系统及相关设备
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN116109543A (zh) 一种数据快速识别读取方法及装置、计算机可读存储介质
CN110263782B (zh) 基于深度学习的卡证检测方法和装置
CN110222622A (zh) 一种环境土壤检测方法及装置
CN112149470B (zh) 一种行人重识别方法和装置
CN109684991A (zh) 图像处理方法、装置、电子设备及存储介质
CN116740385B (zh) 一种设备质检方法、装置和系统
Mahmood Performance Evaluation of Natural Scenes Features to create Opinion Unaware-Distortion Unaware IQA Metric
CN115630289B (zh) 一种基于证据理论的目标识别方法及装置
US11967126B2 (en) Computer implemented method and device for anomaly detection
CN114820614A (zh) 一种图像类型的确定方法、装置、存储介质及电子装置
CN110472601B (zh) 一种遥感图像目标物体识别方法、装置和存储介质
CN114170157A (zh) Poct试纸检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant