CN111291649A - 图像识别方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种图像识别方法、装置及电子设备，涉及图像识别技术领域，包括获取待识别的户型图像；根据预设户型主体裁剪模型对户型图像进行识别，得到主体区域；对主体区域进行检测与识别，得到空间名文本；根据预设户型墙体检测模型对主体区域进行识别，得到墙体信息；根据预设墙体文本配对模型对空间名文本和墙体信息进行对应匹配，并输出相对应的空间名文本和墙体信息。本发明可以有效提升工作效率，降低错误率。

Description

图像识别方法、装置及电子设备

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种图像识别方法、装置及电子设备。

背景技术

目前，在家装设计领域，设计人员可通过室内设计软件的户型图识别功能进行辅助建模，获取户型信息，实现家装设计效率的提升。但是在对墙体信息进行命名时，需要人工输入或修正，容易造成命名错误，工作量大的问题。

发明内容

本发明的目的在于提供了一种图像识别方法、装置及电子设备，可以有效提升工作效率，降低错误率。

第一方面，本发明提供了一种图像识别方法，其中，包括：

获取待识别的户型图像；

根据预设户型主体裁剪模型对所述户型图像进行识别，得到主体区域；

对所述主体区域进行检测与识别，得到空间名文本；

根据预设户型墙体检测模型对所述主体区域进行识别，得到墙体信息；

根据预设墙体文本配对模型对所述空间名文本和所述墙体信息进行对应匹配，并输出相对应的所述空间名文本和所述墙体信息。

进一步的，所述根据预设户型主体裁剪模型对所述户型图像进行识别，得到主体区域的步骤，包括：

基于目标检测网络yolov3建立预设户型主体裁剪模型；

根据所述预设户型主体裁剪模型对所述户型图像进行划分，得到划分区域；

对所述划分区域进行识别，从所述划分区域中得到主体区域。

进一步的，所述对所述主体区域进行检测与识别，得到空间名文本的步骤，包括：

根据预设空间名文本检测模型对所述主体区域进行划分，得到空间名文本区域；

根据预设空间名文本识别模型对所述空间名文本区域进行识别，得到空间名文本。

进一步的，所述根据预设空间名文本检测模型对所述主体区域进行划分的步骤之前，还包括：

基于目标检测网络yolo或者文本检测网络ctpn建立所述预设空间名文本检测模型。

进一步的，所述根据预设空间名文本识别模型对所述空间名文本区域进行识别的步骤之前，还包括：

基于文本识别网络crnn+ctc建立所述预设空间名文本识别模型。

进一步的，所述根据预设户型墙体检测模型对所述主体区域进行识别的步骤之前，还包括：

基于目标检测网络yolov3建立预设户型墙体检测模型。

进一步的，所述根据预设墙体文本配对模型对所述空间名文本和所述墙体信息进行对应匹配的步骤，包括：

根据预设墙体文本配对模型将所述墙体信息转化为多个闭合空间；

对每个闭合空间匹配一个对应的所述空间名文本。

第二方面，本发明提供了一种图像识别装置，其中，包括：

获取单元，用于获取待识别的户型图像；

主体区域单元，用于根据预设户型主体裁剪模型对所述户型图像进行识别，得到主体区域；

空间名文本单元，用于对所述主体区域进行检测与识别，得到空间名文本；

墙体信息单元，用于根据预设户型墙体检测模型对所述主体区域进行识别，得到墙体信息；

匹配单元，用于根据预设墙体文本配对模型对所述空间名文本和所述墙体信息进行对应匹配，并输出相对应的所述空间名文本和所述墙体信息。

第三方面，本发明提供了一种电子设备，其中，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面所述的图像识别方法的步骤。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中，所述计算机程序被处理器运行时执行第一方面所述的图像识别方法的步骤。

本发明实施例带来了以下有益效果：

本发明提供了一种图像识别方法、装置及电子设备，通过获取待识别的户型图像；根据预设户型主体裁剪模型对户型图像进行识别，得到主体区域；再对主体区域进行检测与识别，得到空间名文本；根据预设户型墙体检测模型对主体区域进行识别，得到墙体信息；最终根据预设墙体文本配对模型对空间名文本和墙体信息进行对应匹配，并输出相对应的空间名文本和墙体信息。在本实施例提供的上述方式中，通过对预设户型主体裁剪模型对待识别的户型图像进行识别得到主体区域后，再基于预设的模型对主体区域进行检测与识别得到空间名文本和墙体信息，最终通过预设墙体文本配对模型对空间名文本和墙体信息进行对应匹配，实现了对墙体信息的自动命名，避免了现有技术中需要人工输入或修正，容易造成命名错误，工作量大的问题，可以有效提升工作效率，降低错误率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的图像识别方法流程图；

图2为本发明实施例一提供的得到主体区域方法流程图；

图3为本发明实施例二提供的图像识别装置示意图；

图4为本发明实施例供的电子设备的结构示意图。

图标：301-获取单元；302-主体区域单元；303-空间名文本单元；304-墙体信息单元；305-匹配单元；400-处理器；401-存储器；402-总线；403-通信接口。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中家装设计在对墙体信息进行命名时，需要人工输入或修正，容易造成命名错误，工作量大的问题。本发明提供了一种图像识别方法、装置及电子设备，通过获取待识别的户型图像；根据预设户型主体裁剪模型对户型图像进行识别，得到主体区域；对主体区域进行检测与识别，得到空间名文本；根据预设户型墙体检测模型对主体区域进行识别，得到墙体信息；根据预设墙体文本配对模型对空间名文本和墙体信息进行对应匹配，并输出相对应的空间名文本和墙体信息。本发明可以有效提升工作效率，降低错误率。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像识别方法进行详细介绍。

实施例一：

参照图1所示的一种图像识别方法流程图，可以由诸如计算机、处理器等电子设备执行，该方法主要包括步骤S101至步骤S105：

步骤S101，获取待识别的户型图像。

在本实施例中，户型图像是二维的户型图像，即平面户型图。

步骤S102，根据预设户型主体裁剪模型对户型图像进行识别，得到主体区域。

步骤S103，对主体区域进行检测与识别，得到空间名文本。

步骤S104，根据预设户型墙体检测模型对主体区域进行识别，得到墙体信息。

步骤S105，根据预设墙体文本配对模型对空间名文本和墙体信息进行对应匹配，并输出相对应的空间名文本和墙体信息。

在本实施例提供的上述方式中，通过对预设户型主体裁剪模型对待识别的户型图像进行识别得到主体区域后，再基于预设的模型对主体区域进行检测与识别得到空间名文本和墙体信息，最终通过预设墙体文本配对模型对空间名文本和墙体信息进行对应匹配，实现了对墙体信息的自动命名，避免了现有技术中需要人工输入或修正，容易造成命名错误，工作量大的问题，可以有效提升工作效率，降低错误率。

在具体实施时，参照图2所示的得到主体区域方法流程图，根据预设户型主体裁剪模型对所述户型图像进行识别，得到主体区域的步骤，包括以下步骤S201～S203：

步骤S201，基于目标检测网络yolov3建立预设户型主体裁剪模型。

步骤S202，根据预设户型主体裁剪模型对户型图像进行划分，得到划分区域。

步骤S203，对划分区域进行识别，从划分区域中得到主体区域。

在本实施例提供的上述方式中，可以避免户型图中其他因素如图像水印、户型文字说明等的干扰。

在具体实施时，对主体区域进行检测与识别，得到空间名文本的步骤，包括以下步骤a～b：

步骤a，根据预设空间名文本检测模型对主体区域进行划分，得到空间名文本区域。

步骤b，根据预设空间名文本识别模型对空间名文本区域进行识别，得到空间名文本。

其中，在执行步骤a之前，还包括：

基于目标检测网络yolo或者文本检测网络ctpn建立预设空间名文本检测模型。

在执行步骤b之前，还包括：

基于文本识别网络crnn+ctc建立所述预设空间名文本识别模型。

在一种具体的实施方式中，空间名文本检测模型只提取户型图中的空间名文本区域，对于其他文本区域如面积、比例尺数字、户型文字说明等不做提取。提取到的空间名文本区域为多个。比如，对于三房两厅一厨两卫的户型，提取到的空间名文本区域至少有8个。另外，有些空间可能对应多个空间名文本区域，如客餐厅可能同时标注有“客厅”、“餐厅”、“玄关”、“过道”等文本。

根据预设的文本修正与筛选规则，对识别得到的空间名文本进行进一步的文本修正与筛选，以提高空间名文本识别的准确率。由于图像背景、噪点等影响，有些文本区域中的某一个或多个字可能难以准确识别，此时通过文本修正与筛选规则可得到正确的空间名文本。比如，当“客餐厅”文本误识别成“客餐室”时，文本修正与筛选规则会自动将识别结果修正为“客餐厅”；而对于“楼梯”、“管道”等文本，文本修正与筛选规则会自动将其剔除。

在具体实施时，在执行步骤S104之前，还包括：

基于目标检测网络yolov3建立预设户型墙体检测模型。

在一种具体的实施方式中，预设户型墙体检测模型提取到的主体区域中的墙体信息，为离散墙体信息，每面墙体经过处理后，只保留墙中线两端点信息。

在具体实施时，根据预设墙体文本配对模型对所述空间名文本和所述墙体信息进行对应匹配的步骤，包括以下步骤c～d：

步骤c，根据预设墙体文本配对模型将墙体信息转化为多个闭合空间。

步骤d，对每个闭合空间匹配一个对应的空间名文本。

在一种具体的实施方式中，预设墙体文本配对模型为将墙体信息与空间名文本进行匹配的几何模型。

预设墙体文本配对模型有以下两个作用。第一、将离散墙体组合成多个闭合空间，每个闭合空间由多面墙体组成。第二、将构成闭合空间的墙体信息与空间名文本进行一一匹配。

离散墙体组合成闭合空间，采用如下算法进行：一、建立墙中线端点与连接的墙中线的对应关系。比如，编号为1、2的两根墙中线均含有端点A，则端点A对应编号为1、2的两根墙中线；二、对每个端点对应的墙中线进行逆时针有序排序，比如，端点A对应编号为1、2、3的三根墙中线，其中，编号1的墙中线与(1,0)夹角为40°，编号2的墙中线与(1,0)夹角为100°，编号3的墙中线与(1,0)夹角为60°，则对端点A对应的墙中线进行逆时针有序排序后，墙中线的存储顺序变为1、3、2；三、对所有墙中线都进行一次正反向循序前进搜索，并将前进过程中构成任一闭合多边形的端点信息记录下来，则得到闭合空间的轮廓信息。

正反向循序前进搜索算法，示例性的说明如下：假设户型图中共有10根墙中线，其中编号1的墙中线对应端点A和B，编号2的墙中线对应端点A和C，编号3的墙中线对应端点A和D。对于编号1的墙中线，正向搜索指搜索方向从端点A至端点B，反向搜索指搜索方向从端点B至端点A。对编号1的墙中线进行反向循序前进搜索，即从端点B开始，途经端点A，最后又回到端点B的前进搜索过程。首先记录端点B和A作为循序前进路径的起始两端点。端点A的下一个端点选择，与端点A对应的墙中线有关。在步骤二中，已经对每个端点对应的墙中线进行了逆时针有序存储。假设端点A对应的墙中线的存储顺序为1、3、2，依据递增原则，编号1递增之后对应编号3，则端点A循序前进对应的下一端点为编号3墙中线的端点D，将端点D记录为循序前进路径的第三个端点。同时，编号3墙中线被正向搜索一次(从A至D)，搜索结果也被记录下来。当循序前进路径回到起始端点B时，此时构成的闭合多边形路径即为某一闭合空间的轮廓，将此轮廓信息记录下来。接着遍历所有墙中线，任选一根没有同时被正向和反向搜索过的墙中线，选择还未进行的搜索方向，重复正反向循序前进搜索算法，直至所有墙中线都被正向和反向搜索一次，遍历结束。去掉面积最大的闭合多边形，余下的所有闭合多边形则对应了户型中的所有闭合空间。

本实施例中，每个闭合空间可能对应多个空间名文本，但只选择其中一个进行匹配。判断某个空间名文本属于哪个闭合空间，只需判断该空间名文本区域的中心位置落在哪个闭合空间即可。例如，假设“客厅”、“餐厅”等文本区域同时落在同一闭合空间，直接将该闭合空间匹配为“客餐厅”。

实施例二：

参照图3所示的一种图像识别装置示意图，包括：

获取单元301，用于获取待识别的户型图像。

主体区域单元302，用于根据预设户型主体裁剪模型对户型图像进行识别，得到主体区域。

空间名文本单元303，用于对主体区域进行检测与识别，得到空间名文本。

墙体信息单元304，用于根据预设户型墙体检测模型对主体区域进行识别，得到墙体信息。

匹配单元305，用于根据预设墙体文本配对模型对空间名文本和墙体信息进行对应匹配，并输出相对应的空间名文本和墙体信息。

在本实施例提供的上述装置中，通过对预设户型主体裁剪模型对待识别的户型图像进行识别得到主体区域后，再基于预设的模型对主体区域进行检测与识别得到空间名文本和墙体信息，最终通过预设墙体文本配对模型对空间名文本和墙体信息进行对应匹配，实现了对墙体信息的自动命名，避免了现有技术中需要人工输入或修正，容易造成命名错误，工作量大的问题，可以有效提升工作效率，降低错误率。

在具体实施时，主体区域单元302还用于：

基于目标检测网络yolov3建立预设户型主体裁剪模型；

根据预设户型主体裁剪模型对所述户型图像进行划分，得到划分区域；

对划分区域进行识别，从划分区域中得到主体区域。

在具体实施时，空间名文本单元303还用于：

根据预设空间名文本检测模型对主体区域进行划分，得到空间名文本区域；

根据预设空间名文本识别模型对空间名文本区域进行识别，得到空间名文本。

其中，基于目标检测网络yolo或者文本检测网络ctpn建立预设空间名文本检测模型。

基于文本识别网络crnn+ctc建立预设空间名文本识别模型。

在具体实施时，墙体信息单元304还用于：基于目标检测网络yolov3建立预设户型墙体检测模型。

在具体实施时，匹配单元305还用于：

根据预设墙体文本配对模型将墙体信息转化为多个闭合空间；

对每个闭合空间匹配一个对应的空间名文本。

本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现实施例一图像识别方法的步骤。

图4为本发明实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器400，存储器401，总线402和通信接口403，处理器400、通信接口403和存储器401通过总线402连接；处理器400用于执行存储器401中存储的可执行模块，例如计算机程序。

其中，存储器401可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口403(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线402可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器401用于存储程序，所述处理器400在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器400中，或者由处理器400实现。

处理器400可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器400中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器400可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器400读取存储器401中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其中，计算机程序被处理器运行时执行实施例一图像识别方法的步骤。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种图像识别方法，其特征在于，包括：

获取待识别的户型图像；

根据预设户型主体裁剪模型对所述户型图像进行识别，得到主体区域；

对所述主体区域进行检测与识别，得到空间名文本；

根据预设户型墙体检测模型对所述主体区域进行识别，得到墙体信息；

根据预设墙体文本配对模型对所述空间名文本和所述墙体信息进行对应匹配，并输出相对应的所述空间名文本和所述墙体信息。

2.根据权利要求1所述的方法，其特征在于，所述根据预设户型主体裁剪模型对所述户型图像进行识别，得到主体区域的步骤，包括：

基于目标检测网络yolov3建立预设户型主体裁剪模型；

根据所述预设户型主体裁剪模型对所述户型图像进行划分，得到划分区域；

对所述划分区域进行识别，从所述划分区域中得到主体区域。

3.根据权利要求1所述的方法，其特征在于，所述对所述主体区域进行检测与识别，得到空间名文本的步骤，包括：

根据预设空间名文本检测模型对所述主体区域进行划分，得到空间名文本区域；

根据预设空间名文本识别模型对所述空间名文本区域进行识别，得到空间名文本。

4.根据权利要求3所述的方法，其特征在于，所述根据预设空间名文本检测模型对所述主体区域进行划分的步骤之前，还包括：

基于目标检测网络yolo或者文本检测网络ctpn建立所述预设空间名文本检测模型。

5.根据权利要求3所述的方法，其特征在于，所述根据预设空间名文本识别模型对所述空间名文本区域进行识别的步骤之前，还包括：

基于文本识别网络crnn+ctc建立所述预设空间名文本识别模型。

6.根据权利要求1所述的方法，其特征在于，所述根据预设户型墙体检测模型对所述主体区域进行识别的步骤之前，还包括：

基于目标检测网络yolov3建立预设户型墙体检测模型。

7.根据权利要求1所述的方法，其特征在于，所述根据预设墙体文本配对模型对所述空间名文本和所述墙体信息进行对应匹配的步骤，包括：

根据预设墙体文本配对模型将所述墙体信息转化为多个闭合空间；

对每个闭合空间匹配一个对应的所述空间名文本。

8.一种图像识别装置，其特征在于，包括：

获取单元，用于获取待识别的户型图像；

主体区域单元，用于根据预设户型主体裁剪模型对所述户型图像进行识别，得到主体区域；

空间名文本单元，用于对所述主体区域进行检测与识别，得到空间名文本；

墙体信息单元，用于根据预设户型墙体检测模型对所述主体区域进行识别，得到墙体信息；

匹配单元，用于根据预设墙体文本配对模型对所述空间名文本和所述墙体信息进行对应匹配，并输出相对应的所述空间名文本和所述墙体信息。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的图像识别方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的图像识别方法的步骤。

Images