CN113674418A - 针对户型图中元素的处理方法、装置、介质及电子设备 - Google Patents

针对户型图中元素的处理方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN113674418A
CN113674418A CN202110987946.1A CN202110987946A CN113674418A CN 113674418 A CN113674418 A CN 113674418A CN 202110987946 A CN202110987946 A CN 202110987946A CN 113674418 A CN113674418 A CN 113674418A
Authority
CN
China
Prior art keywords
civil
elements
neural network
convolutional neural
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110987946.1A
Other languages
English (en)
Other versions
CN113674418B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202110987946.1A priority Critical patent/CN113674418B/zh
Publication of CN113674418A publication Critical patent/CN113674418A/zh
Application granted granted Critical
Publication of CN113674418B publication Critical patent/CN113674418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请的实施例提供了一种针对户型图中元素的处理方法、装置、介质及电子设备,涉及计算机技术领域;包括:基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置;基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸;将经过位置调整和尺寸调整的户型图展示于用户界面中。可见,实施本申请实施例,可以提升针对土建元素的精细化程度以及参数精细化效率,基于卷积神经网络对于位置偏移概率和尺寸偏移概率可以提升元素处理的标准化程度。

Description

针对户型图中元素的处理方法、装置、介质及电子设备
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种针对户型图中元素的处理方法、针对户型图中元素的处理装置、计算机可读介质及电子设备。
背景技术
在建筑设计领域,户型图可以为作为建筑施工的依据也可以作为买方的购房依据。一般来说,需要设计师基于画图软件手动构建户型图,并根据经验对户型图中的参数进行手动调整。但是,这种方式依赖的是设计师经验,不同的设计师的经验也不同,这样容易造成对于户型图的参数精细化程度不够高、效率较低、标准化程度较低的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请实施例的目的在于提供一种针对户型图中元素的处理方法、针对户型图中元素的处理装置、计算机可读介质及电子设备,可以利用卷积神经网络实现对于户型图中的土建元素的尺寸调整和位置调整,进而可以提升针对户型图中的土建元素的精细化程度以及参数精细化效率,降低人工成本,基于卷积神经网络对于位置偏移概率和尺寸偏移概率也可以提升元素处理的标准化程度。
本申请实施例的第一方面提供了一种针对户型图中元素的处理方法,包括:
基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;
根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置;
基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸;
将经过位置调整和尺寸调整的户型图展示于用户界面中。
在本申请的一种示例性实施例中,土建元素至少包括:墙、门、窗。
在本申请的一种示例性实施例中,根据卷积神经网络确定各土建元素对应的位置偏移概率,包括:
根据卷积神经网络确定各土建元素对应的四维位置偏移概率;其中,四维位置偏移概率用于表征相对应土建元素向四个预设方向移动的概率;
以及,基于卷积神经网络确定各土建元素对应的尺寸偏移概率,包括:
根据卷积神经网络确定各土建元素对应的二维尺寸偏移概率;其中,二维尺寸偏移概率用于表征相对应土建元素的尺寸放大概率和尺寸缩小概率。
在本申请的一种示例性实施例中,基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸,包括:
基于卷积神经网络中的卷积层对户型图进行特征提取,得到第一图像特征;
基于卷积神经网络中的全连接层对第一图像特征进行特征识别,得到第二图像特征;
根据第二图像特征确定土建元素以及各土建元素对应的位置和类别。
在本申请的一种示例性实施例中,基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸之后,上述方法还包括:
基于元素类别对各土建元素进行区别化标注,以使得户型图中不同类别的土建元素对应于不同的颜色。
在本申请的一种示例性实施例中,将经过位置调整和尺寸调整的户型图展示于用户界面中,包括:
将经过位置调整和尺寸调整的户型图反馈至用户终端,以使得用户终端在用户界面显示经过位置调整和尺寸调整后的户型图。
在本申请的一种示例性实施例中,卷积神经网络包括:至少一个卷积层和至少一个全连接层。
根据本申请实施例的第二方面,提供了一种针对户型图中元素的处理装置,其特征在于,包括:
参数确定单元,用于基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;
参数调整单元,用于根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置;
参数调整单元,还用于基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸;
可视化展示单元,用于将经过位置调整和尺寸调整的户型图展示于用户界面中。
在本申请的一种示例性实施例中,土建元素至少包括:墙、门、窗。
在本申请的一种示例性实施例中,参数调整单元根据卷积神经网络确定各土建元素对应的位置偏移概率,包括:
根据卷积神经网络确定各土建元素对应的四维位置偏移概率;其中,四维位置偏移概率用于表征相对应土建元素向四个预设方向移动的概率;
以及,参数调整单元基于卷积神经网络确定各土建元素对应的尺寸偏移概率,包括:
根据卷积神经网络确定各土建元素对应的二维尺寸偏移概率;其中,二维尺寸偏移概率用于表征相对应土建元素的尺寸放大概率和尺寸缩小概率。
在本申请的一种示例性实施例中,参数确定单元基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸,包括:
基于卷积神经网络中的卷积层对户型图进行特征提取,得到第一图像特征;
基于卷积神经网络中的全连接层对第一图像特征进行特征识别,得到第二图像特征;
根据第二图像特征确定土建元素以及各土建元素对应的位置和类别。
在本申请的一种示例性实施例中,上述装置还包括:
可视化标注单元,用于在参数确定单元基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸之后,基于元素类别对各土建元素进行区别化标注,以使得户型图中不同类别的土建元素对应于不同的颜色。
在本申请的一种示例性实施例中,可视化展示单元将经过位置调整和尺寸调整的户型图展示于用户界面中,包括:
将经过位置调整和尺寸调整的户型图反馈至用户终端,以使得用户终端在用户界面显示经过位置调整和尺寸调整后的户型图。
在本申请的一种示例性实施例中,卷积神经网络包括:至少一个卷积层和至少一个全连接层。
根据本申请实施例的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述实施例中第一方面所述的针对户型图中元素的处理方法。
根据本申请实施例的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现如上述实施例中第一方面所述的针对户型图中元素的处理方法。
根据本申请的第五方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的各种可选实现方式中提供的方法。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请的一些实施例所提供的技术方案中,可以基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置;基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸;将经过位置调整和尺寸调整的户型图展示于用户界面中。实施本申请的实施例,一方面,可以利用卷积神经网络实现对于户型图中的土建元素的尺寸调整和位置调整,进而可以提升针对户型图中的土建元素的精细化程度以及参数精细化效率,降低人工成本,基于卷积神经网络对于位置偏移概率和尺寸偏移概率也可以提升元素处理的标准化程度。另一方面,可以对经过位置调整和尺寸调整的户型图进行可视化展示,从而提升交互性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了可以应用本申请实施例的一种针对户型图中元素的处理方法及针对户型图中元素的处理装置的示例性系统架构的示意图;
图2示意性示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图;
图3示意性示出了根据本申请的一个实施例的针对户型图中元素的处理方法的流程图;
图4示意性示出了根据本申请的另一个实施例的针对户型图中元素的处理方法的流程图;
图5示意性示出了根据本申请的一个实施例中的针对户型图中元素的处理系统的结构框图;
图6示意性示出了根据本申请的一个实施例中的针对户型图中元素的处理装置的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本申请的各方面变得模糊。
此外,附图仅为本申请的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本申请实施例的一种针对户型图中元素的处理方法及针对户型图中元素的处理装置的示例性应用环境的系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103中的一个或多个,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备,包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
举例来说,服务器105可以用于执行:基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置;基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸;,将经过位置调整和尺寸调整的户型图反馈至终端设备101、102、103。终端设备101、102、103可以用于执行:接收经过位置调整和尺寸调整的户型图;展示经过位置调整和尺寸调整的户型图。
可选的,终端设备101/终端设备102/终端设备103/服务器105也可以执行:基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置;基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸;将经过位置调整和尺寸调整的户型图展示于用户界面中。
图2示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图2示出的电子设备的计算机系统200仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图2所示,计算机系统200包括中央处理单元(CPU)201,其可以根据存储在只读存储器(ROM)202中的程序或者从储存部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在(RAM)203中,还存储有系统操作所需的各种程序和数据。(CPU)201、(ROM)202以及(RAM)203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至(I/O)接口205:包括键盘、鼠标等的输入部分206;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207;包括硬盘等的储存部分208;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至(I/O)接口205。可拆卸介质211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器210上,以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地,根据本申请的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分209从网络上被下载和安装,和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时,执行本申请的方法和装置中限定的各种功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。例如,所述的电子设备可以实现如图3所示的各个步骤等。
本示例实施方式提供了一种针对户型图中元素的处理方法。参考图3所示,该针对户型图中元素的处理方法可以包括以下步骤S310至步骤S340,具体地:
步骤S310:基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸。
步骤S320:根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置。
步骤S330:基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸。
步骤S340:将经过位置调整和尺寸调整的户型图展示于用户界面中。
下面,对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S310中,基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸。具体地,户型图为二维户型图或三维户型图,户型图中可以包括一个或多个房间。基于此,在步骤S310之前,上述方法还可以包括:获取用户输入的户型图;或者,通过扫地机器人扫描房屋,以生成二维户型图或三维户型图,三维户型图/二维户型图的尺寸可以为256*256*3。其中,土建元素至少包括:墙、门、窗,土建元素在户型图中的展示方式可以为符号、图形、曲线、折线等,本申请实施例不作限定。
在步骤S310之前,上述方法还包括:对卷积神经网络中的所有网络参数随机取值,得到待训练的卷积神经网络;基于预设样本对待训练的卷积神经网络进行训练,直到预设样本和相对应的预设结果之间的误差梯度小于预设误差为止;其中,卷积神经网络包括:至少一个卷积层和至少一个全连接层。
其中,对卷积神经网络中的所有网络参数随机取值,得到待训练的卷积神经网络,包括:对卷积神经网络中每个卷积层和全连接层对应的网络参数随机取值,得到待训练的卷积神经网络;其中,网络参数包括卷积数量。预设样本和相对应的预设结果一一对应,相对应的预设结果可以表示为标签。
在步骤S310中,基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸,包括:基于卷积神经网络中的卷积层对户型图进行特征提取,得到第一图像特征;基于卷积神经网络中的全连接层对第一图像特征进行特征识别,得到第二图像特征;根据第二图像特征确定土建元素以及各土建元素对应的位置和类别。具体地,土建元素对应的位置可以通过预设坐标系中的坐标(x,y)或(x,y,z)进行表示,元素对应的类别可以通过类别标签进行表示,如,墙、门、窗、地板。这样可以有利于提升对于偏移概率的计算精度。
其中,基于卷积神经网络中的卷积层对户型图进行特征提取,得到第一图像特征,包括:基于卷积神经网络中4层卷积层将户型图编码为第一图像特征;其中,4层卷积层对应的参数分别为128*128*32、64*64*64、32*32*64、16*16*64;示例性地,128*128用于表示卷积层二维尺寸取值,32表示卷积核数量,4*64*64、32*32*64、16*16*64同理,第一图像特征的尺寸可以表示为8*8*512。
基于此,基于卷积神经网络中的全连接层对第一图像特征进行特征识别,得到第二图像特征,包括:基于卷积神经网络中2层全连接层将第一图像特征解码为第二图像特征;其中,2层全连接层对应的参数分别为:(16*16*64,32)、(32,N1+N2+N3+1+4),第二图像特征的尺寸可以表示为N1+N2+N3+1+4;具体地,N1表示墙的类别数量,N2表示门的类别数量,N3表示窗的类别数量,1表示户型内背景的类别数量。
基于此,根据第二图像特征确定土建元素以及各土建元素对应的位置和类别,包括:根据N1+N2+N3+1+4确定各土建元素对应的类别和轮廓顶点坐标[(x1,y1),(x2,y2)]和类别;其中,(x1,y1)和(x2,y2)分别用于表示土建元素外轮廓的左下顶点坐标和右上顶点坐标,土建元素对应的类别可以通过标签进行表示。
进一步地,根据第二图像特征确定土建元素以及各土建元素对应的位置和类别之后,上述方法还可以包括:将各土建元素对应的位置和类别可视化标注于户型图中。
在步骤S310基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸之后,上述方法还包括:基于元素类别对各土建元素进行区别化标注,以使得户型图中不同类别的土建元素对应于不同的颜色。具体地,基于元素类别对各土建元素进行区别化标注,以使得户型图中不同类别的土建元素对应于不同的颜色的方式具体可以为:确定各元素类别下的子类别(如,承重墙、隔断墙、落地窗、暗窗、卧室门、厕所门等),根据各元素类别下的子类别对各土建元素进行区别化标注,以使得户型图中任意两个子类别对应的土建元素表示为不同的颜色。例如,可以将承重墙标注为浅绿色,将隔断墙标注为深绿色,将落地窗标注为粉红色,将暗窗标注为深红色,将卧室门标注为天蓝色,将厕所门标注为海蓝色。这样可以提升直观性,使得用户能够一目了然地区分不同的土建元素,也有利于相关人员明确卷积神经网络对于户型图的识别精度,从而便于及时对其进行参数调整。
在步骤S320中,根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置。具体地,各土建元素对应的位置偏移概率不互相同,位置偏移概率可以为多维向量,多维向量用于表示相应的土建元素向每一维向量元素对应的方向上移动预设距离的概率(如,0.9),多维向量的维数代表了可偏移的方向数量。
在步骤S320中,根据卷积神经网络确定各土建元素对应的位置偏移概率,包括:根据卷积神经网络确定各土建元素对应的四维位置偏移概率;其中,四维位置偏移概率用于表征相对应土建元素向四个预设方向移动的概率;具体地,根据卷积神经网络确定各土建元素对应的四维位置偏移概率的方式可以为:根据卷积神经网络中的4层卷积层和2层全连接层计算各土建元素对应的四维位置偏移概率,墙对应的四维位置偏移概率可以表示为M1*4的向量,窗对应的四维位置偏移概率可以表示为M2*4的向量,门对应的四维位置偏移概率可以表示为M3*4的向量,如,(p1,p2,p3,p4),p1,p2,p3,p4分别用表示为土建元素向左,上,右,下四个方向移动预设距离(如,1mm)的概率;其中,M1表示墙的数量,M2表示窗的数量,M2表示门的数量,4层卷积层对应的参数分别为128*128*32、64*64*64、32*32*64、16*16*64,2层全连接层对应的参数分别为:;(16*16*64,32)、(32,M1*4)/(32,M2*4)/(32,M3*4)。基于此,根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置,包括:确定每个四维位置偏移概率中的最大概率,将相应的土建元素向各自对应的最大概率的偏移方向上偏移预设距离。
在步骤S330中,基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸。具体地,各土建元素对应的尺寸偏移概率不互相同,尺寸偏移概率可以为多维向量。
在步骤S330中,基于卷积神经网络确定各土建元素对应的尺寸偏移概率,包括:根据卷积神经网络确定各土建元素对应的二维尺寸偏移概率;其中,二维尺寸偏移概率用于表征相对应土建元素的尺寸放大概率和尺寸缩小概率。具体地,根据卷积神经网络确定各土建元素对应的二维尺寸偏移概率的方式可以为:根据卷积神经网络中的4层卷积层和2层全连接层计算各土建元素对应的二维尺寸偏移概率,墙对应的二维尺寸偏移概率可以表示为M1*2的向量,窗对应的二维尺寸偏移概率可以表示为M2*2的向量,门对应的二维尺寸偏移概率可以表示为M3*2的向量,如,(p5,p6),p5,p6分别用表示为土建元素放大预设尺度和缩小预设尺度(如,1.0001)的概率;其中,M1表示墙的数量,M2表示窗的数量,M2表示门的数量,4层卷积层对应的参数分别为128*128*32、64*64*64、32*32*64、16*16*64,2层全连接层对应的参数分别为:;(16*16*64,32)、(32,M1*2)/(32,M2*2)/(32,M3*2)。基于此,根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸,包括:确定每个二维尺寸偏移概率中的最大概率,将相应的土建元素依据各自对应的最大概率放大预设尺度或缩小预设尺度。这样可以方便基于计算出的偏移概率进行户型图精细化,提升对于户型图的识别精度。
在步骤S340中,将经过位置调整和尺寸调整的户型图展示于用户界面中。具体地,对经过位置调整和尺寸调整的户型图进行渲染,对渲染后的户型图展示于用户界面中。其中,对经过位置调整和尺寸调整的户型图进行渲染的方式可以为:获取户型图的墙体线框图,基于墙体线框图构建多组纹理映射函数,基于纹理映射函数合成纹理图片,利用纹理映射函数对纹理图片进行场景渲染,以得到渲染后的户型图。
在步骤S340中,将经过位置调整和尺寸调整的户型图展示于用户界面中,包括:将经过位置调整和尺寸调整的户型图反馈至用户终端,以使得用户终端在用户界面显示经过位置调整和尺寸调整后的户型图。具体地,经过位置调整和尺寸调整的户型图的数量可以为一个或多个,若为多个,则不同的户型图用于通过不同视角展示该户型,用于展示户型图的用户终端可以为智能手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、电子书阅读器、多媒体播放器等,本申请实施例不作限定。这样可以触发用户终端对可视化模型进行可视化展示,以便用户查看,提升交互性。
可选的,用户终端在用户界面显示经过位置调整和尺寸调整后的户型图的方式可以为:根据经过位置调整和尺寸调整后的户型图生成幻灯片并展示该幻灯片;或者,根据经过位置调整和尺寸调整后的户型图生成立体户型模型,在模型生成软件的用户界面中展示该立体户型模型;或者,根据经过位置调整和尺寸调整后的户型图生成立体户型模型,通过外接VR设备在虚拟环境中展示立体户型模型。其中,VR设备是实现虚拟现实(VirtualReality,VR)技术的载体,VR可以创建一个虚拟现实世界的场景,使用者通过专用的VR设备,能够体验该虚拟现实的场景。使用者通过VR设备和相关的附属设备,能够与虚拟现实场景中的虚拟对象进行交互,能够基于用户的实体控制行为直接对虚拟现实场景中的三维对象进行动态控制,使用户沉浸到该虚拟环境中。
综上,实施图3所示的方法,可以利用卷积神经网络实现对于户型图中的土建元素的尺寸调整和位置调整,进而可以提升针对户型图中的土建元素的精细化程度以及参数精细化效率,降低人工成本,基于卷积神经网络对于位置偏移概率和尺寸偏移概率也可以提升元素处理的标准化程度。此外,还可以对经过位置调整和尺寸调整的户型图进行可视化展示,从而提升交互性。
基于图3所示的步骤及实施例,本申请还可以提供一种多层户型的模型生成方法,实现为图4所示的步骤S410~步骤S490。
步骤S410:基于卷积神经网络中的卷积层对户型图进行特征提取,得到第一图像特征。
步骤S420:基于卷积神经网络中的全连接层对第一图像特征进行特征识别,得到第二图像特征。
步骤S430:根据第二图像特征确定土建元素以及各土建元素对应的位置和类别。
步骤S440:基于元素类别对各土建元素进行区别化标注,以使得户型图中不同类别的土建元素对应于不同的颜色。
步骤S450:根据卷积神经网络确定各土建元素对应的四维位置偏移概率;其中,四维位置偏移概率用于表征相对应土建元素向四个预设方向移动的概率。
步骤S460:根据各土建元素对应的四维位置偏移概率调整户型图中各土建元素的位置。
步骤S470:根据卷积神经网络确定各土建元素对应的二维尺寸偏移概率;其中,二维尺寸偏移概率用于表征相对应土建元素的尺寸放大概率和尺寸缩小概率。
步骤S480:根据各土建元素对应的二维尺寸偏移概率调整户型图中各土建元素的尺寸。
步骤S490:将经过位置调整和尺寸调整的户型图反馈至用户终端,以使得用户终端在用户界面显示经过位置调整和尺寸调整后的户型图。
需要说明的是,步骤S410~步骤S490图3所示的各步骤及其实施例相对应,针对步骤S410~步骤S490的具体实施方式,请参阅图3所示的各步骤及其实施例,此处不再赘述。
可见,实施图4所示的方法,可以利用卷积神经网络实现对于户型图中的土建元素的尺寸调整和位置调整,进而可以提升针对户型图中的土建元素的精细化程度以及参数精细化效率,降低人工成本,基于卷积神经网络对于位置偏移概率和尺寸偏移概率也可以提升元素处理的标准化程度。此外,还可以对经过位置调整和尺寸调整的户型图进行可视化展示,从而提升交互性。
基于图4所示的方法,本申请还可以提供一种针对户型图中元素的处理系统,用于实现图4所示的方法。参考图5,针对户型图中元素的处理系统具体可以包括:户型图识别模块510、位置精细化模块520、尺寸精细化模块530、可视化模块540。
户型图识别模块510,用于基于卷积神经网络中的卷积层对户型图进行特征提取,得到第一图像特征;基于卷积神经网络中的全连接层对第一图像特征进行特征识别,得到第二图像特征;根据第二图像特征确定土建元素以及各土建元素对应的位置和类别;将各土建元素对应的位置和类别发送至位置精细化模块520和尺寸精细化模块530。
位置精细化模块520,用于在接收到位置精确强调信号和户型图识别模块510输出的各土建元素对应的位置和类别时,根据卷积神经网络确定各土建元素对应的四维位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置;其中,四维位置偏移概率用于表征相对应土建元素向四个预设方向移动的概率;其中,位置精确强调信号用于作为触发位置精细化模块520启动的条件。
尺寸精细化模块530,用于在接收到尺寸精确强调信号和户型图识别模块510输出的各土建元素对应的位置和类别时,根据卷积神经网络确定各土建元素对应的二维尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸;其中,二维尺寸偏移概率用于表征相对应土建元素的尺寸放大概率和尺寸缩小概率;其中,尺寸精确强调信号用于作为触发尺寸精细化模块530启动的条件。
可视化模块540,用于基于元素类别对各土建元素进行区别化标注,以使得户型图中不同类别的土建元素对应于不同的颜色;将经过位置调整和尺寸调整的户型图展示于用户界面中。
可见,实施图5所示的系统,可以利用卷积神经网络实现对于户型图中的土建元素的尺寸调整和位置调整,进而可以提升针对户型图中的土建元素的精细化程度以及参数精细化效率,降低人工成本,基于卷积神经网络对于位置偏移概率和尺寸偏移概率也可以提升元素处理的标准化程度。此外,还可以对经过位置调整和尺寸调整的户型图进行可视化展示,从而提升交互性。
进一步的,本示例实施方式中,还提供了一种针对户型图中元素的处理装置,用于实现图3所示的各步骤。参考图6所示,该针对户型图中元素的处理装置600可以包括:参数确定单元610、参数调整单元620、可视化展示单元630,其中:
参数确定单元610,用于基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;
参数调整单元620,用于根据卷积神经网络确定各土建元素对应的位置偏移概率,并根据各土建元素对应的位置偏移概率调整户型图中各土建元素的位置;
参数调整单元620,还用于基于卷积神经网络确定各土建元素对应的尺寸偏移概率,并根据各土建元素对应的尺寸偏移概率调整户型图中各土建元素的尺寸;
可视化展示单元630,用于将经过位置调整和尺寸调整的户型图展示于用户界面中。
其中,土建元素至少包括:墙、门、窗;卷积神经网络包括:至少一个卷积层和至少一个全连接层。
可见,实施图6所示的装置,可以利用卷积神经网络实现对于户型图中的土建元素的尺寸调整和位置调整,进而可以提升针对户型图中的土建元素的精细化程度以及参数精细化效率,降低人工成本,基于卷积神经网络对于位置偏移概率和尺寸偏移概率也可以提升元素处理的标准化程度。此外,还可以对经过位置调整和尺寸调整的户型图进行可视化展示,从而提升交互性。
在本申请的一种示例性实施例中,参数调整单元620根据卷积神经网络确定各土建元素对应的位置偏移概率,包括:
根据卷积神经网络确定各土建元素对应的四维位置偏移概率;其中,四维位置偏移概率用于表征相对应土建元素向四个预设方向移动的概率;
以及,参数调整单元620基于卷积神经网络确定各土建元素对应的尺寸偏移概率,包括:
根据卷积神经网络确定各土建元素对应的二维尺寸偏移概率;其中,二维尺寸偏移概率用于表征相对应土建元素的尺寸放大概率和尺寸缩小概率。
可见,实施该可选的实施例,可以方便基于计算出的偏移概率进行户型图精细化,提升对于户型图的识别精度。
在本申请的一种示例性实施例中,参数确定单元610基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸,包括:
基于卷积神经网络中的卷积层对户型图进行特征提取,得到第一图像特征;
基于卷积神经网络中的全连接层对第一图像特征进行特征识别,得到第二图像特征;
根据第二图像特征确定土建元素以及各土建元素对应的位置和类别。
可见,实施该可选的实施例,可以有利于提升对于偏移概率的计算精度。
在本申请的一种示例性实施例中,上述装置还包括:
可视化标注单元(未图示),用于在参数确定单元610基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸之后,基于元素类别对各土建元素进行区别化标注,以使得户型图中不同类别的土建元素对应于不同的颜色。
可见,实施该可选的实施例,可以提升直观性,使得用户能够一目了然地区分不同的土建元素,也有利于相关人员明确卷积神经网络对于户型图的识别精度,从而便于及时对其进行参数调整。
在本申请的一种示例性实施例中,可视化展示单元630将经过位置调整和尺寸调整的户型图展示于用户界面中,包括:
将经过位置调整和尺寸调整的户型图反馈至用户终端,以使得用户终端在用户界面显示经过位置调整和尺寸调整后的户型图。
可见,实施该可选的实施例,可以触发用户终端对可视化模型进行可视化展示,以便用户查看,提升交互性。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
由于本申请的示例实施例的针对户型图中元素的处理装置的各个功能模块与上述针对户型图中元素的处理方法的示例实施例的步骤对应,因此对于本申请装置实施例中未披露的细节,请参照本申请上述的针对户型图中元素的处理方法的实施例。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种针对户型图中元素的处理方法,其特征在于,包括:
基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;
根据所述卷积神经网络确定所述各土建元素对应的位置偏移概率,并根据所述各土建元素对应的位置偏移概率调整所述户型图中各土建元素的位置;
基于所述卷积神经网络确定所述各土建元素对应的尺寸偏移概率,并根据所述各土建元素对应的尺寸偏移概率调整所述户型图中各土建元素的尺寸;
将经过位置调整和尺寸调整的户型图展示于用户界面中。
2.根据权利要求1所述的方法,其特征在于,所述土建元素至少包括:墙、门、窗。
3.根据权利要求1所述的方法,其特征在于,根据所述卷积神经网络确定所述各土建元素对应的位置偏移概率,包括:
根据所述卷积神经网络确定所述各土建元素对应的四维位置偏移概率;其中,所述四维位置偏移概率用于表征相对应土建元素向四个预设方向移动的概率;
以及,基于所述卷积神经网络确定所述各土建元素对应的尺寸偏移概率,包括:
根据所述卷积神经网络确定所述各土建元素对应的二维尺寸偏移概率;其中,所述二维尺寸偏移概率用于表征相对应土建元素的尺寸放大概率和尺寸缩小概率。
4.根据权利要求1所述的方法,其特征在于,基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸,包括:
基于所述卷积神经网络中的卷积层对所述户型图进行特征提取,得到第一图像特征;
基于所述卷积神经网络中的全连接层对所述第一图像特征进行特征识别,得到第二图像特征;
根据所述第二图像特征确定所述土建元素以及所述各土建元素对应的位置和类别。
5.根据权利要求1所述的方法,其特征在于,基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸之后,所述方法还包括:
基于元素类别对所述各土建元素进行区别化标注,以使得所述户型图中不同类别的土建元素对应于不同的颜色。
6.根据权利要求1所述的方法,其特征在于,将经过位置调整和尺寸调整的户型图展示于用户界面中,包括:
将经过位置调整和尺寸调整的户型图反馈至用户终端,以使得所述用户终端在用户界面显示经过位置调整和尺寸调整后的户型图。
7.根据权利要求1~6任一项所述的方法,其特征在于,所述卷积神经网络包括:至少一个卷积层和至少一个全连接层。
8.一种针对户型图中元素的处理装置,其特征在于,包括:
参数确定单元,用于基于卷积神经网络识别户型图中的土建元素和各土建元素的位置和尺寸;
参数调整单元,用于根据所述卷积神经网络确定所述各土建元素对应的位置偏移概率,并根据所述各土建元素对应的位置偏移概率调整所述户型图中各土建元素的位置;
所述参数调整单元,还用于基于所述卷积神经网络确定所述各土建元素对应的尺寸偏移概率,并根据所述各土建元素对应的尺寸偏移概率调整所述户型图中各土建元素的尺寸;
可视化展示单元,用于将经过位置调整和尺寸调整的户型图展示于用户界面中。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~7中任一项所述的针对户型图中元素的处理方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1~7中任一项所述的针对户型图中元素的处理方法。
CN202110987946.1A 2021-08-26 2021-08-26 针对户型图中元素的处理方法、装置、介质及电子设备 Active CN113674418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110987946.1A CN113674418B (zh) 2021-08-26 2021-08-26 针对户型图中元素的处理方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110987946.1A CN113674418B (zh) 2021-08-26 2021-08-26 针对户型图中元素的处理方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN113674418A true CN113674418A (zh) 2021-11-19
CN113674418B CN113674418B (zh) 2024-04-19

Family

ID=78546588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110987946.1A Active CN113674418B (zh) 2021-08-26 2021-08-26 针对户型图中元素的处理方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN113674418B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528904A (zh) * 2016-07-09 2017-03-22 陈志静 住宅户型图建筑结构智能识别及功能区自动规划设计方法
US20190130233A1 (en) * 2017-10-30 2019-05-02 Rakuten, Inc. Method and apparatus for improved segmentation and recognition of images
CN110059690A (zh) * 2019-03-28 2019-07-26 广州智方信息科技有限公司 基于深度卷积神经网络的户型图语义自动分析方法及系统
EP3767524A1 (en) * 2019-07-16 2021-01-20 Samsung Electronics Co., Ltd. Method and apparatus for detecting object
CN113239785A (zh) * 2021-05-11 2021-08-10 百安居信息技术(上海)有限公司 一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备
CN113240768A (zh) * 2019-12-18 2021-08-10 北京城市网邻信息技术有限公司 户型图处理方法、系统、装置和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528904A (zh) * 2016-07-09 2017-03-22 陈志静 住宅户型图建筑结构智能识别及功能区自动规划设计方法
US20190130233A1 (en) * 2017-10-30 2019-05-02 Rakuten, Inc. Method and apparatus for improved segmentation and recognition of images
CN110059690A (zh) * 2019-03-28 2019-07-26 广州智方信息科技有限公司 基于深度卷积神经网络的户型图语义自动分析方法及系统
EP3767524A1 (en) * 2019-07-16 2021-01-20 Samsung Electronics Co., Ltd. Method and apparatus for detecting object
CN113240768A (zh) * 2019-12-18 2021-08-10 北京城市网邻信息技术有限公司 户型图处理方法、系统、装置和计算机可读存储介质
CN113239785A (zh) * 2021-05-11 2021-08-10 百安居信息技术(上海)有限公司 一种基于卷积神经网络的户型自动识别的方法、系统、存储介质及电子设备

Also Published As

Publication number Publication date
CN113674418B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN111104962B (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
CN110189336B (zh) 图像生成方法、系统、服务器及存储介质
CN110070551B (zh) 视频图像的渲染方法、装置和电子设备
CN109918513A (zh) 图像处理方法、装置、服务器及存储介质
CN111210497B (zh) 模型渲染方法、装置、计算机可读介质及电子设备
CN110930220A (zh) 一种显示方法、装置、终端设备及介质
CN112241565A (zh) 建模方法及相关装置
US20230087489A1 (en) Image processing method and apparatus, device, and storage medium
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114529574A (zh) 基于图像分割的图像抠图方法、装置、计算机设备及介质
CN113870439A (zh) 用于处理图像的方法、装置、设备以及存储介质
CN116612204A (zh) 图像生成方法、训练方法、装置、电子设备以及存储介质
CN114693611A (zh) 渲染质量评估方法、装置、计算机设备及介质
CN111815748B (zh) 一种动画处理方法、装置、存储介质及电子设备
CN114387642A (zh) 图像分割方法、装置、设备和存储介质
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
CN116863078A (zh) 三维人体模型重建方法、装置、电子设备和可读介质
CN112528707A (zh) 图像处理方法、装置、设备及存储介质
CN113808192B (zh) 一种户型图生成方法、装置、设备及存储介质
CN113674418B (zh) 针对户型图中元素的处理方法、装置、介质及电子设备
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN113656877B (zh) 多层户型的模型生成方法、装置、介质及电子设备
CN115656189A (zh) 基于光度立体与深度学习算法的缺陷检测方法及装置
CN114973333A (zh) 人物交互检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant