CN117253134A - 基于机器视觉和几何算法的室内装修效果评估方法及装置 - Google Patents

基于机器视觉和几何算法的室内装修效果评估方法及装置 Download PDF

Info

Publication number
CN117253134A
CN117253134A CN202311136236.3A CN202311136236A CN117253134A CN 117253134 A CN117253134 A CN 117253134A CN 202311136236 A CN202311136236 A CN 202311136236A CN 117253134 A CN117253134 A CN 117253134A
Authority
CN
China
Prior art keywords
furniture
score
house
characteristic information
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311136236.3A
Other languages
English (en)
Inventor
邹亚峰
周海
夏江东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B&t Home Network Technology Shanghai Co ltd
Original Assignee
B&t Home Network Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B&t Home Network Technology Shanghai Co ltd filed Critical B&t Home Network Technology Shanghai Co ltd
Priority to CN202311136236.3A priority Critical patent/CN117253134A/zh
Publication of CN117253134A publication Critical patent/CN117253134A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供的基于机器视觉和几何算法的室内装修效果评估方法及装置,其中方法包括:获取目标房屋的房屋特征信息和家具特征信息,基于家具面积和房屋面积获得空间利用率得分,将各空间内的家具特征信息和标准家具库输入至家具丰富度评分模型,家具丰富度评分模型包括核心家具得分、装饰家具得分、错误布置家具得分中的一项或多项,加权求和各类型家具得分项获得家具丰富度得分,将所述家具特征信息和房屋特征信息输入至家具布置合理度评分模型,家具布置合理度评分模型包括功能区合理性得分、空间通透性得分、家具选择合理性得分中的一项或多项,加权求和各项得分获得家具布置合理度得分,基于上述的得分项,确认目标房屋的装修效果得分。

Description

基于机器视觉和几何算法的室内装修效果评估方法及装置
技术领域
本发明涉及一种装修效果评估系统及装置,尤其涉及一种基于机器视觉和几何算法的室内装修效果评估方法及装置。
背景技术
本发明所要解决的技术问题是室内装修效果的评估方案,可用于对生成的装修效果图进行评估。
现阶段家装市场中,每天有大量的设计师、智能算法为客户进行室内家装设计,设计水平参差不齐,尤其智能算法虽出图数量较多、速度较快,但设计方案往往伴随随机性。因此如何从大量的设计方案中筛选质量较高的设计方案图需要花费较多的时间进行各维度的评价。虽然市场上有较多使用智能算法来设计方案图如CN109740243B,但是并没有使用智能算法对装修效果进行评估的解决方案。从而导致考虑维度比较单一。
另外一方面,参考CN109740243B,其公开了一种通过对M种家具依次训练M个算法模型,每个模型对单一家具进行训练,对每个家具训练一个评价模型,且训练过程需依次进行,每个家具布置完以后再以上个模型的基础训练下一个家具的评级模型,达到对每个家具布局位置评分的目的,最终获得最优解。该方案优点是整个过程全自动不需要人工干预,但是缺点也很明显:
缺点1:模型训练复杂,需要对M个家具训练M个模型,如果有N个不同类型的空间,则需要(N1*M1+N2*M2+……+Nn*Mn)个模型;缺点2:需要数据较多、训练时间较长、对应的GPU训练的成本较高;缺点3:算法可拓展性、可维护性较差,当在某中间环节删除或新增某个家具,那后面的算法模型将不可复用或效果急剧下降,需要重新创建数据集、重新训练后面所有的算法模型,才可以保证评价质量。
发明内容
为了克服以往方法的上述缺点中的一个或多个,本发明提供了一种基于机器视觉和几何算法的室内装修效果评估方法,即使用机器视觉和几何算法获得房屋特征信息和家具信息,并通过计算空间利用率得分、家具丰富度评分得分、家具布置合理度评分最终获得装修效果得分。相对于已知装修效果评估模型,降低了模型训练的复杂度,具有较强的可拓展性,提高了装修效果评估模型的准确性和可解释性。
本发明提供一种基于机器视觉和几何算法的室内装修效果评估方法,包括:
获取目标房屋的房屋特征信息和家具特征信息;
基于家具面积和房屋面积获得空间利用率得分;
将各空间内的家具特征信息和标准家具库输入至家具丰富度评分模型,家具丰富度评分模型包括核心家具得分、装饰家具得分、错误布置家具得分中的一项或多项,加权求和各类型家具得分项获得家具丰富度得分;
将所述家具特征信息和房屋特征信息输入至家具布置合理度评分模型,家具布置合理度评分模型包括功能区合理性得分、空间通透性得分、家具选择合理性得分中的一项或多项,加权求和各项得分获得家具布置合理度得分;
基于上述的得分项,确认目标房屋的装修效果得分。
根据本发明提供的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述识别获取房屋特征信息,具体包括:
基于实例分割模型获取房间元素信息,提取墙体拐点组成平行墙线,连接平行墙线公共点形成闭环连线,基于闭环连线构建墙体空间多边形;
提取门窗拐点组成平行构建门窗线,连接门窗线形成门窗多边形,将门窗线与平行墙线取交集,获得门窗几何模型;
基于光学字符识别算法获取房间标识信息,所述房间标识信息包括功能区标识、比例尺标识和空间面积标识。
根据本发明提供的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,获取家具特征性信息,具体包括:
基于目标检测算法获取家具特征边界框;
根据非极大值抑制移除家具特征边界框中的重叠边界;
将家具特征信息和房间特征信息与房间标识信息进行归属绑定。
根据本发明提供的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于所述获取目标房屋的房屋特征信息和家具特征信息,还包括:
基于通用几何算法库对房屋特征信息和家具特征信息建立几何模型;
获得目标房屋特征信息和家具特征信息的映射关系模型。
根据本发明提供的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述家具丰富度评分模型,具体包括:
其中α表示各核心家具得分权重系数,β表示各缺失核心家具的扣分权重系数,γ表示各装饰性可有可无家具得分权重系数,θ表示错误布置家具的扣分权重系数,F表示配对上的各核心家具,存在为1,否则为0;G表示缺失的核心家具,缺失为-1,存在为0;H表示装饰性家具,存在为1,否则为0;J为布置错误的家具,布置了为1,否则为0。
根据本发明提供的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述功能区合理分析,具体包括:
根据当前家具的使用距离,获得家具的使用距离合理性;
根据第一家具和第二家具的相对摆放位置,获得家具的摆放位置合理性。
根据本发明提供的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述所述空间通透分析,具体包括:
基于房屋轮廓和家具轮廓获取活动面积,所述活动面积包括可活动部分的展开面积和不可活动部分的使用面积;
通过活动面积定义活动面积包围盒,若活动面积包围盒之间有交集则布置不合理,若活动面积包围盒之间无交集则布置合理。
根据本发明提供的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述家具选择合理分析,具体包括:
基于当前家具面积和当前房间面积计算当前家具空间占用率,若占用率处于预设范围,则家具选择合理,若占用率不处于预设范围,则家具选择不合理。
本发明还提供一种基于机器视觉和几何算法的室内装修效果评估装置,包括:
获取单元,获取目标房屋的房屋特征信息和家具特征信息;
空间利用率评分计算单元,用于基于家具面积和房屋面积获得空间利用率得分;
家具丰富度评分单元,用于将各空间内的家具特征信息和标准家具库输入至家具丰富度评分模型,家具丰富度评分模型包括核心家具得分、装饰家具得分、错误布置家具得分中的一项或多项,加权求和各类型家具得分项获得家具丰富度得分;
家具布置合理度评分单元,用于将所述家具特征信息和房屋特征信息输入至家具布置合理度评分模型,家具布置合理度评分模型包括功能区合理性得分、空间通透性得分、家具选择合理性得分中的一项或多项,加权求和各项得分获得家具布置合理度得分;
确认装修效果单元,用于基于上述的得分项,确认目标房屋的装修效果得分。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于机器视觉和几何算法的室内装修效果评估方法。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的装修效果评估方法的流程示意图;
图2是本发明提供的获取目标房屋的房屋特征信息的流程示意图;
图3是本发明提供的获取目标房屋的家具特征信息的流程示意图;
图4是本发明提供的获取目标房屋的几何模型的流程示意图;
图5是本发明提供的功能区合理分析的方法的流程示意图;
图6是本发明提供的空间通透性分析方法的流程示意图;
图7是本发明提供的家具选择合理性分析的流程示意图;
图8是本发明提供的基于机器视觉和几何算法的室内装修效果评估装置结构示意图;
图9是本发明提供的基于机器视觉和几何算法的室内装修效果评估方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。术语“第一”、“第二”仅用于命名区分,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。
图1为本发明实施例中提供的一种基于机器视觉和几何算法的室内装修效果评估方法的流程示意图,如图1所示,该方法包括:
步骤110,获取目标房屋的房屋特征信息和家具特征信息。
具体地,所述目标房屋可以是指待评价的装修设计房屋,待评价的房屋可以是由设计师根据用户的装修需求和户型设计产出的,也可以是机器算法根据装修预算、户型面积、用户喜好风格自动设计产生的。
所述房屋特征信息至少需要含有以下信息:各个房间的轮廓坐标,房间门窗坐标,各个房间的用途(厨房、客厅、卧室等)等。所述家具特征信息至少需要含有以下信息:家具的尺寸面积,家具的种类,旋转角度,缩放比例,位置坐标等。通过抽取这些信息并建立几何模型可分别生成房间与其墙轮廓、门窗、家具的映射关系模型,用于房屋装修效果的评估打分。
步骤120,基于家具面积和房屋面积获得空间利用率得分。
具体地,在获取到目标房屋的房屋特征信息和家具特征信息之后,提取房屋特征的房屋面积和家具特征的家具面积计算获得目标房屋的空间利用率。其中空间利用率的计算公式为:
Score_usage=α(Area_fur1+Area_fur2+……+Area_furn)/Area_room
其中Area_fur表示当前房间内的家具面积,Area_room表示当前房间的总面积,α表示权重系数。本发明实施例提供的方法,得到了当前房屋内的空间利用率,房屋的空间利用率可以很好反应装修效果对于空间资源的使用情况,而自动生成的装修方案往往无法有效利用好空间资源。
在一个实施方式中,当前房屋内的家具面积可以采用YOLOv8构建目标检测模型,将家具作为目标检测的目标,框选出一组边界框,在一种可能的实施例中,可以采用非极大值抑制(NMS)来移除重叠的边界框,从而过滤掉低置信度的检测,边界框为包含左上角和右下角的坐标(x1,y1,x2,y2),通过点坐标即可计算家具面积。
另一种可能的实施例中,当前房屋内的家具面积可以用采用深度学习模型,将房间中的家具信息提取出来,作为作为深度学习模型输入值,采用训练样本对深度学习模型进行训练,获得家具面积。
另一种可能的实施例中,当前房屋内的家具面积可以采用Actor-Critic构建强化学习模型,将家具信息作为强化学习算法中的状态空间State Space,将离散化后的空间坐标、旋转角度、缩放比例作为强化学习中的动作空间Action Space,将环境反馈模型M的输出作为强化学习中的Q值(动作action的值),获得家具面积。
步骤130,将各空间内的家具特征信息和标准家具库输入至家具丰富度评分模型,家具丰富度评分模型包括核心家具得分、装饰家具得分、错误布置家具得分,加权求和各类型家具得分项获得家具丰富度得分。
具体地,所述标准家具库是指当前房屋空间内所有应当包含的家具,其中家具包括核心家具和装饰家具,核心家具是指当前房屋空间内必须包含的家具,装饰家具是指当前房屋内可以包含的家具,例如标准客厅核心家具库中,包含沙发、电视(投影仪)、茶几、玄关柜等,标准客厅装饰家具库中,包含绿植、摆件等。有例如标准卧室核心家具库中,包含床、衣柜、床头柜、空调等,标准客厅装饰家具库中,包含绿植,插画等。
在一个实施方式中,家具丰富度的计算公式为:
其中α表示各核心家具得分权重系数,β表示各缺失核心家具的扣分权重系数,γ表示各装饰性可有可无家具得分权重系数,θ表示错误布置家具的扣分权重系数,F表示配对上的各核心家具,存在为1,否则为0;G表示缺失的核心家具,缺失为-1,存在为0;H表示装饰性家具,存在为1,否则为0;J为布置错误的家具,布置了为1,否则为0。
在一个实施方式中,在家具丰富度的计算公式还包含布置错误家具,布置错误家具是指在当前空间标准家具库内所不包含的家具信息。例如标准卫生间家具库中并不包含沙发,若卫生间内包含沙发则为布置错误家具。
在一个实施方式中,可以为不同家具设置权重系数,其中核心家具库的权重系数,大于装饰家具库的权重系数。
在本实施例中,可以为一种房屋空间类型设置一套家具丰富度评分模型,当模型内家具发生变动,例如删除或新增某个家具,不会影响后面的算法模型。
步骤140,将所述家具特征信息和房屋特征信息输入至家具布置合理度评分模型,家具布置合理度评分模型包括功能区合理性得分、空间通透性得分、家具选择合理性得分中的一项或多项,加权求和各项得分获得家具布置合理度得分。
具体地,所述家具布置合理度评分模型是指根据设计经验对家具布置的合理性设置的评分模型,家具布置合理度评分模型包括功能区合理性模型、空间通透性模型、家具选择合理性模型。此外,三个得分模型之间相互独立,得分相互不影响,一方面可以提高模型的可解释性,另一方面可以避免重复扣分。
通过上述实施例,其中家具布置合理度评分模型是根据设计师经验总结出来的,相对于设计师的人工评价更具有客观性,而且可以大大提高装修设计方案的评价速度。相对于机器评价算法具有更强的扩展性和持续优化调整的能力,相对于以往算法是对于单个空间训练多个模型,存在强耦合性,如果设计过程中增加新家具或减少新家具,则后面的模型需要重新训练,而本实施例对于当前空间进需训练一套模型,训练成本大幅降低,当家具信息发生了变化不影响剩下模型的训练。
在一个实施方式中,评价函数可以人工干预,为不同客户调整不同的评价权重和评价策略,相对于机器算法,更能满足用户的需求。
步骤150,基于上述的得分项,确认目标房屋的装修效果得分。
具体地,基于空间利用率得分项、家具丰富度得分项和家具布置合理度得分项,获得目标房屋的装修效果最终得分。所述装修效果评分函数Score=Score_usage+Score_richness+Score_rationality。根据Score值进行排序,最终可以获得分数较高的布局装修效果图。
在一个实施方式中,可以为不同得分项设置得分权重系数,不同的权重系数反应了不同得分项的重要程度。得分系数可以根据客户的需求设置。
目前对于装修效果的评价需要有一个精准的户型描述,而大量已有的设计方案中的房屋特征信息和家具特征信息无法直接应用到当前模型之中,无法进行统一处理。
基于上述实施例,图2是本发明提供的获取目标房屋的房屋特征信息的流程示意图,如图2所示,具体包括:
步骤210,基于实例分割模型获取房间元素信息,提取墙体拐点组成平行墙线,连接平行墙线公共点形成闭环连线,基于闭环连线构建墙体空间多边形。
具体地,利用预先训练好的YOLOv8-segment实例分割获取当前房间的元素信息,墙体门窗结构较简单,种类较少,选择YOLOv8-s作为模型初始权重进行训练,当模型收敛、且各类别准确率召回率均达到90%以上则停止训练。在一种可行的实施例中,将采集的数据按照7:2:1比例分为训练集、验证集、测试集。用训练好的模型对测试集数据进行测试,对准确率召回率低的类别进行数据集补充,超参数调整、模型权重调整等策略,回到训练集再次进行训练,直到准确率召回率达到预期。
房间元素信息是指实例分割模型所提取的表示房屋特征的轮廓点,不同于普通的目标检测算法,YOLOv8-segment实例分割模型只能提取墙体框架的元素点信息,而无法提取墙体框架的轮廓信息。通常分割模型所提取墙体轮廓有M个点,取出四个拐点:(Xmin,Ymin)、(Xmin,Ymax)、(Xmax,Ymax),(Xmin,Ymin),组成两对平行墙线Line1,Line2(较长的边为墙线,短的平行边为墙体厚度),和一个封闭的多边形Polygon=([X1,Y1],[X2,Y2],[X3,Y3],[X4,Y4],[X1,Y1]),最终获得N个墙体的多边形和2*N个墙线。对2N个墙线具有公共点的线进行连接,最后形成K组闭环的连线,对闭环连线构建空间多边形Polygon=([X1,Y1],[X2,Y2],***,[Xn,Yn],[X1,Y1]),形成K个空间的简化轮廓。
步骤220,提取门窗拐点组成平行构建门窗线,连接门窗线形成门窗多边形,将门窗线与平行墙线取交集,获得门窗几何模型;
具体地,基于实例分割模型获取房间元素信息,通常分割模型所提取门窗轮廓有M个点,同样取出取出四个拐点构建门窗多边形,根据门窗多边形与墙体多边形再取交集部分,即可得到墙体上门窗的几何模型。
步骤230,基于光学字符识别算法获取房间标识信息,所述房间标识信息包括功能区标识、比例尺标识和空间面积标识。
具体地,户型图上一般都有标识信息,在一种实施例中,可以基于PaddleOCR引擎进行数字字符识别,得到数字字符区域及识别结果。
标识信息例如:客、餐、厅、卧、室、厨、房、卫、生、间、阳、台等其他房间名汉字;数字:0,1,2,3,4,5,6,7,8,9;单位:c,m,d;字符:”.”,“,”,“:”等标注信息。
在一种可能的实施例中,用训练好的模型对测试集进行测试,对准确率召回率低的类别进行数据集补充、调参等策略,回到模型训练,直到准确率90%以上。
在一种可能的实施例中,不同于获取房屋特征信息,房屋内家具特征信息无法通过实例分割模型获取,本发明提供了一种最新的目标检算法获取家具特征,同时解决了该目标检测算法对重叠的边界框定问题。
基于上述实施例,图3是本发明提供的获取目标房屋的家具特征信息的流程示意图,如图3所示,所述获取目标房屋的家具特征信息的步骤包括:
步骤310,基于目标检测算法获取家具特征边界框。
具体地,家具特征包括(家具的种类、个数、尺寸、旋转角度、缩放比例、位置坐标等)。家具特征边界框是指目标检测算法框定的家具位置和大小,所述特征边界框一般包括,左上角坐标(x1,y1):表示矩形框的左上角顶点在图像或空间中的位置。右下角坐标(x2,y2):表示矩形框的右下角顶点在图像或空间中的位置。宽度(width):等于x2-x1,表示矩形框的宽度。高度(height):等于y2-y1,表示矩形框的高度。
在一个实施方式中,可以采用YOLOv8目标检测算法获取家具特征边界框,若当前家具种类较多时,权重模型可以选择YOLOv8-x获取家具特征边界框。在此不做限定。
步骤320,根据非极大值抑制移除家具特征边界框中的重叠边界。
具体地,非极大值抑制是一种用于去除重叠边界框的技术,确保每个物体只被检测到一次。
在一个实施方式中,可以将按照检测结果的置信度得分降序排序。选择得分最高的检测结果作为基准,将其保留。遍历剩余的检测结果,对于与基准框的IoU(交并比)大于某个阈值的框(例如为0.5),将其丢弃。继续选择下一个得分最高的未处理检测结果。
在一个实施方式中,基于非极大值抑制移除核心家具和装饰家具边界框中的重叠边界,具体地,若核心家具特征与装饰家具边界框重叠,例如,在核心家具茶几上摆放装饰家具花瓶,导致检测的家具边界框出现重叠,选择得分最高的按照检测结果,丢弃基准框的IoU(交并比)大于0.5的检测结果。
步骤330,将家具特征信息和房间特征信息与房间标识信息进行归属绑定。
具体地,对空间轮廓内识别的房间名信息、面积信息、比例尺与空间进行归属绑定。将房间标识的比例尺按照比例换算,得到各墙体、门窗、家具的真实尺寸信息。若户型中没有比例尺信息,则用轮廓面积与识别出的实际面积计算比例尺信息,从而获取真实尺寸。通过上述实施例能够获得真实尺寸的房屋特征和家具特征信息。
基于上述实施例,可以获得当前房屋的房屋特征和家具特征,但是还无法直接用于对装修效果进行评估,本实施例提供了一种方法,采用通用几何算法库,如OCC、CGAL、shapely等,对当前房屋特征建立模型。
基于上述实例,图4是本发明提供的获取目标房屋的几何模型的流程示意图,如图4所示,具体包括:
步骤410,基于通用几何算法库对房屋特征信息和家具特征信息建立几何模型。
具体地,所述通用几何算法库是指用于处理和操作几何数据的软件工具,一些常见的通用几何算法库如OCC、CGAL、shapely等。基于通用几何算法库,各元素点的位置信息建立几何模型。
步骤420,获得目标房屋特征信息和家具特征信息的映射关系模型。
具体地,所述映射关系模型用于描述房间内各个元素之间的关系,包括房间的几何结构、墙壁、门窗和家具之间的相对位置、相互作用等信息。所述映射关系采用json文件输出,可以作为子模块嵌入到装修效果评估系统中,辅助家装设计,提高工作效率。
基于上述实施例,图5是本发明提供的功能区合理分析的方法的流程示意图,如图5所示,具体包括:
步骤510,根据当前家具的使用距离,获得家具的使用距离合理性;
具体地,所述家具的使用距离是指家具距离使用过程中需要行走的距离,例如,餐桌需放置在厨房旁,则取餐桌Polygon与厨房Polygon,计算两个多边形距离是否小于阈值;同理餐边柜计算与餐桌的距离,玄关柜计算与入户门距离,茶几几何模型与沙发几何模型位置计算等来判断是否合理。
步骤520,根据第一家具和第二家具的相对摆放位置,获得家具的摆放位置合理性;
具体地,所述家具的相对摆放位置是指两件相关家具的摆放位置关系,例如,根据经验沙发需要正对电视以便观看,可用沙发Polygon与电视Polygon与墙线做交集,得到沙发电视的背靠线,计算两背靠线是否平行来判断沙发电视布置是否合理。
在一个实施方式中,可以对各空间根据设计经验、用户需求分别建立功能区合理分析模型,Score1=k*α,布置合理k=1,不合理k=-1,α为权重分数。
在一种可能的实施例中,市面上的机器学习算法无法计算家装空间的通透性,导致虽然家具布置合理,但是家具之间的空间距离过窄,妨碍了正常的家具使用。例如,家具的几何模型遮挡门窗柜体的打开,家具之间没有留有足够的过道空隙。另一方面,对于家具和房屋的碰撞检测仅能检测是否重叠无法检测活动空间。基于此,本实施例提供了一种空间通透性的分析方法。
基于上述实施例,图6是本发明提供的空间通透性分析方法的流程示意图,如图6所示,具体包括:
步骤610,基于房屋轮廓和家具轮廓获取活动面积,所述活动面积包括可活动部分的展开面积和不可活动部分的使用面积。
具体地,所述房屋轮廓和家具轮廓通过步骤110获得,所述活动面积是指当前房屋中可活动部分的展开面积和当前家具的使用面积。所述展开面积和家具使用面积的计算可根据房屋特征和家具特征预先设置。所述可活动部分的展开面积计算具体包括,通过步骤110识别出当前房屋的门窗位置信息,根据门窗宽度作为展开面积的长度,A=(1/2)*r^2*θ,其中,A是弧形的面积,r是门窗宽度,θ是弧度。
所述当前家具的使用面积计算具体包括,通过步骤110识别出家具的轮廓信息,基于识别出的家具类型相应增加家具的长宽作为当前家具的活动面积的长宽。
步骤620,通过活动面积定义活动面积包围盒,若活动面积包围盒之间有交集则布置不合理,若活动面积包围盒之间无交集则布置合理。
具体地,所述包围盒是求解空间碰撞最优的方法,包围盒算法可以是AABB包围盒(Axis-aligned bounding box),也可以是包围球(Sphere),也可以是线段与线段、线段与多边形碰撞检测,这里不做具体限定。通过活动面积定义活动面积包围盒,然后判断两个家具之间的AABB是否有交集。如果有交集,那么就认为两个物体发生了碰撞。所述活动面积包围盒是每个坐标轴的最小值与最大值。对于户型图,Z轴值统一设置为0。若活动面积包围盒之间有交集则K=-1,若活动面积包围盒之间无交集则K=1,空间通透性得分Score2=k*β,其中β为权重分数。
目前在家装设计领域,家具尺寸的选择主要是根据设计师的设计经验选择匹配的家具尺寸,家具尺寸的过大或过小缺少评价标准,例如较大空间布置较小家具;较小空间布置较大沙发、床,导致无法布置其他家具例如衣柜电视等。
基于上述实施例,图7是本发明提供的家具选择合理性分析的流程示意图,如图7所示,具体包括:
步骤710,基于当前家具面积和当前房间面积计算当前家具空间占用率。
具体地,所述当前家具面积和当前房间面积可以通过步骤110计算获得,其中当前家具空间占用率公式为:
Score_usage=α(Area_fur/Area_room)
其中Area_fur表示当前房间内的家具面积,Area_room表示当前房间的面积,α表示权重系数。本发明实施例提供的方法,得到了当前家具占用的房间面积的比例,家具占用当前房间面积的比例可以很好的反应家具选择的合理性。需要说明的是,计算当前家具空间占用率一般为核心家具面积,装饰性家具的面积一般不计算。
步骤720,若占用率处于预设范围,则家具选择合理,若占用率不处于预设范围,则家具选择不合理。
具体地,当家具占用率处于预设阈值,则说明家具选择合适,当前家具选择合理,当家具占用率超过预设阈值,则家具选择过大,当前家具选择不合理,当家具占用率低于预设阈值,则家具选择过小,当前家具选择不合理。其中预设阈值范围是预先设置的。
基于上述任一实施例,本发明提供一种基于机器视觉和几何算法的室内装修效果评估装置,图8是本发明提供的基于机器视觉和几何算法的室内装修效果评估装置结构示意图,如图8所示,该装置包括:
获取单元810,获取目标房屋的房屋特征信息和家具特征信息;
空间利用率评分计算单元820,用于基于家具面积和房屋面积获得空间利用率得分;
家具丰富度评分单元830,用于将各空间内的家具特征信息和标准家具库输入至家具丰富度评分模型,家具丰富度评分模型包括核心家具得分、装饰家具得分、错误布置家具得分中的一项或多项,加权求和各类型家具得分项获得家具丰富度得分;
家具布置合理度评分单元840,用于将所述家具特征信息和房屋特征信息输入至家具布置合理度评分模型,家具布置合理度评分模型包括功能区合理性得分、空间通透性得分、家具选择合理性得分中的一项或多项,加权求和各项得分获得家具布置合理度得分;
确认装修效果单元850,用于基于上述的得分项,确认目标房屋的装修效果得分。
本发明实施例提供的装置,通过分别计算目标房屋的房屋特征信息和家具特征信息,再基于上述特征信息,分别计算空间利用率评分、家具丰富度评分、家具布置合理度评分,最终获得目标房屋的装修效果得分。相对于已知装修效果评估模型,降低了模型训练的复杂度,减少了模型训练的成本,另一方面本装置的可拓展性和可维护性较强。
基于上述任一实施例,获取单元810具体用于:
识别获取房屋特征信息,基于实例分割模型获取房间元素信息,提取墙体拐点组成平行墙线,连接平行墙线公共点形成闭环连线,基于闭环连线构建墙体空间多边形;
提取门窗拐点组成平行构建门窗线,连接门窗线形成门窗多边形,将门窗线与平行墙线取交集,获得门窗几何模型;
基于光学字符识别算法获取房间标识信息,所述房间标识信息包括功能区标识、比例尺标识和空间面积标识。
获取家具特征性信息,基于目标检测算法获取家具特征边界框;
根据非极大值抑制移除家具特征边界框中的重叠边界;
将家具特征信息和房间特征信息与房间标识信息进行归属绑定。
构建映射关系模型,基于通用几何算法库对房屋特征信息和家具特征信息建立几何模型;
获得目标房屋特征信息和家具特征信息的映射关系模型。
基于上述任一实施例,家具丰富度评分单元830具体用于:
计算核心家具、装饰性家具和布置错误家具得分,最终获得家具丰富度得分。
基于上述任一实施例,家具布置合理度评分单元840具体用于:
获取功能区合理性得分,根据当前家具的使用距离,获得家具的使用距离合理性;
根据第一家具和第二家具的相对摆放位置,获得家具的摆放位置合理性。
获取空间通透分析,基于房屋轮廓和家具轮廓获取活动面积,所述活动面积包括可活动部分的展开面积和不可活动部分的使用面积;
通过活动面积定义活动面积包围盒,若活动面积包围盒之间有交集则布置不合理,若活动面积包围盒之间无交集则布置合理。
家具选择合理分析,基于当前家具面积和当前房间面积计算当前家具空间占用率,若占用率处于预设范围,则家具选择合理,若占用率不处于预设范围,则家具选择不合理。
图9示意性示出了适于实现根据本公开实施例的基于机器视觉和几何算法的室内装修效果评估方法的电子设备1000的方框图。
如图9所示,根据本公开实施例的电子设备1000包括处理器1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中,存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备1000还可以包括输入/输出(I/O)接口1005,输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至I/O接口1005的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM1002和/或RAM 1003和/或ROM 1002和RAM1003以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的方法。
在该计算机程序被处理器1001执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1009被下载和安装,和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.基于机器视觉和几何算法的室内装修效果评估方法,其特征在于:
获取目标房屋的房屋特征信息和家具特征信息;
基于家具面积和房屋面积获得空间利用率得分;
将各空间内的家具特征信息和标准家具库输入至家具丰富度评分模型,家具丰富度评分模型包括核心家具得分、装饰家具得分、错误布置家具得分中的一项或多项,加权求和各类型家具得分项获得家具丰富度得分;
将所述家具特征信息和房屋特征信息输入至家具布置合理度评分模型,家具布置合理度评分模型包括功能区合理性得分、空间通透性得分、家具选择合理性得分中的一项或多项,加权求和各项得分获得家具布置合理度得分;
基于上述的得分项,确认目标房屋的装修效果得分。
2.根据权利要求1所述的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述识别获取房屋特征信息,具体包括:
基于实例分割模型获取房间元素信息,提取墙体拐点组成平行墙线,连接平行墙线公共点形成闭环连线,基于闭环连线构建墙体空间多边形;
提取门窗拐点组成平行构建门窗线,连接门窗线形成门窗多边形,将门窗线与平行墙线取交集,获得门窗几何模型;
基于光学字符识别算法获取房间标识信息,所述房间标识信息包括功能区标识、比例尺标识和空间面积标识。
3.根据权利要求2所述的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,获取家具特征性信息,具体包括:
基于目标检测算法获取家具特征边界框;
根据非极大值抑制移除家具特征边界框中的重叠边界;
将家具特征信息和房间特征信息与房间标识信息进行归属绑定。
4.根据权利要求3所述的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于所述获取目标房屋的房屋特征信息和家具特征信息,还包括:
基于通用几何算法库对房屋特征信息和家具特征信息建立几何模型;
获得目标房屋特征信息和家具特征信息的映射关系模型。
5.根据权利要求1所述的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于所述家具丰富度评分模型,具体包括:
其中α表示各核心家具得分权重系数,β表示各缺失核心家具的扣分权重系数,γ表示各装饰性可有可无家具得分权重系数,θ表示错误布置家具的扣分权重系数,F表示配对上的各核心家具,存在为1,否则为0;G表示缺失的核心家具,缺失为-1,存在为0;H表示装饰性家具,存在为1,否则为0;J为布置错误的家具,布置了为1,否则为0。
6.根据权利要求1所述的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述功能区合理分析,具体包括:
根据当前家具的使用距离,获得家具的使用距离合理性;
根据第一家具和第二家具的相对摆放位置,获得家具的摆放位置合理性。
7.根据权利要求1所述的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述空间通透分析,具体包括:
基于房屋轮廓和家具轮廓获取活动面积,所述活动面积包括可活动部分的展开面积和不可活动部分的使用面积;
通过活动面积定义活动面积包围盒,若活动面积包围盒之间有交集则布置不合理,若活动面积包围盒之间无交集则布置合理。
8.根据权利要求1所述的基于机器视觉和几何算法的室内装修效果评估方法,其特征在于,所述家具选择合理分析,具体包括:
基于当前家具面积和当前房间面积计算当前家具空间占用率,若占用率处于预设范围,则家具选择合理,若占用率不处于预设范围,则家具选择不合理。
9.一种基于机器视觉和几何算法的室内装修效果评估装置,其特征在于,包括:
获取单元,获取目标房屋的房屋特征信息和家具特征信息;
空间利用率评分计算单元,用于基于家具面积和房屋面积获得空间利用率得分;
家具丰富度评分单元,用于将各空间内的家具特征信息和标准家具库输入至家具丰富度评分模型,家具丰富度评分模型包括核心家具得分、装饰家具得分、错误布置家具得分中的一项或多项,加权求和各类型家具得分项获得家具丰富度得分;
家具布置合理度评分单元,用于将所述家具特征信息和房屋特征信息输入至家具布置合理度评分模型,家具布置合理度评分模型包括功能区合理性得分、空间通透性得分、家具选择合理性得分中的一项或多项,加权求和各项得分获得家具布置合理度得分;
确认装修效果单元,用于基于上述的得分项,确认目标房屋的装修效果得分。
10.一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现权利要求1~8中任一项所述的方法。
CN202311136236.3A 2023-09-05 2023-09-05 基于机器视觉和几何算法的室内装修效果评估方法及装置 Pending CN117253134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311136236.3A CN117253134A (zh) 2023-09-05 2023-09-05 基于机器视觉和几何算法的室内装修效果评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311136236.3A CN117253134A (zh) 2023-09-05 2023-09-05 基于机器视觉和几何算法的室内装修效果评估方法及装置

Publications (1)

Publication Number Publication Date
CN117253134A true CN117253134A (zh) 2023-12-19

Family

ID=89132239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311136236.3A Pending CN117253134A (zh) 2023-09-05 2023-09-05 基于机器视觉和几何算法的室内装修效果评估方法及装置

Country Status (1)

Country Link
CN (1) CN117253134A (zh)

Similar Documents

Publication Publication Date Title
AU2020315029B2 (en) Artificial intelligence systems and methods for interior design
CN106528904B (zh) 住宅户型图建筑结构智能识别及功能区自动规划设计方法
CN107368911A (zh) 一种基于摆放规则的家具布局方法
CN108717726A (zh) 三维户型模型生成方法及装置
US8909501B2 (en) Method and apparatus for optimization of floor covering and system for user configuration and real time pricing information
CN114003992A (zh) 一种智能的家具布局方法及装置
CN114373054A (zh) 一种自动生成三维房屋布局的方法、系统、装置及介质
WO2021096393A1 (ru) Модуль автоматической генерации расстановки элементов интерьера
WO2022192417A1 (en) Methods and apparatus for artificial intelligence conversion of change orders into an actionable interface
DE102022213350A1 (de) Lernbasiertes system und verfahren zur schätzung von semantischen karten aus 2d-lidar-scans
Na et al. Performance evaluation of building designs with BIM-based spatial patterns
CN113538452A (zh) 家具布局及三维可视化方法、装置和设备
WO2022059670A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN115203774A (zh) 自动为虚拟3d房间配备家具的方法
JP7287509B2 (ja) 現在空間及び媒体内の品目情報を表示する方法及び装置
US11636235B2 (en) Systems and methods of predicting architectural materials within a space
CN117253134A (zh) 基于机器视觉和几何算法的室内装修效果评估方法及装置
CN111191306A (zh) 一种房间设计效果展示方法及系统
JP7230288B1 (ja) 学習モデル
JP7160295B1 (ja) 学習モデルの生成方法、情報処理装置、情報処理方法、コンピュータプログラム
US20230244827A1 (en) Automated Architectural Design
CN114842170A (zh) 确定三维空间浏览路径关键点位的方法、装置及电子设备
JP7077512B2 (ja) 設計支援装置及び設計支援モデル学習装置
CN111125815B (zh) 一种基于规则的室内窗帘布局计算方法
DE202020005524U1 (de) System zum Bereitstellen eines elektronischen dreidimensionalen Gebäude- oder Wohnungsplans, sowie System zur Visualisierung von Gebäude- und Wohnungsplänen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination