CN116385420A - 区域尺寸的确定方法、系统、设备及存储介质 - Google Patents
区域尺寸的确定方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN116385420A CN116385420A CN202310406636.5A CN202310406636A CN116385420A CN 116385420 A CN116385420 A CN 116385420A CN 202310406636 A CN202310406636 A CN 202310406636A CN 116385420 A CN116385420 A CN 116385420A
- Authority
- CN
- China
- Prior art keywords
- determining
- size
- marker
- imaging
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000003550 marker Substances 0.000 claims abstract description 113
- 238000003384 imaging method Methods 0.000 claims abstract description 107
- 238000002372 labelling Methods 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 abstract description 17
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004513 sizing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 239000013558 reference substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了区域尺寸的确定方法、系统、设备及存储介质,该方法包括:根据采集的图像确定待识别区域内标注物的成像尺寸;确定所述图像中,所述标注物的轮廓与视平线之间的位置关系;基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸,解决光伏电站区域尺寸测量效率低的问题,提高光伏电站区域尺寸的测量效率。
Description
技术领域
本发明涉及物体尺寸测量技术领域,尤其涉及一种区域尺寸的确定方法、系统、设备及存储介质。
背景技术
光伏电站是指一种利用太阳光能、采用特殊材料诸如晶硅板、逆变器等电子元件组成的发电体系,与电网相连并向电网输送电力的光伏发电系统。目前,光伏电站由于其空气污染低的特点得到人们的青睐,而光伏电站的建设离不开电站建设前期的测量工作。相关技术中,在电站区域尺寸的测量环节,主要依靠工作人员到现场测量电站区域的尺寸,勘测效率低。
发明内容
本申请实施例通过提供一种区域尺寸的确定方法、系统、设备及存储介质,旨在提高电站区域尺寸的测量效率。
本申请实施例提供了一种区域尺寸的确定方法,所述区域尺寸的确定方法,包括:
根据采集的图像确定待识别区域内标注物的成像尺寸;
确定所述图像中,所述标注物的轮廓与视平线之间的位置关系;
基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
可选地,所述确定所述图像中,所述标注物的轮廓与视平线之间的位置关系的步骤包括:
确定所述图像中,所述标注物的轮廓与所述视平线的平行线之间的夹角;
根据所述夹角,确定所述标注物的轮廓与视平线之间的位置关系。
可选地,所述基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸的步骤包括:
根据所述标注物的轮廓与视平线之间的位置关系,确定用于拍摄所述图像的摄像头相对于所述标注物的投影角;
根据所述投影角和所述标注物的成像尺寸,确定所述标注物的实际尺寸。
可选地,所述根据所述标注物的轮廓与视平线之间的位置关系,确定用于拍摄所述图像的摄像头相对于所述标注物的投影角的步骤包括:
根据所述标注物的轮廓与视平线之间的位置关系,确定所述摄像头相对于所述标注物的俯仰角和偏转角;
根据所述俯仰角、所述偏转角和预设角度关系,确定所述投影角,所述预设角度关系为所述俯仰角、所述偏转角和所述投影角的映射关系。
可选地,所述根据所述投影角和所述标注物的成像尺寸,确定所述标注物的实际尺寸的步骤包括:
根据所述投影角和所述标注物的成像尺寸,确定所述标注物的空间坐标信息;
根据所述空间坐标信息和预设比例系数,确定所述标注物的实际尺寸。
可选地,所述区域尺寸的确定方法还包括:
根据所述图像确定所述待识别区域内参考物的成像尺寸;
获取所述参考物的实际尺寸;
根据所述参考物的成像尺寸和所述参考物的实际尺寸,确定所述预设比例系数。
可选地,所述根据所述空间坐标信息和预设比例系数,确定所述标注物的实际尺寸的步骤包括:
根据所述空间坐标信息和所述预设比例系数,确定各个空间坐标点之间的欧式距离;
根据所述欧式距离确定所述标注物的实际尺寸。
可选地,所述预设比例系数包括第一预设比例系数、第二预设比例系数和第三预设比例系数,所述空间坐标信息包括横轴坐标、纵轴坐标和竖轴坐标,所述根据所述空间坐标信息和所述预设比例系数,确定各个空间坐标点之间的欧式距离的步骤包括:
获取各个所述空间坐标点对应的横轴坐标、纵轴坐标和竖轴坐标;
获取横轴坐标对应的第一预设比例系数、所述纵轴坐标对应的第二预设比例系数和所述竖轴坐标对应的第三预设比例系数;
根据各个所述空间坐标点对应的所述横轴坐标、所述纵轴坐标、所述竖轴坐标、所述第一预设比例系数、所述第二预设比例系数和所述第三预设比例系数,确定各个所述空间坐标点之间的欧式距离。
可选地,所述基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸的步骤包括:
基于透视算法、所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
可选地,所述根据采集的图像确定待识别区域内标注物的成像尺寸的步骤包括:
对所述采集的图像进行目标检测处理和边缘检测处理,得到所述标注物的轮廓信息;
根据所述轮廓信息确定所述待识别区域内标注物的成像尺寸。
此外,为实现上述目的,本发明还提供了一种区域尺寸的确定系统,所述区域尺寸的确定系统包括:
成像尺寸确定模块,用于根据采集的图像确定待识别区域内标注物的成像尺寸;
位置关系确定模块,用于确定所述图像中,所述标注物的轮廓与视平线之间的位置关系;
实际尺寸确定模块,用于基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
此外,为实现上述目的,本发明还提供了一种区域尺寸的确定设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的区域尺寸的确定程序,所述区域尺寸的确定程序被所述处理器执行时实现上述的区域尺寸的确定方法的步骤。
此外,为实现上述目的,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有区域尺寸的确定程序,所述区域尺寸的确定程序被处理器执行时实现上述的区域尺寸的确定方法的步骤。
本申请实施例中提供的一种区域尺寸的确定方法、系统、设备及存储介质的技术方案,由于可根据采集的图像确定待识别区域内标注物的成像尺寸,进而确定所述图像中,标注物的轮廓与视平线之间的位置关系,基于所述位置关系和成像尺寸确定标注物的实际尺寸。相比于相关技术中人工对待识别区域标注物尺寸的测量,本申请可通过对采集的图像进行尺寸分析,从而得到待识别区域内标注物的实际尺寸信息,提高待识别区域内标注物尺寸的测量效率。
附图说明
图1为本发明区域尺寸的确定方法第一实施例的流程示意图;
图2为本发明区域尺寸的确定方法第二实施例的流程示意图;
图3为本发明凸透镜的高斯成像示意图;
图4为本发明平面上矩形成像的示意图;
图5为本发明欧氏距离测距的示意图;
图6为本发明透视原理的示意图;
图7为本发明区域尺寸的确定系统的功能模块图;
图8为本发明区域尺寸的确定设备的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明,上述附图只是一个实施例图,而不是发明的全部。
具体实施方式
目前,光伏电站的建设离不开电站建设前期的勘测工作,在光伏电站区域尺寸的测量过程中,主要依靠人工到现场测量电站区域的尺寸,勘测效率低。本申请为了解决电站区域尺寸勘测效率低的问题,本申请提出了一种区域尺寸的确定方法。由于可根据采集的图像确定待识别区域内标注物的成像尺寸,进而确定所述图像中,标注物的轮廓与视平线之间的位置关系,基于所述位置关系和成像尺寸确定标注物的实际尺寸。相比于相关技术中人工对待识别区域标注物尺寸的测量,本申请可通过对采集的图像进行尺寸分析,从而得到待识别区域内标注物的实际尺寸信息,提高待识别区域内标注物尺寸的测量效率。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
第一实施例。
如图1所示,在本申请的第一实施例中,本申请的区域尺寸的确定方法,包括以下步骤:
步骤S110,根据采集的图像确定待识别区域内标注物的成像尺寸。
可选地,所述图像可以是无人机采集的,可控制无人机从不同的拍摄角度采集图像。所述待识别区域包括但不限于光伏电站的待安装区域,还可以是其它区域。本申请以所述待识别区域为光伏电站的待安装区域为例。本申请主要在于对采集的图像进行识别,从而得到待识别区域内标注物的实际尺寸。所述待识别区域内可能存在一个甚至多个标注物,所述标注物可以是水塔、电线杆等。
可选地,在获取无人机采集的图像之后,对所述图像进行目标检测处理和边缘检测处理,得到标注物的轮廓信息,进而根据轮廓信息确定待识别区域内标注物的成像尺寸。具体地,利用目标检测技术和边缘提取技术对二维图像轮廓进行几何抽象和表征。其中,目标检测技术,用于对图像或视频中的特定目标的位置等参数信息进行提取,便于图像的区域化处理或特定目标追踪。目标检测技术的核心是:如何对目标的特征进行表达。通常有两种方式,传统手工标注或利用机器学习结合神经网络做智能分类器。通常,方向梯度直方图HOG会与支持向量机分类器SVM结合使用,引用HOG核心的梯度公式如下:
其中,gradf(x,y,z)表示三元函数f的梯度,对于一幅二维图像来说,梯度矩阵中每个元素都表示了对应位置的图像梯度信息,以表达图像的特征参数。
边缘提取技术,用于对图像中亮度变化明显的点进行标识。边缘检测技术通常依赖于一些变量的变化率,比如:深度上的不连续,表面方向的不连续,亮度的不连续等等。在边缘提取后,一般可以得到图像的轮廓信息,用于后续的边界追踪等操作。本申请主要应用边缘提取技术获得图像上待识别区域内标注物的轮廓信息,如户用电站中获取屋顶建筑和障碍物的几何轮廓信息。
在结合了目标检测技术与边缘提取技术后,可以识别图像中一些标注物的几何特征并进行轮廓简化,得到标注物的轮廓信息,从而达到高效而精确的目标位置追踪。
可选地,为了提高成像尺寸的测量精度,可将无人机从不同拍摄角度采集的图像进行拼接,根据拼接图像确定待识别区域内标注物的成像尺寸。可选地,根据拼接图像确定待识别区域内标注物的成像尺寸可以是:对拼接图像进行目标检测处理和边缘检测处理,得到标注物的轮廓信息,根据轮廓信息确定待识别区域内标注物的成像尺寸。
可选地,由于拼接图像的分辨率较高,可将拼接图像分割为多张子图像,根据每张子图像确定待识别区域内标注物的成像尺寸。可选地,根据每张子图像确定待识别区域内标注物的成像尺寸可以是:对每张子图像分别进行同样的目标检测处理和边缘检测处理,得到每张子图像中对应的待识别区域内标注物的成像尺寸,将每张子图像中待识别区域内标注物的成像尺寸进行融合,从而得到最终的待识别区域内标注物的成像尺寸。由于可将拼接图像进行分割后处理,分割后形成的子图像的分辨率降低,不仅降低了处理器的性能需求,而且提高了成像尺寸的测量精度。
可选地,所述图像除了可以是无人机采集的,还可以是终端设备例如手机拍摄的,也可以是历史采集并存储在数据库中的。还可以是其他设备采集后共享得到的。所述图像可以在测量过程中实时获取也可以是定时获取。所述图像可以是一张甚至多张,例如在所述图像为多张时,可以将各张图像分别进行处理和比对后确定待识别区域内标注物的成像尺寸,使得所测量的标注物的成像尺寸更加精确。通过丰富图像获取途径的多样化,为成像尺寸的确定提供便利。
可选地,所述成像尺寸是由多个成像位置点组成的,每个成像位置点存在对应的二维坐标,可根据二维坐标计算每个成像位置点的欧式距离,进而根据该欧式距离确定待识别区域内标注物的成像尺寸。
步骤S120,确定所述图像中,所述标注物的轮廓与视平线之间的位置关系。
可选地,所述视平线即为视线,是指看影像的人的视线或者无人机的摄像头的视线。在无人机的拍摄角度或者拍摄高度发生变化时,对应的视平线位置也会发生变化,标注物的轮廓与视平线之间的位置关系也随之变化。
步骤S130,基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
可选地,在确定位置关系和成像尺寸之后,可基于二维图像到三维空间的映射关系确定标注物的实际尺寸,其中,所述映射关系如第二实施例中的公式(6)所示,在此不再赘述。
可选地,可先根据采集的图像确定待识别区域内标注物的成像尺寸,确定所述图像中,所述标注物的轮廓与视平线之间的位置关系。在确定位置关系之后,根据位置关系确定无人机摄像头相对于标注物的投影角,根据投影角、标注物的成像尺寸以及二维图像到三维空间的映射关系确定标注物的实际尺寸。
本实施例根据上述技术方案,由于可根据采集的图像确定待识别区域内标注物的成像尺寸,进而确定所述图像中,标注物的轮廓与视平线之间的位置关系,基于所述位置关系和成像尺寸确定标注物的实际尺寸。相比于相关技术中人工对待识别区域标注物尺寸的测量,本申请可通过对所述图像进行尺寸分析,从而得到待识别区域内标注物的实际尺寸信息,提高待识别区域内标注物尺寸的测量效率。
第二实施例。
参照图2,基于第一实施例。在本申请的第二实施例中,本申请的区域尺寸的确定方法包括以下步骤:
步骤S110,根据采集的图像确定待识别区域内标注物的成像尺寸;
步骤S121,确定所述图像中,所述标注物的轮廓与所述视平线的平行线之间的夹角;
步骤S122,根据所述夹角,确定所述标注物的轮廓与视平线之间的位置关系;
可选地,确定所述图像中,所述标注物的轮廓与视平线的平行线之间的夹角,根据所述夹角确定标注物的轮廓与视平线之间的位置关系。所述夹角为第二实施例中所述的α1和α2,所述夹角可直接从所述图像中识别得到。
步骤S131,根据所述标注物的轮廓与视平线之间的位置关系,确定用于拍摄所述图像的摄像头相对于所述标注物的投影角;
可选地,本申请基于光学成像原理,建立标注物从二维图像到三维图像的映射关系。进而在确定标注物的轮廓与视平线的位置关系和成像尺寸之后,基于该映射关系,确定标注物的实际尺寸。而确定标注物的实际尺寸的过程运用了高斯成像原理。其中,高斯成像原理介绍如下:
参照图3,图3中左侧的实物投影指的是实物在相机拍摄镜头指向方向上的投影,即实物投影。由图3得到如下相似关系:
而实物投影尺寸与实物尺寸之间存在一个线性的映射关系,其中,实物尺寸即本申请中标注物的实际尺寸。如果设实物的倾斜方向与摄像镜头指向方向的法平面之间的夹角为投影角w,那么得到如下映射关系:
实物尺寸·cos(w)=实物投影尺寸(2)
结合公式(1)和(2),得到实物尺寸与成像尺寸之间的关系:
在得到投影角w和成像尺寸之后,可基于公式(3)得到实物尺寸,即标注物的实际尺寸。成像尺寸可通过二维图像识别得到,由于在实际情况下,任意物体的投影角w不能直接得到,因此,关键在于求解投影角,在得到投影角之后,即可得到标注物的实际尺寸。
由于光伏电站的待识别区域(如户用屋顶),矩形相比圆形,正方形,菱形等形状更加多见,可使用率相对较高;另外,矩形对于网络来说具有非常好的全覆盖延拓性,而相比正方形又更具有一般性。因此,本申请将光伏电站的待识别区域模拟成一个矩形,并利用矩形成像原理求解本申请标注物的实际尺寸。参照图4,图4为本申请平面上矩形成像的示意图。在成像即二维图像中,标注物的轮廓与视平线的位置关系可由标注物的轮廓与视平线的平行线之间的夹角,即图4中的α1和α2确定。其中,标注物的轮廓与视平线的平行线之间的夹角,即α1和α2可在二维图像中识别得到。
参照图4,角度β为实际空间中靠近镜头的左侧边与视平线L的夹角,且靠近镜头的左侧边边长为D1,右边边长为D2,θ为拍摄视线P的俯仰角。在成像中,经过点C(最靠近镜头的矩形顶点)做视平线的平行线,并将点C的左右邻边的另一个顶点分别记为A,E。从A,E向视平线的平行线做垂线,垂足分别为B,D。定义角β在成像后的角度为α1,即AC与BC的夹角,同样地,定义CD与CE之间的夹角为α2。根据空间解析几何可知:
要想得到D1和D2,关键需要先确定投影角ω1和ω2。
可选地,根据所述夹角确定所述摄像头相对于所述标注物的俯仰角和偏转角;根据所述俯仰角、所述偏转角和预设角度关系,确定所述投影角,所述预设角度关系为所述俯仰角、所述偏转角和所述投影角的映射关系。具体地,采用以下方式:
(1)由于tanα1=AB/BC,tanα2=DE/CD,那么在实际应用中,满足α1,α2>0,d>>max(D1,D2),并且|D1-D2|/min(D1,D2)<ε,ε为阈值常数。即保证了物距要远大于矩形尺寸,且矩形的两边长的差距没有过大的情况下,则可得:
因为夹角α1和α2在成像上可直接测量,公式(4)给出了求解俯仰角θ和偏转角β的方法。可根据公式(4)以及夹角α1和α2,确定无人机摄像头相对于标注物的俯仰角θ和偏转角β。
(2)在根据上述公式(4)确定俯仰角θ和偏转角β之后,根据所述俯仰角、所述偏转角和预设角度关系,确定所述投影角,所述预设角度关系为所述俯仰角、所述偏转角和所述投影角的映射关系。其中,所述预设角度关系如以下公式(5)所示:
步骤S132,根据所述投影角和所述标注物的成像尺寸,确定所述标注物的实际尺寸。
可选地,采用以下公式(6),可得二维图像到三维空间的映射关系:
其中,ω1和ω2分别为D1对应边,D2对应边的投影角,AC和CE表示成像尺寸,D1和D2为标注物的实际尺寸。
可选地,根据所述投影角和所述标注物的成像尺寸,确定所述标注物的空间坐标信息;根据所述空间坐标信息和预设比例系数,确定所述标注物的实际尺寸。其中,所述空间坐标信息用于确定标注物的实际尺寸。在一幅二维图像中,如果图中的任何事物对象的实际尺寸无法得到或估测,那么就无法得知二维图像上像素距离映射到三维空间中实际距离的比例尺,也即无法得到待识别区域内标注物的实际尺寸。通常情况下,相机可以通过多视角图像拍摄或者多目视觉镜头获得预设比例系数,但在仅有一张平面图像可以参考时,可利用提前设计的参考标准,或者极大化利用图片原本的信息来找到标准参考物,并给出参考物的实际尺寸。
可选地,可根据图像确定待识别区域内参考物的成像尺寸,获取参考物的实际尺寸,根据参考物的成像尺寸和参考物的实际尺寸确定所述预设比例系数。再基于所确定的预设比例系数、投影角和标注物的成像尺寸确定标注物的实际尺寸。其中,所述参考物的实际尺寸可以直接获取,所述参考物的成像尺寸可根据图像识别得到。可选地,可确定参考物的成像尺寸和参考物的实际尺寸的比值,将该比值确定为预设比例系数,通过该预设比例系数可确定二维图像映射到三维空间的比例关系,使得所计算的实际尺寸更加准确。例如,待识别区域如屋顶上的水塔直径通常标准为0.8m、0.85m、0.98m、1.05m、1.1m、1.23m、1.36m、1.7等尺寸;有了标准参考物后,便可以通过标准参考物的实际尺寸结合透视投影变换,进而得到网络上每个位置点对应网格的实际尺寸,即:比例系数确认。
可选地,可根据空间坐标信息和预设比例系数确定各个空间坐标点之间的欧式距离,根据欧式距离确定标注物的实际尺寸。其中,所述空间坐标信息包括多个空间坐标点,每个空间坐标点包括横轴坐标、纵轴坐标和竖轴坐标。横轴坐标、纵轴坐标和竖轴坐标各自存在对应的预设比例系数。将横轴坐标的预设比例系数定义为第一预设比例系数,将纵轴坐标的预设比例系数定义为第二预设比例系数和将竖轴坐标的预设比例系数定义为第三预设比例系数。根据各个空间坐标点对应的横轴坐标、纵轴坐标、竖轴坐标、第一预设比例系数、所述第二预设比例系数和所述第三预设比例系数,确定各个所述空间坐标点之间的欧式距离。例如,假设存在两个坐标点分别为A11(x1,y1,z1)和B11(x2,y2,z2),那么根据A11(x1,y1,z1)和B11(x2,y2,z2)计算A11和B11之间的欧式距离为:
其中,k1为第一预设比例系数,k2为第二预设比例系数,k3为第三预设比例系数。Δx表示A11的横轴坐标与B11的横轴坐标之间的坐标差值,Δy表示A11的纵轴坐标与B11的纵轴坐标之间的坐标差值,Δz表示A11的竖轴坐标与B11的竖轴坐标之间的坐标差值。k1,k2,k3分别为距离L在三维度上相对于单个网格边长长度的比例倍数,可以从二维图像中构建的网络上标点读取。
同理,可获取标注物的二维坐标信息,根据各个二维坐标点之间的欧式距离确定标注物的成像尺寸。所述二维坐标信息包括多个二维坐标点。例如,参照图5,假设存在二维坐标点A1(x1,y1)和B1(x2,y2)。那么根据二维坐标点A1(x1,y1)和B1(x2,y2)计算A1点与B1点之间的欧式距离为:
其中,k1为第一预设比例系数,k2为第二预设比例系数,Δx表示A1的横轴坐标与B1的横轴坐标之间的坐标差值,Δy表示A1的纵轴坐标与B1的纵轴坐标之间的坐标差值。
本实施例根据上述技术方案,相比于相关技术中通过人工测量标注物的实际尺寸。本申请先基于光学成像原理,建立标注物从二维图像到三维空间的映射关系,再选取标准参考物确定直接图像映射到实际空间的比例系数,利用欧式距离公式对标注物进行尺寸计算,在后续使用过程中,可基于该映射关系以及比例系数快速且准确的确定标注物的实际尺寸,提高待识别区域内标注物的测量效率和准确性。
第三实施例。
基于第一实施例和第二实施例,在本申请的第三实施例中,在建立二维图像到三维空间的映射关系的过程中,基于透视算法、所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。引入透视原理,解决物距和像距作为未知量对计算的影响,提高二维图像到三维映射的准确性。
为了避免公式(6)中物距d和像距v作为未知矢量对计算的影响,引入透视原理,更好的通过公式(6)给出的一个矩形块的变换延扩到整张平面网络。透视原理中揭示了平面上矩形块与视平行直接的依存关系,从图6可以发现,当有一个基准矩形时,分别将矩形的两对平行边延长,如果两对边在成像时都存在非零的投影角,那么在成像图上会分别汇聚到一个点,记该点为视野消失点DLoss,记连接视野消失点的直线为视平线L。这个过程是可逆的,如果已知视野消失点,那么从视野消失点向连接另一个视野消失点的直线做相交直线,我们就可以在如图6中褐色区域一样构造一片延拓的矩形平面。
根据公式(5)中矩形的一般性,我们不妨将基准矩形设为式(5)中的矩形,即基准矩形的左边长为D1,右边长为D2。将左边长依次延拓的序列记为{Ln}={L0,L1,...},右边长依次延拓的序列记为{Rn}={R0,R1,...},如图6所示。这样,我们只需要研究两个序列或级数的递推关系,即可通过基准矩形找到每个矩形网格的对应在图像上的位置,从而完成网络构建。结合图4,图6与公式(3)可得:
公式(7)利用了拍摄高度h和d之间的关系:dsinθ=h
βLn,βRn,θLn,θRn分别表示对应Ln和Rn处的偏转角与俯仰角,并且βL0=βR0,θL0=θR0,由式可得{Ln},{Rn}的递推关系:
本发明实施例提供了区域尺寸的确定方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
如图7所示,本申请提供的一种区域尺寸的确定系统,所述区域尺寸的确定系统包括:成像尺寸确定模块10、位置关系确定模块20和实际尺寸确定模块30。
所述成像尺寸确定模块10,用于根据采集的图像确定待识别区域内标注物的成像尺寸。
可选地,所述成像尺寸确定模块10还用于对所述图像进行目标检测处理和边缘检测处理,得到所述标注物的轮廓信息;根据所述轮廓信息确定所述待识别区域内标注物的成像尺寸。
所述位置关系确定模块20,用于确定所述图像中,所述标注物的轮廓与视平线之间的位置关系。
可选地,所述位置关系确定模块20还用于确定所述图像中,所述标注物的轮廓与所述视平线的平行线之间的夹角;根据所述夹角,确定所述标注物的轮廓与视平线之间的位置关系。
实际尺寸确定模块30,用于基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
可选地,所述实际尺寸确定模块30还用于根据所述标注物的轮廓与视平线之间的位置关系,确定用于拍摄所述图像的摄像头相对于所述标注物的投影角;根据所述投影角和所述标注物的成像尺寸,确定所述标注物的实际尺寸。
可选地,所述实际尺寸确定模块30还用于根据所述标注物的轮廓与视平线之间的位置关系,确定所述摄像头相对于所述标注物的俯仰角和偏转角;根据所述俯仰角、所述偏转角和预设角度关系,确定所述投影角,所述预设角度关系为所述俯仰角、所述偏转角和所述投影角的映射关系。
可选地,所述实际尺寸确定模块30还用于根据所述投影角和所述标注物的成像尺寸,确定所述标注物的空间坐标信息;根据所述空间坐标信息和预设比例系数,确定所述标注物的实际尺寸。
可选地,所述实际尺寸确定模块30还用于根据所述图像确定所述待识别区域内参考物的成像尺寸;获取所述参考物的实际尺寸;根据所述参考物的成像尺寸和所述参考物的实际尺寸,确定所述预设比例系数。
可选地,所述实际尺寸确定模块30还用于根据所述空间坐标信息和所述预设比例系数,确定各个空间坐标点之间的欧式距离;根据所述欧式距离确定所述标注物的实际尺寸。
可选地,所述预设比例系数包括第一预设比例系数、第二预设比例系数和第三预设比例系数,所述空间坐标信息包括横轴坐标、纵轴坐标和竖轴坐标,所述实际尺寸确定模块30还用于获取各个所述空间坐标点对应的横轴坐标、纵轴坐标和竖轴坐标;获取横轴坐标对应的第一预设比例系数、所述纵轴坐标对应的第二预设比例系数和所述竖轴坐标对应的第三预设比例系数;根据各个所述空间坐标点对应的所述横轴坐标、所述纵轴坐标、所述竖轴坐标、所述第一预设比例系数、所述第二预设比例系数和所述第三预设比例系数,确定各个所述空间坐标点之间的欧式距离。
可选地,所述实际尺寸确定模块30还用于基于透视算法、所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
本发明区域尺寸的确定系统具体实施方式与上述区域尺寸的确定方法各实施例基本相同,在此不再赘述。
如图8所示,图8为本发明区域尺寸的确定设备的硬件运行环境的结构示意图。该区域尺寸的确定设备包括:处理器1001,例如CPU,存储器1005,用户接口1003,网络接口1004,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选地,用户接口1003还可以包括标准的有线接口、无线接口。可选地,网络接口1004可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图8中示出的区域尺寸的确定设备结构并不构成对区域尺寸的确定设备限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图8所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及区域尺寸的确定程序。其中,操作系统是管理和控制区域尺寸的确定设备硬件和软件资源的程序,区域尺寸的确定程序以及其它软件或程序的运行。
在图8所示的区域尺寸的确定设备中,用户接口1003主要用于连接终端,与终端进行数据通信;网络接口1004主要用于后台服务器,与后台服务器进行数据通信;处理器1001可以用于调用存储器1005中存储的区域尺寸的确定程序。
在本实施例中,区域尺寸的确定设备包括:存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的区域尺寸的确定程序,其中:
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
根据采集的图像确定待识别区域内标注物的成像尺寸;
确定所述图像中,所述标注物的轮廓与视平线之间的位置关系;
基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
所述位置关系包括所述标注物的轮廓与所述视平线的平行线之间的夹角;
根据所述夹角,确定用于拍摄所述图像的摄像头相对于所述标注物的投影角;
根据所述投影角和所述标注物的成像尺寸,确定所述标注物的实际尺寸。
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
根据所述夹角确定所述摄像头相对于所述标注物的俯仰角和偏转角;
根据所述俯仰角、所述偏转角和预设角度关系,确定所述投影角,所述预设角度关系为所述俯仰角、所述偏转角和所述投影角的映射关系。
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
根据所述投影角和所述标注物的成像尺寸,确定所述标注物的空间坐标信息;
根据所述空间坐标信息和预设比例系数,确定所述标注物的实际尺寸。
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
根据所述图像确定所述待识别区域内参考物的成像尺寸;
获取所述参考物的实际尺寸;
根据所述参考物的成像尺寸和所述参考物的实际尺寸,确定所述预设比例系数。
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
根据所述空间坐标信息和所述预设比例系数,确定各个空间坐标点之间的欧式距离;
根据所述欧式距离确定所述标注物的实际尺寸。
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
所述预设比例系数包括第一预设比例系数、第二预设比例系数和第三预设比例系数,所述空间坐标信息包括横轴坐标、纵轴坐标和竖轴坐标;
获取各个所述空间坐标点对应的横轴坐标、纵轴坐标和竖轴坐标;
获取横轴坐标对应的第一预设比例系数、所述纵轴坐标对应的第二预设比例系数和所述竖轴坐标对应的第三预设比例系数;
根据各个所述空间坐标点对应的所述横轴坐标、所述纵轴坐标、所述竖轴坐标、所述第一预设比例系数、所述第二预设比例系数和所述第三预设比例系数,确定各个所述空间坐标点之间的欧式距离。
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
基于透视算法、所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
处理器1001调用存储器1005中存储的区域尺寸的确定程序时,执行以下操作:
对所述图像进行目标检测处理和边缘检测处理,得到所述标注物的轮廓信息;
根据所述轮廓信息确定所述待识别区域内标注物的成像尺寸。
基于同一发明构思,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有区域尺寸的确定程序,所述区域尺寸的确定程序被处理器执行时实现如上所述的区域尺寸的确定方法的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
由于本申请实施例提供的存储介质,为实施本申请实施例的方法所采用的存储介质,故而基于本申请实施例所介绍的方法,本领域所属人员能够了解该存储介质的具体结构及变形,故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,电视,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (13)
1.一种区域尺寸的确定方法,其特征在于,所述区域尺寸的确定方法包括:
根据采集的图像确定待识别区域内标注物的成像尺寸;
确定所述图像中,所述标注物的轮廓与视平线之间的位置关系;
基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
2.如权利要求1所述的区域尺寸的确定方法,其特征在于,所述确定所述图像中,所述标注物的轮廓与视平线之间的位置关系的步骤包括:
确定所述图像中,所述标注物的轮廓与所述视平线的平行线之间的夹角;
根据所述夹角,确定所述标注物的轮廓与视平线之间的位置关系。
3.如权利要求1或2所述的区域尺寸的确定方法,其特征在于,所述基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸的步骤包括:
根据所述标注物的轮廓与视平线之间的位置关系,确定用于拍摄所述图像的摄像头相对于所述标注物的投影角;
根据所述投影角和所述标注物的成像尺寸,确定所述标注物的实际尺寸。
4.如权利要求3所述的区域尺寸的确定方法,其特征在于,所述根据所述标注物的轮廓与视平线之间的位置关系,确定用于拍摄所述图像的摄像头相对于所述标注物的投影角的步骤包括:
根据所述标注物的轮廓与视平线之间的位置关系,确定所述摄像头相对于所述标注物的俯仰角和偏转角;
根据所述俯仰角、所述偏转角和预设角度关系,确定所述投影角,所述预设角度关系为所述俯仰角、所述偏转角和所述投影角的映射关系。
5.如权利要求3所述的区域尺寸的确定方法,其特征在于,所述根据所述投影角和所述标注物的成像尺寸,确定所述标注物的实际尺寸的步骤包括:
根据所述投影角和所述标注物的成像尺寸,确定所述标注物的空间坐标信息;
根据所述空间坐标信息和预设比例系数,确定所述标注物的实际尺寸。
6.如权利要求5所述的区域尺寸的确定方法,其特征在于,所述区域尺寸的确定方法,还包括:
根据所述图像确定所述待识别区域内参考物的成像尺寸;
获取所述参考物的实际尺寸;
根据所述参考物的成像尺寸和所述参考物的实际尺寸,确定所述预设比例系数。
7.如权利要求5所述的区域尺寸的确定方法,其特征在于,所述根据所述空间坐标信息和预设比例系数,确定所述标注物的实际尺寸的步骤包括:
根据所述空间坐标信息和所述预设比例系数,确定各个空间坐标点之间的欧式距离;
根据所述欧式距离确定所述标注物的实际尺寸。
8.如权利要求7所述的区域尺寸的确定方法,其特征在于,所述预设比例系数包括第一预设比例系数、第二预设比例系数和第三预设比例系数,所述空间坐标信息包括横轴坐标、纵轴坐标和竖轴坐标,所述根据所述空间坐标信息和所述预设比例系数,确定各个空间坐标点之间的欧式距离的步骤包括:
获取各个所述空间坐标点对应的横轴坐标、纵轴坐标和竖轴坐标;
获取横轴坐标对应的第一预设比例系数、所述纵轴坐标对应的第二预设比例系数和所述竖轴坐标对应的第三预设比例系数;
根据各个所述空间坐标点对应的所述横轴坐标、所述纵轴坐标、所述竖轴坐标、所述第一预设比例系数、所述第二预设比例系数和所述第三预设比例系数,确定各个所述空间坐标点之间的欧式距离。
9.如权利要求1所述的区域尺寸的确定方法,其特征在于,所述基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸的步骤包括:
基于透视算法、所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
10.如权利要求1所述的区域尺寸的确定方法,其特征在于,所述根据采集的图像确定待识别区域内标注物的成像尺寸的步骤包括:
对所述采集的图像进行目标检测处理和边缘检测处理,得到所述标注物的轮廓信息;
根据所述轮廓信息确定所述待识别区域内标注物的成像尺寸。
11.一种区域尺寸的确定系统,其特征在于,所述区域尺寸的确定系统包括:
成像尺寸确定模块,用于根据采集的图像确定待识别区域内标注物的成像尺寸;
位置关系确定模块,用于确定所述图像中,所述标注物的轮廓与视平线之间的位置关系;
实际尺寸确定模块,用于基于所述位置关系和所述成像尺寸,确定所述标注物的实际尺寸。
12.一种区域尺寸的确定设备,其特征在于,所述区域尺寸的确定设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的区域尺寸的确定程序,所述区域尺寸的确定程序被所述处理器执行时实现如权利要求1-10中任一项所述的区域尺寸的确定方法的步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有区域尺寸的确定程序,所述区域尺寸的确定程序被处理器执行时实现权利要求1-10中任一项所述的区域尺寸的确定方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310406636.5A CN116385420A (zh) | 2023-04-11 | 2023-04-11 | 区域尺寸的确定方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310406636.5A CN116385420A (zh) | 2023-04-11 | 2023-04-11 | 区域尺寸的确定方法、系统、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116385420A true CN116385420A (zh) | 2023-07-04 |
Family
ID=86967432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310406636.5A Pending CN116385420A (zh) | 2023-04-11 | 2023-04-11 | 区域尺寸的确定方法、系统、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116385420A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116772730A (zh) * | 2023-08-22 | 2023-09-19 | 成都睿铂科技有限责任公司 | 一种裂缝尺寸测量方法、计算机存储介质及系统 |
CN116939369A (zh) * | 2023-07-06 | 2023-10-24 | 钛玛科(北京)工业科技有限公司 | 一种基于光学成像技术的全景图像获取方法 |
-
2023
- 2023-04-11 CN CN202310406636.5A patent/CN116385420A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116939369A (zh) * | 2023-07-06 | 2023-10-24 | 钛玛科(北京)工业科技有限公司 | 一种基于光学成像技术的全景图像获取方法 |
CN116939369B (zh) * | 2023-07-06 | 2024-02-27 | 钛玛科(北京)工业科技有限公司 | 一种基于光学成像技术的全景图像获取方法 |
CN116772730A (zh) * | 2023-08-22 | 2023-09-19 | 成都睿铂科技有限责任公司 | 一种裂缝尺寸测量方法、计算机存储介质及系统 |
CN116772730B (zh) * | 2023-08-22 | 2023-11-10 | 成都睿铂科技有限责任公司 | 一种裂缝尺寸测量方法、计算机存储介质及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8571265B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
CN110595476B (zh) | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 | |
CN109993793B (zh) | 视觉定位方法及装置 | |
US8340400B2 (en) | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features | |
US10319146B2 (en) | Visual localisation | |
Kang et al. | Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model | |
JP4232167B1 (ja) | 対象特定装置、対象特定方法および対象特定プログラム | |
CN116385420A (zh) | 区域尺寸的确定方法、系统、设备及存储介质 | |
US8625903B2 (en) | Pose estimation | |
WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
US20210342620A1 (en) | Geographic object detection apparatus and geographic object detection method | |
JP4978615B2 (ja) | 対象特定装置 | |
Chen et al. | Building reconstruction from LIDAR data and aerial imagery | |
CN109900274B (zh) | 一种图像匹配方法及系统 | |
CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
Zhang et al. | Automatic registration of urban aerial imagery with airborne LiDAR data | |
CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
Cosido et al. | Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace | |
JP4521568B2 (ja) | 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN111383330A (zh) | 一种复杂环境三维重建方法和系统 | |
CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
Deng et al. | Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images | |
Nakagawa et al. | Topological 3D modeling using indoor mobile LiDAR data | |
Gao et al. | Distance measurement method based on two-dimensional image recognition and inverse perspective transformation | |
Bai et al. | Application of unmanned aerial vehicle multi-vision image 3D modeling in geological disasters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |