CN116777769A - 畸变图像的校正方法及装置、电子设备、存储介质 - Google Patents
畸变图像的校正方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN116777769A CN116777769A CN202310659555.6A CN202310659555A CN116777769A CN 116777769 A CN116777769 A CN 116777769A CN 202310659555 A CN202310659555 A CN 202310659555A CN 116777769 A CN116777769 A CN 116777769A
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- pixel
- pixel point
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012937 correction Methods 0.000 claims abstract description 199
- 238000013507 mapping Methods 0.000 claims abstract description 73
- 238000004364 calculation method Methods 0.000 claims abstract description 59
- 238000003702 image correction Methods 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010191 image analysis Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- IRUJZVNXZWPBMU-UHFFFAOYSA-N cartap Chemical compound NC(=O)SCC(N(C)C)CSC(N)=O IRUJZVNXZWPBMU-UHFFFAOYSA-N 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种畸变图像的校正方法及装置、电子设备、存储介质，涉及生物识别领域，其中，该校正方法包括：获取目标畸变图像中每个像素点的像素坐标；将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于初始校正坐标计算形变卷积核大小；将每个像素坐标输入到雅克比计算公式，得到每个像素坐标的雅克比值，并对雅克比值进行逆映射计算，得到逆映射后的雅克比值；计算每个像素点的高斯卷积核；将高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。本发明解决了相关技术中，在对发生畸变的图像进行校正时，畸变校正效果较差，无法满足高精度的图像分析和应用的技术问题。
Description
技术领域
本发明涉及生物识别领域及其他相关技术领域，具体而言，涉及一种畸变图像的校正方法及装置、电子设备、存储介质。
背景技术
随着图像识别技术的快速发展，越来越多的业务需要通过人像或其他图像识别来完成验证，虽然科技发展让相机或手机等摄像设备能拍摄到更好画质的图像，但由于镜头的透镜在生产时无法达到理想的精度而且在组装过程中也可能产生偏差，最后会使得到的图像产生畸变，难以将其应用到对图像精度要求很高的计算机图像应用领域中，可能会因为镜头失真，导致最终的图像分析失去应用价值，例如在人脸识别、OCR图像识别等应用领域，无法通过直接拍摄的图像获取正确的用户信息，从而影响用户体验感。
相关技术中，为了解决图像畸变，一般通过建立数学模型拟合失真过程，再进行畸变校正，但在校正过程中，由于图像本身和采样过程的特性，校正变换过程必然会导致产生图像混叠，可以通过标准高斯函数进行卷积操作实现抗混叠，即通过抑制图像信号中的高频成分，防止重采样过程产生混叠，但这种校正方法无法有效滤去高频成分，使得校正后的图像仍然无法满足后续的高精度分析或应用要求。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种畸变图像的校正方法及装置、电子设备、存储介质，以至少解决相关技术中，在对发生畸变的图像进行校正时，畸变校正效果较差，无法满足高精度的图像分析和应用的技术问题。
根据本发明实施例的一个方面，提供了一种畸变图像的校正方法，包括：获取目标畸变图像中每个像素点的像素坐标；将所述每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于所述初始校正坐标计算形变卷积核大小，其中，所述图像校正模型通过逆映射变换对所述目标畸变图像进行校正；将每个所述像素坐标输入到雅克比计算公式，得到每个所述像素坐标的雅克比值，并对所述雅克比值进行逆映射计算，得到逆映射后的雅克比值；基于所述形变卷积核大小和所述逆映射后的雅克比值计算每个像素点的高斯卷积核；将所述高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
可选地，获取目标畸变图像中每个像素点的像素坐标的步骤包括：接收所述目标畸变图像的源图像信息，其中，所述源图像信息包括下述至少之一：源图像大小、源像素值；对所述目标畸变图像进行扫描，得到扫描图像信息，其中，所述扫描图像信息包括下述至少之一：扫描图像大小、扫描像素值；在所述源图像大小不等于所述扫描图像大小的情况下，或者，在所述源像素值不等于所述扫描像素值的情况下，确定所述目标畸变图像存在像素缺失，并对缺失的像素进行填充处理；对填充处理后的所述目标畸变图像建立坐标系，采集每个像素点的像素坐标。
可选地，在获取目标畸变图像中每个像素点的像素坐标之后，包括：计算所述目标畸变图像中每个像素点和相邻像素点之间的坐标差值，得到第一坐标差值。
可选地，在将所述每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标之后，包括：计算每个像素点的初始校正坐标与相邻像素点的初始校正坐标之间的坐标差值，得到第二坐标差值；在所述第一坐标差值与所述第二坐标差值均小于等于预设差值阈值的情况下，确定校正后的所述初始校正坐标为正确的坐标。
可选地，基于所述初始校正坐标计算形变卷积核大小的步骤包括：基于每个所述像素点的初始校正坐标确定卷积区域；计算所述卷积区域的面积，得到形变卷积核大小。
可选地，在将所述高斯卷积核输入到抗混叠校正公式，输出每个像素点的优化校正坐标，得到目标校正图像之后，还包括：对所述目标校正图像上的每个像素点进行插值运算，得到每个所述像素点优化后的坐标；将所述优化后的坐标填充到所述目标校正图像，得到优化后的目标校正图像。
可选地，所述高斯卷积核的计算公式为：其中，表示所述高斯卷积核，Gc(x)表示所述形变卷积核大小，x0表示所述像素坐标，x表示所述初始校正坐标，/>表示所述逆映射后的雅克比值，h表示单应映射，h-1表示逆映射。
可选地，所述抗混叠校正模型采用的计算公式为：其中，/>表示所述目标畸变图像中每个像素点的所述像素坐标，/>表示所述优化校正坐标，H表示单应映射变换，H-1表示逆映射变换，/>表示对图像的采样，I表示插值操作，表示所述高斯卷积核。
根据本发明实施例的另一方面，还提供了一种畸变图像的校正装置，包括：获取单元，用于获取目标畸变图像中每个像素点的像素坐标；第一输出单元，用于将所述每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于所述初始校正坐标计算形变卷积核大小，其中，所述图像校正模型通过逆映射变换对所述目标畸变图像进行校正；第二输出单元，用于将每个所述像素坐标输入到雅克比计算公式，得到每个所述像素坐标的雅克比值，并对所述雅克比值进行逆映射计算，得到逆映射后的雅克比值；计算单元，用于基于所述形变卷积核大小和所述逆映射后的雅克比值计算每个像素点的高斯卷积核；第三输出单元，用于将所述高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
可选地，所述畸变图像的校正装置还包括：第一接收模块，用于接收所述目标畸变图像的源图像信息，其中，所述源图像信息包括下述至少之一：源图像大小、源像素值；第一扫描模块，用于对所述目标畸变图像进行扫描，得到扫描图像信息，其中，所述扫描图像信息包括下述至少之一：扫描图像大小、扫描像素值；第一确定模块，用于在所述源图像大小不等于所述扫描图像大小的情况下，或者，在所述源像素值不等于所述扫描像素值的情况下，确定所述目标畸变图像存在像素缺失，并对缺失的像素进行填充处理；第一建立模块，用于对填充处理后的所述目标畸变图像建立坐标系，采集每个像素点的像素坐标。
可选地，所述畸变图像的校正装置还包括：第一计算模块，用于计算所述目标畸变图像中每个像素点和相邻像素点之间的坐标差值，得到第一坐标差值。
可选地，所述畸变图像的校正装置还包括：第二计算模块，用于计算每个像素点的初始校正坐标与相邻像素点的初始校正坐标之间的坐标差值，得到第二坐标差值；第二确定模块，用于在所述第一坐标差值与所述第二坐标差值均小于等于预设差值阈值的情况下，确定校正后的所述初始校正坐标为正确的坐标。
可选地，所述第一输出单元包括：第三确定模块，用于基于每个所述像素点的初始校正坐标确定卷积区域；第三计算模块，用于计算所述卷积区域的面积，得到形变卷积核大小。
可选地，所述畸变图像的校正装置还包括：第一运算模块，用于对所述目标校正图像上的每个像素点进行插值运算，得到每个所述像素点优化后的坐标；第一填充模块，用于将所述优化后的坐标填充到所述目标校正图像，得到优化后的目标校正图像。
可选地，所述高斯卷积核的计算公式为：其中，表示所述高斯卷积核，Gc(x)表示所述形变卷积核大小，x0表示所述像素坐标，x表示所述初始校正坐标，/>表示所述逆映射后的雅克比值，h表示单应映射，h-1表示逆映射。
可选地，所述抗混叠校正模型采用的计算公式为：其中，/>表示所述目标畸变图像中每个像素点的所述像素坐标，/>表示所述优化校正坐标，H表示单应映射变换，H-1表示逆映射变换，/>表示对图像的采样，I表示插值操作，表示所述高斯卷积核。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项畸变图像的校正方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项畸变图像的校正方法。
在本公开中，通过以下步骤：先获取目标畸变图像中每个像素点的像素坐标，再将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于初始校正坐标计算形变卷积核大小，再将每个像素坐标输入到雅克比计算公式，得到每个像素坐标的雅克比值，并对雅克比值进行逆映射计算，得到逆映射后的雅克比值，然后基于形变卷积核大小和逆映射后的雅克比值计算每个像素点的高斯卷积核，最后将高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
在本公开中，首先通过图像校正模型对畸变图像上的每一个像素点进行逆映射变换，得到初始校正坐标，然后计算得到每个像素点的逆映射雅克比值和形变卷积核大小，进而计算每个像素点的高斯卷积核，最后根据抗混叠校正模型对目标图像进行校正，得到目标校正图像，逆映射雅克比值和形变卷积核大小的计算都考虑了每个像素点与其周围像素点的自适应关系，抗混叠校正模型可以实现自适应的畸变图像抗混叠校正，实现对畸变图像的高精度校正，进而解决了相关技术中，在对发生畸变的图像进行校正时，畸变校正效果较差，无法满足高精度的图像分析和应用的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的畸变图像的校正方法的流程图；
图2是根据本发明实施例的一种可选的获取目标畸变图像中每个像素点的像素坐标的流程图；
图3是根据本发明实施例的一种可选的畸变图像的校正装置的示意图；
图4是根据本发明实施例的一种畸变图像的校正方法的电子设备(或移动设备)的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或名词做出解释：
单应映射，是计算机视觉领域中的一种变换方式，可以将一个平面上的点集映射到另一个平面上，在数学上，单应指的是两个向量空间之间的线性关系，对于二维空间而言，如果存在一个矩阵H使得任意一个点(x,y)经过H变换后得到新坐标(u,v)，则称这个变换为二维单应映射。
需要说明的是，本公开中的畸变图像的校正方法及其装置可用于生物识别领域在对畸变图像进行校正的情况下，也可用于除生物识别领域之外的任意领域在对畸变图像进行校正的情况下，本公开中对畸变图像的校正方法及其装置的应用领域不做限定。
需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
本发明下述各实施例可应用于各种畸变图像的校正系统/应用/设备中。本发明通过逆映射变换对畸变图像进行初始校正，然后采用自适应的抗混叠模型对畸变图像进行优化校正，得到目标校正图像，可以提高图像的校正效果，实现对畸变图像的高精度校正。
本发明下述各实施例可应用于金融机构图像识别的校正系统/应用/设备中。本发明通过保持尺度的逆映射变换和抗混叠模型对畸变图像进行校正，使得图像在畸变校正时不会产生剧烈的放缩，从而提升图像校正精度，使得校正后的图像可以直接应用到图像识别，提高图像识别准确率，提升用户的使用体验。
本发明实施例还可应用于金融机构大厅的人脸图像采集系统/应用/设备中，对采集人脸图像进行校正后再识别，可以大大提高人脸识别准确率。
本发明实施例还可应用于各种金融机构图像业务办理应用/设备，例如人脸识别登录，业务办理过程中的图像验证等场景，通过保持尺度的逆映射变换和抗混叠模型对对采集得到的图像进行校正，从而得到失真较小的图像，提高后续图像验证的效率和准确率，提高业务处理效率，提升用户使用体验。
下面结合各个实施例来详细说明本发明。
实施例一
根据本发明实施例，提供了一种畸变图像的校正方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的畸变图像的校正方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，获取目标畸变图像中每个像素点的像素坐标；
步骤S102，将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于初始校正坐标计算形变卷积核大小，其中，图像校正模型通过逆映射变换对目标畸变图像进行校正；
步骤S103，将每个像素坐标输入到雅克比计算公式，得到每个像素坐标的雅克比值，并对雅克比值进行逆映射计算，得到逆映射后的雅克比值；
步骤S104，基于形变卷积核大小和逆映射后的雅克比值计算每个像素点的高斯卷积核；
步骤S105，将高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
通过上述步骤，先获取目标畸变图像中每个像素点的像素坐标，再将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于初始校正坐标计算形变卷积核大小，再将每个像素坐标输入到雅克比计算公式，得到每个像素坐标的雅克比值，并对雅克比值进行逆映射计算，得到逆映射后的雅克比值，然后基于形变卷积核大小和逆映射后的雅克比值计算每个像素点的高斯卷积核，最后将高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
本实施例中，首先通过图像校正模型对畸变图像上的每一个像素点进行逆映射变换，得到初始校正坐标，然后计算得到每个像素点的逆映射雅克比值和形变卷积核大小，进而计算每个像素点的高斯卷积核，最后根据抗混叠校正模型对目标图像进行校正，得到目标校正图像，逆映射雅克比值和形变卷积核大小的计算都考虑了每个像素点与其周围像素点的自适应关系，抗混叠校正模型可以实现自适应的畸变图像抗混叠校正，实现对畸变图像的高精度校正，进而解决了相关技术中，在对发生畸变的图像进行校正时，畸变校正效果较差，无法满足高精度的图像分析和应用的技术问题。
下面结合上述各步骤对本发明实施例进行详细说明。
需要说明的是，通过摄像设备镜头拍摄的图像会产生一定的畸变，会对图像后续的应用产生干扰，例如在图像识别过程中导致不能准确地通过图像识别用户信息，对用户造成不好的使用体验。摄像镜头产生的畸变按种类分为径向畸变和切向畸变，径向畸变使最终的图像形成不同程度和方向的形变，根据弯曲的角度不同产生桶形畸变或枕形畸变，切向畸变导致图像在成像过程的坐标系转换时产生误差。
步骤S101，获取目标畸变图像中每个像素点的像素坐标。
图2是根据本发明实施例的一种可选的获取目标畸变图像中每个像素点的像素坐标的流程图，如图2所示，获取目标畸变图像中每个像素点的像素坐标的步骤包括：
步骤S201，接收目标畸变图像的源图像信息，其中，源图像信息包括下述至少之一：源图像大小、源像素值；
步骤S202，对目标畸变图像进行扫描，得到扫描图像信息，其中，扫描图像信息包括下述至少之一：扫描图像大小、扫描像素值；
步骤S203，在源图像大小不等于扫描图像大小的情况下，或者，在源像素值不等于扫描像素值的情况下，确定目标畸变图像存在像素缺失，并对缺失的像素进行填充处理；
需要说明的是，大部分的图像畸变都发生在图像边界，畸变会导致图像边界产生失真从而产生黑色区域，即畸变图像会存在像素缺失，对于产生畸变的图像，需要先获取到拍摄的源图像信息，然后将源图像信息与扫描得到的畸变图像信息进行比较，确认是否存在像素缺失，然后对存在缺失的部分进行填充得到完整的图像。
需要说明的是，在对图像进行填充时，可以基于邻近像素值的插值法进行填充，即采用周围已知像素点的平均或中间值来代替缺失位置上原有的像素值；或者，可以基于线性插值法进行填充，即根据相邻两个点之间的直线方程计算出缺失位置上应有的像素点灰度级别从而根据灰度级别进行填充；或者，采用双线性插值法进行填充，即在二维平面上先对水平方向和竖直方向分别进行一次线性差值计算，然后将计算得到的结果进行一次加权平均得到缺失像素点的灰度级别，从而根据灰度级别进行填充。
步骤S204，对填充处理后的目标畸变图像建立坐标系，采集每个像素点的像素坐标。
需要说明的是，在得到完整的畸变图像后，对畸变图像建立坐标系，或者将该畸变图像放置在带有像素坐标系的画图软件上，从而可以得到畸变图像中每个像素点的像素坐标，在校正过程中，可以对每个像素坐标分别进行校正从而得到完整的校正图像。
可选地，在获取目标畸变图像中每个像素点的像素坐标之后，包括：计算目标畸变图像中每个像素点和相邻像素点之间的坐标差值，得到第一坐标差值。
需要说明的是，由于图像存在畸变，在校正前需要先计算每个像素点与相邻的像素点之间的坐标差值，并在进行逆映射变换后再对每个变换后的像素点坐标差值进行计算，当两次的坐标差值都在预设范围内，则可以进行下一步，否则需要重新进行初始校正得到正确的校正坐标。
步骤S102，将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于初始校正坐标计算形变卷积核大小。
需要说明的是，图像校正模型采用逆映射变换对畸变图像进行校正，本发明实施例采用了一种能够保持图像尺度的畸变校正模型公式：其中，k为决定图像畸变类型的单尺度系数，(xd,yd)表示每个像素点的像素坐标，xc表示初始校正横坐标，yc表示初始校正纵坐标，上述畸变校正模型公式只有单方向上的变化量决定，最终图像畸变校正时，图像可得到保持尺度的变换，使得图像在畸变校正时，图像不会产生剧烈的放缩，从而减少由于图像放缩带来的负面影响，使得校正带来的错误更少，进而提高了图像畸变校正的效率和正确率。
下面对上述公式进行逆映射推导：将改写为/>再将其代入/>中，可得到一个关于xd的一元四次方程：/>变换得到数学上可证明一元n次方程在n≤4时存在n个解，且可用代数解法求解，只有当n＞4时，伽罗华理论可证明出标准型的一元n次方程不能用代数解法来解。一元四次方程的标准形式为ax4+bx3+cx2+dx+e＝0(a,b,c,d,e∈R,且a≠0)，但可以看到上述一元四次方程为不含三次项的特殊形式，可使用配方法进行求解。
将上述特殊形式一元四次方程写为t4+αt2+βt+γ＝0(α,β,γ∈R)，那么上述公式中的α,β,γ为：
由于式中没有三次项，剩下的四次项和二次项可化成一次项和二次项的平方和形式，即化为：
(t2+z)2＝(2z-α)t2-βt-γ2+z2；
同时，需要将右边式子也化为完全平方的形式，那么需要满足一元二次方程根判别式Δ＝b2-4ac＝0，则可得到关于z的一元三次方程：Δ＝(-β)2-4(2z-α)(-γ+z2)＝0，即-8z3+4αz2+8γz+β2-4αγ＝0，从而得到根据卡丹公式，可知道p和q的值为：
使用卡丹公式可得出此时z的解为：
由于一元三次方程根的判别，确定只有一个解满足实数解，得到z＝z0，那么代入开始的一元四次方程中：
两边同时开方，由于引入虚数概念所以开方后的方程无论根号中式子计算出结果是否为负都依然成立：
可得到一个关于t的一元二次方程，计算判别式Δ为：
再利用求根公式可得到方程的解为：
那么可以得到保持尺度的畸变校正模型逆映射公式为：
通过逆映射变换，可以得到初始校正坐标，从而得到初始校正图像。
可选地，在将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标之后，包括：计算每个像素点的初始校正坐标与相邻像素点的初始校正坐标之间的坐标差值，得到第二坐标差值；在第一坐标差值与第二坐标差值均小于等于预设差值阈值的情况下，确定校正后的初始校正坐标为正确的坐标。
需要说明的是，在计算得到每个像素点的初始校正坐标后，还需要对每个像素点与其相邻每个点的初始校正坐标进行求差运算，只有校正前后的坐标差值都处于预设差值阈值内才确定得到正确的值。
可选地，基于初始校正坐标计算形变卷积核大小的步骤包括：基于每个像素点的初始校正坐标确定卷积区域；计算卷积区域的面积，得到形变卷积核大小。
需要说明的是，在将畸变图像映射到初始校正图像的过程中，对于初始校正图像上的某个像素点(x′,y′)，需要以此像素点构造卷积区域，该像素点与周边像素点确定的卷积区域为一个正方形区域，而区域的边长根据高斯半径确定，由于畸变的影响，逆映射变换得到的是产生了形变的四边形，需要根据形变的程度计算一个合适的外接矩形，此时得到矩形的大小为该像素点(x′,y′)的形变卷积核大小，计算得到的每个像素点对应的形变卷积核大小并将其存储起来。
步骤S103，将每个像素坐标输入到雅克比计算公式，得到每个像素坐标的雅克比值，并对雅克比值进行逆映射计算，得到逆映射后的雅克比值。
需要说明的是，在计算得到形变卷积核大小后，还需要计算每个像素点的雅克比值，从而得到逆映射雅克比值，首先建立专门的雅可比值数组用于存储每个像素点的雅可比值，建立的存储数组需要和原畸变图像的图像尺寸一致，并与像素点一一对应，然后将畸变图像上具体的像素坐标(x,y)代入雅可比计算公式，可得出每个点对应的雅可比值，通过计算的正映射雅可比值，根据雅可比的性质，得出逆映射对应的雅可比值，根据上述步骤计算得到的每个像素点对应的逆映射雅可比值并将其存储起来。
步骤S104，基于形变卷积核大小和逆映射后的雅克比值计算每个像素点的高斯卷积核。
可选地，高斯卷积核的计算公式为：其中，/>表示高斯卷积核，Gc(x)表示形变卷积核大小，x0表示像素坐标，x表示初始校正坐标，表示逆映射后的雅克比值，h表示单应映射，h-1表示逆映射。
需要说明的是，在计算得到每个像素点对应的形变卷积核大小和逆映射的雅克比值后，将其带入到高斯卷积核的计算公式可以得到高斯卷积核，高斯卷积核用于后续进行抗混叠校正计算。
步骤S105，将高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
可选地，抗混叠校正模型采用的计算公式为：其中，/>表示目标畸变图像中每个像素点的像素坐标，/>表示优化校正坐标，H表示单应映射变换，H-1表示逆映射变换，/>表示对图像的采样，I表示插值操作，/>表示高斯卷积核。
需要说明的是，将上述步骤计算得到的高斯卷积核输入到抗混叠校正公式，即可得到每个像素点的优化校正坐标，优化后的图像不仅对畸变进行了校正，还降低了校正过程中产生的混叠畸变，校正后的图像相比于进行高频滤波得到的图像更为准确和真实，便于后续高精度要求的图像应用。
可选地，在将高斯卷积核输入到抗混叠校正公式，输出每个像素点的优化校正坐标，得到目标校正图像之后，还包括：对目标校正图像上的每个像素点进行插值运算，得到每个像素点优化后的坐标；将优化后的坐标填充到目标校正图像，得到优化后的目标校正图像。
需要说明的是，对目标校正图像再进行一次插值运算，从而使得该图像更为平滑，减小图像失真，本发明实施例对于插值运算的类型不做限定，可根据实际情况选取合适的插值运算，例如：邻近点插值运算、双线性插值运算等，最终得到优化后的目标校正图像。
通过上述实施例，可以对人脸图像进行校正和优化，然后将优化后的人脸图像应用于人脸识别，还可以对其他通过摄像设备或监控设备等拍摄的图像进行校正和优化，将优化后的图像应用于高精度识别领域等。
通过上述实施例，采用保持尺度的逆映射变换和抗混叠模型对畸变图像进行校正，使得图像在畸变校正时不会产生剧烈的放缩，从而提升图像校正精度，使得校正后的图像可以直接应用到图像识别，提高图像识别准确率，提升用户的使用体验。
下面结合另一实施例进行详细说明。
实施例二
本实施例中提供的一种畸变图像的校正装置包含了多个实施单元，每个实施单元对应于上述实施例一中的各个实施步骤。
图3是根据本发明实施例的一种可选的畸变图像的校正装置的示意图，如图3所示，该校正装置包括：获取单元31、第一输出单元32、第二输出单元33、计算单元34、第三输出单元35，其中，
获取单元31，用于获取目标畸变图像中每个像素点的像素坐标；
第一输出单元32，用于将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于初始校正坐标计算形变卷积核大小，其中，图像校正模型通过逆映射变换对目标畸变图像进行校正；
第二输出单元33，用于将每个像素坐标输入到雅克比计算公式，得到每个像素坐标的雅克比值，并对雅克比值进行逆映射计算，得到逆映射后的雅克比值；
计算单元34，用于基于形变卷积核大小和逆映射后的雅克比值计算每个像素点的高斯卷积核；
第三输出单元35，用于将高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
上述畸变图像的校正装置，通过获取单元31获取目标畸变图像中每个像素点的像素坐标；通过第一输出单元32将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于初始校正坐标计算形变卷积核大小；通过第二输出单元33将每个像素坐标输入到雅克比计算公式，得到每个像素坐标的雅克比值，并对雅克比值进行逆映射计算，得到逆映射后的雅克比值；通过计算单元34基于形变卷积核大小和逆映射后的雅克比值计算每个像素点的高斯卷积核；通过第三输出单元35将高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
本实施例中，首先通过图像校正模型对畸变图像上的每一个像素点进行逆映射变换，得到初始校正坐标，然后计算得到每个像素点的逆映射雅克比值和形变卷积核大小，进而计算每个像素点的高斯卷积核，最后根据抗混叠校正模型对目标图像进行校正，得到目标校正图像，逆映射雅克比值和形变卷积核大小的计算都考虑了每个像素点与其周围像素点的自适应关系，抗混叠校正模型可以实现自适应的畸变图像抗混叠校正，实现对畸变图像的高精度校正，进而解决了相关技术中，在对发生畸变的图像进行校正时，畸变校正效果较差，无法满足高精度的图像分析和应用的技术问题。
可选地，畸变图像的校正装置还包括：第一接收模块，用于接收目标畸变图像的源图像信息，其中，源图像信息包括下述至少之一：源图像大小、源像素值；第一扫描模块，用于对目标畸变图像进行扫描，得到扫描图像信息，其中，扫描图像信息包括下述至少之一：扫描图像大小、扫描像素值；第一确定模块，用于在源图像大小不等于扫描图像大小的情况下，或者，在源像素值不等于扫描像素值的情况下，确定目标畸变图像存在像素缺失，并对缺失的像素进行填充处理；第一建立模块，用于对填充处理后的目标畸变图像建立坐标系，采集每个像素点的像素坐标。
可选地，畸变图像的校正装置还包括：第一计算模块，用于计算目标畸变图像中每个像素点和相邻像素点之间的坐标差值，得到第一坐标差值。
可选地，畸变图像的校正装置还包括：第二计算模块，用于计算每个像素点的初始校正坐标与相邻像素点的初始校正坐标之间的坐标差值，得到第二坐标差值；第二确定模块，用于在第一坐标差值与第二坐标差值均小于等于预设差值阈值的情况下，确定校正后的初始校正坐标为正确的坐标。
可选地，第一输出单元32包括：第三确定模块，用于基于每个像素点的初始校正坐标确定卷积区域；第三计算模块，用于计算卷积区域的面积，得到形变卷积核大小。
可选地，畸变图像的校正装置还包括：第一运算模块，用于对目标校正图像上的每个像素点进行插值运算，得到每个像素点优化后的坐标；第一填充模块，用于将优化后的坐标填充到目标校正图像，得到优化后的目标校正图像。
可选地，高斯卷积核的计算公式为：其中，/>表示高斯卷积核，Gc(x)表示形变卷积核大小，x0表示像素坐标，x表示初始校正坐标，/>表示逆映射后的雅克比值，h表示单应映射，h-1表示逆映射。
可选地，抗混叠校正模型采用的计算公式为：其中，/>表示目标畸变图像中每个像素点的像素坐标，/>表示优化校正坐标，H表示单应映射变换，H-1表示逆映射变换，/>表示对图像的采样，I表示插值操作，/>表示高斯卷积核。
上述的校正装置还可以包括处理器和存储器，上述获取单元31、第一输出单元32、第二输出单元33、计算单元34、第三输出单元35等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来对畸变图像进行校正。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项畸变图像的校正方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任意一项畸变图像的校正方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取目标畸变图像中每个像素点的像素坐标；将每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于初始校正坐标计算形变卷积核大小；将每个像素坐标输入到雅克比计算公式，得到每个像素坐标的雅克比值，并对雅克比值进行逆映射计算，得到逆映射后的雅克比值；基于形变卷积核大小和逆映射后的雅克比值计算每个像素点的高斯卷积核；将高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
图4是根据本发明实施例的一种畸变图像的校正方法的电子设备(或移动设备)的硬件结构框图。如图4所示，电子设备可以包括一个或多个(图4中采用402a、402b，……，402n来示出)处理器402(处理器402可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器404。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、键盘、电源和/或相机。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-On ly Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种畸变图像的校正方法，其特征在于，包括：
获取目标畸变图像中每个像素点的像素坐标；
将所述每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于所述初始校正坐标计算形变卷积核大小，其中，所述图像校正模型通过逆映射变换对所述目标畸变图像进行校正；
将每个所述像素坐标输入到雅克比计算公式，得到每个所述像素坐标的雅克比值，并对所述雅克比值进行逆映射计算，得到逆映射后的雅克比值；
基于所述形变卷积核大小和所述逆映射后的雅克比值计算每个所述像素点的高斯卷积核；
将所述高斯卷积核输入到抗混叠校正模型，输出每个所述像素点的优化校正坐标，得到目标校正图像。
2.根据权利要求1所述的校正方法，其特征在于，获取目标畸变图像中每个像素点的像素坐标的步骤包括：
接收所述目标畸变图像的源图像信息，其中，所述源图像信息包括下述至少之一：源图像大小、源像素值；
对所述目标畸变图像进行扫描，得到扫描图像信息，其中，所述扫描图像信息包括下述至少之一：扫描图像大小、扫描像素值；
在所述源图像大小不等于所述扫描图像大小的情况下，或者，在所述源像素值不等于所述扫描像素值的情况下，确定所述目标畸变图像存在像素缺失，并对缺失的像素进行填充处理；
对填充处理后的所述目标畸变图像建立坐标系，采集所述每个像素点的所述像素坐标。
3.根据权利要求1所述的校正方法，其特征在于，在获取目标畸变图像中每个像素点的像素坐标之后，包括：
计算所述目标畸变图像中每个像素点和相邻像素点之间的坐标差值，得到第一坐标差值。
4.根据权利要求3所述的校正方法，其特征在于，在将所述每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标之后，包括：
计算每个像素点的初始校正坐标与相邻像素点的初始校正坐标之间的坐标差值，得到第二坐标差值；
在所述第一坐标差值与所述第二坐标差值均小于等于预设差值阈值的情况下，确定校正后的所述初始校正坐标为正确的坐标。
5.根据权利要求1所述的校正方法，其特征在于，基于所述初始校正坐标计算形变卷积核大小的步骤包括：
基于每个所述像素点的所述初始校正坐标确定卷积区域；
计算所述卷积区域的面积，得到形变卷积核大小。
6.根据权利要求1所述的校正方法，其特征在于，在将所述高斯卷积核输入到抗混叠校正公式，输出每个像素点的优化校正坐标，得到目标校正图像之后，还包括：
对所述目标校正图像上的每个像素点进行插值运算，得到每个所述像素点优化后的坐标；
将所述优化后的坐标填充到所述目标校正图像，得到优化后的目标校正图像。
7.根据权利要求1所述的校正方法，其特征在于，所述高斯卷积核的计算公式为：
其中，/>表示所述高斯卷积核，Gc(x)表示所述形变卷积核大小，x0表示所述像素坐标，x表示所述初始校正坐标，/>表示所述逆映射后的雅克比值，h表示单应映射，h-1表示逆映射。
8.根据权利要求1所述的校正方法，其特征在于，所述抗混叠校正模型采用的计算公式为：其中，/>表示所述目标畸变图像中每个像素点的所述像素坐标，/>表示所述优化校正坐标，H表示单应映射变换，H-1表示逆映射变换，/>表示对图像的采样，I表示插值操作，/>表示所述高斯卷积核。
9.一种畸变图像的校正装置，其特征在于，包括：
获取单元，用于获取目标畸变图像中每个像素点的像素坐标；
第一输出单元，用于将所述每个像素点的像素坐标输入到图像校正模型，输出每个像素点对应的初始校正坐标，并基于所述初始校正坐标计算形变卷积核大小，其中，所述图像校正模型通过逆映射变换对所述目标畸变图像进行校正；
第二输出单元，用于将每个所述像素坐标输入到雅克比计算公式，得到每个所述像素坐标的雅克比值，并对所述雅克比值进行逆映射计算，得到逆映射后的雅克比值；
计算单元，用于基于所述形变卷积核大小和所述逆映射后的雅克比值计算每个像素点的高斯卷积核；
第三输出单元，用于将所述高斯卷积核输入到抗混叠校正模型，输出每个像素点的优化校正坐标，得到目标校正图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任意一项所述的畸变图像的校正方法。
11.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任意一项所述的畸变图像的校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310659555.6A CN116777769A (zh) | 2023-06-05 | 2023-06-05 | 畸变图像的校正方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310659555.6A CN116777769A (zh) | 2023-06-05 | 2023-06-05 | 畸变图像的校正方法及装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116777769A true CN116777769A (zh) | 2023-09-19 |
Family
ID=88007327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310659555.6A Pending CN116777769A (zh) | 2023-06-05 | 2023-06-05 | 畸变图像的校正方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777769A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649367A (zh) * | 2024-01-30 | 2024-03-05 | 广州敏行数字科技有限公司 | 一种图像方位的校正方法及系统 |
-
2023
- 2023-06-05 CN CN202310659555.6A patent/CN116777769A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649367A (zh) * | 2024-01-30 | 2024-03-05 | 广州敏行数字科技有限公司 | 一种图像方位的校正方法及系统 |
| CN117649367B (zh) * | 2024-01-30 | 2024-04-30 | 广州敏行数字科技有限公司 | 一种图像方位的校正方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230397B (zh) | 多目摄像机标定与校正方法和装置、设备、程序和介质 | |
| CN109737874B (zh) | 基于三维视觉技术的物体尺寸测量方法及装置 | |
| US11861813B2 (en) | Image distortion correction method and apparatus | |
| CN110599548A (zh) | 摄像头的标定方法、装置、相机及计算机可读存储介质 | |
| JP6902122B2 (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| CN109345467B (zh) | 成像畸变校正方法、装置、计算机设备及存储介质 | |
| CN112070845A (zh) | 双目相机的标定方法、装置及终端设备 | |
| CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
| CN110335330B (zh) | 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备 | |
| CN109978959B (zh) | 一种摄像头径向畸变修正参数标定方法、装置及系统 | |
| US20170330311A1 (en) | Image processing device and method, image capturing device, program, and record medium | |
| CN116777769A (zh) | 畸变图像的校正方法及装置、电子设备、存储介质 | |
| CN115147499A (zh) | 标定参数确定方法、混合标定板、装置、设备和介质 | |
| CN111383254A (zh) | 一种深度信息获取方法、系统及终端设备 | |
| CN114037992A (zh) | 仪表示数识别方法、装置、电子设备及存储介质 | |
| CN110136205B (zh) | 多目相机的视差校准方法、装置及系统 | |
| US20120038785A1 (en) | Method for producing high resolution image | |
| CN111767752B (zh) | 一种二维码识别方法及装置 | |
| CN117095417A (zh) | 一种屏摄表单图像文本识别方法、装置、设备及存储介质 | |
| CN116524041A (zh) | 一种相机标定方法、装置、设备及介质 | |
| CN110555385A (zh) | 一种基于变步长曲率滤波的焊缝特征点求取方法 | |
| CN115147389A (zh) | 图像处理方法、设备以及计算机可读存储介质 | |
| CN114359401A (zh) | 一种标定方法、系统及设备 | |
| CN114596220A (zh) | 校正图像横向色差的方法、电子设备及计算机存储介质 | |
| CN114387165A (zh) | 图像处理方法、图像处理装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |