CN113222815A - 图像调节方法、装置、电子设备以及可读存储介质 - Google Patents

图像调节方法、装置、电子设备以及可读存储介质 Download PDF

Info

Publication number
CN113222815A
CN113222815A CN202110454920.0A CN202110454920A CN113222815A CN 113222815 A CN113222815 A CN 113222815A CN 202110454920 A CN202110454920 A CN 202110454920A CN 113222815 A CN113222815 A CN 113222815A
Authority
CN
China
Prior art keywords
image
display size
model
display
filled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110454920.0A
Other languages
English (en)
Inventor
周亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110454920.0A priority Critical patent/CN113222815A/zh
Publication of CN113222815A publication Critical patent/CN113222815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明实施例提供了一种图像调节方法、装置、电子设备以及可读存储介质，该方法可以根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸，保证原始图像可以完整的显示于显示区域中，之后再对第二显示尺寸的缩放图像进行像素填充，获得第一显示尺寸的填充图像，填充图像中包括第一显示尺寸的原始图像，以及从第一显示尺寸到第二显示尺寸之间填充的像素，此时，可以根据第一显示尺寸和第二显示尺寸获取预先训练的图像调节模型，该图像调节模型用于调整填充图像中填充的像素，从而减小填充的像素与原始图像之间的差异，填充图像经图像调节模型调节后能够提高输出的目标图像的显示效果。

Description

图像调节方法、装置、电子设备以及可读存储介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种图像调节方法、装置、电子设备以及可读存储介质。
背景技术
在电子设备上显示图片、视频时，为了适应显示区域的面积、比例，通常需要对画面的大小、比例进行一定的调整，以提高显示效果，如在网站或APP(Application，应用程序)中显示广告图片时，根据广告的贴片位置不同，对广告图片进行放大、缩小、裁剪。
当画面的比例与显示区域的比例不同时，为了更好地填充显示区域可能造成画面的部分信息缺失、或者画面遭到拉伸变形等问题，影响显示效果。
为解决上述问题，通常采用将原始图像置于显示区域中，再对显示区域中缺失部分周围的像素点进行均值或高斯平均计算，并根据计算结果进行像素填充的方式调整面积、比例，该方法虽然避免了原始图像的缺失和变形，但是显示区域中填充部分与原始画面之间的差异较大，对显示效果的提升有限。
发明内容
本发明实施例的目的在于提供一种图像调节方法、装置、电子设备以及可读存储介质，以减少对调整图像填充部分与原始画面之间的差异，提高图像的显示效果。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种图像调节方法，该方法可以包括：
根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸；
对第二显示尺寸的缩放图像进行像素填充，获得所述第一显示尺寸的填充图像；
根据所述第一显示尺寸以及所述第二显示尺寸获取预先训练的图像调节模型，所述图像调节模型用于对所述填充图像中填充的像素进行调整，以减少所述填充的像素与所述缩放图像的差异；
将所述填充图像输入所述图像调节模型，获得第一显示尺寸的目标图像。
可选地，所述根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸之前，还包括：
获取第一显示尺寸的第一图像集；
在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集；
将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型。
可选地，所述在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集，包括：
在所述第一图像集中分别确定所述每一图像与第二显示尺寸对应的目标区域，并根据所述目标区域对所述标签图像进行裁剪，所述每一图像之间所述目标区域的位置相同；
根据所述第一显示尺寸确定裁剪后的所述每一图像的非目标区域；
在所述每一图像的所述非目标区域中分别根据随机像素值进行像素填充，获得所述第二图像集。
可选地，所述根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸，包括：
获取所述原始图像的原始尺寸以及所述显示区域的第一显示尺寸；
在所述原始尺寸与所述第一显示尺寸比例不同的情况下，对所述原始图像等比例缩放获得第二显示尺寸的缩放图像，所述第二显示尺寸为所述缩放图像完整显示于所述显示区域中的最大尺寸。
可选地，所述将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型，包括：
以所述第二图像集作为所述图像调节模型的输入，获得输出图像集；
根据所述输出图像集中每一图像的像素值，以及所述第一图像集中对应的每一图像的像素值获取损失值；
根据所述损失值更新所述图像调节模型的模型参数；
重复上述步骤至所述图像调节模型收敛。
在本发明实施的第二方面，还提供了一种图像调节装置，该装置可以包括：
图像缩放模块，用于根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸；
图像填充模块，用于对第二显示尺寸的缩放图像进行像素填充，获得所述第一显示尺寸的填充图像；
模型获取模块，用于根据所述第一显示尺寸以及所述第二显示尺寸获取预先训练的图像调节模型，所述图像调节模型用于对所述填充图像中填充的像素进行调整，以减少所述填充的像素与所述缩放图像的差异；
图像调节模块，用于将所述填充图像输入所述图像调节模型，获得第一显示尺寸的目标图像。
可选地，所述装置还包括：
第一图像集获取模块，用于获取第一显示尺寸的第一图像集；
第二图像集获取模块，用于在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集；
模型训练模块，用于将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型。
可选地，所述模型训练模块，包括：
模型输出子模块，用于以所述第二图像集作为所述图像调节模型的输入，获得输出图像集；
损失计算子模块，用于根据所述输出图像集中每一图像的像素值，以及所述第一图像集中对应的每一图像的像素值获取损失值；
模型调参子模块，用于根据所述损失值更新所述图像调节模型的模型参数；
模型收敛子模块，用于重复上述步骤至所述图像调节模型收敛。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的图像调节方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像调节方法。
本发明实施例提供的图像调节方法，可以根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸，保证原始图像可以完整的显示于显示区域中，之后再对第二显示尺寸的缩放图像进行像素填充，获得第一显示尺寸的填充图像，填充图像中包括第一显示尺寸的原始图像，以及从第一显示尺寸到第二显示尺寸之间填充的像素，此时，可以根据第一显示尺寸和第二显示尺寸获取预先训练的图像调节模型，该图像调节模型用于调整填充图像中填充的像素，从而减小填充的像素与原始图像之间的差异，填充图像经图像调节模型调节后能够提高输出的目标图像的显示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种图像调节方法的步骤流程图；
图2是本发明实施例提供的另一种图像调节方法的步骤流程图；
图3是本发明实施例提供的一种图像调节装置的结构框图；
图4是本发明实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
图1是本发明实施例提供的一种图像调节方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸。
本发明实施例中，显示区域指电子设备的显示界面上对原始图像进行显示的区域，显示区域可以是显示界面上的部分区域，也可以是显示界面的全部区域，其中，电子设备指具有图像显示功能的设备，如电子设备可以是手机、电脑、平板电脑、电视、投影仪等，此时，显示区域可以是手机的网页显示界面上广告位所占的部分区域，也可以是平板电脑的相册显示界面所占的全部区域等等。显示区域的第一显示尺寸包括显示区域的形状、大小，如显示区域的形状可以是矩形、圆形、椭圆形、三角形等，而显示区域的大小可以由长、宽、高等参数表征，本发明实施例对显示区域以及第一显示尺寸不作具体限制。
本发明实施例中，原始图像指需要在显示区域进行显示的图像，如原始图像可以是在网页显示界面的广告位中显示的广告图片，也可以是在相册显示界面中显示的相册图片等等。在原始图像只能部分的显示于显示区域中，或原始图像可以完整显示于显示区域中，但不能充分填充显示区域时，可以对原始图像进行等比例缩放获得第二显示尺寸的缩放图像，其中，等比例缩放指保持原始图像中长、宽、高等至少两个参数之间的比例不变，放大或缩小各参数的值使得第二显示尺寸小于第一显示尺寸，从而使得缩放图像能够完整的显示于显示区域。
步骤102、对第二显示尺寸的缩放图像进行像素填充，获得所述第一显示尺寸的填充图像。
本发明实施例中，由于经过缩放后获得的缩放图像的第二显示尺寸小于第一显示尺寸，可能使得缩放图像可以完整的显示于显示区域，但是无法充分填充显示区域，此时，可以对第二显示尺寸的缩放图像进行像素填充，以获得第一显示尺寸的填充图像，该填充图像中包括第二显示尺寸的缩放图像，以及被像素填充的第二显示尺寸小于第一显示尺寸的部分区域，可选地，像素填充可以是根据预设像素值进行填充，也可以是根据随机像素值进行填充，本发明实施例对此不作具体限制。
步骤103、根据所述第一显示尺寸以及所述第二显示尺寸获取预先训练的图像调节模型，所述图像调节模型用于对所述填充图像中填充的像素进行调整，以减少所述填充的像素与所述缩放图像的差异。
本发明实施例中，图像调节模型可以用于对填充图像中填充的像素进行调整，以减少填充的像素与原始图像的差异的模型，可选地，图像调节模型可以采用显示尺寸与前述显示区域的显示尺寸相同的任意图像作为标签图像，并保留该任意图像中与前述缩放图像的显示尺寸相同的部分不变，对保留的部分进行像素填充，将填充后与显示区域的显示尺寸相同的图像作为样本图像，采用CNN(Convolutional Neural Networks，卷积神经网络)预先训练得到，使得图像调节模型能够充分学习样本图像中填充的像素与对应的标签图像中实际的像素之间的关系，从而能够对填充的像素进行调整以减少填充的像素与缩放图像的差异，其中，模型的种类可以采用CNN中的ResNet(Residual Network，残差神经网络)、DenseNet(Dense Convolutional Network，稠密卷积网络)等等，本领域技术人员可以根据需求选择其他模型的种类或模型训练方法，本发明实施例对此不作具体限制。
本发明实施例中，根据显示区域的显示尺寸不同标签图像的显示尺寸也有不同，根据缩放图像的显示尺寸不同样本图像中保留不变的部分显示尺寸也不同，从而使得不同的图像调节模型能够适用于不同显示尺寸的显示区域，以及不同显尺寸的缩放图像，因此，可以根据显示区域的第一显示尺寸，以及缩放图像的第二显示尺寸获取对应的图像调节模型，从而使得图像调节模型能够适应不同的应用需求。
步骤104、将所述填充图像输入所述图像调节模型，获得第一显示尺寸的目标图像。
本发明实施例中，将填充图像输入图像调节模型，则图像调节模型能够对填充图像中填充的像素进行调整，如图像调节模型可以对填充的像素的位置、像素值的大小等进行校正，从而减小随机填充的像素与缩放图像之间的差异，使得第一显示尺寸中目标图像中填充的像素更接近缩放图像中像素的信息，有效提高了图像的显示效果。
本发明实施例提供的图像调节方法，可以根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸，保证原始图像可以完整的显示于显示区域中，之后再对第二显示尺寸的缩放图像进行像素填充，获得第一显示尺寸的填充图像，填充图像中包括第一显示尺寸的原始图像，以及从第一显示尺寸到第二显示尺寸之间填充的像素，此时，可以根据第一显示尺寸和第二显示尺寸获取预先训练的图像调节模型，该图像调节模型用于调整填充图像中填充的像素，从而减小填充的像素与原始图像之间的差异，填充图像经图像调节模型调节后能够提高输出的目标图像的显示效果。
图2是本发明实施例提供的另一种图像调节方法的步骤流程图，如图2所示，该方法可以包括：
步骤201、获取第一显示尺寸的第一图像集。
本发明实施例中，第一显示尺寸为显示区域的显示尺寸，第一图像集中包括N张图像，其中，每一张图像均为第一显示尺寸，N的大小可以根据模型训练的需求由本领域技术人员确定，可选地，第一图像集可以由互联网中获取的第一显示尺寸的任意图像组成，也可以由图像生成模型生成的第一显示尺寸的任意图像组成，本发明实施例对此第一图像集中图像的来源不作具体限制。
如，显示区域的第一显示尺寸为2W(宽)*3H(高)的矩形，则从网络中任意获取N张显示尺寸为2W*3H的矩形图像组成第一图像集S0，其中，N大于100000。
步骤202、在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集。
本发明实施例中，第二显示尺寸为缩放图像的显示尺寸，且第二显示尺寸小于第一显示尺寸，则根据第二显示尺寸可以将第一图像集中每一图像划分为第二显示尺寸内的目标区域，以及第二显示尺寸以外第一显示尺以内的非目标区域，此时，为了模拟缩放图像中填充的像素的分布信息，可以对第一图像集中每一图像的非目标区域进行像素填充，而像素填充后的每一图像组成第二图像集，可选地，可以对第一图像集中每一图像上非目标区域的像素直接替换为其他像素，也可以先去除第一图像集中每一图像上非目标区域的像素，再填充其他像素，本发明实施例对像素填充的方式不作具体限制。
可选地，所述步骤202包括：
步骤S11、在所述第一图像集中分别确定所述每一图像与第二显示尺寸对应的目标区域，并根据所述目标区域对所述标签图像进行裁剪，所述每一图像之间所述目标区域的位置相同。
本发明实施例中，可以在第一图像集中的每一图像上相同的位置确定第二显示尺寸的目标区域，如可以在每一图像的正中位置、边缘位置等分别确定第二显示尺寸的目标区域，每一图像上目标区域的位置相同，当目标区域位于每一图像的正中位置时，图像调节模型可以学习图像边缘的像素分布信息，当目标区域位于每一图像的边缘位置时，图像调节模型可以学习图像正中的像素分布信息，通过学习每一图像上相同位置的像素分布信息可以提高图像调节模型的准确度。
如，缩放图像的第二显示尺寸为2W*2H，则可以在第一图像集S0的每一图像的中心位置确定2W*2H目标区域，对第一图像集S0中的每一图像中目标区域上下两侧的2W*H/2进行裁剪。
或者，也可以是在第一图像集S0的每一图像的上边缘位置确定2W*2H目标区域，对第一图像集S0中的每一图像上目标区域下侧的2W*H进行裁剪。
步骤S12、根据所述第一显示尺寸确定裁剪后的所述每一图像的非目标区域。
本发明实施例中，由于图像需要在第一显示尺寸的显示区域中显示，因此，需要对裁剪后的每一图像进行像素填充，将其从第二显示尺寸填充到第一显示尺寸，因此，可以根据第一显示尺寸确定裁剪后的每一图像中需要进行像素填充的区域作为非目标区域。
如，根据第一显示尺寸2W*3H以及裁剪后的每一图像中心位置的2W*2H目标区域，则非目标区域为每一图像中目标区域上下两侧的2W*H/2。
步骤S13、在所述每一图像的所述非目标区域中分别根据随机像素值进行像素填充，获得所述第二图像集。
本发明实施例中，每一图像可以转化为一个三维的数字矩阵，其中，每一像素可以转化为0～255区间内的像素值，0为白色，255为黑色，随机像素值指0～255区间随机指定的像素值，根据随机像素值可以对每一图像的非目标区域进行随机的像素填充，从而获得填充后的每一图像组成的第二图像集。
如，对每一图像中目标区域上下两侧2W*H/2的非目标区域指定随机像素值进行像素填充，获得第二图像集S1。
步骤203、将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型。
本发明实施例中，在第一图像集中的每一图像为第一显示尺寸，第二图像集中的每一图像为第一显示尺寸，且其中包括第二显示尺寸的目标区域以及像素填充的非目标区域，此时，对于第二图像集中包含随机填充的像素信息的每一图像，可以在第一图像集中获取对应完整的图像，因此，可以将第一图像集作为标签集，第二图像集作为样本集，进行模型训练，以使图像调节模型学习第二图像集中每一图像填充的像素与对应的第一图像集中完整图像中实际的像素之间的关系。
如，第一图像集S0与第二图像集S1构成了大小为2N的图像集合，此时，可以将第二图像集S1作为样本集X，第一图像集S0作为标签集Y进行模型训练，获得图像调节模型。
可选地，所述步骤203包括：
步骤S21、以所述第二图像集作为所述图像调节模型的输入，获得输出图像集。
本发明实施例中，可以预先构造输入与输出为第一显示尺寸的图像的模型，并将第二图像集中的每一图像输入该模型，将获得的输出的图像作为输出图像集。
如，构造ResNet模型，并删除其中的下采样层与全连接层，从而使得ResNet模型的输入与输出为2W*3H的图像，将样本集X中的图像x输入ResNet模型，获得输出图像y1。
步骤S22、根据所述输出图像集中每一图像的像素值，以及所述第一图像集中对应的每一图像的像素值获取损失值。
本发明实施例中，输出图像集中的每一图像在输入的第二图像集中存在对应的图像，进一步的，在第一图像集存在对应的图像，由于第二图像集为样本集，第一图像集为标签集，可以将输出图像集中的图像作为预测结果，第一图像集中对应的图像作为真实结果，此时，可以根据预测结果与真实结果之间不一致的程度计算图像调节模型的损失值，可选地，损失值可以通过计算输出图像集中每一图像的像素值，以及第一图像集中对应的每一图像的像素值之间的均方误差、平均绝对误差、差值绝对值等等得到，本发明实施例对此计算损失值的方法不做具体限制。
如，计算输出图像y1的像素值与对应标签集Y中图像y的像素值的均方误差，获得损失值。
步骤S23、根据所述损失值更新所述图像调节模型的模型参数。
本发明实施例中，在获得损失值后可以根据损失值更新图像调节模型的模型参数，以减小该模型输出图像与对应第一图像集中图像之间的损失值，如可以将损失值回传，在回传过程中根据梯度下降算法对神经元的权值进行调整，从而更新图像调节模型的模型参数。
步骤S24、重复上述步骤至所述图像调节模型收敛。
本发明实施例中，可以在图像调节模型符合预设收敛条件时确定该模型收敛，可选地，预设收敛条件可以是损失值小于预设损失值，或者可以是该模型两次迭代之间权值的变化小于预设权值差，或者可以是该模型迭代次数达到预设迭代次数，本发明实施例对此模型收敛的预设收敛条件不作具体限制。
步骤204、获取所述原始图像的原始尺寸以及所述显示区域的第一显示尺寸。
本发明实施例中，可以先获取原始图像的原始尺寸以及显示区域的第一显示尺寸，在原始尺寸与第一显示尺寸不同使得原始图像不能完整的显示于显示区域，或可以完整的显示于显示区域但不能充分填充显示区域时，确定需要对原始图像进行缩放、像素填充等操作。
步骤205、在所述原始尺寸与所述第一显示尺寸比例不同的情况下，对所述原始图像等比例缩放获得第二显示尺寸的缩放图像，所述第二显示尺寸为所述缩放图像完整显示于所述显示区域中的最大尺寸。
本发明实施例中，在原始尺寸与第一显示尺寸比例不同的情况下，对原始图像进行等比例缩放获得第二显示尺寸的缩放图像，其中，原始尺寸与第一显示尺寸的比例不同，可以是原始尺寸与第一显示尺寸的形状不同，如原始尺寸为矩形，而第一显示尺寸为圆形，或者原始尺寸为三角形，第一显示尺寸为矩形等；也可以是原始尺寸与第一显示尺寸相同参数之间的比值不同，如原始尺寸为长宽比1:1的矩形，第一显示尺寸为长宽比1:2的矩形，或者原始尺寸为高底比1:2的三角形，第一显示尺寸为高底比1:1的三角形，本发明实施例对此不作具体限制。
本发明实施例中，第二显示尺寸为缩放图像完整显示于显示区域中的最大尺寸，即进一步对缩放图像进行放大会使得缩放图像至少部分超出显示区域的边界，此时，可以避免原始图像上像素信息的丢失，也能减少需要进行像素填充的非目标区域的面积，从而减少调节像素的工作量，提升图像调节的效率。
如，原始图像的原始尺寸是W*H，显示区域的第一显示尺寸为2W*3H，则对原始图像进行等比例放大，获得第二显示尺寸2W*2H的缩放图像；
或者，原始图像的原始尺寸是3W*3H，显示区域的第一显示尺寸为2W*3H，则对原始图像进行等比例缩小，获得第二显示尺寸2W*2H的缩放图像；
步骤206、对第二显示尺寸的缩放图像进行像素填充，获得所述第一显示尺寸的填充图像。
本发明实施例中，步骤206可对应参照前述步骤102的相关描述，为避免重复，在此不再赘述。
如，对第二显示尺寸2W*2H的缩放图像进行像素填充，获得第一显示尺寸2W*3H的填充图像。
步骤207、根据所述第一显示尺寸以及所述第二显示尺寸获取预先训练的图像调节模型，所述图像调节模型用于对所述填充图像中填充的像素进行调整，以减少所述填充的像素与所述缩放图像的差异。
本发明实施例中，步骤207可对应参照前述步骤103的相关描述，为避免重复，在此不再赘述。
如，根据第一显示尺寸2W*3H以及第二显示尺寸2W*2H确定图像调节模型。
步骤208、将所述填充图像输入所述图像调节模型，获得第一显示尺寸的目标图像。
本发明实施例中，步骤208可对应参照前述步骤104的相关描述，为避免重复，在此不再赘述。
如，将第一显示尺寸2W*3H的填充图像输入图像调节模型，以使图像调节模型对填充图像中填充的像素进行调整，减少填充的像素与缩放图像中像素的差异，获得输出的第一显示尺寸2W*3H的目标图像。
本发明实施例提供的图像调节方法，可以根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸，保证原始图像可以完整的显示于显示区域中，之后再对第二显示尺寸的缩放图像进行像素填充，获得第一显示尺寸的填充图像，填充图像中包括第一显示尺寸的原始图像，以及从第一显示尺寸到第二显示尺寸之间填充的像素，此时，可以根据第一显示尺寸和第二显示尺寸获取预先训练的图像调节模型，该图像调节模型用于调整填充图像中填充的像素，从而减小填充的像素与原始图像之间的差异，填充图像经图像调节模型调节后能够提高输出的目标图像的显示效果。
图3是本发明实施例提供的一种图像调节装置30的结构框图，如图3所示，该装置可以包括：
图像缩放模块301，用于根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸；
图像填充模块302，用于对第二显示尺寸的缩放图像进行像素填充，获得所述第一显示尺寸的填充图像；
模型获取模块303，用于根据所述第一显示尺寸以及所述第二显示尺寸获取预先训练的图像调节模型，所述图像调节模型用于对所述填充图像中填充的像素进行调整，以减少所述填充的像素与所述缩放图像的差异；
图像调节模块304，用于将所述填充图像输入所述图像调节模型，获得第一显示尺寸的目标图像。
可选地，所述装置还包括：
第一图像集获取模块，用于获取第一显示尺寸的第一图像集；
第二图像集获取模块，用于在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集；
模型训练模块，用于将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型。
可选地，所述第二图像集获取模块，包括：
第一图像集裁剪子模块，用于在所述第一图像集中分别确定所述每一图像与第二显示尺寸对应的目标区域，并根据所述目标区域对所述标签图像进行裁剪，所述每一图像之间所述目标区域的位置相同；
非目标区域确定子模块，用于根据所述第一显示尺寸确定裁剪后的所述每一图像的非目标区域；
像素填充子模块，用于在所述每一图像的所述非目标区域中分别根据随机像素值进行像素填充，获得所述第二图像集。
可选地，所述图像缩放模块301，包括：
图像尺寸获取子模块，用于获取所述原始图像的原始尺寸以及所述显示区域的第一显示尺寸；
图像尺寸缩放子模块，用于在所述原始尺寸与所述第一显示尺寸比例不同的情况下，对所述原始图像等比例缩放获得第二显示尺寸的缩放图像，所述第二显示尺寸为所述缩放图像完整显示于所述显示区域中的最大尺寸。
可选地，所述模型训练模块，包括：
模型输出子模块，用于以所述第二图像集作为所述图像调节模型的输入，获得输出图像集；
损失计算子模块，用于根据所述输出图像集中每一图像的像素值，以及所述第一图像集中对应的每一图像的像素值获取损失值；
模型调参子模块，用于根据所述损失值更新所述图像调节模型的模型参数；
模型收敛子模块，用于重复上述步骤至所述图像调节模型收敛。
本发明实施例提供的图像调节装置，可以根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸，保证原始图像可以完整的显示于显示区域中，之后再对第二显示尺寸的缩放图像进行像素填充，获得第一显示尺寸的填充图像，填充图像中包括第一显示尺寸的原始图像，以及从第一显示尺寸到第二显示尺寸之间填充的像素，此时，可以根据第一显示尺寸和第二显示尺寸获取预先训练的图像调节模型，该图像调节模型用于调整填充图像中填充的像素，从而减小填充的像素与原始图像之间的差异，填充图像经图像调节模型调节后能够提高输出的目标图像的显示效果。
本发明实施例还提供了一种电子设备，图4是本发明实施例提供的一种电子设备的结构框图，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸；
对第二显示尺寸的缩放图像进行像素填充，获得所述第一显示尺寸的填充图像；
根据所述第一显示尺寸以及所述第二显示尺寸获取预先训练的图像调节模型，所述图像调节模型用于对所述填充图像中填充的像素进行调整，以减少所述填充的像素与所述缩放图像的差异；
将所述填充图像输入所述图像调节模型，获得第一显示尺寸的目标图像。
可选地，所述根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸之前，还包括：
获取第一显示尺寸的第一图像集；
在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集；
将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型。
可选地，所述在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集，包括：
在所述第一图像集中分别确定所述每一图像与第二显示尺寸对应的目标区域，并根据所述目标区域对所述标签图像进行裁剪，所述每一图像之间所述目标区域的位置相同；
根据所述第一显示尺寸确定裁剪后的所述每一图像的非目标区域；
在所述每一图像的所述非目标区域中分别根据随机像素值进行像素填充，获得所述第二图像集。
可选地，所述根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸，包括：
获取所述原始图像的原始尺寸以及所述显示区域的第一显示尺寸；
在所述原始尺寸与所述第一显示尺寸比例不同的情况下，对所述原始图像等比例缩放获得第二显示尺寸的缩放图像，所述第二显示尺寸为所述缩放图像完整显示于所述显示区域中的最大尺寸。
可选地，所述将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型，包括：
以所述第二图像集作为所述图像调节模型的输入，获得输出图像集；
根据所述输出图像集中每一图像的像素值，以及所述第一图像集中对应的每一图像的像素值获取损失值；
根据所述损失值更新所述图像调节模型的模型参数；
重复上述步骤至所述图像调节模型收敛。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像调节方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像调节方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种图像调节方法，其特征在于，所述方法包括：
根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸；
对第二显示尺寸的缩放图像进行像素填充，获得所述第一显示尺寸的填充图像；
根据所述第一显示尺寸以及所述第二显示尺寸获取预先训练的图像调节模型，所述图像调节模型用于对所述填充图像中填充的像素进行调整，以减少所述填充的像素与所述缩放图像的差异；
将所述填充图像输入所述图像调节模型，获得第一显示尺寸的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸之前，还包括：
获取第一显示尺寸的第一图像集；
在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集；
将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型。
3.根据权利要求2所述的方法，其特征在于，所述在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集，包括：
在所述第一图像集中分别确定所述每一图像与第二显示尺寸对应的目标区域，并根据所述目标区域对所述标签图像进行裁剪，所述每一图像之间所述目标区域的位置相同；
根据所述第一显示尺寸确定裁剪后的所述每一图像的非目标区域；
在所述每一图像的所述非目标区域中分别根据随机像素值进行像素填充，获得所述第二图像集。
4.根据权利要求1所述的方法，其特征在于，所述根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸，包括：
获取所述原始图像的原始尺寸以及所述显示区域的第一显示尺寸；
在所述原始尺寸与所述第一显示尺寸比例不同的情况下，对所述原始图像等比例缩放获得第二显示尺寸的缩放图像，所述第二显示尺寸为所述缩放图像完整显示于所述显示区域中的最大尺寸。
5.根据权利要求2所述的方法，其特征在于，所述将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型，包括：
以所述第二图像集作为所述图像调节模型的输入，获得输出图像集；
根据所述输出图像集中每一图像的像素值，以及所述第一图像集中对应的每一图像的像素值获取损失值；
根据所述损失值更新所述图像调节模型的模型参数；
重复上述步骤至所述图像调节模型收敛。
6.一种图像调节装置，其特征在于，所述装置包括：
图像缩放模块，用于根据显示区域的第一显示尺寸对原始图像进行等比例缩放，以使获得的缩放图像的第二显示尺寸小于所述第一显示尺寸；
图像填充模块，用于对第二显示尺寸的缩放图像进行像素填充，获得所述第一显示尺寸的填充图像；
模型获取模块，用于根据所述第一显示尺寸以及所述第二显示尺寸获取预先训练的图像调节模型，所述图像调节模型用于对所述填充图像中填充的像素进行调整，以减少所述填充的像素与所述缩放图像的差异；
图像调节模块，用于将所述填充图像输入所述图像调节模型，获得第一显示尺寸的目标图像。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一图像集获取模块，用于获取第一显示尺寸的第一图像集；
第二图像集获取模块，用于在所述第一图像集中分别确定每一图像与所述第二显示尺寸对应的目标区域，并分别对所述每一图像所述目标区域以外的非目标区域进行像素填充，获得第二图像集；
模型训练模块，用于将所述第一图像集作为标签集，所述第二图像集作为样本集进行模型训练，获得所述图像调节模型。
8.根据权利要求7所述的装置，其特征在于，所述模型训练模块，包括：
模型输出子模块，用于以所述第二图像集作为所述图像调节模型的输入，获得输出图像集；
损失计算子模块，用于根据所述输出图像集中每一图像的像素值，以及所述第一图像集中对应的每一图像的像素值获取损失值；
模型调参子模块，用于根据所述损失值更新所述图像调节模型的模型参数；
模型收敛子模块，用于重复上述步骤至所述图像调节模型收敛。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202110454920.0A 2021-04-26 2021-04-26 图像调节方法、装置、电子设备以及可读存储介质 Pending CN113222815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110454920.0A CN113222815A (zh) 2021-04-26 2021-04-26 图像调节方法、装置、电子设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110454920.0A CN113222815A (zh) 2021-04-26 2021-04-26 图像调节方法、装置、电子设备以及可读存储介质

Publications (1)

Publication Number Publication Date
CN113222815A true CN113222815A (zh) 2021-08-06

Family

ID=77089368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110454920.0A Pending CN113222815A (zh) 2021-04-26 2021-04-26 图像调节方法、装置、电子设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN113222815A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679466A (zh) * 2013-11-29 2015-06-03 腾讯科技（深圳）有限公司 一种图像显示方法、装置及电子设备
CN108765295A (zh) * 2018-06-12 2018-11-06 腾讯科技（深圳）有限公司 图像处理方法、图像处理装置及存储介质
CN109360153A (zh) * 2018-10-26 2019-02-19 北京金山云网络技术有限公司 图像处理方法、超分辨率模型生成方法、装置及电子设备
CN109377532A (zh) * 2018-10-18 2019-02-22 众安信息技术服务有限公司 基于神经网络的图像处理方法及装置
CN110660115A (zh) * 2019-08-20 2020-01-07 海南车智易通信息技术有限公司 一种广告图的生成方法、装置及系统
CN111311486A (zh) * 2018-12-12 2020-06-19 北京沃东天骏信息技术有限公司 用于处理图像的方法和装置
CN111383187A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种图像处理方法、装置及智能终端
CN111859210A (zh) * 2019-04-29 2020-10-30 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及存储介质
CN111986072A (zh) * 2019-05-21 2020-11-24 顺丰科技有限公司 一种图像归一化方法、装置、设备及存储介质
CN112241740A (zh) * 2019-07-19 2021-01-19 新华三技术有限公司 一种特征提取方法及装置
CN112508801A (zh) * 2020-10-21 2021-03-16 华为技术有限公司 图像处理方法及计算设备
CN112581567A (zh) * 2020-12-25 2021-03-30 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679466A (zh) * 2013-11-29 2015-06-03 腾讯科技（深圳）有限公司 一种图像显示方法、装置及电子设备
CN108765295A (zh) * 2018-06-12 2018-11-06 腾讯科技（深圳）有限公司 图像处理方法、图像处理装置及存储介质
CN109377532A (zh) * 2018-10-18 2019-02-22 众安信息技术服务有限公司 基于神经网络的图像处理方法及装置
CN109360153A (zh) * 2018-10-26 2019-02-19 北京金山云网络技术有限公司 图像处理方法、超分辨率模型生成方法、装置及电子设备
CN111311486A (zh) * 2018-12-12 2020-06-19 北京沃东天骏信息技术有限公司 用于处理图像的方法和装置
CN111383187A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种图像处理方法、装置及智能终端
CN111859210A (zh) * 2019-04-29 2020-10-30 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及存储介质
CN111986072A (zh) * 2019-05-21 2020-11-24 顺丰科技有限公司 一种图像归一化方法、装置、设备及存储介质
CN112241740A (zh) * 2019-07-19 2021-01-19 新华三技术有限公司 一种特征提取方法及装置
CN110660115A (zh) * 2019-08-20 2020-01-07 海南车智易通信息技术有限公司 一种广告图的生成方法、装置及系统
CN112508801A (zh) * 2020-10-21 2021-03-16 华为技术有限公司 图像处理方法及计算设备
CN112581567A (zh) * 2020-12-25 2021-03-30 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US20210201445A1 (en) Image cropping method
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
WO2019201042A1 (zh) 图像对象识别方法和装置、存储介质及电子装置
CN113869293B (zh) 车道线识别方法、装置、电子设备和计算机可读介质
CN107621932B (zh) 显示图像的局部放大方法和装置
CN110363753B (zh) 图像质量评估方法、装置及电子设备
CN110544214A (zh) 一种图像修复方法、装置及电子设备
CN110896477B (zh) 一种视频编码方法、装置、编码设备及存储介质
CN112686824A (zh) 图像校正方法、装置、电子设备和计算机可读介质
CN113516666A (zh) 图像裁剪方法、装置、计算机设备及存储介质
CN111145202B (zh) 模型生成方法、图像处理方法、装置、设备及存储介质
CN110827301B (zh) 用于处理图像的方法和装置
CN113963072B (zh) 双目摄像头标定方法、装置、计算机设备和存储介质
CN113837965B (zh) 图像清晰度识别方法、装置、电子设备及存储介质
CN110545427A (zh) 一种pdf文档压缩方法、装置及电子设备
CN112464301A (zh) 一种图像显示方法及装置
CN113222815A (zh) 图像调节方法、装置、电子设备以及可读存储介质
CN107977923B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114239760B (zh) 多模态模型训练以及图像识别方法、装置、电子设备
CN110874814A (zh) 一种图像处理方法、图像处理装置及终端设备
CN111815628B (zh) 显示面板缺陷检测方法、装置、设备及可读存储介质
CN113014928B (zh) 一种补偿帧生成方法及装置
CN111179166B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN113763248A (zh) 超分辨率图像重建方法、装置、设备及存储介质
CN112954454A (zh) 一种视频帧生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination