CN112019739A - 一种拍摄控制方法、装置、电子设备及存储介质 - Google Patents
一种拍摄控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112019739A CN112019739A CN202010768972.0A CN202010768972A CN112019739A CN 112019739 A CN112019739 A CN 112019739A CN 202010768972 A CN202010768972 A CN 202010768972A CN 112019739 A CN112019739 A CN 112019739A
- Authority
- CN
- China
- Prior art keywords
- image
- image quality
- quality evaluation
- shooting
- evaluation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013441 quality evaluation Methods 0.000 claims abstract description 138
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 37
- 238000011156 evaluation Methods 0.000 claims description 34
- 238000005457 optimization Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 14
- 230000036544 posture Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013210 evaluation model Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种拍摄控制方法、装置、电子设备及存储介质,该方法包括:对目标拍摄场景进行拍摄时,控制图像采集单元采集目标拍摄场景的至少一帧预览图像;将预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到预览图像的图像质量评价结果;基于预览图像的图像质量评价结果,从至少一帧预览图像中确定针对目标拍摄场景的目标拍摄图像。如此,只需在现有的电子设备中增加图像质量评价模型,用于在拍摄过程中对采集到的预览图像进行图像质量评价,根据图像质量评价结果自动选择图像质量最优的一帧预览图像,避免用户自主控制拍摄时由于用户原因导致的拍摄效果不佳的问题,提高电子设备的拍摄效果。
Description
技术领域
本申请涉及图像处理技术,尤其涉及一种拍摄控制方法、装置、电子设备及存储介质。
背景技术
用户在使用具备拍摄功能的电子设备进行拍摄时,电子设备通过在图像显示界面显示网格线,通过识别拍摄场景自动调整拍摄参数,或者通过手势拍摄等方式来辅助用户完成拍摄。但是现有拍摄控制方案只能向用户提供基本的拍摄建议,仍然需要用户手动操作拍摄按键进行拍摄,但在操作拍摄按键的过程中可能受到手抖或者拍摄对象移动的影响,导致拍摄到的图像质量不佳,影响电子设备的拍摄性能。
发明内容
为解决上述技术问题,本申请实施例期望提供一种拍摄控制方法、装置、电子设备及存储介质。
本申请的技术方案是这样实现的:
第一方面,提供了一种拍摄控制方法,所述方法包括:
对目标拍摄场景进行拍摄时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
将所述预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到所述预览图像的图像质量评价结果;
基于所述预览图像的图像质量评价结果,从所述至少一帧预览图像中确定针对所述目标拍摄场景的目标拍摄图像。
第二方面,提供了一种拍摄控制装置,所述装置包括:
控制单元,用于对目标拍摄场景进行拍摄时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
评价单元,用于将所述预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到所述预览图像的图像质量评价结果;
确定单元,用于基于所述预览图像的图像质量评价结果,从所述至少一帧预览图像中确定针对所述目标拍摄场景的目标拍摄图像。
第三方面,提供了一种电子设备,包括:处理器和配置为存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器配置为运行所述计算机程序时,执行前述方法的步骤。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例提供了一种拍摄控制方法、装置、电子设备及存储介质,该方法包括:对目标拍摄场景进行拍摄时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;将所述预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到所述预览图像的图像质量评价结果;基于所述预览图像的图像质量评价结果,从所述至少一帧预览图像中确定针对所述目标拍摄场景的目标拍摄图像。如此,只需在现有的电子设备中增加图像质量评价模型,用于在拍摄过程中对采集到的预览图像进行图像质量评价,根据图像质量评价结果自动选择图像质量最优的一帧预览图像,避免用户自主控制拍摄时由于用户原因导致的拍摄效果不佳的问题,提高电子设备的拍摄效果。
附图说明
图1为本申请实施例中拍摄控制方法的第一流程示意图;
图2为本申请实施例中拍摄预览界面的第一示意图;
图3为本申请实施例中拍摄预览界面的第二示意图;
图4为本申请实施例中拍摄控制方法的第二流程示意图;
图5为本申请实施例中拍摄控制方法的第三流程示意图;
图6为本申请实施例中IQA模型构建原理示意图;
图7为本申请实施例中IQA模型的检测原理示意图;
图8为本申请实施例中相机框架示意图;
图9为本申请实施例中拍摄控制装置的组成结构示意图;
图10为本申请实施例中电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容,下面结合附图对本申请实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本申请实施例。
本申请实施例提供了一种拍摄控制方法,可以应用于具备拍摄功能的电子设备,如图1所示,该方法具体可以包括:
步骤101:对目标拍摄场景进行拍摄时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
具体的,用户使用具备拍摄功能的电子设备对目标拍摄场景进行拍摄,当用户对电子设备执行启动拍摄操作生成启动控制指令,电子设备响应启动控制指令开始采集预览图像。
实际应用中,启动控制指令可以为按键指令、触控指令、语音指令。具体的,获取控制指令的方法可以有:获取按键输入单元采集的按键指令;获取触控单元采集的触控指令;获取语音采集单元采集的语音指令。
实际应用中,电子设备可以为智能手机、平板电脑、便携式多媒体播放器、虚拟现实设备和可穿戴设备等。
步骤102:将所述预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到所述预览图像的图像质量评价结果;
在一些实施例中,该方法还包括:基于深度学习算法构建初始评价模型;获取包含至少一类样本图像的训练样本集;其中,每一类样本图像对应一种拍摄场景;利用所述训练样本集训练所述初始评价模型,得到训练好的所述图像质量评价模型。
这里,初始评价模型可以使用针对移动终端的轻量级解决方案,比如:mobilenet-V3、faster-rcnn、yolov3等,并基于python、tensorflow lite等开元库来实现。
这里,训练样本集可以直接利用现有的图像数据库得到,利用现有图像数据库中大量资源训练模型,能够得到应用场景更广的图像质量评价模型。比如, ImageNet数据库、PASCAL VOC数据库、AFLW人脸数据库、LFW人脸数据库等。
在一些实施例中,所述获取包含至少一类样本图像的训练样本集,包括:获取满足预设样本条件的至少一类样本图像;其中,所述预设样本条件包括以下至少一种:人脸特征质量高于第一阈值,图像质量高于第二阈值;利用至少一类样本图像组成所述训练样本集。
也就是说,由于训练样本集的选择也会影响模型训练的准确性,因此,对于一些用户经常使用的拍摄场景或者用户最关注的拍摄场景,比如,自拍场景或人像拍摄场景,可以选择高质量的样本图像,即利用高质量的样本图像作为参考进行模型训练,则训练好的图像质量评价模型会对这一类拍摄场景有着更高的质量评价标准,可以从预览图像中筛选出更优的图像。
实际应用中,人脸特征质量用于表征人脸五官的表现情况,比如,根据人脸、闭眼情况、微笑、轻吻等一系列标准选择人脸特征质量高于第一阈值的样本图像,第一阈值是根据人脸特征质量的评价标准量化后得到的一个或多个阈值。
图像质量用于表征图像整体质量,比如,根据图像的清晰度、3A状态(白平衡、曝光时间、焦距)等图像参数进行图像质量评价,选择图像质量高于第二阈值的样本图像,第二阈值是根据图像质量的评价标准量化后得到的一个或多个阈值。
在一些实施例中,该方法还包括:控制显示单元显示所述预览图像的图像质量评价结果。
也就是说,评价完预览图像的图像质量之后,还可以实时显示图像质量评价结果,以提醒用户当前预览图像的质量高低,作为用户调整拍摄姿势或拍摄参数的一个依据,通过增加人机互动,提高拍摄效率。
图2为本申请实施例中拍摄预览界面的第一示意图,如图2所示,当用户开启摄像头进行自拍时,用户可以选择普通自拍模式或者自拍优选模式,普通自拍模式是用户自主控制的传统拍摄模式,自拍优选模式则是同本申请技术方案生成的自动选择最优图像质量的模式,电子设备的默认模式可以为普通自拍模式,通过用户可以通过点击切换按键切换到自拍优选模式,默认模式也可为自拍优选模式。在自拍优选模式下用户可以通过点击显示界面下方拍摄按钮生成启动控制指令,开始采集预览图像,并利用图像质量评价模型评价预览图像的质量。
图3为本申请实施例中拍摄预览界面的第二示意图,如图3所示,当用户点击拍摄按钮时,开始对预览图像进行评价处理,预览界面可以通过显示转圈标志表示正在评价中。图像质量评价结束后,在预览界面右侧以伸缩进度条的形式直观展示当前预览图像是否接近自拍优化门限值,若超过门限值用户可以再次点击拍摄按钮完成拍摄,或者自动抓拍这一帧图像并保存。
步骤103:基于所述预览图像的图像质量评价结果,从所述至少一帧预览图像中确定针对所述目标拍摄场景的目标拍摄图像。
具体的,可以选择最优图像质量评价结果对应的预览图像作为目标拍摄图像,并保存。
这里,步骤101至步骤103的执行主体可以为电子设备的处理器,该电子设备可以为智能手机、可穿戴设备(包括手表、手环、智能眼镜等)、平板电脑、虚拟现实设备、车载设备等。
采用上述技术方案,只需在现有的电子设备中增加图像质量评价模型,用于在拍摄过程中对采集到的预览图像进行图像质量评价,根据图像质量评价结果自动选择图像质量最优的一帧预览图像,避免用户自主控制拍摄时由于用户原因导致的拍摄效果不佳的问题,提高电子设备的拍摄效果。
在上述实施例的基础上,对本申请实施例提供拍摄控制方法进行进一步的举例说明,如图4所示,该方法具体可以包括:
步骤401:检测到启动控制指令时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
实际应用中,启动控制指令可以为按键指令、触控指令、语音指令。具体的,获取控制指令的方法可以有:获取按键输入单元采集的按键指令;获取触控单元采集的触控指令;获取语音采集单元采集的语音指令。
步骤402:将所述预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到所述预览图像的图像质量评价结果;
在一些实施例中,该方法还包括:基于深度学习算法构建初始评价模型;获取包含至少一类样本图像的训练样本集;其中,每一类样本图像对应一种拍摄场景;利用所述训练样本集训练所述初始评价模型,得到训练好的所述图像质量评价模型。
这里,初始评价模型可以使用针对移动终端的轻量级解决方案,比如:mobilenet-V3、faster-rcnn、yolov3等,并基于python、tensorflow lite等开元库来实现。
这里,训练样本集可以直接利用现有的图像数据库得到,利用现有图像数据库中大量资源训练模型,能够得到应用场景更广的图像质量评价模型。比如, ImageNet数据库、PASCAL VOC数据库、AFLW人脸数据库、LFW人脸数据库等。
在一些实施例中,所述获取包含至少一类样本图像的训练样本集,包括:获取满足预设样本条件的至少一类样本图像;其中,所述预设样本条件包括以下至少一种:人脸特征质量高于第一阈值,图像质量高于第二阈值;利用至少一类样本图像组成所述训练样本集。
也就是说,由于训练样本集的选择也会影响模型训练的准确性,因此,对于一些用户经常使用的拍摄场景或者用户最关注的拍摄场景,比如,自拍场景或人像拍摄场景,可以选择高质量的样本图像,即利用高质量的样本图像作为参考进行模型训练,则训练好的图像质量评价模型会对这一类拍摄场景有着更高的质量评价标准,可以从预览图像中筛选出更优的图像。
实际应用中,人脸特征质量用于表征人脸五官的表现情况,比如,根据人脸、闭眼情况、微笑、轻吻等一系列标准选择人脸特征质量高于第一阈值的样本图像,第一阈值是根据人脸特征质量的评价标准量化后得到的一个或多个阈值。
图像质量用于表征图像整体质量,比如,根据图像的清晰度、3A状态(白平衡、曝光时间、焦距)等图像参数来选择图像质量高于第二阈值的样本图像,第二阈值是根据图像质量的评价标准量化后得到的一个或多个阈值。
在一些实施例中,所述获取包含至少一类样本图像的训练样本集,包括:获取满足预设样本条件的至少一类样本图像;对样本图像进行数据增强得到更多样本图像;利用增强后的样本图像建立所述训练样本集。
这里,为了增加数据量,缓解网络过拟合,对样本图像进行增强处理,可以获得更多的训练样本,在一张图像的基础上可以得到多张图像,扩增样本数量,能够提高模型训练效率。增强处理包括:对给定样本图像进行随机裁剪、水平翻转、尺寸缩放、色调调整、亮度调整、饱和度调整等预处理。
进一步的,在利用训练好的图像质量评价模型评价预览图像质量时,输出的图像质量评价结果也可以包含人脸特征质量的评价结果和/或图像质量的评价结果。
在一些实施例中,该方法还包括:控制显示单元显示所述预览图像的图像质量评价结果。
也就是说,评价完预览图像的图像质量之后,还可以实时显示图像质量评价结果,以提醒用户当前预览图像的质量高低,可以作为用户调整拍摄姿势或拍摄参数的一个依据,通过增加人机互动,提高拍摄效率。
步骤403:基于所述预览图像的图像质量评价结果,选择最优图像质量评价结果;
实际应用中,当至少一帧预览图像为一帧预览图像时,最优图像质量评价结果即为该帧预览图像的评价结果。也就是说,依次对采集的预览图像进行评价,当检测到当前帧预览图像的评价结果满足图像优选条件时,直接将当前帧预览图像作为目标拍摄图像。
当至少一帧预览图像包含至少两帧预览图像时,根据对应的至少两个图像质量评价结果选择最优图像质量评价结果。
示例性的,当图像质量评价结果包括人脸特征质量的评价结果和/或图像质量的评价结果,选择最优人脸特征质量,或者最优图像质量,或者图像综合质量最优的作为最优图像质量评价结果。
步骤404:判断最优图像质量评价结果是否满足图像优选条件,如果是,执行步骤405;如果否,返回步骤406;
在一些实施例中,所述图像优选条件包括至少一项图像质量评价标准,其中,不同图像质量评价标准用于评价不同评价结果;相应的,所述判断所述最优图像质量评价结果是否满足图像优选条件,包括:判断最优图像质量评价结果中的至少一种评价结果是否满足对应的图像质量评价标准;当每种评价结果均满足对应的图像质量评价标准时,确定最优图像质量评价结果满足所述图像优选条件;当存在部分评价结果不满足对应的图像质量评价标准时,确定最优图像质量评价结果不满足所述图像优选条件。也就是说,根据图像优选条件中规定的至少一项图像质量评价标准,判断最优图像质量评价结果是否满足全部的评价标准,当全部满足时,预览图像可以作为本次拍摄得到的目标拍摄图像;否则,重新采集预览图像。
示例性的,一种图像质量评价标准可以为人脸特征质量高于第一阈值,另一种图像质量评价标准可以为图像质量高于第二阈值,另一种图像质量评价标准可以为图像综合质量高于第三阈值。这里,图像综合质量为综合考虑了人脸特征质量和图像质量后的一种评价结果,比如对人脸特征质量和图像质量的评价结果进行加权运算得到的。相应的,图像质量评价结果可以包括以下至少一项:人脸特征质量评价结果、图像质量评价结果和图像综合质量评价结果。
示例性的,图像质量评价结果包括图像综合质量评分,图像综合质量评分是图像综合质量的量化值。比如,图像综合质量评分是从0-100分,那么其对应的图像质量评价标准可以为图像综合质量评分大于95分,大于95分则认为预览图像为高质量图像,小于或等于95分则认为预览图像为低质量图像。
步骤405:确定所述最优图像质量评价结果对应的预览图像为所述目标拍摄图像;
在一些实施例中,所述最优图像质量评价结果满足图像优选条件时,该方法还包括:生成拍摄控制指令;响应所述拍摄控制指令,控制显示单元显示所述目标拍摄图像,并保存所述目标拍摄图像。
步骤406:控制图像采集单元继续采集所述目标拍摄场景的至少一帧预览图像,并返回步骤402。
也就是说,对于当前采集的预览图像,通过合理的设定图像优选条件,为用户选择最优的预览图像作为本次拍摄操作得到图像。当前预览图像不满足图像优选条件时,则说明当前的拍摄姿势或拍摄参数不合理,需要重新采集预览图像进行判断。
在一些实施例中,所述最优图像质量评价结果不满足图像优选条件时,该方法还包括:生成拍摄提示信息并输出,以提示用户调整拍摄信息;其中,所述拍摄信息包括以下至少一项:图像采集单元的拍摄参数、图像采集单元的拍摄姿态、拍摄对象姿态。
也就是说,用户可调整的拍摄信息具体可以包括多种。比如,拍摄参数包括:快门、光圈、感光度、是否开闪光灯等,图像采集单元的拍摄姿态包括相机的拍摄位置、拍摄高度、旋转角度,拍摄对象姿态可以包括:人物或动物的整体姿态、面部五官姿态。
实际应用中,不同拍摄信息影响图像质量的类型也不同。比如,拍摄对象姿态会影响人脸特征质量,图像采集单元的拍摄参数和拍摄姿态会影响图像整体质量。因此,可以根据拍摄信息与评价结果的影响关系,调整影响评价结果的拍摄信息。
具体的,当最优图像质量评价结果不满足图像优选条件,所述生成拍摄提示信息并输出包括:图像优选条件包括至少一项图像质量评价标准,确定不满足图像质量评价标准的目标评价结果;基于拍摄信息与评价结果的影响关系,针对目标评价结果生成对应的拍摄提示信息。
示例性的,当人脸质量低于第一阈值时,确定影响人脸质量的因素为拍摄对象处于闭眼状态,则提示信息可以提示用户睁眼;或者影响人脸质量的因素人物面部被遮挡,提示用户调整人物位置。
当图像质量低于第二阈值时,确定影响图像质量的因素为相机姿态偏离水平姿态范围,则提示信息可以提示用户调整相机角度;或者确定影响图像质量的因素为图像亮度,则提示信息可以提示用户开启闪光灯。
通过增加这种用户交互方式,能够及时提醒用户对不合理的拍摄信息。实际应用中,提示信息还可以提示具体的调整类别。
采用上述技术方案,只需在现有的电子设备中增加图像质量评价模型,用于在拍摄过程中对采集到的预览图像进行图像质量评价,根据图像质量评价结果自动选择图像质量最优的一帧预览图像,避免用户自主控制拍摄时由于用户原因导致的拍摄效果不佳的问题,提高电子设备的拍摄效果。
在上述实施例的基础上,对本申请实施例提供拍摄控制方法进行进一步的举例说明,如图5所示,该方法具体可以包括:
步骤501:用户点击拍摄按钮以启动拍摄;
具体的,打开相机进入自拍优选模式,用户点击拍摄按钮启动拍摄。
步骤502:控制摄像头采集预览图像;
具体的,摄像头采集预览图像,并且将预览图像实时显示给用户。
步骤503:将预览图像送入图像质量评价(Image Quality Assessment,IQA) 模型,得到图像质量评分;
实际应用中,该方法还包括:获取满足预设样本条件的至少一类样本图像;其中,所述预设样本条件包括以下至少一种:人脸特征质量高于第一阈值,图像质量高于第二阈值;利用至少一类样本图像组成所述训练样本集;利用训练样本集进行模型训练,得到IQA模型。
图6为本申请实施例中IQA模型构建原理示意图,如图6所示,利用python、tensorflow lite等开元库,以及mobilenet-V3和图像内容模型(Image Content Model,ICM)这样的轻量级网络进行模型构建,并利用预先获取的高质量训练样本集对模型进行训练,得到训练好的IQA模型。
图7为本申请实施例中IQA模型的检测原理示意图,如图7所示,相机 APP采集预览图像帧,在预览界面上显示预览图像,将预览图像发送到处理单元,处理单元运行IQA模型,对预览图像进行图像质量评价,输出图像质量评价结果,根据图像质量评价结果去对相机APP的拍摄功能进行控制。
实际应用中,IQA模型在得到预览图像的评价结果后,还可以将评价结果实时显示在对应预览图像的旁边,以提醒用户当前预览图像的质量高低,可以作为用户调整拍摄姿势或拍摄参数的一个依据,通过增加人机互动,提高拍摄效率。
步骤504:判断图像质量评分是否大于评分阈值,如果是,执行步骤505;如果否,返回步骤502;
步骤505:生成拍摄控制指令;
步骤506:响应拍摄控制指令,控制显示单元显示目标拍摄图像,并保存目标拍摄图像。
示例性的,相机APP处于自拍优选模式时,控制摄像头采集预览图像并保存对应的时间戳,IQA模型对预览图像进行评分,得到的人脸特征评分结果高于第一阈值(比如,第一阈值为95分,满分为100分)时下发拍摄控制指令,保存对应时间戳的那一帧预览图像,完成一次拍照。
图8为本申请实施例中相机框架示意图,如图8所示,相机框架中包括相机预处理进程(Camera Process)、相机服务进程(Camera Sever)和相机硬件抽象层(CameraHardware Abstraction Layer,Camera HAL)。相机预处理进程包括相机APP和算法处理服务单元(Algorithm Process Service,APS)。其中,相机APP具体包括图片处理子单元和录像处理子单元,以及与APS单元交互的 APS适配器和APS服务单元,相机APP可以对APS进行初始化。APS单元包括预处理单元,预处理单元包括图像质量评价(Image QualityAssessment,IQA) 模型和自动场景检测(Automatic scene detection,ASD)模型,IQA模型则是用于对预览图像进行图像质量评价得到评价结果,根据评价结果可以确定最优图像质量的预览图像,ASD模型用于自动识别拍摄场景,指示调整摄像头的拍摄参数。CameraProcess向Camera Sever发送捕捉请求(Capture Request),并接收Camera Sever的捕捉结果(Capture Result),Camera Sever与Camera HAL 之间通过接口定义语言进行交互,实现相机APP能够与Camera硬件正确的协调工作,从而使保证Camera的所有功能能够正常进行工作。
本申请实施例中还提供了一种拍摄控制装置,如图9所示,该装置包括:
控制单元901,用于对目标拍摄场景进行拍摄时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
处理单元902,用于将所述预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到所述预览图像的图像质量评价结果;
确定单元903,用于基于所述预览图像的图像质量评价结果,从所述至少一帧预览图像中确定针对所述目标拍摄场景的目标拍摄图像。
在一些实施例中,控制单元901,具体用于检测到启动控制指令时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
相应的,确定单元903,具体用于基于所述预览图像的图像质量评价结果,选择最优图像质量评价结果;判断所述最优图像质量评价结果是否满足图像优选条件;所述最优图像质量评价结果满足图像优选条件时,确定所述最优图像质量评价结果对应的预览图像为所述目标拍摄图像;所述最优图像质量评价结果不满足图像优选条件时,指示控制单元901继续控制图像采集单元继续采集所述目标拍摄场景的至少一帧预览图像,并输入到所述图像质量评价模型中。
在一些实施例中,所述图像优选条件包括至少一项图像质量评价标准,其中,不同图像质量评价标准用于评价不同评价结果;确定单元903,具体用于判断最优图像质量评价结果中的至少一种评价结果是否满足对应的图像质量评价标准;当每种评价结果均满足对应的图像质量评价标准时,确定最优图像质量评价结果满足所述图像优选条件;当存在部分评价结果不满足对应的图像质量评价标准时,确定最优图像质量评价结果不满足所述图像优选条件。
在一些实施例中,确定单元903,还用于在所述最优图像质量评价结果满足图像优选条件时,生成拍摄控制指令;响应所述拍摄控制指令,控制显示单元显示所述目标拍摄图像,并保存所述目标拍摄图像。
在一些实施例中,确定单元903,还用于在所述最优图像质量评价结果不满足图像优选条件时,生成拍摄提示信息并输出,以提示用户调整拍摄信息;其中,所述拍摄信息包括以下至少一项:图像采集单元的拍摄参数、图像采集单元的拍摄姿态、拍摄对象姿态。
在一些实施例中,处理单元902,还用于在所述得到所述预览图像的图像质量评价结果之后,控制显示单元显示所述预览图像的图像质量评价结果。
在一些实施例中,该装置还包括:构建单元(图9中未示出),还用于基于深度学习算法构建初始评价模型;获取包含至少一类样本图像的训练样本集;其中,每一类样本图像对应一种拍摄场景;利用所述训练样本集训练所述初始评价模型,得到训练好的所述图像质量评价模型。
在一些实施例中,构建单元,具体用于获取满足预设样本条件的至少一类样本图像;其中,所述预设样本条件包括以下至少一种:人脸特征质量高于第一阈值,图像质量高于第二阈值;利用至少一类样本图像组成所述训练样本集。
基于上述拍摄控制装置中各单元的硬件实现,本申请实施例还提供了电子设备,如图10所示,该电子设备包括:处理器1001和配置为存储能够在处理器上运行的计算机程序的存储器1002;
其中,处理器1001配置为运行计算机程序时,执行前述实施例中的方法步骤。
当然,实际应用时,如图10所示,该电子设备中的各个组件通过总线系统1003耦合在一起。可理解,总线系统1003用于实现这些组件之间的连接通信。总线系统1003除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图10中将各种总线都标为总线系统1003。
在实际应用中,上述处理器可以为特定用途集成电路(ASIC,ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD,Digital Signal ProcessingDevice)、可编程逻辑装置(PLD,Programmable Logic Device)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory),例如随机存取存储器(RAM,Random-Access Memory);或者非易失性存储器(non-volatile memory),例如只读存储器(ROM,Read-Only Memory),快闪存储器(flash memory),硬盘(HDD,Hard Disk Drive)或固态硬盘(SSD,Solid-State Drive);或者上述种类的存储器的组合,并向处理器提供指令和数据。
采用上述技电子设备,只需在现有的电子设备中增加图像质量评价模型,用于在拍摄过程中对采集到的预览图像进行图像质量评价,根据图像质量评价结果自动选择图像质量最优的一帧预览图像,避免用户自主控制拍摄时由于用户原因导致的拍摄效果不佳的问题,提高电子设备的拍摄效果。
本申请实施例还提供了一种计算机可读存储介质,用于存储计算机程序。
可选的,该计算机可读存储介质可应用于本申请实施例中的任意一种电子设备中,并且该计算机程序使得计算机执行本申请实施例的各个方法中由处理器实现的相应流程,为了简洁,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器 (ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种拍摄控制方法,其特征在于,所述方法包括:
对目标拍摄场景进行拍摄时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
将所述预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到所述预览图像的图像质量评价结果;
基于所述预览图像的图像质量评价结果,从所述至少一帧预览图像中确定针对所述目标拍摄场景的目标拍摄图像。
2.根据权利要求1所述的方法,其特征在于,所述控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像,包括:
检测到启动控制指令时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
所述基于所述预览图像的图像质量评价结果,从所述至少一帧预览图像中确定针对所述目标拍摄场景的目标拍摄图像,包括:
基于所述预览图像的图像质量评价结果,选择最优图像质量评价结果;
判断所述最优图像质量评价结果是否满足图像优选条件;
所述最优图像质量评价结果满足所述图像优选条件时,确定所述最优图像质量评价结果对应的预览图像为所述目标拍摄图像;
所述最优图像质量评价结果不满足所述图像优选条件时,控制所述图像采集单元继续采集所述目标拍摄场景的至少一帧预览图像,并输入到所述图像质量评价模型中。
3.根据权利要求2所述的方法,其特征在于,所述图像优选条件包括至少一项图像质量评价标准,其中,不同图像质量评价标准用于评价不同评价结果;
所述判断所述最优图像质量评价结果是否满足图像优选条件,包括:
判断所述最优图像质量评价结果中的至少一种评价结果是否满足对应的图像质量评价标准;
当每种评价结果均满足对应的图像质量评价标准时,确定所述最优图像质量评价结果满足所述图像优选条件;
当存在部分评价结果不满足对应的图像质量评价标准时,确定所述最优图像质量评价结果不满足所述图像优选条件。
4.根据权利要求2所述的方法,其特征在于,所述最优图像质量评价结果满足所述图像优选条件时,所述方法还包括:
生成拍摄控制指令;
响应所述拍摄控制指令,控制显示单元显示所述目标拍摄图像,并保存所述目标拍摄图像。
5.根据权利要求2所述的方法,其特征在于,所述最优图像质量评价结果不满足所述图像优选条件时,所述方法还包括:
生成拍摄提示信息并输出,以提示用户调整拍摄信息;其中,所述拍摄信息包括以下至少一项:图像采集单元的拍摄参数、图像采集单元的拍摄姿态、拍摄对象姿态。
6.根据权利要求1所述的方法,其特征在于,所述得到所述预览图像的图像质量评价结果之后,所述方法还包括:
控制显示单元显示所述预览图像的图像质量评价结果。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于深度学习算法构建初始评价模型;
获取包含至少一类样本图像的训练样本集;其中,每一类样本图像对应一种拍摄场景;
利用所述训练样本集训练所述初始评价模型,得到训练好的所述图像质量评价模型。
8.根据权利要求7所述的方法,其特征在于,所述获取包含至少一类样本图像的训练样本集,包括:
获取满足预设样本条件的至少一类样本图像;其中,所述预设样本条件包括以下至少一种:人脸特征质量高于第一阈值,图像质量高于第二阈值;
利用至少一类样本图像组成所述训练样本集。
9.一种拍摄控制装置,其特征在于,所述装置包括:
控制单元,用于对目标拍摄场景进行拍摄时,控制图像采集单元采集所述目标拍摄场景的至少一帧预览图像;
处理单元,用于将所述预览图像输入到基于深度学习算法构建的图像质量评价模型中,得到所述预览图像的图像质量评价结果;
确定单元,用于基于所述预览图像的图像质量评价结果,从所述至少一帧预览图像中确定针对所述目标拍摄场景的目标拍摄图像。
10.一种电子设备,其特征在于,所述电子设备包括:处理器和配置为存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器配置为运行所述计算机程序时,执行权利要求1至8任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010768972.0A CN112019739A (zh) | 2020-08-03 | 2020-08-03 | 一种拍摄控制方法、装置、电子设备及存储介质 |
PCT/CN2021/104515 WO2022028184A1 (zh) | 2020-08-03 | 2021-07-05 | 一种拍摄控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010768972.0A CN112019739A (zh) | 2020-08-03 | 2020-08-03 | 一种拍摄控制方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112019739A true CN112019739A (zh) | 2020-12-01 |
Family
ID=73499263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010768972.0A Pending CN112019739A (zh) | 2020-08-03 | 2020-08-03 | 一种拍摄控制方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112019739A (zh) |
WO (1) | WO2022028184A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095157A (zh) * | 2021-03-23 | 2021-07-09 | 深圳市创乐慧科技有限公司 | 一种基于人工智能的图像拍摄方法、装置及相关产品 |
CN113179371A (zh) * | 2021-04-21 | 2021-07-27 | 新疆爱华盈通信息技术有限公司 | 一种拍摄方法、装置及抓拍系统 |
WO2022028184A1 (zh) * | 2020-08-03 | 2022-02-10 | RealMe重庆移动通信有限公司 | 一种拍摄控制方法、装置、电子设备及存储介质 |
CN114640798A (zh) * | 2022-05-09 | 2022-06-17 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机存储介质 |
CN115984720A (zh) * | 2022-12-19 | 2023-04-18 | 山东和同信息科技股份有限公司 | 一种基于大数据技术的供热管网管理系统 |
CN116320716A (zh) * | 2023-05-25 | 2023-06-23 | 荣耀终端有限公司 | 图片采集方法、模型训练方法及相关装置 |
CN116916151A (zh) * | 2023-09-12 | 2023-10-20 | 荣耀终端有限公司 | 拍摄方法、电子设备和存储介质 |
CN117097989A (zh) * | 2023-10-18 | 2023-11-21 | 北京道仪数慧科技有限公司 | 一种图像优选的处理方法和装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116347212B (zh) * | 2022-08-05 | 2024-03-08 | 荣耀终端有限公司 | 一种自动拍照方法及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618640A (zh) * | 2014-12-30 | 2015-05-13 | 广东欧珀移动通信有限公司 | 一种拍照方法及装置 |
CN105635614A (zh) * | 2015-12-23 | 2016-06-01 | 小米科技有限责任公司 | 录像照相方法、装置及终端电子设备 |
CN106331504A (zh) * | 2016-09-30 | 2017-01-11 | 北京小米移动软件有限公司 | 拍摄方法及装置 |
CN107832675A (zh) * | 2017-10-16 | 2018-03-23 | 广东欧珀移动通信有限公司 | 拍照处理方法及相关产品 |
CN108174185A (zh) * | 2016-12-07 | 2018-06-15 | 中兴通讯股份有限公司 | 一种拍照方法、装置及终端 |
CN108234870A (zh) * | 2017-12-27 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
WO2019174544A1 (zh) * | 2018-03-14 | 2019-09-19 | Oppo广东移动通信有限公司 | 图像合成的方法、装置、计算机存储介质及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11269892B2 (en) * | 2017-11-01 | 2022-03-08 | Adobe Inc. | Ranking images based on image effects |
CN110839129A (zh) * | 2018-08-17 | 2020-02-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及移动终端 |
CN111182212B (zh) * | 2019-12-31 | 2021-08-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质以及电子设备 |
CN112019739A (zh) * | 2020-08-03 | 2020-12-01 | RealMe重庆移动通信有限公司 | 一种拍摄控制方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-03 CN CN202010768972.0A patent/CN112019739A/zh active Pending
-
2021
- 2021-07-05 WO PCT/CN2021/104515 patent/WO2022028184A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618640A (zh) * | 2014-12-30 | 2015-05-13 | 广东欧珀移动通信有限公司 | 一种拍照方法及装置 |
CN105635614A (zh) * | 2015-12-23 | 2016-06-01 | 小米科技有限责任公司 | 录像照相方法、装置及终端电子设备 |
CN106331504A (zh) * | 2016-09-30 | 2017-01-11 | 北京小米移动软件有限公司 | 拍摄方法及装置 |
CN108174185A (zh) * | 2016-12-07 | 2018-06-15 | 中兴通讯股份有限公司 | 一种拍照方法、装置及终端 |
CN107832675A (zh) * | 2017-10-16 | 2018-03-23 | 广东欧珀移动通信有限公司 | 拍照处理方法及相关产品 |
CN108234870A (zh) * | 2017-12-27 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
WO2019174544A1 (zh) * | 2018-03-14 | 2019-09-19 | Oppo广东移动通信有限公司 | 图像合成的方法、装置、计算机存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
张彬,于欣妍,朱永贵: "《图像复原优化算法》", 31 August 2019 * |
李雷达: "《图像质量评价中的特征提取方法与应用》", 30 June 2015 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022028184A1 (zh) * | 2020-08-03 | 2022-02-10 | RealMe重庆移动通信有限公司 | 一种拍摄控制方法、装置、电子设备及存储介质 |
CN113095157A (zh) * | 2021-03-23 | 2021-07-09 | 深圳市创乐慧科技有限公司 | 一种基于人工智能的图像拍摄方法、装置及相关产品 |
CN113179371A (zh) * | 2021-04-21 | 2021-07-27 | 新疆爱华盈通信息技术有限公司 | 一种拍摄方法、装置及抓拍系统 |
CN114640798A (zh) * | 2022-05-09 | 2022-06-17 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机存储介质 |
CN114640798B (zh) * | 2022-05-09 | 2022-10-04 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机存储介质 |
CN115984720B (zh) * | 2022-12-19 | 2024-04-12 | 山东和同信息科技股份有限公司 | 一种基于大数据技术的供热管网管理系统 |
CN115984720A (zh) * | 2022-12-19 | 2023-04-18 | 山东和同信息科技股份有限公司 | 一种基于大数据技术的供热管网管理系统 |
CN116320716A (zh) * | 2023-05-25 | 2023-06-23 | 荣耀终端有限公司 | 图片采集方法、模型训练方法及相关装置 |
CN116320716B (zh) * | 2023-05-25 | 2023-10-20 | 荣耀终端有限公司 | 图片采集方法、模型训练方法及相关装置 |
CN116916151A (zh) * | 2023-09-12 | 2023-10-20 | 荣耀终端有限公司 | 拍摄方法、电子设备和存储介质 |
CN116916151B (zh) * | 2023-09-12 | 2023-12-08 | 荣耀终端有限公司 | 拍摄方法、电子设备和存储介质 |
CN117097989A (zh) * | 2023-10-18 | 2023-11-21 | 北京道仪数慧科技有限公司 | 一种图像优选的处理方法和装置 |
CN117097989B (zh) * | 2023-10-18 | 2024-01-02 | 北京道仪数慧科技有限公司 | 一种图像优选的处理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2022028184A1 (zh) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112019739A (zh) | 一种拍摄控制方法、装置、电子设备及存储介质 | |
US9961273B2 (en) | Mobile terminal and shooting method thereof | |
CN101325658B (zh) | 成像设备和成像方法 | |
JP4519708B2 (ja) | 撮影装置および方法並びにプログラム | |
KR100924685B1 (ko) | 촬상 장치 및 그 제어 방법 | |
JP5136669B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6899002B2 (ja) | 画像処理方法、装置、コンピュータ読み取り可能記憶媒体及び電子機器 | |
US20170161553A1 (en) | Method and electronic device for capturing photo | |
CN108810406B (zh) | 人像光效处理方法、装置、终端及计算机可读存储介质 | |
JP2008131204A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
WO2021169686A1 (zh) | 一种拍摄控制方法、装置及计算机可读存储介质 | |
WO2019213818A1 (zh) | 拍摄控制方法及电子装置 | |
JP2008219449A (ja) | 撮像装置およびその制御方法 | |
CN107424117B (zh) | 图像美颜方法、装置、计算机可读存储介质和计算机设备 | |
CN106815803B (zh) | 图片的处理方法及装置 | |
CN111640165A (zh) | Ar合影图像的获取方法、装置、计算机设备及存储介质 | |
CN111771372A (zh) | 相机拍摄参数的确定方法和装置 | |
CN108093170B (zh) | 用户拍照方法、装置及设备 | |
US10769416B2 (en) | Image processing method, electronic device and storage medium | |
US20130308829A1 (en) | Still image extraction apparatus | |
JP5370555B2 (ja) | 撮像装置、撮像方法及びプログラム | |
CN108259767B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP2022120681A (ja) | 画像処理装置および画像処理方法 | |
JP2012257112A (ja) | 撮像装置およびプログラム | |
CN108495038B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201201 |
|
RJ01 | Rejection of invention patent application after publication |