CN108495050B - 拍照方法、装置、终端及计算机可读存储介质 - Google Patents

拍照方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN108495050B
CN108495050B CN201810626707.1A CN201810626707A CN108495050B CN 108495050 B CN108495050 B CN 108495050B CN 201810626707 A CN201810626707 A CN 201810626707A CN 108495050 B CN108495050 B CN 108495050B
Authority
CN
China
Prior art keywords
frame image
photographing
target object
shooting
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810626707.1A
Other languages
English (en)
Other versions
CN108495050A (zh
Inventor
张光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810626707.1A priority Critical patent/CN108495050B/zh
Priority to CN202010785958.1A priority patent/CN111866394A/zh
Publication of CN108495050A publication Critical patent/CN108495050A/zh
Priority to PCT/CN2019/090351 priority patent/WO2019237992A1/zh
Application granted granted Critical
Publication of CN108495050B publication Critical patent/CN108495050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本申请属于拍照技术领域,尤其涉及一种拍照方法、装置、终端及计算机可读存储介质,其中,所述方法包括:获取预览帧图像,并检测所述预览帧图像中包含的目标对象;获取所述目标对象的特征信息,并根据所述特征信息计算拍照帧图像的拍摄参数;接收拍照指令,所述拍照指令携带有所述拍摄参数;根据所述拍照指令获取与所述拍摄参数对应的照片;实现了在照片拍摄时,实时根据目标对象的特征信息进行拍摄,得到最佳拍摄效果的照片,有效避免了拍摄后期无法通过照片的后期加工处理得到符合用户需求的照片的技术问题,提高了照片的拍摄质量。

Description

拍照方法、装置、终端及计算机可读存储介质
技术领域
本申请属于拍照技术领域,尤其涉及一种拍照方法、装置、终端及计算机可读存储介质。
背景技术
随着图像处理技术的不断发展,图像的后期加工处理已经日趋成熟,例如,图像去噪处理、分辨率重建、背景虚化、风格变换等等。
但是,图像后期加工处理仍然存在一定局限性,例如,对于曝光不足的照片,或者失焦的照片,通常无法通过对照片进行加工处理得到符合用户需求的照片。
发明内容
本申请实施例提供一种拍照方法、装置、终端及计算机可读存储介质,可以解决无法通过对照片进行加工处理得到符合用户需求的照片的技术问题。
本申请实施例第一方面提供一种拍照方法,包括:
获取预览帧图像,并检测所述预览帧图像中包含的目标对象;
获取所述目标对象的特征信息,并根据所述特征信息计算拍照帧图像的拍摄参数;
接收拍照指令,所述拍照指令携带有所述拍摄参数;
根据所述拍照指令获取与所述拍摄参数对应的照片。
本申请实施例第二方面提供一种拍照装置,包括:
检测单元,用于获取预览帧图像,并检测所述预览帧图像中包含的目标对象;
计算单元,用于获取所述目标对象的特征信息,并根据所述特征信息计算拍照帧图像的拍摄参数;
接收单元,用于接收拍照指令,所述拍照指令携带有所述拍摄参数;
拍照单元,用于根据所述拍照指令获取与所述拍摄参数对应的照片。
本申请实施例第三方面提供一种终端,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例中,在拍照前的拍照过程中,通过实时检测预览帧图像中包含的目标对象,并获取所述目标对象的特征信息,以便根据所述特征信息计算出拍照帧图像的拍摄参数,实现在接收到拍照指令时,能够按照所述拍照参数进行拍照,实现了在照片拍摄时,实时根据目标对象的特征信息进行拍摄,得到最佳拍摄效果的照片,有效避免了拍摄后期无法通过照片的后期加工处理得到符合用户需求的照片的技术问题,提高了照片的拍摄质量。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种拍照方法的第一实现流程示意图;
图2是本申请实施例提供的一种拍照方法的第二实现流程示意图;
图3是本申请实施例提供的一种拍照方法步骤102的第一具体实现流程示意图;
图4是本申请实施例提供的一种拍照方法步骤102的第二具体实现流程示意图;
图5是本申请实施例提供的饱和度标签图片示意图;
图6是本申请实施例提供的拍照装置的结构示意图;
图7是本申请实施例提供的终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
为了说明本申请上述的技术方案,下面通过具体实施例来进行说明。
在安卓5.0之前,摄像头拍摄参数的手动控制需要更改系统才能实现,而且相机的应用程序接口API Camera1.0也并不友好,Camera1.0类似一个高级控制功能的黑盒子,对于摄像头拍摄的每一帧图像的拍摄参数并不关心。从安卓5.0开始,可以完全控制安卓设备相机的新应用程序接口API Camera2.0被引入进来,实现了对摄像头拍摄的每一帧图像的拍摄参数进行控制,使得摄像头具有更强的灵活性。
本申请实施例中,在拍照前的拍照过程中,通过实时检测预览帧图像中包含的目标对象,并获取所述目标对象的特征信息,以便根据上述特征信息计算出拍照帧图像的拍摄参数,同时,在接收到拍照指令时,设置所述摄像头的拍摄参数为根据所述特征信息计算出的拍摄参数,实现了在照片拍摄时,能够根据目标对象的特征信息,实时调整摄像头下一时刻拍摄的帧图像的拍摄参数,以便得到最佳拍摄效果的照片,有效避免了拍摄后期无法通过照片的后期加工处理得到符合用户需求的照片的技术问题,提高了照片的拍摄质量。
如图1示出了本申请实施例提供的一种拍照方法实现流程示意图,该方法应用于终端,可以由终端上配置的拍照装置执行,适用于需提高照片拍摄质量的情形,包括步骤101至步骤104。
其中,上述终端包括智能手机、平板电脑、学习机等配置有拍照装置的终端设备。上述终端设备上可以安装有拍照应用、浏览器、微信等应用。
步骤101中,获取预览帧图像,并检测上述预览帧图像中包含的目标对象。
其中,预览帧图像指拍照应用处于预览状态时,摄像头采集外界光信号生成的帧图像。摄像头每次采集外界光信号输出的数据称为帧数据,用户开启终端上的拍照应用后,进入预览模式,终端通过获取摄像头采集回来的帧数据,并进行显示得到上述预览帧图像。
一般情况下,帧数据的采集频率为1秒钟30帧,通常分为预览帧和拍照帧,分别用于预览和拍照。
本申请实施例中,通过在预览状态下,实时获取预览帧图像,并检测预览帧图像中包含的目标对象,以便实时获取当前状态下目标对象的特征信息。
其中,目标对象是指当前拍照的目标对象,例如,当前属于人物拍摄时,则该目标对象为人,当前为建筑物拍摄时,则该目标对象为建筑物。需要说明的是,上述预览帧图像中的目标对象可以是一个也可以是多个,并且目标对象的种类可以是一种或多种。
其中,检测上述预览帧图像中包含的目标对象包括对该预览帧图像进行目标检测,实现像素级的对前景与背景进行分类,将背景剔除,并保留一个或多个目标物体,即,一个或多个上述目标对象。
在本申请的一些实施方式中,可以通过目标检测算法对上述预览帧图像中的目标对象进行检测,常用的目标检测算法有局部二进制模式(Local Binary Pattern,LBP)算法、定向梯度特征结合支持向量机模型以及卷积神经网络(Convolutional NeuralNetwork,CNN)模型等。其中,相比于其它目标检测算法,卷积神经网络模型可以实现对目标对象更为精准快速的检测,因此,可以选用训练好的卷积神经网络模型检测上述预览帧图像中的目标对象。
在上述利用训练好的卷积神经网络模型检测上述预览帧图像中的目标对象之前,需要先得到训练好的卷积神经网络模型。该训练好的卷积神经网络模型是根据各个样本图像以及各个样本图像所对应的检测结果训练得到,其中,每一个样本图像所对应的检测结果用以指示该样本图像中包含的所有目标对象。
可选的,上述卷积神经网络模型的训练步骤可以包括:获取样本图像以及样本图像对应的检测结果;利用卷积神经网络模型对上述样本图像进行检测,根据检测结果调整上述卷积神经网络模型的参数,直到调整后的上述卷积神经网络模型可以检测出上述样本图像中的所有目标对象,或者检测出上述样本图像中目标对象的准确率大于预设值,则将该调整后的卷积神经网络模型作为训练好的卷积神经网络模型。其中,上述卷积神经网络模型的参数可以包括卷积神经网络模型中每个卷积层的权重、偏差、回归函数的系数,还可以包括学习速率、迭代次数、每层神经元的个数等。目前,常用的卷积神经网络模型有RCNN(Regions based Convolutional Neural Network,基于区域的卷积神经网络)模型、Fast-RCNN模型以及Faster-RCNN模型等。其中,Faster-RCNN模型是在RCNN模型以及fast-RCNN模型的基础上演变而来,相比于RCNN模型以及fast-RCNN模型,faster-RCNN模型依然无法实现对目标对象的实时检测,但是相比与RCNN模型和fast-RCNN模型具有更高的目标检测精度以及目标检测速度,因此,在本申请的一些实施例中,上述卷积神经网络模型优选faster-RCNN模型。
需要说明的是,此处仅仅是对上述目标对象的检测方法进行举例说明,不表示为对本申请保护范围的限制,其他可以实现目标对象检测的方法同样适用于本申请中,此处,不再一一列举。
步骤102中,获取上述目标对象的特征信息,并根据该特征信息计算拍照帧图像的拍摄参数。
上述目标对象的特征信息是指用于确定需要采用什么样的拍摄参数进行拍摄才能达到较好的拍摄效果的特征信息。拍照帧图像是指摄像头根据拍照指令采集外界光信号生成的帧图像,该拍照帧图像用于生成最终的照片。
其中,目标对象的特征信息可以包括目标对象在上述预览帧图像中的位置信息,以及目标对象的运动状态信息和目标对象的色度,用于根据上述位置信息、运动状态信息和目标对象的色度计算拍照帧图像的测光区域、焦距、曝光参数和饱和度,以便达到最佳拍摄效果。需要说明的是,此处仅仅是举例说明,在本申请的一些实施方式中,上述目标对象的特征信息还可以包括其他更多的特征信息。例如,人脸表情信息和身高信息。
步骤103中,接收拍照指令,所述拍照指令携带有上述拍摄参数。
本申请实施例中,上述拍照指令的触发方式可以采用已有的触发方式进行触发,例如,通过点击拍照界面中的照片拍摄选择控件触发,或者通过按压音量键触发,此处不再赘述。
步骤104中,根据上述拍照指令获取与上述拍摄参数对应的照片。
本申请实施例中,当用户开启拍照应用,上述终端通过实时获取预览帧图像,得到预览帧图像中包含的目标对象,并根据该目标对象的特征信息得到拍照帧图像的拍摄参数,从而在接收到拍照指令后,即可根据上述拍摄参数获取与该拍摄参数对应的照片。
本申请实施例中,在拍照前的拍照过程中,通过实时检测预览帧图像中包含的目标对象,并获取上述目标对象的特征信息,以便根据上述特征信息计算出拍照帧图像的拍摄参数,同时,在接收到拍照指令时,设置上述摄像头的拍摄参数为根据上述特征信息计算出的拍摄参数,实现了在照片拍摄时,能够根据目标对象的特征信息,实时调整摄像头下一时刻拍摄的帧图像的拍摄参数,以便得到最佳拍摄效果的照片,有效避免了拍摄后期无法通过照片的后期加工处理得到符合用户需求的照片的技术问题,提高了照片的拍摄质量。
可选的,在本申请的一些实施方式中,如图2所示,上述目标对象为人物时,可以包括:步骤201至步骤204。
步骤201中,获取预览帧图像,并检测上述预览帧图像中包含的目标人脸。
步骤202中,获取上述目标人脸的特征信息,并根据该特征信息计算拍照帧图像的拍摄参数,其中,上述目标人脸的特征信息包括目标人脸的位置信息、运动状态信息和/或色度。
步骤203中,接收拍照指令,该拍照指令携带有上述拍摄参数。
步骤204中,根据上述拍照指令获取与上述拍摄参数对应的人物照片。
例如,通过人脸特征点识别获取上述预览帧图像中包含的目标人脸,再获取该目标人脸在上述预览帧图像中的位置信息,以及目标人脸的运动状态和/或色度,进而根据上述位置信息、运动状态和/或色度计算出拍照帧图像的测光区域、焦距、曝光参数和/或饱和度,并在接收到拍照指令时,设置上述摄像头的测光区域、焦距、曝光参数和/或饱和度为计算出拍照帧图像的测光区域、焦距、曝光参数和/或饱和度,可以避免因为对焦和测光位置错误导致的照片人脸模糊或者较暗,或者因为人物在奔跑时导致快门速度不对导致的图片人脸模糊,实现了最佳人脸拍摄效果。
需要说明的是,在本申请的一些实施方式中,上述拍照对象为人物时,检测上述预览帧图像中包含的目标对象可以为检测预览帧图像中包含的多种目标对象,例如,人脸、衣服和手臂动作等目标对象。
在上述描述的实施方式中,步骤102获取上述目标对象的特征值信息,并根据上述特征信息计算拍照帧图像的拍摄参数,可以包括:获取上述目标对象在上述预览帧图像中的位置信息,根据上述位置信息计算拍照帧图像的测光区域和焦距;和/或,获取上述目标对象的运动状态信息,并根据上述运动状态信息中特征点的运动速度计算拍照帧图像的曝光参数;和/或,获取上述目标对象的色度,并根据上述色度计算拍照帧图像的饱和度。
测光区域的选取,是准确选取快门和光圈数值的重要依据之一。摄像头的测光系统一般是测定被摄对象反射回来的光亮度,也称之为反射式测光。摄像头一般自动假设测光区域的反光率为18%,通过这个比例进行测光随后确定光圈和快门的数值,光圈和快门是有相关联系的,在同样的光照条件下,如果要得到相同的曝光量,光圈值越大,则需要快门值越小,而如果光圈值越小,则需要快门值越大。18%这个数值来源是根据自然景物中中间调(灰色调)的反光表现而定,如果取景画面中白色调居多,那么反射光线将超过18%,如果是全白场景,可以反射大约90%的入射光,而如果是黑色场景,可能反射率只有百分之几。标准灰卡是一张8×10英寸的卡片,将这张灰卡放在被摄主体同一测光源,所得到的测光区域整体反光率就是标准的18%,随后只需要按摄像头给出的光圈快门值进行拍摄,拍摄出来的照片就会是曝光准确的。如果整个测光区域的整体反射率大于18%,例如,测光区域的背景以白色调为主,这时如果按照摄像头自动测光测定的光圈快门值来拍摄的话,拍摄得到的照片将会是一张欠曝的照片,白色的背景看起来会显得发灰,如果是一张白纸的话拍摄出来的就会变成一张黑纸了。所以,拍摄反光率大于18%的场景,需要增加相机的曝光补偿值EV。反之,如果拍摄反光率低于18%的场景,例如黑色的背景,拍出的照片往往会过曝,黑色的背景也会变成灰色。所以,拍摄反光率低于18%的场景,需要减少EV曝光。
目前的测光方式主要有中央平均测光、中央局部测光、点测光、多点测光以及评价测光。其中,中央平均测光是采用最多的一种测光模式,本申请实施例以中央平均测光的方式对测光区域的选取进行举例说明。
其中,中央平均测光主要是考虑到一般摄影者习惯将拍摄主体也就是需要准确曝光的目标对象放在取景器的中间,所以这部分拍摄内容是最重要的。因此负责测光的感官元件会将摄像头的整体测光值有机的分开,中央部分的测光数据占据绝大部分比例,而画面中央以外的测光数据作为小部分比例起到测光的辅助作用。经过摄像头的处理器对这两格数值加权平均之后的比例,得到摄像头拍摄的测光数据。例如,设置摄像头中央部分测光占据整个测光比例的75%,其他非中央部分逐渐延伸至边缘的测光数据占据了25%的比例。
由此可以看出,需要确定好目标对象的位置之后,进行测光区域的选取,例如,将目标对象的所处的位置作为测光区域的中央部分。
另外,摄像头焦距的选取一般是由摄像头发射一组红外线或其他射线,经被摄体反射后确定被摄体的距离,然后根据测得距离调整镜头组合,实现自动对焦。因此,也需要确定好目标对象的位置之后,获得拍照帧图像的焦距。
可选的,在本申请的一些实施方式中,如图3所示,上述获取上述目标对象的运动状态信息,并根据上述运动状态信息中特征点的运动速度计算拍照帧图像的曝光参数,包括:步骤301至步骤303。
步骤301中,获取第一预设帧数的预览帧图像,计算每个相邻预览帧图像中目标对象特征点的位置变化;
步骤302中,根据上述位置变化和上述预览帧图像的采集周期计算目标对象的平均运动速度;
步骤303中,获取与上述目标对象的平均运动速度对应的快门速度和光圈参数。
例如,上述第一预设帧数为30帧,目标对象为人脸,人脸特征点包括眼睛特征点、鼻子特征点、嘴巴特征点、眉心特征点,预览帧图像的采集周期为30帧/秒。通过获取摄像头连续拍摄的30帧预览帧图像,并计算每个相邻预览帧图像中眉心特征点的位置变化,对该位置变化进行累积,即可得到人脸的平均运动速度,从而通过查找快门速度和光圈参数分别与物体运动速度的对应关系列表,即可得到拍照帧图像的快门速度和光圈参数。
其中,上述第一预设帧数可以为用户根据不同拍摄场景自定义设置的帧数,也可以是出厂时默认设置的帧数,例如,20帧、30帧、40帧或50帧,此处只是举例说明,不表示为对本申请保护范围的限制。
可选的,在本申请的一些实施方式中,如图4所示,上述获取目标对象的色度,并根据色度计算拍照帧图像的饱和度,包括步骤401至步骤402。
步骤401中,获取上述目标对象的第一色度,以及用户选取的对照图片的第二色度;
步骤402中,根据上述第一色度与上述第二色度的差值,计算拍照帧图像的饱和度。
颜色是由亮度和色度共同表示的,色度是不包括亮度在内的颜色的性质,它反映的是颜色的色调和饱和度。通过采集目标对象的第一色度以及用户选取的对照图片的第二色度,计算出上述第一色度与上述第二色度的差值,并得到拍照帧图像饱和度调整大小。
如图5所示,用户选取的对照图片可以是终端预先存储的饱和度标签图片50,每个饱和度标签图片表示一种色调的一个饱和度值;
例如,当前属于人物拍摄时,上述目标对象可以为人物的衣服,通过获取衣服的第一色度,以及用户选取的对照图片的第二色度,计算出上述第一色度与上述第二色度的差值,得到拍照帧图像饱和度。
可选的,上述用户选取的对照图片为用户任意选取的一张照片,并且对照图片的第二色度可以为用户在该照片中选取的某个区域的色度。
在上述图1至图5描述的拍照方法实施例中,步骤104,根据所述拍照指令获取与所述拍摄参数对应的照片可以包括:获取与上述拍摄参数对应的第二预设帧数的拍照帧图像,将上述第二预设帧数的拍照帧图像合成为上述拍摄参数对应的照片。
例如,将第二预设帧数的拍照帧图像对应位置的像素值进行平均融合得到上述拍摄参数对应的照片;或者将第二预设帧数的拍照帧图像对应位置的像素值取中间值合成为上述拍摄参数对应的照片,以优化照片的拍摄效果。
其中,上述第二预设帧数可以为用户自定义设置的帧数,也可以是出厂时默认设置的帧数,例如,10帧、15帧、20帧或30帧,此处只是举例说明,不表示为对本申请保护范围的限制。
图6示出了本申请实施例提供的一种拍照装置600的结构示意图,包括检测单元601、计算单元602、接收单元603和拍照单元604。
检测单元601,用于获取预览帧图像,并检测所述预览帧图像中包含的目标对象;
计算单元602,用于获取所述目标对象的特征信息,并根据所述特征信息计算拍照帧图像的拍摄参数;
接收单元603,用于接收拍照指令,所述拍照指令携带有所述拍摄参数;
拍照单元604,用于根据所述拍照指令获取与所述拍摄参数对应的照片。
在本申请的一些实施方式中,上述检测单元具体用于,获取预览帧图像,并检测上述预览帧图像中包含的目标人脸;相应的,上述获取上述目标对象的特征信息,并根据上述特征信息计算拍照帧图像的拍摄参数,包括:获取上述目标人脸的特征信息,并根据上述特征信息计算拍照帧图像的拍摄参数,其中,上述目标人脸的特征信息包括目标人脸的位置信息、运动状态信息和/或色度。
在本申请的一些实施方式中,上述计算单元具体用于,获取上述目标对象在上述预览帧图像中的位置信息,根据上述位置信息计算拍照帧图像的测光区域和焦距;和/或,获取上述目标对象的运动状态信息,并根据上述运动状态信息中特征点的运动速度计算拍照帧图像的曝光参数;和/或,获取上述目标对象的色度,并根据上述色度计算拍照帧图像的饱和度。
在本申请的一些实施方式中,上述计算单元还具体用于,获取第一预设帧数的预览帧图像,计算每个相邻预览帧图像中目标对象特征点的位置变化;根据上述位置变化和上述预览帧图像的采集周期计算上述目标对象的平均运动速度;获取与上述目标对象的平均运动速度对应的快门速度和光圈参数。
在本申请的一些实施方式中,上述计算单元还具体用于,获取上述目标对象的第一色度,以及用户选取的对照图片的第二色度;根据上述第一色度与上述第二色度的差值,计算拍照帧图像的饱和度。
可选的,上述检测单元具体用于,利用训练好的卷积神经网络模型检测上述预览帧图像中包含的目标对象。
可选的,上述拍照单元还具体用于,获取与上述拍摄参数对应的第二预设帧数的拍照帧图像,将上述预设帧数的拍照帧图像合成为上述拍摄参数对应的照片。
需要说明的是,为描述的方便和简洁,上述描述的拍照装置600的具体工作过程,可以参考上述图1至图5中描述的方法的对应过程,在此不再赘述。
如图7所示,本申请提供一种用于实现上述拍照方法的终端,该终端可以为移动终端,该移动终端可以为智能手机、平板电脑、个人电脑(PC)、学习机等终端,包括:一个或多个输入设备73(图7中仅示出一个)和一个或多个输出设备74(图7中仅示出一个)。处理器71、存储器72、输入设备73、输出设备74和摄像头75通过总线76连接。该摄像头用于根据采集外界光信号,生成预览帧图像和拍照帧图像。
应当理解,在本申请实施例中,所称处理器71可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备73可以包括虚拟键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备74可以包括显示器、扬声器等。
存储器72可以包括只读存储器和随机存取存储器,并向处理器71提供指令和数据。存储器72的一部分或全部还可以包括非易失性随机存取存储器。例如,存储器72还可以存储设备类型的信息。
上述存储器72存储有计算机程序,上述计算机程序可在上述处理器71上运行,例如,上述计算机程序为拍照方法的程序。上述处理器71执行上述计算机程序时实现上述拍照方法实施例中的步骤,例如图1所示的步骤101至步骤104。或者,上述处理器71执行上述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如图6所示单元601至604的功能。
上述计算机程序可以被分割成一个或多个模块/单元,上述一个或者多个模块/单元被存储在上述存储器72中,并由上述处理器71执行,以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述上述计算机程序在上述进行拍照的终端中的执行过程。例如,上述计算机程序可以被分割成检测单元、计算单元、接收单元和拍照单元,各单元具体功能如下:检测单元,用于获取预览帧图像,并检测上述预览帧图像中包含的目标对象;计算单元,用于获取上述目标对象的特征信息,并根据上述特征信息计算拍照帧图像的拍摄参数;接收单元,用于接收拍照指令,所述拍照指令携带有所述拍摄参数;拍照单元,用于根据所述拍照指令获取与所述拍摄参数对应的照片。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (8)

1.一种拍照方法,其特征在于,包括:
获取预览帧图像,并实时检测所述预览帧图像中包含的目标对象;
实时获取所述目标对象的特征信息,根据所述特征信息计算拍照帧图像的拍摄参数,并通过安卓设备的应用程序接口API Camera2.0实时调整摄像头下一时刻拍摄的帧图像的拍摄参数;接收拍照指令,设置摄像头的拍摄参数为根据所述特征信息计算出的拍摄参数;所述拍照指令携带有所述拍摄参数;
根据所述拍照指令获取与所述拍摄参数对应的照片;
所述实时获取所述目标对象的特征信息,根据所述特征信息计算拍照帧图像的拍摄参数,包括:获取所述目标对象的色度,并根据所述色度计算拍照帧图像的饱和度;
所述获取所述目标对象的色度,并根据所述色度计算拍照帧图像的饱和度,包括:获取所述目标对象的第一色度,以及用户选取的对照图片的第二色度;根据所述第一色度与所述第二色度的差值,计算拍照帧图像的饱和度;其中,所述用户选取的对照图片为用户任意选取的一张照片,并且对照图片的第二色度为用户在任意选取的一张照片中选取的某个区域的色度;
所述根据所述拍照指令获取与所述拍摄参数对应的照片,包括:获取与所述拍摄参数对应的第二预设帧数的拍照帧图像,将所述第二预设帧数的拍照帧图像合成为所述拍摄参数对应的照片。
2.如权利要求1所述的拍照方法,其特征在于,所述获取预览帧图像,并检测所述预览帧图像中包含的目标对象,包括:
获取预览帧图像,并检测所述预览帧图像中包含的目标人脸;
相应的,所述获取所述目标对象的特征信息,并根据所述特征信息计算拍照帧图像的拍摄参数,包括:
获取所述目标人脸的特征信息,并根据所述特征信息计算拍照帧图像的拍摄参数,其中,所述目标人脸的特征信息包括目标人脸的位置信息、运动状态信息和/或色度。
3.如权利要求1或2所述的拍照方法,其特征在于,所述获取所述目标对象的特征值信息,并根据所述特征信息计算拍照帧图像的拍摄参数,包括:
获取所述目标对象在所述预览帧图像中的位置信息,根据所述位置信息计算拍照帧图像的测光区域和焦距;和/或,
获取所述目标对象的运动状态信息,并根据所述运动状态信息中特征点的运动速度计算拍照帧图像的曝光参数。
4.如权利要求3所述的拍照方法,其特征在于,所述获取所述目标对象的运动状态信息,并根据所述运动状态信息中特征点的运动速度计算拍照帧图像的曝光参数,包括:
获取第一预设帧数的预览帧图像,计算每个相邻预览帧图像中目标对象特征点的位置变化;
根据所述位置变化和所述预览帧图像的采集周期计算所述目标对象的平均运动速度;
获取与所述目标对象的平均运动速度对应的快门速度和光圈参数。
5.如权利要求1所述的拍照方法,其特征在于,所述获取预览帧图像,并检测所述预览帧图像中包含的目标对象,包括:
利用训练好的卷积神经网络模型检测所述预览帧图像中包含的目标对象。
6.一种拍照装置,其特征在于,包括:
检测单元,用于获取预览帧图像,并实时检测所述预览帧图像中包含的目标对象;
计算单元,用于实时获取所述目标对象的特征信息,根据所述特征信息计算拍照帧图像的拍摄参数,并通过安卓设备的应用程序接口API Camera2.0实时调整摄像头下一时刻拍摄的帧图像的拍摄参数;
接收单元,用于接收拍照指令,设置摄像头的拍摄参数为根据所述特征信息计算出的拍摄参数;所述拍照指令携带有所述拍摄参数;
拍照单元,用于根据所述拍照指令获取与所述拍摄参数对应的照片;
所述实时获取所述目标对象的特征信息,根据所述特征信息计算拍照帧图像的拍摄参数,包括:获取所述目标对象的色度,并根据所述色度计算拍照帧图像的饱和度;
所述获取所述目标对象的色度,并根据所述色度计算拍照帧图像的饱和度,包括:获取所述目标对象的第一色度,以及用户选取的对照图片的第二色度;根据所述第一色度与所述第二色度的差值,计算拍照帧图像的饱和度;其中,所述用户选取的对照图片为用户任意选取的一张照片,并且对照图片的第二色度为用户在任意选取的一张照片中选取的某个区域的色度;
所述根据所述拍照指令获取与所述拍摄参数对应的照片,包括:获取与所述拍摄参数对应的第二预设帧数的拍照帧图像,将所述第二预设帧数的拍照帧图像合成为所述拍摄参数对应的照片。
7.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述方法的步骤。
CN201810626707.1A 2018-06-15 2018-06-15 拍照方法、装置、终端及计算机可读存储介质 Active CN108495050B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810626707.1A CN108495050B (zh) 2018-06-15 2018-06-15 拍照方法、装置、终端及计算机可读存储介质
CN202010785958.1A CN111866394A (zh) 2018-06-15 2018-06-15 拍照方法、装置、终端及计算机可读存储介质
PCT/CN2019/090351 WO2019237992A1 (zh) 2018-06-15 2019-06-06 拍照方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810626707.1A CN108495050B (zh) 2018-06-15 2018-06-15 拍照方法、装置、终端及计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010785958.1A Division CN111866394A (zh) 2018-06-15 2018-06-15 拍照方法、装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108495050A CN108495050A (zh) 2018-09-04
CN108495050B true CN108495050B (zh) 2020-09-04

Family

ID=63343007

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810626707.1A Active CN108495050B (zh) 2018-06-15 2018-06-15 拍照方法、装置、终端及计算机可读存储介质
CN202010785958.1A Pending CN111866394A (zh) 2018-06-15 2018-06-15 拍照方法、装置、终端及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010785958.1A Pending CN111866394A (zh) 2018-06-15 2018-06-15 拍照方法、装置、终端及计算机可读存储介质

Country Status (2)

Country Link
CN (2) CN108495050B (zh)
WO (1) WO2019237992A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495050B (zh) * 2018-06-15 2020-09-04 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质
CN109729272B (zh) * 2019-01-04 2022-03-08 平安科技(深圳)有限公司 一种拍摄控制方法、终端设备及计算机可读存储介质
CN109919891A (zh) * 2019-03-14 2019-06-21 Oppo广东移动通信有限公司 成像方法、装置、终端及存储介质
CN110995994B (zh) * 2019-12-09 2021-09-14 上海瑾盛通信科技有限公司 图像拍摄方法及相关装置
CN113596315A (zh) * 2020-04-30 2021-11-02 鸿富锦精密电子(郑州)有限公司 动态场景补偿的拍照方法及摄像装置
CN111598958A (zh) * 2020-05-19 2020-08-28 北京迁移科技有限公司 高质量3d点云图像快速获取系统及方法
CN111986263B (zh) * 2020-06-28 2023-09-12 百度在线网络技术(北京)有限公司 图像处理方法、装置、电子设备及存储介质
CN111866384B (zh) * 2020-07-16 2022-02-01 深圳传音控股股份有限公司 拍摄控制方法、移动终端及计算机存储介质
CN111800740B (zh) * 2020-07-31 2023-02-07 平安国际融资租赁有限公司 数据远程采集方法、装置、计算机设备和存储介质
CN114092925A (zh) * 2020-08-05 2022-02-25 武汉Tcl集团工业研究院有限公司 一种视频字幕检测方法、装置、终端设备及存储介质
CN112115418B (zh) * 2020-08-13 2024-03-26 深圳市智物联网络有限公司 一种偏态估计信息的获取方法、装置及设备
CN112115411B (zh) * 2020-08-21 2024-04-16 中国电子科技集团公司第十三研究所 位置漂移补偿方法、终端设备及可读性存储介质
CN112132227B (zh) * 2020-09-30 2024-04-05 石家庄铁道大学 桥梁列车荷载作用时程提取方法、装置及终端设备
CN112333392A (zh) * 2020-11-03 2021-02-05 珠海格力电器股份有限公司 图片处理方法和装置
CN112800969B (zh) * 2021-01-29 2022-04-19 深圳市爱深盈通信息技术有限公司 图像质量调节方法和系统、ai处理方法、门禁系统
CN114979455A (zh) * 2021-02-25 2022-08-30 北京小米移动软件有限公司 拍摄方法、装置以及存储介质
CN113160357A (zh) * 2021-04-07 2021-07-23 浙江工商大学 信息审核方法、系统、计算机可读存储介质
CN113221754A (zh) * 2021-05-14 2021-08-06 深圳前海百递网络有限公司 快递单图像检测方法、装置、计算机设备和存储介质
CN114071024A (zh) * 2021-11-26 2022-02-18 北京百度网讯科技有限公司 图像拍摄方法、神经网络训练方法、装置、设备和介质
CN114264835B (zh) * 2021-12-22 2023-11-17 上海集成电路研发中心有限公司 一种测量风扇转速的方法、装置和芯片
CN115002352A (zh) * 2022-06-23 2022-09-02 深圳市理德铭科技股份有限公司 一种自动伸缩三脚架自拍杆拍照的处理方法及系统
CN115134536B (zh) * 2022-06-28 2024-05-03 维沃移动通信有限公司 拍摄方法及其装置
CN117412177A (zh) * 2022-07-04 2024-01-16 北京小米移动软件有限公司 拍摄方法、装置、介质及芯片
CN116320716B (zh) * 2023-05-25 2023-10-20 荣耀终端有限公司 图片采集方法、模型训练方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243832A (zh) * 2014-09-30 2014-12-24 北京金山安全软件有限公司 通过移动终端进行拍摄的方法、装置及移动终端
CN105898143A (zh) * 2016-04-27 2016-08-24 维沃移动通信有限公司 一种运动物体的抓拍方法及移动终端
CN107180415A (zh) * 2017-03-30 2017-09-19 北京奇艺世纪科技有限公司 一种图像中皮肤美化处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197491B (zh) * 2013-03-28 2016-03-30 华为技术有限公司 快速自动聚焦的方法和图像采集装置
CN104469131A (zh) * 2014-09-05 2015-03-25 宇龙计算机通信科技(深圳)有限公司 拍摄控件的显示方法、装置及终端
CN105100628B (zh) * 2015-08-28 2018-11-06 上海与德通讯技术有限公司 一种图像拍摄方法及电子设备
US20170163953A1 (en) * 2015-12-08 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and electronic device for processing image containing human face
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6604864B2 (ja) * 2016-02-05 2019-11-13 キヤノン株式会社 電子機器およびその制御方法
CN205510224U (zh) * 2016-04-12 2016-08-24 上海豪成通讯科技有限公司 数字图像处理器
JP2018025597A (ja) * 2016-08-08 2018-02-15 オリンパス株式会社 撮像装置
CN107566728A (zh) * 2017-09-25 2018-01-09 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN108495050B (zh) * 2018-06-15 2020-09-04 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243832A (zh) * 2014-09-30 2014-12-24 北京金山安全软件有限公司 通过移动终端进行拍摄的方法、装置及移动终端
CN105898143A (zh) * 2016-04-27 2016-08-24 维沃移动通信有限公司 一种运动物体的抓拍方法及移动终端
CN107180415A (zh) * 2017-03-30 2017-09-19 北京奇艺世纪科技有限公司 一种图像中皮肤美化处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Android Camera2使用笔记;微岩;《https://blog.csdn.net/matrix_laboratory/article/details/80693537》;20180614;全文 *
Android Camera2参数调节关键字翻译集合,常用关键字解析;xubaipei柏培;《https://blog.csdn.net/qq_29333911/article/details/79400617》;20180228;全文 *
camera api1和api2;pakaco;《https://blog.csdn.net/pakaco/article/details/70269346》;20170420;全文 *

Also Published As

Publication number Publication date
CN108495050A (zh) 2018-09-04
WO2019237992A1 (zh) 2019-12-19
CN111866394A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN108495050B (zh) 拍照方法、装置、终端及计算机可读存储介质
CN108933899B (zh) 全景拍摄方法、装置、终端及计算机可读存储介质
WO2020038109A1 (zh) 拍照方法、装置、终端及计算机可读存储介质
JP7371081B2 (ja) 夜景撮影方法、装置、電子機器および記憶媒体
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108900782B (zh) 曝光控制方法、装置以及电子设备
US10659682B2 (en) Real time assessment of picture quality
CN110072052B (zh) 基于多帧图像的图像处理方法、装置、电子设备
WO2020034737A1 (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN109068058B (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
TWI416945B (zh) 影像處理裝置、影像處理方法及電腦可讀取媒體
CN101465972B (zh) 在数字图像处理装置中使图像背景模糊的设备和方法
CN110248107A (zh) 图像处理方法和装置
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
CN109151333B (zh) 曝光控制方法、装置以及电子设备
WO2023098743A1 (zh) 自动曝光方法、装置、设备及存储介质
CN110166707A (zh) 图像处理方法、装置、电子设备以及存储介质
CN107424117B (zh) 图像美颜方法、装置、计算机可读存储介质和计算机设备
CN108093174A (zh) 拍照设备的构图方法、装置和拍照设备
CN113905182B (zh) 一种拍摄方法及设备
CN110246101A (zh) 图像处理方法和装置
CN106791451B (zh) 一种智能终端的拍照方法
CN109756680B (zh) 图像合成方法、装置、电子设备及可读存储介质
WO2020034739A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
WO2021218536A1 (zh) 一种高动态范围图像合成方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant