CN112333385A - 电子防抖控制方法及装置 - Google Patents

电子防抖控制方法及装置 Download PDF

Info

Publication number
CN112333385A
CN112333385A CN202011177693.3A CN202011177693A CN112333385A CN 112333385 A CN112333385 A CN 112333385A CN 202011177693 A CN202011177693 A CN 202011177693A CN 112333385 A CN112333385 A CN 112333385A
Authority
CN
China
Prior art keywords
distance
ratio
feature point
shake
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011177693.3A
Other languages
English (en)
Other versions
CN112333385B (zh
Inventor
徐利存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202011177693.3A priority Critical patent/CN112333385B/zh
Publication of CN112333385A publication Critical patent/CN112333385A/zh
Application granted granted Critical
Publication of CN112333385B publication Critical patent/CN112333385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种电子防抖控制方法及装置,属于移动通信领域。所述方法包括:通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;其中,所述预设距离参数中包括与所述第一比值相对应的第一数值范围;若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度。本申请实施例解决了现有技术中,使用EIS防抖拍摄的图像或视频中,容易出现形变的情况的问题。

Description

电子防抖控制方法及装置
技术领域
本申请属于移动通信领域,具体涉及一种电子防抖控制方法及装置。
背景技术
随着移动通信技术的迅速发展,各种移动电子设备以及非移动电子设备已成为人们生活中各方面不可或缺的工具。电子设备的各种应用程序(Application,APP)的功能也逐渐完善,不再只是单纯地起到通信作用,较多的是为用户提供各种智能化服务,给用户工作、生活带来了极大的便利。
作为电子设备的核心功能之一,拍摄图像或者视频功能成为用户考量移动终端的一个重要方面。并且由于拍摄功能日趋强大,通过手机等电子设备拍照正在逐步取代其他传统的相机设备、录像设备。
为了提供更完善的拍摄功能,防抖功能也逐渐应用在电子设备中。电子防抖(Electric Image Stabilization,EIS)是主要的防抖功能之后之一,其主要使用电荷耦合元件(Charge-Coupled Device,CCD)偏移来实现防抖,首先将CCD安置在一个可以上下左右移动的支架上,然后当检测到抖动时,把抖动的方向、速度和移动量等参数经过处理,计算出足以抵消抖动的CCD移动量。电子防抖实际上是一种通过降低画质来补偿抖动的技术,有效的避免了因补偿方式所带来的球差问题,同时还解决了困扰单反交换镜头的体积限制。然而,在使用EIS防抖拍摄的图像或视频中,容易出现形变的情况,比如所拍摄的人脸发生扭曲,或所拍摄物体发生形变。
发明内容
本申请实施例的目的是提供一种电子防抖控制方法及装置,能够解决现有技术中,使用EIS防抖拍摄的图像或视频中,容易出现形变的情况的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种电子防抖控制方法,所述方法包括:
通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;
确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;其中,所述预设距离参数中包括与所述第一比值相对应的第一数值范围;所述第一距离为所述目标对象的第一预设特征点与第二预设特征点之间的距离,所述第二距离为所述目标对象的第三预设特征点与第四预设特征点之间的距离;
若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度。
可选地,所述第一数值范围为第一比值边界与第二比值边界之间的范围;
所述第一比值边界为模板比值减去第一预设误差值所得数值;所述第二比值边界为所述模板比值加上第二预设误差值所得数值;
所述模板比值为模板图像中的第三距离与第四距离的比值;所述第三距离为所述模板图像中所述第一预设特征点与所述第二预设特征点之间的距离,所述第四距离为所述模板图像中所述第三预设特征点与所述第四预设特征点之间的距离。
可选地,所述降则降低所述目标电子防抖处理的防抖强度,包括:
确定所述第一比值与所述第一比值边界或第二比值边界之间的比值差值;
确定与所述差值对应的强度调整值;
将所述目标电子防抖处理的防抖强度降低所述强度调整值。
可选地,所述确定所述目标对象的第一距离和第二距离之间的第一比值之前,所述方法包括:
拍摄包括所述目标对象的N张初始模板图像;其中,N为正整数;
提取所述N张初始模板图像中所述第一预设特征点与所述第二预设特征点之间的至少两个第六距离,以及所述第三预设特征点与所述第四预设特征点之间的至少两个第七距离;
将所述第六距离的均值作为所述第三距离,所述第七距离的均值作为所述第四距离。
可选地,所述降则降低所述目标电子防抖处理的防抖强度之后,所述方法包括:
根据所述模板图像,建立所述目标对象的第一坐标系,以及根据所述模板图像,建立所述目标对象的第二坐标系;
确定每个第一特征点在所述第一坐标系中的第一坐标;
将所述第一特征点在所述第二坐标系中的坐标调整为所述第一坐标,得到目标图像。
第二方面,本申请实施例还提供了一种电子防抖控制装置,所述电子防抖控制装置包括:
识别模块,用于通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;
确定模块,用于确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;其中,所述预设距离参数中包括与所述第一比值相对应的第一数值范围;所述第一距离为所述目标对象的第一预设特征点与第二预设特征点之间的距离,所述第二距离为所述目标对象的第三预设特征点与第四预设特征点之间的距离;
控制模块,用于若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度。
可选地,所述第一数值范围为第一比值边界与第二比值边界之间的范围;
所述第一比值边界为模板比值减去第一预设误差值所得数值;所述第二比值边界为所述模板比值加上第二预设误差值所得数值;
所述模板比值为模板图像中的第三距离与第四距离的比值;所述第三距离为所述模板图像中所述第一预设特征点与所述第二预设特征点之间的距离,所述第四距离为所述模板图像中所述第三预设特征点与所述第四预设特征点之间的距离。
可选地,所述控制模块包括:
第一确定子模块,用于确定所述第一比值与所述第一比值边界或第二比值边界之间的比值差值;
第二确定子模块,用于确定与所述差值对应的强度调整值;
降低子模块,用于将所述目标电子防抖处理的防抖强度降低所述强度调整值。
可选地,所述装置包括:
拍摄模块,用于拍摄包括所述目标对象的N张初始模板图像;其中,N为正整数;
提取模块,用于提取所述N张初始模板图像中所述第一预设特征点与所述第二预设特征点之间的至少两个第六距离,以及所述第三预设特征点与所述第四预设特征点之间的至少两个第七距离;
调整模块,用于将所述第六距离的均值作为所述第三距离,所述第七距离的均值作为所述第四距离。
可选地,所述装置包括:
坐标建立模块,用于根据所述模板图像,建立所述目标对象的第一坐标系,以及根据所述模板图像,建立所述目标对象的第二坐标系;
坐标确定模块,用于确定每个第一特征点在所述第一坐标系中的第一坐标;
坐标调整模块,用于将所述第一特征点在所述第二坐标系中的坐标调整为所述第一坐标,得到目标图像。
第三方面,本申请实施例还提供了一种电子设备,该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的程序或指令,所述处理器执行所述程序或指令时实现如上所述的电子防抖控制方法中的步骤。
第四方面,本申请实施例还提供了一种可读存储介质,该可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如上所述的电子防抖控制方法中的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度,从整体上降低形变量,同时兼顾主体区域与非主体区域,避免出现形变量不一致,导致目标对象发生扭曲的情况。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本申请实施例提供的电子防抖控制方法的流程图;
图2表示本申请实施例提供的第一示例的流程图;
图3表示本申请的实施例提供的电子防抖控制装置的框图;
图4表示本申请的实施例提供的电子设备的框图之一;
图5表示本申请的实施例提供的电子设备的框图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的电子防抖控制方法进行详细地说明。
参见图1,本申请一实施例提供了一种电子防抖控制方法,可选地,所述方法可应用于电子设备,所述电子设备包括各种手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备,以及各种形式的移动台(Mobile Station,MS),终端设备(Terminal Device)等等。
所述方法包括:
步骤101,通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像。
其中,在电子设备拍摄图像或者视频的过程中,通过摄像头获取预览图像,识别所述预览图像中的目标对象;预览图像为通过目标电子防抖处理后的图像,目标对象可以是人物、动物、景物或景物等其他物体。
步骤102,确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;其中,所述预设距离参数中包括与所述第一比值相对应的第一数值范围;所述第一距离为所述目标对象的第一预设特征点与第二预设特征点之间的距离,所述第二距离为所述目标对象的第三预设特征点与第四预设特征点之间的距离。
识别目标对象之后,提取目标对象的关键的特征点;具体地,特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。特征点能够反映图像本质特征,标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。比如,以目标对象包括人脸为例,人脸特征点通常为五官中的特征点。
识别到目标对象的特征点之后,计算所述目标对象的第一距离和第二距离之间的第一比值;以目标对象为人脸为例,识别到面部的特征点,比如左眼眼睑中心的第一预设特征点A、唇部中心的第二预设特征点B、右眼眼睑中心的第三预设特征点C,然后计算第一预设特征点A与第二预设特征点B之间的第一距离D1;第二预设特征点B与第三预设特征点C之间的第二距离D2,则第一比值为D1与D2的比值。预设距离参数中包括每个第一比值的数值范围,比如第一预设特征点A与第二预设特征点B之间的第一比值的数值范围。
步骤103,若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度。
数值范围用于判断所拍摄的目标对象是否发生形变;若所述第一比值位于所述第一数值范围之外,表明所拍摄的目标对象发生形变,此时降则降低所述目标电子防抖处理的防抖强度,以抵消所述形变;目标电子防抖处理例如EIS防抖处理功能;具体地,申请人发现,在使用EIS的场景中,由于卷帘快门(Rolling shutter)的存在,会使所拍摄的目标对象造成扭曲,特别是当拍近景人像时,背景的位移量和人像的位移量差距比较大。在校正位移量差距时,按照EIS的校正方式,陀螺仪数据只能表示旋转角,而不同距离下,相同的旋转角,造成的旋转位移是不同的;因此,仅根据陀螺仪数据进行校正,结果不够精确,比如校正背景时,主体对象就会扭曲;同理当校正主体对象时,背景的物体就会明显的扭曲。而本申请实施例中,在检测目标对象发生扭曲形变时,通过降低电子设备的摄像头模组的防抖强度,即降低EIS的强度,对于作为主体的目标对象、非主体的背景区域,同时调整EIS的强度;比如,对于目标对象包括人脸的情况,同时兼顾人脸区域和非人脸区域,从而实现整体上降低形变量。这样,在降低目标电子防抖处理的防抖强度之后,对下一张预览图像按照降低后的防抖强度执行防抖处理,以避免出现形变或者降低形变量。
可以理解的是,第一比值可以是不同的特征点之间的距离,每个第一比值对应一个数值范围;在步骤103中,可以在检测出一个第一比值超出对应的数值范围之后,就降低EIS的强度;还可以在至少M个第一比值超出对应的数值范围之后,降低EIS的强度;M为大于1的正整数。
本申请实施例中,通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度,从整体上降低形变量,同时兼顾主体区域与非主体区域,避免出现形变量不一致,导致目标对象发生扭曲的情况。本申请实施例解决了现有技术中,使用EIS防抖拍摄的图像或视频中,容易出现形变的情况的问题。
在一个可选实施例中,所述第一数值范围为第一比值边界与第二比值边界之间的范围;
所述第一比值边界为模板比值减去第一预设误差值所得数值;所述第二比值边界为所述模板比值加上第二预设误差值所得数值;
所述模板比值为模板图像中的第三距离与第四距离的比值;所述第三距离为所述模板图像中所述第一预设特征点与所述第二预设特征点之间的距离,所述第四距离为所述模板图像中所述第三预设特征点与所述第四预设特征点之间的距离。
可选地,模板图像为与目标对象对应的模板图像;比如根据电子设备中预先存储的模板图像所得的模板比值,或通过电子设备的摄像头模组为目标对象拍摄图片,从所拍摄的图片中获取的模板比值。根据模板比值,为每个距离边界设定一预设误差,组成数值范围,作为每个第一比值的范围;比如,以目标对象为人脸为例,比如左眼眼睑中心的第一预设特征点A、唇部中心的第二预设特征点B、右眼眼睑中心的第三特征点C,第一预设特征点A与第二预设特征点B之间的第一距离10厘米;第二预设特征点B与第三预设特征点C之间的第二距离8厘米,则模板比值为1.25;设定第一预设误差为0.2,第二预设误差为0.3,则数值范围为1.05至1.55。
在一个可选实施例中,所述确定所述目标对象的第一距离和第二距离之间的第一比值之前,所述方法包括:
拍摄包括所述目标对象的N张初始模板图像;其中,N为正整数;比如在启动电子设备的摄像头模组之后,优先为目标对象拍摄N张初始模板图像;
提取所述N张初始模板图像中所述第一预设特征点与所述第二预设特征点之间的至少两个第六距离,以及所述第三预设特征点与所述第四预设特征点之间的至少两个第七距离;
将所述第六距离的均值作为所述第三距离,所述第七距离的均值作为所述第四距离。提取多个预设特征点之后,计算至少两个第六距离以及第七距离,并分别计算均值,用于计算模板比值。并将第三距离、第四距离对应的图像作为模板图像,或生成第一预设特征点与所述第二预设特征点之间的距离为所述第三距离,所述第三预设特征点与所述第四预设特征点之间的距离为所述第四距离的模板图像。
在一个可选实施例中,所述降低所述目标电子防抖处理的防抖强度,包括:
确定所述第一比值与所述第一比值边界或第二比值边界之间的比值差值;其中,若第一比值小于模板比值,则比值差值为第一比值边界与第一比值之间的差值;若第一比值大于模板比值,则比值差值为第二比值边界与第一比值之间的差值。
确定与所述差值对应的强度调整值;比如,预先设定每个调整值对应的差值范围,以根据差值量的大小,对应调整EIS强度;
将所述目标电子防抖处理的防抖强度降低所述强度调整值,实现根据实际的形变量调整强度。
在一个可选实施例中,所述降低所述目标电子防抖处理的防抖强度之后,所述方法包括:
根据所述模板图像,建立所述目标对象的第一坐标系,以及根据所述模板图像,建立所述目标对象的第二坐标系;可选地,第一坐标系、第二坐标系为二维平面坐标系。
确定每个第一特征点在所述第一坐标系中的第一坐标;比如,以目标对象为人脸为例,建立平面二维坐标系,则左眼眼睑中心的第一预设特征点A在第一坐标系中的坐标为A1(x1,y1);
将所述第一特征点在所述第二坐标系中的坐标调整为所述第一坐标,得到目标图像;比如若第一预设特征点A在第二坐标系中的坐标为不为A1(x1,y1),则将其修正为A1(x1,y1);对于每个第一特征点均按照此种方式进行调整,得到调整后的目标图像,实现对特征点变形后的修正。
作为第一示例,参见图2,以目标对象为人脸为例,图2介绍了本申请实施例提供的电子防抖控制方法的一应用过程,主要包括以下步骤:
步骤201,拍摄模板图像,确定预设距离参数。
开启电子设备的相机检测人脸时,调用轮廓(outline)算法统计人脸正脸的关键点数据,例如获取正脸时双眼的距离作为第三距离、眼睛到唇部的距离作为第四距离,计算第三距离与第四距离之间的模板比值,并根据模板比值确定第一比值的数值范围。
步骤202,获取预览图像中的第一比值。
实时对比正脸的关键点比例,获取预览图像中正脸的双眼的距离第一距离、眼睛到唇部的距离第二距离,确定第一距离与第二距离之间的第一比值。
若第一比值位于所述第一数值范围之外,判断人脸存在型变。
步骤203,人脸存在型变后,适当降低EIS的强度,确保人脸没有明显型变。
检测到人脸存在型变后,说明当前拍摄情况对于人脸很不友好,对于用户来说,大概率是个废片;通过自适应的整体降低EIS的强度,降低一些人脸的扭曲和背景的扭曲。
步骤204,对人脸形变区域进行校正。
基于人脸区域建立统计信息,重新建立校正的坐标系,对人脸做重点校正。
步骤205,实时的监控人脸的型变量。
在拍照或录像的过程中,实时的监控,若发生形变,及时进行校正,以保证在拍人脸时,没有扭曲,同时背景也没有明显的扭曲。
本申请实施例中,通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;若所述第一比值位于所述第一数值范围之外,降则降低所述目标电子防抖处理的防抖强度,从整体上降低形变量,同时兼顾主体区域与非主体区域,避免出现形变量不一致,导致目标对象发生扭曲的情况。
以上介绍了本申请实施例提供的电子防抖控制方法,下面将结合附图介绍本申请实施例提供的电子防抖控制装置。
需要说明的是,本申请实施例提供的电子防抖控制方法,执行主体可以为电子防抖控制装置,或者该电子防抖控制装置中的用于执行电子防抖控制方法的控制模块。本申请实施例中以电子防抖控制装置执行电子防抖控制方法为例,说明本申请实施例提供的电子防抖控制方法。
参见图3,本申请实施例还提供了一种电子防抖控制装置300,包括:
识别模块301,用于通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像。
其中,在电子设备拍摄图像或者视频的过程中,通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像,目标对象可以是人物、动物、景物或景物等其他物体。
确定模块302,用于确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;其中,所述预设距离参数中包括与所述第一比值相对应的第一数值范围;所述第一距离为所述目标对象的第一预设特征点与第二预设特征点之间的距离,所述第二距离为所述目标对象的第三预设特征点与第四预设特征点之间的距离。
识别目标对象之后,提取目标对象的关键的特征点;具体地,特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。特征点能够反映图像本质特征,标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。比如,以目标对象包括人脸为例,人脸特征点通常为五官中的特征点。
识别到目标对象的特征点之后,计算所述目标对象的第一距离和第二距离之间的第一比值;以目标对象为人脸为例,识别到面部的特征点,比如左眼眼睑中心的第一预设特征点A、唇部中心的第二预设特征点B、右眼眼睑中心的第三预设特征点C,然后计算第一预设特征点A与第二预设特征点B之间的第一距离D1;第二预设特征点B与第三预设特征点C之间的第二距离D2,则第一比值为D1与D2的比值。预设距离参数中包括每个第一比值的数值范围,比如第一预设特征点A与第二预设特征点B之间的第一比值的数值范围。
控制模块303,用于若所述第一比值位于所述第一数值范围之外,降则降低所述目标电子防抖处理的防抖强度。
数值范围用于判断所拍摄的目标对象是否发生形变;若所述第一比值位于所述第一数值范围之外,表明所拍摄的目标对象发生形变,此时降则降低所述目标电子防抖处理的防抖强度,以抵消所述形变;具体地,申请人发现,在使用EIS的场景中,由于卷帘快门(Rolling shutter)的存在,会使所拍摄的目标对象造成扭曲,特别是当拍近景人像时,背景的位移量和人像的位移量差距比较大。在校正位移量差距时,按照EIS的校正方式,陀螺仪数据只能表示旋转角,而不同距离下,相同的旋转角,造成的旋转位移是不同的;因此,仅根据陀螺仪数据进行校正,结果不够精确,比如校正背景时,主体对象就会扭曲;同理当校正主体对象时,背景的物体就会明显的扭曲。而本申请实施例中,在检测目标对象发生扭曲形变时,通过降低电子设备的摄像头模组的防抖强度,即降低EIS的强度,对于作为主体的目标对象、非主体的背景区域,同时调整EIS的强度;比如,对于目标对象包括人脸的情况,同时兼顾人脸区域和非人脸区域,从而实现整体上降低形变量。
可以理解的是,第一比值可以是不同的特征点之间的距离,每个第一比值对应一个数值范围;在检测出一个第一比值超出对应的数值范围之后,就降低EIS的强度;还可以在至少M个第一比值超出对应的数值范围之后,降低EIS的强度;M为大于1的正整数。
可选地,本申请实施例中,所述第一数值范围为第一比值边界与第二比值边界之间的范围;
所述第一比值边界为模板比值减去第一预设误差值所得数值;所述第二比值边界为所述模板比值加上第二预设误差值所得数值;
所述模板比值为模板图像中的第三距离与第四距离的比值;所述第三距离为所述模板图像中所述第一预设特征点与所述第二预设特征点之间的距离,所述第四距离为所述模板图像中所述第三预设特征点与所述第四预设特征点之间的距离。
可选地,本申请实施例中,所述控制模块303包括:
第一确定子模块,用于确定所述第一比值与所述第一比值边界或第二比值边界之间的比值差值;
第二确定子模块,用于确定与所述差值对应的强度调整值;
降低子模块,用于将所述目标电子防抖处理的防抖强度降低所述强度调整值。
可选地,本申请实施例中,所述装置300包括:
拍摄模块,用于拍摄包括所述目标对象的N张初始模板图像;其中,N为正整数;
提取模块,用于提取所述N张初始模板图像中所述第一预设特征点与所述第二预设特征点之间的至少两个第六距离,以及所述第三预设特征点与所述第四预设特征点之间的至少两个第七距离;
调整模块,用于将所述第六距离的均值作为所述第三距离,所述第七距离的均值作为所述第四距离。
可选地,本申请实施例中,所述装置300包括:
坐标建立模块,用于根据所述模板图像,建立所述目标对象的第一坐标系,以及根据所述模板图像,建立所述目标对象的第二坐标系;
坐标确定模块,用于确定每个第一特征点在所述第一坐标系中的第一坐标;
坐标调整模块,用于将所述第一特征点在所述第二坐标系中的坐标调整为所述第一坐标,得到目标图像。
本申请实施例中,通过识别模块301通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;确定模块302确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;若所述第一比值位于所述第一数值范围之外,控制模块303则降低所述目标电子防抖处理的防抖强度,从整体上降低形变量,同时兼顾主体区域与非主体区域,避免出现形变量不一致,导致目标对象发生扭曲的情况。
本申请实施例中的电子防抖控制装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的电子防抖控制装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的电子防抖控制装置能够实现图1至图2的方法实施例中电子防抖控制装置实现的各个过程,为避免重复,这里不再赘述。
可选的,如图4所示,本申请实施例还提供一种电子设备400,包括处理器401,存储器402,存储在存储器402上并可在所述处理器401上运行的程序或指令,该程序或指令被处理器401执行时实现上述电子防抖控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请各个实施例的一种电子设备500的硬件结构示意图;
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解,电子设备500还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器510,用于通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;
确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;其中,所述预设距离参数中包括与所述第一比值相对应的第一数值范围;所述第一距离为所述目标对象的第一预设特征点与第二预设特征点之间的距离,所述第二距离为所述目标对象的第三预设特征点与第四预设特征点之间的距离;
若所述第一比值位于所述第一数值范围之外,降则降低所述目标电子防抖处理的防抖强度。
可选地,所述第一数值范围为第一比值边界与第二比值边界之间的范围;
所述第一比值边界为模板比值减去第一预设误差值所得数值;所述第二比值边界为所述模板比值加上第二预设误差值所得数值;
所述模板比值为模板图像中的第三距离与第四距离的比值;所述第三距离为所述模板图像中所述第一预设特征点与所述第二预设特征点之间的距离,所述第四距离为所述模板图像中所述第三预设特征点与所述第四预设特征点之间的距离。
可选地,处理器510,用于:
确定所述第一比值与所述第一比值边界或第二比值边界之间的比值差值;
确定与所述差值对应的强度调整值;
将所述目标电子防抖处理的防抖强度降低所述强度调整值。
可选地,输入单元504,在本申请实施例中为摄像头,用于:
拍摄包括所述目标对象的N张初始模板图像;其中,N为正整数;
处理器510,用于:提取所述N张初始模板图像中所述第一预设特征点与所述第二预设特征点之间的至少两个第六距离,以及所述第三预设特征点与所述第四预设特征点之间的至少两个第七距离;
将所述第六距离的均值作为所述第三距离,所述第七距离的均值作为所述第四距离。
可选地,处理器510,用于:
根据所述模板图像,建立所述目标对象的第一坐标系,以及根据所述模板图像,建立所述目标对象的第二坐标系;
确定每个第一特征点在所述第一坐标系中的第一坐标;
将所述第一特征点在所述第二坐标系中的坐标调整为所述第一坐标,得到目标图像。
本申请的实施例中,通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度,从整体上降低形变量,同时兼顾主体区域与非主体区域,避免出现形变量不一致,导致目标对象发生扭曲的情况。
应理解的是,本申请实施例中,输入单元504可以包括图形处理器(GraphicsProcessing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器509可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述电子防抖控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述电子防抖控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种电子防抖控制方法,其特征在于,所述方法包括:
通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;
确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;其中,所述预设距离参数中包括与所述第一比值相对应的第一数值范围;所述第一距离为所述目标对象的第一预设特征点与第二预设特征点之间的距离,所述第二距离为所述目标对象的第三预设特征点与第四预设特征点之间的距离;
若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度。
2.根据权利要求1所述的电子防抖控制方法,其特征在于,所述第一数值范围为第一比值边界与第二比值边界之间的范围;
所述第一比值边界为模板比值减去第一预设误差值所得数值;所述第二比值边界为所述模板比值加上第二预设误差值所得数值;
所述模板比值为模板图像中的第三距离与第四距离的比值;所述第三距离为所述模板图像中所述第一预设特征点与所述第二预设特征点之间的距离,所述第四距离为所述模板图像中所述第三预设特征点与所述第四预设特征点之间的距离。
3.根据权利要求2所述的电子防抖控制方法,其特征在于,所述降低所述目标电子防抖处理的防抖强度,包括:
确定所述第一比值与所述第一比值边界或第二比值边界之间的比值差值;
确定与所述差值对应的强度调整值;
将所述目标电子防抖处理的防抖强度降低所述强度调整值。
4.根据权利要求2所述的电子防抖控制方法,其特征在于,所述确定所述目标对象的第一距离和第二距离之间的第一比值之前,所述方法包括:
拍摄包括所述目标对象的N张初始模板图像;其中,N为正整数;
提取所述N张初始模板图像中所述第一预设特征点与所述第二预设特征点之间的至少两个第六距离,以及所述第三预设特征点与所述第四预设特征点之间的至少两个第七距离;
将所述第六距离的均值作为所述第三距离,所述第七距离的均值作为所述第四距离。
5.根据权利要求4所述的电子防抖控制方法,其特征在于,所述降低所述目标电子防抖处理的防抖强度之后,所述方法包括:
根据所述模板图像,建立所述目标对象的第一坐标系,以及根据所述模板图像,建立所述目标对象的第二坐标系;
确定每个第一特征点在所述第一坐标系中的第一坐标;
将所述第一特征点在所述第二坐标系中的坐标调整为所述第一坐标,得到目标图像。
6.一种电子防抖控制装置,其特征在于,所述装置包括:
识别模块,用于通过摄像头获取预览图像,识别所述预览图像中的目标对象;其中,所述预览图像为通过目标电子防抖处理后的图像;
确定模块,用于确定所述目标对象的第一距离和第二距离之间的第一比值,以及所述目标对象的预设距离参数;其中,所述预设距离参数中包括与所述第一比值相对应的第一数值范围;所述第一距离为所述目标对象的第一预设特征点与第二预设特征点之间的距离,所述第二距离为所述目标对象的第三预设特征点与第四预设特征点之间的距离;
控制模块,用于若所述第一比值位于所述第一数值范围之外,则降低所述目标电子防抖处理的防抖强度。
7.根据权利要求6所述的电子防抖控制装置,其特征在于,所述第一数值范围为第一比值边界与第二比值边界之间的范围;
所述第一比值边界为模板比值减去第一预设误差值所得数值;所述第二比值边界为所述模板比值加上第二预设误差值所得数值;
所述模板比值为模板图像中的第三距离与第四距离的比值;所述第三距离为所述模板图像中所述第一预设特征点与所述第二预设特征点之间的距离,所述第四距离为所述模板图像中所述第三预设特征点与所述第四预设特征点之间的距离。
8.根据权利要求7所述的电子防抖控制装置,其特征在于,所述控制模块包括:
第一确定子模块,用于确定所述第一比值与所述第一比值边界或第二比值边界之间的比值差值;
第二确定子模块,用于确定与所述差值对应的强度调整值;
降低子模块,用于将所述目标电子防抖处理的防抖强度降低所述强度调整值。
9.根据权利要求7所述的电子防抖控制装置,其特征在于,所述装置包括:
拍摄模块,用于拍摄包括所述目标对象的N张初始模板图像;其中,N为正整数;
提取模块,用于提取所述N张初始模板图像中所述第一预设特征点与所述第二预设特征点之间的至少两个第六距离,以及所述第三预设特征点与所述第四预设特征点之间的至少两个第七距离;
调整模块,用于将所述第六距离的均值作为所述第三距离,所述第七距离的均值作为所述第四距离。
10.根据权利要求9所述的电子防抖控制装置,其特征在于,所述装置包括:
坐标建立模块,用于根据所述模板图像,建立所述目标对象的第一坐标系,以及根据所述模板图像,建立所述目标对象的第二坐标系;
坐标确定模块,用于确定每个第一特征点在所述第一坐标系中的第一坐标;
坐标调整模块,用于将所述第一特征点在所述第二坐标系中的坐标调整为所述第一坐标,得到目标图像。
CN202011177693.3A 2020-10-28 2020-10-28 电子防抖控制方法及装置 Active CN112333385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011177693.3A CN112333385B (zh) 2020-10-28 2020-10-28 电子防抖控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011177693.3A CN112333385B (zh) 2020-10-28 2020-10-28 电子防抖控制方法及装置

Publications (2)

Publication Number Publication Date
CN112333385A true CN112333385A (zh) 2021-02-05
CN112333385B CN112333385B (zh) 2022-02-22

Family

ID=74297700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011177693.3A Active CN112333385B (zh) 2020-10-28 2020-10-28 电子防抖控制方法及装置

Country Status (1)

Country Link
CN (1) CN112333385B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286001A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片
CN114531545A (zh) * 2022-02-11 2022-05-24 维沃移动通信有限公司 图像处理方法和装置
CN115396594A (zh) * 2022-08-02 2022-11-25 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置、电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237411A (ja) * 1993-02-10 1994-08-23 Olympus Optical Co Ltd 映像処理装置
CN1908736A (zh) * 2005-07-27 2007-02-07 索尼株式会社 成像透镜设备和成像装置
CN104113703A (zh) * 2013-04-15 2014-10-22 佳能株式会社 图像处理装置及图像处理方法
US20170155841A1 (en) * 2014-06-10 2017-06-01 Canon Kabushiki Kaisha Image-shake correction apparatus and control method thereof
CN107182220A (zh) * 2015-05-08 2017-09-19 索尼半导体解决方案公司 成像单元及包括该成像单元的电子设备
CN107851302A (zh) * 2015-10-14 2018-03-27 谷歌有限责任公司 稳定视频
US20180091739A1 (en) * 2016-09-28 2018-03-29 Renesas Electronics Corporation Camera controller, image processing module, and semiconductor system
US20190260933A1 (en) * 2018-02-19 2019-08-22 Canon Kabushiki Kaisha Image capturing apparatus performing image stabilization, control method thereof, and storage medium
CN111565309A (zh) * 2020-05-28 2020-08-21 京东方科技集团股份有限公司 显示设备及其畸变参数确定方法、装置、系统及存储介质
CN112738399A (zh) * 2020-12-29 2021-04-30 维沃移动通信(杭州)有限公司 图像处理方法、装置和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237411A (ja) * 1993-02-10 1994-08-23 Olympus Optical Co Ltd 映像処理装置
CN1908736A (zh) * 2005-07-27 2007-02-07 索尼株式会社 成像透镜设备和成像装置
CN104113703A (zh) * 2013-04-15 2014-10-22 佳能株式会社 图像处理装置及图像处理方法
US20170155841A1 (en) * 2014-06-10 2017-06-01 Canon Kabushiki Kaisha Image-shake correction apparatus and control method thereof
CN107182220A (zh) * 2015-05-08 2017-09-19 索尼半导体解决方案公司 成像单元及包括该成像单元的电子设备
CN107851302A (zh) * 2015-10-14 2018-03-27 谷歌有限责任公司 稳定视频
US20180091739A1 (en) * 2016-09-28 2018-03-29 Renesas Electronics Corporation Camera controller, image processing module, and semiconductor system
US20190260933A1 (en) * 2018-02-19 2019-08-22 Canon Kabushiki Kaisha Image capturing apparatus performing image stabilization, control method thereof, and storage medium
CN111565309A (zh) * 2020-05-28 2020-08-21 京东方科技集团股份有限公司 显示设备及其畸变参数确定方法、装置、系统及存储介质
CN112738399A (zh) * 2020-12-29 2021-04-30 维沃移动通信(杭州)有限公司 图像处理方法、装置和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286001A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片
CN114531545A (zh) * 2022-02-11 2022-05-24 维沃移动通信有限公司 图像处理方法和装置
CN115396594A (zh) * 2022-08-02 2022-11-25 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置、电子设备
CN115396594B (zh) * 2022-08-02 2024-04-05 黑芝麻智能科技(成都)有限公司 视频拍摄的方法、装置、电子设备

Also Published As

Publication number Publication date
CN112333385B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN112333385B (zh) 电子防抖控制方法及装置
CN110909654A (zh) 训练图像的生成方法及装置、电子设备和存储介质
CN108154466B (zh) 图像处理方法及装置
CN113301320B (zh) 图像信息处理方法、装置和电子设备
CN111654624B (zh) 拍摄提示方法、装置及电子设备
CN112532891A (zh) 拍照方法及装置
US9665925B2 (en) Method and terminal device for retargeting images
CN107730443B (zh) 图像处理方法、装置及用户设备
CN112948048A (zh) 信息处理方法、装置、电子设备及存储介质
CN109934168B (zh) 人脸图像映射方法及装置
CN111835937A (zh) 图像处理方法、装置及电子设备
CN112561787B (zh) 图像处理方法、装置、电子设备及存储介质
CN112738398B (zh) 一种图像防抖方法、装置和电子设备
CN114049670A (zh) 图像处理方法、装置、电子设备及存储介质
CN111654623B (zh) 拍照方法、装置和电子设备
CN112511890A (zh) 视频图像处理方法、装置及电子设备
CN112367470B (zh) 图像处理方法、装置及电子设备
CN111986097B (zh) 图像处理方法及装置
CN113709370A (zh) 图像生成方法、装置、电子设备及可读存储介质
CN113344812A (zh) 图像处理方法、装置和电子设备
CN116320769A (zh) 曝光调整方法、装置、电子设备及可读存储介质
CN114143447A (zh) 图像处理方法、装置及电子设备
CN116017146A (zh) 图像处理方法及其装置
CN116017178A (zh) 图像处理方法、装置及电子设备
CN116438568A (zh) 位置差异图生成方法及装置、电子设备、芯片及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant