CN113572974A - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113572974A
CN113572974A CN202110686411.0A CN202110686411A CN113572974A CN 113572974 A CN113572974 A CN 113572974A CN 202110686411 A CN202110686411 A CN 202110686411A CN 113572974 A CN113572974 A CN 113572974A
Authority
CN
China
Prior art keywords
image
area
light source
target image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110686411.0A
Other languages
English (en)
Other versions
CN113572974B (zh
Inventor
毛爱玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110686411.0A priority Critical patent/CN113572974B/zh
Publication of CN113572974A publication Critical patent/CN113572974A/zh
Application granted granted Critical
Publication of CN113572974B publication Critical patent/CN113572974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、装置及电子设备,属于图像处理领域。该方法包括:获取目标图像中包括目标对象的目标图像区域,该目标对象为满足预设条件的对象;确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理;在确定目标图像区域需要进行补光处理的情况下,根据光源信息确定目标图像区域对应的补偿光,并根据补偿光对目标图像区域进行补光处理。

Description

图像处理方法、装置及电子设备
技术领域
本申请属于图像处理技术领域,具体涉及一种图像处理方法、装置及电子设备。
背景技术
目前,电子设备在较暗的环境中进行拍照时,由于没有合适的光照,拍照环境中的光照不均匀,无法拍出满意的照片。因此通常在较暗环境中进行拍摄时,可以通过电子设备的闪光灯对拍照环境进行补光;或者,通过伽玛矫正等图像处理方法对拍摄图像进行分块提亮以实现图像补光。
然而上述方法中,由于闪光灯不能调节打光方向和光照强弱,通过闪光灯补光拍摄得到的照片,经常会出现光线过曝的情况,并且,在这种情况下也只能在拍摄过程中进行补光,不能对已经成像的照片进行光照补偿。对于通过伽玛矫正等图像处理方法对拍摄图像进行分块提亮以实现图像补光的方案,由于未预测图像拍摄时的原始光源信息,所采用的补光算法在一些图像上适用(补光效果较好),而在另外的图像上会存在过度补光的问题。从而电子设备在较暗环境中,拍摄得到的图像的效果较差。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置及电子设备,能够解决电子设备在较暗环境中,拍摄得到的图像的效果较差的问题。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:获取目标图像中包括目标对象的目标图像区域,该目标对象为满足预设条件的对象;确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理;在确定目标图像区域需要进行补光处理的情况下,根据光源信息确定目标图像区域对应的补偿光,并根据补偿光对目标图像区域进行补光处理。
第二方面,本申请实施例提供了一种图像处理装置,该装置包括:获取模块、确定模块和处理模块。其中,获取模块,用于获取目标图像中包括目标对象的目标图像区域,该目标对象为满足预设条件的对象。确定模块,用于确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理。确定模块,还用于在确定目标图像区域需要进行补光处理的情况下,根据光源信息确定目标图像区域对应的补偿光。处理模块,用于根据补偿光对目标图像区域进行补光处理。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,电子设备可以获取目标图像中包括目标对象的目标图像区域,以确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理,以在确定目标图像区域需要进行补光的情况下,根据确定的光源信息确定目标图像区域对应的补偿光,并根据该补偿光对目标图像区域进行补光处理。由于在电子设备拍摄得到目标图像时,电子设备可以通过获取目标图像中包括目标对象的目标图像区域,从而对目标图像区域进行分析处理,以确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理,因此可以在目标图像区域中存在光线不足的情况下,确定目标图像区域需要进行补光处理,并根据确定的光源信息确定目标图像区域对应的补偿光,然后根据该补偿光对目标图像区域进行补光处理,从而可以在电子设备拍摄得到目标图像中的目标图像区域由于光线不足,导致图像显示效果较差时,提高图像的显示效果。
附图说明
图1是本申请实施例提供的一种图像处理方法的示意图之一;
图2是本申请实施例提供的一种图像处理的实例示意图之一;
图3是本申请实施例提供的一种图像处理方法的示意图之二;
图4是本申请实施例提供的一种图像处理的实例示意图之二;
图5是本申请实施例提供的一种图像处理方法的示意图之三;
图6是本申请实施例提供的一种图像处理的实例示意图之三;
图7是本申请实施例提供的一种图像处理的实例示意图之四;
图8是本申请实施例提供的一种图像处理装置的结构示意图之一;
图9是本申请实施例提供的一种图像处理装置的结构示意图之二;
图10是本申请实施例提供的一种电子设备的结构示意图;
图11是本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的图像处理方法应用于电子设备对图像进行处理的场景中,具体的应用场景可以根据实际的使用需求而定,本申请不做具体的限定。
以电子设备对拍摄得到的图像进行处理为例进行说明,假设电子设备在较暗环境中拍摄得到目标图像(自拍图像,目标图像中包括有用户的人脸图像),由于环境较暗,目标图像的显示效果较差,则用户可以触发电子设备对目标图像进行处理,以使得电子设备可以先获取拍摄得到的目标图像中,包括有用户的人脸图像的目标图像区域,然后确定目标图像区域对应的光源信息(即目标图像区域中每个像素点的亮度,对应的光源的方向、光源距离等),以根据该光源信息判断目标图像区域是否需要进行补光处理。从而在确定目标图像区域需要进行补光处理的情况下,确定目标图像区域中的光线较暗区域为补光区域,并采用目标技术对光线较暗区域进行补光处理,从而可以提高目标图像的显示效果。
因此,在本申请实施例中,电子设备在拍摄得到(或从网络中获取到)显示效果较差的图像时,电子设备可以通过上述方法对图像进行补光处理,以提高图像的显示效果。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
本申请实施例提供一种图像处理方法,图1示出了本申请实施例提供的一种图像处理方法的流程图,该方法可以应用于电子设备。如图1所示,本申请实施例提供的图像处理方法可以包括下述的步骤201至步骤203。
步骤201、电子设备获取目标图像中包括目标对象的目标图像区域。
本申请实施例中,上述目标对象为满足预设条件的对象。
本申请实施例中,电子设备可以通过获取目标图像中包括有目标对象的目标图像区域,以确定目标图像区域对应的光源信息,并根据确定的光源信息判断目标图像区域是否需要进行补光处理,从而在确定目标图像区域需要进行补光处理的情况下,根据光源信息确定目标图像区域对应的补偿光,并根据补偿光对目标图像区域进行补光处理。
可选地,本申请实施例中,上述目标图像可以为电子设备拍摄得到的图像;或者,上述目标图像可以为电子设备从网络获取到的图像。
可选地,本申请实施例中,目标对象为满足预设条件的对象,可以理解为:目标对象为预设类型的物体,例如目标对象为人脸图像或动物图像等;并且,考虑到背景图像对目标图像的影响,该目标对象对应的目标图像区域所占目标图像的比例应不小于第一预设比例;以及,目标对象所占目标图像区域的比例应不小于第二预设比例,以保证目标对象在目标图像区域中的完整性。
可选地,本申请实施例中,电子设备对目标图像进行物体识别,以确定目标图像中是否包括有目标对象,从而在目标图像中包括有目标对象的情况下,从目标图像中截取包括目标对象的目标图像区域,以对截取到的目标图像区域进行下一步的处理。
可以理解,目标图像中包括的目标对象为用户主要关注的物体,同时为了消除背景图像中冗余的光线和物体对处理结果的影响,本申请利用图像识别技术对输入的图像进行物体识别检测,并使用外接矩形的形式定位出图形中包括有目标对象的目标图像区域。
步骤202、电子设备确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理。
可选地,本申请实施例中,上述光源信息包括以下至少一项:光源方向、光源强度、目标对象与光源的距离、目标对象上的光照强度等。
可选地,本申请实施例中,电子设备对目标图像区域进行分析处理,以分析确定在拍摄得到目标图像时,环境中的光源信息,以在光源信息满足预设的光源条件的情况下,确定目标图像区域需要进行补光处理。
其中,光源信息满足预设的光源条件可以包括以下至少一项:目标对象上的光照强度小于预设光照强度、目标对象与光源的距离大于预设距离、光源强度小于预设强度等。
可以理解,电子设备通过确定拍摄得到目标图像时光源的方向和强弱等信息,可以采用基于自动编码器的深度学习网络来估计目标图像中的光源信息,将获取到的目标图像区域输入至学习网络,以放缩至预设尺寸(例如256x256)大小,经过自动编码器网络处理后,网络可以输出2个32x32大小的不同材质的光照球图像来表示光源信息。
步骤203、在确定目标图像区域需要进行补光处理的情况下,电子设备根据光源信息确定目标图像区域对应的补偿光,并根据补偿光对目标图像区域进行补光处理。
可选地,本申请实施例中,电子设备可以通过目标技术根据补偿光对目标图像区域进行补光处理,该目标技术可以为以下任一项:重打光技术、亮度补偿等。
可选地,本申请实施例中,电子设备通过目标技术对目标图像区域中的图像进行补光处理,以提高目标图像区域中图像的显示效果。
示例性的,如图2所示,目标图像10中包括有人脸图像,其中图像区域11为人脸图像中光线较暗的图像区域,图像显示效果较差,电子设备可以识别目标图像10中的人脸图像,并获取包括完整的人脸图像的目标图像区域12,从而电子设备可以通过确定目标图像区域12中对应的光源信息,以根据确定的光源信息,确定出图像区域11为需要进行补光的图像区域,从而对图像区域11进行补光处理。
本申请实施例提供一种图像处理方法,电子设备可以获取目标图像中包括目标对象的目标图像区域,以确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理,以在确定目标图像区域需要进行补光的情况下,根据确定的光源信息确定目标图像区域对应的补偿光,并根据该补偿光对目标图像区域进行补光处理。由于在电子设备拍摄得到目标图像时,电子设备可以通过获取目标图像中包括目标对象的目标图像区域,从而对目标图像区域进行分析处理,以确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理,因此可以在目标图像区域中存在光线不足的情况下,确定目标图像区域需要进行补光处理,并根据确定的光源信息确定目标图像区域对应的补偿光,然后根据该补偿光对目标图像区域进行补光处理,从而可以在电子设备拍摄得到目标图像中的目标图像区域由于光线不足,导致图像显示效果较差时,提高图像的显示效果。
可选地,本申请实施例中,上述目标对象为人脸图像。结合图1,如图3所示,上述步骤202具体可以通过下述的步骤202a至步骤202c实现。
步骤202a、电子设备对目标图像区域进行处理,输出目标图像区域对应的光照球图像,并通过光照球图像中每个点的亮度参数表示目标图像区域的光源信息。
可选地,本申请实施例中,电子设备可以采用目标算法对目标图像区域进行处理,该目标算法可以为基于自动编码器的深度学习网络算法,电子设备通过在网络算法中输入目标图像区域,经过自动编码器网络处理,输出光照球图像。
可选地,本申请实施例中,电子设备通过基于自动编码器的深度学习网络算法对目标图像区域进行处理,以得到目标图像区域对应的两个光照球图像,其中一个光照球图像为白球反射图像,反映光源的方向等信息,另外一个光照球图像为灰球反射图像,是环境光的反映。
需要说明的是,上述白球反射图像和灰球反射图像可以理解为不同材质的图像,由于实际采集这两种图像时球面的粗糙程度不同,所以这里称为两种材质。
本申请实施例中,光照球图像(即高动态范围成像(Learning Illumination fromDiverse Portraits,HDRI))是指环境中放一个光照球,在其面上反射出来的图像。
步骤202b、电子设备计算光照球图像中的光源区域的光源中心,并确定光源中心与光照球图像的图像中心之间的目标距离。
可选地,本申请实施例中,在白球反射图像中,包括有光源区域,电子设备根据每个点的亮度值,确定光源区域的光源中心,从而确定光源中心与光照球图像的图像中心之间的目标距离。
步骤202c、在目标距离大于或等于预设阈值的情况下,电子设备根据光源区域在光照球图像中的位置,确定目标图像区域需要进行补光处理。
可选地,本申请实施例中,电子设备判断目标距离与预设数值的大小关系,在目标距离小于预设阈值的情况下,确定目标图像区域不需要进行补光处理;在目标距离大于或等于预设阈值的情况下,确定目标图像区域需要进行补光处理。其中,预设阈值与光照球图像的半径值存在对应关系,该预设阈值可以为光照球图像的半径值的预设比例。
示例性的,结合图2,如图4所示,在电子设备获取到目标图像区域12之后,电子设备可以采用基于自动编码器的深度学习网络算法对目标图像区域12进行处理,在网络算法中输入目标图像区域12,以使得经过自动编码器网络处理后,输出白球反射图像13和灰球反射图像14,其中白球反射图像13中的光源区域15用于反应对应的光源信息。
本申请实施例中,电子设备对目标图像区域进行处理,以通过输出目标图像区域对应的光照球图像,并通过光照球图像中每个点的亮度参数表示目标图像区域的光源信息,然后计算光照球图像中的光源区域的光源中心,以确定光源中心与光照球图像的图像中心之间的目标距离,从而可以通过确定的目标距离,判断目标图像区域是否需要进行补光处理,以在目标距离大于或等于预设阈值的情况下,根据光源区域在光照球图像中的位置,确定目标图像区域需要进行补光处理。从而电子设备可以通过光照球图像准确的确定目标图像区域是否需要进行补光处理。
可选地,本申请实施例中,结合图3,如图5所示,上述步骤202b中的“电子设备计算光照球图像中的光源区域的光源中心”具体可以通过下述的步骤301和步骤302实现。
步骤301、电子设备根据光照球图像中的每个点的亮度值,确定光源区域。
本申请实施例中,上述光源区域中的每个点的亮度值大于或等于预设亮度值。
可选地,本申请实施例中,电子设备根据光照球图像中的每个点的亮度值,以亮度值为权值确定出光照球图像中的光源区域。
可选地,本申请实施例中,电子设备判断每个点的亮度值,以将亮度值满足条件(即光源区域中的每个点的亮度值大于或等于预设亮度值)的区域确定为光源区域。
步骤302、电子设备基于光照球图像中的每个点的亮度值,确定每个点对应的亮度权重值,并根据每个点对应的亮度权重值计算光源区域的光源中心。
本申请实施例中,电子设备可以根据光照球图像中的每个点的亮度值,确定光照球图像中亮度值大于或等于预设亮度值的光源区域,并根据光照球图像中的每个点的亮度值确定每个点对应的亮度权重值,以根据每个点对应的亮度权重值计算光源区域的光源中心,从而可以准确的确定光照球图像中的光源区域和光源中心。
需要说明的是,在执行上述步骤301和步骤302的情况下,上述步骤202b的具体步骤为“电子设备确定光源中心与光照球图像的图像中心之间的目标距离”。
可选地,本申请实施例中,上述步骤202c具体可以通过下述的步骤401和步骤402实现。
步骤401、在目标距离大于或等于预设阈值的情况下,电子设备确定光照球图像中与光源区域对应的第二区域,并在光照球图像上对第二区域进行补光处理,得到光补偿光照球图像。
本申请实施例中,上述第二区域与光源区域相对于光照球图像的图像中心对称。
本申请实施例中,上述第二区域和光源区域为光照球图像中的图像区域。
可选地,本申请实施例中,电子设备通过将光源中心与光照球图像的图像中心的连线的法线为翻转水平线,对光照球图像做翻转,得到对应的光补偿光照球图像(即第二区域与光源区域相对于光照球图像的图像中心对称)。
需要说明的是,对于目标图像中存在多个人脸图像的情况,本申请采用将同材质的多个光照球图像求平均值的方式,因此,对于每张原始输入的人脸图像(即目标图像区域)的补偿光计算,均得到一张白球反射补偿图和一张灰球反射补偿图。
步骤402、电子设备根据光照球图像上的第二区域,在目标图像区域中确定第一区域,并确定目标图像区域中的第一区域需要进行补光处理。
本申请实施例中,上述第一区域为目标图像区域中与光照球图像中的第二区域相对应的图像区域。
可选地,本申请实施例中,在确定光照球图像上的第二区域后,电子设备在光照球图像上对第二区域进行补光处理,以得到对应的光补偿光照球图像,即根据白球反射图像得到白球补偿光照图,根据灰球反射图像得到灰球补偿光照图。
本申请实施例中,上述第一区域为目标图像区域中的图像区域。
可选地,本申请实施例中,电子设备根据光照球图像上的第二区域,在目标图像区域中确定对应的第一区域,并采用目标技术对第一区域进行补光处理。
可选地,本申请实施例中,电子设备从目标图像区域中确定出满足条件的第一区域为补光区域,其中,满足条件的第一区域可以理解为:第一区域对应的光照强度小于预设光照强度。
示例性的,结合图4,如图6所示,在得到白球反射图像13之后,电子设备根据光源信息确定光源区域15的光源中心,以及白球反射图像13的图像中心,从而确定光源中心与图像中心之间的目标距离,并在目标距离大于或等于预设阈值的情况下,电子设备确定通过白球反射图像13的图像中心与光源区域15中心对称的第二区域16为补光区域,并在光照球图像上对第二区域16进行补光处理,得到光补偿光照球图像17。
本申请实施例中,电子设备在目标距离大于或等于预设阈值的情况下,可以确定与光源区域相对于光照球图像的图像中心对称的第二区域,并对光照球图像上的第二区域进行补光处理,得到光补偿光照球图像,以将目标图像区域中与光照球图像中的第二区域相对应的第一区域确定为补光区域,从而可以根据光照球图像准确的确定出目标图像区域中需要进行补光处理的区域。
可选地,本申请实施例中,上述步骤203中的“电子设备根据光源信息确定目标图像区域对应的补偿光,并根据补偿光对目标图像区域进行补光处理”具体可以通过下述的步骤203a实现。
步骤203a、电子设备根据目标图像区域和光补偿光照球图像,采用椭圆映射法将光补偿光照球图像映射至目标图像区域上。
可选地,本申请实施例中,电子设备通过在第一区域添加逆向同等强度的光源,对第一区域进行补光处理。
可选地,本申请实施例中,电子设备采用重打光技术对目标图像区域进行补光处理,以在目标图像区域中添加光照效果,达到光照补偿的效果。
可选地,本申请实施例中,电子设备采用椭圆映射法(elliptical grid mapping)将白球反射图像对应的白球补偿光照图和灰球反射图像对应的灰球补偿光照图投影到正方形上,得到漫反射补偿图和散射补偿图,再采用定向重打光的深度学习网络对图像添加补偿光。
可以理解,定向重打光的深度学习网络的输入是目标图像区域和一个光照球图像,输出的是重打光的结果。定向重打光的深度学习网络整体是一个自动编码器结构,在网络中间的编码结果中添加补偿反射图,将补偿光源信息引入到网络结构中。处理过程中,首先输入白球补偿光照图,对图像添加确定的逆向光源,之后输入灰球补偿光照图,对人脸图像添加逆向环境光。
示例性的,结合图6,如图7所示,在得到光补偿光照球图像17之后,电子设备将目标图像区域12和光补偿光照球图像17同时输入至定向重打光的深度学习网络中,从而根据光补偿光照球图像17对目标图像区域12进行补光处理(图中通过阴影示意补光效果)。
本申请实施例中,电子设备根据目标图像区域和光补偿光照球图像,采用椭圆映射法将光补偿光照球图像映射至目标图像区域上,通过目标技术对目标图像区域进行补光处理,得到补光处理之后的目标图像区域,进而可以得到补光处理之后的目标图像,从而可以提高图像的显示效果。
需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置,或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行加载图像处理方法为例,说明本申请实施例提供的图像处理装置。
图8示出了本申请实施例中涉及的图像处理装置的一种可能的结构示意图。如图8所示,图像处理装置70可以包括:获取模块71、确定模块72和处理模块73。
其中,获取模块71,用于获取目标图像中包括目标对象的目标图像区域,该目标对象为满足预设条件的对象。确定模块72,用于确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理。确定模块72,还用于在确定目标图像区域需要进行补光处理的情况下,根据光源信息确定目标图像区域对应的补偿光。处理模块73,用于根据补偿光对目标图像区域进行补光处理。
在一种可能的实现方式中,上述目标对象为人脸图像。处理模块73,还用于对目标图像区域进行处理,输出目标图像区域对应的光照球图像,并通过光照球图像中每个点的亮度参数表示目标图像区域的光源信息。结合图8,如图9所示,本申请实施例提供的图像处理装置70还可以包括:计算模块74。其中,计算模块74,用于计算光照球图像中的光源区域的光源中心,并确定光源中心与光照球图像的图像中心之间的目标距离。确定模块72,具体用于在目标距离大于或等于预设阈值的情况下,根据光源区域在光照球图像中的位置,确定目标图像区域需要进行补光处理。
在一种可能的实现方式中,计算模块74,具体用于根据光照球图像中的每个点的亮度值,确定光源区域,该光源区域中的每个点的亮度值大于或等于预设亮度值;并基于光照球图像中的每个点的亮度值,确定每个点对应的亮度权重值,以及根据每个点对应的亮度权重值计算光源区域的光源中心。
在一种可能的实现方式中,确定模块72,还用于在目标距离大于或等于预设阈值的情况下,确定光照球图像中与光源区域对应的第二区域。处理模块73,还用于在光照球图像上对第二区域进行补光处理,得到光补偿光照球图像,第二区域与光源区域相对于光照球图像的图像中心对称。确定模块72,具体用于根据光照球图像上的第二区域,在目标图像区域中确定第一区域,并确定目标图像区域中的第一区域需要进行补光处理,第一区域为目标图像区域中与光照球图像中的第二区域相对应的图像区域。
在一种可能的实现方式中,处理模块73,具体用于根据目标图像区域和光补偿光照球图像,采用椭圆映射法将光补偿光照球图像映射至目标图像区域上。
本申请实施例提供的图像处理装置能够实现上述方法实施例中图像处理装置实现的各个过程,为避免重复,详细描述这里不再赘述。
本申请实施例提供一种图像处理装置,由于在电子设备拍摄得到目标图像时,电子设备可以通过获取目标图像中包括目标对象的目标图像区域,从而对目标图像区域进行分析处理,以确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理,因此可以在目标图像区域中存在光线不足的情况下,确定目标图像区域需要进行补光处理,并根据确定的光源信息确定目标图像区域对应的补偿光,然后根据该补偿光对目标图像区域进行补光处理,从而可以在电子设备拍摄得到目标图像中的目标图像区域由于光线不足,导致图像显示效果较差时,提高图像的显示效果。
本申请实施例中的图像处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
可选地,如图10所示,本申请实施例还提供一种电子设备M00,包括处理器M01,存储器M02,存储在存储器M02上并可在所述处理器M01上运行的程序或指令,该程序或指令被处理器M01执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器110,用于获取目标图像中包括目标对象的目标图像区域,该目标对象为满足预设条件的对象。
处理器110,还用于确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理。
处理器110,还用于在确定目标图像区域需要进行补光处理的情况下,根据光源信息确定目标图像区域对应的补偿光,并根据补偿光对目标图像区域进行补光处理。
本申请实施例提供一种电子设备,由于在电子设备拍摄得到目标图像时,电子设备可以通过获取目标图像中包括目标对象的目标图像区域,从而对目标图像区域进行分析处理,以确定目标图像区域对应的光源信息,并根据光源信息判断目标图像区域是否需要进行补光处理,因此可以在目标图像区域中存在光线不足的情况下,确定目标图像区域需要进行补光处理,并根据确定的光源信息确定目标图像区域对应的补偿光,然后根据该补偿光对目标图像区域进行补光处理,从而可以在电子设备拍摄得到目标图像中的目标图像区域由于光线不足,导致图像显示效果较差时,提高图像的显示效果。
可选地,处理器110,具体用于对目标图像区域进行处理,输出目标图像区域对应的光照球图像,并通过光照球图像中每个点的亮度参数表示目标图像区域的光源信息;计算光照球图像中的光源区域的光源中心,并确定光源中心与光照球图像的图像中心之间的目标距离。
处理器110,具体还用于在目标距离大于或等于预设阈值的情况下,根据光源区域在光照球图像中的位置,确定目标图像区域需要进行补光处理。
本申请实施例中,电子设备对目标图像区域进行处理,以通过输出目标图像区域对应的光照球图像,并通过光照球图像中每个点的亮度参数表示目标图像区域的光源信息,然后计算光照球图像中的光源区域的光源中心,以确定光源中心与光照球图像的图像中心之间的目标距离,从而可以通过确定的目标距离,判断目标图像区域是否需要进行补光处理,以在目标距离大于或等于预设阈值的情况下,根据光源区域在光照球图像中的位置,确定目标图像区域需要进行补光处理。从而电子设备可以通过光照球图像准确的确定目标图像区域是否需要进行补光处理。
处理器110,具体用于根据光照球图像中的每个点的亮度值,确定光源区域,光源区域中的每个点的亮度值大于或等于预设亮度值;基于光照球图像中的每个点的亮度值,确定每个点对应的亮度权重值,并根据每个点对应的亮度权重值计算光源区域的光源中心。
本申请实施例中,电子设备可以根据光照球图像中的每个点的亮度值,确定光照球图像中亮度值大于或等于预设亮度值的光源区域,并根据光照球图像中的每个点的亮度值确定每个点对应的亮度权重值,以根据每个点对应的亮度权重值计算光源区域的光源中心,从而可以准确的确定光照球图像中的光源区域和光源中心。
处理器110,具体用于在目标距离大于或等于预设阈值的情况下,确定光照球图像中与光源区域对应的第二区域,并在光照球图像上对第二区域进行补光处理,得到光补偿光照球图像,第二区域与光源区域相对于光照球图像的图像中心对称;根据光照球图像上的第二区域,在目标图像区域中确定第一区域,并确定目标图像区域中的第一区域需要进行补光处理,第一区域为目标图像区域中与光照球图像中的第二区域相对应的图像区域。
本申请实施例中,电子设备在目标距离大于或等于预设阈值的情况下,可以确定与光源区域相对于光照球图像的图像中心对称的第二区域,并对光照球图像上的第二区域进行补光处理,得到光补偿光照球图像,以将目标图像区域中与光照球图像中的第二区域相对应的第一区域确定为补光区域,从而可以根据光照球图像准确的确定出目标图像区域中需要进行补光处理的区域。
处理器110,具体用于根据目标图像区域和光补偿光照球图像,采用椭圆映射法将光补偿光照球图像映射至目标图像区域上。
本申请实施例中,电子设备根据目标图像区域和光补偿光照球图像,采用椭圆映射法将光补偿光照球图像映射至目标图像区域上,通过目标技术对目标图像区域进行补光处理,得到补光处理之后的目标图像区域,进而可以得到补光处理之后的目标图像,从而可以提高图像的显示效果。
应理解的是,本申请实施例中,输入单元104可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器109可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法,其特征在于,所述方法包括:
获取目标图像中包括目标对象的目标图像区域,所述目标对象为满足预设条件的对象;
确定所述目标图像区域对应的光源信息,并根据所述光源信息判断所述目标图像区域是否需要进行补光处理;
在确定所述目标图像区域需要进行补光处理的情况下,根据所述光源信息确定所述目标图像区域对应的补偿光,并根据所述补偿光对所述目标图像区域进行补光处理。
2.根据权利要求1所述的方法,其特征在于,所述目标对象为人脸图像;
所述确定所述目标图像区域对应的光源信息,并根据所述光源信息判断所述目标图像区域是否需要进行补光处理,包括:
对所述目标图像区域进行处理,输出所述目标图像区域对应的光照球图像,并通过所述光照球图像中每个点的亮度参数表示所述目标图像区域的光源信息;
计算所述光照球图像中的光源区域的光源中心,并确定所述光源中心与所述光照球图像的图像中心之间的目标距离;
在所述目标距离大于或等于预设阈值的情况下,根据所述光源区域在所述光照球图像中的位置,确定所述目标图像区域需要进行补光处理。
3.根据权利要求2所述的方法,其特征在于,所述计算所述光照球图像中的光源区域的光源中心,包括:
根据所述光照球图像中的每个点的亮度值,确定所述光源区域,所述光源区域中的每个点的亮度值大于或等于预设亮度值;
基于所述光照球图像中的每个点的亮度值,确定每个点对应的亮度权重值,并根据每个点对应的亮度权重值计算所述光源区域的光源中心。
4.根据权利要求2所述的方法,其特征在于,所述在所述目标距离大于或等于预设阈值的情况下,根据所述光源区域在所述光照球图像中的位置,确定所述目标图像区域需要进行补光处理,包括:
在所述目标距离大于或等于预设阈值的情况下,确定所述光照球图像中与所述光源区域对应的第二区域,并在所述光照球图像上对所述第二区域进行补光处理,得到光补偿光照球图像,所述第二区域与所述光源区域相对于所述光照球图像的图像中心对称;
根据所述光照球图像上的所述第二区域,在所述目标图像区域中确定第一区域,并确定所述目标图像区域中的所述第一区域需要进行补光处理,所述第一区域为所述目标图像区域中与所述光照球图像中的所述第二区域相对应的图像区域。
5.根据权利要求4所述的方法,其特征在于,所述根据所述光源信息确定所述目标图像区域对应的补偿光,并根据所述补偿光对所述目标图像区域进行补光处理,包括:
根据所述目标图像区域和所述光补偿光照球图像,采用椭圆映射法将所述光补偿光照球图像映射至所述目标图像区域上。
6.一种图像处理装置,其特征在于,所述图像处理装置包括:获取模块、确定模块和处理模块;
所述获取模块,用于获取目标图像中包括目标对象的目标图像区域,所述目标对象为满足预设条件的对象;
所述确定模块,用于确定所述目标图像区域对应的光源信息,并根据所述光源信息判断所述目标图像区域是否需要进行补光处理;
所述确定模块,还用于在确定所述目标图像区域需要进行补光处理的情况下,根据所述光源信息确定所述目标图像区域对应的补偿光;
所述处理模块,用于根据所述补偿光对所述目标图像区域进行补光处理。
7.根据权利要求6所述的图像处理装置,其特征在于,所述目标对象为人脸图像;
所述处理模块,还用于对所述目标图像区域进行处理,输出所述目标图像区域对应的光照球图像,并通过所述光照球图像中每个点的亮度参数表示所述目标图像区域的光源信息;
所述图像处理装置还包括:计算模块;
所述计算模块,用于计算所述光照球图像中的光源区域的光源中心,并确定所述光源中心与所述光照球图像的图像中心之间的目标距离;
所述确定模块,具体用于在所述目标距离大于或等于预设阈值的情况下,根据所述光源区域在所述光照球图像中的位置,确定所述目标图像区域需要进行补光处理。
8.根据权利要求7所述的图像处理装置,其特征在于,所述计算模块,具体用于根据所述光照球图像中的每个点的亮度值,确定所述光源区域,所述光源区域中的每个点的亮度值大于或等于预设亮度值;并基于所述光照球图像中的每个点的亮度值,确定每个点对应的亮度权重值,以及根据每个点对应的亮度权重值计算所述光源区域的光源中心。
9.根据权利要求7所述的图像处理装置,其特征在于,所述确定模块,还用于在所述目标距离大于或等于预设阈值的情况下,确定所述光照球图像中与所述光源区域对应的第二区域;
所述处理模块,还用于在所述光照球图像上对所述第二区域进行补光处理,得到光补偿光照球图像,所述第二区域与所述光源区域相对于所述光照球图像的图像中心对称;
所述确定模块,具体用于根据所述光照球图像上的所述第二区域,在所述目标图像区域中确定第一区域,并确定所述目标图像区域中的所述第一区域需要进行补光处理,所述第一区域为所述目标图像区域中与所述光照球图像中的所述第二区域相对应的图像区域。
10.根据权利要求9所述的图像处理装置,其特征在于,所述处理模块,具体用于根据所述目标图像区域和所述光补偿光照球图像,采用椭圆映射法将所述光补偿光照球图像映射至所述目标图像区域上。
11.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的图像处理方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-5中任一项所述的图像处理方法的步骤。
CN202110686411.0A 2021-06-21 2021-06-21 图像处理方法、装置及电子设备 Active CN113572974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110686411.0A CN113572974B (zh) 2021-06-21 2021-06-21 图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110686411.0A CN113572974B (zh) 2021-06-21 2021-06-21 图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113572974A true CN113572974A (zh) 2021-10-29
CN113572974B CN113572974B (zh) 2023-04-07

Family

ID=78162406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110686411.0A Active CN113572974B (zh) 2021-06-21 2021-06-21 图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113572974B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169194A1 (en) * 2007-12-31 2009-07-02 Altek Corporation Automatic exposure control method
US20100253615A1 (en) * 2009-04-01 2010-10-07 Jaejung Han Liquid crystal display and driving method thereof
CN103868586A (zh) * 2012-12-17 2014-06-18 纬创资通股份有限公司 光源感测装置及其光源感测方法
US20160055361A1 (en) * 2014-08-19 2016-02-25 Qisda Corporation Barcode scanner and operational method of the same
CN108174118A (zh) * 2018-01-04 2018-06-15 珠海格力电器股份有限公司 图像处理方法、装置和电子设备
US20180211440A1 (en) * 2015-07-21 2018-07-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment
CN110020645A (zh) * 2019-02-11 2019-07-16 阿里巴巴集团控股有限公司 一种图像处理方法及装置、一种计算设备及存储介质
US10665011B1 (en) * 2019-05-31 2020-05-26 Adobe Inc. Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features
CN112243582A (zh) * 2019-08-30 2021-01-19 深圳市大疆创新科技有限公司 补光控制方法、装置、系统和存储介质
CN112907454A (zh) * 2019-11-19 2021-06-04 杭州海康威视数字技术股份有限公司 获取图像的方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169194A1 (en) * 2007-12-31 2009-07-02 Altek Corporation Automatic exposure control method
US20100253615A1 (en) * 2009-04-01 2010-10-07 Jaejung Han Liquid crystal display and driving method thereof
CN103868586A (zh) * 2012-12-17 2014-06-18 纬创资通股份有限公司 光源感测装置及其光源感测方法
US20160055361A1 (en) * 2014-08-19 2016-02-25 Qisda Corporation Barcode scanner and operational method of the same
US20180211440A1 (en) * 2015-07-21 2018-07-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment
CN108174118A (zh) * 2018-01-04 2018-06-15 珠海格力电器股份有限公司 图像处理方法、装置和电子设备
CN110020645A (zh) * 2019-02-11 2019-07-16 阿里巴巴集团控股有限公司 一种图像处理方法及装置、一种计算设备及存储介质
US10665011B1 (en) * 2019-05-31 2020-05-26 Adobe Inc. Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features
CN112243582A (zh) * 2019-08-30 2021-01-19 深圳市大疆创新科技有限公司 补光控制方法、装置、系统和存储介质
CN112907454A (zh) * 2019-11-19 2021-06-04 杭州海康威视数字技术股份有限公司 获取图像的方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113572974B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108550101B (zh) 图像处理方法、装置及存储介质
CN108764139B (zh) 一种人脸检测方法、移动终端及计算机可读存储介质
CN110070551B (zh) 视频图像的渲染方法、装置和电子设备
CN108551552B (zh) 图像处理方法、装置、存储介质及移动终端
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN108765380A (zh) 图像处理方法、装置、存储介质及移动终端
KR101791603B1 (ko) 잡음을 이용하여 컬러 객체를 검출하는 방법 및 잡음을 이용하여 발광 장치를 검출하는 시스템
CN112308797A (zh) 角点检测方法、装置、电子设备及可读存储介质
CN112837251A (zh) 图像处理方法及装置
CN108683845A (zh) 图像处理方法、装置、存储介质及移动终端
CN113628259A (zh) 图像的配准处理方法及装置
CN113572974B (zh) 图像处理方法、装置及电子设备
CN112511890A (zh) 视频图像处理方法、装置及电子设备
CN110826376B (zh) 标记物识别方法、装置、终端设备及存储介质
CN111835937A (zh) 图像处理方法、装置及电子设备
CN113393391B (zh) 图像增强方法、图像增强装置、电子设备和存储介质
CN115439577A (zh) 图像渲染方法、装置、终端设备及存储介质
CN112887614B (zh) 图像处理方法、装置及电子设备
CN113473008A (zh) 拍摄方法及装置
CN113760429A (zh) 一种控制方法及控制装置
CN113706402A (zh) 神经网络训练方法、装置及电子设备
CN114143448B (zh) 拍摄方法、装置、电子设备及可读存储介质
CN113055599B (zh) 摄像头的切换方法、装置、电子设备和可读存储介质
CN114302057A (zh) 图像参数确定方法、装置、电子设备及存储介质
US20240037976A1 (en) Information processing device, information processing method, and computer-readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant