CN107566761B - 一种图像处理方法及电子设备 - Google Patents

一种图像处理方法及电子设备 Download PDF

Info

Publication number
CN107566761B
CN107566761B CN201710919147.4A CN201710919147A CN107566761B CN 107566761 B CN107566761 B CN 107566761B CN 201710919147 A CN201710919147 A CN 201710919147A CN 107566761 B CN107566761 B CN 107566761B
Authority
CN
China
Prior art keywords
image
image data
environment information
information corresponding
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710919147.4A
Other languages
English (en)
Other versions
CN107566761A (zh
Inventor
雷闪耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710919147.4A priority Critical patent/CN107566761B/zh
Publication of CN107566761A publication Critical patent/CN107566761A/zh
Application granted granted Critical
Publication of CN107566761B publication Critical patent/CN107566761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种图像处理方法和电子设备,所述方法由于在对第一图像数据、第二图像数据进行合成处理之前,首先基于第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息,对第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配,从而,应用本申请方案,可至少一定程度上解决合成图像中被合成的两部分因环境因素而导致的在视觉效果上不匹配的问题,进而提升了用户的视觉体验。

Description

一种图像处理方法及电子设备
技术领域
本发明属于图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
目前,在一些应用场景中,往往需要通过基于抠像的图像合成技术来进行图像制作,比如,在影视作品录制中,需将从前景视频的图像中抠图所得的图像部分(比如人物主体的图像),合成到背景视频的相对应图像中,以得到所要求的背景效果的视频图像等。
现有技术中,在将抠图所得的前景图像部分合成至背景图像中时,可能会因前景图像、背景图像录制时一些环境因素的差异,比如光照、风向等,而导致合成的图像中前景图像部分与背景图像部分在视觉效果上存在不匹配的现象,比如,背景图像在视觉效果上呈现出晴天树林场景,光照较强,且树木向东南方向倒伏,而前景人物图像在视觉效果上则偏暗,且头发与衣物比较齐整,没有被风吹动的痕迹等。这无疑会为用户带来较差的视觉体验。
发明内容
有鉴于此,本发明的目的在于提供一种图像制作方法及系统,旨在解决现有技术的合成图像中前景图像部分与背景图像部分在视觉效果上不匹配的问题,进而提升用户的视觉体验。
为此,本发明公开如下技术方案:
一种图像处理方法,包括:
获得第一图像数据、第二图像数据;
获得第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息;
基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,
使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配,
合成处理后的第一图像数据、第二图像数据,得到合成图像,
其中,所述图像数据包括图片,或者用于构成视频的图像。
上述方法,优选的,所述基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,包括:
获得第一图像数据的至少第一部分,以及第二图像数据的至少第二部分;
对第一图像数据的至少第一部分、第二图像数据的至少第二部分的至少其中之一进行处理,
使得处理后的第一图像数据的第一部分与第二图像的第二部分的环境信息相匹配,或者,
使得处理后的第二图像数据的第二部分与第一图像的第一部分的环境信息相匹配。
一种图像处理方法,包括:
获得第一图像及第一图像对应的环境信息;
基于所述第一图像对应的环境信息生成第三图像,以使得所述第三图像对应的环境信息与所述第一图像对应的环境信息相匹配;
对所述第一图像及所述第三图像进行合成处理,得到合成图像;
其中,所述图像包括图片,或者用于构成视频的图像。
上述方法,优选的,所述获得第一图像对应的环境信息,包括:
读取对应于所述第一图像的环境信息;其中,对应于所述第一图像的所述环境信息为在预先生成所述第一图像时,利用环境传感装置对所述第一图像的拍摄内容所处的环境进行检测所得的环境信息;或者,
通过对第一图像数据进行图像分析,得到所述第一图像对应的环境信息。
上述方法,优选的,所述第一图像为预先拍摄的第一视频中的相应图像,则所述读取对应于所述第一图像的环境信息,包括:
获得所述第一图像在所述第一视频中对应的第一时间戳信息;
根据所述第一时间戳信息,读取预先存储的对应于所述第一图像的环境信息;其中,所述第一视频中图像的环境信息与所述图像的时间戳信息对应存储。
一种电子设备,包括:
第一存储器,用于存储第一图像数据、第二图像数据,以及第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息;
第一处理器,用于从所述第一存储器中获得第一图像数据、第二图像数据;获得第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息;基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配;并合成处理后的第一图像数据、第二图像数据,得到合成图像,
其中,所述图像数据包括图片,或者用于构成视频的图像。
上述电子设备,优选的,所述第一处理器,基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,具体包括:
获得第一图像数据的至少第一部分,以及第二图像数据的至少第二部分;对第一图像数据的至少第一部分、第二图像数据的至少第二部分的至少其中之一进行处理,使得处理后的第一图像数据的第一部分与第二图像的第二部分的环境信息相匹配,或者,使得处理后的第二图像数据的第二部分与第一图像的第一部分的环境信息相匹配。
一种电子设备,包括:
第二处理器,用于从所述第二存储器中获得第一图像及第一图像对应的环境信息;基于所述第一图像对应的环境信息生成第三图像,以使得所述第三图像对应的环境信息与所述第一图像对应的环境信息相匹配;对所述第一图像及所述第三图像进行合成处理,得到合成图像;
其中,所述图像包括图片,或者用于构成视频的图像。
上述电子设备,优选的,所述电子设备还包括环境传感装置;
则所述第一处理器或所述第二处理器,获得第一图像对应的环境信息,具体包括:
读取对应于所述第一图像的环境信息;其中,对应于所述第一图像的所述环境信息为在预先生成所述第一图像时,利用环境传感装置对所述第一图像的拍摄内容所处的环境进行检测所得的环境信息;或者,
通过对第一图像数据进行图像分析,得到所述第一图像对应的环境信息。
上述电子设备,优选的,所述第一图像为预先拍摄的第一视频中的相应图像;
则所述第一处理器或所述第二处理器,读取对应于所述第一图像的环境信息,具体包括:
获得所述第一图像在所述第一视频中对应的第一时间戳信息;根据所述第一时间戳信息,读取预先存储的对应于所述第一图像的环境信息;其中,所述第一视频中图像的环境信息与所述图像的时间戳信息对应存储。
由以上方案可知,本申请提供了一种图像处理方法和电子设备,所述方法由于在对第一图像数据、第二图像数据进行合成处理之前,首先基于第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息,对第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配,从而,应用本申请方案,可至少一定程度上解决合成图像中被合成的两部分因环境因素而导致的在视觉效果上不匹配的问题,进而提升了用户的视觉体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请提供的一种图像处理方法实施例一的流程图;
图2是本申请提供的一种图像处理方法实施例二的流程图;
图3是本申请提供的一种图像处理方法实施例三的流程图;
图4是本申请提供的一种图像处理方法实施例四的流程图;
图5是本申请实施例五提供的读取第一图像的环境信息的流程图;
图6是本申请提供的一种电子设备实施例六的结构示意图;
图7是本申请提供的一种电子设备实施例八的结构示意图;
图8是本申请提供的一种电子设备实施例九的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例一提供一种图像处理方法,旨在至少一定程度上解决合成图像中被合成的两部分因环境因素而导致的在视觉效果上不匹配的问题。该方法可应用于智能手机、平板电脑等终端设备,或者还可以应用于笔记本电脑、台式机、一体机等各种计算机设备,参考图1示出的本申请一种图像处理方法实施例一的流程图,所述方法可以包括以下步骤:
步骤101、获得第一图像数据、第二图像数据。
其中,所述第一图像数据、第二图像数据可以是但不限定于所述电子设备中预先存储的、或者从其他设备传输过来的图片或用于构成视频的图像,通俗而言,所述第一图像数据、第二图像数据可以是独立图片,或者也可以是视频中的图像。
步骤102、获得第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息。
所述图像环境信息可以包括但不限定于图像的颜色、光亮度/光照度、色温、风向等信息。
从而,本步骤中,获得第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息,具体可以是获得第一图像数据对应的颜色、光亮度/光照度、色温、风向等信息,或者获得第二图像数据对应的颜色、光亮度/光照度、色温、风向等信息,或者获得第一图像数据以及第二图像数据的上述图像环境信息。
步骤103、基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配。
其中,若获得的所述图像环境信息为第一图像数据的图像环境信息,则可以参考该图像环境信息,对第二图像数据的至少部分进行处理,比如,参考该图像环境信息中包括的第一图像的颜色、光亮度/光照度、色温、风向等信息,对第二图像的至少部分,如第二图像的主体部分、背景部分,或者其他的任意部分对应的颜色、光亮度/光照度、色温、风向等信息进行相应调整等,以使得所述第二图像的所述至少部分与所述第一图像的图像环境信息相匹配。
相对应地,若获得的所述图像环境信息为第二图像数据的图像环境信息,则可以参考该图像环境信息,对第一图像数据的至少部分进行处理,比如,参考该图像环境信息中包括的第二图像的颜色、光亮度/光照度、色温、风向等信息,对第一图像的至少部分,如第一图像的主体部分、背景部分,或者其他的任意部分对应的颜色、光亮度/光照度、色温、风向等信息进行相应调整等,以使得所述第一图像的所述至少部分与所述第二图像的图像环境信息相匹配。
若获得的所述图像环境信息为第一图像数据以及第二图像数据的图像环境信息,则可以根据实际需求选择其中某一图像的图像环境信息为参考,对另一图像进行处理,或者将两幅图像互相参考,对两幅图像均做处理等。比如,参考第一图像的图像环境信息,对第二图像的至少部分,如第二图像的主体部分、背景部分,或者其他的任意部分对应的颜色、光亮度/光照度、色温、风向等信息进行相应调整;或者,参考第二图像的图像环境信息,对第一图像的至少部分,如第一图像的主体部分、背景部分,或者其他的任意部分对应的颜色、光亮度/光照度、色温、风向等信息进行相应调整;或者,将两幅图像的环境信息互相参考,同时对两幅图像的至少部分的颜色、光亮度/光照度、色温、风向等信息进行相应调整等等。本实施例对此不作限定。
步骤104、合成处理后的第一图像数据、第二图像数据,得到合成图像;其中,所述图像数据包括图片,或者用于构成视频的图像。
在基于上述步骤,对第一图像数据和/或第一图像数据进行处理后,本步骤继续合成处理后的第一图像数据、第二图像数据,从而得到合成图像。由于在对上述两个图像进行合成之前,已依照所获得的图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分的颜色、光亮度/光照度、色温、风向等信息进行调整,使得其中一个图像的至少部分与另一个图像的环境信息相吻合、相匹配,从而合成所得的所述合成图像中被合成的两部分在视觉效果上能够匹配一致。
由以上方案可知,本申请实施例提供的所述图像处理方法,由于在对第一图像数据、第二图像数据进行合成处理之前,首先基于第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息,对第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配,从而,应用本申请方案,可至少一定程度上解决合成图像中被合成的两部分因环境因素而导致的在视觉效果上不匹配的问题,进而提升了用户的视觉体验。
在本申请实施例二中,参考图2示出的本申请一种图像处理方法实施例二的流程图,所述方法中的步骤103可以通过以下的处理过程实现:
步骤1031、获得第一图像数据的至少第一部分,以及第二图像数据的至少第二部分。
其中,可根据实际的图像合成需求,从第一图像数据中选择确定出至少第一部分,从第二图像数据中选择、确定出至少第二部分,并将所述至少第一部分、至少第二部分分别从第一图像、第二图像中分离出来。
具体地,比如,假设在后续对第一图像、第二图像进行图像合成处理时,需采用第一图像的主体部分作为最终的合成图像的主体部分,采用第二图像的背景部分作为合成图像的背景部分,则可采用边缘检测、抠图等手段将第一图像中的主体部分分离出来,第二图像中的背景部分分离出来,以使得为后续有针对性地对所需部分进行处理提供支持。
步骤1032、对第一图像数据的至少第一部分、第二图像数据的至少第二部分的至少其中之一进行处理,使得处理后的第一图像数据的第一部分与第二图像的第二部分的环境信息相匹配,或者,使得处理后的第二图像数据的第二部分与第一图像的第一部分的环境信息相匹配。
在分别从第一图像、第二图像中分离出所述至少第一部分、至少第二部分的基础上,可参考获得的第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息,对所述至少第一部分、至少第二部分的至少其中之一进行处理,使得处理后的第一图像数据的第一部分与第二图像的第二部分的环境信息相匹配,或者,使得处理后的第二图像数据的第二部分与第一图像的第一部分的环境信息相匹配。
仍以在合成图像时需采用第一图像的主体部分、第二图像的背景部分分别作为合成图像的主体及背景为例,可根据获得的第一图像主体部分的图像环境信息,如颜色、光亮度/光照度、色温、风向等信息,对分离出的第二图像的背景部分进行相应处理,具体地,比如调整第二图像的背景部分的颜色、光亮度/光照度、色温,以使得第二图像的背景部分在颜色、光亮度/光照度、色温等信息上与第一图像的主体部分相匹配,并通过对第二图像背景部分中的物体(或物体的至少部分)做适当的角度变换/调整等处理,如对树木的树冠部分进行相应角度调整,使其按第一图像的风向信息产生一定倾斜等,从而使得第二图像的背景部分呈现出与第一图像的主体部分相匹配的风向效果。
或者还可以基于第二图像背景部分的图像环境信息,对第一图像的主体部分进行相应处理,如调整所述主体部分中人物图像的颜色、光亮/度光照度、色温信息,并通过调整人物的头发、衣饰的角度使得人物图像能够呈现出与第二图像背景部分相一致的风向效果等,或者还可以基于第一图像的主体部分、第二图像的背景部分的图像环境信息,根据实际需求作相应程度的折中考虑,同时对第一图像的主体部分、第二图像的背景部分进行处理等,以使得处理后的第一图像的主体部分与第二图像的背景部分在视觉效果上相匹配。
利用本实施例方案,由于在根据获得的图像环境信息,对第一图像数据、第二图像数据进行处理时,具体是根据实际需求,有针对性地对第一图像数据的至少第一部分、第二图像数据的至少第二部分的至少其中之一进行处理,从而可降低图像处理的处理工作量,相应地可提升图像处理的效率。
本申请实施例三提供一种图像处理方法,该方法旨在通过一种不同于以上各实施例的图像处理过程,来解决合成图像中被合成的两部分因环境因素而导致的在视觉效果上不匹配的问题。该方法同样可应用于智能手机、平板电脑等终端设备,以及笔记本电脑、台式机、一体机等各种计算机设备,参考图3示出的一种图像处理方法实施例三的流程图,所述方法可以包括以下步骤:
步骤301、获得第一图像及第一图像对应的环境信息。
本实施例中的所述第一图像数据,同样可以是但不限定于所述电子设备中预先存储的、或者从其他设备传输过来的图片或用于构成视频的图像等,即,所述第一图像数据可以是独立图片,或者也可以是视频中的图像。
所述第一图像的环境信息,可以包括但不限定于第一图像的颜色、光亮度/光照度、色温、风向等信息,所获得的所述第一图像的环境信息,旨在为后续的第三图像的生成提供所需的环境信息参考依据。
步骤302、基于所述第一图像对应的环境信息生成第三图像,以使得所述第三图像对应的环境信息与所述第一图像对应的环境信息相匹配。
在获得第一图像对应的环境信息基础上,比如获得第一图像对应的颜色、光亮度/光照度、色温、风向等信息的基础上,为能够使得后续生成的第三图像对应的环境信息与所述第一图像对应的环境信息相匹配,可通过环境模拟等方式,模拟出与第一图像的环境信息尽量一致的拍摄环境,并基于该拍摄环境来拍摄生成所述第三图像。
具体地,比如,根据第一图像对应的颜色、光亮度/光照度、色温、风向等信息,驱动对应的大灯、鼓风机、打光板等设备,以此模拟出与第一图像的环境信息相匹配的拍摄环境,进而在模拟的该环境下拍摄生成所需的第三图像,如拍摄独立图片形式的图像,或者拍摄视频图像等。由于所述第三图像是在所模拟的与第一图像的环境信息相匹配的拍摄环境中生成的,从而,所述第三图像对应的环境信息能够与所述第一图像对应的环境信息相匹配。
步骤302、对所述第一图像及所述第三图像进行合成处理,得到合成图像;其中,所述图像包括图片,或者用于构成视频的图像。
在生成所述第三图像后,可对所述第一图像及所述第三图像进行合成处理,最终得到画面的颜色、光亮度/光照度、色温、风向等信息相匹配的合成图像。
比如,假设需将第三图像作为后续合成图像中的背景部分,将第一图像中的主体部分作为合成图像的主体,从而可首先利用边缘检测、抠图等处理方式从第一图像中分离出其主体部分,在此基础上,将分离出的该主体部分合成至所述第三图像的相应位置(如用户指定位置或者第三图像中与所述主体部分在第一图像中所处位置相对应的位置)等。
或者,假设需将第一图像作为后续合成图像的背景部分、将第三图像的主体部分作为合成图像的主体,则可以按与上述相类似的方式,对第一图像及第三图像进行合成处理。除此之外,还可以根据实际需求,将第一图像的至少任意部分与第三图像的至少任意部分进行合成等,本实施例对此不作限定。
本实施例提供的图像处理方法,由于基于所述第一图像对应的环境信息来生成第三图像,比如通过模拟与第一图像的颜色、光亮度/光照度、色温、风向等信息相匹配的拍摄环境,来拍摄生成第三图像等,从而可使得生成的第三图像在环境信息上与第一图像相匹配,进而在对第一图像、第三图像进行合成处理得到合成图像后,可使得所述合成图像在图像的环境信息方面具有相匹配的视觉效果。
本申请实施例四,对获得第一图像对应的环境信息的实现过程进行说明,本实施例的实现过程适用于上述各实施例提供的任意一种图像处理方案。
本实施例中,参考图4(该图4仅示例性示出了将本实施例方案适用于本申请实施例三提供的图像处理方案的情况),所述获得第一图像对应的环境信息,可以通过以下的处理过程实现:
步骤3011、读取对应于所述第一图像的环境信息;其中,对应于所述第一图像的所述环境信息为在预先生成所述第一图像时,利用环境传感装置对所述第一图像的拍摄内容所处的环境进行检测所得的环境信息;或者,通过对第一图像数据进行图像分析,得到所述第一图像对应的环境信息。
具体地,在一种可能的实现方式中,可以预先在电子设备中增设用于在拍摄图像时对拍摄内容所对应的环境信息进行检测的环境传感装置,如颜色传感器、光照度传感器、风速传感器、风向传感器等等,以用于在进行图像拍摄时,同时检测拍摄内容所处环境中的颜色、光照度、风速、风向等信息。从而,在进行图像拍摄时,除了可得到并存储图像内容数据,还可以对应存储图像的光照、风速、风向等环境信息。
鉴于此,在该实现方式中,当需要获得第一图像的环境信息时,可直接从第一图像相关信息(如图像内容数据、图像的环境信息数据)的存储位置中读取第一图像的颜色、光照、风向等环境信息。
在另一种可能的实现方式中,还可以通过对第一图像数据进行图像分析,得到所述第一图像对应的环境信息。如通过对第一图像进行色彩/色温分析、光照度分析、风向分析,来分别得到第一图像对应的颜色、色温、光照度、风向等信息。
在实施本申请时,可根据实际需求,如设备的成本需求、处理效率需求等,选择上述方式中的任意之一或者结合采用两种方式,来实现获得第一图像对应的环境信息,本实施例并不作限定。
本申请实施例五,针对所述第一图像为视频图像的情况,对读取所述第一图像的环境信息的实现过程进行说明。
具体地,本实施例中,所述第一图像为预先拍摄的第一视频中的相应图像,则参考图5,所述读取对应于所述第一图像的环境信息,可以通过以下的处理过程实现:
步骤501、获得所述第一图像在所述第一视频中对应的第一时间戳信息。
步骤502、根据所述第一时间戳信息,读取预先存储的对应于所述第一图像的环境信息;其中,所述第一视频中图像的环境信息与所述图像的时间戳信息对应存储。
由于构成视频的各帧图像具有时序性,在存储视频数据时,往往将视频中各帧图像的图像数据按时序与其对应的时间戳对应存储,从而对于第一图像为第一视频中的相应图像的情况,可首先获得所述第一图像在所述第一视频中对应的第一时间戳信息,并进而根据所述第一时间戳信息,从所述第一视频的相关数据文件中,读取对应于所述第一图像的环境信息,如对应于所述第一图像的颜色、光照度、色温、风向等信息,以使得为后续的图像处理过程提供支持。
本申请实施例六提供一种电子设备,旨在至少一定程度上解决合成图像中被合成的两部分因环境因素而导致的在视觉效果上不匹配的问题。该电子设备可以是智能手机、平板电脑等终端设备,或者还可以是笔记本电脑、台式机、一体机等各种计算机设备,参考图6示出的一种电子设备实施例六的结构示意图,所述电子设备可以包括:
第一存储器601,用于存储第一图像数据、第二图像数据,以及第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息。
其中,所述第一存储器中的第一图像数据、第二图像数据,可以是但不限定于所述电子设备中预先生成并存储的、或者从其他设备传输过来的图片或用于构成视频的图像,通俗而言,所述第一图像数据、第二图像数据可以是独立图片,或者也可以是视频中的图像。
所述图像环境信息可以包括但不限定于图像的颜色、光亮度/光照度、色温、风向等信息。
第一处理器602,用于从所述第一存储器中获得第一图像数据、第二图像数据;获得第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息;基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配;并合成处理后的第一图像数据、第二图像数据,得到合成图像,
第一处理器获得第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息,具体可以是获得第一图像数据对应的颜色、光亮度/光照度、色温、风向等信息,或者获得第二图像数据对应的颜色、光亮度/光照度、色温、风向等信息,或者获得第一图像数据以及第二图像数据的上述图像环境信息。
其中,若获得的所述图像环境信息为第一图像数据的图像环境信息,则可以参考该图像环境信息,对第二图像数据的至少部分进行处理,比如,参考该图像环境信息中包括的第一图像的颜色、光亮度/光照度、色温、风向等信息,对第二图像的至少部分,如第二图像的主体部分、背景部分,或者其他的任意部分对应的颜色、光亮度/光照度、色温、风向等信息进行相应调整等,以使得所述第二图像的所述至少部分与所述第一图像的图像环境信息相匹配。
相对应地,若获得的所述图像环境信息为第二图像数据的图像环境信息,则可以参考该图像环境信息,对第一图像数据的至少部分进行处理,比如,参考该图像环境信息中包括的第二图像的颜色、光亮度/光照度、色温、风向等信息,对第一图像的至少部分,如第一图像的主体部分、背景部分,或者其他的任意部分对应的颜色、光亮度/光照度、色温、风向等信息进行相应调整等,以使得所述第一图像的所述至少部分与所述第二图像的图像环境信息相匹配。
若获得的所述图像环境信息为第一图像数据以及第二图像数据的图像环境信息,则可以根据实际需求选择其中某一图像的图像环境信息为参考,对另一图像进行处理,或者将两幅图像互相参考,对两幅图像均做处理等。比如,参考第一图像的图像环境信息,对第二图像的至少部分,如第二图像的主体部分、背景部分,或者其他的任意部分对应的颜色、光亮度/光照度、色温、风向等信息进行相应调整;或者,参考第二图像的图像环境信息,对第一图像的至少部分,如第一图像的主体部分、背景部分,或者其他的任意部分对应的颜色、光亮度/光照度、色温、风向等信息进行相应调整;或者,将两幅图像的环境信息互相参考,同时对两幅图像的至少部分的颜色、光亮度/光照度、色温、风向等信息进行相应调整等等。本实施例对此不作限定。
在对第一图像数据和/或第一图像数据进行处理后,可继续合成处理后的第一图像数据、第二图像数据,从而得到合成图像。由于在对上述两个图像进行合成之前,已依照所获得的图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分的颜色、光亮度/光照度、色温、风向等信息进行调整,使得其中一个图像的至少部分与另一个图像的环境信息相吻合、相匹配,从而合成所得的所述合成图像中被合成的两部分在视觉效果上能够匹配一致。
由以上方案可知,本申请实施例提供的所述电子设备,由于在对第一图像数据、第二图像数据进行合成处理之前,首先基于第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息,对第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配,从而,应用本申请方案,可至少一定程度上解决合成图像中被合成的两部分因环境因素而导致的在视觉效果上不匹配的问题,进而提升了用户的视觉体验。
在本申请实施例七中,所述第一处理器,基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,具体包括:
获得第一图像数据的至少第一部分,以及第二图像数据的至少第二部分;对第一图像数据的至少第一部分、第二图像数据的至少第二部分的至少其中之一进行处理,使得处理后的第一图像数据的第一部分与第二图像的第二部分的环境信息相匹配,或者,使得处理后的第二图像数据的第二部分与第一图像的第一部分的环境信息相匹配。
其中,可根据实际的图像合成需求,从第一图像数据中选择确定出至少第一部分,从第二图像数据中选择、确定出至少第二部分,并将所述至少第一部分、至少第二部分分别从第一图像、第二图像中分离出来。
具体地,比如,假设在后续对第一图像、第二图像进行图像合成处理时,需采用第一图像的主体部分作为最终的合成图像的主体部分,采用第二图像的背景部分作为合成图像的背景部分,则可采用边缘检测、抠图等手段将第一图像中的主体部分分离出来,第二图像中的背景部分分离出来,以使得为后续有针对性地对所需部分进行处理提供支持。
在分别从第一图像、第二图像中分离出所述至少第一部分、至少第二部分的基础上,可参考获得的第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息,对所述至少第一部分、至少第二部分的至少其中之一进行处理,使得处理后的第一图像数据的第一部分与第二图像的第二部分的环境信息相匹配,或者,使得处理后的第二图像数据的第二部分与第一图像的第一部分的环境信息相匹配。
仍以在合成图像时需采用第一图像的主体部分、第二图像的背景部分分别作为合成图像的主体及背景为例,可根据获得的第一图像主体部分的图像环境信息,如颜色、光亮度/光照度、色温、风向等信息,对分离出的第二图像的背景部分进行相应处理,具体地,比如调整第二图像的背景部分的颜色、光亮度/光照度、色温,以使得第二图像的背景部分在颜色、光亮度/光照度、色温等信息上与第一图像的主体部分相匹配,并通过对第二图像背景部分中的物体(或物体的至少部分)做适当的角度变换/调整等处理,如对树木的树冠部分进行相应角度调整,使其按第一图像的风向信息产生一定倾斜等,从而使得第二图像的背景部分呈现出与第一图像的主体部分相匹配的风向效果。
或者还可以基于第二图像背景部分的图像环境信息,对第一图像的主体部分进行相应处理,如调整所述主体部分中人物图像的颜色、光亮/度光照度、色温信息,并通过调整人物的头发、衣饰的角度使得人物图像能够呈现出与第二图像背景部分相一致的风向效果等,或者还可以基于第一图像的主体部分、第二图像的背景部分的图像环境信息,根据实际需求作相应程度的折中考虑,同时对第一图像的主体部分、第二图像的背景部分进行处理等,以使得处理后的第一图像的主体部分与第二图像的背景部分在视觉效果上相匹配。
利用本实施例方案,由于在根据获得的图像环境信息,对第一图像数据、第二图像数据进行处理时,具体是根据实际需求,有针对性地对第一图像数据的至少第一部分、第二图像数据的至少第二部分的至少其中之一进行处理,从而可降低图像处理的处理工作量,相应地可提升图像处理的效率。
本申请实施例八提供另一种电子设备,旨在解决合成图像中被合成的两部分因环境因素而导致的在视觉效果上不匹配的问题。该电子设备同样可以是智能手机、平板电脑等终端设备,或者还可以是笔记本电脑、台式机、一体机等各种计算机设备,参考图7示出的一种电子设备实施例八的结构示意图,所述电子设备可以包括:
第二存储器701,用于存储第一图像及第一图像对应的环境信息。
所述第二存储器中的所述第一图像数据,同样可以是但不限定于所述电子设备中预先生成并存储的、或者从其他设备传输过来的图片或用于构成视频的图像等,即,所述第一图像数据可以是独立图片,或者也可以是视频中的图像。
所述第一图像的环境信息,可以包括但不限定于第一图像的颜色、光亮度/光照度、色温、风向等信息,所获得的所述第一图像的环境信息,旨在为后续的第三图像的生成提供所需的环境信息参考依据。
第二处理器702,用于从所述第二存储器中获得第一图像及第一图像对应的环境信息;基于所述第一图像对应的环境信息生成第三图像,以使得所述第三图像对应的环境信息与所述第一图像对应的环境信息相匹配;对所述第一图像及所述第三图像进行合成处理,得到合成图像。
在从第二存储器获得第一图像对应的环境信息基础上,比如获得第一图像对应的颜色、光亮度/光照度、色温、风向等信息的基础上,为能够使得后续生成的第三图像对应的环境信息与所述第一图像对应的环境信息相匹配,可通过环境模拟等方式,模拟出与第一图像的环境信息尽量一致的拍摄环境,并基于该拍摄环境来拍摄生成所述第三图像。
具体地,比如,根据第一图像对应的颜色、光亮度/光照度、色温、风向等信息,驱动对应的大灯、鼓风机、打光板等设备,以此模拟出与第一图像的环境信息相匹配的拍摄环境,进而在模拟的该环境下拍摄生成所需的第三图像,如拍摄独立图片形式的图像,或者拍摄视频图像等。由于所述第三图像是在所模拟的与第一图像的环境信息相匹配的拍摄环境中生成的,从而,所述第三图像对应的环境信息能够与所述第一图像对应的环境信息相匹配。
在生成所述第三图像后,可对所述第一图像及所述第三图像进行合成处理,最终得到画面的颜色、光亮度/光照度、色温、风向等信息相匹配的合成图像。
比如,假设需将第三图像作为后续合成图像中的背景部分,将第一图像中的主体部分作为合成图像的主体,从而可首先利用边缘检测、抠图等处理方式从第一图像中分离出其主体部分,在此基础上,将分离出的该主体部分合成至所述第三图像的相应位置(如用户指定位置或者第三图像中与所述主体部分在第一图像中所处位置相对应的位置)等。
或者,假设需将第一图像作为后续合成图像的背景部分、将第三图像的主体部分作为合成图像的主体,则可以按与上述相类似的方式,对第一图像及第三图像进行合成处理。除此之外,还可以根据实际需求,将第一图像的至少任意部分与第三图像的至少任意部分进行合成等,本实施例对此不作限定。
本实施例提供的电子设备,由于基于所述第一图像对应的环境信息来生成第三图像,比如通过模拟与第一图像的颜色、光亮度/光照度、色温、风向等信息相匹配的拍摄环境,来拍摄生成第三图像等,从而可使得生成的第三图像在环境信息上与第一图像相匹配,进而在对第一图像、第三图像进行合成处理得到合成图像后,可使得所述合成图像在图像的环境信息方面具有相匹配的视觉效果。
在本申请实施例九中,参考图8示出的一种电子设备实施例九的结构示意图,所述电子设备还可以包括环境传感装置703。
则所述第一处理器或所述第二处理器,获得第一图像对应的环境信息,具体包括:
读取对应于所述第一图像的环境信息;其中,对应于所述第一图像的所述环境信息为在预先生成所述第一图像时,利用环境传感装置对所述第一图像的拍摄内容所处的环境进行检测所得的环境信息;或者,通过对第一图像数据进行图像分析,得到所述第一图像对应的环境信息。
具体地,在一种可能的实现方式中,可以预先在电子设备中增设用于在拍摄图像时对拍摄内容所对应的环境信息进行检测的环境传感装置,如颜色传感器、光照度传感器、风速传感器、风向传感器等等,以用于在进行图像拍摄时,同时检测拍摄内容所处环境中的颜色、光照度、风速、风向等信息。从而,在进行图像拍摄时,除了可得到并存储图像内容数据,还可以对应存储图像的光照、风速、风向等环境信息。
鉴于此,在该实现方式中,当需要获得第一图像的环境信息时,可直接从第一图像相关信息(如图像内容数据、图像的环境信息数据)的存储位置中读取第一图像的颜色、光照、风向等环境信息。
在另一种可能的实现方式中,还可以通过对第一图像数据进行图像分析,得到所述第一图像对应的环境信息。如通过对第一图像进行色彩/色温分析、光照度分析、风向分析,来分别得到第一图像对应的颜色、色温、光照度、风向等信息。
在实施本申请时,可根据实际需求,如设备的成本需求、处理效率需求等,选择上述方式中的任意之一或者结合采用两种方式,来实现获得第一图像对应的环境信息,本实施例并不作限定。
在本申请实施例十中,所述第一图像为预先拍摄的第一视频中的相应图像,则所述第一处理器或所述第二处理器,读取对应于所述第一图像的环境信息,具体包括:
获得所述第一图像在所述第一视频中对应的第一时间戳信息;根据所述第一时间戳信息,读取预先存储的对应于所述第一图像的环境信息;其中,所述第一视频中图像的环境信息与所述图像的时间戳信息对应存储。
由于构成视频的各帧图像具有时序性,在存储视频数据时,往往将视频中各帧图像的图像数据按时序与其对应的时间戳对应存储,从而对于第一图像为第一视频中的相应图像的情况,可首先获得所述第一图像在所述第一视频中对应的第一时间戳信息,并进而根据所述第一时间戳信息,从所述第一视频的相关数据文件中,读取对应于所述第一图像的环境信息,如对应于所述第一图像的颜色、光照度、色温、风向等信息,以使得为后续的图像处理过程提供支持。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种图像处理方法,其特征在于,包括:
获得第一图像数据、第二图像数据;
获得第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息;所述图像环境信息至少包括风向信息;
基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,
使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配,
合成处理后的第一图像数据、第二图像数据,得到合成图像,
其中,所述第一图像数据、第二图像数据为电子设备中预先存储的、或者从其他设备传输过来的图片或用于构成视频的图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,包括:
获得第一图像数据的至少第一部分,以及第二图像数据的至少第二部分;
对第一图像数据的至少第一部分、第二图像数据的至少第二部分的至少其中之一进行处理,
使得处理后的第一图像数据的第一部分与第二图像的第二部分的环境信息相匹配,或者,
使得处理后的第二图像数据的第二部分与第一图像的第一部分的环境信息相匹配。
3.根据权利要求1所述的方法,其特征在于,所述获得第一图像对应的环境信息,包括:
读取对应于所述第一图像的环境信息;其中,对应于所述第一图像的所述环境信息为在预先生成所述第一图像时,利用环境传感装置对所述第一图像的拍摄内容所处的环境进行检测所得的环境信息;或者,
通过对第一图像数据进行图像分析,得到所述第一图像对应的环境信息。
4.根据权利要求3所述的方法,其特征在于,所述第一图像为预先拍摄的第一视频中的相应图像,则所述读取对应于所述第一图像的环境信息,包括:
获得所述第一图像在所述第一视频中对应的第一时间戳信息;
根据所述第一时间戳信息,读取预先存储的对应于所述第一图像的环境信息;其中,所述第一视频中图像的环境信息与所述图像的时间戳信息对应存储。
5.一种电子设备,其特征在于,包括:
第一存储器,用于存储第一图像数据、第二图像数据,以及第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息;
第一处理器,用于从所述第一存储器中获得第一图像数据、第二图像数据;获得第一图像数据、第二图像数据中的至少其中之一对应的图像环境信息;所述图像环境信息至少包括风向信息;
基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,使得处理后的第一图像的至少部分与第二图像的环境信息相匹配,或者处理后的第二图像的至少部分与第一图像的环境信息相匹配;并合成处理后的第一图像数据、第二图像数据,得到合成图像,
其中,所述第一图像数据、第二图像数据为所述电子设备中预先存储的、或者从其他设备传输过来的图片或用于构成视频的图像。
6.根据权利要求5所述的电子设备,其特征在于,所述第一处理器,基于所述图像环境信息,对所述第一图像数据、第二图像数据的至少其中之一的至少部分进行处理,具体包括:
获得第一图像数据的至少第一部分,以及第二图像数据的至少第二部分;对第一图像数据的至少第一部分、第二图像数据的至少第二部分的至少其中之一进行处理,使得处理后的第一图像数据的第一部分与第二图像的第二部分的环境信息相匹配,或者,使得处理后的第二图像数据的第二部分与第一图像的第一部分的环境信息相匹配。
7.根据权利要求5所述的电子设备,其特征在于,所述电子设备还包括环境传感装置;
则所述第一处理器,获得第一图像对应的环境信息,具体包括:
读取对应于所述第一图像的环境信息;其中,对应于所述第一图像的所述环境信息为在预先生成所述第一图像时,利用环境传感装置对所述第一图像的拍摄内容所处的环境进行检测所得的环境信息;或者,
通过对第一图像数据进行图像分析,得到所述第一图像对应的环境信息。
8.根据权利要求7所述的电子设备,其特征在于,所述第一图像为预先拍摄的第一视频中的相应图像;
则所述第一处理器,读取对应于所述第一图像的环境信息,具体包括:
获得所述第一图像在所述第一视频中对应的第一时间戳信息;根据所述第一时间戳信息,读取预先存储的对应于所述第一图像的环境信息;其中,所述第一视频中图像的环境信息与所述图像的时间戳信息对应存储。
CN201710919147.4A 2017-09-30 2017-09-30 一种图像处理方法及电子设备 Active CN107566761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710919147.4A CN107566761B (zh) 2017-09-30 2017-09-30 一种图像处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710919147.4A CN107566761B (zh) 2017-09-30 2017-09-30 一种图像处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN107566761A CN107566761A (zh) 2018-01-09
CN107566761B true CN107566761B (zh) 2020-08-25

Family

ID=60984128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710919147.4A Active CN107566761B (zh) 2017-09-30 2017-09-30 一种图像处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN107566761B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059739B (zh) * 2019-04-12 2022-03-04 北京字节跳动网络技术有限公司 图像合成方法、装置、电子设备和计算机可读存储介质
CN112261296B (zh) * 2020-10-22 2022-12-06 Oppo广东移动通信有限公司 一种图像增强方法、图像增强装置及移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1306722A (zh) * 1998-06-22 2001-08-01 富士写真胶片株式会社 摄影装置及其方法
JP2008278103A (ja) * 2007-04-27 2008-11-13 Nippon Hoso Kyokai <Nhk> 映像合成装置及び映像合成プログラム
CN101853498A (zh) * 2009-03-31 2010-10-06 华为技术有限公司 图像合成方法及图像处理装置
CN104580910A (zh) * 2015-01-09 2015-04-29 宇龙计算机通信科技(深圳)有限公司 基于前、后摄像头的图像合成方法及系统
CN105141855A (zh) * 2015-08-31 2015-12-09 联想(北京)有限公司 一种图像处理方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957354B (zh) * 2014-05-08 2018-12-04 努比亚技术有限公司 一种移动终端及其引导拍照的方法和装置
CN106231198B (zh) * 2016-08-17 2019-03-22 北京小米移动软件有限公司 拍摄图像的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1306722A (zh) * 1998-06-22 2001-08-01 富士写真胶片株式会社 摄影装置及其方法
JP2008278103A (ja) * 2007-04-27 2008-11-13 Nippon Hoso Kyokai <Nhk> 映像合成装置及び映像合成プログラム
CN101853498A (zh) * 2009-03-31 2010-10-06 华为技术有限公司 图像合成方法及图像处理装置
CN104580910A (zh) * 2015-01-09 2015-04-29 宇龙计算机通信科技(深圳)有限公司 基于前、后摄像头的图像合成方法及系统
CN105141855A (zh) * 2015-08-31 2015-12-09 联想(北京)有限公司 一种图像处理方法及电子设备

Also Published As

Publication number Publication date
CN107566761A (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
US11475238B2 (en) Keypoint unwarping for machine vision applications
US9536352B2 (en) Imitating physical subjects in photos and videos with augmented reality virtual objects
US20180365518A1 (en) Target object presentation method and apparatus
US11343591B2 (en) Method and system of presenting moving images or videos corresponding to still images
TWI691209B (zh) 基於增強實境的視頻處理方法、裝置及電子設備
CN107798932A (zh) 一种基于ar技术的早教训练系统
KR20130083179A (ko) 증강 현실 제공 방법 및 이를 지원하는 단말기
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN110288534B (zh) 图像处理方法、装置、电子设备以及存储介质
KR102127351B1 (ko) 사용자 단말 장치 및 그 제어 방법
US9706102B1 (en) Enhanced images associated with display devices
EP3994657B1 (en) Image processing method and electronic device supporting the same
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
CN105791661A (zh) 拍照系统及方法
Kong et al. Digital and physical face attacks: Reviewing and one step further
CN107566761B (zh) 一种图像处理方法及电子设备
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN108898649A (zh) 图像处理方法及装置
CN114758054A (zh) 光斑添加方法、装置、设备及存储介质
CN113573044B (zh) 视频数据处理方法、装置、计算机设备及可读存储介质
CN110177216A (zh) 图像处理方法、装置、移动终端以及存储介质
CN109785439A (zh) 人脸素描图像生成方法及相关产品
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN115016688A (zh) 虚拟信息显示方法、装置和电子设备
KR101729131B1 (ko) 웹툰 이미지 증강 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant