CN108259877A - 一种白平衡处理方法及装置 - Google Patents
一种白平衡处理方法及装置 Download PDFInfo
- Publication number
- CN108259877A CN108259877A CN201810187555.XA CN201810187555A CN108259877A CN 108259877 A CN108259877 A CN 108259877A CN 201810187555 A CN201810187555 A CN 201810187555A CN 108259877 A CN108259877 A CN 108259877A
- Authority
- CN
- China
- Prior art keywords
- area
- camera
- mean value
- white balance
- visual field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种白平衡处理方法及装置,应用于包括全景相机和细节相机的监控系统,其中,所述方法包括:在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;基于所述比例,确定所述细节相机的白平衡增益;基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。降低了各相机拍摄的图像间存在的色彩差异。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种白平衡处理方法及装置。
背景技术
在现有由全景相机和细节相机组成的全景监控和细节监控系统中,当二者对着同一场景拍摄时,全景相机和细节相机分别采用各自独立的白平衡预处理增益来进行白平衡调节,结果导致同一物体的色彩风格不一致,有的偏暖色调,有的偏冷色调。
举个具体的例子来说,通过全景相机和细节相机组成的全景监控和细节监控系统对商店A的柜台所对应的场景进行监控,如果监控系统的操作者想要对该场景中的某一个特定的对象B进行详细观察时,一旦确定出对象B,细节相机将放大一定倍数对该对象B进行放大拍摄。在将全景相机和细节相机所拍摄的图像同步显示在同一设备的显示屏上时,全景相机所拍摄出的图像中的对象B偏黄,但细节相机所拍摄出的图像中的对象B偏绿,极大地影响了用户的视觉体验。
可见,在现有全景监控和细节监控系统中,两相机拍摄的图像间存在色彩差异的技术问题。
发明内容
本发明实施例提供一种白平衡处理方法及装置,用于解决在现有全景监控和细节监控系统中,两相机拍摄的图像间存在色彩差异的技术问题,降低各相机拍摄的图像间存在的色彩差异。
一方面,本发明实施例提供了一种白平衡处理方法,应用于包括全景相机和细节相机的监控系统,包括:
在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;
确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;
基于所述比例,确定所述细节相机的白平衡增益;
基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。
可选地,所述基于所述比例,确定所述细节相机的白平衡增益,包括:
根据获得的所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益,确定所述第一白平衡预处理增益和所述第二白平衡预处理增益之间的第一对应关系;
基于所述第一对应关系和所述比例,确定所述细节相机的白平衡增益与所述第一白平衡预处理增益和所述第二白平衡预处理增益间的第二对应关系;
基于所述第二对应关系,确定所述细节相机的白平衡增益。
可选地,所述方法还包括:
分别确定所述第一图像和所述第二图像中白色区域的数量,以及各白色区域的基色值分量,其中,所述基色值分量包括红色基色值分量、绿色基色值分量和蓝色基色值分量;
确定出所述第一图像中所有白色区域的红色基色值第一均值,绿色基色值第二均值,蓝色基色值第三均值,以及所述第二图像中所有白色区域的红色基色值第四均值,绿色基色值第五均值,蓝色基色值第六均值;
基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益。
可选地,所述基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益,包括:
以所述第二均值为基准,确定所述第一均值与所述第二均值的第一比值,以及,确定所述第三均值与所述第二均值的第二比值;且,
以所述第五均值为基准,确定所述第四均值与所述第五均值的第三比值,以及,确定所述第六均值与所述第五均值的第四比值。
确定所述第一比值和所述第二比值为所述第一白平衡预处理增益,以及确定所述第三比值和所述第四比值为所述第二白平衡预处理增益。
可选地,所述确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积,包括:
确定所述细节相机的第一水平视场角和第一垂直视场角,以及所述全景相机的第二水平视场角和第二垂直视场角;
基于所述第一水平视场角和所述第一垂直视场角,确定所述细节相机的第一视野区域面积,以及基于所述第二水平视场角和所述第二垂直视场角,确定所述全景相机的第二视野区域面积。
另一方面,本发明实施例提供了一种白平衡处理装置,应用于包括全景相机和细节相机的监控系统,包括:
第一确定单元,在通过所述细节相机和所述全景相机对同一场景进行拍摄时,用于确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;
第二确定单元,用于确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;
第三确定单元,基于所述比例,确定所述细节相机的白平衡增益;
处理单元,基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。
可选地,所述第三确定单元用于:
根据获得的所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益,确定所述第一白平衡预处理增益和所述第二白平衡预处理增益之间的第一对应关系;
基于所述第一对应关系和所述比例,确定所述细节相机的白平衡增益与所述第一白平衡预处理增益和所述第二白平衡预处理增益间的第二对应关系;
基于所述第二对应关系,确定所述细节相机的白平衡增益。
可选地,所述第三确定单元还用于:
分别确定所述第一图像和所述第二图像中白色区域的数量,以及各白色区域的基色值分量,其中,所述基色值分量包括红色基色值分量、绿色基色值分量和蓝色基色值分量;
确定出所述第一图像中所有白色区域的红色基色值第一均值,绿色基色值第二均值,蓝色基色值第三均值,以及所述第二图像中所有白色区域的红色基色值第四均值,绿色基色值第五均值,蓝色基色值第六均值;
基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益。
可选地,所述第三确定单元还用于:
以所述第二均值为基准,确定所述第一均值与所述第二均值的第一比值,以及,确定所述第三均值与所述第二均值的第二比值;且,
以所述第五均值为基准,确定所述第四均值与所述第五均值的第三比值,以及,确定所述第六均值与所述第五均值的第四比值。
确定所述第一比值和所述第二比值为所述第一白平衡预处理增益,以及确定所述第三比值和所述第四比值为所述第二白平衡预处理增益。
可选地,所述第二确定单元用于:
确定所述细节相机的第一水平视场角和第一垂直视场角,以及所述全景相机的第二水平视场角和第二垂直视场角;
基于所述第一水平视场角和所述第一垂直视场角,确定所述细节相机的第一视野区域面积,以及基于所述第二水平视场角和所述第二垂直视场角,确定所述全景相机的第二视野区域面积。
另一方面,本申请实施例还提供了一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的白平衡处理方法的步骤。
另一方面,本申请实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的白平衡处理方法的步骤。
本发明实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
在本发明实施例的技术方案中,采用在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;基于所述比例,确定所述细节相机的白平衡增益;基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。也就是说,在针对同一场景拍摄时,根据细节相机与全景相机的视野重叠区域的面积,占细节相机的视野面积的比例,进一步地确定出两相机白平衡之间的关系,进一步地基于该关系所确定出的细节相机的白平衡增益,进而对细节相机所拍摄的第一图像进行白平衡处理,由于所述细节相机的白平衡增益是基于两相机白平衡间的关系所获得,从而能够将两相机所拍摄的色调差值尽可能地调整至一较小的范围。有效解决了在现有全景监控和细节监控系统中,两相机拍摄的图像间存在色彩差异的技术问题,降低各相机拍摄的图像间存在的色彩差异。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例一中提供的一种白平衡处理方法的方法流程图;
图2为本发明实施例一中提供的一种白平衡处理方法中球坐标系下两相机的视野区域示意图;
图3为本发明实施例一中提供的一种白平衡处理方法中步骤S103的方法流程图;
图4为本发明实施例一中提供的一种白平衡处理方法中步骤:获得所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益的步骤流程图;
图5为本发明实施例一中提供的一种白平衡处理方法中步骤S303的方法流程图;
图6为本发明实施例一中提供的一种白平衡处理方法中步骤S102的方法流程图;
图7为本发明实施例一中提供的一种白平衡处理方法中针对全景相机和细节相机的白平衡处理方法的具体处理过程的示意图;
图8为本发明实施例二提供的一种白平衡处理装置的结构示意图。
具体实施方式
本发明实施例提供一种白平衡处理方法及装置,用于解决在现有全景监控和细节监控系统中,两相机拍摄的图像间存在色彩差异的技术问题,降低各相机拍摄的图像间存在的色彩差异。
本发明实施例中的技术方案为解决上述的技术问题,总体思路如下:
一种白平衡处理方法,应用于包括全景相机和细节相机的监控系统,其中,所述方法包括:
在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;
确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;
基于所述比例,确定所述细节相机的白平衡增益;
基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。
在本发明实施例的技术方案中,采用在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;基于所述比例,确定所述细节相机的白平衡增益;基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。也就是说,在针对同一场景拍摄时,根据细节相机与全景相机的视野重叠区域的面积,占细节相机的视野面积的比例,进一步地确定出两相机白平衡之间的关系,进一步地基于该关系所确定出的细节相机的白平衡增益,进而对细节相机所拍摄的第一图像进行白平衡处理,由于所述细节相机的白平衡增益是基于两相机白平衡间的关系所获得,从而能够将两相机所拍摄的色调差值尽可能地调整至一较小的范围。有效解决了在现有全景监控和细节监控系统中,两相机拍摄的图像间存在色彩差异的技术问题,降低各相机拍摄的图像间存在的色彩差异。
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明,而不是对本发明技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互结合。
基于本发明的技术方案所提供的实施例中,在包括所述全景相机和所述细节相机的监控系统中,所述全景相机由定焦镜头构成,在整个监控系统所对应的设备中位置唯一,较为固定,视场角范围(由水平视场角和垂直视场角所组成的视场角范围)相较所述细节相机的视场角范围要大,且视场角范围较为固定。而所述细节相机具有不同的放大倍率,可以随云台转动,视场角范围相对所述全景相机的视场角范围要小,且在将所述细节相机调整不同的放大倍率时,视场角范围相应的将发生调整。
此外,每个相机均包括一感光单元,在所述细节相机和所述全景相机对同一场景进行拍摄时,光线将通过各个相机的镜头投射到对应的感光芯片上,进一步地,经对应的感光芯片对相应的光线进行光电转换后,得到每个相机所拍摄的图像中每个像素点的基色值(R、G、B),并将每个像素点的基色值(R、G、B)保存起来。
实施例一
请参考图1,本发明实施例一提供了一种白平衡处理方法,应用于包括全景相机和细节相机的监控系统,包括:
S101:在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;
S102:确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;
S103:基于所述比例,确定所述细节相机的白平衡增益;
S104:基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。
在具体实施过程中,步骤S101至步骤S104的具体实现过程如下:
首先,在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积。如图2所示,以所述全景相机的焦点(该焦点所在位置也是所述细节相机的焦点位置,也是整个云台的中心位置)为球心O,所述全景相机的焦距为半径,建立一球坐标系,在该球坐标系中分别确定,所述细节相机的水平可视范围(即图2中水平视场角∠HOM)和垂直可视范围(即图2中垂直视场角∠KON),所述全景相机的水平可视范围(即图2中水平视场角∠DOG)和垂直可视范围(即图2中垂直视场角∠FOE),进一步地确定出在该球坐标系中所述细节相机和所述全景相机的中心点位置,分别记作中心点A和中心点B。其中,中心点B的位置具体为HM连线与KN连线的交点位置,H、M为所述全景相机的水平可视范围在球体上的交点,K、N为所述全景相机的垂直可视范围在球体上的交点。同理,中心点A的位置具体为DG连线和EF连线的交点位置,D、G为所述细节相机的水平可视范围在球体上的交点,E、F为所述细节相机的垂直可视范围在球体上的交点。然后,基于中心点A的位置,以及所述细节相机的水平可视范围和垂直可视范围,进一步地确定出由DEGF所围成的矩形区域的面积(即所述细节相机的第一视野区域面积)。同理,基于中心点B的位置,以及所述全景相机的水平可视范围和垂直可视范围,进一步地确定出由H、K、M、N所围成的矩形区域的面积(即所述全景相机的第二视野区域面积)。关于具体的计算过程属于数学领域的常规计算,在此就不再详细解释说明了。
此外,在具体实施过程中,由于所述细节相机可以随云台转动,且为了对目标对象进行更为清楚的观察,通常可以根据需要调整所述细节相机的变倍值,进而其对应的视场角范围发生变化,进一步地,中心点A的位置也将随之发生改变,进一步地使得所述细节相机对应的所述第一视野区域所在的位置以及所述第一视野区域面积也将随之发生变化。
然后,确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,具体来讲,在确定出所述细节相机的转动前后中心点A的位置之后,便可以进一步地出所述细节相机随云台转动的角度,进一步地,确定所述细节相机的视野区域与所述全景相机的视野区域是否重合,在二者重合时,确定出所述视野重叠区域面积占所述第一视野区域面积的比例,比如,比例为10%,50%等等。当然,本领域的技术人员还可以根据实际需要来选择具体的计算方法来确定所述细节相机和所述全景相机二者间视野区域面积的关系,进一步地确定出所述视野重叠区域面积占所述第一视野区域面积的比例。
然后,基于所述比例,确定所述细节相机的白平衡增益。具体来讲,在确定出两相机的视野区域面积间的关系之后,可以基于该关系,进一步地,确定出两相机白平衡增益间的关系,然后,确定出所述细节相机的白平衡增益。对于步骤S103的具体实现过程将在下文中进行详述,这里就不再一一赘述了。
然后,基于所述细节相机的白平衡增益,对所述细节相机所拍摄的第一图像进行白平衡处理。此外,仍基于现有技术中方法来获得所述全景相机的白平衡预处理增益,然后,通过所述全景相机的白平衡预处理增益,来对所述全景相机所拍摄的第二图像进行白平衡处理,在所述第一图像和所述第二图像经白平衡处理之后,由于所述细节相机的白平衡增益是经由两相机间的白平衡增益间的关系所获得,因此两图像间的色调差值将小于一预设阈值,从而能够尽可能地保证两图像间无色调差异。
在本发明实施例中,请参考图3,步骤S103:基于所述比例,确定所述细节相机的白平衡增益,包括:
S201:根据获得的所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益,确定所述第一白平衡预处理增益和所述第二白平衡预处理增益之间的第一对应关系;
S202:基于所述第一对应关系和所述比例,确定所述细节相机的白平衡增益与所述第一白平衡预处理增益和所述第二白平衡预处理增益间的第二对应关系;
S203:基于所述第二对应关系,确定所述细节相机的白平衡增益。
在具体实施过程中,步骤S201至步骤S203的具体实现过程如下:
首先,根据获得的所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益,确定所述第一白平衡预处理增益和所述第二白平衡预处理增益之间的第一对应关系。具体来讲,获得所述细节相机和所述全景相机之间的Rg映射关系f1,和Bg映射关系f2,也就是说,确定出两相机白平衡预处理增益之间的关系,进一步地,确定出两相机当前的白平衡预处理增益,其中,所述细节相机的所述第一白平衡预处理增益为Rg1和Bg1,所述全景相机的所述第二白平衡预处理增益为Rg0和Bg0,其中,Rg具体为相机所拍摄图像的白色区域中红色基色值对绿色基色值的比值,Bg为相机所拍摄图像的白色区域中蓝色基色值对绿色基色值的比值,二者组成了相机的白平衡预处理增益。
然后,基于所述第一对应关系和所述比例,确定所述细节相机的白平衡增益与所述第一白平衡预处理增益和所述第二白平衡预处理增益间的第二对应关系,具体来讲,在所述比例为a,分别用Rg2和Bg2表示所述细节相机的白平衡增益时,所述第二对应关系为Rg2=a×f1(Rg0)+(1-a)×Rg1和Bg2=a×f2(Bg0)+(1-a)×Bg1,进一步地,在确定出Rg0和Bg0,Rg1和Bg1之后,便可以基于所述第二对应关系确定所述细节相机的白平衡增益。在具体实施过程中,当所述全景相机的视场角范围完全包含所述细节相机的视场角范围时,a=1,此时,所述细节相机的白平衡增益Rg2=f1(Rg0),Bg2=f2(Bg0);当所述细节相机的视场角范围与所述全景相机的视场角范围无重合处时,a=0,此时,所述细节相机的白平衡增益Rg2=Rg1,Bg2=Bg1。
在本发明实施例中,请参考图4,步骤:获得所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益,包括:
S301:分别确定所述第一图像和所述第二图像中白色区域的数量,以及各白色区域的基色值分量,其中,所述基色值分量包括红色基色值分量、绿色基色值分量和蓝色基色值分量;
S302:确定出所述第一图像中所有白色区域的红色基色值第一均值,绿色基色值第二均值,蓝色基色值第三均值,以及所述第二图像中所有白色区域的红色基色值第四均值,绿色基色值第五均值,蓝色基色值第六均值;
S303:基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益。
在具体实施过程中,步骤S301至步骤S303的具体实现过程如下:
首先,分别确定所述第一图像和所述第二图像中白色区域的数量,以及各白色区域的基色值分量,其中,所述基色值分量包括红色基色值分量、绿色基色值分量和蓝色基色值分量;也就是说R分量、G分量、B分量;
然后,确定出所述第一图像中所有白色区域的红色基色值第一均值,绿色基色值第二均值,蓝色基色值第三均值,以及所述第二图像中所有白色区域的红色基色值第四均值,绿色基色值第五均值,蓝色基色值第六均值;也就是说,取所有白色区域的R分量、G分量、B分量的平均值。
然后,基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益。也就是说,分别计算出全景相机白平衡预处理增益Rg0和Bg0以及细节相机的白平衡预处理增益Rg1和Bg1。
在本发明实施例中,请参考图5,步骤S303:基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益,包括:
S401:以所述第二均值为基准,确定所述第一均值与所述第二均值的第一比值,以及,确定所述第三均值与所述第二均值的第二比值;且,以所述第五均值为基准,确定所述第四均值与所述第五均值的第三比值,以及,确定所述第六均值与所述第五均值的第四比值。
S402:确定所述第一比值和所述第二比值为所述第一白平衡预处理增益,以及确定所述第三比值和所述第四比值为所述第二白平衡预处理增益。
在具体实施过程中,步骤S401至步骤S402的具体实现过程如下:
首先,以所述第一图像中所有白色区域中的G分量的平均值G1为基准,分别确定出其他两个基色值分量的R1和B1平均值,与G1的比值,即R1/G1,B1/G1。同理,以所述第二图像中所有白色区域中的G分量的平均值G0为基准,分别确定出其他两个基色值分量的R0和B0的平均值,与G0的比值,即R0/G0,B0/G0;然后,便获得了所述第一白平衡预处理增益和所述第二白平衡预处理增益。其中,R1/G1和B1/G1即为所述第一白平衡预处理增益,R0/G0,和B0/G0即为所述第二白平衡预处理增益。
在本发明实施例中,请参考图6,步骤S102中:确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,包括:
S501:确定所述细节相机的第一水平视场角和第一垂直视场角,以及所述全景相机的第二水平视场角和第二垂直视场角;
S502:基于所述第一水平视场角和所述第一垂直视场角,确定所述细节相机的第一视野区域面积,以及基于所述第二水平视场角和所述第二垂直视场角,确定所述全景相机的第二视野区域面积。
在具体实施过程中,步骤S501至步骤S502的具体实现过程如下:
仍如图2所示,以所述全景相机的焦点(该焦点所在位置也是所述细节相机的焦点位置,也是整个云台的中心位置)为球心O,所述全景相机的焦距为半径,建立一球坐标系,在该球坐标系中分别确定,所述细节相机的水平可视范围(即图2中水平视场角∠HOM)和垂直可视范围(即图2中垂直视场角∠KON),所述全景相机的水平可视范围(即图2中水平视场角∠DOG)和垂直可视范围(即图2中垂直视场角∠FOE),进一步地确定出在该球坐标系中所述细节相机和所述全景相机的中心点位置,分别记作中心点A和中心点B。其中,中心点B的位置具体为HM连线与KN连线的交点位置,H、M为所述全景相机的水平可视范围在球体上的交点,K、N为所述全景相机的垂直可视范围在球体上的交点。同理,中心点A的位置具体为DG连线和EF连线的交点位置,D、G为所述细节相机的水平可视范围在球体上的交点,E、F为所述细节相机的垂直可视范围在球体上的交点。然后,基于中心点A的位置,以及所述细节相机的水平可视范围和垂直可视范围,进一步地确定出由DEGF所围成的矩形区域的面积(即所述细节相机的第一视野区域面积)。同理,基于中心点B的位置,以及所述全景相机的水平可视范围和垂直可视范围,进一步地确定出由HKMN所围成的矩形区域的面积(即所述全景相机的第二视野区域面积)。关于具体的计算过程属于数学领域的常规计算,在此就不再详细解释说明了。
在本发明实施例中,在确定出所述细节相机的白平衡增益Rg2和Bg2,所述全景相机的白平衡预处理增益Rg0和Bg0,之后,分别基于相应的白平衡增益对两个相机的白平衡增益进行设置。进一步地,基于所述细节相机的白平衡增益Rg2和Bg2对所述第一图像进行白平衡处理,基于所述全景相机的白平衡预处理增益Rg0和Bg0对所述第二图像进行白平衡处理,从而使得两相机输出的两图像色调一致,比如,均为暖色调。
此外,在具体实施过程中,为了进一步提高所述全景相机和所述细节相机的监控系统的使用性能,还可以对经白平衡处理后的两相机图像进行图像锐化、降噪、调整对比度、调整饱和度等图像处理,进一步地保证两相机输出的两图像色调一致的情况下,两图像风格也趋于一致。
在本发明实施例中,针对所述全景相机和所述细节相机的所述白平衡处理方法的具体处理过程的示意图如图7所示,由于具体的处理过程在上文中进行了详细的解释说明,在这里就不再一一赘述了。
实施例二
基于与本发明实施例一同样的发明构思,请参考图8,本发明实施例还提供了一种白平衡处理装置,包括:
第一确定单元10,在通过所述细节相机和所述全景相机对同一场景进行拍摄时,用于确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;
第二确定单元20,用于确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;
第三确定单元30,基于所述比例,确定所述细节相机的白平衡增益;
处理单元40,基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。
在本发明实施例中,第三确定单元30用于:
根据获得的所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益,确定所述第一白平衡预处理增益和所述第二白平衡预处理增益之间的第一对应关系;
基于所述第一对应关系和所述比例,确定所述细节相机的白平衡增益与所述第一白平衡预处理增益和所述第二白平衡预处理增益间的第二对应关系;
基于所述第二对应关系,确定所述细节相机的白平衡增益。
在本发明实施例中,第三确定单元30还用于:
分别确定所述第一图像和所述第二图像中白色区域的数量,以及各白色区域的基色值分量,其中,所述基色值分量包括红色基色值分量、绿色基色值分量和蓝色基色值分量;
确定出所述第一图像中所有白色区域的红色基色值第一均值,绿色基色值第二均值,蓝色基色值第三均值,以及所述第二图像中所有白色区域的红色基色值第四均值,绿色基色值第五均值,蓝色基色值第六均值;
基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益。
在本发明实施例中,第三确定单元30还用于:
以所述第二均值为基准,确定所述第一均值与所述第二均值的第一比值,以及,确定所述第三均值与所述第二均值的第二比值;且,
以所述第五均值为基准,确定所述第四均值与所述第五均值的第三比值,以及,确定所述第六均值与所述第五均值的第四比值。
确定所述第一比值和所述第二比值为所述第一白平衡预处理增益,以及确定所述第三比值和所述第四比值为所述第二白平衡预处理增益。
在本发明实施例中,第三确定单元30用于:
确定所述细节相机的第一水平视场角和第一垂直视场角,以及所述全景相机的第二水平视场角和第二垂直视场角;
基于所述第一水平视场角和所述第一垂直视场角,确定所述细节相机的第一视野区域面积,以及基于所述第二水平视场角和所述第二垂直视场角,确定所述全景相机的第二视野区域面积。
基于本申请实施例一同样的发明构思,本申请实施例中提供了一种白平衡处理装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述白平衡处理方法的步骤。
基于本申请实施例一同样的发明构思,本申请实施例还提供了可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述白平衡处理方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明实施例的技术方案中,采用在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;基于所述比例确定所述细节相机的白平衡增益;基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。也就是说,在针对同一场景拍摄时,根据细节相机与全景相机的视野重叠区域的面积,占细节相机的视野面积的比例,进一步地确定出两相机白平衡之间的关系,进一步地基于该关系所确定出的细节相机的白平衡增益,进而对细节相机所拍摄的第一图像进行白平衡处理,由于所述细节相机的白平衡增益是基于两相机白平衡间的关系所获得,从而能够将两相机所拍摄的色调差值尽可能地调整至一较小的范围。有效解决了在现有全景监控和细节监控系统中,两相机拍摄的图像间存在色彩差异的技术问题,降低各相机拍摄的图像间存在的色彩差异。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种白平衡处理方法,应用于包括全景相机和细节相机的监控系统,其特征在于,包括:
在通过所述细节相机和所述全景相机对同一场景进行拍摄时,确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;
确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;
基于所述比例,确定所述细节相机的白平衡增益;
基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。
2.如权利要求1所述的方法,其特征在于,所述基于所述比例,确定所述细节相机的白平衡增益,包括:
根据获得的所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益,确定所述第一白平衡预处理增益和所述第二白平衡预处理增益之间的第一对应关系;
基于所述第一对应关系和所述比例,确定所述细节相机的白平衡增益与所述第一白平衡预处理增益和所述第二白平衡预处理增益间的第二对应关系;
基于所述第二对应关系,确定所述细节相机的白平衡增益。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
分别确定所述第一图像和所述第二图像中白色区域的数量,以及各白色区域的基色值分量,其中,所述基色值分量包括红色基色值分量、绿色基色值分量和蓝色基色值分量;
确定出所述第一图像中所有白色区域的红色基色值第一均值,绿色基色值第二均值,蓝色基色值第三均值,以及所述第二图像中所有白色区域的红色基色值第四均值,绿色基色值第五均值,蓝色基色值第六均值;
基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益。
4.如权利要求3所述的方法,其特征在于,所述基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益,包括:
以所述第二均值为基准,确定所述第一均值与所述第二均值的第一比值,以及,确定所述第三均值与所述第二均值的第二比值;且,
以所述第五均值为基准,确定所述第四均值与所述第五均值的第三比值,以及,确定所述第六均值与所述第五均值的第四比值。
确定所述第一比值和所述第二比值为所述第一白平衡预处理增益,以及确定所述第三比值和所述第四比值为所述第二白平衡预处理增益。
5.如权利要求1所述的方法,其特征在于,所述确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积,包括:
确定所述细节相机的第一水平视场角和第一垂直视场角,以及所述全景相机的第二水平视场角和第二垂直视场角;
基于所述第一水平视场角和所述第一垂直视场角,确定所述细节相机的第一视野区域面积,以及基于所述第二水平视场角和所述第二垂直视场角,确定所述全景相机的第二视野区域面积。
6.一种白平衡处理装置,应用于包括全景相机和细节相机的监控系统,其特征在于,包括:
第一确定单元,在通过所述细节相机和所述全景相机对同一场景进行拍摄时,用于确定所述细节相机的第一视野区域面积,以及所述全景相机的第二视野区域面积;
第二确定单元,用于确定所述第一视野区域面积与所述第二视野区域面积间的视野重叠区域面积,以及所述视野重叠区域面积占所述第一视野区域面积的比例;
第三确定单元,基于所述比例,确定所述细节相机的白平衡增益;
处理单元,基于所述细节相机的白平衡增益对所述细节相机所拍摄的第一图像进行白平衡处理,以使所述第一图像与所述全景相机所拍摄的第二图像间的色调差值小于一预设阈值。
7.如权利要求6所述的装置,其特征在于,所述第三确定单元用于:
根据获得的所述细节相机的第一白平衡预处理增益和所述全景相机的第二白平衡预处理增益,确定所述第一白平衡预处理增益和所述第二白平衡预处理增益之间的第一对应关系;
基于所述第一对应关系和所述比例,确定所述细节相机的白平衡增益与所述第一白平衡预处理增益和所述第二白平衡预处理增益间的第二对应关系;
基于所述第二对应关系,确定所述细节相机的白平衡增益。
8.如权利要求7所述的装置,其特征在于,所述第三确定单元还用于:
分别确定所述第一图像和所述第二图像中白色区域的数量,以及各白色区域的基色值分量,其中,所述基色值分量包括红色基色值分量、绿色基色值分量和蓝色基色值分量;
确定出所述第一图像中所有白色区域的红色基色值第一均值,绿色基色值第二均值,蓝色基色值第三均值,以及所述第二图像中所有白色区域的红色基色值第四均值,绿色基色值第五均值,蓝色基色值第六均值;
基于所述第一均值、所述第二均值和所述第三均值,确定所述细节相机的第一白平衡预处理增益,以及基于所述第四均值、所述第五均值和所述第六均值确定所述全景相机的第二白平衡预处理增益。
9.一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一权项所述白平衡处理方法的步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一权项所述白平衡处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810187555.XA CN108259877B (zh) | 2018-03-07 | 2018-03-07 | 一种白平衡处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810187555.XA CN108259877B (zh) | 2018-03-07 | 2018-03-07 | 一种白平衡处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108259877A true CN108259877A (zh) | 2018-07-06 |
CN108259877B CN108259877B (zh) | 2019-09-17 |
Family
ID=62745829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810187555.XA Active CN108259877B (zh) | 2018-03-07 | 2018-03-07 | 一种白平衡处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108259877B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009701A (zh) * | 2019-04-10 | 2019-07-12 | 北京易诚高科科技发展有限公司 | 一种针对多镜头拍摄的白平衡调整方法 |
CN110035206A (zh) * | 2019-03-26 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN112019734A (zh) * | 2019-05-28 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像采集方法、装置、电子设备和计算机可读存储介质 |
CN112492191A (zh) * | 2020-12-18 | 2021-03-12 | 浙江大华技术股份有限公司 | 一种图像采集方法、装置、设备及介质 |
CN112689140A (zh) * | 2020-12-18 | 2021-04-20 | Oppo(重庆)智能科技有限公司 | 白平衡同步方法及装置、电子设备和存储介质 |
WO2023178653A1 (en) * | 2022-03-25 | 2023-09-28 | Qualcomm Incorporated | Automatic white balancing (awb) in variable aperture (va) camera systems |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060268131A1 (en) * | 2002-06-21 | 2006-11-30 | Microsoft Corporation | System and method for camera calibration and images stitching |
JP2007096767A (ja) * | 2005-09-29 | 2007-04-12 | Canon Inc | カメラシステム |
TW201032602A (en) * | 2009-02-20 | 2010-09-01 | Service & Quality Technology Co Ltd | Method for automatic white-balance calibration |
CN102438153A (zh) * | 2010-09-29 | 2012-05-02 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
CN105721846A (zh) * | 2014-12-22 | 2016-06-29 | 摩托罗拉移动有限责任公司 | 用于同步自动白平衡的多相机装置和方法 |
CN106600644A (zh) * | 2016-11-16 | 2017-04-26 | 深圳六滴科技有限公司 | 全景摄像机的参数矫正方法及装置 |
CN106797460A (zh) * | 2014-09-22 | 2017-05-31 | 三星电子株式会社 | 三维视频的重建 |
CN106973279A (zh) * | 2017-05-26 | 2017-07-21 | 信利光电股份有限公司 | 一种摄像模组白平衡调试方法及装置 |
-
2018
- 2018-03-07 CN CN201810187555.XA patent/CN108259877B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060268131A1 (en) * | 2002-06-21 | 2006-11-30 | Microsoft Corporation | System and method for camera calibration and images stitching |
JP2007096767A (ja) * | 2005-09-29 | 2007-04-12 | Canon Inc | カメラシステム |
TW201032602A (en) * | 2009-02-20 | 2010-09-01 | Service & Quality Technology Co Ltd | Method for automatic white-balance calibration |
CN102438153A (zh) * | 2010-09-29 | 2012-05-02 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
CN106797460A (zh) * | 2014-09-22 | 2017-05-31 | 三星电子株式会社 | 三维视频的重建 |
CN105721846A (zh) * | 2014-12-22 | 2016-06-29 | 摩托罗拉移动有限责任公司 | 用于同步自动白平衡的多相机装置和方法 |
CN106600644A (zh) * | 2016-11-16 | 2017-04-26 | 深圳六滴科技有限公司 | 全景摄像机的参数矫正方法及装置 |
CN106973279A (zh) * | 2017-05-26 | 2017-07-21 | 信利光电股份有限公司 | 一种摄像模组白平衡调试方法及装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110035206A (zh) * | 2019-03-26 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN110009701A (zh) * | 2019-04-10 | 2019-07-12 | 北京易诚高科科技发展有限公司 | 一种针对多镜头拍摄的白平衡调整方法 |
CN110009701B (zh) * | 2019-04-10 | 2021-03-30 | 北京易诚高科科技发展有限公司 | 一种针对多镜头拍摄的白平衡调整方法 |
CN112019734A (zh) * | 2019-05-28 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像采集方法、装置、电子设备和计算机可读存储介质 |
CN112492191A (zh) * | 2020-12-18 | 2021-03-12 | 浙江大华技术股份有限公司 | 一种图像采集方法、装置、设备及介质 |
CN112689140A (zh) * | 2020-12-18 | 2021-04-20 | Oppo(重庆)智能科技有限公司 | 白平衡同步方法及装置、电子设备和存储介质 |
CN112492191B (zh) * | 2020-12-18 | 2022-02-18 | 浙江大华技术股份有限公司 | 一种图像采集方法、装置、设备及介质 |
CN112689140B (zh) * | 2020-12-18 | 2023-04-07 | Oppo(重庆)智能科技有限公司 | 白平衡同步方法及装置、电子设备和存储介质 |
WO2023178653A1 (en) * | 2022-03-25 | 2023-09-28 | Qualcomm Incorporated | Automatic white balancing (awb) in variable aperture (va) camera systems |
Also Published As
Publication number | Publication date |
---|---|
CN108259877B (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108259877B (zh) | 一种白平衡处理方法及装置 | |
US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
CN109191395B (zh) | 图像对比度增强方法、装置、设备及存储介质 | |
US10950039B2 (en) | Image processing apparatus | |
US9444991B2 (en) | Robust layered light-field rendering | |
US20160267710A1 (en) | Image Rendering Method and Apparatus | |
US11367259B2 (en) | Method for simulating natural perception in virtual and augmented reality scenes | |
CN105516597B (zh) | 一种全景拍摄处理方法及装置 | |
WO2012114639A1 (ja) | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム | |
CN104320575B (zh) | 一种用于便携式终端的图像处理方法及图像处理装置 | |
CN104376545B (zh) | 一种信息处理的方法及一种电子设备 | |
US20110057943A1 (en) | Balancing Luminance Disparity in a Display by Multiple Projectors | |
EP3301913A1 (en) | Photographing device and method for acquiring depth information | |
KR20180042030A (ko) | 외부 디스플레이 장치의 화면 보정 장치 및 방법 | |
CN112017222A (zh) | 视频全景拼接与三维融合方法及装置 | |
US20220086415A1 (en) | Parallax correction method and device, and storage medium | |
JP5911292B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
CN105791793A (zh) | 图像处理方法及其电子装置 | |
CN110719448A (zh) | 投影融合带的羽化方法 | |
CN113793257A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
CN112492284A (zh) | 基于多投影机的边缘融合方法及装置、电子设备 | |
CN110099207B (zh) | 一种用于克服摄像头不稳定的有效图像计算方法 | |
CN105893578A (zh) | 一种照片选择的方法及装置 | |
CN104320576B (zh) | 一种用于便携式终端的图像处理方法及图像处理装置 | |
JP2019129469A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |