CN113099206A - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113099206A CN113099206A CN202110355188.1A CN202110355188A CN113099206A CN 113099206 A CN113099206 A CN 113099206A CN 202110355188 A CN202110355188 A CN 202110355188A CN 113099206 A CN113099206 A CN 113099206A
- Authority
- CN
- China
- Prior art keywords
- current
- rgb image
- area
- calibrated
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 16
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 235000019646 color tone Nutrition 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本申请实施例公开一种图像处理方法、装置、设备及存储介质,方法包括:获取基准RGB图像中的当前参考区域,及待校正RGB图像中的当前待校准区域;其中,基准RGB图像和待校正RGB图像为由多目摄像机针对同一场景不同角度采集得到;分别获取当前参考区域及当前待校准区域的像素坐标,根据对应的像素坐标分别计算当前参考区域及当前待校准区域对应的像素均值;根据当前参考区域的像素均值及当前待校准区域的像素均值得到当前校准参数,根据当前校准参数对待校正RGB图像的颜色进行校正。本申请无需人为调节参数,可以使得不同摄像头采集到的图像颜色进行自动适配,使得图像达到一致的色调。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
现有的沉浸式网呈产品,可以通过多目摄像机获取视频图像,然后将视频图像显示到对应的显示屏上,因此这样的产品在视频会议系统应用非常广泛。例如,在一个视频会议系统中,利用三目摄像机获取视频图像,将采集到的视频画面显示到三个显示屏上,并发送到对端。参会者可以看到其它会场现场参会人及环境的形象,因此摄像机采集到的视频图像关系到整个视频会议的体验。由于每个摄像头的物理差别,导致采集到的视频画面在颜色上是有差距的,如果三个屏幕的图像差距很大,会给人突兀的视觉体验。为了解决这样的问题,现有的方案通常是通过人为修改多目摄像机中每个摄像头参数,如:亮度、饱和度、对比度等,使多目摄像机采集到的图像画面在同一环境下能够适配,保证实际输出画面在色彩上保持一致。
采用上述方法的缺陷是,不同环境设置给摄像头的采集数据都不同,每次都需要人为调节,又耗费人力且效果不佳,不具备维护性,对于环境的变化不具备自动适配的能力。
发明内容
为了解决现有技术的问题,本发明提出一种图像处理方法、装置、设备及存储介质。该方法无需人为调节参数,可以使得不同摄像头采集到的图像颜色进行自动平滑适配,提高图像色调一致性。
本发明实施例提供的具体技术方案如下:
第一方面,提供一种图像处理方法,所述方法包括:
获取基准RGB图像中的当前参考区域,及待校正RGB图像中的当前待校准区域;其中,所述基准RGB图像和所述待校正RGB图像为由多目摄像机针对同一场景不同角度采集得到;
分别获取所述当前参考区域及所述当前待校准区域的像素坐标,根据对应的像素坐标分别计算所述当前参考区域及所述当前待校准区域对应的像素均值;
根据所述当前参考区域的像素均值及所述当前待校准区域的像素均值得到当前校准参数,根据所述当前校准参数对所述待校正RGB图像的颜色进行校正。
在一些实施例中,基于预设规则从所述基准RGB图像中动态截取参考区域,将最新截取到的参考区域作为所述当前参考区域;基于预设规则从所述待校正RGB图像中动态截取待校准区域,将最新截取到的待校准区域作为所述当前待校准区域。
在一些实施例中,所述根据对应的像素坐标分别计算所述当前参考区域及所述当前待校准区域对应的像素均值包括:
根据对应的像素坐标分别获取当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值;
根据当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值分别计算当前参考区域和当前待校准区域内R、G、B每个通道的像素均值。
在一些实施例中,所述方法还包括:
生成定时任务;
所述根据对应的像素坐标分别获取当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值包括:
根据对应的像素坐标,按照定时任务,定时更新当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值。
在一些实施例中,获取辅助校准参数,所述辅助校准参数包括待校正RGB图像R、G、B三通道分别对应的增益值;
相应地,所述根据所述当前校准参数对所述待校正RGB图像的颜色进行校正,包括:
根据所述辅助校准参数和所述当前校准参数对所述待校正RGB图像的颜色进行校正。
在一些实施例中,所述辅助校准参数还包括所述基准RGB图像R、G、B三通道分别对应的增益值;所述方法还包括:
根据所述基准RGB图像R、G、B三通道分别对应的增益值对所述基准RGB图像的颜色进行校正。
第二方面,提供一种图像处理装置,所述装置包括:
获取单元,用于获取基准RGB图像中的当前参考区域,及待校正RGB图像中的当前待校准区域;其中,所述基准RGB图像和所述待校正RGB图像为由多目摄像机针对同一场景不同角度采集得到;
计算单元,用于分别获取所述当前参考区域及所述当前待校准区域的像素坐标,根据对应的像素坐标分别计算所述当前参考区域及所述当前待校准区域对应的像素均值;以及用于根据所述当前参考区域的像素均值及所述当前待校准区域的像素均值得到当前校准参数;
校准单元,用于根据所述当前校准参数对所述待校正RGB图像的颜色进行校正。
在一些实施例中,所述获取单元还用于获取辅助校准参数,所述辅助校准参数包括待校正RGB图像R、G、B三通道分别对应的增益值;相应地,所述校准单元还用于根据辅助校准参数和所述当前校准参数对所述待校正RGB图像的颜色进行校正。
第三方面,提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的图像处理方法。
第四方面,提供一种计算机可读存储介质,用于存储程序,所述程序被处理器执行时实现如第一方面所述的图像处理方法。
本发明实施例具有如下有益效果:
1、本发明基于多目摄像机采集的RGB图像,确定基准RGB图像的参考区域和待校正RGB图像的待校准区域,从而利用参考区域和待校准区域的RGB三个通道的像素均值计算校准参数,基于校准参数对待校正RGB图像进行自动校准,改变整个图像的亮度、饱和度等信息,实现了图像自动平滑适配,使得不同摄像头采集的图像的色调达到一致;
2、本发明的参考区域和待校准区域是可以根据预设规则动态截取的,如此便可以根据实际需求来获取参考区域和待校准区域的相关信息,灵活性强,并且可以达到更好的计算效果;
3、本发明通过像素坐标来计算参考区域和待校准区域内每个通道的统计像素值,基于统计像素值计算每个通道均值,从而得到校准参数,算法较为简单、处理过程高效,满足对图像色调调节的实时性要求;
4、本发明通过定时任务实现了参考区域和待校准区域内每个通道的统计像素值的定时更新,因此可以根据实际情况定时调节图像的色调;
5、本发明可以根据辅助校准参数以及当前校准参数生成的新的校准参数来实现待校正图像的微调,解决自动计算带来的误差,进一步提高了图像色调的一致性;
6、本发明可以根据辅助校准参数来实现基准图像的微调,提升用户的视觉体验,进而也能使得待校正RGB图像的色调与基准RGB图像的色调更一致。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一些实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的图像处理方法的一个实施例的流程图;
图3是根据本申请的三目摄像机采集的三张RGB图像的展示图;
图4是根据本申请的终端设备上安装的使用工具的界面展示图;
图5是适于用来实现本申请的一些实施例的图像处理装置的结构示意图;
图6是适于用来实现本申请的一些实施例的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如背景技术所述,在视频会议系统或者其他需要多地沟通/交流的场景下,通常利用多目摄像机(如三目摄像机)获取视频图像,将采集到的视频画面显示到不同的显示屏上,并发送到对端,从而可以使得处于该场景下的人看到其他场景下的画面。但是由于多目摄像机的每个摄像头的物理差别,导致采集到的视频画面在颜色上是有差距的。为了解决该问题,现有技术中通常会针对不同的摄像头参数进行人为修改,使得多目摄像机采集到的图像画面在同一环境下能够适配。该方法最大的缺点是需要人工调节,耗费人力且效果不佳。
基于此,本申请申请人创造性想到对图像色调进行自动调节的方案。本方案思想为:利用不同图像的相接区域之间色调的差异性来确定校准参数,而后利用校准参数对整个图像进行校正。
首先,确定基准RGB图像和待校正RGB图像以及对应的参考区域、待校准区域;在参考区域和待校准区域确定后,利用参考区域和待校准区域内RGB三个通道每一通道的均值计算校准参数,进而利用校准参数对待校正RGB图像进行校准,使得所有图像的色调相一致。在一个具体实施方式中,分别从基准RGB图像和待校正RGB图像的边缘区域(由于多目相机采集的图像彼此之间通常会存在边缘耦合,因此图像边缘的亮度等可能存在差别,由此可以利用边缘区域确定校准参数)确定参考区域和待校准区域。
图1示出了可以应用本申请的图像处理方法或图像处理装置的实施例的示例性系统架构。如图1所示,系统架构包括多目摄像机101、网络102、终端设备103和处理器104。
多目摄像机101可以为二目摄像机、三目摄像机甚至四目摄像机等,其用于采集图像,并将采集到的图像通过网络102发送至终端设备103。
网络102用以在多目摄像机101和终端设备103之间、终端设备103和处理器104之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路等等。
终端设备103用于接收多目摄像机101发送的图像、确定图像的当前参考区域和当前待校准区域,进而将当前参考区域和当前待校准区域的相关信息通过网络102发送至处理器104。终端设备103可以是硬件,也可以是软件。当终端设备103为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、智能空调、智能音响、智能音箱等等。当终端设备103为软件时,可以安装在上述所列举的电子设备中。
处理器104用于接收终端设备103发送的当前参考区域和当前待校准区域的相关信息,并对其进行处理。处理器104可以选择图像处理领域较为常用的FPGA处理器。
应该理解,图1中的多目摄像机、网络、终端设备和处理器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的多目摄像机、网络、终端设备和处理器。
参考图2,示出了根据本申请的图像处理方法的一个实施例的流程图,具体包括如下步骤:
201、获取基准RGB图像中的当前参考区域,及待校正RGB图像中的当前待校准区域;其中,基准RGB图像和待校正RGB图像由多目摄像机针对同一场景不同角度采集得到。
在本实施例中,处理器104可以与终端设备103通信连接。终端设备103对多目摄像机针对同一场景不同角度采集得到的RGB图像进行处理,确定基准RGB图像和待校正RGB图像,并基于基准RGB图像和待校正RGB图像分别确定对应的当前参考区域和当前待校准区域,将当前参考区域和当前待校准区域的相关信息发送至处理器104。
需要说明的是,上述多目摄像机针对同一场景不同角度采集到的RGB图像至少包括两张,终端设备103在确定基准RGB图像和待校正RGB图像时,可以从所有RGB图像中选择一张RGB图像作为基准RGB图像,其余一张或者多张RGB图像作为待校正RGB图像。
具体的:
若采集的RGB图像为两张,则任意选择一张作为基准RGB图像,另一张为待校正RGB图像,在确定基准RGB图像和待校正RGB图像后,进而确定对应的当前参考区域、当前待校准区域。
若采集的RGB图像大于两张,则选择一张作为基准RGB图像,剩余的RGB图像为待校正RGB图像并且均以选定的基准RGB图像进行校准。
其中,当采集的RGB图像大于两张,上述选择确定基准RGB图像时,可以任选一张作为基准RGB图像,或者根据终端设备103的画面显示布局来确定基准RGB图像。
具体的,若根据终端设备103的画面显示布局来确定基准RGB图像,则可以根据RGB图像的显示顺序选择预设位置的RGB图像作为基准RGB图像。示例性的,参考图3,当前具有三张并排显示的RGB图像,那么可以将位于中间的一张图像(B0)确定为基准RGB图像,两侧的图像(A1和A2)则确定为待校正RGB图像且两侧的待校正RGB图像均基于中间的基准RGB图像进行校正。
在一个具体实施方式中,上述终端设备103基于基准RGB图像确定参考区域及基于待校正RGB图像确定待校准区域时,可以直接动态截取,也可以基于基准RGB图像的选定区域及待校正RGB图像的选定区域确定;
其中,上述选定区域可以基于边缘区域确定得到,在这种情况下,可以使得参考区域和待校准区域的选择更准确。
上述基准RGB图像对应的选定区域以及待校正RGB图像对应的选定区域并不唯一,可以是一个,也可以是多个。
进一步的,由于每张RGB图像的选定区域并不唯一,可以是一个,也可以为多个,因此,可以在基准RGB图像的选定区域中任选其一作为当前参考区域,也可以选择多个作为当前参考区域。如此,待校正RGB图像便可基于相同/不同的当前参考区域进行校正。
示例性的,继续参考图3,在当前基准RGB图像是依据上述画面显示布局来确定的情况下,若确定的基准RGB图像的当前参考区域具有两个,分别为l_2和r_2,则可以根据基准RGB图像的当前参考区域l_2对左侧的待校正RGB图像进行校正、以及根据当前参考区域r_2对右侧的待校正RGB图像进行校正。
在本实施例的一些可选的实现方式中,若采集的RGB图像大于两张,则可以选择一张RGB图像作为初始的基准RGB图像,剩余的待校正RGB图像中选择一张以初始的基准RGB图像为基准进行校正后作为后续待校正RGB图像的基准RGB图像,如此重复执行,可以使得图像的校正效果更好。
具体的,在上述实施步骤中,可以根据RGB图像在终端设备的画面显示布局中的显示位置确定初始的基准RGB图像,相邻显示的待校正的图像基于初始的基准RGB图像进行校正后作为后续相邻的待校正RGB图像的基准RGB图像。
示例性的,如果当前具有三张并排显示的RGB图像,可以将显示于最左侧的RGB图像作为初始的基准RGB图像,确定当前参考区域,与其相邻的(中间的)待校正RGB图像基于最左侧的RGB图像的当前参考区域进行校正后,作为最右侧的待校正RGB图像的基准RGB图像。
在本实施例的一些可选的实现方式中,还包括如下实现步骤:
基于预设规则从基准RGB图像中动态截取参考区域,将最新截取到的参考区域作为当前参考区域;基于预设规则从待校正RGB图像中动态截取待校准区域,将最新截取到的待校准区域作为当前待校准区域。
具体的,上述基于预设规则动态截取可以为:预设时间内在RGB图像的边缘区域随机截取或预设时间内以上一截取区域的位置为起始位置移动X个像素后再次截取或响应于用户作用于RGB图像的框选操作进行截取。根据上述预设规则分别从基准RGB图像和待校正RGB图像中截取参考区域和待校准区域;相应地,由于是动态截取,参考区域和待校准区域按照预设规则变化,因此,将最新截取的参考区域作为当前参考区域,将最新截取的待校准区域作为当前待校准区域。进一步地,参考区域和待校准区域可以为矩形、圆形、菱形等规则形状。
终端设备103截取到当前参考区域及当前待校准区域之后便发送至处理器104以使得处理器104进一步处理。
上述通过动态截取区域,实现了以实际需求为基础获取参考区域和待校准区域的相关信息,灵活性强,并且可以达到更好的计算效果。
202、分别获取当前参考区域及当前待校准区域的像素坐标,根据对应的像素坐标分别计算当前参考区域及当前待校准区域对应的像素均值。
上述当前参考区域的像素坐标为其在基准RGB图像中的像素坐标,同样的,当前待校准区域的像素坐标为其在待校正RGB图像中的像素坐标。
上述计算像素均值的步骤具体包括:
根据对应的像素坐标分别获取当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值;
根据当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值分别计算当前参考区域和当前待校准区域内R、G、B每个通道的像素均值。
在本实施例的一些可选的实现方式中,本方法还可以包括如下步骤:
生成定时任务;
根据对应的像素坐标,按照定时任务,定时更新当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值。
由此,通过生成的定时任务,实现了统计像素值的定时更新,进而实现校准参数的动态变化以达到实时调节图像的色调的目的。
203、根据当前参考区域的像素均值及当前待校准区域的像素均值得到当前校准参数,根据当前校准参数对待校正RGB图像的颜色进行校正。
具体地,在得到像素均值之后,计算当前参考区域内R、G、B每个通道的像素均值及待校准区域内对应的R、G、B通道的像素均值之比;
根据计算得到针对R、G、B每个通道的像素均值之比,生成当前校准参数。
其中,当前校准参数为具有三行三列的矩阵。
具体的,上述RGB每一通道的均值之比可以表示为:R_Gain、G_Gain、B_Gain,基于上述RGB每一通道的均值之比生成的当前校准参数可以表示为:
在本实施例的一些可选的实现方式中,本方案还包括如下步骤:
获取辅助校准参数,辅助校准参数包括待校正RGB图像R、G、B三通道分别对应的增益值;
根据辅助校准参数和当前校准参数对待校正RGB图像的颜色进行校正。
具体地,辅助校准参数可以手动设置,用于实现待校正RGB图像色调的微调。在利用辅助校准参数和当前校准参数对待校正RGB图像的颜色进行校正时,可以按照如下步骤实施:
利用辅助校准参数对待校正RGB图像进行微调,得到微调后的待校正RGB图像;
基于基准RGB图像以及微调后的待校正RGB图像计算当前校准参数以对微调后的待校正RGB图像进行校正。
或者,
利用当前校准参数对待校正RGB图像进行校正;
利用辅助校准参数对校正后的RGB图像进行微调。
即,上述两种实施方式说明,利用辅助校准参数对待校正RGB图像进行微调,可以发生于待校正RGB图像被校正之前,也可以发生于被校正之后。
辅助校准参数和当前校准参数对待校正RGB图像进行校正后得到的像素值可以表示为:
其中,R'、G'、B'为待校正RGB图像校正后得到的像素值,R、G、B为待校正RGB图像校正前的像素值,R_Base、G_Base、B_Base为每个通道对应的偏移值。
此外,如果是第一种实施方式,即先微调后校正的实施方式,那么R_Gain、G_Gain、B_Gain基于基准RGB图像以及微调后的待校正RGB图像计算得到。
如果是第二种实施方式,即先校正后微调的实施方式,那么R_Gain、G_Gain、B_Gain为当前校准参数和辅助校准参数的叠加。
根据上述根据辅助校准参数以及当前校准参数对待校正RGB图像的颜色进行校正,可以在校正之前先对待校正RGB图像进行微调,使其整体视觉效果更接近,然后再实现进一步校正;此外,也可以先对待校正RGB图像进行校正,为了解决自动计算带来的误差,再进行微调,从而提高图像色调的一致性。
在本实施例的一些可选的实现方式中,辅助校准参数还包括基准RGB图像R、G、B三通道分别对应的增益值;本方案还包括如下步骤:
根据基准RGB图像R、G、B三通道分别对应的增益值对基准RGB图像的颜色进行校正。
具体的,利用辅助校准参数中的基准RGB图像R、G、B三通道分别对应的增益值对上述基准RGB图像的校正过程与利用辅助校准参数中的待校正RGB图像R、G、B三通道分别对应的增益值对上述待校正图像的校正过程相似。即,可以先对基准RGB图像进行微调,然后再基于微调的基准RGB图像和待校正RGB图像计算当前校准参数;同样,也可以先基于基准RGB图像和待校正RGB图像计算当前校准参数,实现校正后再对基准RGB图像进行微调。
通过辅助校准参数来实现基准图像的微调,可以提升用户的视觉体验,进而也能使得待校正RGB图像的色调与基准RGB图像的色调更一致。
本申请的上述实施例提供的方法,改变整个图像的亮度、饱和度等信息,实现了图像颜色平滑适配,使得不同摄像头采集的图像的色调达到一致。
下面,以基于图1所示的系统架构建立的会议系统为例进一步说明上述图像颜色处理方法。
会议系统包括:三目摄像机、网络、终端设备和FPGA处理器。其中,三目摄像机通过网络和终端设备通信,终端设备和FPGA处理器之间通过网络通信。该会议系统的具体工作过程为:
1、三目摄像机采集会议现场视频画面,将视频画面传输至终端设备。
2、终端设备对视频画面进行处理并显示,确定基准RGB图像和待校正RGB图像以及对应的当前参考区域、当前待校准区域并向FGPA处理器发送当前参考区域、当前待校准区域相关信息。
具体的,终端设备上安装有用于处理视频画面的工具,参考图4,图4为工具的使用页面图,其展示了一矩形框,矩形框中可以显示三目摄像机采集的三张图像以及每一张图像对应的当前参考区域或当前待校准区域。
其中,上述当前参考区域、当前待校准区域的形状和位置可以根据预设规则确定,或者由用户人为选定。即,上述选定区域的形状并不确定,可以为矩形、三角形或者其他规则形状;同样的,上述选定区域的位置也可以调整,其中,选定区域的位置为选定区域的中心像素坐标。
示例性的,参考图3,上述三目摄像机采集的三张图像分别为A1、B0和A2,将A1和A2确定为待矫正RGB图像,B0确定为基准RGB图像。三张图像分别有对应的当前参考区域或当前待校准区域。其中,A1对应的当前待校准区域为l_1,B0对应的当前参考区域为l_2和r_2,A2对应的当前待校准区域为r_1。
3、FPGA处理器接收当前参考区域、当前待校准区域相关信息后,执行上述图像处理方法。
具体步骤如下:
当FPGA接收到终端设备发送的自动计算指令后,根据当前参考区域及当前待校准区域的像素坐标,确定当前参考区域和当前待校准区域内R、G、B每一通道的像素均值;基于当前参考区域内R、G、B每一通道的像素均值和当前待校准区域内R、G、B每一通道的像素均值,确定当前校准参数,并将当前校准参数发送至终端设备以使终端设备进行显示。当需要调整待校正RGB图像时,使能FPGA,FPGA便基于当前校准参数实现图像校正。
以上述图3为例,l_2和r_2为当前参考区域,l_1和r_1为当前待校准区域,V1是A1和B0之间通过l_1和l_2区域得到的当前校准参数,V2是A2和B0之间通过r_1和r_2区域得到的当前校准参数。V1对应的校准参数S1如下:
其中
M_R_B0_l2为图B0中区域l_2的R通道像素均值;
M_G_B0_l2为图B0中区域l_2的G通道像素均值;
M_B_B0_l2为图B0中区域l_2的B通道像素均值;
M_R_A1_l1为图A1中区域l_1的R通道像素均值;
M_G_A1_l1为图A1中区域l_1的G通道像素均值;
M_B_A1_l1为图A1中区域l_1的B通道像素均值;
同样的,V2对应的当前校准参数S2与S1的计算方式相同,在此不再过多赘述。
此外,上述工具还支持手动输入辅助校准参数。可以在图像未校正之前输入辅助校准参数实现微调,也可以在图像校正之后输入辅助校准参数实现微调。辅助校准参数包括待校正RGB图像R、G、B三通道分别对应的增益值以及基准RGB图像R、G、B三通道分别对应的增益值。
如果自动计算得到的当前校准参数使得图像校正效果并不好时,可以对当前校准参数进行微调。
具体的,参考图4,在图4显示界面显示有左图增益、中图增益和右图增益,每一增益分别对应了三个通道的增益值。上述自动计算得到的当前校准参数会显示在左图增益、中图增益、右图增益的对应位置。当手动修改当前校准参数时,可以通过加、减符号来实现增益的增大或减小,并且在修改时,可以同时实现待校正RGB图像和基准RGB图像的增益调整,上述手动修改过程就是对当前校准参数实现微调的过程。当微调完成之后,使能FPGA,FPGA便基于微调后的当前校准参数实现图像校正。
如果选择先微调后校正,那么,在图4左图增益、中图增益和右图增益位置先对初始默认的增益值进行调整,然后使能FPGA实现微调,对于微调后的图像利用自动计算功能得到当前校准参数,再使能FPGA实现校正。
同样的,上述对默认的增益值进行调整时,可以同时实现待校正RGB图像和基准RGB图像的增益调整。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种图像处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的图像处理装置包括:
获取单元501,用于获取基准RGB图像中的当前参考区域,及待校正RGB图像中的当前待校准区域;其中,基准RGB图像和待校正RGB图像为由多目摄像机针对同一场景不同角度采集得到;
计算单元502,用于分别获取当前参考区域及当前待校准区域的像素坐标,根据对应的像素坐标分别计算当前参考区域及当前待校准区域对应的像素均值;以及用于根据当前参考区域的像素均值及当前待校准区域的像素均值得到当前校准参数;
校准单元503,用于根据当前校准参数对待校正RGB图像的颜色进行校正。
在本实施例的一些可选的实现方式中,基于预设规则从基准RGB图像中动态截取参考区域,将最新截取到的参考区域作为当前参考区域;基于预设规则从待校正RGB图像中动态截取待校准区域,将最新截取到的待校准区域作为当前待校准区域。
在本实施例的一些可选的实现方式中,计算单元502具体用于:
根据对应的像素坐标分别获取当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值;
根据当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值分别计算当前参考区域和当前待校准区域内R、G、B每个通道的像素均值。
在本实施例的一些可选的实现方式中,装置还包括:
生成单元504,用于生成定时任务;
更新单元505,用于根据对应的像素坐标,按照定时任务,定时更新当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值。
在本实施例的一些可选的实现方式中,获取单元501还用于:获取辅助校准参数,辅助校准参数包括待校正RGB图像R、G、B三通道分别对应的增益值;
校准单元503还用于:根据辅助校准参数和当前校准参数对待校正RGB图像的颜色进行校正。
在本实施例的一些可选的实现方式中,辅助校准参数还包括基准RGB图像R、G、B三通道分别对应的增益值;
校准单元503还用于:根据基准RGB图像R、G、B三通道分别对应的增益值对基准RGB图像的颜色进行校正。
下面参考图6,其示出了适于用来实现本申请实施例的电子设备的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
其中,图6所示的电子设备,包括通过系统总线连接的处理器(例如图1所示的处理器104)、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
根据本公开的另一方面,还提供了一种非易失性的计算机可读存储介质,其上存储有计算机可读的指令,当利用计算机执行所述指令时可以执行如前所述的一种图像处理方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”,通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如,各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信,如互联网或其他通信网络。此类通信可以将软件从一个电子设备或处理器加载到另一个。因此,另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接,例如光波、电波、电磁波等,通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备,也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质,其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取基准RGB图像中的当前参考区域,及待校正RGB图像中的当前待校准区域;其中,所述基准RGB图像和所述待校正RGB图像为由多目摄像机针对同一场景不同角度采集得到;
分别获取所述当前参考区域及所述当前待校准区域的像素坐标,根据对应的像素坐标分别计算所述当前参考区域及所述当前待校准区域对应的像素均值;
根据所述当前参考区域的像素均值及所述当前待校准区域的像素均值得到当前校准参数,根据所述当前校准参数对所述待校正RGB图像的颜色进行校正。
2.根据权利要求1所述的方法,其特征在于,基于预设规则从所述基准RGB图像中动态截取参考区域,将最新截取到的参考区域作为所述当前参考区域;基于预设规则从所述待校正RGB图像中动态截取待校准区域,将最新截取到的待校准区域作为所述当前待校准区域。
3.根据权利要求1所述的方法,其特征在于,所述根据对应的像素坐标分别计算所述当前参考区域及所述当前待校准区域对应的像素均值包括:
根据对应的像素坐标分别获取当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值;
根据当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值分别计算当前参考区域和当前待校准区域内R、G、B每个通道的像素均值。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
生成定时任务;
所述根据对应的像素坐标分别获取当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值包括:
根据对应的像素坐标,按照定时任务,定时更新当前参考区域和当前待校准区域内R、G、B每个通道的当前统计像素值。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
获取辅助校准参数,所述辅助校准参数包括待校正RGB图像R、G、B三通道分别对应的增益值;
相应地,所述根据所述当前校准参数对所述待校正RGB图像的颜色进行校正,包括:
根据所述辅助校准参数和所述当前校准参数对所述待校正RGB图像的颜色进行校正。
6.根据权利要求5所述的方法,其特征在于,所述辅助校准参数还包括所述基准RGB图像R、G、B三通道分别对应的增益值;所述方法还包括:
根据所述基准RGB图像R、G、B三通道分别对应的增益值对所述基准RGB图像的颜色进行校正。
7.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取基准RGB图像中的当前参考区域,及待校正RGB图像中的当前待校准区域;其中,所述基准RGB图像和所述待校正RGB图像为由多目摄像机针对同一场景不同角度采集得到;
计算单元,用于分别获取所述当前参考区域及所述当前待校准区域的像素坐标,根据对应的像素坐标分别计算所述当前参考区域及所述当前待校准区域对应的像素均值;以及用于根据所述当前参考区域的像素均值及所述当前待校准区域的像素均值得到当前校准参数;
校准单元,用于根据所述当前校准参数对所述待校正RGB图像的颜色进行校正。
8.根据权利要求7所述的装置,其特征在于,所述获取单元还用于获取辅助校准参数,所述辅助校准参数包括待校正RGB图像R、G、B三通道分别对应的增益值;相应地,所述校准单元还用于根据辅助校准参数和所述当前校准参数对所述待校正RGB图像的颜色进行校正。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的图像处理方法。
10.一种计算机可读存储介质,用于存储程序,其特征在于:
所述程序被处理器执行时实现如权利要求1至6任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110355188.1A CN113099206A (zh) | 2021-04-01 | 2021-04-01 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110355188.1A CN113099206A (zh) | 2021-04-01 | 2021-04-01 | 图像处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113099206A true CN113099206A (zh) | 2021-07-09 |
Family
ID=76672481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110355188.1A Pending CN113099206A (zh) | 2021-04-01 | 2021-04-01 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113099206A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152027A (zh) * | 2023-10-31 | 2023-12-01 | 广东中科凯泽信息科技有限公司 | 一种基于图像处理和人工智能识别的智能望远镜 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102438153A (zh) * | 2010-09-29 | 2012-05-02 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
CN107690065A (zh) * | 2017-07-31 | 2018-02-13 | 努比亚技术有限公司 | 一种白平衡校正方法、装置及计算机可读存储介质 |
CN111459233A (zh) * | 2020-04-22 | 2020-07-28 | 维沃移动通信有限公司 | 显示方法、电子设备及存储介质 |
CN111669559A (zh) * | 2020-05-11 | 2020-09-15 | 安徽百诚慧通科技有限公司 | 多通道ccd图像亮度和色度差异校正方法、装置及存储介质 |
-
2021
- 2021-04-01 CN CN202110355188.1A patent/CN113099206A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102438153A (zh) * | 2010-09-29 | 2012-05-02 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
CN107690065A (zh) * | 2017-07-31 | 2018-02-13 | 努比亚技术有限公司 | 一种白平衡校正方法、装置及计算机可读存储介质 |
CN111459233A (zh) * | 2020-04-22 | 2020-07-28 | 维沃移动通信有限公司 | 显示方法、电子设备及存储介质 |
CN111669559A (zh) * | 2020-05-11 | 2020-09-15 | 安徽百诚慧通科技有限公司 | 多通道ccd图像亮度和色度差异校正方法、装置及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152027A (zh) * | 2023-10-31 | 2023-12-01 | 广东中科凯泽信息科技有限公司 | 一种基于图像处理和人工智能识别的智能望远镜 |
CN117152027B (zh) * | 2023-10-31 | 2024-02-09 | 广东中科凯泽信息科技有限公司 | 一种基于图像处理和人工智能识别的智能望远镜 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100521800C (zh) | 颜色插值方法 | |
CN107948733B (zh) | 视频图像处理方法及装置、电子设备 | |
US10778910B2 (en) | System and methods for correcting overlapping digital images of a panorama | |
GB2440376A (en) | Wide angle video conference imaging | |
CN105185314A (zh) | Led显示屏均匀性补偿方法 | |
EP2472859A1 (en) | Image processing method and device | |
CN108682030B (zh) | 脸皮替换方法、装置及计算机设备 | |
CN112788251B (zh) | 图像亮度处理方法及装置、图像处理方法及装置 | |
CN113099206A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113556504A (zh) | 视频会议的显示图像的处理方法及装置、视频会议系统 | |
CN105954960A (zh) | 球面投射显示方法、球面投射显示系统和家用电器 | |
CN113450270A (zh) | 校正参数生成方法、电子装置和存储介质 | |
CN108574835B (zh) | 一种校正设备屏幕中图像色彩的方法及装置 | |
WO2023138311A1 (zh) | 基于亿级像素设备的云端视频监控方法与监控平台 | |
CN112037127A (zh) | 视频监控的隐私遮挡方法及装置、存储介质、电子装置 | |
KR101633436B1 (ko) | 다시점 카메라가 획득한 영상에 대한 색상 보정 방법 및 다시점 카메라가 획득한 영상에 대한 색상을 보정하는 장치 | |
CN112435173A (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
CN115474316A (zh) | 用于控制氛围灯的方法及装置、电子设备、存储介质 | |
CN113496527B (zh) | 一种车辆环景影像标定方法、装置、系统及存储介质 | |
CN113538316B (zh) | 图像处理方法、装置、终端设备以及可读存储介质 | |
KR101847996B1 (ko) | 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템 | |
CN112581416B (zh) | 一种用于播放视频的边缘融合处理与控制系统及方法 | |
CN113450687A (zh) | 色彩管理校正方法、装置和系统 | |
Vazquez Corral et al. | Coupled retinex | |
TR201706571A2 (tr) | Vi̇deo duvari görüntüleme si̇stemleri̇nde beyaz parlakliğinin düzelti̇lmesi̇ni̇ sağlayan si̇stem ve yöntem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210709 |
|
RJ01 | Rejection of invention patent application after publication |