CN115460391B - 图像的模拟方法、装置、存储介质及电子装置 - Google Patents
图像的模拟方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN115460391B CN115460391B CN202211110594.2A CN202211110594A CN115460391B CN 115460391 B CN115460391 B CN 115460391B CN 202211110594 A CN202211110594 A CN 202211110594A CN 115460391 B CN115460391 B CN 115460391B
- Authority
- CN
- China
- Prior art keywords
- matrix
- data
- determining
- value
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004088 simulation Methods 0.000 title claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 102
- 239000011159 matrix material Substances 0.000 claims description 117
- 238000012545 processing Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 16
- 230000017105 transposition Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明实施例提供了一种图像的模拟方法、装置、存储介质及电子装置,其中,该方法包括:基于第一设备对目标场景进行拍摄所得到的图像确定目标场景的目标色温;确定在目标色温下第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;基于第一参数值以及第二参数值确定转换参数;基于转换参数对第一设备采集到的原始数据进行转换,得到转换数据,其中,原始数据为第一设备对目标场景进行拍摄所得到的数据;基于转换数据模拟第二设备对目标场景进行拍摄所得到的目标图像。通过本发明,解决了相关技术中存在的获取实际场景图像效率低到的问题,达到提高获取实际场景图像的效率的效果。
Description
技术领域
本发明实施例涉及视频监控领域,具体而言,涉及一种图像的模拟方法、装置、存储介质及电子装置。
背景技术
随着监控摄像机技术的不断发展,很多传统的ISP(图像信号处理)模块开始逐渐被深度学习所替代,比如深度学习白平衡、深度学习降噪等,其所带来的技术优势在一些效果上是传统ISP模块算法所不能达到的。当前在ISP领域内最常用的深度学习技术大多是有监督学习,有监督学习在使用中不能绕开训练样本的采集。如果在训练过程中对误差分析表明是高方差特征,我们就需要进行增加样本量来实现降低高方差的目的。
在实际使用中,很难像普通的深度学习算法一样,在现有资源中找到大量的训练样本进行训练,主要是因为训练样本所依赖的特征往往是和摄像机硬件相关,比如镜头、滤片、sensor等,这就使得在针对一款摄像机进行某一项ISP功能的深度学习训练中,需要该款相机实际采集的真实raw数据作为训练样本进行使用。
在相关技术中,能够保证摄像机在调试过程中,尽可能的遍历更多的实景环境,收集作为样本来进行训练,但是往往存在客户场景中未能遍历到的场景,需要在客户现场搭建设备进行raw数据的采集,然后再进行针对性的补充训练,整个过程较为漫长。
由此可知,相关技术中存在获取实际场景图像效率低的问题。
针对相关技术中存在的上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的模拟方法、装置、存储介质及电子装置,以至少解决相关技术中存在的获取实际场景图像效率低的问题。
根据本发明的一个实施例,提供了一种图像的模拟方法,包括:基于第一设备对目标场景进行拍摄所得到的图像确定所述目标场景的目标色温;确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;基于所述第一参数值以及所述第二参数值确定转换参数;基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据,其中,所述原始数据为所述第一设备对所述目标场景进行拍摄所得到的数据;基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像。
根据本发明的另一个实施例,提供了一种图像的模拟装置,包括:第一确定模块,用于基于第一设备对目标场景进行拍摄所得到的图像确定所述目标场景的目标色温;第二确定模块,用于确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;第三确定模块,用于基于所述第一参数值以及所述第二参数值确定转换参数;转换模块,用于基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据,其中,所述原始数据为所述第一设备对所述目标场景进行拍摄所得到的数据;模拟模块,用于基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,根据第一设备对目标场景进行拍摄所得到的图像确定目标场景的目标色温;确定在目标色温下第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;根据第一参数值以及第二参数值确定转换参数;根据转换参数对第一设备在目标场景下采集到的原始数据进行转换,得到转换数据;根据转换数据模拟第二设备对目标场景进行拍摄所得到的目标图像。由于可以根据目标色温下第一设备的第一参数值和第二设备的第二参数值确定转换参数,根据转换参数对应第一设备在目标场景下采集到的原始数据进行转换,根据转换后的转换数据模拟第二设备目标场景进行拍摄所得到的目标图像,无需第二设备对目标场景进行真实的拍摄即可得到目标图像,因此,可以解决相关技术中存在的获取实际场景图像效率低到的问题,达到提高获取实际场景图像的效率的效果。
附图说明
图1是本发明实施例的一种图像的模拟方法的移动终端的硬件结构框图;
图2是根据本发明实施例的图像的模拟方法的流程图;
图3是根据本发明具体实施例的图像的模拟方法流程图;
图4是根据本发明具体实施例的A设备在灯箱D65色温下色卡的灰度示意图;
图5是根据本发明具体实施例的A设备在灯箱D65色温下经过增强处理后的色卡的灰度示意图;
图6是根据本发明具体实施例的A设备对目标场景拍摄的图像灰度示意图;
图7是根据本发明具体实施例的B设备在灯箱D65色温下色卡的灰度示意图;
图8是根据本发明具体实施例的B设备在灯箱D65色温下经过增强处理后的色卡的灰度示意图;
图9是根据本发明具体实施例的A设备模拟B设备对目标场景进行拍摄所得到的目标图像灰度示意图;
图10是根据本发明实施例的图像的模拟装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种图像的模拟方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的图像的模拟方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像的模拟方法,图2是根据本发明实施例的图像的模拟方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,基于第一设备对目标场景进行拍摄所得到的图像确定所述目标场景的目标色温;
步骤S204,确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;
步骤S206,基于所述第一参数值以及所述第二参数值确定转换参数;
步骤S208,基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据,其中,所述原始数据为所述第一设备对所述目标场景进行拍摄所得到的数据;
步骤S210,基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像。
在上述实施例中,第一设备可以是安装在目标场景下的设备,第二设备可以是无法安装到目标场景下的设备。可以根据第一设备对目标场景进行拍摄所得到的图像确定目标场景的目标色温。根据第一设备当前的目标色温估计对应出预存的第一设备和第二设备灯箱色卡数据,即第一参数值和第二参数值,通过对数据的运算得到提供给第一设备实景数据转换的系数,即转换参数,再通过系数的运算得到符合第二设备感光响应特征的实景数据,即目标图像。其中,第一参数值和第二参数值均可以为r、g、b值。
在上述实施例中,可以首先确定第一设备和第二设备在标准色温下,色块的参数值。如,可以存入A设备(即第一设备)在A、TL84、D50、D65、D75五个色温下24色卡中前18个色块的rgb值,数据格式为3行,18列的数据,根据白平衡处理前后每一个色温都有:白平衡处理前的rgb值记为A_org_blockrgb[3,18]和白平衡处理后的rgb值记为A_awb_blockrgb[3,18]。存入B设备(即第二设备)在A、TL84、D50、D65、D75五个色温下的24色卡中前18个色块的rgb值,数据格式为3行,18列的数据,根据白平衡处理前后每一个色温都有:白平衡处理前的rgb值记为B_org_blockrgb[3,18]和白平衡处理后的rgb值记为B_awb_blockrgb[3,18]。其中,第一参数值以及第二参数值可以是通过白平衡处理之后的参数值,其具体格式可参见表1。
表1
r1 | r2 | r2 | r3 | …… | r18 |
g1 | g2 | g3 | g4 | …… | g18 |
b1 | b2 | b3 | b4 | …… | b18 |
在上述实施例中,可以根据第一设备对目标场景进行拍摄所得到的图像确定目标场景的目标色温,例如,A设备可以根据当前场景进行色温估计,对应到上述五个色温中,对应取出上述预存的值,记为:A_org_blockrgb[3,18]、A_awb_blockrgb[3,18]、B_org_blockrgb[3,18]、B_awb_blockrgb[3,18]。在确定目标色温时,可以确定A设备在灯箱不同色温下标定出所有的白平衡值,当A设备在实景环境中进行白平衡计算的结果,能够接近标定好的一组色温对应的白平衡值,那么此色温就作为A设备所看到的实景环境对应的色温。
在上述实施例中,在得到第一参数值和第二参数值后,即可根据第一参数值和第二参数值确定转换参数,根据转换参数对应第一设备在目标场景下采集到的原始数据进行转换,根据转换后的转换数据模拟第二设备目标场景进行拍摄所得到的目标图像。
其中,上述步骤的执行主体可以为处理器等,但不限于此。
通过本发明,根据第一设备对目标场景进行拍摄所得到的图像确定目标场景的目标色温;确定在目标色温下第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;根据第一参数值以及第二参数值确定转换参数;根据转换参数对第一设备在目标场景下采集到的原始数据进行转换,得到转换数据;根据转换数据模拟第二设备对目标场景进行拍摄所得到的目标图像。由于可以根据目标色温下第一设备的第一参数值和第二设备的第二参数值确定转换参数,根据转换参数对应第一设备在目标场景下采集到的原始数据进行转换,根据转换后的转换数据模拟第二设备目标场景进行拍摄所得到的目标图像,无需第二设备对目标场景进行真实的拍摄即可得到目标图像,因此,可以解决相关技术中存在的获取实际场景图像效率低到的问题,达到提高获取实际场景图像的效率的效果。
在一个示例性实施例中,基于所述第一参数值以及所述第二参数值确定转换参数包括:基于所述第一参数值确定第一矩阵,以及基于所述第二参数值确定第二矩阵;确定所述第二矩阵的转置的逆矩阵,得到第三矩阵;确定所述第一矩阵的转置,得到第四矩阵;将所述第三矩阵与所述第四矩阵的乘积确定为所述转换参数。在本实施例中,在得到第一设备的第一参数值后,可以由第一参数值构成第一矩阵,记为A_awb_blockrgb。同理,可以由第二参数值构成第二矩阵,记为B_awb_blockrgb。则转换参数可以表示为para2=inv(B_awb_blockrgb')*A_awb_blockrgb'。当第一参数值和第二参数值为rgb值时,转换参数para2可以是一个3行,3列数组,记为para2[3,3]。其中,B_awb_blockrgb'表示第二矩阵的转置,A_awb_blockrgb'表示第一矩阵的转置,即第四矩阵。
在一个示例性实施例中,基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据包括:抽取所述原始数据的颜色参数值;基于所述颜色参数值确定第五矩阵;基于所述转换参数以及所述第五矩阵确定所述转换数据。在本实施例中,原始数据可以是bayer格式数据,可以获取第一设备当前场景的bayer格式数据,根据pattern格式,抽取出当前数据的r值、g值和b值。将r值、g值和b值,联合构造为一个二维数组,具体可以为3行,w*h/4列的数组数据,记为bayer_rgb[3,w*h/4],即得到第五矩阵。根据第五矩阵和转换参数即可确定转换数据。其中,第五矩阵可以通过如下方式确定:先将每一个通道从[w/4,h/4]数组格式转换为[1,w*h/4]的数组格式。之后将三个通道行叠加的方式,构造成数据bayer_rgb,此时,数组大小为[3,w*h/4]。
在上述实施例中,如果第一设备的分辨率为w*h,则r值、g值和b值都是1行,w*h/4列的数组数据。其中,获取第一设备当前场景的bayer格式数据可以是获取第一设备当前的raw数据。“根据pattern格式”是指,raw数据一般有四种格式:grbg、bggr、rggb、gbrg,对应每一个像素只有一个通道值;“抽取出当前数据的r值、g值和b值”是指根据r、g、b通道类型,进行对应通道值的抽取,根据pattern格式可知,r通道数据占1/4,g通道数据占1/2,b通道数据占1/4,因此抽取g通道数据的时候只取用1/4数据,或者是在一个pattern数据内取g值平均。其中,每个通道数据格式都为[w/4,h/4]的数组。
在一个示例性实施例中,基于所述转换参数以及所述第五矩阵确定所述转换数据包括:确定所述转换参数的转置,得到第六矩阵;确定所述第五矩阵与所述第六矩阵的乘积,得到第七矩阵;基于所述第七矩阵以及所述原始数据确定所述转换数据。在本实施例中,转换数据可以通过公式bayer_rgbout=para2'*bayer_rgb[3,w*h/4]确定,para2'表示第六矩阵,bayer_rgb[3,w*h/4]表示第五矩阵。
在一个示例性实施例中,基于所述第七矩阵以及所述原始数据确定所述转换数据包括:基于所述第七矩阵确定第一颜色通道对应的第八矩阵,第二颜色通道对应的第九矩阵,以及第三颜色通道对应的第十矩阵;对所述原始数据进行增强处理,得到增强数据;确定所述增强数据中包括的第二颜色数据与第一颜色数据的比值,得到第一数值;确定所述增强数据中包括的所述第二颜色数据与第三颜色数据的比值,得到第二数值;确定所述第八矩阵与所述第一数值的比值,得到第十一矩阵;确定所述第十矩阵与所述第二数值的比值,得到第十二矩阵;将所述第九矩阵、所述第十一矩阵以及所述第十二矩阵转换为原始格式,得到所述转换数据。在本实施例中,可以将第七矩阵转换回r、g、b通道。即将bayer_rgbout数据转换回r通道(对应于第一颜色通道)、g通道(对应于第二颜色通道)和b通道(对应于第三颜色通道),得到r_out[w/4,h/4](对应于第八矩阵)、g_out[w/4,h/4](对应于第九矩阵)、b_out[w/4,h/4](对应于第十矩阵)。如把[3,w*h/4]数组按照通道各自分为三个[w/4,h/4]数组格式。并对原始数据进行增强处理,得到增强数据,其中,增强处理可以为白平衡处理。根据增强数据得到第一数值以及第二数值,其中,第一数值可以表示为correct_rGain=gGain/rGain,gGain表示第二颜色数据,rGain表示第一颜色数据。第二数值可以表示为correct_bGain=gGain/bGain,bGain表示第三颜色数据。
在上述实施例中,第十一矩阵可以通过如下公式进行表示:r_out2[w/4,h/4]=r_out[w/4,h/4]/correct_rGain,其中,r_out[w/4,h/4]表示第八矩阵。b_out2[w/4,h/4]=b_out[w/4,h/4]/correct_bGain可以表示第十二矩阵,其中,b_out[w/4,h/4]为第十矩阵。
在上述实施例中,可以根据r_out2[w/4,h/4](即第十一矩阵)、g_out[w/4,h/4](即第九矩阵)、b_out2[w/4,h/4](即第十二矩阵),结合第一设备的pattern格式,转换回完整的bayer数据,记为re_raw,即得到转换数据。
在一个示例性实施例中,基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像包括:确定所述第二设备的拍摄参数;基于所述拍摄参数对所述转换数据进行转换,得到原始模拟数据;基于所述原始模拟数据确定所述目标图像。在本实施例中,可以将得到的re_raw(即转换数据),根据第二设备的拍摄参数进行数据转化,得到最终的数据out_raw。其中,拍摄参数可以包括能够概括硬件差异的特征数据包括:宽w,高h,位宽bit,黑电平blc,数据格式pattern等。由于不同的设备会因为硬件特性会有不同的数据格式,能够概括硬件差异的特征数据包括:宽w,高h,位宽bit,黑电平blc,数据格式pattern。这些数据决定了设备之间的raw数据格式不同,根据第二设备的拍摄参数进行数据转化就是将得到的转换后的re_raw数据,根据第一设备和第二设备之间的特征数据进行格式转换,比如pattern转换从grbg转为bggr格式,比如bit转换从10bit转为12bit。在得到原始模拟数据后,即可将原始模拟数据转换成rgb格式,以图像的方式显示出来,即得到了目标图像。
在一个示例性实施例中,确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值包括:确定在所述目标色温下所述第一设备的色卡的第一初始参数值,以及所述第二设备的色卡的第二初始参数值;对所述第一初始参数值进行增强处理,得到所述第一参数值;对所述第二初始参数值进行增强处理,得到所述第二参数值。在本实施例中,可以获取第一设备以及第二设备在目标色温下,色卡的初始参数值,在对初始参数值进行增强处理后,如白平衡处理,得到第一参数值以及第二参数值。
下面结合具体实施方式对图像的模拟方法进行说明:
图3是根据本发明具体实施例的图像的模拟方法流程图,如图3所示,该流程包括:
1.存入A设备在A、TL84、D50、D65、D75五个色温下24色卡中前18个色块的rgb值,数据格式为3行,18列的数据,根据白平衡处理前后每一个色温都有:白平衡处理前的rgb值记为A_org_blockrgb[3,18]和白平衡处理后的rgb值记为A_awb_blockrgb[3,18]。
2.存入B设备在A、TL84、D50、D65、D75五个色温下的24色卡中前18个色块的rgb值,数据格式为3行,18列的数据,根据白平衡处理前后每一个色温都有:白平衡处理前的rgb值记为B_org_blockrgb[3,18]和白平衡处理后的rgb值记为B_awb_blockrgb[3,18]。
3.A设备根据当前场景进行色温估计,对应到上述五个色温中,对应取出上述预存的值,记为:A_org_blockrgb[3,18]、A_awb_blockrgb[3,18]、B_org_blockrgb[3,18]、B_awb_blockrgb[3,18]。
4.取A_awb_blockrgb和B_awb_blockrgb,计算参数para2:
para2=inv(B_awb_blockrgb’)*A_awb_blockrgb’,参数para2是一个3行,3列数组,记为para2[3,3]。
5.获取A设备当前场景的bayer格式数据,根据pattern格式,抽取出当前数据的r值、g值和b值。如果A设备的分辨率为w*h,则r值、g值和b值都是1行,w*h/4列的数组数据。
所述的“获取A设备当前场景的bayer格式数据”,是指获取A设备当前的raw数据;“根据pattern格式”是指,raw数据一般有四种格式:grbg、bggr、rggb、gbrg,对应每一个像素只有一个通道值;“抽取出当前数据的r值、g值和b值”是指根据r、g、b通道类型,进行对应通道值的抽取,根据pattern格式可知,r通道数据占1/4,g通道数据占1/2,b通道数据占1/4,因此抽取g通道数据的时候只取用1/4数据,或者是在一个pattern数据内取g值平均。上述步骤6所述的每个通道数据格式都为[w/4,h/4]的数组。
6.将r值、g值和b值,联合构造为一个二维数组,具体为3行,w*h/4列的数组数据,记为bayer_rgb[3,w*h/4]。
所述的“将r值、g值和b值,联合构造为一个二维数组”,具体为:先将每一个通道从[w/4,h/4]数组格式转换为[1,w*h/4]的数组格式。之后将三个通道行叠加的方式,构造成数据bayer_rgb,此时的数组大小为[3,w*h/4]。
7.取参数para2和bayer_rgb[3,w*h/4],进行计算得到bayer_rgbout=para2'*bayer_rgb[3,w*h/4]。
8.将bayer_rgbout数据转换回r通道、g通道和b通道,得到r_out[w/4,h/4]、g_out[w/4,h/4]、b_out[w/4,h/4]。
9.correct_rGain=gGain/rGain,correct_bGain=gGain/bGain。
10.r_out2[w/4,h/4]=r_out[w/4,h/4]/correct_rGain,b_out2[w/4,h/4]=b_out[w/4,h/4]/correct_bGain。
11.根据r_out2[w/4,h/4]、g_out[w/4,h/4]、b_out2[w/4,h/4],结合A设备的pattern格式,转换回完整的bayer数据,记为re_raw。
12.将得到的re_raw,根据B设备的基础参数进行数据转化,得到最终的数据out_raw。
所述的“将得到的re_raw,根据B设备的基础参数进行数据转化,得到最终的数据out_raw”,不同的设备会因为硬件特性会有不同的数据格式,能够概括硬件差异的特征数据包括:宽w,高h,位宽bit,黑电平blc,数据格式pattern。这些数据决定了设备之间的raw数据格式不同,所以步骤所述的“根据B设备的基础参数进行数据转化”就是将得到的转换后的re_raw数据,根据A设备和B设备之间的特征数据进行格式转换,比如pattern转换从grbg转为bggr格式,比如bit转换从10bit转为12bit。
在前述实施例中,通过采集外界任意摄像机的raw数据,抽象其与待训练摄像机之间的感光响应特性关系,通过建立数学模型,使得采集到的raw数据在软件层面实现归一化转换,得到在感光特性上与待训练设备逼近的raw数据,实现待训练摄像机样本量的补充。A设备在灯箱D65色温下色卡的灰度示意图可参见附图4,A设备在灯箱D65色温下经过增强处理后的色卡的灰度示意图可参见附图5,A设备对目标场景拍摄的图像灰度示意图可参见附图6,B设备在灯箱D65色温下色卡的灰度示意图可参见附图7,B设备在灯箱D65色温下经过增强处理后的色卡的灰度示意图可参见附图8,A设备模拟B设备对目标场景进行拍摄所得到的目标图像灰度示意图可参见附图9。通过A设备的灯箱色卡标准数据、A设备的实景数据和B设备的灯箱色卡标准数据,通过数学模型的转换,生成符合B设备感光响应特性的对应实景数据,解决了深度学习中训练样本采集强依赖硬件环境的问题。A设备的灯箱色卡标准数据、A设备的实景数据和B设备的灯箱色卡标准数据,通过数学模型的转换,生成符合B设备感光响应特性的对应实景数据,实现软件仿真替代硬件设备实际采集的功能。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像的模拟装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图10是根据本发明实施例的图像的模拟装置的结构框图,如图10所示,该装置包括:
第一确定模块1002,用于基于第一设备对目标场景进行拍摄所得到的图像确定所述目标场景的目标色温;
第二确定模块1004,用于确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;
第三确定模块1006,用于基于所述第一参数值以及所述第二参数值确定转换参数;
转换模块1008,用于基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据,其中,所述原始数据为所述第一设备对所述目标场景进行拍摄所得到的数据;
模拟模块1010,用于基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像。
在一个示例性实施例中,第三确定模块1006可以通过如下方式实现基于所述第一参数值以及所述第二参数值确定转换参数:基于所述第一参数值确定第一矩阵,以及基于所述第二参数值确定第二矩阵;确定所述第二矩阵的转置的逆矩阵,得到第三矩阵;确定所述第一矩阵的转置,得到第四矩阵;将所述第三矩阵与所述第四矩阵的乘积确定为所述转换参数。
在一个示例性实施例中,转换模块1008可以通过如下方式实现基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据:抽取所述原始数据的颜色参数值;基于所述颜色参数值确定第五矩阵;基于所述转换参数以及所述第五矩阵确定所述转换数据。
在一个示例性实施例中,转换模块1008可以通过如下方式实现基于所述转换参数以及所述第五矩阵确定所述转换数据:确定所述转换参数的转置,得到第六矩阵;确定所述第五矩阵与所述第六矩阵的乘积,得到第七矩阵;基于所述第七矩阵以及所述原始数据确定所述转换数据。
在一个示例性实施例中,转换模块1008可以通过如下方式实现基于所述第七矩阵以及所述原始数据确定所述转换数据:基于所述第七矩阵确定第一颜色通道对应的第八矩阵,第二颜色通道对应的第九矩阵,以及第三颜色通道对应的第十矩阵;对所述原始数据进行增强处理,得到增强数据;确定所述增强数据中包括的第二颜色数据与第一颜色数据的比值,得到第一数值;确定所述增强数据中包括的所述第二颜色数据与第三颜色数据的比值,得到第二数值;确定所述第八矩阵与所述第一数值的比值,得到第十一矩阵;确定所述第十矩阵与所述第二数值的比值,得到第十二矩阵;将所述第九矩阵、所述第十一矩阵以及所述第十二矩阵转换为原始格式,得到所述转换数据。
在一个示例性实施例中,模拟模块1010可以通过如下方式实现基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像:确定所述第二设备的拍摄参数;基于所述拍摄参数对所述转换数据进行转换,得到原始模拟数据;基于所述原始模拟数据确定所述目标图像。
在一个示例性实施例中,第二确定模块1004可以通过如下方式实现确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值:确定在所述目标色温下所述第一设备的色卡的第一初始参数值,以及所述第二设备的色卡的第二初始参数值;对所述第一初始参数值进行增强处理,得到所述第一参数值;对所述第二初始参数值进行增强处理,得到所述第二参数值。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种图像的模拟方法,其特征在于,包括:
基于第一设备对目标场景进行拍摄所得到的图像确定所述目标场景的目标色温;
确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;
基于所述第一参数值以及所述第二参数值确定转换参数;
基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据,其中,所述原始数据为所述第一设备对所述目标场景进行拍摄所得到的数据;
基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像;
基于所述第一参数值以及所述第二参数值确定转换参数包括:基于所述第一参数值确定第一矩阵,以及基于所述第二参数值确定第二矩阵;确定所述第二矩阵的转置的逆矩阵,得到第三矩阵;确定所述第一矩阵的转置,得到第四矩阵;将所述第三矩阵与所述第四矩阵的乘积确定为所述转换参数;
所述第一参数值包括r值、g值、b值,所述第二参数值包括r值、g值、b值。
2.根据权利要求1所述的方法,其特征在于,基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据包括:
抽取所述原始数据的颜色参数值;
基于所述颜色参数值确定第五矩阵;
基于所述转换参数以及所述第五矩阵确定所述转换数据。
3.根据权利要求2所述的方法,其特征在于,基于所述转换参数以及所述第五矩阵确定所述转换数据包括:
确定所述转换参数的转置,得到第六矩阵;
确定所述第五矩阵与所述第六矩阵的乘积,得到第七矩阵;
基于所述第七矩阵以及所述原始数据确定所述转换数据。
4.根据权利要求3所述的方法,其特征在于,基于所述第七矩阵以及所述原始数据确定所述转换数据包括:
基于所述第七矩阵确定第一颜色通道对应的第八矩阵,第二颜色通道对应的第九矩阵,以及第三颜色通道对应的第十矩阵;
对所述原始数据进行增强处理,得到增强数据;
确定所述增强数据中包括的第二颜色数据与第一颜色数据的比值,得到第一数值;
确定所述增强数据中包括的所述第二颜色数据与第三颜色数据的比值,得到第二数值;
确定所述第八矩阵与所述第一数值的比值,得到第十一矩阵;
确定所述第十矩阵与所述第二数值的比值,得到第十二矩阵;
将所述第九矩阵、所述第十一矩阵以及所述第十二矩阵转换为原始格式,得到所述转换数据。
5.根据权利要求1所述的方法,其特征在于,基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像包括:
确定所述第二设备的拍摄参数;
基于所述拍摄参数对所述转换数据进行转换,得到原始模拟数据;
基于所述原始模拟数据确定所述目标图像。
6.根据权利要求1所述的方法,其特征在于,确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值包括:
确定在所述目标色温下所述第一设备的色卡的第一初始参数值,以及所述第二设备的色卡的第二初始参数值;
对所述第一初始参数值进行增强处理,得到所述第一参数值;
对所述第二初始参数值进行增强处理,得到所述第二参数值。
7.一种图像的模拟装置,其特征在于,包括:
第一确定模块,用于基于第一设备对目标场景进行拍摄所得到的图像确定所述目标场景的目标色温;
第二确定模块,用于确定在所述目标色温下所述第一设备的色卡的第一参数值,以及第二设备的色卡的第二参数值;
第三确定模块,用于基于所述第一参数值以及所述第二参数值确定转换参数;
转换模块,用于基于所述转换参数对所述第一设备采集到的原始数据进行转换,得到转换数据,其中,所述原始数据为所述第一设备对所述目标场景进行拍摄所得到的数据;
模拟模块,用于基于所述转换数据模拟所述第二设备对所述目标场景进行拍摄所得到的目标图像;
所述第三确定模块通过如下方式实现基于所述第一参数值以及所述第二参数值确定转换参数:基于所述第一参数值确定第一矩阵,以及基于所述第二参数值确定第二矩阵;确定所述第二矩阵的转置的逆矩阵,得到第三矩阵;确定所述第一矩阵的转置,得到第四矩阵;将所述第三矩阵与所述第四矩阵的乘积确定为所述转换参数;
所述第一参数值包括r值、g值、b值,所述第二参数值包括r值、g值、b值。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211110594.2A CN115460391B (zh) | 2022-09-13 | 2022-09-13 | 图像的模拟方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211110594.2A CN115460391B (zh) | 2022-09-13 | 2022-09-13 | 图像的模拟方法、装置、存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115460391A CN115460391A (zh) | 2022-12-09 |
CN115460391B true CN115460391B (zh) | 2024-04-16 |
Family
ID=84303057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211110594.2A Active CN115460391B (zh) | 2022-09-13 | 2022-09-13 | 图像的模拟方法、装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115460391B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006303783A (ja) * | 2005-04-19 | 2006-11-02 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理システム及び画像処理プログラム |
CN105828058A (zh) * | 2015-05-29 | 2016-08-03 | 维沃移动通信有限公司 | 一种白平衡的调整方法和装置 |
CN109155071A (zh) * | 2017-06-30 | 2019-01-04 | 华为技术有限公司 | 一种颜色检测的方法及终端 |
CN109523485A (zh) * | 2018-11-19 | 2019-03-26 | Oppo广东移动通信有限公司 | 图像颜色校正方法、装置、存储介质及移动终端 |
CN110493510A (zh) * | 2019-07-09 | 2019-11-22 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
CN112767257A (zh) * | 2020-12-07 | 2021-05-07 | 深圳市福日中诺电子科技有限公司 | 一种提高不同种类肤色还原准确性的方法 |
CN113177939A (zh) * | 2021-05-25 | 2021-07-27 | 浙江大华技术股份有限公司 | 一种灯板检测方法、装置、电子设备及存储介质 |
CN113556526A (zh) * | 2021-07-18 | 2021-10-26 | 北京理工大学 | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 |
WO2021223185A1 (zh) * | 2020-05-07 | 2021-11-11 | 深圳市大疆创新科技有限公司 | 相机及其对齐方法和装置、云台 |
CN113676715A (zh) * | 2021-08-23 | 2021-11-19 | 展讯半导体(南京)有限公司 | 图像处理方法及装置 |
CN113890992A (zh) * | 2021-09-23 | 2022-01-04 | 惠州视维新技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113989394A (zh) * | 2021-10-22 | 2022-01-28 | 浙江天行健智能科技有限公司 | 用于自动驾驶模拟环境色温的图像处理方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070133867A1 (en) * | 2005-12-14 | 2007-06-14 | Samsung Electronics., Ltd. | Apparatus and method of adaptively converting image in image display system |
US20190356891A1 (en) * | 2018-05-16 | 2019-11-21 | Synaptics Incorporated | High dynamic range (hdr) data conversion and color space mapping |
US11516429B2 (en) * | 2020-04-22 | 2022-11-29 | Grass Valley Limited | System and method for image format conversion using 3D lookup table approximation |
US20220141438A1 (en) * | 2020-11-05 | 2022-05-05 | Samsung Electronics Co., Ltd. | Data pre-processing for cross sensor automatic white balance |
-
2022
- 2022-09-13 CN CN202211110594.2A patent/CN115460391B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006303783A (ja) * | 2005-04-19 | 2006-11-02 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理システム及び画像処理プログラム |
CN105828058A (zh) * | 2015-05-29 | 2016-08-03 | 维沃移动通信有限公司 | 一种白平衡的调整方法和装置 |
CN109155071A (zh) * | 2017-06-30 | 2019-01-04 | 华为技术有限公司 | 一种颜色检测的方法及终端 |
CN109523485A (zh) * | 2018-11-19 | 2019-03-26 | Oppo广东移动通信有限公司 | 图像颜色校正方法、装置、存储介质及移动终端 |
CN110493510A (zh) * | 2019-07-09 | 2019-11-22 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
WO2021223185A1 (zh) * | 2020-05-07 | 2021-11-11 | 深圳市大疆创新科技有限公司 | 相机及其对齐方法和装置、云台 |
CN112767257A (zh) * | 2020-12-07 | 2021-05-07 | 深圳市福日中诺电子科技有限公司 | 一种提高不同种类肤色还原准确性的方法 |
CN113177939A (zh) * | 2021-05-25 | 2021-07-27 | 浙江大华技术股份有限公司 | 一种灯板检测方法、装置、电子设备及存储介质 |
CN113556526A (zh) * | 2021-07-18 | 2021-10-26 | 北京理工大学 | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 |
CN113676715A (zh) * | 2021-08-23 | 2021-11-19 | 展讯半导体(南京)有限公司 | 图像处理方法及装置 |
CN113890992A (zh) * | 2021-09-23 | 2022-01-04 | 惠州视维新技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113989394A (zh) * | 2021-10-22 | 2022-01-28 | 浙江天行健智能科技有限公司 | 用于自动驾驶模拟环境色温的图像处理方法及系统 |
Non-Patent Citations (5)
Title |
---|
Two-step multi-illuminant color constancy for outdoor scenes;Sang-Ho Lee;《2017 IEEE International Conference on Image Processing (ICIP)》;20180222;全文 * |
一种基于灰度世界模型自动白平衡方法;谷元保, 付宇卓;计算机仿真(09);全文 * |
摄像机图像处理技术原理及应用;陶艳;;中国公共安全(15);全文 * |
摄像机图像处理技术原理及应用;陶艳;《中国公共安全》;20161008;全文 * |
结合强度和边界信息的非参数前景/背景分割方法;陈睿, 邓宇, 向世明, 李华;计算机辅助设计与图形学学报(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115460391A (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101901475B (zh) | 基于视网膜自适应模型的高动态范围图像色调映射方法 | |
CN105144232A (zh) | 图像去噪方法和系统 | |
CN109218716B (zh) | 基于色彩统计和信息熵无参考色调映射图像质量评价方法 | |
CN110599554A (zh) | 人脸肤色的识别方法和装置、存储介质及电子装置 | |
CN113112424B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN108734214A (zh) | 图像识别方法和装置、电子设备、存储介质 | |
CN114972085B (zh) | 一种基于对比学习的细粒度噪声估计方法和系统 | |
CN113256537B (zh) | 一种图像数据生成方法和装置 | |
CN103258334B (zh) | 彩色图像的场景光源颜色估计方法 | |
CN112164005A (zh) | 图像颜色校正方法、装置、设备及存储介质 | |
JP7463186B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113888397A (zh) | 基于无人机遥感和图像处理技术的烟草清塘点株方法 | |
CN113676712A (zh) | 一种色彩校正方法及其相关装置 | |
CN115460391B (zh) | 图像的模拟方法、装置、存储介质及电子装置 | |
CN112489144A (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
CN107945154A (zh) | 基于四元数离散余弦变换的彩色图像质量评价方法 | |
CN105389825A (zh) | 图像处理方法及系统 | |
CN116546335A (zh) | 仿真图像获取方法、装置、电子设备及计算机可读存储介质 | |
CN113435515B (zh) | 图片识别方法和装置、存储介质及电子设备 | |
CN114067006B (zh) | 一种基于离散余弦变换的屏幕内容图像质量评价方法 | |
CN112734673B (zh) | 一种基于多表达式融合的低照度图像增强方法及系统 | |
CN114169380A (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
CN110827243B (zh) | 网格梁覆盖区域异常检测方法和装置 | |
CN114596562A (zh) | 一种稻田杂草识别方法 | |
CN114820514A (zh) | 一种图像处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |