CN115546010B - 图像处理方法及电子设备 - Google Patents
图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN115546010B CN115546010B CN202211150073.XA CN202211150073A CN115546010B CN 115546010 B CN115546010 B CN 115546010B CN 202211150073 A CN202211150073 A CN 202211150073A CN 115546010 B CN115546010 B CN 115546010B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- light source
- sample data
- multispectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000001228 spectrum Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 81
- 238000012549 training Methods 0.000 claims description 77
- 238000013135 deep learning Methods 0.000 claims description 75
- 230000006870 function Effects 0.000 claims description 73
- 238000005286 illumination Methods 0.000 claims description 56
- 238000009877 rendering Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 22
- 238000002310 reflectometry Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 230000003595 spectral effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像处理方法及电子设备。该方法包括：根据目标景物的主摄RGB图像，对目标景物的原始多光谱图像进行图像仿射变换，得到与主摄RGB图像对齐的第一多光谱图像，主摄RGB图像和原始多光谱图像是在相同时刻采集的；读取变换后的目标光源对应的目标光源类型；将主摄RGB图像、第一多光谱图像和目标光源类型输入已训练好的重光照模型，获得重光照模型输出的目标光源照射下的目标主摄RGB图像，目标主摄RGB图像是重光照模型根据目标光源的光谱成分对主摄RGB图像进行重打光得到的。这样，通过调节光源的光谱成分对图像进行重打光，可以对图像进行准确的重打光。
Description
技术领域
本申请涉及终端设备领域，尤其涉及一种图像处理方法及电子设备。
背景技术
拍摄功能是当前智能电子设备的一项重要功能，例如手机、平板等都支持拍摄功能。在一种光源下拍摄的图像，可以通过对图像重打光，得到该图像中的景物在另一种光源下的图像。
发明内容
为了解决上述技术问题，本申请提供一种图像处理方法及电子设备，通过调节光源的光谱成分对图像进行重打光，可以对图像进行准确的重打光。
第一方面，本申请提供一种图像处理方法。该方法应用于电子设备。该方法包括：根据目标景物的主摄RGB图像，对目标景物的原始多光谱图像进行图像仿射变换，得到与主摄RGB图像对齐的第一多光谱图像，主摄RGB图像和原始多光谱图像是在相同时刻采集的；读取变换后的目标光源对应的目标光源类型；将主摄RGB图像、第一多光谱图像和目标光源类型输入已训练好的重光照模型，获得重光照模型输出的目标光源照射下的目标主摄RGB图像，目标主摄RGB图像是重光照模型根据目标光源的光谱成分对主摄RGB图像进行重打光得到的。这样，通过调节光源的光谱成分对图像进行重打光，可以对图像进行准确的重打光。
根据第一方面，重光照模型对主摄RGB图像的处理过程包括：根据目标光源类型和第一多光谱图像，确定第一多光谱图像中的目标景物在目标光源照射下的第二多光谱图像；根据主摄RGB图像和第二多光谱图像，得到目标主摄RGB图像。这样，根据目标光源类型，将第一多光谱图像转换为目标光源对应的第二多光谱图像，进而根据第二多光谱图像得到目标光源对应的目标主摄RGB图像，可以实现准确的重打光。
根据第一方面，根据目标光源类型和第一多光谱图像，确定第一多光谱图像中的目标景物在目标光源照射下的第二多光谱图像，包括：将第一多光谱图像分解为反射率图和第一光照图；根据目标光源类型，确定目标光源对应的目标光谱分布信息；根据目标光谱分布信息，对第一光照图的光谱进行调整，得到第二光照图；基于第二光照图对反射率图进行渲染，得到第一多光谱图像中的目标景物在目标光源照射下的第二多光谱图像。这样，参考第一多光谱图像分解的第一光照图的明暗信息，可以更准确地刻画目标光源的光谱。
根据第一方面，将第一多光谱图像分解为反射率图和第一光照图，包括：将第一多光谱图像输入已训练好的分解模型，由分解模型输出第一多光谱图像对应的反射率图和第一光照图。这样，利用已训练好的分解模型，可以快速、准确地分解第一多光谱图像
根据第一方面，重光照模型的生成方法包括：构建深度学习网络模型，并设置初始参数值，深度学习网络模型包括分解网络、渲染网络和超分网络；获得若干组样本数据，每组样本数据包括针对同一景物采集的第一样本多光谱图像、第一样本RGB图像、第二样本多光谱图像、第二样本RGB图像，第一样本多光谱图像和第一样本RGB图像是在第一时刻、景物处于第一光源的情况下采集的，第二样本多光谱图像和第二样本RGB图像是在第二时刻、景物处于第二光源的情况下采集的；利用样本数据对深度学习网络模型进行训练，得到训练完毕的深度学习网络模型，以训练完毕的深度学习网络模型作为重光照模型。这样，可以训练得到准确率高的重光照模型，为实现重打光提供基础。
根据第一方面，利用样本数据对深度学习网络模型进行训练，得到训练完毕的深度学习网络模型，包括：利用样本数据中的第一样本多光谱图像对深度学习网络模型中的分解网络进行训练，得到训练完毕的分解网络；将深度学习网络模型中的分解网络的参数值设置为训练完毕的分解网络的参数值，得到第一深度学习网络模型；利用样本数据对第一深度学习网络模型中的渲染网络和超分网络进行训练，得到训练完毕的渲染网络和训练完毕的超分网络；将训练完毕的分解网络、训练完毕的渲染网络和训练完毕的超分网络，组成训练完毕的深度学习网络模型。这样，通过分段训练，可以使模型更快地收敛。
根据第一方面，利用样本数据中的第一样本多光谱图像对深度学习网络模型中的分解网络进行训练，得到训练完毕的分解网络，包括：在训练过程中，第1组样本数据对应的深度学习网络模型中分解网络的参数值为初始参数值中属于分解网络的参数值，第j组样本数据对应的深度学习网络模型中分解网络的参数值为经第j-1组样本数据训练后调整的参数值，j为自然数，且j≥2；对于每组样本数据，执行如下操作：将该组样本数据中的第一样本多光谱图像输入该组样本数据对应的深度学习网络模型中的分解网络，得到输出反射率图和输出光照图；根据该组样本数据中的第一样本多光谱图像以及输出反射率图和输出光照图，确定该组样本数据对应的第一损失函数的函数值；如果该组样本数据对应的第一损失函数的函数值小于或等于第一阈值，停止训练，将该组样本数据对应的分解网络作为训练完毕的分解网络；否则，根据第一损失函数的函数值调整分解网络的参数值，执行下一组样本数据的训练。这样，通过第一阶段的分段训练，可以较快地训练好分解网络。
根据第一方面，利用样本数据对第一深度学习网络模型中的渲染网络和超分网络进行训练，得到训练完毕的渲染网络和训练完毕的超分网络，包括：在训练过程中，深度学习网络模型中分解网络的参数值为训练完毕的分解网络的参数值；第1组样本数据对应的深度学习网络模型中渲染网络和超分网络的参数值为初始参数值中属于渲染网络和超分网络的参数值，第j组样本数据对应的深度学习网络模型中渲染网络和超分网络的参数值为经第j-1组样本数据训练后调整的参数值，j为自然数，且j≥2；对于每组样本数据，执行如下操作：将该组样本数据中的第一样本多光谱图像、第一样本RGB图像以及第一光源的光源类型输入该组样本数据对应的深度学习网络模型，得到渲染网络输出的输出多光谱图像和超分网络输出的输出RGB图像；根据该组样本数据中的第二样本多光谱图像、第二样本RGB图像以及输出多光谱图像和输出RGB图像，确定该组样本数据对应的第二损失函数的函数值；如果该组样本数据对应的第二损失函数的函数值小于或等于第二阈值，停止训练，将该组样本数据对应的渲染网络和超分网络作为训练完毕的渲染网络和超分网络；否则，根据第一损失函数的函数值调整深度学习网络模型中渲染网络和超分网络的参数值，执行下一组样本数据的训练。这样，通过第二阶段的分段训练，可以较快地训练好渲染网络和超分网络。
根据第一方面，根据主摄RGB图像和第二多光谱图像，得到目标主摄RGB图像，包括：以主摄RGB图像的信息作为细节引导，对第二多光谱图像进行超分处理，得到目标主摄RGB图像。
根据第一方面，重光照模型中存储有光谱分布信息与光源类型的对应关系；根据目标光源类型，确定目标光源对应的目标光谱分布信息，包括：从存储的光谱分布信息与光源类型的对应关系中，查找与目标光源类型对应的光谱分布信息，作为目标光谱分布信息。
第二方面，本申请提供一种电子设备，包括：存储器和处理器，存储器与处理器耦合；存储器存储有程序指令，当程序指令由所述处理器执行时，使得电子设备执行第一方面任意一项的图像处理方法。
第三方面，本申请提供一种计算机可读存储介质，包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行前述的第一方面任意一项的图像处理方法。
附图说明
图1为示例性示出的电子设备100的结构示意图；
图2为示例性示出的本申请实施例的电子设备100的软件结构框图；
图3为示例性示出的本申请实施例中图像处理方法的流程示例图；
图4为示例性示出的本申请实施例中重光照模型的结构示意图；
图5为示例性示出的本申请实施例中重光照模型的训练过程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。
在一些场景下，需要对图像做重光照处理。例如，在复杂光源场景下的打光重建，如室内三色灯、酒吧、霓虹灯下的场景渲染。
对于电子设备的拍摄功能，可以通过对拍摄的图像重打光，将在一种光源下拍摄的图像，转换成该图像中的景物在另一种光源下的图像。
本申请实施例提供一种图像处理方法，能够对图像进行准确的重打光，使得场景出图更加真实。
本申请实施例中的图像处理方法可以应用于电子设备，该电子设备例如可以是智能手机、平板等。本实施例中的电子设备的结构可以如图1所示。
图1为示例性示出的电子设备100的结构示意图。应该理解的是，图1所示电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
请参见图1，电子设备100可以包括：处理器110，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，指示器192，摄像头193等。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
电子设备100的摄像头193中还可以包括多光谱器件，利用多光谱器件，摄像头193还可以采集到物体的多光谱图像。
其中，电子设备100的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构，或云架构。本申请实施例以分层架构的安卓(Android)系统为例，示例性说明电子设备100的软件结构。
图2为示例性示出的本申请实施例的电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，Android系统可以包括应用程序层、应用程序框架层、系统层以及内核层等。
应用程序层可以包括一系列应用程序包。
如图2所示，应用程序包可以包括相机，图库，通话，WLAN，导航，视频等应用程序。
其中，相机应用用于实现拍摄功能。本申请实施例中，相机应用可以同时采集景物的RGB图像(本文中称为主摄RGB图像)和多光谱图像。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示，应用程序框架层可以包括窗口管理器，资源管理器，内容提供器，视图系统等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
安卓运行时(Android Runtime)包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。如图2所示，本申请实施例中，系统库中可以包括图像处理模块等。
本实施例中，图像处理模块用于执行本申请实施例的图像处理方法。图像处理模块可以根据相机应用采集的主摄RGB图像和多光谱图像以及目标光源，对主摄RGB图像进行准确地重打光，生成目标光源照射下的RGB图像。
例如，相机应用采集到物体1在室内光源下的主摄RGB图像1和多光谱图像2，图像处理模块可以根据主摄RGB图像1和多光谱图像2以及室外光源，对主摄RGB图像1进行重打光，得到物体1在室外光源下的主摄RGB图像2。
内核层是硬件和软件之间的层。
如图2所示，内核层可以包括显示驱动、摄像头驱动、音频驱动、传感器驱动等模块。
可以理解的是，图2示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。
下面通过实施例，对本申请进行详细说明。
图3为示例性示出的本申请实施例中图像处理方法的流程示例图。请参见图3，本申请实施例中，图像处理方法可以包括如下步骤：
S301、根据目标景物的主摄RGB图像，对目标景物的原始多光谱图像进行图像仿射变换，得到与主摄RGB图像对齐的第一多光谱图像，主摄RGB图像和原始多光谱图像是在相同时刻采集的。
手机等带有摄像头的电子设备中通常有超广角摄像头、广角摄像头、长焦摄像头三种摄像头。其中，广角摄像头采集的信号通过ISP通路后输出的图像为主摄RGB图像。
主摄RGB图像和原始多光谱图像是相机应用针对同一景物、在相同时刻采集的图像。例如，用户点击相机中的拍摄按钮，相机响应于该点击相机中的拍摄按钮的操作，同时采集景物(假设为大树)的RGB图像a和原始多光谱图像b。假设采集的时刻为中午12点，那么对应的光源为室外中午12点的太阳光。
其中，图像仿射变换即warp变换。通过对原始多光谱图像进行图像仿射变换，可以将主摄RGB图像与原始多光谱图像变换后的多光谱图像对齐，即主摄RGB图像中的像素点与变换后的同一位置的多光谱图像中的像素点一一对应。
S302、读取目标光源对应的目标光源类型。
本实施例中，假设用户想将RGB图像a变成下午6点时大树的RGB图像，那么对应的目标光源是室外下午6点的太阳光。
本文中，一天中不同时刻的光照可以看作不同的光源。
S303、将主摄RGB图像、第一多光谱图像和目标光源类型输入已训练好的重光照模型，获得重光照模型输出的目标光源照射下的目标主摄RGB图像，目标主摄RGB图像是重光照模型根据目标光源的光谱成分对主摄RGB图像进行重打光得到的。
其中，重光照模型是预先训练好的深度学习网络模型，该模型的训练过程请参见本文的后续描述。
本实施例中，重光照模型对主摄RGB图像的处理过程可以包括：
根据目标光源类型和第一多光谱图像，确定第一多光谱图像中的目标景物在目标光源照射下的第二多光谱图像；
根据主摄RGB图像和第二多光谱图像，得到目标主摄RGB图像。
在一个示例中，根据主摄RGB图像和第二多光谱图像，得到目标主摄RGB图像，可以包括：
以主摄RGB图像的信息作为细节引导，对第二多光谱图像进行超分处理，得到目标主摄RGB图像。
超分，即超分辨率，是指通过高分辨率的主摄RBG图像引导多光谱图像提升像素分辨率，超分处理后输出的图像是一张包含多光谱色彩色温信息和主摄RBG图像细节的一张RBG图像。
当然，这种方式仅为利用主摄RGB图像和第二多光谱图像得到目标主摄RGB图像的一种示例，并不用于对利用主摄RGB图像和第二多光谱图像得到目标主摄RGB图像的方法进行限制。在其他实施例中，也可以通过其他方式利用主摄RGB图像和第二多光谱图像得到目标主摄RGB图像。
例如，将主摄RGB图像和第二多光谱图像输入其他的监督模型，比如transformer模型，UNet模型等等，由这些监督模型输出目标主摄RGB图像。
在一个示例中，根据目标光源类型和第一多光谱图像，确定第一多光谱图像中的目标景物在目标光源照射下的第二多光谱图像，可以包括：
将第一多光谱图像分解为反射率图和第一光照图；
根据目标光源类型，确定目标光源对应的目标光谱分布信息；
根据目标光谱分布信息，对第一光照图的光谱进行调整，得到第二光照图；
基于第二光照图对反射率图进行渲染，得到第一多光谱图像中的目标景物在目标光源照射下的第二多光谱图像。
重光照模型中预先存储有光谱分布信息与光源类型的对应关系，根据目标光源类型，确定目标光源对应的目标光谱分布信息，可以包括：
从预先存储的光谱分布信息与光源类型的对应关系中，查找与目标光源类型对应的光谱分布信息，作为目标光谱分布信息。
其中，某一个像素点P的光谱分布信息可以用光谱分布函数表示。本实施例中，不同光源下的图像的整体亮度一致，因此，对于同一像素点P，不同光源下的图像中同一像素点P在所有光谱上的光谱分布函数的积分相等。
在应用中，目标光源可以由用户设定，用户可以自定义目标光源的光谱分布函数(可以通过手动拖动光谱分布曲线设定)。在其他示例中，目标光源也可以是标准光源。例如，标准光源可以是中午时分的阳光、下午时分的阳光、傍晚时分的阳光、月光等等各种类型的室内光源。
多光谱传感器相对于RGB主摄而言，有更高的谱分辨率(比如8谱段)，可以对图像的反射率(reflectance)ρp及光照分量(shading)lp(λ)有更精准的估计。
在一个示例中，将第一多光谱图像分解为反射率图和第一光照图，可以包括：
将第一多光谱图像输入已训练好的分解模型，由分解模型输出第一多光谱图像对应的反射率图和第一光照图。
分解模型是已经训练好的模型，通过分解模型对第一多光谱图像进行分解处理，可以提高处理效率，并且提高分解的准确度。
下面对重光照网络的结构和训练过程进行说明。
图4为示例性示出的本申请实施例中重光照模型的结构示意图。请参见图4，本实施例中，重光照模型包括分解网络、渲染网络和超分网络。其中，分解网络用于将多光谱图像分解为反射率图及光照图。其中，光照图反映了多光谱图像拍摄时的光源的光谱分布信息。
在一个示例中，重光照模型的生成方法可以包括：
构建深度学习网络模型，并设置初始参数值，深度学习网络模型包括分解网络、渲染网络和超分网络；
获得若干组样本数据，每组样本数据包括针对同一景物采集的第一样本多光谱图像、第一样本RGB图像、第二样本多光谱图像、第二样本RGB图像，第一样本多光谱图像和第一样本RGB图像是在第一时刻、景物处于第一光源的情况下采集的，第二样本多光谱图像和第二样本RGB图像是在第二时刻、景物处于第二光源的情况下采集的；
利用样本数据对深度学习网络模型进行训练，得到训练完毕的深度学习网络模型，以训练完毕的深度学习网络模型作为重光照模型。
本实施例中，样本数据可以通过如下的方式采集得到：
在光源1下，采集景物A的主摄RGB图像11和多光谱图像12；然后将光源1变换为光源2，采集景物A的主摄RGB图像21和多光谱图像22，这样，就采集到了一组样本数据(主摄RGB图像11，多光谱图像12，主摄RGB图像21，多光谱图像22)。
通过上述方式，变换景物和/或光源，可以得到多组样本数据。
本文中，将变换光源前的主摄RGB图像记为图像IRGB,input(例如主摄RGB图像11)，将变换光源前的多光谱图像记为IMS,input(例如多光谱图像12)，将变换光源后的主摄RGB图像记为图像IRGB,GT(例如主摄RGB图像21)，将变换光源后的多光谱图像记为IMS,GT(例如多光谱图像22)。这样，样本数据可以表示为：(IRGB,input，IMS,input，IRGB,GT，IMS,GT)。
在训练重光照模型时，对重光照模型中的分解网络与渲染网络和超分网络分阶段进行训练。
图5为示例性示出的本申请实施例中重光照模型的训练过程示意图。请参见图5，本实施例中，分两个阶段来训练重光照模型。在第一阶段，训练重光照模型中的分解网络；在第二阶段，训练重光照模型中的渲染网络和超分网络。在第二阶段的训练过程中，分解网络的参数保持不变，分解网络的参数值等于第一阶段训练好的分解网络的参数值。
在一个示例性的实现过程中，利用样本数据对深度学习网络模型进行训练，得到训练完毕的深度学习网络模型，可以包括：
利用样本数据中的第一样本多光谱图像对深度学习网络模型中的分解网络进行训练，得到训练完毕的分解网络；
将深度学习网络模型中的分解网络的参数值设置为训练完毕的分解网络的参数值，得到第一深度学习网络模型；
利用样本数据对第一深度学习网络模型中的渲染网络和超分网络进行训练，得到训练完毕的渲染网络和训练完毕的超分网络；
将训练完毕的分解网络、训练完毕的渲染网络和训练完毕的超分网络，组成训练完毕的深度学习网络模型。
本实施例通过分段训练深度学习网络模型，可以使模型更容易收敛，降低模型训练难度。在其他实施例中，也可以不分阶段，直接对整个深度学习网络模型进行整体训练。
在一个示例性的实现过程中，利用样本数据中的第一样本多光谱图像对深度学习网络模型中的分解网络进行训练，得到训练完毕的分解网络，可以包括：
在训练过程中，第1组样本数据对应的深度学习网络模型中分解网络的参数值为初始参数值中属于分解网络的参数值，第j组样本数据对应的深度学习网络模型中分解网络的参数值为经第j-1组样本数据训练后调整的参数值，j为自然数，且j≥2；对于每组样本数据，执行如下操作：
将该组样本数据中的第一样本多光谱图像输入该组样本数据对应的深度学习网络模型中的分解网络，得到输出反射率图和输出光照图；
根据该组样本数据中的第一样本多光谱图像以及输出反射率图和输出光照图，确定该组样本数据对应的第一损失函数的函数值；
如果该组样本数据对应的第一损失函数的函数值小于或等于第一阈值，停止训练，将该组样本数据对应的分解网络作为训练完毕的分解网络；否则，根据第一损失函数的函数值调整分解网络的参数值，执行下一组样本数据的训练。
以图5为例进行说明。图5中，多光谱图像相当于一组样本数据中的第一样本多光谱图像。一组样本数据的过程包括如下步骤：
(1)在训练开始前，将图5中分解网络、渲染网络和超分网络的参数值分别设置为深度学习网络模型的初始参数值中的相应参数值。
(2)然后，将多光谱图像输入分解网络，分解网络输出两个图像，一个为反射率图，一个为当前光照图。即分解网络将输入的多光谱图像分解为反射率图和当前光照图。
上述公式(1)中，I(P)表示输入的多光谱图像I中像素点P处的光强，ρP(λ)表示分解后的反射率图ρ中像素点P处的反照率(也称为反射光谱)，表示分解后的当前光照图中像素点P处的光源光谱，S表示相机多光谱传感器的响应函数，表示多光谱传感器的光电转换效率。Sk(λ)表示光谱λ对应的响应函数值。
假设输入的多光谱图像是U个M×N的图像，那么多光谱图像分解出的反射率图也是U个M×N的图像，当前光照图也是U个M×N的图像。U为自然数，U表示多光谱的通道数量。U值的范围一般为8～32。
(3)接着，根据多光谱图像、反射率图和当前光照图计算第一损失函数的函数值。第一损失函数的表达式如下面的公式(2)所示：
L＝Lrecon+λsLsmooth (2)
其中，
其中，Lrecon保证分解的出的反射率图和光照图可以通过相乘的方式恢复原图像，Lsmooth保证光照分量是空间平滑的，仅保留场景整体的明暗结构。需要说明的是，损失函数的值越小，说明相应的模型的效果越好。
其中，R、L分别表示反射率图、光照图，▽表示求梯度运算，表示分解网络预测出的反射率图，即图5中的反射率图，/>表示分解网络预测出的光照图，即图5中的当前光照图。
其中，λs表示平滑损失函数Lsmooth的比例系数，λg表示调节平滑程度的系数。符号“”表示求二范数运算。
(4)将(3)中计算出的第一损失函数的函数值与第一阈值进行比较，如果第一损失函数的函数值小于或等于第一阈值，停止训练，将当前分解网络作为训练完毕的分解网络；否则，根据第一损失函数的函数值调整分解网络的参数值，执行下一组样本数据的训练。
完成了第一阶段的训练，获得了已训练好的分解网络的参数值。在此基础上，进行第二阶段的训练。
在一个示例性的实现过程中，利用样本数据对第一深度学习网络模型中的渲染网络和超分网络进行训练，得到训练完毕的渲染网络和训练完毕的超分网络，可以包括：
在训练过程中，深度学习网络模型中分解网络的参数值为训练完毕的分解网络的参数值；第1组样本数据对应的深度学习网络模型中渲染网络和超分网络的参数值为初始参数值中属于渲染网络和超分网络的参数值，第j组样本数据对应的深度学习网络模型中渲染网络和超分网络的参数值为经第j-1组样本数据训练后调整的参数值，j为自然数，且j≥2；对于每组样本数据，执行如下操作：
将该组样本数据中的第一样本多光谱图像、第一样本RGB图像以及第一光源的光源类型输入该组样本数据对应的深度学习网络模型，得到渲染网络输出的输出多光谱图像和超分网络输出的输出RGB图像；
根据该组样本数据中的第二样本多光谱图像、第二样本RGB图像以及输出多光谱图像和输出RGB图像，确定该组样本数据对应的第二损失函数的函数值；
如果该组样本数据对应的第二损失函数的函数值小于或等于第二阈值，停止训练，将该组样本数据对应的渲染网络和超分网络作为训练完毕的渲染网络和超分网络；否则，根据第一损失函数的函数值调整深度学习网络模型中渲染网络和超分网络的参数值，执行下一组样本数据的训练。
以图5为例进行说明。图5中，多光谱图像相当于一组样本数据中的第一样本多光谱图像，主摄RGB图像相当于一组样本数据中的第一样本RGB图像。一组样本数据的过程包括如下步骤：
(1)在训练开始前，将图5中分解网络的参数值设置为前述第一阶段已训练好的分解网络的参数值，此后在整个第二阶段的训练过程中，分解网络的参数值始终保持不变。渲染网络和超分网络的参数值分别设置为深度学习网络模型的初始参数值中的相应参数值。
(2)然后，将多光谱图像、主摄RGB图像和目标光源类型输入深度学习网络模型，渲染网络输出重光照多光谱图像，超分网络输出重光照后的RGB图像。
(3)接着，根据重光照多光谱图像、重光照后的RGB图像与该组样本数据中的第二样本多光谱图像、第二样本RGB图像，确定第二损失函数的函数值。
第二损失函数的表达式如下面的公式(3)所示：
L＝LMS+λcLRGB (3)
其中，LMS＝||IMS,GT-IMS,pred||，LRGB＝||IRGB,GT-IRGB,pred||。
IMS,GT是该组样本数据中的第二样本多光谱图像，IRGB,GT是该组样本数据中的第二样本RGB图像，IMS,pred是本次训练过程中渲染网络输出的重光照多光谱图像，IRGB,pred是本次训练过程中超分网络输出的重光照后的RGB图像，λc是RGB重建损失函数的比例系数。
(4)将(3)中计算出的第二损失函数的函数值与第二阈值进行比较，如果第二损失函数的函数值小于或等于第二阈值，停止训练，将当前的渲染网络和超分网络作为训练完毕的渲染网络和超分网络；否则，根据第二损失函数的函数值调整深度学习网络模型中渲染网络和超分网络的参数值，执行下一组样本数据的训练。
至此，整个深度学习网络模型训练完毕，得到训练好的深度学习网络模型。
从前述实施例可以看出，本实施例中，通过根据目标光源的光谱成分调节原始多光谱图像对应光源的光谱成分，进而对图像进行重打光，可以提高重打光的准确性。
本申请实施例还提供一种电子设备，该电子设备包括存储器和处理器，存储器与处理器耦合，存储器存储有程序指令，当程序指令由所述处理器执行时，使得电子设备前述电子设备所执行的图像处理方法。
可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像处理方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像处理方法。
另外，本申请实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的图像处理方法。
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本申请各个实施例的任意内容，以及同一实施例的任意内容，均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read Only Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种图像处理方法，其特征在于，应用于电子设备，包括：
根据目标景物的主摄RGB图像，对所述目标景物的原始多光谱图像进行图像仿射变换，得到与所述主摄RGB图像对齐的第一多光谱图像，所述主摄RGB图像和所述原始多光谱图像是在相同时刻采集的；
读取变换后的目标光源对应的目标光源类型；
将所述主摄RGB图像、所述第一多光谱图像和所述目标光源类型输入已训练好的重光照模型，获得所述重光照模型输出的所述目标光源照射下的目标主摄RGB图像，所述目标主摄RGB图像是所述重光照模型根据所述目标光源的光谱成分对所述主摄RGB图像进行重打光得到的；
所述重光照模型对所述主摄RGB图像的处理过程包括：
根据所述目标光源类型和所述第一多光谱图像，确定所述第一多光谱图像中的所述目标景物在所述目标光源照射下的第二多光谱图像；
根据所述主摄RGB图像和所述第二多光谱图像，得到目标主摄RGB图像；
根据所述目标光源类型和所述第一多光谱图像，确定所述第一多光谱图像中的所述目标景物在所述目标光源照射下的第二多光谱图像，包括：
将所述第一多光谱图像分解为反射率图和第一光照图；
根据所述目标光源类型，确定所述目标光源对应的目标光谱分布信息；
根据所述目标光谱分布信息，对所述第一光照图的光谱进行调整，得到第二光照图；
基于所述第二光照图对所述反射率图进行渲染，得到所述第一多光谱图像中的所述目标景物在所述目标光源照射下的第二多光谱图像。
2.根据权利要求1所述的方法，其特征在于，将所述第一多光谱图像分解为反射率图和第一光照图，包括：
将所述第一多光谱图像输入已训练好的分解模型，由所述分解模型输出所述第一多光谱图像对应的反射率图和第一光照图。
3.根据权利要求1所述的方法，其特征在于，所述重光照模型的生成方法包括：
构建深度学习网络模型，并设置初始参数值，所述深度学习网络模型包括分解网络、渲染网络和超分网络；
获得若干组样本数据，每组样本数据包括针对同一景物采集的第一样本多光谱图像、第一样本RGB图像、第二样本多光谱图像、第二样本RGB图像，所述第一样本多光谱图像和第一样本RGB图像是在第一时刻、景物处于第一光源的情况下采集的，所述第二样本多光谱图像和第二样本RGB图像是在第二时刻、景物处于第二光源的情况下采集的；
利用所述样本数据对所述深度学习网络模型进行训练，得到训练完毕的深度学习网络模型，以所述训练完毕的深度学习网络模型作为重光照模型。
4.根据权利要求3所述的方法，其特征在于，利用所述样本数据对所述深度学习网络模型进行训练，得到训练完毕的深度学习网络模型，包括：
利用所述样本数据中的第一样本多光谱图像对所述深度学习网络模型中的分解网络进行训练，得到训练完毕的分解网络；
将所述深度学习网络模型中的分解网络的参数值设置为训练完毕的分解网络的参数值，得到第一深度学习网络模型；
利用所述样本数据对所述第一深度学习网络模型中的渲染网络和超分网络进行训练，得到训练完毕的渲染网络和训练完毕的超分网络；
将训练完毕的分解网络、训练完毕的渲染网络和训练完毕的超分网络，组成训练完毕的深度学习网络模型。
5.根据权利要求4所述的方法，其特征在于，利用所述样本数据中的第一样本多光谱图像对所述深度学习网络模型中的分解网络进行训练，得到训练完毕的分解网络，包括：
在训练过程中，第1组样本数据对应的深度学习网络模型中分解网络的参数值为所述初始参数值中属于分解网络的参数值，第j组样本数据对应的深度学习网络模型中分解网络的参数值为经第j-1组样本数据训练后调整的参数值，j为自然数，且j≥2；对于每组样本数据，执行如下操作：
将该组样本数据中的第一样本多光谱图像输入该组样本数据对应的深度学习网络模型中的分解网络，得到输出反射率图和输出光照图；
根据该组样本数据中的第一样本多光谱图像以及输出反射率图和输出光照图，确定该组样本数据对应的第一损失函数的函数值；
如果该组样本数据对应的第一损失函数的函数值小于或等于第一阈值，停止训练，将该组样本数据对应的分解网络作为训练完毕的分解网络；否则，根据所述第一损失函数的函数值调整所述分解网络的参数值，执行下一组样本数据的训练。
6.根据权利要求5所述的方法，其特征在于，利用所述样本数据对所述第一深度学习网络模型中的渲染网络和超分网络进行训练，得到训练完毕的渲染网络和训练完毕的超分网络，包括：
在训练过程中，深度学习网络模型中分解网络的参数值为训练完毕的分解网络的参数值；第1组样本数据对应的深度学习网络模型中渲染网络和超分网络的参数值为所述初始参数值中属于渲染网络和超分网络的参数值，第j组样本数据对应的深度学习网络模型中渲染网络和超分网络的参数值为经第j-1组样本数据训练后调整的参数值，j为自然数，且j≥2；对于每组样本数据，执行如下操作：
将该组样本数据中的第一样本多光谱图像、第一样本RGB图像以及第一光源的光源类型输入该组样本数据对应的深度学习网络模型，得到渲染网络输出的输出多光谱图像和超分网络输出的输出RGB图像；
根据该组样本数据中的第二样本多光谱图像、第二样本RGB图像以及所述输出多光谱图像和所述输出RGB图像，确定该组样本数据对应的第二损失函数的函数值；
如果该组样本数据对应的第二损失函数的函数值小于或等于第二阈值，停止训练，将该组样本数据对应的渲染网络和超分网络作为训练完毕的渲染网络和超分网络；否则，根据所述第一损失函数的函数值调整深度学习网络模型中渲染网络和超分网络的参数值，执行下一组样本数据的训练。
7.根据权利要求1所述的方法，其特征在于，根据所述主摄RGB图像和所述第二多光谱图像，得到目标主摄RGB图像，包括：
以所述主摄RGB图像的信息作为细节引导，对所述第二多光谱图像进行超分处理，得到目标主摄RGB图像。
8.根据权利要求1所述的方法，其特征在于，所述重光照模型中存储有光谱分布信息与光源类型的对应关系；根据所述目标光源类型，确定所述目标光源对应的目标光谱分布信息，包括：
从存储的光谱分布信息与光源类型的对应关系中，查找与目标光源类型对应的光谱分布信息，作为目标光谱分布信息。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器与所述处理器耦合；
所述存储器存储有程序指令，当所述程序指令由所述处理器执行时，使得所述电子设备执行权利要求1-8中任意一项所述的图像处理方法。
10.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211150073.XA CN115546010B (zh) | 2022-09-21 | 2022-09-21 | 图像处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211150073.XA CN115546010B (zh) | 2022-09-21 | 2022-09-21 | 图像处理方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115546010A CN115546010A (zh) | 2022-12-30 |
| CN115546010B true CN115546010B (zh) | 2023-09-12 |
Family
ID=84728118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211150073.XA Active CN115546010B (zh) | 2022-09-21 | 2022-09-21 | 图像处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546010B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104700109A (zh) * | 2015-03-24 | 2015-06-10 | 清华大学 | 高光谱本征图像的分解方法及装置 |
| CN107239781A (zh) * | 2017-05-03 | 2017-10-10 | 北京理工大学 | 一种基于rgb图像的超光谱反射率重建方法 |
| CN113436247A (zh) * | 2021-07-29 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113554739A (zh) * | 2021-06-29 | 2021-10-26 | 北京百度网讯科技有限公司 | 重光照图像的生成方法、装置及电子设备 |
| CN113920036A (zh) * | 2021-12-14 | 2022-01-11 | 武汉大学 | 一种基于rgb-d图像的交互式重光照编辑方法 |
| WO2022140887A1 (zh) * | 2020-12-28 | 2022-07-07 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN115049559A (zh) * | 2022-06-28 | 2022-09-13 | 北京奇艺世纪科技有限公司 | 模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质 |
-
2022
- 2022-09-21 CN CN202211150073.XA patent/CN115546010B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104700109A (zh) * | 2015-03-24 | 2015-06-10 | 清华大学 | 高光谱本征图像的分解方法及装置 |
| CN107239781A (zh) * | 2017-05-03 | 2017-10-10 | 北京理工大学 | 一种基于rgb图像的超光谱反射率重建方法 |
| WO2022140887A1 (zh) * | 2020-12-28 | 2022-07-07 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN113554739A (zh) * | 2021-06-29 | 2021-10-26 | 北京百度网讯科技有限公司 | 重光照图像的生成方法、装置及电子设备 |
| CN113436247A (zh) * | 2021-07-29 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113920036A (zh) * | 2021-12-14 | 2022-01-11 | 武汉大学 | 一种基于rgb-d图像的交互式重光照编辑方法 |
| CN115049559A (zh) * | 2022-06-28 | 2022-09-13 | 北京奇艺世纪科技有限公司 | 模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 面向识别的人脸虚拟光照样本生成方法研究;陈庭威;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2期);I138-1242 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115546010A (zh) | 2022-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108933899B (zh) | 全景拍摄方法、装置、终端及计算机可读存储介质 | |
| CN108322646A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110198417A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US11070717B2 (en) | Context-aware image filtering | |
| CN109729274B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107040726B (zh) | 双摄像头同步曝光方法及系统 | |
| CN113518210B (zh) | 图像自动白平衡的方法及装置 | |
| CN113905182B (zh) | 一种拍摄方法及设备 | |
| CN108200351A (zh) | 拍摄方法、终端及计算机可读介质 | |
| CN114640783B (zh) | 一种拍照方法及相关设备 | |
| CN116744120B (zh) | 图像处理方法和电子设备 | |
| CN115689963A (zh) | 一种图像处理方法及电子设备 | |
| CN109089045A (zh) | 一种基于多个摄像装置的摄像方法及设备及其终端 | |
| CN111127367A (zh) | 人脸图像处理的方法、装置及系统 | |
| CN114926351A (zh) | 图像处理方法、电子设备以及计算机存储介质 | |
| CN113194256B (zh) | 拍摄方法、装置、电子设备和存储介质 | |
| CN115546010B (zh) | 图像处理方法及电子设备 | |
| CN115633262B (zh) | 图像处理方法和电子设备 | |
| WO2023071933A1 (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
| US20230164446A1 (en) | Imaging exposure control method and apparatus, device and storage medium | |
| US11989863B2 (en) | Method and device for processing image, and storage medium | |
| CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
| CN116128739A (zh) | 下采样模型的训练方法、图像处理方法及装置 | |
| CN116258633A (zh) | 图像去反光的方法、图像去反光模型的训练方法与装置 | |
| CN117395495B (zh) | 一种图像处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |