CN115631098B - 去反射方法及装置 - Google Patents
去反射方法及装置 Download PDFInfo
- Publication number
- CN115631098B CN115631098B CN202210685117.2A CN202210685117A CN115631098B CN 115631098 B CN115631098 B CN 115631098B CN 202210685117 A CN202210685117 A CN 202210685117A CN 115631098 B CN115631098 B CN 115631098B
- Authority
- CN
- China
- Prior art keywords
- image
- reflection
- optical flow
- layer
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000003287 optical effect Effects 0.000 claims description 107
- 230000006870 function Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 238000001028 reflection method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 235000004035 Cryptotaenia japonica Nutrition 0.000 description 1
- 244000146493 Cryptotaenia japonica Species 0.000 description 1
- 230000003667 anti-reflective effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种去反射方法及装置，应用于电子设备，电子设备具有第一摄像头和第二摄像头，所述方法包括：响应于对第一图像进行去反射的操作，显示包括第一图像的第一界面，第一图像为第一摄像头拍摄第一对象获得的图像，第一图像具有对应的第二图像，第二图像为第二摄像头拍摄第一对象获得的图像，第二图像用于对第一图像进行去反射处理。响应于从第一图像中选定掩膜区域，显示第一图像去除反射区域的结果，掩膜区域包括反射区域。可见，基于电子设备的第一摄像头和第二摄像头拍摄的图像，能够实现对第一图像中的反射区域的去除，不仅能够提高第一图像的质量和感官，还有利于后续使用第一图像的任务的结果，从而提高第一图像的利用率。
Description
技术领域
本申请涉及电子信息技术领域，尤其涉及一种去反射方法及装置。
背景技术
相机是电子设备常见的功能，在使用电子设备的相机进行拍摄的过程中，在被拍摄对象包括透明材质如玻璃的情况下，获得的图像中可能包括反射(也可称为反光等)区域。
反射区域不仅会影响图像的质量、观感以及使用率，同时也不利于一些计算机视觉任务的效果，比如图像分类以及检测等。
发明内容
本申请提供了一种去反射方法及装置，目的在于解决如何去除图像中的反射区域的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请的第一方面提供一种去反射方法，应用于电子设备，电子设备具有第一摄像头和第二摄像头，所述方法包括：响应于对第一图像进行去反射的操作，显示包括第一图像的第一界面，第一图像为第一摄像头拍摄第一对象获得的图像，第一图像具有对应的第二图像，第二图像为第二摄像头拍摄第一对象获得的图像，第二图像用于对第一图像进行去反射处理。响应于从第一图像中选定掩膜区域，显示第一图像去除反射区域的结果，掩膜区域包括反射区域。可见，基于电子设备的第一摄像头和第二摄像头拍摄的图像，能够实现对第一图像中的反射区域的去除，不仅能够提高第一图像的质量和感官，还有利于后续使用第一图像的任务的结果，从而提高第一图像的利用率。
在一些实现方式中，在响应于对第一图像进行去反射的操作，显示第一界面之前，还包括：响应于一次拍摄操作，调用第一摄像头以及第二摄像头对第一对象进行拍摄，得到第一图像和第二图像。一次拍摄得到第一图像和第二图像，能够保证第一图像和第二图像的坐标对齐，有利于获得更优的去反射结果。
在一些实现方式中，电子设备具有智能AI摄影功能，在拍摄操作之前，AI摄影功能为开启状态，具有更高的便利性。
在一些实现方式中，第一界面还包括：操作区域，操作区域用于在第一图像中进行区域选择操作，以便于用户在第一图像中选择掩膜区域。
在一些实现方式中，从第一图像中选定掩膜区域，包括：基于在操作区域中的操作，从第一图像中选定掩膜区域，以提高掩膜区域的准确性以及获得掩膜区域的便利性。
在一些实现方式中，显示第一图像去除反射区域的结果，包括：基于第一图像、第二图像以及掩膜区域，显示第一图像去除反射区域的结果，以获得准确性更高的去反射结果。
在一些实现方式中，基于第一图像、第二图像以及掩膜区域，显示第一图像去除反射区域的结果包括：获得第一图像相对于第二图像的背景层光流和反射层光流，基于背景层光流、反射层光流以及掩膜区域，显示第一图像去除反射区域的结果。光流能够表征第一+ 图像与第二图像之间的位移量，因此，能够凸显反射层，从而获得更优的去反射结果。掩膜区域能够进一步提升去反射结果的准确性。
在一些实现方式中，基于背景层光流、反射层光流以及掩膜区域，显示第一图像去除反射区域的结果，包括：基于背景层光流，通过将第二图像与第一图像对齐，获得扭曲背景层，基于反射层光流，通过将第二图像与第一图像对齐，获得扭曲反射层，基于扭曲背景层、扭曲反射层以及掩膜区域，显示第一图像去除反射区域的结果，从而获得进一步优化的去反射结果。
在一些实现方式中，在基于扭曲背景层、扭曲反射层以及掩膜区域，显示第一图像去除反射区域的结果之前，还包括：基于第一图像与扭曲背景层的差值，获得背景差值层。基于第一图像与扭曲反射层的差值，获得反射差值层，基于扭曲背景层、扭曲反射层以及掩膜区域，显示第一图像去除反射区域的结果，包括：基于扭曲背景层、扭曲反射层、背景差值层、反射差值层、以及掩膜区域，显示第一图像去除反射区域的结果。背景差值层和反射差值层能够分别凸显反射层和背景层，获得进一步优化的去反射结果。
在一些实现方式中，显示第一图像去除反射区域的结果，包括：使用预先训练的去反射模型，基于第一图像、第二图像以及掩膜区域，显示第一图像去除反射区域的结果，去反射模型包括光流网络以及合成网络。使用神经网络获得去反射区域的结果，具有较高的可实施性以及灵活性。
在一些实现方式中，去反射模型的训练过程包括：分别单独训练光流网络和合成网络，得到第一阶段训练后光流网络和第一阶段训练后合成网络，端到端训练第一阶段训练后光流网络和第一阶段训练后合成网络。先单独训练再端到端训练，可以提高训练后模型的准确性。
在一些实现方式中，分别单独训练光流网络和合成网络包括：使用合成的第一样本数据，分别单独训练光流网络和合成网络，端到端训练第一阶段训练后光流网络和第一阶段训练后合成网络，包括：使用合成的第二样本数据，端到端训练第一阶段训练后光流网络和第一阶段训练后合成网络，得到端到端训练后光流网络和端到端训练后合成网络，使用真实样本数据，端到端训练训练后光流网络和端到端训练后合成网络。，先使用合成数据进行训练，再使用真实数据进行训练，有利于克服真实样本数据不足的缺点，即在真实样本数据有限的情况下，训练得到较为准确的模型。
在一些实现方式中，第一摄像头为电子设备的主摄像头，第二摄像头为广角摄像头。利用电子设备通常配置的摄像头实现去反射，具有较高的兼容性和可实施性。
本申请的第二方面提供一种电子设备，包括处理器和存储器。存储器用于存储应用程序，处理器用于运行应用程序，以实现本申请的第一方面提供的去反射方法。
本申请的第三方面提供一种计算机可读存储介质，其上存储有程序，在计算机设备运行程序时，实现本申请的第一方面提供的去反射方法。
本申请的第四方面提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本申请的第一方面提供的去反射方法。
附图说明
图1为使用手机拍摄建筑物的示例图；
图2为本申请实施例公开的一种电子设备的结构示例图；
图3为电子设备中运行的操作系统的软件框架示例图；
图4为手机与用户进行交互实现去反射的流程示例图；
图5为本申请的实施例提供的一种去反射模型的示例图；
图6为本申请的实施例提供的光流网络的结构示例图；
图7为本申请实施例提供的合成网络的结构示例图；
图8为本申请实施例提供的合成网络中的残差单元、下采样单元以及上采样单元的结构示例图；
图9为本申请实施例公开的对去反射模型进行端到端训练的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B 的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
图1为使用手机拍摄建筑物的示例，假设建筑物的外表面为玻璃材质，则使用手机的相机的预览界面A采集的建筑物的预览图像中包括反射区域B1。反射区域可以理解为，包括透明介质的成像像素的区域。可以理解的是，如果用户在界面A中按下拍摄按键，则拍摄得到的图像如界面A中的预览图像所示。
图像中的反射区域不仅影响图像的质量、观感以及使用率，也会影响使用图像进行的任务的效果。
为了消除图像中的反射区域，本申请的实施例提供一种去反射方法，所述去反射方法由电子设备执行。在一些实现方式中，电子设备可以为手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴电子设备、智能手表等设备。
电子设备以手机为例，图2所示为与本申请实施例相关的手机的部分结构，包括：处理器110，天线1，天线2，移动通信模块120，无线通信模块130，音频模块140，摄像头150，显示屏160等。
可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit， GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S) 接口，脉冲编码调制(pulse code modulation，PCM)接口，通用输入输出(general-purpose input/output，GPIO)接口等。
在一些实施例中，GPIO接口可以用于连接处理器110与无线通信模块130，音频模块 140等。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块140耦合，实现处理器110与音频模块140之间的通信。在一些实施例中，音频模块140可以通过I2S接口向无线通信模块130传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块140与无线通信模块130可以通过PCM总线接口耦合。在一些实施例中，音频模块140也可以通过PCM接口向无线通信模块130传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在本申请另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。移动通信模块120可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块130可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。
音频模块140用于将模拟音频输入转换为数字音频信号。音频模块140还可以用于对音频信号编码和解码。在一些实施例中，音频模块140可以设置于处理器110中，或将音频模块140的部分功能模块设置于处理器110中。
扬声器140A也称为“喇叭”，用于输出音频信号。麦克风140B，也称“话筒”，“传声器”，用于将声音信号转换为电信号。
在电子设备通过以上方式获取声音信号后，通过处理器110的上述接口，将声音信号传输至处理器110，处理器110对声音信号进行以下实施例中所述的噪声消除处理。
摄像头150用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP 加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括N个摄像头150，N为大于1的正整数。在本申请的实施例中，电子设备至少包括两个摄像头，例如其中一个摄像头为主摄像头，另一个摄像头为广角摄像头。可以理解的是，主摄像头为拍摄向用户显示的图像的摄像头。而主摄像头之外的其它摄像头，虽然也拍摄图像但拍摄的图像不显示，用户也无法查看。
显示屏160用于显示图像，视频等。显示屏160包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed， Micro-oled，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏160，N为大于1的正整数。
处理器110通过运行程序代码，实现的操作系统可以为iOS操作系统、Android开源操作系统、Windows操作系统等。
图3所示为电子设备中运行的操作系统的软件框架示例，以Android开源操作系统为例，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航、以及编辑等应用程序。与本申请实施例中提供的去反射方法相关的，相机应用程序能够响应于对图像的编辑指令，调用编辑应用程序对图像进行编辑，以图3为例，编辑包括去反射以及裁剪等。可以理解的是，编辑应用程序可以单独设置，也可以集成在图库或相机应用程序中。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。以图3为例，应用程序框架层可以包括窗口管理器，内容提供器，视图系统。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，二维图形引擎(例如：SGL)等。
内核层是硬件和软件之间的层。在本申请的应用场景中，内核层至少包含显示驱动以及摄像头驱动。
需要说明的是，本申请实施例虽然以Android系统为例进行说明，但是其基本原理同样适用于基于iOS或Windows等操作系统的电子设备。
基于上述硬件结构以及软件框架，本申请实施例提供的去反射方法的应用场景包括但不限于摄像头采集到图像的场景。可以理解的是，在用户开启电子设备的相机(如预览)、使用电子设备的相机拍照、录制视频、以及实时视频通话等场景下，在用户对相机等应用程序进行操作后，应用程序通过应用程序框架层以及系统库的相应模块，向内核层的摄像头驱动传输指令，摄像头驱动控制摄像头开启且采集图像。这里不再赘述应用程序与应用程序框架层、系统库以及摄像头驱动之间的数据交互流程。
图4为手机与用户进行交互实现去反射的流程示例：
A1为相机的预览界面，在A1的预览视窗中采集到建筑物的图像，可以看出，建筑物的图像中包括反射区域B1。为了去除反射区域，保持A1中的“人工智能(ArtificialIntelligence，AI)”摄影控件1为开启状态。在某些实现方式中，“AI”摄影控件1默认为开启状态，用户可以通过点击开启状态的“AI”摄影控件1关闭“AI”摄影功能，也可以点击关闭状态的“AI”摄影控件1而开启“AI”摄影功能。
“AI”摄影功能可以理解为，使用电子设备的多个摄像头进行拍摄，例如使用主摄像头和广角摄像头拍摄建筑物。在某些实现方式中，电子设备的相机或图库中可供用户查看的图像为主摄像头拍摄的图像(包括静态图像和视频)，而其它摄像头如广角摄像头拍摄的图像(包括静态图像和视频)不显示以及供用户查看，而是用作实现一些图像处理功能，例如本申请实施例提供的去反射处理。
在界面A1中的拍摄控件2被按下后，相机的界面跳转为界面A2，即得到建筑物的图像，并且建筑物的图像的缩略图被显示在A2中的图库控件3处。可以理解的是，A2中的预览视窗中还以采集到建筑物的图像为例。
在用户点击图库控件3后，从相机的界面A2跳转至图库界面A3，在图库界面A3中，当前显示拍摄得到的建筑物的图像，在建筑物的图像中包括反射区域B1。用户点击A3中的编辑控件4后，电子设备显示的界面跳转为建筑物的图像的编辑界面A4。
在A4中，显示提供编辑功能的控件，图4中仅以“更多”控件5为例，但可以理解的是，还可以包括“裁剪”等控件，这里不再赘述。
用户点击“更多”控件5后，电子设备显示的界面跳转至界面A5，在界面A5中，显示去反射控件6，可以理解的是，还可以显示提供其它编辑功能的控件，这里不再赘述。用户点击去反射控件6后，手机的界面跳转为去反射界面A6。
在去反射界面A6中，在一些实现方式中，用户通过拖拽选择的方式(图4中未画出)，在建筑物的图像中选择出包括反射区域B1的掩膜区域M。可以理解的是，图4中以选择一个掩膜区域为例，还可以分别选择两个掩膜区域，每个掩膜区域包括一个反射区域，以减少掩膜区域中非反射区域的占比。在另一些实现方式中，电子设备可以自动选择出掩膜区域M。可以理解的是，掩膜区域的形状不限于矩形。
在某些实现方式中，如果手机的去反射功能首次被启用，为了给用户更好的引导，可以在跳转至界面A6后，显示选择掩膜区域的提示信息(图4中未画出)。
可以理解的是，在去反射界面A6中还可以显示重新选择掩膜区域以及确认掩膜区域的控件(图4中未画出)。在用户确认掩膜区域选择完成后，点击认掩膜区域的控件，手机显示的界面跳转至A7所示。
在A7中，显示去反射的触发控件7，在用户点击去反射的触发控件7后，手机开始执行去反射的流程。
在去反射的流程执行完毕后，手机显示界面A8，在A8中显示去反射的结果，从图4可以看出，经过去反射的流程后，建筑物的图像中的反射区域B1被去除。
在A8中还显示对比控件8以及保存控件9。用户按下对比控件8后，手机的显示界面跳转为A9，在A9中显示未进行去反射处理之前的建筑物的图像，因此，便于用户对比去反射处理前后的图像。在用户点击保存控件9后，手机显示的界面跳转为A10，即进行去反射处理后的图像被保存。用户可以从图库中查看去反射处理后的图像。
可以理解的是，图4以相机拍摄得到图像为例，除此之外，还可能，用户从图库中找到“AI”摄影功能获得的图像，对该图像进行去反射处理。在某些实现方式中，使用某种标识表示“AI”摄影功能获得的图像。或者，还可以，在“AI”摄影功能获得的图像的编辑功能下，显示去反射控件，而在非“AI”摄影功能获得的图像的编辑功能下不显示去反射控件，以提示用户能够进行去反射处理的图像。
可以理解的是，图4所示的界面以及控件仅为示例，而不作为限定。
下面将对图4涉及的去反射功能进行详细说明。
本申请的实施例使用深度学习模型进行去反射处理，图5为本申请的实施例提供的一种去反射模型的示例，包括：光流网络01、扭曲Wrap模块02、减法器03以及合成网络04。
光流网络01用于基于左视图I1以及右视图I2，得到背景层光流以及反射层光流。
本实施例中，左视图I1的一种示例为手机的主摄像头拍摄的图像，右视图I2的一种示例为手机的广角摄像头拍摄的图像。如前所述，虽然广角摄像头拍摄的图像不显示，但用于对主摄像头拍摄的图像的去反射处理。可以理解的是，左视图I1与右视图I2具有对应关系，“对应”可以理解为拍摄同样的对象得到的图像。
可以理解的是，因为主摄像头和广角摄像头在手机上的位置不同，所以视角不同，因为存在视角的差异，因此，同一个真实位置点成像的像素之间存在位移。例如，建筑物的左上顶角在主摄像头拍摄的图像中成像的像素点与在广角摄像头拍摄的图像中成像的像素点的坐标不同，即两组坐标之间存在位移量。
虽然这里将视角不同的图像称为“左视图”和“右视图”，但可以理解的是，“左”和“右”仅为示例，主摄像头和广角摄像头还可以是上下排列。也就是说，“左”和“右”的目的在于区分，而非对位置关系的限定，“左视图”和“右视图”还可以被表示为“第一视图”和“第二视图”，或者“第一图像”和“第二图像”。
因为当物体在运动时，它在图像上对应点的亮度模式也在运动，所以光流(optical flow) 可以理解为图像亮度模式的表观运动(apparent motion)，能够反映出不同视角图像之间的位移量。
光流网络得到的光流可以理解为表征左视图和右视图之间的对应像素的位移量的参数。对应像素可以理解为同一个真实位置点成像的像素。
光流网络的结构的示例如图6所示，包括：金字塔特征提取网络11、扭曲层12、Costvolume层13、光流估计层14以及上下文网络15。
图6所示的光流网络输出背景层光流和反射层光流的过程如下：
可以理解的是，在将左视图I1和右视图I2输入光流网络之前，可以先进行归一化等预处理。
金字塔特征提取网络11中包括多尺度的特征提取模块如卷积模块。每个尺度的特征提取模块提取一个尺度的特征。左视图I1输入金字塔特征提取网络11后，分别被提取多个尺度的特征，本实施例中，以三个尺度的特征为例，分别为尺度1特征1，尺度2特征 1，尺度3特征1。右视图I2输入金字塔特征提取网络11后，分别被提取多个尺度的特征，以尺度1特征2，尺度2特征2以及尺度3特征2为例。
在得到多尺度特征后，按照尺度从小到大的顺序，分别使用后续模块依次对多尺度的特征进行处理。本实施例中，以尺度1小于尺度2，尺度2小于尺度3为例。
先将尺度1特征2输入扭曲层12，扭曲层12基于预设(默认)的上采样光流，将尺度1特征2对齐至左视图I1，得到尺度1对齐特征2。
尺度1特征1与尺度1对齐特征2输入Cost volume层13，Cost volume层13基于特征之间的相似程度，计算尺度1对齐特征2中与尺度1特征1最相似的特征之间的距离，例如，计算与尺度1特征1中的第1列特征最相似的特征为尺度1对齐特征2中的第三列特征，则两者之间的距离为2“列”。需要说明的是，距离“列”仅为便于说明的距离，而并不作为限定。可以理解的是，尺度1特征1中的每一列特征，均计算上述距离。
光流估计层14基于尺度1对齐特征2中与尺度1特征1最相似的特征之间的距离，计算得到尺度1对齐特征2中与尺度1特征1最相似的特征之间的位移量，即尺度1的特征光流。光流估计层14将尺度1的特征光流进行上采样后得到上采样光流。可以理解的是，上采样光流的尺度为尺度2，以便于参与尺度2特征2的扭曲。
扭曲层12基于上采样光流以及尺度2特征2，将尺度2特征2对齐至左视图I1，得到尺度2对齐特征2。Cost volume层13计算得到尺度2对齐特征2中与尺度2特征1最相似的特征之间的距离，计算方式同上所述，这里不再赘述。光流估计层14基于尺度2对齐特征2中与尺度2特征1最相似的特征之间的距离，计算得到尺度2对齐特征2中与尺度2特征1最相似的特征之间的位移量，即尺度2的特征光流。光流估计层14将尺度2 的特征光流进行上采样后得到上采样光流。可以理解的是，上采样光流的尺度为尺度3，以便于参与尺度3特征2的扭曲。
扭曲层12基于上采样光流以及尺度3特征2，将尺度3特征2对齐至左视图I1，得到尺度3对齐特征2。Cost volume层13计算得到尺度3对齐特征2中与尺度3特征1最相似的特征之间的距离，计算方式同上所述，这里不再赘述。光流估计层14基于尺度3对齐特征2中与尺度3特征1最相似的特征之间的距离，计算得到尺度3对齐特征2中与尺度3特征1最相似的特征之间的位移量，即尺度3的特征光流。光流估计层14将尺度3 的特征光流输出至上下文网络15。
可以理解的是，虽然光流估计层14输出的是尺度3的特征光流，但因为尺度2的特征光流基于尺度1的特征光流生成，因为尺度3的特征光流基于尺度3的特征光流生成，因此，尺度3的特征光流可以理解为结合了尺度2和尺度1的特征。
在本实施例中，将具有反射区域的图像看作背景层与反射层的叠加，反射层可以理解为包括反射区域的图层，背景层可以理解为包括除反射区域之外的其它区域的图层。基于此原理，上下文网络15预先基于光流特征样本、背景层光流样本以及反射层光流样本进行了监督训练，因此，上下文网络15基于输入的尺度3的特征光流，输出背景层光流和反射层光流。
可以理解的是，背景层光流表征作为背景的像素的位移量，反射层光流表征反射区域的像素的位移量。
Wrap模块02用于基于背景层光流，将右视图I2进行扭曲，即基于背景层光流表征的位移量对右视图I2进行位移，得到与背景层对齐的扭曲背景层，并基于反射层光流，对右视图I2进行扭曲，即基于反射层光流表征的位移量的位移，得到与反射层对齐的扭曲反射层。可以理解的是，扭曲背景层可以看作将右视图I2对齐至背景层光流的结果，扭曲反射层可以看作将左视图I2对齐至反射层光流的结果。
减法器03分别用于获得扭曲背景层与左视图I1的差值的绝对值，得到背景差值图，以及，获得扭曲反射层与左视图I1的差值的绝对值，得到反射差值图。可以理解的是，背景差值图突出的是反射层，反射差值图突出的是背景层。
合成网络04用于基于扭曲背景层、扭曲反射层、背景差值图、以及反射差值图，得到左视图I1的背景层和反射层。
合成网络04的结构示例如图7所示，包括：残差单元、下采样单元以及上采样单元。其中，由残差单元构成的每一行称为残差网络，任意一个残差网络的作用为多次提取输入数据的特征，以第一行残差网络为例，背景差值图、扭曲背景层、扭曲反射层以及反射差值图输入第一行残差网络的第一个残差单元后，第一个残差单元提取输入的数据的特征，输出提取的特征，第二个残差单元对第一个残差单元提取的特征再进行特征提取，依次类推，后一个残差单元对前一个残差单元输出的特征进行特征提取。
下采样单元用于对输入的数据进行下采样(即降维)后输出下采样结果。上采样单元用于对输入数据进行上采样(即提高维度)后输出上采样结果。
可以理解的是，图7所示的合成网络在不同维度上对背景差值图、扭曲背景层、扭曲反射层以及反射差值图提取特征，并将不同维度提取的特征进行融合，以加强背景层和反射层的信息表达，并基于多维度的融合特征(第一行的最后一个残差单元的输入数据)，分离得到背景层和反射层。
残差单元的结构示例、下采样单元的结构示例以及上采样单元的结构示例如图8所示，图8中，ReLu表示ReLu函数，作用为增加神经网络各层之间的非线性关系。步长(Stride) ＝2表示卷积神经网络(Convolutional Neural Networks，CNN)中卷积核的步长。
在一些实现方式中，图5所示的模型还可以包括后处理模块，用于基于背景层以及掩膜区域，确认背景层中掩膜区域覆盖的区域，再将掩膜区域覆盖的区域拼接至左视图I1中的相应区域。可以理解的是，因为掩膜区域M从左视图I1中选取，所以坐标系与左视图 I1的坐标系相同，因此，左视图I1中的相应区域为与掩膜区域M的坐标相同的区域。
在另一些实现方式中，掩膜区域M可以作为特征输入合成网络04，使得合成网络04输出更为准确的背景层和反射层。
图5所示的去反射模型的训练过程分为四个阶段：
第一阶段，单独训练光流网络01，用于训练的样本数据通过渲染合成和/或公式合成获得。
渲染合成的流程包括：根据RGB图像的深度图，通过Blender开源渲染器将深度图导出为RGB图像场景所对应的网格数据(Mesh，三维场景的一种表示方法)，通过Mitsuba 开源渲染器，将网格数据作为反射场景和背景场景导入，在整体场景(即模拟真实采集图像的场景)中添加玻璃物体，通过渲染得到包括反射区域的图像。
公式合成的方式为，使用高斯核将两张图像进行融合，合成公式如(1)：
I＝α*B+β*F*G*K (1)
其中，I为合成的图像，K为卷积核的尺寸，G为卷积核的系数，α以及β均为预先设置的系数，在一种示例中α为0.8，β为0.2。B表示背景层，F表示反射层。
合成数据包括左视图样本、左视图样本的背景层和反射层、右视图样本、右视图样本的背景层和反射层、左视图样本以及右视图样本之间的背景层光流样本以及反射层光流样本。将左视图样本和右视图样本输入待训练的光流网络，得到待训练的光流网络输出的背景层光流以及反射层光流，再使用式(2)所示的损失函数，计算背景层光流与背景层光流样本之间的误差，以及反射层光流与反射层光流样本之间的误差：
其中，为背景层光流样本，PWC(B1,B2)为背景层光流，/>为反射层光流样本，PWC(F1,F2)为反射层光流。
通过调整待训练的光流网络的参数，使得式(2)的Loss最小，得到训练后的光流网络。
可以理解的是，还可以基于上述合成数据，对上下文网络15进行训练。
第二阶段，单独训练合成网络04。用于训练的数据包括左视图背景层样本、左视图反射层样本、左视图样本以及右视图样本。第二阶段的样本数据的获取方式与第一阶段相同，这里不再赘述。
将左视图样本以及右视图样本输入第一阶段训练后的光流网络，得到背景层光流和反射层光流，再经过Warp模块输出扭曲背景层和扭曲反射层，进一步基于减法器得到背景差值图和反射差值图后，将扭曲背景层、扭曲反射层、背景差值图以及反射差值图输入待训练的合成网络，得到待训练的合成网络输出的左视图样本的背景层和反射层。使用式(3)所示的损失函数，计算左视图样本的背景层与左视图背景层样本之间的误差，以及左视图样本的反射层与左视图反射层样本之间的误差：
其中，为合成网络输出的背景层，B1为左视图背景层样本，/>为合成网络输出的反射层，F1为左视图反射层样本，/>为对合成网络输出的背景层求取的梯度，▽B1为对左视图背景层样本求取的梯度，/>为对合成网络输出的反射层求取的梯度，▽F为对左视图反射层样本求取的梯度。
第三阶段，端到端训练光流网络和合成网络。第三阶段的样本数据的获取方式与第一阶段相同，这里不再赘述。
如图9所示，将左视图样本以及右视图样本输入第一阶段训练后的光流网络，得到背景层光流和反射层光流，再经过Warp模块02输出扭曲背景层和扭曲反射层，进一步基于减法器得到背景差值图和反射差值图后，将扭曲背景层、扭曲反射层、背景差值图以及反射差值图输入第二阶段训练得到的合成网络，得到合成网络输出的左视图样本的背景层和反射层。将合成网络输出的左视图样本的背景层和反射层输入U网络(U-net)，得到U-net 合成的左视图(图9中记为I1’)，并基于式(4)所示的损失函数，计算合成的左视图与左视图样本之间的误差：
其中，为合成网络输出的背景层与反射层经U-net合成的左视图，I1为左视图样本，▽I1为对经U-net合成的左视图求取的梯度，▽I1为对左视图样本求取的梯度。
第四阶段，使用真实数据端到端训练光流网络和合成网络。
真实数据可以理解为真实拍摄得到的带有反射区域的图像。真实数据的拍摄方式的示例为：在被拍摄对象前放置包括玻璃，使用相机拍摄被拍摄对象，得到带有反射区域的样本图像，即左视图样本(主摄像头拍摄)和右视图样本(广角摄像头拍摄)。使用黑布遮挡被拍摄对象再使用主摄像头拍摄，得到左视图样本的反射层样本。移走玻璃后再使用主摄像头拍摄，得到右视图样本的背景层样本。
将左视图样本以及右视图样本输入第三阶段训练后的光流网络，得到背景层光流和反射层光流，再经过Warp模块输出扭曲背景层和扭曲反射层，进一步基于减法器得到背景差值图和反射差值图后，将扭曲背景层、扭曲反射层、背景差值图以及反射差值图输入第三阶段训练后的合成网络，得到合成网络输出的左视图样本的背景层和反射层。
再基于式(3)计算损失，并基于损失调整光流网络和合成网络的参数。
可以理解的是，第四阶段不再使用U-net。
以上训练的各个阶段，先使用合成数据进行训练，再使用真实数据进行训练，有利于克服真实样本数据不足的缺点，即在真实样本数据有限的情况下，训练得到较为准确的深度学习模型。先独立训练再端到端训练，能够提高训练后模型的准确性。
可以理解的是，基于去反射模型，图4中，在用户点击去反射控件7之后，图5所示的去反射模型基于左视图I1、右视图I2以及掩膜区域M，得到左视图I1的背景层和反射层，可以理解的是，去反射应用程序将左视图I1的背景层作为去反射处理的结果，显示在图4所示的A8界面中。
综上所述，本申请实施例公开的一种去反射方法，应用在电子设备，电子设备具有第一摄像头(主摄像头)和第二摄像头(广角摄像头)。
所述去反射方法包括以下步骤：
S1、响应于对第一图像进行去反射的操作，显示第一界面。
所述第一界面包括第一摄像头拍摄第一对象获得的第一图像。结合图4所示，去反射的操作的示例为点击去反射控件6，第一界面的示例如图4中的界面A6。
第一图像具有对应的第二图像，第二图像为所述第二摄像头拍摄第一对象获得的图像。结合图4所示，第一图像和第二图像的示例为用户在AI摄像模式下，点击拍摄控件2获得的图像。
S2、响应于从第一图像中选定掩膜区域，显示第一图像去除反射区域的结果。
掩膜区域包括所述反射区域。结合图4所示，掩膜区域的示例为用户在界面A6中选择的掩膜区域M。
并且，可以理解的是，显示第一图像去除反射区域的结果的具体实现方式为：调用图 5所示的模型，对第一图像(即左视图)进行去除反射区域的处理，并显示去除反射区域的结果。
本实施例所述的去反射方法，针对用户感兴趣区域进行反射去除，只保留感兴趣区域的处理结果，具有更高灵活性，即用户可以仅去除部分反射区域，也可以去除全部反射区域。并且，根据左右视图，求解出两图间背景层和反射层光流的变化，根据光流可以更好的还原出背景层的运动，从而凸显出反射层，能够提高去反射结果的准确性(精准程度)。
本申请实施例还公开一种计算机可读存储介质，其上存储有程序，在计算机设备运行程序时，实现上述实施例提供的去反射方法。
本申请实施例还公开一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述实施例提供的去反射方法。
Claims (12)
1.一种去反射方法，其特征在于，应用于电子设备，所述电子设备具有第一摄像头和第二摄像头，所述方法包括：
响应于对第一图像进行去反射的操作，显示第一界面，所述第一界面包括所述第一图像，所述第一图像为所述第一摄像头拍摄第一对象获得的图像，所述第一图像具有对应的第二图像，所述第二图像为所述第二摄像头拍摄所述第一对象获得的图像，所述第二图像用于对所述第一图像进行去反射处理；
响应于从所述第一图像中选定掩膜区域，获得所述第一图像相对于所述第二图像的背景层光流和反射层光流；
基于所述背景层光流，通过将所述第二图像与所述第一图像对齐，获得扭曲背景层；
基于所述反射层光流，通过将所述第二图像与所述第一图像对齐，获得扭曲反射层；基于所述第一图像与所述扭曲背景层的差值，获得背景差值层；
基于所述第一图像与所述扭曲反射层的差值，获得反射差值层；
基于所述扭曲背景层、所述扭曲反射层、所述背景差值层、所述反射差值层、以及所述掩膜区域，显示所述第一图像去除反射区域的结果。
2.根据权利要求1所述的方法，其特征在于，在所述响应于对第一图像进行去反射的操作，显示第一界面之前，还包括：
响应于一次拍摄操作，调用所述第一摄像头以及所述第二摄像头对所述第一对象进行拍摄，得到所述第一图像和所述第二图像。
3.根据权利要求2所述的方法，其特征在于，所述电子设备具有智能AI摄影功能；
在所述拍摄操作之前，所述AI摄影功能为开启状态。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一界面还包括：
操作区域，所述操作区域用于在所述第一图像中进行区域选择操作。
5.根据权利要求4所述的方法，其特征在于，所述从所述第一图像中选定掩膜区域，包括：
基于在所述操作区域中的操作，从所述第一图像中选定掩膜区域。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述显示所述第一图像去除反射区域的结果，包括：
基于所述第一图像、所述第二图像以及所述掩膜区域，显示所述第一图像去除反射区域的结果。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述显示所述第一图像去除反射区域的结果，包括：
使用预先训练的去反射模型，基于所述第一图像、所述第二图像以及所述掩膜区域，显示所述第一图像去除反射区域的结果，所述去反射模型包括光流网络以及合成网络。
8.根据权利要求7所述的方法，其特征在于，所述去反射模型的训练过程包括：
分别单独训练所述光流网络和所述合成网络，得到第一阶段训练后光流网络和第一阶段训练后合成网络；
端到端训练所述第一阶段训练后光流网络和第一阶段训练后合成网络。
9.根据权利要求8所述的方法，其特征在于，所述分别单独训练所述光流网络和所述合成网络包括：
使用合成的第一样本数据，分别单独训练所述光流网络和所述合成网络；
所述端到端训练所述第一阶段训练后光流网络和第一阶段训练后合成网络，包括：
使用合成的第二样本数据，端到端训练所述第一阶段训练后光流网络和第一阶段训练后合成网络，得到端到端训练后光流网络和端到端训练后合成网络；
使用真实样本数据，端到端训练所述训练后光流网络和端到端训练后合成网络。
10.根据权利要求1-3任一项所述的方法，其特征在于，所述第一摄像头为所述电子设备的主摄像头，所述第二摄像头为广角摄像头。
11.一种电子设备，其特征在于，处理器和存储器；
所述存储器用于存储应用程序，所述处理器用于运行所述应用程序，以实现权利要求1-10任一项所述的去反射方法。
12.一种计算机可读存储介质，其上存储有程序，其特征在于，在计算机设备运行所述程序时，实现权利要求1-10任一项所述的去反射方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210685117.2A CN115631098B (zh) | 2022-06-16 | 2022-06-16 | 去反射方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210685117.2A CN115631098B (zh) | 2022-06-16 | 2022-06-16 | 去反射方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115631098A CN115631098A (zh) | 2023-01-20 |
| CN115631098B true CN115631098B (zh) | 2023-10-03 |
Family
ID=84903668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210685117.2A Active CN115631098B (zh) | 2022-06-16 | 2022-06-16 | 去反射方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115631098B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651790A (zh) * | 2016-11-22 | 2017-05-10 | 杭州华为数字技术有限公司 | 图像去模糊的方法、装置和设备 |
| CN111932584A (zh) * | 2020-07-13 | 2020-11-13 | 浙江大华技术股份有限公司 | 图像中运动对象的确定方法及装置 |
| CN113194253A (zh) * | 2021-04-28 | 2021-07-30 | 维沃移动通信有限公司 | 去除图像反光的拍摄方法、装置和电子设备 |
| CN114092364A (zh) * | 2021-08-12 | 2022-02-25 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4032062A4 (en) * | 2019-10-25 | 2022-12-14 | Samsung Electronics Co., Ltd. | IMAGE PROCESSING METHOD, APPARATUS, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIA |
-
2022
- 2022-06-16 CN CN202210685117.2A patent/CN115631098B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651790A (zh) * | 2016-11-22 | 2017-05-10 | 杭州华为数字技术有限公司 | 图像去模糊的方法、装置和设备 |
| CN111932584A (zh) * | 2020-07-13 | 2020-11-13 | 浙江大华技术股份有限公司 | 图像中运动对象的确定方法及装置 |
| CN113194253A (zh) * | 2021-04-28 | 2021-07-30 | 维沃移动通信有限公司 | 去除图像反光的拍摄方法、装置和电子设备 |
| CN114092364A (zh) * | 2021-08-12 | 2022-02-25 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Non-Patent Citations (2)
| Title |
|---|
| Detailed Surface Geometry and Albedo Recovery from RGB-D Video under Natural Illumination;Xinxin Zuo 等;IEEE Transactions on Pattern Analysis and Machine Intelligence;第42卷(第10期);第2720 - 2734页 * |
| 基于深度学习的单图像反射消除算法研究;徐之欣;《中国优秀硕士论文电子期刊网》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115631098A (zh) | 2023-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114205522B (zh) | 一种长焦拍摄的方法及电子设备 | |
| CN113592887B (zh) | 视频拍摄方法、电子设备及计算机可读存储介质 | |
| US20230217097A1 (en) | Image Content Removal Method and Related Apparatus | |
| US20230043815A1 (en) | Image Processing Method and Electronic Device | |
| CN113709355B (zh) | 滑动变焦的拍摄方法及电子设备 | |
| CN115689963B (zh) | 一种图像处理方法及电子设备 | |
| US8947558B2 (en) | Digital photographing apparatus for multi-photography data and control method thereof | |
| CN114926351A (zh) | 图像处理方法、电子设备以及计算机存储介质 | |
| CN115359105B (zh) | 景深扩展图像生成方法、设备及存储介质 | |
| CN115633262B (zh) | 图像处理方法和电子设备 | |
| CN115631098B (zh) | 去反射方法及装置 | |
| CN114071009B (zh) | 一种拍摄方法及设备 | |
| CN114697530B (zh) | 一种智能取景推荐的拍照方法及装置 | |
| US20180041711A1 (en) | Selective Partial View Enlargement for Image and Preview | |
| CN115587938A (zh) | 视频畸变校正方法及相关设备 | |
| CN115914860A (zh) | 一种拍摄方法及电子设备 | |
| CN116363017B (zh) | 图像处理方法及装置 | |
| CN114531539B (zh) | 拍摄方法及电子设备 | |
| CN117082295B (zh) | 图像流处理方法、设备及存储介质 | |
| US12010433B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN113923367B (zh) | 拍摄方法、拍摄装置 | |
| CN115484390B (zh) | 一种拍摄视频的方法及电子设备 | |
| US20210400192A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN117714899A (zh) | 延时摄影的拍摄方法和电子设备 | |
| CN117689545A (zh) | 图像处理方法、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |