CN116723416A - 图像处理方法及电子设备 - Google Patents
图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN116723416A CN116723416A CN202211297222.5A CN202211297222A CN116723416A CN 116723416 A CN116723416 A CN 116723416A CN 202211297222 A CN202211297222 A CN 202211297222A CN 116723416 A CN116723416 A CN 116723416A
- Authority
- CN
- China
- Prior art keywords
- film material
- electronic device
- image
- film
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 239000000463 material Substances 0.000 claims abstract description 264
- 238000000034 method Methods 0.000 claims abstract description 115
- 230000008569 process Effects 0.000 claims abstract description 80
- 230000000694 effects Effects 0.000 claims abstract description 59
- 239000002245 particle Substances 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 51
- 230000004044 response Effects 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 description 19
- 230000035945 sensitivity Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- JKFYKCYQEWQPTM-UHFFFAOYSA-N 2-azaniumyl-2-(4-fluorophenyl)acetate Chemical compound OC(=O)C(N)C1=CC=C(F)C=C1 JKFYKCYQEWQPTM-UHFFFAOYSA-N 0.000 description 1
- 101100021996 Arabidopsis thaliana CYP97C1 gene Proteins 0.000 description 1
- 101100510695 Arabidopsis thaliana LUT2 gene Proteins 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 229910021612 Silver iodide Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- ADZWSOLPGZMUMY-UHFFFAOYSA-M silver bromide Chemical compound [Ag]Br ADZWSOLPGZMUMY-UHFFFAOYSA-M 0.000 description 1
- 229940045105 silver iodide Drugs 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法及电子设备,涉及终端领域,该方法包括:电子设备可以获取到一个或多个胶片素材,该一个或多个胶片素材中可以包括第一胶片素材。当电子设备接收并响应于摄像头启动操作时,电子设备100可以通过摄像头实时采集图像。当电子设备100接收并响应于针对第一胶片素材的选择操作时,电子设备100可以根据第一胶片素材对实时采集到的图像进行处理,使得经过第一胶片素材处理后的图像呈现出第一胶片显示效果。其中,第一胶片显示效果可以包括:颗粒效果,和/或划痕效果,和/或漏光效果。
Description
技术领域
本申请涉及终端领域,尤其涉及一种图像处理方法及电子设备。
背景技术
随着终端技术的发展,用户日常使用电子设备进行拍摄、制作以及分享视频已经成为一种趋势。用户会使用电子设备拍摄视频,也可能从网络下载视频到电子设备。在日常生活中,出于娱乐的考量,在电子设备录制视频的过程中,电子设备通过摄像头拍摄到图像后,还可能会需要对图像进行处理,使得处理后的图像呈现出更有趣丰富的视觉效果。然而,目前电子设备在对录制视频过程中所拍摄的图像进行处理后,无法使得上述图像呈现出视觉上的颗粒效果。
发明内容
本申请提供了一种图像处理方法及电子设备,实现了当电子设备基于所选择的胶片素材对实时采集到的图像进行处理后,该图像可以呈现出对应的胶片显示效果,使得图像可以在视觉效果的显示上更为丰富有趣。
第一方面,本申请提供了一种图像处理方法,应用于电子设备,包括:该电子设备获取到一个或多个胶片素材,该一个或多个胶片素材包括第一胶片素材,该一个或多个胶片素材用于对该电子设备上的摄像头实时采集到的图像进行处理,使得处理后的图像呈现出对应的胶片显示效果。响应于摄像头启动操作,该电子设备通过该摄像头实时采集图像,显示出拍摄界面,该拍摄界面包括预览窗口。响应于针对该第一胶片素材的选择操作,该电子设备基于该第一胶片素材,对实时采集到的图像进行处理,生成预览流。该电子设备在该预览窗口中,显示出该预览流的画面内容,该预览流的画面内容呈现出第一胶片显示效果。这样,当电子设备基于第一胶片素材对实时采集到的图像进行处理后,可以使得预览流的画面内容呈现出更加丰富有趣的视觉效果。
在一种可能的实现方式中,响应于针对该第一胶片素材的选择操作,该电子设备基于该第一胶片素材,对实时采集到的图像进行处理,生成预览流,具体包括:响应于针对该第一胶片素材的选择操作,该电子设备确定该实时采集到的图像是否包括人像。当该电子设备确定该实时采集到的图像包括人像时,该电子设备划分出该实时采集到的图像中的皮肤区域和非皮肤区域。该电子设备基于该第一胶片素材对该非皮肤区域进行处理,基于该第一胶片素材生成的第二胶片素材对该皮肤区域进行处理。该电子设备基于经过该第一胶片素材和该第二胶片素材处理后的该实时采集到的图像,生成预览流。这样,电子设备可以根据图像的皮肤区域和非皮肤区域分别基于不同的胶片素材进行处理,可以使得图像的处理效果更为精细。
在一种可能的实现方式中,该电子设备基于该第一胶片素材对该非皮肤区域进行处理,基于该第一胶片素材生成的第二胶片素材对该皮肤区域进行处理,具体包括:该电子设备对该第一胶片素材进行去噪处理和柔化处理,生成该第二胶片素材。该电子设备基于该第一胶片素材对该非皮肤区域进行处理,基于该第二胶片素材对该皮肤区域进行处理。这样,可以使得基于第二胶片素材处理后的皮肤区域比基于第一胶片素材处理后的非皮肤区域更加细腻。
在一种可能的实现方式中,当该电子设备确定该实时采集到的图像不包括人像时,该电子设备基于该第一胶片素材处理该实时采集到的图像。这样,可以提高图像处理的效率。
在一种可能的实现方式中,该预览流的画面内容还呈现出第二胶片显示效果。
在一种可能的实现方式中,该一个或多个胶片素材为基于一种或多种不同感光度的胶卷拍摄18%灰卡,并进行冲洗、扫描后所获得的胶片素材,该一个或多个胶片素材中各胶片素材的亮度平均值为第一平均值,该各胶片素材的时长为15秒,每秒包括30帧胶片图像。这样,获取到的胶片素材可以提高图像处理的效率,且节省电子设备的存储空间。
在一种可能的实现方式中,该第一胶片素材包括第一像素点,该实时采集到的图像包括第二像素点,该第一像素点对应该第二像素点。响应于针对该第一胶片素材的选择操作,该电子设备基于该第一胶片素材,对实时采集到的图像进行处理,生成预览流,具体包括:响应于针对该第一胶片素材的选择操作,该电子设备基于叠加公式和该第一胶片素材,对该实时采集到的图像进行处理。其中,当该第一像素点的亮度值小于或等于第一平均值时,该叠加公式为该第二像素点的新RGB值=该第一像素点的亮度值×该第二像素点的原RGB值÷第一平均值。当该第一胶片素材中第一像素点的亮度值大于第一平均值时,该叠加公式为该第二像素点的新RGB值=1-(1-该第二像素点的原RGB值)×(1-该第一像素点的亮度值)÷第一平均值。该电子设备基于经过该第一胶片素材处理后的该实时采集到的图像,生成预览流。这样,当胶片素材上的像素点亮度值比较亮时,可以使得图像中基于该像素点进行处理的亮部区域受影响较小,使得基于图像中基于该像素点进行处理的暗部区域受影响较大。当胶片素材上的像素点亮度值比较暗时,可以使得图像中基于该像素点进行处理的亮部区域受影响较大,使得基于图像中基于该像素点进行处理的暗部区域受影响较小。
在一种可能的实现方式中,该第一平均值为0.5。
在一种可能的实现方式中,在响应于针对该第一胶片素材的选择操作,该电子设备基于该第一胶片素材,对实时采集到的图像进行处理,生成预览流之前,该方法还包括:该电子设备接收到针对于第一滤镜素材的选择操作,该第一滤镜素材对应第一LUT。响应于针对该第一胶片素材的选择操作,该电子设备基于该第一胶片素材,对实时采集到的图像进行处理,生成预览流,具体包括:响应于针对该第一胶片素材的选择操作,该电子设备基于该第一LUT,将该实时采集到的图像中像素点的RGB值,映射为新RGB值。该电子设备基于该第一胶片素材,对经过该第一LUT处理后的该实时采集到的图像进行处理,生成预览流。这样,可以使得图像处理后呈现出的视觉效果更为丰富。
在一种可能的实现方式中,该第一LUT为2D LUT,或者,3D LUT。
在一种可能的实现方式中,该第一胶片显示效果包括以下的一种或多种:颗粒效果、划痕效果和漏光效果。
在一种可能的实现方式中,该拍摄界面还包括该第一胶片素材的第一选项。响应于针对该第一胶片素材的选择操作,该电子设备基于该第一胶片素材,对实时采集到的图像进行处理,生成预览流,具体包括:该电子设备接收到作用于该第一选项上的触摸操作。响应于该触摸操作,该电子设备基于该第一胶片素材,对该实时采集到的图像进行处理,生成预览流。
第二方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、一个或多个摄像头和显示屏。该一个或多个存储器与一个或多个处理器耦合,该一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当该一个或多个处理器执行该计算机指令时,使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。这样,实现了当电子设备基于所选择的胶片素材对实时采集到的图像进行处理后,该图像可以呈现出对应的胶片显示效果,使得图像可以在视觉效果的显示上更为丰富有趣。
第三方面,本申请实施例提供了一种计算机可读存储介质,包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。这样,实现了当电子设备基于所选择的胶片素材对实时采集到的图像进行处理后,该图像可以呈现出对应的胶片显示效果,使得图像可以在视觉效果的显示上更为丰富有趣。
第四方面,本申请实施例提供了一种芯片或芯片系统,包括处理电路和接口电路,该接口电路用于接收代码指令并传输至该处理电路,该处理电路用于运行该代码指令以执行上述第一方面任一项可能的实现方式中的方法。这样,实现了当处理电路基于所选择的胶片素材对实时采集到的图像进行处理后,该图像可以呈现出对应的胶片显示效果,使得图像可以在视觉效果的显示上更为丰富有趣。
第五方面,本申请实施例提供了一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行第一方面任一项可能的实现方式中的方法。这样,实现了当电子设备基于所选择的胶片素材对实时采集到的图像进行处理后,该图像可以呈现出对应的胶片显示效果,使得图像可以在视觉效果的显示上更为丰富有趣。
附图说明
图1A为本申请实施例提供的一种电子设备100的硬件结构示意图;
图1B为本申请实施例提供的一种ISP中多种针对图像的处理算法示意图;
图2A-图2G为本申请实施例提供的一组用户界面示意图;
图3A为本申请实施例提供的一种图像处理方法的具体流程示意图;
图3B为本申请实施例提供的一种用于获取胶片素材的流程示意图;
图3C为本申请实施例提供的一种图像处理流程示意图;
图3D为本申请实施例提供的另一种图像处理流程示意图;
图4为本申请实施例提供的一种应用于电子设备100的软件模块示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请得到说明书和所附权利要书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指包含一个或多个所列出醒目的任何或所有可能组合。在本申请实施例中,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
首先,介绍本申请实施例提供的一种电子设备100。
请参考图1A,图1A示例性示出了本申请实施例提供的一种电子设备100的硬件结构示意图。
电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmentedreality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对该电子设备100的具体类型不作特殊限制。
如图1A所示,电子设备100可以包括处理器101、存储器102、无线通信模块103、显示屏104、麦克风105、音频模块106、扬声器107和摄像头108,其中:
处理器101可以包括一个或多个处理器单元,例如处理器101可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器101中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器101中的存储器为高速缓冲存储器。该存储器可以保存处理器101刚用过或循环使用的指令或数据。如果处理器101需要再次使用该指令或数据,可以从所述存储器中直接调用。避免了重复存取,减少了处理器101的等待时间,因而提高了系统的效率。
在一些实施例中,处理器101可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或USB接口等。
在本申请实施例中,如图1B所示,ISP可以包括多种针对图像的处理算法法,例如解拜耳(DeBayer)算法、电子图像稳定(electronic image stabilization,EIS)算法、色彩校正矩阵(color correction matrix,CCM)算法和伽马(Gamma)校正算法。其中,DeBayer算法可以用于从覆盖有颜色滤波器阵列的图像传感器输出的不完整颜色样本重建为全色图像;EIS算法可以用于减少电子设备100的振动从而提高图像的清晰度;CCM算法可以用于校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差;Gamma校正算法可以用于对图像的伽玛曲线进行编辑,检出图像信号中的深色部分和浅色部分,并使两者比例增大,从而提高图像对比度效果,增加更多的暗部色阶,以对图像进行非线性色调编辑。
存储器102与处理器101耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器102可以包括易失性存储器(volatile memory),例如随机存取存储器(randomaccessmemory,RAM);也可以包括非易失性存储器(non-vlatile memory),例如ROM、快闪存储器(flash memory)、硬盘驱动器(Hard Disk Drive,HDD)或固态硬盘(SolidState Drives,SSD);存储器102还可以包括上述种类的存储器的组合。存储器102还可以存储一些程序代码,以便于处理器101调用存储器102中存储的程序代码,以实现本申请实施例在电子设备100中的实现方法。存储器102可以存储操作系统,例如uCOS、VxWorks、RTLinux等嵌入式操作系统。
无线通信模块103可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块103可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块103经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器101。无线通信模块103还可以从处理器101中接收待发送的信号,对其进行调频、放大,经天线转为电磁波辐射出去。在一些实施例中,电子设备100还可以通过无线通信模块103中的蓝牙模块(图1A未示出)、WLAN模块(图1A未示出)发射信号探测或扫描在电子设备100附近的设备,并与该附近的设备建立无线通信连接以传输数据。其中,蓝牙模块可以提供包括经典蓝牙(basic rate/enhanceddatarate,BR/EDR)或蓝牙低功耗(bluetooth low energy,BLE)中一项或多项蓝牙通信的解决方案,WLAN模块可以提供包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。
显示屏104可以用于显示图像、视频等。显示屏104可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlight emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏104,N为大于1的正整数。
麦克风105,也可以称“话筒”,“传声器”,可以用于采集电子设备周围环境中的声音信号,再将该声音信号转换为电信号,再将该电信号经过一系列处理,例如模数转换等,得到电子设备的处理器101可以处理的数字形式的音频信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风105发声,将声音信号输入到麦克风105。电子设备100可以设置至少一个麦克风105。在另一些实施例中,电子设备100可以设置两个麦克风105,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风105,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
音频模块106可以用于将数字音频信息转换成模拟音频信号输出,也可以用于将模拟音频输入转换成数字音频信号。音频模块106还可以用于对音频信号编码和解码。在一些实施例中,音频模块106还可以设置于处理器101中,或将音频模块106的部分功能模块设置于处理器101中。
扬声器107,也可以称为“喇叭”,用于将音频电信号转换成为声音信号。电子设备100可以通过扬声器107收听音乐,或收听免提电话。
摄像头108用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给图像信号处理器(image signal processor,ISP)转换成数字图像信号。ISP将数字图像信号输出到数字信号处理器(digital signal processor,DSP)加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头108,N为大于1的正整数。
电子设备100还可以包括传感器模块(图1A未示出)和/或触摸传感器(图1A未示出)。触摸传感器也可以称为“触控器件”。触摸传感器可以设置于显示屏104,由触摸传感器与显示屏104组成触摸屏,也称“触控屏”。触摸传感器可以用于检测作用于其上或附近的触摸操作。可选的,传感器模块还可以包括有陀螺仪传感器(图1A未示出)、加速度传感器(图1A未示出)等等。其中,陀螺仪传感器可以用于确定电子设备100的运动姿态,在一些实施例中,电子设备100可以通过陀螺仪传感器确定出电子设备100围绕三个轴(即,x,y和z轴)的角速度。加速度传感器可以用于检测电子设备100在各个方向上(一般为x,y和z轴)的加速度大小,当电子设备100静止时也可以检测出重力的大小及方向。
电子设备100还可以包括移动通信模块(图1A未示出)。该移动通信模块可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100还可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合来实现。
本申请实施例提供了一种应用于上述电子设备100的图像处理方法。
具体的,在该图像处理方法中,电子设备100可以获取到一个或多个胶片素材,该一个或多个胶片素材中可以包括第一胶片素材。其中,该一个或多个胶片素材可以用于,对电子设备100实时采集到的图像进行处理,使得处理后的图像可以显示出对应的胶片显示效果,例如,经过第一胶片素材处理后的图像可以显示出第一胶片显示效果,经过第二胶片素材处理后的图像可以显示出第二胶片显示效果。其中,胶片显示效果可以包括有颗粒效果,和/或划痕效果,和/或漏光效果。
当电子设备100接收并响应于针对第一胶片素材的选择操作时,电子设备100可以根据第一胶片素材对实时采集到的图像进行处理。具体的,电子设备100可以获取到一个或多个胶片素材,该一个或多个胶片素材包括第一胶片素材,该一个或多个胶片素材用于对电子设备100上的摄像头实时采集到的图像进行处理,使得处理后的图像呈现出对应的胶片显示效果。响应于摄像头启动操作,电子设备100可以通过该摄像头实时采集图像,显示出拍摄界面,该拍摄界面包括预览窗口。然后,响应于针对该第一胶片素材的选择操作,电子设备100可以基于该第一胶片素材,对实时采集到的图像进行处理,生成预览流。接下来,电子设备100可以在预览窗口中,显示出该预览流的画面内容,该预览流的画面内容可以呈现出第一胶片显示效果。
在一些应用场景中,电子设备100可以接收并响应于摄像头启动操作,通过电子设备100上的摄像头实时采集图像。这里的采集图像可以指的是,摄像头在启动之后所捕获到的物体成像。当电子设备100接收并响应于针对第一胶片素材的选择操作时,电子设备100可以对实时采集到的图像进行处理。具体的,电子设备100可以确定出实时采集到的图像是否包括第一区域。若包括第一区域,则电子设备100可以基于第一胶片素材,生成第二胶片素材。然后,电子设备100基于第二胶片素材对该图像中的第一区域进行处理,基于第一胶片素材对该图像中的非第一区域进行处理。后续实施例中,以第一区域为人像的皮肤区域为例进行说明。需要说明的是,在实际的实现方式中,第一区域也可以是图像中的天空区域、植被区域等。
示例性的,以第一区域为人像的皮肤区域为例,说明本图像处理方法的流程。电子设备100获取一个或多个胶片素材的说明可以参考前述描述,在此不再赘述。电子设备100可以接收并响应于摄像头启动操作,通过电子设备100上的摄像头实时采集图像。当电子设备100接收并响应于针对第一胶片素材的选择操作时,电子设备100可以对实时采集到的图像进行处理。具体的,电子设备100可以确定出实时采集到的图像是否包括人像。若包括人像,则电子设备100确定出该图像中的皮肤区域,以及,非皮肤区域。电子设备100可以基于第一胶片素材生成第二胶片素材。然后,电子设备100可以基于第二胶片素材对该图像中的皮肤区域进行处理,基于第一胶片素材对该图像中的非皮肤区域进行处理;若不包括人像,则电子设备100可以基于第一胶片素材,对该图像进行处理。
从上述图像处理方法的流程中可以看出,电子设备100根据胶片素材对获取到的图像进行处理,可以使得图像呈现出更加丰富的视觉效果。
下面,结合图2A-图2G所示的用户界面,介绍本申请实施例提供的一种图像处理方法的应用场景。
如图2A所示,电子设备100可以显示出桌面200。桌面200可以显示有一个或多个应用图标。其中,该一个或多个应用图标可以包括天气应用图标、股票应用图标、计算器应用图标、设置应用图标、邮件应用图标、视频应用图标、日历应用图标和图库应用图标等等。可选的,桌面200还可以显示有状态栏、页面指示符和托盘图标区域。其中,状态栏可以包括移动通信信号(又可以称为蜂窝信号)的一个或多个信号强度指示符、无线保真(wirelessfidelity,Wi-Fi)信号的信号强度指示符、电池状态指示符、时间指示符等等。页面指示符可以用于表明当前显示的页面与其他页面的位置关系。托盘图标区域包括有多个托盘图标(例如拨号应用图标、信息应用图标、联系人应用图标和相机应用图标201等等),托盘图标在页面切换时保持显示。上述页面也可以包括多个应用图标和页面指示符,页面指示符可以不是页面的一部分而单独存在,上述托盘图标也是可选的,本申请实施例对此不作限制。
电子设备100可以接收到作用于相机应用图标201上的触摸操作(也可以被称为摄像头启动操作,例如,点击)。响应于上述摄像头启动操作,电子设备100可以启动摄像头实时采集图像,显示出拍摄界面。后续图示中的拍摄界面210和拍摄界面220都可以被称为拍摄界面。在一些示例中,不限于上述作用在相机应用图标201上的触摸操作,摄像头启动操作也可以是语音指令或手势操作,也即是说,电子设备100也可以接收并响应于用户的语音指令或手势操作,启动摄像头实时采集图像,显示出拍摄界面。
如图2B所示,电子设备100可以显示出拍摄界面210。该拍摄界面210可以包括拍摄控件211、一个或多个拍摄模式控件(例如,夜景模式控件212A、录像模式控件212B、电影模式控件212C、专业模式控件212D和更多模式控件212E)、预览窗口213等。当前,电影模式控件212C已被选中,也即是说,当前的拍摄模式为电影模式。在电影模式下,电子设备100可以在拍摄界面210上显示出一个或多个滤镜素材选项(例如,“蔚蓝交响”选项、“欢乐之城”选项等等)。其中,不同的滤镜可以对应不同的查找表(lookuptable,LUT),例如“蔚蓝交响”滤镜可以对应LUT1,“欢乐之城”滤镜可以对应LUT2。其中,LUT可以用于调节图像中的RGB值,也即是将图像中某个像素点对应的一组RGB值映射为另一组RGB值,LUT可以分为用于调节图像亮度的1D LUT、用于调节图像对比度的2D LUT和用于调节图像整体色彩的3D LUT。本申请实施例以3D LUT为例进行说明。基于各滤镜素材适合的拍摄环境,不同的滤镜素材可以与不同的胶片素材相关联。例如,适合自然光线下拍摄环境的滤镜素材,可以关联低感光度的胶片素材和/或中感光度的胶片素材;适合夜景环境下、人造灯光下拍摄环境的滤镜素材,可以关联中感光度的胶片素材和/或高感光度的胶片素材。示例性的,如图2B所示,“欢乐之城”滤镜素材适合自然光线下的拍摄环境,因此可以关联低感光度的胶片素材和/或中感光度的胶片素材,例如50D和250D;如图2C所示,“蔚蓝交响”滤镜素材适合夜景环境下的拍摄环境,因此可以关联中感光度的胶片素材和/或高感光度的胶片素材,例如250D和500T。关于胶片素材的相关说明,后续实施例中将详细描述,在此先不赘述。
如图2D所示,电子设备100此时已选中“欢乐之城”滤镜素材对实时采集到的图像进行处理。电子设备100可以接收到作用于选项214(也可以被称为第一选项)上的触摸操作(例如,点击)。其中,该选项214是与“欢乐之城”滤镜素材相关联的,250D规格胶片素材(也可以被称为第一胶片素材)所对应的选项。其中,“欢乐之城”滤镜素材可以被称为第一滤镜素材,“欢乐之城”滤镜素材对应的LUT可以被称为第一LUT,第一LUT可以是2D LUT,也可以是3D LUT。
如图2E所示,当电子设备100如前述图示接收到作用于选项214上的触摸操作(例如,点击)之后,该选项214可以高亮显示,表示此时已选中该胶片素材对图像进行处理。此时,预览窗口213中的画面可以显示出该胶片素材对应的胶片显示效果,例如颗粒效果,和/或划痕效果,和/或漏光效果。
需要说明的是,胶片素材(例如,第一胶片素材等)可以不与滤镜素材相关联,因此,胶片素材对应的选项可以不与滤镜素材对应的选项相关联。
如图2F所示,电子设备100可以接收到作用于拍摄控件211上的触摸操作(例如,点击)。
如图2G所示,响应于作用在拍摄控件211上的触摸操作(例如,点击),电子设备100可以显示出拍摄界面220。该拍摄界面220可以包括预览窗口213和停止拍摄控件221。电子设备100可以对实时采集到的图像,基于“欢乐之城”滤镜素材和250D胶片素材,进行处理并编码。此时,预览窗口213中可以显示出提示信息,例如文本信息“欢乐之城-250D”,以用于提示用户电子设备100基于“欢乐之城”滤镜素材和250D胶片素材对图像进行处理。预览窗口213中的画面可以显示出该胶片素材对应的胶片显示效果,例如颗粒效果,和/或划痕效果,和/或漏光效果。
在一些示例中,不限于上述作用在拍摄控件211上的触摸操作,电子设备100也可以接收并响应于用户的语音指令或手势操作,显示出拍摄界面220,并基于所选择的胶片素材和/或滤镜素材对实时采集到的图像进行处理并编码。
电子设备100可以接收到作用于停止拍摄控件221上的触摸操作(例如,点击)。响应于该触摸操作,电子设备100可以停止视频拍摄,然后,获取并保存第一视频文件。其中,第一视频文件中的视频画面可以呈现出第一胶片素材对应的胶片显示效果,例如颗粒效果,和/或划痕效果,和/或漏光效果。
在一些示例中,不限于上述作用在停止拍摄控件221上的触摸操作,电子设备100也可以接收并响应于用户的语音指令或手势操作,停止视频拍摄,然后,获取并保存第一视频文件。
可以理解的是,前述用户界面仅仅用于示例性解释本申请实施例,并不构成对本申请的具体限制。
下面,介绍本申请实施例提供的一种图像处理方法的具体流程。
请参考图3A,图3A示例性示出了本申请实施例提供的一种图像处理方法的具体流程示意图。如图3A所示,该方法具体流程可以包括:
S301.电子设备100获取到一个或多个胶片素材。其中,一个或多个胶片素材包括第一胶片素材。
首先,如图3B所示,开发人员可以使用不同规格的胶片得到不同的胶片素材。其中,胶片的规格可以包括胶片的感光度、胶片的类型等等。胶片的感光度可以指的是:胶片中的感光乳剂(例如,氯化银、溴化银或碘化银等)见光分解成像的速度。胶片感光度的数值可以是50、100、150等等,其数值越大,胶片的感光度越高,胶片成像时画面的颗粒越粗大。在本申请实施例中,胶片感光度数值在100以下可以被称为低感光度,在200-800间可以被称为中感光度,在800以上可以被称为高感光度。不限于上述划分,高、中、低感光度的数值阈值也可以是其他划分方式,本申请对此不作限制。胶片的类型可以指的是:胶片是日光型(daylight,D)胶片还是灯光型(tungsten,T)胶片。日光型胶片的标准色温为5400开尔文(kelvins,K)-5600K,灯光型胶片的标准色温为3200K-3400K。因此,胶片的规格可以有50D、150D、250D或250T等不同的规格,本申请对此不作限制。
具体的,在开发人员使用不同规格的胶片得到不同的胶片素材这一过程中,开发人员可以利用不同规格的胶片,拍摄18%灰卡的胶片图像,然后对该胶片图像进行曝光与冲洗。开发人员可以使用胶片扫描仪对冲洗后的胶片图像进行扫描,获取到对应的胶片素材。获取到的胶片素材的亮度平均值为指定数值A2(也可以被称为第一平均值,例如,0.5、0.6等)。
然后,开发人员可以基于上述处理过程得到一个或多个胶片素材。其中,在该一个或多个胶片素材中,除了18%灰卡的图像外,还可以包括非实际物体在胶片上的成像(可以被称为伪像),例如胶片成像时画面上的颗粒、划痕、漏光等等。各胶片素材可以包括时长为s秒(例如,15秒、20秒等),每秒t帧(例如,20帧、30帧等)的胶片图像。也即是说,每一种胶片素材包括s×t帧的胶片图像。优选的,指定数值A2可以取值为0.5,这样有利于提升后续对图像处理的计算效率;时长s秒取值为15秒,每秒t帧取值为30帧,这样使得处理后的多张图像在播放时视觉效果比较自然,不易察觉胶片显示效果的重复性,同时也可以节约电子设备100的存储资源。
电子设备100可以获取到上述一个或多个胶片素材。其中,该一个或多个胶片素材可以包括第一胶片素材。电子设备100可以采用比特位深(bitdepth)压缩存储胶片素材,例如,采用32个二进制位、16个二进制位、8个二进制位、4个二进制位或2个二进制位来压缩存储胶片素材中每一个像素点的信息。优选的,本申请实施例可以采用低比特位深(例如,采用8个二进制位、4个二进制位或2个二进制位)压缩存储胶片素材中每一个像素点的信息,这样,可以节省电子设备100的存储空间,提升后续电子设备100基于胶片素材对视频进行处理的效率。
S302.电子设备100接收到摄像头启动操作。
示例性的,摄像头启动操作可以是前述如图2A所示的作用于相机应用图标201上的触摸操作(例如,点击)。不限于上述触摸操作,语音指令、手势操作等可以启动摄像头的操作也可以被称为摄像头启动操作。
S303.响应于摄像头启动操作,电子设备100通过摄像头实时采集图像。
具体的,电子设备100可以通过配置在电子设备100上的前置摄像头或者后置摄像头,实时采集图像。在一些示例中,电子设备100可以获取到其他电子设备发送的图像。在另一些示例中,电子设备100可以获取到云服务器发送的图像。也即是说,对于图像的获取途径,本申请并不作限制。电子设备100可以根据后续的流程,基于第一胶片素材对上述电子设备100从其他电子设备和/或云服务器获取到的图像,进行处理,使得图像呈现出对应的胶片显示效果。
S304.当电子设备100接收并响应于针对第一胶片素材的选择操作时,电子设备100确定实时采集到的图像(该实时采集到的图像也可以简称为图像)是否包括人像。
示例性的,针对第一胶片素材的选择操作可以是前述如图2D所示的作用于选项214上的触摸操作(例如,点击)。
具体的,电子设备100可以通过重识别(re-identification,ReID)算法、基于双阈值运动区域分割的AdaBoost行人检测算法等算法,确定实时采集到的图像是否包括人像。也即是说,对于如何确定实时采集到的图像是否包括人像,本申请并不作限制。
S305.当电子设备100确定图像中包括人像,电子设备100划分出图像中的皮肤区域,和,非皮肤区域。
具体的,电子设备100可以通过基于广义高斯分布的皮肤分割算法、基于RealAdaBoost算法的皮肤分割方法等算法,划分出图像中的皮肤区域和非皮肤区域。也即是说,对于如何划分图像中的皮肤区域和非皮肤区域,本申请并不作限制。
S306.电子设备100基于第一胶片素材对图像中的非皮肤区域进行处理,基于第一胶片素材生成的第二胶片素材对图像中的皮肤区域进行处理。
具体的,电子设备100可以对第一胶片素材进行去噪处理和柔化处理,生成第二胶片素材。其中,电子设备100对第一胶片素材进行去噪处理的方式可以为:基于中值滤波器方法、基于梯度模型算法等方式。电子设备100对第一胶片素材进行柔化处理的方式可以为:以任意像素点为中心,取指定大小(3*3)的区域,以该区域中多个像素点的RGB平均值为该中心像素的RGB值。不限于上述方式,电子设备100还可以通过其他方法对第一胶片素材进行去噪处理和柔化处理。
以实时采集到的任意一帧图像为例,来说明本步骤的实现方式。
具体的,物体可以通过摄像头的镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号,生成图像。然后,若电子设备100选择了滤镜素材和第一胶片素材对实时采集到的图像进行处理,则电子设备100在对图像基于滤镜素材处理后,再对图像基于第一胶片素材和第二胶片素材对图像进行处理。若电子设备100没有选择滤镜素材,则电子设备100直接基于第一胶片素材和第二胶片素材对实时采集到的图像进行处理。
示例性的,图3C以电子设备100选择了滤镜素材和第一胶片素材对实时采集到的图像进行处理为例。如图3C所示,物体可以通过摄像头的镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号,生成图像。然后,电子设备100可以基于前述选择的滤镜素材(例如,前述图示的“蔚蓝交响”滤镜素材、“欢乐之城”滤镜素材),按照对应的3D LUT和SMPTE ST 2084函数,将实时采集到的图像中像素点的RGB值,映射为新RGB值,调整第M帧图像中每个像素点的R数值、G数值和B数值之间的比例。其中,M可以用于表示任意数值,第M帧图像即是任意一帧实时采集到的图像。
接下来,电子设备100可以基于胶片素材(例如,第一胶片素材、第二胶片素材等)对第M帧图像进行处理。当胶片素材中任意像素点的亮度值小于或等于指定数值B1时,可以使得第M帧图像中对应位置像素点在R数值、G数值和B数值间比例不变的情况下,减小该R数值、G数值和B数值,也即是使该像素点的亮度变暗;当胶片素材中任意像素点的亮度值大于指定数值B1时,可以使得第M帧图像中对应位置像素点在R数值、G数值和B数值间比例不变的情况下,增大该R数值、G数值和B数值,也即是使该像素点的亮度变亮,这样,可以使得第M帧图像呈现出该胶片素材相应的颗粒效果,和/或划痕效果,和/或漏光效果。
电子设备100可以基于叠加算法公式,将第一胶片素材叠加至第M帧图像中的非皮肤区域,将第二胶片素材叠加至第M帧图像中的皮肤区域。此时,第M帧图像在非皮肤区域呈现出第一胶片显示效果,在皮肤区域呈现出第二胶片显示效果。示例性的,胶片素材(例如,第一胶片素材、第二胶片素材等)的叠加算法公式可以如下:
A、当胶片素材任意像素点的亮度值小于或等于指定数值B1(例如,0.5)时:
f(i1)=A×B÷0.5
其中,该公式中的A可以表示第M帧图像中待处理像素点i1的RGB数值(在该公式中,该像素点i1的RGB数值可以被归一化到0-1之间),B可以表示i1像素点在胶片素材中第M帧胶片图像所对应的像素点i2(也即条件中的任意像素点)的亮度值,f(i1)可以表示在胶片素材叠加之后,第M帧图像中像素点i1的RGB数值。公式中的0.5即是指定数值B1。该指定数值B1可以和前述胶片素材的亮度平均值即指定数值A2(也即第一平均值)相同。
B、当胶片素材任意像素点的亮度值大于指定数值B1(例如,0.5)时:
f(i1)=1-(1-A)×(1-B)÷0.5
其中,该公式中的A、B和f(i1)的说明,可以参考前述描述,在此不再赘述。
示例性的,当电子设备100基于第一胶片素材对实时采集到的图像进行处理时,基于上述两个公式,其处理过程可以为:该第一胶片素材包括第一像素点,该实时采集到的图像包括第二像素点,第一像素点对应第二像素点。当该第一像素点的亮度值小于或等于第一平均值时,该叠加公式为该第二像素点的新RGB值=该第一像素点的亮度值×该第二像素点的原RGB值÷第一平均值;当该第一胶片素材中第一像素点的亮度值大于第一平均值时,该叠加公式为该第二像素点的新RGB值=1-(1-该第二像素点的原RGB值)×(1-该第一像素点的亮度值)÷第一平均值。
需要说明的是,上述公式仅仅用于示例性说明本申请,并不对本申请构成任何限制。
可以看出,基于上述叠加方法对图像进行处理,可以使得图像中亮度值高的区域受胶片素材中亮度值较高的伪像(例如,颗粒、划痕等)的影响较小,而图像中亮度值低的区域受胶片素材中亮度值较高的伪像(例如,颗粒、划痕等)的影响较大;图像中亮度值高的区域受胶片素材中亮度值较低的伪像(例如,污渍等)的影响较大,而图像中亮度值低的区域受胶片素材中亮度值较低的伪像(例如,污渍等)的影响较小。
随后,电子设备100可以融合第M帧图像中的皮肤区域和非皮肤区域,将皮肤区域和非皮肤区域的邻接边缘进行羽化处理,使得皮肤区域和非皮肤区域的邻接边缘的像素点RGB值可以平滑变化。
S307.当电子设备100确定图像不包括人像时,电子设备100基于第一胶片素材对图像进行处理。
以采集到的任意一帧图像为例,来说明本步骤的实现方式。
具体的,物体可以通过摄像头的镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号,生成图像。然后,若电子设备100选择了滤镜素材和第一胶片素材对实时采集到的图像进行处理,则电子设备100在对图像基于滤镜素材处理后,再对图像基于第一胶片素材对图像进行处理。若电子设备100没有选择滤镜素材,则电子设备100直接基于第一胶片素材对实时采集到的图像进行处理。
示例性的,图3D以电子设备100选择了滤镜素材和第一胶片素材对实时采集到的图像进行处理为例,如图3D所示,物体可以通过摄像头的镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号,生成图像。然后,可选的,电子设备100可以基于前述选择的滤镜素材(例如,前述图示的“蔚蓝交响”滤镜素材、“欢乐之城”滤镜素材),按照对应的3D LUT和SMPTE ST 2084函数,调整第M帧图像中每个像素点的R数值、G数值和B数值之间的比例。其中,M可以用于表示任意数值,第M帧图像即是任意一帧实时采集到的图像。
接下来,电子设备100可以基于叠加算法公式,将第一胶片素材叠加至第M帧图像上,此时,第M帧图像仅呈现出第一胶片显示效果。其叠加方法可以参考上述S306中的说明,在此不再赘述。
S308.电子设备100基于实时采集且经过S304-S307处理后的图像,生成预览流。
具体的,电子设备100按照时间顺序实时采集到的多帧图像可以被称为图像流。该图像流中的每一帧图像经过上述S304-S307处理后,可以得到预览流,该预览流中的画面内容可以显示于电子设备100的预览窗口(例如,前述预览窗口213)中。当该图像流中的一帧或多帧图像包括人像时,预览流中的画面内容可以包括第一胶片显示效果和第二胶片显示效果;当该图像流中没有包括人像的图像时,预览流中的画面内容可以仅呈现出第一胶片显示效果。
S309.当电子设备100接收并响应于视频拍摄操作时,电子设备100基于实时采集且经过S304-S307处理后的图像,生成录像流并进行相应处理。
具体的,当电子设备100接收并响应于视频拍摄操作,此时,电子设备100可以将实时采集到的图像流复制为两路图像流,分别为图像流1和图像流2。图像流1中的每一帧图像经过上述S304-S307处理后,可以得到预览流,该预览流中的画面内容可以在视频拍摄期间,显示于电子设备100的预览窗口(例如,前述预览窗口213)中。图像流2中的每一帧图像经过上述S304-S307处理后,可以得到录像流,电子设备100可以基于上述录像流,通过SMPTE ST 2094计算出对应的动态元数据,然后基于上述动态元数据和录像流通过编译器进行编码。在一些示例中,不限于上述处理方式,电子设备100也可以通过其他方式对录像流进行处理。
S310.当电子设备100接收并响应于结束拍摄操作时,电子设备100获取并保存第一视频文件。
示例性的,该结束拍摄操作可以是前述如图2F所示的作用于停止拍摄控件221上的触摸操作(例如,点击)。
具体的,电子设备100可以获取并保存指定格式的第一视频文件,例如,电子设备100可以基于前述编码后的录像流,获取并保存HDR10+格式的第一视频文件。在具体的实现方式中,电子设备100也可以获取并保存其他格式(例如,HDR10等)的第一视频文件,本申请对此不作限制。
需要说明的是,当第一胶片素材的总帧数小于电子设备100通过摄像头采集图像的帧数时,第一胶片素材可以循环处理电子设备100实时采集到的图像。
示例性的,若第一胶片素材的总帧数为30帧。当电子设备100采集到第31帧图像,则电子设备100可以根据第一胶片素材的第1帧胶片图像,处理电子设备100采集到的第31帧图像。当电子设备100此时采集到第32帧图像,则电子设备100可以根据第一胶片素材的第2帧胶片图像,处理电子设备100采集到的第32帧图像,以此类推。
接下来,介绍本申请实施例提供的一种应用于电子设备100的软件模块。
请参考图4,图4示例性示出了本申请实施例提供的一种应用于电子设备100的软件模块示意图。
如图4所示,电子设备100可以包括:存储模块401、图像处理模块402和图像编码模块403,其中:
存储模块401可以用于存储一个或多个胶片素材和第一视频文件,一个或多个胶片素材中包括第一胶片素材。存储模块401还可以存储一些程序代码,以实现本申请实施例在电子设备100中的实现方法。具体的实现方式可以参考前述流程图所示的步骤,在此不再赘述。
图像处理模块402可以用于基于第一胶片素材和/或滤镜素材处理电子设备100实时采集到的图像。具体的实现方式可以参考前述流程图所示的步骤,在此不再赘述。
图像编码模块403可以用于将已经过图像处理模块402处理过的图像进行编码,以获取到第一视频文件。具体的实现方式可以参考前述流程图所示的步骤,在此不再赘述。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (16)
1.一种图像处理方法,其特征在于,应用于电子设备,包括:
所述电子设备获取到一个或多个胶片素材,所述一个或多个胶片素材包括第一胶片素材,所述一个或多个胶片素材用于对所述电子设备上的摄像头实时采集到的图像进行处理,使得处理后的图像呈现出对应的胶片显示效果;
响应于摄像头启动操作,所述电子设备通过所述摄像头实时采集图像,显示出拍摄界面,所述拍摄界面包括预览窗口;
响应于针对所述第一胶片素材的选择操作,所述电子设备基于所述第一胶片素材,对实时采集到的图像进行处理,生成预览流;
所述电子设备在所述预览窗口中,显示出所述预览流的画面内容,所述预览流的画面内容呈现出第一胶片显示效果。
2.根据权利要求1所述的方法,其特征在于,响应于针对所述第一胶片素材的选择操作,所述电子设备基于所述第一胶片素材,对实时采集到的图像进行处理,生成预览流,具体包括:
响应于针对所述第一胶片素材的选择操作,所述电子设备确定所述实时采集到的图像是否包括人像;
当所述电子设备确定所述实时采集到的图像包括人像时,所述电子设备划分出所述实时采集到的图像中的皮肤区域和非皮肤区域;
所述电子设备基于所述第一胶片素材对所述非皮肤区域进行处理,基于所述第一胶片素材生成的第二胶片素材对所述皮肤区域进行处理;
所述电子设备基于经过所述第一胶片素材和所述第二胶片素材处理后的所述实时采集到的图像,生成预览流。
3.根据权利要求2所述的方法,其特征在于,所述电子设备基于所述第一胶片素材对所述非皮肤区域进行处理,基于所述第一胶片素材生成的第二胶片素材对所述皮肤区域进行处理,具体包括:
所述电子设备对所述第一胶片素材进行去噪处理和柔化处理,生成所述第二胶片素材;
所述电子设备基于所述第一胶片素材对所述非皮肤区域进行处理,基于所述第二胶片素材对所述皮肤区域进行处理。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当所述电子设备确定所述实时采集到的图像不包括人像时,所述电子设备基于所述第一胶片素材处理所述实时采集到的图像。
5.根据权利要求2或3所述的方法,其特征在于,所述预览流的画面内容还呈现出第二胶片显示效果。
6.根据权利要求1所述的方法,其特征在于,所述一个或多个胶片素材为基于一种或多种不同感光度的胶卷拍摄18%灰卡,并进行冲洗、扫描后所获得的胶片素材,所述一个或多个胶片素材中各胶片素材的亮度平均值为第一平均值,所述各胶片素材的时长为15秒,每秒包括30帧胶片图像。
7.根据权利要求6所述的方法,其特征在于,所述第一胶片素材包括第一像素点,所述实时采集到的图像包括第二像素点,所述第一像素点对应所述第二像素点;
响应于针对所述第一胶片素材的选择操作,所述电子设备基于所述第一胶片素材,对实时采集到的图像进行处理,生成预览流,具体包括:
响应于针对所述第一胶片素材的选择操作,所述电子设备基于叠加公式和所述第一胶片素材,对所述实时采集到的图像进行处理;其中,当所述第一像素点的亮度值小于或等于第一平均值时,所述叠加公式为所述第二像素点的新RGB值=所述第一像素点的亮度值×所述第二像素点的原RGB值÷第一平均值;当所述第一胶片素材中第一像素点的亮度值大于第一平均值时,所述叠加公式为所述第二像素点的新RGB值=1-(1-所述第二像素点的原RGB值)×(1-所述第一像素点的亮度值)÷第一平均值;
所述电子设备基于经过所述第一胶片素材处理后的所述实时采集到的图像,生成预览流。
8.根据权利要求7所述的方法,其特征在于,所述第一平均值为0.5。
9.根据权利要求1所述的方法,其特征在于,在响应于针对所述第一胶片素材的选择操作,所述电子设备基于所述第一胶片素材,对实时采集到的图像进行处理,生成预览流之前,所述方法还包括:
所述电子设备接收到针对于第一滤镜素材的选择操作,所述第一滤镜素材对应第一LUT;
响应于针对所述第一胶片素材的选择操作,所述电子设备基于所述第一胶片素材,对实时采集到的图像进行处理,生成预览流,具体包括:
响应于针对所述第一胶片素材的选择操作,所述电子设备基于所述第一LUT,将所述实时采集到的图像中像素点的RGB值,映射为新RGB值;
所述电子设备基于所述第一胶片素材,对经过所述第一LUT处理后的所述实时采集到的图像进行处理,生成预览流。
10.根据权利要求9所述的方法,其特征在于,所述第一LUT为2D LUT,或者,3DLUT。
11.根据权利要求1所述的方法,其特征在于,所述第一胶片显示效果包括以下的一种或多种:
颗粒效果、划痕效果和漏光效果。
12.根据权利要求1所述的方法,其特征在于,所述拍摄界面还包括所述第一胶片素材的第一选项;
响应于针对所述第一胶片素材的选择操作,所述电子设备基于所述第一胶片素材,对实时采集到的图像进行处理,生成预览流,具体包括:
所述电子设备接收到作用于所述第一选项上的触摸操作;
响应于所述触摸操作,所述电子设备基于所述第一胶片素材,对所述实时采集到的图像进行处理,生成预览流。
13.一种电子设备,其特征在于,包括:一个或多个处理器、一个或多个存储器、一个或多个摄像头和显示屏;所述一个或多个存储器与一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-12中的任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-12中的任一项所述的方法。
15.一种芯片或芯片系统,其特征在于,包括处理电路和接口电路,所述接口电路用于接收代码指令并传输至所述处理电路,所述处理电路用于运行所述代码指令以执行如权利要求1-12中任一项所述的方法。
16.一种计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-12中的任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211297222.5A CN116723416B (zh) | 2022-10-21 | 2022-10-21 | 图像处理方法及电子设备 |
PCT/CN2023/117623 WO2024082863A1 (zh) | 2022-10-21 | 2023-09-08 | 图像处理方法及电子设备 |
EP23878857.4A EP4443895A1 (en) | 2022-10-21 | 2023-09-08 | Image processing method and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211297222.5A CN116723416B (zh) | 2022-10-21 | 2022-10-21 | 图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116723416A true CN116723416A (zh) | 2023-09-08 |
CN116723416B CN116723416B (zh) | 2024-04-02 |
Family
ID=87863730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211297222.5A Active CN116723416B (zh) | 2022-10-21 | 2022-10-21 | 图像处理方法及电子设备 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4443895A1 (zh) |
CN (1) | CN116723416B (zh) |
WO (1) | WO2024082863A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218778A (zh) * | 2013-03-22 | 2013-07-24 | 华为技术有限公司 | 一种图像和视频的处理方法及装置 |
CN108476306A (zh) * | 2016-12-30 | 2018-08-31 | 华为技术有限公司 | 一种图像显示的方法及终端设备 |
CN109951736A (zh) * | 2019-04-11 | 2019-06-28 | 北京大生在线科技有限公司 | 一种在线实时视频的滤镜方法及系统 |
CN113766120A (zh) * | 2021-08-09 | 2021-12-07 | 荣耀终端有限公司 | 拍摄模式的切换方法及电子设备 |
CN113810602A (zh) * | 2021-08-12 | 2021-12-17 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2767976T3 (es) * | 2010-09-14 | 2020-06-19 | Teravolt Gmbh | Procedimiento para la elaboración de secuencias de film |
CN112262563B (zh) * | 2018-11-20 | 2022-07-22 | 华为技术有限公司 | 图像处理方法及电子设备 |
CN111107267A (zh) * | 2019-12-30 | 2020-05-05 | 广州华多网络科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN115379112A (zh) * | 2020-09-29 | 2022-11-22 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
CN114650363B (zh) * | 2020-12-18 | 2023-07-21 | 华为技术有限公司 | 一种图像显示的方法及电子设备 |
CN114979459B (zh) * | 2021-02-27 | 2023-10-03 | 华为技术有限公司 | 拍摄素材的管理方法、电子设备及系统 |
-
2022
- 2022-10-21 CN CN202211297222.5A patent/CN116723416B/zh active Active
-
2023
- 2023-09-08 WO PCT/CN2023/117623 patent/WO2024082863A1/zh unknown
- 2023-09-08 EP EP23878857.4A patent/EP4443895A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218778A (zh) * | 2013-03-22 | 2013-07-24 | 华为技术有限公司 | 一种图像和视频的处理方法及装置 |
CN108476306A (zh) * | 2016-12-30 | 2018-08-31 | 华为技术有限公司 | 一种图像显示的方法及终端设备 |
CN109951736A (zh) * | 2019-04-11 | 2019-06-28 | 北京大生在线科技有限公司 | 一种在线实时视频的滤镜方法及系统 |
CN113766120A (zh) * | 2021-08-09 | 2021-12-07 | 荣耀终端有限公司 | 拍摄模式的切换方法及电子设备 |
CN113810602A (zh) * | 2021-08-12 | 2021-12-17 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2024082863A1 (zh) | 2024-04-25 |
CN116723416B (zh) | 2024-04-02 |
EP4443895A1 (en) | 2024-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9117410B2 (en) | Image display device and method | |
WO2021036991A1 (zh) | 高动态范围视频生成方法及装置 | |
WO2023015981A1 (zh) | 图像处理方法及其相关设备 | |
US12086957B2 (en) | Image bloom processing method and apparatus, and storage medium | |
CN110138999B (zh) | 一种用于移动终端的证件扫描方法及装置 | |
US20240119566A1 (en) | Image processing method and apparatus, and electronic device | |
CN115526787B (zh) | 视频处理方法和装置 | |
CN111953899B (zh) | 图像生成方法、图像生成装置、存储介质与电子设备 | |
CN113919382A (zh) | 一种扫码的方法及装置 | |
CN113452898A (zh) | 一种拍照方法及装置 | |
EP4224870A1 (en) | Video editing method and electronic device | |
CN115150542B (zh) | 一种视频防抖方法及相关设备 | |
CN115631250B (zh) | 图像处理方法与电子设备 | |
CN111093096A (zh) | 视频编码方法及装置、存储介质 | |
US20240251180A1 (en) | Image processing method and electronic device | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116723416B (zh) | 图像处理方法及电子设备 | |
CN114390195B (zh) | 一种自动对焦的方法、装置、设备及存储介质 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
CN115735226B (zh) | 一种图像处理方法及芯片 | |
CN115701129B (zh) | 一种图像处理方法及电子设备 | |
CN117395495B (zh) | 一种图像处理方法及电子设备 | |
CN116703701B (zh) | 一种图片裁剪方法及电子设备 | |
CN115526788A (zh) | 图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |