CN115631250A - 图像处理方法与电子设备 - Google Patents
图像处理方法与电子设备 Download PDFInfo
- Publication number
- CN115631250A CN115631250A CN202110915871.6A CN202110915871A CN115631250A CN 115631250 A CN115631250 A CN 115631250A CN 202110915871 A CN202110915871 A CN 202110915871A CN 115631250 A CN115631250 A CN 115631250A
- Authority
- CN
- China
- Prior art keywords
- image
- processor
- color space
- mapping
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 149
- 238000013507 mapping Methods 0.000 claims abstract description 109
- 230000004044 response Effects 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 72
- 230000015654 memory Effects 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 abstract description 43
- 230000001976 improved effect Effects 0.000 abstract description 12
- 238000004891 communication Methods 0.000 description 40
- 230000006854 communication Effects 0.000 description 40
- 230000006870 function Effects 0.000 description 28
- 230000000694 effects Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 25
- 238000007726 management method Methods 0.000 description 17
- 238000010295 mobile communication Methods 0.000 description 16
- 230000009467 reduction Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 235000019693 cherries Nutrition 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
一种图像处理方法与电子设备,该图像处理方法应用于电子设备,该法包括:显示第一界面,所述第一界面包括第一控件;检测到对所述第一控件的第一操作;响应于所述第一操作,确定三维查找表中的第一映射,所述第一映射与所述第一控件对应;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,所述待处理图像为在所述第一颜色空间获取的图像;根据所述第一映射对所述第一图像进行处理,得到第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的第三图像。基于本申请的技术方法,能够提高图像处理的图像质量。
Description
技术领域
本申请涉及图像处理领域,具体涉及一种图像处理方法与电子设备。
背景技术
查找表(Look Up Table,LUT)广泛应用于图像处理;例如,查找表可以用于图像颜色校正、图像增强或者图像伽马校正等;具体地,可以在图像信号处理器((Image SignalProcessing,ISP)中加载LUT,根据LUT表可以对原始图像帧进行图像处理,实现原始图像帧的像素值映射改变图像的颜色风格,从而实现不同的图像效果。
目前,在芯片中可以通过二维查找表对图像的色相与饱和度进行调整;但是,无法对相同色相不同亮度的颜色根据其亮度进行不同程度的调整,导致根据二维查找表进行图像处理后得到的目标图像帧的质量较差。
因此,在芯片受到限制的情况下,如何提高图像处理的图像质量成为一个亟需解决的问题。
发明内容
本申请提供了一种图像处理方法与电子设备,能够从色相、饱和度和亮度各个方面对原始图像帧进行图像处理,提高目标图像帧的图像质量。
第一方面,提供了一种图像处理方法,应用于电子设备,所述图像处理方法包括:
显示第一界面,所述第一界面包括第一控件;检测到对所述第一控件的第一操作;响应于所述第一操作,所述电子设备确定三维查找表中的第一映射,所述第一映射与所述第一控件对应;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,所述待处理图像为在所述第一颜色空间获取的图像;根据所述第一映射对所述第一图像进行处理,得到第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的第三图像。在一种可能的实现方式中,第一颜色空间可以是指YUV颜色空间;第二颜色空间可以是指RGB颜色空间。
应理解,三维查找表中的第一映射可以是指一种函数关系,通过第一映射可以将每个像素的色彩信息进行重新定位得到新的色彩信息。通过三维查找表中的第一映射可以确定一种图像模式;该图像模式可以实现相机中不同滤镜的效果。
在本申请的实施例中,电子设备根据第一操作可以确定三维查找表中的第一映射;将获取的第一颜色空间的待处理图像转换为第二颜色空间的第一图像;并根据第一映射对第一图像进行处理,可以得到第二颜色空间的第二图像;将第二图像转换为第一颜色空间的第三图像,从而得到待处理图像对应的目标图像;通过本申请的实施例,基于三维查找表的第一映射可以从色相、饱和度和亮度各个方面对待处理图像进行处理,提高输出图像的图像质量。
结合第一方面,在第一方面的某些实现方式中,所述第一控件是指用于指示所述三维查找表中所述第一映射表的控件。
在一种可能的实现方式中,第一界面可以是指拍摄的预览界面,在拍摄的预览界面中包括图像模式预览框,图像模式预览框中可以包括多个不同的图像模式,该图像模式可以是指图像的滤镜效果;检测到对第一控件的第一操作可以是指检测到用户选择图像模式预览框中目标模式的操作;一个图像模式可以对应于三维查找表的一种映射,即一个图像模式可以对应一种目标三维查找表。
结合第一方面,在第一方面的某些实现方式中,所述第一控件是指用于指示自动识别所述三维查找表中的第一映射的控件。
在一种可能的实现方式中,第一界面可以是相机应用程序的设置界面,第一操作可以是指在设置界面中用户可以开启自动识别图像模式的操作;在自动识别图像模式功能开启后,相机可以根据拍摄场景自动识别确定目标模式。
结合第一方面,在第一方面的某些实现方式中,所述电子设备包括第一处理器与第二处理器;
其中,所述第一处理器用于获取所述待处理图像;所述第二处理器用于将所述第一颜色空间的所述待处理图像转换为所述第二颜色空间的所述第一图像;根据所述第一映射对所述第一图像进行处理,得到所述第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的所述第三图像。
在本申请的实施例中,电子设备中可以包括第一处理器与第二处理器,第一处理器与第二处理器可以是指不同的处理器;电子设备获取待处理图像与根据三维查找表中第一映射对待处理图像进行处理可以在电子设备中的不同处理器中执行;因此,本申请的实施例中在提高处理后图像的图像质量的情况下,还能够提高图像处理的运算效率。
在一种可能的实现方式中,所述第二处理器支持并行计算。
在本申请的实施例中,由于第二处理器可以支持并行计算,因此在第二处理中根据第一映射对待处理图像进行处理时,能够缩短图像处理的运行时间,提高图像处理的效率。
应理解,并行计算又可以称为平行计算,是指一次可以执行多个指令。
结合第一方面,在第一方面的某些实现方式中,所述第一处理器为图像信号处理器,所述第二处理器为数字信号处理器,或者图形处理器。
在一个可能的实现方式中,第二处理器可以是指数字信号处理器,或者图形处理器;第二处理器可以同时对第二图像中的2×2的四个像素点,并且根据三维查找表中的第一映射同时对四个像素点中的每一个像素点进行映射。
结合第一方面,在第一方面的某些实现方式中,所述电子设备包括预先存储的所述三维查找表,所述电子设备确定三维查找表中的第一映射,包括:
所述第一映射的标识从所述预先存储的所述三维表中确定所述第一映射。
在本申请的实施例中,可以在电子设备中预先存储三维查找表中的不同映射;根据检测到的第一操作,可以根据第一映射的标识从预选存储的三维查找表的不同映射中确定三维查找表的第一映射。
结合第一方面,在第一方面的某些实现方式中,所述将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,包括:
对所述待处理图像进行第一处理,得到第一处理后的图像,所述第一处理是指调整所述待处理图像的图像宽度;
将所述第一处理后的图像转换为所述第二颜色空间的所述第一图像。
在本申请的实施例中,可以先对待处理图像进行第一处理再进行颜色空间的转换,使得待处理图像可以满足第二处理器输入图像的格式,从而能够提高第二处理器的运算效率。
结合第一方面,在第一方面的某些实现方式中,所述根据所述第一映射对所述第一图像进行处理,得到第二图像,包括:
根据所述第一映射与四面体插值算法对所述第一图像进行处理,得到所述第二图像。
结合第一方面,在第一方面的某些实现方式中,所述根据所述第一映射与四面体插值算法对所述第一图像进行处理,得到所述第二图像,包括:
根据所述第一映射与所述四面体插值算法对所述第一图像中的每个像素分别进行映射,得到目标像素;
根据所述目标像素得到所述第二图像。
结合第一方面,在第一方面的某些实现方式中,还包括:
对所述第三图像进行第二处理,所述第二处理是指将所述第三图像的图像宽度调整至与所述待处理图像的图像宽度相同。
在本申请的实施例中,可以对第三图像进行第二处理,使得经过第二处理后的图像满足电子设备的图像格式。
第二方面,提供了一种图像处理装置,所述图像处理装置包括显示单元与处理单元,所述显示单元用于显示第一界面,所述第一界面包括第一控件;所述处理单元用于检测到对所述第一控件的第一操作;响应于所述第一操作,确定三维查找表中的第一映射,所述第一映射与所述第一控件对应;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,所述待处理图像为在所述第一颜色空间获取的图像;根据所述第一映射对所述第一图像进行处理,得到第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的第三图像。
结合第二方面,在第二方面的某些实现方式中,所述图像处理装置包括预先存储的所述三维查找表,所述处理单元具体用于:
根据所述第一映射的标识从所述预先存储的所述三维表中确定所述第一映射。
结合第二方面,在第二方面的某些实现方式中,所述处理单元具体用于:
对所述待处理图像进行第一处理,得到第一处理后的图像,所述第一处理是指调整所述待处理图像的图像宽度;
将所述第一处理后的图像转换为所述第二颜色空间的所述第一图像。
结合第二方面,在第二方面的某些实现方式中,所述处理单元具体用于:
根据所述第一映射与四面体插值算法对所述第一图像进行处理,得到所述第二图像。
结合第二方面,在第二方面的某些实现方式中,所述处理单元具体用于:
根据所述第一映射与所述四面体插值算法对所述第一图像中的每个像素分别进行映射,得到目标像素;
根据所述目标像素得到所述第二图像。
结合第二方面,在第二方面的某些实现方式中,所述处理单元具体用于:
对所述第三图像进行第二处理,所述第二处理是指将所述第三图像的图像宽度调整至与所述待处理图像的图像宽度相同。
结合第二方面,在第二方面的某些实现方式中,所述第一控件是指用于指示所述三维查找表中所述第一映射表的控件。
结合第二方面,在第二方面的某些实现方式中,所述第一控件是指用于指示自动识别所述三维查找表中第一映射的控件。
结合第二方面,在第二方面的某些实现方式中,所述图像处理装置包括第一处理器与第二处理器;
其中,所述第一处理器用户获取所述待处理图像;所述第二处理器用于将所述第一颜色空间的所述待处理图像转换为所述第二颜色空间的所述第一图像;根据所述第一映射对所述第一图像进行处理,得到所述第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的所述第三图像。
结合第二方面,在第二方面的某些实现方式中,所述第一处理器为图像信号处理器,所述第二处理器为数字信号处理器,或者图形处理器。
在上述图像处理装置为芯片时,获取单元可以是指输出接口、管脚或电路等;处理单元可以是指芯片内部的处理单元。
应理解,在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第二方面中相同的内容。
第三方面,提供了一种电子设备,所述电子设备包括:一个或多个处理器、存储器和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:显示第一界面,所述第一界面包括第一控件;检测到对所述第一控件的第一操作;响应于所述第一操作,确定三维查找表中的第一映射,所述第一映射与所述第一控件对应;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,所述待处理图像为在所述第一颜色空间获取的图像;根据所述第一映射对所述第一图像进行处理,得到第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的第三图像。
结合第三方面,在第三方面的某些实现方式中,所述电子设备包括预先存储的所述三维查找表,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
根据所述第一映射的标识从所述预先存储的所述三维表中确定所述第一映射。
结合第三方面,在第三方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
对所述待处理图像进行第一处理,得到第一处理后的图像,所述第一处理是指调整所述待处理图像的图像宽度;
将所述第一处理后的图像转换为所述第二颜色空间的所述第一图像。
结合第三方面,在第三方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
根据所述第一映射与四面体插值算法对所述第一图像进行处理,得到所述第二图像。
结合第三方面,在第三方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
根据所述第一映射与所述四面体插值算法对所述第一图像中的每个像素分别进行映射,得到目标像素;
根据所述目标像素得到所述第二图像。
结合第三方面,在第三方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
对所述第三图像进行第二处理,所述第二处理是指将所述第三图像的图像宽度调整至与所述待处理图像的图像宽度相同。
结合第三方面,在第三方面的某些实现方式中,所述第一控件是指用于指示所述三维查找表中所述第一映射表的控件。
结合第三方面,在第三方面的某些实现方式中,所述第一控件是指用于指示自动识别所述三维查找表中第一映射的控件。
结合第三方面,在第三方面的某些实现方式中,所述一个或多个处理器包括第一处理器与第二处理器;
其中,所述第一处理器用户获取所述待处理图像;所述第二处理器用于将所述第一颜色空间的所述待处理图像转换为所述第二颜色空间的所述第一图像;根据所述第一映射对所述第一图像进行处理,得到所述第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的所述第三图像。
结合第三方面,在第三方面的某些实现方式中,所述第一处理器为图像信号处理器,所述第二处理器为数字信号处理器,或者图形处理器。
应理解,在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第三方面中相同的内容。
第四方面,提供了一种电子设备,所述电子设备包括:一个或多个处理器、存储器和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面中的任一种图像处理方法。
第五方面,提供了一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行第一方面中的任一种图像处理方法。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面中的任一种图像处理方法。
第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面中的任一种图像处理方法。
在本申请的实施例中,电子设备可以根据检测到的对第一控件的第一操作确定三维查找表中的第一映射;将获取的第一颜色空间的待处理图像转换为第二颜色空间的第一图像;根据第一映射对第一图像进行处理,得到第二颜色空间的第二图像;将第二图像转换为第一颜色空间的第三图像,从而得到对待处理图像进行图像处理后的图像;通过本申请的实施例,基于三维查找表中的第一映射可以从色相、饱和度和亮度各个方面对待处理图像进行处理,提高输出图像的图像质量。
附图说明
图1是一种适用于本申请的装置的硬件系统的示意图;
图2是本申请实施例提供的应用场景的示意图;
图3是本申请实施例提供的一种终端设备的显示界面的示意图;
图4是本申请实施例提供的一种终端设备的显示界面的示意图;
图5是本申请实施例提供的一种终端设备的显示界面的示意图;
图6是本申请实施例提供的一种终端设备的显示界面的示意图;
图7是本申请实施例提供的一种终端设备的显示界面的示意图;
图8是本申请实施例提供的一种终端设备的显示界面的示意图;
图9是本申请实施例提供的一种终端设备的显示界面的示意图;
图10是本申请实施例提供的一种终端设备的显示界面的示意图;
图11是本申请实施例提供的一种终端设备的显示界面的示意图;
图12是本申请实施例提供的一种终端设备的显示界面的示意图;
图13是本申请实施例提供的图像处理方法的示意图;
图14是本申请实施例提供的图像处理方法的交互性示意图;
图15是本申请实施例提供的系统架构的示意图;
图16是本申请实施例提供的一种终端设备的显示界面的示意图;
图17是本申请实施例提供的一种终端设备的显示界面的示意图;
图18是本申请实施例提供的一种终端设备的显示界面的示意图;
图19是本申请实施例提供的一种终端设备的显示界面的示意图;
图20是本申请实施例提供的一种终端设备的显示界面的示意图;
图21是本申请实施例提供的一种终端设备的显示界面的示意图;
图22是本申请实施例提供的一种图像处理装置的示意图;
图23是本申请实施例提供的一种图像处理的电子设备的示意图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
图1示出了一种适用于本申请的终端设备的硬件系统。
终端设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、投影仪等等,本申请实施例对终端设备100的具体类型不作任何限制。
终端设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
需要说明的是,图1所示的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中,终端设备100可以包括比图1所示的部件更多或更少的部件,或者,终端设备100可以包括图1所示的部件中某些部件的组合,或者,终端设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。例如,处理器110可以包括以下接口中的至少一个:内部集成电路(inter-integrated circuit,I2C)接口、内部集成电路音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制(pulse codemodulation,PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purpose input/output,GPIO)接口、SIM接口、USB接口。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K、充电器、闪光灯、摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现终端设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194和摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI)、显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现终端设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现终端设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号接口,也可被配置为数据信号接口。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194、无线通信模块160、音频模块170和传感器模块180。GPIO接口还可以被配置为I2C接口、I2S接口、UART接口或MIPI接口。
USB接口130是符合USB标准规范的接口,例如可以是迷你(Mini)USB接口、微型(Micro)USB接口或C型USB(USB Type C)接口。USB接口130可以用于连接充电器为终端设备100充电,也可以用于终端设备100与外围设备之间传输数据,还可以用于连接耳机以通过耳机播放音频。USB接口130还可以用于连接其他终端设备100,例如AR设备。
图1所示的各模块间的连接关系只是示意性说明,并不构成对终端设备100的各模块间的连接关系的限定。可选地,终端设备100的各模块也可以采用上述实施例中多种连接方式的组合。
充电管理模块140用于从充电器接收电力。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的电流。在一些无线充电的实施例中,充电管理模块140可以通过终端设备100的无线充电线圈接收电磁波(电流路径如虚线所示)。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数和电池健康状态(例如,漏电、阻抗)等参数。可选地,电源管理模块141可以设置于处理器110中,或者,电源管理模块141和充电管理模块140可以设置于同一个器件中。
终端设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端设备100上的无线通信的解决方案,例如下列方案中的至少一个:第二代(2th generation,2G)移动通信解决方案、第三代(3thgeneration,3G)移动通信解决方案、第四代(4th generation,5G)移动通信解决方案、第五代(5th generation,5G)移动通信解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波和放大等处理,随后传送至调制解调处理器进行解调。移动通信模块150还可以放大经调制解调处理器调制后的信号,放大后的该信号经天线1转变为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(例如,扬声器170A、受话器170B)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
与移动通信模块150类似,无线通信模块160也可以提供应用在终端设备100上的无线通信解决方案,例如下列方案中的至少一个:无线局域网(wireless local areanetworks,WLAN)、蓝牙(bluetooth,BT)、蓝牙低功耗(bluetooth low energy,BLE)、超宽带(ultra wide band,UWB)、全球导航卫星系统(global navigation satellite system,GNSS)、调频(frequency modulation,FM)、近场通信(near field communication,NFC)、红外(infrared,IR)技术。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,并将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频和放大,该信号经天线2转变为电磁波辐射出去。
在一些实施例中,终端设备100的天线1和移动通信模块150耦合,终端设备100的天线2和无线通信模块160耦合,使得终端设备100可以通过无线通信技术与网络和其他电子设备通信。该无线通信技术可以包括以下通信技术中的至少一个:全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packetradio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-divisioncode division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,IR技术。该GNSS可以包括以下定位技术中的至少一个:全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigationsatellite system,GLONASS),北斗卫星导航系统(beidou navigation satellitesystem,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS),星基增强系统(satellite based augmentation systems,SBAS)。
终端设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、迷你发光二极管(mini light-emitting diode,Mini LED)、微型发光二极管(micro light-emitting diode,Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes,QLED)。在一些实施例中,终端设备100可以包括1个或N个显示屏194,N为大于1的正整数。
终端设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue,RGB),YUV等格式的图像信号。在一些实施例中,终端设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样,终端设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
NPU是一种借鉴生物神经网络结构的处理器,例如借鉴人脑神经元之间传递模式对输入信息快速处理,还可以不断地自学习。通过NPU可以实现终端设备100的智能认知等功能,例如:图像识别、人脸识别、语音识别和文本理解。
外部存储器接口120可以用于连接外部存储卡,例如安全数码(secure digital,SD)卡,实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能(例如,声音播放功能和图像播放功能)所需的应用程序。存储数据区可存储终端设备100使用过程中所创建的数据(例如,音频数据和电话本)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如:至少一个磁盘存储器件、闪存器件和通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令和/或存储在设置于处理器中的存储器的指令,执行终端设备100的各种处理方法。
终端设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能,例如,音乐播放和录音。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也可以用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170或者音频模块170的部分功能模块可以设置于处理器110中。
扬声器170A,也称为喇叭,用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170A收听音乐或免提通话。
受话器170B,也称为听筒,用于将音频电信号转换成声音信号。当用户使用终端设备100接听电话或语音信息时,可以通过将受话器170B靠近耳朵接听语音。
麦克风170C,也称为话筒或传声器,用于将声音信号转换为电信号。当用户拨打电话或发送语音信息时,可以通过靠近麦克风170C发声将声音信号输入麦克风170C。终端设备100可以设置至少一个麦克风170C。在另一些实施例中,终端设备100可以设置两个麦克风170C,以实现降噪功能。在另一些实施例中,终端设备100还可以设置三个、四个或更多麦克风170C,以实现识别声音来源和定向录音等功能。处理器110可以对麦克风170C输出的电信号进行处理,例如,音频模块170与无线通信模块160可以通过PCM接口耦合,麦克风170C将环境声音转换为电信号(如PCM信号)后,通过PCM接口将该电信号传输至处理器110;从处理器110对该电信号进行音量分析和频率分析,确定环境声音的音量和频率。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动终端设备100平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of theUSA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板,当力作用于压力传感器180A,电极之间的电容改变,终端设备100根据电容的变化确定压力的强度。当触摸操作作用于显示屏194时,终端设备100根据压力传感器180A检测所述触摸操作。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令;当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定终端设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定终端设备100围绕三个轴(即,x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如,当快门被按下时,陀螺仪传感器180B检测终端设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消终端设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
气压传感器180C用于测量气压。在一些实施例中,终端设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。终端设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当终端设备100是翻盖机时,终端设备100可以根据磁传感器180D检测翻盖的开合。终端设备100可以根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测终端设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别终端设备100的姿态,作为横竖屏切换和计步器等应用程序的输入参数。
距离传感器180F用于测量距离。终端设备100可以通过红外或激光测量距离。在一些实施例中,例如在拍摄场景中,终端设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(light-emitting diode,LED)和光检测器,例如,光电二极管。LED可以是红外LED;终端设备100通过LED向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到反射光时,终端设备100可以确定附近存在物体。当检测不到反射光时,终端设备100可以确定附近没有物体。终端设备100可以利用接近光传感器180G检测用户是否手持终端设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式或口袋模式的自动解锁与自动锁屏。
环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测终端设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
温度传感器180J用于检测温度。在一些实施例中,终端设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,终端设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,终端设备100对电池142加热,以避免低温导致终端设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,终端设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称为触控器件。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端设备100的表面,并且与显示屏194设置于不同的位置。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键和音量键。按键190可以是机械按键,也可以是触摸式按键。终端设备100可以接收按键输入信号,实现于案件输入信号相关的功能。
马达191可以产生振动。马达191可以用于来电提示,也可以用于触摸反馈。马达191可以对作用于不同应用程序的触摸操作产生不同的振动反馈效果。对于作用于显示屏194的不同区域的触摸操作,马达191也可产生不同的振动反馈效果。不同的应用场景(例如,时间提醒、接收信息、闹钟和游戏)可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态和电量变化,也可以用于指示消息、未接来电和通知。
SIM卡接口195用于连接SIM卡。SIM卡可以插入SIM卡接口195实现与终端设备100的接触,也可以从SIM卡接口195拔出实现与终端设备100的分离。终端设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。同一个SIM卡接口195可以同时插入多张卡,所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容外部存储卡。终端设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端设备100采用嵌入式SIM(embedded-SIM,eSIM)卡,eSIM卡可以嵌在终端设备100中,不能和终端设备100分离。
目前,对于图像的颜色校正处理,部分厂商在ISP中通过二维查找表对图像的色相与饱和度进行调整;但是,由于二维查找表只能调整色相与饱和度;因此,无法对相同色相不同亮度的颜色根据亮度进行不同程度地调整,使得通过二维查找表处理后得到的图像无法从色相、饱和度和亮度各个方面满足用户的需求。
有鉴于此,本申请提供了一种图像处理方法,电子设备根据第一操作可以确定三维查找表中的第一映射;将获取的第一颜色空间的待处理图像转换为第二颜色空间的第一图像;并根据第一映射对第一图像进行处理,可以得到第二颜色空间的第二图像;将第二图像转换为第一颜色空间的第三图像,从而得到待处理图像对应的目标图像;通过本申请的实施例,基于三维查找表的第一映射可以从色相、饱和度和亮度各个方面对待处理图像进行处理,提高输出图像的图像质量。
应理解,三维查找表中的第一映射也可以是指目标三维查找表;通过三维查找表中的第一映射可以确定一种图像模式;该图像模式可以实现相机中不同滤镜的效果。
示例性地,图2是本申请实施例提供的图像处理方法的应用场景的示意图;本申请的图像处理方法可以应用于图像处理;例如,可以对视频的原始图像帧进行颜色校正或者图像风格调整,得到目标图像帧,从而实现视频的各种图像风格效果,满足用户的需求。
例如,电子设备可以获取待处理图像与三维查找表的第一映射;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,待处理图像为在第一颜色空间获取的图像;根据第一映射对第一图像进行处理,得到第二图像;将第二颜色空间的第二图像转换为第一颜色空间的第三图像;其中,三维查找表的第一映射可以看作是某种函数关系,通过第一映射可以将每个像素的色彩信息进行重新定位得到新的色彩信息。
下面结合图3至图21对本申请实施例提供的图像处理方法进行详细描述。
实现方式一
在一个示例中,本申请实施例提供的图像处理方法可以应用于视频拍摄;在通过相机的电影模式拍摄视频时,用户可以手动选择拍摄该视频场景的目标三维查找表,该目标三维查表呈现在用户界面可以是相机中不同的滤镜效果;或者,相机可以自动识别拍摄视频的目标三维查找表,比如,相机可以根据识别的拍摄场景的内容确定选用的滤镜,即确定目标三维查表;图像信号处理器可以将获取图像帧与目标三维查找表的标识;图像信号处理器将该图像帧与目标三维查找表的标识发送相机算法库;相机算法库确定目标三维查找表,将目标三维查找表与图像帧发送至图形处理器或者数字信号处理器进行图像处理得到目标图像帧。
示例性地,图3示出了终端设备的一种图形用户界面(graphical userinterface,GUI),该GUI为终端设备的桌面210。当终端设备检测到用户点击桌面210上的相机应用(application,APP)的图标220的操作后,可以启动相机应用,显示如图4所示的另一GUI;图4所示的GUI可以是相机APP在拍照模式下的显示界面,在GUI可以包括拍摄界面230;拍摄界面230上可以包括取景框231与控件;比如,拍摄界面230中可以包括用于指示录像的控件232;以及用于指示LUT的控件233。在预览状态下,该取景框231内可以实时显示预览图像;其中,预览状态下可以是指用户打开相机且未按下录像按钮之前,此时取景框内可以实时显示预览图。在一个示例中,在相机应用启动后,可以直接显示如图4所示的电影模式界面。
在一个示例中,在相机应用启动后,可以显示拍照模式界面;终端设备可以检测到用户点击电影模式的操作,响应于用户的操作终端设备进入电影模式,如图4所示。
如图5所示,终端设备检测到用户点击控件233的操作;响应于用户的操作,拍摄界面230中可以显示多个不同图像模式的预览框234,预览框234中可以包括模式1、模式2、模式3等以及慢动作;其中,图像模式可以包括但不限于:好莱坞经典、超级英雄、欢乐之城、九零年代、樱之早春、神秘之境、黑白魅影、温暖之光等图像模式;慢动作可以用于将相机的拍摄模式从电影模式切换至慢动作模式。如图6所示,用户可以点击模式2,取景框231中显示的预览图像与模式2相同。
在一种可能的实现方式中,电子设备可以显示第一界面,第一界面包括第一控件;检测到对第一控件的第一操作;响应于第一操作,电子设备可以确定三维查找表中的第一映射;其中,第一界面可以是指如图5所示的界面,第一控件可以是指用于指示模式2的控件;检测到对第一控件的第一操作可以是指如图6所示,检测到用户点击用于指示模式2的控件的操作;电子设备通过检测到对第一控件的第一操作可以确定如图6所示的模式2对应的目标三维查找表,即可以是指三维查找表中的第一映射。
需要说明的是,上述以第一操作为点击操作为例进行举例说明;第一操作还可以是指通过语音指示选择第一控件的操作,或者,还可以包括其它的指示电子设备进行选择第一控件的行为。上述为举例说明,并不对本申请作任何限定。
在一个示例中,终端设备的相机可以根据用户的点击操作确定该拍摄场景的图像模式,即确定该拍摄场景的滤镜效果;如图6所示,用户可以点击模式2,取景框231中显示的预览图像与模式2相同。
应理解,图6所示可以为终端设备在竖屏状态下的电影模式界面;图7所示可以为终端设备在横屏状态下的电影模式界面;终端设备可以根据用户使用终端设备的状态确定竖屏显示或者横屏显示。
还应理解,图6与图7中对预览框234中显示的图像模式进行了举例说明;预览框中还可以包括其他图像模式,图像模式可以对应显示界面中不同的滤镜效果;上述图像模式的名称为举例说明,本申请对此不作任何限定。
在一个示例中,终端设备的相机可以根据拍摄场景自动识别拍摄场景确定图像模式,即相机可以根据拍摄场景自动识别拍摄场景确定滤镜效果。
例如,如图8所示拍摄界面230中可以包括用于指示设置的控件235;检测到用户点击控件235的操作,响应于用户操作显示设置界面,如图9所示;在设置界面上包括AI电影调色控件235,检测到用户开启AI电影调色模式;在用户开始AI电影调色模式后,用户可以无需手动选择图像模式,相机可以根据拍摄场景自动确定采用预览框中的某一图像模式进行视频拍摄;如图10所示,相机根据拍摄场景检测,确定根据模式3进行视频拍摄。
在一种可能的实现方式中,电子设备可以显示第一界面,第一界面包括第一控件;检测到对第一控件的第一操作;响应于第一操作,电子设备可以确定三维查找表中的第一映射;其中,第一界面可以是指如图9所示的界面,第一控件可以是指AI电影调色的控件;检测到对第一控件的第一操作可以是指如图10所示,电子设备检测到根据识别拍摄场景确定模式3的操作;电子设备通过检测到对第一控件的第一操作可以确定如图10所示的模式3对应的目标三维查找表,即可以是指三维查找表中的第一映射。
如图11所示,在确定图像模式(即滤镜效果)后,终端设备检测到用户点击指示录像的控件232;响应于用户的操作,终端设备开始进入录像,即终端设备进入视频拍摄。
应理解,上述用户用于指示录像行为的操作可以包括用户点击录像的控件232,也可以包括用户设备通过语音指示终端设备进行录像行为,或者,还可以包括用户其它的指示终端设备进行录像行为。上述为举例说明,并不对本申请作任何限定。
在一个示例中,如图12所示,拍摄界面230中还包括用于指示停止或者暂停的控件235;在拍摄视频的过程中,还可以通过点击抓拍控件抓拍图像;该抓拍图像的模式与拍摄视频所选取的模式相同。
上述结合图3至图12对用户在终端设备上进行操作的图形显示界面进行了描述,下面结合图13至图15对终端设备运行的算法进行描述。
图13是本申请实施例提供的图像处理方法的示意性流程图。
坏点校正201(Defect Pixel Correction,DPC)用于解决传感器上光线采集的点形成的阵列所存在的缺陷,或者光信号进行转化的过程中存在的错误;通常通过在亮度域上取其他周围像素点均值来消除坏点。
黑电平校正202(Black Level Correction,BLC)用于对黑电平进行校正处理,黑电平是指在经过一定校准的显示装置上,没有一行光亮输出的视频信号电平。进行黑电平校正的原因在于:一方面由于图像传感器存在暗电流,导致在没有光照的情况下像素也存在电压输出的问题;另一方面,由于图像传感器进行模数转换时精度不够;例如,以8比特(bit)为例,每个像素有效范围是0至255,图像传感器可能无法将接近于0的信息转化出来;根据用户的视觉特性(对暗处细节比较敏感),图像传感器的厂商一般会在模数转换时增加一个固定的偏移量使输出的像素在5(非固定值)至255之间,然后传输至ISP处理进行减法处理,将像素5(非固定值)调整至0,使得每个像素有效范围为0至255。
镜头阴影校正204(Lens Shading Correction,LSC)用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题。
降噪204可以是指Raw域降噪;Raw域降噪用于减少图像中的噪声;图像中存在的噪声会影响用户的视觉体验,通过降噪可以在一定程度上提高图像的图像质量。
自动白平衡205(Auto White Balance,AWB)用于使得白色在任何色温下相机均能把它还原成白;由于色温的影响,白纸在低色温下会偏黄,高色温下会偏蓝;白平衡的目的在于使得白色物体在任何色温下均为R=G=B呈现出白色。
颜色插值206用于使每个像素上同时包含RGB三个分量。颜色校正矩阵207(ColorCorrection Matrix,CCM),用于校准除白色以外其他颜色的准确度。全局色调映射208(Global Tone Mapping,GTM)用于解决高动态图像的灰度值分布不均匀的问题。伽马处理209用于通过调整伽马曲线来调整图像的亮度、对比度与动态范围等。RGB-YUV210用于将RGB颜色空间的图像转换为YUV颜色空间的图像。颜色降噪211用于对YUV颜色空间图像进行色相与饱和度的降噪。
前处理212(第一处理的一个示例)用于调整YUV图像的宽度;比如,YUV颜色空间的图像不满足128字节对齐约束,即图像的图像宽度不是128的整数倍,则可以调整图像宽度。
三维查找表处理213用于根据三维查找表对输入图像帧进行颜色校正处理;其中,YUV-RGB是指将YUV颜色空间的图像转换为RGB颜色空间的图像;RGB-YUV是指将RGB颜色空间的图像转换为YUV颜色空间的图像。
后处理214(第二处理的一个示例)可以用于在输出图像的图像格式不满足128字节对齐约束的情况下,则将输出图像调整与输入图像的格式相同。
直接存储器访问215用于实现不同速度的硬件装置的交互;亮度降噪216是用于YUV颜色空间的图像进行亮度的降噪;边缘增强217用于突出、加强和改善图像中不同灰度区域之间的边界和轮廓;对比度218用于调整过暗或者过亮图像的对比度使图像更加鲜明;格式化输出219用于输出不同格式的图像。
在本申请的实施例中,电子设备可以将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,待处理图像为在第一颜色空间获取的图像;根据三维查找表的第一映射对第一图像进行处理,得到第二图像;将第二颜色空间的第二图像转换为第一颜色空间的第三图像。
在一个示例中,如图13所示,第一颜色空间可以是指YUV颜色空间;第二颜色空间可以是指RGB颜色空间。
示例性地,如图13所示,待处理图像可以是指颜色降噪211处理后输出的图像;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像可以是指将颜色降噪211输出的图像进行前处理212得到前处理后的图像,将前处理后的图像从YUV颜色空间转换为RGB颜色空间的图像。
示例性地,如图13所示,待处理图像可以是指颜色降噪211处理后输出的图像;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像可以是指将颜色降噪211输出的图像直接从YUV颜色空间转换为RGB颜色空间的图像。
示例性地,如图13所示,根据三维查找表的第一映射对第一图像进行处理,得到第二图像可以是指三维查找表处理213中通过四面体插值算法对RGB颜色空间的图像进行映射,得到映射后的RGB颜色空间的图像。
示例性地,如图13所示,将第二颜色空间的第二图像转换为第一颜色空间的第三图像可以是指三维查找表处理213中将通过四面体插值算法映射的RGB颜色空间的图像从RGB颜色空间转换为YUV颜色空间。
应理解,三维查找表中的第一映射也可以是指一个目标三维查找表;通过三维查找表中的第一映射可以确定一种图像模式;该图像模式可以实现相机中不同滤镜的效果。
还应理解,上述通过YUV颜色空间与RGB颜色空间进行举例说明,本申请中第一颜色空间与第二颜色空间可以是指不同的颜色空间,对第一颜色空间与第二颜色空间不作任何具体限定。
在本申请的实施例中,电子设备根据第一操作可以确定三维查找表中的第一映射;将获取的第一颜色空间的待处理图像转换为第二颜色空间的第一图像;并根据第一映射对第一图像进行处理,可以得到第二颜色空间的第二图像;将第二图像转换为第一颜色空间的第三图像,从而得到待处理图像对应的目标图像;通过本申请的实施例,基于三维查找表的第一映射可以从色相、饱和度和亮度各个方面对待处理图像进行处理,提高输出图像的图像质量。
图14是本申请实施例提供的图像处理方法的示意性交互图。该方法300包括步骤S301至步骤S312,下面分别对这些步骤进行详细的描述。
步骤S301、相机应用程序发送拍摄指令。
在一个示例中,终端设备检测到用户点击相机应用的操作,响应于用户的操作运行相机;在相机应用程序运行后,在相机的电影模式下终端设备检测到用户点击录像的操作,响应于用户的操作,相机应用程序可以向图像信号处理器发送用于指示图像信号处理器获取图像信号的第一指令。
示例性地,如图15所示,用户下发拍摄指令,拍摄指令可以通过应用程410、应用框架层420、硬件抽象层430、驱动层440将拍摄指令传输至硬件层450;图像信号处理器接收拍摄指令后,获取图像帧。
步骤S302、相机应用程序向相机硬件抽象层发送目标三维查找表的标识。
在一个示例中,终端设备检测在相机的显示界面中点击目标三维查找表的第一操作,根据用户的第一操作相机应用程序可以获取目标模式。
在一个示例中,终端设备检测到用户设置相机自动识别拍摄场景确定目标三维查找表的第一操作,根据相机自动确定的目标模式。
应理解,目标模式对应一个目标三维查找表;目标模式可以是指三维查找表中的一种映射;比如,目标模式可以是指三维查找表中的第一映射。
示例性地,在相机应用程序确定目标模式后,可以将目标三维查找表的标识从应用层410传输至应用框架层420;再从应用框架420传输至硬件抽象层430。
步骤S303、获取图像帧。
示例性地,在检测到用户点击录像的操作后,图像信号处理器可以获取当前相机显示界面中预览框显示的图像。
步骤S304、向相机硬件抽象层发送图像帧。
应理解,相机硬件抽象层位于硬件抽象层,硬件抽象层包括相机硬件抽象层与其他硬件设备的抽象层;硬件抽象层是位于操作系统内核与硬件电路之间的接口层,用于将硬件抽象化;可以参见后续图15所示的系统架构。
示例性地,如图15所示,用户下发拍摄指令,拍摄指令可以通过应用程410、应用框架层420、硬件抽象层430、驱动层440将拍摄指令传输至硬件层450;图像信号处理器接收拍摄指令,获取待处理图像帧;图像信号处理器将获取的图像帧通过驱动层440向硬件抽象层430发送图像帧。
步骤S305、相机硬件抽象层向相机算法库发送图像帧与目标三维查找表的标识。
可以理解的,图像帧和标识可以同时发送,也可以分别进行发送。
步骤S306、相机算法库根据目标三维查找表的标识确定目标三维查找表。
应理解,相机算法库可以包括相机算法、图像算法等算法指令以及执行部分图像处理步骤。
示例性地,相机算法库可以对获取的图像帧执行如图13所示的前处理212以及后处理213;其中,前处理是可以指调整图像帧的宽度;比如,将图像帧的宽度调整为128的倍数;后处理是指调整图形处理器输出的目标图像帧的宽度,使得输出的目标图像帧与图像帧的宽度保持一致。
还用理解,相机算法库中可以包括电影模式下所有图像模式(即滤镜效果)对应的三维查找表的参数;比如,电影模式下可以包括8种图像模式的滤镜效果,则相机算法库中包括8种滤镜效果中每个滤镜效果对应的三维查找表。
在本申请的实施例中,相机算法库中可以加载三维查找表算法;比如,在相机应用程序启动电影模式时,三维查找表算法开始加载;在相机应用程序切换至其他模式时,三维查找表算法可以释放。
步骤S307、相机算法库向图形处理器发送图像帧与目标三维查找表。
步骤S308、图形处理器根据目标三维查找表对图像帧进行处理得到目标图像帧。
在一个示例中,图形处理器可以根据目标三维查找表与四面体插值算法对图像帧进行图像处理,得的目标图像帧。
示例性地,获取的图像帧可以是YUV颜色空间的图像帧,图形处理器可以将YUV颜色空间的图像帧转换为RGB颜色空间的图像帧;目标三维查找表可以是指一个三维颜色空间到另一个三维颜色空间的映射表,根据目标三维查找表可以采用四面体插值算法对图像帧进行图像;其中,四面体插值算法可以包括以下步骤:
步骤一:根据目标三维查找表的参数构建三维颜色空间;将三维颜色空间进行均匀的划分,得到多个立方块;比如,可以将三维空间的各个维度均匀的划分为32份,得到33×33×33个立方块;
步骤二:在RGB颜色空间的图像帧中获取一个像素点的像素值,根据像素值确定该像素点在三维颜色空间中最近邻的立方块;
步骤三:在该立方体的八个顶点中确定与像素值最邻近的4个点;
步骤四:对4个点的像素值进行加权平均处理得到该像素点映射后的像素值;依次遍历图像帧中的每一个像素点进行上述四面体插值算法处理,得到目标图像帧。
步骤S309、图形处理器向相机算法库发送目标图像帧。
步骤S310、相机算法库向相机硬件抽象层发送目标图像帧。
步骤S311、相机硬件抽象层向图像信号处理器发送目标图像帧。
步骤S312、图像信号处理器向相机应用程序发送目标图像帧。
例如,相机应用程序接收到目标图像帧后,在相机的显示界面上显示目标图像帧。
可以理解的,也可以步骤S311也可以不存在,相机硬件抽象层向相机应用程序发送目标图像帧。
应理解,上述以GPU中执行根据目标三维查找表对图像帧进行处理的过程进行举例说明;根据目标三维查找表对图像帧进行处理的过程还可以在DSP中执行,或者其他目标处理器中执行,目标处理器可以是指用于图像处理支持并行计算,并且独立于图像信号处理ISP芯片的处理器。
在本申请的实施例中,可以在电子设备中运行三维查找表算法,通过三维查找表算法对图像帧进行处理得到目标图像帧;相机硬件抽象层可以获取图像帧与目标三维查找表的标识,相机硬件抽象层可以向GPU或者DSP发送图像帧与目标三维查找表;GPU或者DSP根据目标三维查找表对图像帧进行处理得到目标图像帧;通过本申请实施例中的三维查找表算法可以取代在硬件设备ISP中的通过二维查找表对图像帧进行处理的过程;此外,与二维查找表相比,本申请实施提供的图像处理方法,能够从色相、饱和度和亮度各个方面对图像帧进行处理,提高图像质量。
图15是本申请实施例提供的图像处理方法的数据流传输的示意图。
如图15所示,系统架构中可以包括应用层410、应用框架层420、硬件抽象层430、驱动层440以及硬件层450。
应用程序层410可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
应用程序框架层420为应用程序层的应用程序提供应用程序编程接口(application programming interface,API)和编程框架;应用程序框架层可以包括一些预定义的函数。
例如,应用程序框架层420可以包括相机访问接口;相机访问接口中可以包括相机管理与相机设备。其中,相机管理可以用于提供管理相机的访问接口;相机设备可以用于提供访问相机的接口。
硬件抽象层430用于将硬件抽象化。比如,硬件抽象层可以包相机抽象层以及其他硬件设备抽象层;相机抽象层中可以包括相机设备1、相机设备2等;相机硬件抽象层可以与相机算法库相连接,相机硬件抽象层可以调用相机算法库中的算法。
例如,相机算法库可以包括相机算法、图像算法等算法指令以及执行部分图像处理步骤;比如,相机算法库可以对获取的图像帧进行如图13所示的前处理212以及后处理213;其中,前处理是指调整图像帧的图像宽度;比如,将图像帧的宽度调整为128的倍数;后处理是指调整图形处理器输出的目标图像帧的宽度,使得输出的目标图像帧与输入的图像帧的宽度保持一致。
在一个示例中,相机算法库还可以用于执行以下一项或者多项:
预存储多个三维查找表的文件,不同的三维查找表文件对应显示界面的不同图像模式;将目标三维查找表的标识与GPU或者DSP进行对应,即确定目标三维查找表的标识对应在GPU中执行或者DSP中执行。
驱动层440用于为不同硬件设备提供驱动。比如,驱动层可以包括相机驱动;数字信号处理器驱动以及图形处理器驱动。
硬件层450可以包括传感器、图像处理器、数字信号处理器、图形处理器以及其他硬件设备。
示例性地,下面结合图15以视频拍摄场景为例,对本申请实施例提供的图像处理方法进行说明。
用户点击终端设备中安装的相机应用程序,响应于用户的点击操作,启动相机应用程序;在相机应用程序中,检测到用户选择电影模式;在启动电影模式时,相机算法库可以加载本申请实施例提供的三维查找表算法;比如,相机算法库可以加载预先存储的多个三维查找表文件;在电影模式中用户可以选择目标滤镜效果或者相机自动识别确定目标滤镜效果,该目标滤镜效果对应目标三维查找表;在终端设备的显示界面中可以显示该目标图像模式对应的预览图像,用户在相机应用程序中点击用于指示录像的插件;触发相机应用程序通过相机访问接口、相机硬件抽象层、相机设备驱动、传感器向图像信号处理器发送拍摄指令;图像信号处理器获取图像帧,并通过相机设备驱动、相机硬件抽象层将图像帧与目标三维查找表的标识发送至相机算法库;此外,相机应用程序响应于用户的第一操作,确定目标三维查找表的标识,并向相机硬件抽象层发送目标三维查找表的标识,相机硬件抽象层获取目标三维查找表的标识后向相机算法库发送目标三维查找表的标识;相机算法库可以根据目标三维查找表的标识从预先存储的多个三维查找表文件中确定一组参数,根据性能或其他需求选择GPU或者DSP的版本函数;相机算法库还可以对获取的图像帧进行前处理,比如,前处理可以是指调整图像帧的图像宽度;将前处理后的图像帧与目标三维查找表的参数通过GPU驱动发送至GPU,GPU获取图像帧与目标三维查找表的参数后可以根据目标三维查找表对图像帧进行颜色校正处理,得到目标图像帧;比如,获取的图像帧可以是指YUV颜色空间的图像帧,GPU可以将YUV颜色空间的图像帧转换为RGB颜色空间;根据目标三维查找表与四面体插值算法对RGB颜色空间的图像帧进行处理,得到处理后的RGB颜色空间图像;再将处理后的RGB颜色空间的图像转换为YUV颜色空间,即可以是目标图像帧;GPU将目标图像帧通过GPU驱动发送至相机算法库,相机算法库接收到目标图像帧后可以根据目标图像帧的格式对目标图像帧进行后处理;例如,在目标图像帧的宽度不满足预设条件时调整目标图像帧的格式;比如,若输入的图像帧的格式不满足128字节对齐约束的情况下,将输出的目标图像帧可以调整与输入的图像帧相同的格式;相机算法库通过相机硬件抽象层、相机设备驱动将目标图像帧发送至图像信号处理器;图像信号处理器通过相机设备驱动、相机设备硬件层、相机访问接口将目标图像帧发送至相机应用程序,相机应用程序在对目标图像帧进行显示。
在一个示例中,对于视频场景中获取的视频中可以包括多个图像帧;在确定一个目标滤镜效果后,相机算法库可以确定一个目标三维查找表并发送至GPU;在未切换目标滤镜效果时,相机算法库可以在发送第一个图像帧时将目标三维查找表发送至GPU中;在后续采用该目标三维查找表对其他图像帧进行图像处理时,相机算法库可以不需要再次发送该目标三维查找表,可以向GPU发送指令使得GPU继续采用该目标三维查找表;当切换目标滤镜效果时,相机算法在接收到切换后目标三维查找表的标识后,需要重新确定目标三维查找表,并向GPU发送切换后的目标三维查找表。
应理解,上述以GPU中执行根据目标三维查找表对图像帧进行处理的过程进行举例说明;根据目标三维查找表对图像帧进行处理的过程还可以在DSP中执行,或者其他目标处理器中执行,目标处理器可以是指用于图像处理支持并行计算,并且独立于图像信号处理ISP芯片的处理器。
在本申请的实施例中,终端设备的硬件抽象层可以获取图像帧与目标三维查找表的标识;根据目标三维查找表的标识可以确定目标三维查找表,并向目标处理器发送原始图像帧与目标三维查找表,目标处理器可以根据目标三维查找表对原始图像帧进行图像处理得到目标图像帧;在本申请的实施例中,通过独立于ISP芯片的目标处理器可以根据目标三维查找表对图像帧进行图像处理;因此,在芯片受限的情况下,可以从色相、饱和度和亮度各个方面对原始图像帧进行图像处理,提高目标图像帧的图像质量;此外,目标处理器可以支持并行计算,即目标处理器可以根据目标三维查找表对图像帧中的多个像素进行并行处理;因此,在提高图像质量的情况下还能够缩短图像处理的运行时间,提高图像处理的效率。
在一个示例中,用户可以通过图库应用程序向相机算法库发送图像处理指令,从而调用相机算法库中的三维查找表算法对视频进行图像处理得到目标视频;下面结果实现方式二进行详细说明。
实现方式二
在一个示例中,用户可以在图库中获取完成拍摄的视频,将完成拍摄的视频与目标三维查找表的标识发送至相机算法库;相机算法库确定目标三维查找表,将目标三维查找表与完成拍摄的视频发送至图形处理器或者数字信号处理器进行图像处理得到目标视频。
示例性地,图16示出了终端设备的显示桌面510的示意图。当终端设备检测到用户点击桌面510上的图库应用的图标520的操作后,可以启动图库应用,显示如图17所示的另一GUI;图17所示为终端设备的相簿,相簿中包括视频与图像;终端设备检测到用户点击相簿中视频6的操作,响应于用户的操作将视频6显示于终端设备的显示界面,如图18所示。图18所示的显示界面630中包括取景框531,取景框531中显示视频6的内容;在拍摄界面530中还包括更多选项532,终端设备检测到用户点击更多选项532的操作,响应于用户的操作终端设备显示更多选项的设置界面,如图19所示;在更多选项的设置界面中包括LUT选项533、水印选择以及其他选项,终端设备检测到用户点击LUT选项的操作后,显示如图20所示的界面;在拍摄界面530中显示多个不同图像模式的预览框534,预览框534中可以包括模式1、模式2、模式3等以及慢动作;其中,图像模式可以包括但不限于:好莱坞经典、超级英雄、欢乐之城、九零年代、樱之早春、神秘之境、黑白魅影、温暖之光等图像模式。应理解,上述图像模式的名称为举例说明,本申请对此不作任何限定。
在一个示例中,如图21所示,终端设备检测到用户点击预览框534中模式3,则终端设备根据模式3对视频6进行图像处理;体流程可以参见上述图14与图15所示的流程图,此处不再赘述。
应理解,实现方式二与实现方式一的差异之处在于实现方式二是通过图库应用触发图像处理指令,通过图像处理指令调用相机算法库中的三维查找表算法,相机算法库将视频与目标三维查找表发送至GPU或者DSP中进行处理,得到目标视频;此外,由于获取的是已完成拍摄的视频,则无需通过图像信号处理器获取图像帧,可以从图库中直接调用完成拍摄的视频。
上文结合图1至图21详细描述了本申请实施例提供的图像处理方法;下面将结合图22与图23详细描述本申请的装置实施例。应理解,本申请实施例中的装置可以执行前述本申请实施例的各种方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图22是本申请实施例提供的图像处理装置的结构示意图。该图像处理装置600包括显示单元610和处理单元620。
其中,所述显示单元610用于显示第一界面,所述第一界面包括第一控件;所述处理单元620用于检测到对所述第一控件的第一操作;响应于所述第一操作,确定三维查找表中的第一映射,所述第一映射与所述第一控件对应;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,所述待处理图像为在所述第一颜色空间获取的图像;根据所述第一映射对所述第一图像进行处理,得到第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的第三图像。
可选地,作为一个实施例,所述图像处理装置包括预先存储的所述三维查找表,所述处理单元620具体用于:
根据所述第一映射的标识从所述预先存储的所述三维表中确定所述第一映射。
可选地,作为一个实施例,所述处理单元620具体用于:
对所述待处理图像进行第一处理,得到第一处理后的图像,所述第一处理是指调整所述待处理图像的图像宽度;
将所述第一处理后图像转换为所述第二颜色空间的所述第一图像。
可选地,作为一个实施例,所述处理单元620具体用于:
根据所述第一映射与四面体插值算法对所述第一图像进行处理,得到所述第二图像。
可选地,作为一个实施例,所述处理单元620具体用于:
根据所述第一映射与所述四面体插值算法对所述第一图像中的每个像素分别进行映射,得到目标像素;
根据所述目标像素得到所述第二图像。
可选地,作为一个实施例,所述处理单元620还用于:
对所述第三图像进行第二处理,所述第二处理是指将所述第三图像的图像宽度调整至与所述待处理图像的图像宽度相同。
可选地,作为一个实施例,所述第一控件是指用于指示所述三维查找表中所述第一映射表的控件。
可选地,作为一个实施例,所述第一控件是指用于指示自动识别所述三维查找表中第一映射的控件。
可选地,作为一个实施例,所述图像处理装置包括第一处理器与第二处理器;其中,所述第一处理器用户获取所述待处理图像;所述第二处理器用于将所述第一颜色空间的所述待处理图像转换为所述第二颜色空间的所述第一图像;根据所述第一映射对所述第一图像进行处理,得到所述第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的所述第三图像。
可选地,作为一个实施例,所述第一处理器为图像信号处理器,所述第二处理器为数字信号处理器,或者图形处理器。
需要说明的是,上述处理装置600以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
图23示出了本申请提供的一种电子设备的结构示意图。图23中的虚线表示该单元或该模块为可选的。电子设备700可用于实现上述方法实施例中描述的图像处理方法。
电子设备700包括一个或多个处理器701,该一个或多个处理器702可支持电子设备700实现方法实施例中的方法。处理器701可以是通用处理器或者专用处理器。例如,处理器701可以是中央处理器(central processing unit,CPU)、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件,如分立门、晶体管逻辑器件或分立硬件组件。
处理器701可以用于对电子设备700进行控制,执行软件程序,处理软件程序的数据。电子设备700还可以包括通信单元705,用以实现信号的输入(接收)和输出(发送)。
例如,电子设备700可以是芯片,通信单元705可以是该芯片的输入和/或输出电路,或者,通信单元705可以是该芯片的通信接口,该芯片可以作为终端设备或其它电子设备的组成部分。
又例如,电子设备700可以是终端设备,通信单元705可以是该终端设备的收发器,或者,通信单元705可以是该终端设备的收发电路。
电子设备700中可以包括一个或多个存储器702,其上存有程序704,程序704可被处理器701运行,生成指令703,使得处理器701根据指令703执行上述方法实施例中描述的图像处理方法。
可选地,存储器702中还可以存储有数据。可选地,处理器701还可以读取存储器702中存储的数据,该数据可以与程序704存储在相同的存储地址,该数据也可以与程序704存储在不同的存储地址。
处理器701和存储器702可以单独设置,也可以集成在一起;例如,集成在终端设备的系统级芯片(system on chip,SOC)上。
示例性地,存储器702可以用于存储本申请实施例中提供的图像处理方法的相关程序704,处理器701可以用于在图像处理时调用存储器702中存储的图像处理方法的相关程序704,执行本申请实施例的图像处理方法;例如,显示第一界面,所述第一界面包括第一控件;检测到对所述第一控件的第一操作;响应于所述第一操作,确定三维查找表中的第一映射,所述第一映射与所述第一控件对应;将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,所述待处理图像为在所述第一颜色空间获取的图像;根据所述第一映射对所述第一图像进行处理,得到第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的第三图像。
本申请还提供了一种计算机程序产品,该计算机程序产品被处理器701执行时实现本申请中任一方法实施例所述的图像处理方法。
该计算机程序产品可以存储在存储器702中,例如是程序704,程序704经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器701执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
可选地,该计算机可读存储介质例如是存储器702。存储器702可以是易失性存储器或非易失性存储器,或者,存储器702可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和设备的具体工作过程以及产生的技术效果,可以参考前述方法实施例中对应的过程和技术效果,在此不再赘述。
在本申请所提供的几个实施例中,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的方法实施例的一些特征可以忽略,或不执行。以上所描述的装置实施例仅仅是示意性的,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统。另外,各单元之间的耦合或各个组件之间的耦合可以是直接耦合,也可以是间接耦合,上述耦合包括电的、机械的或其它形式的连接。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种图像处理方法,其特征在于,应用于电子设备,所述图像处理方法包括:
显示第一界面,所述第一界面包括第一控件;
检测到对所述第一控件的第一操作;
响应于所述第一操作,确定三维查找表中的第一映射,所述第一映射与所述第一控件对应;
将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,所述待处理图像为在所述第一颜色空间获取的图像;
根据所述第一映射对所述第一图像进行处理,得到第二图像;
将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的第三图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述电子设备包括预先存储的所述三维查找表,所述确定三维查找表中的第一映射,包括:
根据所述第一映射的标识从所述预先存储的所述三维表中确定所述第一映射。
3.如权利要求1或2所述的图像处理方法,其特征在于,所述将第一颜色空间的待处理图像转换为第二颜色空间的第一图像,包括:
对所述待处理图像进行第一处理,得到第一处理后的图像,所述第一处理是指调整所述待处理图像的图像宽度;
将所述第一处理后的图像转换为所述第二颜色空间的所述第一图像。
4.如权利要求1至3中任一项所述的图像处理方法,其特征在于,所述根据所述第一映射对所述第一图像进行处理,得到第二图像,包括:
根据所述第一映射与四面体插值算法对所述第一图像进行处理,得到所述第二图像。
5.如权利要求4所述的图像处理方法,其特征在于,所述根据所述第一映射与四面体插值算法对所述第一图像进行处理,得到所述第二图像,包括:
根据所述第一映射与所述四面体插值算法对所述第一图像中的每个像素分别进行映射,得到目标像素;
根据所述目标像素得到所述第二图像。
6.如权利要求1至5中任一项所述的图像处理方法,其特征在于,还包括:
对所述第三图像进行第二处理,所述第二处理是指将所述第三图像的图像宽度调整至与所述待处理图像的图像宽度相同。
7.如权利要求1至6中任一项所述的图像处理方法,其特征在于,所述第一控件是指用于指示所述三维查找表中所述第一映射表的控件。
8.如权利要求1至6中任一项所述的图像处理方法,其特征在于,所述第一控件是指用于指示自动识别所述三维查找表中的第一映射的控件。
9.如权利要求1至8中任一项所述的图像处理方法,其特征在于,所述电子设备包括第一处理器与第二处理器;
其中,所述第一处理器用户获取所述待处理图像;所述第二处理器用于将所述第一颜色空间的所述待处理图像转换为所述第二颜色空间的所述第一图像;根据所述第一映射对所述第一图像进行处理,得到所述第二图像;将所述第二颜色空间的所述第二图像转换为所述第一颜色空间的所述第三图像。
10.如权利要求9所述的图像处理方法,其特征在于,所述第一处理器为图像信号处理器,所述第二处理器为数字信号处理器,或者图形处理器。
11.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器、存储器和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至10中任一项所述的图像处理方法。
12.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至10中任一项所述的图像处理方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储了计算机程序,当所述计算机程序被处理器执行时,使得处理器执行权利要求1至10中任一项所述的图像处理方法。
14.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码被处理器执行时,使得处理器执行权利要求1至10中任一项所述的图像处理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110915871.6A CN115631250B (zh) | 2021-08-10 | 2021-08-10 | 图像处理方法与电子设备 |
EP22797250.2A EP4156075A1 (en) | 2021-08-10 | 2022-05-07 | Image processing method and electronic device |
PCT/CN2022/091446 WO2023015985A1 (zh) | 2021-08-10 | 2022-05-07 | 图像处理方法与电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110915871.6A CN115631250B (zh) | 2021-08-10 | 2021-08-10 | 图像处理方法与电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115631250A true CN115631250A (zh) | 2023-01-20 |
CN115631250B CN115631250B (zh) | 2024-03-29 |
Family
ID=84901243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110915871.6A Active CN115631250B (zh) | 2021-08-10 | 2021-08-10 | 图像处理方法与电子设备 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4156075A1 (zh) |
CN (1) | CN115631250B (zh) |
WO (1) | WO2023015985A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117453104A (zh) * | 2023-11-30 | 2024-01-26 | 荣耀终端有限公司 | 图像获取方法及电子设备 |
WO2024164627A1 (zh) * | 2023-02-10 | 2024-08-15 | 荣耀终端有限公司 | 颜色切换方法、装置、介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109167930A (zh) * | 2018-10-11 | 2019-01-08 | Oppo广东移动通信有限公司 | 图像显示方法、装置、电子设备和计算机可读存储介质 |
CN109361867A (zh) * | 2018-11-23 | 2019-02-19 | 维沃移动通信有限公司 | 一种滤镜处理方法及移动终端 |
US20200027386A1 (en) * | 2017-04-14 | 2020-01-23 | Xi'an Novastar Tech Co., Ltd. | Image display control method and device, and display screen control system |
CN111416950A (zh) * | 2020-03-26 | 2020-07-14 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、存储介质及电子设备 |
CN113126939A (zh) * | 2020-01-15 | 2021-07-16 | 荣耀终端有限公司 | 显示方法、显示器控制装置、显示器及电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016149047A (ja) * | 2015-02-13 | 2016-08-18 | セイコーエプソン株式会社 | 画像処理装置、表示装置、及び、画像処理方法 |
CN106161990B (zh) * | 2015-04-28 | 2019-11-12 | 腾讯科技(北京)有限公司 | 一种图像处理方法和装置 |
US9959604B2 (en) * | 2016-06-13 | 2018-05-01 | Gopro, Inc. | Dynamic global tone mapping with integrated 3D color look-up table |
CN108701351B (zh) * | 2016-10-17 | 2022-03-29 | 华为技术有限公司 | 一种图像显示增强方法及装置 |
KR20190017303A (ko) * | 2017-08-10 | 2019-02-20 | 엘지전자 주식회사 | 이동 단말기 |
JP7138935B2 (ja) * | 2018-10-19 | 2022-09-20 | 株式会社朋栄 | Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法 |
CN112530382B (zh) * | 2019-09-19 | 2022-05-13 | 华为技术有限公司 | 电子设备调整画面色彩的方法和装置 |
-
2021
- 2021-08-10 CN CN202110915871.6A patent/CN115631250B/zh active Active
-
2022
- 2022-05-07 EP EP22797250.2A patent/EP4156075A1/en not_active Withdrawn
- 2022-05-07 WO PCT/CN2022/091446 patent/WO2023015985A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200027386A1 (en) * | 2017-04-14 | 2020-01-23 | Xi'an Novastar Tech Co., Ltd. | Image display control method and device, and display screen control system |
CN109167930A (zh) * | 2018-10-11 | 2019-01-08 | Oppo广东移动通信有限公司 | 图像显示方法、装置、电子设备和计算机可读存储介质 |
CN109361867A (zh) * | 2018-11-23 | 2019-02-19 | 维沃移动通信有限公司 | 一种滤镜处理方法及移动终端 |
CN113126939A (zh) * | 2020-01-15 | 2021-07-16 | 荣耀终端有限公司 | 显示方法、显示器控制装置、显示器及电子设备 |
CN111416950A (zh) * | 2020-03-26 | 2020-07-14 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
ZHONGSHUI QU 等: "A color YUV image edge detection method based on histogram equalization transformation", 《IEEE XPLORE》 * |
向方明 等: "YUV到RGB颜色空间转换算法研究", 《现代电子技术》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024164627A1 (zh) * | 2023-02-10 | 2024-08-15 | 荣耀终端有限公司 | 颜色切换方法、装置、介质及电子设备 |
CN117453104A (zh) * | 2023-11-30 | 2024-01-26 | 荣耀终端有限公司 | 图像获取方法及电子设备 |
CN117453104B (zh) * | 2023-11-30 | 2024-05-24 | 荣耀终端有限公司 | 图像获取方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
EP4156075A1 (en) | 2023-03-29 |
WO2023015985A1 (zh) | 2023-02-16 |
CN115631250B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113132620B (zh) | 一种图像拍摄方法及相关装置 | |
CN113810600B (zh) | 终端的图像处理方法、装置和终端设备 | |
US20220148161A1 (en) | Skin detection method and electronic device | |
CN113810601B (zh) | 终端的图像处理方法、装置和终端设备 | |
US20230188861A1 (en) | Light Compensation Method for Photographing and Related Apparatus | |
CN114095666B (zh) | 拍照方法、电子设备和计算机可读存储介质 | |
EP4231147A1 (en) | Drawing command processing method and related device therefor | |
US20240236504A9 (en) | Point light source image detection method and electronic device | |
CN110138999B (zh) | 一种用于移动终端的证件扫描方法及装置 | |
WO2023015985A1 (zh) | 图像处理方法与电子设备 | |
WO2023131070A1 (zh) | 一种电子设备的管理方法、电子设备及可读存储介质 | |
WO2022001258A1 (zh) | 多屏显示方法、装置、终端设备及存储介质 | |
US20240119566A1 (en) | Image processing method and apparatus, and electronic device | |
CN114466134A (zh) | 生成hdr图像的方法及电子设备 | |
WO2020233593A1 (zh) | 一种前景元素的显示方法和电子设备 | |
WO2024078275A1 (zh) | 一种图像处理的方法、装置、电子设备及存储介质 | |
CN115550556A (zh) | 一种曝光强度调节方法及相关装置 | |
WO2023015989A1 (zh) | 图像处理方法与电子设备 | |
CN114020186B (zh) | 健康数据的显示方法和显示装置 | |
CN115706869A (zh) | 终端的图像处理方法、装置和终端设备 | |
CN115686182A (zh) | 增强现实视频的处理方法与电子设备 | |
CN113891008A (zh) | 一种曝光强度调节方法及相关设备 | |
CN112581903A (zh) | 一种像素补偿方法和电子设备 | |
CN117119314B (zh) | 一种图像处理方法及相关电子设备 | |
WO2023124178A1 (zh) | 显示预览图像的方法、装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40078673 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |