CN116055847A - 图像增强处理方法和电子设备 - Google Patents

图像增强处理方法和电子设备 Download PDF

Info

Publication number
CN116055847A
CN116055847A CN202310309901.8A CN202310309901A CN116055847A CN 116055847 A CN116055847 A CN 116055847A CN 202310309901 A CN202310309901 A CN 202310309901A CN 116055847 A CN116055847 A CN 116055847A
Authority
CN
China
Prior art keywords
color
image
colors
electronic equipment
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310309901.8A
Other languages
English (en)
Other versions
CN116055847B (zh
Inventor
陈铎
孙佳男
姚通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310309901.8A priority Critical patent/CN116055847B/zh
Publication of CN116055847A publication Critical patent/CN116055847A/zh
Application granted granted Critical
Publication of CN116055847B publication Critical patent/CN116055847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像增强处理方法和电子设备,涉及图像处理技术领域,应用于设置有色轮、图像传感器的电子设备,色轮包括多个放置有彩色滤光片的孔,多个彩色滤光片对应多个颜色,多个颜色包括基础颜色和合成颜色。该方法包括:电子设备在拍摄时,通过控制色轮转动,使得每一个彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,获取多个彩色滤光片对应的单色图像。根据单色图像之间的颜色映射关系,对基础颜色对应的单色图像进行位宽映射处理,输出高位宽的彩色图像。本申请中,不需要增设高位宽的图像传感器,降低了电子设备的成本,且,不需要对多张曝光图像进行亮度对齐操作,避免了由于色阶无法对齐导致的图像增强处理不准确的问题。

Description

图像增强处理方法和电子设备
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像增强处理方法和电子设备。
背景技术
电子设备在拍照时,可通过图像传感器采集拍摄对象的光信号,将光信号进行信号转换得到模拟电信号,再将模拟电信号经过数模信号转换得到对应的数字信号,从而得到拍摄对象的拍摄图像。图像传感器的规格决定了拍摄图像的位宽。常见的电子设备的图像传感器的规格为8bit,也即,通过图像传感器采集到的拍摄图像的位宽为8bit。
在一些需要采集高位宽的拍摄图像的场景下,需要对低位宽的拍摄图像进行位宽增强处理。常见的位宽增强方法通过采集同一场景的多帧曝光图,基于高动态范围(highdynamic range,HDR)算法对采集到的多帧曝光图进行图像增强处理,得到高位宽的拍摄图像。
然而,现有的基于HDR算法的图像位宽增强方法在图像增强过程中,需要对齐多帧曝光图的亮度,导致得到的高位宽的拍摄图像容易出现偏色的问题。
发明内容
本申请实施例提供一种图像增强处理方法和电子设备,通过在电子设备中设置色轮,通过色轮上放置的多个彩色滤光片,可实现同一场景的多张单色图像的采集,从而根据颜色映射关系和采集到的多张单色图像,对多张单色图像进行图像位宽增强处理,得到色彩精度较高的高位宽图像。本申请中,不需要增设高位宽的图像传感器,降低电子设备的成本,且,不需要对多张图像进行亮度对齐操作,避免了由于对不齐导致的图像增强处理不准确的问题。
为达到上述目的,本申请的实施例采用如下技术方案。
第一方面,提供了一种图像增强处理方法,应用于电子设备,电子设备包括色轮和摄像头,摄像头包括镜头和图像传感器,色轮包括多个放置有彩色滤光片的孔,多个彩色滤光片对应多个颜色,多个颜色包括基础颜色和至少三个合成颜色,其中,基础颜色包括红色、蓝色和绿色,合成颜色由红色R、绿色G、蓝色B以预设比例合成。
该方法包括:
电子设备响应于用户的拍摄操作,控制色轮转动预设角度,以使各彩色滤光片的中点与所述镜头的光轴重合,调用图像传感器获取各彩色滤光片对应颜色的单色图像;电子设备根据单色图像和预设的颜色映射关系,获取各基础颜色对应的单色图像对应的浮点图像;预设的颜色映射关系用于表征基础颜色与合成颜色之间的红色R、绿色G、蓝色B的预设比例关系;电子设备根据各基础颜色对应的单色图像对应的浮点图像和目标位宽,输出目标位宽对应的目标图像。
其中,预设角度可以根据色轮上圆孔的排列获取得到。本申请中,电子设备在拍摄时,通过控制色轮转动预设角度,使得每一个彩色滤光片的中点与所述镜头的光轴重合,获取多个彩色滤光片对应颜色的单色图像。根据单色图像之间的颜色映射关系,对基础颜色对应的单色图像进行位宽映射处理,从而得到高位宽的基础颜色对应的单色图像,最终输出高位宽的彩色图像。本申请中,不需要增设高位宽的图像传感器,降低了电子设备的成本,且,不需要对多张曝光图像进行亮度对齐操作,避免了由于色阶无法对齐导致的图像增强处理不准确的问题。
结合第一方面,在一种可能的设计方式中,电子设备控制色轮转动至各彩色滤光片,调用图像传感器获取各彩色滤光片对应颜色的单色图像,包括:
针对色轮中的每一个彩色滤光片,电子设备控制色轮转动预设角度,使得各彩色滤光片的中点与所述镜头的光轴重合,电子设备经过预设时长曝光,调用图像传感器获取各彩色滤光片对应颜色的单色图像,直到电子设备获取到色轮上的所有彩色滤光片对应颜色的单色图像。
本申请中,电子设备可以控制色轮转动来获取色轮上各个彩色滤光片对应颜色的单色图像,形成当前拍摄场景的多光谱图像,电子设备可以基于多光谱图像以及预设的颜色映射关系来进行图像位宽增强操作,避免进行多张图像的亮度对齐操作,提高输出图像的色彩准确性。
结合第一方面,在一种可能的设计方式中,单色图像的位宽为初始位宽;电子设备根据单色图像和预设的颜色映射关系,获取各基础颜色对应的单色图像对应的浮点图像,包括:
电子设备根据单色图像的初始位宽、预设的颜色映射关系,对至少三个合成颜色对应的图像进行归一化处理,获取归一化处理后的至少三个合成颜色对应的图像;电子设备根据归一化处理后的至少三个合成颜色对应的图像和基础颜色对应的单色图像,获取基础颜色对应的浮点图像。
本申请中,电子设备根据单色图像的初始位宽、预设的颜色映射关系,对至少三个合成颜色对应的图像进行归一化处理,获取到的单色图像对应的浮点图像,该浮点图像表征着当前场景对应的红色图像、蓝色图像以及绿色图像的最准确的值,从而基于浮点图像得到的输出图像也具有较高的色彩准确度。
结合第一方面,在一种可能的设计方式中,电子设备根据单色图像的初始位宽、预设的颜色映射关系,对至少三个合成颜色对应的图像进行归一化处理,获取归一化处理后的至少三个合成颜色对应的图像,包括:
电子设备根据单色图像的初始位宽、预设的颜色映射关系,构建归一化矩阵;电子设备根据归一化矩阵以及至少三个合成颜色对应的图像的RGB实际比例,对至少三个合成颜色对应的图像进行归一化处理,获取归一化处理后的至少三个合成颜色对应的图像。
本申请中,电子设备根据单色图像的初始位宽、预设的颜色映射关系,构建归一化矩阵,基于归一化矩阵获取浮点图像的方法比较简单,且,数值的计算具有一定的精度,进一步地提高了输出图像的色彩准确性。
结合第一方面,在一种可能的设计方式中,电子设备根据归一化处理后的至少三个合成颜色对应的图像和基础颜色对应的单色图像,获取基础颜色对应的浮点图像,包括:
电子设备根据归一化矩阵和单色图像构建目标函数;目标函数用于表征合成颜色对应的图像的RGB预设比例与RGB实际比例之间的差异值;电子设备根据目标函数,获取差异值最小时对应的基础颜色对应的浮点图像。
其中,合成颜色的RGB预设比例可以通过颜色映射关系获取。
本申请中,基于合成颜色的RGB预设比例和RGB实际比例之间的差异值构建目标函数,以差异值最小为优化目标,计算目标函数对应的输出,得到差异值最小时对应的单色图像中的红色图像、蓝色图像以及绿色图像分别对应的浮点图像。该浮点图像表征着当前场景对应的红色图像、蓝色图像以及绿色图像的最准确的值,从而基于浮点图像得到的输出图像也具有较高的色彩准确度。
结合第一方面,在一种可能的设计方式中,电子设备根据各基础颜色对应的单色图像对应的浮点图像和目标位宽,输出目标位宽对应的目标图像,包括:
电子设备根据目标位宽对各浮点图像进行位宽映射处理,得到目标位宽对应的红色图像、蓝色图像以及绿色图像;电子设备根据目标位宽对应的红色图像、蓝色图像以及绿色图像,输出目标图像。
本申请中,电子设备可以根据目标位宽将浮点图像映射成目标位宽对应的图像,从而得到位宽增强的目标图像,位宽增强处理过程中不需要将多张图像进行亮度对齐,避免了由于无法对齐导致的图像色彩不准确的问题。
结合第一方面,在一种可能的设计方式中,该方法还包括:
电子设备响应于用户的第一操作,获取目标拍摄模式;目标拍摄模式包括静态场景拍摄模式或动态场景拍摄模式。
本申请中,电子设备通过转动色轮进行单色图像获取的方法在动态场景中可能存在获取到的单色图像不准确的问题,在这种情况下,电子设备可以先确定目标拍摄模式,从而根据目标拍摄模式进行相应地拍摄,兼顾动态场景与静态场景的拍摄,实现多场景的应用。
结合第一方面,在一种可能的设计方式中,图像传感器包括第一图像传感器;电子设备响应于用户的拍摄操作,控制色轮转动预设角度,以使各彩色滤光片的中点与所述镜头的光轴重合,调用图像传感器获取各彩色滤光片对应颜色的单色图像,包括:
如果目标拍摄模式为静态场景拍摄模式,电子设备响应于用户的拍摄操作,控制色轮转动第一预设角度,以使各彩色滤光片的中点与所述镜头的光轴重合,调用第一图像传感器获取各彩色滤光片对应颜色的单色图像。
其中,第一图像传感器可以为无彩色滤光片的图像传感器,电子设备控制第一图像传感器与色轮上的各个彩色滤光片配合,可得到多张单色图像。第一预设角度可以根据色轮上放置彩色滤光片的圆孔的排列获取得到。
本申请中,电子设备处于静态场景模式时,通过控制色轮转动至各个彩色滤光片,调用第一图像传感器进行静态场景的多张单色图像的采集,获取到的多光谱图像用于进行图像增强处理,从而可以得到静态场景的高位宽的输出图像。
结合第一方面,在一种可能的设计方式中,色轮还包括不放置彩色滤光片的孔;图像传感器包括第二图像传感器;方法还包括:
如果目标拍摄模式为动态场景拍摄模式,电子设备响应于用户的拍摄操作,控制色轮转动第二预设角度,以使不放置彩色滤光片的孔的中点与所述镜头的光轴重合,调用第二图像传感器获取彩色图像。
其中,第二图像传感器可以为有彩色滤光片的图像传感器,电子设备可直接调用第二图像传感器获取彩色图像。第二预设角度可以根据色轮上没有放置彩色滤光片的圆孔的排列获取得到。
本申请中,电子设备在处于动态场景拍摄模式时,可通过控制色轮转动至不放置彩色滤光片的孔,调用第二图像传感器直接获取动态场景的彩色图像,将色轮转动至不放置彩色滤光片的孔,避免了调用第二图像传感器采集图像时,色轮的其他彩色滤光片对采集到的图像的色彩的影响,电子设备可以很好的兼顾动态场景和静态场景,实现多种场景的拍摄。
第二方面,提供了一种电子设备,该电子设备包括摄像头、色轮、存储器和一个或多个处理器;所述摄像头、所述色轮、所述存储器与所述处理器耦合;所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如上述第一方面中任一项所述的方法。
结合第二方面,在一种可能的设计方式中,电子设备的摄像头包括镜头和图像传感器,图像传感器包括第一图像传感器,色轮包括多个放置有彩色滤光片的孔,多个彩色滤光片对应多个颜色,多个颜色包括基础颜色和至少三个合成颜色,基础颜色包括红色、蓝色和绿色,各合成颜色由红色、蓝色、绿色按照预设比例合成。
结合第二方面,在一种可能的设计方式中,图像传感器包括第一图像传感器和第二图像传感器,第一图像传感器为黑白图像传感器,第二图像传感器为彩色图像传感器;色轮多个放置有彩色滤光片的孔和至少一个不放置彩色滤光片的孔,所述多个彩色滤光片对应多个颜色,所述多个颜色包括基础颜色和至少三个合成颜色,基础颜色包括红色、蓝色和绿色,各合成颜色由红色、蓝色、绿色按照预设比例合成。
第三方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在电子设备上运行时,使得电子设备可以执行上述第一方面中任一项所述的方法。
第四方面,提供了一种包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备可以执行上述第一方面中任一项所述的方法。
第五方面,本申请实施例提供了一种芯片,芯片包括处理器,处理器用于调用存储器中的计算机程序,以执行如第一方面的方法。
可以理解地,上述提供的第二方面所述的电子设备,第三方面所述的计算机可读存储介质,第四方面所述的计算机程序产品,第五方面所述的芯片所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种图像位宽增强处理的示意图;
图2为本申请实施例提供的一种多帧曝光图进行位宽增强处理的示意图;
图3为本申请实施例提供的一种电子设备的色轮示意图;
图4为本申请实施例提供的一种电子设备控制色轮旋转进行拍摄的示意图;
图5为本申请实施例提供的一种电子设备控制色轮旋转进行多张单色图像拍摄的示意图;
图6为本申请实施例提供的一种单色图像之间的颜色映射示意图;
图7为本申请实施例提供的一种图像增强处理方法的流程图;
图8为本申请实施例提供的另一种图像增强处理方法的流程图;
图9为本申请实施例提供的另一种电子设备的色轮示意图;
图10为本申请实施例提供的一种电子设备在静态场景与动态场景的拍摄示意图;
图11为本申请实施例提供的一种电子设备的结构示意图;
图12为本申请实施例提供的另一种电子设备的结构示意图;
图13为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
在本申请实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
电子设备在拍照时,可通过图像传感器采集拍摄对象的光信号,将光信号进行信号转换得到模拟电信号,再将模拟电信号经过数模信号转换得到对应的数字信号,从而得到拍摄对象的拍摄图像。图像传感器的规格决定了拍摄图像的位宽。常见的电子设备的图像传感器的规格为8bit,也即,电子设备获取到的拍摄图像的位宽为8bit。
在一些需要输出高位宽的拍摄图像的场景下,电子设备采集低位宽的拍摄图像,则需要对低位宽的拍摄图像进行位宽增强处理。可参考图1,图1给出了一种增强图像位宽方法的过程示意图。电子设备将低位宽图像(8bit)进行图像处理,得到高位宽图像(14bit)。如图1所示,电子设备的图像传感器接收到光信号之后,将光信号转换成模拟信号,经过8bit数模转换器,将模拟信号转换为8bit数字信号,经过14bit数模转换器,将8bit数字信号增强至14bit数字信号。这样的图像位宽增强方法,电子设备中需要具备8bit数模转换器、14bit数模转换器,增加电子设备的器件成本。
还有的其他增强图像位宽的方法,参考图2,图2给出了另一种增强图像位宽方法的过程示意图。图2给出的增强图像位宽方法,电子设备通过图像传感器采集同一场景的多帧曝光图,多帧曝光图由电子设备通过控制摄像头长短帧曝光时长来采集,多帧曝光图为8bit图像。电子设备基于高动态范围(high dynamic range,HDR)算法对采集到的多帧8bit曝光图进行图像高位宽扩展处理,得到一张高位宽14bit的拍摄图像。
然而,这种电子设备基于HDR算法的图像位宽增强方法,在图像增强过程中需要对齐多帧曝光图的亮度,而由于多帧曝光图的色阶可能存在不满足倍率关系的情况,导致多张曝光图的同一场景的高亮区域和低亮区域无法对齐,在对齐过程中出现过曝或对不齐的情况,导致最终得到的高位宽的拍摄图像出现偏色的问题,也即,得到的高位宽图像的色阶不准确。
本申请提供一种图像增强处理方法,应用于电子设备。该电子设备包括摄像头、图像传感器和色轮。其中,色轮上设置有多个圆孔,在每一个圆孔上设置有彩色滤光片。电子设备可通过多个彩色滤光片进行拍摄,获取多光谱图像。多个彩色滤光片对应多个颜色,多个颜色包括基础颜色(红色、蓝色和绿色)的滤光片和多个合成颜色的滤光片,每一个合成颜色均由不同比例的红色、蓝色和绿色组成。色轮上还包括用于带动色轮转动的转轴。可参考图3所示,图3给出了一种色轮的示意图。图3中色轮中间黑色区域为转轴,色轮上包括1至6号圆孔。示例性地,1号圆孔的彩色滤光片的颜色可以为红色、2号圆孔的彩色滤光片的颜色可以为第一合成颜色、3号圆孔的彩色滤光片的颜色可以为蓝色、4号圆孔的彩色滤光片的颜色可以为第二合成颜色、5号圆孔的彩色滤光片的颜色可以为绿色、6号圆孔的彩色滤光片的颜色可以为第三合成颜色。其中,第一合成颜色可以为由红色、蓝色和绿色以第一比例合成的青色、第二合成颜色可以为由红色、蓝色和绿色以第二比例合成的紫色、第三合成颜色可以为由红色、蓝色和绿色以第三比例合成的黄色。红色、蓝色和绿色以不同比例构成合成颜色,形成了颜色映射关系。可选地,色轮上的合成颜色的数量可以为多个,合成颜色的数量越多,图像处理的精度越高,图像处理结果的准确度越高。考虑器件成本问题。可选地,合成颜色数量可以为3个。
可选地,色轮上的放置彩色滤光片的孔还可以为其他形状,本申请对该形状不做限定。
在电子设备拍摄场景A时,电子设备通过转轴控制色轮转动预设角度,以使色轮上的彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,这样电子设备在拍摄时,可调用图像传感器获取透过彩色滤光片所形成的单色图像。示例性地,电子设备可以通过各个彩色滤光片采集场景A的多光谱图像,多光谱图像包括场景A的多个单色图像。在得到场景A的多个单色图像之后,根据多光谱图像间的颜色映射关系和实际获取到的单色图像,来获取红色、蓝色和绿色在高数值精度下的目标值,从而得到场景A的高位宽图像的目标红色图像、目标蓝色图像和目标绿色图像,根据目标红色图像、目标蓝色图像和目标绿色图像,得到场景A的高位宽图像。
参考图4,图4给出了一种本申请中电子设备在拍摄时的各器件的示意图。电子设备在接收到用户的拍摄操作时,控制色轮的转轴带动色轮转动预设角度,以使1号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,通过1号彩色滤光片、镜头以及图像传感器,获取场景A的1号彩色滤光片的颜色对应的单色图像1。
获取多色谱图像的过程可参考图5,图5给出了一种拍摄过程的示意图。电子设备在接收到用户的拍摄操作时,控制色轮的转轴转动预设角度,以使1号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,经过静止等待和曝光,通过1号彩色滤光片、镜头以及图像传感器,获取场景A的1号彩色滤光片的颜色对应的单色图像1。电子设备控制色轮的转轴转动预设角度,以使2号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,经过静止等待和曝光,通过2号彩色滤光片、镜头以及图像传感器,获取场景A的2号彩色滤光片的颜色对应的单色图像2。经过多次控制色轮的转轴带动色轮转动、静止等待和曝光拍摄,获取场景A的所有彩色滤光片的颜色对应的单色图像。比如,基于图5给出的色轮,电子设备可获取到场景A的多光谱图像中包括6张单色图像。
场景A的6张单色图像中,包括通过基础颜色获取到的单色图像,示例性地,包括通过红色滤光片获取到的红色图像1、通过蓝色滤光片获取到的蓝色图像3、通过绿色滤光片获取到的绿色图像5。单色图像还包括通过合成颜色获取到的单色图像,示例性地,合成颜色包括青色、紫色和黄色,单色图像还包括通过青色滤光片获取到的青色图像2、通过紫色滤光片获取到的紫色图像4、通过黄色滤光片获取到的黄色图像6。
图6给出了一种基础颜色得到的单色图像1、3、5与合成颜色得到的单色图像2、4、6之间的映射关系示意图。其中,单色图像2可以为青色图像,由红色、蓝色和绿色按照第一比例合成;单色图像4可以为紫色图像,由红色、蓝色和绿色按照第二比例合成;单色图像6可以为黄色图像,由红色、蓝色和绿色按照第三比例合成。
在本实施例中,电子设备可以预先设定合成颜色中红色、蓝色、绿色的比例值,也即,合成颜色与基础颜色之间具有颜色映射关系。示例性地,青色可由红色、蓝色和绿色按照(102,205,170)比例合成;紫色由红色、蓝色和绿色按照(186,85,211)比例合成;黄色由红色、蓝色和绿色按照(210,105,30)比例合成。可选地,合成颜色还可以为其他颜色,合成颜色中的红色、蓝色、绿色的比例值为固定预设值。
在获取到场景A的多光谱图像之后,根据合成颜色与基础颜色之间的颜色映射关系、获取到的单色图像以及预设的优化目标函数,获取场景A对应的高位宽的红色图像、高位宽的蓝色图像和高位宽的绿色图像,从而基于高位宽的红色图像、高位宽的蓝色图像和高位宽的绿色图像,得到场景A的高位宽的输出图像。
示例性地,本实施例提供了一种图像增强处理方法,参考图7给出的流程图,以色轮包括基础颜色(红色、绿色、蓝色)和三个合成颜色(青色、紫色、黄色)为例来说明,包括:
S201、电子设备接收用户的拍摄操作。
其中,拍摄操作可以为用户基于电子设备的拍摄界面点击的拍摄操作,也可以为用户通过语音输入的拍摄操作。电子设备接收到用户的拍摄操作时,响应于该拍摄操作,执行拍摄动作。
S202、电子设备获取拍摄场景的多张单色图像。
在本实施例中,电子设备响应于拍摄操作进行拍摄,获取当前的拍摄场景的多光谱图像,也即,获取当前的拍摄场景的多张单色图像。参考图5所示的电子设备进行拍摄的示意图。
电子设备控制色轮旋转预设角度,以使1号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,经过静止等待和曝光后,获取通过1号彩色滤光片时调用图像传感器采集到的单色图像1。在电子设备获取到单色图像1之后,电子设备控制色轮旋转至2号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,经过静止等待和曝光后,获取通过2号彩色滤光片调用图像传感器采集到的单色图像2。在电子设备获取到单色图像2之后,电子设备控制色轮旋转预设角度,以使3号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,经过静止等待和曝光后,获取通过3号彩色滤光片调用图像传感器采集到的单色图像3。在电子设备获取到单色图像3之后,电子设备控制色轮旋转预设角度,以使4号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,经过静止等待和曝光后,获取通过4号彩色滤光片调用图像传感器采集到的单色图像4。在电子设备获取到单色图像4之后,电子设备控制色轮旋转预设角度,以使5号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,经过静止等待和曝光后,获取通过5号彩色滤光片调用图像传感器采集到的单色图像5。在电子设备获取到单色图像5之后,电子设备控制色轮旋转预设角度,以使6号彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,经过静止等待和曝光后,获取通过6号彩色滤光片调用图像传感器采集到的单色图像6。可选地,静止等待的时长可以根据实际情况确定,示例性地,静止等待时长和曝光时长的取值范围可以为(0.5ms,5ms)。
电子设备获取单色图像1、单色图像2、单色图像3、单色图像4、单色图像5以及单色图像6,其中,示例性地,单色图像1可以为基础颜色红色图像1、单色图像3可以为基础颜色蓝色图像3、单色图像5可以为基础颜色绿色图像5;单色图像2可以为合成颜色青色图像2、单色图像4可以为合成颜色紫色图像4、单色图像6可以为合成颜色黄色图像6。
S203、电子设备根据颜色映射关系和各单色图像,获取高位宽的目标图像。
在本实施例中,合成颜色与基础颜色之间具有颜色映射关系。比如,青色可由红色、绿色、蓝色(RGB)以第一预设比例合成。第一预设比例为固定值。示例性地,第一预设比例值可以为(102,205,170)。紫色可由红色、绿色、蓝色(RGB)以第二预设比例合成。第二预设比例为固定值。示例性地,第二预设比例值可以为(186,85,211)。黄色可由红色、绿色、蓝色(RGB)以第三预设比例合成。第三预设比例为固定值。示例性地,第三预设比例值可以为(210,105,30)。
电子设备在获取到青色图像2、紫色图像4以及黄色图像6之后,可以获取青色图像2、紫色图像4以及黄色图像6分别对应的红色、绿色、蓝色的实际比例值。这里实际比例值指的是根据电子设备采集到的单色图像进行RGB通道分析得到的实际比例值。
合成颜色的实际比例值与预设比例值之间存在差异,电子设备可以根据该差异,以差异值最小为优化目标,构建优化函数。获取优化函数在差异值最小时对应的RGB图像。差异值最小时对应的RGB图像即为RGB值最优时的图像,以差异值最小时对应的RGB图像来获取位宽增强的输出图像,得到的输出图像的色彩准确度更高。
示例性地,电子设备根据青色图像2、紫色图像4以及黄色图像6分别对应的RGB预设比例值、RGB实际比例值,获取差异值最小时对应的RGB图像,并基于差异值最小时对应的RGB图像获取目标位宽的输出图像的过程可参考图8,包括:
电子设备获取6张8bit单色图像,包括红色图像1、青色图像2、蓝色图像3、紫色图像4、绿色图像5、黄色图像6。电子设备对合成颜色的单色图像进行归一化处理,构建归一化矩阵。
其中,电子设备采集到的单色图像的位宽为8bit(28),由青色的RGB预设比例值(102,205,170)、紫色的RGB预设比例值(186,85,211)、黄色的RGB预设比例值(210,105,30)构建归一化矩阵M,M可表示为:
基于归一化矩阵M,电子设备可获取合成颜色单色图像对应的32bit浮点图像。
电子设备根据归一化矩阵M、单色图像构建差异值优化函数F,F可表示为:
其中,R为采集到的红色图像1、G为采集到的绿色图像5、B为采集到的蓝色图像3;Tar1为采集到的青色图像2、Tar2为采集到的紫色图像4、Tar3为采集到的黄色图像6。
获取差异值优化函数在差异值最小值时对应的R(红色图像1)、G(绿色图像5)、B(蓝色图像3):
基于上述公式,可得到归一化处理下的差异值优化函数F在差异值最小值时对应的R、G、B对应的32bit浮点图像。
在本实施例中,将得到的R、G、B对应的32bit浮点图像映射至目标位宽,可以得到对应的高位宽的输出图像。示例性地,电子设备采集到的图像的位宽为8bit,经过图像处理后的图像的目标位宽可以为10bit、14bit、16bit等。
可选地,目标位宽为Nbit时,将得到的R、G、B对应的32bit浮点图像映射至目标位宽,得到目标位宽对应的R、G、B图像,可通过以下公式实现:
其中,R1、G1、B1为归一化处理下差异值优化函数F在差异值最小值时RGB对应的32bit浮点图像,R1为红色图像,G1为蓝色图像,B1为蓝色图像。R2、G2、B2为Nbit单色图像,R2为Nbit红色图像,G2为Nbit蓝色图像,B2为Nbit蓝色图像。
示例性地,目标位宽为14bit时,将得到的R、G、B对应的32bit浮点图像映射至目标位宽,得到目标位宽对应的R、G、B图像,可通过以下公式实现:
其中,R1、G1、B1为归一化处理下差异值优化函数F在差异值最小值时RGB对应的32bit浮点图像,R1为红色图像,G1为蓝色图像,B1为蓝色图像。R3、G3、B3为14bit单色图像,R3为14bit红色图像,G3为14bit蓝色图像,B3为14bit蓝色图像。
示例性地,目标位宽为16bit时,将得到的R、G、B对应的32bit浮点图像映射至目标位宽,得到目标位宽对应的R、G、B图像,可通过以下公式实现:
其中,R1、G1、B1为归一化处理下差异值优化函数F在差异值最小值时RGB对应的32bit浮点图像,R1为红色图像,G1为蓝色图像,B1为蓝色图像。R4、G4、B4为16bit单色图像,R4为16bit红色图像,G4为14bit蓝色图像,B4为16bit蓝色图像。
电子设备在得到R2、G2、B2后,将R2、G2、B2输出至显示屏,得到最终输出的一张彩色图像。该一张彩色图像即为经过位宽增强处理后的输出图像。至此,电子设备实现了采集6张8bit单色图像,经过图像处理,得到14bit、16bit等高位宽的输出图像的目的。
在本实施例中,电子设备通过控制色轮旋转,使得每一个彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,来获取不同彩色滤光片的颜色对应的单色图像,从而基于单色图像、颜色映射关系以及构建的差异值优化函数获取差异值最小值时对应的RGB图像,并将差异值最小值时对应的RGB图像映射至目标位宽,得到目标位宽的输出图像。在本实施例中,图像传感器仍然可以为8bit的传感器,不需要设置高位宽的传感器来增加电子设备的成本,且,通过多个彩色滤光片获取到的多光谱图像来进行图像位宽增强处理,不需要对多帧曝光图进行亮度对齐,避免了由于色阶无法对齐造成的图像增强处理不准确的问题,基于本实施例提供的图像增强处理方法得到的高位宽的输出图像的色彩准确性更高。
在一些实施例中,在电子设备控制色轮的转轴带动色轮转动,经过静止等待与曝光来获取多光谱图像的过程中,需要拍摄场景处于相对电子设备静止的状态,使得可以获取到较为准确的多光谱图像。也即,上述图像增强处理方法适用于静态场景的拍摄。
针对动态场景的拍摄,本实施例提供了另一种图像增强处理方法。应用于另一种电子设备中,该电子设备的图像传感器包括第一图像传感器和第二图像传感器。该电子设备的色轮包括多个圆孔,多个圆孔中包括多个放置彩色滤光片的圆孔和至少一个不放置彩色滤光片的圆孔。多个彩色滤光片对应多个颜色,多个颜色包括基础颜色、至少三个合成颜色。色轮示意图可参考图9所示。其中,色轮上包括1至7号圆孔。示例性地,1号圆孔的彩色滤光片的颜色可以为红色、2号圆孔的彩色滤光片的颜色可以为第一合成颜色、3号圆孔的彩色滤光片的颜色可以为蓝色、4号圆孔的彩色滤光片的颜色可以为第二合成颜色、5号圆孔的彩色滤光片的颜色可以为绿色、6号圆孔的彩色滤光片的颜色可以为第三合成颜色。其中,第一合成颜色可以为由红色、蓝色和绿色以第一比例合成的青色、第二合成颜色可以为由红色、蓝色和绿色以第二比例合成的紫色、第三合成颜色可以为由红色、蓝色和绿色以第三比例合成的黄色。7号圆孔为不放置彩色滤光片的圆孔。可选地,7号圆孔可以为镂空圆孔,7号圆孔也可以放置透明材料。
参考图10给出的电子设备在针对不同场景的拍摄示意图,本实施例提供一种图像增强处理方法,包括:
S301、电子设备接收用户的第一操作。
可选地,第一操作可以为用户在电子设备的相机界面选择拍摄模式的操作。示例性地,相机界面可以包括拍摄模式选择控件,用户可以通过点击拍摄模式选择控件来选择静态场景拍摄模式或动态场景拍摄模式。
或者,第一操作还可以为用户通过语音输入的选择拍摄模式的操作。比如,用户语音输入“进入动态场景拍摄模式”等等。
S302、电子设备响应第一操作,进入对应的拍摄模式,在电子设备接收到拍摄操作时,进行拍摄操作。
在本实施例中,若第一操作用于指示开启静态场景拍摄模式,电子设备则响应于该第一操作,进入静态场景拍摄模式。在接收到用户的拍摄操作时,电子设备通过旋转色轮第一预设角度,以使放置有彩色滤光片的圆孔的中点与电子设备的摄像头的镜头光轴重合,调用第一图像传感器进行多光谱图像拍摄,得到多张单色图像。电子设备根据图7、图8提供的图像增强处理方法对多张单色图像进行图像处理,得到高位宽的输出图像。其中,第一图像传感器为黑白图像传感器,黑白图像传感器指的是无彩色滤光片的图像传感器。
在本实施例中,若第一操作用于指示开启动态场景拍摄模式,电子设备则响应于该第一操作,进入动态场景拍摄模式。在接收到用户的拍摄操作时,电子设备通过旋转色轮第二预设角度,以使不放置彩色滤光片的圆孔的中点与电子设备的摄像头的镜头光轴重合,调用第二图像传感器进行彩色图像拍摄,得到彩色图像。其中,彩色图像的获取方式可参考现有的第二图像传感器的图像生成方式获取。第二图像传感器为彩色图像传感器,黑白图像传感器指的是有彩色滤光片的图像传感器。
在本实施例中,电子设备中的色轮包括了放置有彩色滤光片的圆孔以及不放置彩色滤光片的圆孔,图像传感器包括第一图像传感器和第二图像传感器,可以很好地实现在拍摄静态场景时,通过控制色轮的转轴带动色轮转动,通过放置有彩色滤光片的圆孔以及调用第一图像传感器对采集到的低位宽图像进行图像处理,得到高位宽的目标图像的目的;在拍摄动态场景时,通过控制色轮的转轴带动色轮转动,通过不放置彩色滤光片的圆孔以及调用第二图像传感器进行图像拍摄,得到不被色轮上的彩色滤光片影响的图像。本实施例中所提供的方法可以兼顾于动态以及静态场景的拍摄,在增强静态场景的拍摄图像的位宽的同时,也能保证动态场景的拍摄图像的准确性。
本申请实施例中的电子设备100可以为具有拍摄功能的电子设备。示例性地,电子设备可以为便携式计算机(如手机)、平板电脑、笔记本电脑、个人计算机(personalcomputer,PC)、可穿戴电子设备(如智能手表)、智能相机、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等,以下实施例对该电子设备的具体形式不做特殊限制。
请参考图11,其示出本申请实施例提供一种电子设备(如电子设备100)的结构框图。其中,电子设备100可以包括处理器310,色轮311,外部存储器接口320,内部存储器321,通用串行总线(universal serial bus,USB)接口330,充电管理模块340,电源管理模块341,电池342,天线1,通信模块360,音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,传感器模块380,摄像头393,显示屏394等。其中传感器模块380可以包括压力传感器380A,磁传感器380D,距离传感器380F,接近光传感器380G,环境光传感器380L等。
本发明实施例示意的结构并不构成对电子设备100的限定。可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元。例如,处理器310可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
上述控制器可以是指挥电子设备100的各个部件按照指令协调工作的决策者。是电子设备100的神经中枢和指挥中心。控制器根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
电子设备100包括与处理器310连接的色轮311。处理器310可通过控制色轮311的转轴带动色轮311旋转预设角度,使得彩色滤光片的中点与电子设备的摄像头的镜头光轴重合,从而透过彩色滤光片、镜头以及图像传感器来采集该彩色滤光片对应颜色的单色图像。
处理器310中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器310中的存储器为高速缓冲存储器,可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器310的等待时间,因而提高了系统的效率。
在一些实施例中,处理器310可以包括接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,SIM接口,和/或USB接口等。
本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。电子设备100可以采用本发明实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块340用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块340可以通过USB接口330接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块340可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块340为电池342充电的同时,还可以通过电源管理模块341为电子设备100供电。
电源管理模块341用于连接电池342,充电管理模块340与处理器310。电源管理模块341接收所述电池342和/或充电管理模块340的输入,为处理器310,内部存储器321,外部存储器接口320,显示屏394,摄像头393,和通信模块360等供电。电源管理模块341还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在一些实施例中,电源管理模块341也可以设置于处理器310中。在一些实施例中,电源管理模块341和充电管理模块340也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,通信模块360,调制解调器以及基带处理器等实现。
天线1用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。
通信模块360可以提供应用在电子设备100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(blue tooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案的通信处理模块。通信模块360可以是集成至少一个通信处理模块的一个或多个器件。通信模块360经由天线1接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器310。
在一些实施例中,电子设备100的天线1和通信模块360耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(generalpacket radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long termevolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(satellite based augmentation systems,SBAS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(BeiDou navigationsatellite system,BDS),准天顶卫星系统(Quasi-Zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏394,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏394和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器310可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏394用于显示图像,视频等。例如,显示屏394可以显示来电提醒界面和语音通话界面。显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystaldisplay,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏394,N为大于1的正整数。
电子设备100可以通过ISP,摄像头393,视频编解码器,GPU,显示屏以及应用处理器等实现拍摄功能。
ISP用于处理摄像头393反馈的数据。其中,摄像头393包括镜头和摄像头感光元件。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头393中。
摄像头393用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头393,N为大于1的正整数。
本实施例中,摄像头感光元件还可以为图像传感器。可选地,图像传感器包括有第一图像传感器和第二图像传感器,其中第一图像传感器可以为黑白图像传感器,即无彩色滤光片的图像传感器;第二图像传感器可以为彩色图像传感器,即有彩色滤光片的图像传感器。
摄像头中的图像传感器的位置与镜头的位置具有对应关系,为相对固定位置。
结合电子设备中包括的色轮,色轮上包括多个放置彩色滤光片的孔以及至少一个没有放置彩色滤光片的孔。
电子设备可控制色轮的转轴带动色轮转动,以使某一孔的中点与电子设备的摄像头的镜头光轴重合,在重合时,电子设备可透过圆孔,基于镜头和相应的图像传感器,采集对应的图像。
在本实施例中,在电子设备调用无彩色滤光片的图像传感器进行拍摄时,电子设备先控制色轮的转轴带动色轮转动,使得放置有彩色滤光片的圆孔的中点与电子设备的摄像头的镜头光轴重合,通过摄像头393的镜头与无彩色滤光片的图像传感器,获取彩色滤光片对应颜色的单色图像。
在本实施例中,在电子设备调用有彩色滤光片的图像传感器进行拍摄时,电子设备先控制色轮的转轴带动色轮转动,使得没有放置彩色滤光片的圆孔的中点与电子设备的摄像头的镜头光轴重合,通过摄像头393的镜头与有彩色滤光片的图像传感器,获取彩色图像。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口320可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口320与处理器310通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器321可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令,从而执行电子设备100的各种功能应用以及数据处理。存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,其他易失性固态存储器件,通用闪存存储器(universal flashstorage,UFS)等。
电子设备100可以通过音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块370用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。在一些实施例中,音频模块370可以设置于处理器310中,或将音频模块370的部分功能模块设置于处理器310中。
扬声器370A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器370A收听音乐,或收听免提通话。
受话器370B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器370B靠近人耳接听语音。
麦克风370C,也称“话筒”,“传声器”,用于将声音信号转换为音频电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风370C发声,将声音信号输入到麦克风370C。电子设备100可以设置至少一个麦克风370C。在一些实施例中,电子设备100可以设置两个麦克风370C,除了采集声音信号,还可以实现降噪功能。在一些实施例中,电子设备100还可以设置三个,四个或更多麦克风370C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口370D用于连接有线耳机。耳机接口370D可以是USB接口330,也可以是3.5mm的开放移动终端平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器380A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器380A可以设置于显示屏394。压力传感器380A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏394,电子设备100根据压力传感器380A检测所述触摸操作强度。电子设备100也可以根据压力传感器380A的检测信号计算触摸的位置。
磁传感器380D包括霍尔传感器。电子设备100可以利用磁传感器380D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器380D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
距离传感器380F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器380F测距以实现快速对焦。
接近光传感器380G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。通过发光二极管向外发射红外光。使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器380G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器380G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器380L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏亮度。环境光传感器380L也可用于拍照时自动调节白平衡。环境光传感器380L还可以与接近光传感器380G配合,检测电子设备100是否在口袋里,以防误触。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图12示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。图12所示的电子设备1000包括处理器1001、摄像头1002、色轮1003以及存储模块1004。
其中,处理器1001可以是中央处理器(central processing unit,CPU),数字信号处理器(digital signal processor,DSP),专用集成电路(application-specificintegrated circuit,ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器可以包括应用处理器和基带处理器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。存储模块1005可以是存储器。
例如,处理器1001可以为如图11所示的处理器310;摄像头1002可以为如图11所示的摄像头393,摄像头1002包括镜头和图像传感器;色轮1003可以为如图11所示的色轮311;存储模块1004可以为如图11所示的内部存储器321。本申请实施例所提供的电子设备可以为图11所示的电子设备100。
本申请实施例还提供一种芯片系统(例如,片上系统(system on a chip,SoC)),如图13所示,该芯片系统包括至少一个处理器701和至少一个接口电路702。处理器701和接口电路702可通过线路互联。例如,接口电路702可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路702可用于向其它装置(例如处理器701或者电子设备的摄像头)发送信号。示例性的,接口电路702可读取存储器中存储的指令,并将该指令发送给处理器701。当所述指令被处理器701执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中电子设备100执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中电子设备100执行的各个功能或者步骤。例如,该计算机可以是上述电子设备100。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像增强处理方法,其特征在于,应用于电子设备,所述电子设备包括色轮和摄像头,所述摄像头包括镜头和图像传感器,所述色轮包括多个放置有彩色滤光片的孔,所述多个彩色滤光片对应多个颜色,所述多个颜色包括基础颜色和至少三个合成颜色,所述基础颜色包括红色、蓝色和绿色,所述合成颜色由红色R、绿色G、蓝色B以预设比例合成;
所述方法包括:
所述电子设备响应于用户的拍摄操作,控制所述色轮转动预设角度,以使各所述彩色滤光片的中点与所述镜头的光轴重合,调用所述图像传感器获取各所述彩色滤光片对应颜色的单色图像;
所述电子设备根据所述单色图像和预设的颜色映射关系,获取各所述基础颜色对应的单色图像对应的浮点图像;所述预设的颜色映射关系用于表征基础颜色与合成颜色之间的红色R、绿色G、蓝色B的预设比例关系;
所述电子设备根据各所述基础颜色对应的单色图像对应的浮点图像和目标位宽,输出所述目标位宽对应的目标图像。
2.根据权利要求1所述的方法,其特征在于,所述电子设备控制所述色轮转动至各所述彩色滤光片,调用所述图像传感器获取各所述彩色滤光片对应颜色的单色图像,包括:
针对所述色轮中的每一个彩色滤光片,所述电子设备控制所述色轮转动所述预设角度,以使各所述彩色滤光片的中点与所述镜头的光轴重合;
所述电子设备经过预设时长曝光,调用所述图像传感器获取各所述彩色滤光片对应颜色的单色图像,直到所述电子设备获取到所述色轮上的所有彩色滤光片对应颜色的单色图像。
3.根据权利要求2所述的方法,其特征在于,所述单色图像的位宽为初始位宽;所述电子设备根据所述单色图像和预设的颜色映射关系,获取各所述基础颜色对应的单色图像对应的浮点图像,包括:
所述电子设备根据所述单色图像的初始位宽、所述预设的颜色映射关系,对所述至少三个合成颜色对应的图像进行归一化处理,获取归一化处理后的所述至少三个合成颜色对应的图像;
所述电子设备根据所述归一化处理后的至少三个合成颜色对应的图像和所述基础颜色对应的单色图像,获取所述基础颜色对应的浮点图像。
4.根据权利要求3所述的方法,其特征在于,所述电子设备根据所述单色图像的初始位宽、所述预设的颜色映射关系,对所述至少三个合成颜色对应的图像进行归一化处理,获取归一化处理后的所述至少三个合成颜色对应的图像,包括:
所述电子设备根据所述单色图像的初始位宽、所述预设的颜色映射关系,构建归一化矩阵;
所述电子设备根据所述归一化矩阵以及所述至少三个合成颜色对应的图像的RGB实际比例,对所述至少三个合成颜色对应的图像进行归一化处理,获取归一化处理后的所述至少三个合成颜色对应的图像。
5.根据权利要求4所述的方法,其特征在于,所述根据所述归一化处理后的至少三个合成颜色对应的图像和所述基础颜色对应的单色图像,获取所述基础颜色对应的浮点图像,包括:
所述电子设备根据所述归一化矩阵和所述单色图像构建目标函数;所述目标函数用于表征所述合成颜色对应的图像的RGB预设比例与RGB实际比例之间的差异值;
所述电子设备根据所述目标函数,获取所述差异值最小时对应的所述基础颜色对应的浮点图像。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述电子设备根据各所述基础颜色对应的单色图像对应的浮点图像和目标位宽,输出所述目标位宽对应的目标图像,包括:
所述电子设备根据所述目标位宽对各所述浮点图像进行位宽映射处理,得到所述目标位宽对应的红色图像、蓝色图像以及绿色图像;
所述电子设备根据所述目标位宽对应的红色图像、蓝色图像以及绿色图像,输出所述目标图像。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述电子设备响应于所述用户的第一操作,获取目标拍摄模式;所述目标拍摄模式包括静态场景拍摄模式或动态场景拍摄模式。
8.根据权利要求7所述的方法,其特征在于,所述图像传感器包括第一图像传感器;所述电子设备响应于用户的拍摄操作,控制所述色轮转动预设角度,以使各所述彩色滤光片的中点与所述镜头的光轴重合,调用所述图像传感器获取各所述彩色滤光片对应颜色的单色图像,包括:
如果所述目标拍摄模式为所述静态场景拍摄模式,所述电子设备响应于用户的拍摄操作,控制所述色轮转动第一预设角度,以使各所述彩色滤光片的中点与所述镜头的光轴重合,调用所述第一图像传感器获取各所述彩色滤光片对应颜色的单色图像。
9.根据权利要求7所述的方法,其特征在于,所述色轮还包括不放置彩色滤光片的孔;所述图像传感器包括第二图像传感器;所述方法还包括:
如果所述目标拍摄模式为所述动态场景拍摄模式,所述电子设备响应于用户的拍摄操作,控制所述色轮转动第二预设角度,以使所述不放置彩色滤光片的孔的中点与所述镜头的光轴重合,调用所述第二图像传感器获取彩色图像。
10.一种电子设备,其特征在于,所述电子设备包括摄像头、色轮、存储器和一个或多个处理器;所述摄像头、所述色轮、所述存储器与所述处理器耦合;所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-9中任一项所述的方法。
11.根据权利要求10所述的电子设备,其特征在于,所述摄像头包括镜头和图像传感器,所述图像传感器包括第一图像传感器,所述色轮包括多个放置有彩色滤光片的孔,所述多个彩色滤光片对应多个颜色,所述多个颜色包括基础颜色和至少三个合成颜色,所述基础颜色包括红色、蓝色和绿色,各所述合成颜色由红色、蓝色、绿色按照预设比例合成。
12.根据权利要求10所述的电子设备,其特征在于,所述图像传感器包括第一图像传感器和第二图像传感器,所述第一图像传感器为黑白图像传感器,所述第二图像传感器为彩色图像传感器;
所述色轮包括多个放置有彩色滤光片的孔和至少一个不放置彩色滤光片的孔,所述多个彩色滤光片对应多个颜色,所述多个颜色包括基础颜色和至少三个合成颜色,所述基础颜色包括红色、蓝色和绿色,各所述合成颜色由红色、蓝色、绿色按照预设比例合成。
13.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-9中任一项所述的方法。
CN202310309901.8A 2023-03-28 2023-03-28 图像增强处理方法和电子设备 Active CN116055847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310309901.8A CN116055847B (zh) 2023-03-28 2023-03-28 图像增强处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310309901.8A CN116055847B (zh) 2023-03-28 2023-03-28 图像增强处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN116055847A true CN116055847A (zh) 2023-05-02
CN116055847B CN116055847B (zh) 2023-08-11

Family

ID=86124083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310309901.8A Active CN116055847B (zh) 2023-03-28 2023-03-28 图像增强处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN116055847B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060131625A1 (en) * 2004-12-21 2006-06-22 Koh Kwan J CMOS image sensor and method for fabricating the same
US20090046207A1 (en) * 2006-12-18 2009-02-19 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US20130322753A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Systems and methods for local tone mapping
CN103491377A (zh) * 2012-06-08 2014-01-01 索尼公司 图像处理设备、方法和程序
US20180309965A1 (en) * 2017-04-24 2018-10-25 Intel Corporation High dynamic range imager enhancement technology
US10277771B1 (en) * 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US20190373235A1 (en) * 2018-05-31 2019-12-05 Canon Kabushiki Kaisha Image capturing apparatus, client apparatus, control method, and storage medium
CN112219391A (zh) * 2018-06-07 2021-01-12 杜比实验室特许公司 从单拍摄hdr彩色图像传感器生成hdr图像
CN113302675A (zh) * 2018-10-25 2021-08-24 贝勒大学 用于六原色宽色域颜色系统的系统和方法
CN113711584A (zh) * 2020-03-20 2021-11-26 华为技术有限公司 一种摄像装置
US11501419B1 (en) * 2021-06-03 2022-11-15 Baylor University System and method for displaying super saturated color
CN115601244A (zh) * 2021-07-07 2023-01-13 荣耀终端有限公司(Cn) 图像处理方法、装置和电子设备
CN115696078A (zh) * 2022-08-01 2023-02-03 荣耀终端有限公司 色彩滤波阵列、图像传感器、摄像头模组和电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060131625A1 (en) * 2004-12-21 2006-06-22 Koh Kwan J CMOS image sensor and method for fabricating the same
US20090046207A1 (en) * 2006-12-18 2009-02-19 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US20130322753A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Systems and methods for local tone mapping
CN103491377A (zh) * 2012-06-08 2014-01-01 索尼公司 图像处理设备、方法和程序
US10277771B1 (en) * 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US20180309965A1 (en) * 2017-04-24 2018-10-25 Intel Corporation High dynamic range imager enhancement technology
US20190373235A1 (en) * 2018-05-31 2019-12-05 Canon Kabushiki Kaisha Image capturing apparatus, client apparatus, control method, and storage medium
CN112219391A (zh) * 2018-06-07 2021-01-12 杜比实验室特许公司 从单拍摄hdr彩色图像传感器生成hdr图像
CN113302675A (zh) * 2018-10-25 2021-08-24 贝勒大学 用于六原色宽色域颜色系统的系统和方法
CN113711584A (zh) * 2020-03-20 2021-11-26 华为技术有限公司 一种摄像装置
US11501419B1 (en) * 2021-06-03 2022-11-15 Baylor University System and method for displaying super saturated color
CN115601244A (zh) * 2021-07-07 2023-01-13 荣耀终端有限公司(Cn) 图像处理方法、装置和电子设备
CN115696078A (zh) * 2022-08-01 2023-02-03 荣耀终端有限公司 色彩滤波阵列、图像传感器、摄像头模组和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张绍堂;吴鸿;吴茜;孔德剑;唐金文;: "基于多源信息融合的高光谱图像拼接研究", 激光杂志, no. 02 *

Also Published As

Publication number Publication date
CN116055847B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111179282A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN114422340B (zh) 日志上报方法、电子设备及存储介质
CN113810600A (zh) 终端的图像处理方法、装置和终端设备
CN114489533A (zh) 投屏方法、装置、电子设备及计算机可读存储介质
CN113542580B (zh) 去除眼镜光斑的方法、装置及电子设备
EP4181016A1 (en) Image processing method, electronic device, image processing system and chip system
CN113810764B (zh) 视频编辑方法和视频编辑装置
CN114610193A (zh) 内容共享方法、电子设备及存储介质
CN113473013A (zh) 图像美化效果的显示方法、装置和终端设备
CN112099741B (zh) 显示屏位置识别方法、电子设备及计算机可读存储介质
CN112188094B (zh) 图像处理方法及装置、计算机可读介质及终端设备
CN115412678B (zh) 曝光处理方法、装置及电子设备
CN116055847B (zh) 图像增强处理方法和电子设备
CN116091392B (zh) 图像处理方法、系统及存储介质
CN115631250B (zh) 图像处理方法与电子设备
CN114338962B (zh) 成像方法和装置
CN113099734B (zh) 天线切换方法及装置
CN112956240B (zh) 天线切换方法及装置
CN111294905B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN115706869A (zh) 终端的图像处理方法、装置和终端设备
CN115118963A (zh) 画质调整方法、电子设备及存储介质
CN114466238A (zh) 帧解复用方法、电子设备及存储介质
CN116362977B (zh) 一种消除图像中干涉图案的方法及装置
CN115705663B (zh) 图像处理方法与电子设备
CN115619628B (zh) 图像处理方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant