CN111656781A - 用于使用参考图像进行图像信号处理器调谐的系统和方法 - Google Patents
用于使用参考图像进行图像信号处理器调谐的系统和方法 Download PDFInfo
- Publication number
- CN111656781A CN111656781A CN201980010542.8A CN201980010542A CN111656781A CN 111656781 A CN111656781 A CN 111656781A CN 201980010542 A CN201980010542 A CN 201980010542A CN 111656781 A CN111656781 A CN 111656781A
- Authority
- CN
- China
- Prior art keywords
- isp
- parameter
- image
- parameter values
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本公开的方面涉及用于调谐图像信号处理器的系统和方法。实例装置可包含一或多个处理器。所述一或多个处理器可经配置以接收待处理的输入图像;接收参考图像,所述参考图像为所述输入图像的经第二图像信号处理器处理的图像;及基于所述输入图像与所述参考图像之间的一或多个差异确定将由所述图像信号处理器在处理所述输入图像中使用的一或多个参数值。
Description
技术领域
本公开大体上涉及用于调谐图像信号处理器的系统和方法,且具体来说,涉及确定由图像信号处理器用来处理图像的一或多个参数。
背景技术
由相机传感器捕捉的原始图像由图像信号处理器(ISP)处理以生成最终图像。处理可包含应用于所捕捉图像的多个滤波器或处理块,例如去噪或噪声滤波、边缘增强、色彩平衡、对比度、强度调整(例如变暗或变亮)、色调调整等等。图像处理块或模块可包含透镜/传感器噪声校正、拜耳(Bayer)滤波器、去马赛克、色彩转换、图像属性的校正或增强/抑制、去噪滤波器和锐化滤波器。每一模块可包含大量可调谐参数(例如每模块数百或数千个参数)。另外,模块可以是共依赖的,因为不同的模块可影响图像的类似方面。举例来说,去噪和纹理校正或增强都可影响图像的高频方面。因此,针对ISP确定或调整大量参数以从所捕捉原始图像生成最终图像。
ISP的参数常规地由具有如何处理输入图像以获得合乎需要的输出图像的经验的专家手动调谐。由于ISP滤波器/模块与绝对数目的可调谐参数之间的相关性,所以专家可能需要3到4周来基于具体相机传感器与ISP的组合确定或调整参数的装置设定。由于相机传感器或其它相机特征(例如透镜特性或缺陷、光圈大小、快门速度和移动、闪光亮度和颜色等等)可能影响所捕捉图像,且因此影响ISP的可调谐参数中的至少一些,所以相机传感器与ISP的每一组合将需要由专家调谐。
发明内容
提供本发明内容而以简化形式介绍下文在具体实施方式中进一步描述的概念的选择。本发明内容并不既定识别所要求主题的关键特征或基本特征,也并不既定限制所要求主题的范围。
本公开的方面涉及用于调谐图像信号处理器的系统和方法。实例装置可包含一或多个处理器。所述一或多个处理器可经配置以接收待处理的输入图像;接收参考图像,所述参考图像为所述输入图像的经第二图像信号处理器处理的图像;及基于所述输入图像与所述参考图像之间的一或多个差异确定将由所述图像信号处理器在处理所述输入图像中使用的一或多个参数值。
在另一实例中,公开一种用于调谐图像信号处理器的方法。实例方法包含通过装置接收待处理的输入图像。方法还包含通过装置接收参考图像,所述参考图像为输入图像的经第二图像信号处理器处理的图像。方法进一步包含基于输入图像与参考图像之间的一或多个差异确定将由图像信号处理器在处理输入图像时使用的一或多个参数值。
在另一实施例中,公开一种非暂时性计算机可读媒体。非暂时性计算机可读媒体可存储指令,所述指令在由处理器执行时使装置调谐图像信号处理器。指令可使装置接收待处理的输入图像。指令还可使装置接收参考图像,所述参考图像为输入图像的经第二图像信号处理器处理的图像。指令进一步可使装置基于输入图像与参考图像之间的一或多个差异确定由图像信号处理器在处理输入图像时使用的一或多个参数值。
在另一实例中,公开一种装置。装置包含用于接收待处理的输入图像的装置,用于接收参考图像的装置。所述参考图像为输入图像的经第二图像信号处理器处理的图像,和用于基于输入图像与参考图像之间的一或多个差异确定将由ISP在处理输入图像时使用的一或多个参数值的装置。
附图说明
本公开的方面在附图的图中以实例方式而不是限制的方式说明,且其中相同附图标记指代类似元件。
图1是用于调谐ISP的实例装置的框图。
图2是描绘用于针对场景类型调谐ISP的常规操作的说明性流程图。
图3是描绘用于自动调谐ISP的实例操作的说明性流程图。
图4是描绘用于调整参数数据库的实例操作的说明性流程图。
图5是对纹理与清晰度IQ度量之间的关系的描绘。
图6是描绘用于确定用于调整参数数据库的新参数值集的实例操作的说明性流程图。
图7是描绘用于在针对个人偏好调整参数时以依序方式调整一或多个IQ度量的实例操作的说明性流程图。
图8是对如由噪声与纹理的关系说明的参数集的实例聚类的描绘。
图9是对用于依序调整IQ度量的实例树支说明的描绘。
图10是用于调整边缘IQ度量的实例GUI的快照。
图11是用于调整高对比度纹理IQ度量的实例GUI的快照。
图12是用于调整低对比度纹理IQ度量的实例GUI的快照。
图13是用于调整噪声IQ度量的实例GUI的快照。
图14是指示不同IQ度量的选择的级联的实例GUI的快照。
图15是描绘用于在自动调谐ISP时使用参考图像的实例操作的说明性流程图。
图16是描绘用于确定最接近的参数集和调整参数数据库的实例操作的说明性流程图。
图17是对使用参考图像的实例反馈调谐流程的描绘。
图18是对使用参考图像的实例非递归调谐流程的描绘。
图19是描绘用于使用经训练参数估计器来确定供ISP处理图像的参数的实例操作的说明性流程图。
图20是实例ISP的框图。
图21是对用于在训练不同模块时使用不同图块以用于确定ISP的参数值的实例流程的描绘。
具体实施方式
本公开的方面可用于调谐图像信号处理器(ISP),例如确定或调整由ISP用于处理输入图像的参数。在常规地调谐ISP时,专家可能需要数周的测试和调整以确定将由ISP使用的参数。另外,用户可具有与专家可能认为合乎需要的经处理图像的偏好不同的偏好。举例来说,用户可能比调谐ISP的专家偏好更大的色彩饱和度、更柔和的图像或其它。本公开的方面可用于调谐ISP中,使得调谐ISP可能需要更少时间和/或没有专门知识的人(例如装置用户)可用他或她的偏好来辅助调谐ISP。在一些方面中,可基于用户偏好来填充、适配或更新ISP参数的数据库。最终或更新的数据库可接着用来在处理传入图像时将参数提供到ISP。
在以下描述中,阐述例如具体组件、电路和过程的实例的许多具体细节以提供对本公开的透彻理解。如本文中所使用的术语“耦合”意味着直接连接或通过一或多个介入组件或电路连接。此外,在以下描述中且出于解释的目的,阐述具体术语以提供对本公开的透彻理解。然而,将对所属领域的技术人员显而易见的是,这些具体细节可能并非实践本文中所公开的教示所必需的。在其它情况下,以框图形式展示众所周知的电路和装置以避免混淆本公开的教示。以下详细描述的一些部分是关于对计算机存储器内的数据位的操作的程序、逻辑块、处理和其它符号表示来呈现。在本公开中,程序、逻辑块、过程等被视为产生所需结果的步骤或指令的自一致序列。步骤是要求对物理量进行物理操纵的步骤。这些量通常呈能够在计算机系统中存储、传递、组合、比较和以其它方式操纵的电信号或磁信号的形式,但不一定如此。
然而,应牢记,所有这些和类似术语应与适当物理量相关联,且仅仅是应用于这些量的方便标签。除非另外具体陈述,否则如从以下论述显而易见的是,应了解,贯穿本申请,利用例如“存取”、“接收”、“发送”、“使用”、“选择”、“确定”,“归一化”、“相乘”、“求平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“导出”、“建立”等等术语的论述是指计算机系统或类似电子计算装置的动作和过程,所述计算机系统或类似电子计算装置操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据且将其变换成类似地表示为计算机系统存储器或寄存器或其它这种信息存储、传输或显示装置内的物理量的其它数据。
在图中,单个块可被描述为执行一或多个功能;然而,在实际实践中,由所述块执行的一或多个功能可在单个组件中或跨多个组件执行,且/或可使用硬件、使用软件或使用硬件与软件的组合来执行。为清晰说明硬件与软件的此可互换性,下文大体就其功能性来描述各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可以针对每一特定应用以不同方式实施所描述的功能性,但此类实施决策不应被解释为引起对本公开的范围的偏离。此外,实例装置可包含除展示的组件以外的组件,包含例如处理器、存储器等众所周知的组件。
本公开的方面适用于配置成或能够调谐ISP的任何合适的电子装置(例如具有一或多个相机的安全系统、智能电话、平板电脑、膝上型计算机、数字视频和/或静态相机、网络相机、云计算网络、用于ISP的测试设备、制造设施、与ISP介接的测试装置等等)。虽然下文关于具有或耦合到一个相机的装置进行描述,但本公开的方面适用于具有任何数目个相机(包含无相机,其中将图像或视频提供到装置,或多个相机)的装置,且因此不限于具有一个相机的装置。本公开的方面可适用于捕捉静态图像以及用于捕捉视频的装置,且可实施于具有或耦合到不同能力的相机(例如视频相机或静态图像相机)的装置中。另外,虽然下文关于具有一或多个ISP的装置进行描述,但本公开的方面适用于耦合到或介接ISP的装置(例如制造或测试设备和测试装置),且因此不限于具有ISP的装置。
术语“装置”不限于一个或具体数目的实物对象(例如一个智能电话、一个相机控制器、一个处理系统等等)。如本文中所使用,装置可以是具有可实施本公开的至少一些部分的一或多个部件的任何电子装置。虽然以下描述和实例使用术语“装置”来描述本公开的各种方面,但术语“装置”不限于具体配置、类型或对象的数目。
图1是用于调谐ISP的实例装置100的框图。实例装置100可包含或耦合到相机102、处理器104、存储指令108的存储器106,和相机控制器110。装置100可任选地包含(或耦合到)显示器114和数个输入/输出(I/O)组件116。装置100可包含未展示的额外特征或组件。举例来说,可包含用于无线通信装置的无线接口,所述无线接口可包含数个收发器和基带处理器。装置100可包含或耦合到除相机102以外的额外相机。本公开不应限于任何具体实例或说明,包含实例装置100。
相机102可能够捕捉单独的图像帧(例如静态图像)和/或捕捉视频(例如一连串所捕捉图像帧)。相机102可包含单相机传感器和相机镜头,或是双相机模块或具有多个相机传感器和镜头的任何其它合适的模块。存储器106可以是存储计算机可执行指令108以进行本公开中所描述的一或多个操作中的全部或一部分的非暂态或非暂时性计算机可读媒体。存储器106还可存储将用于存储和查找ISP(例如ISP 112)的参数的参数数据库109或查找表(LUT)。装置100还可包含电源118,其可耦合到装置100或集成到装置100中。
处理器104可以是能够执行存储在存储器106内的一或多个软件程序(例如指令108)的脚本或指令的一或多个合适的处理器。在一些方面中,处理器104可以是执行指令108以使得装置100进行任何数目个功能或操作的一或多个通用处理器。在额外或替代方面中,处理器104可包含集成电路或其它硬件以进行功能或操作,而不使用软件。虽然在图1的实例中展示为经由处理器104彼此耦合,但处理器104、存储器106、相机控制器110、可选显示器114和可选I/O组件116可以各种布置彼此耦合。举例来说,处理器104、存储器106、相机控制器110、可选显示器114和/或可选I/O组件116可经由一或多个局部总线(为简单起见未展示)彼此耦合。
显示器114可以是允许用户交互和/或呈现项目(例如所捕捉图像、视频或预览图像)以由用户观看的任何合适的显示器或屏幕。在一些方面中,显示器114可以是触敏显示器。I/O组件116可以是或包含用以接收来自用户的输入(例如命令)且将输出提供给用户的任何合适的机构、接口或装置。举例来说,I/O组件116可包含(但不限于)图形用户接口、键盘、鼠标、麦克风和扬声器等等。显示器114和/或I/O组件116可向用户提供预览图像和/或接收用于调整相机102的一或多个设定(例如选择和/或取消选择用于AF操作的所显示预览图像的感兴趣区域)的用户输入。
相机控制器110可包含ISP 112,所述ISP 112可以是用以处理由相机102提供的所捕捉图像帧或视频的一或多个图像信号处理器。在一些实例实施方案中,相机控制器110(例如ISP 112)还可控制相机102的操作。在一些方面中,ISP 112可使用从参数数据库109提供的参数来处理接收到的图像。处理器104可确定将由ISP 112使用的来自参数数据库109的参数。ISP 112可执行来自存储器的指令以处理图像帧或视频,可包含用以处理图像帧或视频的具体硬件,或另外或替代地可包含具体硬件与执行用于处理图像帧或视频的软件指令的能力的组合。
替代地,图像可由装置100从除相机以外的源接收到,所述源例如其它装置、设备、网络附接存储等等。在一些其它方面中,装置100可以是测试装置,其中ISP 112是可移除的,使得另一ISP可耦合到装置100(例如测试装置、测试设备等等)。虽然以下实例关于装置100和ISP 112进行描述,但本公开不应限于用于调谐ISP的具体类型的装置或硬件配置。
在ISP的可调谐参数的数目有可能达到数百或数千的情况下,减少数目的度量(称为“图像质量”(IQ)度量)可映射到可调谐参数,使得辅助调谐ISP 112的人可专注于比大量可调谐参数更少的IQ度量。IQ度量是图像的可感知属性的测量(其中每一可感知属性称为“度(ness)”)。实例度是图像的亮度、图像的清晰度、图像的颗粒度、图像的色调、图像的色彩饱和度等等,且如果针对图像而改变,那么由人感知。举例来说,如果图像的亮度降低,那么人感知图像更暗。在一些实例中,IQ度量的数目可以是10到20,其中每一IQ度量对应于多个可调谐参数。另外,两个不同的IQ度量可能影响ISP 112的相同可调谐参数中的一些。在一些实例实施方案中,参数数据库109可使IQ度量的不同值与参数的不同值相关。举例来说,IQ度量的输入向量可与可调谐参数的输出向量相关联,使得可针对对应IQ度量调谐ISP112。由于参数的数目可能较大,所以参数数据库109可能未存储IQ度量的所有组合,而是包含多个组合的一部分。虽然存储器106和参数数据库109展示为包含在装置100中,但数据库可存储在装置100外部(例如在网络附接存储、云存储、耦合到装置100的测试设备等等中)。本公开不应限于装置100或参数数据库109或存储器106的具体实施方案。另外,参数还可能影响ISP 112外部的组件(例如相机102),且本公开不应限于具体描述的参数或仅特定于ISP的参数。举例来说,参数可用于具体ISP与相机(或相机传感器)组合。
可使用IQ模型来将IQ度量映射到可调谐参数。可使用任何类型的IQ模型,且本公开不限于用于使IQ度量与ISP参数相关的具体IQ模型。在一些实例实施方案中,IQ模型可包含一或多个调制传递函数(MTF)以确定与IQ度量的改变相关联的ISP参数的改变。举例来说,改变亮度IQ度量可对应于与调整相机传感器灵敏度、快门速度、闪光、ISP确定传入图像的每一像素的强度,ISP调整每一像素的色调或色彩平衡以用于补偿等等相关联的参数。可使用亮度MTF来指示亮度IQ度量的改变对应于相关参数的具体改变。
IQ模型或MTF可在不同ISP之间改变或在ISP与相机(或相机传感器)的不同组合之间改变。因此,调谐ISP可包括确定MTF或IQ模型中的差异,使得IQ度量值与(参数数据库109中的)ISP的优选可调谐参数值相关。由于“最优地”处理的图像可基于用户偏好或一或多个专家的主观,所以IQ模型的优化可以是开放式的,且经受辅助调谐的用户或人之间的差异。然而,存在量化IQ的尝试,例如通过使用IQ标度(例如从0到100,其中100是最好的)来指示ISP和/或相机的IQ性能。以这一方式,量化经处理图像的IQ,且专家可使用这种量化来调谐ISP(例如调整或确定ISP或ISP与相机的组合的参数)。一些IQ度量可能彼此相对,例如噪声和纹理,其中减少或增加噪声可对应地减少或增加图像中的高频纹理信息。当调谐ISP时,在IQ度量之间确定折衷以尝试优化图像的处理(例如通过根据IQ标度生成最高量化的IQ分数)。
优化IQ度量或以其它方式调谐ISP可针对不同场景类型而不同。举例来说,由白炽光照明的室内场景可对应于与具有明亮自然光的室外场景不同的“最优”IQ度量(和对应参数)。在另一实例中,具有大的平坦色彩和亮度场的场景可对应于与在场内具有大量色彩和色彩变化的场景不同的“最优”IQ度量。因此,可针对多个不同场景类型调谐ISP。
图2是描绘用于针对场景类型调谐ISP的常规操作200的说明性流程图。在处理一或多个接收到的图像时使用ISP的初始参数值集(202)。接着专家检测初始和经处理图像以确定应如何调整参数(204)。通过检测图像,专家确定将调整参数和调整量(206)。举例来说,专家可确定将调整的IQ度量和调整量,且可使用经调整IQ度量的一或多个MTF来确定对应ISP参数的调整量。调整参数(208),且经调整参数用于ISP以再次处理一或多个图像(210)。过程返回到204,其中专家反复检测图像、调整参数,且ISP用调整的参数处理图像,直到专家对经处理图像满意为止。一旦“优化”参数,就可将参数值存储在场景类型的参数数据库(例如数据库209)中。可针对场景类型存储多个参数值集,和/或存储的参数值集可对应于一或多个IQ度量中的离散差。
在一些实例实施方案中,由装置自动调谐ISP的至少一部分。因此,可减少用于调谐ISP的时间。自动调谐ISP还可考虑用户偏好以针对用户的偏好而不是专家的偏好来调谐ISP(因此提供用户更偏好的图像)。ISP的自动调谐可在装置或ISP设计、制造或测试期间进行,这可包含辅助专家调谐ISP。替代地或另外,ISP的自动调谐可由终端用户的装置进行,所述终端用户的装置例如智能电话、平板计算机,或包含一或多个ISP和/或与一或多个ISP通信的其它装置(例如包含ISP 112的装置100)。举例来说,ISP 112可能先前已由专家调谐,其中参数数据库109填充有将用于不同场景类型的参数值。利用用户输入的自动调谐可更新ISP调谐,使得参数数据库109可更新以包含用户偏好的参数值(例如通过用参数值的额外向量来致密化参数数据库109或调整参数值的现有向量)。在另一实例中,MTF可通过自动调谐程序更新以使参数与IQ度量更好地相关。自动调谐可包含软件、专用硬件或两者的组合。举例来说,自动调谐可包含将由处理器104执行以用于填充或更新装置100的参数数据库109的应用程序或软件。
在自动调谐时,可向人(例如调谐专家和/或给定装置的用户)呈现不同的可能经处理图像以确定人偏好哪些图像,且因此确定哪些IQ度量在调谐ISP时对人更重要。另外或替代地,个人可选择对他或她重要的IQ度量,且装置可呈现IQ度量的不同值的可能经处理图像,以确定个人的偏好且因此改进个人对ISP的调谐。
图3是描绘用于自动调谐ISP的实例操作300的说明性流程图。开始于302处,可接收到一或多个图像(例如由相机捕捉的原始图像)。在一些实施方案中,确定任选地针对ISP固定的参数的值(304)。举例来说,传感器或模块具体参数值(例如用于黑电平、镜头滚降、伽马、色彩等的一些参数)可能不针对不同场景类型改变。因此,可与自动调谐ISP分开确定参数值(例如确定非固定参数的值)。替代地,可能并不执行步骤304。
接着可使用接收到的图像来自动调谐ISP(306)。作为一个选项,可使用接收到的图像来填充或调整IQ模型的参数数据库和/或MTF(308)。举例来说,可针对接收到的图像确定或定义IQ度量或参数之间的关系和折衷。一个实例关系是图像的纹理与边缘锐度。保留图像中的边缘还可保留图像中的纹理或其它高频信息。另一实例关系是噪声与纹理。保留纹理或高频信息还可导致图像内存在更多噪声。另一实例关系是色彩与色调。如果调整图像的色调,那么色调调整可能影响图像的像素的色彩值(例如当调整图像的色调时,使像素的一或多个红色、绿色或蓝色值偏斜)。可使用用以量化IQ的IQ模型来(基于确定的折衷)确定参数集的不同实例值以产生具有高IQ分数(例如大于预定或可调整阈值、大于先前经处理图像的IQ分数等)的经处理图像。
在自动调谐ISP(306)时的额外或替代选项中,可基于个人偏好来确定用于不同场景类型的ISP的参数值(310)。举例来说,可向个人提供(例如呈现以供选择)在接收到的图像的经处理图像中具有可感知差异的选择,以便辅助确定个人的偏好。由个人选择的偏好可接着用来使参数数据库致密(例如填充额外数据点)、调整参数数据库(例如调整现有数据点)、设定(例如配置或确定)用于处理图像的ISP的参数值,或执行操作中的两个或更多个的组合。
以下实例关于噪声与图像锐度IQ度量/度和相关参数描述自动调谐。然而,相同或类似过程可用于针对其它关系(包含色彩与色调或其它)自动调谐ISP。另外,虽然描述两个度之间的关系,但三个或更多个度之间的关系可经确定或用来确定参数值,其中计算的数目与将相关的度的数目非线性地按比例调整。因此,以下实例仅出于说明性目的,且不应限制本公开的范围。
参数数据库109可包含先前确定的参数值集以使得ISP生成“高质量”图像(例如如基于等于或超过阈值分数的IQ分数来指定或确定)。每一参数值集可与IQ度量值相关联。数据库109可组织或具有多个组织结构,使得可将具有类似IQ度量的向量分组在一起。举例来说,可索引化或组织数据库109,使得可识别具有类似纹理度值的集。如在图3中所描述,可调整或更新参数数据库109以用于自动调谐ISP。
图4是描绘用于调整参数数据库的实例操作400的说明性流程图。开始于402处,接收到用于由ISP处理的一或多个图像或以其它方式使其可用。图像可以是由相机传感器捕捉的原始图像,具有可能影响处理的噪声和亮度特性。另外,可任选地接收到一或多个个人偏好(例如专家和/或用户对于最终处理的图像的偏好)(404)。实例偏好可包含关于个人对于经处理图像的色彩饱和度、色调、噪声等的偏好。装置可接着基于相机传感器的特性和/或个人偏好来确定是否将(利用一或多个先前确定的参数值集)调整现有参数数据库(406)。举例来说,可确定参数数据库中存在不足数目的参数值集。在另一实例中,现有集可确定为与用于捕捉接收到的图像的相机传感器不充分相关。在另一实例中,接收到的图像的场景类型可能并不由现有参数数据库覆盖。
基于确定将不调整参数数据库(408),使得参数值集确定为足以用于接收到的图像,现有参数数据库可在不调整的情况下使用(410)。基于确定将调整参数数据库(408),可使用参数数据库中的现有参数值集来评估接收到的图像(412)。在评估接收到的图像(412)时,可使用接收到的图像来分析IQ度量当中的一或多个关系(414)。举例来说,可分析(基于现有参数值集和用于处理的接收到的图像的)纹理与边缘锐度的IQ度量关系的分散。接着可基于分析的关系来确定一或多个新参数值集(416)。举例来说,可使用边缘锐度与纹理IQ度量之间的关系来确定仍为经处理图像提供足够IQ分数的不同锐度和纹理IQ度量的新参数值集。还可使用新参数值集来更好地定义IQ模型的IQ度量的折衷。举例来说,新参数值集可指示噪声IQ度量与纹理IQ度量之间的折衷。可接着确定要将一或多个新参数值集添加到参数数据库(418),从而使参数数据库致密。替代地或另外,可基于确定的新参数值集来修正现有参数值集。
在确定新参数值集时,一或多个IQ度量可保持固定,同时调整一或多个其它IQ度量。图5是对纹理与锐度IQ度量之间的关系500的描绘。指示度之间的关系的现有点502可来自对应于不同纹理和锐度IQ度量的现有参数值集。在实例中仅有两个现有点502的情况下,可使用接收到的图像来确定不同纹理和锐度IQ度量的多个新参数值集(以便具有经处理图像的足够IQ分数)。新集可对应于纹理与锐度IQ度量之间的关系500上的新点504,其可更好地指示IQ度量之间的折衷。虽然关系500描绘为两个度的图表,但关系可在任何数目个度且因此任何数目个维度之间。
确定新参数值集可基于参数数据库中的现有参数值集。举例来说,可调整现有参数值集(父集)以便创建一或多个新参数值集(子集(children set)。图6是描绘用于确定用于调整参数数据库的新参数值集的实例操作600的说明性流程图。
开始于602处,确定现有父集的附近IQ度量的空间。举例来说,远离父集的经确定距离可以是确定的空间。三角测量或差的总和是用于确定距离的实例方法,但可以任何合适的方式确定空间。图解3个度,可在父集周围确定立方体,其中潜在子集可存在于立方体(空间)内。在另一实例中,可在父集周围确定球体或其它合适的形状。
在一些实例实施方案中,可通过在父集与现有集之间内插参数值(例如关于604到608所描述)来确定子集。在一些其它实例实施方案中,可通过扰动或调整空间内的父集的参数(例如关于610所描述)来确定子集。在一些另外实例实施方案中,可执行内插与扰动的组合。举例来说,可通过扰动创建一些子集,接着可通过在先前子集与父集之间内插来创建额外子集。在另一实例中,可在空间内扰动内插的子集的参数以调整子集或创建新子集。
在604到608的实例中,将在空间中距父集最远的相邻者用于内插。然而,在其它实例中可将任何相邻者用于内插。返回参考604,可确定在空间中父集与现有集之间的距离。接着可基于距离来确定距父集最远的集(606)。举例来说,空间可在度的维度中定义,且距离可以是集之间的度中的组合差。以这一方式,最远集与父集之间的参数值的差可视为在创建子集时对父集的参数值的最大调整。因此,任何所得子集可配置成在空间内。
在确定空间中的最远相邻者(606)之后,可用最远相邻者与父集之间的内插的差调整来自父集的一或多个参数值(608)。在一些实例实施方案中,仅可确定将调整IQ度量的子集(subset)。以这一方式,可通过内插来调整IQ度量的子集的对应参数。在一些其它实例实施方案中,可通过内插来调整所有参数。调整参数可如以下等式(1)中所描绘执行:
子参数=父参数+a(相邻参数-父参数) (1)
其中a是0与1之间的值。在一些实例实施方案中,a对于将调整的所有参数可以是恒定的。因此,正调整的参数的调整因子相同。举例来说,基于正调整的所有参数,子集如以下等式(2)中所描绘:
子集=父集+a(相邻集-父集) (2)
作为通过内插确定的子集的替代或附加,可通过调整或扰动父集的一或多个参数来确定新集(610)。在调整父集的一或多个参数的一些实例实施方案中,可确定父集周围的集的稀疏性,其中稀疏性用于确定借以调整一或多个参数的因子。父集的稀疏性成本可以是父集与现有集在空间中或跨组的分布之间的距离。举例来说,父集与其在空间中的现有相邻者之间的马氏距离可确定为稀疏性成本。还可针对每一现有集确定距离,且针对跨整个组的现有集确定平均距离(其可以是组的平均成本)。用于调整参数的因子可如以下等式(3)中所描绘:
其中x是父集稀疏性成本且c是整个组的平均稀疏性成本。如果父集周围的稀疏性大于平均稀疏性(围绕父集的相邻者比典型的少),那么对参数的调整可更小,使得对应IQ度量在空间内。相反,如果父集周围的稀疏性小于平均稀疏性(围绕父集的相邻者比典型的多),那么对参数的调整可更大,这是由于更大数目的相邻者指示用于更大调整的对应IQ度量应仍在空间内。用于调整参数的窗口的大小可以是整个组的参数乘以因子的标准差,且窗口可以父集的参数值为中心。如果父集周围的稀疏性大于或等于平均稀疏性(与典型相比,围绕父集的相邻者数目更少或相同且分布),那么窗口大小可以是大约一个标准差。相反,如果父集周围的稀疏性小于平均稀疏性,那么窗口大小可以是多个标准偏差。在一些实例实施方案中,参数值随机或伪随机地从窗口选出。在一些另外实例实施方案中,可通过类似因子来调整相关参数(例如与IQ度量相关联的参数),其中将窗口中的相同位置用于每一相关参数。
在生成一或多个潜在子集之后,可确定每一潜在子集的IQ度量(612)。举例来说,可由ISP使用子参数值来处理接收到的图像,且可根据经处理图像计算出IQ度量。可接着作出IQ度量是否有效的确定(614)。在一个实例中,比较IQ度量与参数数据库中的现有集的IQ度量以确定其是否一致。如果IQ度量的一部分是离群值(例如未包含在参数数据库中的现有集的IQ度量当中),那么IQ度量可视为无效。在另一实例中,可针对经处理图像计算IQ分数。如果图像分数足够,例如大于阈值,那么IQ度量视为有效。可使用用于确定IQ度量的有效性的其它合适的过程,且本公开不应限于具体实例。
如果新IQ度量视为有效(614),那么可将子集添加到参数数据库(616)。如果新IQ度量视为无效(614),那么可拒绝子集且不将其添加到参数数据库(618)。
使用将用于ISP的参数值集的数据库,可收集通过用户输入的个人偏好以集中参数数据库以用于个人偏好。在一些实例实施方案中,显示器可针对变化的IQ度量提供(例如显示)不同的经处理图像,且用于接收用户输入的机构(例如GUI或相机或麦克风)可允许用户选择偏好的经处理图像以指示针对IQ度量的偏好。图7是描绘用于在针对个人偏好调整参数时以依序方式调整一或多个IQ度量的实例操作700的说明性流程图。过程可用于指示来自参数数据库的哪些参数集对于ISP(或ISP与相机组合)是用户偏好的。
开始于702处,确定将针对用户调整的IQ度量。在一个实例中,用户可指示哪些IQ度量对所述特定用户具有特定重要性。IQ度量可用于特定场景或大体上用于所有场景。可接着针对将调整的IQ度量中的每一个对参数数据库的参数集进行聚类或分组(704)。图8是对如由噪声与纹理的关系说明的参数集的实例聚类的描绘。如所展示,将参数集聚类成三个组:低噪声和纹理802、中噪声和纹理804,及高噪声和纹理806。虽然展示三个组,但可存在任何数目个聚类。另外,虽然关系说明为在两个度之间,但关系可以是对应于相关度的数目的任何数目个维度。分组或聚类指示具有较近IQ度量(例如彼此在确定距离内的IQ度量)的集。举例来说,三个聚类指示噪声IQ度量和纹理IQ度量对于聚类中的参数集是类似的。虽然未展示,但一或多个参数集可以不聚类,且可从对将由ISP使用的最终参数集的考虑中去除。
返回参考图7,针对将首先调整的IQ度量的聚类中的参数集中的每一个处理接收到的图像(706)。也可用对应于参数集中的每一个的对应参数的差的变化的IQ度量来处理图像(其中每一参数集有可能多次用来处理图像)。处理图像的次数可对应于针对IQ度量聚类的参数集的数目。经处理图像接着显示或以其它方式呈现给用户(708),使得用户可指示偏好哪一或哪些经处理图像。用户可接着(例如通过GUI或其它用户输入)指示偏好哪些经处理图像(710)。或者,可针对经处理图像中的每一个确定IQ分数,且可使用最高IQ分数或大于阈值的分数来选择经处理图像。
针对用户选择,可确定正调整的IQ度量的对应参数值(712)。举例来说,用户选择可具有对应于IQ度量的参数的子集,其具有跨用户选择的类似或相同的参数值。在另一实例中,对于每一选择,当针对下一变化的IQ度量处理图像时,保留与IQ度量相关联的参数值。接着针对下一变化的IQ度量再次处理图像(714)。处理可继续,直到调整了所有所指示的度量为止。然后,可搜索参数数据库以确定偏好的IQ度量的参数是否类似于一或多个所存储参数集的参数。这种参数集可视为将由ISP用于处理图像的优选参数值集。另外或替代地,可将确定的参数值添加到参数数据库作为一或多个新参数集。
在依序调整IQ度量时,可以树支结构描绘调整。图9是对用于依序调整IQ度量的实例树支说明900的描绘。如所展示,将聚类902用作起始点,且边缘MTF 904可首先用来调整边缘IQ度量。然后可使用高对比度纹理MTF 906来接着调整高对比度纹理IQ度量。低对比度纹理MTF 908可接着用来调整低对比度纹理IQ度量。可接着使用噪声MTF 910来调整噪声IQ度量。可接着执行精细调谐调整(指示为过冲912)以完成可改变对经处理图像的感知的一或多个参数。箭头中的每一个的端点可指示不同的经处理图像。连续箭头可指示用户针对相应IQ度量选择了那些图像。在一些实例实施方案中,黑化实线箭头、虚线实线箭头和灰色实线箭头可将由用户选择的图像指示为优于其它选定图像。用户可在过冲912期间选择对应于最终黑化实线箭头的图像作为关于其它偏好图像的偏好图像。
可在调整一或多个IQ度量时使用GUI。举例来说,GUI可允许用户检测IQ度量之间的折衷和确定偏好度量。在另一实例中,GUI可允许用户确定将调整的选定度量的偏好IQ度量。图10到14描绘用于调整对应于图9中的实例树支说明的IQ度量的实例GUI。图10是用于调整边缘IQ度量的实例GUI的快照1000。用户可选择所定义的边缘IQ度量值或关系中的一或多个,且接着按下下一步以转到下一IQ度量。图11是用于调整高对比度纹理IQ度量的实例GUI的快照1100。使用对边缘IQ度量的选择,用户可选择所定义的高对比度纹理IQ度量值或关系中的一或多个,且接着按下下一步以转到下一IQ度量。图12是用于调整低对比度纹理IQ度量的实例GUI的快照1200。使用对边缘IQ度量和高对比度IQ度量的选择,用户可选择所定义的低对比度纹理IQ度量值或关系中的一或多个,且接着按下下一步以转到下一IQ度量。图13是用于调整噪声IQ度量的实例GUI的快照1300。使用对边缘IQ度量和高和低对比度IQ度量的选择,用户可选择所定义的噪声IQ度量值或关系中的一或多个,且接着按下添加到购物车以结束。如所展示,潜在噪声IQ度量(图13中的N)是基于先前选择的IQ度量(在快照1300左方的图像中的每一个之下的选择用于边缘调谐(图10)的E、选择用于高对比度调谐(图11)的H,和选择用于低对比度调谐(图12)的L)。
GUI可展示对(具有相应参数集的)选定IQ度量的分组。图14是指示不同IQ度量的选择的级联的实例GUI的快照1400。在一些实例实施方案中,用户可选择将使用的一或多个最终级联(例如通过勾选快照1400中所说明的左方的框)。由ISP使用的参数集因此取决于选定的IQ度量值或关系(例如通过用于确定IQ度量的选定分组的参数值的不同MTF。举例来说,可基于(例如来自图14的)IQ度量的选定级联来识别来自参数数据库的一或多个参数值集。因此,可由ISP在处理接收到的图像时使用这种识别的参数值集。
如先前所陈述,IQ模型的优化可以是开放式的且服从用户或个人之间的不同偏好。可能不存在“正确的”参数值集,这是由于使用不同参数值的不同经处理图像可由个人视为具有类似IQ。因此,确定将使用的参数值或以其它方式调谐ISP可能是长时间的或繁琐的,这是由于参数值可能不收敛到一个具体参数值集。确定初始参数值或如何调整参数值可能是困难的,这是由于可能并不存在针对IQ度量的一个偏好设定。
在本公开的一些方面中,由不同ISP或装置处理的参考图像可引入自动调谐过程中。参考图像可提供关于一或多个偏好的IQ度量和其相关联参数值的一些引导或指示。举例来说,可使用参考图像来确定参数数据库中的一或多个最接近的参数值集。可使用最接近的集来使参数数据库致密或以其它方式调整参数数据库。将参考图像用于自动调谐的以下实例过程可与用于自动调谐或更新参数数据库的先前描述的实例过程中的一或多个组合。
图15是描绘用于在自动调谐ISP时使用参考图像的实例操作1500的说明性流程图。开始于1502处,可接收到参考图像。可预先处理参考图像。举例来说,参考图像可能已由不同的ISP或装置在完成处理之后提供。在一些实例实施方案中,参考图像不同于用于由ISP处理的输入图像。
在接收参考图像之后,可从参考图像确定一或多个偏好的IQ度量(1504)。举例来说,可从参考图像确定纹理IQ度量、噪声IQ度量和边缘IQ度量。其它实例IQ度量可包含色调IQ度量、色彩IQ度量、高频对比度IQ度量、低频对比度IQ度量等等。虽然关于纹理、噪声和边缘IQ度量描述了实例过程,但可使用其它和任何数目个IQ度量。因此,本公开不应限于具体IQ度量或实例。
接着可识别具有对应于最接近偏好的IQ度量的IQ度量的集的参数值的一或多个参数集(1506)。在一些实例实施方案中,参数数据库可存储每一参数值集的IQ度量的向量。在一些其它实例实施方案中,可使用IQ模型的MTF来确定参数数据库中的每一参数值集的IQ度量。可将具有最接近偏好的IQ度量的IQ度量的参数集视为最接近的参数集。
在一些实例实施方案中,可使用距离函数来确定最接近的参数集。在以下等式(4)中描绘实例距离函数:
对于从1到D的j,距离=∑i(Wi*|{Mj}i-Xi|) (4)
其中i是具体IQ度量,Xi是来自偏好的IQ度量值X的组或向量的具体IQ度量的偏好的IQ度量值,Mj是参数数据库中的第j参数集的IQ度量值的组或向量,Wi是来自权重向量W的第i IQ度量的权重(其中每一IQ度量可与不同权重相关联),且D是参数数据库中的参数集的数目。在一些其它实例实施方案中,距离函数可以是未加权总和,其中参数集IQ度量值与偏好的IQ度量值之间的差不乘以权重因子。
在一个实例中,如果确定的偏好IQ度量是纹理IQ度量、边缘IQ度量和噪声IQ度量,那么i可针对三个IQ度量在1到3范围内,且参数集j的距离可以是三个值的总和:对应IQ度量值与纹理、边缘和噪声IQ度量的偏好的IQ度量值之间的加权差。在一些实例实施方案中,最接近的参数集j可以是具有跨参数集的最小(smallest)或最小(minimum)距离的参数集。在一些其它实例实施方案中,如果距离小于阈值,那么可选择参数集。以这一方式,可在不搜索整个参数数据库的情况下识别参数集。
使用一或多个识别的参数集,ISP接着可处理接收到的图像(1508)。举例来说,原始图像可输入到装置或ISP中或由装置或ISP接收到,且使用识别的参数集来处理。接收到的图像可以是参考图像的原始图像(预处理)。还可确定或接收到一或多个个人或用户偏好(1510)。接着,可基于一或多个个人偏好和一或多个识别的参数集来调整参数数据库(1512)。
在一些实例实施方案中,可使用识别的参数集的变化来处理输入图像,且分析所述变化以确定是否将子集添加到参数数据库。举例来说,可使用图6中的实例操作600来使参数数据库致密,其中父集来自1506中的一或多个识别的参数集。返回参考图15,识别一或多个参数集和使用这种参数集来调整参数数据库的过程(1506到1512)可以递归方式进行,直到确定不进一步调整参数数据库为止。举例来说,参数数据库可能到达存储的参数集的临界数目。在另一实例中,如果未识别到或未确定(例如来自图6中的实例操作600的)具有有效IQ度量的新子集,那么参数数据库可停止更新。在另一实例中,如果新子集未充分改进IQ(例如将IQ分数增大阈值量或父集与子集之间的差在处理图像时无法由用户感知),那么参数数据库可停止更新。
在用于识别来自参数数据库的一或多个参数集(1506)的一些实例实施方案中,可识别数目等于或大于偏好的IQ度量的数目的参数集。图16是描绘用于确定最接近的参数集和调整参数数据库的实例操作1600的说明性流程图。图16中的实例操作1600可以是图15的步骤1506到1512的实例实施方案。虽然关于纹理、噪声和边缘IQ度量描述了图16,但可使用任何IQ度量和IQ度量的数目。
可从参数数据库确定偏好的IQ度量(例如纹理、噪声和边缘IQ度量)的最接近的参数集(1602)。在一些实例实施方案中,可使用等式(4)中所描绘的距离函数来确定最接近的参数集。与考虑所有偏好的IQ度量的最接近的参数集形成对比,除最接近的参数集以外的不同参数集可能更适合于处理图像。举例来说,可在确定最接近的参数集时松弛IQ度量中的一或多个。虽然操作1600描述在确定最接近的参数集时松弛一个IQ度量,但可松弛多于一个IQ度量。
参考1604,可确定具有松弛的纹理IQ度量的最接近的参数集。在一些实例实施方案中,可调整确定距离时的权重向量以减小纹理IQ度量的权重。举例来说,权重可调整到零(以从确定距离中去除对IQ度量的考虑)或先前权重的一部分(以在确定距离时减少对IQ度量的考虑)。类似地,可确定具有松弛的噪声IQ度量的最接近的参数集(1606),且可确定具有松弛的边缘IQ度量的最接近的参数集(1608)。在一些实例实施方案中,确定的参数集中的一或多个可相同。在一些其它实例实施方案中,可在确定最接近的参数集时从考虑中去除先前确定的最接近的参数集,使得确定的参数集的数目对应于偏好的IQ度量的数目。
可接着使用确定的/识别的参数集来处理接收到的图像(1610),这可类似于图15中的1508。使用经处理图像,可将要使用的参数集确定为最接近的参数集(例如在1602中确定),或在最接近的参数集与具有松弛的IQ度量的参数集中的一个之间的某处(例如在1604到1608中确定)(1612)。在一些实例实施方案中,确定的参数集可以是在1604到1608中确定的参数集中的一个(而不是在参数集中的一个与最接近的参数集之间)。
在确定将使用的参数集(1612)的一些方面中,可将经处理图像呈现给用户。用户可接着选择偏好的经处理图像。用户输入或选择可指示将使用哪一参数集。举例来说,如果用户选择最接近的参数集的处理图像,那么将最接近的参数集确定为将由ISP使用的参数集。以这一方式,由于选择了最接近的参数集,所以不更新参数数据库。如果用户选择松弛的IQ度量的参数集的经处理图像中的一个,那么可确定将使用最接近的参数集与对应松弛的参数集之间的参数集。因此,可创建来自最接近的参数集和松弛的IQ度量参数集的子集。
在一些实例实施方案中,可通过两个现有参数集之间的内插来确定来自最接近的参数集和松弛的IQ度量参数集的子集。举例来说,可使用图6中的实例操作600的步骤604到608来确定或创建子集。在另一实例中,可确定最接近的参数集和松弛的IQ度量的参数集的值之间的一或多个IQ度量值。接着可使用IQ模型的一或多个MTF来确定子集的参数值。
在一些方面中,子集用于处理接收到的图像,且与两个父集的经处理图像相比较。如果用户偏好子集的经处理图像(或替代地,经处理图像的IQ分数或其它评估指示子集的经处理图像大于其它经处理图像),那么可将子集添加到参数数据库。只要将调整参数数据库(例如用额外子集致密),就可重复所述过程。如果用户偏好最接近的参数集的经处理图像(或替代地,经处理图像的IQ分数或其它评估指示子集的经处理图像小于其它经处理图像),那么可拒绝子集且不进一步更新参数数据库。
将IQ度量和用户偏好用于整体调谐ISP可能需要大量时间。如先前所陈述,手动调整IQ度量的专家可花费数周来调谐ISP。另外,通过递归地更新参数集或基于重复的用户输入调整参数数据库的自动调谐可花费例如6到8小时。在用于自动调谐ISP的至少初始部分的一些方面中,可去除递归地调整参数数据库或调谐参数。举例来说,单触发或非递归过程可用于最初确定将由ISP使用的参数集的参数值(其可被称作“粗略”调谐)。接着可使用例如用户偏好、场景类型、亮度及/或目标ISP的特性来调谐或调整最初确定的参数值以改进或优化参数集(其可被称作“精细”调谐)。虽然描述了粗略调谐和精细调谐,但粗略调谐可仅仅用于确定将由ISP使用的参数集。因此,本公开不应限于包含粗略调谐和精细调谐两者。
图17是对使用参考图像的实例反馈调谐1700的描绘。使用参考图像的实例反馈调谐流程分别包含图15和图16中的程序1500和1600。如所示出,来自单独ISP的参考或目标图像可用于适配调谐工具。举例来说,可使用参考图像来调整参数数据库。如所展示,调谐工具可经递归地更新(例如继续使参数数据库致密或以其它方式调整参数数据库),且经更新工具(例如经调整参数数据库)可递归地用于通过ISP处理输入图像(例如原始图像)以确定用于更新调谐工具的更多反馈,例如用户偏好及/或IQ度量。更新工具并且确定反馈以再次更新工具的反馈回路可继续直到工具充分更新为止。举例来说,调整参数数据库,直到一或多个参数集经确定为足以由ISP在处理图像时使用为止。
在一些实例实施方案中,用于更新调谐工具(例如调整参数数据库)的反馈回路经非递归或单触发过程替换以用于使用参考图像确定参数的初始值。以这种方式,用于确定参数值的时间可减少或加速。图18是对使用参考图像的实例非递归(“前馈”)调谐流程1800的描绘。如所展示,用于ISP的先前经训练参数估计器可用于基于输入图像(例如原始图像)与参考图像(例如来自不同ISP的目标图像)之间的差异确定初始参数值。由于反馈或递归过程的结果是输入图像未经多次处理和评估,所以确定参数值和通过ISP使用参数值来处理输入图像的时间可减少。
参数估计器可在用于在图18中的流程1800中确定参数值之前经事先训练。在一些实例实施方案中,参数估计器是神经网络或其它模糊逻辑决策机,其使用多个其它输入和ISP的对应参考图像而经训练。在一个实例中,参数估计器可为深层神经网络(“DeepNet”)。在使用多个输入图像和来自不同ISP的对应参考图像训练DeepNet中,可确定和改善输入图像与参考图像之间的参数关系。因此,输入图像与对应参考图像之间的差异可以输入到由DeepNet定义的关系中以确定和输出将由ISP在处理图像时使用的参数值。在训练DeepNet时,分析来自ISP的经处理图像与参考图像之间的误差或损失以确定如何调整或更新DeepNet。举例来说,可在进一步训练DeepNet时比较参考图像与经处理图像之间的IQ度量的差。
在使用经训练参数估计器(例如DeepNet)来确定参数值的一些实例实施方案中,可能不需要或不使用经处理图像的IQ度量或主观度量(measure)。举例来说,一旦经训练,参数估计器就其自身来说就可足以确定参数值。在确定参数值时,经训练参数估计器可接收来自不同ISP的参考(输出)图像以及对应输入图像。图像可用于估计参数以用于通过当前ISP处理输入图像,使得来自ISP的经处理图像近似来自不同ISP的参考图像。
图19是描绘用于使用经训练参数估计器(例如DeepNet)来确定供ISP处理图像的参数的实例操作1900的说明性流程图。开始于1902处,可接收到将由ISP处理的输入图像。还可接收到对应于由不同ISP处理的输入图像的参考图像1904。接着可将输入图像和参考图像输入到经训练参数估计器中以用于确定或估计将由ISP用于处理输入图像的参数1906。使用输入图像和参考图像,经训练参数估计器可估计ISP的参数,使得ISP可在处理输入图像时估算参考图像1908。举例来说,来自ISP的经处理图像尽可能接近参考图像。
在训练参数估计器时,在训练参数估计器时为输入图像提供参考图像中可选择来自另一ISP的偏好经处理图像。以这种方式,参数估计器可估计参数值,因此通过另一ISP“模仿”(例如,跟踪、反映、紧密对应、大体上复制等等)图像的处理。换句话说,参数估计器可确定参数值,所述参数值在用于调谐ISP时产生将由用户/个人感知的经处理图像以大体上复制由另一不同ISP执行的处理。
在一些实例实施方案中,多个参数估计器可用于调谐ISP。ISP可包含用于处理输入图像的不同方面的多个滤波器或模块。图20是实例ISP 2000的框图。ISP 2000可以是图1中的装置100的ISP 112的实例实施方案。所说明的ISP 2000可为具有一系列滤波器2002A到2002N的单线程(或单核)处理器。在替代方面中,ISP可为多线程或多核处理器(或包含在多线程或多核处理器中)。在一个实例实施方案中,滤波器1 2002A可为降噪滤波器,滤波器2 2002B可以是边缘增强滤波器,且滤波器N 2002N可以是用以完成处理所捕捉图像帧的最终滤波器。滤波器可处理图像,其中滤波器对应于不同IQ度量(例如,滤波器1 2002A的噪声IQ度量、滤波器2 2002B的边缘IQ度量等等)。每一滤波器可使用多个参数以处理输入图像的对应方面(例如锐化边缘、去噪等等)。
在一些实例实施方案中,可针对ISP的滤波器或模块中的每一个训练不同参数估计器。举例来说,可针对滤波器1 2002A训练第一参数估计,可针对滤波器2 2002B训练第二参数估计器,等等。以这种方式,参数估计器可估计或确定用于将在处理输入图像时使用的ISP的对应滤波器或模块的参数值。
由于IQ度量或滤波器中的一些可为相关的,所以一或多个相同参数可由ISP的多个滤波器或模块在处理输入图像时使用。在一些方面中,不同参数估计器可确定参数的不同值。ISP可使用对应于相应滤波器或模块的不同值。替代地,ISP或装置可跨多个滤波器或模块选择和使用参数的所确定值中的一个。
如先前所描述,最初确定的参数值可经调整或精细调谐。举例来说,用户偏好或ISP特定特性可用于精细调谐所确定的参数值。精细调谐的实例可包含使用个人偏好或其它用户输入来调整参数值的先前描述的程序中的任一个。然而,不必调整或精细调谐所确定的参数值,且并不需要精细调谐。
在用于训练ISP的模块或滤波器的参数估计器的一些实例实施方案中,对模块的参数值的变化敏感的图像的部分可用于训练对应参数估计器。举例来说,TE42图表可以是用于训练参数估计器的输入图像,且TE42图表的图块可对对应ISP模块的参数值的变化敏感。在用于确定参数(其中一些参数对应于多个不同滤波器或模块)的一些实例实施方案中Siamese卷积DeepNet可用于融合来自(用于多个模块的)多个图块的信息以便估计参数。以这种方式,在训练参数估计器时输出可经堆叠和卷积处理。图21是对用于在训练不同模块时使用不同图块且因此确定ISP的参数值的实例流程2100的描绘。如所展示,图块对1到N中的每一个可对应于输入图像的图块和参考图像的对应图块。每对图块可经比较以确定实例模块参数2102。实例模块参数接着可经比较或以其它方式组合以提供最终模块参数2104(例如上文关于在一些模块参数值中具有差值所描述)。
除非具体描述为以具体方式实施,否则本文中所描述的技术可实施于硬件、软件、固件或其任何组合中。被描述为模块或组件的任何特征还可一起实施于集成逻辑装置中或分开来实施为离散但可互操作的逻辑装置。如果实施于软件中,那么技术可至少部分地由包括指令108的非暂时性处理器可读存储媒体(例如图1的实例装置100中的存储器106)实现,所述指令108在由处理器104执行时使得装置100进行上文所描述的方法中的一或多个。非暂时性处理器可读数据存储媒体可形成计算机程序产品的一部分,所述计算机程序产品可包含封装材料。
非暂时性处理器可读存储媒体可包括随机存取存储器(RAM),例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器、其它已知存储媒体等等。另外或替代地,所述技术可至少部分地通过承载或传送呈指令或数据结构形式并且可被计算机或其它处理器存取、读取和/或执行的代码的处理器可读通信媒体实现。
结合本文中所公开的实施例描述的各种说明性逻辑块、模块、电路和指令可由例如图1的处理器104的一或多个处理器执行。这类处理器可包含但不限于一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其它等效集成式或离散逻辑电路。如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一个。此外,在一些方面中,本文中所描述的功能性可在如本文中所描述而配置的专用软件模块或硬件模块内提供。而且,所述技术可完全实施于一或多个电路或逻辑元件中。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合,例如DSP和微处理器的组合、多个微处理器、与DSP核心结合的一或多个微处理器,或任何其它此类配置。
虽然本公开示出说明性方面,但应注意,在不脱离随附权利要求书的范围的情况下,可在本文中进行各种改变和修改。另外,除非另外明确陈述,否则根据本文中描述的方面的方法权利要求的功能、步骤或动作不必以任何特定次序来执行。举例来说,所描述的实例操作的步骤可以任何次序和在任何频率下进行。此外,虽然可以单数形式描述或主张元件,但除非明确地陈述对单数形式的限制,否则涵盖复数形式。因此,本公开不限于所说明的实例且在本公开的方面中包含用于执行本文中所描述的功能性的任何装置。
Claims (29)
1.一种用于调谐图像信号处理器ISP的方法,其包括:
通过装置接收待处理的输入图像;
通过所述装置接收参考图像,所述参考图像为所述输入图像的经第二ISP处理的图像;及
基于所述输入图像与所述参考图像之间的一或多个差异确定将由所述ISP在处理所述输入图像时使用的一或多个参数值。
2.根据权利要求1所述的方法,其中确定所述一或多个参数值包括确定参数值集以减小尚未由所述ISP提供的经处理输入图像与所述参考图像之间的差异。
3.根据权利要求2所述的方法,其中确定所述参数值集包括:
将所述输入图像提供到参数估计器;
将所述参考图像提供到所述参数估计器;及
响应于将所述输入图像和所述参考图像提供到所述参数估计器而从所述参数估计器接收所述参数值集,其中先前使用多个先前输入图像和对应于所述多个先前输入图像的多个先前经处理图像来训练所述参数估计器。
4.根据权利要求3所述的方法,其中确定所述参数值集进一步包括通过所述参数估计器估计组参数值集,其中所述参数估计器是经训练以确定所述ISP的参数之间的关系的神经网络。
5.根据权利要求4所述的方法,其中估计所述参数值集是非递归的。
6.根据权利要求5所述的方法,其进一步包括用所述参数值集来配置所述ISP以用于处理由所述ISP接收到的图像。
7.根据权利要求6所述的方法,其进一步包括通过所述装置的相机传感器来捕捉所述输入图像,其中:
所述装置包含耦合到所述相机传感器且经配置以处理来自所述相机传感器的图像的所述ISP;且
所述参数值集对应于所述相机传感器和所述ISP的配对。
8.根据权利要求7所述的方法,其进一步包括:
通过所述ISP使用从所述参数估计器接收到的所述参数值集来处理所述输入图像;及
将所述经处理输入图像显示于所述装置的显示器上。
9.根据权利要求8所述的方法,其进一步包括:
将所述参数估计器存储于所述装置的存储器中;及
通过耦合到所述ISP所述装置的一或多个应用处理器来执行所述参数估计器以估计所述参数值集。
10.根据权利要求9所述的方法,其进一步包括经由所述装置的一或多个无线收发器和基带处理器执行无线通信。
11.一种经配置以调谐图像信号处理器ISP的装置,其包括:
一或多个处理器,其经配置以:
接收待处理的输入图像;
接收参考图像,所述参考图像为所述输入图像的经第二ISP处理的图像;及
基于所述输入图像与所述参考图像之间的一或多个差异确定将由所述ISP在处理所述输入图像时使用的一或多个参数值。
12.根据权利要求11所述的装置,其中在确定所述一或多个参数值时,所述一或多个处理器经配置以确定参数值集以减小尚未由所述ISP提供的经处理输入图像与所述参考图像之间的差异。
13.根据权利要求12所述的装置,其中在确定所述参数值集时,所述一或多个处理器经配置以:
将所述输入图像提供到参数估计器;
将所述参考图像提供到所述参数估计器;及
响应于将所述输入图像和所述参考图像提供到所述参数估计器而从所述参数估计器接收所述参数值集,其中先前使用多个先前输入图像和对应于所述多个先前输入图像的多个先前经处理图像来训练所述参数估计器。
14.根据权利要求13所述的装置,其进一步包括经配置以估计所述参数值集的所述参数估计器,其中所述参数估计器是经训练以确定所述ISP的参数之间的关系的神经网络。
15.根据权利要求14所述的装置,其中所述参数估计器经配置以经由非递归操作来估计所述参数值集。
16.根据权利要求15所述的装置,其中所述一或多个处理器进一步经配置以用所述参数值集配置所述ISP以用于处理由所述ISP接收到的图像。
17.根据权利要求16所述的装置,其进一步包括:
相机传感器,其经配置以捕捉所述输入图像;及
所述ISP,其耦合到所述相机传感器且经配置以处理来自所述相机传感器的图像,其中所述参数值集对应于所述相机传感器和所述ISP的配对。
18.根据权利要求17所述的装置,其进一步包括显示器,其中所述ISP经配置以使用从所述参数估计器接收到的所述参数值集来处理所述输入图像,且所述显示器经配置以显示经处理输入图像。
19.根据权利要求18所述的装置,其进一步包括经配置以存储所述参数估计器的存储器,其中所述一或多个处理器是耦合到所述ISP且经配置以执行所述参数估计器以估计所述参数值集的一或多个应用处理器。
20.根据权利要求19所述的装置,其进一步包括经配置以执行无线通信的一或多个无线收发器和基带处理器。
21.一种存储含有指令的一或多个程序的非暂时性计算机可读媒体,所述指令在由装置的一或多个处理器执行时使得所述装置调谐图像信号处理器ISP,所述指令包括:
接收待处理的输入图像;
接收参考图像,所述参考图像为所述输入图像的经第二ISP处理的图像;及
基于所述输入图像与所述参考图像之间的一或多个差异确定将由所述ISP在处理所述输入图像时使用的一或多个参数值。
22.根据权利要求21所述的计算机可读媒体,其中所述指令进一步使得所述装置:
将所述输入图像提供到参数估计器;
将所述参考图像提供到所述参数估计器;及
响应于将所述输入图像和所述参考图像提供到所述参数估计器而从所述参数估计器接收参数值集,其中先前使用多个先前输入图像和对应于所述多个先前输入图像的多个先前经处理图像来训练所述参数估计器,以估计所述参数值集从而减小尚未由所述ISP提供的经处理输入图像与所述参考图像之间的差异。
23.根据权利要求22所述的计算机可读媒体,其中所述指令进一步使得所述装置使用所述参数估计器以非递归方式估计所述参数值集,其中所述参数估计器是经训练以确定所述ISP的参数之间的关系的神经网络。
24.根据权利要求23所述的计算机可读媒体,其中所述指令进一步使得所述装置用所述参数值集来配置所述ISP以用于处理由所述ISP接收到的图像。
25.根据权利要求24所述的计算机可读媒体,其中所述指令进一步使得所述装置通过所述装置的相机传感器捕捉所述输入图像,其中所述装置包含耦合到所述相机传感器且经配置以处理来自所述相机传感器的图像的所述ISP,且另外其中,所述参数值集对应于所述相机传感器和所述ISP的配对。
26.一种经配置以调谐图像信号处理器ISP的装置,其包括:
用于接收待处理的输入图像的装置;
用于接收参考图像的装置,所述参考图像为所述输入图像的经第二ISP处理的图像;及
用于基于所述输入图像与所述参考图像之间的一或多个差异确定将由所述ISP在处理所述输入图像时使用的一或多个参数值的装置。
27.根据权利要求26所述的装置,其进一步包括:
用于将所述输入图像提供到参数估计器的装置;
用于将所述参考图像提供到所述参数估计器的装置;及
用于响应于将所述输入图像和所述参考图像提供到所述参数估计器而从所述参数估计器接收参数值集的装置,其中先前使用多个先前输入图像和对应于所述多个先前输入图像的多个先前经处理图像来训练所述参数估计器,以估计所述参数值集从而减小尚未由所述ISP提供的经处理输入图像与所述参考图像之间的差异。
28.根据权利要求27所述的装置,其中所述参数估计器经配置以在估计所述参数值集时执行非递归操作,其中所述参数估计器是经训练以确定所述ISP的参数之间的关系的神经网络。
29.根据权利要求28所述的装置,其进一步包括用于用所述参数值集来配置所述ISP以用于处理由所述ISP接收的图像的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN201841003400 | 2018-01-30 | ||
IN201841003400 | 2018-01-30 | ||
PCT/US2019/015823 WO2019152499A1 (en) | 2018-01-30 | 2019-01-30 | Systems and methods for image signal processor tuning using a reference image |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111656781A true CN111656781A (zh) | 2020-09-11 |
Family
ID=65516760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980010542.8A Pending CN111656781A (zh) | 2018-01-30 | 2019-01-30 | 用于使用参考图像进行图像信号处理器调谐的系统和方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111656781A (zh) |
WO (1) | WO2019152499A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115052101A (zh) * | 2021-03-08 | 2022-09-13 | 北京小米移动软件有限公司 | 一种用于优化图像信号处理的方法 |
CN115362502A (zh) * | 2020-03-30 | 2022-11-18 | 高通股份有限公司 | 自动相机调试 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115719440A (zh) * | 2021-08-23 | 2023-02-28 | 索尼集团公司 | 图像信号处理器优化方法及设备 |
WO2024081761A1 (en) * | 2022-10-14 | 2024-04-18 | Motional Ad Llc | Cascade camera tuning |
WO2024082183A1 (zh) * | 2022-10-19 | 2024-04-25 | 华为技术有限公司 | 参数调节方法、装置以及智能终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012059618A1 (en) * | 2010-11-01 | 2012-05-10 | Nokia Corporation | Tuning of digital image quality |
US20170070671A1 (en) * | 2015-09-07 | 2017-03-09 | Samsung Electronics Co., Ltd. | Systems, methods, apparatuses, and non-transitory computer readable media for automatically tuning operation parameters of image signal processors |
CN107038698A (zh) * | 2015-10-13 | 2017-08-11 | 西门子保健有限责任公司 | 用于个性化图像质量评估和优化的基于学习的框架 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8223230B2 (en) * | 2009-05-08 | 2012-07-17 | Qualcomm Incorporated | Systems, methods, and apparatus for camera tuning and systems, methods, and apparatus for reference pattern generation |
US9615071B2 (en) * | 2013-08-01 | 2017-04-04 | Mediatek Inc. | Method and apparatus for tuning camera correction setting for camera module |
-
2019
- 2019-01-30 WO PCT/US2019/015823 patent/WO2019152499A1/en active Application Filing
- 2019-01-30 CN CN201980010542.8A patent/CN111656781A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012059618A1 (en) * | 2010-11-01 | 2012-05-10 | Nokia Corporation | Tuning of digital image quality |
US20170070671A1 (en) * | 2015-09-07 | 2017-03-09 | Samsung Electronics Co., Ltd. | Systems, methods, apparatuses, and non-transitory computer readable media for automatically tuning operation parameters of image signal processors |
CN107038698A (zh) * | 2015-10-13 | 2017-08-11 | 西门子保健有限责任公司 | 用于个性化图像质量评估和优化的基于学习的框架 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115362502A (zh) * | 2020-03-30 | 2022-11-18 | 高通股份有限公司 | 自动相机调试 |
CN115052101A (zh) * | 2021-03-08 | 2022-09-13 | 北京小米移动软件有限公司 | 一种用于优化图像信号处理的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019152499A1 (en) | 2019-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111656781A (zh) | 用于使用参考图像进行图像信号处理器调谐的系统和方法 | |
CN111630854A (zh) | 用于图像信号处理器调谐的系统和方法 | |
US8730329B2 (en) | Automatic adaptive image sharpening | |
EP3542347B1 (en) | Fast fourier color constancy | |
US9635332B2 (en) | Saturated pixel recovery in light-field images | |
KR100983037B1 (ko) | 자동 화이트 밸런스 조정 방법 | |
JP2022519469A (ja) | 画像品質評価方法及び装置 | |
CN103546803B (zh) | 一种图像处理的方法、客户端和图像处理的系统 | |
CN110248170B (zh) | 图像色彩调整方法及装置 | |
US10580122B2 (en) | Method and system for image enhancement | |
CN110233971A (zh) | 一种拍摄方法及终端、计算机可读存储介质 | |
US9940543B2 (en) | Control of computer vision pre-processing based on image matching using structural similarity | |
CN111615827A (zh) | 用于图像信号处理器调谐的系统和方法 | |
US9628727B2 (en) | Information processing apparatus and method, and image capturing system determining or acquiring target noise amount | |
KR101349968B1 (ko) | 자동 영상보정을 위한 영상 처리 장치 및 방법 | |
Fry et al. | Bridging the gap between imaging performance and image quality measures | |
CN109035178B (zh) | 一种应用于图像去噪的多参数取值调优方法 | |
CN115293989A (zh) | 一种综合MsRcR和自动色阶的图像增强方法 | |
EP4040347A1 (en) | Device and method for learning data augmentation-based space analysis model | |
CN111782845A (zh) | 一种图像调整方法、图像调整装置及移动终端 | |
Peltoketo | SNR and Visual Noise of Mobile Phone Cameras | |
CN117173642B (zh) | 一种基于大数据的建筑施工视频实时监测预警方法 | |
van Zwanenberg et al. | Camera system performance derived from natural scenes | |
US20230269499A1 (en) | Method for automatic sensor pixel arrangement optimized for multiple camera tasks | |
US11769311B1 (en) | Systems and methods for editing three-dimensional image data with realistic camera and lens effects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200911 |