CN111630854A - 用于图像信号处理器调谐的系统和方法 - Google Patents

用于图像信号处理器调谐的系统和方法 Download PDF

Info

Publication number
CN111630854A
CN111630854A CN201980009535.6A CN201980009535A CN111630854A CN 111630854 A CN111630854 A CN 111630854A CN 201980009535 A CN201980009535 A CN 201980009535A CN 111630854 A CN111630854 A CN 111630854A
Authority
CN
China
Prior art keywords
image
parameter
parameters
determining
metrics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980009535.6A
Other languages
English (en)
Inventor
P·K·拜哈提
S·萨胡
N·斯里尼瓦沙穆尔蒂
Y·古普塔
U·K·普蒂佩蒂
S·H·希瓦库马尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111630854A publication Critical patent/CN111630854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

本公开的方面涉及用于调谐图像信号处理器ISP的系统和方法。实例装置可包含配置成进行以下操作的一或多个处理器:接收参考图像;基于所述参考图像来确定多个图像质量IQ度量;确定所述参考图像的所述多个IQ度量中的每一个的值;基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集;和基于所述一或多个现有参数集来确定是否将调整所述参数数据库。

Description

用于图像信号处理器调谐的系统和方法
技术领域
本公开大体上涉及用于调谐图像信号处理器的系统和方法,且具体来说,涉及确定由图像信号处理器用来处理图像的一或多个参数。
背景技术
由相机传感器捕获的原始图像由图像信号处理器(ISP)处理以生成最终图像。处理可包含应用于所捕获图像的多个滤波器或处理块,例如去噪或噪声滤波、边缘增强、色彩平衡、对比度、强度调整(例如变暗或变亮)、色调调整等等。图像处理块或模块可包含透镜/传感器噪声校正、拜耳(Bayer)滤波器、去马赛克、色彩转换、图像属性的校正或增强/抑制、去噪滤波器和锐化滤波器。每一模块可包含大量可调谐参数(例如每模块数百或数千个参数)。另外,模块可以是共同依赖的,因为不同的模块可能影响图像的类似方面。举例来说,去噪和纹理校正或增强都可能影响图像的高频方面。因此,针对ISP确定或调整大量参数以从所捕获原始图像生成最终图像。
ISP的参数常规地由具有如何处理输入图像以获得合乎需要的输出图像的经验的专家手动调谐。由于ISP滤波器/模块与绝对数目的可调谐参数之间的相关性,所以专家可能需要3到4周来基于具体相机传感器与ISP的组合确定或调整参数的装置设定。由于相机传感器或其它相机特征(例如透镜特性或缺陷、光圈大小、快门速度和移动、闪光亮度和色彩等等)可能影响所捕获图像,且因此影响ISP的可调谐参数中的至少一些,所以相机传感器与ISP的每一组合将需要由专家调谐。
发明内容
提供本发明内容而以简化形式介绍下文在具体实施方式中进一步描述的概念的选择。本发明内容并不意图识别所要求主题的关键特征或基本特征,也并不意图限制所要求主题的范围。
本公开的方面涉及用于调谐图像信号处理器的系统和方法。在一些实例实施方案中,一种用于调谐图像信号处理器(ISP)的装置可包含配置成进行以下操作的一或多个处理器:接收参考图像;基于所述参考图像来确定多个图像质量(IQ)度量;确定所述参考图像的所述多个IQ度量中的每一个的值;基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集;和基于所述一或多个现有参数集来确定是否将调整所述参数数据库。
在另一实例中,公开一种用于调谐ISP的方法。实例方法包含由处理器接收参考图像。所述方法还包含由所述处理器基于所述参考图像来确定多个图像质量(IQ)度量。所述方法进一步包含由所述处理器确定所述参考图像的所述多个IQ度量中的每一个的值。所述方法还包含由所述处理器基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集。所述方法进一步包含由所述处理器基于所述一或多个现有参数集来确定是否将调整所述参数数据库。
在另一实例中,公开一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可存储指令,所述指令在由配置成调谐ISP的装置的处理器执行时使得所述装置:接收参考图像;基于所述参考图像来确定多个图像质量(IQ)度量;确定所述参考图像的所述多个IQ度量中的每一个的值;基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集;和基于所述一或多个现有参数集来确定是否将调整所述参数数据库。在另一实例中,公开一种配置成调谐ISP的装置。所述装置包含:用于接收参考图像的装置;用于基于所述参考图像来确定多个图像质量(IQ)度量的装置;用于确定所述参考图像的所述多个IQ度量中的每一个的值的装置;用于基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集的装置;和用于基于所述一或多个现有参数集来确定是否将调整所述参数数据库的装置。
附图说明
本公开的方面在附图的图中以实例方式而不是限制的方式说明,且其中相同附图标记指代类似元件。
图1是用于调谐ISP的实例装置的框图。
图2是描绘用于针对场景类型调谐ISP的常规操作的说明性流程图。
图3是描绘用于自动调谐ISP的实例操作的说明性流程图。
图4是描绘用于调整参数数据库的实例操作的说明性流程图。
图5是对纹理与锐度IQ度量之间的关系的描绘。
图6是描绘用于确定用于调整参数数据库的新参数值集的实例操作的说明性流程图。
图7是描绘用于在针对个人偏好调整参数时以依序方式调整一或多个IQ度量的实例操作的说明性流程图。
图8是对如由噪声与纹理的关系说明的参数集的实例聚类的描绘。
图9是对用于依序调整IQ度量的实例树支说明的描绘。
图10是用于调整边缘IQ度量的实例GUI的快照。
图11是用于调整高对比度纹理IQ度量的实例GUI的快照。
图12是用于调整低对比度纹理IQ度量的实例GUI的快照。
图13是用于调整噪声IQ度量的实例GUI的快照。
图14是指示不同IQ度量的选择的级联的实例GUI的快照。
图15是描绘用于在自动调谐ISP时使用参考图像的实例操作的说明性流程图。
图16是描绘用于确定最接近的参数集和调整参数数据库的实例操作的说明性流程图。
图17是描绘用于确定用于调整参数数据库的新参数值集的另一实例操作的说明性流程图。
图18是描绘用于将新参数集添加到参数数据库预定义次数的实例操作的说明性流程图。
图19是描绘用于确定参数集中的任一个是否可接受以用于处理图像的实例操作的说明性流程图。
图20是描绘用于在所使用参数集中没有一个视为可接受的时确定不同参数集的实例操作的说明性流程图。
图21是描绘用于在所使用参数集中没有一个视为可接受的时确定不同参数集的另一实例操作的说明性流程图。
具体实施方式
本公开的方面可用于调谐图像信号处理器(ISP),例如确定或调整由ISP用于处理输入图像的参数。在常规地调谐ISP时,专家可能需要数周的测试和调整以确定将由ISP使用的参数。另外,用户可具有与专家可能认为合乎需要的处理的图像的偏好不同的偏好。举例来说,用户可能比调谐ISP的专家偏好更大的色彩饱和度、更柔和的图像或其它。本公开的方面可用于调谐ISP中,使得调谐ISP可能需要更少时间和/或没有专门知识的个人(例如装置用户)可用他或她的偏好来辅助调谐ISP。在一些方面中,可基于用户偏好来填充、适配或更新ISP参数的数据库。最终或更新的数据库可接着用来在处理传入图像时将参数提供到ISP。
在以下描述中,阐述例如具体组件、电路和过程的实例的许多具体细节以提供对本公开的透彻理解。如本文中所使用的术语“耦合”意味着直接连接或通过一或多个介入组件或电路连接。此外,在以下描述中且出于解释的目的,阐述具体术语以提供对本公开的透彻理解。然而,将对所属领域的技术人员显而易见的是,这些具体细节可能并非实践本文中所公开的教示所必需的。在其它情况下,以框图形式展示众所周知的电路和装置以避免混淆本公开的教示。以下详细描述的一些部分是关于对计算机存储器内的数据位的操作的程序、逻辑块、处理和其它符号表示来呈现。在本公开中,将程序、逻辑块、过程或其类似物构想成产生所需结果的步骤或指令的自一致序列。步骤是要求对物理量进行物理操控的步骤。这些量通常呈能够在计算机系统中存储、传递、组合、比较和以其它方式操控的电信号或磁信号的形式,但不一定如此。
然而,应牢记,所有这些和类似术语应与适当物理量相关联,且仅仅是应用于这些量的方便标签。除非另外具体陈述,否则如从以下论述显而易见的是,应了解,贯穿本申请,利用例如“存取”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“求平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“导出”、“建立”或其类似物的术语的论述是指计算机系统或类似电子计算装置的动作和过程,所述计算机系统或类似电子计算装置操控表示为计算机系统的寄存器和存储器内的物理(电子)量的数据且将其变换成类似地表示为计算机系统存储器或寄存器或其它这种信息存储、传输或显示装置内的物理量的其它数据。
在图中,单个块可描述为进行一或多个功能;然而,在实际实践中,由所述块进行的一或多个功能可在单个组件中或跨多个组件进行,和/或可使用硬件、使用软件或使用硬件与软件的组合来进行。为清晰地说明硬件与软件的这一可互换性,下文大体上关于其功能性来描述各种说明性组件、块、模块、电路和步骤。这种功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性,但这种实施决策不应解译为引起与本公开的范围的偏离。此外,实例装置可包含除展示的组件以外的组件,包含例如处理器、存储器和其类似物的众所周知的组件。
本公开的方面适用于配置成或能够调谐ISP的任何合适的电子装置(例如具有一或多个相机的安全系统、智能电话、平板计算机、膝上型计算机、数字视频和/或静态相机、网络相机、云计算网络、用于ISP的测试仪器、制造设施、与ISP介接的测试装置等等)。虽然下文关于具有或耦合到一个相机的装置进行描述,但本公开的方面适用于具有任何数目个相机(包含无相机,其中将图像或视频提供到装置,或多个相机)的装置,且因此不限于具有一个相机的装置。本公开的方面可适用于捕获静态图像以及用于捕获视频的装置,且可实施于具有或耦合到不同能力的相机(例如视频相机或静态图像相机)的装置中。另外,虽然下文关于具有一或多个ISP的装置进行描述,但本公开的方面适用于耦合到或介接ISP(例如制造或测试仪器和测试装置)的装置,且因此不限于具有ISP的装置。
术语“装置”不限于一个或具体数目的实物对象(例如一个智能电话、一个相机控制器、一个处理系统等等)。如本文中所使用,装置可以是具有可实施本公开的至少一些部分的一或多个部件的任何电子装置。虽然以下描述和实例使用术语“装置”来描述本公开的各种方面,但术语“装置”不限于对象的具体配置、类型或数目。
图1是用于调谐ISP的实例装置100的框图。实例装置100可包含或耦合到相机102、处理器104、存储指令108的存储器106,和相机控制器110。装置100可任选地包含(或耦合到)显示器114和数个输入/输出(I/O)组件116。装置100可包含未展示的额外特征或组件。举例来说,可包含用于无线通信装置的无线接口,所述无线接口可包含数个收发器和基带处理器。装置100可包含或耦合到除相机102以外的额外相机。本公开不应限于任何具体实例或说明,包含实例装置100。
相机102可能够捕获单独的图像帧(例如静态图像)和/或捕获视频(例如一连串所捕获图像帧)。相机102可包含单相机传感器和相机镜头,或是双相机模块或具有多个相机传感器和镜头的任何其它合适的模块。存储器106可以是存储计算机可执行指令108以进行本公开中所描述的一或多个操作中的全部或一部分的非暂态或非暂时性计算机可读介质。存储器106还可存储将用于存储和查找ISP(例如ISP 112)的参数的参数数据库109或查找表(LUT)。装置100还可包含电源118,其可耦合到装置100或集成到装置100中。
处理器104可以是能够执行存储在存储器106内的一或多个软件程序(例如指令108)的脚本或指令的一或多个合适的处理器。在一些方面中,处理器104可以是执行指令108以使得装置100进行任何数目个功能或操作的一或多个通用处理器。在额外或替代方面中,处理器104可包含集成电路或其它硬件以进行功能或操作,而不使用软件。虽然在图1的实例中展示为经由处理器104彼此耦合,但处理器104、存储器106、相机控制器110、可选显示器114和可选I/O组件116可以各种布置彼此耦合。举例来说,处理器104、存储器106、相机控制器110、可选显示器114和/或可选I/O组件116可经由一或多个局部总线(为简单起见未展示)彼此耦合。
显示器114可以是允许用户交互和/或呈现项目(例如所捕获图像、视频或预览图像)以由用户观看的任何合适的显示器或屏幕。在一些方面中,显示器114可以是触敏显示器。I/O组件116可以是或包含用以接收来自用户的输入(例如命令)且向用户提供输出的任何合适的机构、接口或装置。举例来说,I/O组件116可包含(但不限于)图形用户接口、键盘、鼠标、麦克风和扬声器等等。显示器114和/或I/O组件116可向用户提供预览图像和/或接收用于调整相机102的一或多个设定(例如选择和/或取消选择用于AF操作的所显示预览图像的关注区域)的用户输入。
相机控制器110可包含ISP 112,所述ISP 112可以是用以处理由相机102提供的所捕获图像帧或视频的一或多个图像信号处理器。在一些实例实施方案中,相机控制器110(例如ISP 112)还可控制相机102的操作。在一些方面中,ISP 112可使用从参数数据库109提供的参数来处理接收到的图像。处理器104可确定将由ISP 112使用的来自参数数据库109的参数。ISP 112可执行来自存储器的指令以处理图像帧或视频,可包含用以处理图像帧或视频的具体硬件,或另外或替代地可包含具体硬件与执行用于处理图像帧或视频的软件指令的能力的组合。
或者,图像可由装置100从除相机以外的来源接收到,所述来源例如其它装置、仪器、网络附接存储等等。在一些其它方面中,装置100可以是测试装置,其中ISP 112是可移除的,使得另一ISP可耦合到装置100(例如测试装置、测试仪器等等)。虽然以下实例关于装置100和ISP 112进行描述,但本公开不应限于用于调谐ISP的具体类型的装置或硬件配置。
在ISP的可调谐参数的数目有可能达到数百或数千的情况下,减少数目的度量(称为“图像质量”(IQ)度量)可映射到可调谐参数,使得辅助调谐ISP 112的人可专注于比大量可调谐参数更少的IQ度量。IQ度量是对图像的可感知属性的测量(其中每一可感知属性称为“度(ness)”)。实例度是图像的亮度、图像的锐度、图像的颗粒度、图像的色调、图像的色彩饱和度等等,且如果针对图像而改变,那么由人所感知。举例来说,如果图像的亮度降低,那么人感知图像更暗。在一些实例中,IQ度量的数目可以是10到20,其中每一IQ度量对应于多个可调谐参数。另外,两个不同的IQ度量可能影响ISP 112的相同可调谐参数中的一些。在一些实例实施方案中,参数数据库109可使IQ度量的不同值与参数的不同值相关。举例来说,IQ度量的输入向量可与可调谐参数的输出向量相关联,使得可针对对应IQ度量调谐ISP112。由于参数的数目可能较大,所以参数数据库109可能未存储IQ度量的所有组合,而是包含组合的数目的一部分。虽然存储器106和参数数据库109展示为包含在装置100中,但数据库可存储在装置100外部(例如在网络附接存储、云存储、耦合到装置100的测试仪器等等中)。本公开不应限于装置100,或参数数据库109或存储器106的具体实施方案。另外,参数还可能影响ISP 112外部的组件(例如相机102),且本公开不应限于具体描述的参数或仅特定于ISP的参数。举例来说,参数可用于具体ISP与相机(或相机传感器)组合。
可使用IQ模型来将IQ度量映射到可调谐参数。可使用任何类型的IQ模型,且本公开不限于用于使IQ度量与ISP参数相关的具体IQ模型。在一些实例实施方案中,IQ模型可包含一或多个调制传递函数(MTF)以确定与IQ度量的改变相关联的ISP参数的改变。举例来说,改变亮度IQ度量可对应于与调整相机传感器灵敏度、快门速度、闪光、ISP确定传入图像的每一像素的强度,ISP调整每一像素的色调或色彩平衡以用于补偿等等相关联的参数。可使用亮度MTF来指示亮度IQ度量的改变对应于相关参数的具体改变。
IQ模型或MTF可在不同ISP之间改变或在ISP与相机(或相机传感器)的不同组合之间改变。因此,调谐ISP可包括确定MTF或IQ模型中的差,使得IQ度量值与(参数数据库109中的)ISP的偏好的可调谐参数值相关。由于“最优地”处理的图像可以是基于用户偏好或一或多个专家的主观,所以IQ模型的优化可以是开放式的,且服从辅助调谐的用户或个人之间的差异。然而,存在量化IQ的尝试,例如通过使用IQ标度(例如从0到100,其中100是最好的)来指示ISP和/或相机的IQ性能。以这一方式,量化处理的图像的IQ,且专家可使用这种量化来调谐ISP(例如调整或确定ISP或ISP与相机的组合的参数)。一些IQ度量可能彼此相对,例如噪声和纹理,其中减少或增加噪声可相应地减少或增加图像中的高频纹理信息。当调谐ISP时,在IQ度量之间确定平衡点以尝试优化图像的处理(例如通过从IQ标度生成最高量化的IQ分数)。
优化IQ度量或以其它方式调谐ISP可针对不同场景类型而不同。举例来说,由白炽光照明的室内场景可对应于与具有明亮自然光的室外场景不同的“最优”IQ度量(和对应参数)。在另一实例中,具有大的平坦色彩和亮度场的场景可对应于与在场内具有大数目的色彩和色彩变化的场景不同的“最优”IQ度量。因此,可针对多个不同场景类型调谐ISP。
图2是描绘用于针对场景类型调谐ISP的常规操作200的说明性流程图。在处理一或多个接收到的图像时使用ISP的初始参数值集202。接着专家检测初始和处理的图像以确定应如何调整参数204。通过检测图像204,专家确定将调整的参数和调整量206。举例来说,专家可确定将调整的IQ度量和调整量,且可使用调整的IQ度量的一或多个MTF来确定对应ISP参数的调整量。调整参数208,且调整的参数用于ISP以再次处理一或多个图像210。过程返回到204,其中专家反复检测图像、调整参数,且ISP用调整的参数处理图像,直到专家对处理的图像满意为止。一旦“优化”参数,就可将参数值存储在场景类型的参数数据库(例如数据库209)中。可针对场景类型存储多个参数值集,和/或存储的参数值集可对应于一或多个IQ度量中的离散差。
在一些实例实施方案中,由装置自动调谐ISP的至少一部分。因此,可减少用于调谐ISP的时间。自动调谐ISP还可考虑用户偏好以针对用户的偏好而不是专家的偏好来调谐ISP(因此提供用户更偏好的图像)。ISP的自动调谐可在装置或ISP设计、制造或测试期间进行,这可包含辅助专家调谐ISP。或者或另外,ISP的自动调谐可由终端用户的装置进行,所述终端用户的装置例如智能电话、平板计算机,或包含一或多个ISP和/或与一或多个ISP通信的其它装置(例如包含ISP 112的装置100)。举例来说,ISP 112可能先前已由专家调谐,其中参数数据库109填充有将用于不同场景类型的参数值。利用用户输入的自动调谐可更新ISP调谐,使得参数数据库109可更新以包含用户偏好的参数值(例如通过用参数值的额外向量来使参数数据库109致密或调整参数值的现有向量)。在另一实例中,MTF可通过自动调谐程序更新以使参数与IQ度量更好地相关。自动调谐可包含软件、专用硬件或两者的组合。举例来说,自动调谐可包含将由处理器104执行以用于填充或更新装置100的参数数据库109的应用或软件。
在自动调谐时,可向个人(例如调谐专家和/或给定装置的用户)呈现不同的可能处理的图像以确定个人偏好哪些图像,且因此确定哪些IQ度量可能在调谐ISP时对个人更重要。另外或替代地,个人可选择对他或她重要的IQ度量,且装置可呈现IQ度量的不同值的可能处理的图像,以确定个人的偏好且因此改进个人对ISP的调谐。
图3是描绘用于自动调谐ISP的实例操作300的说明性流程图。开始于302处,可接收到一或多个图像(例如由相机捕获的原始图像)。在一些实施方案中,确定任选地针对ISP固定的参数的值304。举例来说,传感器或模块具体参数值(例如用于黑电平、镜头滚降、伽马、色彩等的一些参数)可能不针对不同场景类型改变。因此,可与自动调谐ISP分开确定参数值(例如确定非固定参数的值)。或者,可能并不进行步骤304。
接着可使用接收到的图像来自动调谐ISP 306。作为一个选项,可使用接收到的图像来填充或调整IQ模型的参数数据库和/或MTF 308。举例来说,可针对接收到的图像确定或定义IQ度量或参数之间的关系和平衡点。一个实例关系是图像的纹理与边缘锐度。保留图像中的边缘还可保留图像中的纹理或其它高频信息。另一实例关系是噪声与纹理。保留纹理或高频信息还可导致图像内存在更多噪声。另一实例关系是色彩与色调。如果调整图像的色调,那么色调调整可能影响图像的像素的色彩值(例如当调整图像的色调时,使像素的一或多个红色、绿色或蓝色值偏斜)。可使用用以量化IQ的IQ模型来(基于确定的平衡点)确定参数集的不同实例值以产生具有高IQ分数(例如大于预定或可调整阈值、大于先前处理的图像的IQ分数等)的处理的图像。
在自动调谐ISP 306时的额外或替代选项中,可基于个人偏好来确定用于不同场景类型的ISP的参数值310。举例来说,可向个人提供(例如呈现以供选择)具有接收到的图像的处理的图像中的可感知的差异的选择,以便辅助确定个人的偏好。由个人选择的偏好可接着用来使参数数据库致密(例如填充额外数据点)、调整参数数据库(例如调整现有数据点)、设定(例如配置或确定)用于处理图像的ISP的参数值,或进行操作中的两个或更多个的组合。
以下实例关于噪声与图像锐度IQ度量/度和相关参数描述自动调谐。然而,相同或类似过程可用于针对其它关系(包含色彩与色调或其它)自动调谐ISP。另外,虽然描述两个度之间的关系,但三个或更多个度之间的关系可确定或用来确定参数值,其中计算的数目与将相关的度的数目非线性地按比例调整。因此,以下实例仅出于说明性目的,且不应限制本公开的范围。
参数数据库109可包含先前确定的参数值集以使得ISP生成“高质量”图像(例如如基于等于或超过阈值分数的IQ分数来指定或确定)。每一参数值集可与IQ度量值相关联。数据库109可组织或具有多个组织结构,使得可将具有类似IQ度量的向量分组在一起。举例来说,可索引化或组织数据库109,使得可识别具有类似纹理度值的集。如在图3中所描述,可调整或更新参数数据库109以用于自动调谐ISP。
图4是描绘用于调整参数数据库的实例操作400的说明性流程图。开始于402处,接收到用于由ISP处理的一或多个图像或以其它方式使其可用。图像可以是由相机传感器捕获的原始图像,具有可能影响处理的噪声和亮度特性。另外,可任选地接收到一或多个个人偏好(例如专家和/或用户对于最终处理的图像的偏好)404。实例偏好可包含关于个人对于处理的图像的色彩饱和度、色调、噪声等的偏好。装置可接着基于相机传感器的特性和/或个人偏好来确定是否将调整(具有一或多个先前确定的参数值集的)现有参数数据库406。举例来说,可确定参数数据库中存在的参数值集的数目不足。在另一实例中,可将现有集确定为与用于捕获接收到的图像的相机传感器不充分相关。在另一实例中,接收到的图像的场景类型可能并不由现有参数数据库覆盖。
基于确定将不调整参数数据库408,使得将参数值集确定为足以用于接收到的图像,可在不调整的情况下使用现有参数数据库410。基于确定将调整参数数据库408,可使用参数数据库中的现有参数值集来评估接收到的图像412。在评估接收到的图像412时,可使用接收到的图像来分析IQ度量当中的一或多个关系414。举例来说,可分析(基于现有参数值集和用于处理的接收到的图像的)纹理与边缘锐度的IQ度量关系的分散。接着可基于分析的关系来确定一或多个新参数值集416。举例来说,可使用边缘锐度与纹理IQ度量之间的关系来确定仍为处理的图像提供足够IQ分数的不同锐度和纹理IQ度量的新参数值集。还可使用新参数值集来更好地定义IQ模型的IQ度量的平衡点。举例来说,新参数值集可指示噪声IQ度量与纹理IQ度量之间的平衡点。可接着确定要将一或多个新参数值集添加到参数数据库418,从而使参数数据库致密。或者或另外,可基于确定的新参数值集来修正现有参数值集。
在确定新参数值集时,一或多个IQ度量可保持固定,同时调整一或多个其它IQ度量。图5是对纹理与锐度IQ度量之间的关系500的描绘。指示度之间的关系的现有点502可来自对应于不同纹理和锐度IQ度量的现有参数值集。在实例中仅有两个现有点502的情况下,可使用接收到的图像来确定不同纹理和锐度IQ度量的多个新参数值集(以便具有处理的图像的足够IQ分数)。新集可对应于纹理与锐度IQ度量之间的关系500上的新点504,其可更好地指示IQ度量之间的平衡点。虽然关系500描绘为两个度的图表,但关系可在任何数目个度且因此任何数目个维度之间。
确定新参数值集可以是基于参数数据库中的现有参数值集。举例来说,可调整现有参数值集(父集)以便创建一或多个新参数值集(称为子集(child set)或子集(childrenset))。图6是描绘用于确定用于调整参数数据库的新参数值集的实例操作600的说明性流程图。
开始于602处,确定现有父集的附近IQ度量的空间。举例来说,远离父集的确定的距离可以是确定的空间。三角测量或差的总和是用于确定距离的实例方法,但可以任何合适的方式确定空间。图解3个度,可在父集周围确定立方体或球体,其中潜在子集可存在于立方体或球体(空间)内。在另一实例中,可在父集周围确定球体或其它合适的形状。
在一些实例实施方案中,可通过在父集与现有集之间内插参数值(例如关于604到608所描述)来确定子集。在一些其它实例实施方案中,可通过在空间内扰动或调整父集的参数(例如关于610所描述)来确定子集。在一些另外实例实施方案中,可进行内插与扰动的组合。举例来说,可通过扰动创建一些子集,接着可通过在先前子集与父集之间内插来创建额外子集。在另一实例中,可在空间内扰动内插的子集的参数以调整子集或创建新子集。
在604到608的实例中,将在空间中距父集最远的相邻者用于内插。然而,在其它实例中可将任何相邻者用于内插。返回参考604,可确定在空间中父集与现有集之间的距离。接着可基于距离来确定距父集最远的集606。举例来说,空间可在度的维度中定义,且距离可以是集之间的度中的组合差。以这一方式,最远集与父集之间的参数值的差可视为在创建子集时对父集的参数值的最大调整。因此,任何所得子集可配置成在空间内。
在确定空间中的最远相邻者606之后,可用最远相邻者与父集之间的内插的差调整来自父集的一或多个参数值608。在一些实例实施方案中,仅可确定将调整IQ度量的子集。以这一方式,可通过内插来调整IQ度量的子集的对应参数。在一些其它实例实施方案中,可通过内插来调整所有参数。调整参数可如以下等式(1)中所描绘进行:
子参数=父参数+a(相邻参数-父参数) (1)
其中a是0与1之间的值。在一些实例实施方案中,a对于将调整的所有参数可以是恒定的。因此,正调整的参数的调整因子相同。举例来说,基于正调整的所有参数,子集如以下等式(2)中所描绘:
子集=父集+a(相邻集-父集) (2)
作为通过内插确定的子集的替代或附加,可通过调整或扰动父集的一或多个参数来确定新集610。在调整父集的一或多个参数的一些实例实施方案中,可确定父集周围的集的稀疏性,其中稀疏性用于确定调整一或多个参数的因子。父集的稀疏性成本可以是父集与现有集在空间中或跨组的分布之间的距离。举例来说,可将父集与其在空间中的现有相邻者之间的马氏距离确定为稀疏性成本。还可针对每一现有集确定距离,且针对跨整个组的现有集确定平均距离(其可以是组的平均成本)。调整参数的因子可如以下等式(3)中所描绘:
Figure BDA0002595926440000111
其中x是父集稀疏性成本且c是整个组的平均稀疏性成本。如果父集周围的稀疏性大于平均稀疏性(围绕父集的相邻者比典型的少),那么对参数的调整可更小,使得对应IQ度量在空间内。相反,如果父集周围的稀疏性小于平均稀疏性(围绕父集的相邻者比典型的多),那么对参数的调整可更大,这是由于更大数目的相邻者指示用于更大调整的对应IQ度量应仍在空间内。用于调整参数的窗口的大小可以是整个组的参数乘以因子的标准差,且窗口可以父集的参数值为中心。如果父集周围的稀疏性大于或等于平均稀疏性(与典型相比,围绕父集的相邻者数目更少或相同且分布),那么窗口大小可以是大约一个标准差。相反,如果父集周围的稀疏性小于平均稀疏性,那么窗口大小可以是多个标准差。在一些实例实施方案中,参数值随机或伪随机地从窗口选出。在一些另外实例实施方案中,可通过类似因子来调整相关参数(例如与IQ度量相关联的参数),其中将窗口中的相同位置用于每一相关参数。
在生成一或多个潜在子集之后,可确定每一潜在子集的IQ度量612。举例来说,可由ISP使用子参数值来处理接收到的图像,且可从处理的图像计算出IQ度量。可接着作出IQ度量是否有效的确定614。在一个实例中,比较IQ度量与参数数据库中的现有集的IQ度量以确定其是否一致。如果IQ度量的一部分是离群值(例如未包含在参数数据库中的现有集的IQ度量当中),那么IQ度量可视为无效。在另一实例中,可针对处理的图像计算IQ分数。如果图像分数足够,例如大于阈值,那么IQ度量视为有效。可使用用于确定IQ度量的有效性的其它合适的过程,且本公开不应限于具体实例。
如果新IQ度量视为有效614,那么可将子集添加到参数数据库616。如果新IQ度量视为无效614,那么可拒绝子集且不将其添加到参数数据库618。
使用将用于ISP的参数值集的数据库,可收集通过用户输入的个人偏好以集中参数数据库以用于个人偏好。在一些实例实施方案中,显示器可针对变化的IQ度量提供(例如显示)不同的处理的图像,且用于接收用户输入的机构(例如GUI或相机或麦克风)可允许用户选择偏好的处理的图像以指示针对IQ度量的偏好。图7是描绘用于在针对个人偏好调整参数时以依序方式调整一或多个IQ度量的实例操作700的说明性流程图。过程可用于指示来自参数数据库的哪些参数集对于ISP(或ISP与相机组合)是用户偏好的。
开始于702处,确定将针对用户调整的IQ度量。在一个实例中,用户可指示哪些IQ度量对所述特定用户具有特定重要性。IQ度量可用于特定场景或大体上用于所有场景。可接着针对将调整的IQ度量中的每一个对参数数据库的参数集进行聚类或分组704。图8是对如由噪声与纹理的关系说明的参数集的实例聚类的描绘。如所展示,将参数集聚类成三个组:低噪声和纹理802、中噪声和纹理804,和高噪声和纹理806。虽然展示三个组,但可存在任何数目个聚类。另外,虽然关系说明为在两个度之间,但关系可以是对应于相关度的数目的任何数目个维度。分组或聚类指示具有较近IQ度量(例如彼此在确定距离内的IQ度量)的集。举例来说,三个聚类指示噪声IQ度量和纹理IQ度量对于聚类中的参数集是类似的。虽然未展示,但一或多个参数集可以不聚类,且可从对将由ISP使用的最终参数集的考虑中移除。
返回参考图7,针对将首先调整的IQ度量的聚类中的参数集中的每一个处理接收到的图像706。也可用对应于参数集中的每一个的对应参数的差的变化的IQ度量来处理图像(其中每一参数集有可能多次用来处理图像)。处理图像的次数可对应于针对IQ度量聚类的参数集的数目。处理的图像接着显示或以其它方式呈现给用户708,使得用户可指示偏好哪一或哪些处理的图像。用户可接着(例如通过GUI或其它用户输入)指示偏好哪些处理的图像710。或者,可针对处理的图像中的每一个确定IQ分数,且可使用最高IQ分数或大于阈值的分数来选择处理的图像。
针对用户选择,可确定正调整的IQ度量的对应参数值712。举例来说,用户选择可具有对应于IQ度量的参数的子集(subset),其具有跨用户选择的类似或相同的参数值。在另一实例中,对于每一选择,当针对下一变化的IQ度量处理图像时,保留与IQ度量相关联的参数值。接着针对下一变化的IQ度量再次处理图像714。处理可继续,直到调整了所有所指示的度量为止。然后,可搜索参数数据库以确定偏好的IQ度量的参数是否类似于一或多个所存储参数集的参数。这种参数集可视为将由ISP用于处理图像的偏好的参数值集。另外或替代地,可将确定的参数值添加到参数数据库作为一或多个新参数集。
在依序调整IQ度量时,可以树支结构描绘调整。图9是对用于依序调整IQ度量的实例树支说明900的描绘。如所展示,将聚类902用作起始点,且边缘MTF 904可首先用来调整边缘IQ度量。然后可使用高对比度纹理MTF 906来接着调整高对比度纹理IQ度量。低对比度纹理MTF 908可接着用来调整低对比度纹理IQ度量。可接着使用噪声MTF 910来调整噪声IQ度量。可接着进行微调调整(指示为过冲912)以完成可改变对处理的图像的感知的一或多个参数。箭头中的每一个的端点可指示不同的处理的图像。连续箭头可指示用户针对相应IQ度量选择了那些图像。在一些实例实施方案中,黑化实线箭头、虚线实线箭头和灰色实线箭头可指示由用户选择的图像比其它选定图像偏好。用户可在过冲912期间选择对应于最终黑化实线箭头的图像作为关于其它偏好图像的偏好图像。
可在调整一或多个IQ度量时使用GUI。举例来说,GUI可允许用户检测IQ度量之间的平衡点和确定偏好的度量。在另一实例中,GUI可允许用户确定将调整的选定度量的偏好的IQ度量。图10到14描绘用于调整对应于图9中的实例树支说明的IQ度量的实例GUI。图10是用于调整边缘IQ度量的实例GUI的快照1000。用户可选择所定义的边缘IQ度量值或关系中的一或多个,且接着按下下一步以转到下一IQ度量。图11是用于调整高对比度纹理IQ度量的实例GUI的快照1100。使用对边缘IQ度量的选择,用户可选择所定义的高对比度纹理IQ度量值或关系中的一或多个,且接着按下下一步以转到下一IQ度量。图12是用于调整低对比度纹理IQ度量的实例GUI的快照1200。使用对边缘IQ度量和高对比度IQ度量的选择,用户可选择所定义的低对比度纹理IQ度量值或关系中的一或多个,且接着按下下一步以转到下一IQ度量。图13是用于调整噪声IQ度量的实例GUI的快照1300。使用对边缘IQ度量和高和低对比度IQ度量的选择,用户可选择所定义的噪声IQ度量值或关系中的一或多个,且接着按下添加到购物车以结束。如所展示,潜在噪声IQ度量(图13中的N)是基于先前选择的IQ度量(在快照1300左方的图像中的每一个之下的选择用于边缘调谐(图10)的E、选择用于高对比度调谐(图11)的H,和选择用于低对比度调谐(图12)的L)。
GUI可展示对(具有相应参数集的)选定IQ度量的分组。图14是指示不同IQ度量的选择的级联的实例GUI的快照1400。在一些实例实施方案中,用户可选择将使用的一或多个最终级联(例如通过勾选快照1400中所说明的左方的框)。由ISP使用的参数集因此取决于选定的IQ度量值或关系(例如通过用于确定IQ度量的选定分组的参数值的不同MTF。举例来说,可基于(例如来自图14的)IQ度量的选定级联来识别来自参数数据库的一或多个参数值集。因此,可由ISP在处理接收到的图像时使用这种识别的参数值集。
如先前所陈述,IQ模型的优化可以是开放式的且服从用户或个人之间的不同偏好。可能不存在“正确的”参数值集,这是由于使用不同参数值的不同处理的图像可由个人视为具有类似IQ。因此,确定将使用的参数值或以其它方式调谐ISP可能是长时间的或繁琐的,这是由于参数值可能不收敛到一个具体参数值集。确定初始参数值或如何调整参数值可能是困难的,这是由于可能并不存在针对IQ度量的一个偏好设定。
在本公开的一些方面中,可将由不同ISP或装置处理的参考图像引入到自动调谐过程中。参考图像可提供关于一或多个偏好的IQ度量和其相关联参数值的一些引导或指示。举例来说,可使用参考图像来确定参数数据库中的一或多个最接近的参数值集。可使用最接近的集来使参数数据库致密或以其它方式调整参数数据库。使用参考图像以用于自动调谐的以下实例过程可与用于自动调谐或更新参数数据库的先前描述的实例过程中的一或多个组合。
图15是描绘用于在自动调谐ISP时使用参考图像的实例操作1500的说明性流程图。开始于1502处,可接收到参考图像。可预先处理参考图像。举例来说,参考图像可能已由不同的ISP或装置在完成处理之后提供。在一些实例实施方案中,参考图像不同于用于由ISP处理的输入图像。
在接收参考图像之后,可从参考图像确定一或多个偏好的IQ度量1504。举例来说,可从参考图像确定纹理IQ度量、噪声IQ度量和边缘IQ度量。其它实例IQ度量可包含色调IQ度量、色彩IQ度量、高频对比度IQ度量、低频对比度IQ度量等等。虽然关于纹理、噪声和边缘IQ度量描述了实例过程,但可使用其它和任何数目个IQ度量。因此,本公开不应限于具体IQ度量或实例。
可接着识别具有对应于最接近偏好的IQ度量的IQ度量的集的参数值的一或多个参数集1506。在一些实例实施方案中,参数数据库可存储每一参数值集的IQ度量的向量。在一些其它实例实施方案中,可使用IQ模型的MTF来确定参数数据库中的每一参数值集的IQ度量。可将具有最接近偏好的IQ度量的IQ度量的参数集视为最接近的参数集。
在一些实例实施方案中,可使用距离函数来确定最接近的参数集。在以下等式(4)中描绘实例距离函数:
距离=∑i(Wi*|{Mj}i-Xi|)j从1到D (4)
其中i是具体IQ度量,Xi是来自偏好的IQ度量值X的组或向量的具体IQ度量的偏好的IQ度量值,Mj是参数数据库中的第j参数集的IQ度量值的组或向量,Wi是来自权重向量W的第i IQ度量的权重(其中每一IQ度量可与不同权重相关联),且D是参数数据库中的参数集的数目。在一些其它实例实施方案中,距离函数可以是未加权总和,其中参数集IQ度量值与偏好的IQ度量值之间的差不乘以权重因子。
在一个实例中,如果确定的偏好IQ度量是纹理IQ度量、边缘IQ度量和噪声IQ度量,那么i可针对三个IQ度量在1到3范围内,且参数集j的距离可以是三个值的总和:对应IQ度量值与纹理、边缘和噪声IQ度量的偏好的IQ度量值之间的加权差。在一些实例实施方案中,最接近的参数集j可以是具有跨参数集的最小(smallest)或最小(minimum)距离的参数集。在一些其它实例实施方案中,如果距离小于阈值,那么可选择参数集。以这一方式,可在不搜索整个参数数据库的情况下识别参数集。
使用一或多个识别的参数集,ISP可接着处理接收到的图像1508。举例来说,原始图像可输入到装置或ISP中或由装置或ISP接收到,且使用识别的参数集来处理。接收到的图像可以是参考图像的原始图像(预处理)。还可确定或接收到一或多个个人或用户偏好1510。接着,可基于一或多个个人偏好和一或多个识别的参数集来调整参数数据库1512。
在一些实例实施方案中,可使用识别的参数集的变化来处理输入图像,且分析所述变化以确定是否将子集添加到参数数据库。举例来说,可使用图6中的实例操作600来使参数数据库致密,其中父集来自1506中的一或多个识别的参数集。返回参考图15,识别一或多个参数集和使用这种参数集来调整参数数据库的过程(1506到1512)可以递归方式进行,直到确定不进一步调整参数数据库为止。举例来说,参数数据库可能到达存储的参数集的临界数目。在另一实例中,如果未识别到或未确定(例如来自图6中的实例操作600的)具有有效IQ度量的新子集,那么参数数据库可停止更新。在另一实例中,如果新子集未充分改进IQ(例如将IQ分数增大阈值量或父集与子集之间的差在处理图像时无法由用户感知),那么参数数据库可停止更新。
在用于识别来自参数数据库的一或多个参数集1506的一些实例实施方案中,可识别等于或大于偏好的IQ度量的数目的参数集的数目。图16是描绘用于确定最接近的参数集和调整参数数据库的实例操作1600的说明性流程图。图16中的实例操作1600可以是图15的步骤1506到1512的实例实施方案。虽然关于纹理、噪声和边缘IQ度量描述了图16,但可使用任何IQ度量和IQ度量的数目。
可从参数数据库确定偏好的IQ度量(例如纹理、噪声和边缘IQ度量)的最接近的参数集1602。在一些实例实施方案中,可使用等式(4)中所描绘的距离函数来确定最接近的参数集。与考虑所有偏好的IQ度量的最接近的参数集形成对比,除最接近的参数集以外的不同参数集可能更适合于处理图像。举例来说,可在确定最接近的参数集时放松IQ度量中的一或多个。虽然操作1600描述在确定最接近的参数集时放松一个IQ度量,但可放松多于一个IQ度量。
参考1604,可确定具有放松的纹理IQ度量的最接近的参数集。在一些实例实施方案中,可调整确定距离时的权重向量以减小纹理IQ度量的权重。举例来说,权重可调整到零(以从确定距离中移除对IQ度量的考虑)或先前权重的一部分(以在确定距离时减少对IQ度量的考虑)。类似地,可确定具有放松的噪声IQ度量的最接近的参数集1606,且可确定具有放松的边缘IQ度量的最接近的参数集1608。在一些实例实施方案中,确定的参数集中的一或多个可相同。在一些其它实例实施方案中,可在确定最接近的参数集时从考虑中移除先前确定的最接近的参数集,使得确定的参数集的数目对应于偏好的IQ度量的数目。
可接着使用确定的/识别的参数集来处理接收到的图像1610,这可类似于图15中的1508。使用处理的图像,可将要使用的参数集确定为最接近的参数集(例如在1602中确定),或在最接近的参数集与具有放松的IQ度量的参数集中的一个之间的某处(例如在1604到1608中确定)1612。在一些实例实施方案中,确定的参数集可以是在1604到1608中确定的参数集中的一个(而不是在参数集中的一个与最接近的参数集之间)。
在确定将使用的参数集1612的一些方面中,可将处理的图像呈现给用户。用户可接着选择偏好的处理图像。用户输入或选择可指示将使用哪一参数集。举例来说,如果用户选择最接近的参数集的处理图像,那么将最接近的参数集确定为将由ISP使用的参数集。以这一方式,由于选择了最接近的参数集,所以不更新参数数据库。如果用户选择放松的IQ度量的参数集的处理的图像中的一个,那么可确定将使用最接近的参数集与对应放松的参数集之间的参数集。因此,可创建来自最接近的参数集和放松的IQ度量参数集的子集。
在一些实例实施方案中,可通过两个现有参数集之间的内插来确定来自最接近的参数集和放松的IQ度量参数集的子集。举例来说,可使用图6中的实例操作600的步骤604到608来确定或创建子集。在另一实例中,可确定最接近的参数集和放松的IQ度量的参数集的值之间的一或多个IQ度量值。接着可使用IQ模型的一或多个MTF来确定子集的参数值。
在一些方面中,子集用于处理接收到的图像,且与两个父集的处理的图像相比较。如果用户偏好子集的处理的图像(或者,处理的图像的IQ分数或其它评估指示子集的处理的图像大于其它处理的图像),那么可将子集添加到参数数据库。只要参数数据库将调整(例如用额外子集致密),就可重复所述过程。如果用户偏好最接近的参数集的处理的图像(或者,处理的图像的IQ分数或其它评估指示子集的处理的图像小于其它处理的图像),那么可拒绝子集且不进一步更新参数数据库。
返回参考图4中的实例操作400,除了在确定是否将调整参数数据库109(例如在步骤406中)时或在使参数数据库109致密时使用个人偏好的装置100之外或作为其替代,装置100可自动用另外的参数集来使参数数据库109致密,而无需用户输入或个人偏好。在一些实例实施方案中,可在使用参数数据库109以处理图像之前进行在使参数数据库109致密时的数个迭代。
图17是描绘用于确定用于调整参数数据库109的新参数值集的实例操作1700的说明性流程图。虽然实例操作1700描述纹理、边缘锐度和噪声的三个IQ度量的使用,但可使用更多或更少的IQ度量,且可在自动调整参数数据库109时使用其它IQ度量。另外,虽然实例操作1700包含接收一个图像,但可接收到任何数目个图像且使用其来调整参数数据库109。另外,确定最接近的参数值集(参数集)和确定用于调整参数数据库109的新参数集可如上文所描述而进行,或可以实例操作1700的任何合适方式进行。另外,描述调整参数数据库109关于使参数数据库109致密进行描述。在一些其它实例实施方案中,调整参数数据库109可包含移除或调整参数数据库109中的具体参数集。实例操作1700是出于说明性目的,且本公开不应限于所提供实例。
开始于1702处,装置100可接收图像。接着装置100可确定接收到的图像的一或多个IQ度量值1704。在一些实例实施方案中,装置100可确定接收到的图像的纹理度量值、边缘锐度度量值和噪声度量值1706。IQ度量值可识别IQ度量空间中的参考图像。举例来说,每一分析的图像可包含相关联的纹理度量值、边缘锐度度量值和噪声度量值。在实例中,如果可视化,那么IQ度量空间至少可以是三维的,具有与IQ度量中的一个相关联的维度。图像的IQ度量集可表示IQ度量空间中的图像的坐标。在一些其它实例中,可存在其它IQ度量,且IQ度量空间可比三维更大(或更小)。
在确定接收到的图像的IQ度量之后,装置100可针对确定的IQ度量确定参数数据库109中的多个参数集1708。在一些实例实施方案中,确定的参数集中的一个是参数数据库109中的针对确定的IQ度量的最接近的现有参数集1710。在一些实例中,可在确定最接近的参数集时使用以上等式(4)中的距离函数。举例来说,每一参数集可与每一IQ度量的偏好的IQ度量值相关联。在确定最接近的现有参数集时,装置100可确定其相关联的偏好的IQ度量值产生与接收到的图像的IQ度量值的最小距离值的现有参数集。在确定最接近的参数集时,权重向量W中的权重可以是均匀的,或距离函数可未加权。举例来说,如果参考图像的IQ度量包含纹理度量、边缘锐度度量和噪声度量,那么三个IQ度量中的每一个的权重向量W的权重可以是1(例如向量W中的w(纹理)=1,w(边缘锐度)=1,且w(噪声)=1)。
如果针对接收到的图像确定的IQ度量值包含纹理度量值、边缘锐度度量值和噪声度量值(例如在1706中),那么装置100可确定其中放松了IQ度量中的一个的最接近的参数集。举例来说,装置100可确定其中放松了纹理度量的确定的IQ度量值的最接近的现有参数集1712,可确定其中放松了边缘锐度度量的确定的IQ度量值的最接近的现有参数集1714,且可确定其中放松了噪声度量的确定的IQ度量值的最接近的现有参数集1716。步骤1710到1716可类似于图16中的步骤1602到1608。在步骤1712的一些实例实施方案中,(具有放松的纹理度量的)IQ度量的权重向量W的权重可以是w(纹理)=0.2,w(边缘锐度)=1,且w(噪声)=1。在步骤1714的一些实例实施方案中,(具有放松的边缘锐度度量的)IQ度量的权重向量W的权重可以是w(纹理)=1,w(边缘锐度)=0.5,且w(噪声)=1。在步骤1716的一些实例实施方案中,(具有放松的噪声度量的)IQ度量的权重向量W的权重可以是w(纹理)=1,w(边缘锐度)=1,且w(噪声)=0.3。可使用任何合适的放松权重,且本公开不应限于所提供实例。
如果要将参数数据库109调整为包含更多参数集1718,那么装置100可通过添加一或多个新参数集来使参数数据库109致密1720,所述一或多个新参数集例如使用一或多个放松的权重来确定的新参数集或确定最接近于现有参数集的其它新参数集。过程可返回到决策1718,且装置100可确定是否将通过添加一或多个新参数集来进一步调整参数数据库109。
如果将不调整参数数据库109,那么装置100可使用最后确定的参数集中的每一个来处理接收到的图像且因此从接收到的图像生成多个处理的图像1722。举例来说,如果装置100将参数集添加到参数数据库109(在1720中),那么装置100可使用最后添加的参数集来处理接收到的图像。如果装置100不进行步骤1720(在1718中将不调整参数数据库109),那么装置100可使用在步骤1708中确定的多个参数集来处理接收到的图像。
可以任何合适方式确定是否将调整参数数据库109。在一个实例中,装置100可调整参数数据库预定义次数。如果装置100尚未达到预定义次数,那么装置100可继续将新参数集添加到参数数据库109。在另一实例中,装置100可调整参数数据库109,直到参数数据库109中包含阈值数目的参数集为止。在另一实例中,如果参数数据库109的可用存储低于存储阀值,那么装置100可阻止参数数据库109的调整。在另一实例中,装置100可基于空间中的参数集的稀疏性(例如参数集的数目大于或小于每空间部分参数集的数目的阈值)来调整参数数据库109。以这一方式,可用额外参数集使参数数据库109致密,以填充参数集的空间中的孔。可存在用于调整参数数据库的其它实施方案,且本公开不应限于所提供实例。
图18是描绘用于将新参数集添加到参数数据库109预定义次数的实例操作1800的说明性流程图。图18中的操作1800是图17中的1718和1720的实例实施方案。虽然实例操作1800包含将新参数集添加到参数数据库109预定义次数,但可进行用于更新参数数据库的任何合适方式,且本公开不应限于图18中的操作1800。
开始于1802处,装置100可基于每一确定的参数集来确定不在参数数据库109中的新参数集。返回参考图17中的步骤1708,装置100可针对接收到的图像的确定的IQ度量值来确定参数数据库109中的多个参数集。举例来说,装置100可确定针对确定的IQ度量值的最接近的现有参数集(在步骤1710中),且装置100可确定具有放松的IQ度量中的一个(或更多个)的最接近的现有参数集(例如在步骤1712到1716中)。如果针对接收到的图像确定了纹理、边缘锐度和噪声的IQ度量值,且装置100确定放松的IQ度量中的每一个的现有参数集和最接近于确定的IQ度量值的现有参数集,那么装置100可针对确定的参数集中的每一个确定不在参数数据库109中的新参数集。举例来说,装置100可基于最接近的现有参数集来确定新参数集1804。可如例如在图17的步骤1710中确定最接近的现有参数集。装置100还可基于其中放松了纹理度量的最接近的现有参数集来确定新参数集1806。可如例如在图17的步骤1712中确定其中放松了纹理度量的最接近的现有参数集。装置100可进一步基于其中放松了边缘锐度度量的最接近的现有参数集来确定新参数集1808。可如例如在图17的步骤1714中确定其中放松了边缘锐度度量的最接近的现有参数集。装置100还可基于其中放松了噪声度量的最接近的现有参数集来确定新参数集1810。可如例如在图17的步骤1716中确定其中放松了噪声度量的最接近的现有参数集。
在确定新参数集时,装置100可确定参数值,所述参数值使得处理的图像具有比现有参数集的参数值更接近参考图像的确定的IQ度量值的IQ度量值。举例来说,装置100可确定现有参数集的偏好的IQ度量值是与参考图像的确定的IQ度量值的距离q。装置100接着可确定产生小于距离q的与确定的IQ度量值的距离的一或多个新IQ度量值。在一些实例实施方案中,新IQ度量值可以是基于所述IQ度量对于现有参数集是否放松。举例来说,装置100可调整未放松IQ度量的每一IQ度量值,同时不调整放松了IQ度量的IQ度量。在(例如步骤1808的)放松边缘锐度度量的具体实例中,装置100可在不调整边缘锐度度量值的情况下调整纹理度量值和噪声度量值。
基于新确定的IQ度量值来确定新参数集可包含装置100迭代地选择参数值集,处理参考图像以确定参数值集是否对应于新确定的IQ度量值,和(基于所述确定)调整用于再次处理参考图像的参数值,直到确定用于添加到参数数据库109的合适的参数集为止。在一些替代实例实施方案中,可训练装置100确定如何在使参数数据库109致密时调整参数集的值。在一些实例中,训练装置100使参数数据库109致密可以是基于现有参数集的偏好的IQ度量值的分布。
装置100可使用参数生成器来确定将添加到参数数据库109的新参数集,所述参数生成器可体现于软件、硬件或两者的组合中。在一些实例实施方案中,参数生成器可包含神经网络以学习IQ度量值与参数值之间的相依性。另一合适的系统可以是模糊系统。然而,任何合适的训练方法或系统都可用于确定IQ度量值与参数值之间的关系。
在参数生成器包含用于生成参数数据库109的新参数集的参数值的神经网络的情况下,可使用参数生成器基于现有参数集和对应偏好的IQ度量值的分布D来确定新参数值,且可使用神经网络来加强学习到的分布D中的正确关系,且校正学习到的分布D中的不正确关系中的错误。可在接收到关于分布D的新信息时进行加强和校正,例如每次将参数集添加到参数数据库109(因而调整分布D)时,每次针对使用现有参数集处理的图像确定IQ度量值集时,或当接收到关于参数数据库109的新信息且可将其用于进一步确定分布D中的关系时的其它合适的情形。
在将分布D用于确定参数数据库109的新参数集时,装置100可确定分布D的参数值的代表性组或向量(例如向量R)。在一些实例实施方案中,装置100可将参数集和偏好的IQ度量值的分布D定义为多变量高斯分布。以这一方式,装置100可将多变量高斯分布(D)的参数值的平均向量确定为代表性向量R。其它合适的指示符或代表性向量R包含参数值的中值向量、参数值的平均向量与中值向量的组合、未定义为多变量高斯分布(例如多模态分布、偏斜分布或不具有高斯曲线的其它分布)的分布D的逻辑中心等。
在一些实例实施方案中,使用分布D和代表性向量R来训练神经网络以确定将用于确定新参数值集的函数d。在从现有参数集P确定新参数集C时,C可等于P加上基于函数d和向量R的调整,如以下等式(5)所表示:
C=P+d(R) (5)
对于以上等式(5),函数d可表示将用于改变现有参数集P的向量R的函数。在一些实例实施方案中,函数d可包含用于调整向量R的每一参数值以生成调整的向量R'的单独函数。调整的向量R'接着可与确定的参数集P组合(例如加、减、求平均或其它合适的组合)以确定用于添加到参数数据库109的新参数集C。
在训练神经网络(或要训练的其它合适的系统)的一些实例实施方案中,装置100可在确定所确定的向量R的函数d时使用参数数据库109中的每一参数集的IQ度量值集,可使用(例如从参考图像确定的)目标IQ度量值集,且可使用(例如图17中的步骤1710到1716中的)一或多个选定参数集P作为输入以训练参数生成器的神经网络或其它合适的系统。以这一方式,函数d可以是基于不同IQ度量与不同参数之间的关系。举例来说,对于确定的参数集P、参数集P的IQ度量向量Mp和从接收到的图像确定的目标IQ度量向量m,用于基于R来调整P的函数d可以是取决于确定的P、MP和m的函数,如以下等式(6)所表示:
d=f(P,MP,m) (6)
在从每一确定的参数集确定新参数集之后,装置100可针对每一新参数集确定是否将所述参数集添加到参数数据库109 1812。举例来说,对于在步骤1804到1810中确定的每一新参数集,装置100可确定是否将四个新参数集中的每一个添加到参数数据库109。确定是否将参数集添加到参数数据库109可类似于图6中的决策614。
在一些实例实施方案中,在确定是否将新参数集添加到参数数据库109时使用成本函数估计器。成本函数估计器可体现于软件、硬件或两者的组合中。在一些方面中,装置100可确定新参数集C的IQ度量值。确定的IQ度量值可一起包括参数集C的IQ度量向量MC。可训练成本函数估计器以基于MC和m来提供成本函数fw。用以训练成本函数估计器的输入可包含确定的参数集P、对参数集P的改变以创建新参数集C(例如等式(5)中的d(R)),和对参数数据库109的任何更新(例如添加的新参数集)。
在P是现有参数集且C是(例如通过添加d(R))从P确定的新参数集的情况下,如果新参数集的成本函数值小于现有参数集P的成本函数值,那么装置100可确定将参数集C添加到参数数据库109。举例来说,在给出MC、MP(其是现有参数集P的IQ度量值集)和m的情况下,如果fw(MC,m)<fw(MP,m),那么装置100可确定将参数集C添加到参数数据库109。否则,装置100可确定不将参数集C添加到参数数据库109。虽然实例提供用于确定是否将参数集C添加到参数数据库109的一些合适的方法,但可使用其它合适的方法,且本公开不应限于所提供实例。
如果装置100确定不将新参数集添加到参数数据库109,那么装置100可丢弃新参数集1814。举例来说,装置100可确定继续使用参数集P而不是从参数集P确定的新参数集C,所述新参数集C可丢弃。如果装置100确定将新参数集添加到参数数据库109,那么装置100可将新参数集添加到参数数据库109 1816,且装置100可开始使用新参数集C。
举例来说,C1可以是针对最接近的参数集P1确定的新参数集,C2可以是在纹理度量放松时针对最接近的参数集P2确定的新参数集,C3可以是在边缘锐度度量放松时针对最接近的参数集P3确定的新参数集,且C4可以是在噪声度量放松时针对最接近的参数集P4确定的新参数集。作为说明性实例,装置100可针对接收到的图像的IQ度量确定C1比P1更接近,P2比C2更接近,C3比P3更接近,且C4比P4更接近。因此,装置100可确定添加参数集C1、C3和C4,且装置100可确定丢弃参数集C2(且针对纹理度量放松时继续使用参数集P2)。
装置100可确定是否达到使参数数据库致密时的迭代数目1818。如果达到迭代数目,那么装置100可在处理参考图像时使用最后的有效参数集1820。举例来说,如果从参数集P确定新参数集C,且将参数集C添加到参数数据库109,那么装置100可使用参数集C来处理图像。如果丢弃参数集C,那么装置100可使用参数集P来处理图像。步骤1820可类似于图17中的步骤1722。如果未达到迭代数目,那么处理可返回到步骤1802,且装置100可基于最接近的现有参数集来确定一或多个新参数集。
在一些实例实施方案中,迭代数目可以是确定最接近的现有参数集(例如参数集P)和从现有参数集(例如参数集C)确定一或多个新参数集的次数。举例来说,如果在第一次迭代中将一或多个新参数集添加到参数数据库109,那么装置100可从新参数集的IQ度量值和先前确定为最接近的参数集P的IQ度量值确定哪一参数集现在是参考图像的确定的IQ度量值的最接近的参数集。如前针对步骤1804到1810所述,可在确定最接近的现有参数集时放松一或多个IQ度量。对于第二迭代期间的一或多个确定的参数集中的每一个,装置100可确定新参数集且确定是否将新参数集添加到参数数据库109。确定和添加新参数集的过程可进行任何数目个迭代。确定参数集且将参数集添加到参数数据库109时的迭代数目可以是在确定参数数据库109的参数集之前定义的任何合适的数目。迭代数目可以是例如固定的、用户可调整的、取决于参数数据库109中存在的参数集的数目,或任何其它合适的数目。以这一方式,装置100可在无用户输入的情况下继续将参数集添加到参数数据库109。
在一些实例实施方案中,装置100可将数个新参数集添加到例如比所使用的IQ度量的数目多一个。举例来说,如果所使用的IQ度量是纹理度量、边缘锐度度量和噪声度量(总计三个IQ度量),那么装置100可针对放松的IQ度量中的每一个确定新参数集(因此等于三个新参数集),且装置100可针对未放松的IQ度量确定新参数集,因此可将三个IQ度量的总计四个新参数集添加到参数数据库109。参考三个IQ度量的新参数集C1到C4的以上实例,装置100可将至多所有四个参数集C1到C4添加到参数数据库109。在一些其它实例实施方案中,可通过使用每一IQ度量的多个权重来确定额外参数集。
作为在确定新参数集之前在每一迭代期间确定最接近的参数集(存在于参数数据库109中)(例如在图18中的实例操作1800的每一迭代期间进行步骤1802)的替代,装置100可使用在先前迭代中添加的参数集中的每一个来确定另一多个新参数集(例如三个IQ度量的四个新参数集)。以这一方式,参数数据库109中的参数集的数目可相对于迭代数目呈指数增长。举例来说,对于三个IQ度量,可在第一次迭代期间添加四个参数集,可在第二次迭代期间添加十六个参数集(在第二次迭代期间从在第一次迭代期间确定的每一新参数集确定的四个新参数集),可在第三次迭代期间添加64个参数集等等。
一旦使参数数据库109致密,装置100就可确定用于处理图像的参数集是否是用户可接受的。在一些实例实施方案中,装置100可使用来自致密的参数数据库109的一或多个参数集来从(例如在图17中的步骤1722中或在图18中的步骤1820中)接收到的图像生成一或多个处理的图像。接着用户可确定处理的图像中的任一个是否是可接受的。
图19是描绘用于确定参数集中的任一个是否可接受以用于处理图像(例如在图17中的步骤1702中接收到的图像)的实例操作1900的说明性流程图。虽然实例操作1900说明纹理、边缘锐度和噪声的IQ度量的使用,但可使用任何数目个IQ度量和不同IQ度量。另外,虽然实例操作1900说明生成等于IQ度量的数目加一的数个处理的图像(例如纹理、边缘锐度和噪声的三个IQ度量的四个处理的图像),但可生成任何数目个处理的图像。本公开不应限于图19中所提供的实例。
开始于1902处,装置100可处理接收到的图像以生成一或多个处理的图像。在一些实例实施方案中,装置100可使用用于接收到的图像的确定的IQ度量的最后确定的参数集中的一或多个来处理接收到的图像。在一些实例中,装置100可使用最后最接近的参数集来处理接收到的图像以生成第一处理的图像1904。返回参考图18,装置100可添加新参数集C1(在步骤1816中),或装置100可丢弃现有参数集P1的新参数集C1(在步骤1814中),所述现有参数集P1确定为最接近接收到的图像的IQ度量。如果丢弃参数集C1,那么装置100可在生成第一处理的图像时使用参数集P1(在图19中的步骤1904中)。如果将参数集C1添加到参数数据库109,那么装置100可在生成第一处理的图像时使用参数集C1(在图19中的步骤1904中)。
在一些另外的实例中,装置100还可使用具有放松的纹理度量的最后最接近的参数集来处理接收到的图像以生成第二处理的图像1906。返回参考图18,装置100可添加新参数集C2(在步骤1816中),或装置100可丢弃现有参数集P2的新参数集C2(在步骤1814中),所述现有参数集P2确定为最接近接收到的图像的(具有放松的纹理度量的)IQ度量。如果丢弃参数集C2,那么装置100可在生成第二处理的图像时使用参数集P2(在图19中的步骤1906中)。如果将参数集C2添加到参数数据库109,那么装置100可在生成第二处理的图像时使用参数集C2(在图19中的步骤1906中)。
在一些额外实例中,装置100还可使用具有放松的边缘锐度度量的最后最接近的参数集来处理接收到的图像以生成第三处理的图像1908。返回参考图18,装置100可添加新参数集C3(在步骤1816中),或装置100可丢弃现有参数集P3的新参数集C3(在步骤1814中),所述现有参数集P3确定为最接近接收到的图像的(具有放松的边缘锐度度量的)IQ度量。如果丢弃参数集C3,那么装置100可在生成第三处理的图像时使用参数集P3(在图19中的步骤1908中)。如果将参数集C3添加到参数数据库109,那么装置100可在生成第三处理的图像时使用参数集C3(在图19中的步骤1908中)。
在一些另外的实例中,装置100还可使用具有放松的噪声度量的最后最接近的参数集来处理接收到的图像以生成第四处理的图像1910。返回参考图18,装置100可添加新参数集C4(在步骤1816中),或装置100可丢弃现有参数集P4的新参数集C4(在步骤1814中),所述现有参数集P4确定为最接近接收到的图像的(具有放松的噪声度量的)IQ度量。如果丢弃参数集C4,那么装置100可在生成第四处理的图像时使用参数集P4(在图19中的步骤1910中)。如果将参数集C4添加到参数数据库109,那么装置100可在生成第四处理的图像时使用参数集C4(在图19中的步骤1910中)。
在生成处理的图像之后,装置100可提供一或多个处理的图像以向用户显示1912。在一些实例实施方案中,装置100可在显示器114上显示处理的图像。在一些其它实例实施方案中,处理的图像可由单独装置输出以用于显示。处理的图像可以任何合适方式显示。在一个实例中,可同时显示两个或更多个处理的图像,使得用户可比较并排的图像。此外,或或者,可一次一个地显示处理的图像。显示器114可配置成基于用户输入在图像之间切换(例如用户轻扫图像或提供另一合适的用户手势以改变所显示图像)。
装置100可接收指示处理的图像中的一或多个是否可由用户接受的用户输入1914。举例来说,用户可检查显示的处理的图像,且用户可决定是否有图像或哪些图像是用户可接受的。接着用户可经由用户输入指示哪一(如果存在)处理的图像是可接受的。在指示哪一(如果存在)处理的图像是可接受的时,用户指示哪一参数集可接受用于处理接收到的图像。
装置100可从用户输入确定接收到的图像的参数集是否视为可接受的1916。举例来说,如果图像经由用户输入视为可接受的,那么装置100可确定存在可接受用于处理接收到的图像的参数集。如果参数集视为可接受的1918,那么装置100可确定哪一参数集视为可接受用于接收到的图像1920。举例来说,如果用户选择对应于用放松的纹理度量确定的参数集C2的处理的图像,那么装置100可确定用于处理接收到的图像的参数集C2。
在一些实例实施方案中,用户可将多个图像选择为可接受的。以这一方式,装置100可确定可接受用于处理接收到的图像的参数数据库109中的多个参数集。因此,当接收到类似图像(例如具有类似IQ度量值的图像)时,装置100可使用多个参数集来生成多个对应处理的图像。接着用户可确定是否偏好多个处理的图像中的一个。在一些其它实例实施方案中,用户可选择一个图像,且参数数据库109中的一个参数集用于处理接收到的类似图像。
如果没有参数集视为可接受的,那么装置100可确定用于处理接收到的图像的不同参数集1922。举例来说,用户可指示处理的图像中没有一个是可接受的。以这一方式,装置100可确定先前确定的参数集中没有一个可接受用于处理接收到的图像。在一些实例实施方案中,装置100可确定在参数数据库109中且用户可接受用于处理接收到的图像的先前未使用的不同参数集。在一些其它实例实施方案中,装置100可确定不在参数数据库109中的新参数集。
图20是描绘用于确定不同参数集的实例操作2000的说明性流程图。图20中的操作2000可以是图19中的步骤1922的实例实施方案。开始于2002处,装置100可接收指示最可接受的处理的图像的用户输入。举例来说,尽管用户可能发现处理的图像中没有一个是可接受的,但用户可指示对应于具有放松的纹理度量的参数集的处理的图像是最可接受的处理的图像。
装置100可确定对应于最可接受的处理的图像的现有参数集2004。接着装置100可从现有参数集确定新参数集2006。在一些实例实施方案中,装置100可比较来自接收到的图像的IQ度量值与来自最可接受的处理的图像的IQ度量值,以确定可对应于使处理的图像可接受的IQ度量值的改变。举例来说,可调整现有参数集的参数值以使处理的图像的IQ度量值朝向偏好的IQ度量值收敛。
使用新参数集,装置100可处理接收到的图像以生成新处理的图像2008,且装置100可输出新处理的图像以用于向用户显示2010。接着装置100可接收关于新处理的图像是否是可接受的用户输入2012。如果新处理的图像是可接受的2014,那么装置100可使用新参数集以用于处理接收到的图像和类似图像2016。举例来说,装置100可记录或存储未来将参数集用于类似图像的指示。如果新处理的图像不是可接受的,那么过程可返回到步骤2006,且装置100可确定另一参数集以尝试确定用于处理接收到的图像的可接受的参数集。
在一些其它实例实施方案中,装置100可确定参数数据库109中的新参数集而不依赖于先前使用的参数集。图21是描绘用于在所使用参数集中没有一个视为可接受的时确定不同参数集的另一实例操作2100的说明性流程图。在图21中的实例操作2100中,新参数集存在于参数数据库109中。
开始于2102处,装置100可调整IQ度量的一或多个权重以用于确定最接近的参数集。在一些实例实施方案中,权重可包含于用于确定参数集(例如以上等式(4))的不同IQ度量的权重向量W中。在一些方面中,权重可以是用户可调整的。举例来说,用户可确定边缘锐度比其它IQ度量更重要。因此,用户可增大w(边缘锐度),使得可确定不同参数集。另外或替代地,用户可减小纹理度量的权重或减小噪声度量的权重。可由用户调整IQ度量的任何数目个权重。
在调整了(例如权重向量W的)权重的情况下,装置100可从参数数据库109确定新参数集2104。举例来说,调整的权重可使得装置100确定最接近的不同参数集。装置100可使用新参数集来处理接收到的图像以生成新处理的图像2106,且装置100可输出新处理的图像以用于向用户显示2108。装置100可接收指示新处理的图像是可接受的用户输入2110。如果新处理的图像是可接受的2112,那么装置100可使用新参数集以处理接收到的图像和类似图像2114。举例来说,装置100可记录或存储未来将参数集用于类似图像的指示。如果新处理的图像不是可接受的,那么过程可返回到步骤2102,且可再次调整权重。
作为调整权重的替代,用户可直接调整IQ度量值,例如上文所描述。举例来说,用户可依序调整IQ度量值,如上文关于图7到图14所描述。接着可基于调整的IQ度量值从参数数据库109选择新参数集。
除非具体描述为以具体方式实施,否则本文中所描述的技术可实施于硬件、软件、固件或其任何组合中。描述为模块或组件的任何特征还可一起实施于集成逻辑装置中或分开实施为分立但可互操作的逻辑装置。如果实施于软件中,那么技术可至少部分地由包括指令108的非暂时性处理器可读存储介质(例如图1的实例装置100中的存储器106)实现,所述指令108在由处理器104执行时使得装置100进行上文所描述的方法中的一或多个。非暂时性处理器可读数据存储介质可形成计算机程序产品的部分,所述计算机程序产品可包含封装材料。
非暂时性处理器可读存储介质可包括随机存取存储器(RAM),例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、其它已知存储介质和其类似物。另外或替代地,所述技术可至少部分地通过承载或传送呈指令或数据结构形式且可由计算机或其它处理器存取、读取和/或执行的代码的处理器可读通信介质实现。
结合本文中所公开的实施例描述的各种说明性逻辑块、模块、电路和指令可由例如图1的处理器104的一或多个处理器执行。这种处理器可包含但不限于一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其它等效集成或分立逻辑电路。如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一个。此外,在一些方面中,本文中所描述的功能性可在如本文中所描述而配置的专用软件模块或硬件模块内提供。此外,所述技术可完全实施于一或多个电路或逻辑元件中。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心结合的一或多个微处理器,或任何其它这种配置。
虽然本公开展示说明性方面,但应注意,在不脱离随附权利要求书的范围的情况下,可在本文中进行各种改变和修改。举例来说,虽然装置100描述为进行实例方法,但不同的装置或系统可用于调整参数数据库或确定将用于图像处理的参数集。另外,除非另外明确陈述,否则根据本文中所描述的方面的方法权利要求的功能、步骤或动作不必以任何特定次序来进行。举例来说,所描述的实例操作的步骤可以任何次序和在任何频率下进行。此外,尽管可以单数形式描述或要求元件,但除非明确地陈述对单数形式的限制,否则涵盖复数形式。因此,本公开不限于所说明的实例且在本公开的方面中包含用于进行本文中所描述的功能性的任何装置。

Claims (30)

1.一种用于调谐图像信号处理器ISP的方法,其包括:
由处理器接收参考图像;
由所述处理器基于所述参考图像来确定多个图像质量IQ度量;
由所述处理器确定所述参考图像的所述多个IQ度量中的每一个的值;
由所述处理器基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集;和
由所述处理器基于所述一或多个现有参数集来确定是否将调整所述参数数据库。
2.根据权利要求1所述的方法,其进一步包括:
由所述处理器接收输入图像,其中所述参考图像是所述输入图像的先前处理的图像;和
基于所述一或多个现有参数集来确定将使所述参数数据库致密,其包括:
比较所述输入图像与所述参考图像;
确定所述参数数据库中的对应于所述比较的现有参数集;
由所述处理器从所述ISP接收第一输出图像,其中所述ISP通过使用所述现有参数集处理所述输入图像来生成所述第一输出图像;和
基于接收到的第一输出图像来确定要将一或多个新参数集添加到所述参数数据库。
3.根据权利要求2所述的方法,其进一步包括确定用于添加到所述参数数据库的一或多个新参数集,其包括:
针对所述多个IQ度量的所述值,确定所述现有参数集与所述参数数据库中的现有参数集最接近;和
针对所述多个IQ度量的所述值,确定比所述现有参数集偏好的新参数集。
4.根据权利要求3所述的方法,其中基于所述参考图像与处理的图像之间的差小于所述参考图像与其它处理的图像之间的差,参数集针对所述多个IQ度量的所述值更接近,其中:
所述处理的图像由所述ISP使用所述参数集处理所述输入图像来生成;且
所述其它处理的图像由所述ISP使用其它参数集处理所述输入图像来生成。
5.根据权利要求4所述的方法,其中确定所述新参数集是基于所述多个IQ度量中的放松的第一IQ度量。
6.根据权利要求5所述的方法,其中确定所述新参数集包括从所述现有参数集调整对应于所述放松的第一IQ度量的一或多个参数值。
7.根据权利要求6所述的方法,其中确定所述新参数集是偏好的包括:
从所述ISP接收第二输出图像,其中所述ISP通过使用所述新参数集处理所述输入图像来生成所述第二输出图像;和
比较所述第一输出图像与所述参考图像和所述第二输出图像与所述参考图像,其中确定所述新参数集是偏好的是基于所述比较。
8.根据权利要求6所述的方法,其中确定所述新参数集是偏好的包括:
从所述ISP接收第二输出图像,其中所述ISP通过使用所述新参数集处理所述输入图像来生成所述第二输出图像;
在装置的且耦合到所述处理器的显示器上显示所述第一输出图像和所述第二输出图像,其中所述装置包含所述处理器、耦合到所述处理器的所述ISP和耦合到所述处理器且存储所述参数数据库的存储器;和
响应于显示所述第一输出图像和所述第二输出图像而从所述装置的且耦合到所述处理器的输入传感器接收用户输入,所述用户输入指示所述第二输出图像为偏好的输出图像。
9.根据权利要求8所述的方法,其进一步包括从所述输入传感器接收用户输入,所述用户输入指示用于处理来自所述装置的相机传感器的图像的用户偏好,其中:
所述相机传感器耦合到所述ISP;且
确定所述多个IQ度量是基于所述用户偏好。
10.根据权利要求9所述的方法,其进一步包括由所述装置的一或多个无线收发器和基带处理器进行无线通信。
11.一种配置成调谐图像信号处理器ISP的装置,其包括:
一或多个处理器,其配置成:
接收参考图像;
基于所述参考图像来确定多个图像质量IQ度量;
确定所述参考图像的所述多个IQ度量中的每一个的值;
基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集;和
基于所述一或多个现有参数集来确定是否将调整所述参数数据库。
12.根据权利要求11所述的装置,其进一步包括耦合到所述一或多个处理器且配置成存储所述参数数据库的存储器,其中所述一或多个处理器进一步配置成:
接收输入图像,其中所述参考图像是所述输入图像的先前处理的图像;和
基于所述一或多个现有参数集来确定将使所述参数数据库致密,其包括:
比较所述输入图像与所述参考图像;
确定所述参数数据库中的对应于所述比较的现有参数集;
由所述处理器从所述ISP接收第一输出图像,其中所述ISP通过使用所述现有参数集处理所述输入图像来生成所述第一输出图像;和
基于接收到的第一输出图像来确定要将一或多个新参数集添加到所述参数数据库。
13.根据权利要求12所述的装置,其中所述一或多个处理器进一步配置成确定用于添加到所述参数数据库的一或多个新参数集,其包括:
针对所述多个IQ度量的所述值,确定所述现有参数集与所述参数数据库中的现有参数集最接近;和
针对所述多个IQ度量的所述值,确定比所述现有参数集偏好的新参数集。
14.根据权利要求13所述的装置,其进一步包括耦合到所述一或多个处理器的所述ISP,其中基于所述参考图像与处理的图像之间的差小于所述参考图像与其它处理的图像之间的差,参数集针对所述多个IQ度量的所述值更接近,其中:
所述ISP配置成通过使用所述参数集处理所述输入图像来生成所述处理的图像;且
所述ISP配置成通过使用其它参数集处理所述输入图像来生成所述其它处理的图像。
15.根据权利要求14所述的装置,其中确定所述新参数集是基于所述多个IQ度量中的放松的第一IQ度量。
16.根据权利要求15所述的装置,其中在确定所述新参数集时,所述一或多个处理器配置成从所述现有参数集调整对应于所述放松的第一IQ度量的一或多个参数值。
17.根据权利要求16所述的装置,其中在确定所述新参数集是偏好的时,所述一或多个处理器配置成:
从所述ISP接收第二输出图像,其中所述ISP配置成通过使用所述新参数集处理所述输入图像来生成所述第二输出图像;和
比较所述第一输出图像与所述参考图像和所述第二输出图像与所述参考图像,其中确定所述新参数集是偏好的是基于所述比较。
18.根据权利要求16所述的装置,其进一步包括耦合到所述一或多个处理器的显示器和耦合到所述一或多个处理器的输入传感器,其中在确定所述新参数集是偏好的时:
所述ISP配置成通过使用所述新参数集处理所述输入图像来生成第二输出图像;
所述显示器配置成显示所述第一输出图像和所述第二输出图像;且
所述输入传感器配置成响应于显示所述第一输出图像和所述第二输出图像而接收用户输入,所述用户输入指示所述第二输出图像为偏好的输出图像。
19.根据权利要求18所述的装置,其进一步包括耦合到所述ISP的相机传感器,其中:
所述输入传感器进一步配置成接收用户输入,所述用户输入指示用于处理来自所述相机传感器的图像的用户偏好;且
所述一或多个处理器进一步配置成基于所述用户偏好来确定所述多个IQ度量。
20.根据权利要求19所述的装置,其进一步包括配置成进行无线通信的一或多个无线收发器和基带处理器。
21.一种存储含有指令的一或多个程序的非暂时性计算机可读介质,所述指令在由配置成调谐图像信号处理器ISP的装置的一或多个处理器执行时使得所述装置:
接收参考图像;
基于所述参考图像来确定多个图像质量IQ度量;
确定所述参考图像的所述多个IQ度量中的每一个的值;
基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集;和
基于所述一或多个现有参数集来确定是否将调整所述参数数据库。
22.根据权利要求21所述的计算机可读介质,其中所述指令进一步使得所述装置:
接收输入图像,其中所述参考图像是所述输入图像的先前处理的图像;和
基于所述一或多个现有参数集来确定将使所述参数数据库致密,其包括:
比较所述输入图像与所述参考图像;
确定所述参数数据库中的对应于所述比较的现有参数集;
从所述ISP接收第一输出图像,其中所述ISP通过使用所述现有参数集处理所述输入图像来生成所述第一输出图像;和
基于接收到的第一输出图像来确定要将一或多个新参数集添加到所述参数数据库。
23.根据权利要求22所述的计算机可读介质,其中所述指令进一步使得所述装置确定用于添加到所述参数数据库的所述一或多个新参数集,其包括:
针对所述多个IQ度量的所述值,确定所述现有参数集与所述参数数据库中的现有参数集最接近;和
针对所述多个IQ度量的所述值,确定比所述现有参数集偏好的新参数集。
24.根据权利要求23所述的计算机可读介质,其中基于所述参考图像与处理的图像之间的差小于所述参考图像与其它处理的图像之间的差,参数集针对所述多个IQ度量的所述值更接近,其中:
所述处理的图像由所述ISP通过使用所述参数集处理所述输入图像来生成;且
所述其它处理的图像由所述ISP通过使用其它参数集处理所述输入图像来生成。
25.根据权利要求24所述的计算机可读介质,其中确定所述新参数集是基于所述多个IQ度量中的放松的第一IQ度量。
26.一种配置成调谐图像信号处理器ISP的装置,其包括:
用于接收参考图像的装置;
用于基于所述参考图像来确定多个图像质量IQ度量的装置;
用于确定所述参考图像的所述多个IQ度量中的每一个的值的装置;
用于基于所述多个IQ度量的所述值来识别参数数据库中的一或多个现有参数集的装置;和
用于基于所述一或多个现有参数集来确定是否将调整所述参数数据库的装置。
27.根据权利要求26所述的装置,其进一步包括:
用于接收输入图像的装置,其中所述参考图像是所述输入图像的先前处理的图像;和
用于基于所述一或多个现有参数集来确定将使所述参数数据库的装置致密,其中确定将使所述参数数据库致密包括:
比较所述输入图像与所述参考图像;
确定所述参数数据库中的对应于所述比较的现有参数集;
从所述ISP接收第一输出图像,其中所述ISP通过使用所述现有参数集处理所述输入图像来生成所述第一输出图像;和
基于接收到的第一输出图像来确定要将一或多个新参数集添加到所述参数数据库。
28.根据权利要求27所述的装置,其进一步包括用于确定用于添加到所述参数数据库的所述一或多个新参数集的装置,其中确定所述一或多个新参数集包括:
针对所述多个IQ度量的所述值,确定所述现有参数集与所述参数数据库中的现有参数集最接近;和
针对所述多个IQ度量的所述值,确定比所述现有参数集偏好的新参数集。
29.根据权利要求28所述的装置,其中基于所述参考图像与处理的图像之间的差小于所述参考图像与其它处理的图像之间的差,参数集针对所述多个IQ度量的所述值更接近,其中:
所述处理的图像由所述ISP通过使用所述参数集处理所述输入图像来生成;且
所述其它处理的图像由所述ISP通过使用其它参数集处理所述输入图像来生成。
30.根据权利要求29所述的装置,其中确定所述新参数集是基于所述多个IQ度量中的放松的第一IQ度量。
CN201980009535.6A 2018-01-30 2019-01-30 用于图像信号处理器调谐的系统和方法 Pending CN111630854A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN201841003373 2018-01-30
IN201841003373 2018-01-30
IN201841033902 2018-09-10
IN201841033902 2018-09-10
PCT/US2019/015872 WO2019152534A1 (en) 2018-01-30 2019-01-30 Systems and methods for image signal processor tuning

Publications (1)

Publication Number Publication Date
CN111630854A true CN111630854A (zh) 2020-09-04

Family

ID=65433749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980009535.6A Pending CN111630854A (zh) 2018-01-30 2019-01-30 用于图像信号处理器调谐的系统和方法

Country Status (2)

Country Link
CN (1) CN111630854A (zh)
WO (1) WO2019152534A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035263A1 (zh) * 2021-09-13 2023-03-16 华为技术有限公司 确定图像信号处理参数的方法、装置和感知系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020176007A1 (en) * 2019-02-27 2020-09-03 Huawei Technologies Co., Ltd. An image processing apparatus and method
CN113099100B (zh) * 2019-12-23 2022-10-18 神讯电脑(昆山)有限公司 取像参数的调整方法
WO2021201993A1 (en) * 2020-03-30 2021-10-07 Qualcomm Incorporated Automated camera tuning
WO2024082183A1 (zh) * 2022-10-19 2024-04-25 华为技术有限公司 参数调节方法、装置以及智能终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473440A (zh) * 2009-08-07 2012-05-23 高通股份有限公司 处理图像的设备及方法
CN107038698A (zh) * 2015-10-13 2017-08-11 西门子保健有限责任公司 用于个性化图像质量评估和优化的基于学习的框架

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
KR20170029185A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 이미지 신호 프로세서의 작동 파라미터들에 대한 자동 튜닝 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473440A (zh) * 2009-08-07 2012-05-23 高通股份有限公司 处理图像的设备及方法
CN107038698A (zh) * 2015-10-13 2017-08-11 西门子保健有限责任公司 用于个性化图像质量评估和优化的基于学习的框架

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035263A1 (zh) * 2021-09-13 2023-03-16 华为技术有限公司 确定图像信号处理参数的方法、装置和感知系统

Also Published As

Publication number Publication date
WO2019152534A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
CN111630854A (zh) 用于图像信号处理器调谐的系统和方法
US10237527B2 (en) Convolutional color correction in digital images
US10949958B2 (en) Fast fourier color constancy
CN111656781A (zh) 用于使用参考图像进行图像信号处理器调谐的系统和方法
US10565696B2 (en) Systems and methods for producing image feedback
CN110728633B (zh) 多曝光度高动态范围反色调映射模型构建方法及装置
US8730329B2 (en) Automatic adaptive image sharpening
WO2012170462A2 (en) Automatic exposure correction of images
US10580122B2 (en) Method and system for image enhancement
US20230059499A1 (en) Image processing system, image processing method, and non-transitory computer readable medium
CN110233971A (zh) 一种拍摄方法及终端、计算机可读存储介质
US9940543B2 (en) Control of computer vision pre-processing based on image matching using structural similarity
CN111615827A (zh) 用于图像信号处理器调谐的系统和方法
CN110532837A (zh) 一种物品取放过程中的图像数据处理方法和家电设备
Fry et al. Bridging the gap between imaging performance and image quality measures
US11443414B2 (en) Image signal processing
EP4040347A1 (en) Device and method for learning data augmentation-based space analysis model
US11216922B2 (en) Systems and methods for recognition of user-provided images
CN114358131A (zh) 数码相框智能照片优化处理系统
CN111782845A (zh) 一种图像调整方法、图像调整装置及移动终端
CN117173642B (zh) 一种基于大数据的建筑施工视频实时监测预警方法
Cao et al. A Perceptually Optimized and Self-Calibrated Tone Mapping Operator
Dou et al. Fast adaptive exposure correction algorithm based on optimal niche
CN118018863A (zh) 对图像进行白平衡的方法及装置、计算机系统及存储介质
CN117474810A (zh) 一种利用色块波长信息和深度学习技术的颜色校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200904

WD01 Invention patent application deemed withdrawn after publication