CN110290371A - 图像信号处理装置及图像处理电路 - Google Patents

图像信号处理装置及图像处理电路 Download PDF

Info

Publication number
CN110290371A
CN110290371A CN201810999432.6A CN201810999432A CN110290371A CN 110290371 A CN110290371 A CN 110290371A CN 201810999432 A CN201810999432 A CN 201810999432A CN 110290371 A CN110290371 A CN 110290371A
Authority
CN
China
Prior art keywords
mentioned
gain
pixel
photographed images
color difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810999432.6A
Other languages
English (en)
Inventor
森谷章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Publication of CN110290371A publication Critical patent/CN110290371A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

本发明关于一种图像信号处理装置及图像处理电路。实施方式的图像处理电路具有增益计算部和数字放大器。增益计算部计算使摄像图像的整体区域的色差平均值接近于规定收敛点的第1增益。数字放大器通过基于第1增益计算出的第1候补像素和基于与每个划分区域建立了对应的第2增益计算出的第2候补像素之中色差成分更接近于上述规定收敛点的某一方，进行摄像图像的像素的白平衡的修正。

Description

图像信号处理装置及图像处理电路
本申请基于日本专利申请第2018－51390号(申请日：2018年3月19日)主张优先权，这里引用其全部内容。
技术领域
本发明的实施方式涉及图像信号处理装置及图像处理电路。
背景技术
以往，有将对被摄体摄像而得到的摄像图像的白平衡进行调整的自动白平衡技术。摄像图像的被摄体的颜色对应于将被摄体照亮的光源的光而变化。自动白平衡技术基于摄像图像整体的像素值计算各颜色成分的增益，调整摄像图像的颜色。
自动白平衡技术中，若被摄体处于多个光源下，则基于对摄像图像整体是支配性的光源的光来调整白平衡，有时会破坏接收其他光源的光的区域的白平衡。
发明内容
本发明的目的是提供一种在有多个光源的情况下也能够更正确地调整摄像图像的白平衡而提升画质的图像信号处理装置及图像处理电路。
技术方案的图像处理电路具有增益计算部和数字放大器。增益计算部计算使摄像图像的整体区域的色差平均值接近于规定收敛点的第1增益。数字放大器，利用第1候补像素和第2候补像素之中色差成分更接近于上述规定收敛点的某一方，进行上述摄像图像的像素的白平衡的修正，上述第1候补像素基于上述第1增益而计算出，上述第2候补像素基于与将上述摄像图像划分为多个区域而得的每个划分区域建立了对应的第2增益而计算出，在利用上述第2候补像素进行上述修正后的修正像素数比规定阈值小的上述划分区域中，对上述第2增益设置上述第1增益。
附图说明
图1是表示有关实施方式的图像信号处理装置的结构的一例的块图。
图2是表示有关实施方式的图像信号处理装置的AWB部的结构的一例的块图。
图3是用来说明有关实施方式的图像信号处理装置的AWB部的RGB插值部中的颜色插值处理的一例的图。
图4是用来说明有关实施方式的图像信号处理装置的摄像图像的划分区域的一例的图。
图5是用来说明有关实施方式的图像信号处理装置的AWB部中的第1增益、第2增益及修正增益的计算处理的说明图。
图6是用来说明有关实施方式的图像信号处理装置的AWB部中的加权增益的计算处理的一例的图。
图7是表示有关实施方式的图像信号处理装置的AWB部中的第1增益及第2增益的计算处理的一例的流程图。
图8是表示有关实施方式的图像信号处理装置的AWB部中的修正处理的一例的流程图。
具体实施方式
(实施方式)
以下，参照附图说明实施方式。
图1是表示有关实施方式的图像信号处理装置1的结构的一例的块图。
图像信号处理装置1具有输入部2、作为图像处理电路的AWB部3、图像信号生成部4、画质调整部5及输出部6。
输入部2是接口电路。输入部2与摄像元件等的外部电路连接，被依次输入来自外部电路的摄像图像I。输入部2对摄像图像I进行缓冲，并向AWB部3输出。
AWB部3是调整白平衡的电路。AWB部3调整从输入部2输入的摄像图像I的白平衡，并向图像信号生成部4输出。
图像信号生成部4是进行从RAW形式向RGB形式的颜色插值处理、彩色矩阵处理的电路。图像信号生成部4对从AWB部3输入的摄像图像I实施颜色插值处理及彩色矩阵处理，向画质调整部5输出。
画质调整部5是调整亮度及对比度的电路。画质调整部5调整从图像信号生成部4输入的摄像图像I的亮度及对比度，向输出部6输出。
输出部6例如是输出端子。输出部6与外部电路连接，将从画质调整部5被输入、调整了亮度及对比度的输出图像O向外部电路输出。
接着，对AWB部3进行说明。
图2是表示有关实施方式的图像信号处理装置1的AWB部3的结构的一例的块图。图3是用来说明有关实施方式的图像信号处理装置1的AWB部3的RGB插值部11中的颜色插值处理的一例的图。图4是用来说明有关实施方式的图像信号处理装置1的摄像图像I的划分区域L的一例的图。图5是用来说明有关实施方式的图像信号处理装置1的AWB部3中的第1增益、第2增益及修正增益的计算处理的说明图。
如图2所示，AWB部3具有RGB插值部11、选择部21、运算部31、增益计算部41、存储部51及数字放大器61。
对于AWB部3，输入RAW形式或RGB形式的哪种摄像图像I都可以。此外，AWB部3也能够输出RAW形式或RGB形式的某种的摄像图像I。摄像图像I的输入或输出的形式已经被预先决定。
如果从输入部2输入了摄像图像I，则数字放大器61通过基于增益的运算将摄像图像I修正，向图像信号生成部4输出。此外，修正后的摄像图像I通过运算部31而被反馈至增益计算部41。增益计算部41基于被修正的摄像图像I，计算在下次摄像图像I的修正中使用的增益，输出至数字放大器61。对应于反馈的反复进行，摄像图像I的白平衡的调整向前进展。
RGB插值部11是进行从RAW形式向RGB形式的颜色插值处理的电路。RGB插值部11与数字放大器61连接，数字放大器61输出的摄像图像I被作为反馈输入。若RAW形式的摄像图像I被反馈，则RGB插值部11进行颜色插值处理，将RGB形式的摄像图像I输出至选择部21。
如图3所示，在RAW形式的摄像图像I中，红色像素R、绿色像素G、蓝色像素B的像素值以2行2列的拜耳构造排列。作为一例，关于蓝色像素B22，RGB插值部11对在蓝色像素B22的上下左右方向上相邻配置的绿色像素G12、G21、G23、G32计算平均值而计算绿色平均值。此外，RGB插值部11对在蓝色像素B22的斜方向上相邻配置的红色像素R11、R13、R31、R33计算平均值而计算红色平均值。接着，RGB插值部11对红色平均值及绿色平均值插值，生成蓝色像素B22中的RGB形式的数据。另外，颜色插值处理并不限定于该处理，也可以是将RAW形式变换为RGB形式的其他处理。此外，RGB插值部11中的颜色插值处理是比图像信号生成部4中的颜色插值处理简单的处理就可以。
选择部21例如由多路复用器电路构成。选择部21的输入侧与RGB插值部11及数字放大器61连接，输出侧与运算部31连接。如果被从数字放大器61输入了RAW形式的摄像图像I，则选择部21将从RGB插值部11输入的摄像图像I向运算部31输出。另一方面，如果从数字放大器61输入了RGB形式的摄像图像I，则将从数字放大器61输入的摄像图像I向运算部31输出。
运算部31是基于从选择部21输入的摄像图像I、通过规定的运算来计算作为色差成分的平均值的蓝色的色差平均值U及红色的色差平均值V的电路。运算部31与增益计算部41连接，将红色的色差平均值V及蓝色的色差平均值U向增益计算部41输出。
在规定的运算中，运算部31将作为摄像图像I的整体的区域的整体区域G的像素，通过规定的YUV变换处理，从RGB形式变换为YUV形式。接着，运算部31将YUV形式的像素中包含的红色的色差成分合计，将红色的色差成分的合计除以整体区域G的像素数，计算红色的色差平均值V。例如，图4中表示了具有w×h的像素的摄像图像I的例子。在图4中，运算部31将红色的色差成分的合计除以w×h，计算红色的色差平均值V。此外，运算部31将蓝色的色差成分的合计除以整体区域G的像素数，计算蓝色的色差平均值U。
增益计算部41是计算第1增益并输出的电路。增益计算部41与存储部51及数字放大器61连接，基于从运算部31输入的、整体区域G的红色的色差平均值V及蓝色的色差平均值U、与划分区域L分别建立了对应的红色的色差平均值V及蓝色的色差平均值U、以及从存储部51读入的修正增益，计算第1增益并输出至数字放大器61。
即，增益计算部41基于从数字放大器61反馈的摄像图像I计算第1增益。
第1增益具有使整体区域G的色差平均值接近于规定收敛点的像素的修正系数。规定收敛点预先通过参数设定，以便更正确地调整白平衡。规定收敛点例如是蓝色及红色的色差成分分别为0的点，但并不限定于此。
第2增益被与每个划分区域L分别建立对应，具有使每个划分区域L的色差平均值接近于规定收敛点的像素的修正系数。
将划分区域L的划分数及每个划分区域L的尺寸经验性或试验性地进行调整而预先设定，以便更正确地调整白平衡。在图4的例子中，将摄像图像I划分为划分区域L11～Lmn。以下，当表示划分区域L11～Lmn的全部或一部分时，称作划分区域L。
将修正增益与摄像图像I的像素分别建立对应，用于各个像素的修正。
第1增益、第2增益及修正增益分别具有修正红色的红色增益、修正绿色的绿色增益、以及修正蓝色的蓝色增益。
在图5中，U轴表示红色的色差成分，V轴表示蓝色的色差成分。增益计算部41计算第1增益，以使红色的色差平均值V及蓝色的色差平均值U接近于规定收敛点。
例如，在图5中，表示了红色的色差平均值V是正值、并且蓝色的色差平均值U是负值的对象像素P。增益计算部41从存储部51将修正增益读入，通过使修正增益中包含的蓝色增益乘以比0大且比1小的第1规定系数，又使红色增益乘以比1大的第2规定系数来计算第1增益(图5的箭头)，以使得对象像素P的红色的色差平均值V及蓝色的色差平均值U接近于规定收敛点。
将第1规定系数及第2规定系数经验性或试验性地进行调整而预先设定，以便更正确地调整白平衡。
即，增益计算部41计算使摄像图像I的整体区域G的色差平均值接近于规定收敛点的第1增益。
此外，增益计算部41当色差平均值是正值时，通过使修正增益乘以被设定为比0大且比1小的第1规定系数来计算第1增益，当色差平均值是负值时，通过对修正增益乘以被设定为比1大的第2规定系数来计算第1增益。
存储部51由可读写的存储器构成。存储部51被连接在增益计算部41及数字放大器61上。
存储部51能够储存从数字放大器61输入的、与划分区域L分别建立了对应的第2增益。
此外，存储部51还能够储存从数字放大器61输入的、与每个像素建立了对应的修正增益。
此外，存储部51还存储在每个划分区域L中通过加权增益进行了修正的修正像素数。
图6是用来说明有关实施方式的图像信号处理装置1的AWB部3中的加权增益的计算处理的一例的图。
数字放大器61是如下电路，连接于输入部2及图像信号生成部4，基于从增益计算部41被输入的第1增益，进行从输入部2被输入的摄像图像I的白平衡的调整，并向图像信号生成部4输出。
更具体地讲，数字放大器61对每个划分区域L，在规定条件下，对第2增益设置第1增益的值。
将规定条件经验性或试验性地进行调整、预先设定，以便更正确地调整白平衡。
规定条件例如是在每个划分区域L中、通过加权增益进行了修正的修正像素数比规定阈值小的条件。
另外，规定条件例如也可以是在每个划分区域L中，通过第1增益进行了修正的像素数比通过加权增益进行了修正的修正像素数大的条件。
此外，规定条件例如也可以是光源的规定的变化的检测。光源的规定的变化例如是摄像图像I的规定区域中的各颜色的像素值的相互的大小关系的变化。更具体的，光源的规定的变化也可以是从红色>绿色>蓝色的大小关系向绿色>红色>蓝色的大小关系的变化等像素的平均值的大小关系的变化。数字放大器61如果检测到光源的规定的变化，则对全部的划分区域L的第2增益设置第1增益。
接着，数字放大器61计算加权增益。将加权增益对摄像图像I中的像素分别计算。数字放大器61通过规定的中心像素决定处理来决定位于每个划分区域L的中心的多个第1中心像素。数字放大器61从多个第1中心像素中，通过规定的检测处理来检测与计算对象像素相邻的第2中心像素。数字放大器61根据计算对象像素与第2中心像素间的距离，将与第2中心像素所属的划分区域L建立了对应的第2增益进行加权，计算每个红色、绿色、蓝色的加权增益。
在图6的例子中，数字放大器61决定与计算对象像素(x，y)相邻的第2中心像素(X1，Y1)、(X2，Y1)、(X1，Y2)、(X2，Y2)。第2中心像素(X1，Y1)属于划分区域L11，第2中心像素(X2，Y1)属于划分区域L12，第2中心像素(X1，Y2)属于划分区域L21，以及第2中心像素(X2，Y2)属于划分区域L22。接着，数字放大器61通过数式(1)所示的运算将第2增益加权，计算加权增益。
在数式(1)中，X是加权增益。Gain表示与划分区域L建立了对应的第2增益的值。例如，如果是GainL11，则表示与划分区域L11建立了对应的第2增益的值。xR表示比计算对象像素靠右方的第2中心像素的x坐标，xL表示比计算对象像素靠左方的第2中心像素的x坐标，yD表示比计算对象像素靠下方的第2中心像素的y坐标，yU表示比计算对象像素靠上方的第2中心像素的y坐标。
X＝(GainL11*(xR－x)*(yD－y)+GainL12*(x－xL)*(yD－y)+GainL21*(xR－x)*(y－yU)+GainL22*(x－xL)*(y－yU))/((xR－xL)*(yD－yU))
＝(GainL11*(X2－x)*(Y2－y)+GainL12*(x－X1)*(Y2－y)+GainL21*(X2－x)*(y－Y1)+GainL22*(x－X1)*(y－Y1))/((X2－X1)*(Y2－Y1))…(1)
当计算对象像素(x1，y1)例如处于比X1靠左方、比Xn靠右方、比Y1靠上方或比Ym靠下方等摄像图像I的周缘部时，也可以将位于周缘部的划分区域L进行镜像，虚拟地设置与计算对象像素相邻的第2中心像素。例如，在图6的例子中，也可以对处于比X1靠左方的、且处于Y1与Y2之间的计算对象像素(x1，y1)，以左侧缘作为反射镜中心的方式将划分区域L11、A21进行镜像，在比计算对象像素(x1，y1)靠左方设置虚拟的划分区域L。
接着，数字放大器61对计算对象像素乘以第1增益，计算基于第1增益的第1候补像素C1(图5)。数字放大器61还对计算对象像素乘以加权增益而计算第2候补像素C2。对第1候补像素C1及第2候补像素C2进行规定的YUV变换处理，计算基于第1增益的YUV像素值(gY，gU，gV)及基于加权增益的YUV像素值(lY，lU，lV)。数字放大器61将YUV像素值通过亮度成分进行标准化，计算基于第1增益的色差成分(gU/gY，gV/gY)及基于加权增益的色差成分(lU/lY，lV/lY)。
数字放大器61根据色差成分(gU/gY，gV/gY)、(lU/lY，lV/lY)判定第1候补像素C1和第2候补像素C2的哪个的色差成分接近于规定收敛点。当第1候补像素C1的色差成分比第2候补像素C2的色差成分更接近于规定收敛点时，数字放大器61将第1增益决定为在修正中使用的修正增益。另一方面，当第2候补像素C2的色差成分比第1候补像素C1的色差成分更接近于规定收敛点时，数字放大器61将加权增益决定为修正增益。
例如，在图5中，第1候补像素C1(gU/gY，gV/gY)比第2候补像素C2(lU/lY，lV/lY)更接近于规定收敛点，数字放大器61将第1增益决定为修正增益。
数字放大器61通过修正增益将从输入部2输入的摄像图像I修正，向图像信号生成部4输出。数字放大器61将修正增益向存储部51输出，使其存储到存储部51中。
即，数字放大器61通过对第2增益进行与像素的位置对应的加权，计算第2候补像素C2。
此外，数字放大器61从位于每个划分区域L的中心的第1中心像素中，决定与像素相邻的第2中心像素，通过对第2增益进行对应于像素与第2中心像素间的距离的加权，计算第2候补像素C2。
此外，当从存储部51读出的修正像素数比规定阈值小时，数字放大器61对与划分区域L建立了对应的第2增益设置第1增益，计算第2候补像素C2。
此外，数字放大器61通过基于第1增益计算出的第1候补像素C1和基于第2增益计算出的第2候补像素C2之中，色差成分更接近于规定收敛点的某一方，进行摄像图像I的像素的白平衡的修正，在由第2候补像素C2进行了修正的修正像素数比规定阈值小的划分区域L中对第2增益设置第1增益。
(作用)
接着，对有关实施方式的图像信号处理装置1的作用进行说明。
图7是表示有关实施方式的、图像信号处理装置1的AWB部3中的第1增益及第2增益的计算处理的一例的流程图。
对摄像图像I的像素分别执行S11～S12的处理。
当没有被输入RGB形式的摄像图像I时(S11：否)，RGB插值部11进行颜色插值处理(S11a)。选择部21将颜色插值处理后的摄像图像I向运算部31输出。另一方面，当被输入了RGB形式的摄像图像I时(S11：是)，选择部21将数字放大器61反馈的像素值向运算部31输出。
运算部31将像素值累计(S12)。运算部31将摄像图像I通过规定的YUV变换处理从RGB形式变换为YUV形式。运算部31将像素值累计，以便能够输出整体区域G中的合计。运算部31判断是否全部像素的处理结束(S13)。当全部像素的累计没有结束时，处理向S11返回(S13：否)。另一方面，如果全部像素的累计结束(S13：是)，则处理向S14前进。
运算部31计算第1增益(S14)。运算部31计算整体区域G的红色的色差平均值V和蓝色的色差平均值U。运算部31从存储部51读入修正增益，基于修正增益、红色的色差平均值V及蓝色的平均色成分来计算第1增益。
对划分区域L分别执行S15～S17的处理。
数字放大器61判定是否没有检测到光源的规定的变化(S15)。当没有检测到光源的规定的变化时(S15：是)，处理向S16前进。另一方面，当检测到光源的规定的变化时(S15：否)，处理向S17前进。
数字放大器61判定计数器是否不到规定阈值(S16)。当表示通过加权增益修正后的像素的数量的计数器是不到规定阈值时(S16：是)，处理向S17前进。另一方面，当计数器是规定阈值以上时(S16：否)，处理向S18前进。
数字放大器61对第2增益设置第1增益(S17)。
数字放大器61判定是否全部划分区域L的处理已结束(S18)。当不是全部划分区域L的处理结束时(S18：否)，处理向S15返回。如果全部划分区域L的处理结束(S18：是)，则处理结束。
接着，对AWB部3中的修正处理进行说明。
图8是表示有关实施方式的图像信号处理装置1的AWB部3中的修正处理的一例的流程图。
对摄像图像I的像素分别执行S21～S28的处理。
数字放大器61使像素乘以第1增益而计算第1候补像素C1(S21)。在S21之后，处理向S24前进。
数字放大器61基于第2增益计算加权增益(S22)。
数字放大器61对像素乘以加权增益而计算第2候补像素C2(S23)。在图8的例子中，将S21和S22及S23并行地执行，但也可以串行地执行。
数字放大器61判定第1候补像素C1和第2候补像素C2是否相同，或者是否第1候补像素C1其色差成分更接近于规定收敛点(S24)。数字放大器61将第1候补像素C1及第2候补像素C2分别进行YUV变换，比较相互的色差成分。当第1候补像素C1的色差成分比第2候补像素C2更接近于规定收敛点时(S24：是)，处理向S25前进。另一方面，当第2候补像素C2的色差成分比第1候补像素C1更接近于规定收敛点时(S24：否)，处理向S26前进。
数字放大器61通过第1增益将像素修正(S25)。数字放大器61将修正增益决定为第1增益。数字放大器61将从输入部2输入的摄像图像I的像素通过修正增益修正。在S25之后，处理向S28前进。
数字放大器61通过加权增益将摄像图像I修正(S26)。数字放大器61将修正增益决定为加权增益。数字放大器61将从输入部2输入的摄像图像I通过修正增益来进行修正。数字放大器61将与划分区域L建立了对应的计数器加1(S27)。
判定是否全部像素的处理已结束(S28)。当全部像素的处理没有结束时(S28：否)，处理向S21及S22返回。另一方面，当全像素的处理结束时(S28：是)，处理结束。
由此，在刚开始起动后，由于没有进行由加权增益对像素的修正，所以数字放大器61在结束S11～S14的处理之后，判定为没有光源的变化(S15：是)，在全部的划分区域L中，判定为计数器不到规定阈值(S16：是)，对第2增益设置第1增益(S17)，所以第1增益与第2增益的值相同。将第1增益和第2增益加权而计算出的加权增益的结果相同，由S21计算的第1候补像素和由S22及S23计算的第2候补像素的色差成分也相同。AWB部3通过第1增益将像素修正(S24：是，S25)。
如果反复进行反馈，则AWB部3将乘以第1增益后的第1候补像素(S21)和乘以加权增益后的第2候补像素(S22、S23)之中色差成分更接近于规定收敛点的某一方决定为修正增益，修正摄像图像I(S24：否)。因而，由于第1增益而导致处于多个光源下的被摄体等产生了白平衡被破坏的一部分区域的时候，AWB部3可以通过加权增益将一部分区域的白平衡更正确地调整。
AWB部3对利用加权增益进行了修正的像素的数量进行计数(S27)。判定计数器达到规定阈值以上的划分区域L中，第2增益不被改写为第1增益(S16：否)，直至光源的变化被检测出为止。
如果AWB部3检测到光源的变化(S15)，则对与每个划分区域L建立了对应的第2增益设置第1增益。因而，在刚检测到光源的变化之后，与上述的起动的刚开始后同样，AWB部3利用第1增益修正摄像图像I。对应于反馈的反复进行，AWB部3推进白平衡的调整。
根据实施方式，图像信号处理装置1在有多个光源的情况下，也能够更正确地调整摄像图像I的白平衡，使画质提高。
另外，在实施方式中，运算部31将从数字放大器61反馈的RGB形式的摄像图像I变换为YUV形式，计算红色的色差平均值V及蓝色的色差平均值U，但也可以构成为，直接输入在数字放大器61中生成的YUV像素值(gY，gU，gV)及YUV像素值(lY，lU，lV)之中更接近于被消色差的一方，来生成红色的色差平均值V及蓝色的色差平均值U。
另外，第1增益也可以基于色差成分为规定范围内的像素来计算。例如，运算部31也可以将U成分及V成分的绝对值超过规定范围的像素去除，来计算整体区域G的色差平均值。更具体的，运算部31在将整体区域G的像素从RGB形式变换为YUV形式后，将U成分及V成分的绝对值超过规定范围的像素去除，计算红色的色差平均值V及蓝色的色差平均值U。接着，增益计算部41基于由运算部31计算出的红色的色差平均值V及蓝色的色差平均值U来计算第1增益。由此，AWB部3能够将色彩度较高的被摄体从增益的计算对象中排除。此外，AWB部3还能够将在帧末附近的车载图像中的天空等规定区域从增益的计算对象中排除。
另外，在实施方式中，说明了AWB部3的输入输出形式是RGB形式或RAW形式的例子，但并不限定于此，也可以是其他形式的图像数据。
说明了本发明的一些实施方式，但这些实施方式是作为例子提示的，不是要限定发明的范围。这些新的实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种各样的省略、替换、变更。这些实施方式及其变形包含在发明的范围或主旨中，并且包含在权利要求书所记载的发明和其等价的范围中。

Claims (10)

1.一种图像处理电路，其中，具有：
增益计算部，计算使摄像图像的整体区域的色差平均值接近于规定收敛点的第1增益；以及
数字放大器，利用第1候补像素和第2候补像素之中色差成分更接近于上述规定收敛点的某一方，进行上述摄像图像的像素的白平衡的修正，上述第1候补像素基于上述第1增益而计算出，上述第2候补像素基于与将上述摄像图像划分为多个区域而得的每个划分区域建立了对应的第2增益而计算出，在利用上述第2候补像素进行上述修正后的修正像素数比规定阈值小的上述划分区域中，对上述第2增益设置上述第1增益。
2.如权利要求1所述的图像处理电路，其中，
上述数字放大器通过对上述第2增益进行与上述像素的位置对应的加权，计算上述第2候补像素。
3.如权利要求1所述的图像处理电路，其中，
上述数字放大器从位于每个上述划分区域的中心的第1中心像素之中，决定与上述像素相邻的第2中心像素，通过对上述第2增益进行与上述像素和上述第2中心像素间的距离对应的加权，计算上述第2候补像素。
4.如权利要求1所述的图像处理电路，其中，
上述数字放大器在检测到光源的规定的变化时对上述划分区域的第2增益设置上述第1增益。
5.如权利要求1所述的图像处理电路，其中，
具有存储部；
上述存储部存储与上述划分区域分别建立了对应的上述修正像素数；
当从上述存储部读出的上述修正像素数比规定阈值小时，上述数字放大器对与上述划分区域建立了对应的上述第2增益设置上述第1增益，计算上述第2候补像素。
6.如权利要求1所述的图像处理电路，其中，
上述增益计算部基于从上述数字放大器反馈来的上述摄像图像，计算上述第1增益。
7.如权利要求1所述的图像处理电路，其中，
当上述色差平均值是正值时，上述增益计算部通过对修正增益乘以被设定为比0大且比1小的第1规定系数，计算上述第1增益；
当上述色差平均值是负值时，上述增益计算部通过对上述修正增益乘以被设定为比1大的第2规定系数，计算上述第1增益。
8.如权利要求1所述的图像处理电路，其中，
上述规定收敛点是蓝色及红色的上述色差成分分别为0的点。
9.如权利要求1所述的图像处理电路，其中，
具有运算部；
上述运算部将U成分及V成分的绝对值超过规定范围的像素去除，来计算上述整体区域的上述色差平均值。
10.一种图像信号处理装置，其中，具有：
输入部，输入摄像图像；
图像处理电路，调整上述摄像图像的白平衡，具有增益计算部和数字放大器，所述增益计算部计算使上述摄像图像的整体区域的色差平均值接近于规定收敛点的第1增益，所述数字放大器利用基于上述第1增益计算出的第1候补像素和基于与将上述摄像图像划分为多个区域而得的每个划分区域建立了对应的第2增益计算出的第2候补像素之中色差成分更接近于上述规定收敛点的某一方，进行上述摄像图像的像素的白平衡的修正，在利用上述第2候补像素进行上述修正后的修正像素数比规定阈值小的上述划分区域中，对上述第2增益设置上述第1增益；
图像信号生成部，对于由上述图像处理电路调整了上述白平衡的上述摄像图像，实施颜色插值处理及彩色矩阵处理；
画质调整部，调整从上述图像信号生成部被输入的上述摄像图像的亮度及对比度；以及
输出部，输出被调整了上述亮度及对比度的输出图像。
CN201810999432.6A 2018-03-19 2018-08-30 图像信号处理装置及图像处理电路 Pending CN110290371A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-051390 2018-03-19
JP2018051390A JP6815345B2 (ja) 2018-03-19 2018-03-19 画像信号処理装置、画像処理回路

Publications (1)

Publication Number Publication Date
CN110290371A true CN110290371A (zh) 2019-09-27

Family

ID=63685556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810999432.6A Pending CN110290371A (zh) 2018-03-19 2018-08-30 图像信号处理装置及图像处理电路

Country Status (4)

Country Link
US (1) US10708562B2 (zh)
EP (1) EP3544289A1 (zh)
JP (1) JP6815345B2 (zh)
CN (1) CN110290371A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210142382A (ko) * 2020-05-18 2021-11-25 에스케이하이닉스 주식회사 그리드 게인 계산 회로, 이미지 센싱 장치 및 그 동작방법
CN113840124B (zh) * 2021-10-12 2023-08-18 锐芯微电子股份有限公司 图像处理方法及系统
CN116915964B (zh) * 2023-09-13 2024-01-23 北京智芯微电子科技有限公司 灰度世界白平衡校正方法、装置、设备、芯片及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5489939A (en) * 1989-11-17 1996-02-06 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to a color information signal obtained from an image sensing device
US20060203311A1 (en) * 2005-03-10 2006-09-14 Ching-Chih Weng Automatic white balance method adaptive to digital color images
CN101124611A (zh) * 2005-01-07 2008-02-13 诺基亚公司 颜色增益值的自动白平衡
US20080170160A1 (en) * 2007-01-12 2008-07-17 Rastislav Lukac Automatic White Balancing Of A Digital Image
CN102892010A (zh) * 2012-10-22 2013-01-23 浙江宇视科技有限公司 一种多光源下的白平衡处理方法和装置
CN103402103A (zh) * 2013-07-25 2013-11-20 上海富瀚微电子有限公司 自适应的白平衡启动速度控制方法和装置
US20150244915A1 (en) * 2014-02-21 2015-08-27 Taro Kikuchi Image processing apparatus, image capturing apparatus, image correction method, and storage medium
CN105933687A (zh) * 2016-07-04 2016-09-07 凌云光技术集团有限责任公司 一种对图像进行自动白平衡处理的方法及装置
CN106797453A (zh) * 2014-07-08 2017-05-31 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及图像处理程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4635828B2 (ja) 2005-11-07 2011-02-23 コニカミノルタホールディングス株式会社 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
US8013907B2 (en) * 2008-04-08 2011-09-06 Omnivision Technologies, Inc. System and method for adaptive local white balance adjustment
JP5187241B2 (ja) 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
JP4757927B2 (ja) 2009-03-13 2011-08-24 アキュートロジック株式会社 ホワイトバランス調整装置及びホワイトバランス調整方法
JP6234191B2 (ja) * 2013-11-28 2017-11-22 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
US20170171523A1 (en) * 2015-12-10 2017-06-15 Motorola Mobility Llc Assisted Auto White Balance

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5489939A (en) * 1989-11-17 1996-02-06 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to a color information signal obtained from an image sensing device
CN101124611A (zh) * 2005-01-07 2008-02-13 诺基亚公司 颜色增益值的自动白平衡
US20060203311A1 (en) * 2005-03-10 2006-09-14 Ching-Chih Weng Automatic white balance method adaptive to digital color images
US20080170160A1 (en) * 2007-01-12 2008-07-17 Rastislav Lukac Automatic White Balancing Of A Digital Image
CN102892010A (zh) * 2012-10-22 2013-01-23 浙江宇视科技有限公司 一种多光源下的白平衡处理方法和装置
CN103402103A (zh) * 2013-07-25 2013-11-20 上海富瀚微电子有限公司 自适应的白平衡启动速度控制方法和装置
US20150244915A1 (en) * 2014-02-21 2015-08-27 Taro Kikuchi Image processing apparatus, image capturing apparatus, image correction method, and storage medium
CN106797453A (zh) * 2014-07-08 2017-05-31 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN105933687A (zh) * 2016-07-04 2016-09-07 凌云光技术集团有限责任公司 一种对图像进行自动白平衡处理的方法及装置

Also Published As

Publication number Publication date
JP6815345B2 (ja) 2021-01-20
US10708562B2 (en) 2020-07-07
EP3544289A1 (en) 2019-09-25
US20190289268A1 (en) 2019-09-19
JP2019165315A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
US6823083B1 (en) Saturation correcting apparatus and method
US7460728B2 (en) Image processing apparatus and method, recording medium, and program
US7356198B2 (en) Method and system for calculating a transformed image from a digital image
CN103167292B (zh) 自动白平衡调整系统、自动白平衡调整方法及照相机模块
CN110290371A (zh) 图像信号处理装置及图像处理电路
US8135213B2 (en) Physical quantity interpolating method, and color signal processing circuit and camera system using the same
CN111292246B (zh) 图像颜色校正方法、存储介质及内窥镜
US20090046171A1 (en) Non-linear color correction
CN101287136B (zh) 自动白平衡系统和自动白平衡控制方法
US20080043117A1 (en) Method and Apparatus for Compensating Image Sensor Lens Shading
EP2184915A1 (en) Image processing device, image processing method, and image processing program
TWI737979B (zh) 圖像去馬賽克裝置及方法
CN107396079B (zh) 白平衡调整方法和装置
CN111861922A (zh) 颜色校正矩阵的调整方法及装置、存储介质
CN105898252A (zh) 一种电视色彩的调整方法和装置
CN105306913B (zh) 图像获取装置及其图像补偿方法
US20090256928A1 (en) Method and device for detecting color temperature
CN104702941A (zh) 一种白点区域表示及判定方法
JP4549704B2 (ja) 画像に対する色み補正を調整するための方法および画像に対する色み補正量の調節方法
US7860307B2 (en) Color matching method, and image capturing device and electronic apparatus using the same
CN109525849A (zh) 动态范围压缩装置及图像处理装置
US11962917B2 (en) Color adjustment method, color adjustment device, electronic device and computer-readable storage medium
US7206021B2 (en) Hybrid pixel interpolating apparatus and hybrid pixel interpolating method
CN113570532B (zh) 图像处理方法、装置、终端和可读存储介质
CN107635124B (zh) 人脸拍摄的白平衡处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190927