CN114982219B - 图像处理装置和图像处理方法 - Google Patents

Abstract

在校正值表(63)中设定了与位于帧内的像素距帧的中心的距离对应的校正值。乘法器(64)对根据各关注像素距中心的距离而从校正值表(63)读出的校正值乘以调整系数而生成调整校正值，所述调整系数是至少根据变焦倍率和焦距而确定的。乘法器(65)对调整校正值乘以各关注像素相对于中心的角度的余弦，生成在水平方向上校正关注像素的水平校正值。水平滤波器(67)将对以各关注像素为中心的左右方向的多个像素乘以左右非对称的系数而得到的乘法结果全部相加，而生成水平方向的高通滤波分量，将对水平方向的高通滤波分量乘以水平校正值而得到的水平校正分量与各关注像素相加，在水平方向上校正各关注像素。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及适合于在具备变焦透镜的摄像装置中使用的图像处理装置以及图像处理方法。

背景技术

在具备变焦透镜的摄像装置中，根据透镜的倍率或焦距，有时由于透镜的像面弯曲的影响，在帧的中心对焦的距离与在帧的端部对焦的距离稍微错开。具有这样的像面弯曲的透镜即使在帧的中心对焦，在帧的端部也会稍微成为散焦，拍摄到的图像产生失真。

现有技术文献

专利文献

专利文献1：日本特开2015-149618号公报。

发明内容

期望出现能够校正经由变焦透镜拍摄的图像中产生的失真的图像处理装置和图像处理方法。实施方式的目的在于提供一种图像处理装置以及图像处理方法，能够校正经由变焦透镜拍摄到的图像中产生的失真。

根据实施方式的第一方式，提供一种图像处理装置，包括：校正值表，设定了与位于拍摄图像的帧(frame)内的像素的距所述帧的中心的距离对应的校正值，所述拍摄图像是经由变焦透镜拍摄到的；第一乘法器，对根据所述帧内的各关注像素的距所述中心的距离而从所述校正值表读出的校正值乘以调整系数而生成调整校正值，所述调整系数是至少根据所述变焦透镜的变焦倍率和焦距来确定的；第二乘法器，对所述调整校正值乘以相对于所述中心的所述各关注像素的角度的余弦，生成在水平方向上校正所述关注像素的水平校正值；以及水平滤波器，将对以所述各关注像素为中心的左右方向的多个像素乘以左右非对称的系数而得到的乘法结果全部相加而生成水平方向的高通滤波分量，将对所述水平方向的高通滤波分量乘以所述水平校正值而得到的水平校正分量与所述各关注像素相加，从而在水平方向上校正所述各关注像素。

根据实施方式的第二方式，提供一种图像处理方法，包括：在校正值表中设定与位于拍摄图像的帧内的像素的距所述帧的中心的距离对应的校正值，所述拍摄图像是经由变焦透镜拍摄到的，根据所述帧内的各关注像素的距所述中心的距离而从所述校正值表读出校正值，对所读出的所述校正值乘以调整系数而生成调整校正值，所述调整系数是至少根据所述变焦透镜的变焦倍率和焦距来确定的，对所述调整校正值乘以相对于所述中心的所述各关注像素的角度的余弦，生成在水平方向上校正所述关注像素的水平校正值，将对以所述各关注像素为中心的左右方向的多个像素乘以左右非对称的系数而得到的乘法结果全部相加而生成水平方向的高通滤波分量，将对所述水平方向的高通滤波分量乘以所述水平校正值而得到的水平校正分量与所述各关注像素相加，从而在水平方向上校正所述各关注像素。

根据实施方式的图像处理装置和图像处理方法，能够校正经由变焦透镜拍摄到的图像中产生的失真。

附图说明

图1是表示具备变焦透镜的摄像装置的概略结构的帧图。

图2是表示拜耳阵列的滤色器的局部俯视图。

图3是表示在摄像装置拍摄的图像中产生的渗色的第一例的图。

图4是表示产生了图3所示的拍摄图像的渗色的情况下的钝化的波形的矩形波信号的波形图。

图5是表示从图1的去马赛克电路7输出的RGB图像信号的局部俯视图。

图6是表示作为一个实施方式的图像处理装置图像的、图1的图像钝化校正电路6的具体结构例的帧图。

图7是用于说明对拍摄图像的帧内的1个关注像素进行校正的动作的图。

图8是表示与图6的校正值表63中设定的像高相应的校正值的特性图。

图9是表示与图8所示的校正值相乘的针对变焦倍率、焦距、光圈值设定的调整系数的图。

图10是表示图6的水平滤波器67的具体结构例的帧图。

图11是表示图10的乘法器6721～6729与像素数据相乘的系数k1～k9的系数值的一个例子的图。

图12是表示图4所示的钝化的波形的矩形波信号被图像钝化校正电路6校正后的矩形波信号的波形图。

图13A是表示图4所示的钝化的波形的矩形波信号被图像钝化校正电路6过度校正而产生振铃(ringing)的矩形波信号的波形图。

图13B是表示去除了振铃的矩形波信号的波形图。

图14是表示图6的垂直滤波器68的具体结构例的帧图。

图15是表示图14的乘法器6821～6829与像素数据相乘的系数k1～k9的系数值的一个例子的图。

图16是表示摄像装置拍摄的图像中产生的渗色的第二例的图。

图17是表示产生了图16所示的拍摄图像的渗色的情况下的钝化的波形的矩形波信号的波形图。

具体实施方式

以下，参照附图对一个实施方式的图像处理装置以及图像处理方法进行说明。首先，使用图1，对具备变焦透镜的摄像装置的概略结构以及动作进行说明。在图1中，经由变焦透镜1入射的来自被摄体的光的红外光被红外截止滤光片2截止，可见光入射到摄像元件3。变焦透镜1具有多个透镜和光圈。

摄像元件3可以是CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器，也可以是CCD(Charge Coupled Device：电荷耦合器件)。摄像装置通过摄像元件3拍摄被摄体的静止图像或运动图像。

摄像元件3具备图2所示的拜尔阵列的滤色器。在拜耳阵列的滤色器中，用于生成红色(R)的像素和绿色(G)的像素的R滤波器和G滤波器交替排列而成的行、和用于生成蓝色(B)的像素和G的像素的B滤波器和G滤波器交替排列而成的行在列方向上交替排列。行是图像的水平方向，列是图像的垂直方向。将在水平方向上被R滤波器夹着的G滤波器设为G1滤波器，将被B滤波器夹着的G滤波器设为G2滤波器。

定时发生器4向摄像元件3提供水平同步信号Hsync和垂直同步信号Vsync。摄像元件3生成像素数据R(3)、G1(3)、G2(3)、B(3)，像素数据R(3)、G1(3)、G2(3)、B(3)是与R滤波器、G1滤波器、G2滤波器、B滤波器分别对应的数字颜色信号。摄像元件3将像素数据R(3)、G1(3)、G2(3)、B(3)、水平同步信号Hsync(3)以及垂直同步信号Vsync(3)提供给白平衡电路5。

白平衡电路5调整像素数据R(3)、G1(3)、G2(3)、B(3)的各值来调整白平衡。白平衡电路5将调整了白平衡的像素数据R(5)、G1(5)、G2(5)、B(5)、水平同步信号Hsync(5)以及垂直同步信号Vsync(5)提供给图像钝化校正电路6。

从变焦透镜1向中央处理装置10(以下称为CPU10)提供变焦倍率、焦距和光圈值。CPU10将后述的校正用设定值、调整系数Aco和反相接通/断开信号提供给图像钝化校正电路6。

使用图3以及图4对图像钝化校正电路6的概略的动作进行说明。如图3所示，在摄像装置拍摄的图像是交替地反复黑和白那样的图像的情况下，本来图像信号成为在水平方向和垂直方向上交替地反复黑电平和白电平的矩形波信号。但是，在帧的中心对焦时，由于变焦透镜1中的透镜的像面弯曲的影响，在端部稍微成为散焦而拍摄到的图像会产生失真。

如图4所示，矩形波信号成为变形的波形，如单点划线的圆包围所示，在水平方向或垂直方向上从白色向黑色变化的边界部的黑色附近波形发生较大钝化。然而，在水平方向或垂直方向上从黑色向白色变化的边界部的黑色附近，波形没有那么钝化。另外，如双点划线的圆包围所示，在从黑色向白色变化的边界部的白色附近也有波形钝化的情况。其结果，如图3所示，在水平方向或垂直方向上从白色向黑色变化的边界的黑色附近产生渗色，另外，在从黑色向白色变化的边界部的白色附近也会产生微小的渗色，边界不明确。另外，矩形波信号的失真程度根据帧内的位置而不同，波形的钝化程度也不固定。

图像钝化校正电路6对像素数据R(3)、G1(3)、G2(3)、B(3)中的图4所示的波形的钝化进行校正。图像钝化校正电路6将校正了波形钝化的像素数据R(6)、G1(6)、G2(6)、B(6)、水平同步信号Hsync(6)以及垂直同步信号Vsync(6)提供给去马赛克电路7。后面对图像钝化校正电路6的具体结构及其动作进行详细叙述。

在去马赛克电路7中，在帧内输入像素数据R(6)、G1(6)、G2(6)、B(6)混合存在的图像信号。去马赛克电路7在不存在R的像素数据的像素位置内插R的像素数据，生成将帧内的全部像素作为R的像素数据的图5的(a)所示的R图像信号R(7)。去马赛克电路7在不存在G的像素数据的像素位置内插G的像素数据，生成将帧内的全部像素作为G的像素数据的图5的(b)所示的G图像信号G(7)。去马赛克电路7在不存在B的像素数据的像素位置内插B的像素数据，生成将帧内的全部像素作为B的像素数据的图5的(c)所示的B图像信号B(7)。

颜色校正电路8对R图像信号R(7)、G图像信号G(7)、B图像信号B(7)的颜色进行校正，生成R图像信号R(8)、G图像信号G(8)、B图像信号B(8)。伽马校正电路9对R图像信号R(8)、G图像信号G(8)、B图像信号B(8)实施伽马校正，并作为R图像信号R(9)、G图像信号G(9)、B图像信号B(9)输出。R图像信号R(9)、G图像信号G(9)、B图像信号B(9)既可以通过未图示的变换电路变换为亮度以及色差信号而被输出，也可以显示于未图示的显示部，还可以记录于未图示的记录部。

图6表示图像钝化校正电路6的具体结构例。如图6所示，图像钝化校正电路6包括定时发生器61、反相器62、校正值表63、乘法器64～66、4个水平滤波器67和4个垂直滤波器68。

向定时发生器61输入水平同步信号Hsync、垂直同步信号Vsync、作为校正用设定值的水平中心值Hctr以及垂直中心值Vctr。水平中心值Hctr是帧的水平方向的中心(水平中心)，垂直中心值Vctr是帧的垂直方向的中心(垂直中心)。如图7所示，如果帧是例如水平方向2000像素、垂直方向1000行，则在定时发生器61中，作为水平中心值Hctr输入1000，作为垂直中心值Vctr输入500。

如果帧的水平方向的像素数、垂直方向的行数是偶数，则不存在严格的水平中心的像素以及垂直中心的像素，但只要将最接近水平中心以及垂直中心的像素作为水平中心值Hctr以及垂直中心值Vctr的像素即可。

在摄像装置具备手抖校正功能的情况下，优选根据手抖校正而使水平中心值Hctr以及垂直中心值Vctr错开。无论是光学式手抖校正，还是电子式手抖校正，最好与使为了校正手抖而拍摄的视场角移位的移位量对应地使水平中心值Hctr和垂直中心值Vctr错开。

在图7所示的例子中，水平同步信号Hsync中的第九像素是有效图像区域的水平方向的像素的开始位置，垂直同步信号Vsync中的第九行成为有效图像区域的垂直方向的像素的开始位置。如图7所示，将帧中的相对于水平中心值Hctr的左侧设为LR＝0，将右侧设为LR＝1，将相对于垂直中心值Vctr的上侧设为UD＝0，将下侧设为UD＝1。LR值为左右辨别值，UD值为上下辨别值。水平中心值Hctr的像素的LR值可以是0，也可以是1。垂直中心值Vctr的像素的UD值可以是0，也可以是1。

定时发生器61与输入到水平滤波器67的像素数据R(5)、G1(5)、G2(5)和B(5)的各像素位置相对应地生成LR值和UD值，并提供给反相器62。向反相器62输入反相接通/断开信号。若作为反相接通/断开信号而是表示反相断开的0，则反相器62不将所输入的LR值反相而提供至4个水平滤波器67，不将所输入的UD值反相而提供至4个垂直滤波器68。

若作为反相接通/断开信号而是表示反相接通的1，则反相器62将所输入的LR值反相而提供至4个水平滤波器67，将所输入的UD值反相而提供至4个垂直滤波器68。关于反相接通/断开信号的含义及反相器62的动作在后面叙述。反相接通/断开信号的值1是指示LR值的反相的指示信号。

定时发生器61与输入到水平滤波器67的像素数据R(5)、G1(5)、G2(5)和B(5)的各像素位置相对应地生成像高IH，并提供给校正值表63。作为一个例子，如果校正对象的关注像素P是图7所示的像素位置，则从作为水平中心值Hctr以及垂直中心值Vctr的帧的中心到像素P的距离成为像高IH。

在校正值表63中，作为一个例子，设定了具有图8所示的特性的、与像高IH对应的校正值ZG。校正值ZG是从作为帧的中心的像高IH为0到规定的像高IH为0。若校正值ZG超过该规定的像高IH，则呈向上凸的曲线状逐渐增加到最大值的1.0，在达到最大值的1.0后呈向上凸的曲线状逐渐减少到最大像高。

校正值ZG只要具有根据像高IH对由透镜的像面弯曲的影响引起的图像的失真进行校正的特性即可。校正值ZG的特性只要根据摄像装置中使用的透镜来设定即可，并不限定于图8所示的特性。一般而言，在帧的中心部不需要进行校正，因此校正值ZG从帧的中心到规定的像高IH是0，如果超过该规定的像高IH，则设定与像高IH对应的校正值ZG即可。

校正值表63读出与各关注像素的像高IH对应的校正值ZG，并提供给乘法器64(第一乘法器)。如图9所示，CPU10将由变焦倍率和焦距确定的小于1的调整系数Aco提供给乘法器64。优选地，对应于变焦倍率和焦距的调整系数Aco针对每个光圈值而被设定。在图9所示的例子中，作为光圈值，分为F2.8、F4、F5.6、F8、F11以及F16以上，设定了与变焦倍率和焦距对应的调整系数Aco。

在CPU10中，根据变焦倍率和焦距(优选变焦倍率、焦距和光圈值)，设定能够适当地校正由透镜的像面弯曲的影响导致的图像失真的调整系数Aco即可。具体的调整系数Aco只要根据摄像装置中使用的透镜来设定即可，并不限定于图9所示的值。

在本实施方式中使用的透镜中，在焦距为2m、变焦倍率为1倍以及18倍时几乎没有失真，为了使校正值ZG为0，而将调整系数Aco设为0。

乘法器64对输入的校正值ZG乘以由CPU10提供的根据变焦倍率、焦距和光圈值确定的调整系数Aco，生成调整校正值ZGA。调整校正值ZGA被提供给乘法器65和66。

定时发生器61将与各关注像素相对于帧的中心的角度θ对应的cosθ(余弦)的值提供给乘法器65(第二乘法器)，将sinθ(正弦)的值提供给乘法器66(第三乘法器)。如图7所示，如果将调整校正值ZGA乘以cosθ的值，则能够得到校正关注像素P的调整校正值ZGA的水平分量，如果将调整校正值ZGA乘以sinθ的值，则能够得到校正关注像素P的调整校正值ZGA的垂直分量。乘法器65将对调整校正值ZGA乘以cosθ的值而得到的水平校正值AH提供给4个水平滤波器67。乘法器66将对调整校正值ZGA乘以sinθ的值而得到的垂直校正值AV提供给4个垂直滤波器68。

图10表示水平滤波器67的具体结构例。水平滤波器67具备构成移位寄存器的D触发器6701～6709、最大值/最小值检测部6710、选择器6711～6714和6716～6719、乘法器6721～6729、加法器6730、乘法器6731、加法器6732、选择器6733、以及限幅器6734。

串联连接的D触发器6701～6709将依次输入的关注像素的像素数据按每1个像素期间依次延迟。

从D触发器6701输出的像素数据被提供给选择器6711的端子t0和选择器6719的端子t1。从D触发器6702输出的像素数据被提供给选择器6712的端子t0和选择器6718的端子t1。

从D触发器6703输出的像素数据被提供给选择器6713的端子t0和选择器6717的端子t1。从D触发器6704输出的像素数据被提供给选择器6714的端子t0和选择器6716的端子t1。从D触发器6705输出的像素数据被提供给乘法器6725。从D触发器6705输出的像素数据是实际校正失真的关注像素的像素数据。

从D触发器6706输出的像素数据被提供给选择器6716的端子t0和选择器6714的端子t1。从D触发器6707输出的像素数据被提供给选择器6717的端子t0和选择器6713的端子t1。从D触发器6708输出的像素数据被提供给选择器6718的端子t0和选择器6712的端子t1。从D触发器6709输出的像素数据被提供给选择器6719的端子t0和选择器6711的端子t1。

LR值被输入到选择器6711～6714和6716～6719。选择器6711～6714和6716～6719在LR值为0时、即关注像素相对于帧的水平中心位于左侧时，选择输入到端子t0的像素数据。选择器6711～6714和6716～6719在LR值为1时、即像素相对于帧的水平中心位于右侧时，选择输入到端子t1的像素数据。由选择器6711～6714和6716～6719选择的像素数据分别被提供给乘法器6721～6724和6729-6729。

如图11所示，乘法器6721～6729对输入的像素数据分别乘以作为系数k1～k9的-0.18、-0.14、-0.15、0.10、0.59、-0.02、0、0、0而输出。系数k1～k9的系数值是一个例子。图11所示的系数k1～k9被设为适于对相对于帧的水平中心位于左侧的像素进行校正的系数值，以关注像素为中心在左右方向上非对称。

如上所述，当关注像素相对于帧的水平中心位于左侧时，如果选择器6711～6714和6716～6719选择输入到端子t0的像素数据，则乘法器6721～6729能够对以各关注像素为中心的左右方向的9个像素直接乘以图11所示的系数值的系数k1～k9。

由于相对于帧的水平中心在左侧产生的失真和在右侧产生的失真左右对称，所以适合校正相对于帧的水平中心位于右侧的像素的系数值只要将图11所示的系数k1～k9左右反相即可。如上所述，当关注像素相对于帧的水平中心位于右侧时，如果选择器6711～6714和6716～6719选择输入到端子t1的像素数据，则乘法器6721～6729能够对以各关注像素为中心的左右方向的9个像素使图11所示的系数k1～k9在左右方向反相而乘以该系数k1～k9。

加法器6730将乘法器6721～6729的乘法结果全部相加，生成水平方向的高通滤波分量HHF。高通滤波分量HHF是交流分量，具有正或负的值。乘法器6731将高通滤波分量HHF乘以水平校正值AH，以生成水平校正分量AHH。加法器6732将水平校正分量AHH与从D触发器6705输出的关注像素的像素数据相加，以在水平方向上校正关注像素的像素数据。

最大值/最小值检测部6710检测从D触发器6701～6709输出的像素数据中的最大值Vmax和最小值Vmin，并提供给选择器6733。表示高通滤波分量HHF是正还是负的符号HHFs被提供给选择器6733和限幅器6734。符号HHFs当高通滤波分量HHF为正时为0，当高通滤波分量HHF为负时为1。如果符号HHFs为0，则选择器6733选择最大值Vmax并输出，如果符号HHFs为1，则选择最小值Vmin并输出。

从加法器6732输出的像素数据未被过度校正，如果符号HHFs为0且校正后的像素值未超过最大值Vmax，另外如果符号HHFs为1且校正后的像素值未低于最小值Vmin，则限幅器6734不动作。限幅器6734将从加法器6732输出的像素数据直接作为校正像素数据而输出。

图12示出了在水平方向上从白色向黑色变化的边界部的黑色附近钝化的矩形波信号被水平滤波器67校正后的矩形波信号。在由单点划线的圆包围的水平方向上从白色向黑色变化的边界部的黑色附近的波形从由细实线表示的校正前的波形按照以粗实线表示的方式进行校正。未钝化的从黑色向白色变化的边界部的黑色附近的波形未被校正，维持原来的波形。因此，消除了在水平方向上从白色向黑色变化的边界的黑色附近的渗色，边界变得明确。

另外，图12示出了在水平方向上从黑色向白色变化的边界部的白色附近钝化的矩形波信号被水平滤波器67校正后的矩形波信号。在由双点划线的圆包围的水平方向上从黑色向白色变化的边界部的白色附近的波形从由细实线表示的校正前的波形按照以粗实线表示的方式进行校正。未钝化的从白色向黑色变化的边界部的白色附近的波形未被校正，维持原来的波形。因此，消除了在水平方向上从黑色向白色变化的边界的白色附近的渗色，边界变得明确。

如上所述，如果以在帧的中心对准焦点为前提，则图像钝化校正电路6能够对在端部产生的图像校正失真。然而，例如在通过手动聚焦在帧的端部对焦时，在端部产生的失真变小，水平滤波器67的校正有时成为过度校正。

具体而言，从加法器6732输出的像素数据被过度校正，如图13A所示，校正后的像素值超过最大值Vmax、或者低于最小值Vmin，有时如以单点划线的圆包围的所示产生振铃。

如果符号HHFs为0且校正后的像素值超过最大值Vmax，则限幅器6734以从选择器6733提供的最大值Vmax对从加法器6732输出的像素数据进行限幅。如果符号HHFs为1且校正后的像素值低于最小值Vmin，则限幅器6734以从选择器6733提供的最小值Vmin对从加法器6732输出的像素数据进行限幅。

其结果是，如图13B中以单点划线的圆包围所示，限幅器6734输出去除了附加于从加法器6732输出的像素数据的振铃的水平方向的校正像素数据。

在图6中，由4个水平滤波器67在水平方向上校正后的像素数据R(6H)、G1(6H)、G2(6H)、B(6H)分别输入到4个垂直滤波器68，在垂直方向上也被校正。

图14表示垂直滤波器68的具体结构例。垂直滤波器68包括行存储器6801～6809、最大值/最小值检测部6810、选择器6811～6814和6816～6819、乘法器6821～6829、加法器6830、乘法器6831、加法器6832、选择器6833、以及限幅器6834。

串联连接的行存储器6801～6809对输入的像素数据按每1个水平期间依次延迟。从行存储器6801输出的像素数据被提供给选择器6811的端子t0和选择器6819的端子t1。从行存储器6802输出的像素数据被提供给选择器6812的端子t0和选择器6818的端子t1。

从行存储器6803输出的像素数据被提供给选择器6813的端子t0和选择器6817的端子t1。从行存储器6804输出的像素数据被提供给选择器6814的端子t0和选择器6816的端子t1。从行存储器6805输出的像素数据被提供给乘法器6825。从行存储器6805输出的像素数据是实际校正失真的关注像素的像素数据。

从行存储器6806输出的像素数据被提供给选择器6816的端子t0和选择器6814的端子t1。从行存储器6807输出的像素数据被提供给选择器6817的端子t0和选择器6813的端子t1。从行存储器6808输出的像素数据被提供给选择器6818的端子t0和选择器6812的端子t1。从行存储器6809输出的像素数据被提供给选择器6819的端子t0和选择器6811的端子t1。

对选择器6811～6814和6816～6819输入UD值。选择器6811～6814和6816～6819在UD值为0时、即关注像素相对于帧的垂直中心位于上侧时，选择输入到端子t0的像素数据。选择器6811～6814和6816～6819在UD值为1时、即关注像素相对于帧的垂直中心位于下侧时，选择输入到端子t1的像素数据。由选择器6811～6814和6816～6819选择的像素数据分别被提供给乘法器6821～6824和6826～6829。

如图15所示，乘法器6821～6829对输入的像素数据分别乘以作为系数k1～k9的-0.18、-0.14、-0.15、0.10、0.59、-0.02、0、0、0而输出。系数k1～k9的系数值是一个例子，在此为与水平滤波器67的乘法器6721～6729使用的系数k1～k9相同的系数值。也可以使乘法器6821～6829使用的系数值与乘法器6721～6729使用的系数值不同。

图15所示的系数k1～k9被设为适于对相对于帧的垂直中心位于上侧的像素进行校正的系数值，以关注像素为中心在上下方向上非对称。

如上所述，当关注像素相对于帧的垂直中心位于上侧时，如果选择器6811～6814和6816～6819选择输入到端子t0的像素数据，则乘法器6821～6829能够对以各关注像素为中心的上下方向的9个像素直接乘以图15所示的系数值的系数k1～k9。

由于相对于帧的垂直中心在上侧产生的失真和在下侧产生的失真是上下对称的，所以适合校正相对于帧的垂直中心位于下侧的像素的系数值只要将图15所示的系数k1～k9上下反相即可。如上所述，当关注像素相对于帧的垂直中心位于下侧时，如果选择器6811～6814和6816～6819选择输入到端子t1的像素数据，则乘法器6821～6829能够对以各关注像素为中心的上下方向的9个像素使图15所示的系数k1～k9在上下方向上反相而乘以该系数k1～k9。

加法器6830将乘法器6821～6829的乘法结果全部相加，生成垂直方向的高通滤波分量VHF。高通滤波分量VHF是交流分量，具有正或负的值。乘法器6831将高通滤波分量VHF乘以垂直校正值AV，以生成垂直校正分量AVV。加法器6832对从行存储器6805输出的关注像素的像素数据加上垂直校正分量AVV，在垂直方向上校正关注像素的像素数据。

最大值/最小值检测部6810检测从行存储器6801～6809输出的像素数据中的最大值Vmax和最小值Vmin，并提供给选择器6833。表示高通滤波分量VHF是正还是负的符号VHFs被提供给选择器6833和限幅器6834。符号VHFs当高通滤波分量VHF为正时为0，当高通滤波分量VHF为负时为1。如果符号VHFs为0，则选择器6833选择最大值Vmax并输出，如果符号VHFs为1，则选择最小值Vmin并输出。

从加法器6832输出的像素数据未被过度校正，如果符号VHFs为0且校正后的像素值未超过最大值Vmax，另外如果符号VHFs0为1且校正后的像素值未低于最小值Vmin，则限幅器6834不动作。限幅器6834将从加法器6832输出的像素数据直接作为校正像素数据而输出。

与图12同样地，垂直滤波器68对在垂直方向上从白色向黑色变化的边界部的黑色附近钝化的矩形波信号进行校正。因此，消除了在垂直方向上从白色向黑色变化的边界的黑色附近的渗色，边界变得明确。另外，垂直滤波器68对在垂直方向上从黑色向白色变化的边界部的白色附近钝化的矩形波信号进行校正。因此，消除了在垂直方向上从黑色向白色变化的边界的白色附近的渗色，边界变得明确。

与水平滤波器67相同，如果从加法器6832输出的像素数据被过度校正，则校正后的像素值超过最大值Vmax，或者低于最小值Vmin，有时会发生振铃。

如果符号VHFs为0且校正后的像素值超过最大值Vmax，则限幅器6834以从选择器6833提供的最大值Vmax对从加法器6832输出的像素数据进行限幅。如果符号VHFs为1且校正后的像素值低于最小值Vmin，则限幅器6834以从选择器6833提供的最小值Vmin对从加法器6832输出的像素数据进行限幅。其结果，限幅器6834输出除去了附加于从加法器6832输出的像素数据的振铃的垂直方向的校正像素数据。

如上所述，从图6的4个垂直滤波器68输出在帧内的各像素中被在水平方向和垂直方向校正后的像素数据R(6)、G1(6)、G2(6)、B(6)。

在此，对反相接通/断开信号的含义及反相器62的动作进行说明。在以上的说明中，叙述了在水平方向以及垂直方向上从白色向黑色变化的边界部波形钝化而在边界产生渗色，但根据焦距，有时在相反方向上产生波形的钝化。

在本实施方式中使用的透镜中，在焦距为4m以上时，如图4所示，在水平方向及垂直方向上从白色向黑色变化的边界的黑色附近产生渗色。另外，在水平方向及垂直方向上从黑色向白色变化的边界的白色附近产生渗色。然而，在焦距是1m和1.5m时，与图4相反，如图16所示，在水平方向及垂直方向上从黑色向白色变化的边界的黑色附近产生渗色。另外，在水平方向及垂直方向上从白色向黑色变化的边界的白色附近也产生渗色。

如图17所示，矩形波信号在如以单点划线的圆包围所示的那样在水平方向以及垂直方向从黑色向白色变化的边界部的黑色附近波形发生较大钝化。另外，矩形波信号如以双点划线的圆包围所示的那样，在水平方向及垂直方向上从白色向黑色变化的边界部的白色附近波形发生较大钝化。

因此，CPU10将焦距为1m和1.5m设为第一范围，将焦距为4m以上设为第二范围。CPU10当焦距为第二范围时输出表示反相断开的0作为反相接通/断开信号，当焦距为第一范围时输出表示反相接通的1作为反相接通/断开信号。如果反相接通/断开信号为1，则图像钝化校正电路6的反相器62使LR值和UD值反相。

如果使LR值和UD值反相，则在对相对于帧的水平中心位于左侧或相对于垂直中心位于上侧的关注像素进行校正时，系数k1～k9被反相使用。另外，在对相对于帧的水平方向中央位于右侧或相对于垂直中心位于下侧的关注像素进行校正时，系数k1～k9不反相而直接使用。

由此，图像钝化校正电路6即使波形钝化的边界为相反方向，也能够校正波形的失真。

摄像装置例如将焦距按照1m、1.5m、2m、4m……依次变化时，对矩形波信号进行校正的方向在焦距1.5m和焦距4m之间反相。此时，在作为第一范围与第二范围的边界的焦距的焦距2m中，调整系数Aco设为0，因此调整校正值ZGA设为0。因此，在焦距2m处不对矩形波信号进行校正，因此不易产生因校正矩形波信号的方向反相而引起的视觉上的不协调感。

本发明并不限定于以上说明的本实施方式，在不脱离本发明的主旨的范围内能够进行各种变更。图像钝化校正电路6具备水平滤波器67和垂直滤波器68，将各像素在水平方向和垂直方向双方进行校正。即使通过水平滤波器67仅在水平方向上校正各像素也是有效的，因此也可以省略垂直滤波器68。

校正值表63可以是存储与多个像高IH对应的离散的多个校正值的ROM那样的存储部，也可以是根据预先设定的计算式计算与像高IH对应的校正值并输出的处理器。

在本实施方式中，将图11所示的系数k1～k9设为适于校正相对于帧的水平中心位于左侧的像素的系数值。也可以将系数k1～k9设为适于校正相对于帧的水平中心位于右侧的像素的系数值，在校正相对于帧的水平中心位于左侧的像素时使系数k1～k9反相。

另外，在本实施方式中，将图15所示的系数k1～k9设为适于校正相对于帧的垂直中心位于上侧的像素的系数值。也可以将系数k1～k9设为适于校正相对于帧的垂直中心位于下侧的像素的系数值，在校正相对于帧的垂直中心位于上侧的像素时使系数k1～k9反相。

左右非对称的系数k1～k9设为适于校正相对于帧的水平中心位于作为左侧和右侧中的一个的第一侧的像素的系数值，在对位于作为左侧和右侧中的另一个的第二侧的像素进行校正时左右反相即可。上下非对称的系数k1～k9设为适于校正相对于帧的垂直中心位于作为上侧和下侧中的一个的第三侧的像素的系数值，在对位于作为上侧和下侧中的另一个的第四侧的像素进行校正时上下反相即可。

在本实施方式中，对由在帧的端部的散焦引起的图像的失真进行了校正，但在本实施方式中，也能够对由色差等引起的图像的失真进行校正。

本发明并不限定于由硬件的电路构成图像处理装置(图像钝化校正电路6)的功能。也可以构成执行与图像处理装置同等的功能的计算机程序(图像处理程序)，使计算机(CPU)执行图像处理程序。在该情况下，也可以使CPU10执行图像处理程序。

本申请是基于2020年2月14日在日本专利局提出的日本特愿2020-023458号的优先权，其全部公开内容通过引用援引在此。

Claims (8)

1.一种图像处理装置，包括：

校正值表，设定了与位于拍摄图像的帧内的像素距所述帧的中心的距离对应的校正值，所述拍摄图像是经由变焦透镜拍摄而得的；

第一乘法器，对根据所述帧内的各关注像素距所述中心的距离而从所述校正值表读出的校正值乘以调整系数而生成调整校正值，所述调整系数是至少根据所述变焦透镜的变焦倍率和焦距而确定的；

第二乘法器，将所述调整校正值与所述各关注像素相对于所述中心的的角度的余弦相乘，生成在水平方向上校正所述各关注像素的水平校正值；以及

水平滤波器，将对以所述各关注像素为中心的左右方向的多个像素乘以左右非对称的系数而得到的乘法结果全部相加，生成水平方向的高通滤波分量，将对所述水平方向的高通滤波分量乘以所述水平校正值而得到的水平校正分量与所述各关注像素相加，从而在水平方向上校正所述各关注像素。

2.根据权利要求1所述的图像处理装置，其中，

所述左右非对称的系数被设为适于校正相对于所述帧的水平中心位于作为左侧和右侧中的一个的第一侧的像素的系数值，

所述水平滤波器

当关注像素位于所述第一侧时，对以所述关注像素为中心的左右方向的多个像素直接乘以所述左右非对称的系数，

当关注像素位于第二侧时，将所述左右非对称的系数左右反相并乘以以所述关注像素为中心的左右方向的多个像素，所述第二侧是所述帧的水平方向的左侧和右侧中的另一个。

3.根据权利要求1或2所述的图像处理装置，其中，

所述第一乘法器对根据所述帧内的各关注像素距所述中心的距离而从所述校正值表读出的校正值乘以调整系数而生成调整校正值，所述调整系数是根据所述变焦倍率、所述焦距以及所述变焦透镜所具有的光圈的光圈值来确定的。

4.根据权利要求1或2所述的图像处理装置，其中，

所述水平滤波器还包括限幅器，所述限幅器去除因所述各关注像素的过度校正而产生的振铃。

5.根据权利要求2所述的图像处理装置，其中，

当左右辨别值表示位于所述第一侧时，所述水平滤波器不使所述左右非对称的系数反相，当所述左右辨别值表示位于所述第二侧时，所述水平滤波器使所述左右非对称的系数反相，所述左右辨别值表示关注像素位于所述第一侧还是位于所述第二侧，

所述图像处理装置还包括反相器，该反相器在根据所述焦距而收到将所述左右辨别值反相的指示时，将所述左右辨别值反相。

6.根据权利要求5所述的图像处理装置，其中，

所述反相器当所述焦距为第一范围时使所述左右辨别值反相，当所述焦距为第二范围时不使所述左右辨别值反相，

当所述焦距是所述第一范围与所述第二范围的边界的焦距时，为了将所述调整校正值设为0，而将所述调整系数设为0。

7.根据权利要求1或2所述的图像处理装置，还包括：

第三乘法器，将所述调整校正值与所述各关注像素相对于所述中心的角度的正弦相乘，生成在垂直方向上校正所述各关注像素的垂直校正值；以及

垂直滤波器，将对以所述各关注像素为中心的上下方向的多个像素乘以上下非对称的系数而得到的乘法结果全部相加，生成垂直方向的高通滤波分量，将对所述垂直方向的高通滤波分量乘以所述垂直校正值而得到的垂直校正分量与所述各关注像素相加，从而在垂直方向上校正所述各关注像素。

8.一种图像处理方法，包括：

在校正值表中设定有与位于拍摄图像的帧内的像素距所述帧的中心的距离对应的校正值，所述拍摄图像是经由变焦透镜拍摄而得的，根据所述帧内的各关注像素距所述中心的距离而从所述校正值表读出校正值，

对读出的所述校正值乘以调整系数而生成调整校正值，所述调整系数是至少根据所述变焦透镜的变焦倍率和焦距而确定的，

将所述调整校正值与所述各关注像素相对于所述中心的角度的余弦相乘，生成在水平方向上校正所述各关注像素的水平校正值，

将对以所述各关注像素为中心的左右方向的多个像素乘以左右非对称的系数而得到的乘法结果全部相加，而生成水平方向的高通滤波分量，

将对所述水平方向的高通滤波分量乘以所述水平校正值而得到的水平校正分量与所述各关注像素相加，从而在水平方向上校正所述各关注像素。