CN106063251B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN106063251B
CN106063251B CN201480076542.5A CN201480076542A CN106063251B CN 106063251 B CN106063251 B CN 106063251B CN 201480076542 A CN201480076542 A CN 201480076542A CN 106063251 B CN106063251 B CN 106063251B
Authority
CN
China
Prior art keywords
correction signal
flicker
flicker correction
signal
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480076542.5A
Other languages
English (en)
Other versions
CN106063251A (zh
Inventor
铃木大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106063251A publication Critical patent/CN106063251A/zh
Application granted granted Critical
Publication of CN106063251B publication Critical patent/CN106063251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

以高效地抑制闪烁为目的,图像处理装置(1)具有:闪烁检测部(2),其按照每帧从输入图像信号中检测闪烁成分,生成第1闪烁校正信号;闪烁校正信号保持部(10),其保持最近的连续多帧的所生成的第1闪烁校正信号;相位偏移检测部(11),其从所保持的过去的第1闪烁校正信号中选择具有大致相同的相位的第1闪烁校正信号,检测与最新的第1闪烁校正信号之间的相位偏移量;相位偏移校正部(12),其根据检测到的相位偏移量,对选择出的过去的第1闪烁校正信号进行校正;循环型的校正信号合成部(13),其以规定比率对校正后的过去的第1闪烁校正信号和最新的第1闪烁校正信号进行合成,生成第2闪烁校正信号;以及闪烁校正部(4),其根据所生成的第2闪烁校正信号对输入图像信号进行校正。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置和图像处理方法。
背景技术
例如,在使用CMOS图像传感器等XY地址方式的摄像元件的摄像装置中,当在明亮度对应于荧光灯等的电源频率而变动的照明下进行动态图像拍摄时,产生在帧图像的垂直方向上出现周期性明暗的横向条纹图案的闪烁。而且,公知有通过图像处理来减轻这样在图像中产生的闪烁成分的各种方法(例如参照专利文献1~3。)。
在专利文献1所公开的图像处理方法中,在摄像元件中的光电荷的蓄积时间按照各行而不同的摄像装置中,连续的3n(n为正整数)帧内的各像素的输出信号电平除以该连续的3n帧内的各像素的输出信号电平的平均值。然后,控制对该连续的3n帧内的各像素的输出信号电平进行放大的增益,以使得与相除后的值的倒数成比例。由此,减轻了使用基于放电的照明光时产生的闪烁成分。
或者,连续的3n帧内的分别由多个像素构成的各像素组的输出总信号电平除以该连续的3n帧内的多个像素组的输出总信号电平的平均值,控制对该连续的3n帧内的各像素的输出信号电平进行放大的增益,以使得与该相除后的值的倒数成比例。
并且,在专利文献2所公开的图像处理方法中,除了专利文献1所公开的基本结构以外,还公开了利用循环型的低通滤波器使计算出的闪烁成分在时间上稳定的方法、根据帧间的运动信息对所述循环型的低通滤波器的循环系数进行控制的方法。在专利文献1的方法中,在连续的3n帧内存在较大运动的情况下,计算出的闪烁成分有时大幅紊乱,但是,在专利文献2的方法中,通过使用与运动信息联动的循环型的低通滤波器,能够抑制闪烁成分的误检测和过校正。
进而,在专利文献3中,除了专利文献1所公开的基本结构以外,在摄像图像中的运动在连续的3n帧之间极大的情况下或闪烁成分的相位由于电源频率或摄像帧率的变动而变化的情况下,也能通过对过去帧中计算出的闪烁成分的相位进行适当调整而应用于当前帧,来良好地抑制闪烁。
现有技术文献
专利文献
专利文献1:日本特开平10-93866号公报
专利文献2:日本特开2012-222739号公报
专利文献3:日本特开2014-27496号公报
发明内容
发明要解决的课题
近年来的数字静止照相机大多能够进行动态图像拍摄,动态图像画质在数字静止照相机的性能中也逐渐占据重要位置。但是,与最初设计成动态图像拍摄专用的数字摄像机等相比,数字静止照相机的动态图像功能存在各种问题。作为其中之一,有使驱动摄像元件的时钟频率与基于若干个影像标准的规定帧率一致而没有高精度地完全一致这点。例如,在目标帧率为60fps的情况下,实际上驱动摄像元件的信号有时成为60.05fps。
这种摄像帧率的误差在通常拍摄中不会特别成为问题,但是,在同时进行所述闪烁校正的情况下,存在以下问题。
例如,当在该状况下如专利文献2所公开的那样对闪烁成分施加循环型的低通滤波时,闪烁成分的相位也由于摄像帧率的变动而微小变动,所以,相对于本来的闪烁成分产生峰值的降低和相位的偏移,其结果,降低闪烁校正效果。
并且,在专利文献3所公开的方法中,针对计算出的闪烁成分,使用DFT直接计算相位变动量,在变动较大的情况下,对过去计算出的闪烁成分的相位进行调整并应用于当前帧,由此减少由于摄像帧率的误差而引起的影响,但是,为了利用DFT高精度地测定上述微小的相位变动,需要较多的取样点,并且,还存在DFT运算部自身的实现成本较大这样的课题。
本发明是鉴于上述情况而完成的,其目的在于,提供在电源频率或摄像帧率包含误差的情况下也能够高精度且稳定地从图像中提取闪烁成分、能够高效地进行闪烁的抑制的图像处理装置。
用于解决课题的手段
本发明的一个方式是一种图像处理装置,其具有:闪烁检测部,其按照每帧从输入图像信号中检测闪烁成分,生成第1闪烁校正信号;闪烁校正信号保持部,其保持最近的连续多帧的由该闪烁检测部生成的所述第1闪烁校正信号;相位偏移检测部,其在由所述闪烁检测部检测到最新的所述第1闪烁校正信号时,从该闪烁校正信号保持部中保持的过去的所述第1闪烁校正信号中选择具有大致相同的相位的过去的所述第1闪烁校正信号,检测与最新的第1闪烁校正信号之间的相位偏移量;相位偏移校正部,其根据由该相位偏移检测部检测到的所述相位偏移量,对选择出的过去的所述第1闪烁校正信号的相位偏移进行校正;循环型的校正信号合成部,其以规定比率对由该相位偏移校正部校正了相位偏移后的过去的所述第1闪烁校正信号和最新的所述第1闪烁校正信号进行合成,生成第2闪烁校正信号;以及闪烁校正部,其根据由该校正信号合成部生成的所述第2闪烁校正信号,对输入图像信号进行校正。
根据本方式,在闪烁校正信号保持部中保持多帧的根据由闪烁检测部检测到的闪烁成分生成的第1闪烁校正信号,在相位偏移检测部中选择具有与最新的第1闪烁校正信号大致相同的相位的过去的第1闪烁校正信号,检测2个第1闪烁校正信号之间的相位偏移量。在相位偏移校正部中,根据检测到的相位偏移量对相位偏移检测部中选择出的过去的第1闪烁校正信号的相位偏移进行校正后,在循环型的校正信号合成部中以规定比率对2个第1闪烁校正信号进行合成,由此生成第2闪烁校正信号。然后,在闪烁校正部中,使用所生成的第2闪烁校正信号对输入图像信号进行校正,去除闪烁。
即,在摄像帧率存在误差的情况下,在进行闪烁校正时,通过预先对过去计算出的第1闪烁校正信号的相位偏移进行校正,能够防止循环型的校正信号合成部中生成的第2闪烁校正信号的精度降低,能够高精度地去除输入图像信号的闪烁。
在上述方式中,也可以是,所述相位偏移检测部选择与闪烁的产生周期一致的帧数的过去的所述第1闪烁校正信号,所述闪烁的产生周期是根据取得所述输入图像信号时的周围环境中的电源频率和取得该输入图像信号时的摄像帧率决定的。
由此,能够简易地选择相位最近的过去帧的第1闪烁校正信号。例如,在电源频率为50Hz、摄像帧率为60fps的情况下,3帧前的第1闪烁校正信号的相位与最新的第1闪烁校正信号的相位大致相同,所以,在相位偏移检测部中选择3帧前的第1闪烁校正信号,检测相位偏移量。
并且,在上述方式中,也可以是,所述图像处理装置具有:缩小图像生成部,其以规定的比率将所述输入图像信号缩小而输入到所述闪烁检测部;以及校正信号放大部,其以所述比率将所述第2闪烁校正信号放大而输入到所述闪烁校正部。
由此,能够大幅削减第1闪烁校正信号和第2闪烁校正信号的计算过程中的运算量,能够实时地进行闪烁校正。
并且,在上述方式中,也可以是,所述相位偏移检测部通过对2个所述第1闪烁校正信号进行模式匹配来检测相位偏移。
由此,不用进行DFT(离散傅里叶变换)等成本比较高的处理,就能够简易地检测与过去帧中检测到的第1闪烁校正信号之间的相位偏移量。
并且,本发明的另一个方式是一种图像处理方法,包括以下步骤:闪烁检测步骤,按照每帧从输入图像信号中检测闪烁成分,生成第1闪烁校正信号;闪烁校正信号保持步骤,保持最近的连续多帧的通过该闪烁检测步骤生成的所述第1闪烁校正信号;相位偏移检测步骤,在通过所述闪烁检测步骤检测到最新的所述第1闪烁校正信号时,从该闪烁校正信号保持步骤中保持的过去的所述第1闪烁校正信号中选择具有大致相同的相位的过去的所述第1闪烁校正信号,检测与最新的第1闪烁校正信号之间的相位偏移量;相位偏移校正步骤,根据通过该相位偏移检测步骤检测到的所述相位偏移量,对选择出的过去的所述第1校正信号的相位偏移进行校正;校正信号合成步骤,以规定比率对通过该相位偏移校正步骤校正了相位偏移后的过去的所述第1闪烁校正信号和最新的所述第1闪烁校正信号进行合成,生成第2闪烁校正信号;以及闪烁校正步骤,根据通过该校正信号合成步骤生成的所述第2闪烁校正信号,对输入图像信号的闪烁进行校正。
在上述方式中,也可以是,所述图像处理方法包括以下步骤:缩小图像生成步骤,以规定的比率缩小所述输入图像信号;以及校正信号放大步骤,以所述比率放大所述第2闪烁校正信号,所述闪烁检测步骤中,根据所述缩小图像生成步骤中缩小的输入图像信号生成第1闪烁校正信号,所述闪烁校正步骤中,根据所述校正信号放大步骤中放大的第2校正信号对闪烁进行校正。
发明效果
根据本发明,发挥在电源频率或摄像帧率包含误差的情况下也能够高精度且稳定地从图像中提取闪烁成分、能够高效地进行闪烁的抑制的效果。
附图说明
图1是示出本发明的一个实施方式的图像处理装置的框图。
图2A是示出用于说明图1的图像处理装置的闪烁检测部的动作的连续的3帧的图像例和它们的相加图像例的图。
图2B是示出图2A的最新的输入图像和相加图像中的行累积数据的图。
图2C是示出从图2B的2个图像中提取出的闪烁校正信号例的图。
图3是示出由图1的图像处理装置的闪烁校正信号保持部检测到的多帧的闪烁校正信号的相位关系的图。
图4是说明使用图1的图像处理装置的图像处理方法的流程图。
图5是示出图1的图像处理装置的变形例的框图。
图6是示出图5的图像处理装置中的闪烁校正信号整形部的框图。
图7是说明图6的闪烁校正信号整形部进行的插值的图。
具体实施方式
下面,参照附图对本发明的一个实施方式的图像处理装置1和图像处理方法进行说明。
如图1所示,本实施方式的图像处理装置1具有根据由照相机取得的输入图像信号计算第1闪烁校正信号的闪烁检测部2、对由该闪烁检测部2检测到的第1闪烁校正信号进行整形而生成第2闪烁校正信号的闪烁校正信号整形部3、使用由该闪烁校正信号整形部3生成的第2闪烁校正信号对输入图像信号进行校正的闪烁校正部4。
在本实施方式的说明中,对通过照相机进行拍摄时的照明的电源频率为50Hz、照相机的摄像帧率为60fps(帧/秒)的情况进行说明。
闪烁检测部2具有保持从照相机送来的输入图像信号的帧存储器5。帧存储器5保持最新的帧(以下称为当前帧。)的输入图像信号I(n)和与当前帧最近的过去2帧(以下称为过去帧。)的输入图像信号I(n-1)、I(n-2)这3帧的输入图像信号。
并且,闪烁检测部2具有对帧存储器5中存储的3帧的输入图像信号I(n-2)、I(n-1)、I(n)进行相加平均的帧相加部6。在帧相加部6中进行以下运算,输出相加平均后的平均图像信号S(n)。
S(n)=(I(n)+I(n-1)+I(n-2))/3
这里,输入图像信号I(n-2)、I(n-1)、I(n)和相加平均后的图像信号S(n)分别成为图2A中例示的关系。即,在输入图像信号I(n-2)、I(n-1)、I(n)中分别产生相位各偏移2π/3的闪烁条纹。并且,平均图像信号S(n)成为通过相加平均抵消了闪烁条纹的、没有条纹的图像信号。一般情况下,人的视觉不具有超过100Hz的时间分辨率,所以,在肉眼观察的情况下,识别到接近平均图像信号S(n)的像。
并且,闪烁检测部2具有:行方向累积部7,其将当前帧的输入图像信号I(n)的左上角作为原点,在输入图像信号I(n)的纵向(行的排列方向)的各位置y,在横向(沿着行的方向)x上对输入图像信号I(n)进行累积;以及行方向累积部8,其将平均图像信号S(n)的左上角作为原点,在平均图像信号S(n)的纵方向的各位置y,在横向x上对平均图像信号S(n)进行累积。
在各行方向累积部7、8中进行以下运算。
【数学式1】
其中,width表示图像信号的水平尺寸。
各行方向累积部7、8中计算出的累积值Ix(n)、Sx(n)成为图2B所示的关系。例示的输入图像信号I(n-2)、I(n-1)、I(n)和平均图像信号S(n)在画面中央下部存在有与周围相比成为高亮度的矩形的区域A,所以,两个累积值的值均从该坐标y1起升高。图中,用虚线示出不存在矩形区域的情况下的累积值。
并且,闪烁检测部2具有根据当前帧的输入图像信号I(n)的累积值Ix(n)和平均图像信号S(n)的累积值Sx(n)提取第1闪烁校正信号C(n)的闪烁校正信号提取部9。
在闪烁校正信号提取部9中,通过数学式2所示的运算来计算第1闪烁校正信号C(n)。
【数学式2】
其中,e是用于防止除以零的常数。
第1闪烁校正信号C(n)也成为与纵向(y方向)对应的一维数据,如图2C所示,成为具有抵消当前帧的输入图像信号I(n)的闪烁条纹的特性的波形。
接着,对闪烁校正信号整形部3进行说明。
闪烁校正信号整形部3具有闪烁校正信号保持部10,关于闪烁检测部2中检测到的第1闪烁校正信号,该闪烁校正信号保持部10除了保持针对当前帧检测到的第1闪烁校正信号C(n)以外,还保持针对最近的连续的过去3帧检测到的第1闪烁校正信号C(n-3)、C(n-2)、C(n-1)。
闪烁校正信号整形部3在被输入了当前帧的第1闪烁校正信号C(n)时,丢弃作为3帧前的第1闪烁校正信号C(n-3)进行保持的信号,使第1闪烁校正信号C(n)、C(n-1)、C(n-2)一个一个往后错,作为过去帧的第1闪烁校正信号C(n-1)、C(n-2)、C(n-3)进行保持。
如图3所示,通常,原来的输入图像信号I(n-2)、I(n-1)、I(n)中包含的闪烁条纹的相位分别各偏移2π/3,所以,第1闪烁校正信号C(n-3)、C(n-2)、C(n-1)、C(n)的相位也分别各偏移2π/3。而且,由于相位以3帧为1周,所以,理想情况下,当前帧的第1闪烁校正信号C(n)和3帧前的第1闪烁校正信号C(n-3)的相位一致。但是,当摄像帧率存在误差时,产生相位偏移Δs。
闪烁校正信号整形部3具有相位偏移检测部11,该相位偏移检测部11被输入从闪烁检测部2输出的当前帧的第1闪烁校正信号C(n)和闪烁校正信号保持部10中存储的3帧前的过去帧的第1闪烁校正信号C(n-3),检测这2个第1闪烁校正信号C(n)、C(n-3)之间的相位偏移量Δs。
相位偏移检测部11通过一维的模式匹配来检测当前帧的第1闪烁校正信号C(n)与3帧前检测到的第1闪烁校正信号C(n-3)之间的相位差Δs。作为匹配评价值,使用数学式3所示的一维的差分绝对值和(SAD:Sum of Absoluted Difference)。
【数学式3】
其中,height表示输入图像信号的垂直尺寸,smax是根据假设的摄像帧率的误差的大小进行适当变更的相位偏移量。例如,在发现由于摄像帧率的误差而在C(n)与C(n-3)之间产生最大smax的相位偏移的情况下,在-smax≦Δs≦smax的范围内计算SAD(s)。
SAD(s)表示使3帧前的第1闪烁校正信号C(n-3)以相位偏移量Δs移位时的与当前帧的第1闪烁校正信号C(n)之间的差分绝对值和,以2个第1闪烁校正信号C(n)、C(n-3)之差最小的Δs为最小值。即,根据下式求出相位偏移量Δs。
Δs=argminSAD(s)
并且,闪烁校正信号整形部3具有相位偏移校正部12,该相位偏移校正部12使用相位偏移检测部11中检测到的相位偏移量Δs,生成使3帧前的第1闪烁校正信号C(n-3)的相位以相位偏移量Δs移位后的移位第1闪烁校正信号C′(n-3)。
并且,闪烁校正信号整形部3具有校正信号合成部,该校正信号合成部被输入相位偏移校正部12中生成的移位第1闪烁校正信号C′(n-3)和当前帧的第1闪烁校正信号C(n),根据下式,以规定合成比率进行合成,生成第2闪烁校正信号C′(n)。校正信号合成部由循环型的低通滤波器(循环型LPF)13构成。
C′(n)=αC′(n-3)+(1-α)C(n)
这里,α是反馈系数,在0≦α<1的范围内进行定义,通过设定为适当值,能够提高第2闪烁校正信号C′(n)的时间稳定性。例如,优选设定为α=0.8。
由此,从闪烁校正信号整形部3输出第2闪烁校正信号C′(n)。
闪烁校正部4通过对当前帧的输入图像信号I(n)乘以从闪烁校正信号整形部3输出的第2闪烁校正信号C′(n),对输入图像信号I(n)进行校正。并且,图中的I′(n)是通过闪烁校正部4进行校正后的图像信号。
下面,对使用这样构成的本实施方式的图像处理装置1的图像处理方法进行说明。
在本实施方式的图像处理方法中,如图4所示,首先,在闪烁检测部2中,按照每帧从输入图像信号I(n)中检测闪烁成分,生成第1闪烁校正信号(闪烁检测步骤S1)。
接着,在闪烁校正信号保持部10中保持包含当前帧在内的最近连续4帧的闪烁检测步骤S1中生成的第1闪烁校正信号(闪烁校正信号保持步骤S2)。
在该状态下,在相位偏移检测部11中,从闪烁校正信号保持部10中保持的过去帧的第1闪烁校正信号C(n-1)、C(n-2)、C(n-3)中选择3帧前的第1闪烁校正信号C(n-3),检测与当前帧的第1闪烁校正信号C(n)之间的相位偏移量(相位偏移检测步骤S3)。例如通过模式匹配来进行相位偏移量的检测。
然后,根据相位偏移检测步骤S3中检测到的相位偏移量,在相位偏移校正部12中,对选择出的3帧前的第1闪烁校正信号C(n-3)的相位偏移进行校正(相位偏移校正步骤S4)。
以规定比率对这样校正了相位偏移后的3帧前的第1闪烁校正信号C(n-3)和当前帧的第1闪烁校正信号C(n)进行合成,生成第2闪烁校正信号C′(n)(校正信号合成步骤S5)。
最后,根据校正信号合成步骤S5中生成的第2闪烁校正信号C′(n),对输入图像信号I(n)进行校正(闪烁校正步骤S6)。
这样,根据本实施方式的图像处理装置1和图像处理方法,即使由于摄像帧率的误差等而在每帧的第1闪烁校正信号C(n)、C(n-1)、C(n-2)、C(n-3)中产生微细的相位偏移,也在对其进行校正后的状态下将其输入到循环型的低通滤波器13。然后,通过循环型的低通滤波器13,生成以规定比率对当前帧的第1闪烁校正信号C(n)和3帧前的第1闪烁校正信号C(n-3)进行合成后的第2闪烁校正信号C′(n),所以,具有如下优点:能够生成时间上稳定的第2闪烁校正信号C′(n),使用该第2闪烁校正信号C′(n),能够有效地去除当前帧的输入图像信号I(n)中包含的闪烁。
并且,在相位偏移检测步骤S3中,通过模式匹配来检测2个第1闪烁校正信号C(n)、C(n-3)的相位偏移量,所以,具有如下优点:不需要进行DFT等成本比较高的处理,能够简易地检测过去帧的第1闪烁校正信号C(n-1)、C(n-2)、C(n-3)的相位偏移量。
另外,在本实施方式中,例示了电源频率50Hz、摄像帧率60fps的情况,所以,检测当前帧的第1闪烁校正信号C(n)与3帧前的第1闪烁校正信号C(n-3)的相位偏移量,但是,在电源频率和/或摄像帧率不同的情况下,根据由它们决定的周期来设定闪烁校正信号保持部10中保持的第1闪烁校正信号的数量,选择要检测相位偏移量的过去帧即可。
并且,在本实施方式中,在相位偏移校正部12中,使用相位偏移检测部11中检测到的相位偏移量Δs,使3帧前的第1闪烁校正信号C(n-3)的相位以相位偏移量Δs移位,但是,由于只是单纯的移位,所以也可以取而代之,而通过循环型的低通滤波器13的寻址时的移位来实施相位偏移校正部12的功能。
并且,在本实施方式中,在保持其尺寸的状态下将由照相机取得的输入图像信号I(n)输入到闪烁检测部2,但是,也可以取而代之,如图5所示,具有缩小由照相机取得的输入图像信号I(n)的缩小图像生成部14、放大从闪烁校正信号整形部3输出的第2闪烁校正信号c′(n)的闪烁校正信号放大插值部(校正信号放大部)15。并且,在图5中,i(n)是缩小图像信号I(n)而得到的信号,C′(n)是放大第2闪烁校正信号c′(n)而得到的信号。
缩小图像生成部14中的缩小率是任意的。由于一般的闪烁成分不包含高频成分,所以,垂直方向的像素数、即闪烁校正信号的取样点数为30~50个左右就能够得到充分的闪烁校正效果。因此,例如,如果是全部HD标准的输入图像信号,则优选纵横1/20~1/30左右的缩小率。
通过进行这种图像缩小,具有如下优点:能够大幅削减闪烁检测部2内的帧存储器5和闪烁校正信号整形部3内的闪烁校正信号保持部10所需要的存储器容量,并且,还能够大幅削减各块中的运算量。
该情况下的闪烁检测部2中的第1闪烁校正信号的生成处理与上述实施方式相同。
在闪烁校正信号整形部3中,如图6所示,在相位偏移检测部11中,不仅计算整数单位的相位偏移量Δs,还计算小数单位的相位偏移量Δssub。由此,即使是由于图像缩小而大幅减少的垂直方向的取样数,也能够确保充分精度的相位偏移量的检测。
可以使用上述说明的SAD(s)和相位偏移量Δs,根据数学式4计算小数单位的相位偏移量Δssub。
【数学式4】
在相位偏移校正部12中,使用由相位偏移检测部11计算出的相位偏移量Δs、Δssub,计算使3帧前的第1闪烁校正信号c(n-3)的相位以Δs+Δssub移位后的移位第1闪烁校正信号c′(n-3)。如图7所示,可以通过邻近两点插值来实施该运算。
使用这样计算出的移位第1闪烁校正信号c′(n-3)和当前帧的第1闪烁校正信号c(n),在循环型的低通滤波器13中,在缩小坐标系中计算当前帧的第2闪烁校正信号c′(n)。
然后,计算出的第2闪烁校正信号c′(n)以在闪烁校正信号放大插值部15中放大而返回原来的坐标系的状态输入到闪烁校正部4,通过以行单位与原来的坐标系的当前帧的输入图像信号进行相乘,能够抑制闪烁成分。
标号说明
1:图像处理装置;2:闪烁检测部;4:闪烁校正部;10:闪烁校正信号保持部;11:相位偏移检测部;12:相位偏移校正部;13:低通滤波器(校正信号合成部);14:缩小图像生成部;15:闪烁校正信号放大插值部(校正信号放大部);S1:闪烁检测步骤;S2:闪烁校正信号保持步骤;S3:相位偏移检测步骤;S4:相位偏移校正步骤;S5:校正信号合成步骤;S6:闪烁校正步骤。

Claims (6)

1.一种图像处理装置,其具有:
闪烁检测部,其按照每帧从输入图像信号中检测闪烁成分,生成第1闪烁校正信号;
闪烁校正信号保持部,其保持最近的连续多帧的由该闪烁检测部生成的所述第1闪烁校正信号;
相位偏移检测部,其在由所述闪烁检测部检测到最新的所述第1闪烁校正信号时,从该闪烁校正信号保持部中保持的过去的所述第1闪烁校正信号中选择具有大致相同的相位的过去的所述第1闪烁校正信号,检测与最新的第1闪烁校正信号之间的相位偏移量;
相位偏移校正部,其根据由该相位偏移检测部检测到的所述相位偏移量,对选择出的过去的所述第1闪烁校正信号的相位偏移进行校正;
循环型的校正信号合成部,其以规定比率对由该相位偏移校正部校正了相位偏移后的过去的所述第1闪烁校正信号和最新的所述第1闪烁校正信号进行合成,生成第2闪烁校正信号;以及
闪烁校正部,其根据由该校正信号合成部生成的所述第2闪烁校正信号,对输入图像信号进行校正。
2.根据权利要求1所述的图像处理装置,其中,
所述相位偏移检测部选择与闪烁的产生周期一致的帧数的过去的所述第1闪烁校正信号,所述闪烁的产生周期是根据取得所述输入图像信号时的周围环境中的电源频率和取得该输入图像信号时的摄像帧率决定的。
3.根据权利要求1或2所述的图像处理装置,其中,
所述图像处理装置具有:
缩小图像生成部,其以规定的比率将所述输入图像信号缩小而输入到所述闪烁检测部;以及
校正信号放大部,其以所述比率将所述第2闪烁校正信号放大而输入到所述闪烁校正部。
4.根据权利要求1所述的图像处理装置,其中,
所述相位偏移检测部通过对2个所述第1闪烁校正信号进行模式匹配来检测相位偏移。
5.一种图像处理方法,包括以下步骤:
闪烁检测步骤,按照每帧从输入图像信号中检测闪烁成分,生成第1闪烁校正信号;
闪烁校正信号保持步骤,保持最近的连续多帧的通过该闪烁检测步骤生成的所述第1闪烁校正信号;
相位偏移检测步骤,在通过所述闪烁检测步骤检测到最新的所述第1闪烁校正信号时,从该闪烁校正信号保持步骤中保持的过去的所述第1闪烁校正信号中选择具有大致相同的相位的过去的所述第1闪烁校正信号,检测与最新的第1闪烁校正信号之间的相位偏移量;
相位偏移校正步骤,根据通过该相位偏移检测步骤检测到的所述相位偏移量,对选择出的过去的所述第1闪烁校正信号的相位偏移进行校正;
校正信号合成步骤,以规定比率对通过该相位偏移校正步骤校正了相位偏移后的过去的所述第1闪烁校正信号和最新的所述第1闪烁校正信号进行合成,生成第2闪烁校正信号;以及
闪烁校正步骤,根据通过该校正信号合成步骤生成的所述第2闪烁校正信号,对输入图像信号的闪烁进行校正。
6.根据权利要求5所述的图像处理方法,其中,
所述图像处理方法包括以下步骤:
缩小图像生成步骤,以规定的比率缩小所述输入图像信号;以及
校正信号放大步骤,以所述比率放大所述第2闪烁校正信号,
所述闪烁检测步骤中,根据所述缩小图像成性步骤中缩小的输入图像信号生成第1闪烁校正信号,
所述闪烁校正步骤中,根据所述校正信号放大步骤中放大的第2校正信号对闪烁进行校正。
CN201480076542.5A 2014-12-15 2014-12-15 图像处理装置和图像处理方法 Active CN106063251B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/083119 WO2016098155A1 (ja) 2014-12-15 2014-12-15 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN106063251A CN106063251A (zh) 2016-10-26
CN106063251B true CN106063251B (zh) 2017-08-25

Family

ID=56126081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480076542.5A Active CN106063251B (zh) 2014-12-15 2014-12-15 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US9681061B2 (zh)
JP (1) JP6013667B1 (zh)
CN (1) CN106063251B (zh)
WO (1) WO2016098155A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568924B (en) * 2017-11-30 2022-07-20 Apical Ltd Method of flicker reduction
KR102570562B1 (ko) * 2018-07-16 2023-08-24 삼성전자주식회사 영상 처리 장치 및 그 동작방법
WO2021090689A1 (ja) * 2019-11-07 2021-05-14 コニカミノルタ株式会社 フリッカ計測装置及び計測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081684A (ja) * 2007-09-26 2009-04-16 Panasonic Corp フリッカ低減装置
JP2011160090A (ja) * 2010-01-29 2011-08-18 Sony Corp 画像処理装置、および信号処理方法、並びにプログラム
CN103997600A (zh) * 2013-02-14 2014-08-20 卡西欧计算机株式会社 摄像装置、拍摄控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093866A (ja) 1996-09-12 1998-04-10 Toshiba Corp 撮像装置
KR101143861B1 (ko) * 2004-11-15 2012-05-23 소니 주식회사 플리커 보정방법 및 플리커 보정회로와 그것들을 이용한촬상장치
JP4371108B2 (ja) * 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP2008228037A (ja) * 2007-03-14 2008-09-25 Matsushita Electric Ind Co Ltd 位相調整装置、位相調整方法およびデジタルカメラ
JP5111100B2 (ja) * 2007-12-28 2012-12-26 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2011259390A (ja) 2010-06-11 2011-12-22 Olympus Corp フリッカ検出装置
JP2012222739A (ja) 2011-04-13 2012-11-12 Panasonic Corp フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム
JP2014027496A (ja) 2012-07-27 2014-02-06 Cis:Kk 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081684A (ja) * 2007-09-26 2009-04-16 Panasonic Corp フリッカ低減装置
JP2011160090A (ja) * 2010-01-29 2011-08-18 Sony Corp 画像処理装置、および信号処理方法、並びにプログラム
CN103997600A (zh) * 2013-02-14 2014-08-20 卡西欧计算机株式会社 摄像装置、拍摄控制方法

Also Published As

Publication number Publication date
WO2016098155A1 (ja) 2016-06-23
JPWO2016098155A1 (ja) 2017-04-27
CN106063251A (zh) 2016-10-26
US20160337571A1 (en) 2016-11-17
US9681061B2 (en) 2017-06-13
JP6013667B1 (ja) 2016-10-25

Similar Documents

Publication Publication Date Title
CN103312970B (zh) 图像合成设备和图像合成方法
JP5625371B2 (ja) 画像処理装置、および信号処理方法、並びにプログラム
US9202263B2 (en) System and method for spatio video image enhancement
US9420185B2 (en) Method and system for compensating for image blur by moving image sensor
US20040165084A1 (en) Flicker detecting method and flicker detecting apparatus
US10306210B2 (en) Image processing apparatus and image capturing apparatus
CN100473119C (zh) 消除曝光闪烁的方法及装置
US20140320682A1 (en) Image processing device
TWI496105B (zh) 影像合成裝置及用於影像合成之電腦程式
US9912878B2 (en) Flicker detection apparatus and method and non-transitory computer readable storage storing the flicker detection method
CN106063251B (zh) 图像处理装置和图像处理方法
CN114586337B (zh) 视频防抖优化处理方法和装置、电子设备
WO2012150214A1 (en) Estimation of picture motion blurriness
JP2013258444A (ja) 画像処理装置、画像処理方法及びプログラム
JP5669599B2 (ja) 画像処理装置及びその制御方法
KR101537559B1 (ko) 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
JP2012104018A (ja) 画像処理装置
CN110958361A (zh) 能够进行hdr合成的摄像设备及其控制方法和存储介质
JP2018061130A (ja) 画像処理装置、画像処理方法、及びプログラム
CN107205123B (zh) 闪光带判断装置及其控制方法、存储介质和摄像设备
US10091442B2 (en) Image processing apparatus and image processing method
US11972546B2 (en) Image processing apparatus and image processing method
CN109697700B (zh) 手持红外热像仪拍摄防抖方法
JP2015079329A (ja) 画像処理装置、画像処理方法およびプログラム
US20150281576A1 (en) Image processing apparatus, image processing method, program, and camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant