CN108141546A - 视频信号处理装置、视频信号处理方法和程序 - Google Patents

视频信号处理装置、视频信号处理方法和程序 Download PDF

Info

Publication number
CN108141546A
CN108141546A CN201680058033.9A CN201680058033A CN108141546A CN 108141546 A CN108141546 A CN 108141546A CN 201680058033 A CN201680058033 A CN 201680058033A CN 108141546 A CN108141546 A CN 108141546A
Authority
CN
China
Prior art keywords
frame
weight coefficient
value
order
vision signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680058033.9A
Other languages
English (en)
Inventor
冈田壮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108141546A publication Critical patent/CN108141546A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

这种图像信号处理设备设置有亮度校正电路，该亮度校正电路将连续M(M是两个或更多个)个帧的图像信号乘以对于在所述M个帧中的各个次序的帧单独设置的权重因素，并且将其结果相加并求平均，从而生成按照M个帧中的预定次序的帧的校正图像信号，其中对于预定次序的帧设置的权重因素的值是对于M个帧中的各个次序的帧单独设置的权重因素的值中的最大值。

Description

视频信号处理装置、视频信号处理方法和程序
技术领域
本技术涉及抑制视频信号的亮度改变分量的视频信号处理装置、视频信号处理方法和程序，其中被输入的所述视频信号的亮度随时间变化。
背景技术
图像传感器在不同的定时基于面或基于线累积电荷。一般地，将定时与基于面而累积电荷匹配的系统被称为全局快门系统，而将定时与基于线而累积电荷匹配的系统被称为滚动快门系统。在图像传感器中，采用全局快门系统的CCD图像传感器在过去流行，但近来CMOS图像传感器受到关注，CMOS图像传感器具有比CCD图像传感器更低的功耗并且能够以少量零件并以低成本生产。鉴于结构问题方，这种CMOS图像传感器常常用滚动快门系统。在这两种系统中，当在光源重复闪烁的情况下执行成像时，由于传感器的电荷累积定时的差异，出现整个表面上的明-暗差异(表面闪烁)或者对于每条线的明-暗差异(线闪烁)。
对于闪烁校正技术，已知将连续M个帧的视频信号相加并求平均从而获得闪烁校正图像的方法(参见专利文献1)。在这个专利文献1中，将帧速率除以光源频率(电源频率×2)，对结果值进行四舍五入，并将结果所得的整数设置为作为相加目标的帧的数量M。因此，那些M个帧被相加并求平均。
引文列表
专利文献
专利文献1：日本专利申请特开第2009-135792号
发明内容
技术问题
但是，在抑制发送的亮度随时间改变的视频信号中的亮度改变分量的技术(诸如上述的闪烁校正)中，仍然存在许多待解决的问题。
鉴于上述情况，本技术的目标是提供能够解决抑制在发送的亮度随时间改变的视频信号中的亮度改变分量的信号处理中涉及的各种问题的视频信号处理装置、视频信号处理方法和程序。
对问题的解决方案
为了解决上述问题，根据本技术实施例的视频信号处理装置包括亮度校正电路，该亮度校正电路将连续的M个帧的视频信号乘以对于在所述M个帧中的各个次序的帧单独设置的权重系数，M是复数，并且将结果相加并求平均，以生成按照所述M个帧中的预定次序的帧的校正视频信号，对于按照预定次序的帧设置的权重系数的值是对于所述M个帧中的各个次序的帧单独设置的权重系数的值中的最大值。
在根据本技术实施例的视频信号处理装置中，对于在所述按照预定次序的帧之外的(M-1)帧中距离所述按照预定次序的帧具有不同距离的多个帧，对于具有相对长距离的帧设置的权重系数的值被设置为等于或小于对于具有相对短距离的帧设置的权重系数的值。
M可以是通过将帧速率除以成像环境的光源频率、对结果所得的值进行四舍五入并将结果所得的整数设置为上限来预设的值。
根据本技术实施例的视频信号处理装置还可以包括：存储器，所述存储器存储多种类型的权重系数集合，所述权重系数集合中的每个权重系数集合包括与在M个帧中的各个次序的帧单独相关联的M个权重系数的值；操作输入单元，所述操作输入单元从用户接收从存储在存储器中的多种类型的权重系数集合中对一个权重系数集合的选择；以及控制单元，所述控制单元在亮度校正电路中设置由用户利用操作输入单元选择的权重系数集合的M个权重系数的值。
根据本技术实施例的视频信号处理装置还可以包括显示数据生成单元，该显示数据生成单元生成用于使显示单元的屏幕按照校正强度的降序或升序来有规律地显示多条指定信息的显示数据，所述多条指定信息指定存储在存储器中的所述多种类型的权重系数集合。
根据本技术实施例的视频信号处理装置还可以包括：运动检测电路，该运动检测电路检测作为校正目标的视频信号中的运动；以及权重系数调节电路，该权重系数调节电路基于检测到的运动的速度信息来调节对于各个次序的帧单独设置的权重系数的值。
根据本技术的另一个实施例的视频信号处理方法包括：将连续的M个帧的视频信号乘以对于在所述M个帧中的各个次序的帧单独设置的权重系数，M是复数，并且将结果相加并求平均，以生成按照所述M个帧中的预定次序的帧的校正视频信号，对于按照预定次序的帧设置的权重系数的值是对于所述M个帧中的各个次序的帧单独设置的权重系数的值中的最大值。
根据本技术的另一个实施例的程序是使计算机用作亮度校正电路的程序，该亮度校正电路将连续的M个帧的视频信号乘以对于在所述M个帧中的各个次序的帧单独设置的权重系数，M是复数，并且将结果相加并求平均，以生成按照所述M个帧中的预定次序的帧的校正视频信号，对于按照预定次序的帧设置的权重系数的值是对于所述M个帧中的各个次序的帧单独设置的权重系数的值中的最大值。
发明的有益效果
如上所述，根据本技术，可以解决抑制发送的亮度随时间改变的视频信号中的亮度改变分量的信号处理中涉及的各种问题。
附图说明
图1是示出作为根据本技术的视频处理装置的第一实施例的成像装置1的配置的框图。
图2是示出图1的成像装置1中的闪烁校正电路32的配置的框图。
图3是示出由这个实施例的成像装置1进行的加权相加型闪烁校正的具体示例的图。
图4是示出多个权重系数集合的示例的图。
图5是示出闪烁校正条件设置屏幕的示例的图。
图6是示出根据本技术的第一实施例的成像装置1中的闪烁校正电路32A的修改例的配置的框图。
图7A是示出根据图6的修改例的权重系数调节的示例的图。
图7B是示出根据图6的修改例的权重系数调节的另一个示例的图。
具体实施方式
在下文中，将参考附图描述根据本技术的实施例。
<第一实施例>
图1是示出作为根据本技术的视频处理装置的第一实施例的成像装置1的配置的框图。
如图中所示，这个成像装置1包括透镜单元10、成像单元20、信号校正电路30、拐点/伽马校正电路40、取景器输出生成单元50、主线(mainline)信号处理单元60、取景器70、操作输入单元80、非易失性存储器90以及CPU(中央处理单元)100。
透镜单元10包括用于成像的透镜或组合的多个透镜。透镜单元10会聚来自被摄体的光并且在成像单元20的成像表面上形成图像。
成像单元20包括例如具有以矩阵布置于其上的像素的成像表面的成像设备(诸如CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件))。成像单元20在成像表面上接收来自被摄体的光，该光经由透镜单元10入射，进行光电转换为基于像素对像素的光，并且将结果所得的视频信号供给信号校正电路30。
信号校正电路30对在成像单元20中生成的视频信号执行各种类型的校正。信号校正电路30包括缺陷校正电路31和闪烁校正电路32(亮度校正电路)。缺陷校正电路31检测与成像单元20中的缺陷像素的位置对应的视频信号并校正那个视频信号。应当注意，在本技术中，缺陷校正电路31不是必需的。闪烁校正电路32消除由于电源频率与帧速率之间的差异引起的发生在视频信号中的闪烁。信号校正电路30将校正后的视频信号供给拐点/伽马校正电路40。
拐点/伽玛校正电路40对从信号校正电路30供给的视频信号执行拐点校正和伽玛校正，并将其结果供给取景器输出生成单元50和主线信号处理单元60。
取景器输出生成单元50将从拐点/伽马校正电路40供给的视频信号转换成用于取景器显示的视频信号，并向取景器70输出转换后的用于取景器显示的视频信号。另外，取景器输出生成单元50(显示数据生成单元)可以生成GUI(图形用户界面)的显示数据，以用于利用操作输入单元80从用户接收各种类型的信息的输入，并将该显示数据输出到取景器70、监视器、外部连接的个人计算机的监视器等。
取景器70显示成像期间的视频或者通过再现存储在存储装置中的视频数据而显示视频。另外，取景器70可以显示由取景器输出生成单元50生成的GUI的显示数据。
主线信号处理单元60对从拐点/伽马校正电路40供给的视频信号执行处理(诸如压缩编码和错误校正编码)，以将结果所得的视频信号存储在图中未示出的存储装置中，或者将结果所得的视频信号经由传输线缆发送到外部装置。
操作输入单元80例如从用户接收设置信息(诸如各种成像条件)的输入。
非易失性存储器90(与权利要求书中的“存储器”对应)是例如存储在闪烁校正电路32中使用的多个权重系数集合等的存储器。
CPU 100(与权利要求书中的“控制电路”对应)是对成像装置1执行整体控制的控制电路。
图2是示出信号校正电路30中的闪烁校正电路32的配置的框图。
闪烁校正电路32包括存储器控制器321、存储器322和加权相加电路323。闪烁校正电路32以如下方式基于由CPU 100给出的闪烁校正条件来对视频信号执行闪烁校正。
例如，CPU 100根据用户利用设置在成像装置1中的操作输入单元80输入的各种类型的设置信息来设置信号校正电路30的各种校正条件等。用户可以输入作为一种类型的设置信息的关于闪烁校正的信息。关于闪烁校正的设置信息包括电源频率、帧速率和指定闪烁校正模式的累积类型(ACCUMULATION TYPE，以下称为“ACM TYPE”)。
在这里，将描述关于闪烁校正的设置信息。
电源频率具有例如50Hz和60Hz的选项。用户仅需要根据供给使用成像装置1的区域的商用电源频率来选择电源频率的设置值。
帧速率具有例如400fps和480fps的选项。当帧速率低于电源频率(即，荧光管的发光频率)的两倍时，以荧光管的发光频率驱动快门，使得可以消除闪烁。但是，当帧速率高于电源频率(荧光管的发光频率)的两倍时，例如400fps或480fps时，不可能通过快门消除闪烁。考虑到这点，需要通过闪烁校正电路32的信号处理来执行闪烁校正。
ACM TYPE是用于指定给予相应M个帧的权重系数集合的信息，其中M个帧是用于加权相加电路323的闪烁校正的加权相加目标。
CPU 100基于设置信息来确定权重系数集合，其中设置信息是由用户通过操作输入单元80的操作输入的，并且设置加权相加电路323中的加权系数。
另外，CPU 100基于由用户通过操作输入单元80的操作输入的设置信息在存储器控制器321中设置要存储在存储器322中的帧的数量。
在CPU 100的控制下，存储器控制器321将视频信号存储在存储器322中，其中由信号校正电路30内的前一阶段的校正电路校正该视频信号。当设置的M个帧的视频信号被存储在存储器322中时，存储器控制器321从存储器322读取M个帧的视频信号并将那些视频信号供给加权相加电路323。
存储器322是其中存储与至少M个帧对应的视频信号的存储区域，其中由信号校正电路30内的前一阶段的校正电路校正该视频信号。存储器322存储与不断新输入的至少M个帧对应的视频信号。存储在存储器322中的帧的数量可以大于M。
加权相加电路323是输入M个帧的视频信号(其中视频信号由存储器控制器321从存储器322读取并连续供给)并使用由CPU 100针对帧的那些视频信号设置的加权系数来执行加权相加及求平均，以生成经闪烁校正的视频的电路。
(典型的第一相加类型闪烁校正方法及其问题)
在这里，将描述典型的第一相加类型闪烁校正方法及其问题。
在典型的相加类型闪烁校正方法中使用的是加法器电路，该加法器电路将每个像素的连续M个帧的视频信号相加、对视频信号求平均、并且生成经闪烁校正的视频。
这种加法器电路根据以下表达式计算作为相加目标的帧数M。
M＝LCM(电源频率×2，帧速率)/(电源频率×2)
在这里，LCM(元素1，元素2)是元素1和元素2的最小公倍数。例如，当帧速率相对于50Hz的电源频率被设置为“480”时，M是“24”。
加法器电路将对于每个对应像素(在相同位置)的M个帧的视频信号的值相加，将相加的结果除以M的值，以获得平均值作为经闪烁校正的视频。
根据这种典型的相加类型闪烁校正方法，获得完全消除闪烁的经闪烁校正的视频。但是，当作为相加目标的一组帧中包括以高速移动的被摄体的图像(动态主体图像)时，作为最大M个帧(即，在上述示例中最大24帧)中的动态主体图像的视频分量的相加和求平均的结果而出现不自然的大的运动模糊。因此，有可能给移动图像的观看者带来奇怪的感觉。
(典型的第二相加类型闪烁校正方法及其问题)
在典型的第二相加类型闪烁校正方法中，将帧速率除以光源频率(电源频率×2)，对结果所得的值进行四舍五入，并将结果所得的整数设置为作为相加目标的帧的数量M。例如，当加法器电路相对于50Hz的电源频率将帧速率设置为“400”时，M的值是“4”。另外，当加法器电路相对于50Hz的电源频率将帧频设置为“480”时，通过四舍五入处理的M的值是“5”。
在这种第二相加类型闪烁校正方法中，不能完全消除闪烁，但是与上述典型的第一相加类型闪烁校正方法相比，可以使运动模糊的量更小，使得可以减少由于大的运动模糊引起的奇怪的感觉。
但是，通过这种典型的第二相加类型闪烁校正方法，只要多个帧的视频信号的相加和求平均的结果是作为经闪烁校正的视频获得的，整个动态主体图像中的模糊程度就趋于均匀。再一次，外观上的不自然仍然存在。
(本实施例的加权相加类型闪烁校正方法)
在本实施例的成像装置1中采用的加权相加类型闪烁校正方法中，作为加权相加目标的连续M个帧的视频信号被乘以针对M个帧中的各个次序的帧单独设置的权重系数，从而对由此获得的结果进行相加和求平均，并且将由此获得的结果设置为对于M个帧中的参考帧的视频信号的闪烁校正结果。
在这里，参考帧是例如连续供给闪烁校正电路32的M个帧中的预定次序的帧(例如，最后供给的帧)。当最后供给的帧被设置为参考帧时，作为加权相加目标的连续M个帧是指这个参考帧和在参考帧之前连续供给闪烁校正电路32的(M-1)个帧。应当注意的是，本技术不限于以上所述。
“M”的值是通过将帧速率除以光源频率(电源频率×2)、对结果所得的值进行四舍五入并将结果所得的整数设置为上限而设置的2或更大的整数。
图3是示出由这个实施例的成像装置1进行的加权相加类型闪烁校正的具体示例的图。在这里，为了容易理解，示出了释放任意快门的状态，但是快门是否被释放与本技术无关。
假设作为加权相加目标的帧的数量M是“4”，并且对于在连续M个帧中的各个次序的帧预先单独设置的加权系数的值是从参考帧侧的“4”、“3”、“2”和“1”。那些权重系数的值可以由用户利用操作输入单元80预先手动输入，或者可以被预先存储在非易失性存储器90中。
应当注意的是，可以与如上所述在连续M个帧中的各个次序的帧相关联的多个权重系数的值的汇集(gathering)在下文中将被称为“权重系数集合”。
在上述条件下，加权相加电路323的操作如下。
首先，加权相加电路323将参考帧的视频信号乘以权重系数“4”，并生成参考帧的加权视频信号。
加权相加电路323将紧接在参考帧之前输入的帧(-1F)的视频信号乘以权重系数“3”并生成帧(-1F)的加权视频信号。
加权相加电路323将紧接在帧(-1F)之前输入的帧(-2F)的视频信号乘以权重系数“2”并且生成帧(-2F)的加权视频信号。
加权相加电路323将紧接在帧(-2F)之前输入的帧(-3F)的视频信号乘以权重系数“1”并生成帧(-3F)的加权视频信号。
接下来，加权相加电路323将对于每个对应像素(在相同位置)的参考帧的加权视频信号、帧(-1F)的加权视频信号，帧(-2F)的加权视频信号和帧(-3F)的加权视频信号的值相加，并生成与M个帧对应的加权相加视频信号。
接下来，加权相加电路323将与M个帧对应的加权相加视频信号除以权重系数集合的权重系数之和。由此获得的结果变成对于参考帧的视频信号的经闪烁校正的视频。
通过这种加权相加类型闪烁校正方法来执行闪烁校正，并且因此可以防止将闪烁校正的视频中的整个动态主体图像的模糊程度趋于均匀，并且可以获得具有更自然外观的运动模糊。
另外，在针对在M个帧中的各个次序的帧单独设置的权重系数的值当中，使得为参考帧设置的权重系数的值最大。因此，可以获得更自然的运动模糊，其中随着距离参考帧的动态主体图像的距离的增加而模糊程度增加。
顺便提及，权重系数集合中权重系数的值之间的差异可以是在经闪烁校正的视频中留下闪烁分量的因素。同时，运动模糊的外观取决于各种条件(诸如动态主体图像的尺寸、颜色和速度)而变化。为此，如果仅关注运动模糊的外观并且选择权重系数集合的各个权重系数的值，那么在一些情况下，突出的闪烁可能留在闪烁被校正的视频中。
考虑到这点，这个实施例的成像装置1允许用户鉴于运动模糊的外观和闪烁消除效果两方面来选择最佳权重系数集合。
(闪烁校正模式(ACM TYPE)的选择)
图4是示出存储在成像装置1的非易失性存储器90中的权重系数集合的图。
在这个示例中，可以根据从“1”到“3”的三种类型的ACMTYPE来选择权重系数集合。
应当注意的是，在图4中，当具有权重系数的值“0”的帧的视频信号乘以“0”时，该帧由此不再是加权相加目标。在这个意义上使用作为加权相加目标的帧的数量M的上限。
在图4中，相对于电源频率和帧速率的一个组合，可以根据从“1”到“3”的ACM TYPE来选择总共三种类型的权重系数集合。但是，可以准备更多类型的权重系数集合。
应当注意的是，对于电源频率和帧速率的每个组合，确定权重系数集合的各个权重系数的值。
在每个权重系数集合中，分配给参考帧的权重系数的值被设置为最大。除参考帧之外的(M-1)个帧的权重系数的值被确定为使得时间上远离参考帧的帧的权重系数的值不超过比前一帧时间上更接近参考帧的帧的权重系数的值。换句话说，对于除一帧之外按照预定次序的(M-1)个帧中按照预定次序距离该帧具有不同距离的多个帧，对于具有相对长距离的帧设置的权重系数的值被设置为等于或小于对于具有相对短距离的帧设置的权重系数的值。这可以抑制来自时间上更远离参考帧的帧中的动态主体图像分量对经闪烁校正的视频的影响程度，并且可以提供具有更自然外观的运动模糊。
另外，在根据ACM TYPE选择的多种类型的权重系数集合中，权重系数集合中的权重系数的值被设置为使得ACM TYPE“1”的权重系数集合具有最高的闪烁校正强度(即，对运动模糊的外观的影响的强度)，并且使得随着ACM TYPE变为“2”然后变为“3”时，强度变低。
应当注意的是，根据ACM TYPE选择的单个权重系数集合可以包括具有相同值的权重系数。当选择这个权重系数集合时，通过上述典型的第二相加类型闪烁校正方法来执行闪烁校正。
用户操作例如设置在成像装置1中的操作输入单元80，并且因此可以选择电源频率、帧速率和ACM TYPE。图5是示出例如在取景器70上显示的闪烁校正条件设置屏幕的示例的图。这个示例示出了电源频率“60Hz”、帧速率“400fps”和ACM TYPE“1”被设置为闪烁校正条件的情况。
将由用户利用操作输入单元80选择的电源频率、帧速率和ACM TYPE给予CPU 100。CPU 100参考来自非易失性存储器90的权重系数集合，该权重系数集合与给定的电源频率、帧速率和ACM TYPE的组合对应。然后CPU 100在加权相加电路323中设置在权重系数集合中各个次序的帧的权重系数的值。这允许加权相加电路323使用相对于连续M个帧的输入视频信号的权重系数的设置值的加权相加来执行闪烁校正。
用户例如通过主线输出目的地的监视器等的屏幕来确认在由用户设置的闪烁校正条件下获得的经闪烁校正的视频中运动模糊的外观和闪烁消除效果。随后，用户操作操作输入单元80，以设置其中仅ACM TYPE被改变的下一个闪烁校正条件(例如，ACM TYPE从“1”变为“2”)，并且确认通过执行在那些闪烁校正条件下的闪烁校正而获得的经闪烁校正的视频。用户以这种方式重复ACM TYPE的改变和经闪烁校正的视频的确认，并且确定具有最佳运动模糊外观和最佳闪烁分量消除程度的ACM TYPE。
在电源频率和帧速率已经确定的成像装置1的许多操作环境中，用户仅切换ACMTYPE并且确认在每种情况下的经闪烁校正的视频，从而确定最佳ACM TYPE。
在根据ACM TYPE选择的多种类型的权重系数集合中，权重系数集合中的权重系数的值被设置为使得ACM TYPE“1”的权重系数集合具有影响运动模糊的外观的最高强度，并且使得随着ACM TYPE变为“2”然后变为“3”，强度变低。考虑到这点，用户可以首先选择ACMTYPE“1”的权重系数集合，以确认其中运动模糊的外观发生很大改变的经闪烁校正的视频，然后按顺序地选择ACM TYPE“2”和“3”，以确认经闪烁校正的视频。这允许用户按顺序确认以阶梯方式抑制运动模糊的外观改变的经闪烁校正的视频，并且使得当确定最佳权重系数集合时难以造成困惑。
应当注意的是，在这里，权重系数集合中的权重系数的值被设置为使得权重系数集合按照ACM TYPE“1”、“2”和“3”的次序降低影响运动模糊的外观的强度。相反地，权重系数集合中权重系数的值可以被设置为使得权重系数集合按照ACM TYPE“1”、“2”和“3”的次序增加影响运动模糊的外观的强度。
以这种方式，根据这个实施例的成像装置1，可以容易地设置用于成像装置1的在运动模糊的外观和闪烁消除效果两方面都最佳的权重系数集合。
<修改例1>
图6是示出根据本技术第一实施例的成像装置1中的闪烁校正电路32A的修改例的配置的框图。
这个修改例的闪烁校正电路32A包括第一实施例的成像装置1中的闪烁校正电路32的配置，并且附加地包括运动检测电路324A和权重系数调节电路325A。
运动检测电路324A检测作为闪烁校正目标的连续帧当中的视频的运动。运动检测电路324A检测例如作为加权相加目标的M个帧当中的视频的运动的速度信息(诸如平均速度或最高速度)。例如，运动检测电路324A将检测到的速度信息供给权重系数调节电路325A。
权重系数调节电路325A基于来自运动检测电路324A的速度信息调节从CPU 100A输出以便在加权相加电路323A中设置的各个权重系数的值，然后在加权相加电路323A中设置结果所得的值。例如，随着视频的运动速度变得更高，运动模糊变大。因此，为了防止运动模糊过度，权重系数调节电路325A减少作为加权相加目标的帧的数量M或者调节权重系数集合中各个权重系数的值之间的平衡。
例如，如图3中所示，在利用从参考帧侧起的权重系数“4”、“3”、“2”和“1”进行使用加权相加的闪烁校正期间，当由运动检测电路324A检测到的速度的值超过第一阈值时，权重系数调节电路325A例如按照以下方式调节权重系数集合中各个权重系数的值。
图7A和图7B是各自示出根据这个修改例的权重系数调节的示例的图。
如图7A中所示，权重系数调节电路325A将“0”设置为在时间上距参考帧最远的帧的权重系数的值，以将作为加权相加目标的帧的数量M减1。另外，权重系数调节电路325A增加剩余三帧的权重系数“4”、“3”和“2”的值之间的间隙。例如，设置为“5”、“3”和“1”。
另外，在利用从参考帧侧起的权重系数“5”、“3”和“1”进行使用加权相加的闪烁校正期间，当由运动检测电路324A检测到的速度的值超过第二阈值(第二阈值>第一阈值)时，如图7B中所示，例如，权重系数调节电路325A进一步将作为加权相加目标的帧的数量M减1。另外，权重系数调节电路325A将剩余两帧的权重系数“5”和“3”的值调节为例如“5”和“1”。以这种方式，针对视频的运动速度适应性地改变作为加权相加目标的帧的数量，或者调节权重系数集合中的各个权重系数的值之间的平衡，使得可以防止运动模糊过度，并且可以使运动模糊的外观自然。
基于上述运动检测的结果来调节权重系数的值的功能可以通过用户的选择而被打开/关闭。
<修改例2>
在上述实施例中，例如，在顺序供给闪烁校正电路32的M个帧中，将最后供给的帧设置为参考帧，并且使用参考帧的视频信号和参考帧之前供给的(M-1)个顺序帧的视频信号的加权相加，从而执行闪烁校正。
本技术不限于以上所述。例如，在顺序供给闪烁校正电路32的M个帧中，可以将首先供给的帧设置为参考帧，并且使用参考帧的视频信号和参考帧之后供给的(M-1)个顺序帧的视频信号的加权相加，从而执行闪烁校正。
此外，例如，在顺序供给闪烁校正电路32的M个帧中，可以将从开始算起第N个(其中1<N<M)供给的帧设置为参考帧，并且使用参考帧的视频信号、参考帧之后供给的(M-N)个顺序帧的视频信号和参考帧之前供给的(N-1)个顺序帧的视频信号的加权相加，从而执行闪烁校正。
在上文中，已经描述了本技术用于闪烁校正的实施例，但是本技术可以针对具有随时间改变的亮度的一般视频类似地应用于亮度校正处理。
除了具有上面提到的由于光源频率的影响而引起的闪烁的视频之外，具有随时间改变的亮度的视频还包括其中按照时间顺序连续地再现具有移位的成像时间的多个静止图像的延时或超延时视频、具有在使用闪光灯的时刻亮度增加的闪光带的视频，以及相机抖动被校正的视频。本技术适用于校正那些各种类型的视频中亮度改变的影响的处理，使得可以获得运动模糊的外观是自然的并且亮度改变不显著的经校正的视频。
本技术不限于在单个成像装置中实现，并且还可以被实现为包括成像装置和控制成像装置的计算机的系统。
应当注意的是，本技术可以具有以下配置。
(1)一种视频信号处理装置，包括：
亮度校正电路，所述亮度校正电路将连续的M个帧的视频信号乘以对于在所述M个帧中的各个次序的帧单独设置的权重系数，M是复数，并且将结果相加并求平均，以生成按照所述M个帧中的预定次序的帧的校正视频信号，对于按照预定次序的帧设置的权重系数的值是对于所述M个帧中的各个次序的帧单独设置的权重系数的值中的最大值。
(2)如(1)所述的视频信号处理装置，其中
对于在所述按照预定次序的帧之外的(M-1)帧中距离所述按照预定次序的帧具有不同距离的多个帧，对于具有相对长距离的帧设置的权重系数的值被设置为等于或小于对于具有相对短距离的帧设置的权重系数的值。
(3)如(1)或(2)所述的视频信号处理装置，其中
M是通过将帧速率除以成像环境的光源频率、对结果所得的值进行四舍五入并将结果所得的整数设置为上限来预设的值。
(4)如(1)至(3)中任一项所述的视频信号处理装置，还包括：
存储器，所述存储器存储多种类型的权重系数集合，所述权重系数集合中的每个权重系数集合包括与在M个帧中的各个次序的帧单独相关联的M个权重系数的值；
操作输入单元，所述操作输入单元从用户接收从存储在存储器中的多种类型的权重系数集合中对一个权重系数集合的选择；以及
控制单元，所述控制单元在亮度校正电路中设置由用户利用操作输入单元选择的权重系数集合的M个权重系数的值。
(5)如(4)所述的视频信号处理装置，还包括：
显示数据生成单元，所述显示数据生成单元生成用于使显示单元的屏幕按照校正强度的降序或升序来有规律地显示多条指定信息的显示数据，所述多条指定信息指定存储在存储器中的所述多种类型的权重系数集合。
(6)如(1)至(5)中任一项所述的视频信号处理装置，还包括：
运动检测电路，检测作为校正目标的视频信号中的运动；以及
权重系数调节电路，基于检测到的运动的速度信息来调节对于各个次序的帧单独设置的权重系数的值。
附图标记列表
1 成像装置
10 透镜单元
20 成像单元
30 信号校正电路
31 缺陷校正电路
32 闪烁校正电路
40 拐点/伽马校正电路
50 取景器输出生成单元
60 主线信号处理单元
70 取景器
80 操作输入单元
90 非易失性存储器
100 CPU

Claims (8)

1.一种视频信号处理装置，包括：
亮度校正电路，所述亮度校正电路将连续的M个帧的视频信号乘以对于在所述M个帧中的各个次序的帧单独设置的权重系数，M是复数，并且将结果相加并求平均，以生成按照所述M个帧中的预定次序的帧的校正视频信号，对于按照预定次序的帧设置的权重系数的值是对于所述M个帧中的各个次序的帧单独设置的权重系数的值中的最大值，对于除所述按照预定次序的帧之外的(M-1)帧中的至少一帧设置的权重系数的值小于对于所述按照预定次序的帧设置的权重系数的值。
2.根据权利要求1所述的视频信号处理装置，其中
对于在所述按照预定次序的帧之外的(M-1)帧中距离所述按照预定次序的帧具有不同距离的多个帧，对于具有相对长距离的帧设置的权重系数的值被设置为等于或小于对于具有相对短距离的帧设置的权重系数的值。
3.根据权利要求2所述的视频信号处理装置，其中
M是通过将帧速率除以成像环境的光源频率、对结果所得的值进行四舍五入并将结果所得的整数设置为上限来预设的值。
4.根据权利要求3所述的视频信号处理装置，还包括：
存储器，所述存储器存储多种类型的权重系数集合，所述权重系数集合中的每个权重系数集合包括与在M个帧中的各个次序的帧单独相关联的M个权重系数的值；
操作输入单元，所述操作输入单元从用户接收从存储在存储器中的多种类型的权重系数集合中对一个权重系数集合的选择；以及
控制单元，所述控制单元在亮度校正电路中设置由用户利用操作输入单元选择的权重系数集合的M个权重系数的值。
5.根据权利要求4所述的视频信号处理装置，还包括：
显示数据生成单元，所述显示数据生成单元生成用于使显示单元的屏幕按照校正强度的降序或升序来有规律地显示多条指定信息的显示数据，所述多条指定信息指定存储在存储器中的所述多种类型的权重系数集合。
6.根据权利要求5所述的视频信号处理装置，还包括：
运动检测电路，检测作为校正目标的视频信号中的运动；以及
权重系数调节电路，基于检测到的运动的速度信息来调节对于各个次序的帧单独设置的权重系数的值。
7.一种视频信号处理方法，包括：
将连续的M个帧的视频信号乘以对于在所述M个帧中的各个次序的帧单独设置的权重系数，M是复数，并且将结果相加并求平均，以生成按照所述M个帧中的预定次序的帧的校正视频信号，对于按照预定次序的帧设置的权重系数的值是对于所述M个帧中的各个次序的帧单独设置的权重系数的值中的最大值，对于除所述按照预定次序的帧之外的(M-1)帧中的至少一帧设置的权重系数的值小于对于所述按照预定次序的帧设置的权重系数的值。
8.一种使计算机用作亮度校正电路的程序，所述亮度校正电路将连续的M个帧的视频信号乘以对于在所述M个帧中的各个次序的帧单独设置的权重系数，M是复数，并且将结果相加并求平均，以生成按照所述M个帧中的预定次序的帧的校正视频信号，对于按照预定次序的帧设置的权重系数的值是对于所述M个帧中的各个次序的帧单独设置的权重系数的值中的最大值。
CN201680058033.9A 2015-10-15 2016-08-30 视频信号处理装置、视频信号处理方法和程序 Pending CN108141546A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015203660 2015-10-15
JP2015-203660 2015-10-15
PCT/JP2016/003957 WO2017064829A1 (ja) 2015-10-15 2016-08-30 映像信号処理装置、映像信号処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN108141546A true CN108141546A (zh) 2018-06-08

Family

ID=58517177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680058033.9A Pending CN108141546A (zh) 2015-10-15 2016-08-30 视频信号处理装置、视频信号处理方法和程序

Country Status (4)

Country Link
US (1) US10412336B2 (zh)
JP (1) JPWO2017064829A1 (zh)
CN (1) CN108141546A (zh)
WO (1) WO2017064829A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040526A (zh) * 2018-07-06 2018-12-18 上海晔芯电子科技有限公司 基于片内多帧合成的led闪烁消除的系统及方法
CN110381276A (zh) * 2019-05-06 2019-10-25 华为技术有限公司 一种视频拍摄方法及电子设备
CN113255411A (zh) * 2020-02-13 2021-08-13 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system
JP2021111892A (ja) * 2020-01-14 2021-08-02 ソニーセミコンダクタソリューションズ株式会社 画像生成装置、画像生成方法
CN113115109B (zh) * 2021-04-16 2023-07-28 深圳市帧彩影视科技有限公司 视频处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135792A (ja) * 2007-11-30 2009-06-18 Olympus Imaging Corp 撮像装置および画像信号処理方法
CN103035185A (zh) * 2011-09-30 2013-04-10 伊姆普斯封闭式股份有限公司 数字黑白图像的缺陷像素的亮度校正方法
CN103748881A (zh) * 2011-08-31 2014-04-23 索尼公司 图像处理设备和图像处理方法
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
US20150055765A1 (en) * 2010-08-06 2015-02-26 At&T Intellectual Property I, L.P. System and Method for Selective Voicemail Transcription
WO2015119207A1 (ja) * 2014-02-07 2015-08-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101085802B1 (ko) * 2007-03-05 2011-11-22 르네사스 일렉트로닉스 가부시키가이샤 촬상 장치 및 플리커 검출 방법
JP4626689B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 撮像装置、補正回路および補正方法
JP5306061B2 (ja) * 2009-06-01 2013-10-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5644451B2 (ja) * 2010-05-25 2014-12-24 株式会社リコー 画像処理装置および画像処理方法、ならびに、撮像装置
JP6460829B2 (ja) * 2015-02-20 2019-01-30 キヤノン株式会社 撮像装置、電子機器及び光量変化特性の算出方法
JP6175587B2 (ja) * 2015-03-02 2017-08-02 富士フイルム株式会社 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP6491545B2 (ja) * 2015-06-12 2019-03-27 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135792A (ja) * 2007-11-30 2009-06-18 Olympus Imaging Corp 撮像装置および画像信号処理方法
US20150055765A1 (en) * 2010-08-06 2015-02-26 At&T Intellectual Property I, L.P. System and Method for Selective Voicemail Transcription
CN103748881A (zh) * 2011-08-31 2014-04-23 索尼公司 图像处理设备和图像处理方法
CN103035185A (zh) * 2011-09-30 2013-04-10 伊姆普斯封闭式股份有限公司 数字黑白图像的缺陷像素的亮度校正方法
WO2015119207A1 (ja) * 2014-02-07 2015-08-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040526A (zh) * 2018-07-06 2018-12-18 上海晔芯电子科技有限公司 基于片内多帧合成的led闪烁消除的系统及方法
CN109040526B (zh) * 2018-07-06 2021-01-05 思特威(上海)电子科技有限公司 基于片内多帧合成的led闪烁消除的系统及方法
CN110381276A (zh) * 2019-05-06 2019-10-25 华为技术有限公司 一种视频拍摄方法及电子设备
CN113255411A (zh) * 2020-02-13 2021-08-13 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20180262710A1 (en) 2018-09-13
US10412336B2 (en) 2019-09-10
WO2017064829A1 (ja) 2017-04-20
JPWO2017064829A1 (ja) 2018-08-02

Similar Documents

Publication Publication Date Title
CN108141546A (zh) 视频信号处理装置、视频信号处理方法和程序
US10547794B2 (en) Solid-state imaging apparatus and method of operating solid-state imaging apparatus to set a pluratlity of charge accumulation periods in accordance with a flicker period
US9531958B2 (en) Image processing device, imaging device, image processing method, and program having different exposure start times
CN108174118B (zh) 图像处理方法、装置和电子设备
CN102801918B (zh) 摄像设备和用于控制该摄像设备的方法
JP4626689B2 (ja) 撮像装置、補正回路および補正方法
KR20200054320A (ko) 이미징 제어 방법 및 이미징 디바이스
US20100177215A1 (en) Image processing apparatus and recording medium
US20030063213A1 (en) Digital imaging system and method for adjusting image-capturing parameters using image comparisons
CN105141841B (zh) 摄像设备及其方法
EP2083563A1 (en) Apparatus and method of obtaining image and apparatus and method of processing image
CN108683861A (zh) 拍摄曝光控制方法、装置、成像设备和电子设备
CN103685913A (zh) 周期性地改变曝光条件的摄像设备和摄像设备的控制方法
JP4694424B2 (ja) 認証装置
JP2018064201A (ja) 画像処理装置、画像処理方法、及び画像処理回路
WO2016129405A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2014155001A (ja) 画像処理装置及び画像処理方法
JP5975642B2 (ja) 画像処理装置、画像処理方法及び撮像装置
CN102970916B (zh) 内窥镜装置和内窥镜装置的控制方法
WO2018079390A1 (ja) 映像信号処理装置、撮像装置、撮像装置におけるフリッカ確認方法およびサーバ
CN101867726A (zh) 图像数据处理设备和图像拾取设备
TW200414758A (en) Method of signal reconstruction, imaging device and computer program product
US11528466B2 (en) Method and system to calibrate a camera clock using flicker
JP5609788B2 (ja) 画像処理装置及び画像処理方法
JP5609787B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608