CN108600606A - 图像处理设备和图像处理设备的控制方法 - Google Patents

图像处理设备和图像处理设备的控制方法 Download PDF

Info

Publication number
CN108600606A
CN108600606A CN201810172585.3A CN201810172585A CN108600606A CN 108600606 A CN108600606 A CN 108600606A CN 201810172585 A CN201810172585 A CN 201810172585A CN 108600606 A CN108600606 A CN 108600606A
Authority
CN
China
Prior art keywords
picture pick
intensity
image
image processing
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810172585.3A
Other languages
English (en)
Other versions
CN108600606B (zh
Inventor
平山真悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108600606A publication Critical patent/CN108600606A/zh
Application granted granted Critical
Publication of CN108600606B publication Critical patent/CN108600606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/02—Control effected by setting a graduated member on the camera in accordance with indication or reading afforded by a light meter, which may be either separate from or built into camera body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种图像处理设备和图像处理设备的控制方法。提供能够获取具有高可视性的图像的图像处理设备。图像处理设备的系统控制电路获取能够转动的摄像器件的转动速度，在转动速度高于预定速度范围的速度的情况下将第一强度确定为噪声降低处理的强度，以及在转动速度在预定速度范围内的情况下将低于第一强度的第二强度确定为噪声降低处理的强度。图像处理设备的图像处理电路基于作为摄像器件所拍摄的多个帧图像之一的对象帧的图像和该对象帧的先前帧的图像，以所确定的强度对该对象帧的图像进行噪声降低处理。

Description

图像处理设备和图像处理设备的控制方法
技术领域
本发明涉及图像处理设备、图像处理设备的控制方法和存储介质。
背景技术
网络照相机预期在各种环境下拍摄具有高可视性的图像。然而，在转动(沿平摇方向或俯仰方向驱动)网络照相机的摄像装置的情况下，可能发生图像删除，从而生成可视性不足的视频图像。
为了解决这个问题，日本特开2006-94450论述了以下技术。具体地，检测监视照相机沿平摇方向和俯仰方向的转动速度VP和VT，并且如果所检测到的速度高于相应的预设阈值VPth和VTth，则对图像信号进行处理，以降低显示图像的亮度、对比度或分辨率。
另一方面，作为噪声降低处理，已知有循环型噪声降低处理。在循环型噪声降低处理中，基于对象帧的图像和紧挨着该对象帧之前的先前帧的图像之间的信号值的差来提取并移除噪声成分。在循环型噪声降低处理中，使用在不同时间点拍摄的多个帧图像来进行该处理，以使得如果该循环型噪声降低处理是以高强度进行的，则可能产生残像，从而使得无法确保可视性。
然而，日本特开2006-94450没有涉及循环型噪声降低处理中的可视性的问题。
本发明涉及能够获取具有高可视性的图像的技术。
发明内容
根据本发明的方面，一种图像处理设备包括：至少一个非暂时性存储器装置；至少一个处理器；确定单元，其被配置为获取能够转动的摄像器件的转动速度、确定在所述转动速度高于预定速度范围的速度的情况下将第一强度确定为噪声降低处理的强度、以及在所述转动速度在所述预定速度范围内的情况下将低于所述第一强度的第二强度确定为所述噪声降低处理的强度；以及处理单元，其被配置为基于所述摄像器件所拍摄到的多个帧图像中的对象帧的图像和所述对象帧的先前帧的图像，以所确定的强度对所述对象帧的图像进行所述噪声降低处理；其中所述确定单元和所述处理单元是通过执行记录在所述至少一个非暂时性存储器装置上的至少一个程序的所述至少一个处理器来实现的。
一种图像处理设备包括：获取单元，其被配置为获取摄像器件的转动速度；确定单元，其被配置为在所述获取单元所获取到的所述转动速度高于预定速度范围的速度的情况下将第一强度确定为噪声降低处理的强度，以及在所述转动速度在所述预定速度范围内的情况下将低于所述第一强度的第二强度确定为所述噪声降低处理的强度；以及处理单元，其被配置为基于作为多个帧之一的对象帧的图像和该对象帧的先前帧的图像，以所述确定单元所确定的强度对所述对象帧的图像进行所述噪声降低处理。
一种图像处理设备的控制方法包括以下步骤：获取摄像器件的转动速度；在所述转动速度高于预定速度范围的速度的情况下，将第一强度确定为噪声降低处理的强度，以及在所述转动速度在所述预定速度范围内的情况下，将低于所述第一强度的第二强度确定为所述噪声降低处理的强度；以及基于作为所述摄像器件所拍摄的多个帧图像之一的对象帧的图像和该对象帧的先前帧的图像，以所确定的强度对所述对象帧的图像进行所述噪声降低处理。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出摄像设备的框图。
图2是示出根据第一典型实施例的循环噪声降低(NR)控制的处理的流程图。
图3示出循环NR强度图的示例。
图4示出循环NR强度图的示例。
图5是示出根据第二典型实施例的循环NR控制的处理的流程图。
图6是示出根据第二典型实施例的变形例的循环NR控制的处理的流程图。
图7是示出根据第三典型实施例的循环NR控制的处理的流程图。
具体实施方式
以下将参考附图来详细说明本发明的各种典型实施例。
首先，以下将参考图1来说明根据第一典型实施例的摄像设备100的结构。图1是示出摄像设备100的框图。摄像设备100是图像处理设备的示例，并且例如是网络照相机。摄像设备100包括摄像器件110、系统控制电路120、系统存储器130、非易失性存储器140和图像显示装置150。
摄像器件110可以沿平摇方向和俯仰方向转动，以拍摄包括多个帧的图像的运动图像。摄像器件110包括透镜组、红外线截止滤波器(IRCF)、图像传感器、相关双采样(CDS)电路、自动增益控制(AGC)放大器和模拟至数字(A/D)转换器。摄像器件110还被称为“照相机装置”。
摄像器件110的透镜组在图像传感器上形成被摄体的光学图像。
摄像器件110的IRCF是红外线截止滤波器。在摄像器件110拍摄被摄体图像时，穿过透镜组和IRCF的光学图像形成在图像传感器上。
摄像器件110的图像传感器包括被配置为将光学图像转换成电信号的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。图像传感器将所形成的光学图像光电转换成模拟图像信号，并且输出该模拟图像信号。
摄像器件110的CDS电路对输入自图像传感器的电信号进行相关双采样处理和其它处理。摄像器件110的AGC放大器对输入自CDS电路的电信号进行放大处理和其它处理。
摄像器件110的A/D转换器将经过了AGC放大器所进行的放大处理的模拟信号转换成数字信号。
系统控制电路120是诸如中央处理单元(CPU)或微处理器单元(MPU)等的处理器，并且控制摄像设备100整体。系统控制电路120将非易失性存储器140中所记录的程序加载至系统存储器130中并执行所加载的程序，以实现图2的流程图及其它流程图中所示的处理。
随机存取存储器(RAM)用作系统存储器130，并且用于操作系统控制电路120的常量和变量、以及从非易失性存储器140读取的程序等被加载至系统存储器130中。
非易失性存储器140是存储介质的示例，并且是电可擦除可编程存储器。例如，电可擦除可编程只读存储器(EEPROM)用作非易失性存储器140。非易失性存储器140存储用于操作系统控制电路120的常量以及程序等。如这里所使用的，术语“程序”是指用于执行下述的各种流程图的程序。
图像显示装置150是能够显示由摄像器件110所拍摄的并且由系统控制电路120处理的运动图像等的监视器。
系统控制电路120包括图像信号处理电路121。这是由系统控制电路120执行记录在非易失性存储器140上的程序而实现的功能。可选地，图像信号处理电路121可以作为包括用于进行各种类型的信号处理的电路的集成电路与系统控制电路120分开设置。
图像信号处理电路121基于摄像器件110的A/D转换器转换得到的数字信号来进行图像信号处理。图像信号处理包括白平衡(WB)处理、伽马校正处理和噪声降低(NR)处理。
图像显示装置150显示由图像信号处理电路121处理得到的图像。
图像信号处理电路121所进行的NR处理包括循环型噪声降低处理(以下还称为“循环NR”)。
现在，将说明循环NR。循环NR是基于对象帧的图像和在时间方向上在该对象帧之前的先前帧的图像对该对象帧的图像所进行的一种噪声降低处理方法。使用紧挨着对象帧之前的帧作为对象帧之前的所述先前帧。对象帧是摄像器件110所拍摄的图像帧之一。例如，对象帧是摄像器件110最近拍摄的图像帧。
以下将更详细地说明循环NR。利用以下公式(1)来表示对象帧的图像在循环NR之后的信号值A’N：
A’N＝K×A’N-1+(1-K)×AN＝AN-K×(AN-A’N-1) (公式1)
其中，AN是对象帧的图像的信号值，A’N-1是紧挨着该对象帧之前的先前帧的图像在循环NR之后的信号值，以及K(0≤K≤1)是循环系数。
如上所述，循环NR是用于使对象帧的图像的信号值成为信号值A’N的处理。循环系数K表示循环NR的强度，以及循环NR的强度随着循环系数K的增加而增加。如从公式(1)明显可见，随着循环系数K的增加，信号值A’N接近信号值A’N-1。此外，随着循环系数K的减小，信号值A’N接近信号值AN。
在摄像设备100的初始状态下，循环NR的强度是强度S1。
系统控制电路120进行控制，以沿平摇方向或俯仰方向驱动摄像器件110，从而转动摄像器件110。更具体地，系统控制电路120将转动控制信号输出至摄像器件110中所包括的驱动单元，以使得驱动单元基于转动控制信号来转动摄像器件110。转动控制信号包含与驱动角度、移动量和转动速度等有关的信息。
此外，系统控制电路120获取摄像器件110的转动速度V。系统控制电路120可以从摄像器件110或者从系统控制电路120所生成的信息中获取摄像器件110的转动速度V。
此外，系统控制电路120基于摄像器件110的转动速度V来确定循环NR的强度。图像信号处理电路121以系统控制电路120所确定的循环NR强度来进行循环NR。
接着，以下将参考图2来说明循环NR控制的处理。图2是示出循环NR控制的处理的流程图。循环NR控制的处理是用于确定循环NR的强度以控制循环NR的处理。
在步骤S201中，系统控制电路120输出转动控制信号以执行对摄像器件110的转动控制。基于系统控制电路120所进行的控制沿平摇方向或俯仰方向驱动并转动摄像器件110。
在步骤S202中，系统控制电路120获取摄像器件110的转动速度V。
在步骤S203中，系统控制电路120确定所获取到的摄像器件110的转动速度V是否在指定速度范围内，其中所述指定速度范围是预先确定的预定速度范围。
这里，将说明所述指定速度范围。指定速度范围是转动速度V满足使用第一速度V1和低于第一速度V1的第二速度V2的以下公式(2)的范围。
V2<V<V1 (公式2)
第一速度V1是用作预先确定的阈值的预定速度。第一速度V1被设置成例如满足在被摄体以第一速度V1或更快地移动时难以利用人眼来跟随该被摄体的条件。第一速度V1可以被设置成人的平均行走速度，并且根据摄像设备100的用途和性能而以实验方式或利用经验来设置第一速度V1。在本典型实施例中，第二速度V2是“0”。可选地，第二速度V2可以高于“0”。
在步骤S203中，如果系统控制电路120确定为所获取到的摄像器件110的转动速度V在指定速度范围内(步骤S203中为“是”)，则处理进入步骤S205。换句话说，在步骤S203中，如果系统控制电路120确定为摄像器件110的转动速度V低于第一速度V1且高于0(步骤S203中为“是”)，则处理进入步骤S205。
另一方面，如果系统控制电路120确定为摄像器件110的转动速度V不在指定速度范围内(步骤S203中为“否”)，则处理进入步骤S204。
在步骤S204中，系统控制电路120没有使循环NR的强度从初始状态下的强度改变，并且将初始状态下的强度S1确定为循环NR的强度。
在步骤S205中，系统控制电路120将低于强度S1的强度S2确定为循环NR的强度。强度S2可以被设置成使信号-噪声(S/N)比落入经过循环NR的图像的容许范围内的强度，或者被设置成在执行循环NR时不太可能会在图像中产生残像的强度，并且根据摄像设备100的用途或性能而以实验方式或利用经验来设置强度S2。
图像信号处理电路121通过系统控制电路120以步骤S204或S205中所确定的循环NR强度来对摄像器件110所拍摄的对象帧的图像进行循环NR。然后，图像显示装置150显示经过了循环NR的图像。对象帧的图像是摄像器件110最近拍摄的图像。图像信号处理电路121在摄像器件110拍摄图像的同时继续循环NR。
接着，以下将参考图3来说明图2的步骤S204或S205中所确定的循环NR强度的示例。图3示出循环NR强度图的示例。循环NR强度图的横轴是摄像器件110的转动速度V。循环NR强度图的纵轴是循环NR的强度。
如图3所示，系统控制电路120将强度S1确定为摄像器件110的转动速度V是第二速度V2(0)时的循环NR的强度。可选地，系统控制电路120可以将除强度S1以外的高于强度S2的强度确定为摄像器件110的转动速度V是第二速度V2(0)时的循环NR的强度。例如，系统控制电路120可以将高于强度S1的强度确定为摄像器件110的转动速度V是第二速度V2(0)时的循环NR的强度。此外，系统控制电路120将强度S2确定为摄像器件110的转动速度V满足“V2<V<V1”时的循环NR的强度。此外，系统控制电路120将强度S1确定为摄像器件110的转动速度V是第一速度V1以上时的循环NR的强度。
在本典型实施例中，在步骤S203中，在摄像器件110的转动速度V是第一速度V1的情况下，处理进入步骤S204。然而，在摄像器件110的转动速度V是第一速度V1的情况下所要进行的处理不限于上述示例。因而，在步骤S203中，在摄像器件110的转动速度V是第一速度V1的情况下，处理可以进入步骤S205。换句话说，指定速度范围可以被设置为由以下公式(3)来表示，
V2<V≤V1 (公式3)
在转动摄像器件110以拍摄图像的情况下，随着循环NR的强度的增加，由于循环NR的影响，整个图像中的残像更强烈。
然而，与摄像器件110的转动速度V高于指定速度范围内的速度的情况相比，根据本典型实施例的系统控制电路120在摄像器件110的转动速度V在指定速度范围内的情况下降低循环NR的强度。
结果，在转动速度V在指定速度范围内的情况下，由于降低了循环NR的强度，因此在图像中产生残像的影响降低，从而使得可以获取到具有高可视性的图像。此外，在摄像器件110的转动速度V高于指定速度范围内的速度的情况下，难以以人眼来识别残像，从而使得即使在图像中产生了残像，残像对可视性的影响也小。因此，根据本典型实施例的摄像设备100可以获取到整体的可视性高的图像。
此外，指定速度范围由上述的公式(2)表示。此外，公式(2)中的第二速度V2是“0”。因而，在摄像器件110不转动的情况下，以作为高强度的强度S1来执行循环NR。在摄像器件110不转动的情况下，要由摄像器件110拍摄的被摄体不太可能移动，从而使得即使以高强度执行循环NR，在图像中也不可能产生残像，并且作为循环NR的结果获取到具有高可视性的图像。
在步骤S205中，系统控制电路120可以如图4所示那样确定循环NR的强度。图4示出循环NR强度图的另一示例。如图4所示，系统控制电路120可以将随着摄像器件110的转动速度V从指定速度范围的下限侧(第二速度V2侧)向第三速度V3接近而降低的强度确定为循环NR的强度。可选地，系统控制电路120可以将随着摄像器件110的转动速度V从第四速度V4向指定速度范围的上限侧(第一速度V1侧)接近而增加的强度确定为循环NR的强度。
第三速度V3和第四速度V4两者均在指定速度范围内。此外，第三速度V3不高于第四速度V4。
如上所述，系统控制电路120根据摄像器件110的转动速度V而连续改变循环NR的强度。这使得可以抑制由于循环NR的强度的切换而导致的图像的突然变化。根据摄像设备100的用途或性能以实验方式或利用经验来设置处理方法，例如设置循环NR的强度的连续改变的程度和改变的定时等。
接着，将说明根据第二典型实施例的摄像设备100。与上述第一典型实施例的组件相同的组件被赋予相同的附图标记，并且省略这些组件的说明。
首先，将说明根据本典型实施例的摄像设备100中所包括的被摄体追踪功能。被摄体追踪功能是系统控制电路120控制摄像器件110以使得摄像器件110追踪被摄体的功能。
接着，将说明根据本典型实施例的摄像设备100的结构。
根据本典型实施例的系统控制电路120还包括被摄体追踪功能。系统控制电路120基于摄像器件110所拍摄的图像来检测被摄体的位置，并且基于所检测到的被摄体的位置来确定与驱动角度、移动量和转动速度等有关的信息。
系统控制电路120根据与基于所检测到的被摄体的位置而确定的摄像器件110的驱动角度、移动量和转动速度等有关的信息来进行控制，以转动摄像器件110。
接着，将参考图5来说明根据本典型实施例的循环NR控制的处理。图5是示出循环NR的处理的流程图。
步骤S501至S503与图2的步骤S201至S203相同。在步骤S503中，如果系统控制电路120确定为所获取到的摄像器件110的转动速度V在指定速度范围内(步骤S503中为“是”)，则处理进入步骤S507。另一方面，如果系统控制电路120确定为摄像器件110的转动速度V高于指定速度范围内的速度或者低于指定速度范围内的速度(步骤S503中为“否”)，则处理进入步骤S504。
在步骤S504中，系统控制电路120确定是否正执行被摄体追踪功能。如果系统控制电路120确定为正执行被摄体追踪功能(步骤S504中为“是”)，则处理进入步骤S505。另一方面，如果系统控制电路120确定为不是正在执行被摄体追踪功能(步骤S504中为“否”)，则处理进入步骤S506。
在步骤S505中，系统控制电路120将低于强度S1的强度(例如，强度S2)确定为循环NR的强度。
在步骤S506中，系统控制电路120不使循环NR的强度从初始状态下的强度改变，并且将初始状态下的强度S1确定为循环NR的强度。
在步骤S507中，系统控制电路120将低于强度S1的强度(例如，强度S2)确定为循环NR的强度。
图像信号处理电路121以系统控制电路120在步骤S505至S507其中之一中所确定的循环NR强度来对摄像器件110所拍摄的对象帧的图像进行循环NR。然后，图像显示装置150显示经过了循环NR的图像。
在摄像设备100用于监视的情况下，摄像设备100的摄像器件110可以正在追踪被摄体。
在正执行被摄体追踪功能时，即使摄像器件110的转动速度V高于指定速度范围内的速度，根据本典型实施例的系统控制电路120也降低循环NR的强度。
因此，在正执行被摄体追踪功能时，即使摄像器件110的转动速度V高，也抑制图像中由于循环NR而导致的残像的产生。这使得可以获取到作为追踪对象的被摄体的高可视性图像。
接着，将说明根据第二典型实施例的变形例的摄像设备100。与上述第二典型实施例的组件相同的组件被赋予相同的附图标记，并且省略这些组件的说明。
首先，将说明摄像器件110的工作模式。摄像器件110包括第一模式和第二模式作为其工作模式。第一模式是摄像器件110基于可见光拍摄图像的白天模式。在第一模式下，摄像器件110拍摄彩色图像。第二模式是摄像器件110基于可见光和红外光拍摄图像的夜晚模式。在第二模式下，对来自被摄体的光进行控制，以使得其不通过IRCF，并且摄像器件110拍摄黑白图像。
接着，将说明摄像设备100的结构。
除了根据第二典型实施例的摄像设备100的组件以外，摄像设备100还包括红外照明装置。红外照明装置基于系统控制电路120所进行的控制而提供红外照明。
系统控制电路120控制摄像器件110，以使得与没有执行摄像设备100的被摄体追踪功能的情况相比，在执行摄像设备100的被摄体追踪功能的情况下摄像器件110的快门速度更高。
系统控制电路120基于被摄体的照度和第一照度阈值来设置摄像器件110的工作模式。更具体地，例如，在被摄体的照度不低于第一照度阈值的情况下，系统控制电路120将工作模式设置为第一模式，而在被摄体的照度低于第一照度阈值的情况下，系统控制电路120将工作模式设置为第二模式。系统控制电路120例如可以基于摄像器件110中所包括的图像传感器的输出信号或者从摄像设备100中所包括的照度传感器获取被摄体的照度。
在工作模式是第二模式的情况下，系统控制电路120基于被摄体的照度和第二照度阈值来控制红外照明。更具体地，在被摄体的照度低于第二照度阈值的情况下，系统控制电路120例如控制红外照明装置以提供红外照明。此外，在被摄体的照度不低于第二照度阈值的情况下，系统控制电路120例如控制红外照明装置以停止红外照明。
系统控制电路120设置第一照度阈值，，以使得与没有执行摄像设备100的被摄体追踪功能的情况相比，在执行摄像设备100的被摄体追踪功能的情况下第一照度阈值更大。
系统控制电路120设置第二照度阈值，以使得与没有执行摄像设备100的被摄体追踪功能的情况相比，在执行摄像设备100的被摄体追踪功能的情况下第二照度阈值更大。
接着，将参考图6来说明根据本变形例的循环NR控制的处理。图6是示出循环NR控制的处理的流程图。
图6中的步骤S601至S607与图5中的步骤S501至S507相同。
在步骤S608中，系统控制电路120控制摄像器件110，以增大摄像器件110的快门速度。更具体地，系统控制电路120控制摄像器件110，以将摄像器件110的快门速度设置成作为高速快门速度的第一快门速度。
在步骤S609中，系统控制电路120增大第一照度阈值。更具体地，系统控制电路120将第一照度阈值增大为比下述的第一低照度阈值大的第一高照度阈值。
在步骤S610中，系统控制电路120增大第二照度阈值。更具体地，系统控制电路120将第二照度阈值增大为比下述的第二低照度阈值大的第二高照度阈值。
在步骤S611中，系统控制电路120控制摄像器件110，以减小摄像器件110的快门速度。更具体地，系统控制电路120控制摄像器件110，以将摄像器件110的快门速度减小为作为低速快门速度的第二快门速度。
在步骤S612中，系统控制电路120将第一照度阈值减小为比第一高照度阈值小的值。更具体地，系统控制电路120将第一照度阈值减小为第一低照度阈值。在步骤S613中，系统控制电路120将第二照度阈值减小为比第二高照度阈值小的值。更具体地，系统控制电路120将第二照度阈值减小为第二低照度阈值。
如上所述，在本变形例中，系统控制电路120控制摄像器件110，以使得与没有执行摄像设备100的被摄体追踪功能的情况相比，在执行摄像设备100的被摄体追踪功能的情况下摄像器件110的快门速度更高。这抑制了在进行循环NR的图像中产生残像。因此，获取到具有高可视性的图像。
此外，在被摄体的照度低的情况下，图像传感器等的增益变高，并且循环NR中残像的影响增大。然而，根据本变形例的系统控制电路120设置第一照度阈值，以使得与没有执行被摄体追踪功能的情况相比，在执行被摄体追踪功能的情况下第一照度阈值更大。此外，系统控制电路120设置第二照度阈值，以使得与没有执行被摄体追踪功能的情况相比，在执行被摄体追踪功能的情况下第二照度阈值更大。因此，在被摄体的照度低的情况下，较早地将工作模式设置为第二模式，或者提供红外照明以维持充分的照度，从而使得循环NR中的残像的影响降低。
接着，将说明根据第三典型实施例的摄像设备100。与上述典型实施例的组件相同的组件被赋予相同的附图标记，并且省略这些组件的说明。
首先，将说明摄像设备100的结构。除了根据上述典型实施例的系统控制电路120的组件以外，系统控制电路120还包括运动检测功能。系统控制电路120基于摄像器件110所拍摄的帧图像来检测被摄体的运动。
接着，将参考图7来说明循环NR控制的处理。图7是示出循环NR控制的处理的流程图。图7的循环NR控制的处理中的步骤S701至S703与图5的步骤S501至S503相同。
在步骤S704中，如果检测到被摄体的运动(步骤S704中为“是”)，则处理进入步骤S705。另一方面，如果没有检测到被摄体的运动(步骤S704中为“否”)，则处理进入步骤S706。
在步骤S705中，系统控制电路120不使循环NR的强度从初始状态下的强度改变，并且将初始状态下的强度S1确定为循环NR的强度。
在步骤S706中，系统控制电路120确定为将循环NR的强度增加至高于强度S1的强度S3。
在步骤S707中，系统控制电路120确定为将循环NR的强度降低至低于强度S1的强度S2。
图像信号处理电路121以系统控制电路120在步骤S705、S706或S707中所确定的循环NR强度来对摄像器件110所拍摄的对象帧的图像进行循环NR。然后，图像显示装置150显示经过了循环NR的图像。
存在被摄体在摄像设备100的摄像器件110所拍摄的图像中正移动并且用户期望以视觉方式识别该被摄体的情况。根据本典型实施例的系统控制电路120降低循环NR的强度，以使得与不存在移动被摄体的情况相比，在存在移动被摄体的情况下循环NR的强度更低。因此，与不存在移动被摄体的情况相比，在存在移动被摄体的情况下，抑制了图像中由于循环NR导致的残像的产生，从而能够获取到具有高可视性的图像。
其它典型实施例
在上述典型实施例中，除了摄像器件110的转动速度V等之外，系统控制电路120还可以基于摄像器件110的焦距来确定循环NR的强度。例如，系统控制电路120从摄像器件110获取摄像器件110的焦距。然后，如果摄像器件110的转动速度V在指定速度范围内，则系统控制电路120将随着摄像器件110的焦距的增大而降低的强度确定为循环NR的强度。
在摄像器件110的焦距长的情况下，即使略微转动摄像器件110，视角也将显著变化，从而使摄像器件110所拍摄的图像中的被摄体的移动量增大，并且更可能产生由于循环NR而导致的残像。然而，在摄像器件110的转动速度V在指定速度范围内的情况下，系统控制电路120将随着摄像器件110的焦距的增大而降低的强度确定为循环NR的强度。结果，即使摄像器件110的焦距长，也可以抑制图像中由于循环NR而导致的残像的产生，并且获取到具有高可视性的图像。
此外，在上述典型实施例中，除了摄像器件110的转动速度V等以外，系统控制电路120还可以基于摄像器件110的快门速度来确定循环NR的强度。例如，系统控制电路120从摄像器件110获取摄像器件110的快门速度。然后，如果摄像器件110的转动速度V在指定速度范围内，则系统控制电路120将随着摄像器件110的快门速度的降低而降低的强度确定为循环NR的强度。
在摄像器件110的快门速度低的情况下，在摄像器件110所拍摄的图像中更可能产生残像。如果对这些图像执行循环NR，则残像的影响增加。然而，在摄像器件110的转动速度V在指定速度范围内的情况下，系统控制电路120将随着摄像器件110的快门速度的降低而降低的强度确定为循环NR的强度。因此，即使快门速度低，也可以抑制图像中由于循环NR而导致的残像的产生，并且获取到具有高可视性的图像。
此外，在上述典型实施例中，除了摄像器件110的转动速度V等以外，系统控制电路120还可以基于从摄像器件110到被摄体的距离来确定循环NR的强度。例如，系统控制电路120基于摄像器件110所拍摄的帧图像来确定从摄像器件110到被摄体的距离。然后，如果摄像器件110的转动速度V在指定速度范围内，则系统控制电路120将随着从摄像器件110到被摄体的距离的减小而降低的强度确定为循环NR的强度。
在从摄像器件110到被摄体的距离小的情况下，即使被摄体的实际移动量小，摄像器件110所拍摄的图像中的被摄体的移动量也由于摄像器件110的转动而变大，并且在图像中更可能产生残像。然而，在摄像器件110的转动速度V在指定速度范围内的情况下，系统控制电路120将随着从摄像器件110到被摄体的距离的减小而降低的强度确定为循环NR的强度。因此，即使从摄像器件110到被摄体的距离小，也抑制图像中由于循环NR而导致的残像的产生，并且获取到具有高可视性的图像。
此外，在上述典型实施例中，指定速度范围可以是通过以下公式(4)所表示的范围，
0≤V<V1 (公式4)。
此时，例如，在第一典型实施例的图2的步骤S203中，如果所获取到的摄像器件110的转动速度V不低于第一速度V1，则处理进入步骤S204。此外，如果摄像器件110的转动速度V低于第一速度V1，则处理进入步骤S205。这同样适用于第二典型实施例等。
此外，在上述典型实施例中，循环NR控制的处理的至少一部分可以通过除摄像设备100以外的服务器来实现。例如，该服务器可以执行图2中的步骤S202至S205、图5中的步骤S502至S507、图6中的步骤S602至S607、或者图7中的步骤S702至S707。此时，服务器和摄像设备100经由通信网络相对于彼此发送和接收数据。该服务器是信息处理设备和图像处理设备的示例。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种图像处理设备，包括：
获取单元，其被配置为获取摄像器件的转动速度；
确定单元，其被配置为在所述获取单元所获取到的所述转动速度高于预定速度范围的速度的情况下将第一强度确定为噪声降低处理的强度，以及在所述转动速度在所述预定速度范围内的情况下将低于所述第一强度的第二强度确定为所述噪声降低处理的强度；以及
处理单元，其被配置为基于作为多个帧之一的对象帧的图像和该对象帧的先前帧的图像，以所述确定单元所确定的强度对所述对象帧的图像进行所述噪声降低处理。
2.根据权利要求1所述的图像处理设备，其中，
所述噪声降低处理是循环型噪声降低处理，以及
所述噪声降低处理的强度由循环系数来表示。
3.根据权利要求1所述的图像处理设备，其中，在所述转动速度低于所述预定速度范围的速度的情况下，所述确定单元将高于所述第二强度的强度确定为所述噪声降低处理的强度。
4.根据权利要求1所述的图像处理设备，其中，所述预定速度范围是所述转动速度V满足使用第一速度和低于所述第一速度的第二速度的以下公式(1)的范围，
所述第二速度<V<所述第一速度 (公式1)。
5.根据权利要求4所述的图像处理设备，其中，所述第二速度是0。
6.根据权利要求1所述的图像处理设备，其中，随着所述转动速度从所述预定速度范围的下限侧向所述预定速度范围内的第三速度接近，所述确定单元使所述噪声降低处理的强度降低。
7.根据权利要求1所述的图像处理设备，其中，随着所述转动速度从所述预定速度范围内的第四速度向所述预定速度范围的上限侧接近，所述确定单元使所述噪声降低处理的强度增加。
8.根据权利要求1所述的图像处理设备，其中，所述确定单元进一步基于所述摄像器件是否被控制为追踪被摄体来确定所述噪声降低处理的强度。
9.根据权利要求8所述的图像处理设备，其中，即使所述转动速度高于所述预定速度范围的速度，在所述摄像器件被控制为追踪所述被摄体的情况下，所述确定单元也将所述噪声降低处理的强度设置为低于预定强度的强度。
10.根据权利要求8所述的图像处理设备，其中，所述图像处理设备还包括速度控制单元，所述速度控制单元被配置为控制所述摄像器件，使得与所述摄像器件没有被控制为追踪所述被摄体的情况相比，在所述摄像器件被控制为追踪所述被摄体的情况下，所述摄像器件的快门速度更高。
11.根据权利要求8所述的图像处理设备，其中，所述图像处理设备还包括模式设置单元，所述模式设置单元被配置为基于所述被摄体的照度和第一照度阈值来设置工作模式，
其中，所述摄像器件包括第一模式和第二模式作为所述工作模式，在所述第一模式中基于可见光拍摄图像，以及在所述第二模式中基于可见光和红外光拍摄图像，以及
所述模式设置单元设置所述第一照度阈值，使得与所述摄像器件没有被控制为追踪所述被摄体的情况相比，在所述摄像器件被控制为追踪所述被摄体的情况下，所述第一照度阈值更大。
12.根据权利要求11所述的图像处理设备，其中，所述图像处理设备还包括照明控制单元，所述照明控制单元被配置为在所述操作模式是所述第二模式的情况下，基于所述被摄体的照度和第二照度阈值来控制红外照明，
其中，所述模式设置单元设置所述第二照度阈值，使得与所述摄像器件没有被控制为追踪所述被摄体的情况相比，在所述摄像器件被控制为追踪所述被摄体的情况下，所述第二照度阈值更大。
13.根据权利要求1所述的图像处理设备，其中，所述图像处理设备还包括检测单元，所述检测单元被配置为根据所述摄像器件所拍摄的帧的图像来检测被摄体的运动，
其中，所述确定单元进一步基于所述检测单元是否检测到所述被摄体的运动来确定所述噪声降低处理的强度。
14.根据权利要求1所述的图像处理设备，其中，在所述摄像器件的所述转动速度在所述预定速度范围内的情况下，随着所述摄像器件的焦距的增大，所述确定单元使所述噪声降低处理的强度降低。
15.根据权利要求1所述的图像处理设备，其中，在所述摄像器件的所述转动速度在所述预定速度范围内的情况下，随着所述摄像器件的快门速度的降低，所述确定单元使所述噪声降低处理的强度降低。
16.根据权利要求1所述的图像处理设备，其中，在所述摄像器件的所述转动速度在所述预定速度范围内的情况下，随着从所述摄像器件到被摄体的距离的减小，所述确定单元使所述噪声降低处理的强度降低。
17.一种图像处理设备的控制方法，包括以下步骤：
获取摄像器件的转动速度；
在所述转动速度高于预定速度范围的速度的情况下，将第一强度确定为噪声降低处理的强度，以及在所述转动速度在所述预定速度范围内的情况下，将低于所述第一强度的第二强度确定为所述噪声降低处理的强度；以及
基于作为所述摄像器件所拍摄的多个帧图像之一的对象帧的图像和该对象帧的先前帧的图像，以所确定的强度对所述对象帧的图像进行所述噪声降低处理。
CN201810172585.3A 2017-03-01 2018-03-01 图像处理设备和图像处理设备的控制方法 Active CN108600606B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017038110A JP6843651B2 (ja) 2017-03-01 2017-03-01 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP2017-038110 2017-03-01

Publications (2)

Publication Number Publication Date
CN108600606A true CN108600606A (zh) 2018-09-28
CN108600606B CN108600606B (zh) 2021-01-12

Family

ID=61616760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810172585.3A Active CN108600606B (zh) 2017-03-01 2018-03-01 图像处理设备和图像处理设备的控制方法

Country Status (4)

Country Link
US (1) US10643310B2 (zh)
EP (1) EP3370408B1 (zh)
JP (1) JP6843651B2 (zh)
CN (1) CN108600606B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969587A (zh) * 2019-11-29 2020-04-07 联想(北京)有限公司 一种图像采集方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209464A (ja) * 1999-01-12 2000-07-28 Matsushita Electric Ind Co Ltd テレビジョン受像機
JP2004088234A (ja) * 2002-08-23 2004-03-18 Matsushita Electric Ind Co Ltd ノイズ低減装置
US6982755B1 (en) * 1999-01-22 2006-01-03 Canon Kabushiki Kaisha Image sensing apparatus having variable noise reduction control based on zoom operation mode
US20070003151A1 (en) * 2005-06-29 2007-01-04 Norihiro Kawahara Image-sensing apparatus
CN101661208A (zh) * 2008-08-29 2010-03-03 佳能株式会社 具有图像抖动校正功能的设备以及控制所述设备的方法
JP2012100066A (ja) * 2010-11-02 2012-05-24 Canon Inc 撮像装置
CN103176332A (zh) * 2011-12-21 2013-06-26 佳能株式会社 图像稳定设备及其控制方法、光学设备和摄像设备
US20140161368A1 (en) * 2011-11-10 2014-06-12 Panasonic Corporation Image blurring correction device
WO2016021455A1 (ja) * 2014-08-04 2016-02-11 オリンパス株式会社 撮像装置及びその像ブレ補正方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4441908B2 (ja) 2004-08-27 2010-03-31 日本ビクター株式会社 撮像システム
JP2006109361A (ja) * 2004-10-08 2006-04-20 Nikon Corp 巡回型動画像処理装置
KR20070032216A (ko) * 2005-09-16 2007-03-21 소니 가부시끼 가이샤 촬상 방법 및 촬상 장치
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
JP2007116308A (ja) * 2005-10-19 2007-05-10 Seiko Epson Corp 画像情報再生装置
JP6124506B2 (ja) * 2012-04-12 2017-05-10 キヤノン株式会社 撮像装置及び撮像方法
JP6045894B2 (ja) * 2012-11-30 2016-12-14 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP2015132949A (ja) * 2014-01-10 2015-07-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209464A (ja) * 1999-01-12 2000-07-28 Matsushita Electric Ind Co Ltd テレビジョン受像機
US6982755B1 (en) * 1999-01-22 2006-01-03 Canon Kabushiki Kaisha Image sensing apparatus having variable noise reduction control based on zoom operation mode
JP2004088234A (ja) * 2002-08-23 2004-03-18 Matsushita Electric Ind Co Ltd ノイズ低減装置
US20070003151A1 (en) * 2005-06-29 2007-01-04 Norihiro Kawahara Image-sensing apparatus
CN101661208A (zh) * 2008-08-29 2010-03-03 佳能株式会社 具有图像抖动校正功能的设备以及控制所述设备的方法
JP2012100066A (ja) * 2010-11-02 2012-05-24 Canon Inc 撮像装置
US20140161368A1 (en) * 2011-11-10 2014-06-12 Panasonic Corporation Image blurring correction device
CN103176332A (zh) * 2011-12-21 2013-06-26 佳能株式会社 图像稳定设备及其控制方法、光学设备和摄像设备
WO2016021455A1 (ja) * 2014-08-04 2016-02-11 オリンパス株式会社 撮像装置及びその像ブレ補正方法

Also Published As

Publication number Publication date
US20180253829A1 (en) 2018-09-06
EP3370408A1 (en) 2018-09-05
EP3370408B1 (en) 2019-11-06
JP2018148260A (ja) 2018-09-20
CN108600606B (zh) 2021-01-12
US10643310B2 (en) 2020-05-05
JP6843651B2 (ja) 2021-03-17

Similar Documents

Publication Publication Date Title
US8994783B2 (en) Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium
US20130120615A1 (en) Imaging device
US9332173B2 (en) Imaging device having motion detector and in-focus position estimating unit, and imaging method
CN108093158B (zh) 图像虚化处理方法、装置、移动设备和计算机可读介质
US8040379B2 (en) Imaging apparatus and recording medium
JP2006287323A (ja) 撮像装置
JP2006025411A (ja) 自動露出補正方法及び補正装置
JP2006311311A (ja) 撮像装置および撮像方法
US7957633B2 (en) Focus adjusting apparatus and focus adjusting method
KR20030097687A (ko) 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법
US7756409B2 (en) Image pickup device and image pickup method
CN113766143B (zh) 光检测芯片、图像处理装置及其运作方法
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US8035729B2 (en) Imaging apparatus and program thereof
JP4668863B2 (ja) 撮像装置
CN108600606A (zh) 图像处理设备和图像处理设备的控制方法
JP2005065186A (ja) 撮像装置
JP2009182880A (ja) 撮像装置及びそのプログラム
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP2006209277A (ja) 物体検出装置、物体検出方法および撮像装置
JP2002330335A (ja) 静止画像撮像装置
JP2021175046A (ja) 撮像装置、その制御方法およびプログラム
JP2009055539A (ja) 撮像装置及び撮像方法
US20170272630A1 (en) Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
US20230076396A1 (en) Shutter speed determination device and imaging device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant