CN111953891B - 控制设备、镜头设备、摄像设备、控制方法和存储介质 - Google Patents
控制设备、镜头设备、摄像设备、控制方法和存储介质 Download PDFInfo
- Publication number
- CN111953891B CN111953891B CN202010401032.8A CN202010401032A CN111953891B CN 111953891 B CN111953891 B CN 111953891B CN 202010401032 A CN202010401032 A CN 202010401032A CN 111953891 B CN111953891 B CN 111953891B
- Authority
- CN
- China
- Prior art keywords
- blur
- information
- blur information
- image
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 26
- 230000006641 stabilisation Effects 0.000 claims description 48
- 238000011105 stabilization Methods 0.000 claims description 48
- 230000003287 optical effect Effects 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 23
- 239000003381 stabilizer Substances 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
本发明提供控制设备、镜头设备、摄像设备、控制方法和存储介质。控制设备包括：第一获取器，其被配置为基于使用来自图像传感器的摄像信号所计算出的运动向量来获取第一模糊信息；第二获取器，其被配置为基于来自模糊检测器的模糊信号来获取第二模糊信息；以及控制器，其被配置为根据通过使用第一模糊信息和第二模糊信息而获得的第三模糊信息来控制图像稳定元件的驱动。在获取第三模糊信息时的第一模糊信息的权重是基于第一模糊信息和第二模糊信息之间的比较来确定的。
Description
技术领域
本发明涉及控制设备、镜头设备和摄像设备，其各自可以进行图像稳定。
背景技术
近年来，提出了用于校正由施加到诸如数字照相机和摄像机等的光学设备的手抖动等引起的所拍摄图像中的模糊的各种图像稳定机构。图像稳定机构通过根据来自诸如陀螺仪传感器等的用于检测抖动角速度的传感器的输出而使光学系统的光轴位置偏移，来进行去模糊。用于使光轴位置偏移的一种广泛使用的方法是使图像传感器或摄像镜头(图像拍摄镜头)的一部分在与光轴正交的方向上移动。
已知一种用于由图像传感器从图像中检测在图像稳定机构进行图像稳定之后的模糊残余作为运动向量(运动向量的量)的方法。运动向量是通过检测各图像中的特征点作为各帧的运动量来获得的。因此，可以通过将运动向量除以各帧之间的时间来计算图像传感器的像面上的移动速度。此外，一旦求出摄像光学系统的实际焦距，就可以基于f×tanθ的关系将像面上的移动速度转换为角速度，使得可以通过使用运动向量的量来检测模糊残余的角速度。
日本专利3610210公开了一种摄像设备，该摄像设备通过检测在使用光学图像稳定器进行图像稳定之后的模糊残余量作为运动向量信息、并反馈运动向量信息作为图像稳定器的目标值，来进行更精确的图像稳定。
在日本专利3610210中所公开的摄像设备中，作为运动向量而检测到的模糊残余量基本上需要是静止被摄体的向量信息。如果摄像设备检测到运动被摄体的运动向量并将其反馈至光学图像稳定器，则图像稳定器被驱动为跟随运动被摄体，因此不可能进行高精度的图像稳定。即，在该方法中，准确地检测静止被摄体的运动向量(即，背景运动向量)是重要的，因此，如果被摄体是运动被摄体，则难以准确地检测到背景运动向量。
发明内容
本发明提供了控制设备、镜头设备、摄像设备、控制方法和存储介质，其各自可以进行高精度的图像稳定。
根据本发明的一方面的一种控制设备，包括：第一获取器，其被配置为基于使用来自图像传感器的摄像信号所计算出的运动向量来获取第一模糊信息；第二获取器，其被配置为基于来自模糊检测器的模糊信号来获取第二模糊信息；以及控制器，其被配置为根据通过使用所述第一模糊信息和所述第二模糊信息而获得的第三模糊信息来控制图像稳定元件的驱动。在获取所述第三模糊信息时的所述第一模糊信息的权重是基于所述第一模糊信息和所述第二模糊信息之间的比较来确定的。
作为本发明的另一方面的一种控制设备，包括：第一获取器，其被配置为基于使用来自图像传感器的摄像信号所计算出的运动向量来获取第一模糊信息；第二获取器，其被配置为基于来自模糊检测器的模糊信号来获取第二模糊信息；以及控制器，其被配置为控制图像稳定元件的驱动。根据所述第一模糊信息和所述第二模糊信息之间的比较结果，所述控制器进行用于基于通过使用所述第一模糊信息和所述第二模糊信息而获得的第三模糊信息来驱动所述图像稳定元件的第一控制，或者进行用于基于所述第二模糊信息来驱动所述图像稳定元件的第二控制。
包括以上控制设备的镜头设备和摄像设备、与控制设备相对应的控制方法以及存储使得计算机能够执行控制方法的计算机程序的存储介质也构成本发明的另一方面。
一种镜头设备，包括：摄像光学系统；以及上述的控制设备。
一种摄像设备，包括：图像传感器，其被配置为对经由摄像光学系统形成的光学图像进行光电转换并且输出摄像信号；以及上述的控制设备。
一种控制方法，包括：第一获取步骤，用于基于使用来自图像传感器的摄像信号所计算出的运动向量来获取第一模糊信息；第二获取步骤，用于基于来自模糊检测器的模糊信号来获取第二模糊信息；以及校正步骤，用于根据通过使用所述第一模糊信息和所述第二模糊信息而获得的第三模糊信息来控制图像稳定元件的驱动。所述校正步骤确定在获取所述第三模糊信息时的所述第一模糊信息的权重，所述确定是基于所述第一模糊信息和所述第二模糊信息之间的比较的。
一种非暂时性计算机可读存储介质，其存储用于使计算机执行上述的控制方法的计算机程序。
根据以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据各实施例的照相机系统的框图。
图2是示出根据第一实施例的控制设备的框图。
图3是说明了根据第一实施例的运动向量信息控制处理的流程图。
图4是示出根据第二实施例的控制设备的框图。
图5是说明了根据第二实施例的运动向量反馈量控制处理的流程图。
具体实施方式
现在参考附图，将详细说明根据本发明的实施例。
第一实施例
首先，将参考图1来说明本实施例中的照相机系统(摄像系统)的结构。照相机系统(摄像系统)100包括照相机主体(摄像设备)101以及可拆卸地安装至照相机主体101并可与照相机主体101进行通信的可更换镜头(镜头设备)102。
在摄像操作(图像拍摄操作)之前(在所谓的瞄准期间)，焦平面快门103打开，并且来自被摄体的摄像光束(图像拍摄光束)穿过可更换镜头102的摄像光学系统并在摄像器(摄像单元)(图像传感器)104上形成图像。LCD 105显示在摄像器104上形成的图像。因此，用户可以在瞄准期间查看被摄体图像。摄像器104是CMOS传感器，并且对经由摄像光学系统形成的被摄体图像(光学图像)进行光电转换。
当摄像操作(用于启动静止图像曝光的操作)开始时，快门驱动电路106驱动焦平面快门103。曝光前的快门操作依赖于照相机设置而不同。例如，在设置是进行前帘机械快门操作的情况下，焦平面快门103在曝光之前关闭，摄像器104使累积信号复位，然后焦平面快门103打开，并且曝光处理开始。另一方面，在设置是进行前帘电子快门操作的情况下，虽然焦平面快门103不关闭，但摄像器104使累积信号复位，并且曝光处理开始。当曝光处理开始时，摄像光束在摄像器104上形成图像作为所拍摄光学图像。摄像器104将所拍摄光学图像光电转换为摄像信号。
定时发生器107控制摄像器104的累积操作、读出操作和复位操作等。CDS电路108(相关双采样电路)被配置为减少摄像器104的累积电荷噪声。增益控制电路109被配置为放大摄像信号。A/D转换器110被配置为将放大的摄像信号(模拟信号)转换为数字信号的图像数据。图像信号处理电路(向量计算器)111被配置为对由A/D转换器110数字化的图像数据进行诸如滤波处理、颜色转换处理和伽马处理等的信号处理。图像信号处理电路111被配置为使用来自摄像器104的摄像信号计算(生成)运动向量(运动向量信息)、并将运动向量输出至照相机MPU 115。由图像信号处理电路111处理后的图像信号被存储在缓冲存储器112上，显示在LCD 105上，以及/或者记录在可拆卸地安装的存储卡113上。
操作器114包括被配置为进行以下操作的开关等：对摄像模式(图像拍摄模式)、所记录图像文件的大小、所拍摄运动图像的大小、帧频进行设置；在静止图像的拍摄期间进行释放；以及开始/停止运动图像的记录等。在用户经由操作器114选择运动图像模式作为摄像模式的情况下，焦平面快门103打开，并且图像通过以基本上与静止图像曝光的顺序相同的顺序进行的信号处理而被转换为图像信号。在用户通过对操作器114进行操作来开始运动摄像的情况下，通过接合图像信号来形成运动图像，并且存储卡113存储所拍摄运动图像。
照相机MPU(控制设备)115被配置为控制上述的照相机主体101的各操作。照相机MPU 115被配置为经由照相机主体101的接口电路(照相机侧接口电路)116和可互换镜头102的接口电路(镜头侧接口电路)117来与镜头MPU 118彼此通信。在这种通信中，在照相机主体101和可更换镜头102之间交换各种数据。照相机MPU 115包括被配置为计算卷帘快门的失真校正值的计算器。将失真校正值输入到图像信号处理电路111中的卷帘快门失真校正单元，并进行失真校正处理。
温度传感器119是诸如热敏电阻等的温度传感器。来自温度传感器119的输出信号被输入到照相机MPU 115并用于控制照相机，或者经由接口电路116和117输入到镜头MPU118并用于控制镜头。
可更换镜头102包括作为摄像光学系统的一部分的调焦透镜120、变焦透镜121、图像稳定透镜(图像稳定元件)122和光圈(孔径光阑)123。根据来自镜头MPU 118的控制信号、经由调焦控制电路124和调焦透镜驱动马达125在沿光轴OA的方向(光轴方向)上驱动调焦透镜120。调焦控制电路124包括被配置为驱动调焦透镜120的驱动电路、以及被配置为根据调焦透镜120的移动来输出区域图案(zone pattern)信号和脉冲信号的调焦编码器。调焦编码器可以检测被摄体距离。
当用户操作变焦操作环(未示出)时，变焦透镜121在光轴方向上移动。变焦编码器126根据变焦透镜121的移动来输出区域图案信号。镜头MPU 118通过从调焦编码器和变焦编码器126获得信号并根据所获得的被摄体距离和焦距的组合而读出先前存储的所拍摄图像的倍率数据，来获取所拍摄图像的倍率。
经由图像稳定控制电路127和线性马达128在与光轴方向不同的方向(诸如与光轴OA正交的方向)上驱动图像稳定透镜122。图像稳定如下进行。作为模糊检测器的角速度传感器129检测施加到可更换镜头102的旋转模糊，并输出表示旋转模糊程度的角速度信号。以下，从角速度传感器129输出的角速度信号也将被称为模糊信号。角速度传感器129例如是陀螺仪传感器。A/D转换器130将检测到的从角速度传感器129输出的模糊信号转换为数字信号，并将该数字信号输入到镜头MPU 118。
镜头MPU 118进行各种信号处理并计算图像稳定透镜的驱动目标信号。镜头MPU118向图像稳定控制电路127输出与图像稳定透镜的驱动目标信号和从图像稳定透镜编码器131输出的图像稳定透镜的位置信号之间的差相对应的驱动信号。如上所述，通过将从图像稳定透镜编码器131输出的图像稳定透镜的位置信号反馈到图像稳定控制电路127来进行图像稳定。针对以照相机主体101为中心的如下两个轴中的各轴进行图像稳定控制：俯仰轴，用于检测垂直方向上的倾斜；以及横摆轴，用于检测水平方向上的倾斜。为了图像稳定，镜头MPU 118包括图像稳定器118a和反馈控制器118b。后面将说明它们的功能。
根据来自镜头MPU 118的控制信号，经由光圈控制电路132和步进马达133来驱动光圈123。开关(SW)134被配置用于选择镜头图像稳定的开启/关闭。
接着，将参考图2来说明本实施例中的从照相机MPU 115获取运动向量时起直到运动向量成为用于输入到可更换镜头102的图像稳定控制电路127的透镜目标信号时为止的流程。图2是示出控制设备的框图。
照相机MPU 115包括运动向量获取器1151和滤波处理器1152。运动向量获取器1151从图像信号处理电路111获取运动向量信息。滤波处理器1152对所获得的运动向量信息进行诸如去除噪声等的各种滤波处理。滤波后的运动向量信息经由接口电路116和117输入到镜头MPU 118。
镜头MPU 118包括角速度转换处理器(第一获取器)1181、运动向量处理器(第二获取器)(运动向量信息控制处理器)1182、滤波处理器1183和1184、加法器1185、积分滤波器1186和透镜移动量转换处理器1187。反馈控制器118b包括角速度转换处理器1181、运动向量处理器1182和滤波处理器1183。图像稳定器(控制器)118a包括滤波处理器1184、加法器1185、积分滤波器1186和透镜移动量转换处理器1187。
镜头MPU 118的角速度转换处理器1181将输入的运动向量信息(像面移动速度信息)(第一模糊信息)转换为角速度信息。随后，运动向量处理器1182进行运动向量信息控制处理。后面将详细说明运动向量信息控制处理。此后，滤波处理器1183进行用于去除噪声和用于提高图像稳定精度的各种滤波处理。
角速度传感器129所获得的模糊信号(角速度信号)通过A/D转换器130转换为数字信号并输入到镜头MPU 118。将转换为数字信号的模糊信号(第二模糊信息)输入到运动向量处理器1182。滤波处理器1184对转换为数字信号的模糊信号进行各种滤波处理，以去除噪声并提高图像稳定精度。随后，加法器1185将基于运动向量信息获得的角速度信号(来自滤波处理器1183的输出信号)和从角速度传感器129获得的角速度信号(来自滤波处理器1184的输出信号)相加，并生成第三模糊信息。积分滤波器1186将相加后的角速度信号转换为角度信号。
随后，透镜移动量转换处理器1187对角度信号进行透镜移动量转换处理，并生成用于移动图像稳定透镜122的目标信号。如上所述，通过计算目标信号与来自图像稳定透镜编码器131的信号之间的差来生成用于驱动图像稳定透镜122的驱动信号，并将该驱动信号输入到图像稳定控制电路127。因此，可以通过将从运动向量信息获得的模糊残余(模糊残余信号)反馈至图像稳定透镜122的驱动信号来实现更精确的图像稳定。
接着，将参考图3来说明镜头MPU 118(运动向量处理器1182)中的运动向量信息控制处理。图3是说明了运动向量信息控制处理的流程图。图3中的各步骤主要由镜头MPU 118的反馈控制器118b(运动向量处理器1182)执行。当镜头MPU 118开始运动向量信息控制处理时，处理从步骤S301开始。
首先，在步骤S301中，镜头MPU 118(运动向量处理器1182)将来自角速度传感器129的输出信号(模糊信号、角速度信号)所表示的模糊量与被转换为角速度的运动向量(运动向量信息)所表示的模糊量进行比较。由于运动向量信息是模糊残余信息，因此在准确检测到背景运动向量时，运动向量信息表示的模糊基本上不可能大于实际发生的模糊。因此，在基于运动向量检测到的模糊残余(模糊残余信号)大于实际发生的模糊(即，来自角速度传感器129的模糊信号)的情况下，镜头MPU 118判断为有可能错误地检测到运动向量信息。
在步骤S301中来自角速度传感器129的输出信号所表示的模糊量大于被转换为角速度的运动向量信息所表示的模糊量的情况下，处理进入步骤S302。在步骤S302中，镜头MPU 118照原样使用运动向量。即，镜头MPU 118照原样将基于运动向量计算出的模糊残余反馈至图像稳定器118a。
另一方面，在步骤S301中来自角速度传感器129的输出信号所表示的模糊量等于或小于被转换为角速度的运动向量所表示的模糊量的情况下，处理进入步骤S303。在步骤S303中，镜头MPU 118(运动向量处理器1182)判断运动向量的绝对值是否等于或大于预定值。在运动向量的绝对值等于或大于预定值的情况下，处理进入步骤S304。在步骤S304中，镜头MPU 118将运动向量设置为0(即，将基于运动向量计算出的模糊残余设置为0)，并将其反馈至图像稳定器118a。另一方面，在运动向量的绝对值小于预定值的情况下，处理进入步骤S305。在步骤S305中，镜头MPU 118将运动向量乘以0.5(即，将模糊残余乘以0.5)，并将其反馈至图像稳定器118a。
如果在错误地检测到运动向量信息的情况下，运动向量信息照原样被反馈至图像稳定透镜122的驱动信号，则图像稳定可能不会正确地进行，并且用户可能感到不舒服。因此，在反馈控制器118b(运动向量处理器1182)判断为错误地检测到运动向量信息的情况下，反馈控制器118b设置比运动向量信息的值小的值，而不照原样使用运动向量信息。具体地，在本实施例中，在绝对值较大的情况下，将运动向量设置为0，以使要设置的值进一步减小。这是因为在错误地检测时反馈的运动向量的值越大，运动向量对图像稳定透镜122的驱动信号的影响越大。
如上所述，在有可能错误地检测到运动向量的情况下，本实施例可以适当地控制作为图像稳定透镜122的驱动信号而要相加的运动向量信息(模糊残余信号)。此外，本实施例可以通过在运动向量信息控制处理的后面步骤中使用滤波处理器1183，来对运动向量信息控制处理后的信号位移进行平滑。
第二实施例
接着，将参考图4和5来说明本发明的第二实施例。本实施例基本上具有与参考图1所说明的结构相同的照相机系统结构，因此将省略其说明。
参考图4，将说明本实施例中的从照相机MPU 115获取运动向量时起直到信号成为用于输入到可更换镜头102的图像稳定控制电路127的透镜目标信号时为止的流程。图4是示出控制设备的框图。
反馈控制器118b包括角速度转换处理器1181、滤波处理器1188和运动向量处理器(第二获取器)(运动向量反馈量控制处理器)1189。角速度转换处理器1181被配置为将输入的运动向量信息(像面移动速度信息)转换为角速度信息。来自角速度转换处理器1181的输出信号(被转换为角速度的运动向量信息)也被输入到运动向量处理器1189。随后，滤波处理器1188进行用于去除噪声和用于提高图像稳定精度的各种滤波处理。此后，运动向量处理器1189进行运动向量反馈量控制处理。后面将详细说明运动向量反馈量控制处理。
角速度传感器129所获得的模糊信号通过A/D转换器130被转换为数字信号并输入到镜头MPU 118。将转换为数字信号的模糊信号输入到运动向量处理器1189。滤波处理器1184对转换为数字信号的模糊信号进行各种滤波处理，以去除噪声并提高图像稳定精度。随后，加法器1185将基于运动向量信息获得的角速度信号(来自运动向量处理器1189的输出信号)和从角速度传感器129获得的角速度信号(来自滤波处理器1184的输出信号)相加。积分滤波器1186将相加后的角速度信号转换为角度信号。
随后，透镜移动量转换处理器1187对角度信号进行透镜移动量转换处理，并生成用于移动图像稳定透镜122的目标信号。如上所述，通过计算目标信号与来自图像稳定透镜编码器131的信号之间的差来生成用于驱动图像稳定透镜122的驱动信号，并将该驱动信号输入到图像稳定控制电路127。因此，可以通过将从运动向量信息获得的模糊残余(模糊残余信号)反馈至图像稳定透镜122的驱动信号来进行更精确的图像稳定。
接着，将参考图5来说明镜头MPU 118(运动向量处理器1189)中的运动向量反馈量控制处理。图5是说明了运动向量反馈量控制处理的流程图。图5中的各步骤主要由镜头MPU118的反馈控制器118b(运动向量处理器1189)执行。当镜头MPU 118开始运动向量反馈量控制处理时，处理从步骤S501开始。
首先，在步骤S501中，镜头MPU 118(运动向量处理器1189)将来自角速度传感器129的输出信号(模糊信号、角速度信号)所表示的模糊量与被转换为角速度的运动向量(运动向量信息)所表示的模糊量进行比较。
在步骤S501中来自角速度传感器129的输出信号所表示的模糊量大于被转换为角速度的运动向量信息所表示的模糊量的情况下，处理进入步骤S502。在步骤S502中，镜头MPU 118将反馈量乘以1。即，镜头MPU 118将基于运动向量计算出的模糊残余的反馈量设置为1，并将其反馈至图像稳定器118a。
另一方面，在步骤S501中来自角速度传感器129的输出信号所表示的模糊量等于或小于被转换为角速度的运动向量所表示的模糊量的情况下，处理进入步骤S503。在步骤S503中，镜头MPU 118(运动向量处理器1189)判断运动向量的绝对值是否等于或大于预定值。当运动向量的绝对值等于或大于预定值的情况下，处理进入步骤S504。在步骤S504中，镜头MPU 118将反馈量乘以0(即，将基于运动向量所计算出的模糊残余的反馈量设置为0)，并将其反馈至图像稳定器118a。另一方面，在运动向量的绝对值小于预定值的情况下，处理进入步骤S505。在步骤S505中，镜头MPU 118将反馈量乘以0.5(即，将模糊残余的反馈量乘以0.5)，并将其反馈至图像稳定器118a。
如上所述，在有可能错误地检测到运动向量的情况下，本实施例可以适当地控制作为图像稳定透镜122的驱动信号而要相加的运动向量信息(模糊残余信号)。此外，本实施例可以通过紧挨在角速度相加(加法器1155)之前插入运动向量反馈量控制处理来更早地防止反映所错误地检测到的运动向量信息。
在各实施例中，控制设备(镜头MPU 118)具有图像稳定器118a和反馈控制器118b。图像稳定器118a被配置为基于来自角速度传感器129的模糊信号以及使用来自摄像器104的摄像信号计算出的运动向量，来使图像稳定透镜122在包括与光轴正交的分量的方向上移动。通过使图像稳定透镜122以这种方式移动，图像稳定器118a使摄像光学系统的光轴的位置相对于摄像器104的位置移动。反馈控制器被配置为在图像稳定器118a使光轴的位置移动时将使用运动向量计算出的模糊残余(模糊残余信号)反馈至图像稳定器。反馈控制器被配置为基于模糊信号和运动向量来改变模糊残余的反馈量。
反馈控制器可以基于模糊信号所表示的模糊量和运动向量所表示的模糊量中的每一个来改变反馈量。反馈控制器可以基于预定时间段期间的模糊信号和运动向量各自的平均值所表示的模糊量中的每一个来改变反馈量。反馈控制器可以基于模糊信号(角速度信号)所表示的模糊量是否大于被转换为角速度的运动向量所表示的模糊量来改变反馈量(S301、S501)。反馈控制器可以基于运动向量的绝对值是否大于预定值来改变反馈量(S303、S503)。反馈控制器可以基于模糊信号的频率和运动向量的频率中的每一个来改变反馈量。
反馈控制器可以将运动向量转换为角速度，控制被转换为角速度的运动向量，并改变反馈量(图2)。反馈控制器可以将运动向量转换为角速度，进行滤波处理，对角速度转换后且滤波处理后的运动向量进行控制，并改变反馈量(图4)。
在各实施例中，步骤S303或步骤S503判断运动向量的绝对值是否等于或大于预定值，但本发明不限于此。例如，在来自角速度传感器129的输出信号所表示的模糊量小于被转换为角速度的运动向量所表示的模糊量的情况下，运动向量可以始终被设置为0(或者反馈量乘以0)。可选地，运动向量可以始终被设置为除0以外的常量值(或者反馈量可以乘以恒定值)。可以以多个阶段分割并使用用于确定运动向量的绝对值的预定值，并且可以更精细地控制要相乘的值。此外，例如，可以计算与运动向量的大小相对应的增益并将其乘以反馈量。
各实施例将来自角速度传感器129的输出信号所表示的模糊量与被转换为角速度的运动向量所表示的模糊量进行比较，并判断是否错误地检测到运动向量信息，但本发明不限于此。由于基本上针对各帧更新运动向量信息，因此来自角速度传感器129的输出信号可以根据更新周期来获取，并用于比较。由此，可以进行更精确的检测。比较可以使用用于更新向量的周期(帧频)期间的来自角速度传感器129的输出信号的平均值。由此，即使在角速度传感器129由于撞击等而产生阶跃输出的情况下，其影响也可以减小。用于确定错误地检测到运动向量的信息可以是来自角速度传感器129的输出信号的频率和运动向量信息的频率之间的关系。例如，在角速度传感器129所检测到的模糊频率分布与基于运动向量信息的模糊残余频率分布有很大的不同的情况下，可以判断为可能错误地检测到运动向量。
各实施例说明了通过使可更换镜头102的图像稳定透镜122在与光轴正交的方向上偏移来进行图像稳定的结构。然而，本发明不限于此。例如，可以通过使用如下的结构来获得与各实施例中的效果相同的效果，在该结构中，通过使照相机主体101的摄像器104在与光轴正交的方向上偏移来进行图像稳定。此外，如果照相机主体101和可更换镜头102各自具有光学图像稳定机构，则可以通过分配图像稳定量来使具有甚至更大模糊的图像稳定。
在各实施例中，作为控制设备的镜头MPU 118包括图像稳定器118a和反馈控制器118b，但本发明不限于此。作为控制设备的照相机MPU 115可以包括作为图像稳定器和反馈控制器的功能的至少一部分。各实施例说明了可更换镜头102具有角速度传感器(模糊检测器)129的结构，但是同样的角速度传感器可被设置在照相机主体101而不是可更换镜头102中。可选地，可以在照相机主体101和可更换镜头102各自中设置角速度传感器，并且可以使用来自这两个角速度传感器的输出信号中的至少一个。在使用来自这两个角速度传感器的输出信号的情况下，可以使用来自照相机主体101和可更换镜头102中所设置的角速度传感器的输出的平均值。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
各实施例可以提供控制设备、镜头设备、摄像设备、控制方法和存储介质，其各自可以进行高精度的图像稳定。
虽然已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。以下权利要求书的范围应被给予最广泛的理解，以包含所有这样的修改以及等同结构和功能。
Claims (16)
1.一种控制设备，包括：
第一获取器，其被配置为基于使用来自图像传感器的摄像信号所计算出的运动向量来获取第一模糊信息；
第二获取器，其被配置为基于来自模糊检测器的模糊信号来获取第二模糊信息；以及
控制器，其被配置为根据通过组合基于所述第一模糊信息的模糊信息和基于所述第二模糊信息的模糊信息而获得的第三模糊信息来控制图像稳定元件的驱动，
其中，所述运动向量是基于在所述图像稳定元件移动的情况下获得的摄像信号来计算的，所述运动向量表示模糊残余，以及
其中，基于所述第一模糊信息和所述第二模糊信息之间的比较来确定在获取所述第三模糊信息时的所述第一模糊信息的权重，使得在所述第一模糊信息所表示的模糊量大于所述第二模糊信息所表示的模糊量的情况下的所述权重小于在所述第一模糊信息所表示的模糊量小于所述第二模糊信息所表示的模糊量的情况下的所述权重。
2.根据权利要求1所述的控制设备，其特征在于，在所述第一模糊信息所表示的模糊量大于所述第二模糊信息所表示的模糊量的情况下，在所述第一模糊信息所表示的模糊量是第一模糊量时的所述权重小于在所述模糊量是比所述第一模糊量小的第二模糊量时的所述权重。
3.根据权利要求1所述的控制设备，其特征在于，所述第一模糊信息所表示的模糊量和所述第二模糊信息所表示的模糊量分别是基于预定时间段期间的所述第一模糊信息的平均值和所述第二模糊信息的平均值来确定的。
4.根据权利要求1所述的控制设备，其特征在于，所述权重是通过将所述第一模糊信息的频率特性与所述第二模糊信息的频率特性进行比较来确定的。
5.根据权利要求1所述的控制设备，其特征在于，所述模糊检测器是角速度传感器。
6.根据权利要求1所述的控制设备，其特征在于，所述模糊信号是角速度信号。
7.一种控制设备，包括：
第一获取器，其被配置为基于使用来自图像传感器的摄像信号所计算出的运动向量来获取第一模糊信息；
第二获取器，其被配置为基于来自模糊检测器的模糊信号来获取第二模糊信息；以及
控制器，其被配置为控制图像稳定元件的驱动，
其中，所述运动向量是基于在所述图像稳定元件移动的情况下获得的摄像信号来计算的，所述运动向量表示模糊残余，以及
其中，根据所述第一模糊信息和所述第二模糊信息之间的比较的结果，所述控制器进行第一控制或进行第二控制，所述第一控制用于基于通过组合基于所述第一模糊信息的模糊信息和基于所述第二模糊信息的模糊信息而获得的第三模糊信息来驱动所述图像稳定元件，所述第二控制用于基于所述第二模糊信息来驱动所述图像稳定元件。
8.根据权利要求7所述的控制设备，其特征在于，所述控制器在所述第二模糊信息所表示的模糊量大于所述第一模糊信息所表示的模糊量的情况下进行所述第一控制，以及
其中，所述控制器在所述第二模糊信息所表示的模糊量小于所述第一模糊信息所表示的模糊量的情况下进行所述第二控制。
9.一种镜头设备，包括：
摄像光学系统；以及
根据权利要求1至8中任一项所述的控制设备。
10.根据权利要求9所述的镜头设备，还包括模糊检测器，所述模糊检测器被配置为检测模糊并输出模糊信号。
11.根据权利要求9或10所述的镜头设备，其特征在于，所述控制器使所述摄像光学系统中所包括的作为所述图像稳定元件的图像稳定透镜在包括与光轴正交的分量的方向上移动。
12.一种摄像设备，包括：
图像传感器，其被配置为对经由摄像光学系统形成的光学图像进行光电转换并且输出摄像信号；以及
根据权利要求1至8中任一项所述的控制设备。
13.根据权利要求12所述的摄像设备，还包括向量计算器，所述向量计算器被配置为通过使用来自所述图像传感器的摄像信号来计算第一模糊信息。
14.根据权利要求12或13所述的摄像设备，其特征在于，所述控制器使作为所述图像稳定元件的所述图像传感器的位置在与光轴正交的方向上移动。
15.一种控制方法，包括：
第一获取步骤，用于基于使用来自图像传感器的摄像信号所计算出的运动向量来获取第一模糊信息；
第二获取步骤，用于基于来自模糊检测器的模糊信号来获取第二模糊信息；以及
校正步骤，用于根据通过组合基于所述第一模糊信息的模糊信息和基于所述第二模糊信息的模糊信息而获得的第三模糊信息来控制图像稳定元件的驱动，
其中，所述运动向量是基于在所述图像稳定元件移动的情况下获得的摄像信号来计算的，所述运动向量表示模糊残余，以及
其中，所述校正步骤基于所述第一模糊信息和所述第二模糊信息之间的比较来确定在获取所述第三模糊信息时的所述第一模糊信息的权重，使得在所述第一模糊信息所表示的模糊量大于所述第二模糊信息所表示的模糊量的情况下的所述权重小于在所述第一模糊信息所表示的模糊量小于所述第二模糊信息所表示的模糊量的情况下的所述权重。
16.一种非暂时性计算机可读存储介质，其存储用于使计算机执行根据权利要求15所述的控制方法的计算机程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-091070 | 2019-05-14 | ||
| JP2019091070A JP7346076B2 (ja) | 2019-05-14 | 2019-05-14 | 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111953891A CN111953891A (zh) | 2020-11-17 |
| CN111953891B true CN111953891B (zh) | 2022-08-26 |
Family
ID=70613721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010401032.8A Active CN111953891B (zh) | 2019-05-14 | 2020-05-13 | 控制设备、镜头设备、摄像设备、控制方法和存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11490012B2 (zh) |
| EP (1) | EP3739868B1 (zh) |
| JP (1) | JP7346076B2 (zh) |
| CN (1) | CN111953891B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11599974B2 (en) * | 2019-11-22 | 2023-03-07 | Nec Corporation | Joint rolling shutter correction and image deblurring |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002016836A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | 撮像装置の揺れ補正装置及び方法 |
| CN108337428A (zh) * | 2017-01-20 | 2018-07-27 | 佳能株式会社 | 图像稳定设备及其控制方法、摄像设备和存储介质 |
| JP2018205551A (ja) * | 2017-06-06 | 2018-12-27 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5839535A (ja) | 1981-08-31 | 1983-03-08 | Mazda Motor Corp | 自動車の後部座席の支持装置 |
| JP3610210B2 (ja) | 1997-12-01 | 2005-01-12 | キヤノン株式会社 | 撮像装置及び交換レンズ式撮像装置 |
| JP3466895B2 (ja) | 1997-12-12 | 2003-11-17 | キヤノン株式会社 | 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット |
| JP2002214659A (ja) | 2001-01-16 | 2002-07-31 | Canon Inc | ぶれ補正機能付きカメラ |
| US20050128309A1 (en) * | 2003-07-25 | 2005-06-16 | Nikon Corporation | Shooting lens having vibration reducing function and camera system for same |
| JP2014126861A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| JP6124588B2 (ja) | 2012-12-27 | 2017-05-10 | キヤノン株式会社 | 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体 |
| JP2016009998A (ja) | 2014-06-24 | 2016-01-18 | キヤノン株式会社 | 撮像装置、撮像方法及びプログラム |
| JP6674264B2 (ja) | 2016-01-26 | 2020-04-01 | キヤノン株式会社 | 像振れ検出装置及び方法、及び撮像装置 |
| JP6873841B2 (ja) | 2017-06-26 | 2021-05-19 | キヤノン株式会社 | 像ブレ補正装置、撮像装置、撮像システム、制御方法、プログラムおよび記憶媒体 |
| JP6420888B2 (ja) | 2017-11-30 | 2018-11-07 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
-
2019
- 2019-05-14 JP JP2019091070A patent/JP7346076B2/ja active Active
-
2020
- 2020-05-04 US US16/865,663 patent/US11490012B2/en active Active
- 2020-05-07 EP EP20173378.9A patent/EP3739868B1/en active Active
- 2020-05-13 CN CN202010401032.8A patent/CN111953891B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002016836A (ja) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | 撮像装置の揺れ補正装置及び方法 |
| CN108337428A (zh) * | 2017-01-20 | 2018-07-27 | 佳能株式会社 | 图像稳定设备及其控制方法、摄像设备和存储介质 |
| JP2018205551A (ja) * | 2017-06-06 | 2018-12-27 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11490012B2 (en) | 2022-11-01 |
| EP3739868A1 (en) | 2020-11-18 |
| JP2020187244A (ja) | 2020-11-19 |
| CN111953891A (zh) | 2020-11-17 |
| JP7346076B2 (ja) | 2023-09-19 |
| EP3739868B1 (en) | 2023-08-16 |
| US20200366846A1 (en) | 2020-11-19 |
| EP3739868A8 (en) | 2021-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4483930B2 (ja) | 撮像装置、その制御方法およびプログラム | |
| JP6995561B2 (ja) | 像ブレ補正装置およびその制御方法、撮像装置 | |
| JP6338424B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
| CN107040711B (zh) | 图像稳定设备及其控制方法 | |
| US10827124B2 (en) | Shake correction device, imaging apparatus, and shake correction method | |
| JP6543946B2 (ja) | ブレ補正装置、カメラ及び電子機器 | |
| JP2017211487A (ja) | 撮像装置及び自動焦点調節方法 | |
| CN106470317B (zh) | 摄像设备及其控制方法 | |
| US10659692B2 (en) | Image blur correction device, imaging apparatus, control method of imaging apparatus and non-transitory storage medium | |
| KR101106296B1 (ko) | 손떨림 보정 방법 및 이를 적용한 촬영 장치 | |
| CN107105152B (zh) | 变焦控制设备、摄像设备和变焦控制方法 | |
| CN111953891B (zh) | 控制设备、镜头设备、摄像设备、控制方法和存储介质 | |
| JP6268981B2 (ja) | ブレ補正装置、交換レンズ及びカメラ | |
| JP4905048B2 (ja) | 撮像装置、撮像装置の制御方法および制御プログラム | |
| JP2019091063A (ja) | ブレ補正装置、電子機器及びカメラ | |
| JP7119678B2 (ja) | 交換レンズ及びカメラボディ | |
| JP6610722B2 (ja) | ブレ補正装置及び光学機器 | |
| JP7172214B2 (ja) | 交換レンズ、カメラボディ及びカメラシステム | |
| JP6468343B2 (ja) | 交換レンズ及び光学機器 | |
| JP6778014B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| WO2020012960A1 (ja) | 撮像装置 | |
| JP7073078B2 (ja) | 撮像装置およびその制御方法 | |
| WO2020012961A1 (ja) | 撮像装置 | |
| JP2022021684A (ja) | 像ブレ補正装置およびその制御方法、撮像装置 | |
| WO2019203147A1 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |