CN109561251A - 图像模糊校正装置和控制方法 - Google Patents

图像模糊校正装置和控制方法 Download PDF

Info

Publication number
CN109561251A
CN109561251A CN201811124056.2A CN201811124056A CN109561251A CN 109561251 A CN109561251 A CN 109561251A CN 201811124056 A CN201811124056 A CN 201811124056A CN 109561251 A CN109561251 A CN 109561251A
Authority
CN
China
Prior art keywords
characteristic point
information
value
image
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811124056.2A
Other languages
English (en)
Inventor
成田优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109561251A publication Critical patent/CN109561251A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明提供一种图像模糊校正装置和控制方法。该图像模糊校正装置追踪拍摄图像中的特征点，计算特征点追踪信息，并基于特征点追踪信息和根据与摄像设备的抖动有关的抖动信息所计算出的摄像设备的位置姿势信息，来估计包括被摄体和摄像设备之间的深度的位置关系作为特征点的三维坐标。该图像模糊校正装置还控制特征点对三维坐标的估计的贡献度。该图像模糊校正装置还根据特征点的三维坐标的估计结果来校正位置姿势信息，基于抖动信息和位置姿势信息来计算抖动校正透镜的目标位置，并驱动抖动校正透镜。

Description

图像模糊校正装置和控制方法
技术领域
本发明涉及一种图像模糊校正装置和控制方法。
背景技术
在诸如数字照相机等的摄像设备拍摄被摄体的图像的情况下，由于把持照相机的主体的用户的“照相机抖动”等，因而可能在被摄体的图像中发生抖动(图像模糊)。已经提出了一种具有用于校正这种图像模糊的图像模糊校正器的摄像设备。图像模糊校正处理包括光学图像模糊校正处理和电子图像模糊校正处理。在光学图像模糊校正处理中，使用角速度传感器等来检测施加到照相机的主体的抖动，并且根据检测结果来移动设置在摄像光学系统中的校正透镜。通过改变摄像光学系统的光轴的方向并移动在摄像元件的光接收面上形成的图像来校正图像模糊。在电子图像模糊校正处理中，通过拍摄图像的图像处理以伪方式校正图像模糊。
为了校正由照相机抖动引起的图像模糊，需要检测摄像设备的位置和姿势的变化。应用已知的SFM以及视觉和惯性传感器融合技术来估计存在于真实空间中的物体的三维坐标和摄像设备的位置姿势的技术已知为用于检测摄像设备的位置姿势的自身位置估计方法。SFM代表“运动结构(structure from motion)”。视觉和惯性传感器融合技术是与使用惯性传感器的位置姿势估计有关的技术。日本特开2016-119572公开了一种使用追踪特征点的移动的结果来校正图像模糊的技术。
然而，在图像之间的视差量小的情况下，使用SFM对物体的三维坐标估计可能失败。日本特开2016-119572中公开的技术通过以使得图像之间的视差量增大的方式选择要追踪的图像来避免视差量的减小。然而，在图像之间的视差量小的情况下，不能进行反映小视差量的处理。这导致出现不进行处理的时间段和出现对图像模糊校正不进行控制的时间段。特别地，如果由于微细的照相机抖动而长时间发生图像模糊，则不能利用日本特开2016-119572中公开的技术来校正图像模糊。
发明内容
本发明提供了可以使用特征点的三维坐标来高精度地进行图像模糊校正的图像模糊校正装置。
根据本发明的实施例的一种图像模糊校正装置，包括：特征点追踪器，其被配置为追踪拍摄图像中的特征点，并且计算所述特征点的坐标信息作为特征点追踪信息；三维坐标估计器，其被配置为基于所述特征点追踪信息和根据与摄像设备的抖动有关的抖动信息所计算出的所述摄像设备的位置姿势信息，来估计包括被摄体和所述摄像设备之间的深度的位置关系作为所述特征点的三维坐标；控制器，其被配置为控制所述特征点对所述三维坐标的估计的贡献度；校正器，其被配置为根据所述特征点的三维坐标的估计结果来校正所述摄像设备的位置姿势信息；目标位置计算器，其被配置为基于所述抖动信息和所述位置姿势信息来计算用于校正由所述摄像设备的抖动引起的图像模糊的抖动校正器的目标位置；以及驱动器，其被配置为根据所述目标位置来驱动所述抖动校正器。
根据本发明的实施例的一种图像模糊校正装置的控制方法，所述控制方法包括：追踪拍摄图像中的特征点，并且计算所述特征点的坐标信息作为特征点追踪信息；基于所述特征点追踪信息和根据与摄像设备的抖动有关的抖动信息所计算出的所述摄像设备的位置姿势信息，来估计包括被摄体和所述摄像设备之间的深度的位置关系作为所述特征点的三维坐标；控制所述特征点对所述三维坐标的估计的贡献度；根据所述特征点的三维坐标的估计结果来校正所述摄像设备的位置姿势信息；基于所述抖动信息和所述位置姿势信息来计算用于校正由所述摄像设备的抖动引起的图像模糊的抖动校正器的目标位置；以及根据所述目标位置来驱动所述抖动校正器。
根据本发明的图像模糊校正装置，可以使用特征点的三维坐标来高精度地进行图像模糊校正。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出摄像设备的典型结构的图。
图2是示出图像模糊校正装置的典型结构的图。
图3是示出图像模糊校正装置的操作处理的图。
图4是示出特征点追踪器的典型结构的图。
图5是示出特征点追踪器的典型操作处理的流程图。
图6A和6B是示出特征点提取的示例的图。
图7A和7B是示出块匹配方法的典型应用的图。
图8A和8B是示出典型相关值分布图的图。
图9是示出相关值和像素地址之间的关系的图。
图10A至10D是示出表示追踪可靠性的相关值的典型指标的图。
图11A和11B是示出相关值的指标与追踪可靠性之间的典型相关性的图。
图12A和12B是示出用于确定特征点权重的处理的示例的图。
图13是示出用于估计特征点的三维坐标的处理的图。
图14是示出用于估计特征点的三维坐标的处理的图。
图15是示出位置姿势估计值的校正的示例的流程图。
图16是示出目标位置计算器的典型结构的图。
图17是示出用于计算目标值的处理的示例的流程图。
图18A和18B是示出增益乘法器的增益确定的示例的图。
具体实施方式
图1是示出根据本实施例的摄像设备的典型结构的图。图2是示出摄像设备中包括的图像模糊校正装置的典型结构的图。本发明不仅可以应用于诸如摄像机、数字照相机和银盐静态照相机等的摄像设备，还可以应用于包括诸如双筒望远镜、望远镜和单筒望远镜等的观察装置的光学设备。本发明还可以应用于诸如用于数字单镜头反光的镜头可更换的光学设备。在下文中，使用来自摄像设备的抖动检测信号来校正图像模糊的操作被称为“图像模糊校正操作”。
图1所示的摄像设备例如是数字静态照相机。应当注意，摄像设备可具有运动图像拍摄功能。摄像设备包括变焦单元101。变焦单元101是作为摄像光学系统的构成元件并且包括用于改变拍摄倍率的变焦透镜的变倍摄像透镜的一部分。变焦驱动器102根据来自控制单元117的控制信号来驱动变焦单元101。
图像模糊校正透镜103是用于校正由施加到摄像设备的抖动所引起的图像模糊的校正构件(抖动校正器)。图像模糊校正透镜103可在垂直于摄像透镜的光轴方向的方向上移动。图像模糊校正透镜驱动器104在控制单元117的控制下驱动图像模糊校正透镜103。光圈/快门单元105具备具有光圈功能的机械快门。光圈/快门驱动单元106根据来自控制单元117的控制信号来驱动光圈/快门单元105。用于焦点调节的调焦透镜107是摄像透镜的一部分，并且可以沿着摄像透镜的光轴来改变位置。调焦驱动器108根据来自控制单元117的控制信号来驱动调焦透镜107。
摄像单元109使用诸如CCD图像传感器或CMOS图像传感器等的摄像元件来将摄像光学系统所形成的光学图像转换为像素单位的电信号。CCD代表“电荷耦合器件”。CMOS代表“互补金属氧化物”。
摄像信号处理器110对由摄像单元109输出的电信号进行模拟/数字(A/D)转换、相关双采样、伽马校正、白平衡校正或颜色插值处理等，以将其转换为视频信号。视频信号处理器111根据用途来处理摄像信号处理器110输出的视频信号。具体地，视频信号处理器111生成用于显示的视频数据，并进行用于记录的数据文件转换或编码处理。显示单元112根据视频信号处理器111所输出的用于显示的视频信号来根据需要显示图像。
电源单元113根据用途来向整个摄像设备供给电力。外部输入/输出端子部114用于相对于外部装置接收和输出通信信号和视频信号。操作单元115包括用于用户向摄像设备发出指示的按钮和开关等。存储单元116存储包括视频信息等的各种数据。
控制单元117具有例如CPU、ROM和RAM，并控制整个摄像设备。CPU代表“中央处理单元”。ROM代表“只读存储器”。RAM代表“随机存取存储器”。存储在ROM中的控制程序在RAM上展开并由CPU执行以控制摄像设备的各部分，由此实现包括下面将描述的各种操作的摄像设备的操作。
操作单元115具有被配置为使得第一开关(称为SW1)和第二开关(被称为SW2)按照释放按钮的按下量顺次接通的释放开关。在半按下释放按钮时SW1接通，以及在完全按下释放按钮时时SW2接通。
当SW1接通时，控制单元117基于视频信号处理器111输出到显示单元112的显示用视频信号来计算自动调焦(AF)评价值。然后，控制单元117基于AF评估值来控制调焦驱动器108，以进行自动焦点检测和焦点调节控制。另外，基于视频信号的亮度信息和预定程序图，控制单元117进行自动曝光(AE)处理，以确定用于获得适当曝光量的光圈值和快门速度。
当SW2接通时，控制单元117以所确定的光圈和快门速度来进行摄像，并且控制各处理单元，使得将由摄像单元109获得的图像数据存储在存储单元116。此外，操作单元115具有用于选择图像模糊校正(防抖)模式的操作开关。在通过操作该操作开关选择图像模糊校正模式的情况下，控制单元117指示图像模糊校正透镜驱动器104进行图像模糊校正操作。在从控制单元117接收到控制指示时，图像模糊校正透镜驱动器104进行图像模糊校正操作，直到发出图像模糊校正OFF(关闭)指示为止。
操作单元115还具有使得能够选择静止图像拍摄模式和运动图像拍摄模式之一的拍摄模式选择开关。通过用户对拍摄模式选择开关的操作来进行拍摄模式选择处理，并且控制单元117改变图像模糊校正透镜驱动器104的操作条件。图像模糊校正透镜驱动器104实现了本实施例的图像模糊校正装置。此外，操作单元115具有用于选择再现模式的再现模式选择开关。在通过用户对再现模式选择开关的操作来选择再现模式的情况下，控制单元117进行控制以停止图像模糊校正操作。操作单元115还具有用于发出改变变焦倍率的指示的倍率改变开关。在通过用户对倍率改变开关的操作发出用以改变变焦倍率的指示的情况下，已经通过控制单元117接收到指示的变焦驱动器102驱动变焦单元101以将变焦透镜移动到所指示的变焦位置。
图2是示出根据本实施例的图像模糊校正装置的典型结构的图。图像模糊校正装置通过驱动图像模糊校正透镜103来校正由施加到摄像设备的抖动引起的图像模糊。第一抖动传感器201例如是角速度传感器，并且检测在摄像设备处于正常姿势(拍摄图像的长度方向基本上与水平方向一致的姿势)时摄像设备在垂直方向(俯仰方向)、水平方向(横摆方向)和绕光轴的转动方向(侧倾方向)上的抖动。
第二手抖传感器203是例如加速度传感器并且检测在摄像设备处于正常姿势(即，拍摄图像的长度方向基本上与水平方向一致的姿势)时的垂直移动量、水平移动量以及沿摄像设备的光轴的方向的移动量。
特征点追踪器210提取和追踪从摄像信号处理器110输入的视频信号(即与拍摄图像有关的信号)的特征点。特征点追踪器210计算各特征点的坐标信息作为特征点追踪信息。特征点追踪器210还计算特征点追踪信息的可靠性(以下称为追踪可靠性)。主被摄体分离器208将特征点追踪器210追踪的特征点中的属于主被摄体的区域的特征点与属于除主被摄体之外的背景区域的特征点彼此分离。
特征点权重控制器209对表示拍摄图像中的各特征点对后述的三维坐标估计器206所进行的特征点的三维坐标估计的贡献度的特征点权重进行控制。综合处理单元205具有三维坐标估计器206和位置姿势估计器207。综合处理单元205对第一抖动传感器201和第二抖动传感器203的输出(惯性传感器信息)与主被摄体分离器208和特征点权重控制器209的输出进行综合，并估计摄像设备的位置姿势和特征点的三维坐标。
位置检测传感器211的输出图像模糊校正透镜103沿俯仰和横摆方向上的位置信息。位置信息通过加法器/减法器213提供给控制滤波器214。基于综合处理单元205的输出和与来自第一抖动传感器201的摄像设备的俯仰和横摆方向上的抖动有关的抖动检测信号(抖动角速度)，目标位置计算器212生成用于沿俯仰和横摆方向驱动图像模糊校正透镜103的目标位置控制信号。目标位置控制信号通过加法器/减法器213提供给控制滤波器214。
控制滤波器214获取来自目标位置计算器212的目标位置控制信号和来自位置检测传感器211的图像模糊校正透镜103的位置信息，并且进行反馈控制。因此，控制滤波器214控制作为致动器的图像模糊校正透镜驱动器104，使得来自位置检测传感器211的位置检测信号值向来自目标位置计算器212的目标位置控制信号值收敛。图像模糊校正透镜驱动器104根据来自目标位置计算器212的目标位置控制信号值来驱动图像模糊校正透镜103。A/D转换器202、204和217将由第一抖动传感器201、第二抖动传感器203和位置检测传感器211检测到的模拟值转换为数字值。
图3是示出本实施例的图像模糊校正装置的操作处理的图。在步骤S301中，摄像单元109通过摄像元件将光信号转换为电信号。由此，获取与拍摄图像有关的图像信号。在步骤S302中，摄像信号处理器110将图像信号从模拟转换为数字并进行预定图像处理。然后，特征点追踪器210追踪图像中的特征点并计算其追踪可靠性。稍后将描述特征点追踪的详情。
接着，在步骤S303中，主被摄体分离器208将在步骤S302中追踪的特征点中的属于主被摄体的区域的特征点与属于主被摄体以外的背景区域中的特征点彼此分离。例如，针对特征点的分离，使用利用已知的K均值方法或EM算法的聚类。随后，在步骤S304中，特征点权重控制器209对表示各特征点对三维坐标估计器206所进行的三维坐标估计的贡献程度(贡献度)的特征点权重进行控制。稍后将描述控制特征点权重的方法。
在步骤S305至S309中，摄像设备的位置姿势估计处理与步骤S301至S304的处理并行进行。首先，在步骤S305中，第一抖动传感器201检测抖动角速度作为施加到摄像设备的抖动信息。在步骤S306中，微分器216计算图像模糊校正透镜103的拍摄帧之间的差，以计算图像模糊校正透镜103的移动速度。
在步骤S307中，位置姿势估计器207通过从由第一抖动传感器201输出的抖动角速度减去图像模糊校正透镜103的移动速度来计算摄像设备的抖动校正后的角速度。在步骤S308中，第二抖动传感器203(例如，加速度传感器)检测摄像设备的移动量。在步骤S309中，位置姿势估计器207基于在步骤S307中计算的抖动校正后的角速度和在步骤S308中检测到的摄像设备的移动量这两者来估计摄像设备在真实空间中的位置姿势，并输出位置姿势估计值(位置姿势信息)。由于使用抖动校正后的角速度来估计摄像设备的位置/姿势，因此其位置姿势对应于通过图像模糊校正获得的抖动校正后的位置姿势。
在步骤S310中，三维坐标估计器206基于在步骤S309中所输出的位置姿势估计值和与在步骤S304中确定的特征点权重的背景区域中的特征点有关的信息来进行以下处理。三维坐标估计器206估计包括被摄体和其摄像设备之间的深度的位置关系作为特征点的三维坐标。稍后将描述三维坐标估计处理的详情。
在步骤S311中，位置姿势估计器207根据特征点的三维坐标的估计结果来校正位置姿势估计值。具体地，位置姿势估计器207基于在步骤S310中估计的特征点的三维坐标和在步骤S303中获得的背景区域的特征点的二维坐标来校正在步骤S309中获得的位置姿势估计值。校正后的位置姿势估计值被输出作为抖动校正后的角度信号。稍后将描述位置姿势估计值的校正的详情。
接着，在步骤S312中，目标位置计算器212基于在步骤S305中检测到的抖动角速度和在步骤S311中校正的位置姿势估计值来生成用于沿俯仰和横摆方向驱动图像模糊校正透镜103的目标位置控制信号。稍后将描述目标位置计算的详情。在步骤S313中，图像模糊校正透镜驱动器104基于在步骤S312中计算的目标位置来驱动图像模糊校正透镜103。下面将描述图3的步骤S302中特征点追踪器210的处理的详情。
<特征点追踪的详情>
图4是示出特征点追踪器的典型结构的图。特征点追踪器210包括特征点提取器401、特征点设置器402、图像存储器403、运动矢量检测器404和追踪可靠性计算器405。特征点提取器401从拍摄图像中提取特征点。特征点设置器402设置要追踪的特征点。图像存储器403临时存储从摄像信号处理器110输入的图像。基于由特征点设置器402设置的特征点，运动矢量检测器404检测从摄像信号处理器110和图像存储器403输入的图像的运动矢量。也就是说，运动矢量检测器404用作基于与拍摄图像有关的信号来计算运动矢量信息的矢量计算器。追踪可靠性计算器405计算追踪可靠性。
图5是示出特征点追踪器的典型操作处理的流程图。在步骤S501中，特征点提取器401从来自摄像信号处理器110的输入图像中提取特征点。
图6A和6B是示出特征点提取的示例的图。例如，如图6A和6B所示，特征点提取器401针对所划分出的多个图像区域中的各个图像区域提取预定数量的特征点。在图6A中，白色矩形区域是用于进行特征点提取的特征提取区域。在特征提取区域周围限定阴影周围区域。根据所提取的特征点的位置，用于检测后述的运动矢量的模板区域和搜索区域从特征提取区域伸出。因此，阴影周围区域被定义为与该伸出相对应的剩余图像区域。图6B示出用于针对以网格形式划分的各图像区域提取一个特征点601的处理。
可以应用通常已知的方法作为提取特征点的方法。例如，应用Harris角点检测器或Shi和Tomasi方法。在Harris角点检测器或Shi和Tomasi方法中，图像的像素(x，y)处的亮度值表示为I(x，y)。然后，根据将水平和垂直一阶微分滤波器应用于图像的结果Ix和Iy，创建由公式(1)表示的自相关矩阵H。
在公式(1)中，G表示通过公式(2)中所示的高斯分布的平滑。
Harris检测器使用公式(3)所示的特征评价式来提取具有大的特征量的像素作为特征点。
Harris＝det(H)-α(tr(H))2 (α＝0.04～0.15) (3)
在公式(3)中，“det”表示行列式，“tr”表示对角元素的和。“α”是通过实验发现具有0.04至0.15的期望值的常数。
另一方面，所述Shi和Tomasi方法使用公式(4)所示的特征评价式。
Shi和Tomasi＝min(λ1，λ2) (4)
公式(4)表示采用公式(1)中的自相关矩阵H的固有值λ1和λ2的较小值作为特征量。此外，在使用Shi和Tomasi方法的情况下，提取具有大的特征量的像素作为特征点。通过公式(3)或公式(4)来计算像素的特征量，并且提取以特征量的降序计数的预定数量的像素作为特征点。
现在，将返回图5的描述来进行描述。在步骤S502中，特征点设置器402设置作为追踪对象的特征点。在初始帧的情况下，可以将在步骤S501中新提取的特征点设置为追踪对象。
在步骤S503中，运动矢量检测器404使用步骤S502中设置为追踪对象的特征点来检测运动矢量。应用诸如相关方法或块匹配方法等的已知方法作为检测运动矢量的方法。可以应用任何已知方法作为计算运动矢量的方法。下面将描述块匹配方法的典型应用。
图7A和7B是示出块匹配方法的典型应用的图。图7A和7B示出作为矢量检测的两个图像的基准图像和目标图像。在该示例中，使用保持在图像存储器403中的帧图像作为基准图像和从摄像信号处理器110直接输入的图像数据作为目标图像来计算从过去帧图像到当前帧图像的运动矢量。应当注意，基准图像和目标图像可以互换地应用。基准图像和目标图像的互换应用意味着计算从当前帧图像到过去帧图像的运动矢量。
运动矢量检测器404在基准图像中布置模板区域701并在目标图像中布置搜索区域702，并计算模板区域701和搜索区域702之间的相关值。模板区域701可以布置在图5的步骤S502中设置的特征点周围，并且可以以预定大小布置搜索区域，使得搜索区域在其顶部、底部、左侧和右侧部分中均等地包括模板区域。
在本实施例中，差的绝对值之和(以下简称为SAD)被用作计算相关值的方法。公式(5)示出SAD的计算式。
S_SAD＝∑i∑j|f(i，j)-g(i，j)| (5)
在公式(5)中，“f(i，j)”表示模板区域701中的坐标(i，j)处的亮度值。“g(i，j)”表示在搜索区域702内用于相关值计算的区域703(以下称为相关值计算区域)中的各对坐标处的亮度值。在SAD中，计算两个区域701和703中的亮度值“f(i，j)”和“g(i，j)”之间的差的绝对值，并计算差的绝对值之和以获得相关值S_SAD。相关值S_SAD越小，表示模板区域701和相关值计算区域703之间的纹理的相似度越高。应当注意，可以使用除SAD之外的方法来计算相关值。例如，可以使用平方差之和(SSD)或归一化互相关(NCC)。
运动矢量检测器404在使相关值计算区703在整个搜索区域702移动的同时计算相关值。结果，例如，针对搜索区域702创建图8A和8B所示的相关值分布图。
图8A和8B是示出典型相关值分布图的图。图8A示出在搜索区域702的坐标系中计算的相关值分布图。X轴和Y轴表示相关值分布图的坐标，并且Z轴表示各对坐标处的相关值的大小。图8B示出图8A的轮廓线。
在图8A和8B中，最小相关值是局部最小值801，并且可以确定在搜索区域702内计算出局部最小值801的区域具有与模板区域701非常相似的纹理。局部最小值802是第二局部最小值，并且局部最小值803是第三局部最小值。计算出局部最小值802和803的区域具有以仅次于计算出局部最小值801的区域的最高纹理相似度地、与模板区域701的纹理类似的纹理。以这种方式，运动矢量检测器404计算模板区域701和搜索区域702之间的相关值，并判断相关值最小的相关值计算区域703的位置。结果，运动矢量检测器404指定基准图像上的模板区域701要移动至的目标图像上的移动目的地位置。然后，运动矢量检测器404检测方向和大小分别与从基准图像上的模板区域的位置到目标图像上的移动目的地位置的方向和移动量相对应的运动矢量。
现在，将返回图5的描述来进行描述。在步骤S504中，追踪可靠性计算器405使用在步骤S501中获得的特征点信息和在步骤S503中获得的相关值信息中的至少一个来计算追踪可靠性。相关值信息是在计算运动矢量信息时进行的相关值的计算结果。
图9是示出相关值和像素地址之间的关系的图。图10A至10D是示出表示追踪可靠性的相关值的典型指标的图。图11A和11B是示出相关值的指标与追踪可靠性之间的典型相关性的图。
下面将参考图9至11A来描述使用相关值信息来计算追踪可靠性的示例。图9所示的曲线图表现通过在图8B的二维相关值分布图中如“804”那样按光栅顺序布置相关值的一维的相关值。图9中的纵轴表示相关值。横轴表示由相关值分布图中的X和Y坐标唯一确定的像素地址。以下，图9的表现将用来计算追踪可靠性。应当注意，位置901与图8A和8B中的第一局部最小值相对应。
在图10A所示的示例中，相关值的最小值和最大值之间的差值Da用作指标。Da表示相关值分布图的范围。如果Da小，则认为纹理的对比度低，这表示追踪可靠性低。在图10B所示的示例中，使用相关值的最小值和最大值之间的差A与其最小值和平均值之间的差B的比率Db(＝B/A)作为指标。Db表示峰相关值的陡度。如果Db小，则认为模板区域和搜索区域之间的相似度低，这表示追踪可靠性低。
在图10C所示的示例中，相关值的第一局部最小值和第二局部最小值之间的差Dc用作指标。相关值1001、1002和1003分别与图8A和8B的局部最小值801、802和803相对应。Dc表示相关值分布图的周期性。如果Dc小，则认为纹理具有重复的图案或边缘等，这表示追踪可靠性低。在该示例中，选择第一局部最小值和第二局部最小值。然而，也可以选择其它局部最小值，因为其足以确定相关值分布图的周期性。
在图10D所示的示例中，相关值的最小值Dd用作指标。如果Dd大，则模板区域和搜索区域之间的相似度被认为低，这表示追踪可靠性低。由于Dd和追踪可靠性彼此成反比，因此Dd的倒数(1/Dd)用作指标。上述相关值的指标可以各自直接用作追踪可靠性。
另外，如图11A所示，可以进行相关值指标和追踪可靠性之间的关联。图11A的横轴表示相关值指标(Da、Db、Dc和1/Dd中的任何一个)。纵轴表示追踪可靠性。在图11A中，设置两个阈值T1和T2，使得如果相关值指标等于或小于T1，则追踪可靠性为0，以及如果相关值指标等于或大于T2，则追踪可靠性为1。可以针对各相关值指标改变阈值。此外，在阈值T1和T2之间的区间中，相关值指标和追踪可靠性可以非线性地彼此相关联。在以下描述中，将从相关值指标获得的追踪可靠性表现为Ra、Rb、Rc和Rd。追踪可靠性和相关值指标具有Ra＝f(Da)、Rb＝f(Db)、Rc＝f(Dc)和Rd＝f(Dd)的关系。可以通过组合Ra、Rb、Rc和Rd来计算最终的追踪可靠性R1。下面将描述使用加权求和和逻辑运算的组合方法。
在使用加权求和的组合方法中，在针对Ra、Rb、Rc和Rd的权重分别是Wa、Wb、Wc和Wd的情况下，如公式(6)所示那样计算追踪可靠性R1。
R1＝Wa×Ra+Wb×Rb+Wc×Rc+Wd×Rd (6)
例如，权重是Wa＝0.4、Wb＝0.3、Wc＝0.2以及Wd＝0.1。在所有追踪可靠性足够高并且Ra＝Rb＝Rc＝Rd＝1的情况下，从公式(6)获得R1＝1.0。此外，在Ra＝0.6、Rb＝0.5、Rc＝0.7并且Rd＝0.7的情况下，从公式(6)获得R1＝0.6。
在使用逻辑运算的组合方法中，在针对Ra、Rb、Rc和Rd的阈值分别是Ta、Tb、Tc和Td的情况下，如公式(7)所示那样使用逻辑运算来计算追踪可靠性R1。
R1＝(Ra≥Ta)∧(Rb≥Tb)∧(Rc≥Tc)∧(Rd≥Td) (7)
其中，“^”是表示逻辑乘法的符号
如果Ra≥Ta、Rb≥Tb、Rc≥Tc和Rd≥Td全都满足，则R1＝1(高可靠性)，否则R1＝0(低可靠性)。
可选地，如公式(8)所示，追踪可靠性R1可以使用逻辑求和来计算。
R1＝(Ra＜Ta)↓(Rb＜Tb)↓(Rc＜Tc)(Rd＜Td) (8)
其中，“↓”是表示逻辑求和的符号
如果Ra<Ta、Rb<Tb、Rc<Tc和Rd<Td都不满足，则R1＝1(高可靠性)，否则R1＝0(低可靠性)。
接着，将描述使用特征点的特征量来计算追踪可靠性的示例。如果可以正确追踪同一特征点，则追踪之前和之后的特征点的特征量的变化小。因此，追踪可靠性计算器405根据追踪之前和之后的特征量的变化量来计算追踪可靠性。追踪可靠性计算器405使用公式(3)或公式(4)来计算特征点的追踪之前和之后的特征点的特征量，并通过计算两个特征量之间的差来计算特征量的变化量。
在图11B中，横轴表示特征量的变化量，并且纵轴表示追踪可靠性R2。在图11B所示的示例中，设置两个阈值T1和T2。如果特征量的变化量等于或小于阈值T1，则假设正确地追踪同一特征点，并且将追踪可靠性R2设置为1。如果特征量的变化量等于大于阈值T2，则假设错误地追踪不同特征点，并且将追踪可靠性R2设置为0。在阈值T1和T2之间的区间中，特征量的变化量和追踪可靠性可以非线性地彼此相关联。也就是说，在特征量的变化量是小于第一值的第二值的情况下，与特征量的变化量是第一值的情况相比，计算出更高的追踪可靠性。以这种方式，可以分别根据相关值信息和特征点信息来计算追踪可靠性R1和R2。追踪可靠性R1和R2中的任何一个可以用作最终追踪可靠性R，并且也可以使用它们的组合。该组合可以使用如上面参考公式(6)至(8)所述的加权求和或逻辑运算。
现在返回图5的描述来进行描述。在步骤S505中，特征点追踪器210判断直到最后一帧为止的处理是否已经完成。如果直到最后一帧为止的处理尚未完成，则该处理返回到S502。然后，特征点设置器402将在步骤S503中检测到的运动矢量的结束点的坐标设置为在下一帧中要追踪的特征点的坐标。结果，运动矢量的结束点的坐标表示特征点的移动目的地。因此，可以在多个帧上追踪特征点。
<特征点权重的确定方法的详情>
图12A和12B是示出在图3的步骤S304中的特征点权重的确定处理的示例的图。例如，特征点权重控制器209使用在图3的步骤S302中获得的追踪可靠性和帧之间(拍摄图像之间)的视差量来控制特征点权重。具体地，特征点权重控制器209用作用于计算在图3的步骤S303中获得的属于背景区域的特征点的帧之间的坐标位移量作为视差量的视差量计算器。
图12A示出追踪可靠性和特征点权重之间的关系。所使用的特征点的追踪可靠性越高，可以估计特征点的三维坐标的精度越高。因此，特征点权重控制器209进行控制，使得特征点权重随着追踪可靠性的增加而增加。具体地，使在追踪可靠性是比第一值大的第二值的情况下的特征点权重大于追踪可靠性是第一值的情况下的特征点权重。图12B示出视差量和特征点权重之间的关系。所使用的特征点的视差量越大，可以估计特征点的三维坐标的精度越高。因此，特征点权重控制器209进行控制，使得特征点权重随着视差量增加而增加。具体地，使在视差量是比第一值大的第二值的情况下的特征点权重大于视差量是第一值的情况下的特征点权重。
<三维坐标估计的详情>
图13和14是示出用于在图3的步骤S310中估计特征点的三维坐标的处理的图。图13示出透视投影模型，该透视投影模型表示特征点的三维坐标P＝(X，Y，Z)与通过将特征点投影到拍摄图像上而获得的二维坐标p＝(u，v)之间的关系。在图13所示的示例中，虚拟摄像面设置在镜头前方相对于镜头相距焦距f的位置处。“OW”表示世界坐标系的原点，“OC”表示照相机坐标系的原点(照相机镜头的中心)，并且z轴表示照相机的光轴。在世界坐标系中表示“P”，并且在照相机坐标系中表示p。
在透视投影变换中，三维坐标“P”和二维坐标的“p”之间的关系由公式(9)表示。
这里，“K”被称为作为照相机特有的参数的内部参数矩阵。“K”包括主点c＝(cx，cy)和以像素为单位的焦距f。在该示例中，假设主点是图像的中心(0,0)，其被处理为cx＝cy＝0。
“R”和“t”被称为外部参数矩阵，并且表示照相机在世界坐标系中的位置姿势。“R”是转动矩阵，并且“t”是平移矩阵。“R”的元素由R11至R33表示，并且“t”的元素由tx至ty表示。
图14示出从照相机的两个不同位置/姿势观察到三维坐标P的状态。令P＝(X，Y，Z)为估计对象的三维坐标，O(原点)为帧1中照相机的位置，I(单位矩阵)为其姿势，并且p0＝(u0，v0)是此时的拍摄图像上的特征坐标。此外，令T为帧2中的照相机的位置，R为其姿势，并且p1＝(u1，v1)为拍摄图像上的特征坐标。
从公式(9)，三维坐标P与拍摄图像上的二维坐标p0和p1之间的关系由公式(10)和(11)表示。
这里，“f”是焦距。“R”和“T”是在图3的步骤S309中获得的位置姿势估计值。在图3的步骤S304中获得的背景区域的特征点信息可以用作p0和p1的坐标值。因此，通过求解联立方程式(10)和(11)，可以获得未知数X、Y和Z，从而获得三维坐标。虽然未知数是三个(X、Y和Z)，但是在用于追踪特征点的帧数是n的情况下，联立方程式的数量是2n。因此，在仅从一帧观察三维坐标P的情况下，由于未知数的数量大于方程式的数量，因此不能唯一地确定P。另一方面，对于两个以上的帧，获得了过多数量的联立方程式(条件)，因此可以例如使用已知的最小二乘法来求解。
<位置姿势估计值的校正>
图15是示出图3的步骤S311中的位置姿势估计值的校正的示例的流程图。在步骤S1501中，位置姿势估计器207通过使用公式(9)来将三维坐标投影到拍摄图像上的二维坐标上来转换在步骤S310中估计的三维坐标。随后，在步骤S1502中，位置姿势估计器207计算作为特征点的三维坐标的估计误差的再投影误差。位置姿势估计器207基于特征点权重、在步骤S1501中获得的特征点的二维坐标之间的差以及特征点的实际追踪(观察的)二维坐标来计算再投影误差。实际观察到的特征点的二维坐标是在图3的步骤S303中分离特征点的处理中获得的。
再投影误差E由公式(12)表示。
这里，“i”表示帧编号。“j”表示特征点编号。在帧数是n并且特征点的数量是m的情况下，分别地，“i”在0到n-1的范围内变化，并且“j”在0到m-1的范围内变化。“Wi”是表示第i帧中的特征点权重的矩阵。矩阵“Wi”的第i行和第j列的元素是在步骤S304中获得的第i帧中的第j个特征点的权重wij。随着特征点的特征点权重增加，特征点对再投影误差的影响增加，并且特征点对后述的步骤S1503中的位置姿势估计值的校正的贡献度也增加。
接着，在步骤S1503中，位置姿势估计器207校正抖动校正后的位置姿势估计值，使得在步骤S1502中计算出的再投影误差最小。再投影误差是实际观察到的拍摄图像的二维坐标与通过将三维坐标投影到拍摄图像上获得的二维坐标之间的误差。因此，如果三维坐标和追踪的二维坐标是正确的，则在三维坐标被投影到拍摄图像上的情况下，由于位置姿势估计的误差而引起坐标误差。因此，再投影误差越小，位置姿势估计值越接近真实值。因此，位置姿势估计值的校正是在位置姿势估计值作为变量的状态下将再投影误差最小化的问题。位置姿势估计器207例如使用已知的加权最小二乘法来校正位置姿势估计值，使得使再投影误差最小。
<目标位置计算的详情>
图16是示出目标位置计算器的典型结构的图。目标位置计算器212包括高通滤波器1601、低通滤波器1602、积分增益单元1603、增益乘法器1604和加法器1605。高通滤波器1601去除第一抖动传感器201的DC偏移成分。低通滤波器1602对由高通滤波器1601输出的抖动角速度信号进行滤波处理。积分增益单元1603利用积分增益对低通滤波器1602的输出信号进行积分。由此，抖动角速度信号被转换为抖动角度信号。增益乘法器1604将综合处理单元205的输出乘以增益。加法器1605将来自增益乘法器1604的反馈量与积分增益单元1603的输出相加。结果，计算出目标位置。
图17是示出用于在图13的步骤S312中计算目标值的处理的示例的流程图。在步骤S1701中，高通滤波器1601从在图3的步骤S305中由第一抖动传感器201检测到的摄像设备的抖动角速度信号中去除DC偏移成分。在步骤S1702中，低通滤波器1602对在步骤S1701中已经去除了DC偏移成分的抖动角速度信号进行滤波处理。在步骤S1703中，积分增益1603利用增益积分对低通滤波器的输出进行积分，从而将抖动角速度信号转换为抖动角度信号。
接着，在步骤S1704中，目标位置计算器212确定根据综合处理单元205所输出的位置姿势信息(抖动校正后的角度信号的可靠性)来确定增益乘法器1604的增益。然后，增益乘法器1604将抖动校正后的角度信号乘以确定的增益。随着抖动校正后的角度信号的可靠性增加，目标位置计算器212增加增益，以更正确地反映目标位置中的抖动校正后的角度信号。
图18A和18B是示出增益乘法器的增益确定的示例的图。目标位置计算器212基于再投影误差或用于计算再投影误差的特征点的数量来确定增益。由此，目标位置计算器212控制由第一抖动传感器201获得的抖动信息与综合处理单元205的输出(即摄像设备的位置姿势信息)的合成比率。
该抖动校正后的角度信号是通过如下方式获得的：对通过抖动传感器基于从拍摄图像获得的三维坐标而获得的照相机的位置姿势估计值进行校正，以使得通过公式(12)计算出的再投影误差最小。也就是说，公式(12)的再投影误差越小，抖动校正后的角度信号的可靠性越高。因此，如图18A所示，目标位置计算器212随着再投影误差减小而增加增益。也就是说，使在再投影误差是比第一值小的第二值的情况下的摄像设备的位置姿势信息的合成比率高于再投影误差是第一值的情况下的合成比率。
此外，用于计算由公式(12)表示的再投影误差的特征点的数量越大，则所确定的整个拍摄图像的运动精度越高，因此抖动校正后的角度信号的可靠性越高。因此，如图18A所示，随着用于计算再投影误差的特征点的数量增加，目标位置计算器212增加增益。因此，摄像设备的位置姿势信息的合成比率增加。也就是说，在用于计算再投影误差的特征点的数量是比第一值大的第二值的情况下的摄像设备的位置姿势信息的合成比率高于用于计算再投影错误的特征点的数量是第一值的情况下的合成比率。
在步骤S1705中，目标位置计算器212通过加法器1605对在步骤S1703中获得的抖动角度信号和在步骤S1704中获得的乘以增益的抖动校正后的角度信号进行求和，来计算图像模糊校正透镜103的目标位置。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2017年9月26日提交的日本专利申请2017-184615的优先权，这里通过引用将其全部内容包含于此。

Claims (13)

1.一种图像模糊校正装置，包括：
特征点追踪器，其被配置为追踪拍摄图像中的特征点，并且计算所述特征点的坐标信息作为特征点追踪信息；
三维坐标估计器，其被配置为基于所述特征点追踪信息和根据与摄像设备的抖动有关的抖动信息所计算出的所述摄像设备的位置姿势信息，来估计包括被摄体和所述摄像设备之间的深度的位置关系作为所述特征点的三维坐标；
控制器，其被配置为控制所述特征点对所述三维坐标的估计的贡献度；
校正器，其被配置为根据所述特征点的三维坐标的估计结果来校正所述摄像设备的位置姿势信息；
目标位置计算器，其被配置为基于所述抖动信息和所述位置姿势信息来计算用于校正由所述摄像设备的抖动引起的图像模糊的抖动校正器的目标位置；以及
驱动器，其被配置为根据所述目标位置来驱动所述抖动校正器。
2.根据权利要求1所述的图像模糊校正装置，还包括：
可靠性计算器，其被配置为计算所述特征点追踪信息的可靠性作为追踪可靠性；以及
视差量计算器，其被配置为计算拍摄图像之间的视差量，
其中，所述控制器被配置为根据所述追踪可靠性或所述视差量来控制所述贡献度。
3.根据权利要求2所述的图像模糊校正装置，其中，所述控制器被配置为使得与所述追踪可靠性是第一值的情况相比，在所述追踪可靠性是高于所述第一值的第二值的情况下所述贡献度更高。
4.根据权利要求2所述的图像模糊校正装置，其中，所述控制器被配置为使得与所述视差量是第一值的情况相比，在所述视差量是大于所述第一值的第二值的情况下所述贡献度更高。
5.根据权利要求2所述的图像模糊校正装置，还包括：
矢量计算器，其被配置为基于与所述拍摄图像有关的信号来计算运动矢量信息，
其中，所述可靠性计算器被配置为基于在计算所述运动矢量信息时所进行的相关值计算的结果来计算所述追踪可靠性。
6.根据权利要求2所述的图像模糊校正装置，其中，所述可靠性计算器被配置为根据追踪之前和之后的所述特征点的特征量的变化量来计算所述追踪可靠性。
7.根据权利要求6所述的图像模糊校正装置，其中，所述可靠性计算器被配置为与追踪之前和之后的所述特征点的特征量的变化量是第一值的情况相比，在所述变化量是小于所述第一值的第二值的情况下计算出更高的追踪可靠性。
8.根据权利要求1所述的图像模糊校正装置，其中，所述校正器被配置为基于所述贡献度以及通过将所估计的三维坐标投影到拍摄图像上所获得的所述特征点的坐标信息与所追踪的所述特征点的坐标信息之间的差来计算所述三维坐标的估计误差，并且校正所述位置姿势信息使得所述估计误差最小。
9.根据权利要求8所述的图像模糊校正装置，其中，所述目标位置计算器被配置为基于所述三维坐标的估计误差或者用于计算所述估计误差的特征点的数量，来控制所述抖动信息和所述位置姿势信息的合成比率。
10.根据权利要求9所述的图像模糊校正装置，其中，所述目标位置计算器被配置为使得与所述三维坐标的估计误差是第一值的情况相比，在所述估计误差是小于所述第一值的第二值的情况下所述位置姿势信息的合成比率更高。
11.根据权利要求9所述的图像模糊校正装置，其中，所述目标位置计算器被配置为使得与用于计算所述估计误差的特征点的数量是第一值的情况相比，在特征点的数量是大于所述第一值的第二值的情况下所述位置姿势信息的合成比率更高。
12.根据权利要求1所述的图像模糊校正装置，还包括：
可靠性计算器，其被配置为计算所述特征点追踪信息的可靠性作为追踪可靠性；以及
视差量计算器，其被配置为计算拍摄图像之间的视差量，
其中，所述控制器被配置为根据所述追踪可靠性或所述视差量来控制所述贡献度，以及
所述校正器被配置为基于所述贡献度以及通过将所估计的三维坐标投影到拍摄图像上所获得的所述特征点的坐标信息与所追踪的所述特征点的坐标信息之间的差来计算所述三维坐标的估计误差，并且校正所述位置姿势信息使得所述估计误差最小。
13.一种图像模糊校正装置的控制方法，所述控制方法包括：
追踪拍摄图像中的特征点，并且计算所述特征点的坐标信息作为特征点追踪信息；
基于所述特征点追踪信息和根据与摄像设备的抖动有关的抖动信息所计算出的所述摄像设备的位置姿势信息，来估计包括被摄体和所述摄像设备之间的深度的位置关系作为所述特征点的三维坐标；
控制所述特征点对所述三维坐标的估计的贡献度；
根据所述特征点的三维坐标的估计结果来校正所述摄像设备的位置姿势信息；
基于所述抖动信息和所述位置姿势信息来计算用于校正由所述摄像设备的抖动引起的图像模糊的抖动校正器的目标位置；以及
根据所述目标位置来驱动所述抖动校正器。
CN201811124056.2A 2017-09-26 2018-09-26 图像模糊校正装置和控制方法 Pending CN109561251A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-184615 2017-09-26
JP2017184615A JP2019062340A (ja) 2017-09-26 2017-09-26 像振れ補正装置および制御方法

Publications (1)

Publication Number Publication Date
CN109561251A true CN109561251A (zh) 2019-04-02

Family

ID=65638301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124056.2A Pending CN109561251A (zh) 2017-09-26 2018-09-26 图像模糊校正装置和控制方法

Country Status (4)

Country Link
US (1) US10764500B2 (zh)
JP (1) JP2019062340A (zh)
CN (1) CN109561251A (zh)
DE (1) DE102018123402A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7484924B2 (ja) 2019-09-26 2024-05-16 ソニーグループ株式会社 撮像装置、画像処理システム、画像処理方法及びプログラム
US11023730B1 (en) * 2020-01-02 2021-06-01 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071712A (ja) * 2009-09-25 2011-04-07 Casio Computer Co Ltd 立体撮像装置及び立体撮像方法
CN102457752A (zh) * 2010-11-05 2012-05-16 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN102597693A (zh) * 2009-11-13 2012-07-18 富士胶片株式会社 测距装置、测距方法、测距程序及测距系统以及拍摄装置
CN104396231A (zh) * 2012-06-20 2015-03-04 奥林巴斯株式会社 图像处理装置和图像处理方法
JP2016119572A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN106954007A (zh) * 2015-11-05 2017-07-14 佳能株式会社 摄像装置和摄像方法
CN107018288A (zh) * 2015-12-08 2017-08-04 佳能株式会社 控制装置和摄像设备
CN109391767A (zh) * 2017-08-03 2019-02-26 佳能株式会社 摄像设备及其中执行的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6329308B2 (ja) 2017-06-15 2018-05-23 株式会社Ｓｕｂａｒｕ 車両の制御装置及び車両の制御方法
JP7009107B2 (ja) * 2017-08-03 2022-01-25 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071712A (ja) * 2009-09-25 2011-04-07 Casio Computer Co Ltd 立体撮像装置及び立体撮像方法
CN102597693A (zh) * 2009-11-13 2012-07-18 富士胶片株式会社 测距装置、测距方法、测距程序及测距系统以及拍摄装置
CN102457752A (zh) * 2010-11-05 2012-05-16 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN104396231A (zh) * 2012-06-20 2015-03-04 奥林巴斯株式会社 图像处理装置和图像处理方法
JP2016119572A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN106954007A (zh) * 2015-11-05 2017-07-14 佳能株式会社 摄像装置和摄像方法
CN107018288A (zh) * 2015-12-08 2017-08-04 佳能株式会社 控制装置和摄像设备
CN109391767A (zh) * 2017-08-03 2019-02-26 佳能株式会社 摄像设备及其中执行的方法

Also Published As

Publication number Publication date
DE102018123402A1 (de) 2019-03-28
US10764500B2 (en) 2020-09-01
US20190098215A1 (en) 2019-03-28
JP2019062340A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
JP2023175052A (ja) ３次元空間内の姿勢推定
CN101316368B (zh) 基于全局特征点迭代的全景稳像方法
JP6894725B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
CN109391767B (zh) 摄像设备及其中执行的方法
JP4940164B2 (ja) 撮像装置及び撮像方法
US9865064B2 (en) Image processing apparatus, image processing method, and storage medium
JP6985897B2 (ja) 情報処理装置およびその制御方法、プログラム
EP3296952B1 (en) Method and device for blurring a virtual object in a video
US11575834B2 (en) Image stabilization apparatus, method of controlling same, and storage medium
JP2010187347A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP6894707B2 (ja) 情報処理装置およびその制御方法、プログラム
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
EP3761629B1 (en) Information processing device, autonomous mobile body, information processing method, and program
CN110944101A (zh) 摄像装置及图像记录方法
CN106973215A (zh) 移动检测装置以及移动检测方法
CN109561251A (zh) 图像模糊校正装置和控制方法
CN109391755A (zh) 摄像设备及其中执行的方法
CN110337668A (zh) 图像增稳方法和装置
Dasari et al. A joint visual-inertial image registration for mobile HDR imaging
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP6995529B2 (ja) 撮像装置およびその制御方法
JP7341712B2 (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム
JP2580516B2 (ja) 実時間３次元運動測定装置およびその方法
TWI594209B (zh) 利用影片自動推導移動平台運動參數之方法
JP2020120362A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190402

WD01 Invention patent application deemed withdrawn after publication