CN105519092B - 利用图像模糊校正进行图像稳定的设备和方法 - Google Patents

利用图像模糊校正进行图像稳定的设备和方法 Download PDF

Info

Publication number
CN105519092B
CN105519092B CN201480048861.5A CN201480048861A CN105519092B CN 105519092 B CN105519092 B CN 105519092B CN 201480048861 A CN201480048861 A CN 201480048861A CN 105519092 B CN105519092 B CN 105519092B
Authority
CN
China
Prior art keywords
image
motion vector
block
unit
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480048861.5A
Other languages
English (en)
Other versions
CN105519092A (zh
Inventor
申丞镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of CN105519092A publication Critical patent/CN105519092A/zh
Application granted granted Critical
Publication of CN105519092B publication Critical patent/CN105519092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种利用图像模糊校正来稳定图像的方法和设备，其中由相机捕获的图像中的帧的模糊是通过将图像分割成块，提取特征点，并且计算运动矢量来校正的，由此输出稳定的图像。

Description

利用图像模糊校正进行图像稳定的设备和方法
技术领域
在一些实施方式中，本公开涉及基于图像模糊校正来稳定图像的方法和设备。
背景技术
此部分中的陈述仅提供与本公开有关的背景信息，而未必构成现有技术。
近年来，随着相机成像技术的发展，越来越多地使用成像装置，这引起了校正图像模糊的问题。图像模糊产生自各种环境，例如当使用诸如便携式数码相机、智能电话等的移动终端的相机时，由于相机摇动等而产生图像模糊。在安装于户外的CCTV的情况下，图像模糊产生自诸如雨、风等的天气环境，车载黑箱相机遭受产生自行驶期间车辆的振动的图像模糊。
用于校正图像模糊的图像稳定工具需要用于以简单和准确的方式校正所记录的图像的模糊部分的设备或程序。图像稳定工具采用相机传感器来感测和校正摇动以便校正由于图像校正设备的限制而产生的模糊图像。相机传感器导致成本的增加并且限制了小型化。
克服传感器的成本的增加及其小型化的限制的典型方法包括利用相机传感器感测图像模糊，分析图像模糊的水平，并且通过利用相机镜头的电路改变光的方向来校正模糊。此方法通过利用相机传感器校正图像的位置来校正模糊；然而，仍存在待克服的障碍：根据相机传感器的类型，性能变化并且成本增加。
发明内容
技术问题
因此，为了有效地解决上述问题而做出本公开，本发明的一些实施方式的目的是提供一种基于图像模糊校正来稳定图像的方法和设备，其中通过将相机所记录的图像分割成块以提取特征点并且通过基于特征点计算运动矢量以校正图像模糊，来输出稳定的图像。
技术方案
根据本公开的一些实施方式，一种基于由相机记录的图像中的帧的模糊校正来稳定图像的设备包括：图像接收单元，其被配置为接收由所述相机记录的图像；块分割单元，其被配置为将所述图像的帧分割成块；图像分析单元，其被配置为分析各个块的特性以计算各个块的权重；重要块提取单元，其被配置为从所述块中提取权重等于或大于阈值的块作为重要块；特征点提取单元，其被配置为通过提取所述重要块的像素并且在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较来从所述重要块提取特征点；局部运动矢量计算单元，其被配置为通过估计在先前帧中与所述特征点对应的至少一个块的运动来计算所述至少一个块的至少一个局部运动矢量；全局运动矢量计算单元，其被配置为基于所计算的所述至少一个块的至少一个局部运动矢量来计算全局运动矢量；以及图像校正单元，其被配置为基于所述全局运动矢量来校正所述帧的输出数据。
根据本公开的一些实施方式，一种基于由相机记录的图像中的帧的模糊校正来稳定图像的设备包括：图像接收单元，其被配置为接收由所述相机记录的图像；块分割单元，其被配置为将所述图像的帧分割成块；图像分析单元，其被配置为基于各个块的边缘密度和直方图分布特性来生成对象分布，并且使得所述块分割单元能够通过根据所述对象分布将具有相似对象分布的块合并来设定最终块；重要块提取单元，其被配置为提取所述最终块作为重要块；特征点提取单元，其被配置为提取所述重要块的像素，并且基于在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较的结果来提取特征点；局部运动矢量计算单元，其被配置为通过估计在先前帧中与所述特征点对应的至少一个重要块的运动来计算所述至少一个重要块的至少一个局部运动矢量；全局运动矢量计算单元，其被配置为基于所计算的所述至少一个重要块的至少一个局部运动矢量来计算全局运动矢量；以及图像校正单元，其被配置为基于所述全局运动矢量来校正所述帧的输出数据。
根据本公开的一些实施方式，一种基于由相机记录的图像中的帧的模糊校正来稳定图像的方法包括以下步骤：接收由所述相机记录的图像；将所述图像的帧分割成块；分析各个块的特性以计算各个块的权重；首次提取，包括提取权重等于或大于阈值的块作为重要块；执行特征点提取，包括通过提取所述重要块的像素并且在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较来从所述重要块提取特征点；通过估计在先前帧中与所述特征点对应的至少一个块的运动来计算所述至少一个块的至少一个局部运动矢量；基于所计算的所述至少一个块的至少一个局部运动矢量来计算全局运动矢量；以及基于所述全局运动矢量来校正所述帧的输出数据。
根据本公开的一些实施方式，一种基于由相机记录的图像中的帧的模糊校正来稳定图像的方法包括以下步骤：接收由所述相机记录的图像；通过将所述图像的帧分割成块来执行块分割；执行图像分析，包括基于各个块的边缘密度和直方图分布特性来生成对象分布，并且使得所述执行块分割的步骤能够通过根据所述对象分布将具有相似对象分布的块合并来设定最终块；提取所述最终块作为重要块；执行特征点提取，包括提取所述重要块的像素，并且基于在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较的结果来提取特征点；通过估计在先前帧中与所述特征点对应的至少一个重要块的运动来计算所述至少一个重要块的至少一个局部运动矢量；基于所计算的所述至少一个重要块的至少一个局部运动矢量来计算全局运动矢量；以及基于所述全局运动矢量来校正所述帧的输出数据。
有益效果
如上所述根据本公开的一些实施方式，通过以准确的方式确定并校正所记录的图像的模糊部分，在图像校正领域提供了一种有效的图像补偿方法。
根据本公开的一些实施方式，通过考虑图像特性和对象分布来估计各个块的局部运动矢量，而非使用整个图像的所有像素值，校正图像的效率增加，使得用于校正图像的时间减少。
根据本公开的一些实施方式，通过将图像分割成块来估计局部运动矢量，从而可通过最小的数据处理来校正用户所需要的记录的图像。
根据本公开的一些实施方式，一种图像稳定设备实现了集中于针对实现图像校正的用户便利和可达性的处理类型，继而实现稳定的图像以用于快速再现，广泛地适用于图像校正和图像稳定领域。
本公开的一些实施方式通过有效的图像校正增加了用户可达性和便利性，从而得到用于在图像校正领域构建新的服务模型的基础结构，因此通过创建新的内容和新的需求来获得经济效果。
附图说明
图1是包括根据本公开的一些实施方式的图像稳定设备的系统的框图。
图2是根据本公开的一些实施方式的图像稳定设备的框图。
图3是在根据本公开的一些实施方式的图像稳定设备中将图像分割成块，提取特征点并且计算运动矢量的处理的流程图。
图4是在根据本公开的一些实施方式的图像稳定设备中从图像的重要块提取特征点的处理的流程图。
图5是示出在根据本公开的一些实施方式的图像稳定设备中将图像的帧分割成块的处理的示意图。
具体实施方式
以下，将参照附图详细描述本公开的至少一个实施方式。在以下描述中，相似的标号指代相似的元件，尽管元件被示出于不同的图中。另外，在至少一个实施方式的以下描述中，为了清晰并且为了简明，本文所包含的已知功能和配置的详细描述将被省略。
首先参照图1描述包括根据本公开的一些实施方式的图像稳定设备100的总体系统。
根据一些实施方式的图像稳定设备100经由有线或无线网络500连接到用于捕获或记录图像的相机300。
根据一些实施方式的图像稳定设备100被配置成服务器等的形式。因此，图像稳定设备100的各个组成元件在概念上分离以便区分服务器的逻辑功能，但是物理上没有分离。图像稳定设备100与相机300交换图像数据以便校正图像的模糊。
图像稳定设备100接收通过多个相机300记录的图像，并且将所接收到的各个图像的帧分割成块。图像稳定设备100提取块中的对象的特征点，并且基于与特征点对应的块的局部运动矢量的计算来计算图像的全局运动矢量，因此校正模糊图像并输出校正的图像。图像稳定设备100不限于其字面含义。图像稳定设备100通过在移动终端中安装图像校正应用软件来校正图像的模糊。移动终端通过用户的操作或指令来运行图像校正应用，并且利用该图像校正应用来校正模糊图像。当移动终端是智能电话时，通过从应用商店下载来将图像校正应用安装在移动终端中。当移动终端是功能性电话时，在从通信提供商服务器下载的虚拟机(VM)上运行图像校正应用。图像校正应用可被嵌入移动终端中，被嵌入移动终端的操作系统(OS)中，或者通过用户的操作或指令被安装在移动终端的OS上。以上述方式安装在移动终端中的图像校正应用可与安装在移动终端中的基本应用软件(例如，短信应用、数据通信应用、信使应用、电话应用、收音机应用、DMB应用、导航应用等)交互地运行，但是不限于这种方案，而是可独立地运行，而与基本应用无关。
图2是根据本公开的一些实施方式的图像稳定设备100的框图。
参照图2，根据一些实施方式的图像稳定设备100包括图像接收单元110、块分割单元120、图像分析单元130、重要块提取单元140、特征点提取单元150、局部运动矢量计算单元160、全局运动矢量计算单元170、图像校正单元180和图像输出单元190。
连接到图像稳定设备100的相机300是用于捕获或记录图像的装置。相机300包括用于记录对象图像以监控对象的移动、进入和离开的CCTV相机、监视相机、安装在作为移动终端的智能电话上的相机等。通过相机300记录的图像包括多个帧。
描述了连接到图像稳定设备100的相机300经由网络500与图像稳定设备100交换图像和数据；然而，本公开不限于此方案。相机300可经由任何形式的网络来与图像稳定设备100交换图像和数据，而不限于其字面含义，例如短距离通信网络或者通过预定公司所安装的通信基站建立的通信网络，只要发送和接收图像和数据即可。
图像稳定设备100的图像接收单元110连接到相机300，并且接收由相机300记录的图像。图像表示来自分组到相机300的多个相机中的每一个的记录的图像，并且记录的图像包括多个帧。
块分割单元120将相机所记录的图像中的帧分割成单元块。块分割包括将帧分割成N×N大小的固定块并且通过基于块中的边缘密度和直方图分布特性将具有相似对象分布的块组合来设定最终块。例如，难以提取特征点的区域(例如，天空和沙漠)被分割成较大的块，包括诸如人、物等的对象的区域根据对象大小被分割成较小或中等的块。
图像分析单元130通过分析由块分割单元120分割的块的特性来计算块的权重。权重的计算包括通过基于块的边缘密度和直方图分布特性计算对象分布来计算块的权重。例如，在权重的计算中，当块中的边缘密度显著低或者直方图分布偏向一侧时，确定对应区域难以提取特征点，并且对应块的权重被计算为较小的值。
基于从图像分析单元130接收的权重，重要块提取单元140从块分割单元120所分割的块当中提取权重等于或大于预定阈值的块作为重要块。重要块提取单元140根据边缘密度和直方图分布特性来基于对象分布在所分割的块当中提取权重等于或大于预定阈值的块作为重要块。
特征点提取单元150提取由重要块提取单元140提取的重要块中所包括的对象的特征点。特征点提取单元150提取块的像素，根据周围颜色或亮度中的至少一个在像素之间进行比较，并且基于比较结果提取特征点。
局部运动矢量计算单元160通过估计在先前帧中与特征点提取单元150所提取的特征点对应的至少一个块的运动来计算局部运动矢量。
全局运动矢量计算单元170基于所计算的至少一个块的至少一个局部运动矢量来计算全局运动矢量。通过对局部运动矢量应用权重并且对加权的局部运动矢量取平均来计算全局运动矢量。当通过参照所计算的多个帧的多个局部运动矢量确定特征点的运动为恒定时，全局运动矢量计算单元170确定特征点的局部运动矢量与正常移动对象对应，并且省略全局运动矢量的生成。当至少一个局部运动矢量的大小或方向中的至少一个在预定阈值范围之外时，全局运动矢量计算单元170省略局部运动矢量的全局运动矢量的生成。
图像校正单元180基于全局运动矢量计算单元170所计算的全局运动矢量来校正帧的输出数据。
图像输出单元190将图像校正单元180所校正的图像数据输出在画面上。
图3是在根据本公开的一些实施方式的图像稳定设备中将图像分割成块，提取特征点并且计算运动矢量的处理的流程图。下面参照图3描述根据一些实施方式的稳定图像的方法的细节。
在接收到通过相机300记录的图像时(步骤S210)，根据本公开的一些实施方式的图像稳定设备100将图像的帧分割成块以便校正由相机300记录的图像中的帧的模糊(步骤S220)。
图像稳定设备100通过分析块的边缘密度和块的直方图分布特性来计算块的权重(步骤S230)，并且基于块的权重从块当中提取重要块(步骤S240)。图像稳定设备100根据块边缘密度和直方图分布特性来基于对象分布从所分割的块当中提取权重等于或大于预定阈值的块作为重要块。
图像稳定设备100提取重要块的特征点(步骤S250)，并且计算重要块的局部运动矢量(步骤S260)。然后，图像稳定设备100通过将权重应用于重要块的局部运动矢量并且计算局部运动矢量的加权平均值来计算与整个图像对应的全局运动矢量(步骤S270)。
图像稳定设备100使得图像校正单元180能够利用全局运动矢量来校正图像的模糊(步骤S280)。
图4是在根据本公开的一些实施方式的图像稳定设备中从图像的重要块提取特征点的处理的流程图。
图像稳定设备100提取图像中的重要块(步骤S310)，并且提取重要块的像素(步骤S320)。图像稳定设备100根据块边缘密度和直方图分布特性来基于对象分布从所分割的块当中提取权重等于或大于预定阈值的块作为重要块，并且提取重要块的像素。
图像稳定设备100确定像素的颜色或亮度相对于相邻像素的颜色或亮度是否显著改变(步骤S330)，并且当确定像素的颜色或亮度显著改变时，提取所述像素作为特征点(步骤S340)。如果没有显著改变，则图像稳定设备100进行至下一像素以继续像素提取处理。
图像稳定设备100确定所提取的特征点的数量是否等于或大于预定阈值(步骤S350)，当它低于预定阈值时进行至下一像素(步骤S360)，当确定特征点的数量等于或大于所述预定阈值时，图像稳定设备100通过结束所述处理来提取特征点。
图5是示出在根据本公开的一些实施方式的图像稳定设备中将图像的帧分割成块的处理的示意图。
在图5中，图像稳定设备100将图像中的帧分割成预定宽度和高度(例如，N×N)的固定块，并且通过经由对象分布的分析将具有相似对象分布的块合并来设定最终块。
在描述本公开的一些实施方式时，如早前简要描述的，根据本公开的一些实施方式的图像稳定设备100的各个组成元件是逻辑上分离的元件，而非物理上分离的元件。
充当实现本公开的一些实施方式的技术构思的逻辑组成元件，即使一些组件被组合或分离以执行其相应的功能，各个组件也应该被解释为在本公开的范围内，只要可实现实施方式的逻辑配置的功能即可。各个组件应该被解释为在本公开的范围内，只要这些组件执行相同或相似的功能即可，而不管它们字面上是否相同。
尽管出于例示性目的描述了本公开的示例性实施方式，本领域技术人员将理解，在不脱离实施方式的构思和范围的情况下，可进行各种修改、添加和替换。
因此，为了简明和清晰描述了本公开的示例性实施方式，如上明确地描述的实施方式并非旨在限制要求保护的发明的范围。
本公开的范围应该通过下面要求保护的发明及其等同物来解释。
工业实用性
如上所述，本公开可通过实现集中于针对实现图像校正的用户便利和可达性的处理类型来广泛地用在图像校正和图像稳定领域。
标号说明
100：图像稳定设备 110：图像接收单元
120：块分割单元 130：图像分析单元
140：重要块提取单元 150：特征点提取单元
160：局部运动矢量计算单元
170：全局运动矢量计算单元
180：图像校正单元 190：图像输出单元
300：相机 310：相机1
330：相机2 350：相机n
500：网络
相关申请的交叉引用
本申请要求2013年9月16日提交于韩国的专利申请No.10-2013-0111366在35U.S.C§119(a)下的优先权，其完整内容以引用方式并入本文。另外，此非临时申请出于相同的原因基于该韩国专利申请要求美国以外的国家的优先权，其完整内容以引用方式并入本文。

Claims (9)

1.一种基于由相机记录的图像中的帧的模糊校正来稳定图像的设备，该设备包括：
图像接收单元，该图像接收单元被配置为接收由所述相机记录的图像；
块分割单元，该块分割单元被配置为将所述图像的帧分割成块；
图像分析单元，该图像分析单元被配置为分析各个块的边缘密度和直方图分布特性以计算各个块的权重；
重要块提取单元，该重要块提取单元被配置为从所述块中提取权重等于或大于阈值的块作为重要块；
特征点提取单元，该特征点提取单元被配置为通过提取所述重要块的像素并且在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较来从所述重要块提取特征点；
局部运动矢量计算单元，该局部运动矢量计算单元被配置为通过估计在先前帧中与所述特征点对应的至少一个块的运动来计算所述至少一个块的至少一个局部运动矢量；
全局运动矢量计算单元，该全局运动矢量计算单元被配置为基于所计算的所述至少一个块的至少一个局部运动矢量来计算全局运动矢量；以及
图像校正单元，该图像校正单元被配置为基于所述全局运动矢量来校正所述帧的输出数据，
其中，所述块分割单元还被配置为通过根据从所述图像分析单元接收的边缘密度和直方图分布特性将具有相似对象分布的块合并来设定最终块，并且
所述重要块提取单元还被配置为提取所述最终块作为所述重要块。
2.根据权利要求1所述的设备，其中，所述全局运动矢量计算单元被配置为基于对所述至少一个局部运动矢量应用权重以及所述至少一个局部运动矢量的加权平均值来计算所述全局运动矢量。
3.根据权利要求1所述的设备，其中，所述局部运动矢量计算单元被配置为针对所述特征点计算多个帧的局部运动矢量。
4.根据权利要求3所述的设备，其中，当通过参照所计算的所述多个帧的多个局部运动矢量确定所述特征点的运动为恒定时，所述全局运动矢量计算单元被配置为确定针对所述特征点的所述局部运动矢量表示正常移动对象，并且省略所述全局运动矢量的生成。
5.根据权利要求1所述的设备，其中，当所述至少一个局部运动矢量的大小或方向中的至少一个在预定阈值范围之外时，所述全局运动矢量计算单元被配置为省略所述至少一个局部运动矢量的所述全局运动矢量的生成。
6.一种基于由相机记录的图像中的帧的模糊校正来稳定图像的设备，该设备包括：
图像接收单元，该图像接收单元被配置为接收由所述相机记录的图像；
块分割单元，该块分割单元被配置为将所述图像的帧分割成块；
图像分析单元，该图像分析单元被配置为基于各个块的边缘密度和直方图分布特性来生成对象分布，并且使得所述块分割单元能够通过根据所述对象分布将具有相似对象分布的块合并来设定最终块；
重要块提取单元，该重要块提取单元被配置为提取所述最终块作为重要块；
特征点提取单元，该特征点提取单元被配置为提取所述重要块的像素，并且基于在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较的结果来提取特征点；
局部运动矢量计算单元，该局部运动矢量计算单元被配置为通过估计在先前帧中与所述特征点对应的至少一个重要块的运动来计算所述至少一个重要块的至少一个局部运动矢量；
全局运动矢量计算单元，该全局运动矢量计算单元被配置为基于所计算的所述至少一个重要块的至少一个局部运动矢量来计算全局运动矢量；以及
图像校正单元，该图像校正单元被配置为基于所述全局运动矢量来校正所述帧的输出数据。
7.一种存储有包括计算机可执行指令的计算机程序的非暂时性计算机可读记录介质，所述计算机可执行指令在处理器中执行时使得所述处理器执行：
接收由相机记录的图像；
将所述图像的帧分割成块；
分析各个块的边缘密度和直方图分布特性以计算各个块的权重；
提取权重等于或大于阈值的块作为重要块；
执行特征点提取，这包括：
提取所述重要块的像素，以及
基于在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较的结果来提取特征点；
通过估计在先前帧中与所述特征点对应的至少一个块的运动来计算所述至少一个块的至少一个局部运动矢量；
基于所计算的所述至少一个块的至少一个局部运动矢量来计算全局运动矢量；以及
基于所述全局运动矢量来校正所述帧的输出数据。
8.一种基于由相机记录的图像中的帧的模糊校正来稳定图像的方法，该方法包括以下步骤：
接收由所述相机记录的图像；
将所述图像的帧分割成块；
分析各个块的边缘密度和直方图分布特性以计算各个块的权重；
首次提取，这包括提取权重等于或大于阈值的块作为重要块；
执行特征点提取，这包括通过提取所述重要块的像素并且在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较来从所述重要块提取特征点；
通过估计在先前帧中与所述特征点对应的至少一个块的运动来计算所述至少一个块的至少一个局部运动矢量；
基于所计算的所述至少一个块的至少一个局部运动矢量来计算全局运动矢量；以及
基于所述全局运动矢量来校正所述帧的输出数据。
9.一种基于由相机记录的图像中的帧的模糊校正来稳定图像的方法，该方法包括以下步骤：
接收由所述相机记录的图像；
通过将所述图像的帧分割成块来执行块分割；
执行图像分析，这包括：
基于各个块的边缘密度和直方图分布特性来生成对象分布，以及
使得所述执行块分割的步骤能够通过根据所述对象分布将具有相似对象分布的块合并来设定最终块；
提取所述最终块作为重要块；
执行特征点提取，这包括：
提取所述重要块的像素，以及
基于在所提取的像素与所提取的像素的相邻像素之间对颜色和亮度中的至少一个进行比较的结果来提取特征点；
通过估计在先前帧中与所述特征点对应的至少一个重要块的运动来计算所述至少一个重要块的至少一个局部运动矢量；
基于所计算的所述至少一个重要块的至少一个局部运动矢量来计算全局运动矢量；以及
基于所述全局运动矢量来校正所述帧的输出数据。
CN201480048861.5A 2013-09-16 2014-09-15 利用图像模糊校正进行图像稳定的设备和方法 Active CN105519092B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130111366A KR102072014B1 (ko) 2013-09-16 2013-09-16 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
KR10-2013-0111366 2013-09-16
PCT/KR2014/008564 WO2015037957A1 (ko) 2013-09-16 2014-09-15 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법

Publications (2)

Publication Number Publication Date
CN105519092A CN105519092A (zh) 2016-04-20
CN105519092B true CN105519092B (zh) 2019-06-04

Family

ID=52665975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480048861.5A Active CN105519092B (zh) 2013-09-16 2014-09-15 利用图像模糊校正进行图像稳定的设备和方法

Country Status (4)

Country Link
US (1) US9811887B2 (zh)
KR (1) KR102072014B1 (zh)
CN (1) CN105519092B (zh)
WO (1) WO2015037957A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282458B1 (ko) * 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법
EP3686843A1 (en) * 2016-06-08 2020-07-29 Esaote S.p.A. Method and system for estimating motion between images, particularly in ultrasound spatial compounding
JP6823469B2 (ja) * 2017-01-20 2021-02-03 キヤノン株式会社 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
KR102434397B1 (ko) * 2017-07-10 2022-08-22 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN109658455B (zh) * 2017-10-11 2023-04-18 阿里巴巴集团控股有限公司 图像处理方法和处理设备
KR102521656B1 (ko) 2018-01-03 2023-04-13 삼성전자주식회사 객체를 인식하는 방법 및 장치
KR102429337B1 (ko) 2018-01-16 2022-08-03 한화테크윈 주식회사 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
CN110505435B (zh) * 2018-05-16 2021-01-29 京鹰科技股份有限公司 图像传输方法及其系统与图像传送端装置
CN113497886B (zh) * 2020-04-03 2022-11-04 武汉Tcl集团工业研究院有限公司 视频处理方法、终端设备及计算机可读存储介质
CN111724421B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113625737A (zh) * 2021-08-13 2021-11-09 海创飞龙(福建)科技有限公司 一种用于侦引打评的无人机装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201023632A (en) * 2008-12-03 2010-06-16 Inst Information Industry Method and system for digital image stabilization and computer program product using the method thereof
CN101951463A (zh) * 2010-05-19 2011-01-19 上海稳像信息技术有限公司 基于简易快速全局运动参数估计的实时视频稳像方法
CN102148934A (zh) * 2011-04-02 2011-08-10 北京理工大学 一种多模式实时电子稳像系统
CN102547118A (zh) * 2010-12-23 2012-07-04 三星电子株式会社 数字图像稳定设备
CN102663718A (zh) * 2012-03-19 2012-09-12 清华大学 一种全局不一致图像去模糊的方法及系统
KR101202642B1 (ko) * 2011-09-30 2012-11-19 고려대학교 산학협력단 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
CN102801972A (zh) * 2012-06-25 2012-11-28 北京大学深圳研究生院 基于特征的运动矢量估计和传递方法
CN103227888A (zh) * 2013-04-21 2013-07-31 中国科学技术大学 一种基于经验模式分解和多种评价准则的视频去抖动方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
JP4665737B2 (ja) * 2005-11-30 2011-04-06 カシオ計算機株式会社 画像処理装置及びプログラム
JP4700544B2 (ja) * 2006-04-03 2011-06-15 三星電子株式会社 撮像装置，及び撮像方法
JP2009088628A (ja) * 2007-09-27 2009-04-23 Canon Inc 画像処理装置
JP2009290588A (ja) * 2008-05-29 2009-12-10 Kyocera Corp 動きベクトル検出装置およびその方法、並びに撮像装置
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4915423B2 (ja) * 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
KR101612125B1 (ko) * 2009-06-12 2016-04-12 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무를 판단하는 방법
KR101657526B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201023632A (en) * 2008-12-03 2010-06-16 Inst Information Industry Method and system for digital image stabilization and computer program product using the method thereof
CN101951463A (zh) * 2010-05-19 2011-01-19 上海稳像信息技术有限公司 基于简易快速全局运动参数估计的实时视频稳像方法
CN102547118A (zh) * 2010-12-23 2012-07-04 三星电子株式会社 数字图像稳定设备
CN102148934A (zh) * 2011-04-02 2011-08-10 北京理工大学 一种多模式实时电子稳像系统
KR101202642B1 (ko) * 2011-09-30 2012-11-19 고려대학교 산학협력단 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
CN102663718A (zh) * 2012-03-19 2012-09-12 清华大学 一种全局不一致图像去模糊的方法及系统
CN102801972A (zh) * 2012-06-25 2012-11-28 北京大学深圳研究生院 基于特征的运动矢量估计和传递方法
CN103227888A (zh) * 2013-04-21 2013-07-31 中国科学技术大学 一种基于经验模式分解和多种评价准则的视频去抖动方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"一种特征块与点结合的高精度电子稳像方法";许静等;《红外与激光工程》;20100531;第39卷;第542-545页
"基于视频图像序列的稳像和目标跟踪技术研究";曾清乐;《中国优秀硕士学位论文全文数据库信息科技辑》;20120715(第7期);第3部分

Also Published As

Publication number Publication date
US20160196639A1 (en) 2016-07-07
KR102072014B1 (ko) 2020-01-31
KR20150031766A (ko) 2015-03-25
US9811887B2 (en) 2017-11-07
WO2015037957A1 (ko) 2015-03-19
CN105519092A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105519092B (zh) 利用图像模糊校正进行图像稳定的设备和方法
US9373034B2 (en) Apparatus and method for tracking object
US10440284B2 (en) Determination of exposure time for an image frame
US20130307966A1 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
CN112767295A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
US10051274B2 (en) Image processing apparatus, method of calculating information according to motion of frame, and storage medium
CN110298327B (zh) 一种视觉特效处理方法及装置、存储介质与终端
CN108010059B (zh) 电子防抖算法的性能分析方法及装置
WO2022160857A1 (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN113887547B (zh) 关键点检测方法、装置和电子设备
KR101202642B1 (ko) 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
WO2023006009A1 (zh) 拍摄参数的确定方法、装置及电子设备
CN102637295B (zh) 一种快速图像电子稳定方法及装置
CN114429191B (zh) 基于深度学习的电子防抖方法、系统及存储介质
CN110689014B (zh) 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN114119964A (zh) 一种网络训练的方法及装置、目标检测的方法及装置
US20200402243A1 (en) Video background estimation using spatio-temporal models
EP2903263A1 (en) Image processing device and image processing method
CN104182931A (zh) 超分辨率方法和装置
CN111340101B (zh) 稳定性评估方法、装置、电子设备和计算机可读存储介质
CN112085002A (zh) 人像分割方法、装置、存储介质及电子设备
CN105357575A (zh) 一种视频图像处理装置和方法
CN112313944A (zh) 图像处理方法、装置、设备及存储介质
Liu et al. Towards an efficient model of visual saliency for objective image quality assessment
JP6292708B2 (ja) 画像情報から交通量推定のためのパラメータを求める方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant