CN1305292C - 对连续图像帧间偏移的估计方法 - Google Patents

对连续图像帧间偏移的估计方法 Download PDF

Info

Publication number
CN1305292C
CN1305292C CNB031571158A CN03157115A CN1305292C CN 1305292 C CN1305292 C CN 1305292C CN B031571158 A CNB031571158 A CN B031571158A CN 03157115 A CN03157115 A CN 03157115A CN 1305292 C CN1305292 C CN 1305292C
Authority
CN
China
Prior art keywords
play amount
image
characteristic point
characteristic
characteristic points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB031571158A
Other languages
English (en)
Other versions
CN1525732A (zh
Inventor
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vimicro Artificial Intelligence Chip Technology Co ltd
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CNB031571158A priority Critical patent/CN1305292C/zh
Publication of CN1525732A publication Critical patent/CN1525732A/zh
Application granted granted Critical
Publication of CN1305292C publication Critical patent/CN1305292C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

一种对连续图像帧间偏移量的计算方法，包括步骤：(1).对当前帧图像进行分析，找出一些明显的特征点；(2).对下一帧图像进行分析，查找步骤(1)中所述特征点在新图像中的新位置，并求出这些特征点各自的偏移量；(3).对这些特征点的偏移量进行综合，得到整帧图像的偏移量；(4).如果剩下的可靠特征点数量足够多，则保存比较可靠的那些特征点的位置信息，回到步骤(2)；如果剩下的可靠特征点数量已经很少，回到步骤(1)。所述方法只对图像中某些特征点进行处理及匹配，并通过对这些特征点的偏移量进行合理地分析及综合，从而得到帧间的偏移量，这样一来就避免了对每个像素都进行处理或变换，从而大大提高了处理速度。

Description

对连续图像帧间偏移的估计方法
技术领域
本发明涉及图像和视频处理领域，尤其是涉及到一种对连续图像帧间偏移量的计算方法。
背景技术
在现有的图像处理技术中，往往需要用到对连续图像帧间偏移量的计算，譬如在图像合成方法对平面运动轨迹的估计，就是由各帧之间偏移量累加得到的。现有的帧间偏移估计方法一般都是对整帧图像进行处理，例如有的方法是对各帧图像直接进行块匹配；有的方法是对各帧图像进行FFT(快速傅立叶变换)变换，求出其相位相关函数，其最大值对应的坐标即为图像之间的偏移量。中国专利局中专利申请号为03156042.3的专利申请《一种图像合成处理方法》中所用即为该种方法。
但是，因为上述技术要对整帧图像里的几乎每个像素点(pixel)都进行处理或变换，所以都不可避免地带来了很大的计算量，这导致的直接结果就是处理速度的降低，以致于在某些场合下上述方法不能满足所需要求。
发明内容
本发明的目的在于提供一种对连续图像帧间偏移量的计算方法，以解决上述现存技术缺陷，为实现发明目的，提出方案如下：
一种对连续图像帧间偏移量的计算方法，包括步骤：
(1)、对当前帧图像进行分析，找出一些特征点，并将所述特征点的相应位置信息保存下来；
(2)、对下一帧图像进行分析，查找步骤(1)中所述特征点在所述下一帧图像中的位置，并通过一定的判别标准，筛选出步骤(1)中所述特征点中比较可靠的那些特征点，并求出所筛选出的特征点各自的偏移量；
(3)、对上述所筛选出的特征点的偏移量进行综合，得到整帧图像的偏移量；
(4)、根据判断标准判断，如果剩下的可靠特征点数量足够多，则保存所述剩下的可靠特征点的位置信息，回到步骤(2)；否则回到步骤(1)。
其中：
步骤(1)中所述的特征点，可以包括但并不仅限于边缘(edge)和角点(corner)。
在步骤(1)中，可以通过下列步骤得到特征点：对整帧图像应用边缘算子，得到边缘图像，然后在边缘图像中找出各边的端点及转折点作为特征点。
在步骤(2)中，查找步骤(1)中所述特征点在所述下一帧图像中的位置可以通过以下过程实现：对每一个特征点近邻的一小块局部区域应用边缘算子，得到这一局部区域的边缘图像；在边缘图像中对所述每一个特征点进行匹配，找到对应点。
在步骤(3)中，可通过以下过程来得到整帧图像的偏移量：采用了一个核函数(kernel function)z＝-(x*x+y*y)+1对各个特征点提供的偏移量进行综合，并在x，y方向上各采用一定单位为间隔进行计算，最后得到这些特征点的偏移量在各个x，y离散点上的贡献总和；总和的最大值对应的x，y值就是整帧图像的偏移量。
在步骤(1)和步骤(2)中，还可用金字塔结构(Pyramid Structure)对图像或图像中的局部区域进行处理，即在将图像缩放到一定比例的时候对该图像进行上述处理，以加快速度。
相对现有技术，本发明的优点在于：
所述方法只对图像中某些特征点进行处理及匹配，并通过对这些特征点的偏移量进行合理地分析及综合，从而得到帧间的偏移量，这样一来就避免了对每个像素都进行处理或变换，从而大大提高了处理速度。
本发明的上述和其它目的、特征和优点从下面结合附图和并非特定的实施例的具体描述中将变得更明显。
附图说明
图1是本发明所述方法流程图。
具体实施方式
在下面的说明中，公知的技术将不再详细说明，以避免与本发明的内容存在不必要的混淆。
下面以图像合成处理为例来对本发明所述方法进行说明。当摄像装置因某种原因不能对一张静态画面进行完整拍摄时，其通常采用的办法是对其分区域连续拍摄多副图像，然后再对其进行合成，通常包括下面几个步骤：步骤一，将所拍摄的各帧图像分离提取出来；步骤二，通过对所取的N帧和N+1帧图像偏移量的计算，寻求拍摄镜头的精确平面运动轨迹；步骤三，根据运动轨迹对各帧图像进行合成。
在对步骤二进行偏移量计算的时候便可以利用本发明所述方法来实现，如附图1所示，在步骤10中，对当前帧图像进行分析，找出一些明显的特征点，并将其相应位置信息保存下来；在步骤11中，对下一帧图像进行分析，查找步骤10中所述特征点在所述下一帧图像中的位置；在步骤12中，通过一定的判别标准，从这些特征点中通过筛选出其中比较可靠的特征点，并求出这些特征点各自的偏移量；在步骤13中，对这些特征点的偏移量进行综合，得到整帧图像的偏移量；在步骤14中，判断剩下的可靠特征点数量是否足够多，其判断标准可以依据经验或者相关的要求来设定，如果剩下的可靠特征点数量足够多，则进入步骤15，保存比较可靠的那些特征点的位置信息，然后重新返回到步骤11，重新进行新一帧图像的处理，如果剩下的可靠特征点数量已经很少，则回到步骤10，重新确定特征点后再进行后续的处理步骤。
在上述具体实施例中，可以通过以下技术进行细节方面的实现：
在步骤10中，先对整帧图像应用边缘算子，得到边缘图像，然后在边缘图像中找出各边的端点及比较大的转折点，作为其特征点；
在步骤11中，对每一个特征点近邻的一小块局部区域应用边缘算子，得到这一局部区域的边缘图像，然后在其中对这一特征点进行匹配，找到对应点；
在步骤13中，采用了一个核函数(kernel function)z＝-(x*x+y*y)+1对各个特征点提供的偏移量进行综合，并在x，y方向上各采用0.25为间隔进行计算，最后得到这些特征点的偏移量在各个x，y离散点上的贡献总和。总和的最大值对应的x，y值就是整帧图像的偏移量。
在步骤10和步骤11中，还可以用金字塔结构(Pyramid Structure)对图像或图像中的局部区域进行处理，即在将图像缩放到一定比例的时候对其进行上述处理，以加快速度。
本发明所述的对连续图像帧间偏移量的计算方法，并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明之领域，对于熟悉本领域的人员而言可容易地实现另外的优点和进行修改，因此在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (7)

1、一种对连续图像帧间偏移量的计算方法，包括步骤：
(1)、对当前帧图像进行分析，找出一些特征点，并将所述特征点的相应位置信息保存下来；
(2)、对下一帧图像进行分析，查找步骤(1)中所述特征点在所述下一帧图像中的位置，并通过一定的判别标准，筛选出这些特征点中比较可靠的特征点，并求出所筛选出的特征点各自的偏移量；
(3)、对上述所筛选出的特征点的偏移量进行综合，得到整帧图像的偏移量；
(4)、根据判断标准判断，如果剩下的可靠特征点数量足够多，则保存所述剩下的可靠特征点的位置信息，回到步骤(2)；否则，回到步骤(1)。
2、根据权利要求1所述对连续图像帧间偏移量的计算方法，其特征在于，步骤(1)中所述的特征点，是边缘和角点。
3、根据权利要求1所述对连续图像帧间偏移量的计算方法，其特征在于，在步骤(1)中，通过下列步骤得到特征点：对整帧图像应用边缘算子，得到边缘图像，然后在边缘图像中找出各边的端点及转折点作为特征点。
4、根据权利要求1所述对连续图像帧间偏移量的计算方法，其特征在于，在步骤(2)中，查找步骤(1)中所述特征点在所述下一帧图像中的位置通过以下过程实现：对每一个特征点近邻的一小块局部区域应用边缘算子，得到这一局部区域的边缘图像；在边缘图像中对每一个特征点进行匹配，找到对应点。
5、根据权利要求1所述对连续图像帧间偏移量的计算方法，其特征在于，在步骤(3)中，通过以下过程来得到整帧图像的偏移量：采用了一个核函数z＝-(x*x+y*y)+1对各个特征点提供的偏移量进行综合，并在x，y方向上各采用一定单位为间隔进行计算，最后得到这些特征点的偏移量在各个x，y离散点上的贡献总和；总和的最大值对应的x，y值就是整帧图像的偏移量。
6、根据权利要求5所述对连续图像帧间偏移量的计算方法，其特征在于，所述在x，y方向上各采用一定单位为间隔进行计算时所用单位是0.25。
7、根据权利要求1所述对连续图像帧间偏移量的计算方法，其特征在于，在步骤(1)和步骤(2)中，用金字塔结构对图像或图像中的局部区域进行处理，即在将图像缩放到一定比例的时候对所述图像进行上述处理。
CNB031571158A 2003-09-15 2003-09-15 对连续图像帧间偏移的估计方法 Expired - Lifetime CN1305292C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB031571158A CN1305292C (zh) 2003-09-15 2003-09-15 对连续图像帧间偏移的估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB031571158A CN1305292C (zh) 2003-09-15 2003-09-15 对连续图像帧间偏移的估计方法

Publications (2)

Publication Number Publication Date
CN1525732A CN1525732A (zh) 2004-09-01
CN1305292C true CN1305292C (zh) 2007-03-14

Family

ID=34287145

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031571158A Expired - Lifetime CN1305292C (zh) 2003-09-15 2003-09-15 对连续图像帧间偏移的估计方法

Country Status (1)

Country Link
CN (1) CN1305292C (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977989B (zh) * 2014-01-24 2021-11-16 青岛海信移动通信技术股份有限公司 一种确定图像偏移量的方法及设备
CN104197933B (zh) * 2014-09-16 2017-11-07 中国科学院光电技术研究所 一种望远镜视场中高星等滑动恒星的增强和提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069537A (ja) * 1996-08-28 1998-03-10 Nec Corp 画像合成方法及び画像合成装置
CN1219825A (zh) * 1997-03-05 1999-06-16 三星电子株式会社 运动估计方法
JP2000165641A (ja) * 1998-11-24 2000-06-16 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置およびデータ記憶媒体
CN1271095A (zh) * 2000-03-14 2000-10-25 华中理工大学 产品图象自动检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069537A (ja) * 1996-08-28 1998-03-10 Nec Corp 画像合成方法及び画像合成装置
CN1219825A (zh) * 1997-03-05 1999-06-16 三星电子株式会社 运动估计方法
JP2000165641A (ja) * 1998-11-24 2000-06-16 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置およびデータ記憶媒体
CN1271095A (zh) * 2000-03-14 2000-10-25 华中理工大学 产品图象自动检测系统

Also Published As

Publication number Publication date
CN1525732A (zh) 2004-09-01

Similar Documents

Publication Publication Date Title
US8587636B2 (en) Image processing apparatus and method, and program
US7221776B2 (en) Video stabilizer
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
CN101065964A (zh) 运动稳定化
US20110096143A1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
US20090169067A1 (en) Face detection and tracking method
KR101524548B1 (ko) 영상 정합 장치 및 방법
JP2009539273A (ja) ビデオクリップからのキーフレーム候補の抽出
EP2209086A1 (en) Image processing
WO2011126968A2 (en) Ghosting artifact reduction in temporal noise filtering
KR20050025063A (ko) 물체추적방법 및 물체추적장치
US8629908B2 (en) Method for detecting a moving object in a sequence of images captured by a moving camera, computer system and computer program product
CN1305292C (zh) 对连续图像帧间偏移的估计方法
Zheng et al. Video stabilization system based on speeded-up robust features
CN1852398A (zh) 一种摄像头和数据处理装置
US11044399B2 (en) Video surveillance system
GB2502047B (en) Video sequence processing
CN1221138C (zh) 一种图像合成处理方法
Yang et al. An adaptive image stabilization technique
Ryu et al. Video stabilization for robot eye using IMU-aided feature tracker
Mohamed et al. Asynchronous corner tracking algorithm based on lifetime of events for DAVIS cameras
JPH10233958A (ja) カメラパラメータ推定方法
CN1221137C (zh) 一种图像合成处理方法
CN112669487A (zh) 跟踪目标方法和巡检机器人
CN1946139A (zh) 一种对取景器中图像的处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180408

Address after: 100191 Xueyuan Road, Haidian District, Haidian District, Beijing, No. 607, No. six

Patentee after: BEIJING VIMICRO ARTIFICIAL INTELLIGENCE CHIP TECHNOLOGY CO.,LTD.

Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor

Patentee before: VIMICRO Corp.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20070314