CN101040299A - 图像运动矢量检测装置 - Google Patents

图像运动矢量检测装置 Download PDF

Info

Publication number
CN101040299A
CN101040299A CNA2006800010280A CN200680001028A CN101040299A CN 101040299 A CN101040299 A CN 101040299A CN A2006800010280 A CNA2006800010280 A CN A2006800010280A CN 200680001028 A CN200680001028 A CN 200680001028A CN 101040299 A CN101040299 A CN 101040299A
Authority
CN
China
Prior art keywords
mentioned
unit
data
motion vector
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800010280A
Other languages
English (en)
Inventor
外田修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN101040299A publication Critical patent/CN101040299A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明提供一种图像运动矢量检测装置。所述图像运动矢量检测装置能够以少的运算量检测出图像运动矢量，其包括：从一帧图像中取出规定行数的行数据的单元(2H)；对行数据进行边缘提取用的过滤的单元(3H)；以基于过滤后的行数据和第1阈值的时间，将当前帧的过滤后的行数据分别移动并累积的单元(5H，6H，7H)；根据该输出来确定横向运动矢量的单元(8H)；从一帧图像中取出规定列数的列数据的单元(2V)；对列数据进行边缘提取用的过滤的单元(3V)；以基于过滤后的列数据和第2阈值的时间，将当前帧的过滤后的列数据分别移动并累积的单元(5V，6V，7V)；以及根据该输出来确定纵向运动矢量的单元(8V)。

Description

图像运动矢量检测装置
技术领域
本发明涉及在运动图像中检测表示画面内的被摄体的运动的图像运动矢量的图像运动矢量检测装置。
背景技术
在摄像机的抖动校正中已在应用图像运动矢量检测技术(例如，参照非专利文献1)。作为通过图像运动矢量检测技术从连续取入的图像中检测运动矢量的方式，有代表点匹配方式。代表点匹配方式中，在连续取入的图像中，在前一帧的图像的固定的位置设定代表点，将前一帧的图像在2维方向上相对于当前帧的图像偏移，同时用对应的像素进行相关运算，将相关性为最高的偏移量作为运动矢量而输出。但是，该方式中，对代表点而言，必须存在一定值以上的亮度梯度，例如，在文档图像那样亮度梯度低的图像中，存在不能很好地检测出运动量的问题。
为了解决这样的问题，也提出了首先进行图像的特征点提取，通过以提取出的特征点作为代表点进行代表点匹配处理，从而在代表点必然存在亮度梯度的提案。(例如，参照专利文献1)。
非专利文献1：テレビジョン学会技術報告Vol.15，No.7(1991年1月)，p43-48，「純電子式画像摇れ補正システム」
专利文献1：特许第3534551号公报
但是，在以特征点作为代表点的以往的代表点匹配处理中，必须进行如下处理：通过在前一帧和当前帧中在整体探索范围内使像素以每次稍微偏移一点的方式逐渐偏移，同时进行代表点的相关运算而求出相关性最高的位置，从而求出运动矢量，因此存在运算量增加的问题。
发明内容
因而，本发明是为了解决上述的现有技术的问题而提出的，其目的是提供一种图像运动矢量检测装置，其能够以少的运算量检测出图像运动矢量。
本发明的图像运动矢量检测装置包括：行间隔提取单元，其从一帧图像中取出规定行数的行数据；横向边缘提取过滤单元，其对上述取出的行数据进行边缘提取用的过滤；第1判定/累积单元，其将当前帧的过滤后的行数据分别移动基于上述过滤后的行数据和预先设定的第1阈值的时间，并将上述移动后的行数据累积；横向运动矢量判定单元，其根据上述第1判定/累积单元的输出，确定横向运动矢量；列间隔提取单元，其从上述一帧图像中取出规定列数的列数据；纵向边缘提取过滤单元，其对上述取出的列数据进行边缘提取用的过滤；第2判定/累积单元，其将当前帧的过滤后的列数据分别移动基于上述过滤后的列数据和预先设定的第2阈值的时间，并将上述移动后的列数据累积；以及纵向运动矢量判定单元，其根据上述第2判定/累积单元的输出，确定纵向运动矢量。
根据本发明，由于通过追踪作为图像的特征点的边缘来检测运动矢量，因此即使对于图像内的各个像素的亮度梯度小的图像，也具有可适当地检测运动矢量的效果。另外，根据本发明，由于能够以少的运算量来检测运动矢量，因此，具有可搭载到例如带相机的便携电话等小型设备中的效果。
附图说明
图1是表示本发明的实施方式1的图像运动矢量检测装置的结构的方框图。
图2是实施方式1的图像运动矢量检测装置的行间隔提取单元的动作说明图。
图3(a)～(n)是说明实施方式1的图像运动矢量检测装置的阈值交叉判定单元及信号累积单元的动作的波形图。
图4是表示本发明的实施方式2的图像运动矢量检测装置的结构的方框图。
图5是实施方式2的图像运动矢量检测装置的横向边缘提取过滤单元和纵向投影单元的动作说明图。
图6是表示本发明的实施方式3的图像运动矢量检测装置的结构的方框图。
图7是实施方式3的图像运动矢量检测装置的行间隔提取单元、横向边缘提取过滤单元及纵向投影单元的动作说明图。
图8是表示本发明的实施方式4的图像运动矢量检测装置的结构的方框图。
图9是表示实施方式4的图像运动矢量检测装置的横向边缘提取过滤单元及纵向块投影单元的动作的图。
图10是表示本发明的实施方式5的图像运动矢量检测装置的结构的方框图。
图11是实施方式5的图像运动矢量检测装置的行间隔提取单元、横向边缘提取过滤单元及纵向块投影单元的动作说明图。
标号说明
1帧存储器；2H行间隔提取单元；2V列间隔提取单元；3H、3V边缘提取过滤单元；4H、4V行存储器；5H、5V阈值交叉判定单元；6H、6V信号累积单元；7H、7V峰值判定单元；8H横向运动矢量判定单元；8V纵向运动矢量判定单元；11当前帧的图像；12当前帧图像中的第k行数据；13前一帧图像中的第k行数据；14H横向边缘提取过滤单元；14V纵向边缘提取过滤单元；15H纵向投影单元；15V横向投影单元；18帧存储器内的图像数据；19横向边缘提取的输出；20纵向投影运算结果；21行间隔提取数据的边缘提取过滤结果；22纵向投影输出结果；23H纵向块投影单元；23V横向块投影单元；25数行进行了横向边缘提取的图像数据的汇总；26纵向投影输出结果；27纵向投影输出结果。
具体实施方式
实施方式1
图1是表示本发明的实施方式1的图像运动矢量检测装置的结构的方框图。本发明的图像运动矢量检测装置可用于摄像机的抖动校正等。这样的摄像机中，根据检测出的运动矢量来检测摄像机运动的方向和量，通过使拍摄元件上的使用区域向抵消摄像机运动的方向和量的方向移动，从而可实现抖动校正。
如图1所示，实施方式1的图像运动矢量检测装置包括：保存一帧的输入图像的帧存储器1；从保存在帧存储器1中的图像中取出多行的图像数据的行间隔提取单元2H；对该行间隔提取单元2H的输出进行边缘提取用的过滤的边缘提取过滤单元3H；保存与一帧相当的边缘提取过滤单元3H的输出的行存储器4H；判定存储在行存储器4H中的前一帧的第N行(N是正整数)的行间隔提取数据的边缘提取过滤单元3H的输出是否与输入的阈值Lx交叉的阈值交叉判定单元5H；按照该阈值交叉判定单元5H的输出，将边缘提取过滤单元3H的输出即第N行的过滤数据进行累积的信号累积单元6H；求出该信号累积单元6H的输出为最大的位置的峰值判定单元7H；根据多行的峰值判定单元7H的输出，求出画面全体的横向运动矢量的横向运动矢量判定单元8H。
另外，实施方式1的图像运动矢量检测装置包括：从保存在帧存储器1中的图像中取出多列的图像数据的列间隔提取单元2V；对该列间隔提取单元2V的输出进行边缘提取用的过滤的边缘提取过滤单元3V；保存与一帧相当的边缘提取过滤单元3V的输出的行存储器4V；判定存储在该行存储器4V中的前一帧的第M列(M是正整数)的行间隔提取数据的边缘提取过滤单元3V的输出是否与输入的阈值Ly交叉的阈值交叉判定单元5V；按照该阈值交叉判定单元5V的输出，对边缘提取过滤单元3V的输出即第M列过滤数据进行累积的信号累积单元6V；求出该信号累积单元6V的输出为最大的位置的峰值判定单元7V；根据数列的峰值判定单元7V的输出，求出画面全体的纵向运动矢量的纵向运动矢量判定单元8V。
接着，说明实施方式1的图像运动矢量检测装置的动作。实施方式1的图像运动矢量检测装置中，帧存储器1保存1画面的图像数据。行间隔提取单元2H从保存在帧存储器1中的图像数据中，例如针对每16行提取出图像的横向的1行的数据。图2是行间隔提取单元2H的动作说明图。图2中，11表示当前帧的图像数据全体。行间隔提取单元2H从图像数据全体11中，例如针对每16行提取出1行的数据。图2中，图像数据全体11内所示的粗线表示这些提取出的数据，例如，数据12表示在第k个(k是正整数)被提取出的行数据。这样提取出的全部的行数据被输出给边缘提取过滤单元3H。
边缘提取过滤单元3H对通过行间隔提取单元2H提取出的行数据进行边缘提取用的过滤。作为边缘提取用的过滤器，有单纯取出与相邻像素的差分的抽头系数(1，-1)的2抽头过滤器或与2次微分相当的抽头系数(-1，2，-1)的3抽头过滤器等。但是，作为边缘提取用的过滤器，只要是在亮度变化大的部分输出值或其绝对值变大，而在亮度变化大的部分以外的部分输出值或其绝对值变小的过滤器，则也可以是其他过滤器。
另外，边缘提取过滤单元3H在通过了在亮度变化大的部分输出值或其绝对值变大的过滤器后，进行阈值处理，从而能够2值化为“有边缘”和“无边缘”或3值化为“有正边缘”、“无边缘”和“有负边缘”。通过进行这样的阈值处理，可对阈值以上的规模的边缘进行同样的处理。
边缘提取过滤单元3H的输出被输出给行存储器4H及信号累积单元6H。
行存储器4H保存一帧的边缘提取过滤单元3H的输出，向阈值交叉判定单元5H输出一帧前的前一帧数据。
阈值交叉判定单元5H及信号累积单元6H的动作用图3(a)～(n)进行说明。图3(a)表示由边缘提取过滤单元3H对例如图2中的前一帧的第k个数据即行13进行了处理后的结果的行数据。这些数据由行存储器4H保存。阈值交叉判定单元5H首先找出信号Xn-1(t)从下向上与输入的阈值(预先设定的阈值)Lx交叉的点，向信号累积单元6H输出。
图3(a)中，阈值交叉判定单元5H检测出从下向上与阈值Lx交叉的点(黑圈表示的点)t+ 1，t+ 2，…，t+ k-1，t+ k，t+ k+1，…。
另外，图3(a)中，阈值交叉判定单元5H检测出从上向下与阈值Lx交叉的点(白图表示的点)t- 1，t- 2，…，t- k-1，t- k，t- k+1，…。
阈值交叉判定单元5H将这样检测出的点t+ 1，t+ 2，…，t+ k-1，t+ k，t+ k+1，…及t- 1，t- 2，…，t- k-1，t- k，t- k+1，…的信息(定时信息)向信号累积单元6H输出。
这些定时信息以及当前帧的图像的行数据的处理结果从边缘提取过滤单元3H被发送到信号累积单元6H。图3(b)表示由边缘提取过滤单元3H对例如图2中的当前帧的第k个数据12进行了处理后的结果的行数据xn(t)的例子。这里，对处于与由阈值交叉判定单元5H进行了处理的行相同的位置上的当前帧的行数据进行处理。
实施方式1中，为了容易理解处理的内容，示出了当前帧的数据xn(t)为将前一帧的数据xn-1(t)向右移动时间tvec后的信号的情况。
首先，信号累积单元6H如图3(c)所示，生成将当前帧的行数据向左偏移t+ 1而得到的信号。
接着，信号累积单元6H如图3(d)所示，生成将当前帧的行数据向左偏移t+ 2而得到的信号。
而且，信号累积单元6H如图3(e)、(f)所示，对全部交叉点…，t+ k-1，t+ k，t+ k+1，…进行同样的操作。
这样，取所获得的全部信号的平均值，得到图3(g)所示的信号。这里，图3(g)所示的信号，成为在作为当前帧的信号相对于前一帧的信号的移动量的tvec的位置处从下向上横穿阈值Lx的曲线。这里，将当前帧的信号作为将前一帧的信号移动后而得到的信号来进行了说明，而实际的图像中，可获得在偏移了与抖动导致的图像的运动对应的tvec后的部分上、从下向上横穿阈值Lx的曲线。
另外，以上说明了全部生成与点t+ 1，t+ 2，…，t+ k-1，t+ k，t+ k+1，…分别对应的信号，例如图3(c)、(d)、…、(e)、(f)、…所示的信号后取平均值的情况，但也可采用在生成了图3(d)的信号时与图3(c)的信号相加后取平均，在生成了图3(e)的信号时进行与迄今为止所求出的平均值的加权相加运算，从而取全体的平均值等的其他的处理步骤。
另外，根据装置的处理能力及数据保存能力，也可以取代图3(c)、(d)、…、(e)、(f)、…的信号的平均，而采用仅仅将信号相加而得到的值。
接着，信号累积单元6H生成将图3(h)所示的当前帧的行数据xn(t)向左偏移t- 1而得到的图3(i)所示的信号。
接着，信号累积单元6H生成将图3(h)所示的当前帧的行数据xn(t)向左偏移t- 2而得到的图3(j)所示的信号。
而且，信号累积单元6H如图3(k)、(l)所示，对全部的交叉点…，t- k-1，t- k，t- k+1，…进行这样的操作。取这样得到的全部信号的平均值，获得图3(l)的信号。这里，如图3(m)所示的信号成为在作为当前帧的信号相对于前一帧的信号的移动量的tvec的位置处从上向下横穿阈值Lx的曲线。这里，把当前帧的信号作为将前一帧的信号移动后的信号来进行了说明，而实际的图像中，可获得在偏移了与抖动导致的图像的运动对应的tvec后的部分上、从下向上横穿阈值的曲线。
另外，以上说明了全部生成与点t- 1，t- 2，…，t- k-1，t- k，t- k+1，…分别对应的信号，例如图3(i)、(j)、…、(k)、(l)、…所示的信号后取平均值的情况，也可采用在生成了图3(j)的信号时与图3(i)的信号相加后取平均，在生成了图3(k)的信号时进行与迄今为止所求出的平均值的加权相加运算，从而取全体的平均值等的其他的处理步骤。
最终，在信号累积单元6H中，取图3(g)所示的信号和图3(m)所示的信号的和，获得如图3(n)所示的信号。这里获得的图3(n)所示的信号被发送给峰值判定单元7H。
峰值判定单元7H中，从图3(n)所示的信号累积单元6H的输出信号中，求出该信号为最大的点。这里，图3(n)所示的信号为如下的曲线，即在作为当前帧的信号相对于前一帧的信号的移动量的位置处取得最大值2×Lx。这里，把当前帧的信号作为将前一帧的信号移动后的信号来说明，而实际的图像中，可获得在偏移了与抖动导致的图像的移动对应的tvec后的部分上取得最大值的曲线。图3(n)的例子中，判定为信号在tvec达到最大，将tvec作为该行数据的横向运动矢量而向横向运动矢量判定单元8H输出。
另外，峰值判定单元7H中，在判定图3(n)所示的曲线的峰值时，存在产生多个小的峰值而未明确地出现一个峰值的情况。在该情况下，可对图3(n)所示的曲线进行阈值处理，进行仅判定具有一定值以上的值的峰值的处理。从而，可减少运动矢量检测的误检测。
在阈值交叉判定单元5H、信号累积单元6H、峰值判定单元7H中，对由行间隔提取单元2H选择并由边缘提取过滤单元3H处理过的全部的行数据进行以上说明的处理，对各个行数据分别求出横向运动矢量，并将所述横向运动矢量输出给横向运动矢量判定单元8H。
横向运动矢量判定单元8H接收从峰值判定单元7H发送来的全部行数据的横向运动矢量，例如，将出现频度最高的横向运动矢量作为图像全体的横向运动矢量而输出。这里，在求出图像全体的横向运动矢量时采用出现频度最高的横向运动矢量，但是不限于该方法，例如，如果是取平均值等的可求出画面全体的横向运动矢量的方法，则也可以采用其他方法。
另一方面，列间隔提取单元2V中，例如，针对每16像素提取出图像的纵向的1列数据。边缘提取过滤单元3V、行存储器4V、阈值交叉判定单元5V、信号累积单元6V、峰值判定单元7V及纵向运动矢量判定单元8V中的处理分别与边缘提取过滤单元3H、行存储器4H、阈值交叉判定单元5H、信号累积单元6H、峰值判定单元7H及横向运动矢量判定单元8H中的处理相同，其结果，从纵向运动矢量判定单元8V输出图像全体的纵向运动矢量。
如上所述，从横向运动矢量判定单元8H输出画面全体的横向矢量，从纵向运动矢量判定单元8V输出画面全体的纵向矢量，将它们合起来后作为画面全体的运动矢量而输出。
这样，实施方式1的图像运动矢量检测装置中，关注一帧前的图像信号的行数据及列数据从上向下横穿阈值的点、及从下向上横穿阈值的点，取使当前帧的数据移动与这些横穿的点相当的移动量后的平均值，通过检索该值的最大值，从而检测出运动矢量，从而，可以追踪边缘这样的特征点的运动，以少的运算量求出图像的运动矢量。
实施方式2
图4是表示本发明实施方式2的图像运动矢量检测装置的结构的方框图。图4中，对与图1(实施方式1)的结构相同或对应的结构标注相同标号。实施方式2的图像运动矢量检测装置与上述实施方式1的不同点在于，取代图1中的行间隔提取单元2H及边缘提取过滤单元3H，而具备横向边缘提取过滤单元14H及纵向投影单元15H，取代图1中的列间隔提取单元2V及边缘提取过滤单元3V，而具备纵向边缘提取过滤单元14V及横向投影单元15V。
图5是实施方式2的图像运动矢量检测装置的横向边缘提取过滤单元14H和纵向投影单元15H的动作说明图。图5中，18表示输入到横向边缘提取过滤单元14H的图像数据。横向边缘提取过滤单元14H首先从图像数据18中提取出1行的数据，通过进行与边缘提取过滤单元3H同样的过滤，生成具有横向边缘信息的1行的数据。对图像数据18的全部行进行上述处理，获得提取出了横向边缘的数据19。纵向投影单元15H通过对提取出了横向边缘的数据19的全部数据获取纵向投影，获得1行的投影数据20。这里，纵向投影例如通过纵向地将数据相加起来来实现。
从而，纵向投影数据20成为包含图像数据18的全部的横向边缘信息的数据，另外，由于取投影，因此各行的噪声分量相互抵消。通过解析该数据的行为，可从1行的数据中获得图像全体的横向的运动信息。
以下，采用由纵向投影单元15H取出的横向1行的像素数据，使用从行存储器4H到峰值判定单元7H的结构，进行与实施方式1同样的处理。从而，根据从纵向投影数据20求出的与图3(n)对应的信号，求出峰值的位置。横向运动矢量判定单元8H将峰值判定单元7H的输出直接作为横向的运动矢量而输出。
实施方式1中，必须进行由行间隔提取单元2H取出的行数次的从阈值交叉判定单元5H到峰值判定单元7H的处理，但是实施方式2中，只进行1次上述处理即可，且可检测出图像全体的横向的运动矢量。
对于纵向的运动矢量检测也同样，由纵向边缘提取过滤单元14V在全部列中进行纵向的边缘提取的过滤，由横向投影单元15V在横向上获取全部数据的投影，从而可获得1列的数据。以下，通过对由横向投影单元15V取出的纵向1列的数据进行与横向相同的处理，从而从纵向运动矢量判定单元8V获得纵向运动矢量。
最后，通过将横向运动矢量判定单元8H的输出即横向运动矢量和纵向运动矢量判定单元8V的输出即纵向运动矢量合起来，从而可获得图像全体的运动矢量。
这样，在实施方式2的运动矢量检测单元中，关注一帧前的图像信号的纵向投影数据及横向投影数据从上向下横穿阈值的点、及从下向上横穿阈值的点，取将当前帧的投影数据偏移与这些横穿的点相当的偏移量后的平均值，通过检索该值的最大值从而检测出运动矢量，从而，能够以少的阈值处理量求出运动矢量。
另外，实施方式2中，上述以外的方面与上述实施方式1的情况相同。
实施方式3
图6是表示本发明实施方式3的图像运动矢量检测装置的结构的方框图。图6中，与图4(实施方式2)的结构相同或对应的结构标注相同的标号。实施方式3的图像运动矢量检测装置与上述实施方式2的不同点在于，在帧存储器1和横向边缘提取过滤单元14H之间配置有行间隔提取单元2H，在帧存储器1和纵向边缘提取过滤单元14V之间配置有行间隔提取单元2V。
图7是实施方式3的图像运动矢量检测装置的行间隔提取单元12H、横向边缘提取过滤单元14H及纵向投影单元15H的动作说明图。图7中，保存在帧存储器1中的图像数据用标号18表示。行间隔提取单元2H从保存在帧存储器1中的图像数据18中，例如每隔数行而间隔提取图像数据。图7中，用粗线表示图像数据18中被提取出的图像行数据。接着，横向边缘提取过滤单元14H分别对图7的图像数据18中用粗线表示的由行间隔提取单元2H提取出的图像行数据进行横向边缘提取过滤，获得图7中标号21表示的行数据群，作为横向边缘提取过滤单元14H的输出。纵向投影单元15H通过对图7中标号21表示的行数据群获取纵向投影，从而获得图7中标号22表示的1行的数据。
以下，在图6中的行存储器4H、阈值交叉判定单元5H、信号累积单元6H、峰值判定单元7H中，进行与图4所示的实施方式2相同的处理。
另一方面，列间隔提取单元2V针对每规定图像提取出纵向的1列的数据。纵向边缘提取过滤单元14V、横向投影单元15V、行存储器4V、阈值交叉判定单元5V、信号累积单元6V、峰值判定单元7V及纵向运动矢量判定单元8V中的处理分别与横向边缘提取过滤单元14H、边缘提取过滤单元3H、行存储器4H、阈值交叉判定单元5H、信号累积单元6H、峰值判定单元7H及横向运动矢量判定单元8H中的处理相同，其结果，从纵向运动矢量判定单元8V输出图像全体的纵向运动矢量。
从而，纵向投影数据22成为包含从图像数据18取出的全部的横向边缘信息的数据，另外，由于取投影，因此各行的噪声分量相互抵消。通过解析该数据的行为，可从1行的数据获得图像全体的横向运动信息。而且，实施方式3与实施方式2相比，由于在进行了行间隔提取后进行处理，因此其运算量少。
另外，实施方式3中，上述以外的方面与上述实施方式2的情况相同。
实施方式4
图8是表示本发明实施方式4的图像运动矢量检测装置的结构的方框图。图8中，与图1(实施方式1)的结构相同或对应的结构标注相同的标号。实施方式4的图像运动矢量检测装置与上述实施方式1的不同点在于，取代图1中的行间隔提取单元2H及边缘提取过滤单元3H，而具备横向边缘提取过滤单元14H及纵向块投影单元23H，取代图1中的列间隔提取单元2V及边缘提取过滤单元3V，而具备纵向边缘提取过滤单元14V及横向块投影单元23V。
图9是表示实施方式4的图像运动矢量检测装置的横向边缘提取过滤单元14H及纵向块投影单元23H的动作的图。图9中，保存在帧存储器1中的图像数据用标号18表示。横向边缘提取单元过滤单元14H对保存在帧存储器1中的图像数据18的全部的行进行用于横向边缘提取的过滤，获得数据19。纵向块投影单元23H首先将横向边缘提取过滤单元14H的输出即图9的标号19沿纵向分割为多个块。例如，图9的标号25表示被分割后的块之一。块的分割方法，例如可以每一定的行数构成一个块，还可以由不同的行数构成一个块。接着，纵向块投影单元23H对分割后的全部的块获取纵向投影数据。图9中，最终获得的各个块的纵向投影数据用标号26表示。
以下，图8中，行存储器4H、阈值交叉判定单元5H、信号累积单元6H、峰值判定单元7H对图9中用标号26表示的数据群进行与实施方式1同样的处理。
另一方面，纵向边缘提取过滤单元14V、横向块投影单元23V、行存储器4V、阈值交叉判定单元5V、信号累积单元6V、峰值判定单元7V及纵向运动矢量判定单元8V中的处理分别与横向边缘提取过滤单元14H、纵向块投影单元23H、行存储器4H、阈值交叉判定单元5H、信号累积单元6H、峰值判定单元7H及横向运动矢量判定单元8H中的处理相同，其结果，从纵向运动矢量判定单元8V输出图像全体的纵向运动矢量。
从而，纵向投影数据26成为包含图像数据18的全部横向边缘信息的数据，另外，由于取投影，因此各行的噪声分量相互抵消。而且，通过针对每块求出运动矢量并最终求出画面全体的运动矢量，从而在不是图像的全体而是图像的一部分中存在运动的情况下，可判定为图像中没有运动。
另外，实施方式4中，上述以外的方面与上述实施方式1的情况相同。
实施方式5
图10是表示本发明实施方式5的图像运动矢量检测装置的结构的方框图。图10中，与图8(实施方式4)的结构相同或对应的结构标注相同的标号。实施方式5的图像运动矢量检测装置与上述实施方式4的不同点在于，在帧存储器1和横向边缘提取过滤单元14H之间配置有行间隔提取单元2H，在帧存储器1和纵向边缘提取过滤单元14V之间配置有行间隔提取单元2V。
图11是实施方式5的图像运动矢量检测装置的行间隔提取单元2H、横向边缘提取过滤单元14H及纵向块投影单元23H的动作说明图。图11中，保存在帧存储器1中的图像数据用标号18表示。由行间隔提取单元2H从图像数据18中间隔提取出图像数据18内的粗线所示的数据并输出。横向边缘提取过滤单元14H对这些行间隔提取单元2H的输出进行横向边缘提取过滤，获得图11的标号21表示的虚线部分的行数据群。纵向块投影单元23H将图11的标号21表示的横向边缘提取过滤单元14H的输出分割为多个块。块的分割方法例如可以是由每一定的行数构成一个块，还可以由不同行数构成一个块。接着，纵向块投影单元23对分割后的全部块获取纵向投影数据。图11中，最终获得的各个块的纵向投影数据用标号27表示。
以下，图10中，行存储器4H、阈值交叉判定单元5H、信号累积单元6H、峰值判定单元7H及横向运动矢量判定单元8H对图11的标号27表示的数据群进行与实施方式4同样的处理。
另一方面，列间隔提取单元2V针对每规定图像而提取出纵向的1列的数据。纵向边缘提取过滤单元14V、横向块投影单元23V、行存储器4V、阈值交叉判定单元5V、信号累积单元6V、峰值判定单元7V及纵向运动矢量判定单元8V中的处理分别与横向边缘提取过滤单元14H、纵向块投影单元23H、行存储器4H、阈值交叉判定单元5H、信号累积单元6H、峰值判定单元7H及纵向运动矢量判定单元8H中的处理相同，其结果，从纵向运动矢量判定单元8V输出图像全体的纵向运动矢量。
从而，纵向投影数据27成为包含从图像数据18取出的全部横向边缘信息的数据，另外，由于取投影，因此各行的噪声分量相互抵消。而且，通过针对每块求出运动矢量并最终求出画面全体的运动矢量，从而在不是图像的全体而是图像的一部分中存在运动的情况下，可判定为图像无运动。而且，实施方式5通过根据预先间隔提取出的图像数据而求出投影数据，因而与实施方式4的情况相比，可削减运算量。
另外，实施方式5中，上述以外的方面与上述实施方式4的情况相同。

Claims (10)

1.一种图像运动矢量检测装置，其特征在于，所述图像运动矢量检测装置具有：
行间隔提取单元，其从一帧图像中取出规定行数的行数据；
横向边缘提取过滤单元，其对上述取出的行数据进行边缘提取用的过滤；
第1判定/累积单元，其将当前帧的过滤后的行数据分别移动基于上述过滤后的行数据和预先设定的第1阈值的时间，并将上述移动后的行数据累积；
横向运动矢量判定单元，其根据上述第1判定/累积单元的输出，确定横向运动矢量；
列间隔提取单元，其从上述一帧图像中取出规定列数的列数据；
纵向边缘提取过滤单元，其对上述取出的列数据进行边缘提取用的过滤；
第2判定/累积单元，其将当前帧的过滤后的列数据分别移动基于上述过滤后的列数据和预先设定的第2阈值的时间，并将上述移动后的列数据累积；以及
纵向运动矢量判定单元，其根据上述第2判定/累积单元的输出，确定纵向运动矢量。
2.根据权利要求1所述的图像运动矢量检测装置，其特征在于，
上述第1判定/累积单元包括：
第1阈值交叉判定单元，其判定上述过滤后的行数据与上述第1阈值的交叉；
第1信号累积单元，其将当前帧的过滤后的行数据分别移动与前一帧的过滤后的行数据和上述第1阈值交叉的定时对应的时间，并将上述移动后的行数据累积；以及
第1峰值判定单元，其判定上述第1信号累积单元的输出的峰值，
上述横向运动矢量判定单元进行的上述横向运动矢量的确定根据上述第1峰值判定单元的输出来进行，
上述第2判定/累积单元包括：
第2阈值交叉判定单元，其判定上述过滤后的列数据与上述第2阈值的交叉；
第2信号累积单元，其将当前帧的过滤后的列数据分别移动与前一帧的过滤后的列数据和上述第2阈值交叉的定时对应的时间，并将上述移动后的列数据累积；以及
第2峰值判定单元，其判定上述第2信号累积单元的输出的峰值，
上述纵向运动矢量判定单元进行的上述纵向运动矢量的确定根据上述第2峰值判定单元的输出来进行。
3.一种图像运动矢量检测装置，其特征在于，所述图像运动矢量检测装置包括：
横向边缘提取过滤单元，其对图像的横向的行数据进行边缘提取用的过滤；
纵向投影单元，其对从上述横向边缘提取过滤单元输出的过滤后的行数据获取图像的纵向的投影；
第1判定/累积单元，其将上述纵向投影单元的针对当前帧的输出数据移动基于上述纵向投影单元的输出数据和预先设定的第1阈值的时间，并将上述移动后的输出数据累积；
横向运动矢量判定单元，其根据上述第1判定/累积单元的输出来确定横向运动矢量；
纵向边缘提取过滤单元，其对图像的纵向的列数据进行边缘提取用的过滤；
横向投影单元，其对从上述纵向边缘提取过滤单元输出的过滤后的列数据获取图像的横向的投影；
第2判定/累积单元，其将上述横向投影单元的针对当前帧的输出数据移动基于上述横向投影单元的输出数据和预先设定的第2阈值的时间，并将上述移动后的输出数据累积；以及
纵向运动矢量判定单元，其根据上述第2判定/累积单元的输出来确定纵向运动矢量。
4.根据权利要求3所述的图像运动矢量检测装置，其特征在于，
所述图像运动矢量检测装置还包括：行间隔提取单元，其从一帧图像中取出规定行数的行数据；和列间隔提取单元，其从上述一帧图像中取出规定列数的列数据，
上述横向边缘提取过滤单元进行的上述过滤针对由上述行间隔提取单元取出的上述行数据进行，
上述纵向边缘提取过滤单元进行的上述过滤针对由上述列间隔提取单元取出的上述列数据进行。
5.根据权利要求3或4所述的图像运动矢量检测装置，其特征在于，
上述第1判定/累积单元包括：
第1阈值交叉判定单元，其判定上述纵向投影单元的输出数据与上述第1阈值的交叉；
第1信号累积单元，其将上述纵向投影单元的针对当前帧的输出数据移动与上述纵向投影单元的输出数据和上述第1阈值交叉的定时对应的时间，并将上述移动后的输出数据累积；以及
第1峰值判定单元，其判定上述第1信号累积单元的输出的峰值，
上述横向运动矢量判定单元进行的上述横向运动矢量的确定根据上述第1峰值判定单元的输出来进行，
上述第2判定/累积单元包括：
第2阈值交叉判定单元，其判定上述横向投影单元的输出数据与上述第2阈值的交叉；
第2信号累积单元，其将上述横向投影单元的针对当前帧的输出数据移动与上述横向投影单元的输出数据和上述第2阈值交叉的定时对应的时间，并将上述移动后的输出数据累积；以及
第2峰值判定单元，其判定上述第2信号累积单元的输出的峰值，
上述纵向运动矢量判定单元进行的上述纵向运动矢量的确定根据上述第2峰值判定单元的输出来进行。
6.一种图像运动矢量检测装置，其特征在于，所述图像运动矢量检测装置包括：
横向边缘提取过滤单元，其对图像的横向的行数据进行边缘提取用的过滤；
纵向块投影单元，其将一帧图像沿纵向分割为多个块，针对上述每个块，对从上述横向边缘提取过滤单元输出的过滤后的行数据获取图像的纵向的投影；
第1判定/累积单元，其将上述纵向块投影单元的针对当前帧的输出数据移动基于上述纵向块投影单元的输出数据和预先设定的第1阈值的时间，并将上述移动后的输出数据累积；
横向运动矢量判定单元，其根据上述第1判定/累积单元的输出来确定横向运动矢量；
纵向边缘提取过滤单元，其对图像的纵向的列数据进行边缘提取用的过滤；
横向块投影单元，其将一帧图像沿横向分割为多个块，针对上述每个块，对从上述纵向边缘提取过滤单元输出的过滤后的列数据获取图像的横向的投影；
第2判定/累积单元，其将上述横向块投影单元的针对当前帧的输出数据移动基于上述横向块投影单元的输出数据和预先设定的第2阈值的时间，并将上述移动后的输出数据累积；以及
纵向运动矢量判定单元，其根据上述第2判定/累积单元的输出来确定纵向运动矢量。
7.根据权利要求6所述的图像运动矢量检测装置，其特征在于，
所述图像运动矢量检测装置还包括：行间隔提取单元，其从一帧图像中取出规定行数的行数据；和列间隔提取单元，其从上述一帧图像中取出规定列数的列数据，
上述横向边缘提取过滤单元进行的上述过滤针对由上述行间隔提取单元取出的上述行数据进行，
上述纵向边缘提取过滤单元进行的上述过滤针对由上述列间隔提取单元取出的上述列数据进行。
8.根据权利要求6或7所述的图像运动矢量检测装置，其特征在于，
上述第1判定/累积单元包括：
第1阈值交叉判定单元，其判定上述纵向块投影单元的输出数据与上述第1阈值的交叉；
第1信号累积单元，其将上述纵向块投影单元的针对当前帧的输出数据移动与上述纵向块投影单元的输出数据和上述第1阈值交叉的定时对应的时间，并将上述移动后的输出数据累积；以及
第1峰值判定单元，其判定上述第1信号累积单元的输出的峰值，
上述横向运动矢量判定单元进行的上述横向运动矢量的确定根据上述第1峰值判定单元的输出来进行，
上述第2判定/累积单元包括：
第2阈值交叉判定单元，其判定上述横向块投影单元的输出数据与上述第2阈值的交叉；
第2信号累积单元，其将上述横向块投影单元的针对当前帧的输出数据移动与上述横向块投影单元的输出数据和上述第2阈值交叉的定时对应的时间，并将上述移动后的输出数据累积；以及
第2峰值判定单元，其判定上述第2信号累积单元的输出的峰值，
上述纵向运动矢量判定单元进行的上述纵向运动矢量的确定根据上述第2峰值判定单元的输出来进行。
9.根据权利要求1到4、6及7中的任一项所述的图像运动矢量检测装置，其特征在于，
上述横向边缘提取过滤单元进行的边缘提取通过求出与行方向上相邻的像素的差分来进行，
上述纵向边缘提取过滤单元进行的边缘提取通过求出与列方向上相邻的像素的差分来进行。
10.根据权利要求1到4、6及7中的任一项所述的图像运动矢量检测装置，其特征在于，
上述横向边缘提取过滤单元进行的边缘提取通过求出与行方向上相邻的两侧的像素的差分来进行，
上述纵向边缘提取过滤单元进行的边缘提取通过求出与列方向上相邻的两侧的像素的差分来进行。
CNA2006800010280A 2005-03-24 2006-03-17 图像运动矢量检测装置 Pending CN101040299A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005085380A JP3862728B2 (ja) 2005-03-24 2005-03-24 画像動きベクトル検出装置
JP085380/2005 2005-03-24

Publications (1)

Publication Number Publication Date
CN101040299A true CN101040299A (zh) 2007-09-19

Family

ID=37023693

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800010280A Pending CN101040299A (zh) 2005-03-24 2006-03-17 图像运动矢量检测装置

Country Status (5)

Country Link
EP (2) EP1862970B1 (zh)
JP (1) JP3862728B2 (zh)
KR (1) KR100901945B1 (zh)
CN (1) CN101040299A (zh)
WO (1) WO2006101032A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123244A (zh) * 2009-12-22 2011-07-13 英特尔公司 用于视频去抖动的修复的方法和装置
CN101937568B (zh) * 2009-06-29 2012-07-25 中国移动通信集团公司 一种笔画方向确定方法与装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008023466A1 (en) * 2006-08-24 2008-02-28 Mitsubishi Electric Corporation Moving vector detecting bdevice
EP2088558B1 (en) * 2006-11-30 2013-03-27 Mitsubishi Electric Corporation Motion vector detecting device
JP5338684B2 (ja) * 2010-01-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR101394468B1 (ko) 2013-11-12 2014-05-14 주식회사 아나패스 블록의 불연속도 연산방법 및 이를 이용한 폴백 수행 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3534551B2 (ja) 1996-09-20 2004-06-07 シャープ株式会社 動き検出装置
JP2004343483A (ja) * 2003-05-16 2004-12-02 Acutelogic Corp 手振れ補正装置および方法、手振れ検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937568B (zh) * 2009-06-29 2012-07-25 中国移动通信集团公司 一种笔画方向确定方法与装置
CN102123244A (zh) * 2009-12-22 2011-07-13 英特尔公司 用于视频去抖动的修复的方法和装置
CN102123244B (zh) * 2009-12-22 2016-06-01 英特尔公司 用于视频去抖动的修复的方法和装置

Also Published As

Publication number Publication date
KR100901945B1 (ko) 2009-06-10
EP2506217A3 (en) 2012-11-07
EP1862970A4 (en) 2011-10-12
JP2006268413A (ja) 2006-10-05
JP3862728B2 (ja) 2006-12-27
EP1862970A1 (en) 2007-12-05
KR20070090209A (ko) 2007-09-05
EP2506217A2 (en) 2012-10-03
EP1862970B1 (en) 2012-10-10
WO2006101032A1 (ja) 2006-09-28

Similar Documents

Publication Publication Date Title
CN101040299A (zh) 图像运动矢量检测装置
CN1276382C (zh) 用于辨别图像不同区域的方法和装置
CN1761309A (zh) 图像数据的信号处理装置及方法
CN1742489A (zh) 活动图像的编码方法
CN1777915A (zh) 脸图像候选区域检索方法、检索系统以及检索程序
CN103460249B (zh) 图像处理装置以及图像处理方法
CN1191710C (zh) 数据处理方法
CN101052098A (zh) 一种减少影像模糊的方法与相机
CN1856028A (zh) 摄影装置以及摄影装置中补偿图像画面的补偿方法
CN1941854A (zh) 在视频图像序列中检测视频格式信息
CN101031029A (zh) 一种视频图像处理的方法及其装置
CN1825984A (zh) 信息处理方法和装置
CN1667565A (zh) 图像传感器、光学指向设备和光学指向设备的移动计算方法
JP6784130B2 (ja) フリッカ検出装置及び方法
CN1296148C (zh) 一种水果外观质量在线检测技术的视觉数据处理系统
CN1622589A (zh) 图像处理方法以及图像处理装置
CN1606345A (zh) 进行反向电视电影处理的装置与方法
CN100342710C (zh) 增强图像的结构方法
CN112766123A (zh) 一种基于纵横交叉注意力网络的人群计数方法及系统
CN101040247A (zh) 使用具有图像传感器的便携式装置进行显示控制的方法
CN1198245C (zh) 降低运动向量传输成本的运动估计方法
CN113163121A (zh) 一种视频防抖方法及可读存储介质
CN101035196A (zh) 变动区域检测装置及其方法
CN1317884C (zh) 一种实现图像整数倍放大的方法
CN1929550A (zh) 一种检测运动目标的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20070919