CN100521744C - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN100521744C
CN100521744C CNB2006800105562A CN200680010556A CN100521744C CN 100521744 C CN100521744 C CN 100521744C CN B2006800105562 A CNB2006800105562 A CN B2006800105562A CN 200680010556 A CN200680010556 A CN 200680010556A CN 100521744 C CN100521744 C CN 100521744C
Authority
CN
China
Prior art keywords
frame
motion vector
information
order
macro block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2006800105562A
Other languages
English (en)
Other versions
CN101151889A (zh
Inventor
清水博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN101151889A publication Critical patent/CN101151889A/zh
Application granted granted Critical
Publication of CN100521744C publication Critical patent/CN100521744C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种成像设备，其具有活动图像解码部分(4)，用以将采用MPEG技术所编码的编码活动图像数据解码为活动图像数据；模糊总运动矢量估计部分(63)，用以获取由宏块选择部分(62)所选择的、适合于估计总运动矢量的宏块的运动矢量，并根据该运动矢量来估计帧的总运动矢量；以及总运动矢量内插部分(63)，用以根据所估计的总运动矢量，在重放活动图像时执行模糊校正。

Description

图像处理设备和方法
技术领域
本发明涉及一种用于对活动图像(moving image)的模糊进行补偿的图像处理设备和程序。
背景技术
通常，作为诸如数字相机等等之类的成像设备，通过图像处理(称为模糊校正)来对由于对活动图像进行成像而产生的模糊进行补偿，然后将其记录为活动图像文件，这已经是众所周知的了。
另外，对于在成像时未执行模糊校正就被记录的活动图像文件而言，已经开发了一种通过在重放活动图像时检测移动来执行模糊校正的设备(例如，参考日本专利特许公开说明书Tokukaiher 10-136304，以下称为专利文献1)。
发明内容
同时，在上述专利文献1等的情况下，在重放活动图像时搜索一个帧的特征部分，并通过将该特征部分与该帧之前和之后的帧进行比较，来检测每一个部分的移动。然而根据每一个部分的移动来检测整个帧的移动。
然而，由于搜索一个帧的特征部分以及将该特征部分与该帧之前和之后的帧进行比较需要大量的计算，因此就存在当执行重放时负担很重的问题。
因此，本发明的一个目的是提供一种图像处理设备和程序，希望在重放未执行模糊校正就被记录的活动图像时减轻由于模糊校正处理而造成的负担。
根据本发明的一个方面，一种图像处理设备，包括：
活动图像解码部分，用以将经过编码的活动图像信息解码为活动图像信息，其中，所述经过编码的活动图像信息是采用执行运动补偿的信息压缩技术进行编码的；
运动补偿信息获取部分，用以根据活动图像解码部分对活动图像信息的解码，获取与构成活动图像的多个帧中的至少一个帧相关的运动补偿信息；
总运动矢量估计部分，用以根据运动补偿信息获取部分所获取的运动补偿信息，估计该帧的总运动矢量；以及
模糊校正部分，用以根据总运动矢量估计部分所估计的总运动矢量，在重放该活动图像时执行模糊校正。
优选地，该图像处理设备还包括：
帧识别部分，用以在所述多个帧中识别出没有运动信息的帧，其中，运动补偿信息获取部分无法从该没有运动信息的帧中获取运动补偿信息；以及
总运动矢量内插部分，用以根据在由帧识别部分所识别的没有运动信息的帧之前和之后的帧，来执行对于与该没有运动信息的帧相关的总运动矢量的内插计算。
优选地，该图像处理设备还包括：
帧识别部分，用以在所述多个帧中识别出没有运动信息的帧，其中，运动补偿信息获取部分无法从该没有运动信息的帧中获取运动补偿信息；
特征点提取部分，用以提取与由帧识别部分所识别的没有运动信息的帧相关的特征点；
特征点跟踪部分，用以在没有运动信息的帧之前或之后的两个帧之一中，跟踪由特征点提取部分所提取的特征点；以及
总运动矢量确定部分，用以根据特征点跟踪部分对该特征点的跟踪结果，确定与该没有运动信息的帧相关的总运动矢量。
优选地，该图像处理设备还包括：
可靠性检验器，用以判断构成该帧的多个宏块的运动矢量的可靠性；以及
宏块选择部分，用以在所述多个宏块中选择一个运动矢量可靠性被判断为高的宏块，作为总运动矢量估计部分用来估计总运动矢量的宏块。
优选地，可靠性检验器根据与该帧中的宏块相关的图像部分的平坦度(flatness)，来判断运动矢量的可靠性。
优选地，根据以下至少一个来确定平坦度：与宏块的图像信息的量化相关的Q因子，以及宏块的编码数据量。
优选地，可靠性检验器确定宏块的运动补偿的实现程度，并根据所确定的实现程度来判断运动矢量的可靠性。
根据本发明的第二方面，一种图像处理方法，包括：
解码步骤，用以将经过编码的活动图像信息解码为活动图像信息，其中，所述经过编码的活动图像信息是采用执行运动补偿的信息压缩技术进行编码的；
运动补偿信息获取步骤，用以根据对于所述活动图像信息的解码来获取与构成活动图像的多个帧中的至少一个帧相关的信息；
估计步骤，用以根据所获取的运动补偿信息来估计该帧的总运动矢量；以及
模糊校正步骤，用以根据所估计的总运动矢量来在重放该活动图像时校正模糊。
根据本发明的第三方面，一种嵌入计算机可读介质中的软件程序产品，用以执行一种方法，该方法包括：
解码步骤，用以将经过编码的活动图像信息解码为活动图像信息，其中，所述经过编码的活动图像信息是采用执行运动补偿的信息压缩技术进行编码的；
运动补偿信息获取步骤，用以根据所述活动图像信息的解码来获取与构成活动图像的多个帧中的至少一个帧相关的信息；
估计步骤，用以根据所获取的运动补偿信息来估计该帧的总运动矢量；以及
模糊校正步骤，用以根据所估计的总运动矢量来在重放该活动图像时校正模糊。
附图说明
图1是显示成像设备的主要结构的方框图，其中提供该成像设备作为应用本发明的图像处理设备的一个实施例的实例；
图2是示意性示出一个构成活动图像的帧的示意图，该活动图像显示在图1所示成像设备的显示器上；
图3A至3C是示意性示出与图1所示成像设备在重放时所进行的模糊校正处理相关的帧和显示区域的示意图；
图4是示出根据图3A至3C在重放时的模糊校正处理的一个操作实例的流程图；
图5是示出根据图3A至3C在重放时的模糊校正处理中的宏块选择处理的一个操作实例的流程图；以及
图6是示出根据修改实例1的成像设备的主要结构的方框图。
具体实施方式
以下，将参照附图详细描述本发明的特定实施例。然而，本发明的范围并不局限于附图中所提供的实例。
在此，图1是示出成像设备100的主要结构的方框图，其中提供该成像设备100作为应用本发明的图像处理设备的一个实施例的实例。
例如，成像设备100应用于对所采集的活动图像进行编码和记录的数字相机等。在此，利用诸如MPEG4等之类的信息压缩技术来执行编码，其中该信息压缩技术是用于记录所采集的活动图像的标准编码技术。
具体而言，如图1所示，成像设备100由图像采集器1、编码器2、记录器3、解码器4、显示器51、模糊校正处理器6等构成，其中，图像采集器1对目标的静态图像或活动图像进行成像，编码器2利用预定的信息压缩技术对图像采集器1所采集的图像进行编码，记录器3记录由编码器2所编码的经过编码的图像数据，解码器4对记录器3所记录的经过编码的图像数据进行解码，显示器51显示由图像采集器1所采集的图像，模糊校正处理器6对显示器51上所显示的活动图像的模糊进行补偿。
图像采集器1被构造为使其能够根据开关(未显示)等等的预定操作来在切换时执行对于静态图像或活动图像的成像。具体而言，图像采集器1具有：一组具有聚焦功能、变焦功能等的成像镜头；电子成像设备，其将穿过该成像镜头组的目标图像转换为二维图像数据，该电子成像设备包括CCD、CMOS等等；信号处理器，用以对电子成像设备所输出的图像数据进行预定的图像处理；以及成像控制器，用于控制电子成像设备、信号处理器等。
在成像控制器的控制下，从信号处理器向编码器2输出经过图像处理的图像数据。
编码器2采用执行运动补偿的信息压缩技术，例如MPEG4等，对活动图像数据进行编码。具体而言，对从图像采集器1输入的活动图像数据执行信息压缩编码处理，该信息压缩编码处理例如运动补偿、离散余弦变换(DCT)等等，其中，运动补偿利用构成活动图像的帧的在时间上的相关性来减少编码数据量，离散余弦变换(DCT)利用每一个帧在空间方面的相关性，来减少编码数据量。
另外，编码器2执行例如量化处理，在该处理中，将通过DCT计算得到的DCT转换系数除以一个预定的Q因子，该Q因子将直观特征考虑在内。
运动补偿是一种帧间预测，其将输入的图像数据划分为宏块单元，宏块单元是16×16像素的正方形区域；搜索在参考图像中的预定搜索区域，检测到其中与宏块之间的差异最小的块，然后补偿移动量。在此，表示参考图像中所检测到的、其中差异为最小的块在水平方向和垂直方向上的移动量的矢量称为运动矢量。
运动补偿以帧内编码图像I帧作为标准，产生P帧、B帧等等，其中，P帧是帧前向预测编码图像，B帧是前向和后向预测编码图像。
另外，DCT通过二维频率变换，将图像分成人眼容易注意到的低频成分和难以区别的高频成分。具体而言，采用8×8像素的块单元，对在经过运动补偿处理的图像与输入图像之间的差异执行DCT计算。
在此，由于I帧是帧内编码图像，因此直接对输入图像执行DCT计算而不获取差异。
记录器3由磁或光记录介质、半导体存储器等构成，并记录由编码器2进行编码的静态图像数据和活动图像数据。
解码器(活动图像解码部分)4在重放活动图像时，通过对记录器3中所记录的编码图像数据进行解码来产生比特流(活动图像数据)。具体而言，解码器4通过对编码活动图像数据进行解码来计算量化系数和运动矢量，并进一步执行逆量化来将量化系数转换成DCT系数。然后，对8×8像素的块单元执行逆DCT，以根据DCT系数来计算像素值(像素值之间的差异)。此外，通过添加已经利用像素值与运动矢量之间的差异来进行了补偿的块，来对P帧和B帧进行解码。
显示器51由例如液晶显示设备等构成，并根据解码器4所解码的图像数据来显示各种图像。另外，将与外部输出终端52相连的显示处理器53连接到显示器51。
外部输出终端52可用于连接显示设备(例如电视，未显示)并显示图像。显示处理器53根据显示区域5R而从解码器4所解码的图像数据中裁剪出所需部分，其中，该显示区域5R由模糊校正处理器6的显示区域设置器65(稍后描述)在重放模糊校正处理时设置。然后，处理该所需部分，使其成为变为在显示器51中或在连接到外部输出终端52的显示设备中显示的形式。
在此，显示处理器53包括缓冲器(未显示)，以便与内插处理器64的总运动矢量内插计算所得到的延迟时间同步。
当在显示器51中重放(显示)未执行模糊校正处理就被记录的活动图像数据时，模糊校正处理器(模糊校正部分)6通过检测模糊量，即帧移动的量，来执行模糊校正。具体而言，模糊校正处理器6包括帧处理器61、宏块选择器62、模糊估计器63、内插处理器64、显示区域设置器65等等。
帧处理器61执行处理，以对构成由解码器4所解码的比特流(活动图像)的多个帧确定次序。
另外，帧处理器61对于所述多个帧中的每一个帧，判断其是否为不能从其中获取运动矢量(运动补偿信息)的I帧(没有运动信息的帧)。然后，向宏块选择器62和内插处理器64输出该判断结果。即，帧处理器61构建了一个帧识别部分，用以在所述多个帧中识别出周期性出现的I帧。
对于帧处理器61判定为不是I帧的帧(例如，P帧和B帧)，宏块选择器62选出适用于计算该帧的总运动矢量的宏块。
即，例如，在VGA大小的MPEG4流的情况下，每个帧有1200个宏块(参照图2)，并包括具有帧间补偿的帧间宏块(Intermacroblock)和不具有帧间补偿的帧内宏块(Intra Macroblock)。在这些宏块中，假设通过对帧间宏块的运动矢量进行平均，来计算一个完整帧的总运动矢量(模糊)。
然而，还有可能在对帧进行编码时产生错误的运动矢量。因此，并不是所有的运动矢量都适用于计算总运动矢量。此外，由于再次进行检测来判断运动矢量是否为错误检测是不实际的，所以要根据各种与宏块有关的信息来判断错误检测的可能性是否很高。因此，选出了具有高可靠性的宏块。
在此，宏块选择器62构建了一个可靠性检验器，其判断构成一个帧的多个宏块的运动矢量的可靠性。此外，宏块选择器62在所述多个宏块中选择一个被判断为具有高可靠性的运动矢量的宏块，作为模糊估计器63用来估计一个帧的总运动矢量的宏块。
在此，对于宏块选择器62对运动矢量可靠性的判断而言，处理一个帧内所有宏块的计算负担是很重的。因此，把帧划分为宏块组(4x???4宏块组)。然后，通过从每一个组中选择一个宏块来判断可靠性。在可靠性为高的情况下，选择该宏块作为用于估计总运动矢量的宏块，并在可靠性为低的情况下，对该宏块组中的其他宏块(例如，下一个宏块)执行类似的处理。
另外，宏块选择器(根据平坦度确定可靠性的部分)62根据与宏块相关的图像部分的平坦度，来判断该帧的宏块的运动矢量的可靠性。
即，对于一个帧而言，在平坦且几乎不具有特征的部分易于发生运动矢量的错误检测。因此，与平坦且几乎不具有特征的图像部分相关的宏块的运动矢量具有低可靠性，并且不用于估计总运动矢量。
具体而言，编码器2用于对宏块的图像数据进行编码的Q因子(量化参数)在平坦且几乎不具有特征的部分中变得很小，而在频率成分很大的部分里变得很大。因此，宏块选择器62根据该Q因子来判断图像平坦度。
另外，宏块选择器62根据在编码器的DCT之后得到的DC系数，来确定该帧的宏块的运动补偿的实现程度，然后根据该确定结果，判断宏块的运动矢量的可靠性。
即，DC系数是经过DCT之后的DC分量与参考块之间的差异，并且在DC系数变大的情况下，存在未在正确位置上进行运动补偿的可能性，因此DC分量与参考块之间的差异就变大了。因此，在DC系数为大于等于一个预定阈值的情况下，宏块的运动矢量的可靠性低，从而不将其用于估计总运动矢量。
在此，宏块选择器62构建了一个运动补偿实现程度确定部分，其确定宏块的运动补偿的实现程度。此外，宏块选择器62构建了一个根据实现程度来判断可靠性的部分，其根据该确定结果来判断运动矢量的可靠性。
模糊估计器63获取适于估计由宏块选择器62所选择的一个帧的总运动矢量的多个宏块的运动矢量，并且通过对这些运动矢量执行平均处理来计算该帧的模糊(总运动矢量)。
在此，模糊估计器63构建了一个运动补偿信息获取部分，其根据解码器4对活动图像数据的解码，获取与构成活动图像的多个帧中的至少一个帧相关的运动矢量。此外，模糊估计器63构建了一个总运动矢量估计部分，其根据所获取的运动矢量来估计该帧的总运动矢量。
内插处理器64通过内插处理，根据位于由帧处理器61所识别的I帧(没有运动信息的帧)之前和之后的帧的总运动矢量，计算该I帧的总运动矢量。
在此，内插处理器64构建了一个总运动矢量内插部分，其执行对于与该I帧(没有运动信息的帧)相关的总运动矢量的内插计算。
显示区域设置器65设置在显示器51上显示的活动图像的帧F的显示区域5R(图3A)。具体而言，当重放由这些帧F构成的活动图像时，根据由模糊估计器63所计算(估计)的P帧和B帧的总运动矢量以及由内插处理器64所计算的I帧的总运动矢量，显示区域设置器65通过将一个帧F2的显示区域5R2(图3B)从先前帧F1的显示区域5R1(图3A)处移动一个总运动矢量的量，来执行模糊校正。因此，在显示器51上显示对于进行了模糊补偿的活动图像的重放(参考图3C)。
在此，图3A是示意性地示出首先显示的帧F1和显示区域5R1的示意图，图3B是示意性地示出在最初的帧F1之后将要显示的帧F2和显示区域5R2的示意图，图3C是示意性地示出在经过模糊校正处理之后所显示的帧F2和显示区域5R2的示意图。
接下来，参照图4和5来描述在重放时的模糊校正处理。
在此，图4是示出了根据重放时模糊校正处理的一个操作实例的流程图，图5是示出了根据重放时模糊校正处理中宏块选择处理的一个操作实例的流程图。
如图4所示，当根据用户对成像设备100的一个预定操作来指示重放在记录器3中所记录的活动图像时，首先，解码器4通过从记录器3中获取MPEG活动图像文件并对该文件进行解码，来产生比特流(步骤S1)。
接着，帧处理器61执行处理，以对在解码后的比特流中所包含的多个帧确定次序，并对于每一个帧，判断其是否为I帧(步骤S2)。然后，标记I帧，并向宏块选择器62和内插处理器64发送帧处理器61的判断结果。
然后，宏块处理器62对于在步骤S2中判定为不是I帧的帧(步骤S2：否)，执行宏块选择处理(步骤S3)。
以下，参照图5描述宏块选择处理。
如图5所示，宏块选择器62将输入的帧的宏块划分为宏块组(4×4宏块组)(参考图2，步骤S301)。
接着，宏块选择器62在所划分的多个宏块组中选择一个宏块组(步骤S302)，并在该宏块组中选择一个宏块(例如，在图2中左上角处填充黑色的宏块)(步骤S303)。
接着，宏块选择器602从解码后的比特流中提取(获取)与该宏块相关的Q因子，以及与宏块选择相关的各种参数，例如DC系数(步骤S304)。
然后，宏块选择器602根据帧内/帧间标签，判断所选择的宏块是否为帧间宏块(步骤S305)。
在此，在其被判定为是帧间宏块的情况下(步骤S305：是)，宏块选择器62判断该宏块的Q因子是否大于等于预定值(步骤S306)。
在判定该Q因子超出该预定值的情况下，即，在判定为是包含大量频率成分的宏块的情况下(步骤S306：是)，宏块选择器62判断在DCT之后的该宏块的DC系数是否小于预定值(步骤S307)。
在此，在判定DC系数小于预定值的情况下(步骤S307：是)，宏块选择器62采用该宏块作为用于估计总运动矢量的宏块(步骤S308)。
同时，在判定其不是帧间宏块的情况下，即，在步骤S305中判定其是没有运动矢量的独立类型的帧内宏块的情况下(步骤S305：否)、在步骤S306中判定该Q因子小于预定值的情况下(步骤S306：否)、或者在DC系数大于预定值的情况下，即，在步骤S307中确定未在正确位置上进行运动补偿的可能性很大的情况下(步骤S307：否)，宏块选择器62判断是否已经对包含该宏块的宏块组中所有宏块都执行了各种参数的判断(步骤S309)。
在此，在判定还没有对所有宏块执行判断的情况下(步骤S309：否)，宏块选择器62在宏块组中选择另一个宏块(步骤S310)，移至步骤S304并执行随后的处理。
另外，在步骤S309中判定对所有宏块都执行了判断的情况下，或者在步骤S308中采用了该宏块作为用于进行估计的宏块的情况下，判断是否对所有宏块组都执行了与总运动矢量的估计相关的宏块估计(步骤S311)。
在此，在判定还没有对所有宏块组都执行了宏块估计的情况下(步骤S311：否)，宏块选择器62移至步骤S302并执行随后的处理。
此外，在步骤S311中，在判定已经对所有宏块组执行了宏块估计的情况下(步骤S311：是)，该宏块选择处理完成。
当完成宏块选择处理时，如图4所示，模糊估计器63获取由宏块选择器62所采用的与一个帧相关的多个宏块的运动矢量，并且通过对这些运动矢量执行平均处理来计算该帧的总运动矢量(步骤S4)。
接下来，对于在步骤S2中被判定为I帧的帧(I帧)(步骤S2：是)，内插处理器64从模糊估计器63中获取在该I帧之后的一个帧的总运动矢量，并在该帧的总运动矢量与在该I帧之前的帧的总运动矢量之间执行内插计算。从而获取该I帧的总运动矢量(步骤S5)。
接着，对于获得了总运动矢量的多个帧F，显示区域设置器65通过将一个帧的显示区域5R从先前帧F的显示区域5R处移动一个总运动矢量的量，来对在显示器51上显示的活动图像执行模糊校正(步骤S6，参照图3A至3C)。
如上所述，根据本发明的成像设备100，由于采用MPEG技术对活动图像数据进行编码，因此能够根据构成活动图像的帧的多个宏块的运动矢量来估计该帧的总运动矢量。
具体而言，在构成该帧的多个宏块中，可以选择运动矢量可靠性高的宏块作为用于估计总运动矢量的宏块。因此，从总运动矢量的估计中消除具有低可靠性的宏块，其是在编码过程中使用错误的运动矢量而产生的。因此，可以更适当地执行总运动矢量的估计。
在此，可以根据与宏块有关的图像部分的平坦度，以及根据对该宏块的运动补偿的实现程度的确定结果，来执行对帧中宏块的运动矢量可靠性的判断。因此，可以更加适当地执行对运动矢量可靠性的判断，因此可以适当地执行对于要从总运动矢量的估计中消除的宏块的确定。
此外，由于能够根据与宏块的图像数据的量化相关的Q因子来执行对于帧中与宏块相关的图像部分的平坦度的判断，因此可以更加适当地执行对平坦度的判断，因此可以适当地执行对宏块的运动矢量可靠性的判断。
因此，即便是在未执行模糊校正就被记录的活动图像，也可以在重放该活动图像时，根据所估计的该帧的总运动矢量来适当地执行模糊校正。因此，当执行模糊校正处理时，不需要如传统实践中那样，在一个帧中搜索特征部分且将该特征部分与该帧之前和之后的帧进行比较。从而，能够适当地抑制在重放活动图像时由于模糊校正处理而造成的负担。
另外，对于没有运动矢量的I帧而言，可以根据该I帧之前和之后的帧，适当地执行对与该I帧相关的总运动矢量的内插计算。因此，即使是I帧，也可以获取其总运动矢量，因此能够在重放该活动图像时适当地执行模糊校正处理。
在此，本发明并不局限于上述实施例，而是可以应用于各种修改和可供选择的设计，只要其没有偏离本发明的范围。
例如，宏块的Q因子被用作宏块选择器62用来判断与该宏块相关的图像部分的平坦度的参数。然而，其并不局限于这种情况。例如，在该帧中，由于在平坦且几乎不具有特征的图像部分中的压缩率很高，所以编码数据量很低。因此，宏块选择器62作为平坦度编码数据量判断部分，可以利用宏块的编码数据量作为用来进行判断的参数，并判断该图像部分的平坦度。
因此，根据宏块的编码数据量，就可以更加适当地执行对与宏块相关的图像部分的平坦度的判断。因此，能够适当地执行对宏块的运动矢量的可靠性判断。
此外，在上述实施例中，根据宏块的Q因子和DCT之后的DC系数来判断用于估计总运动矢量的宏块。然而，其并不局限于这种情况。例如，可以仅仅使用Q因子和DC系数中的至少一种来执行判断，或者，除了它们两者之一之外，还使用宏块的编码数据量作为进行判断的参数，并执行判断。
另外，在上述实施例中，根据没有运动矢量的I帧的之前和之后的帧的总运动矢量，来内插计算出与该I帧相关的总运动矢量。然而，用于获得I帧的总运动矢量的方法并不局限于这种情况。即，例如，可以为成像设备200提供图像信号处理器164(参照图6)。在此，图像信号处理器164作为特征点提取部分，从I帧中提取预定的特征点。接着，作为特征点跟踪部分，图像信号处理器164采用KLT(Kanade-Lucas-Tomasi)特征跟踪算法等等在该I帧之前或之后的两个帧中任何一个帧内(例如，之前的一个帧)跟踪与所提取的特征点相对应的特征点。然后，作为总运动矢量确定部分，图像信号处理器164根据对特征点的跟踪结果(特征点的移动量)来确定I帧的总运动矢量。
因此，即使是没有运动矢量的I帧，也可以在该I帧之前或之后的两个帧中的任何一个帧内跟踪其特征点，并且可以根据该跟踪结果来确定与该I帧相关的总运动矢量。因此，可以适当地在活动图像重放过程中执行模糊校正处理。
另外，在上述实施例中，作为与本发明相关的图像处理器设备，提供成像设备100和200作为实例，它们拍摄图像并显示(重放)所采集的静态图像和活动图像。然而，其并不局限于这种情况，其可以是任何设备，只要其至少能够执行活动图像的重放。例如，可以向作为图像处理设备的个人计算机(PC，未显示)等加载活动图像文件，并根据PC对于预定程序的执行，执行对该活动图像文件的解码处理、运动矢量的获取处理、总运动矢量的计算处理、以及在重放该活动图像时的模糊校正处理。
本申请基于在2005年10月26日提交的先前日本专利申请2005-311041，并要求其优先权，在此引用其全文作为参考。
工业应用性
如上所述，根据本发明的图像处理设备和程序可以应用于成像设备，并按照所期望地减轻在重放未执行模糊校正就被记录的活动图像时由于模糊校正处理所造成的负担。

Claims (14)

1、一种图像处理设备，包括：
活动图像解码部分(4)，用以将经过编码的活动图像信息解码为活动图像信息，其中，所述经过编码的活动图像信息是采用执行运动补偿的信息压缩技术进行编码的；
运动补偿信息获取部分(61)，用以根据所述活动图像解码部分对所述活动图像信息的解码，获取与在构成活动图像的多个帧中的至少一个帧相关的运动补偿信息；
总运动矢量估计部分(63)，用以根据所述运动补偿信息获取部分所获取的运动补偿信息中包含的运动矢量，估计所述帧的总运动矢量；以及
模糊校正部分(65)，用以根据所述总运动矢量估计部分所估计的总运动矢量，在重放所述活动图像时通过移动所述活动图像的显示区域来执行模糊校正。
2、如权利要求1所述的图像处理设备，还包括：
帧识别部分(61)，用以在所述多个帧中识别出没有运动信息的帧，其中，所述运动补偿信息获取部分无法从所述没有运动信息的帧中获取运动补偿信息；以及
总运动矢量内插部分(64)，用以根据由所述帧识别部分所识别出的所述没有运动信息的帧之前和之后的帧，执行对于与所述没有运动信息的帧相关的总运动矢量的内插计算。
3、如权利要求1所述的图像处理设备，还包括：
帧识别部分，用以在所述多个帧中识别出没有运动信息的帧，其中，所述运动补偿信息获取部分无法从所述没有运动信息的帧中获取运动补偿信息；
特征点提取部分(164)，用以提取与由所述帧识别部分所识别出的所述没有运动信息的帧相关的特征点；
特征点跟踪部分(164)，用以在所述没有运动信息的帧之前或之后的两个帧之一中，跟踪由所述特征点提取部分所提取的特征点；以及
总运动矢量确定部分(63)，用以根据所述特征点跟踪部分对所述特征点的跟踪结果，确定与所述没有运动信息的帧相关的总运动矢量。
4、如权利要求1的图像处理设备，还包括：
可靠性检验器(62)，用以判断构成所述帧的多个宏块的运动矢量的可靠性；以及
宏块选择部分(62)，用以在所述多个宏块中选择一个运动矢量可靠性被判断为高的宏块，作为所述总运动矢量估计部分用以估计所述总运动矢量的宏块。
5、如权利要求4所述的图像处理设备，其中，所述可靠性检验器根据与所述帧中的宏块相关的图像部分的平坦度，来判断运动矢量的可靠性。
6、如权利要求5所述的图像处理设备，其中，根据以下至少一个来判断所述平坦度：与宏块的图像信息的量化相关的Q因子，以及宏块的编码数据量。
7、如权利要求4所述的图像处理设备，其中，所述可靠性检验器确定宏块的运动补偿的实现程度，并根据所确定的实现程度来判断运动矢量的可靠性。
8、一种图像处理方法，包括：
解码步骤(S1)，用以将经过编码的活动图像信息解码为活动图像信息，其中，所述经过编码的活动图像信息是采用执行运动补偿的信息压缩技术进行编码的；
运动补偿信息获取步骤(S1)，用以根据对所述活动图像信息的解码，获取与在构成活动图像的多个帧中的至少一个帧相关的信息；
估计步骤(S4)，用以根据所获取的运动补偿信息中包含的运动矢量，估计所述帧的总运动矢量；以及
模糊校正步骤(S6)，用以根据所估计的总运动矢量，在重放所述活动图像时通过移动所述活动图像的显示区域来校正模糊。
9、如权利要求8所述的图像处理方法，还包括：
帧识别步骤(S2)，用以在所述多个帧中识别出没有运动信息的帧；以及
总运动矢量内插步骤(S5)，用以根据所识别出的所述没有运动信息的帧之前和之后的帧，执行对于与所述没有运动信息的帧相关的总运动矢量的内插计算。
10、如权利要求8所述的图像处理方法，还包括：
帧识别步骤(S2)，用以在所述多个帧中识别出没有运动信息的帧；
特征点提取步骤，用以提取与所识别出的所述没有运动信息的帧相关的特征点；
特征点跟踪步骤，用以在所述没有运动信息的帧之前或之后的两个帧之一中，跟踪所提取的特征点；以及
总运动矢量确定步骤，用以根据对所述特征点的跟踪结果，确定与所述没有运动信息的帧相关的总运动矢量。
11、如权利要求8的图像处理方法，还包括：
可靠性检验步骤(S3)，用以判断构成所述帧的多个宏块的运动矢量的可靠性；以及
宏块选择步骤(S3)，用以在所述多个宏块中选择一个运动矢量可靠性被判断为高的宏块，作为用以估计所述总运动矢量的宏块。
12、如权利要求11所述的图像处理方法，其中，在可靠性检验步骤中，根据与所述帧中的宏块相关的图像部分的平坦度，来判断运动矢量的可靠性。
13、如权利要求12所述的图像处理方法，其中，根据以下至少一个来判断所述平坦度：与宏块的图像信息的量化相关的Q因子，以及宏块的编码数据量。
14、如权利要求11所述的图像处理方法，其中，在可靠性检验步骤中，根据宏块的运动补偿的实现程度，判断运动矢量的可靠性。
CNB2006800105562A 2005-10-26 2006-10-19 图像处理设备和方法 Active CN100521744C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005311041A JP2007122232A (ja) 2005-10-26 2005-10-26 画像処理装置及びプログラム
JP311041/2005 2005-10-26

Publications (2)

Publication Number Publication Date
CN101151889A CN101151889A (zh) 2008-03-26
CN100521744C true CN100521744C (zh) 2009-07-29

Family

ID=37649276

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006800105562A Active CN100521744C (zh) 2005-10-26 2006-10-19 图像处理设备和方法

Country Status (7)

Country Link
US (1) US7742647B2 (zh)
EP (1) EP1941720B1 (zh)
JP (1) JP2007122232A (zh)
KR (1) KR100941285B1 (zh)
CN (1) CN100521744C (zh)
TW (1) TWI327026B (zh)
WO (1) WO2007049662A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122232A (ja) * 2005-10-26 2007-05-17 Casio Comput Co Ltd 画像処理装置及びプログラム
JP4686795B2 (ja) * 2006-12-27 2011-05-25 富士フイルム株式会社 画像生成装置及び画像再生装置
JP5389049B2 (ja) * 2008-12-16 2014-01-15 パナソニック株式会社 撮像装置、半導体集積回路、および動きベクトル判定方法
JP2010278931A (ja) * 2009-05-29 2010-12-09 Toshiba Corp 画像処理装置
JP5430234B2 (ja) * 2009-06-04 2014-02-26 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路
KR101103350B1 (ko) * 2010-02-09 2012-01-05 원창주식회사 조명기구의 광확산 장치
JP2011254223A (ja) * 2010-06-01 2011-12-15 Panasonic Corp 画像処理装置およびそれを備えた電子機器
JP5317023B2 (ja) 2010-09-16 2013-10-16 カシオ計算機株式会社 手ぶれ補正装置、手ぶれ補正方法およびプログラム
KR20120090101A (ko) * 2010-12-23 2012-08-17 한국전자통신연구원 디지털 비디오 고속 정합 시스템
CN105284122B (zh) * 2014-01-24 2018-12-04 Sk 普兰尼特有限公司 用于通过使用帧聚类来插入广告的装置和方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2114028C (en) * 1991-07-23 1998-04-28 Mark Andrew Shackleton Method and device for frame interpolation of a moving image
JPH0575913A (ja) * 1991-09-13 1993-03-26 Matsushita Electric Ind Co Ltd 動きベクトル検出回路及び手ぶれ補正回路
JP3164121B2 (ja) * 1992-02-21 2001-05-08 キヤノン株式会社 動きベクトル検出装置
JP3168492B2 (ja) * 1992-10-14 2001-05-21 三菱電機株式会社 撮像装置
KR100318786B1 (ko) * 1993-06-01 2002-04-22 똥송 멀티메디아 에스. 에이. 움직임보상된보간방법및장치
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
KR100292475B1 (ko) * 1993-12-08 2001-06-01 구자홍 디지탈 영상 흔들림 보상 장치
JPH08163565A (ja) * 1994-12-05 1996-06-21 Canon Inc 動きベクトル検出方法及びその装置
GB2297450B (en) * 1995-01-18 1999-03-10 Sony Uk Ltd Video processing method and apparatus
JPH10136304A (ja) 1996-10-30 1998-05-22 Nagano Nippon Denki Software Kk 記録済み動画ファイルの手振れ補正機構
JPH10210473A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 動きベクトル検出装置
US6809758B1 (en) 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
JP3948596B2 (ja) * 2000-03-06 2007-07-25 Ｋｄｄｉ株式会社 動画像内の移動物体検出追跡装置
KR100683849B1 (ko) 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
JP4596202B2 (ja) * 2001-02-05 2010-12-08 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
JP3886769B2 (ja) * 2001-10-26 2007-02-28 富士通株式会社 補正画像生成装置および補正画像生成プログラム
EP1377040A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
US7639741B1 (en) * 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
US8085850B2 (en) * 2003-04-24 2011-12-27 Zador Andrew M Methods and apparatus for efficient encoding of image edges, motion, velocity, and detail
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
JP2005027046A (ja) * 2003-07-02 2005-01-27 Sony Corp 画像処理装置及び画像処理方法
JP4164424B2 (ja) * 2003-08-29 2008-10-15 キヤノン株式会社 撮像装置及び方法
GB2407226B (en) * 2003-10-18 2008-01-23 Hewlett Packard Development Co Image processing scheme
JP4258383B2 (ja) * 2004-01-14 2009-04-30 パナソニック株式会社 撮像装置
JP2005244780A (ja) * 2004-02-27 2005-09-08 Matsushita Electric Ind Co Ltd 撮像装置
JP2005260481A (ja) * 2004-03-10 2005-09-22 Olympus Corp 動きベクトル検出装置及びその検出方法並びにカメラ
US8331723B2 (en) * 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
CN101432981A (zh) * 2004-10-27 2009-05-13 Eg技术有限公司 用于信道组的最优速率分配
JP2007122232A (ja) * 2005-10-26 2007-05-17 Casio Comput Co Ltd 画像処理装置及びプログラム

Also Published As

Publication number Publication date
JP2007122232A (ja) 2007-05-17
US7742647B2 (en) 2010-06-22
EP1941720B1 (en) 2017-05-03
WO2007049662A1 (en) 2007-05-03
KR20080000580A (ko) 2008-01-02
TW200723861A (en) 2007-06-16
KR100941285B1 (ko) 2010-02-11
CN101151889A (zh) 2008-03-26
TWI327026B (en) 2010-07-01
US20070092145A1 (en) 2007-04-26
EP1941720A1 (en) 2008-07-09

Similar Documents

Publication Publication Date Title
CN100521744C (zh) 图像处理设备和方法
JP5580453B2 (ja) 直接モード符号化及び復号化装置
KR0181069B1 (ko) 움직임 추정장치
US8559515B2 (en) Apparatus and method for encoding and decoding multi-view video
US8000393B2 (en) Video encoding apparatus and video encoding method
CN101039433B (zh) 视频编码方法和视频编码装置
TWI621351B (zh) 影像預測解碼裝置、影像預測解碼方法及影像預測解碼程式
JP5216710B2 (ja) 復号化処理方法
KR100843418B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
JPH07112284B2 (ja) 予測符号化装置及び復号化装置
TWI511531B (zh) 影像編碼裝置、影像編碼方法及影像編碼程式
JP2013532926A (ja) 複数のプロセッサを使用してビデオフレームを符号化するための方法およびシステム
WO2010109564A1 (ja) 画像符号化装置及び画像符号化方法
CN101822058A (zh) 使用像素抽取的视频编码
CN101873495B (zh) 场景转换检测装置以及影像记录装置
JPH10336672A (ja) 符号化方式変換装置およびその動きベクトル検出方法
JP4898415B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5180887B2 (ja) 符号化装置およびその方法
JP3812808B2 (ja) スキップ領域検出型動画像符号化装置および記録媒体
JP2000261809A (ja) 画像特徴に応じた画像符号化装置
JP3888533B2 (ja) 画像特徴に応じた画像符号化装置
CN103155566A (zh) 动态图像编码方法以及动态图像编码装置
JPH1042300A (ja) 動きベクトル検出装置
CN109587496B (zh) 一种Skip块判别方法、编码器、电子设备及可读存储介质
JP2008072608A (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160815

Address after: 100080, Haidian District, 68, Qinghe street, Huarun colorful city shopping center, two, 9, 01, room

Patentee after: BEIJING XIAOMI MOBILE SOFTWARE Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: CASIO Computer Co., Ltd.