CN1119866C - 动态向量检出装置及其检出方法以及图象符号化装置 - Google Patents

动态向量检出装置及其检出方法以及图象符号化装置

Info

Publication number
CN1119866C
CN1119866C CN98117377A CN98117377A CN1119866C CN 1119866 C CN1119866 C CN 1119866C CN 98117377 A CN98117377 A CN 98117377A CN 98117377 A CN98117377 A CN 98117377A CN 1119866 C CN1119866 C CN 1119866C
Authority
CN
China
Prior art keywords
mentioned
degree
dynamic vector
correlation
symbolism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN98117377A
Other languages
English (en)
Other versions
CN1213230A (zh
Inventor
青木胜司
大谷昭彦
荒木敏之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1213230A publication Critical patent/CN1213230A/zh
Application granted granted Critical
Publication of CN1119866C publication Critical patent/CN1119866C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20052Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种动态向量检出装置包括相关度运算手段,设有多个运算符号化对象块和搜索范围内的相关度运算块,各相关度运算块分别在所提供的象素群间进行相关度运算。其中,符号化对象块的不同象素群由第1图象存储手段供给,对候补块的象素群由第2图象手段供给。控制部对应符号化对象块的频率成分等图象特征信息和电池残余时的使用情况信息进行局部取样的设定,然后对应这一设定对于相关度运算手段选择相关度运算块的全部或部分使其动作。

Description

动态向量检出装置及其检出方法以及图象符号化装置
本发明涉及动态向量检出技术,可以高效率地检出在进行移动图象动态补偿符号化时的动态向量。
作为移动图象检出动态向量的方法,一般使用块匹配法。图8所示为块匹配法的概念图。如图8所示那样,在块匹配法中,首先,在作为动态向量检出的对象的符号化对象块和搜索范围内的符号化对象块和同一尺寸的各候补块之间,分别运算表示图象相关度的评价值。然后,求出从符号化对象块和同一位置块到评价值所示相关度最高的候补块为止的变位,作为动态向量。作为相关度的评价值,例如,可以用块相互间对应的象素的差分绝对值的总和。在这种场合,图象的相关度越高,评价值越小。
在块匹配法中,由于对一符号化对象块要进行与搜索范围的各候补块的评价值运算,所以作为评价值运算的整体,其运算量就很庞大。因此,动态向量检出装置消耗的电力要增加,装置本身也变大。
使用块匹配法进行动态向量检出时,为了减少评价值的运算量,降低消耗的电力,有一些方法,其中的一种方法是局部取样(间拔)的方法。局部取样的方法是在符号化对象块及搜索范围内,对象素进行间拔。使用这种局部取样的方法,符号化对象块的象素数由于间拔后成为1/N(N是正数)时,评价值的运算量出同样地成为1/N,这样,消耗的电力也几乎为1/N。
但是由于使用局部取样手法,在符号化对象块及在搜索范围内的象素间拔,间拔后的图象,可能不保留原图象细目的特征。这样,与不使用局部取样的方法相比,评价值的运算量可以减少,而动态向量检出性能方面可能恶化。另一方面,也有时稍微将动态向量检出的性能降低一些,而减少评价运算的运算量、降低消耗电力。
鉴于上述的问题,本发明提出一种动态向量检出技术,在动态向量检出时,从检出性能和消耗电力两方面出发,设定局部取样,比现有技术更加切实可行地检出动态向量。
为解决上述的课题,本发明提出一种动态向量检出的解决装置之一是作为动态检出装置,它设有:存储符号化对象块的图象的第1图象存储装置、存储搜索范围的图象的第2图象存储装置、相关度运算装置、控制部和相关度决定装置;其中,相关度运算装置具有运算符号化对象块和搜索范围内候补块的相关度的多个相关运算块,各相关运算块分别在所供给的象素群之间进行相关度运算,符号化对象块的象素中的不同象素群由上述第1图象存储装置供给的同时,对应该供给的象素群的候补块的象素群由上述第2图象存储装置供给;对上述相关度运算装置,控制部在上述多个相关度运算块中至少选择1个使其动作;相关度决定装置以由上述控制部的控制而动作的相关度运算块的输出为基础,求出符号化对象块和候补块的相关度。
通过上述的本发明,动作的相关度运算块是由控制部进行选择,以动作的相关度运算的输出为基础,求出符号化对象块和候补块的相关度,因此,可以在所需要最小的电力条件下进行动态向量的检出。
在上述本发明中动态向量检出装置中的相关度决定装置设有选择器和运算器。选择器将上述各相关度运算块的输出作为输入,选择通过上述控制部的控制而动作的相关度运算的输出后输出;运算器以上述选择器的输出为基础,运算符号化对象块和候补块的相关度。
在上述本发明的动态向量检出装置中的控制部,在检出动态向量时当进行局部取样时,使上述多个相关度运算块的一部分运算动作,而当不进行局部取样时,上述多个相关度运算块全部动作。
在上述本发明的动态向量检出装置中的控制部,对应符号化对象块的图象特征信息,对上述相关度运算块进行选择。
在上述本发明的动态向量检出装置中的的图象特征信息是作为该符号化对象块的图象的频率成分信息。
在上述本发明的动态向量检出装置中的控制部,对应该动态向量检出装置的使用情况信息,对上述相关度运算块进行选择。
在上述本发明的动态向量检出装置中的使用情况信息是作为对该动态向量检出装置供给电力的信息。
在上述本发明中任何一个动态向量检出装置中的相关度运算块的个数是4个。
在本发明中提出的另一种动态向量检出的解决方法是作为动态向量检出方法,它有运算对象帧的符号化对象块和搜索帧的搜索范围内各候补块的相关度的第1步骤和以上述第1步骤中运算出的相关度为基础,检出上述符号化对象块的动态向量第2步骤。上述第1步骤以符号化对象块的图象特征信息为基础,进行对相关度运算时的局部取样的设定。
在上述本发明中的动态向量检出方法是将上述符号化对象块的频率成分作为上述图象特征信息使用的方法。
在上述本发明中的动态向量检出方法是将在对象帧的前一帧的和该符号化对象块同一位置或临近块的DCT成分作为上述图象特征信息使用方法。
在上述本发明中的动态向量检出方法是将在对象帧的前一帧的和该符号化对象块同一位置或临近的块的动态向量作为上述图象特征信息使用的方法。
在上述本发明中的动态向量检出方法的局部取样的设定,是以上述图象特征信息和实施这种方法的装置的使用情况信息为基础进行设定的。
在上述本发明中的动态向量检出方法是将表示实施该方法的装置是携带使用还是放置使用的信息作为上述使用情况信息的。
在上述本发明中的动态向量检出方法是将作为实施该方法装置电源的电池的残余量作为上述使用情况信息的。
在本发明所提供的动态向量检出的解决方法中包括另一种作为动态向量检出方法,它设有运算对象帧的符号化对象块和在搜索帧的搜索范围内的各候补块的相关度的第1步骤及以上所述第1步骤运算得到的相关度为基础,检出上述符号化对象块的动态向量的第2步骤。上述第1步骤,以实施该方法装置的使用情况为基础,进行相关度运算时的局部取样的设定。
在上述本发明中另一种的动态向量检出方法是将表示实施该方法装置是携带使用还是放置使用的信息作为上述使用情况信息的。
在上述本发明中另一种的动态向量检出方法是将作为实施该方法装置电源的电池的残余量作为上述使用情况信息的。
在本发明所提出的动态向量检出的解决装置中,包括一种作为进行移动图象的动态补偿符号化的图象符号化装置,它设有动态向量检出部、离散余弦变换部、量子化部、可变长符号化部及局部再生部;上述动态向量检出部运算对象帧的符号化对象块和在搜索帧的搜索范围内的各候补块的相关度,以运算出的相关度为基础,检出上述符号化对象块的动态向量。上述动态向量检出部,以符号化对象块的图象特征信息为基础,进行相关度运算时的局部取样的设定。
在上述本发明中的图象符号化装置中,上述动态向量检出部将由上述DCT部求出的在对象帧的前一帧的和该符号化对象块同一位置或临近块的DCT成分,作为上述图象特征信息,进行局部取样的设定。
在上述本发明中的图象符号化装置的动态向量检出部是将在对象帧的前一帧的和该符号化对象块同一位置或者临近块的动态向量作为上述图象特征信息,进行局部取样的设定。
下面对附图进行简单的说明。
图1是本发明一实施例的动态向量检出装置构成的帧图。
图2是图1中相关度决定装置构成的帧图。
图3是设有在图1中所示的动态向量检出装置的图象符号装置的一例帧图。
图4(a)、(b)是图象和频率成分的关系图。
图5(a)是一例符号化对象块的图像。(b)是对(a)的图象在水平方向每隔1个象素进行局部取样的结果。(c)是对(a)的图象在垂直方向每隔1个象素进行局部取样的结果。
图6是本发明的一实施例的局部取样设定处理的流程图。
图7是一例对于符号化对象块的DCT成分图。
图8是块匹配法的概念图。
图中,10:动态向量检出部;11:第一图象存储装置;12:第二图象存储装置;13:相关度运算装置;13a~13d:第1~第4的相关度运算块;14:相关度决定装置;14a选择器;14b:加法器(运算器);20:控制部;30:控制器;32:DCT部;42:CPU部;S1:图象特征信息;S2:使用特征信息;MV:动态向量。
下面结合附图和实施例对本发明给予进一步的说明。
图1是本发明一个实施例的动态向量检出装置构成的帧图。在图1中,11是存储符号化对象块的图像的第一图象存储装置,12是存储搜索范围图象的第2图象存储装置。13是相关度运算装置,由4个相关度运算块13a~13d组成,用以运算符号化对象块和搜索范围内的候补块的相关度。第1~第4的相关度运算块13a~13d分别在所供给的象素群之间进行相关度的运算,其中,符号化对象块的象素中不同的象素群由第1图象存储装置11提供的同时,第2图象存储装置12提供对应第1图象存储装置提供的象素群。作为相关度的评价值,使用象素的差分绝对值的总和。
在本实施例中,象素的局部取样,在水平方向和垂直方向都可以每隔1个象素进行取样。为此,将存储在第1图象存储装置11中的符号化对象块的各象素分成象素○群、象素◇群、象素●群、和象素◆群4种。象素○群提供给第1相关度块13a、象素◇群提供给第2相关度块13b,象素●群提供给第3相关度块13c,象素◆群提供给第4相关度块13d。存储在第2图象存储装置12中的搜索范围的各象素群的供给目的地对应候补块的设定而变化。第2图象存储装置12的地址指定通过地址生成部15进行。
20是控制部,它通过启动信号EN选择使第1~第4的相关度运算块13a~13d中的全部或其中的一部分使其动作。控制部20对应符号化对象块的图象特征信息S1或动态向量检出装置的使用状况信息S2选择使第1~第4的相关度运算块13a~13d全部动作的方式或一部分动作方式。在动态向量检出时,不进行局部取样时,第1~第4的相关度运算块13a~13d全部动作,而进行局部取样时,只是其中的一部分动作。
14是相关度决定装置,它以由控制部20控制而动作的第1~第4相关度运算块13a~13d的输出EC1-EC2为基础,求出符号化对象块和候补块的相关度。相关度决定装置14以符号化对象块和各候补块的相关度为基础,输出动态向量MV。
图2所示为图1中相关度决定装置14的构成的帧图。14a是选择器,它根据由第1~第4的相关度运算块13a~13d的输出EC1~EC4或者数值为“0”的启动信号EN选择输出。14b是加法器,它作为运算器,将相加选择器14a的输出值;14c是从加法器14b的输出中检出最小值的最小值检出电路。
以下说明图1及图2所示的动态向量检出装置的动作。符号化对象块的图象及搜索范围的图象从第1及第2图象存储装置11、12将象素○群、象素◇群、象素●群、和象素◆群分别供给第1~第4的相关度运算块13a~13d。第1~第4的相关度运算块13a~13d,根据从控制部20的启动信号EN被指示动作时,在被供给的符号化对象块的象素群和搜索范围的象素群之间,运算象素的差分绝对值的总和。由此,第1相关度运算块13a输出在动作时象素○群相互间的差分绝对值的总和EC1,同样的,第2相关度运算块13b输出在动作时象素◇群相互间的差分绝对值的总和EC2,第3相关度运算块13c输出在动作时象素●群相互间的差分绝对值的总和EC3,第4相关度运算块13d输出在动作时象素◆群相互间的差分绝对值的总和EC4。
相关度决定装置14,如图2所示,选择器14a根据第1~第4相关度运算块13a~13d的输出EC1~EC4或者数值为“0”的启动信号EN进行选择,加法器14b相加该选择值。这时,选择器14a只选择第1~第4相关度运算块中的动作块的输出,不动作块输出用“0”代替。因此,从加法器14b只输出第1~第4相关度运算块13a~13d中动作块的输出总和。在此,象素A群相互间的差分绝对值的总和和象素B群相互间的差分绝缘对值总和的相加值相当于包含在象素A群及象素B群中的象素相互间的差分绝对值的总和。因而,加法器14b的输出是相当于包含在动作的相关度运算块中,所被供给的象素群中的象素相互间的差分绝对值总和,即相当于相关度评价值。
最小值检出电路14c从加法器14b输出的相关度评价值中检出最小值,同时检出对应相关度评价值最小的候补块的动作向量。
控制部20以符号化对象块的图象特征信息S1及动态向量检出装置的使用情况信息S2为基础,选择在相关度评价值的运算中所必要的象素群。然后,根据启动信号EN,只使被供给必要的象素群的相关度运算块动作。
这样,本实施例形式的动态向量检出装置,以图象特征信息S1及使用情况信息S2为基础,在符号化对象块及搜索范围中选择相关度评价值运算中所必要的象素群,只有这些被选择的象素群进行相关度评价值的运算,检出动态向量。换个说法,没有被选择的象素群从符号化对象块及搜索范围中被间拔掉,所以,可以检出使用了局部取样后的动态向量。
另外,由于没有选择象素群供给的相关度运算块不动作,就可以在所需最低电力下进行动态向量检出。
图3是设有在图1中所示的动态向量检出装置的图象符号化装置的一例帧图。在图3中,1是从图象数据生成符号化数据的图象符号化装置,41是作为图象符号化装置1的电源的电池,42是控制图象符号化装置1的CPU,43是予先处理输入图象符号化装置1的图象数据的前处理部,44是存储从图象符号化装置1输出的图象数据的基础存储器。
图象符号化装置1,作为处理块,设有图象输入部31,动态向量检出部10,离散余弦变换(DCT)部32、量子化部33,可变长符号化(VLC)部34及局部再生部35。动态向量检出部10的构成如图1所示。局部再生部35对量子化后的数据进行逆量子化及逆DCT后再构成图象。控制器30控制各处理块,存储器接口(I/F)部36对各处理块和基础存储器44之间的数据进行传送。
图1中控制部20的功能由图3中的控制器30和CPU42实现。也就是说,接收到从DCT部或动态向量检出部10或者前处理部43传来的图象特征信息S1的同时,也接到电池41的残余量等使用情况信息S2,以这些信息情报S1、S2为基础,控制在动态向量检出部10的局部取样的设定。
以下说明以图象特征信息S1以及使用情部时信息S2为基础的局部取样的设定。
图4(a)、(b)是图象和频率成分的关系图。横轴表示象素的位置,纵轴表示各象素的值。在同一图中,(a)图所示为各象素将象素值A、B每隔1个象素的图象,该图象将象素间隔2个就有作为周期的频率成分。图4(b)是对图4(a)的图象每隔1个象素进行局部取样结果的图象。比较图4(a)、(b)可以清楚,图4(a)是有图象的,有每隔1个象素象素值不同的这一特征,而由于每隔1个象素的局部取样后这一特征消失。
另外,根据图象,其特征对应局部取样的方向也有消失的场合,也有不消失的场合。例如:如图5(a)所示那样,对于符号化对象块的图象,如果在水平方向进行每隔1个象素的局部取样,就如图5(b)那样。在这种场合,由于原有的符号化对象块的图象特征在局部取样以后仍残留着,所以,动态向量检出的性能几乎不降低。但是,如果对于图5(a)的图象在垂直方向进行每隔1个象素的局部取样,如图5(c)所示,局部取样后,没有留下原有的符号化对象块的图象特征,在这种场合,动态向量检出的性能降低,恐怕会检出错误的动态向量。
也就是说,在局部取样的场合,当局部取样后,没有留下原有的图象特征时,会检出错误的动态向量。因此,在本实施例中,将符号化对象的频率成分作为图象特征信息S1,设定局部取样。
在图1的构成中,着眼图象的垂直方向时,用象素○群及象素◇群(或者使用象素●群和象素◆群)进行评价值运算时,相当于进行没有局部取样的动态向量的检出,只使用象素○群进行评价值运算时,相当于进行每隔1个象素局部取样的动态向量检出。
在此,假如符号化对象块的图象在垂直方向,周期是间隔2个象素就有频率成分时,该频率成分不消失,就不进行垂直方向的局部取样。所以,就用象素○群和象素◇群(或者使用象素●群和象素◆群)进行评价值运算。另一方面,符号化对象块的图象,在垂直方向,周期每2个象素间隔没有频率成分时,只使用象素○群进行评价值运算。着眼于图象水平方向时,同样地可以进行局部取样的设定。
作为使用情况信息S2,图象符号化装置,可以考虑携带使用或放置使用这种信息。即,在放置使用的场合,通常由于可以稳定供电,不进行局部取样,可以最大限度地提高动态向量检出的性能。另一方面,携带使用的场合,对应电池的残余量和预定使用残余量的时间,进行局部取样也是所希望的。
具体说明有关局部取样的设定。图6是本实施例的局部取样设定处理的流程图。
在步骤11,CPU42将电池41的残余量作为使用情况信息S2接收,与事先设定的使用时间等的信息相对应,指示图象符号化装置1是否要降低电力的消耗。当不需要降低消耗的电力时,与降低消耗电力相比更重视动态向量检出的性能,实行不进行局部取样,动态向量的检出。
需要降低消耗电力时,控制器30以图象特征信息S1为基础,设定局部取样。在此,将对于符号对象块通过DCT部32求出DCT成分作为图象特征信息S1使用。离散余弦变换是将余弦函数作为基础函数垂直变换,是求包含在该变换对象的频率成分的运算。
图7是一例对于符号化对象块的DCT成分图。如图7所示的DCT成分表示该符号对象块的频率成分的分布。即,在图7中,靠近左上方的成分值越大,低频成分越多,相反,靠近右下方成分值越大,高频成分越多。
另外,横向成分值的变化表示水平方向频率分布,纵向成分值的变化表示垂直频率分布,在图7的例子中,由于水平方向的频率低,垂直方向的频率高,所以,最好在水平方向进行局部取样而在垂直方向不进行局部取样。在这种场合,在图1的构成中,可以通过只使第1及第2相关度运算块13a、13b动作,实现降低消耗的电力。
在这里,将最上行最左边的2个成分值的和作为水平频率数值∑fH。最左行的最上面的2个成分值的和作为重直频率数值∑fV。然后,用水平频率值∑fH和垂直频率数值∑fV,在水平方向和垂直方向分别设定局部取样。
在步骤12,当水平频率数值∑fH为所定值HO以上时,判断符号化对象块水平方向的频率低,进行水平方向的局部取样(步骤S13)。另一方面,当水平频率数值∑fH比所定值HO小时,判断符号化对象块水平方向的频率高,不进行水平方向的局部取样。
在步骤14,当垂直频率值∑fV在所定值VO以上时,判断符号化对象块垂直方向的频率低、进行垂直方向的局部取样(步骤S15)。相反,当垂直频率值∑fV比所定值VO小时,判断符号化对象块垂直方向的频率高,不进行垂直方向的局部取样。
在步骤16,用已设定的局部取样,进行动态向量的检出。
进行动态向量检出的图象符号化装置,一般都设有DCT部,所以,没有必要再设置用于DCT成分运算的新装置。但是,在通常图象符号化处理的流程中,DCT运算是在动态向量检出后进行的。为此,如本实施例中那样,如果为了设定局部取样要使用DCT成分时,除了要进行原来实行的DCT运算以外,还必须进行用于局部取样设定的DCT运算。这样,运算量加大是我们所不希望的。
这里,通过前处理部43,预先取出符号化对象块的DCT成分等的图象特征,可以用这种办法进行局部取样的设定。例如:CPU42以从前处理部43提供的图象特征信号S1为基础,经控制器30设定在动态向量检出的局部取样方式。控制器30也可以从前处理部43经图象输入部31所提供的图象特征信息S1为基础,设定检出动态向量的局部取样方式。
另外,即使是动态图象,由于在短时间内图象几乎没有变化,可以全部运算。所以将在对象帧的前一帧的符号化对象块和对于同一位置的块的DCT成分,用于局部取样的设定也是可以的。另外,由于某个块和它临近的块,在一般的场合,图象特征相同,所以,也可以将符号化对象块的临近块,或者在对象帧的前1个帧的符号化对象块和同一位置的临近块的DCT成分,用于局部取样的设定。
作为图象特征信息S1,除频率成分外,也可以考虑利用图象的动态信息,也就是说,利用人的眼睛对于移动快的东西析象能力差这种特性,可以在符号化对象块的移动大时,进行局部取样,在移动小时不进行局部取样。作为表示符号化对象块移动的图象特征信息S1可以用作有检出的在对象帧的前一帧的该符号化对象块和同一位置或临近块的动态向量。
在本实施例中,将符号化对象块及搜索范围的图象分成4种象素群,相关度运算装置13由4个相关度运算块构成,但是,本发明也不只限于这样的构成,例如:如果将局部取样的象素的间拔方法,在水平方向每隔1个象素,垂直方向每隔2个象素,就必须将符号化对象块及搜索范围的图象分成6(=2×3)种象素群。在这种情况下,对应各象素群最好设置6个相关度运算块。另外,关于复数象素群,也可以共用相关度运算块。在这种场合,相关度运算块的个数比象素群的个数少。
在此,动态向量检出部10的运算量是图象符号化装置1中其他处理块的运算量的100-1000倍。用具体的数值表示如下那样:取匹配法的评价值运算的运算量是(1个象素需要的运算数)×(符号化对象块的象素数)×(候补块数)。设1个象素的运算(差分绝对值运算)的运算数为3、符号化对象块的象素数为256(=16×16)、候补块数为1024,那末1个符号化对象块所必须的运算量为“786432”。在以水平720个象素、垂直480个象素、每秒30个图象表示的移动图象中,16×16的符号化对象块在1秒中有40500个。这一结果,必须由动态向量检出部10进行约31GOP的庞大运算,为此要消耗大量电力。在全部发表图象符号化LSI的设计方案中,必须考虑到动态向量检出部10所消耗的电力约是装置整体的1/2-1/4。
为此,本发明者为实现降低图象符号化装置整体的电力,特别着眼电力消耗大的动态向量检出部10。并且,为了降低动态向量检出部电力的消耗,其方法之一是采用局部取样,然后以应图象符号化装置的使用情况和图象的特征,相应地设定局部取样。即:携带机器的电池残余量变少时,需要降低所消耗的电力,原则上采用局部取样,对于有高频成分的图象,为避免图象质量恶化,不使用局部取样,虽维持图象质量,但实现降低耗电量,这是本发明的特征。因此,在使用携带机器中装入电池的装置时,对应长时间使用方式和电池残余量,控制所消耗的电力等,本发明也是有效的。
如上所述,由于本发明是符号化对象块的频率成分等的图象特征信息以及电池残余量等的使用情况信息为基础进行局部取样的设定。所以,与现有的方法相比,在检出性能和消耗电力方面,更能检出相应的动态向量。又由于对应局部取样的设定相关度运算块,这样,就可以在最小所需电力条件下进行动态向量的检出。

Claims (21)

1、一种动态向量检出装置,其特征是:设有第1图象存储装置、第2图象存储装置、相关度运算装置、控制部和相关度决定装置,其中,第1图像存储装置存储符号化对象块的图象;第2图象存储装置存储搜索范围的图象;相关度运算装置具有运算符号化对象块和搜索范围内候补块的相关度的多个相关度运算块,各相关度运算块分别在所供给的象素群之间进行相关度运算,其中的符号化对象块的不同象素群由上述第1图象存储装置供给的同时,对应该供给的象素群的候补块的象素群由上述第2图象存储装置供给;对于上述相关度运算装置,控制部在上述多个相关度运算块中,至少选择1个使其动作;相关度决定装置以由上述控制部的控制而动作的相关度运算块的输出为基础,求出符号化对象块和候补块的相关度。
2、如权利要求1所述动态向量检出装置,其特征是:上述相关度决定装置设有选择器和运算器;选择器以上各相关度运算块的输出作为输入,选择通过上述控制部的控制而动作的相关度运算块的输出后输出;运算器以上述选择器的输出为基础,运算符号化对象块和候补块的相关度。
3、如权利要求1所述动态向量检出装置,其特征是:上述控制部在检出动态向量时当进行局部取样时,使上述多个相关度运算块中的一部分运算块动作;而当不进行局部取样时,使上述多个相关度运算块全部动作。
4、如权利要求1所述动态向量检出装置,其特征是:上述控制部对应符号化对象块的图象特征信息,对上述相关度运算块进行选择。
5、如权利要求4所述动态向量检出装置,其特征是:上述图象特征信息是该符号化对象块的图象的频率成分。
6、如权利要求1所述动态向量检出装置,其特征是:上述控制部对应该动态向量检出装置的使用情况信息,对上述相关度运算块进行选择。
7、如权利要求6所述动态向量检出装置,其特征是:上述使用情况信息是对该动态向量检出装置供给电力的信息。
8、如权利要求1~7中任一项所述的动态向量检出装置,其特征是:上述多个相关度运算块的个数是4个。
9、一种动态向量检出方法,其特征是:包括有第1步骤和第2步骤;其中,第1步骤运算对象帧的符号化对象块和在搜索帧的搜索范围内各候补块的相关度;第2步骤以上述第1步骤中运算出的相关度为基础,检出上述符号化对象块的动态向量;上述第1步骤以符号化对象块的图象特征信息为基础,进行相关度运算时的局部取样的设定。
10、如权利要求9所述动态向量检出方法,其特征是:上述符号化对象块的频率成分是作为上述图象特征信息使用的。
11、如权利要求9所述动态向量检出方法,其特征是:将在对象帧的前一帧的和该符号化对象块同一位置或临近块的DCT成分作为上述图象特征信息使用。
12、如权利要求9所述动态向量检出方法,其特征是:将在对象帧的前一帧的和该符号化对象块同一位置或临近的块的动态向量作为上述图象特征信息使用。
13、如权利要求9所述动态向量检出方法,其特征是:局部取样的设定是以上述图象特征信息和实施这种方法的装置的使用情况信息为基础进行设定的。
14、如权利要求13所述动态向量检出方法,其特征是:将表示实施该方法的装置是携带使用还是放置使用的信息作为上述使用情况信息的。
15、如权利要求13所述动态向量检出方法,其特征是:将作为实施该方法装置电源的电池的残余量作为上述使用情况信息的。
16、一种动态向量检出方法,其特征是:包括有第1步骤和第2步骤;其中,第1步骤运算对象帧的符号化对象块和在搜索帧的搜索范围内各候补块的相关度;第2步骤以上述第1步骤中运算出的相关度为基础,检出上述符号化对象块的动态向量;上述第1步骤,以实施该方法装置的使用情况为基础,进行相关度运算时的局部取样的设定。
17、如权利要求16所述动态向量检出方法,其特征是:将表示实施该方法装置是携带使用还是放置使用的信息作为上述使用情况信息的。
18、如权利要求16所述动态向量检出方法,其特征是:将作为实施该方法装置电源的电池的残余量作为上述使用情况信息的。
19、一种图象符号化装置,是进行移动图象的动态补偿符号化的图象符号化装置,其特征是:设有动态向量检出部、离散余弦变换部、量子化部、可变长符号化部及局部再生部;上述动态向量检出部运算对象帧的符号化对象块和在搜索帧的搜索范围内各候补块的相关度,以运算出的相关度为基础,检出上述符号化对象块的动态向量;上述动态向量检出部,以符号化对象块的图象特征信息为基础,进行相关度运算时的局部取样的设定。
20、如权利要求19所述图象符号化装置,其特征是:上述动态向量检出部将由上述DCT部求出的在对象帧的前一帧的和该符号化对象块同一位置或临近块的DCT成分,作为上述图象特征信息,进行局部取样的设定。
21、如权利要求19所述图象符号化装置,其特征是:上述动态向量检出部是将在对象帧的前一帧的和该符号化对象块同一位置或者临近块的动态向量作为上述图象特征信息,进行局部取样的设定。
CN98117377A 1997-08-26 1998-08-25 动态向量检出装置及其检出方法以及图象符号化装置 Expired - Fee Related CN1119866C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP229220/1997 1997-08-26
JP22922097 1997-08-26
JP229220/97 1997-08-26

Publications (2)

Publication Number Publication Date
CN1213230A CN1213230A (zh) 1999-04-07
CN1119866C true CN1119866C (zh) 2003-08-27

Family

ID=16888719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98117377A Expired - Fee Related CN1119866C (zh) 1997-08-26 1998-08-25 动态向量检出装置及其检出方法以及图象符号化装置

Country Status (5)

Country Link
US (1) US6169766B1 (zh)
EP (1) EP0899687B1 (zh)
KR (1) KR100559687B1 (zh)
CN (1) CN1119866C (zh)
DE (1) DE69821298T2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411651B1 (en) * 1998-06-26 2002-06-25 Compaq Information Technologies Group, L.P. Method and system for distributed video compression in personal computer architecture
US6671321B1 (en) * 1999-08-31 2003-12-30 Mastsushita Electric Industrial Co., Ltd. Motion vector detection device and motion vector detection method
KR100767489B1 (ko) * 2000-03-18 2007-10-16 주식회사 팬택앤큐리텔 벡터 기술자 표현장치 및 이를 이용한 멀티미디어 데이터 검색장치
US6809840B1 (en) * 2000-06-23 2004-10-26 Eastman Kodak Company Image processing method for adaptively sub-sampling an image
US7881367B2 (en) * 2003-01-29 2011-02-01 Nxp B.V. Method of video coding for handheld apparatus
US20050058203A1 (en) * 2003-09-17 2005-03-17 Fernandes Felix C. Transcoders and methods
JP2006203724A (ja) * 2005-01-24 2006-08-03 Toshiba Corp 画像圧縮装置及び画像圧縮方法
CN101238714B (zh) * 2005-08-12 2012-03-28 Nxp股份有限公司 数字图像稳定化方法和系统
KR100996542B1 (ko) * 2008-03-31 2010-11-24 성균관대학교산학협력단 실시간 모션 검출 영상 처리 장치 및 그 방법
JP5668587B2 (ja) * 2011-04-19 2015-02-12 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB2572497B (en) * 2012-04-04 2019-12-18 Snell Advanced Media Ltd Video sequence processing
KR101449853B1 (ko) * 2013-05-23 2014-10-13 경희대학교 산학협력단 스테레오 영상의 블록 매칭 장치
KR102198852B1 (ko) * 2014-03-24 2021-01-05 삼성전자 주식회사 홍채 인식 장치 및 이를 포함하는 모바일 장치
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63296583A (ja) 1987-05-28 1988-12-02 Fujitsu Ltd 画像符号化方式
JPH0233286A (ja) 1988-07-22 1990-02-02 Fujitsu Ltd 動ベクトル検出方式
JPH0549023A (ja) 1991-08-08 1993-02-26 Nec Corp 動画像の動き情報検出方式
WO1994003014A1 (en) * 1992-07-24 1994-02-03 Koz Mark C Low power video security monitoring system
KR950005651B1 (ko) * 1992-10-29 1995-05-27 대우전자주식회사 움직임 벡터 검출장치 및 방법
JP3001754B2 (ja) 1993-10-06 2000-01-24 日本電信電話株式会社 階層的動ベクトル検出装置
KR0122748B1 (ko) * 1993-12-28 1997-11-17 배순훈 디지탈 동영상 부호화기의 움직임 추정장치
TW297794B (zh) * 1994-09-20 1997-02-11 Ain Kotei Gigyutsu Kk
JPH08116540A (ja) * 1994-10-14 1996-05-07 Sanyo Electric Co Ltd 領域分割を用いた画像符号化装置及び画像復号化装置
US5825426A (en) * 1994-10-18 1998-10-20 Intel Corporation Video subsampling mode decisions based upon interpolation error measures
KR0154921B1 (ko) * 1994-12-30 1998-11-16 배순훈 동영상 부호화 장치에 이용하기 위한 움직임 추정기
DE19509418A1 (de) * 1995-03-16 1996-09-19 Thomson Brandt Gmbh Verfahren und Schaltungsanordnung zur Unterabtastung bei Bewegungsschätzung
US5712799A (en) * 1995-04-04 1998-01-27 Chromatic Research, Inc. Method and structure for performing motion estimation using reduced precision pixel intensity values
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
JP3283159B2 (ja) 1995-07-07 2002-05-20 日本電信電話株式会社 ソフトウェアによる画像符号化方法
KR100230838B1 (ko) * 1995-09-29 1999-11-15 배순훈 영상부호기
JP3189655B2 (ja) 1995-12-14 2001-07-16 松下電器産業株式会社 動きベクトル検出装置およびその方法
JP3466358B2 (ja) * 1996-01-18 2003-11-10 富士ゼロックス株式会社 予測符号化装置、復号装置、予測符号化方法、および、画像処理装置
JPH1051793A (ja) 1996-08-05 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> ブロックマッチング装置
KR100218374B1 (ko) * 1997-05-30 1999-09-01 구본준 움직임 추정방법

Also Published As

Publication number Publication date
KR19990023880A (ko) 1999-03-25
DE69821298T2 (de) 2004-07-01
EP0899687B1 (en) 2004-01-28
DE69821298D1 (de) 2004-03-04
EP0899687A1 (en) 1999-03-03
CN1213230A (zh) 1999-04-07
KR100559687B1 (ko) 2006-08-30
US6169766B1 (en) 2001-01-02

Similar Documents

Publication Publication Date Title
CN1119866C (zh) 动态向量检出装置及其检出方法以及图象符号化装置
AU2020207857B2 (en) Image encoding method and apparatus, and image decoding method and apparatus
CN1098596C (zh) 确定特征点的方法与设备
US8467451B2 (en) Methods for selecting a prediction mode
CN107071437B (zh) 用于帧内预测的解码图像的方法
CN106060547B (zh) 解码高分辨率图像的方法和装置
CN1247027C (zh) 资源可分级解码
CN1278200C (zh) 显示装置
CN1773553B (zh) 采用基于动态缓冲器容量水平压缩调节的图像编码
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
US8565312B2 (en) Image processing method and image information coding apparatus using the same
CN101794566B (zh) 移动终端中确定待显示字符的字模数据的方法及相关装置
CN103200406A (zh) 深度图像的编解码方法和编解码装置
CN115695802A (zh) 一种用于加快视频编码的编码单元划分方法及装置
CN111669595A (zh) 一种屏幕内容编码方法、装置、设备和介质
CN113240585A (zh) 基于生成对抗网络的图像处理方法、装置及存储介质
CN106954065B (zh) 基于梯度方向直方图的递归预测图像压缩方法
CN1745587A (zh) 用于手持装置的视频编码方法
Rad et al. A predictive algorithm for multimedia data compression
Gao et al. Two-step fast mode decision for intra coding of screen content
JP3432039B2 (ja) 画像符号化方法及びその装置
CN106060565B (zh) 一种应用于视频编解码的Planar预测电路及Planar预测方法
CN101065760A (zh) 处理图像数据的系统和方法
CN103402095A (zh) 扫描方法及装置、反扫描方法及装置
Kumar et al. STAR: Efficient SpatioTemporal Modeling for Action Recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030827

Termination date: 20100825