CN1326394C - 存储设备、信号处理设备、图像信号处理设备和信号处理方法 - Google Patents

存储设备、信号处理设备、图像信号处理设备和信号处理方法 Download PDF

Info

Publication number
CN1326394C
CN1326394C CNB038011794A CN03801179A CN1326394C CN 1326394 C CN1326394 C CN 1326394C CN B038011794 A CNB038011794 A CN B038011794A CN 03801179 A CN03801179 A CN 03801179A CN 1326394 C CN1326394 C CN 1326394C
Authority
CN
China
Prior art keywords
data
feature
positional information
signal
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038011794A
Other languages
English (en)
Other versions
CN1565123A (zh
Inventor
近藤哲二郎
吉川和志
石桥淳一
和田成司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1565123A publication Critical patent/CN1565123A/zh
Application granted granted Critical
Publication of CN1326394C publication Critical patent/CN1326394C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种能够以较小的计算量进行匹配处理,并且高度准确地检测运动矢量的存储设备,信号处理设备,图像信号处理设备和信号处理方法,配有根据保存在第二帧存储器(12)中的参考帧Fr的信息,通过把包括聚焦象素位于其中心的某一块区域中的象素值的特征用作地址,进行转换的ME存储器;和通过把包含在从第一帧存储器(11)供给的当前帧Fc的信息中的聚焦象素的特征用作特征地址,读取ME存储器(13)的存储信息,计算当前帧中聚焦象素和从ME存储器(13)读取的特征地址(位置坐标)之间的距离,并把多个候选者中,基于具有最小距离的位置信息的差分坐标检测为聚焦象素的运动矢量(Vx,Vy)的匹配装置(14)。

Description

存储设备、信号处理设备、图像信号处理设备和信号处理方法
技术领域
本发明涉及适合于要求匹配的处理,例如在运动图像压缩设备中使用的运动检测装置和目标搜索装置等的存储设备,信号处理设备,图像信号处理设备和信号处理方法。
背景技术
信号的匹配处理,尤其是图像信号的匹配处理存在通常导致大量计算的问题。如下所述借助块匹配的运动矢量检测是使用匹配处理的一个例子。
即,在图像信号处理设备中,获得指示图像的运动的运动矢量的运动检测是有效实现运动图像压缩的一个主要技术。提出了获得运动矢量的一些方法,但是一种主要方法是称为块匹配算法的方法。
图1是表示相关领域的图像信号处理设备中的运动检测装置的结构例子的方框图,其中应用了块匹配算法。
运动检测装置1包括帧存储器2和3,以及运动矢量检测部分4。
在运动检测装置1中,当从输入端TIN输入图像信号时,一帧的信息被保存在帧存储器2中。
当输入下一帧的信息时,帧存储器2中早先的(先前输入的)信息被保存在帧存储器3中,当前(本次)输入信息被保存在帧存储器2中。
即,当前帧Fc的信息保存在帧存储器2中,参考帧Fr的信息保存在帧存储器3中。
随后,当前帧Fc和参考帧Fr的信息被发送给矢量检测部分4,并在运动矢量检测部分4中被分成多个块,在运动矢量检测部分4,检测并从端子TOUT输出运动矢量(Vx,Vy)。
图2说明了块匹配算法的概要。下面,参考图2说明该算法的概要。
在该算法中,通过计算聚焦象素Fc(x,y)位于其中心的参考块范围(L×L)中的象素,和参考帧Fr中搜索区SR中和上述块范围(L×L)相同的块范围中的象素中,对应象素的差分绝对值和(differentialabsolute sum),获得当前帧Fc中聚焦象素Fc(x,y)的运动矢量。
在把于搜索区中抽取的块范围移动一个象素的同时,重复上述计算,所有块中具有最小差分绝对值和的块的中心位置和聚焦象素位置的差分矢量被看作解(运动矢量)。
下面参考图3,详细说明检测当前帧Fc中的象素Fc(x,y)的运动矢量的处理流程。
步骤ST1:
在步骤ST1中,在开始处理ST0之后,确定搜索区SR,搜索区SR把参考帧中和聚焦象素的位置(x,y)相同的位置用作基准。
步骤ST2:
在步骤ST2中,替换计算公式的最大值,以初始化保存计算结果的最小值的变量“min”。当假定一个象素为8位,并且块中象素的数目为16时,28×16=4096被赋予变量“min”。
步骤ST3:
在步骤ST3中,计算搜索区SR中的块的计数器变量“n”被初始化成“1”。
步骤ST4:
在步骤ST4中,被计算结果替换的变量“sum”被初始化为“0”。
步骤ST5:
在步骤ST5中,假定参考块的范围为L×L,在当前帧中某一块中的象素为Fc(i,j),参考帧的搜索区SR中第k块中的象素为Frk(i,j),进行对应象素的差分绝对值和的计算,即进行下述公式1的计算,并用计算结果替换“sum”。
Σ i = 1 L Σ j = 1 L = | Fc ( i , j ) - Frk ( i , j ) | - - - ( 1 )
步骤ST6:
在步骤ST6中,区分计算的差分绝对值和“sum”与差分绝对值和的最小值“min”之间的大小关系。当计算的差分绝对值和“sum”较小时,流程进入步骤ST7,而当计算的差分绝对值和“sum”较大(包括相等)时,计算结果不是最小值,从而跳过步骤ST7,流程进入步骤ST8。
步骤ST7:
在步骤ST7中,用最小值“min”更新计算结果“sum”,并把该块的计数器值“n”设置为运动矢量编号。
步骤ST8:
在步骤ST8中,如果块计数器值“n”是搜索区SR中块的总数时,即到达最后一块时,这意味着结束,从而流程进入步骤ST10,而如果该块不是最后一块,则流程进入步骤ST9。
步骤ST9:
在步骤ST9中,块计数器值“n”被递增为“n+1”,流程进入步骤ST4,重复计算。
步骤ST10:
在步骤ST10中,根据中心象素和具有在运动矢量编号中保存的编号的块的(x,y),获得运动矢量,并输出所述运动矢量。
由于上面说明的块匹配算法重复公式(1)的计算,因此存在计算量变得极大,并且为此花费图像压缩处理,例如MPEG的大多数时间的缺陷。
发明内容
本发明的目的是提供一种能够只用较少的计算量,实现匹配处理等,并准确检测运动矢量等的存储设备,信号处理设备,图像信号处理设备和信号处理方法。
为了实现上述目的,本发明的第一方面是一种保存信息的存储设备,其特征在于包括接收或输出信息的输入/输出装置;和保存信息的存储部分;其中至少依据和预定信号中的聚焦数据的特征对应的地址控制存储部分;所述信息是预定信号中的聚焦数据的位置信息。
存储设备最好是半导体设备。
本发明的第二方面是一种通过使用包括多个第一数据的第一信号和包括多个第二数据的第二信号,进行匹配处理的信号处理设备,其特征在于包括抽取聚焦数据的特征的第一特征抽取装置,所述聚焦数据是位于所述第一信号中的聚焦位置的数据所述;和把第二数据的位置信息保存在由和各个第二数据的特征对应的地址指定的位置的存储装置;其中通过在和聚焦数据的特征对应的地址,读取保存在存储装置中的第二数据的位置信息,获得和聚焦数据对应的第二数据的位置信息。
最好,存储装置预先保存第二数据的位置信息。
另外,上述信号处理设备还包括抽取第二信号中各个第二数据的特征的第二特征抽取装置。
最好,第一特征抽取装置还包括抽取第二信号中各个第二数据的特征的第二特征抽取装置。
另外,第一或第二信号是图像信号。
另外,通过利用预定数目的第一或第二数据抽取特征。
另外,特征是预定数目的第一或第二数据的数值的分布。
另外,用多个位表示第一或第二数据,特征是其中从多个位中省略预定位的预定数目的第一或第二数据的数值的分布。
最好,预定位是第一或第二数据的下边(lower side)位。
另外,特征是预定数目的重新量化的第一或第二数据的数值的分布。特征是经过自适应量化的预定数目的第一或第二数据的数值的分布。另外,自适应量化是ADRC。
最好,当从存储装置读取和聚焦数据的特征对应的第二数据的多个位置信息时,具有到聚焦数据的位置的最短距离的位置信息被看作和聚焦数据对应的第二数据的位置信息。
本发明的第三方面是一种通过利用包括多个第一数据的第一图像信号和包括多个第二数据的第二图像信号,检测运动矢量的图像信号处理设备,其特征在于包括抽取聚焦数据的特征的第一特征抽取装置,所述聚焦数据是位于所述第一图像信号中的聚焦位置的数据;把第二数据的位置信息保存在由和每个第二数据的特征对应的地址指定的位置的存储装置;和通过在和聚焦数据的特征对应的地址,读取保存在存储装置中的第二数据的位置信息,获得和聚焦数据对应的第二数据的位置信息,并通过利用聚焦数据的位置信息和获得的第二数据的位置信息,计算聚焦数据的运动矢量的运动矢量计算装置。
最好,当从存储装置读取和聚焦数据的特征对应的第二数据的多个位置信息时,运动矢量计算装置把具有到聚焦数据的位置的最短距离的位置信息看作和聚焦数据对应的第二数据的位置信息。
本发明的第四方面是一种通过利用包括多个数据的第一信号和包括多个第二数据的第二信号,进行匹配处理的信号处理方法,其特征在于包括抽取聚焦数据的特征的第一步骤,所述聚焦数据是位于所述第一信号中的聚焦位置的数据;把第二数据的位置信息保存在由对应于各个第二数据的特征的地址指定的位置的第二步骤;和通过在与聚焦数据的特征对应的地址,读取在第二步骤中保存的第二数据的位置信息,获得和聚焦数据对应的第二数据的位置信息。
本发明的第五方面是一种通过利用包括多个第一数据的第一图像信号和包括多个第二数据的第二图像信号,检测运动矢量的图像信号处理方法,包括抽取聚焦数据的特征的第一步骤,所述聚焦数据是位于所述第一图像信号中的聚焦位置的数据;把第二数据的位置信息保存在由和各个第二数据的特征对应的地址指定的位置的第二步骤;和通过在与聚焦数据的特征对应的地址,读取保存在存储装置中的第二数据的位置信息,获得对应于聚焦数据的第二数据的位置信息的第三步骤;和通过利用聚焦数据的位置信息和获得的第二数据的位置信息,计算聚焦数据的运动矢量的第四步骤。
附图说明
图1是表示相关领域的其中应用块匹配算法的运动检测装置的结构例子的方框图。
图2说明了块匹配算法的概要。
图3是说明检测当前帧FC中象素Fc(x,y)的运动矢量的处理流程的流程图。
图4是表示具有作为根据本发明的图像处理设备的主要部分的运动检测装置的基本结构的信号处理设备的方框图。
图5是表示图4中的第一和第二数据存储部分的基本结构的例子的方框图。
图6是表示图4中的匹配部分的结构例子的方框图。
图7是表示根据本发明的运动检测装置的第一实施例的方框图。
图8是表示根据本实施例的运动矢量检测的概要的流程图。
图9说明了根据本实施例的特征地址系统中的运动存储器的结构。
图10说明了根据本实施例,在特征地址系统中的运动存储器中进行保存的流程。
图11是说明根据本实施例,在特征地址系统中的运动检测操作的流程图。
图12是说明根据本发明的运动检测装置的第二实施例的方框图。
图13是表示根据第二实施例的运动检测装置的另一结构例子的方框图。
图14A-14D表示了获得类抽头(class tap)的例子。
图15A和15B说明了使用ADRC量化代码优于使用周围象素值的事实。
图16表示了亮度值的十进制数和十六进制数的对应关系。
具体实施方式
下面参考附图,说明本发明的优选实施例。
图4是表示具有作为根据本发明的图像处理设备的主要部分的运动检测装置的基本结构的信号处理装置的方框图。
信号处理设备用于通过在和聚焦(focused)数据的特征对应的地址,读取包含在保存于运动检测存储器(下面称为ME存储器)中的第二信号中的第二数据的位置信息,获得(确定)和聚焦数据对应的第二数据的位置信息,以较少的计算量,准确估计位置信息(运动矢量),所述聚焦数据是包括多个第一数据的第一信号中,位于聚焦位置的数据。
注意ME存储器(特征地址,i)指示ME存储器中,保存在由地址(特征地址,i)指定的位置的数据。
下面,参考附图详细说明信号处理设备的具体结构和功能。
信号处理设备10包括第一数据存储部分11,第二数据存储部分12,ME存储器13和匹配部分14。
注意,第一数据存储部分11构成根据本发明的第一特征抽取装置,第二数据存储部分12构成根据本发明的第二特征抽取装置,ME存储器13构成根据本发明的存储装置,匹配部分14构成根据本发明的运动矢量计算装置(匹配装置)。
第一数据存储部分11保存从输入端TIN输入的,包括多个第一数据的第一信号。
第一数据存储部分11接收下一个第一信号作为输入,保存该下一个第一信号,并把先前保存的第一信号作为包括多个第二数据的第二信号输出给第二数据存储部分12和匹配部分14。
另外,第一数据存储部分11从保存的第一信号抽取聚焦数据的特征,所述聚焦数据是位于聚焦位置的数据,并把包括聚焦数据的位置信息的特征信息提供给匹配部分14。
第二数据存储部分12保存存储于第一数据存储部分11中的在先(例如一次前的)第二信号,从保存的第二信号抽取每个第二数据的特征,并保存在ME存储器13中。
图5是表示第一和第二数据存储部分的结构的例子的方框图。如图5中所示,第一和第二数据存储部分分别包含存储器111和从保存于存储器111中的第一或第二信号抽取特征的特征抽取部分112。
ME存储器13接收第二数据存储部分12中的第二信号的第二数据的特征,并把第二数据的位置信息保存在由和第二数据的特征对应的地址指定的位置。
匹配部分14通过在和聚焦数据的特征对应的地址,读取包含在保存于ME存储器13中的第二信号中的第二数据的位置信息,获得(确定)对应于聚焦数据的第二数据的位置信息,所述聚焦数据是从第一数据存储部分11输入的,位于聚焦位置的数据。
当从ME存储器13读取和聚焦数据的特征对应的第二数据的多个位置信息时,匹配部分14把和聚焦数据的位置最接近的上述位置信息看作对应于聚焦数据的第二数据的位置信息。
图6是表示匹配部分14的结构例子的方框图。
如图6中所示,匹配部分14包括输入部分141,根据来自输入部分141的特征信息,在和聚焦数据的特征对应的地址,读取包含在保存于ME存储器13中的第二信号中的第二数据的位置信息的读取部分,所述聚焦数据是聚焦位置的数据,和根据来自输入部分141的第一数据的位置信息及从ME存储器13读取的信息,确定和聚焦数据对应的第二数据的位置信息的确定部分143。当用在运动检测中时,确定部分143确定运动矢量,并输出所述运动矢量。
注意第一和第二信号是例如图像信号。
另外,通过使用预定数目的第一和第二数据,实现第一和第二数据存储部分11和12中的特征抽取。另外,特征是预定数目的第一或第二数据的数值的分布。另一方面,用多个位表示第一和第二数据,特征是从上述多个位中排除预定位的上述预定数目的第一或第二数据的数值的分布。这里,预定位是第一或第二数据的低边位。另外,特征是预定数目的重新量化的第一或第二数据的数值的分布。另一方面,特征是经过自适应量化的预定数目的第一或第二数据的数值的分布,自适应量化是ADRC(自适应动态范围编码)。
下面说明作为基于具有上述结构的信号处理设备的图像信号处理设备的主要部分的运动检测装置的实施例。
第一实施例
图7是表示作为根据本发明的图像处理设备的主要部分的运动检测装置的第一实施例的方框图。
运动检测装置配有通过把特征作为地址,保存位置信息的ME存储器,并通过把周围象素值用作特征,进行匹配处理,从而可用较少的计算量,准确估计运动矢量。
下面参考附图,详细说明运动检测装置的具体结构和功能。
运动检测装置20包含作为第一数据存储部分的第二帧存储器21和作为第二数据存储部分的第二帧存储器22,ME存储器23和作为匹配部分的匹配部分24。
注意第一帧存储器21构成根据本发明的第一特征抽取装置,第二帧存储器22构成根据本发明的第二特征抽取装置,ME存储器23构成根据本发明的存储装置,匹配部分24构成根据本发明的运动矢量计算装置(匹配装置)。
第一帧存储器21保存从输入端TIN输入的一帧图像信号的信息。
当输入下一帧信息时,第一帧存储器21保存先前保存的帧信息,即当前帧Fc的信息,并把当前帧Fc的信息输出给第二帧存储器22和匹配部分24。
另外,第一帧存储器21把聚焦象素的特征,即地址信息和当前帧Fc的信息一起提供给匹配部分24。
第二帧存储器22把保存在第一帧存储器21中的在先(例如一帧之前的)帧信息保存为参考帧Fr的信息。
ME存储器23根据保存在第二帧存储器22中的参考帧Fr的信息,把通过把特征用作地址,包括和特征对应的聚焦象素的位置坐标的信息保存为聚焦象素位于其中心的某一块范围的象素值。
通过把包含在从第一帧存储器21供给的当前帧Fc的信息中的聚焦象素的特征用作特征地址,匹配部分24读取ME存储器23中的存储信息。基于当前帧中的聚焦象素和从ME存储器23读取的保存信息的差分(differential)坐标作为聚焦象素的运动矢量(Vx,Vy)从端子TOUT输出。注意当在和聚焦象素的特征对应的特征地址中,存在多个保存信息(位置坐标)时,输出多个候选者中,使聚焦象素的位置和距离变得最小的运动矢量。
图8是表示根据本实施例的运动矢量检测的概要的流程图。
本例中,首先,参考帧Fr的数据保存在ME存储器23中(步骤ST21)。随后,匹配部分24在和当前帧Fc中的象素Ln的特征相一致的特征地址,从ME存储器13读取数据(步骤ST22)。
匹配部分24确定读取数据中和象素Ln对应的数据的位置信息(步骤ST23)。随后,计算运动矢量,直到得到所有象素的运动矢量为止(步骤ST23和ST24)。
下面参考图9和10,更详细地说明其中特征地址系统作为本实施例的一个特征的ME存储器23的结构和功能。
图9表示了其中应用特征地址系统的ME存储器的结构例子。另外,图10是说明把参考帧的信息保存在ME存储器中的流程的流程图。
传统的存储器通过使用象素的位置信息作为地址,保存象素值,而ME存储器23保存接连具有标记地址FRGA1、2、...,即图9中的B、C、...中的特征的象素的每个特征位置信息。
本实施例中,一个单元ME-B1具有一定数量的位置信息的存储容量。另外,关于该特征保存的位置信息的数目保存在标记地址FRGA0中。
特征是聚焦象素位于其中心的某一块的象素值。例如,当假定块范围为3×3,垂直方向为“i”,水平方向为“j”,并且位置(i,j)的象素值为L(i,j)时,这种情况下,特征变成如下述公式(2)中所示:
{L(i-1,j-1),L(i-1,j),L(i-1,j+1),L(i,j-1),L(i,j),L(i,j+1),L(i+1,j-1),L(i+1,j),L(i+1,j+1)}
                               (2)
下面,参考图10中的流程图,说明把参考帧的信息保存到ME存储器中的流程。
当参考帧Fr的信息被保存在帧存储器22中时,开始处理。
步骤ST101:
在步骤ST101中,通过写入“0”或接通置0信号,ME存储器中的所有数据被初始化成“0”。
步骤ST102:
在步骤ST102中,用于计数一帧存储中的象素的计数器变量“n”被初始化成“0”。
步骤ST103:
在步骤ST103中,聚焦象素Ln位于其中心的某一块范围的象素值被看作图4中帧存储器21中的特征(特征地址)。
步骤ST104:
在步骤ST104中,ME存储器中的内容(特征,0)被加1。
步骤ST105:
特征地址被设置成步骤ST103中的特征,当标记地址为“0”时作为ME存储器23的内容的ME存储器内容(特征,0)被设置成读取标记地址。在步骤ST105中,聚焦象素Ln的位置信息被写入作为ME存储器13的内容的ME存储器的内容(特征,标记地址)。
步骤ST106:
在步骤ST106中,计数器变量“n”被加1。
步骤ST107:
在步骤ST107中,判断聚焦象素Ln是否是该帧中的最后象素。当不是最后象素时,流程进入步骤ST103,并对下一象素重复相同的处理。
而当是最后象素时,流程进入步骤ST109,结束处理。
下面参考图7和图11说明根据本实施例的运动矢量检测的处理流程。
注意图11是说明根据本实施例的运动矢量检测的处理流程的流程图。
步骤ST201:
在步骤ST201中,在分别把当前帧Fc和参考帧Fr的信息保存在帧存储器21和22中之后,参考帧的信息被保存在ME存储器23中,同时将其转换成特征地址。上面说明了其细节(步骤ST100~ST109)。
步骤ST202:
在步骤ST202中,用于计数一帧中的象素的计数器变量“n”被初始化成“0”。
步骤ST203:
在步骤ST203中,第一当前帧21中聚焦象素的特征是聚焦象素位于其中心的某一块范围的象素值,从而它作为特征被发送给匹配部分24。
步骤ST204:
在步骤ST204中,匹配部分24通过利用接收的特征作为特征地址,从ME存储器23读取内容ME存储器(特征地址,0)的值,并替换表示选择数目的变量“kn”。
另外,表示选择数目的计数器的变量“k”被初始化成“1”,表示距离的最小值的变量“min”被初始化成∞或者足够大的值,表示距离的变量“L”被初始化成“0”。
步骤ST205:
在步骤ST205中,计算当前帧中聚焦象素Ln和ME存储器内容(特征地址,k)=从ME存储器23读取的位置坐标之间的距离,并替换变量“L”。
步骤ST206:
在步骤ST206中,区分在步骤ST205中获得的距离L和距离的最小值“min”之间的大小。
从而,当min>L时,流程进入步骤ST207,更新距离的最小值L,而当min≤L时,跳过更新步骤,流程进入步骤ST208。
步骤ST207:
在步骤ST207中,距离的最小值“min”被更新为L。同时,标记地址值,即“k”被保存为变量“ans”。
步骤ST208:
在步骤ST208中,判断候选者计数器是否指示候选者的数目,当是候选者的数目时,流程进入步骤ST210,而当仍然存在其它候选者时,流程进入步骤ST209。
步骤ST209:
在步骤ST209中,候选者计数器“k”被加1,随后流程进入步骤ST205。
步骤ST210:
在步骤ST210中,读取具到到当前帧中的象素Ln的最小距离的位置信息,即内容ME存储器(特征地址,ans)的值,差分坐标被看作运动矢量。
步骤ST211:
在步骤ST211中,输出聚焦象素的运动矢量。
步骤ST212:
在步骤ST212中,象素的计数器变量“n”被加1。
步骤ST213:
在步骤ST213中,判断聚焦象素是否是当前帧中的最后象素。通过判断,当是最后象素时,流程进入步骤ST214,当不是最后象素时,流程进入步骤ST203,以获得下一象素的运动矢量。
关于象素值,例如当一个象素=8位时,可用满(full)位(8位)信息对诸如计算机图形(CG)之类图像进行匹配处理,而由于在自然图像中,帧是不均匀的,因此最好通过从多个位中忽略预定位,进行匹配处理。具体地说,可屏蔽不用数个低位,或者可减少位的数目以便重新量化。
即,最好减少非线性/线性量化中位的数目(减少量化位的数目)。
如上所述,根据第一实施例,第一帧存储器21保存当前帧Fc的信息,并同时输出作为聚焦象素的特征的地址信息以及当前帧Fc的信息;第二帧存储器12把保存在第一帧存储器21中的在先(一次之前的)帧信息保存为参考帧Fr的信息;ME存储器23根据保存在第二帧存储器22中的参考帧Fr的信息,转换包括聚焦象素位于其中心的某一块范围的象素值的特征,并在转换之后,保存包括位置信息的信息;和通过把包含在从第一帧存储器21提供的当前帧Fc的信息中的聚焦象素的特征作为特征地址,读取ME存储器23中的存储信息,计算当前帧中聚焦象素和从ME存储器23读取的特征地址(位置坐标)之间的距离,把基于在多个候选者中,具有最小距离的位置信息的差分坐标检测为聚焦象素的运动矢量(Vx,Vy),从而可获得下述效果。
即,在第一实施例中,块区域中的空间模式信息被用作特征,并且只对该数目的候选者进行距离的计算和比较,从而其优点是能够用比常规方法少的计算量,高度准确地检测运动矢量。
注意当存在大量候选者时,ME存储器23中的存储信息不必是一帧的完整信息,可被分成一些区域。
第二实施例
图12是表示作为本发明的图像处理设备的运动检测装置的第二实施例的方框图。
第二实施例与上面说明的第一实施例的区别在于通过提供类生成部分25-1和25-2作为获得特征的特征产生装置,与优选特征的匹配成为可能。注意,如图13中所示,如图13中那样提供一个类生成部分25的结构也是可能的。作为该电路的功能,它还具有类生成部分25-1和25-2的功能。
类生成部分25-1接收第一帧存储器21的当前帧Fc的信息,产生基于ADRC的量化代码作为当前帧的特征,并输出给匹配部分24A。
另外,类生成部分25-2接收第二帧存储器22的参考帧Fr的信息,产生基于ADRC的量化代码作为当前帧的特征,并输出给ME存储器23。
匹配部分24A通过把当前帧的特征用作特征地址,读取ME存储器23的存储信息,并进行当前帧中的聚焦象素和包含在从ME存储器23读取的特征地址中的ADRC的量化代码的匹配,以检测聚焦象素的运动矢量。
如上所述,根据第二实施例,ADRC用于在类生成部分25-1和2 5-2中产生特征。ADRC(自适应动态范围编码)是为VTR(磁带录像机)的高性能编码开发的一种自适应量化方法,并且能够用短的字长度有效表示信号电平的部分模式,从而在第二实施例中,ADRC用于空间类划分的代码产生。
ADRC是依据下面的公式3,用规定的位长度在最大值MAX和最小值MIN之间均匀划分,实现重新量化的算法,其中空间类抽头(tap)的动态范围为DR,按位赋值为n,空间类抽头的象素的数据级为L,重新量化代码为Q。
DR=MAX-MIN+1
Q={(L-MIN+0.5)×2n÷DR}    (3)
注意{}表示舍入处理(rounding processing)。匹配处理流程将被省略,因为它与图11的上述说明中,使用特征作为ADRC的量化代码的流程相同。
作为获得空间类抽头的例子,当块大小为3×3时,可如图14A中所示使用所有象素,或者它可被配置成十字形状,并在赋予类代码的信息量的限制内确定。
类似地,作为块大小为5×5情况的例子,可采用图14C和图14D中所示的实施例。
图14C中的例子是配置成十字形的情况,图14D中的例子是配置成十字形,并且使用位于各个角落的象素的情况。
下面,参考图15A和15B说明使用周围象素值的情况优于使用ADRC量化代码的情况的事实。
为了便于理解,图15A和15B表示了当图像的某一线(line)从参考帧移动到当前帧时的象素值。图16表示了亮度值的十进制数表示和十六进制数表示的对应关系。
通常,就自然图像来说,即使当移动相同模式时,为相同象素值的可能性也较低,象素水平偏离,如图15A和图15B中所示。
这种情况下,要点是是否能够正确检测为相同模式。列举了在当使用周围象素值作为特征时,掩蔽低位以抑制噪声分量的影响的情况下的编码结果。
如上所述,即使是相同模式,仍然存在一些错误检测的情况。
另一方面,由于用短的字长度有效表示信号电平的部分模式的能力,依据ADRC的量化编码可抵抗较小的电平波动,能够获得相同的编码结果。
具体地说,参考帧的某一线的ADRC代码为“01101”,当前帧的某一线的ADRC代码也为“01101”,从而它们匹配。
如上所述,根据第二实施例,通过使用ADRC量化代码作为特征,优点在于能够实现精度高于常规情况的运动矢量检测。
在第一和第二实施例中,说明了对应于运动矢量检测的存储设备。于是,通过把每个特征量作为地址,保存空间坐标的存储设备被用作一个例子。
但是,本发明也可应用于执行除运动矢量检测之外的其它匹配的系统。
该思想可表示成“一种保存关于第一数据的信息的存储设备,其特征在于包括接收指示第二数据中的聚焦数据的第一特征(地址)的第一特征作为输入的输入装置,所述第二数据不同于上述第一数据;和
在和指示上述第一数据中的某些数据的上述第一特征(地址)的第三特征对应的位置,保存指示上述第一数据中的上述某些数据的第二特征(坐标)的第二特征的存储装置;
其中从和上述存储装置的上述第一特征对应的位置,输出上述第二特征,作为上述第一数据的上述第二特征”。
即,通过把指示数据的特征A(第一特征)的各个第一特征用作地址,可保存指示数据的特征B(第二特征)的第二特征。可根据进行匹配的系统/设备的目标,恰当地设置/改变特征A和特征B。例如,在本实施例中,在假定特征A:象素值模式/ADRC代码,特征B:坐标的情况下进行说明,但是也可使用其它特征。
工业可应用性
根据本发明的存储设备,信号处理设备,图像信号处理设备和信号处理方法,能够实现高度准确的运动矢量检测,因此,它们适合于要求匹配的处理,例如在运动图像压缩设备等中使用的运动检测装置和对象搜索装置。

Claims (31)

1、一种信号处理设备,用于通过使用包括多个第一数据的第一信号和包括多个第二数据的第二信号进行匹配处理,其特征在于包括:
抽取聚焦数据的特征的第一特征抽取装置,所述聚焦数据是位于所述第一信号中的聚焦位置的数据;和
把所述第二数据的位置信息保存在由和各个所述第二数据的特征对应的地址指定的位置的存储装置;
其中:
通过在和所述聚焦数据的所述特征对应的地址,读取保存在所述存储装置中的所述第二数据的位置信息,获得和所述聚焦数据对应的所述第二数据的位置信息。
2、按照权利要求1所述的信号处理设备,其特征在于所述存储装置预先保存所述第二数据的位置信息。
3、按照权利要求1所述的信号处理设备,其特征在于所述信号处理设备还包括抽取所述第二信号中各个第二数据的特征的第二特征抽取装置。
4、按照权利要求1所述的信号处理设备,其特征在于所述第一或第二信号是图像信号。
5、按照权利要求1所述的信号处理设备,其特征在于通过利用预定数目的第一或第二数据抽取所述特征。
6、按照权利要求5所述的信号处理设备,其特征在于所述特征是预定数目的第一或第二数据的数值的分布。
7、按照权利要求6所述的信号处理设备,其特征在于:
用多个位表示所述第一或第二数据;并且
所述特征是其中从所述多个位中省略预定位的所述预定数目的第一或第二数据的数值的分布。
8、按照权利要求7所述的信号处理设备,其特征在于所述预定位是所述第一或第二数据的低边位。
9、按照权利要求5所述的信号处理设备,其特征在于所述特征是预定数目的重新量化的第一或第二数据的数值的分布。
10、按照权利要求5所述的信号处理设备,其特征在于所述特征是经过自适应量化的预定数目的第一或第二数据的数值的分布。
11、按照权利要求10所述的信号处理设备,其特征在于所述自适应量化是ADRC。
12、按照权利要求1所述的信号处理设备,其特征在于当从所述存储装置读取和所述聚焦数据的特征对应的所述第二数据的多个位置信息时,具有到所述聚焦数据的位置的最短距离的所述位置信息被看作和所述聚焦数据对应的所述第二数据的位置信息。
13、一种图像信号处理设备,用于通过利用包括多个第一数据的第一图像信号和包括多个第二数据的第二图像信号检测运动矢量,其特征在于包括:
抽取聚焦数据的特征的第一特征抽取装置,所述聚焦数据是位于所述第一图像信号中的聚焦位置的数据;
把所述第二数据的位置信息保存在由和每个所述第二数据的特征对应的地址指定的位置的存储装置;和
通过在和所述聚焦数据的所述特征对应的地址,读取保存在所述存储装置中的所述第二数据的位置信息,获得和所述聚焦数据对应的所述第二数据的位置信息,并通过利用所述聚焦数据的位置信息和获得的所述第二数据的位置信息,计算所述聚焦数据的运动矢量的运动矢量计算装置。
14、按照权利要求13所述的图像信号处理设备,其特征在于
所述图像信号处理设备还包括抽取所述第二图像信号中每个第二数据的特征的第二特征抽取装置。
15、按照权利要求13所述的图像信号处理设备,其特征在于
当从所述存储装置读取和所述聚焦数据的特征对应的所述第二数据的多个位置信息时,所述运动矢量计算装置把具有到所述聚焦数据的位置的最短距离的所述位置信息看作和所述聚焦数据对应的所述第二数据的位置信息。
16、一种信号处理方法,用于通过利用包括多个第一数据的第一信号和包括多个第二数据的第二信号进行匹配处理,其特征在于包括:
抽取聚焦数据的特征的第一步骤,所述聚焦数据是位于所述第一信号中的聚焦位置的数据;
把所述第二数据的位置信息保存在由对应于各个所述第二数据的特征的地址指定的位置的第二步骤;和
通过在与所述聚焦数据的所述特征对应的地址,读取在所述第二步骤中保存的所述第二数据的位置信息,获得和所述聚焦数据对应的所述第二数据的位置信息的第三步骤。
17、按照权利要求16所述的信号处理方法,还包括抽取所述第二信号中每个第二数据的特征的第四步骤。
18、按照权利要求16所述的信号处理方法,其特征在于
所述第一步骤还包括抽取所述第二信号中每个第二数据的特征的第四步骤。
19、按照权利要求16所述的信号处理方法,其特征在于所述第一或第二信号是图像信号。
20、按照权利要求16所述的信号处理方法,其特征在于通过利用预定数目的第一或第二数据抽取所述特征。
21、按照权利要求20所述的信号处理方法,其特征在于所述特征是预定数目的第一或第二数据的数值的分布。
22、按照权利要求21所述的信号处理方法,其特征在于:
用多个位表示所述第一或第二数据;并且
所述特征是其中从所述多个位中省略预定位的所述预定数目的第一或第二数据的数值的分布。
23、按照权利要求22所述的信号处理方法,其特征在于所述预定位是所述第一或第二数据的低边位。
24、按照权利要求20所述的信号处理方法,其特征在于所述特征是预定数目的重新量化的第一或第二数据的数值的分布。
25、按照权利要求20所述的信号处理方法,其特征在于所述特征是经过自适应量化的预定数目的第一或第二数据的数值的分布。
26、按照权利要求25所述的信号处理方法,其特征在于所述自适应量化是ADRC。
27、按照权利要求16所述的信号处理方法,其特征在于当从存储装置读取和所述聚焦数据的特征对应的所述第二数据的多个位置信息时,具有到所述聚焦数据的位置的最短距离的所述位置信息被看作和所述聚焦数据对应的所述第二数据的位置信息。
28、一种图像信号处理方法,用于通过利用包括多个第一数据的第一图像信号和包括多个第二数据的第二图像信号检测运动矢量,其特征在于包括:
抽取聚焦数据的特征的第一步骤,所述聚焦数据是位于所述第一图像信号中的聚焦位置的数据;
把所述第二数据的位置信息保存在由和各个所述第二数据的特征对应的地址指定的位置的第二步骤;
通过在与所述聚焦数据的所述特征对应的地址,读取保存在所述存储装置中的所述第二数据的位置信息,获得对应于所述聚焦数据的所述第二数据的位置信息的第三步骤;和
通过利用所述聚焦数据的位置信息和获得的所述第二数据的位置信息,计算所述聚焦数据的运动矢量的第四步骤。
29、按照权利要求28所述的信号处理方法,其特征在于所述图像信号处理方法还包括抽取所述第二图像信号中每个第二数据的特征的第五步骤。
30、按照权利要求28所述的信号处理方法,其特征在于
所述第一步骤还包括抽取所述第二图像信号中每个第二数据的特征的第五步骤。
31、按照权利要求28所述的信号处理方法,其特征在于当从存储装置读取和所述聚焦数据的特征对应的所述第二数据的多个位置信息时,所述第三步骤把具有到所述聚焦数据的位置的最短距离的所述位置信息看作和所述聚焦数据对应的所述第二数据的位置信息。
CNB038011794A 2002-07-30 2003-07-30 存储设备、信号处理设备、图像信号处理设备和信号处理方法 Expired - Fee Related CN1326394C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP222008/2002 2002-07-30
JP2002222008 2002-07-30

Publications (2)

Publication Number Publication Date
CN1565123A CN1565123A (zh) 2005-01-12
CN1326394C true CN1326394C (zh) 2007-07-11

Family

ID=31184888

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038011794A Expired - Fee Related CN1326394C (zh) 2002-07-30 2003-07-30 存储设备、信号处理设备、图像信号处理设备和信号处理方法

Country Status (7)

Country Link
US (1) US7800624B2 (zh)
EP (1) EP1526728B1 (zh)
JP (1) JP4337738B2 (zh)
KR (1) KR100964621B1 (zh)
CN (1) CN1326394C (zh)
TW (1) TWI287927B (zh)
WO (1) WO2004012450A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636481B2 (en) * 2002-10-09 2009-12-22 Sony Corporation Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels
CN100393125C (zh) * 2005-02-05 2008-06-04 威盛电子股份有限公司 处理图像帧的方法
JP5322416B2 (ja) * 2007-09-12 2013-10-23 株式会社メガチップス ブロックマッチング回路及びデータ更新方法
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
JP2012043051A (ja) * 2010-08-16 2012-03-01 Fuji Xerox Co Ltd 情報処理装置およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787499A (ja) * 1993-09-09 1995-03-31 Sony Corp 動きベクトル検出装置および方法
JPH10191344A (ja) * 1996-12-27 1998-07-21 Nec Corp 動き検出方法
JP2000197061A (ja) * 1998-12-24 2000-07-14 Sony Corp 動きベクトル推定装置および動きベクトル推定方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2050752B (en) * 1979-06-07 1984-05-31 Japan Broadcasting Corp Motion compensated interframe coding system
JPS61107886A (ja) 1984-10-31 1986-05-26 Sony Corp 動きベクトルの平滑回路
CA1251555A (en) 1984-12-19 1989-03-21 Tetsujiro Kondo High efficiency technique for coding a digital video signal
JPH0793724B2 (ja) 1984-12-21 1995-10-09 ソニー株式会社 テレビジョン信号の高能率符号化装置及び符号化方法
US4754490A (en) * 1987-05-22 1988-06-28 Environmental Research Institute Of Michigan Linked-list image feature extraction
JP2953712B2 (ja) 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
JPH0622301A (ja) * 1992-06-30 1994-01-28 Sony Corp 画像符号化装置
JP3106749B2 (ja) 1992-12-10 2000-11-06 ソニー株式会社 適応型ダイナミックレンジ符号化装置
JP3271387B2 (ja) 1993-08-19 2002-04-02 ソニー株式会社 動き量検出装置及び動き量検出方法
JP3277417B2 (ja) 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法
JP3606597B2 (ja) 1994-01-21 2005-01-05 ソニー株式会社 動きベクトル検出装置
JPH0865681A (ja) * 1994-08-25 1996-03-08 Sony Corp 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
FR2728091B1 (fr) 1994-12-13 1997-01-31 Thomson Consumer Electronics Procede de selection de vecteurs mouvement et dispositif de traitement d'images mettant en oeuvre ledit procede
KR0171143B1 (ko) * 1995-03-20 1999-03-20 배순훈 육각그리드에서의 삼각구조 형성 장치
US5809173A (en) * 1995-04-18 1998-09-15 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression using previous frame DCT coefficients
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
JPH09212650A (ja) * 1996-02-05 1997-08-15 Sony Corp 動きベクトル検出装置および検出方法
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
FI110743B (fi) 1999-06-28 2003-03-14 Valtion Teknillinen Menetelmä ja järjestelmä liike-estimoinnin suorittamiseksi
US6661842B1 (en) * 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding
JP2002197061A (ja) 2000-12-25 2002-07-12 Nec Corp ユーザ認証方法、ユーザ認証システム、及びユーザ認証プログラムを記録した記録媒体
JP4147456B2 (ja) 2002-03-29 2008-09-10 富士通株式会社 赤外線画像信号処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787499A (ja) * 1993-09-09 1995-03-31 Sony Corp 動きベクトル検出装置および方法
JPH10191344A (ja) * 1996-12-27 1998-07-21 Nec Corp 動き検出方法
JP2000197061A (ja) * 1998-12-24 2000-07-14 Sony Corp 動きベクトル推定装置および動きベクトル推定方法

Also Published As

Publication number Publication date
US7800624B2 (en) 2010-09-21
EP1526728A1 (en) 2005-04-27
US20040252125A1 (en) 2004-12-16
KR20050027206A (ko) 2005-03-18
EP1526728B1 (en) 2013-02-27
TW200423714A (en) 2004-11-01
WO2004012450A1 (ja) 2004-02-05
TWI287927B (en) 2007-10-01
KR100964621B1 (ko) 2010-06-21
CN1565123A (zh) 2005-01-12
JPWO2004012450A1 (ja) 2005-11-24
JP4337738B2 (ja) 2009-09-30
EP1526728A4 (en) 2008-05-28

Similar Documents

Publication Publication Date Title
CN1706001B (zh) 存储器器件和检测运动向量的设备和方法
US5701369A (en) Fractal image compression device and method
US5799110A (en) Hierarchical adaptive multistage vector quantization
CN1326394C (zh) 存储设备、信号处理设备、图像信号处理设备和信号处理方法
CA2284984A1 (en) Method for simplying block matching motion estimation
CN103841438B (zh) 信息推送方法、信息推送系统及数字电视接收终端
US5940539A (en) Motion vector detecting apparatus and method
US5844612A (en) Motion vector quantizing selection system
JPH04150284A (ja) 動ベクトル検出方法およびその装置
CN101137059A (zh) 动态矢量搜索方法以及装置
CN115190311B (zh) 一种安防监控视频压缩存储方法
US20070127827A1 (en) Image processing apparatus, method, storage medium, and program
CN105451023A (zh) 一种运动感知的视频存储系统和方法
CN112532984B (zh) 自适应运动向量检测系统
CN111814734A (zh) 识别刀闸状态的方法
JP4200681B2 (ja) 画像信号処理回路
JP2004064564A (ja) 画像処理装置および画像処理方法
CN111652186A (zh) 一种视频类别识别的方法及相关装置
Wang et al. Image-similarity-based convolutional neural network for robot visual relocalization
JPH0423594A (ja) 画像の動き検出方法
CN115249254B (zh) 一种基于ar技术的目标跟踪方法及系统
CN1275033A (zh) 用于块移动估计的方法和装置
CN114549869A (zh) 一种对象识别方法、装置、设备以及计算机可读存储介质
KR20040077091A (ko) 원격검침의 영상처리방법
EP4348513A1 (en) Image sensor with integrated single object class detection deep neural network (dnn)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070711

Termination date: 20130730