CN102292979A - 视频描述符生成装置 - Google Patents

视频描述符生成装置 Download PDF

Info

Publication number
CN102292979A
CN102292979A CN2010800052326A CN201080005232A CN102292979A CN 102292979 A CN102292979 A CN 102292979A CN 2010800052326 A CN2010800052326 A CN 2010800052326A CN 201080005232 A CN201080005232 A CN 201080005232A CN 102292979 A CN102292979 A CN 102292979A
Authority
CN
China
Prior art keywords
feature
video
difference
code sequence
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800052326A
Other languages
English (en)
Other versions
CN102292979B (zh
Inventor
大网亮磨
岩元浩太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to CN201510047532.5A priority Critical patent/CN104537127B/zh
Publication of CN102292979A publication Critical patent/CN102292979A/zh
Application granted granted Critical
Publication of CN102292979B publication Critical patent/CN102292979B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

视频描述符生成装置包括第一提取单元、第二提取单元和特征合并单元。第一提取单元针对作为视频的帧或场的每一个画面提取第一特征。第二提取单元从视频中包括的图像的边缘所定义的区域中提取第二特征。特征合并单元将第一特征和第二特征合并，以生成视频描述符。

Description

视频描述符生成装置
技术领域
本发明涉及用于检索视频的视频描述符生成装置、视频描述符生成方法、以及视频描述符生成程序，其能够检测多个运动图像中的类似的或相同的运动图像区间。 
背景技术
专利文献1中公开了一种视频描述符生成装置的示例。图27是示出了专利文献1所描述的视频描述符生成装置的框图。 
每帧特征提取单元10根据输入视频计算帧单位特征，并将其输出至特征表创建单元20。特征表创建单元20根据从每帧特征提取单元10输出的帧单位特征创建特征表，并输出特征表作为视频描述符。 
接下来，将对图27所示的装置的操作进行描述。 
每帧特征提取单元10执行从输入视频中提取诸如每帧的颜色之类的特征的过程，并将所获得的特征输出至特征表创建单元20作为帧单位特征。 
特征表创建单元20利用阈值执行对于帧之间的特征变化的处理，并在时间方向上压缩特征。具体地，特征表创建单元20计算帧的帧单位特征之间的差，并确定该差是否在特定容许变化范围内。然后，特征表创建单元20将视频划分为视频处于容许变化范围内的时间区间，并针对每一个划分的时间区间，将特征和时间区间长度(帧的数目)的集合输出作为视频描述符。 
这样，可以在时间方向上压缩针对每一个帧所获得的视频的特征，由此能够减小特征量。此外，还能够实现高速匹配。 
专利文献1：日本未经审查的专利公开No.10-320400 
发明内容
然而，上述系统涉及以下问题。 
第一个问题在于，当在视频周围添加了黑条区域或L型区域时，检索准确度降低，这是因为不存在用于在检测到添加了黑条区域或L型区域时执行特征提取的装置。这样，即便由于4∶3与16∶9之间的幅型变换而在屏幕的顶部和底部或左部和右部插入黑色区域(下文称为黑条区域)，或者在为了紧急要况报告等而添加了L型区域时，仍然直接提取特征，而不考虑这类问题。结果，由于提取了包括不必要的黑条区域或L型区域的特征，所以特征的值不同于未包括这些区域的情形，这使检索准确度恶化。 
[本发明的目的] 
本发明的目的是提供视频描述符生成装置、视频描述符生成方法及视频描述符生成程序，在即便给视频添加了黑条区域或L型区域的情况下，也能够保持检索准确度。 
根据本发明的一方面，一种视频描述符生成装置包括：第一提取单元，针对作为视频的帧或场的每一个画面，提取第一特征；第二提取单元，从视频中包括的图像的边缘所定义的区域中提取第二特征；以及特征合并单元，将第一特征和第二特征合并，以生成视频描述符。 
如上所述地配置本发明，本发明具有有益效果：即便给视频添加了黑条区域或L型区域，也能够保持检索准确度。 
附图说明
图1是示出了根据本发明的视频描述符生成装置的第一实施例的配置的框图。 
图2是示出了根据本发明的视频描述符生成装置的第二实施例的配置的框图。 
图3是示出了图1所示的特征合并单元140的实施例的配置的框图。 
图4是示出了图1所示的特征合并单元140的实施例的配置的框 图。 
图5是示出了图2所示的特征合并单元240的实施例的配置的框图。 
图6是示出了图1所示的特征合并单元140的实施例的配置的框图。 
图7是示出了图2所示的特征合并单元240的实施例的配置的框图。 
图8是示出了图2所示的特征合并单元240的实施例的配置的框图。 
图9是示出了图2所示的特征合并单元240的实施例的配置的框图。 
图10是示出了图2所示的特征合并单元240的实施例的配置的框图。 
图11是示出了图2所示的特征合并单元240的实施例的配置的框图。 
图12是示出了图2所示的特征合并单元240的实施例的配置的框图。 
图13是示出了根据本发明的运动图像匹配装置的实施例的配置的框图。 
图14是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图15是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图16是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图17是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图18是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图19是示出了图13所示的特征再现单元1000的实施例的配置的 框图。 
图20是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图21是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图22是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图23是示出了图13所示的特征再现单元1000的实施例的配置的框图。 
图24示出了黑条区域和L型区域的示例。 
图25示出了复用特征码序列的示例。 
图26示意了特征的示例。 
图27是示出了与本发明有关的视频描述符生成装置的配置的框图。 
具体实施方式
接下来，将参照附图详细描述本发明的实施例。 
参照图1，其示出了本发明的第一实施例的视频描述符生成装置，该装置包括视频边缘检测单元100、视觉特征提取单元120、位置校正视觉特征提取单元130和特征合并单元140。 
视频边缘检测单元100根据视频计算视频边缘，并将边缘信息输出至位置校正视觉特征提取单元130。视觉特征提取单元120接收视频，从视频中获得第一特征，并将其输出至特征合并单元140。位置校正视觉特征提取单元130根据视频和从视频边缘检测单元100输出的边缘信息获得第二特征，并将其输出至特征合并单元140。特征合并单元140根据第一特征和第二特征计算视频描述符，并将其输出。 
接下来，将详细描述图1所示的第一实施例的操作。 
首先，将视频输入至视觉特征提取单元120。如果编码了原始视频，则首先由解码器对视频进行解码，然后以由帧或场组成的画面为单位输入该数据。 
视觉特征提取单元120计算每一个画面的特征向量。视觉特征提取单元120将画面当作一幅静止的图像，并提取指示诸如该画面的颜色、图案、形状等的特征的视觉特征的向量。将所计算的特征向量输出至特征合并单元140作为第一特征。 
另一方面，还将视频输出至视频边缘检测单元100。视频边缘检测单元100检测是否存在视频中原始没有包括的黑条区域或L型区域，如果存在，则获得边缘区域。 
应注意，黑条区域表示由于4∶3到16∶9之间的幅型变换而被插入在屏幕的顶部和底部或左部和右部的黑色的多余区域。尽管它通常是黑色的，但是它不一定是黑色的。另一方面，L型(或倒L型)区域是用于广播紧急新闻等的视频显示技术，其中实际视频稍微收缩以生成用于广播大新闻的空间。在这种情况下，其颜色通常不是黑色的。在这两种情况下，通常显示不在原始视频中的区域。图24示出了这些区域的示例。在图24中，黑色区域对应于黑条区域或L型区域。除了这些区域，这类还包括将一图像并入另一图像的视频呈现技术(所谓的画中画)的情况以及当帧出现在主视频周围时由摄像机捕捉新闻节目主持人的后屏上示出的视频的情况。这样，通过按照与黑条区域的情形相同的方式来处理由画中画显示在内部的区域的外部以及屏幕的框架外部，本发明的方法可以应用于此。 
视频边缘检测单元100获得画面中包括的、没有包括在原始视频中的区域及其边界。例如，可以通过下列操作计算边界：将Hough变换应用于画面以检测视频的线性分量，并获得以时间上连续的方式出现在该画面内的相同位置处的线性分量。将描述所获得的视频边缘的信息作为边缘信息输出至位置校正视觉特征提取单元130。例如，可以使用从实际屏幕的边缘到黑条区域或L型区域所生成的边缘的距离作为边缘信息。如果条区域仅存在于顶部和底部，则应将到右边界和左边界的距离值设置为0。如果也允许稍微倾斜的边缘，则可以一起描述其角度。此外，边缘信息还可以包括指示黑条或L型区域的类型的符号(例如L型、水平黑条和垂直黑条)以及描述每个图案的条区域所必须的参数。例如，如果已经将出现L型的部分的宽度设置为若干类型，则边缘 信息应包括表示L型图案的符号和指定宽度的索引。 
还将视频以画面为单位连同边缘信息一起输入至位置校正视觉特征提取单元130。位置校正视觉特征提取单元130在不涉及边缘信息所定义的位置以外的区域的情况下计算特征。这意味着，在边缘信息所定义的位置内的区域是整个图像的假设下提取特征。要提取的特征与视觉特征提取单元120所提取的相同。例如，如果视觉特征提取单元120提取颜色的布局特征，则位置校正视觉特征提取单元130也提取颜色的布局特征。将所提取的特征作为第二特征输出至特征合并单元140。 
特征合并单元140将从视觉特征提取单元120输出的第一特征与从位置校正视觉特征提取单元130输出的第二特征进行合并，以生成视频描述符，并将其输出。在本示例中，可以简单地合并这两个特征，以形成一个特征，或者对这两个特征应用特定编码。也可以利用第一特征和第二特征具有高相关性的事实来对差进行编码。下面将对这一操作进行详细描述。 
接下来，将参照图3描述特征合并单元140的实施例。 
参照图3，其示出了特征合并单元140的实施例，特征合并单元140包括编码单元310、编码单元320和码序列复用单元230。 
编码单元320对输入的第一特征进行编码，并将从其中获得的第一特征码序列输出至码序列复用单元230。编码单元310对输入的第二特征进行编码，并将从其中获得的第二特征码序列输出至码序列复用单元230。码序列复用单元230对第一特征码序列和第二特征码序列进行复用，以生成视频描述符，并将其输出。 
接下来，将描述图3所示的特征合并单元140的操作。 
首先，将第一特征输入至编码单元320。编码单元320对该特征进行编码，并生成第一特征码序列。这里，编码意味着以预定格式存储信息，包括根据维度简单地对准特征向量的值。例如，如果输入向量是N维度的整数向量，则对各个维度的N段整数值进行对准的格式是可接受的。如果输入向量具有浮点值，则可以执行量化，以将其表示为有限数目的表示值，并对指示表示值的索引(量化索引)进行对准。此外，还可以执行熵编码，熵编码针对所获得的整数值或表示值考虑 各个值的出现频率。可以使用Huffman编码或算术编码作为熵编码。如果特征向量的维度之间存在相关性，则可以在执行移除相关性的过程之后执行熵编码。例如，可以获得具有相关性的维度之间的差值，以执行差编码，或在对输入的特征向量执行频率转换等之后执行量化或熵编码，以生成码序列。此外，作为特征向量，如果画面之间存在相关性，则可以根据过去画面的特征向量计算差，并通过上述编码方法对其进行编码，以生成码序列。将所生成的码序列输出至码序列复用单元230。 
另一方面，将第二特征输入至编码单元310。编码单元310的操作与编码单元320的相同。编码单元310对第二特征进行编码，以生成第二特征码序列。将所生成的第二特征码序列输出至码序列复用单元230。 
码序列复用单元230对第一特征码序列和第二特征码序列进行复用，由此生成视频描述符。如图25所示，可以将第一特征码序列和第二特征码序列与识别码简单地结合，该识别码用于指定码序列之间可分离的位置(然而，如果码序列具有固定的长度，或者码序列的长度另外有所描述，则用于识别的码是不必要的)，或者可以通过使码序列以画面为单位交替地交织来构造视频描述符。 
利用如图3所示的特征合并单元140，可以生成视频描述符，视频描述符具有通过执行消除黑条区域的特征提取所获得的特征以及通过执行利用整个屏幕的特征提取所获得的特征。 
接下来，将参照图4来描述特征合并单元140的另一实施例。 
参照图4，其示出了特征合并单元140的实施例，特征合并单元140包括特征减法单元300、编码单元320、特征差编码单元340和码序列复用单元330。 
特征减法单元300将第二特征减去第一特征，以计算特征之间的差，并将特征差值输出至特征差编码单元340。编码单元320对第一特征进行编码，并将所获得的第一特征码序列输出至码序列复用单元330。特征差编码单元340对从特征减法单元300输出的特征差值进行编码，并将特征差值码序列输出至码序列复用单元330。码序列复用单元 330根据从编码单元320输出的第一特征码序列和从特征差编码单元340输出的特征差值码序列生成视频描述符，并将其输出。 
接下来，将描述图4所示的特征合并单元140的操作。 
首先，将第一特征输入至编码单元320。编码单元320的操作与图3所示的相同，并将第一特征码序列输出至码序列复用单元330。还将第一特征输入至特征减法单元300。还将第二特征输入至特征减法单元300。 
在特征减法单元300中，针对特征向量的每一个维度，将第二特征减去第一特征，以此计算差向量。将差向量输出至特征差编码单元340作为特征差。 
特征差编码单元340对特征差值进行编码，以生成特征差值码序列。由于第一特征和第二特征原本是从同一个视频提取的，在是否包括黑条区域或L型区域方面具有差别，因而它们具有较大的相关性。这样，考虑如果计算两个特征之间的差，则出现的值的分布集中在0附近。利用这一特性，可以减少执行熵编码所生成的码数量。具体地，可以预先使用关于特征向量的每一个维度的学习数据来计算差值的频率分布，并利用该分布将算术编码应用于差值。也可以基于频率分布来构建Huffman编码表，并基于该表来对差值进行编码。如果特征差值几乎集中于0，则还可以构建码序列作为维度为非零值的索引与指示该非零值的码的组合。将所生成的特征差值码序列输出至码序列复用单元330。 
码序列复用单元330将第一特征码序列和特征差值码序列结合，以生成视频描述符。其操作与图3所示的码序列复用单元230的操作相同。 
利用图4所示的特征合并单元140，通过在计算差之后执行编码，可以减小特征量的数目。 
接下来，将参照图6描述特征合并单元140的另一实施例。 
参照图6，其示出了特征合并单元140的实施例，特征合并单元140包括特征减法单元300、编码单元310、编码单元320、特征差编码单元340、码选择单元520和码序列复用单元530。 
特征减法单元300与编码单元320之间的连接关系与图4所示的相 同。特征差编码单元340对从特征减法单元300输出的特征差值进行编码，并将特征差值码序列输出至码选择单元520。编码单元310对第二特征进行编码，并将第二特征码序列输出至码选择单元520。码选择单元520选择从特征差编码单元340输出的特征差值码序列和从编码单元310输出的第二特征码序列之一，并将其输出至码序列复用单元530作为第三特征码序列。码序列复用单元530根据从编码单元320输出的第一特征码序列和从码选择单元520输出的第三特征码序列生成视频描述符，并将其输出。 
接下来，将描述图6所示的特征合并单元140的操作。 
编码单元310和编码单元320的操作与图3所示的相同。此外，特征减法单元300和特征差编码单元340的操作与图4所示的相同。将从特征差编码单元340输出的特征差值码序列和从编码单元310输出的第二特征码序列输入至码选择单元520。 
码选择单元520比较每一个画面或具有多个画面的单位中的特征差值码序列与第二特征码序列之间的码数量，选择所生成的码数量较小的码序列，并将其输出至码序列复用单元530，作为第三特征码序列。在这一过程中，以画面为单位或具有多个画面的单位向码序列复用单元530输出指示使用哪种编码方式的信息，作为模式信息。码序列复用单元530结合第一特征码序列和第三特征码序列，以生成视频描述符。尽管其操作与图3所示的码序列复用单元230的几乎类似，然而关于视频描述符中还包括模式信息这一点是不同的。 
由于图6所示的特征合并单元140具有用于对第二特征进行直接编码的装置，因而即便在特征的区别很大程度上取决于黑条区域或L型区域的情况下，也可以防止特征量的增大，所以，从编码效率角度，对特征差值进行编码是不合适的。 
以上已经描述了视频描述符生成装置的第一实施例。利用第一实施例，可以提取视频描述符，该视频描述符即便在包括黑条区域或L型区域的情况下也能够防止检索准确度的恶化。这是因为第一实施例检测黑条区域或L型区域，并具有从包括所检测的区域在内的区域中提取的特征的信息。这样，在包括黑条区域或L型区域在内的运动图像的 情况下，可以通过对不包括那些区域的区域中的特征进行比较来保持检索准确度。此外，第一实施例还具有关于那些区域没有被移除的整个视频的特征。这样，即便在检测黑条区域或L型区域方面有任何差错，也可以在整个图像的特征之间执行匹配，由此能够防止准确度的恶化。 
接下来，将详细描述本发明的第二实施例。 
参照图2，其示出了第二实施例的视频描述符生成装置，该装置包括视频边缘检测单元100、视觉特征提取单元120、位置校正视觉特征提取单元130和特征合并单元240。 
尽管配置与图1所示的几乎相似，然而在使用特征合并单元240代替特征合并单元140以及还将从视频边缘检测单元100输出的边缘信息输入至特征合并单元240的方面不同于图1的情形。 
接下来，将描述图2所示的本发明的第二实施例的操作。 
视频边缘检测单元100、视觉特征提取单元120和位置校正视觉特征提取单元130的操作与图1所示的视频描述符生成装置的相同。将从视觉特征提取单元120输出的第一特征和从位置校正视觉特征提取单元130输出的第二特征输入至特征合并单元240。此外，还将从视频边缘检测单元100输出的边缘信息输入至特征合并单元240。 
尽管特征合并单元240的操作与图1所示的特征合并单元140的基本类似，然而通过由边缘信息控制编码方法来生成视频描述符以及在视频描述符中包括边缘信息或其相关信息的方面不同于图1所示的情形。下面将对这些方面的详细内容进行描述。 
接下来，将参照图5描述特征合并单元240的实施例。 
参照图5，其示出了特征合并单元240的实施例，特征合并单元240包括特征减法单元300、编码单元320、特征差编码单元440和码序列复用单元430。 
特征减法单元300与编码单元320之间的连接关系与图4所示的相同。特征差编码单元440根据边缘信息和从特征减法单元300输出的特征差值对特征差值进行编码，并将特征差值码序列输出至码序列复用单元430。码序列复用单元430根据从编码单元320输出的第一特征码序列、从特征差编码单元440输出的特征差值码序列、以及边缘信息生成 视频描述符，并将其输出。 
接下来，将描述图5所示的特征合并单元240的操作。 
特征减法单元300和编码单元320的操作与图4所示的相同。 
特征差编码单元440对从特征减法单元300输出的特征差值进行编码，以生成特征差值码序列。这一操作与图4所示的特征差编码单元340的操作基本类似。然而，特征差编码单元440的情形与特征差编码单元340的情形的区别在于，通过指示黑条区域或L型区域的边缘信息来控制编码参数。这样，根据边缘信息改变编码参数。根据黑条区域或L型区域的大小、其出现的位置等来改变差值在特征向量的各个维度中的分布。这样，通过下列操作执行熵编码：根据边缘信息选择要使用的差值的分布，以根据该分布执行算术编码；或根据边缘信息选择要使用的Huffman表，以执行Huffman编码。将所生成的特征差值码序列输出至码序列复用单元430。 
码序列复用单元430通过将从编码单元320输出的第一特征码序列、从特征差编码单元440输出的特征差值码序列、以及边缘信息进行复用，来生成视频描述符。尽管这一操作与图4所示的码序列复用单元330的基本类似，然而连同边缘信息一起复用这一点是不同的。应注意，边缘信息可以是通过对信息进行编码或对信息进行索引所获得的信息，而非信息本身。例如，在特征差编码单元440中，如果将要在Huffman表或算术编码中使用的编码参数分类为一些类别，并选择其中之一，则可以复用标识该类别的索引，或者分配能够指定该索引的码。 
利用图5所示的特征合并单元240，可以优化用于在计算特征之间的差之后进行编码的编码参数，由此能够提高特征的编码效率。 
接下来，将参照图7描述特征合并单元240的另一实施例。 
参照图7，其示出了特征合并单元240的实施例，特征合并单元240包括特征减法单元300、编码单元320、差编码索引确定单元600、编码单元610、特征差编码单元640和码序列复用单元630。 
特征减法单元300和编码单元320的连接关系与图4所示的相同。差编码索引确定单元600接收边缘信息，并将差编码索引输出至特征差编码单元640和编码单元610。特征差编码单元640基于从差编码索引确定 单元600输出的差编码索引对从特征减法单元300输出的特征差值进行编码，并将特征差值码序列输出至码序列复用单元630。编码单元610基于从差编码索引确定单元600输出的差编码索引对第二特征进行编码，并将第二特征码序列输出至码序列复用单元630。码序列复用单元630对从编码单元320输出的第一特征码序列、从特征差编码单元640输出的特征差值码序列、从编码单元610输出的第二特征码序列、以及边缘信息进行复用，以生成视频描述符，并将其输出。 
接下来，将描述图7所示的特征合并单元240的操作。 
特征减法单元300和编码单元320的操作与图4所示的相同。 
差编码索引确定单元600基于输入的边缘信息，在特征的各个维度中确定用于执行差编码的维度，并输出指示该维度的索引作为差编码索引。将差编码索引输出至特征差编码单元640和编码单元610。 
特征差编码单元640关于与输入的差编码索引相对应的维度，对特征差值进行编码，以生成特征差值码序列。对特征差值进行编码的方法与图4所示的特征差编码单元340的相同。将所生成的特征差值码序列输出至码序列复用单元630。 
编码单元610对与输入的差编码索引不对应的维度的第二特征进行编码，以生成第二特征码序列。对第二特征进行编码的方法与图3所示的编码单元310所使用的相同。将所生成的第二特征码序列输出至码序列复用单元630。 
码序列复用单元630对从编码单元320输出的第一特征码序列、从特征差编码单元640输出的特征差值码序列、从编码单元610输出的第二特征码序列、以及边缘信息进行复用，由此生成视频描述符。视频描述符可以通过简单地合并这些码序列或以画面为单位交替地交织这些码序列来生成。边缘信息的复用与图5所示的码序列复用单元430所执行的相同。 
对于一些维度，优选地对特征之间的差进行编码，尽管它并非针对其它维度的情形，并且如果它根据边缘信息而变化，则可以通过图7所示的特征合并单元240更有效地对特征进行编码。 
接下来，将参照图8描述特征合并单元240的另一实施例。 
参照图8，其示出了特征合并单元240的实施例，特征合并单元240包括特征减法单元300、编码单元320、差编码索引确定单元600、编码单元610、特征差编码单元640和码序列复用单元830。 
特征合并单元240的配置与图7所示的配置类似，除了使用码序列复用单元830代替码序列复用单元630，以及将差编码索引代替边缘信息输入至码序列复用单元830。 
接下来，将描述特征合并单元240的操作。 
除码序列复用单元830以外的单元的操作与图7所示的相同。码序列复用单元830的操作也与图7所示的码序列复用单元630的类似，除了复用差编码索引代替复用边缘信息的方面。 
图8所示的特征合并单元240提供了另一实施例，具有与图7所示的相同的有益效果。 
接下来，将参照图9描述特征合并单元240的另一实施例。 
参照图9，其示出了特征合并单元240的实施例，特征合并单元240包括特征减法单元300、编码单元320、差编码索引确定单元600、编码单元610、特征差编码单元660和码序列复用单元630。 
其配置与图7所示的类似，除了使用特征差编码单元660代替特征差编码单元640，以及特征差编码单元660也接收边缘信息。 
接下来，将描述图9所示的特征合并单元240的操作。 
除了特征差编码单元660的操作以外的操作与图7所示的情况相同。特征差编码单元660的操作也与图7所示的特征差编码单元640的类似，除了通过根据边缘信息改变编码参数来执行编码。通过根据边缘信息改变编码参数来执行编码的方法与图5所示的特征差编码单元440的情况相同。 
利用图9所示的特征合并单元240，由于其与图7所示的情况相比可以提高特征差编码的效率，因而可以更有效地执行特征编码。 
接下来，将参照图10描述特征合并单元240的另一实施例。 
参照图10，其示出了特征合并单元240的实施例，特征合并单元240包括特征减法单元300、编码单元320、差编码索引确定单元600、编码单元310、特征差编码单元640、码选择单元720和码序列复用单元730。 
特征减法单元300、编码单元320以及差编码索引确定单元600之间的连接关系与图7所示的相同。特征差编码单元640基于从差编码索引确定单元600输出的差编码索引，对从特征减法单元300输出的特征差值应用差编码，并将特征差值码序列输出至码选择单元720。编码单元310对第二特征进行编码，并将第二特征码序列输出至码选择单元720。码选择单元720基于从差编码索引确定单元600输出的差编码索引选择码序列，并将所选择的码序列作为第三特征码序列输出至码序列复用单元730。码序列复用单元730根据从编码单元320输出的第一特征码序列、从码选择单元720输出的第三特征码序列、以及边缘信息生成视频描述符，并将其输出。 
接下来，将描述图10所示的特征合并单元240的操作。 
特征减法单元300、编码单元320、差编码索引确定单元600和特征差编码单元640的操作与图7所示的情况相同。此外，编码单元310的操作与图6所示的情况相同。 
码选择单元720关于从特征差编码单元640输出的特征差值码序列和从编码单元310输出的第二特征码序列中的每一个，计算与从差编码索引确定单元600输出的差编码索引相对应的维度的码数量的总和。针对与差编码索引相对应的维度，选择码数量的总和变小的码序列。另一方面，针对与差编码索引不对应的维度，选择第二特征码序列中的码。这是以预定间隔确定的。可以使用画面或者由多个画面构成的区间作为间隔。然后，码选择单元720将所选择的码序列输出至码序列复用单元730作为第三特征码序列。在这一过程中，针对每一个画面或每一个画面单位，将指示使用哪一种编码方式的信息作为模式信息输出至码序列复用单元730。 
码序列复用单元730对从编码单元320输出的第一特征码序列、从码选择单元720输出的第三特征码序列、边缘信息以及模式信息进行复用，由此生成视频描述符。复用方法与图5所示的码序列复用单元430的情况几乎类似，除了视频描述符中还包括模式信息。 
即便在特征差编码中无法有效地执行编码，由于可以利用图10所示的特征合并单元240直接对特征进行编码，所以与图7的情况相比可 以更有效地执行特征编码。 
接下来，将参照图11描述特征合并单元240的另一实施例。 
参照图11，其示出了特征合并单元240的实施例，特征合并单元240包括特征减法单元300、编码单元320、差编码索引确定单元600、编码单元310、特征差编码单元640、码选择单元720和码序列复用单元930。 
其配置与图10的情况类似，除了使用码序列复用单元930代替码序列复用单元730，以及将差编码索引输入至码序列复用单元930。 
接下来，将描述图11所示的特征合并单元240的操作。 
除了码序列复用单元930的操作以外的操作与图10所示的相同。码序列复用单元930的操作也与图10所示的码序列复用单元730的类似，除了复用差编码索引代替复用边缘信息的方面。 
图11所示的特征合并单元提供了另一实施例，具有与10所示的相同的效果。 
接下来，将参照图12描述特征合并单元240的另一实施例。 
参照图12，其示出了特征合并单元240的实施例，特征合并单元240包括特征减法单元300、编码单元320、差编码索引确定单元600、编码单元310、特征差编码单元660、码选择单元720和码序列复用单元730。 
其配置与图10所示的情况的配置类似，除了使用特征差编码单元660代替特征差编码单元640，以及还将边缘信息输入至特征差编码单元660。 
接下来，将描述图12所示的特征合并单元240的操作。 
除了特征差编码单元660的操作以外的操作与图10所示的情况相同。特征差编码单元660的操作也与图10所示的特征差编码单元640的类似，除了通过根据边缘信息改变编码参数来执行编码的方面以外。通过根据边缘信息改变编码参数来执行编码的方法与图5所示的特征差编码单元440的情况相同。 
利用图12所示的特征合并单元240，与图10所示的情况相比，可以提高特征差编码的效率，由此能够更有效地执行特征编码。 
上面已经描述了视频描述符生成装置的第二实施例。利用第二实施例，可以根据黑条或L型区域的大小来优化特征编码方法，由此能够 提高视频描述符的编码效率。 
接下来，将参照附图详细描述运动图像匹配装置的实施例。 
参照图13，其示出了本发明的运动图像匹配装置的实施例，运动图像匹配装置包括特征再现单元1000和1010、特征匹配单元1020、1030、1040和1050、以及选择单元1060。 
特征再现单元1000接收第一视频描述符，将第一视频的分离的第一特征输出至特征匹配单元1020和1030，并将第一视频的分离的第二特征输出至特征匹配单元1040和1050。特征再现单元1010接收第二视频描述符，将第二视频的分离的第一特征输出至特征匹配单元1020和1040，并将第二视频的分离的第二特征输出至特征匹配单元1030和1050。特征匹配单元1020接收第一视频的第一特征和第二视频的第一特征，并将第一匹配得分输出至选择单元1060。特征匹配单元1030接收第一视频的第一特征和第二视频的第二特征，并将第二匹配得分输出至选择单元1060。特征匹配单元1040接收第一视频的第二特征和第二视频的第一特征，并将第三匹配得分输出至选择单元1060。特征匹配单元1050接收第一视频的第二特征和第二视频的第二特征，并将第四匹配得分输出至选择单元1060。选择单元1060对第一至第四匹配得分进行比较，选择其中之一，并将其作为匹配得分输出。 
接下来，将描述图13所示的运动图像匹配装置的操作。 
首先，将第一视频描述符输入至特征再现单元1000。特征再现单元1000根据第一视频描述符再现特征，提取作为不消除黑条区域的情况下特征的、第一视频的第一特征以及作为消除黑条区域的情况下的特征的、第一视频的第二特征，并将其输出。另一方面，将第二视频描述符输入至特征再现单元1010。特征再现单元1010类似地提取作为不消除黑条区域的情况下特征的第二视频的第一特征以及作为消除黑条区域的情况下特征的第二视频的第二特征，并将其输出。下面将描述特征再现单元1000和1010所执行的特征再现的详细内容。 
将第一视频的第一特征和第二视频的第一特征输入至特征匹配单元1020。在这个步骤中，对不消除黑条区域的情况下的第一视频和第二视频的特征执行匹配。在匹配中，针对每一个画面比较特征值，并 计算表示特征之间的距离或特征之间的相似度的尺度。这个过程是针对多个连续画面执行的，以执行统计处理，由此计算那些画面所构成的视频之间的距离或相似度(关于相似度，值越大，则越相似)。统计处理包括：计算每个画面的值的总量或平均值，计算最大值，以及计算中值。此外，还可以确定画面得分中的离群值，并通过消除该离群值来计算诸如平均值或中值之类的统计量。由此，计算视频区间之间的匹配结果。在下文中，将这一结果称为匹配得分。将所计算的匹配得分输出至选择单元1060。 
特征匹配单元1030、特征匹配单元1040和特征匹配单元1050的操作基本上也与特征匹配单元1020的类似。然而，当特征匹配单元1030将第一视频的第一特征与第二视频的第二特征进行比较时，特征匹配单元1030计算没有消除第一视频中黑条的情况和消除了第二视频中黑条的情况的匹配得分。当特征匹配单元1040将第一视频的第二特征与第二视频的第一特征进行比较时，特征匹配单元1040计算消除了第一视频中的黑条的情况和没有消除第二视频中的黑条的情况的匹配得分。当特征匹配单元1050将第一视频的第二特征与第二视频的第二特征进行比较时，特征匹配单元1050计算消除了第一视频和第二视频中黑条的情况之间的匹配得分。匹配得分是在时间方向上移动画面的同时计算的。应注意，为了防止在黑条消除处理中错误地检测黑条时的匹配准确度的恶化，对消除了黑条和没有消除黑条的所有组合执行匹配。按照这种方式，将特征匹配单元1030、1040、1050和1060所计算的匹配得分输出至选择单元1060。 
选择单元1060选择输入的匹配得分中具有最高匹配等级的得分。这意味着如果匹配得分是由距离定义的，则选择单元1060选择最小值，而如果匹配得分是由相似度定义的，则选择单元1060选择最大值。 
利用图13所示的运动图像匹配装置，即便包括黑条区域或L型区域，也可以执行检索而不恶化检索准确度。 
接下来，将参照图14描述图13所示的特征再现单元1000的实施例。 
参照图14，其示出了与图3所示的特征合并单元140相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元 1100、解码单元1110和解码单元1120。 
码序列解复用单元1100接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并且还将第二特征码序列输出至解码单元1120。解码单元1110对从码序列解复用单元1100输出的第一特征码序列进行解码，生成第一特征，并将其输出。解码单元1120对从码序列复用单元1100输出的第二特征码序列进行解码，生成第二特征，并将其输出。 
接下来，将描述图14所示的特征再现单元1000的操作。 
首先将对其执行了匹配的视频描述符输入至码序列解复用单元1100。码序列解复用单元1100通过与复用方法相对应的解复用方法，将第一特征码序列和第二特征码序列从视频描述符中分离。例如，在复用中，如果通过将分离的识别码置于第一特征码序列与第二特征码序列之间来将第一特征码序列和第二特征码序列与可分离的识别码简单地结合，则码序列解复用单元1100识别该识别码，并将其分离，以使码之前的部分是第一特征码序列，码之后的部分是第二特征码序列。另一方面，如果视频描述符是通过以画面为单位将第一特征码序列和第二特征码交织来构造的，则码序列解复用单元1100将以画面为单位对第一特征码序列和第二特征码序列进行分离，并重构码序列。此时，如果将第一特征码序列和第二特征码序列构造为可利用置于二者之间的识别码来分离，则码序列解复用单元1100通过识别该识别码来对第一特征码序列和第二特征码序列进行分离，而如果包括针对每一个画面的码序列的长度作为报头信息，则码序列解复用单元1100通过以长度来给第一特征码序列和第二特征码序列定界来分离二者。将按照这种方式分离的第一特征码序列和第二特征码序列分别输出至解码单元1110和解码单元1120。 
解码单元1110对第一特征码序列进行解码，以生成第一特征。解码方法取决于编码方法。例如，如果输入的向量是N维度的整数向量，并且以简单地对准各个维度的N段整数值的格式来生成码序列，则只需要简单地获取N维度的向量。在对输入的向量进行量化并对表示值(量化索引)进行对准的情况下，可以在获取了表示值(或从量化索 引获得的表示值)之后执行逆量化。在执行熵编码的情况下，应执行与其相对应的解码，以获得符号。例如，如果执行Huffman编码作为熵编码，则可以利用用于编码的Huffman表来执行解码。如果执行算术编码，则可以利用用于编码的符号的频率分布来执行算术解码。如果在执行了移除维度之间的相关性的过程之后执行熵编码，则可以通过首先执行熵解码然后执行与用于移除相关性所执行的处理相对应的解码来计算特征。如果通过执行频率转换来执行量化和熵编码，则可以在熵解码之后，通过执行逆量化和频率转换的逆转换来计算特征。如果通过根据过去画面的特征计算差来执行编码，则可以通过将由解码所获得的值添加到过去画面的特征来计算画面的当前特征。 
解码单元1120对第二特征码序列进行解码，并生成第二特征。解码单元1120的操作与解码单元1110的相同。 
图14所示的特征再现单元1000提供了用于将由图3所示的特征合并单元140所合并的特征进行分离的装置。 
接下来，将参照图15来描述图13所示的特征再现单元1000的另一实施例。 
参照图15，其示出了与图4所示的特征合并单元140相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1200、解码单元1110、特征差解码单元1230和特征加法单元1240。 
码序列解复用单元1200接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并将特征差值码序列输出至特征差解码单元1230。解码单元1110对从码序列解复用单元1200输出的第一特征码序列进行解码，并输出第一特征。特征差解码单元1230对从码序列解复用单元1200输出的特征差值码序列进行解码，并将所获得的特征差值输出至特征加法单元1240。特征加法单元1240将从解码单元1110输出的第一特征和从特征差解码单元1230输出的特征差值相加，以计算第二特征，并将其输出。 
接下来，将描述图15所示的特征再现单元1000的操作。 
首先将对其执行了匹配的视频描述符输入至码序列解复用单元1200。码序列解复用单元1200通过与复用方法相对应的解复用方法， 将第一特征码序列和特征差值码序列从视频描述符中分离。这一操作与图14所示的特征再现单元的码序列解复用单元1100所执行的相同。将分离的第一特征码序列和特征差值码序列分别输出至解码单元1110和特征差解码单元1230。 
解码单元1110的操作与图14所示的情况相同，并且解码单元1110输出第一特征。还将第一特征输出至特征加法单元1240。 
特征差解码单元1230对特征差值码序列进行解码，以获得特征差值。在这种情况下，通过执行编码处理的逆处理来执行解码。例如，如果通过Huffman编码或算术编码执行编码，则通过对应的解码过程来执行解码。将所获得的特征差值输出至特征加法单元1240。 
特征加法单元1240将从解码单元1110输出的第一特征和从特征差解码单元1230输出的特征差值相加，以再现第二特征，并输出所获得的第二特征。 
图15所示的特征再现单元1000提供用于将由图14所示的特征合并单元140所合并的特征进行分离的装置。 
接下来，将参照图16描述图13所示的特征再现单元1000的另一实施例。 
参照图16，其示出了与图5所示的特征合并单元240相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1300、解码单元1110、特征差解码单元1330和特征加法单元1240。 
码序列解复用单元1300接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并且还将特征差值码序列和边缘信息输出至特征差解码单元1330。解码单元1110与特征加法单元1240之间的连接关系与图15所示的相同。特征差解码单元1330基于从码序列解复用单元1300输出的边缘信息对从码序列解复用单元1300输出的特征差值码序列进行解码，并将特征差值输出至特征加法单元1240。 
解码单元1110对从码序列解复用单元1300输出的第一特征码序列进行解码，并输出第一特征。特征加法单元1240将从解码单元1110输出的第一特征与从特征差解码单元1330输出的特征差值相加，以计算第二特征，并将其输出。 
接下来，将描述图16所示的特征再现单元1000的操作。 
首先将对其执行了匹配的视频描述符输入至码序列解复用单元1300。尽管码序列解复用单元1300的操作与图15所示的码序列解复用单元1200的类似，但是它还输出边缘信息。将边缘信息输出至特征差解码单元1330。 
尽管特征差解码单元1330的操作与图15所示的特征差解码单元1230的基本类似，其区别在于利用输入的边缘信息来指定编码参数并利用该参数来执行解码。 
除了上述区别以外的操作与图15所示的特征再现单元1000的操作相同。 
图16所示的特征再现单元1000提供了用于对由图15所示的特征合并单元240所合并的特征进行分离的装置。 
接下来，将参照图17描述图13所示的特征再现单元1000的另一实施例。 
参照图17，其示出了与图6所示的特征合并单元140相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1400、解码单元1110、解码单元1410、特征差解码单元1430、特征加法单元1240、切换单元1440和切换单元1450。 
码序列解复用单元1400接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并将第三特征码序列输出至切换单元1440。此外，码序列解复用单元1400还将用于控制切换单元的模式信息输出至切换单元1440和切换单元1450。解码单元1110接收从码序列解复用单元1400输出的第一特征码序列，并输出第一特征。切换单元1440根据从码序列解复用单元1400输入的模式信息，将从码序列解复用单元1400输出的第三特征码序列输出至特征差解码单元1430或解码单元1410。特征差解码单元1430接收从切换单元1440输出的第三特征码序列，并将特征差值输出至特征加法单元1240。解码单元1410接收从切换单元1440输出的第三特征码序列，并将解码结果输出至切换单元1450。特征加法单元1240接收从解码单元1110输出的第一特征和从特征差解码单元1430输出的特征差值，并将相加结果输出至切换单元 1450。切换单元1450接收从特征加法单元1240输出的相加结果和从解码单元1410输出的解码结果，基于从码序列解复用单元1400输出的模式信息重构第二特征，并将其输出。 
接下来，将描述图17所示的特征再现单元1000的操作。 
首先将对其执行了匹配的视频描述符输入至码序列解复用单元1400。码序列解复用单元1400通过与复用方法相对应的解复用方法，将第一特征码序列和第三特征码序列从视频描述符中分离。这一操作与图14所示的特征再现单元的码序列解复用单元1100所执行的相同。将分离的第一特征码序列和第三特征码序列分别输出至解码单元1110和切换单元1440。还从视频描述符中解复用出模式信息，并将其输出至切换单元1440和切换单元1450。 
解码单元1110的操作与图14所示的情况相同，并且解码单元1110输出第一特征。还将第一特征输出至特征加法单元1240。 
切换单元1440根据从码序列解复用单元1400输出的模式信息改变第三特征码序列的输出目的地。如果模式信息指示第三特征码序列中包括的特征是特征差值，则切换单元1440将第三特征码序列输出至特征差解码单元1430。另一方面，如果模式信息指示第三特征码序列中包括的特征是第二特征，则切换单元1440将第三特征码序列输出至解码单元1410。根据模式信息切换输出目的地的时机取决于在编码时如何创建第三特征码序列。如果整个视频是在一种模式下编码的，则可以根据模式信息在开始处设定输出目的地。如果对视频进行编码以便以画面为单位切换模式，则可以以画面为单位执行切换。如果对视频进行编码以使得针对包括多个画面的每一个单位切换模式，或者以画面内的区域单位切换模式，则可以根据单位执行切换。 
特征差解码单元1430对从切换单元1440输出的第三特征码序列进行解码，借此再现特征差值(的一部分)。特征差解码单元1430的操作与图15所示的特征差解码单元1230的基本相似。然而，如果特征差值码序列的一部分(例如，只是画面的一部分)要由特征差解码单元1430基于模式来解码，则第三特征码序列中还包括指定与哪些画面或哪些区域要被解码相对应的特征的信息。这样，特征差解码单元1430参照 这种信息来执行解码。将所获得的特征差值输出至特征加法单元1240。 
特征加法单元1240的操作与图15所示的情况相同，并且将作为第二特征(的一部分)的相加结果输出至切换单元1450。 
解码单元1410对从切换单元1440输出的第三特征码序列进行解码，借此再现第二特征(的一部分)。解码单元1410的操作与图14所示的解码单元1120的基本相似。然而，如果第三特征码序列的一部分(例如，只是画面的一部分)要由解码单元1410基于模式来解码，则第三特征码序列中还包括指定与哪些画面或哪些区域要被解码相对应的特征的信息。这样，解码单元1410参照这种信息来执行解码。将所获得的特征差值输出至切换单元1450。 
切换单元1450根据从码序列解复用单元1400输出的模式信息来切换第二特征的输出源。如果模式信息指示第三特征码序列中包括的特征是特征差值，则切换单元1450将从特征加法单元1240输出的相加结果作为第二特征输出。另一方面，如果模式信息指示第三特征码序列中包括的特征是第二特征，则切换单元1450将从解码单元1410输出的解码结果作为第二特征输出。 
图17所示的特征再现单元提供了用于对由图6所示的特征合并单元140所合并的特征进行分离的装置。 
接下来，将参照图18描述图13所示的特征再现单元1000的另一实施例。 
参照图18，其示出了与图7所示的特征合并单元240相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1500、解码单元1110、解码单元1510、特征差解码单元1530、特征加法单元1240、切换单元1540、切换单元1550以及差编码索引确定单元1560。 
码序列解复用单元1500接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并将第三特征码序列输出至切换单元1540。码序列解复用单元1500还将边缘信息输出至差编码索引确定单元1560。差编码索引确定单元1560接收从码序列解复用单元1500输出的边缘信息，并将差编码索引输出至切换单元1540和切换单元1550。解 码单元1110接收从码序列解复用单元1500输出的第一特征码序列，并输出第一特征。切换单元1540根据从差编码索引确定单元1560输入的差编码索引，将从码序列解复用单元1500输出的第三特征码序列输出至特征差解码单元1530或解码单元1510。解码单元1510接收从切换单元1540输出的第三特征码序列，并将解码结果输出至切换单元1550。特征差解码单元1530接收从切换单元1540输出的第三特征码序列，并将特征差值输出至特征加法单元1240。特征加法单元1240将从解码单元1110输出的第一特征和从特征差解码单元1530输出的特征差值相加，并将相加结果输出至切换单元1550。切换单元1550接收从特征加法单元1240输出的相加结果和从解码单元1510输出的解码结果，基于从差编码索引确定单元1560输出的差编码索引重构第二特征，并将其输出。 
接下来，将描述图18所示的特征再现单元1000的操作。 
首先将对其执行了匹配的视频描述符输入至码序列解复用单元1500。码序列解复用单元1500通过与复用方法相对应的解复用方法，将第一特征码序列和第三特征码序列从视频描述符中分离。这一操作与图14所示的特征再现单元的码序列解复用单元1100所执行的相同。将分离的第一特征码序列和第三特征码序列分别输出至解码单元1110和切换单元1540。还从视频描述符中解复用出模式信息，并将其输出至差编码索引确定单元1560，模式信息是描述黑色区域或L型区域所构成的屏幕边缘的信息。 
差编码索引确定单元1560与用于编码的相同。差编码索引确定单元1560在对其执行差编码的特征的各个维度中确定维度，并将表示该维度的索引输出作为差编码索引。 
解码单元1110的操作与图14所示的情况相同，并且解码单元1110输出第一特征。还将第一特征输出至特征加法单元1240。 
切换单元1540根据从差编码索引确定单元1560输出的差编码索引，针对特征的每一个维度，改变第三特征码序列的输出目的地。关于差编码索引所指定的维度，切换单元1540将第三特征码序列输出至特征差解码单元1530。另一方面，关于差编码索引没有指定的维度， 切换单元1540将第三特征码序列输出至解码单元1510。 
特征差解码单元1530对从切换单元1540输出的第三特征码序列进行解码，并在特征差值中再现差编码索引所指定的维度的值。特征差解码单元1530的操作与图15所示的特征差解码单元1230的基本相似。将所获得的特征差值输出至特征加法单元1240。 
特征加法单元1240的操作与图15所示的情况相同，并且将作为第二特征(的一部分)的相加结果输出至切换单元1550。 
解码单元1510对从切换单元1540输出的第三特征码序列进行解码，并再现第二特征的差编码索引没有指定的维度的值。解码单元1510的操作与图14所示的解码单元1120的基本相似。将解码结果输出至切换单元1550。 
切换单元1550根据从差编码索引确定单元1560输出的差编码索引来切换第二特征的输出目的地。关于差编码索引中所包括的维度，切换单元1550将从特征加法单元1240输出的相加结果输出作为第二特征。另一方面，关于差编码索引中没有包括的维度，切换单元1550将从解码单元1510输出的解码结果输出作为第二特征。 
图18所示的特征再现单元1000提供了用于对由图7所示的特征合并单元240所合并的特征进行分离的装置。 
接下来，将参照图19描述图13所示的特征再现单元1000的另一实施例。 
参照图19，其示出了与图8所示的特征合并单元240相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1600、解码单元1110、解码单元1510、特征差解码单元1530、特征加法单元1240、切换单元1540和切换单元1550。 
其配置与图18所示的类似，除了码序列解复用单元1600、切换单元1540和切换单元1550。码序列解复用单元1600接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并将第三特征码序列输出至切换单元1540。此外，码序列解复用单元1600将差编码索引输出至切换单元1540和切换单元1550。切换单元1540根据从码序列解复用单元1600输出的差编码索引，将从码序列解复用单元1500输出的第三 特征码序列输出至特征差解码单元1530或解码单元1510。切换单元1550接收从特征加法单元1240输出的相加结果和从解码单元1510输出的解码结果，基于从码序列解复用单元1600输出的差编码索引重构第二特征，并将其输出。 
接下来，将描述图19所示的特征再现单元1000的操作。 
除了码序列解复用单元1600的操作以外的操作与图18的情况相同。码序列解复用单元1600的操作也与图18所示的码序列解复用单元1500的类似，除了对差编码索引进行解复用代替对边缘信息进行解复用的方面。 
图19所示的特征再现单元1000提供了用于对由图8所示的特征合并单元240所合并的特征进行分离的装置。 
接下来，将参照图20描述图13所示的特征再现单元1000的另一实施例。 
参照图20，其示出了与图9所示的特征合并单元240相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1500、解码单元1110、解码单元1510、特征差解码单元1730、特征加法单元1240、切换单元1540和切换单元1550。 
除了码序列解复用单元1500和特征差解码单元1730以外的单元之间的连接关系与图18所示的相同。码序列解复用单元1500接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并将第三特征码序列输出至切换单元1540。此外，码序列解复用单元1500将边缘信息输出至差编码索引确定单元1560和特征差解码单元1730。特征差解码单元1730接收从切换单元1540输出的第三特征码序列和从码序列解复用单元1500输出的边缘信息，并将特征差值输出至特征加法单元1240。 
接下来，将描述图20所示的特征再现单元1000的操作。 
除了特征差解码单元1730的操作以外的操作与图18所示的情况相同。特征差解码单元1730的操作还与图18所示的特征差解码单元1530的类似，除了通过根据边缘信息改变码参数来执行解码的方面。 
图20所示的特征再现单元1000提供了用于对由图9所示的特征合 并单元所合并的特征进行分离的装置。 
接下来，将参照图21描述图13所示的特征再现单元1000的另一实施例。 
参照图21，其示出了与图10所示的特征合并单元240相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1700、解码单元1110、解码单元1510、特征差解码单元1530、特征加法单元1240、切换单元1740、切换单元1750和差编码索引确定单元1560。 
解码单元1110、解码单元1510、特征差解码单元1530和特征加法单元1240之间的连接关系与图18所示的相同。码序列解复用单元1700接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并将第三特征码序列输出至切换单元1740。此外，码序列解复用单元1700将边缘信息输出至差编码索引确定单元1560，并且还将模式信息输出至切换单元1740和切换单元1750。差编码索引确定单元1560接收从码序列解复用单元1700输出的边缘信息，并将差编码索引输出至切换单元1740和切换单元1750。切换单元1740根据从差编码索引确定单元1560输出的差编码索引或从码序列解复用单元1700输出的模式信息，将从码序列解复用单元1700输出的第三特征码序列输出至特征差解码单元1530或解码单元1510。切换单元1750接收从特征加法单元1240输出的相加结果和从解码单元1510输出的解码结果，基于从差编码索引确定单元1560输出的差编码索引和从码序列解复用单元1700输出的模式信息重构第二特征，并将其输出。 
接下来，将描述图21的特征再现单元1000的操作。 
首先将对其执行了匹配的视频描述符输入至码序列解复用单元1700。码序列解复用单元1700通过与复用方法相对应的解复用方法，将第一特征码序列和第三特征码序列从视频描述符中分离。这一操作与图14所示的特征再现单元的码序列解复用单元1100所执行的相同。将分离的第一特征码序列和第三特征码序列分别输出至解码单元1110和切换单元1740。还从视频描述符中解复用出模式信息，模式信息是描述黑色区域或L型区域所构成的屏幕边缘的信息，并将其输出至差编 码索引确定单元1560。此外，还从视频描述符中解复用出模式信息，并将其输出至切换单元1740和切换单元1750。 
差编码索引确定单元1560的操作与图18的情况相同，并且输出差编码索引。 
解码单元1110的操作与图14所示的情况相同，并且输出第一特征。还将第一特征输出至特征加法单元1240。 
切换单元1740根据从差编码索引确定单元1560输出的差编码索引和从码序列解复用单元1700输出的模式信息，针对特征的每一个维度，改变第三特征码序列的输出目的地。如果模式信息指示第三特征码序列中包括的特征是特征差值，则关于差编码索引所指定的维度，切换单元1740将第三特征码序列输出至特征差解码单元1530，而关于差编码索引未指定的维度，切换单元1740将第三特征码序列输出至解码单元1510。另一方面，如果模式信息指示第三特征码序列中包括的特征是第二特征，则切换单元1740将第三特征码序列输出至解码单元1510。 
特征差解码单元1530、特征加法单元1240和解码单元1510的操作与图18的情况相同。 
切换单元1750根据从差编码索引确定单元1560输出的差编码索引和从码序列解复用单元1700输出的模式信息，切换第二特征的输出目的地。如果模式信息指示第三特征码序列中包括的特征是特征差值，则关于差编码索引中包括的维度，切换单元1750将从特征加法单元1240输出的相加结果输出作为第二特征，而关于差编码索引中未指定的维度，切换单元1750将从解码单元1510输出的解码结果输出作为第二特征。另一方面，如果模式信息指示第三特征码序列中包括的特征是第二特征，则切换单元1750将从解码单元1510输出的解码结果输出作为第二特征。 
图21所示的特征再现单元提供了用于对由图10所示的特征合并单元240所合并的特征进行分离的装置。 
接下来，将参照图22描述图13所示的特征再现单元1000的另一实施例。 
参照图22，其示出了与图11所示的特征合并单元240相对应的特征 再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1800、解码单元1110、解码单元1510、特征差解码单元1530、特征加法单元1240、切换单元1740和切换单元1750。 
除了码序列解复用单元1800、切换单元1740和切换单元1750以外，其配置与图20的类似。码序列解复用单元1800接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并将第三特征码序列输出至切换单元1540。此外，码序列解复用单元1800还将差编码索引和模式信息输出至切换单元1740和切换单元1750。切换单元1740根据从码序列解复用单元1800输出的差编码索引和模式信息，将从码序列解复用单元1800输出的第三特征码序列输出至特征差解码单元1530或解码单元1510。切换单元1750接收从特征加法单元1240输出的相加结果和从解码单元1510输出的解码结果，基于从码序列解复用单元1800输出的差编码索引和模式信息重构第二特征，并将其输出。 
接下来，将描述图22所示的特征再现单元1000的操作。 
除了码序列解复用单元1800的操作以外的操作与图21所示的情况相同。码序列解复用单元1800的操作还与图21所示的码序列解复用单元1700的类似，除了解复用差编码索引代替解复用边缘信息的方面。 
图22所示的特征再现单元1000提供了用于对由特征合并单元240所合并的特征进行分离的装置。 
接下来，将参照图23描述特征再现单元1000的另一实施例。 
参照图23，其示出了与图12所示的特征合并单元240相对应的特征再现单元1000的实施例，特征再现单元1000包括码序列解复用单元1700、解码单元1110、解码单元1510、特征差解码单元1530、特征加法单元1240、切换单元1740、切换单元1750和差编码索引确定单元1560。 
除了码序列解复用单元1700和特征差解码单元1730以外的单元之间的连接关系与图21所示的相同。码序列解复用单元1700接收视频描述符，将分离的第一特征码序列输出至解码单元1110，并将第三特征码序列输出至切换单元1540。此外，码序列解复用单元1700将边缘信息输出至差编码索引确定单元1560和特征差解码单元1730，并将模式 信息输出至切换单元1740和切换单元1750。特征差解码单元1730接收从切换单元1740输出的第三特征码序列和根据第三特征码序列输出的边缘信息，并将特征差值输出至特征加法单元1240。 
接下来，将描述图23所示的特征再现单元1000的操作。 
除了特征差解码单元1730的操作以外的操作与图21所示的情况相同。特征差解码单元1730的操作还与图21所示的特征差解码单元1530的类似，除了通过根据边缘信息改变编码参数来执行解码的方面以外。 
图23所示的特征再现单元提供了用于对由图12所示的特征合并单元240所合并的特征进行分离的装置。 
上面已经对运动图像匹配装置的实施例进行了描述。利用本实施例，可以利用由视频描述符生成装置所提取的视频描述符来对运动图像执行匹配。这样，即便包括黑条或L型区域，也可以执行匹配，而不会降低准确度。 
接下来，将描述本发明的另一实施例的操作。 
图26示出了一种从画面中提取特征的示例性方法。在这个方法中，预先设定画面内的任意两个区域的对，并获得某一对中两个区域的特征之间的差作为特征向量。在本实施例中，将各个区域对表示为P1、P2、P3、......，将根据第n个对确定的特征表示为Vn。如图所示，区域对可以采取区域的形状和位置的各个组合。此外，可以使用各种方法来根据对Pn中计算特征Vn。例如，存在一种这样的方法，其中在一对中的阴影区域和网状区域的每一个中计算亮度的平均值，并根据其幅值关系确定特征Vn的值。具体而言，将在阴影区域中获得的平均亮度减去在网状区域内获得的平均亮度，以计算差，并且如果差为正，则Vn＝1，而如果差为负，则Vn＝-1。如果差的绝对值小于阈值，Vn也可以为0，以使得特征Vn由三元值表示。在下文中，假定Vn取三元值。 
图1中的视觉特征提取单元120对N个对执行如上所述的处理，由此获得N维度的特征向量Vn。视频边缘检测单元100对每一个画面执行Hough变换，以检测靠近视频边缘的水平或垂直线。然后，视频边缘检测单元100测量画面之间的连续性，并且如果针对大于阈值的画面数目是连续的，则将其检测为黑条区域或L型区域的边界，并输出边缘信 息。位置校正视觉特征提取单元130将除边缘区域以外的区域视为整个屏幕，以执行与视觉特征提取单元120所执行的相同的处理，由此获得N维度的特征向量V’n。特征合并单元140或240将针对每一个画面所获得的N维度的特征向量Vn和V’n合并，以生成视频描述符。 
关于特征向量Vn，编码单元320执行编码。由于每个维度都取三元值，因此如果针对5维度将其合并，则状态为35＝243，这可以用一个字节来表示。这样，针对每5维度对其进行表示，其值被表示为N/5字节，并进行编码。 
如果特征合并单元140计算特征差值，则利用下列等式计算每一个维度的特征之间的差值Dn： 
Dn＝V′n-Vn， 
并对差值Dn进行编码。由于特征的值取三元值，因此Dn的值是三元值，尽管Dn取决于Vn。这样，如果Vn＝1，则Dn＝0、-1或-2，如果Vn＝0，则Dn＝1、0或-1，如果Vn＝-1，则Dn＝2、1或0。特征差值编码单元340预先学习针对Vn＝1、0和-1中的每一个值的Dn的出现频率，并基于结果执行熵编码。 
如果如图7的情况确定差索引，则可以考虑用于计算Vn的区域由于黑条区域或L型区域的插入而移动的程度。即便插入黑条区域，位于屏幕中心的区域也不会大幅移动。另一方面，位于图像周边领域中的区域大幅移动。这样，如果用于计算Vn的区域靠近屏幕中心，则Vn与V’n之间的相关性较大，而如果用于计算Vn的区域靠近周边领域，则相关性较低。相应地，对于根据位于屏幕中心的区域计算Vn的维度，可以对Dn进行编码，并且对于其它维度，可以对V’n进行编码。如上所述，执行差编码所利用的维度可以根据几何特性获得，并且可以确定差编码索引。当然，可以通过关于图像学习Vn与V’n之间的相关性程度，根据该相关性程度来确定差编码索引。 
对于其它情况，可以通过应用上述方法来构建关于上述特征的视频描述符生成装置。 
尽管已经参照本发明的实施例对本发明进行了描述，然而本发明并不局限于这些示例。本领域技术人员将理解，在不背离本发明的范 围的前提下，可以在其中进行形式和细节方面的各种改变。此外，对视频描述符生成装置和运动图像配置装置进行适配，以使得其功能能够由计算机和程序以及硬件来实现。这种程序以被写在诸如磁盘、半导体存储器等的计算机可读记录介质上的形式来提供，在例如启动计算机时被读取，并控制计算机的操作，由此使得计算机能够起到如上所述的实施例中的视频描述符生成装置和运动图像配置装置的作用。 
本申请基于并要求2009年1月23日提交的日本专利申请No.2009-12812的优先权益，其全部内容通过引用合并于此。 
工业适用性 
本发明适用于以高准确度从各种视频中检索类似的或同样的视频。具体而言，关于检索视频的同一区间，本发明适用于识别分布在网络上的非法拷贝的运动图像，以及识别分布在实际广播频道上的商业广告节目。 
附图标记说明 
10     每帧特征提取单元 
20     特征表创建单元 
100    视频边缘检测单元 
120    视觉特征提取单元 
130    位置校正视觉特征提取单元 
140    特征合并单元 
230    码序列复用单元 
240    特征合并单元 
300    特征减法单元 
310    编码单元 
320    编码单元 
330    码序列复用单元 
430    码序列复用单元 
440    特征差编码单元 
520     码选择单元 
530     码序列复用单元 
600     差编码索引确定单元 
610     编码单元 
630     码序列复用单元 
640     特征差编码单元 
660     特征差编码单元 
720     码选择单元 
730     码序列复用单元 
830     码序列复用单元 
930     码序列复用单元 
1000    特征再现单元 
1010    特征再现单元 
1020    特征匹配单元 
1030    特征匹配单元 
1040    特征匹配单元 
1050    特征匹配单元 
1060    选择单元 
1100    码序列解复用单元 
1110    解码单元 
1120    解码单元 
1200    码序列解复用单元 
1230    特征差解码单元 
1240    特征加法单元 
1300    码序列解复用单元 
1330    特征差解码单元 
1400    码序列解复用单元 
1410    解码单元 
1430    特征差解码单元 
1440    切换单元 
1450    切换单元 
1500    码序列解复用单元 
1510    解码单元 
1530    特征差解码单元 
1540    切换单元 
1550    切换单元 
1560    差编码索引确定单元 
1600    码序列解复用单元 
1700    码序列解复用单元 
1730    特征差解码单元 
1740    切换单元 
1750    切换单元 
1800    码序列解复用单元 

Claims (63)

1.一种视频描述符生成装置，包括：
第一提取单元，针对作为视频的帧或场的每一个画面，提取第一特征；
第二提取单元，从视频中包括的图像的边缘所定义的区域中提取第二特征；以及
特征合并单元，将第一特征和第二特征合并，以生成视频描述符。
2.根据权利要求1所述的视频描述符生成装置，其中
所述第一提取单元所提取的第一特征和所述第二提取单元所提取的第二特征是同一类型的特征。
3.根据权利要求1或2所述的视频描述符生成装置，其中
图像的边缘是由黑条区域的添加、L型区域的添加、以及图像内的图像显示中的至少一个所定义的图像的边缘。
4.根据权利要求1至3中任一项所述的视频描述符生成装置，其中，所述特征合并单元包括：
第一编码单元，对第一特征进行编码，以生成第一特征码序列；
第二编码单元，对第二特征进行编码，以生成第二特征码序列；以及
码序列复用单元，将第一特征码序列和第二特征码序列合并，以生成视频描述符。
5.根据权利要求4所述的视频描述符生成装置，其中
所述码序列复用单元以可分离的方式将所述第一特征码序列和所述第二特征码序列合并，以生成视频描述符。
6.根据权利要求5所述的视频描述符生成装置，其中
所述码序列复用单元以画面为单位将所述第一特征码序列和所述第二特征码序列交织，以生成视频描述符。
7.根据权利要求1至3中任一项所述的视频描述符生成装置，其中，所述特征合并单元包括：
第一特征编码单元，对第一特征进行编码，以生成第一特征码序列；
减法单元，将第二特征减去第一特征，以计算特征差值；
特征差编码单元，对特征差值进行编码，以生成特征差值码序列；以及
码序列复用单元，对第一特征码序列和特征差值码序列进行复用，以生成视频描述符。
8.根据权利要求1至3中任一项所述的视频描述符生成装置，其中，所述特征合并单元包括：
第一特征编码单元，对第一特征进行编码，以生成第一特征码序列；
第二特征编码单元，对第二特征进行编码，以生成第二特征码序列；
减法单元，将第二特征减去第一特征，以计算特征差值；
特征差编码单元，对特征差值进行编码，以生成特征差值码序列；
码选择单元，将所述特征差值码序列的码数量与所述第二特征码序列的码数量进行比较，选择码数量较小的一个码序列，以生成第三特征码序列，并输出模式信息，所述模式信息指示选择了哪一个码序列；以及
码序列复用单元，对所述第一特征码序列以及从所述码选择单元输出的第三特征码序列和模式信息进行复用，以生成视频描述符。
9.根据权利要求1至8中任一项所述的视频描述符生成装置，其中
所述特征合并单元还将边缘信息包括在所述视频描述符中，所述边缘信息描述图像的边缘的位置。
10.根据权利要求9所述的视频描述符生成装置，其中
所述边缘信息包括与图像的边缘的距离有关的信息。
11.根据权利要求9或10所述的视频描述符生成装置，其中
所述特征合并单元还通过控制利用所述边缘信息的合并方法来合并第一特征和第二特征，以生成所述视频描述符。
12.根据权利要求11所述的视频描述符生成装置，其中
所述特征合并单元包括：
第一特征编码单元，对第一特征进行编码，以生成第一特征码序列；
减法单元，将第二特征减去第一特征，以计算特征差值；
特征差编码单元，通过基于边缘信息来控制在特征差编码中使用的参数来对特征差值进行编码，以生成特征差值码序列；以及
码序列复用单元，对第一特征码序列、特征差值码序列和边缘信息进行复用，以生成视频描述符。
13.根据权利要求11所述的视频描述符生成装置，其中，所述特征合并单元包括：
差编码索引确定单元，根据边缘信息确定特征向量的元素中被应用差编码的元素的索引，作为差编码索引信息；
第一特征编码单元，对第一特征进行编码，以生成第一特征码序列；
减法单元，将第二特征减去第一特征，以计算特征差值；
特征差编码单元，对在所述差编码索引信息中指定的、特征差值的索引的元素应用差编码，以生成特征差值码序列；
第二特征编码单元，对在所述差编码索引信息中没有指定的、第二特征的索引的元素进行编码，以生成第二特征码序列；以及
码序列复用单元，对边缘信息和差编码索引之一、第一特征码序列、特征差值码序列和第二特征码序列进行复用，以生成视频描述符。
14.根据权利要求11所述的视频描述符生成装置，其中，所述特征合并单元包括：
差编码索引确定单元，根据边缘信息确定特征向量的元素中被应用差编码的元素的索引，作为差编码索引信息；
第一特征编码单元，对第一特征进行编码，以生成第一特征码序列；
第二特征编码单元，对第二特征进行编码，以生成第二特征码序列；
减法单元，将第二特征减去第一特征，以计算特征差值；
特征差编码单元，对在所述差编码索引信息中指定的特征差值的索引的元素应用差编码，以生成特征差值码序列；
码选择单元，在所述第二特征码序列中，关于在所述差编码索引信息中指定的索引的元素，将所述元素的码数量与特征差值码序列的码数量进行比较，并选择其中码数量较小的一个作为第三特征码序列；而关于在所述差编码索引信息中没有指定的索引的元素，直接使用所述第二特征码序列作为第三特征码序列，并输出模式信息，所述模式信息指示选择了其中的哪一个；以及
码序列复用单元，对边缘信息和差编码索引之一、从所述码选择单元输出的第三特征码序列和模式信息、以及第一特征码序列进行复用，以生成视频描述符。
15.根据权利要求13或14所述的视频描述符生成装置，其中
所述特征差编码单元还通过利用边缘信息控制在差编码中使用的参数来对特征差值进行编码。
16.根据权利要求1至15中任一项所述的视频描述符生成装置，其中
所述第一提取单元和所述第二提取单元基于从图像区域中的多个子区域对中两个子区域的对中提取的区域特征之间的差值来生成特征。
17.根据权利要求16所述的视频描述符生成装置，其中
所述多个子区域对包括至少一对子区域，在所述至少一对子区域中，一子区域对中的两个子区域的形状的组合和该子区域对中的两个子区域之间的相对位置均与其它子区域对中的至少一个子区域对的不同。
18.根据权利要求16或17所述的视频描述符生成装置，其中
所述第一提取单元和所述第二提取单元针对每一个子区域对，从一个子区域对的两个子区域中提取区域特征，利用每一个子区域对的两个区域特征计算特征元素，并将特征元素集合确定为特征。
19.根据权利要求18所述的视频描述符生成装置，其中
所述第一提取单元和所述第二提取单元对每一个子区域对的两个区域特征之间的差值进行量化，以计算与所述子区域对相对应的特征元素。
20.根据权利要求19所述的视频描述符生成装置，其中
在执行量化时，将某一值量化为三元值，以计算特征元素，并执行量化，以合并五个获得的特征元素，并用1个字节来表示，以生成特征。
21.根据权利要求16至20中任一项所述的视频描述符生成装置，其中
所述第一提取单元和所述第二提取单元提取每一个子区域的平均亮度作为该子区域的区域特征。
22.一种用于在第一视频的第一视频描述符与第二视频的第二视频描述符之间执行匹配的运动图像匹配装置，所述装置包括：
第一特征再现单元，根据所述第一视频描述符再现所述第一视频的第一特征和所述第一视频的第二特征，所述第一视频的第一特征是针对作为第一视频的帧或场的每一个画面提取的，所述第一视频的第二特征是从由所述第一视频中所包括的图像的边缘所定义的区域中提取的；
第二特征再现单元，根据所述第二视频描述符再现所述第二视频的第一特征和所述第二视频的第二特征，所述第二视频的第一特征是针对作为第二视频的帧或场的每一个画面提取的，所述第二视频的第二特征是从由所述第二视频中所包括的图像的边缘所定义的区域中提取的；
第一特征匹配单元，在所述第一视频的第一特征与所述第二视频的第一特征之间执行匹配，以计算第一匹配得分；
第二特征匹配单元，在所述第一视频的第一特征与所述第二视频的第二特征之间执行匹配，以计算第二匹配得分；
第三特征匹配单元，在所述第一视频的第二特征与所述第二视频的第一特征之间执行匹配，以计算第三匹配得分；
第四特征匹配单元，在所述第一视频的第二特征与所述第二视频的第二特征之间执行匹配，以计算第四匹配得分；以及
选择单元，比较第一至第四特征匹配得分，以选择最佳匹配得分。
23.根据权利要求22所述的运动图像匹配装置，其中
所述第一特征再现单元和所述第二特征再现单元包括：
码序列解复用单元，对第一视频描述符或第二视频描述符进行解复用，以生成第一特征码序列和第二特征码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的，所述第二特征码序列是通过对第一视频或第二视频的第二特征进行编码而获得的，所述第一视频或第二视频的第二特征是从由所述第一视频或第二视频中所包括的图像的边缘所定义的区域中提取的；
第一解码单元，对所述第一特征码序列进行解码，以再现所述第一视频或第二视频的第一特征；以及
第二解码单元，对所述第二特征码序列进行解码，以再现所述第一视频或第二视频的第二特征。
24.根据权利要求22所述的运动图像匹配装置，其中
所述第一特征再现单元和所述第二特征再现单元包括：
码序列解复用单元，对第一视频描述符或第二视频描述符进行解复用，以生成第一特征码序列和特征差值码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的，所述特征差值码序列是通过对特征差值进行编码而获得的，所述特征差值是通过将所述第一视频或第二视频的第二特征减去所述第一视频或第二视频的第一特征而计算的，所述第一视频或第二视频的第二特征是从由所述第一视频或第二视频中所包括的图像的边缘所定义的区域中提取的；
第一解码单元，对所述第一特征码序列进行解码，以再现所述第一视频或所述第二视频的第一特征；
特征差解码单元，对所述特征差值码序列进行解码，以再现所述特征差值；以及
加法单元，将所述第一特征与所述特征差值相加，以计算所述第一视频或第二视频的第二特征。
25.根据权利要求24所述的运动图像匹配装置，其中
所述码序列解复用单元还对边缘信息进行解复用；以及
所述特征差解码单元基于所述边缘信息对所述特征差值码序列进行解码，以再现所述特征差值。
26.根据权利要求22所述的运动图像匹配装置，其中
所述第一特征再现单元和所述第二特征再现单元包括：
码序列解复用单元，对第一视频描述符或第二视频描述符进行解复用，以生成：
第一特征码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的；
第三特征码序列，所述第三特征码序列是第二特征码序列和特征差值码序列中的码数量较小的那个码序列，所述第二特征码序列是通过对第一视频或第二视频的第二特征进行编码而获得的，所述第一视频或第二视频的第二特征是从由所述第一视频或第二视频中所包括的图像的边缘所定义的区域中提取的，所述特征差值码序列是通过对特征差值进行编码而获得的，所述特征差值是通过将第二特征减去所述第一视频或第二视频的第一特征而计算的；以及
模式信息，指示所述第三特征码序列中包括的特征是所述特征差值还是所述第二特征；
第一解码单元，对所述第一特征码序列进行解码，以再现所述第一视频或所述第二视频的第一特征；以及
第一切换单元，接收所述第三特征码序列，并基于所述模式信息来切换所述第三特征码序列的输出目的地；
特征差解码单元，对从所述第一切换单元输出的第三特征码序列进行解码，以再现所述特征差值；
第二解码单元，对从所述第一切换单元输出的第三特征码序列进行解码，以再现所述第二特征；
加法单元，将所述第一特征与所述特征差值相加，以计算第二特征；以及
第二切换单元，在执行根据所述模式信息的切换的同时将从所述加法单元输出的第二特征与从所述第二解码单元输出的第二特征合并，并输出所述第一视频或第二视频的第二特征。
27.根据权利要求22所述的运动图像匹配装置，其中
所述第一特征再现单元和所述第二特征再现单元包括：
码序列解复用单元，对第一视频描述符或第二视频描述符进行解复用，并输出：
边缘信息和差编码索引之一，所述差编码索引是根据所述边缘信息确定的信息，并指示特征向量的各个元素中被应用差编码的元素的索引；
第一特征码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的；以及
第三特征码序列，所述第三特征码序列是第二特征码序列和特征差值码序列中由所述边缘信息或所述差编码索引信息所确定的那个，所述第二特征码序列是通过对第一视频或第二视频的第二特征进行编码而获得的，所述第一视频或第二视频的第二特征是从由所述第一视频或第二视频中所包括的图像的边缘所定义的区域中提取的，所述特征差值码序列是通过对特征差值进行编码而获得的，所述特征差值是通过将第二特征减去所述第一视频或第二视频的第一特征所计算的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的；
差编码索引确定单元，在所述码序列解复用单元输出边缘信息时根据所述边缘信息确定所述特征向量的各个元素中被应用差编码的元素的索引，并将其输出作为差编码索引信息；
第一解码单元，对所述第一特征码序列进行解码，以再现所述第一视频或所述第二视频的第一特征；
第一切换单元，接收所述第三特征码序列，并基于所述差索引信息来切换所述第三特征码序列的输出目的地；
特征差解码单元，对从所述第一切换单元输出的第三特征码序列进行解码，以再现所述特征差值；
第二解码单元，对从所述第一切换单元输出的第三特征码序列进行解码，以再现第二特征；
加法单元，将所述第一特征与所述特征差值相加，以计算第二特征；以及
第二切换单元，在执行根据所述差索引信息的切换的同时将从所述加法单元输出的第二特征与从所述第二解码单元输出的第二特征合并，并输出所述第一视频或第二视频的第二特征。
28.根据权利要求22所述的运动图像匹配装置，其中
所述第一特征再现单元和所述第二特征再现单元包括：
码序列解复用单元，对第一视频描述符或第二视频描述符进行解复用，以输出：
边缘信息和差编码索引之一，所述差编码索引是根据所述边缘信息确定的信息，并指示特征向量的各个元素中被应用差编码的元素的索引；
第一特征码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的；以及
第三特征码序列，对于所述差编码索引信息中没有指定的索引的元素，所述第三特征码序列包括第二特征码序列；而对于所述差编码索引信息中所指定的索引的元素，所述第三特征码序列包括所述第二特征码序列和所述特征差码序列中码数量较小的那个码序列，所述第二特征码序列是通过对第一视频或第二视频的第二特征进行编码而获得的，所述第一视频或第二视频的第二特征是从视频实际存在于所述第一视频或第二视频的画面内的区域中提取的，所述第一视频或第二视频的画面是通过利用从所述第一视频或第二视频检测的指示所述图像边缘的边缘信息所定义的，所述特征差值码序列是通过对特征差值进行编码而获得的，所述特征差值是通过将第二特征减去所述第一视频或第二视频的第一特征而计算得到的；以及
模式信息，指示针对所述差编码索引信息中指定的索引的元素是包括所述第二特征码序列还是所述特征差码序列；
差编码索引确定单元，在所述码序列解复用单元输出所述边缘信息时根据所述边缘信息确定所述特征向量的各个元素中被应用差编码的元素的索引，并将其输出作为差编码索引信息；
第一解码单元，对所述第一特征码序列进行解码，以再现所述第一视频或所述第二视频的第一特征；
第一切换单元，接收所述第三特征码序列，并基于所述差编码索引信息和所述模式信息来切换所述第三特征码序列的输出目的地；
特征差解码单元，对从所述第一切换单元输出的第三特征码序列进行解码，以再现所述特征差值；
第二解码单元，对从所述第一切换单元输出的第三特征码序列进行解码，以再现第二特征；
加法单元，将所述第一特征与所述特征差值相加，以计算第二特征；以及
第二切换单元，在执行根据所述差索引信息和所述模式信息的切换的同时将从所述加法单元输出的第二特征与从所述第二解码单元输出的第二特征合并，并输出所述第一视频或第二视频的第二特征。
29.根据权利要求27或28所述的运动图像匹配装置，其中
所述特征差解码单元基于所述边缘信息对所述特征差值码序列进行解码，以再现所述特征差值。
30.一种视频描述符生成方法，包括：
针对作为视频的帧或场的每一个画面，提取第一特征；
从视频中包括的图像的边缘所定义的区域中提取第二特征；以及
将第一特征和第二特征合并，以生成视频描述符。
31.根据权利要求30所述的视频描述符生成方法，其中
第一特征和第二特征是同一类型的特征。
32.根据权利要求30或31所述的视频描述符生成方法，其中
图像的边缘是由黑条区域的添加、L型区域的添加、以及图像内的图像显示中的至少一个所定义的图像的边缘。
33.根据权利要求30至32中任一项所述的视频描述符生成方法，其中，生成视频描述符包括：
对第一特征进行编码，以生成第一特征码序列；
对第二特征进行编码，以生成第二特征码序列；以及
将第一特征码序列和第二特征码序列合并，以生成视频描述符。
34.根据权利要求33所述的视频描述符生成方法，其中
以可分离的方式将所述第一特征码序列和所述第二特征码序列合并，以生成视频描述符。
35.根据权利要求34所述的视频描述符生成方法，其中
以画面为单位将所述第一特征码序列和所述第二特征码序列交织，以生成视频描述符。
36.根据权利要求30至32中任一项所述的视频描述符生成方法，其中，生成视频描述符包括：
对第一特征进行编码，以生成第一特征码序列；
将第二特征减去第一特征，以计算特征差值；
对特征差值进行编码，以生成特征差值码序列；以及
对第一特征码序列和特征差值码序列进行复用，以生成视频描述符。
37.根据权利要求30至32中任一项所述的视频描述符生成方法，其中，生成视频描述符包括：
对第一特征进行编码，以生成第一特征码序列；
对第二特征进行编码，以生成第二特征码序列；
将第二特征减去第一特征，以计算特征差值；
对特征差值进行编码，以生成特征差值码序列；
将所述特征差值码序列的码数量与所述第二特征码序列的码数量进行比较，选择码数量较小的一个码序列，以生成第三特征码序列，并输出模式信息，所述模式信息指示选择了哪一个码序列；；以及
对所述第三特征码序列和模式信息以及所述第一特征码序列进行复用，以生成视频描述符。
38.根据权利要求30至37中任一项所述的视频描述符生成方法，其中，在所述视频描述符中包括对图像的边缘的位置加以描述的边缘信息。
39.根据权利要求38所述的视频描述符生成方法，其中，
所述边缘信息包括与图像的边缘的距离有关的信息。
40.根据权利要求38或39所述的视频描述符生成方法，其中，生成所述视频描述符还包括：
通过控制利用所述边缘信息的合并方法来合并第一特征和第二特征，以生成所述视频描述符。
41.根据权利要求40所述的视频描述符生成方法，其中，生成视频描述符包括：
对第一特征进行编码，以生成第一特征码序列；
将第二特征减去第一特征，以计算特征差值；
通过基于边缘信息控制在特征差编码中使用的参数来对特征差值进行编码，以生成特征差值码序列；以及
对第一特征码序列、特征差值码序列和边缘信息进行复用，以生成视频描述符。
42.根据权利要求40所述的视频描述符生成方法，其中，生成视频描述符包括：
根据边缘信息确定特征向量的元素中被应用差编码的元素的索引，作为差编码索引信息；
对第一特征进行编码，以生成第一特征码序列；
将第二特征减去第一特征，以计算特征差值；
对特征差值的在所述差编码索引信息中指定的索引的元素应用差编码，以生成特征差值码序列；
对第二特征的在所述差编码索引信息中没有指定的索引的元素进行编码，以生成第二特征码序列；以及
对边缘信息和差编码索引之一、第一特征码序列、特征差值码序列和第二特征码序列进行复用，以生成视频描述符。
43.根据权利要求40所述的视频描述符生成方法，其中，
生成视频描述符包括：
根据边缘信息确定特征向量的元素中被应用差编码的元素的索引，作为差编码索引信息；
对第一特征进行编码，以生成第一特征码序列；
对第二特征进行编码，以生成第二特征码序列；
将第二特征减去第一特征，以计算特征差值；
对特征差值的在所述差编码索引信息中指定的索引的元素应用差编码，以生成特征差值码序列；
在所述第二特征码序列中，关于在所述差编码索引信息中指定的索引的元素，将所述元素的码数量与特征差值码序列的码数量进行比较，并选择其中码数量较小的一个作为第三特征码序列；而关于在所述差编码索引信息中没有指定的索引的元素，直接使用所述第二特征码序列作为第三特征码序列，并输出模式信息，所述模式信息指示选择了其中的哪一个；以及
对边缘信息和差编码索引之一、从所述码选择单元输出的第三特征码序列和模式信息、以及第一特征码序列进行复用，以生成视频描述符。
44.根据权利要求42或43所述的视频描述符生成方法，其中，
生成视频描述符还包括通过利用边缘信息控制在差编码中使用的参数来对特征差值进行编码。
45.根据权利要求30至44中任一项所述的视频描述符生成方法，其中，
提取第一特征和第二特征包括：基于从图像区域中多个子区域对中的两个子区域的对中提取的区域特征之间的差值来生成特征。
46.根据权利要求45所述的视频描述符生成方法，其中，
所述多个子区域对包括至少一对子区域，在所述至少一对子区域中，一子区域对中的两个子区域的形状的组合和该子区域对中的两个子区域之间的相对位置均与其它子区域对中的至少一个子区域对的不同。
47.根据权利要求45或46所述的视频描述符生成方法，其中，
提取第一特征和第二特征包括：针对每一个子区域对，从一个子区域对的两个子区域中提取区域特征，利用每一个子区域对的两个区域特征计算特征元素，并将特征元素集合确定为特征。
48.根据权利要求47所述的视频描述符生成方法，其中，
提取第一特征和第二特征包括：对每一个子区域对的两个区域特征之间的差值进行量化，以计算与所述子区域对相对应的特征元素。
49.根据权利要求48所述的视频描述符生成方法，其中，
在执行量化时，将某一值量化为三元值，以计算特征元素，并执行量化，以合并五个获得的特征元素，并用1个字节来表示，以生成特征。
50.根据权利要求45至49中任一项所述的视频描述符生成方法，其中
提取第一特征和第二特征包括：提取每一个子区域的平均亮度作为该子区域的区域特征。
51.一种运动图像匹配方法，包括：
根据第一视频描述符再现第一视频的第一特征和所述第一视频的第二特征，所述第一视频的第一特征是针对作为第一视频的帧或场的每一个画面提取的，所述第一视频的第二特征是从由所述第一视频中所包括的图像的边缘所定义的区域中提取的；
根据第二视频描述符再现第二视频的第一特征和所述第二视频的第二特征，所述第二视频的第一特征是针对作为第二视频的帧或场的每一个画面提取的，所述第二视频的第二特征是从由所述第二视频中所包括的图像的边缘所定义的区域中提取的；
在所述第一视频的第一特征与所述第二视频的第一特征之间执行匹配，以计算第一匹配得分；
在所述第一视频的第一特征与所述第二视频的第二特征之间执行匹配，以计算第二匹配得分；
在所述第一视频的第二特征与所述第二视频的第一特征之间执行匹配，以计算第三匹配得分；
在所述第一视频的第二特征与所述第二视频的第二特征之间执行匹配，以计算第四匹配得分；以及
比较第一至第四特征匹配得分，以选择最佳匹配得分。
52.根据权利要求51所述的运动图像匹配方法，其中，再现第一视频的第一特征和第二特征以及第二视频的第一特征和第二特征包括：
对第一视频描述符或第二视频描述符进行解复用，以生成第一特征码序列和第二特征码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的，所述第二特征码序列是通过对第一视频或第二视频的第二特征进行编码而获得的，所述第一视频或第二视频的第二特征是从由所述第一视频或第二视频中所包括的图像的边缘所定义的区域中提取的；
对所述第一特征码序列进行解码，以再现所述第一视频或第二视频的第一特征；以及
对所述第二特征码序列进行解码，以再现所述第一视频或第二视频的第二特征。
53.根据权利要求51所述的运动图像匹配方法，其中，再现第一视频和第二视频的第一特征和第二特征包括：
对第一视频描述符或第二视频描述符进行解复用，以生成第一特征码序列和特征差值码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的，所述特征差值码序列是通过对特征差值进行编码而获得的，所述特征差值是通过将所述第一视频或第二视频的第二特征减去所述第一视频或第二视频的第一特征而计算的，所述第一视频或第二视频的第二特征是从由所述第一视频或第二视频中所包括的图像的边缘所定义的区域中提取的；
对所述第一特征码序列进行解码，以再现所述第一视频或所述第二视频的第一特征；
对所述特征差值码序列进行解码，以再现所述特征差值；以及
将所述第一特征与所述特征差值相加，以计算所述第一视频或第二视频的第二特征。
54.根据权利要求53所述的运动图像匹配方法，其中，
所述解复用包括对边缘信息进行解复用；以及
对第二特征码序列进行解码包括：基于所述边缘信息对所述特征差值码序列进行解码，以再现所述特征差值。
55.根据权利要求51所述的运动图像匹配方法，其中，再现第一视频和第二视频的第一特征和第二特征包括：
对第一视频描述符或第二视频描述符进行解复用，以生成：
第一特征码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的；
第三特征码序列，所述第三特征码序列是第二特征码序列和特征差值码序列中的码数量较小的那个码序列，所述第二特征码序列是通过对第一视频或第二视频的第二特征进行编码而获得的，所述第一视频或第二视频的第二特征是从由所述第一视频或第二视频中所包括的图像的边缘所定义的区域中提取的，所述特征差值码序列是通过对特征差值进行编码而获得的，所述特征差值是通过将第二特征减去所述第一视频或第二视频的第一特征而计算的；以及
模式信息，指示所述第三特征码序列中包括的特征是所述特征差值还是所述第二特征；
对所述第一特征码序列进行解码，以再现所述第一视频或所述第二视频的第一特征；以及
接收所述第三特征码序列，并基于所述模式信息来切换所述第三特征码序列的输出目的地；
对输出的第三特征码序列进行解码，以再现所述特征差值；
对输出的第三特征码序列进行解码，以再现所述第二特征；
将所述第一特征与所述特征差值相加，以计算第二特征；以及
在执行根据所述模式信息的切换的同时将通过解码第三特征码序列再现的第二特征与通过将第一特征和特征差值相加计算的第二特征合并，并输出所述第一视频或第二视频的第二特征。
56.根据权利要求51所述的运动图像匹配方法，其中，再现第一视频和第二视频的第一特征和第二特征包括：
对第一视频描述符或第二视频描述符进行解复用，并输出：
边缘信息和差编码索引之一，所述差编码索引是根据所述边缘信息确定的信息，并指示特征向量的各个元素中被应用差编码的元素的索引；
第一特征码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的；以及
第三特征码序列，所述第三特征码序列是第二特征码序列和特征差值码序列中由所述边缘信息或所述差编码索引信息所确定的那个，所述第二特征码序列是通过对第一视频或第二视频的第二特征进行编码而获得的，所述第一视频或第二视频的第二特征是从由所述第一视频或第二视频中所包括的图像的边缘所定义的区域中提取的，所述特征差值码序列是通过对特征差值进行编码而获得的，所述特征差值是通过将第二特征减去所述第一视频或第二视频的第一特征所计算的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的；
如果输出边缘信息，则根据所述边缘信息确定所述特征向量的各个元素中被应用差编码的元素的索引，并将其输出作为差编码索引信息；
对所述第一特征码序列进行解码，以再现所述第一视频或所述第二视频的第一特征；
接收所述第三特征码序列，并基于所述差索引信息来切换所述第三特征码序列的输出目的地；
对输出的第三特征码序列进行解码，以再现所述特征差值；
对输出的第三特征码序列进行解码，以再现第二特征；
将所述第一特征与所述特征差值相加，以计算第二特征；以及
在执行根据所述差编码索引信息的切换的同时将通过解码第三特征码序列再现的第二特征与通过将第一特征和特征差值相加计算的第二特征合并，并输出所述第一视频或第二视频的第二特征。
57.根据权利要求51所述的运动图像匹配方法，其中，
再现第一视频和第二视频的第一特征和第二特征包括：
对第一视频描述符或第二视频描述符进行解复用，并输出：
边缘信息和差编码索引之一，所述差编码索引是根据所述边缘信息确定的信息，并指示特征向量的各个元素中被应用差编码的元素的索引；
第一特征码序列，所述第一特征码序列是通过对第一视频或第二视频的第一特征进行编码而获得的，所述第一视频或第二视频的第一特征是针对作为所述第一视频或第二视频的帧或场的每一个画面所提取的；以及
第三特征码序列，对于所述差编码索引信息中没有指定的索引的元素，所述第三特征码序列包括第二特征码序列；而对于所述差编码索引信息中指定的索引的元素，所述第三特征码序列包括所述第二特征码序列和所述特征差码序列值中的码数量较小的那个码序列，所述第二特征码序列是通过对第一视频或第二视频的第二特征进行编码而获得的，所述第一视频或第二视频的第二特征是从视频实际存在于所述第一视频或第二视频的画面内的区域中提取的，所述第一视频或第二视频的画面是通过利用从所述第一视频或第二视频检测的指示所述图像边缘的边缘信息所定义的，所述特征差值码序列是通过对特征差值进行编码而获得的，所述特征差值是通过将第二特征减去所述第一视频或第二视频的第一特征而计算得到的；以及
模式信息，指示针对所述差编码索引信息中指定的索引的元素，是包括所述第二特征码序列还是所述特征差码序列；
如果输出所述边缘信息，则根据所述边缘信息确定所述特征向量的各个元素中被应用差编码的元素的索引，并将其输出作为差编码索引信息；
对所述第一特征码序列进行解码，以再现所述第一视频或所述第二视频的第一特征；
接收所述第三特征码序列，并基于所述差编码索引信息和所述模式信息来切换所述第三特征码序列的输出目的地；
对输出的第三特征码序列进行解码，以再现所述特征差值；
对输出的第三特征码序列进行解码，以再现第二特征；
将所述第一特征与所述特征差值相加，以计算第二特征；以及
在执行根据所述差索引信息和所述模式信息的切换的同时将通过解码第三特征码序列再现的第二特征与通过将第一特征和特征差值相加计算的第二特征合并，并输出所述第一视频或第二视频的第二特征。
58.根据权利要求56或57所述的运动图像匹配方法，其中，
通过解码第三特征码序列来再现特征差值包括：基于所述边缘信息对所述特征差值码序列进行解码，以再现所述特征差值。
59.一种用于使得计算机起如下作用的程序：
第一提取单元，针对作为视频的帧或场的每一个画面，提取第一特征；
第二提取单元，从视频中包括的图像的边缘所定义的区域中提取第二特征；以及
特征合并单元，将第一特征和第二特征合并，以生成视频描述符。
60.一种检索装置，用于利用根据权利要求1至21中任一项所述的视频描述符生成装置所生成的视频描述符来执行检索。
61.一种识别装置，用于利用根据权利要求1至21中任一项所述的视频描述符生成装置所生成的视频描述符来执行识别。
62.一种检索方法，用于利用根据权利要求30至50中任一项所述的视频描述符生成方法所生成的视频描述符来执行检索。
63.一种识别方法，用于利用根据权利要求30至50中任一项所述的视频描述符生成方法所生成的视频描述符来执行识别。
CN201080005232.6A 2009-01-23 2010-01-20 视频描述符生成装置 Expired - Fee Related CN102292979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510047532.5A CN104537127B (zh) 2009-01-23 2010-01-20 视频描述符生成装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-012812 2009-01-23
JP2009012812 2009-01-23
PCT/JP2010/000276 WO2010084737A1 (ja) 2009-01-23 2010-01-20 映像記述子生成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510047532.5A Division CN104537127B (zh) 2009-01-23 2010-01-20 视频描述符生成装置

Publications (2)

Publication Number Publication Date
CN102292979A true CN102292979A (zh) 2011-12-21
CN102292979B CN102292979B (zh) 2015-02-04

Family

ID=42355795

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510047532.5A Expired - Fee Related CN104537127B (zh) 2009-01-23 2010-01-20 视频描述符生成装置
CN201080005232.6A Expired - Fee Related CN102292979B (zh) 2009-01-23 2010-01-20 视频描述符生成装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510047532.5A Expired - Fee Related CN104537127B (zh) 2009-01-23 2010-01-20 视频描述符生成装置

Country Status (6)

Country Link
US (1) US9367616B2 (zh)
EP (2) EP2434416B1 (zh)
JP (2) JP4883226B2 (zh)
KR (1) KR101289928B1 (zh)
CN (2) CN104537127B (zh)
WO (1) WO2010084737A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014180293A1 (zh) * 2013-05-07 2014-11-13 Li Dongge 一种基于运动特征信息匹配特征码的方法与设备
CN105900401A (zh) * 2014-01-07 2016-08-24 佳能株式会社 用于对层间依赖性进行编码的方法、装置和计算机程序
CN106716450A (zh) * 2014-05-06 2017-05-24 河谷控股Ip有限责任公司 利用边缘向量的基于图像的特征检测
CN108197631A (zh) * 2012-07-23 2018-06-22 苹果公司 提供图像特征描述符的方法
US10390373B2 (en) 2013-05-07 2019-08-20 Hangzhou Zhileng Technology Co. Ltd. Method, apparatus and system for establishing connection between devices
CN113810695A (zh) * 2020-06-15 2021-12-17 中国电信股份有限公司 视频编码方法、装置及计算机可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2434416B1 (en) 2009-01-23 2018-08-15 Nec Corporation Device for generating video descriptor
US9258564B2 (en) * 2012-02-07 2016-02-09 Stmicroelectronics S.R.L. Visual search system architectures based on compressed or compact feature descriptors
US9544621B2 (en) 2014-09-17 2017-01-10 Google Inc. Identification of captured videos
US10095786B2 (en) * 2015-04-09 2018-10-09 Oath Inc. Topical based media content summarization system and method
JP6409792B2 (ja) * 2016-02-10 2018-10-24 三菱電機株式会社 画像特徴記述子符号化装置、画像特徴記述子復号装置、画像特徴記述子符号化方法及び画像特徴記述子復号方法
CN106028158B (zh) * 2016-05-26 2019-04-16 成都掌中全景信息技术有限公司 一种基于多视频源的进度识别方法
JP6530002B2 (ja) * 2017-04-12 2019-06-12 日本電信電話株式会社 コンテンツ探索装置、コンテンツ探索方法、プログラム
CN108876813B (zh) * 2017-11-01 2021-01-26 北京旷视科技有限公司 用于视频中物体检测的图像处理方法、装置及设备
CN110758354B (zh) * 2019-10-16 2020-07-17 安徽诺乐知识产权服务有限公司 基于大数据采集的车辆紧急制动执行系统
US11263261B2 (en) * 2020-02-14 2022-03-01 Alibaba Group Holding Limited Method and system for characteristic-based video processing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3780623B2 (ja) 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
JP2002117037A (ja) * 2000-10-06 2002-04-19 Nec Corp 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体
JP2003122758A (ja) 2001-10-11 2003-04-25 Canon Inc 画像検索方法及び装置
JP2003319177A (ja) * 2002-04-22 2003-11-07 Canon Inc 量子化処理装置及び方法とそれを用いたインクジェット記録装置
US7321623B2 (en) * 2002-10-01 2008-01-22 Avocent Corporation Video compression system
JP3793142B2 (ja) 2002-11-15 2006-07-05 株式会社東芝 動画像加工方法及び装置
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
JP4920928B2 (ja) 2005-08-08 2012-04-18 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US8145656B2 (en) 2006-02-07 2012-03-27 Mobixell Networks Ltd. Matching of modified visual and audio media
EP2036354A1 (en) 2006-06-20 2009-03-18 Koninklijke Philips Electronics N.V. Generating fingerprints of video signals
US8676810B2 (en) * 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8355569B2 (en) * 2006-08-10 2013-01-15 Nec Corporation Object region extracting device
WO2008066930A2 (en) * 2006-11-30 2008-06-05 Dolby Laboratories Licensing Corporation Extracting features of video & audio signal content to provide reliable identification of the signals
JP2009012812A (ja) 2007-07-05 2009-01-22 Sekisui Film Kk 合成樹脂フィルム
US8498487B2 (en) * 2008-08-20 2013-07-30 Sri International Content-based matching of videos using local spatio-temporal fingerprints
EP2434416B1 (en) 2009-01-23 2018-08-15 Nec Corporation Device for generating video descriptor
US8260055B2 (en) * 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197631A (zh) * 2012-07-23 2018-06-22 苹果公司 提供图像特征描述符的方法
CN108197631B (zh) * 2012-07-23 2022-06-28 苹果公司 提供图像特征描述符的方法
US10509946B2 (en) 2013-05-07 2019-12-17 Hangzhou Zhileng Technology Co. Ltd. Method and device for matching signatures on the basis of motion signature information
US10390373B2 (en) 2013-05-07 2019-08-20 Hangzhou Zhileng Technology Co. Ltd. Method, apparatus and system for establishing connection between devices
WO2014180293A1 (zh) * 2013-05-07 2014-11-13 Li Dongge 一种基于运动特征信息匹配特征码的方法与设备
US10779337B2 (en) 2013-05-07 2020-09-15 Hangzhou Zhileng Technology Co. Ltd. Method, apparatus and system for establishing connection between devices
US10320867B2 (en) 2014-01-07 2019-06-11 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
CN105900401B (zh) * 2014-01-07 2020-03-06 佳能株式会社 用于对层间依赖性进行编码的方法、装置和计算机程序
CN105900401A (zh) * 2014-01-07 2016-08-24 佳能株式会社 用于对层间依赖性进行编码的方法、装置和计算机程序
US11412017B2 (en) 2014-01-07 2022-08-09 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
CN106716450A (zh) * 2014-05-06 2017-05-24 河谷控股Ip有限责任公司 利用边缘向量的基于图像的特征检测
CN106716450B (zh) * 2014-05-06 2020-05-19 河谷控股Ip有限责任公司 利用边缘向量的基于图像的特征检测
CN113810695A (zh) * 2020-06-15 2021-12-17 中国电信股份有限公司 视频编码方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
EP2434416A2 (en) 2012-03-28
US20110274355A1 (en) 2011-11-10
CN104537127B (zh) 2018-04-10
KR101289928B1 (ko) 2013-07-25
EP2391122A4 (en) 2012-09-05
EP2391122A1 (en) 2011-11-30
JP4883226B2 (ja) 2012-02-22
JPWO2010084737A1 (ja) 2012-07-12
KR20110106414A (ko) 2011-09-28
EP2434416A3 (en) 2012-08-29
WO2010084737A1 (ja) 2010-07-29
EP2434416B1 (en) 2018-08-15
JP2012084164A (ja) 2012-04-26
CN104537127A (zh) 2015-04-22
CN102292979B (zh) 2015-02-04
US9367616B2 (en) 2016-06-14

Similar Documents

Publication Publication Date Title
CN102292979A (zh) 视频描述符生成装置
CN103583045A (zh) 图像处理装置以及图像处理方法
US8731066B2 (en) Multimedia signature coding and decoding
CN105791861A (zh) 定向内插和数据后处理
CN103475935A (zh) 一种视频片段的检索方法及装置
CN102714731A (zh) 图像处理设备和方法及程序
CN103202019A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN102668569A (zh) 图像处理设备和方法及程序
CN101938649B (zh) 译码设备、译码控制设备、译码方法和程序
CN104601976A (zh) 图像处理装置和图像处理方法
JP4687834B2 (ja) 映像記述子生成装置
CN103748883A (zh) 编码设备、编码方法、解码设备和解码方法
CN114600463A (zh) 视频编码和视频解码
CN103650491A (zh) 用于解码立体视频信号的方法和系统
CN104410863B (zh) 图像处理器以及图像处理方法
US9756342B2 (en) Method for context based encoding of a histogram map of an image
JP2008269460A (ja) 動画シーン種別判定装置及び方法
CN114979643A (zh) 视频编码方法、装置、电子设备及存储介质
US8818121B2 (en) Motion detector, image processing device, and image processing system
CN111526364A (zh) 图像处理的方法、装置和系统
JP2005175943A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150204

Termination date: 20210120