CN101373483A - 数据处理装置和数据处理方法 - Google Patents

数据处理装置和数据处理方法 Download PDF

Info

Publication number
CN101373483A
CN101373483A CNA2008102108443A CN200810210844A CN101373483A CN 101373483 A CN101373483 A CN 101373483A CN A2008102108443 A CNA2008102108443 A CN A2008102108443A CN 200810210844 A CN200810210844 A CN 200810210844A CN 101373483 A CN101373483 A CN 101373483A
Authority
CN
China
Prior art keywords
interval
video data
stored
feature
identifying information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102108443A
Other languages
English (en)
Other versions
CN101373483B (zh
Inventor
柿田新次郎
白根庆太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101373483A publication Critical patent/CN101373483A/zh
Application granted granted Critical
Publication of CN101373483B publication Critical patent/CN101373483B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供了一种数据处理装置和数据处理方法。数据处理装置包括：第一存储器，其被配置为与在视频数据中所包括的特征相关联地存储用以识别视频数据的识别信息；第二存储器，其被配置为与用以识别视频数据的识别信息相关联地存储在视频数据中所包括的特征；第一读取器，其被配置为基于在输入视频数据中所包括的特征，读出在第一存储器中所存储的识别信息；第二读取器，其被配置为基于由第一读取器所读出的识别信息，读出在第二存储器中所存储的特征；以及检验器，其被配置为将在输入视频数据中所包括的特征与由第二读取器所读出的特征进行比较，以判断输入视频数据与特征被存储在第二存储器中的视频数据是否匹配。

Description

数据处理装置和数据处理方法
技术领域
本发明涉及数据处理装置，并且更具体地，涉及用于从经注册的运动图像内容中检索与输入运动图像内容类似的内容的数据处理装置和数据处理方法。
背景技术
近年来，诸如因特网之类的网络技术得到改进，从而使得各种信息的高速通信成为可能并且该通信的可靠性增强。此外，运动图像共享系统越来越普遍。在该系统中，运动图像被上传到与因特网相连接的运动图像管理服务器，并且运动图像可以以被多个连接到因特网的个人计算机共享的方式被观看。
例如，如下的在线服务是普遍的。具体的，在该服务中，在使用者家中的个人计算机经由因特网连接到运动图像管理服务器，并且运动图像从使用者家中的个人计算机被上传到运动图像管理服务器，从而使得该运动图像可以从另一个人计算机被观看。
在这样的运动图像共享系统中，在某些情况下，经上传的运动图像是由使用者本人所创建的运动图像，然而在其他情况下，将是侵犯他人著作权的运动图像。如果侵犯他人著作权的运动图像因此被上传，那么例如通过禁止下载该运动图像来阻止人们观看该运动图像是很重要的。对于经上传的运动图像是否侵犯他人著作权的判断，通常，运动图像管理服务器的管理者直接观看各个经上传的运动图像从而做出判断。然而，如果经上传的运动图像的数目很大，那么管理者将很难观看所有的运动图像。
为了解决这个问题，例如，已经提出了图像检索装置。该装置针对具体图像，做出关于图像的匹配度和相似性的判断，从而检索与该具体图像相匹配的图像，而无需例如根据JPEG2000系统来完全解码经压缩编码的视频内容(例如参见日本专利特开第2006-285615号(图1))。
发明内容
在该相关技术方法中，通过在编码流和具体图像之间比较相同位置处的编码块的零比特平面的数目，来执行匹配判断，而无需对编码流进行完全解码。
然而，运动图像内容由大量以时序方式排列的帧构成。因此，逐帧地对运动图像内容进行特征提取导致如下的问题，即所提取的特征的量相当大，因此用于存储所提取的特征的区域以及比较处理所需的运算量很大。
本发明需要减小将从运动图像内容中提取以实现对运动图像内容的有效检索的特征的量。
根据本发明的实施例，提供了一种数据处理装置，包括：第一存储器，其被配置为与在视频数据中所包括的特征相关联地存储用以识别视频数据的识别信息；第二存储器，其被配置为与用以识别视频数据的识别信息相关联地存储在视频数据中所包括的特征；第一读取器，其被配置为基于在输入视频数据中所包括的特征，读出在第一存储器中所存储的识别信息；第二读取器，其被配置为基于由第一读取器所读出的识别信息，读出在第二存储器中所存储的特征；以及检验器，其被配置为将在输入视频数据中所包括的特征与由第二读取器所读出的特征进行比较，以判断输入视频数据与特征被存储在第二存储器中的视频数据是否匹配。
本发明的实施例能够提供减小将从运动图像内容中被提取的特征量的出色优点，从而使得能够高效检索运动图像内容。
附图说明
通过与附图相结合地参考描述，将理解本发明的这些和其他目的，其中：
图1是示出根据本发明实施例的内容检索装置的一个配置示例的框图；
图2是示出根据本发明实施例的运动图像内容和改变点之间关系的示图；
图3A、图3B和图3C是对根据本发明实施例的改变点判断概要进行说明的示图；
图4是示出根据本发明实施例的特征提取器的功能配置示例的框图；
图5是示意性示出根据本发明实施例的瞬变点间隔列表的示图；
图6是示出根据本发明实施例的通过特征检验器的检验的具体示例的示图；
图7是示出根据本发明实施例的对瞬变点间隔列表的检验的构成的示图；
图8是示出根据本发明实施例的特征数据库及其外围设备的配置示例的示图；
图9A、图9B和图9C是示出根据本发明实施例的关于特征数据库的操作的构成的示图；
图10是从概念上示出根据本发明实施例的DC字典和CD字典之间关系的示图；
图11是示出根据本发明实施例的DC字典的一个配置示例的示图；
图12是示出根据本发明实施例的CD字典的一个配置示例的示图；
图13是示出根据本发明实施例的改变点间隔列表的示例的示图；
图14是示出根据本发明实施例的其中图13的改变点间隔列表被注册到DC字典的第一层中的示例的示图；
图15是示出根据本发明实施例的其中图13的改变点间隔列表被注册到DC字典的第二层中的示例的示图；
图16是示出根据本发明实施例的其中图13的改变点间隔列表被注册到CD字典中的示例的示图；
图17是示出根据本发明实施例的与DC字典中的传输有关的配置示例的示图；
图18A、图18B、图18C和图18D是示出根据本发明实施例的通过分类器(sorter)的分类的一个示例的示图；
图19是示出根据本发明实施例的与CD字典中的传输有关的配置示例的示图；
图20A、图20B、图20C和图20D是示出根据本发明实施例的DC字典和CD字典的配置示例的示图；
图21是示出具有两层存储结构的多处理器系统的配置示例的示图；
图22是示出在多处理器系统中，根据本发明实施例的对运动图像内容进行注册的处理示例的示图；
图23是示出在多处理器系统中，根据本发明实施例的对运动图像内容进行检验的处理示例的示图；
图24是示出根据本发明实施例的特征注册处理过程的一个示例的流程图；
图25是示出根据本发明实施例的特征检验处理过程的一个示例的流程图；以及
图26是示出根据本发明实施例的DC字典的L1单元的修改示例的示图。
具体实施方式
在下文中，将参考附图详细描述本发明的实施例。
图1是示出根据本发明实施例的内容检索装置100的一个配置示例的框图。该内容检索装置100包括运动图像输入部分110、视频和音频解复用器120、视频解码器130、特征提取器200、特征数据库140、特征检验器150和判断结果输出部分160。例如可以通过如下的个人计算机来实现该内容检索装置100，该个人计算机可以通过视频分析来提取由诸如数字视频相机之类的摄像装置所捕捉到的运动图像(运动图像内容)的特征，并且可以通过使用所提取的特征来执行各种图像处理。
运动图像输入部分110是运动图像被输入到其中的单元，并且将所输入的运动图像输出到视频和音频解复用器120。将被输入到运动图像输入部分110的运动图像的示例包括由摄像装置所捕捉到的运动图像以及通过电视广播所接收到的运动图像。
视频和音频解复用器120将从运动图像输入部分110输出的运动图像分离为视频数据(信号)和音频数据(信号)，并且将所分离出的视频数据输出到视频解码器130。在本发明的实施例中，并不具体利用所分离出的音频数据。
视频解码器130通过对从视频和音频解复用器120输出的视频数据进行解码来产生基带数据，并且将所产生的基带数据输出到特征提取器200。
特征提取器200基于从视频解码器130输出的基带数据来提取特征，并且将所提取的特征输出到特征数据库140和特征检验器150。在本发明的实施例中，作为示例，将运动图像中的改变点的间隔(在下文中，称作改变点间隔)用作通过特征提取器200而提取的特征。改变点例如包括指示运动图像的瞬间场景改变的边界的瞬变点(cut-change point)，以及指示运动图像的相对较大场景改变的边界的软切换点(crossfade point)。改变点间隔指示连续改变点之间的区间(leg)的时间、帧数目等。由特征提取器200所提取的改变点间隔以时序的方式被排列，并且形成改变点间隔列表。
特征数据库140针对每一运动图像内容存储从特征提取器200输出的改变点间隔列表。该特征数据库140在特征检验时，将所存储的改变点间隔列表输出到特征检验器150。
特征检验器150相对于在特征数据库140中存储的各个改变点间隔列表，检验从特征提取器200输出的改变点间隔列表。基于检验结果，特征检验器150判断被输入到运动图像输入部分110的运动图像是否与对应于在特征数据库140中所存储的改变点间隔列表的运动图像相匹配。特征检验器150的检验判断结果作为匹配列表被输出到判断结果输出部分160。也就是，特征检验器150从特征数据库140所存储的改变点间隔列表中，检索对应于与被输入到运动图像输入部分110的运动图像相匹配的运动图像的改变点间隔列表。
判断结果输出部分160将从特征检验器150输出的匹配列表输出。例如，判断结果输出部分160可以显示从特征检验器150输出的匹配列表。
如上所述，根据本发明实施例的内容检索装置100通过检验运动图像内容的改变点间隔来判断是否发现运动图像内容的匹配。
图2是示出本发明实施例中的运动图像内容和改变点之间关系的示图。在以下描述中，瞬变点被用作改变点的一个示例。图2示意性地示出对应于在由摄像装置所捕捉到的运动图像290中所包括的各个帧的图像271到279。图像271到279被被包括在一个运动图像290中。拍摄时间和地点彼此不同的四个场景被包括在运动图像290中，因此在对应于场景改变的帧的前后，对象的组成、颜色等瞬间改变。在连续两帧之间的这样的改变被检测到，从而被判断为瞬变点。
例如，图像271到273从对绕过市镇行走的人的拍摄开始。虽然人物穿过图像移动并且因此在图像之间人物位置略有不同，但是这些图像作为一个整体看起来彼此类似。因此，在图像271到273的连续两帧之间没有发生改变，因此判断连续两帧之间的边界的每个都不是瞬变点。
图像274和275从对山脉前的一排房子的拍摄开始。虽然这些图像以摄像装置水平移动的方式被捕捉到，并且因此对象位置水平移动从而使图像之间彼此略微不同，但是这些图像作为一个整体看起来彼此类似。然而，图像273和274作为一个整体彼此不同，因为这些图像之间的边界对应于拍摄时间和位置彼此不同的场景的切换。因此，图像273和274之间的边界被检测为瞬变点281。
类似地，图像275和276之间的边界以及图像277和278之间的边界也被检分别测为瞬变点282和283。
通过瞬变点被划界并且因此被检测到的区间将被称作瞬变点之间的区间，并且瞬变点之间的区间的长度将被称作瞬变点间隔。虽然上述示例涉及作为改变点的一个示例的瞬变点，但是相同原理还应用于其他种类的改变点。因此，通过改变点而划界的区间将被称作改变点之间的区间，并且改变点之间的区间的长度将被称作改变点间隔。
可以基于对应于在运动图像内容中所包括的各个帧的图像的灰阶(grayscale)，以如下的方式来检测改变点。
图3是对本发明实施例中改变点判断的概要进行说明的示图。图3A到3C的每个基于整个画面中每个像素的亮度信号Y、色差信号(蓝)Cb和色差信号(红)Cr的每个或全部，示出直方图。在图3A到图3C中，横坐标指示灰阶，并且纵坐标指示频率。例如，图3A示出运动图像a的直方图，并且图3B示出运动图像a的后续运动图像b的直方图。图3C指示运动图像a和b的直方图之间相差的区域。
具体地，图3C中的阴影区域等于图3A和3B所示出的直方图之间相差的区域。如果这些差的和超过预定阈值，那么可以判断在运动图像a和b之间的边界是瞬变点。
图4是示出根据本发明实施例的特征提取器200的功能配置示例的框图。特征提取器200包括颜色直方图提取器210、用于计算连续帧之间的直方图差的计算器220、阈值保持器230、瞬变点判断器240和改变点间隔计算器250。
颜色直方图提取器210将从视频解码器130输出的基带数据保持在缓冲器中，并且对来自缓冲器所保持的基带数据的整个画面中每个像素的亮度信号Y、色差信号(蓝)Cb和色差信号(红)Cr的颜色直方图进行采样。此外，对于所采样的颜色直方图，颜色直方图提取器210将灰阶分为N级(例如，N＝16)，并且以各级的频率和变为恒定的方式来执行归一化。该直方图的示例在图3A和3B中被示出。颜色直方图提取器210将经归一化的Y、Cb和Cr的直方图输出到直方图差计算器220。
直方图差计算器220针对从颜色直方图提取器210输出的各帧的Y、Cb和Cr的颜色直方图，计算连续两帧之间的颜色直方图面积的差。直方图差计算器220将计算得到的直方图的差输出到瞬变点判断器240。例如，作为在对应于连续两帧的图3A和图3B中示出的颜色直方图之间的面积差，在图3C中示出的阴影区域的面积被计算。
阈值保持器230保持当瞬变点判断器240判断在连续两帧之间的边界是否为瞬变点时所使用的阈值，并且将所保持的阈值输出到瞬变点判断器240。
基于从直方图差计算器220中输出的直方图差是否超过在阈值保持器230中保持的阈值，瞬变点判断器240判断在连续两帧之间的边界是否是瞬变点。具体地，如果从计算器220输出的直方图差超过在阈值保持器230中保持的阈值，那么瞬变点判断器240判断在对应于该直方图差的连续两帧之间的边界是瞬变点，并向将对应于该边界的时间作为瞬变点时间输出到改变点间隔计算器250。另一方面，如果从计算器220输出的直方图差不超过在阈值保持器230中保持的阈值，那么瞬变点判断器240判断在对应于该直方图差的连续两帧之间的边界不是瞬变点。如果以这样的方式判断边界不是瞬变点，那么没有时间被输出到改变点间隔计算器250。
基于从瞬变点判断器240输出的瞬变点时间，改变点间隔计算器250计算在相邻两个瞬变点之间的时间间隔。改变点间隔计算器250将计算得到的瞬变点间隔输出到特征数据库140和特征检验器150。具体地，如果瞬变点时间从瞬变点判断器240中被输出，那么改变点间隔计算器250计算该时间和紧接在该时间之前被输出的时间之间的差，从而计算相邻两个瞬变点之间的时间间隔。作为相邻两个瞬变点之间的间隔，在这些瞬变点之间的区间中所包括的帧数目可以被计算，并且经计算的帧数目可以用作瞬变点的间隔。
图5是示意性示出根据本发明实施例的瞬变点间隔列表的示图。一个或多个瞬变点间隔列表被存储在特征数据库140中。例如，瞬变点间隔列表800、805和806被存储在特征数据库140中。可以通过顺序存储从特征提取器200输出的改变点间隔来创建在特征数据库140中存储的瞬变点间隔列表，或者可替代地，可以通过顺序存储由另一信息处理装置所提取的改变点间隔来创建在特征数据库140中存储的瞬变点间隔列表。
在瞬变点间隔列表800中，以时序方式记录瞬变点间隔803。这些间隔与用于识别相应运动图像的内容ID相关联。内容ID可用于检索在运动图像数据库中存储的运动图像，该运动图像数据库被设置在内容检索装置100的内部或外部。例如，“#123”用作对应于瞬变点间隔列表800的内容ID。此外，在图5中，节点ID 802用作从相应运动图像中所提取的瞬变点间隔的标识号。
瞬变点间隔803指示作为时间从相应运动图像中提取的瞬变点间隔，并且以时序的方式被记录。
在利用其中因此存储了一个或多个瞬变点间隔列表的特征数据库140来针对被输入到运动图像输入部分110的运动图像进行匹配检索时，在特征数据库140中存储的瞬变点间隔列表被顺序地逐个读出，并且如下的检索处理被执行。
图6是示出本发明实施例中通过特征检验器150的检验的具体示例的示图。具体地，图6示出从特征数据库140读出的瞬变点间隔列表800和作为检索对象的、对应于从通过运动图像输入部分110而输入的运动图像中所提取的瞬变点间隔的瞬变点间隔列表820的一个示例。图7是示出根据本发明实施例的瞬变点间隔列表的检验形式的示图。通过参考图6和图7，在下文中将描述如何通过对这些列表的检验来判断对应于瞬变点间隔列表800和820的运动图像是否彼此匹配。
首先，从特征数据库140读出相对于瞬变点间隔列表820而言作为比较对象的瞬变点间隔列表。例如，读出瞬变点间隔列表800。随后，基于节点ID的顺序，依次相互比较瞬变点间隔列表800中的瞬变点间隔803的值和瞬变点间隔列表820中的瞬变点间隔823的值，因此相互匹配的值被检测到。例如，如箭头831所示，对应于瞬变点间隔列表800中的节点ID 802“11”的瞬变点间隔803的值“0:00:05.605”，与对应于瞬变点间隔列表820中的节点ID 822“21”的瞬变点间隔823的值“0:00:05.605”相匹配(841)。在图7中，省略了在图6中示出的对前述部分的瞬变点间隔的各自的值的指示。
如果因此从两个瞬变点间隔列表中检测到彼此匹配的瞬变点间隔值，那么从两个列表的每个中读出对应于在该匹配值的节点ID后的节点ID的瞬变点间隔值。例如，读出对应于瞬变点间隔列表800中的节点ID 802“12”的瞬变点间隔803的值“0:00:03.603”和对应于瞬变点间隔列表820中的节点ID 822“22”的瞬变点间隔823的值“0:00:03.570”。随后，判断这些读出的两个值是否彼此匹配(842)。如果这些值彼此匹配，那么从两个列表的每个中读出对应于该匹配值的节点ID后的节点ID的瞬变点间隔值，并且判断这些读出值是否彼此匹配。
另一方面，如图6和图7所示，如果所读出的两个值彼此不匹配(842)，那么从如下的瞬变点间隔列表中，即从中读出了作为比较对象的这两个值的较小值的瞬变点间隔列表，读出对应于该较小值的节点ID后的节点ID的瞬变点间隔值，以使其与作为比较对象的较小值相加。例如，将瞬变点间隔803的值“0:00:03.603”与瞬变点间隔823的值“0:00:03.570”进行比较。瞬变点间隔823的值“0:00:03.570”较小。因此，对应于瞬变点间隔列表820中的节点ID 822“23”的瞬变点间隔823的值“0:00:01.634”被读出以被相加到瞬变点间隔823的值“0:00:03.570”(843)。
随后，判断由加法而产生的值是否与未应用加法的值相匹配(844)。如果这些值彼此匹配，那么从两个列表的每个中读出对应于该匹配值的节点ID后的节点ID的瞬变点间隔值，并且判断这些读出值是否彼此匹配。以这样的方式，从第一个匹配值起，预定范围内的值被顺序相加，并且判断两个瞬变点间隔列表的值是否彼此匹配。作为预定范围，例如，可以采用三个节点ID的范围。例如，在从彼此耦合的第一个匹配值(如图6的箭头831所示)起的三个节点ID范围832内，执行了加法处理(843、845、847)并且执行了比较处理(842、844、846、848)。因此，在三个节点ID的范围832内，在由箭头833所示的位置处，作为比较对象的两个值彼此匹配(848)。
如果两个瞬变点间隔列表的值以这种方式在从第一个匹配值起的预定范围内彼此匹配，那么从这些匹配值起的预定范围内的值被类似地顺序相加，并且判断两个瞬变点间隔列表的值是否彼此匹配。作为该预定范围，例如，可以与第一范围类似地采用对应于三个节点ID的范围，或者可替代地，可以采用不同的值。
例如，在从彼此耦合的匹配值(如图6的箭头833所示)起的对应于瞬变点间隔列表800中的三个节点ID的范围835内以及对应于瞬变点间隔列表820中的三个节点ID的范围834内，执行了加法处理(850、852)并且执行了比较处理(849、851、853)。因此，在三个节点ID的范围834和835中，在由箭头836所示的位置处，作为比较对象的两个值彼此匹配(853)。
如果基于第一匹配值或第二或后续匹配值而读出的两个值的至少一个在该至少一个值经过加法处理之前，与另一比较对象值相匹配，那么基于这些匹配值来执行下一比较处理而无需针对该至少一个值进行加法处理。如果在预定范围内加法结果值彼此不匹配，那么对两个列表的值的匹配检测被再次重复。
如上所述，根据本发明实施例的内容检索装置100检验运动图像内容的改变点间隔，从而判断是否发现运动图像内容的匹配。在这样的检验中，在改变点之间的相邻区间的改变点间隔被相加。这使得即使在对改变点的检测不充分时也能够进行合理的判断。通常，很难在比较具有不同比特率的运动图像内容时保持高检索准确度。然而，本发明的实施例通过将改变点间隔用作运动图像内容的特征，能够以高准确度检索具有不同比特率或图像尺寸的运动图像内容。
接下来，在下文中将参考示图来描述根据本发明实施例的特征数据库的配置。
图8是示出根据本发明实施例的特征数据库及其外围设备的配置示例的示图。在图8中，注册运动图像特征提取器310和输入运动图像特征提取器330对应于图1的特征提取器200。特征数据库320对应于图1的特征数据库140。特征检验器340对应于图1的特征检验器150。
注册运动图像特征提取器310从特征数据库320中作为特征注册目标的运动图像内容(在下文中，这样的运动图像内容将被称作注册运动图像)中，提取作为注册运动图像的特征的改变点间隔。输入运动图像特征提取器330从作为检索对象输入的运动图像内容(在下文中，这样的运动图像内容将被称作输入运动图像)中，提取作为输入运动图像的特征的改变点间隔。虽然两个提取器在作为特征提取对象的运动图像内容方面彼此不同，但是在基本配置方面是相同的：它们每个都具有与通过图4所描述的特征提取器200的配置相同的配置。
特征数据库320具有作为其存储器的DC字典600和CD字典700。特征数据库320还包括用于在DC字典600中对注册运动图像进行注册的DC字典注册块321，用于在CD字典700中对注册运动图像进行注册的CD字典注册块322，用于参照DC字典600的DC字典参照器(consulter)323，和用于参照CD字典700的CD字典参照器324。DC字典600是用于通过将改变点间隔(持续时间)用作参照关键字(consultation key)来读出内容ID的字典(持续时间到内容ID的字典)。CD字典700是用于通过将内容ID用作参照关键字来读出改变点间隔的字典(内容ID到持续时间的字典)。
当注册运动图像的改变点间隔通过注册运动图像特征提取器310被提取时，注册运动图像的改变点间隔的改变点间隔列表以及内容ID经由信号线319被供应给DC字典注册块321和CD字典注册块322。随后，从DC字典注册块321到DC字典600的注册和从CD字典注册块322到CD字典700的注册被执行。
当输入运动图像的改变点间隔通过输入运动图像特征提取器330被提取时，输入运动图像的改变点间隔的改变点间隔列表以及内容ID经由信号线339被供应给DC字典参照器323和特征检验器340。随后，DC字典参照器323通过将输入运动图像的改变点间隔用作参照关键字来参照DC字典600，并且将所读出的注册运动图像的内容ID经由信号线328输出到CD字典参照器324。CD字典参照器324通过将从DC字典参照器323供应的注册运动图像的内容ID用作参照关键字来参照CD字典700，并且将所读出的注册运动图像的改变点间隔列表供应给特征检验器340。
特征检验器340相对于从CD字典参照器324供应的改变点间隔列表，来检验从输入运动图像特征提取器330供应的改变点间隔列表，从而判断输入运动图像是否与注册运动图像相匹配。已经参考图6和图7在上文中描述了该检验的细节。
图9是示出本发明实施例中的关于特征数据库320的操作形式的示图。如图9A所示，在注册时，注册运动图像的改变点间隔列表被注册运动图像特征提取器310提取并且被注册在特征数据库320中。由于该操作，注册运动图像的改变点间隔列表与注册运动图像的内容ID一起被存储在特征数据库320中。
如图9B所示，在检验时，输入运动图像的改变点间隔列表被输入运动图像特征提取器330提取，并且相对于从特征数据库320中读出的注册运动图像的改变点间隔列表被检验。
图9A和图9B的操作基于如下的假设，即改变点间隔列表被静态地注册在特征数据库320中。然而，如图9C所示，当输入运动图像的改变点间隔列表在检验时被提取时，该改变点间隔列表可以被动态地注册到特征数据库320中。这使得输入运动图像的改变点间隔列表能够与输入运动图像的内容ID一起被顺序存储。
图10是从概念上示出本发明实施例中的DC字典600和CD字典700之间关系的示图。
以这样的方式来参照DC字典600，即将在输入运动图像的改变点间隔列表中所包括的改变点间隔用作参照关键字的方式，并且DC字典600输出注册运动图像的内容ID。在该示例中，将在输入运动图像的改变点间隔列表中所包括的改变点间隔“30”用作关键字，因此内容ID“#20”被输出。
以这样的的方式来参照CD字典700，即将从DC字典600输出的内容ID用作参照关键字的方式，并且CD字典700输出注册运动图像的改变点间隔列表。在该示例中，将从DC字典600输出的内容ID“#20”用作关键字，因此对应于该内容ID的注册运动图像的改变点间隔列表被输出。
在CD字典700中，针对每个注册运动图像，改变点间隔列表被存储以使得与内容ID相关联。因此，能够通过参照在CD字典700中存储的所有数据来找到目标注册运动图像的改变点间隔列表。然而，在本发明的实施例中，应该从注册运动图像的改变点间隔列表中，检索与在输入运动图像的改变点间隔列表中所包括的改变点间隔相匹配的改变点间隔。因此，参照在CD字典700中存储的所有数据是低效率的。因此，在本发明的实施例中，DC字典600与改变点间隔相关联地输出作为关键字的包括这些改变点间隔的注册运动图像的内容ID，从而使应该从CD字典700中被读出的改变点间隔列表的范围变窄。
应理解，在图10中示出的DC字典600和CD字典700是概念上的实体。在下文中将描述其实现示例。
图11是示出本发明实施例中DC字典600的一个配置示例的示图。DC字典600具有分层结构，该分层结构具有在头部610之后的第一层(620、630)和第二层(640、650)。第一和第二层的每个由索引部分和单元部分构成。第一层的索引部分将被称作L1索引620，并且第一层的单元部分将被称作L1单元630。第二层的索引部分将被称作L2索引640，并且第二层的单元部分将被称作L2单元650。
头部610包括间隔起始(beginning)值611、间隔总数612、L1开始地址613和L2开始地址614。间隔起始值611是存储在DC字典600中所存储的改变点间隔的起始值的字段。间隔总数612是存储在DC字典600中所存储的改变点间隔的总数的字段。L1开始地址613是存储L1索引620的开始地址的字段。L2开始地址614是存储L2索引640的开始地址的字段。
L1索引620具有作为L1单元630的索引的功能。在L1索引620的每个记录中，存储了间隔开始(start)值621、间隔宽度622、数据数目623和偏移量624。间隔开始值621是存储相应记录的改变点间隔的开始值的字段。间隔宽度622是存储应该被包括在相应记录中的改变点间隔的宽度(数目)的字段。数据数目623是存储在L1单元630的相应记录中所存储的数据数目(区间信息)的字段。偏移量624是存储指向L1单元630的相应记录的指针的字段。
区间信息631基于逐个记录被存储在L1单元630中。在本发明的实施例中，区间信息631包括改变点间隔632和内容ID 633的字段。具体地，作为与改变点之间的区间有关的信息，改变点之间的区间的改变点间隔和包括改变点之间的区间的运动图像内容的内容ID被存储。多组区间信息631可以被存储在连续地址处的一个记录中。期望每个记录的区间信息631组的最大可存储数目等于所有记录共用的固定大小。在这种情况下，即使偏移量624没有被存储在每个记录中，也能够根据L1单元630的开始地址来计算各记录的地址。
L2索引640具有作为L2单元650的索引的功能。在L2索引640的每个记录中，存储了改变点间隔641、数据数目643和偏移量644。改变点间隔641是存储相应记录的改变点间隔的字段。数据数目643是存储在L2单元650的相应记录中所存储的数据数目(内容ID)的字段。偏移量644是存储指向L2单元650的相应记录的指针的字段。
内容ID 651基于逐个记录被存储在L2单元650中。多个内容ID 651可以被存储在连续地址处的一个记录中。期望每个记录的内容ID 651的最大可存储数目等于所有记录共用的固定大小。在这种情况下，即使偏移量644没有被存储在每个记录中，也能够根据L2单元650的开始地址来计算各记录的地址。
此外，在L2单元650的每个记录中，可以存储用于扩展记录的下一偏移量652。不指示具体地址的值(空指针)被设定在下一偏移量652中，直到在相应记录中存储的内容ID 651的数目超过每个记录的内容ID651的最大可存储数目。如果新的记录被扩展，那么指向所扩展的记录的指针被保持在下一偏移量652中。例如，在图11中，地址“0x40000”被保持在改变点间隔641为“N+1”的记录的下一偏移量652中，从而记录扩展被指示。
假设存储空间的大小为32比特，那么DC字典600的各字段的大小可以被标准化为4个字节。
如果帧被用作改变点间隔的单位，那么改变点间隔的值可以采用大于零的所有整数的任何一个，并且因此对于改变点间隔而言没有上限。此外，对于内容ID而言也没有上限。因此，在某些情况下，不能将所有的DC字典600存储在具有有限大小的一个存储器中。为了解决这个问题，在本发明的实施例中，DC字典600具有第一层和第二层的分层结构。由于该结构，所以本发明的实施例可以覆盖即使是处理器和存储器的结构具有分级存储器的情况。如果如下所述的预定条件被满足，那么在第一层中存储的数据被传输到第二层。
虽然最初改变点间隔没有上限，但是为了实现DC字典600而设定其上限是有效的。例如，可以基于改变点间隔的过去分布来设定等于大约1分钟的上限，并且针对“改变点间隔长于该上限”的情况，可以针对改变点间隔超过该上限的情况来设定记录。可替代地，如果改变点间隔超过现有上限，那么可以将该改变点间隔不注册在第一层中而是直接注册在第二层中。如果改变点间隔超过现有上限的可能性较低，那么即使当执行通过字节传输的第二层中的注册时，也不会对性能施加太大影响。
在该DC字典600中，第二层的大小通常大于第一层的大小。在第二层中，针对所有的改变点间隔(参见，改变点间隔641)个别地设置记录。相反，在第一层中，一个记录被指定给多个改变点间隔(参见，间隔宽度622)。因此，第一层中的记录数目可以被更大程度的减少。例如，在图11中，在第一层中每个记录存储N个改变点间隔，并且各个改变点间隔被存储在改变点间隔632中。
虽然图11的示例具有第一层和第二层的分层结构，但是层数目并没有被具体地限定。具体地，因为第二层中的L2单元650的大小也是有限的，所以如果在L2单元650中存储的数据量超过允许量，那么数据可以从L2单元650被传输到另一存储器。
图12是示出本发明实施例中CD字典700的一个配置示例的示图。该CD字典700包括头部710、索引720和单元730。
头部710包括内容ID起始值711、内容ID总数712和索引开始地址713。内容ID起始值711是存储在CD字典700中所存储的内容ID的起始值的字段。内容ID总数712是存储在CD字典700中所存储的内容ID的总数的字段。索引开始地址713是存储索引720的开始地址的字段。
索引720具有作为单元730的索引的功能。在索引720的每个记录中，内容ID 721、间隔数目722和偏移量723被存储。内容ID 721是存储相应记录的内容ID的字段。间隔数目722是存储在单元730的相应记录中所存储的改变点间隔的数目的字段。偏移量723是存储指向单元730的相应记录的指针的字段。
改变点间隔731基于逐个记录被存储在单元730中。多个改变点间隔731可以按时序存储在连续地址处的一个记录中。每个记录的改变点间隔731的最大可存储数目可以根据记录的不同而不同。然而，整个单元730应该物理地存储在连续地址处。
对于该CD字典700，没有设想采用类似于DC字典600的分层结构的、由具有不同记录指定方式的层形成的分层结构。这是因为改变点间隔列表具有确定的长度量，并且能够对其进行总的访问。然而，因为单元730本身的大小是有限的，所以如果在单元730中存储的数据量超过允许的量，那么数据可以从单元730被传输到另一存储器。
假设存储空间的大小是32比特，那CD字典700的各个字段的大小可以被标准化为4个字节。
图13是示出本发明实施例中改变点间隔列表的示例的示图。在该示例中，以时序的方式示出对应于与内容ID为“#20”的运动图像内容有关的改变点间隔列表的起始四个节点的改变点间隔。从1开始以递增的顺序将节点ID给予各节点。
在第一个节点(节点ID：1)中，“100”被存储为改变点间隔。在第二个节点(节点ID：2)中，“30”被存储为改变点间隔。在第三个节点(节点ID：3)中，“50”被存储为改变点间隔。在第四个节点(节点ID：4)中，“120”被存储为改变点间隔。
在下文中，将描述该改变点间隔列表被注册到DC字典600和CD字典700中的示例。
图14是示出根据本发明实施例的图13的改变点间隔列表被注册到DC字典600的第一层的示例的示图。在该示例中，所有的间隔宽度622被设定为50。在范围1到50内的改变点间隔被存储在第一记录中。在范围51到100内的改变点间隔被存储在第二记录中。在范围101到150内的改变点间隔被存储在第三记录中。在范围151到200内的改变点间隔被存储在第四记录中。
在图13的示例中，内容ID为“#20”的运动图像内容具有“100”、“30”、“50”和“120”的改变点间隔。因此，在L1单元630的第一记录中，“30”和“50”被存储为改变点间隔632，并且“#20”被存储为内容ID633以与每个改变点间隔632相关联。
在L1单元630的第二记录中，“100”被存储为改变点间隔632，并且与该“100”相关联的“#20”被存储为内容ID 633。在L1单元630的第三记录中，“120”被存储为改变点间隔632，并且与该“120”相关联的“#20”被存储为内容ID 633。
与该存储相关联的，在L1单元630的相应记录中所存储的数据数目(区间信息)被存储在数据数目623中。具体地，“2”、“1”和“1”分别被存储在第一、第二和第三记录的数据数目623中。
图15是示出根据本发明实施例的图13的改变点间隔列表被注册到DC字典600的第二层中的示例的示图。如下文中所述，如图14所示的被注册到DC字典600的第一层中的数据被传输到第二层。
在DC字典600的第二层中，记录被指定给每个改变点间隔。具体地，在改变点间隔641中，存储了从1开始每次递增1的值。
在图13的示例中，内容ID为“#20”的运动图像内容具有“100”、“30”、“50”和“120”的改变点间隔。因此，“#20”被分别存储在其改变点间隔641指示“30”、“50”、“100”和“120”的记录的内容ID651中。
图16是示出根据本发明实施例的图13的改变点间隔列表被注册到CD字典700中的示例的示图。在图13的示例中，内容ID为“#20”的运动图像内容具有“100”、“30”、“50”和“120”的改变点间隔。因此，“100”、“30”、“50”和“120”被存储在其内容ID 721指示“20”的记录的改变点间隔731中。此外，“4”被存储为其内容ID 721指示“20”的记录的间隔数目722。
接下来，在下文中将参考示图来描述本发明实施例中的层间传输的处理。
图17是示出根据本发明实施例的与DC字典600中的传输有关的配置示例的示图。在图17中示出的DC字典600包括第一层存储器601、第二层存储器602、第三层存储器603、注册状态管理器691和692、分类器693、传输部分694和696以及传输控制器695和697。
第一层存储器601存储通过图11而描述的第一层(620，630)。第二层存储器602存储通过图11而描述的第二层(640，650)。如果第二层所存储的数据量超过其允许量，那么作为第二层被存储的数据的一部分或全部被作为第三层存储在第三层存储器603中。如随后将要描述的，各种形式将可用作第一层存储器601、第二层存储器602和第三层存储器603的实现示例。例如，在多处理器的环境下，将设想如下的形式：通过局部存储器来实现第一层存储器601，通过共用的主存储器来实现第二层存储器602，并且通过大容量硬盘来实现第三层存储器603。
注册状态管理器691管理第一层的注册状态。注册状态管理器692管理第二层的注册状态。作为注册状态，例如在第一层或第二层中注册的数据(区间信息631或内容ID 651)的数目被计数。
分类器693对记录中的被存储在第一层存储器601中的区间信息631进行分类。在L1单元630中，区间信息631被随机地累积。另一方面，在第二层中，内容ID基于改变点间隔的顺序分布。因此，针对从第一层到第二层的传输，应该执行分类。因此，针对传输，分类器693基于改变点间隔的顺序执行分类。虽然在该示例中在传输之前执行分类，但是可以在传输之后执行分类。在第二层中，内容ID按改变点间隔的顺序存储。因此，无需针对从第二层到第三层的传输来执行分类。
传输部分694执行从第一层到第二层的传输。传输部分696执行从第二层到第三层的传输。
传输控制器695控制从第一层到第二层的传输。传输控制器697控制从第二层到第三层的传输。这些传输控制器695和697分别基于由注册状态管理器691和692所管理的注册状态，来控制传输部分694和696的传输。至于传输定时，例如，可以当在一个记录中所存储的数据量超过允许量时启动传输处理。可替代地，可以在每次预定数目的数据被注册到作为一个整体的所有记录中时，启动传输处理。在前一种情况下，期望记录大小(区间信息631和内容ID 651的最大可存储量)被预先调节，从而可以针对所有记录以统计上的相同概率来启动传输处理。
L1单元630和L2单元650中的数据被物理地存储在连续地址处。因此，传输部分694和696可以基于逐个记录执行突发传输(bursttransfer)，这使得能够进行高速传输处理。由于该突发传输，可以对应于字节对准来确定L1单元630的记录大小(区间信息631的最大可存储量)。例如，当128—字节对准是必需的时，如果改变点间隔632和内容ID 633的每个的大小是4个字节，那么通过如下的等式来表示L1单元630的记录大小U。
U＝128×i/(4+4)
其中i表示大于零的整数。
图18是示出本发明实施例中的通过分类器693的分类的一个示例的示图。在该示例中，公知的分布计数分类(distribution counting sort)被用作分类方法。在该方法中，虽然确定的工作区域是必需的，但是对数据的值量级的比较不是必需的，因此能够进行高速分类。此外，该方法可以处理即使是包括多个相同关键字的数据。然而，分类对象数据的值的范围需要预先确定。可以通过如上所述的对改变点间隔设定上限来满足该需要。
图18A示出作为分类对象的L1单元630中的区间信息631的数据阵列。从零开始以递增的顺序将索引值给予各个数据。每个数据具有改变点间隔和内容ID。在本发明的实施例中，以改变点间隔被用作分类关键字的方式来执行分类。
图18B示出用于存储用作关键字的改变点间隔的出现次数的数据阵列。在该示例中，“1”被存储为改变点间隔“1”的出现次数，“2”被存储为改变点间隔“3”的出现次数，“1”被存储为改变点间隔“4”的出现次数，并且“1”被存储为改变点间隔“5”的出现次数。出现次数被表示为X。
图18C示出用于存储作为关键字的改变点间隔的出现次数的累积频率的数据阵列。在该示例中，出现次数X的累积频率沿着改变点间隔递增的顺序被计数。累积频率被表示为Y。
图18D示出在分类后获得的数据阵列。在该分类方法中，作为结果得到的数据阵列的数据按作为关键字的改变点间隔递增的顺序排列。在该结果数据阵列中的索引值取决于与各自的改变点间隔相对应的出现次数X和累积频率Y。具体地，当X为1时，每个改变点间隔被给予等于该改变点间隔的“Y-X”的一个索引值，或者当X大于1时，被给予从该改变点间隔的“Y-X”到“Y-1”的多个索引值。在图18D的示例的情况下，其中有两个数据其改变点间隔指示“3”，改变点间隔“3”被给予“1”和“2”作为其索引值，因为改变点间隔“3”的次数X和累积频率Y分别是“2”和“3”。
以这种方式，通过将改变点间隔用作分类关键字，针对传输对L1单元630中的区间信息631的数据进行了分类。
图19是示出根据本发明实施例的与CD字典700中的传输有关的配置示例的示图。图19的该CD字典700包括第一层存储器701、第二层存储器702、注册状态管理器791、传输部分794和传输控制器795。
第一层存储器701存储作为第一层的通过图12而描述的索引720和单元730。如果索引720和单元730所存储的数据量超过其允许量，那么作为第一层被存储的数据的一部分或全部被作为第二层存储在第二层存储器702中。虽然与DC字典600不同地，CD字典700不具有如下的分层结构，即由具有不同的记录指定方式的层形成的分层结构，但是CD字典700被控制使得如果其所存储的数据量超过其允许量那么其中存储的数据可以被保存到例如大容量的硬盘。
注册状态管理器791管理索引720和单元730的注册状态。作为该注册状态，例如，在单元730中注册的改变点间隔731的数目被计数。
传输部分794执行从第一层(720，730)到第二层的传输。传输控制器795控制从第一层到第二层的传输。具体地，基于由注册状态管理器791管理的注册状态，传输控制器795通过传输部分794来控制传输，因此如果在一个记录中所存储的数据量超过允许量，那么可以启动传输。通常，在CD字典700的每个记录中存储相当大数目的改变点间隔731。因此，传输部分794可以基于逐个记录来执行突发传输，这使得能够进行高速传输处理。
图20是示出本发明实施例中的DC字典600和CD字典700的配置示例的示图。
图20A示出当处理装置中存储器400的容量足够大时的配置示例。在这种情况下，可以仅通过处理装置中的存储器400来完成操作。因此，DC字典600和CD字典700并没有被置于硬盘490中而是仅被置于存储器400中。图20B示出当处理装置中存储器400的容量较小时的配置示例。在这种情况下，不能仅通过处理装置中的存储器400来完成操作。因此，除了将DC字典600和CD字典700置于存储器400中之外，如果存储器400所存储的数据量超过其允许量那么还将单元(630，650，730)置于硬盘490中。
图20C和图20D示出当采用了两层的存储器结构时的配置示例。在这种情况下，DC字典600的第一层(620，630)被置于L1存储器410中，并且第二层(640，650)被置于L2存储器420中。如果L2存储器420的容量足够大，那么如图20C所示地配备DC字典600和CD字典700，并且没有实体被置于硬盘490中。另一方面，如果L2存储器420的容量较小，那么除了将DC字典600和CD字典700置于L1存储器410和L2存储器420中之外，在L2存储器420所存储的数据量超过其允许量的情况下还将L2单元650或单元730置于硬盘490中。
以这种方式，本发明的实施例可以灵活地应用于具有不同的存储器分层结构的各种平台。
图21是示出具有两层存储结构的多处理器系统的配置示例的示图。该多处理器系统包括多个要素处理器510、每个都对应于各自的要素处理器510的局部存储器520、管理处理器530、主存储器540、硬盘550和将管理处理器530连接到局部存储器520的总线590。
多个要素处理器510形成多处理器。这些要素处理器510可以与其他要素处理器510同步并行地执行处理。对应于各自的要素处理器510来设置每个局部存储器520，并且在局部存储器520中的数据被用于相应要素处理器510的处理。
管理处理器530管理整个多处理器系统，并且控制在局部存储器520和主存储器540之间经由总线590的数据传输。主存储器540被管理处理器530使用，并且被所有的要素处理器510共享。
硬盘550是大容量的存储器，它被用作多处理器系统的辅助存储器并提供文件系统。
该多处理器系统具有两层存储结构。局部存储器520相当于图20的L1存储器410。主存储器540相当于图20的L2存储器420。硬盘550相当于图20的硬盘490。本发明的实施例还可应用于局部存储器520的容量较小(例如256K字节)并且主存储器540的容量相对较大(例如1G字节或更大)的系统中。
在下文中将描述如下事实，即在这样的多处理器系统中可以并行执行运动图像内容的注册和检验的事实。
图22是示出在多处理器系统中，根据本发明实施例的对运动图像内容进行注册的处理示例的示图。在该示例中，N(N表示大于1的整数)个要素处理器510被指定给注册运动图像特征提取器310，并且来自这些处理器的输出被供应给DC字典注册块321和CD字典注册块322。此外，N个要素处理器510被指定给DC字典注册块321和CD字典注册块322的每个。
在注册运动图像特征提取器310中，并行地针对N个注册运动图像来执行提取改变点间隔列表的处理。DC字典注册块321将所提取的N个改变点间隔列表注册到DC字典600中。在DC字典600中的该注册中，在N个要素处理器510之间执行排他控制以保持注册一致性。类似地，CD字典注册块322将所提取的N个改变点间隔列表注册到CD字典700中。在CD字典700的该注册中，在N个要素处理器510之间执行排他控制以保持注册一致性。
图23是示出在多处理器系统中，根据本发明实施例的对运动图像内容进行检验的处理示例的示图。在该示例中，N个要素处理器510被指定给输入运动图像特征提取器330和DC字典参照器323的每个。此外，M(M表示大于1的整数)个要素处理器510被指定给CD字典参照器324和特征检验器340的每个。
在输入运动图像特征提取器330中，并行地针对N个输入运动图像来执行提取改变点间隔列表的处理。DC字典参照器323通过将在所提取的N个改变点间隔列表中包括的改变点间隔用作参照关键字来参照DC字典600。M个内容ID从DC字典600中被读出。CD字典参照器324通过将所读出的M个内容ID用作参照关键字来参照CD字典700。M个改变点间隔列表从CD字典700中被读出。特征检验器340相对于所读出的M个改变点间隔列表来检验所输入的N个改变点间隔列表。
根据针对一个输入运动图像的处理，需要顺序地执行如下的四级处理：特征提取、DC字典参照、CD字典参照和特征检验。然而，即使当输入多个运动图像时，也能够通过N个要素处理器510来针对这些输入运动图像执行并行处理，因为在这些输入运动图像之间没有数据相关关系。此外，在针对某一输入运动图像的特征提取之后、针对该输入运动图像执行DC字典参照期间，可以开始针对另一输入运动图像的特征提取。这使得能够以流水线的方式来执行重叠处理。
接下来，在下文中将参考示图来描述根据本发明实施例的内容检索装置的操作。
图24是示出根据本发明实施例的特征注册处理过程的一个示例的流程图。
一旦输入作为注册对象的运动图像内容(注册运动图像)，就由注册运动图像特征提取器310来提取特征(改变点间隔列表)(步骤S911)。所提取的改变点间隔列表通过DC字典注册块321被注册到DC字典600的第一层中(步骤S912)。如果此时L1单元630的相应记录的数据量超过区间信息631的最大允许条目数(number of entries)(步骤S913)，那么分类器693通过将改变点间隔632用作分类关键字来针对该记录执行分类(步骤S914)，然后通过传输部分694执行到第二层的传输(步骤S915)。
如果到第二层的传输(步骤S915)导致L2单元650的相应记录的数据量超过内容ID 651的最大允许条目数(步骤S916)，那么新的记录被添加到L2单元650(步骤S917)。如果该记录添加导致整个L2单元650的数据量超过其允许量(步骤S918)，那么传输部分696将作为第二层被存储的数据的一部分或全部传输到第三层(例如硬盘)(步骤S919)。
此外，通过CD字典注册块322将由注册运动图像特征提取器310所提取的改变点间隔列表注册到CD字典700中(步骤S921)。如果此时整个单元730的数据量超过其允许量(步骤S922)，那么传输部分794将在单元730中存储的数据的一部分或者全部传输到第二层(例如硬盘)(步骤S923)。
图25是示出根据本发明实施例的特征检验处理过程的一个示例的流程图。
一旦输入作为检索对象的运动图像内容(输入运动图像)，就由输入运动图像特征提取器330来提取特征(改变点间隔列表)(步骤S931)。DC字典参照器323通过将在所提取的改变点间隔列表中包括的改变点间隔用作参照关键字来参照DC字典600(步骤S932)。由于该步骤，所以内容ID被读出。
随后，CD字典参照器324通过将所读出的内容ID用作参照关键字来参照CD字典700(步骤S933)。由于该步骤，注册运动图像的改变点间隔列表被读出。
随后，特征检验器340相对于注册运动图像的改变点间隔列表来检验输入运动图像的改变点间隔列表，从而判断两个运动图像是否彼此匹配(步骤S934)。
如上所述，在本发明的实施例中，改变点间隔被用作运动图像内容的特征，这使得能够减少应该被提取的特征量。此外，特征数据库320被设置为具有通过将改变点间隔用作参照关键字来读出内容ID的DC字典600，以及通过将内容ID用作参照关键字来读出改变点间隔列表的CD字典700。该特征使得能够有效获取如下的注册运动图像的改变点间隔列表，所述注册运动图像具有与输入运动图像的改变点间隔列表中所包括的改变点间隔相同的改变点间隔。因此，通过相对于注册运动图像的改变点间隔列表来检验输入运动图像的改变点间隔列表，可以对两个运动图像的匹配作出判断。
在本发明的实施例中，与改变点间隔632相关联的内容ID 633被存储在DC字典600的L1单元630中。此外，改变点间隔列表中的节点ID也可以被如下地存储在其中。
图26是示出本发明实施例中的DC字典600的L1单元630的修改示例的示图。L1单元630的该修改示例与图11的L1单元630的区别在于，改变点间隔列表的节点ID 634被进一步存储为区间信息631。
由于提供如在该修改示例中这样的节点ID 634，所以在对CD字典700进行参照时，能够仅读出在必要节点ID附近的改变点间隔，而无需读出相应内容ID的全部改变点间隔列表(改变点间隔731)。因此，能够对CD字典700进行高速访问。此外，针对从第一层到第二层的传输，可以执行利用节点ID 634的分类，这使得能够进行高速传输。
可以将本发明实施例的上述处理过程理解为包括该过程的方法。
本领域中的技术人员应理解，根据设计需求和其他因素，可以想到各种修改、组合、子组合和变更，只要它们落入随附权利要求书或其等价物的范围内。
本发明包含与2007年8月20日递交到日本特许厅的日本专利申请JP2007-213221相关的主题，该日本专利申请的全部内容通过引用被结合于此。

Claims (11)

1.一种数据处理装置，包括：
第一存储装置，用于与在视频数据中所包括的特征相关联地存储用以识别所述视频数据的识别信息；
第二存储装置，用于与用以识别所述视频数据的所述识别信息相关联地存储在所述视频数据中所包括的所述特征；
第一读取装置，用于基于在输入视频数据中所包括的特征，读出在所述第一存储装置中所存储的识别信息；
第二读取装置，用于基于由所述第一读取装置所读出的识别信息，读出在所述第二存储装置中所存储的特征；以及
检验装置，用于将在所述输入视频数据中所包括的特征与由所述第二读取装置所读出的特征进行比较，以判断所述输入视频数据与特征被存储在所述第二存储装置中的视频数据是否匹配。
2.如权利要求1所述的数据处理装置，其中：
所述特征包括指示改变点之间的间隔的改变点间隔。
3.如权利要求2所述的数据处理装置，其中所述第一存储装置包括：
第一层存储装置，用于以所述识别信息的段为单位将所述识别信息段存储在连续的地址上，其中每段所述识别信息与预定范围内的所述改变点间隔之一相关联；以及
第二层存储装置，用于以所述识别信息的段为单位将所述视频数据的所述识别信息段存储在连续的地址上，其中每段所述识别信息与一个改变点间隔相关联。
4.如权利要求3所述的数据处理装置，还包括：
分类装置，用于在存储在所述第一层存储装置中的所述识别信息的段数超过允许数目的情况下，根据所述预定范围内的所述改变点间隔来对所述识别信息段进行分类；以及
传输装置，用于将通过所述分类装置进行了分类的所述识别信息段与所述改变点间隔一起传输到所述第二层存储装置。
5.如权利要求3所述的数据处理装置，其中所述第一层存储装置包括：
单元存储装置，用于以预定数目的所述识别信息段为单位将所述视频数据的所述识别信息段存储在连续的地址上；以及
索引存储装置，用于以所述识别信息的段为单位来存储所述识别信息段在所述单元存储装置中的地址，其中每段所述识别信息与所述预定范围内的所述改变点间隔之一相关联。
6.如权利要求3所述的数据处理装置，其中所述第二层存储装置包括：
单元存储装置，用于以预定数目的所述识别信息段为单位将所述识别信息段存储在连续的地址上；以及
索引存储装置，用于存储所述识别信息段在所述单元存储装置中的地址。
7.如权利要求2所述的数据处理装置，其中：
所述第二存储装置以时序的顺序将所述改变点间隔存储在连续的地址上。
8.如权利要求7所述的数据处理装置，其中所述第二存储装置包括：
单元存储装置，用于以时序的顺序将所述改变点间隔存储在连续的地址上；以及
索引存储装置，用于存储所述改变点间隔在所述单元存储装置中的地址。
9.如权利要求2所述的数据处理装置，还包括：
第一注册装置，用于以使得所述识别信息与在作为注册对象的视频数据中所包括的每个改变点间隔相关联的方式，将作为所述注册对象的所述视频数据的所述识别信息注册在所述第一存储装置中；以及
第二注册装置，用于以使得所述改变点间隔与作为所述注册对象的所述视频数据的所述识别信息相关联的方式，以时序的顺序将在作为所述注册对象的所述视频数据中所包括的所述改变点间隔注册在所述第二存储装置中。
10.一种数据处理方法，包括以下步骤：
与在视频数据中所包括的特征相关联地存储用以识别所述视频数据的识别信息；
与用以识别所述视频数据的所述识别信息相关联地存储在所述视频数据中所包括的特征；
基于在输入视频数据中所包括的特征，读出在所述识别信息存储步骤中所存储的识别信息；
基于在所述识别信息读取步骤中所读出的识别信息，读出在所述特征存储步骤中所存储的特征；并且
将在所述输入视频数据中所包括的特征与在所述特征读取步骤中所读出的特征进行比较，以判断所述输入视频数据与特征在所述特征存储步骤中被存储的视频数据是否匹配。
11.一种数据处理装置，包括：
第一存储器，其被配置为与在视频数据中所包括的特征相关联地存储用以识别所述视频数据的识别信息；
第二存储器，其被配置为与用以识别所述视频数据的所述识别信息相关联地存储在所述视频数据中所包括的特征；
第一读取器，其被配置为基于在输入视频数据中所包括的特征，读出在所述第一存储器中所存储的识别信息；
第二读取器，其被配置为基于由所述第一读取器所读出的所述识别信息，读出在所述第二存储器中所存储的特征；以及
检验器，其被配置为将在所述输入视频数据中所包括的特征与由所述第二读取器所读出的特征进行比较，以判断所述输入视频数据与特征被存储在所述第二存储器中的视频数据是否匹配。
CN2008102108443A 2007-08-20 2008-08-20 数据处理装置和数据处理方法 Expired - Fee Related CN101373483B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007213221 2007-08-20
JP2007213221A JP4420085B2 (ja) 2007-08-20 2007-08-20 データ処理装置、データ処理方法、プログラムおよび記録媒体
JP2007-213221 2007-08-20

Publications (2)

Publication Number Publication Date
CN101373483A true CN101373483A (zh) 2009-02-25
CN101373483B CN101373483B (zh) 2012-09-05

Family

ID=40381750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102108443A Expired - Fee Related CN101373483B (zh) 2007-08-20 2008-08-20 数据处理装置和数据处理方法

Country Status (4)

Country Link
US (1) US8817104B2 (zh)
JP (1) JP4420085B2 (zh)
KR (1) KR20090019713A (zh)
CN (1) CN101373483B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214195A (zh) * 2010-04-09 2011-10-12 索尼公司 图像处理设备、图像处理方法及程序
CN106528800A (zh) * 2016-11-11 2017-03-22 叶火 一种基于真实场景的影像生成方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122954B2 (en) * 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
JP7013182B2 (ja) * 2017-09-21 2022-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05174072A (ja) 1991-12-20 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 動画像検索処理方法
JP3200784B2 (ja) 1993-07-29 2001-08-20 キヤノン株式会社 動画像検索方法及び装置
US6055025A (en) * 1993-12-21 2000-04-25 Lucent Technologies, Inc. Method and apparatus for detecting abrupt and gradual scene changes in image sequences
WO1997010673A1 (fr) * 1995-09-11 1997-03-20 Matsushita Electric Industrial Co., Ltd. Systeme de collecte de donnees video/audio utilisant une camera video, et son systeme d'edition
JP3244629B2 (ja) * 1996-08-20 2002-01-07 株式会社日立製作所 シーン変化点検出方法
CA2196930C (en) * 1997-02-06 2005-06-21 Nael Hirzalla Video sequence recognition
JP3780623B2 (ja) * 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
JP2001028722A (ja) * 1999-07-13 2001-01-30 Matsushita Electric Ind Co Ltd 動画像管理装置及び動画像管理システム
US6675174B1 (en) * 2000-02-02 2004-01-06 International Business Machines Corp. System and method for measuring similarity between a set of known temporal media segments and a one or more temporal media streams
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
US6689890B2 (en) * 2000-05-04 2004-02-10 University Of South Florida Efficient lactam synthesis
EP1490767B1 (en) * 2001-04-05 2014-06-11 Audible Magic Corporation Copyright detection and protection system and method
CN100367794C (zh) * 2002-04-12 2008-02-06 三菱电机株式会社 元数据编辑装置
JP3844446B2 (ja) 2002-04-19 2006-11-15 日本電信電話株式会社 映像管理方法、装置、映像管理プログラム、および同プログラムを記録した記録媒体
JP4010179B2 (ja) 2002-05-02 2007-11-21 日本電信電話株式会社 データ識別装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2004234613A (ja) * 2002-12-02 2004-08-19 Nec Corp 映像記述システムおよび方法、映像識別システムおよび方法
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
US7376274B2 (en) * 2004-08-31 2008-05-20 Sonic Solutions Method and apparatus for use in video searching
KR100652703B1 (ko) * 2004-12-08 2006-12-01 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법
JP4343120B2 (ja) 2005-01-21 2009-10-14 ソニー株式会社 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体
JP4301193B2 (ja) * 2005-03-31 2009-07-22 ソニー株式会社 画像比較装置及び方法、画像検索装置及び方法、並びにプログラム及び記録媒体
US8553084B2 (en) * 2005-09-12 2013-10-08 3Vr Security, Inc. Specifying search criteria for searching video data
KR100729660B1 (ko) * 2005-12-09 2007-06-18 한국전자통신연구원 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214195A (zh) * 2010-04-09 2011-10-12 索尼公司 图像处理设备、图像处理方法及程序
CN106528800A (zh) * 2016-11-11 2017-03-22 叶火 一种基于真实场景的影像生成方法及装置
CN106528800B (zh) * 2016-11-11 2019-10-08 叶一火 一种基于真实场景的影像生成方法及装置

Also Published As

Publication number Publication date
US20090051771A1 (en) 2009-02-26
KR20090019713A (ko) 2009-02-25
CN101373483B (zh) 2012-09-05
US8817104B2 (en) 2014-08-26
JP4420085B2 (ja) 2010-02-24
JP2009049668A (ja) 2009-03-05

Similar Documents

Publication Publication Date Title
US11556743B2 (en) Learning highlights using event detection
Merler et al. Automatic curation of sports highlights using multimodal excitement features
Zhou et al. Movie genre classification via scene categorization
CN103299324B (zh) 使用潜在子标记来学习用于视频注释的标记
US20180082127A1 (en) Video segmentation techniques
EP2034426A1 (en) Moving image analyzing, method and system
CN104902279B (zh) 一种视频处理方法及装置
CN101373483B (zh) 数据处理装置和数据处理方法
CN110688524A (zh) 视频检索方法、装置、电子设备及存储介质
US20220253679A1 (en) System and Method for Evaluating Defensive Performance using Graph Convolutional Network
TW202201969A (zh) 用於對有害視頻文件進行過濾的裝置及方法
Kapela et al. Real-time event detection in field sport videos
Narasimhan et al. Automatic summarization of cricket video events using genetic algorithm
Kijak et al. Temporal structure analysis of broadcast tennis video using hidden Markov models
Imran et al. Event recognition from photo collections via pagerank
Li et al. A confidence based recognition system for TV commercial extraction
KR100930529B1 (ko) 비디오 식별을 통한 유해 동영상 검열 시스템 및 방법
Mizher et al. Action key frames extraction using l1-norm and accumulative optical flow for compact video shot summarisation
Khan et al. RICAPS: residual inception and cascaded capsule network for broadcast sports video classification
Choroś Fast method of video genre categorization for temporally aggregated broadcast videos
Samaraweera et al. Deep learning for classification of cricket umpire postures
CN113472834A (zh) 一种对象推送方法及设备
JP7429016B2 (ja) 画像処理方法、コンピュータプログラム及び画像処理装置
Yang et al. Misleading Video Detection Using Deep Image Retrieval and Dual-stage Confidence Filtering.
Wilson et al. Event-based sports videos classification using HMM framework

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20150820

EXPY Termination of patent right or utility model