JP4420085B2 - データ処理装置、データ処理方法、プログラムおよび記録媒体 - Google Patents

データ処理装置、データ処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP4420085B2
JP4420085B2 JP2007213221A JP2007213221A JP4420085B2 JP 4420085 B2 JP4420085 B2 JP 4420085B2 JP 2007213221 A JP2007213221 A JP 2007213221A JP 2007213221 A JP2007213221 A JP 2007213221A JP 4420085 B2 JP4420085 B2 JP 4420085B2
Authority
JP
Japan
Prior art keywords
change point
identification information
point interval
moving image
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007213221A
Other languages
English (en)
Other versions
JP2009049668A (ja
Inventor
新次郎 柿田
慶太 白根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007213221A priority Critical patent/JP4420085B2/ja
Priority to US12/177,364 priority patent/US8817104B2/en
Priority to KR1020080080846A priority patent/KR20090019713A/ko
Priority to CN2008102108443A priority patent/CN101373483B/zh
Publication of JP2009049668A publication Critical patent/JP2009049668A/ja
Application granted granted Critical
Publication of JP4420085B2 publication Critical patent/JP4420085B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Description

本発明は、データ処理装置に関し、特に登録された動画コンテンツ（ビデオデータ）の中から入力された動画コンテンツに類似するものを検索するデータ処理装置、その処理方法ならびに当該方法をコンピュータに実行させるプログラム、および、そのプログラムを記録した記録媒体に関する。
近年、インターネット等のネットワーク技術が向上し、各情報を高速で通信することが可能になるとともに、この通信についての信頼性が向上している。また、インターネットに接続されている動画管理サーバに動画をアップロードしておき、インターネットに接続されている複数のパソコン（パーソナルコンピュータ）間で動画を共有して閲覧することが可能な動画共有システムが普及している。
例えば、インターネットを介して自宅のパソコンと動画管理サーバとを接続し、自宅のパソコンから動画管理サーバに動画をアップロードしておき、この動画を他のパソコンから閲覧することが可能なオンラインサービスが普及している。
このような動画共有システムにおいては、アップロードされた動画が、ユーザにより自ら作成されたものである場合があるとともに、他人の著作権を侵害している動画である場合も考えられる。このように他人の著作権を侵害している動画がアップロードされた場合には、その動画をアップロード禁止にする等により他人に閲覧できないようにすることが重要である。そこで、他人の著作権を侵害しているか否かを判断する場合には、動画管理サーバの管理者がアップロードされた各動画を見て、他人の著作権を侵害しているか否かを判断することが広く行われている。しかしながら、アップロードされる動画の数が多い場合には、全ての動画を管理者が見ることは困難である。
そこで、例えば、特定画像との一致判定や類似判定を行い、ＪＰＥＧ２０００方式等に従って圧縮符号化された映像コンテンツを完全に復号することなく、特定画像と一致する画像を検索する画像検索装置が提案されている（例えば、特許文献１参照。）。
特開２００６−２８５６１５号公報（図１）
上述の従来技術では、コードストリームと特定画像との間で、同じ位置のコードブロック同士のゼロビットプレーン数を比較することにより、コードストリームを完全に復号することなく一致判定を行っている。
しかしながら、動画コンテンツは時系列に並ぶ大量のフレームにより構成されるため、動画コンテンツからフレームを単位として特徴量を抽出すると、その特徴量が膨大になってしまい、それらを記憶するための領域が多くなり、また、比較処理に要する演算量が多くなってしまうという問題がある。
本発明はこのような状況に鑑みてなされたものであり、動画コンテンツから抽出する特徴量を削減し、効率良く動画コンテンツを検索することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、ビデオデータを識別する識別情報を、上記ビデオデータに含まれる特徴量に関連付けて記憶する第１記憶手段と、上記ビデオデータに含まれる特徴量を、上記ビデオデータを識別する識別情報に関連付けて記憶する第２記憶手段と、入力されたビデオデータに含まれる特徴量に基づいて、上記第１記憶手段に記憶された識別情報を読み出す第１読出し手段と、上記第１読出し手段により読み出された識別情報に基づいて、上記第２記憶手段に記憶された特徴量を読み出す第２読出し手段と、上記入力されたビデオデータに含まれる特徴量と上記第２読出し手段により読み出された特徴量とを比較して、上記ビデオデータの識別情報を照合する照合手段とを備えるデータ処理装置ならびにそのデータ処理方法、当該方法をコンピュータに実行させるプログラムおよびそのプログラムを記録する記録媒体である。これにより、第２読出し手段に記憶される特徴量を参照する際に、第１記憶手段に記憶されるビデオデータの識別情報を利用して参照範囲を絞り込み、効率良く特徴量の照合を行わせるという作用をもたらす。
また、この第１の側面において、上記特徴量は、チェンジ点の間隔を示すチェンジ点間隔を含んでもよい。これにより、第２読出し手段に記憶されるチェンジ点間隔を参照する際に、第１記憶手段に記憶されるビデオデータの識別情報を利用して参照範囲を絞り込み、効率良くチェンジ点間隔の照合を行わせるという作用をもたらす。
また、この第１の側面において、上記第１記憶手段は、上記チェンジ点間隔の値が所定範囲にあるものを単位として、上記識別情報を連続アドレスに記憶する第１レイヤー記憶手段と、上記チェンジ点間隔を単位として、上記ビデオデータの識別情報を連続アドレスに記憶する第２レイヤー記憶手段とを含んでもよい。これにより、第１レイヤー記憶手段および第２レイヤー記憶手段を異なるメモリ階層に配置可能にするという作用をもたらす。
また、この第１の側面において、上記第１レイヤー記憶手段に記憶された識別情報の数が許容数を超えた場合に、上記所定範囲にあるチェンジ点間隔に従って、上記識別情報をソートするソート手段と、上記ソート手段によりソートされた識別情報を、上記チェンジ点間隔とともに第２レイヤー記憶手段に転送する転送手段とをさらに備えてもよい。これにより、メモリ階層間における転送を可能にするという作用をもたらす。
また、この第１の側面において、上記第１レイヤー記憶手段は、上記ビデオデータの識別情報を所定数ずつ連続アドレスに記憶するユニット記憶手段と、上記チェンジ点間隔の値が所定範囲にあるものについて、上記ユニット記憶手段における上記識別情報のアドレスを記憶するインデックス記憶手段とを含んでもよい。これにより、上記第１レイヤー記憶手段を、連続アドレスにより配置されるユニット記憶手段とそれを管理するインデックス記憶手段とに分離するという作用をもたらす。
また、この第１の側面において、上記第２レイヤー記憶手段は、上記識別情報を、所定数を単位として連続アドレスに記憶するユニット記憶手段と、上記ユニット記憶手段における上記識別情報のアドレスを記憶するインデックス記憶手段とを含んでもよい。これにより、上記第２レイヤー記憶手段を、連続アドレスにより配置されるユニット記憶手段とそれを管理するインデックス記憶手段とに分離するという作用をもたらす。
また、この第１の側面において、上記第２記憶手段は、上記チェンジ点間隔を時系列順に連続アドレスに記憶してもよい。これにより、上記第２記憶手段を連続したアドレス空間として扱うことを可能にするという作用をもたらす。
また、この第１の側面において、上記第２記憶手段は、上記チェンジ点間隔を時系列順に連続アドレスに記憶するユニット記憶手段と、上記チェンジ点間隔の上記ユニット記憶手段におけるアドレスを記憶するインデックス記憶手段とを含んでもよい。これにより、上記第２記憶手段を、連続アドレスにより配置されるユニット記憶手段とそれを管理するインデックス記憶手段とに分離するという作用をもたらす。
また、この第１の側面において、登録対象のビデオデータに含まれるチェンジ点間隔のそれぞれに関連付けて上記登録対象のビデオデータの識別情報を上記第１記憶手段に登録する第１登録手段と、上記登録対象のビデオデータの識別情報に関連付けて上記登録対象のビデオデータに含まれるチェンジ点間隔を時系列順に上記第２記憶手段に登録する第２登録手段とをさらに備えてもよい。これにより、登録対象のビデオデータに含まれるチェンジ点間隔を第１記憶手段および第２記憶手段に登録させるという作用をもたらす。
本発明によれば、動画コンテンツから抽出する特徴量を削減し、効率良く動画コンテンツを検索することができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施の形態におけるコンテンツ検索装置１００の一構成例を示すブロック図である。このコンテンツ検索装置１００は、動画入力部１１０と、ビデオ・オーディオデマルチプレクサ１２０と、ビデオデコード部１３０と、特徴量抽出部２００と、特徴量データベース１４０と、特徴量照合部１５０と、判定結果出力部１６０とを備える。なお、このコンテンツ検索装置１００は、例えば、デジタルビデオカメラ等の撮像装置で撮影された動画（動画コンテンツ）について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。
動画入力部１１０は、動画を入力する動画入力部であり、入力された動画をビデオ・オーディオデマルチプレクサ１２０に出力する。動画入力部１１０に入力される動画としては、例えば、撮像装置で撮影された動画やテレビジョン放送で受信された動画等が考えられる。
ビデオ・オーディオデマルチプレクサ１２０は、動画入力部１１０から出力された動画について、ビデオデータ（信号）とオーディオデータ（信号）とに分離するものであり、分離されたビデオデータをビデオデコード部１３０に出力する。なお、分離されたオーディオデータについては、本発明の実施の形態においては特に利用されない
ビデオデコード部１３０は、ビデオ・オーディオデマルチプレクサ１２０から出力されたビデオデータをデコードしてベースバンドデータを生成するものであり、生成されたベースバンドデータを特徴量抽出部２００に出力する。
特徴量抽出部２００は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて特徴量を抽出するものであり、抽出された特徴量を特徴量データベース１４０および特徴量照合部１５０に出力する。本発明の実施の形態では、特徴量抽出部２００が抽出する特徴量として、動画におけるチェンジ点の間隔（以下、チェンジ点間隔という。）を例にして説明する。なお、チェンジ点は、例えば、動画において撮影場面が瞬間的に変化する場合におけるその境界点を示すカットチェンジ点や、動画において撮影場面が比較的大きく変化する場合におけるその境界点を示すクロスフェード点等を含むものである。また、チェンジ点間隔は、連続するチェンジ点間の区間における時間やフレーム数等の間隔を示すものである。特徴量抽出部２００により抽出されたチェンジ点間隔は、時系列に並べられて、チェンジ点間隔リストを構成する。
特徴量データベース１４０は、特徴量抽出部２００から出力されたチェンジ点間隔リストを動画コンテンツ毎に格納するデータベースである。この特徴量データベース１４０は、特徴量の照合の際に、格納されているチェンジ点間隔リストを特徴量照合部１５０に出力する。
特徴量照合部１５０は、特徴量抽出部２００から出力されたチェンジ点間隔リストと、特徴量データベース１４０に格納されている各チェンジ点間隔リストとを照合し、この照合結果に基づいて、動画入力部１１０に入力された動画と、特徴量データベース１４０に格納されているチェンジ点間隔リストに対応する動画とが一致するか否かを判定するものである。この特徴量照合部１５０による照合判定結果は、一致リストとして判定結果出力部１６０に出力される。すなわち、特徴量照合部１５０は、動画入力部１１０に入力された動画と一致する動画に対応するチェンジ点間隔リストを、特徴量データベース１４０に格納されているカットチェンジ点間隔リストの中から検索する。
判定結果出力部１６０は、特徴量照合部１５０から出力された一致リストを出力するものである。例えば、特徴量照合部１５０から出力された一致リストを表示して出力することができる。
このように、本発明の実施の形態におけるコンテンツ検索装置１００は、動画コンテンツのチェンジ点間隔を照合することにより、動画コンテンツの内容が一致するか否かを判別する。
図２は、本発明の実施の形態における動画コンテンツとチェンジ点との関係を示す図である。以下では、チェンジ点の一例として、カットチェンジ点を例に挙げて説明する。撮像装置により撮影された動画２９０を構成する各フレームに対応する画像２７１乃至２７９を概略的に示している。画像２７１乃至２７９は、１つの動画２９０に含まれる画像ではあるものの、撮影された時刻および場所が異なる４つのシーンが含まれているため、これらのシーンが切り換わるフレームでは被写体の構図や色等が瞬間的に変化する。このため、連続する２フレーム間におけるそのような変化を検出して、カットチェンジ点として判別する。
例えば、画像２７１乃至２７３は、街中を歩いている人物を撮影したものであり、人物が移動しているため、人物の位置が多少異なるものの、画像全体では類似している印象となる。このため、画像２７１乃至２７３に関する連続する２フレーム間において変化がないことから、その連続する２フレーム間はカットチェンジ点ではないと判別される。
また、画像２７４または２７５は、山の前の家並みを撮影したものであり、撮像装置を水平方向に移動させて撮影しているため、被写体の位置が水平方向に移動して多少異なるものの、画像全体では類似している印象となる。しかしながら、画像２７３と画像２７４とを比較した場合には、撮影された時刻および場所が異なるシーンの切り換え部分に該当するため、画像全体が大きく異なっている。このため、画像２７３と画像２７４との境界がカットチェンジ点２８１とされる。
また、画像２７５と画像２７６との境界、および、画像２７７と画像２７８との境界についても、同様に、カットチェンジ点２８２および２８３として検出される。
このようにして検出されたカットチェンジ点によって区切られる区間をカットチェンジ点区間と呼び、そのカットチェンジ点区間の長さをカットチェンジ点間隔と呼ぶ。ここでは、チェンジ点の一例としてカットチェンジ点を挙げて説明したが、他のチェンジ点についても同様である。したがって、チェンジ点によって区切られる区間をチェンジ点区間と呼び、そのチェンジ点区間の長さをチェンジ点間隔と呼ぶ。
このチェンジ点は、動画コンテンツを構成する各フレームに対応する画像の階調に基づいて以下のように判別することができる。
図３は、本発明の実施の形態におけるチェンジ点判別の概要を示す図である。図３（ａ）乃至（ｃ）は、何れも画像全体における各画素の輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号（赤）Ｃｒの各要素または全要素によるヒストグラムであり、横軸は階調を示し、縦軸は頻度を示す。例えば、図３（ａ）は動画ａのヒストグラムであり、図３（ｂ）は動画ａに続く動画ｂのヒストグラムである。また、図３（ｃ）は動画ａおよびｂのヒストグラムの面積の差分を示すものである。
図３（ｃ）において、斜線で示す領域が、図３（ａ）および（ｂ）に示すヒストグラムの面積の差分値に相当する領域である。この差分値の総和が予め定められた閾値を超える場合には、その動画ａと動画ｂとの間がカットチェンジ点であると判別することができる。
図４は、本発明の実施の形態における特徴量抽出部２００の機能構成例を示すブロック図である。この特徴量抽出部２００は、カラーヒストグラム抽出部２１０と、連続フレーム間ヒストグラム差分算出部２２０と、閾値保持部２３０と、カットチェンジ点判別部２４０と、チェンジ点間隔算出部２５０とを備える。
カラーヒストグラム抽出部２１０は、ビデオデコード部１３０から出力されたベースバンドデータをバッファに保持して、このバッファに保持されたベースバンドデータから画面全体における各画素の輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号（赤）Ｃｒのカラーヒストグラムをサンプリングし、このサンプリングされたカラーヒストグラムについて、階調をＮ段階（例えば、Ｎ＝１６）に分け、各階調における頻度の和が一定になるように正規化を行うものである。このヒストグラムの一例は、図３（ａ）および（ｂ）に示したとおりである。このカラーヒストグラム抽出部２１０は、正規化が施されたＹ、ＣｂおよびＣｒのヒストグラムを連続フレーム間ヒストグラム差分算出部２２０に出力する。
連続フレーム間ヒストグラム差分算出部２２０は、カラーヒストグラム抽出部２１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒとのカラーヒストグラムについて、連続する２フレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をカットチェンジ点判別部２４０に出力するものである。例えば、連続する２フレームに対応する図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分値として、図３（ｃ）に斜線で示す領域の面積の値が算出される。
閾値保持部２３０は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部２４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をカットチェンジ点判別部２４０に出力する。
カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えたか否かに基づいて、連続する２フレーム間がカットチェンジ点であるか否かを判別するものである。すなわち、カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、チェンジ点間隔算出部２５０に出力する。一方、カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点ではないと判別する。このようにカットチェンジ点ではないと判別された場合には、チェンジ点間隔算出部２５０には時刻が出力されない。
チェンジ点間隔算出部２５０は、カットチェンジ点判別部２４０から出力されたカットチェンジ点の時刻に基づいて、隣接する２つのカットチェンジ点間の時間間隔を算出するものであり、算出されたカットチェンジ点の間隔を特徴量データベース１４０および特徴量照合部１５０に出力する。すなわち、チェンジ点間隔算出部２５０は、カットチェンジ点判別部２４０からカットチェンジ点の時刻が出力された場合には、この時刻と、この時刻の直前に出力された時刻との差の値を算出して、隣接する２つのカットチェンジ点間の時間間隔を算出する。なお、隣接する２つのカットチェンジ点間の間隔として、このカットチェンジ点間に含まれるフレームの数を算出し、この算出されたフレーム数をカットチェンジ点の間隔とするようにしてもよい。
図５は、本発明の実施の形態におけるカットチェンジ点間隔リストの概略を示す図である。特徴量データベース１４０には、１または複数のカットチェンジ点間隔リストが格納されている。例えば、特徴量データベース１４０には、カットチェンジ点間隔リスト８００、８０５、８０６が格納されている。なお、特徴量データベース１４０に格納されるカットチェンジ点間隔リストは、特徴量抽出部２００から出力されたカットチェンジ点の間隔を順次格納して作成するようにしてもよく、他の情報処理装置において抽出されたカットチェンジ点の間隔を順次格納して作成するようにしてもよい。
カットチェンジ点間隔リスト８００には、カットチェンジ点間隔８０３が時系列に記録されている。これらは、対応する動画を識別するためのコンテンツＩＤに関連付けられている。コンテンツＩＤは、コンテンツ検索装置１００の内部または外部に備えられている動画データベースに格納されている動画を検索するために用いることができるＩＤであり、例えば、カットチェンジ点間隔リスト８００に対応するコンテンツＩＤとして、「＃１２３」が付与されているものとする。また、図５においては、対応する動画において抽出されたカットチェンジ点間隔の識別番号としてノードＩＤ８０２を付して説明する。
カットチェンジ点間隔８０３は、対応する動画において抽出されたカットチェンジ点間隔を時間で示すものであり、時刻の早い順序で記録される。
このように、１または複数のカットチェンジ点間隔リストが格納されている特徴量データベース１４０を用いて、動画入力部１１０から入力された動画について一致検索をする場合には、特徴量データベース１４０に格納されているカットチェンジ点間隔リストを１つずつ読み出して、次に示すように検索処理を実行する。
図６は、本発明の実施の形態における特徴量照合部１５０による照合の具体例を示す図である。ここでは、特徴量データベース１４０から取り出されたカットチェンジ点間隔リスト８００および検索対象として動画入力部１１０から入力された動画において抽出されたカットチェンジ点間隔に対応するカットチェンジ点間隔リスト８２０の一例が示されている。また、図７は、本発明の実施の形態におけるカットチェンジ点間隔リストの照合の態様を示す図である。以下では、カットチェンジ点間隔リスト８００とカットチェンジ点間隔リスト８２０とを照合して、これらのリストに対応する動画が一致するか否かを判定する場合について図６および図７を参照して説明する。
最初に、カットチェンジ点間隔リスト８２０の比較対象となるカットチェンジ点間隔リストが特徴量データベース１４０から取り出される。例えば、カットチェンジ点間隔リスト８００が取り出される。続いて、カットチェンジ点間隔リスト８００のカットチェンジ点間隔８０３の値と、カットチェンジ点間隔リスト８２０のカットチェンジ点間隔８２３の値とをノードＩＤの順番で順次比較して、一致する値が検出される。例えば、カットチェンジ点間隔リスト８００におけるノードＩＤ８０２の「１１」に対応するカットチェンジ点間隔８０３の値「０：００：０５．６０５」と、カットチェンジ点間隔リスト８２０におけるノードＩＤ８２２の「２１」に対応するカットチェンジ点間隔８２３の値「０：００：０５．６０５」とが、矢印８３１で示すように一致する（８４１）。なお、図７では、図６に示すカットチェンジ点間隔の各値の前半部分を省略して示す。
このように、２つのカットチェンジ点間隔リストにおいて、一致するカットチェンジ点間隔の値が検出された場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出される。例えば、カットチェンジ点間隔リスト８００におけるノードＩＤ８０２の「１２」に対応するカットチェンジ点間隔８０３の値「０：００：０３．６０３」と、カットチェンジ点間隔リスト８２０におけるノードＩＤ８２２の「２２」に対応するカットチェンジ点間隔８２３の値「０：００：０３．５７０」とが取り出される。そして、取り出された２つの値が一致するか否かが判断される（８４２）。ここで、一致した場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出され、一致するか否かが判断される。
一方、図６および図７に示すように、取り出された２つの値が一致しない場合には（８４２）、比較対象となっている２つの値のうちの小さい値が取り出されたカットチェンジ点間隔リストから、この値の次のノードＩＤに対応するカットチェンジ点間隔の値が取り出され、取り出された値と、比較対象となっている値とが加算される。例えば、カットチェンジ点間隔８０３の値「０：００：０３．６０３」とカットチェンジ点間隔８２３の値「０：００：０３．５７０」とを比較した場合には、カットチェンジ点間隔８２３の値「０：００：０３．５７０」が小さい。このため、カットチェンジ点間隔リスト８２０におけるノードＩＤ８２２の「２３」に対応するカットチェンジ点間隔８２３の値「０：００：０１．６３４」が取り出され、カットチェンジ点間隔８２３の値「０：００：０３．５７０」と加算される（８４３）。
続いて、加算された加算値と、加算の対象となっていない値とが一致するか否かが判断される（８４４）。ここで、一致した場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出され、一致するか否かが判断される。このように、最初の一致した値から所定の範囲内の値を順次加算して、２つのカットチェンジ点間隔リストの値が一致するか否かが判断される。所定の範囲として、例えば、ノードＩＤが３つの範囲とすることができる。例えば、図６に示す矢印８３１で結ばれる最初に一致した値から、ノードＩＤが３つの範囲８３２内において、加算処理（８４３、８４５、８４７）が行われるとともに、比較処理が行われる（８４２、８４４、８４６、８４８）。そして、ノードＩＤが３つの範囲８３２内において、矢印８３３で示す位置で比較対象となっている２つの値が一致する（８４８）。
このように、最初に一致した値から所定の範囲内において、２つのカットチェンジ点間隔リストの値が一致した場合には、同様に、この一致した各値から所定の範囲内の値を順次加算して、２つのカットチェンジ点間隔リストの値が一致するか否かが判断される。ここでの所定の範囲として、例えば、最初の範囲と同様に、ノードＩＤが３つの範囲とするようにしてもよく、異なる値とするようにしてもよい。
例えば、図６に示す矢印８３３で結ばれる一致した値から、カットチェンジ点間隔リスト８００におけるノードＩＤが３つの範囲８３５内、および、カットチェンジ点間隔リスト８２０におけるノードＩＤが３つの範囲８３４内において、加算処理（８５０、８５２）が行われるとともに、比較処理が行われる（８４９、８５１、８５３）。そして、ノードＩＤが３つの範囲８３４または８３５内において、矢印８３６で示す位置で比較対象となっている２つの値が一致する（８５３）。
なお、最初に一致した値または２回目以降に一致した値を基準として取り出された２つの値のうちの少なくとも１つが加算前に一致した場合には、その１つの値については加算処理をせずに、この一致した値を基準として次の比較処理を行う。また、所定の範囲内で加算値が一致しない場合には、２つのリストにおいて、一致する値の検出を再度繰り返す。
このように、本発明の実施の形態におけるコンテンツ検索装置１００は、動画コンテンツのチェンジ点間隔を照合することにより、動画コンテンツの内容が一致するか否かを判別する。この照合の際、隣接するチェンジ点区間のチェンジ点間隔を加算することにより、チェンジ点の検出が不十分であった場合にも対処することができる。一般に、ビットレートが異なる動画コンテンツ同士の比較において検索精度を向上させることは困難を伴うが、本発明の実施の形態では特徴量としてチェンジ点間隔を利用することにより、ビットレートや画枠が異なる動画コンテンツを高い精度で検索することができる。
次に本発明の実施の形態における特徴量データベースの構成について図面を参照して説明する。
図８は、本発明の実施の形態における特徴量データベースの周辺の構成例を示す図である。ここでは、図１の特徴量抽出部２００に対応するものとして登録動画特徴量抽出部３１０および入力動画特徴量抽出部３３０を、図１の特徴量データベース１４０に対応するものとして特徴量データベース３２０を、図１の特徴量照合部１５０に対応するものとして特徴量照合部３４０をそれぞれ示している。
登録動画特徴量抽出部３１０は、特徴量データベース３２０に特徴量を登録する対象となる動画コンテンツ（以下、登録動画という。）からその特徴量としてチェンジ点間隔を抽出するものである。入力動画特徴量抽出部３３０は、検索対象として入力された動画コンテンツ（以下、入力動画という。）からその特徴量としてチェンジ点間隔を抽出するものである。両者は、特徴量の抽出対象である動画コンテンツが異なるが、基本的な構成に相違はなく、図４により説明した特徴量抽出部２００と同様の構成を有する。
特徴量データベース３２０は、ＤＣ辞書６００およびＣＤ辞書７００を記憶部として有し、ＤＣ辞書６００に登録動画を登録するためのＤＣ辞書登録部３２１と、ＣＤ辞書７００に登録動画を登録するためのＣＤ辞書登録部３２２と、ＤＣ辞書６００を参照するためのＤＣ辞書参照部３２３と、ＣＤ辞書７００を参照するためのＣＤ辞書参照部３２４とを備えている。ＤＣ辞書６００は、チェンジ点間隔（Duration）をキーとしてコンテンツＩＤ（Content ID）を参照するための（Duration to Content ID）辞書である。一方、ＣＤ辞書７００は、コンテンツＩＤをキーとしてチェンジ点間隔を参照するための（Content ID to Duration）辞書である。
登録動画特徴量抽出部３１０によって登録動画のチェンジ点間隔が抽出されると、そのチェンジ点間隔リストおよび登録動画のコンテンツＩＤは信号線３１９を介してＤＣ辞書登録部３２１およびＣＤ辞書登録部３２２に供給される。そして、ＤＣ辞書登録部３２１からＤＣ辞書６００に、ＣＤ辞書登録部３２２からＣＤ辞書７００に、それぞれ登録が行われる。
入力動画特徴量抽出部３３０によって入力動画のチェンジ点間隔が抽出されると、そのチェンジ点間隔リストおよび入力動画のコンテンツＩＤは信号線３３９を介してＤＣ辞書参照部３２３および特徴量照合部３４０に供給される。そして、ＤＣ辞書参照部３２３は、入力動画のチェンジ点間隔をキーとしてＤＣ辞書６００を参照して、読み出された登録動画のコンテンツＩＤを、信号線３２８を介してＣＤ辞書参照部３２４に供給する。ＣＤ辞書参照部３２４は、ＤＣ辞書参照部３２３から供給された登録動画のコンテンツＩＤをキーとしてＣＤ辞書７００を参照して、読み出された登録動画のチェンジ点間隔リストを特徴量照合部３４０に供給する。
特徴量照合部３４０は、入力動画特徴量抽出部３３０から供給されたチェンジ点間隔リストと、ＣＤ辞書参照部３２４から供給されたチェンジ点間隔リストとを照合することにより、登録動画と入力動画とが一致するか否かを判定するものである。この照合の内容は、図６および図７により説明したとおりである。
図９は、本発明の実施の形態における特徴量データベース３２０に対する操作の態様を示す図である。図９（ａ）に示すように、登録時には、登録動画のチェンジ点間隔リストが登録動画特徴量抽出部３１０によって抽出されて、特徴量データベース３２０に登録される。これにより、特徴量データベース３２０には、登録動画のチェンジ点間隔リストが登録動画のコンテンツＩＤとともに蓄積されていく。
一方、図９（ｂ）に示すように、照合時には、入力動画のチェンジ点間隔リストが入力動画特徴量抽出部３３０によって抽出されて、特徴量データベース３２０から読み出された登録動画のチェンジ点間隔リストと照合される。
図９（ａ）および（ｂ）では、チェンジ点間隔リストが特徴量データベース３２０に静的に登録されることを想定しているが、照合時に入力動画のチェンジ点間隔リストを抽出した際に、そのチェンジ点間隔リストを図９（ｃ）のように特徴量データベース３２０に動的に登録するようにしてもよい。これにより、入力動画のチェンジ点間隔リストを入力動画のコンテンツＩＤとともに蓄積していくことができる。
図１０は、本発明の実施の形態におけるＤＣ辞書６００とＣＤ辞書７００との関係を概念的に示す図である。
ＤＣ辞書６００は、入力動画のチェンジ点間隔リストに含まれるチェンジ点間隔をキーとして参照されて、登録動画のコンテンツＩＤを出力する。この例では、入力動画のチェンジ点間隔リストに含まれるチェンジ点間隔「３０」をキーとして、コンテンツＩＤ「＃２０」を出力している。
ＣＤ辞書７００は、ＤＣ辞書６００から出力されたコンテンツＩＤをキーとして参照されて、登録動画のチェンジ点間隔リストを出力する。この例では、ＤＣ辞書６００から出力されたコンテンツＩＤ「＃２０」をキーとして、登録動画のチェンジ点間隔リストを出力している。
ＣＤ辞書７００には、登録動画の各々について、コンテンツＩＤに関連付けてチェンジ点間隔リストが記憶されている。したがって、このＣＤ辞書７００の全ての内容を参照することにより、目的とする登録動画のチェンジ点間隔リストを見つけることは可能である。しかしながら、本発明の実施の形態においては、入力動画のチェンジ点間隔リストに含まれるチェンジ点間隔と一致するチェンジ点間隔を、登録動画のチェンジ点間隔リストの中から検索する必要があるため、ＣＤ辞書７００の全ての内容を参照するのは効率的ではない。そこで、本発明の実施の形態では、ＤＣ辞書６００においてチェンジ点間隔をキーとしてそのチェンジ点間隔を含む登録動画のコンテンツＩＤを出力することにより、ＣＤ辞書７００において参照すべきチェンジ点間隔リストを絞り込んでいる。
なお、図１０において示したＤＣ辞書６００およびＣＤ辞書７００は概念的なものであり、その実現例については、以下で説明する。
図１１は、本発明の実施の形態におけるＤＣ辞書６００の一構成例を示す図である。このＤＣ辞書６００は、ヘッダ６１０に続き、第１レイヤー（６２０、６３０）および第２レイヤー（６４０、６５０）の階層構造をとる。また、第１レイヤーおよび第２レイヤーは、それぞれ、インデックス部とユニット部とに分かれている。第１レイヤーのインデックス部をＬ１インデックス６２０、第１レイヤーのユニット部をＬ１ユニット６３０と呼ぶ。また、第２レイヤーのインデックス部をＬ２インデックス６４０、第２レイヤーのユニット部をＬ２ユニット６５０と呼ぶ。
ヘッダ６１０は、間隔先頭値６１１と、間隔総数６１２と、Ｌ１先頭アドレス６１３と、Ｌ２先頭アドレス６１４とを記憶する。間隔先頭値６１１は、ＤＣ辞書６００に記憶されるチェンジ点間隔の先頭の値を記憶するフィールドである。間隔総数６１２は、ＤＣ辞書６００に記憶されるチェンジ点間隔の総数を記憶するフィールドである。Ｌ１先頭アドレス６１３は、Ｌ１インデックス６２０の先頭アドレスを記憶するフィールドである。Ｌ２先頭アドレス６１４は、Ｌ２インデックス６４０の先頭アドレスを記憶するフィールドである。
Ｌ１インデックス６２０は、Ｌ１ユニット６３０に対するインデックスの役割を有するものであり、各レコードについて、間隔開始値６２１と、間隔幅６２２と、データ数６２３と、オフセット６２４とを記憶する。間隔開始値６２１は、対応するレコードのチェンジ点間隔の開始値を記憶するフィールドである。間隔幅６２２は、対応するレコードに含まれるべきチェンジ点間隔の幅（個数）を記憶するフィールドである。データ数６２３は、Ｌ１ユニット６３０の対応するレコードに記憶されているデータ（区間情報）の数を記憶するフィールドである。オフセット６２４は、Ｌ１ユニット６３０の対応するレコードへのポインタを記憶するフィールドである。
Ｌ１ユニット６３０は、レコード毎に、区間情報６３１を記憶するものである。本発明の実施の形態においては、区間情報６３１はチェンジ点間隔６３２およびコンテンツＩＤ６３３の各フィールドを備えている。すなわち、チェンジ点区間に関する情報として、そのチェンジ点区間のチェンジ点間隔と、そのチェンジ点区間を含む動画コンテンツのコンテンツＩＤとを記憶する。この区間情報６３１は、一つのレコードに複数セットを連続アドレスに記憶することができる。また、１レコード当りの区間情報６３１の最大記憶可能数は、全レコードにおいて同一の固定サイズであることが望ましい。この場合、各レコードにオフセット６２４を記憶していなくても、Ｌ１ユニット６３０の先頭アドレスから各レコードのアドレスを計算することができるようになる。
Ｌ２インデックス６４０は、Ｌ２ユニット６５０に対するインデックスの役割を有するものであり、各レコードについて、チェンジ点間隔６４１と、データ数６４３と、オフセット６４４とを記憶する。チェンジ点間隔６４１は、対応するレコードのチェンジ点間隔を記憶するフィールドである。データ数６４３は、Ｌ２ユニット６５０の対応するレコードに記憶されているデータ（コンテンツＩＤ）の数を記憶するフィールドである。オフセット６４４は、Ｌ２ユニット６５０の対応するレコードへのポインタを記憶するフィールドである。
Ｌ２ユニット６５０は、レコード毎に、コンテンツＩＤ６５１を記憶するものである。このコンテンツＩＤ６５１は、一つのレコードに複数個を連続アドレスに記憶することができる。また、１レコード当りのコンテンツＩＤ６５１の最大記憶可能数は、全レコードにおいて同一の固定サイズであることが望ましい。この場合、各レコードにオフセット６４４を記憶していなくても、Ｌ２ユニット６５０の先頭アドレスから各レコードのアドレスを計算することができるようになる。
また、Ｌ２ユニット６５０の各レコードには、そのレコードを拡張するための次オフセット６５２を記憶することができる。１レコード当りのコンテンツＩＤ６５１の最大記憶可能数を超えるまでは、次オフセット６５２には特定のアドレスを示さない値（ヌルポインタ）が設定されており、新たなレコードが拡張された場合には、その拡張されたレコードに対するポインタが保持される。例えば、図中では、チェンジ点間隔６４１が「Ｎ＋１」のレコードについて次オフセット６５２にアドレス「０ｘ４００００」が保持されており、レコードが拡張されていることを示している。
なお、メモリ空間を３２ビットと想定すると、ＤＣ辞書６００の各フィールドは４バイトに統一することができる。
チェンジ点間隔は、フレームを単位として考えると、１以上の全ての整数に対応することになり、チェンジ点間隔に上限は存在しない。また、コンテンツＩＤにも上限がない。したがって、ＤＣ辞書６００の全てを１つの有限サイズのストレージに納めることができない場合がある。そこで、本発明の実施の形態では、ＤＣ辞書６００を第１レイヤーおよび第２レイヤーの階層構造としている。これにより、プロセッサとメモリのアーキテクチャが階層的なストレージを有する場合にも対応することができる。第１レイヤーの記憶内容は、後述のように所定の条件を満たす場合に、第２レイヤーに転送される。
なお、チェンジ点間隔に上限は存在しないが、ＤＣ辞書６００を具現化するにあたっては、チェンジ点間隔に上限を設けることが有用である。例えば、過去のチェンジ点間隔の分布によって、１分相当程度の上限値を想定し、それを超えた場合のために「上限値以上のチェンジ点間隔」のレコードを設けるようにしてもよい。また、その上限値を超えた場合には、第１レイヤーに登録せずに、第２レイヤーに直接登録するようにしてもよい。上限値を超える可能性が低い場合、第２レイヤーにバイト転送で登録しても大きな性能上の影響はないと考えられる。
このＤＣ辞書６００では、一般に、第２レイヤーの方が第１レイヤーよりもサイズが大きくなる。第２レイヤーでは全てのチェンジ点間隔について個別にレコードを有しているが（チェンジ点間隔６４１）、第１レイヤーでは１つのレコードに複数のチェンジ点間隔を詰め込んでいるため（間隔幅６２２）、第１レイヤーの方がレコード数を抑えることができる。例えば、この図において、第１レイヤーでは１レコード当りＮ個のチェンジ点間隔を記憶しており、個々のチェンジ点間隔をチェンジ点間隔６３２に記憶している。
なお、ここでは、第１レイヤーおよび第２レイヤーの階層構造について説明したが、レイヤーの数は特に限定されるものではない。すなわち、第２レイヤーにおいてもＬ２ユニット６５０のサイズは有限であることから、許容量を越えた際には他のストレージに転送することが可能である。
図１２は、本発明の実施の形態におけるＣＤ辞書７００の一構成例を示す図である。このＣＤ辞書７００は、ヘッダ７１０と、インデックス７２０と、ユニット７３０とを備える。
ヘッダ７１０は、コンテンツＩＤ先頭値７１１と、コンテンツＩＤ総数７１２と、インデックス先頭アドレス７１３とを記憶する。コンテンツＩＤ先頭値７１１は、ＣＤ辞書７００に記憶されるコンテンツＩＤの先頭の値を記憶するフィールドである。コンテンツＩＤ総数７１２は、ＣＤ辞書７００に記憶されるコンテンツＩＤの総数を記憶するフィールドである。インデックス先頭アドレス７１３は、インデックス７２０の先頭アドレスを記憶するフィールドである。
インデックス７２０は、ユニット７３０に対するインデックスの役割を有するものであり、各レコードについて、コンテンツＩＤ７２１と、間隔数７２２と、オフセット７２３とを記憶する。コンテンツＩＤ７２１は、対応するレコードのコンテンツＩＤを記憶するフィールドである。間隔数７２２は、ユニット７３０の対応するレコードに記憶されているチェンジ点間隔の数を記憶するフィールドである。オフセット７２３は、ユニット７３０の対応するレコードへのポインタを記憶するフィールドである。
ユニット７３０は、レコード毎に、チェンジ点間隔７３１を記憶するものである。このチェンジ点間隔７３１は、一つのレコードに複数セットを時系列順に連続アドレスに記憶することができる。また、１レコード当りのチェンジ点間隔７３１の最大記憶可能数は、レコード毎に異なっていてよい。但し、ユニット７３０全体としては物理的に連続アドレスに格納する必要がある。
なお、このＣＤ辞書７００では、ＤＣ辞書６００のようなレコード割当ての異なる階層構造は想定していない。これは、チェンジ点間隔リストはある程度の長さを有しており、まとめてアクセスすることが可能だからである。但し、ユニット７３０自体のサイズは有限であることから、許容量を越えた際には他のストレージに転送することは可能である。
なお、メモリ空間を３２ビットと想定すると、ＣＤ辞書７００の各フィールドは４バイトに統一することができる。
図１３は、本発明の実施の形態におけるチェンジ点間隔リストの例を示す図である。この例では、コンテンツＩＤが「＃２０」の動画コンテンツに関するチェンジ点間隔リストのうち先頭の４つのノードが時系列に示されている。各ノードには「１」から昇順にノードＩＤが付されている。
先頭のノード（ノードＩＤ：１）にはチェンジ点間隔として「１００」が記憶されている。また、２番目のノード（ノードＩＤ：２）にはチェンジ点間隔として「３０」が記憶されている。また、３番目のノード（ノードＩＤ：３）にはチェンジ点間隔として「５０」が記憶されている。また、４番目のノード（ノードＩＤ：４）にはチェンジ点間隔として「１２０」が記憶されている。
このチェンジ点間隔リストの例をＤＣ辞書６００およびＣＤ辞書７００に登録した場合の例について以下に説明する。
図１４は、本発明の実施の形態におけるＤＣ辞書６００の第１レイヤーに図１３のチェンジ点間隔リストを登録した場合の例を示す図である。この例では、間隔幅６２２は全て「５０」に設定されており、チェンジ点間隔が「１」から「５０」までが第１番目のレコードに、チェンジ点間隔が「５１」から「１００」までが第２番目のレコードに、チェンジ点間隔が「１０１」から「１５０」までが第３番目のレコードに、チェンジ点間隔が「１５１」から「２００」までが第４番目のレコードに、それぞれ記憶される。
図１３の例では、コンテンツＩＤが「＃２０」の動画コンテンツについて、チェンジ点間隔が「１００」、「３０」、「５０」および「１２０」となっているため、Ｌ１ユニット６３０には、第１番目のレコードにチェンジ点間隔６３２として「３０」および「５０」が記憶され、これらに関連付けてコンテンツＩＤ６２３として「＃２０」がそれぞれ記憶される。
また、Ｌ１ユニット６３０の第２番目のレコードには、チェンジ点間隔６３２として「１００」が記憶され、これに関連付けてコンテンツＩＤ６２３として「＃２０」が記憶される。さらに、Ｌ１ユニット６３０の第３番目のレコードには、チェンジ点間隔６３２として「１２０」が記憶され、これに関連付けてコンテンツＩＤ６２３として「＃２０」が記憶される。
これに伴い、データ数６２３にはＬ１ユニット６３０の対応するレコードに記憶されているデータ（区間情報）の数がそれぞれ記憶される。すなわち、データ数６２３の第１番目のレコードには「２」、第２番目のレコードには「１」、第３番目のレコードには「１」が、それぞれ記憶される。
図１５は、本発明の実施の形態におけるＤＣ辞書６００の第２レイヤーに図１３のチェンジ点間隔リストを登録した場合の例を示す図である。図１４のようにＤＣ辞書６００の第１レイヤーに登録された内容は、以下のように第２レイヤーに転送される。
ＤＣ辞書６００の第２レイヤーでは、チェンジ点間隔について個別にレコードが割り当てられる。すなわち、チェンジ点間隔６４１には、「１」から順に「１」ずつ増加した値が記憶される。
図１３の例では、コンテンツＩＤが「＃２０」の動画コンテンツについて、チェンジ点間隔が「１００」、「３０」、「５０」および「１２０」となっているため、チェンジ点間隔６４１が「３０」、「５０」、「１００」および「１２０」を示すレコードにおいてコンテンツＩＤ６５１に「＃２０」が記憶される。
図１６は、本発明の実施の形態におけるＣＤ辞書７００に図１３のチェンジ点間隔リストを登録した場合の例を示す図である。図１３の例では、コンテンツＩＤが「＃２０」の動画コンテンツについて、チェンジ点間隔が「１００」、「３０」、「５０」および「１２０」となっているため、コンテンツＩＤ７２１が「２０」を示すレコードにおいて、チェンジ点間隔７３１に「１００」、「３０」、「５０」および「１２０」が記憶される。また、コンテンツＩＤ７２１が「２０」を示すレコードにおいて、間隔数７２２として「４」が記憶される。
次に、本発明の実施の形態におけるレイヤー間の転送処理について図面を参照して説明する。
図１７は、本発明の実施の形態におけるＤＣ辞書６００の転送に関する構成例を示す図である。ここでは、第１レイヤー記憶部６０１と、第２レイヤー記憶部６０２と、第３レイヤー記憶部６０３と、登録状態管理部６９１および６９２と、ソート部６９３と、転送部６９４および６９６と、転送制御部６９５および６９７とが示されている。
第１レイヤー記憶部６０１は、図１１において説明した第１レイヤー（６２０、６３０）を記憶するものである。第２レイヤー記憶部６０２は、図１１において説明した第２レイヤー（６４０、６５０）を記憶するものである。第３レイヤー記憶部６０３は、第２レイヤーの許容量を越えた際に第２レイヤーとして記憶されていた内容の一部または全部を第３レイヤーとして記憶するものである。後述するように、第１レイヤー記憶部６０１、第２レイヤー記憶部６０２および第３レイヤー記憶部６０３の実現例としては様々な形態のものが考えられるが、例えば、マルチプロセッサ環境においては、第１レイヤー記憶部６０１をローカルメモリ、第２レイヤー記憶部６０２を共有のメインメモリ、第３レイヤー記憶部６０３を大容量のハードディスクにより実現することが想定される。
登録状態管理部６９１は、第１レイヤーにおける登録状態を管理するものである。また、登録状態管理部６９２は、第２レイヤーにおける登録状態を管理するものである。この登録状態として、例えば、第１レイヤーまたは第２レイヤーに登録されるデータ（区間情報６３１またはコンテンツＩＤ６５１）の数が計数される。
ソート部６９３は、第１レイヤー記憶部６０１に記憶されている区間情報６３１をレコード内でソートするものである。Ｌ１ユニット６３０では区間情報６３１が不規則に蓄積されていく一方で、第２レイヤーではチェンジ点間隔の順にコンテンツＩＤが振り分けられるため、第１レイヤーから第２レイヤーへの転送の際にはソートを行う必要がある。そのため、このソート部６９３では、転送の際にチェンジ点間隔の順にソートを行う。なお、この例では、転送の前にソートを行っているが、転送の後にソートを行うようにしてもよい。また、第２レイヤーにおいては既にチェンジ点間隔の順にコンテンツＩＤを記憶しているため、第２レイヤーから第３レイヤーへの転送の際にはソートを行う必要はない。
転送部６９４は、第１レイヤーから第２レイヤーへの転送を行うものである。また、転送部６９６は、第２レイヤーから第３レイヤーへの転送を行うものである。
転送制御部６９５は、第１レイヤーから第２レイヤーへの転送を制御するものである。また、転送制御部６９７は、第２レイヤーから第３レイヤーへの転送を制御するものである。これら転送制御部６９５および６９７は、それぞれ登録状態管理部６９１および６９２において管理される登録状態に基づいて、転送部６９４および６９６における転送を制御する。転送のタイミングとしては、例えば、各レコードにおいて許容量を超えた場合に転送処理を起動してもよく、また、全レコードを合わせて所定数のデータが登録される度に転送処理を起動してもよい。この場合、前者を採用するときには、統計上、各レコード同士で同じ確率で転送処理が起動されるように、レコードサイズ（区間情報６３１やコンテンツＩＤ６５１の数）を予め調整しておくことが望ましい。
Ｌ１ユニット６３０およびＬ２ユニット６５０におけるデータは物理的に連続アドレスに記憶されているため、転送部６９４および６９６ではレコード毎にバースト転送が可能であり、転送処理の高速化を図ることができる。このバースト転送のために、Ｌ１ユニット６３０のレコードサイズ（区間情報６３１の数）は、バイトアラインメントに対応して決定することができる。例えば、１２８バイトのアラインメントが必要な場合には、チェンジ点間隔６３２およびコンテンツＩＤ６３３のサイズをそれぞれ４バイトとすると、Ｌ１ユニット６３０のレコードサイズＵは、
Ｕ＝１２８×ｉ／（４＋４）
により与えられる。但し、ｉは１以上の整数である。
図１８は、本発明の実施の形態におけるソート部６９３によるソートの一例を示す図である。ここでは、ソート手法として公知の分布数え上げソート（distribution counting sort）を用いている。この手法によれば、一定の作業領域が必要になるものの、データの大小を比較する必要がなく高速であり、また、同じキーが複数含まれているデータにも対応可能である。但し、ソート対象のデータが取り得る値の範囲が予め決まっている必要がある。これについては、上述のように、チェンジ点間隔に上限値を設けることにより対処することができる。
図１８（ａ）は、ソート対象のＬ１ユニット６３０における区間情報６３１のデータ配列である。各データには「０」から昇順にインデックスが付されている。各データは、チェンジ点間隔およびコンテンツＩＤを備えている。本発明の実施の形態では、チェンジ点間隔をキーとしてソートが行われる。
図１８（ｂ）は、キーとなるチェンジ点間隔の出現回数を記憶する作業用の配列である。ここでは、チェンジ点間隔「１」の出現回数として「１」、チェンジ点間隔「３」の出現回数として「２」、チェンジ点間隔「４」の出現回数として「１」、チェンジ点間隔「５」の出現回数として「１」が数えられている。なお、この出現回数はＸにより表される。
図１８（ｃ）は、キーとなるチェンジ点間隔の出現回数の累積度数を記憶する作業用の配列である。ここでは、チェンジ点間隔の小さい順に出現回数Ｘの累積度数が数えられている。なお、この累積度数はＹにより表される。
図１８（ｄ）は、ソート後のデータ配列を示している。このソート手法では、キーとなるチェンジ点間隔の昇順にデータ配列に設定される。その際のデータ配列におけるインデックスの値は、各チェンジ点間隔に対応する出現回数Ｘと累積度数Ｙによって、「Ｙ−Ｘ」から「Ｙ−１」の間となる。例えば、チェンジ点間隔が「３」を示すデータは２つあるが、この場合は出現回数Ｘが「２」、累積度数Ｙが「３」であることから、そのインデックスは「１」および「２」となる。
このようにして、Ｌ１ユニット６３０における区間情報６３１のデータは、転送の際、チェンジ点間隔をキーとしてソートされる。
図１９は、本発明の実施の形態におけるＣＤ辞書７００の転送に関する構成例を示す図である。ここでは、第１レイヤー記憶部７０１と、第２レイヤー記憶部７０２と、登録状態管理部７９１と、転送部７９４と、転送制御部７９５とが示されている。
第１レイヤー記憶部７０１は、図１２において説明したインデックス７２０およびユニット７３０を第１レイヤーとして記憶するものである。第２レイヤー記憶部７０２は、インデックス７２０およびユニット７３０の許容量を越えた際に第１レイヤーとして記憶されていた内容の一部または全部を第２レイヤーとして記憶するものである。ＣＤ辞書７００は、ＤＣ辞書６００の場合と異なり、レコードの割当てを変えた階層構造とはなっていないが、許容量を越えた場合には大容量のハードディスクなどに退避できるように制御される。
登録状態管理部７９１は、インデックス７２０およびユニット７３０における登録状態を管理するものである。この登録状態として、例えば、インデックス７２０およびユニット７３０に登録されるチェンジ点間隔７３１の数が計数される。
転送部７９４は、第１レイヤー（７２０、７３０）から第２レイヤーへの転送を行うものである。転送制御部７９５は、第１レイヤーから第２レイヤーへの転送を制御するものである。この転送制御部７９５は、登録状態管理部７９１において管理される登録状態に基づいて、各レコードにおいて許容量を超えた場合に転送が起動されるように、転送部７９４における転送を制御する。ＣＤ辞書７００における各レコードのチェンジ点間隔７３１は、一般にある程度の数を有するため、転送部７９４ではレコード毎にバースト転送が可能であり、転送処理の高速化を図ることができる。
図２０は、本発明の実施の形態におけるＤＣ辞書６００およびＣＤ辞書７００の配置例を示す図である。
図２０（ａ）は、処理装置内のメモリ４００の容量が十分に大きい場合の配置例である。この場合、処理装置内のメモリ４００のみで動作を完結させることができるため、ＤＣ辞書６００およびＣＤ辞書７００はメモリ４００のみに配置され、ハードディスク４９０には配置されない。一方、図２０（ｂ）は、処理装置内のメモリ４００の容量が小さい場合の配置例である。この場合、処理装置内のメモリ４００のみでは動作を完結させることができないため、ＤＣ辞書６００およびＣＤ辞書７００はメモリ４１０に配置されるとともに、その許容量を超える場合にはハードディスク４９０にもユニット（６３０、６５０、７３０）が配置される。
図２０（ｃ）および（ｄ）は、２階層のメモリ構成を採用する場合の配置例である。この場合、ＤＣ辞書６００は、第１レイヤー（６２０、６３０）がＬ１メモリ４１０に配置され、第２レイヤー（６４０、６５０）がＬ２メモリ４２０に配置される。また、ＣＤ辞書７００は、Ｌ１メモリ４１０またはＬ２メモリ４２０に配置される。Ｌ２メモリ４２０の容量が十分に大きければＤＣ辞書６００およびＣＤ辞書７００は図２０（ｃ）のように配置され、ハードディスク４９０には配置されない。一方、Ｌ２メモリ４２０の容量が小さい場合には、ＤＣ辞書６００およびＣＤ辞書７００はＬ１メモリ４１０およびＬ２メモリ４２０に配置されるとともに、その許容量を超える場合にはハードディスク４９０にもＬ２ユニット６５０またはユニット７３０が配置される。
このように、ストレージの階層構造が異なるプラットフォームに対して、本発明は柔軟に対応することができる。
図２１は、２階層のメモリ構成を有するマルチプロセッサシステムの構成例を示す図である。このマルチプロセッサシステムは、複数の要素プロセッサ５１０と、要素プロセッサ５１０の各々に対応するローカルメモリ５２０と、管理プロセッサ５３０と、メインメモリ５４０と、ハードディスク５５０と、管理プロセッサ５３０およびローカルメモリ５２０を結合するバス５９０とを備えている。
要素プロセッサ５１０は、マルチプロセッサを構成する複数のプロセッサである。これら要素プロセッサ５１０は、他の要素プロセッサ５１０と同期をとりながら並列に処理を実行することができる。ローカルメモリ５２０は、要素プロセッサ５１０の各々に対応して設けられるメモリであり、その内容は対応する要素プロセッサ５１０における処理のために利用される。
管理プロセッサ５３０は、マルチプロセッサシステム全体を管理するプロセッサであり、バス５９０を介してローカルメモリ５２０とメインメモリ５４０との間のデータ転送を制御する。メインメモリ５４０は、管理プロセッサ５３０によって利用されるとともに、全ての要素プロセッサ５１０から共有されるメモリである。
ハードディスク５５０は、マルチプロセッサシステムの補助記憶部として用いられ、ファイルシステムを提供する大容量ストレージである。
このマルチプロセッサシステムは、２階層のメモリ構成を有しており、ローカルメモリ５２０は図２０におけるＬ１メモリ４１０に相当し、メインメモリ５４０は図２０におけるＬ２メモリ４２０に相当し、ハードディスク５５０は図２０におけるハードディスク４９０に相当する。ローカルメモリ５２０の容量が小さく（例えば２５６Ｋバイト）、メインメモリ５４０の容量が比較的大きい（例えば１Ｇバイト以上）ようなシステムにおいても、本発明を適用することができる。
このようなマルチプロセッサシステムにおいて、動画コンテンツの登録および照合が並列に処理可能であることを以下に説明する。
図２２は、マルチプロセッサシステムにおける本発明の実施の形態による動画コンテンツの登録処理例を示す図である。この例では、登録動画特徴量抽出部３１０としてＮ台（Ｎは１以上の整数）の要素プロセッサ５１０が割り当てられており、それぞれの出力はＤＣ辞書登録部３２１およびＣＤ辞書登録部３２２に供給される。ＤＣ辞書登録部３２１およびＣＤ辞書登録部３２２においても、それぞれＮ台の要素プロセッサ５１０が割り当てられている。
登録動画特徴量抽出部３１０では、Ｎ個の登録動画に対して、並列にチェンジ点間隔リストの抽出処理が行われる。ＤＣ辞書登録部３２１では、抽出されたＮ個のチェンジ点間隔リストがＤＣ辞書６００へ登録される。このＤＣ辞書６００への登録の際には整合性を保つために、Ｎ台の要素プロセッサ５１０の間で排他制御が行われる。同様に、ＣＤ辞書登録部３２２では、抽出されたＮ個のチェンジ点間隔リストがＣＤ辞書７００へ登録される。このＣＤ辞書７００への登録の際には整合性を保つために、Ｎ台の要素プロセッサ５１０の間で排他制御が行われる。
図２３は、マルチプロセッサシステムにおける本発明の実施の形態による動画コンテンツの照合処理例を示す図である。この例では、入力動画特徴量抽出部３３０およびＤＣ辞書参照部３２３のそれぞれにＮ台ずつの要素プロセッサ５１０が割り当てられており、ＣＤ辞書参照部３２４および特徴量照合部３４０のそれぞれにＭ台（Ｍは１以上の整数）ずつの要素プロセッサ５１０が割り当てられている。
入力動画特徴量抽出部３３０では、Ｎ個の入力動画に対して、並列にチェンジ点間隔リストの抽出処理が行われる。ＤＣ辞書参照部３２３では、抽出されたＮ個のチェンジ点間隔リストに含まれるチェンジ点間隔をキーとしてＤＣ辞書６００が参照される。ＤＣ辞書６００では、Ｍ個のコンテンツＩＤが読み出される。ＣＤ辞書参照部３２４では、読み出されたＭ個のコンテンツＩＤをキーとしてＣＤ辞書７００が参照される。ＣＤ辞書７００では、Ｍ個のチェンジ点間隔リストが読み出される。特徴量照合部３４０では、読み出されたＭ個のチェンジ点間隔リストと入力されたＮ個のチェンジ点間隔リストとの間の照合が行われる。
一つの入力動画に着目すると、特徴量抽出、ＤＣ辞書参照、ＣＤ辞書参照、特徴量照合の４段階の処理は逐次的に行う必要があるが、複数の入力動画を想定した場合、入力動画同士にデータ依存関係はないため、Ｎ台の要素プロセッサ５１０による並列処理が可能である。また、ある一つの入力動画について特徴量抽出が終了した後、ＤＣ辞書参照を行っている間に、他の入力動画の特徴量抽出を開始することにより、パイプライン的に処理をオーバラップして行うことが可能である。
次に本発明の実施の形態におけるコンテンツ検索装置の動作について図面を参照して説明する。
図２４は、本発明の実施の形態における特徴量の登録処理手順の一例を示す流れ図である。
登録対象となる動画コンテンツ（登録動画）が入力されると、登録動画特徴量抽出部３１０によって特徴量（チェンジ点間隔リスト）が抽出される（ステップＳ９１１）。抽出されたチェンジ点間隔リストは、ＤＣ辞書登録部３２１によってＤＣ辞書６００の第１レイヤーに登録される（ステップＳ９１２）。このとき、Ｌ１ユニット６３０の該当レコードにおいて、区間情報６３１のエントリの最大許容数を超えることになった場合には（ステップＳ９１３）、ソート部６９３によってそのレコード内でチェンジ点間隔６３２をキーとしたソートが行われ（ステップＳ９１４）、転送部６９４によって第２レイヤーへの転送が行われる（ステップＳ９１５）。
また、第２レイヤーへの転送（ステップＳ９１５）によりＬ２ユニット６５０の該当レコードにおいて、コンテンツＩＤ６５１のエントリの最大許容数を超えることになった場合には（ステップＳ９１６）、Ｌ２ユニット６５０に新たなレコードを追加する（ステップＳ９１７）。また、これにより、Ｌ２ユニット６５０全体のサイズの許容量を超えることになった場合には（ステップＳ９１８）、転送部６９６は第２レイヤーとして記憶されていた内容の一部または全部を第３レイヤー（例えば、ハードディスク）へ転送する（ステップＳ９１９）。
また、登録動画特徴量抽出部３１０によって抽出されたチェンジ点間隔リストは、ＣＤ辞書登録部３２２によってＣＤ辞書７００に登録される（ステップＳ９２１）。このとき、ユニット７３０全体のサイズの許容量を超えることになった場合には（ステップＳ９２２）、転送部７９４はユニット７３０に記憶されていた内容の一部または全部を第２レイヤー（例えば、ハードディスク）へ転送する（ステップＳ９２３）。
図２５は、本発明の実施の形態における特徴量の照合処理手順の一例を示す流れ図である。
検索対象となる動画コンテンツ（入力動画）が入力されると、入力動画特徴量抽出部３３０によって特徴量（チェンジ点間隔リスト）が抽出される（ステップＳ９３１）。抽出されたチェンジ点間隔リストに含まれるチェンジ点間隔をキーとして、ＤＣ辞書参照部３２３によってＤＣ辞書６００が参照される（ステップＳ９３２）。これにより、コンテンツＩＤが読み出される。
そして、読み出されたコンテンツＩＤをキーとして、ＣＤ辞書参照部３２４によってＣＤ辞書７００が参照される（ステップＳ９３３）。これにより、登録動画のチェンジ点間隔リストが読み出される。
そして、特徴量照合部３４０によって入力動画チェンジ点間隔リストと登録動画のチェンジ点間隔リストとが照合され、両者の一致性が判定される（ステップＳ９３４）。
このように、本発明の実施の形態によれば、動画コンテンツの特徴量としてチェンジ点間隔を採用することにより、抽出すべき特徴量を削減することができる。また、特徴量データベース３２０において、コンテンツＩＤをキーとしてチェンジ点間隔リストを参照するためのＣＤ辞書７００に加えて、チェンジ点間隔をキーとしてコンテンツＩＤを参照するためのＤＣ辞書６００を備えることにより、入力動画のチェンジ点間隔リストに含まれるチェンジ点間隔に対して、それと一致するチェンジ点間隔を有する登録動画のチェンジ点間隔リストを効率良く取得することができる。これにより、入力動画のチェンジ点間隔リストと登録動画のチェンジ点間隔リストを照合して、両者の一致性を判定することができる。
なお、本発明の実施の形態では、ＤＣ辞書６００のＬ１ユニット６３０においてチェンジ点間隔６３２に関連付けてコンテンツＩＤ６３３を記憶しているが、これに加えて以下のようにチェンジ点間隔リストにおけるノードＩＤを記憶してもよい。
図２６は、本発明の実施の形態におけるＤＣ辞書６００のＬ１ユニット６３０の変形例を示す図である。このＬ１ユニット６３０の変形例では、図１１のＬ１ユニット６３０と異なり、区間情報６３１においてチェンジ点間隔リストのノードＩＤ６３４をさらに記憶している。
この変形例のようにノードＩＤ６３４を設けることにより、ＣＤ辞書７００を参照する際に、対応するコンテンツＩＤのチェンジ点間隔リスト（チェンジ点間隔７３１）を全て読み出すことなく、必要なノードＩＤの近傍のチェンジ点間隔のみを読み出すことが可能となり、ＣＤ辞書７００に対して高速にアクセスすることができる。また、第１レイヤーから第２レイヤーに転送する際に、ノードＩＤ６３４を用いてソートすることが可能となり、高速に転送することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態におけるコンテンツ検索装置１００の一構成例を示すブロック図である。 本発明の実施の形態における動画コンテンツとチェンジ点との関係を示す図である。 本発明の実施の形態におけるチェンジ点判別の概要を示す図である。 本発明の実施の形態における特徴量抽出部２００の機能構成例を示すブロック図である。 本発明の実施の形態におけるカットチェンジ点間隔リストの概略を示す図である。 本発明の実施の形態における特徴量照合部１５０による照合の具体例を示す図である。 本発明の実施の形態におけるカットチェンジ点間隔リストの照合の態様を示す図である。 本発明の実施の形態における特徴量データベースの周辺の構成例を示す図である。 本発明の実施の形態における特徴量データベース３２０に対する操作の態様を示す図である。 本発明の実施の形態におけるＤＣ辞書６００とＣＤ辞書７００との関係を概念的に示す図である。 本発明の実施の形態におけるＤＣ辞書６００の一構成例を示す図である。 本発明の実施の形態におけるＣＤ辞書７００の一構成例を示す図である。このＣＤ辞書７００は、ヘッダ７１０と、インデックス７２０と、ユニット７３０とを備える。 本発明の実施の形態におけるチェンジ点間隔リストの例を示す図である。 本発明の実施の形態におけるＤＣ辞書６００の第１レイヤーに図１３のチェンジ点間隔リストを登録した場合の例を示す図である。 本発明の実施の形態におけるＤＣ辞書６００の第２レイヤーに図１３のチェンジ点間隔リストを登録した場合の例を示す図である。 本発明の実施の形態におけるＣＤ辞書７００に図１３のチェンジ点間隔リストを登録した場合の例を示す図である。 本発明の実施の形態におけるＤＣ辞書６００の転送に関する構成例を示す図である。 本発明の実施の形態におけるソート部６９３によるソートの一例を示す図である。 本発明の実施の形態におけるＣＤ辞書７００の転送に関する構成例を示す図である。 本発明の実施の形態におけるＤＣ辞書６００およびＣＤ辞書７００の配置例を示す図である。 ２階層のメモリ構成を有するマルチプロセッサシステムの構成例を示す図である。 マルチプロセッサシステムにおける本発明の実施の形態による動画コンテンツの登録処理例を示す図である。 マルチプロセッサシステムにおける本発明の実施の形態による動画コンテンツの照合処理例を示す図である。 本発明の実施の形態における特徴量の登録処理手順の一例を示す流れ図である。 本発明の実施の形態における特徴量の照合処理手順の一例を示す流れ図である。 本発明の実施の形態におけるＤＣ辞書６００のＬ１ユニット６３０の変形例を示す図である。
符号の説明
１００ コンテンツ検索装置
１１０ 動画入力部
１２０ ビデオ・オーディオデマルチプレクサ
１３０ ビデオデコード部
１４０ 特徴量データベース
１５０ 特徴量照合部
１６０ 判定結果出力部
２００ 特徴量抽出部
２１０ カラーヒストグラム抽出部
２２０ 連続フレーム間ヒストグラム差分算出部
２３０ 閾値保持部
２４０ カットチェンジ点判別部
２５０ チェンジ点間隔算出部
３１０ 登録動画特徴量抽出部
３２０ 特徴量データベース
３２１ ＤＣ辞書登録部
３２２ ＣＤ辞書登録部
３２３ ＤＣ辞書参照部
３２４ ＣＤ辞書参照部
３３０ 入力動画特徴量抽出部
３４０ 特徴量照合部
５１０ 要素プロセッサ
５２０ ローカルメモリ
５３０ 管理プロセッサ
５４０ メインメモリ
５５０ ハードディスク
６００ ＤＣ辞書
６０１ 第１レイヤー記憶部
６０２ 第２レイヤー記憶部
６０３ 第３レイヤー記憶部
６１０ ヘッダ
６２０ Ｌ１インデックス
６３０ Ｌ１ユニット
６４０ Ｌ２インデックス
６５０ Ｌ２ユニット
６９１、６９２ 登録状態管理部
６９３ ソート部
６９４、６９６ 転送部
６９５、６９７ 転送制御部
７００ ＣＤ辞書
７０１ 第１レイヤー記憶部
７０２ 第２レイヤー記憶部
７１０ ヘッダ
７２０ インデックス
７３０ ユニット
７９１ 登録状態管理部
７９４ 転送部
７９５ 転送制御部

Claims (10)

  1. 動画像における所定範囲内のチェンジ点間隔を単位として、前記動画像の識別情報を前記動画像におけるチェンジ点間隔と関連付けて連続アドレスに記憶する第一の識別情報記憶手段と、
    前記動画像におけるチェンジ点間隔を単位として、前記第一の識別情報記憶手段から転送された前記動画像の識別情報を連続アドレスに記憶する第二の識別情報記憶手段と、
    前記動画像におけるチェンジ点間隔リストを、前記動画像の識別情報と関連付けて記憶する点間隔記憶手段と、
    入力された動画像におけるチェンジ点間隔リストの値と、前記第一または第二の識別情報記憶手段に記憶されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出し、検出された前記チェンジ点間隔に関連付けられた前記動画像の識別情報を参照する識別情報参照手段と、
    前記点間隔記憶手段に記憶された動画像の識別情報の中から、前記識別情報参照手段により参照された識別情報を検出し、検出された前記識別情報に関連付けられたチェンジ点間隔リストを参照するリスト参照手段と、
    前記リスト参照手段により参照したチェンジ点間隔リストと前記入力された動画像におけるチェンジ点間隔リストとが一致するかを判定する判定手段と
    を具備する情報処理装置。
  2. 前記第一の識別情報記憶手段に記憶された情報が所定量を超えた場合に、前記所定範囲内のチェンジ点間隔に従って、前記識別情報をソートするソート手段
    をさらに具備する請求項１記載の情報処理装置。
  3. 前記第一の識別情報記憶手段は、各レコードにおける前記第一の識別情報記憶手段に記憶された情報が所定量を超えた場合に、前記第一の識別情報記憶手段に記憶された情報を、前記第二の識別情報記憶手段に転送する
    請求項１記載の情報処理装置。
  4. 前記第一の識別情報記憶手段は、全てのレコードにおける前記第一の識別情報記憶手段に記憶された情報の合計が所定量を超えた場合に、前記第一の識別情報記憶手段に記憶された情報を、前記第二の識別情報記憶手段に転送する
    請求項１記載の情報処理装置。
  5. 前記第二の識別情報記憶手段に記憶された情報の合計が所定量を超えた場合に、前記第二の識別情報記憶手段に記憶された情報の一部又は全てが転送され、当該情報の一部又は全てを記憶する第三の識別情報記憶手段
    をさらに具備する請求項１記載の情報処理装置。
  6. 前記第一の識別情報記憶手段は、
    前記動画像の識別情報を、所定数ずつ連続アドレスに記憶するユニット記憶手段と、
    前記ユニット記憶手段における前記識別情報のアドレスを記憶するインデックス記憶手段と
    を含む請求項１記載の情報処理装置。
  7. 前記第二の識別情報記憶手段は、
    前記動画像の識別情報を、所定数ずつ連続アドレスに記憶するユニット記憶手段と、
    前記ユニット記憶手段における前記識別情報のアドレスを記憶するインデックス記憶手段と
    を含む請求項１記載の情報処理装置。
  8. 動画像における所定範囲内のチェンジ点間隔を単位として、前記動画像の識別情報を前記動画像におけるチェンジ点間隔と関連付けて連続アドレスに記憶する第一の識別情報記憶手段と、前記動画像におけるチェンジ点間隔を単位として、前記第一の識別情報記憶手段から転送された前記動画像の識別情報を連続アドレスに記憶する第二の識別情報記憶手段と、前記動画像におけるチェンジ点間隔リストを、前記動画像の識別情報と関連付けて記憶する点間隔記憶手段とを備える情報処理装置におけるデータ処理方法であって、
    入力された動画像におけるチェンジ点間隔リストの値と、前記第一または第二の識別情報記憶手段に記憶されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出し、検出された前記チェンジ点間隔に関連付けられた前記動画像の識別情報を参照する識別情報参照手順と、
    前記点間隔記憶手段に記憶された動画像の識別情報の中から、前記識別情報参照手順により参照された識別情報を検出し、検出された前記識別情報に関連付けられたチェンジ点間隔リストを参照するリスト参照手順と、
    前記リスト参照手順により参照したチェンジ点間隔リストと前記入力された動画像におけるチェンジ点間隔リストとが一致するかを判定する判定手順と
    を具備するデータ処理方法。
  9. 動画像における所定範囲内のチェンジ点間隔を単位として、前記動画像の識別情報を前記動画像におけるチェンジ点間隔と関連付けて連続アドレスに記憶する第一の識別情報記憶手段と、前記動画像におけるチェンジ点間隔を単位として、前記第一の識別情報記憶手段から転送された前記動画像の識別情報を連続アドレスに記憶する第二の識別情報記憶手段と、前記動画像におけるチェンジ点間隔リストを、前記動画像の識別情報と関連付けて記憶する点間隔記憶手段とを備える情報処理装置において、
    入力された動画像におけるチェンジ点間隔リストの値と、前記第一または第二の識別情報記憶手段に記憶されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出し、検出された前記チェンジ点間隔に関連付けられた前記動画像の識別情報を参照する識別情報参照手順と、
    前記点間隔記憶手段に記憶された動画像の識別情報の中から、前記識別情報参照手順により参照された識別情報を検出し、検出された前記識別情報に関連付けられたチェンジ点間隔リストを参照するリスト参照手順と、
    前記リスト参照手順により参照したチェンジ点間隔リストと前記入力された動画像におけるチェンジ点間隔リストとが一致するかを判定する判定手順と
    をコンピュータに実行させるプログラム。
  10. 動画像における所定範囲内のチェンジ点間隔を単位として、前記動画像の識別情報を前記動画像におけるチェンジ点間隔と関連付けて連続アドレスに記憶する第一の識別情報記憶手段と、前記動画像におけるチェンジ点間隔を単位として、前記第一の識別情報記憶手段から転送された前記動画像の識別情報を連続アドレスに記憶する第二の識別情報記憶手段と、前記動画像におけるチェンジ点間隔リストを、前記動画像の識別情報と関連付けて記憶する点間隔記憶手段とを備える情報処理装置において、
    入力された動画像におけるチェンジ点間隔リストの値と、前記第一または第二の識別情報記憶手段に記憶されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出し、検出された前記チェンジ点間隔に関連付けられた前記動画像の識別情報を参照する識別情報参照手順と、
    前記点間隔記憶手段に記憶された動画像の識別情報の中から、前記識別情報参照手順により参照された識別情報を検出し、検出された前記識別情報に関連付けられたチェンジ点間隔リストを参照するリスト参照手順と、
    前記リスト参照手順により参照したチェンジ点間隔リストと前記入力された動画像におけるチェンジ点間隔リストとが一致するかを判定する判定手順と
    をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007213221A 2007-08-20 2007-08-20 データ処理装置、データ処理方法、プログラムおよび記録媒体 Expired - Fee Related JP4420085B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007213221A JP4420085B2 (ja) 2007-08-20 2007-08-20 データ処理装置、データ処理方法、プログラムおよび記録媒体
US12/177,364 US8817104B2 (en) 2007-08-20 2008-07-22 Data processing device and data processing method
KR1020080080846A KR20090019713A (ko) 2007-08-20 2008-08-19 데이터 처리 장치 및 데이터 처리 방법
CN2008102108443A CN101373483B (zh) 2007-08-20 2008-08-20 数据处理装置和数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007213221A JP4420085B2 (ja) 2007-08-20 2007-08-20 データ処理装置、データ処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2009049668A JP2009049668A (ja) 2009-03-05
JP4420085B2 true JP4420085B2 (ja) 2010-02-24

Family

ID=40381750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007213221A Expired - Fee Related JP4420085B2 (ja) 2007-08-20 2007-08-20 データ処理装置、データ処理方法、プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US8817104B2 (ja)
JP (1) JP4420085B2 (ja)
KR (1) KR20090019713A (ja)
CN (1) CN101373483B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5553152B2 (ja) * 2010-04-09 2014-07-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9122954B2 (en) * 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
CN106528800B (zh) * 2016-11-11 2019-10-08 叶一火 一种基于真实场景的影像生成方法及装置
JP7013182B2 (ja) * 2017-09-21 2022-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05174072A (ja) 1991-12-20 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 動画像検索処理方法
JP3200784B2 (ja) 1993-07-29 2001-08-20 キヤノン株式会社 動画像検索方法及び装置
US6055025A (en) * 1993-12-21 2000-04-25 Lucent Technologies, Inc. Method and apparatus for detecting abrupt and gradual scene changes in image sequences
US6546186B2 (en) * 1995-09-11 2003-04-08 Matsushita Electric Industrial Co., Ltd. Video/audio information collecting system using video camera and its editing system
JP3244629B2 (ja) * 1996-08-20 2002-01-07 株式会社日立製作所 シーン変化点検出方法
CA2196930C (en) * 1997-02-06 2005-06-21 Nael Hirzalla Video sequence recognition
JP3780623B2 (ja) * 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
JP2001028722A (ja) * 1999-07-13 2001-01-30 Matsushita Electric Ind Co Ltd 動画像管理装置及び動画像管理システム
US6675174B1 (en) * 2000-02-02 2004-01-06 International Business Machines Corp. System and method for measuring similarity between a set of known temporal media segments and a one or more temporal media streams
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
US6689890B2 (en) * 2000-05-04 2004-02-10 University Of South Florida Efficient lactam synthesis
US7363278B2 (en) * 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
CA2664732C (en) * 2002-04-12 2013-07-02 Mitsubishi Denki Kabushiki Kaisha An apparatus to edit, reproduce, deliver, search and re-generate condition settings for metadata
JP3844446B2 (ja) 2002-04-19 2006-11-15 日本電信電話株式会社 映像管理方法、装置、映像管理プログラム、および同プログラムを記録した記録媒体
JP4010179B2 (ja) 2002-05-02 2007-11-21 日本電信電話株式会社 データ識別装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2004234613A (ja) 2002-12-02 2004-08-19 Nec Corp 映像記述システムおよび方法、映像識別システムおよび方法
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
US7376274B2 (en) * 2004-08-31 2008-05-20 Sonic Solutions Method and apparatus for use in video searching
KR100652703B1 (ko) * 2004-12-08 2006-12-01 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법
JP4343120B2 (ja) 2005-01-21 2009-10-14 ソニー株式会社 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体
JP4301193B2 (ja) 2005-03-31 2009-07-22 ソニー株式会社 画像比較装置及び方法、画像検索装置及び方法、並びにプログラム及び記録媒体
WO2007033352A2 (en) * 2005-09-12 2007-03-22 3Vr Security, Inc. Storage of video analysis data for real-time alerting and forensic analysis
KR100729660B1 (ko) * 2005-12-09 2007-06-18 한국전자통신연구원 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법

Also Published As

Publication number Publication date
US8817104B2 (en) 2014-08-26
JP2009049668A (ja) 2009-03-05
US20090051771A1 (en) 2009-02-26
CN101373483B (zh) 2012-09-05
KR20090019713A (ko) 2009-02-25
CN101373483A (zh) 2009-02-25

Similar Documents

Publication Publication Date Title
US9785708B2 (en) Scalable, adaptable, and manageable system for multimedia identification
US8965863B1 (en) Scalable, adaptable, and manageable system for multimedia identification
CN101853486B (zh) 一种基于局部数字指纹的图像拷贝检测方法
JP4420085B2 (ja) データ処理装置、データ処理方法、プログラムおよび記録媒体
US20150254342A1 (en) Video dna (vdna) method and system for multi-dimensional content matching
CN110149529B (zh) 媒体信息的处理方法、服务器及存储介质
CN110688524A (zh) 视频检索方法、装置、电子设备及存储介质
KR100946694B1 (ko) 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법
Khan et al. Blockchain-enabled deep semantic video-to-video summarization for IoT devices
Zhou et al. Monitoring near duplicates over video streams
JP5366212B2 (ja) 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法
CN111191591A (zh) 一种水印检测、视频处理方法和相关设备
CN113157962B (zh) 图像检索方法、电子装置和存储介质
Kim et al. Video linkage: group based copied video detection
Liu et al. Video copy detection by conducting fast searching of inverted files
CN105989063B (zh) 视频检索方法和装置
Li et al. A confidence based recognition system for TV commercial extraction
CN108763465B (zh) 一种基于大数据的视频存储分配方法
JP5923744B2 (ja) 画像検索システム、画像検索方法及び検索装置
Wang et al. SSFS: A space-saliency fingerprint selection framework for crowdsourcing based mobile location recognition
JP2022112831A (ja) 顔追跡装置およびプログラム
CN111368115A (zh) 数据聚类方法、装置、聚类服务器及存储介质
JP7340992B2 (ja) 画像管理装置およびプログラム
CN110032652B (zh) 媒体文件查找方法和装置、存储介质及电子装置
Malhotra et al. AIR-IA: an analogous image removal approach using the intelligent archive

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees