JP2009049667A - Information processor, and processing method and program thereof - Google Patents

Information processor, and processing method and program thereof Download PDF

Info

Publication number
JP2009049667A
JP2009049667A JP2007213220A JP2007213220A JP2009049667A JP 2009049667 A JP2009049667 A JP 2009049667A JP 2007213220 A JP2007213220 A JP 2007213220A JP 2007213220 A JP2007213220 A JP 2007213220A JP 2009049667 A JP2009049667 A JP 2009049667A
Authority
JP
Japan
Prior art keywords
representative frame
representative
feature amount
candidate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007213220A
Other languages
Japanese (ja)
Inventor
Shinjiro Kakita
新次郎 柿田
Keita Shirane
慶太 白根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007213220A priority Critical patent/JP2009049667A/en
Publication of JP2009049667A publication Critical patent/JP2009049667A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To decide a suitable representative frame among respective frames constituting a motion image. <P>SOLUTION: A color histogram extraction unit 210 extracts color histograms by the frames constituting the motion image. A representative frame candidate decision unit 230 calculates difference values between a reference histogram held in a reference histogram holding unit 240 and the extracted color histograms, and compares the calculated difference values with a threshold held in a candidate selection threshold holding unit 220 to decide a representative frame candidate. A representative frame decision unit 260 calculates difference values between respective representative histograms held in a representative histogram holding unit 270 and a histogram corresponding to the decided representative frame candidate, and does not select a representative frame whose calculated difference value is equal to or less than a threshold held in a determination threshold holding unit 250 as a representative frame. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、情報処理装置に関し、特に、動画を検索することが可能な情報処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。   The present invention relates to an information processing apparatus, and more particularly, to an information processing apparatus capable of searching for a moving image, a processing method thereof, and a program for causing a computer to execute the method.

従来、動画を構成するフレームの中から特徴のあるフレームである代表フレームを抽出し、この代表フレームに関する特徴量を記憶する情報処理装置が存在する。そして、動画を再生する場合には、このように記憶された代表フレームに関する特徴量を用いて、ユーザの好みに応じた再生をすることができる。また、上述した代表フレームに関する特徴量を用いて、この代表フレームに対応する動画と類似する動画を検索することが可能な情報処理装置が存在する。   2. Description of the Related Art Conventionally, there exists an information processing apparatus that extracts a representative frame, which is a characteristic frame, from frames constituting a moving image and stores a feature amount related to the representative frame. Then, when playing back a moving image, it is possible to play back according to the user's preference using the feature amount related to the representative frame stored in this way. In addition, there is an information processing apparatus that can search for a moving image similar to the moving image corresponding to the representative frame by using the feature amount related to the representative frame.

上述した代表フレームを抽出する方法として、例えば、時間的に一定の周期でフレームをサンプリングする方法が存在する。この方法により代表フレームを抽出する場合には、各フレームの特徴量とは無関係にサンプリングが行われるため、互いに類似するフレームが代表フレームとしてサンプリングされる場合がある。この場合には、記憶すべき代表フレームに関する特徴量のサイズが大きくなるという問題がある。また、サンプリング周期が粗い場合には、特徴的な代表フレームを抽出することができない場合も考えられる。   As a method of extracting the representative frame described above, for example, there is a method of sampling a frame at a fixed period in time. When representative frames are extracted by this method, sampling is performed regardless of the feature amount of each frame, and therefore, similar frames may be sampled as representative frames. In this case, there is a problem that the size of the feature amount related to the representative frame to be stored becomes large. In addition, when the sampling period is rough, there may be a case where a characteristic representative frame cannot be extracted.

そこで、例えば、ビデオ信号のフレーム間の相関に基づいてシーン変化を検出し、シーン変化が検出された場合には、ビデオ信号の１フレーム分を静止画データとして記録する画像記録装置が提案されている（例えば、特許文献１参照。）。
特開平０６−２１７２５４号公報（図１） Therefore, for example, an image recording apparatus has been proposed that detects a scene change based on the correlation between frames of a video signal and records one frame of the video signal as still image data when the scene change is detected. (For example, refer to Patent Document 1).
Japanese Patent Laid-Open No. 06-217254 (FIG. 1)

上述の従来技術では、動画においてシーン変化が検出された場合には、ビデオ信号の１フレーム分を静止画データとして記録するため、互いに類似する１フレーム分のデータが記録されることを低減させることができる。   In the above-described prior art, when a scene change is detected in a moving image, one frame of the video signal is recorded as still image data, so that it is possible to reduce the recording of one frame of data similar to each other. Can do.

しかしながら、近年では、多数の動画を記録することが可能な画像記録装置が存在する。また、インターネット等のネットワーク技術の向上等によって、インターネットに接続されている複数のパソコン（パーソナルコンピュータ）間で動画を共有して閲覧することが可能な動画共有システムが普及している。このため、ユーザが取り扱うことが可能な動画の数は非常に多く、再生や検索等を迅速に処理することが求められている。これらの動画について、代表フレームに関する特徴量を用いて再生や類似検索を迅速に行うためには、記憶しておくべき代表フレームに関する特徴量の情報量をさらに削減して、再生や検索等に係る処理量を削減することが重要である。   However, in recent years, there are image recording apparatuses capable of recording a large number of moving images. In addition, due to improvements in network technology such as the Internet, a moving image sharing system that allows a moving image to be shared and viewed among a plurality of personal computers (personal computers) connected to the Internet has become widespread. For this reason, the number of moving images that can be handled by the user is very large, and it is required to quickly process playback and search. For these videos, in order to quickly perform the reproduction and similarity search using the feature amount related to the representative frame, the information amount of the feature amount related to the representative frame that should be stored is further reduced to relate to the playback and the search. It is important to reduce the throughput.

そこで、本発明は、動画を構成する各フレームから適切な代表フレームを判別することを目的とする。   Accordingly, an object of the present invention is to determine an appropriate representative frame from each frame constituting a moving image.

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画を構成するフレーム毎の特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段により抽出された特徴量に基づいて、上記動画を構成するフレームの中から代表フレーム候補を判別する代表フレーム候補判別手段と、上記代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、上記代表フレーム候補の中から代表フレームを判別する代表フレーム判別手段とを具備する情報処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、動画を構成するフレーム毎の特徴量を抽出し、この抽出された特徴量に基づいて、動画を構成するフレームの中から代表フレーム候補を判別し、この代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、代表フレーム候補の中から代表フレームを判別するという作用をもたらす。   The present invention has been made to solve the above problems, and a first aspect of the present invention is extracted by a feature amount extraction unit that extracts a feature amount for each frame constituting a moving image and the feature amount extraction unit. The difference between the representative frame candidate determining means for determining the representative frame candidate from the frames constituting the moving image based on the feature amount and the representative frame candidate feature amount that is the feature amount extracted for the representative frame candidate. And an information processing apparatus including a representative frame discriminating unit that discriminates a representative frame from the representative frame candidates, a processing method thereof, and a program for causing a computer to execute the method. As a result, the feature amount for each frame constituting the moving image is extracted, the representative frame candidate is determined from the frames constituting the moving image based on the extracted feature amount, and the feature extracted for the representative frame candidate By using the difference between the representative frame candidate feature quantities, which is a quantity, the representative frame is discriminated from the representative frame candidates.

また、この第１の側面において、上記代表フレーム判別手段は、上記代表フレーム候補特徴量のそれぞれの差分を算出し、当該算出された差分が所定の範囲内に存在するか否かに基づいて上記代表フレームを判別することができる。これにより、代表フレーム候補特徴量のそれぞれの差分を算出して、この算出された差分が所定の範囲内に存在するか否かに基づいて、代表フレーム候補の中から代表フレームを判別するという作用をもたらす。   In the first aspect, the representative frame determination unit calculates a difference between the representative frame candidate feature amounts, and determines whether the calculated difference is within a predetermined range. A representative frame can be determined. Thus, the difference between the representative frame candidate feature amounts is calculated, and the representative frame is determined from the representative frame candidates based on whether or not the calculated difference exists within a predetermined range. Bring.

また、この第１の側面において、上記代表フレーム候補のうちで最後に判別された代表フレーム候補について抽出された特徴量を参照特徴量として保持する参照特徴量保持手段をさらに具備し、上記代表フレーム候補判別手段は、上記参照特徴量と上記抽出された特徴量とを比較して当該比較結果に基づいて上記代表フレーム候補を判別することができる。これにより、代表フレーム候補のうちで最後に判別された代表フレーム候補について抽出された特徴量を参照特徴量として保持し、この参照特徴量と判別対象の特徴量とを比較して、この比較結果に基づいて代表フレーム候補を判別するという作用をもたらす。   Further, in the first aspect, the image processing apparatus further comprises reference feature amount holding means for holding a feature amount extracted for the representative frame candidate most recently determined among the representative frame candidates as a reference feature amount, The candidate determination unit can compare the reference feature amount with the extracted feature amount and determine the representative frame candidate based on the comparison result. As a result, the feature quantity extracted for the representative frame candidate most recently discriminated among the representative frame candidates is retained as a reference feature quantity, and the comparison feature value is compared with the reference feature quantity. Based on the above, the representative frame candidate is discriminated.

また、この第１の側面において、上記代表フレーム候補を判別するための閾値を保持する候補選択閾値保持手段をさらに具備し、上記代表フレーム候補判別手段は、上記参照特徴量と上記抽出された特徴量との差分値を算出し、当該算出された差分値と上記候補選択閾値保持手段に保持されている閾値とを比較することにより上記代表フレーム候補を判別することができる。これにより、参照特徴量と判別対象の特徴量との差分値を算出し、この算出された差分値と候補選択閾値保持手段に保持されている閾値とを比較することによって、代表フレーム候補を判別するという作用をもたらす。   The first aspect further includes candidate selection threshold value holding means for holding a threshold value for determining the representative frame candidate, wherein the representative frame candidate determination means includes the reference feature amount and the extracted feature. The representative frame candidate can be determined by calculating a difference value from the amount and comparing the calculated difference value with a threshold value held in the candidate selection threshold value holding means. As a result, a difference value between the reference feature amount and the feature amount to be discriminated is calculated, and the representative frame candidate is discriminated by comparing the calculated difference value with the threshold value held in the candidate selection threshold value holding means. The effect of doing.

また、この第１の側面において、上記代表フレーム候補を判別するための閾値を保持する候補選択閾値保持手段をさらに具備し、上記代表フレーム候補判別手段は、上記参照特徴量と上記抽出された特徴量とのユークリッド距離を算出し、当該算出されたユークリッド距離の値と上記候補選択閾値保持手段に保持されている閾値とを比較することにより上記代表フレーム候補を判別することができる。これにより、参照特徴量と判別対象の特徴量とのユークリッド距離を算出し、この算出されたユークリッド距離の値と候補選択閾値保持手段に保持されている閾値とを比較することによって、代表フレーム候補を判別するという作用をもたらす。   The first aspect further includes candidate selection threshold value holding means for holding a threshold value for determining the representative frame candidate, wherein the representative frame candidate determination means includes the reference feature amount and the extracted feature. The representative frame candidate can be discriminated by calculating the Euclidean distance with the amount and comparing the calculated Euclidean distance value with the threshold value held in the candidate selection threshold value holding means. Thereby, the Euclidean distance between the reference feature quantity and the feature quantity to be discriminated is calculated, and by comparing the calculated Euclidean distance value with the threshold value held in the candidate selection threshold value holding means, the representative frame candidate The effect of discriminating is brought about.

また、この第１の側面において、上記代表フレームについて抽出された特徴量を代表特徴量として保持する代表特徴量保持手段をさらに具備し、上記代表フレーム判別手段は、上記代表特徴量保持手段に保持されている各代表特徴量と上記代表フレーム候補特徴量との差分を算出し、当該算出された差分が所定の範囲内に存在するか否かに基づいて上記代表フレームを判別することができる。これにより、代表フレームについて抽出された特徴量を代表特徴量として保持し、各代表特徴量と代表フレーム候補特徴量との差分を算出して、この算出された差分が所定の範囲内に存在するか否かに基づいて代表フレームを判別するという作用をもたらす。   Further, in the first aspect, the image processing apparatus further includes a representative feature amount holding unit that holds a feature amount extracted for the representative frame as a representative feature amount, and the representative frame determination unit holds the representative feature amount holding unit in the representative feature amount holding unit. The difference between each representative feature amount and the representative frame candidate feature amount is calculated, and the representative frame can be determined based on whether or not the calculated difference exists within a predetermined range. Thereby, the feature amount extracted for the representative frame is held as the representative feature amount, the difference between each representative feature amount and the representative frame candidate feature amount is calculated, and the calculated difference exists within a predetermined range. The representative frame is discriminated based on whether or not it is.

また、この第１の側面において、上記代表フレームを判別するための閾値を保持する決定閾値保持手段をさらに具備し、上記代表フレーム判別手段は、上記代表特徴量保持手段に保持されている各代表特徴量と上記代表フレーム候補特徴量との差分値を算出し、当該算出された差分値と上記決定閾値保持手段に保持されている閾値とを比較することにより上記算出された差分値のうちの少なくとも１つが上記決定閾値保持手段に保持されている閾値以下である代表フレーム候補を上記代表フレームとして選択しないことができる。これにより、各代表特徴量と代表フレーム候補特徴量との差分値を算出し、この算出された差分値と決定閾値保持手段に保持されている閾値とを比較することによって、算出された差分値のうちの少なくとも１つが、その閾値以下である代表フレーム候補を代表フレームとして選択しないという作用をもたらす。   In the first aspect, the image processing apparatus further includes a determination threshold value holding unit that holds a threshold value for determining the representative frame, and the representative frame determination unit includes each representative value held in the representative feature value holding unit. A difference value between the feature amount and the representative frame candidate feature amount is calculated, and the calculated difference value is compared with a threshold value held in the determination threshold value holding unit. A representative frame candidate whose at least one is equal to or less than the threshold value held in the determination threshold value holding unit may not be selected as the representative frame. Thereby, a difference value between each representative feature amount and the representative frame candidate feature amount is calculated, and the calculated difference value is compared with the threshold value held in the determination threshold value holding unit. At least one of them has an effect of not selecting a representative frame candidate that is equal to or lower than the threshold as a representative frame.

また、この第１の側面において、上記代表フレームを判別するための閾値を保持する決定閾値保持手段をさらに具備し、上記代表フレーム判別手段は、上記代表特徴量保持手段に保持されている各代表特徴量と上記代表フレーム候補特徴量とのユークリッド距離を算出し、当該算出されたユークリッド距離の値と上記決定閾値保持手段に保持されている閾値とを比較することにより上記算出されたユークリッド距離の値のうちの少なくとも１つが上記決定閾値保持手段に保持されている閾値以下である代表フレーム候補を上記代表フレームとして選択しないことができる。これにより、各代表特徴量と代表フレーム候補特徴量とのユークリッド距離を算出し、この算出されたユークリッド距離の値と、決定閾値保持手段に保持されている閾値とを比較することによって、算出されたユークリッド距離の値のうちの少なくとも１つが、その閾値以下である代表フレーム候補を代表フレームとして選択しないという作用をもたらす。   In the first aspect, the image processing apparatus further includes a determination threshold value holding unit that holds a threshold value for determining the representative frame, and the representative frame determination unit includes each representative value held in the representative feature value holding unit. The Euclidean distance between the feature quantity and the representative frame candidate feature quantity is calculated, and the calculated Euclidean distance is compared with the calculated Euclidean distance value and the threshold value held in the determination threshold value holding means. A representative frame candidate in which at least one of the values is equal to or less than the threshold value held in the determination threshold value holding unit may not be selected as the representative frame. Thus, the Euclidean distance between each representative feature quantity and the representative frame candidate feature quantity is calculated, and the calculated Euclidean distance value is compared with the threshold value held in the decision threshold value holding means. In addition, the representative frame candidate having at least one of the Euclidean distance values equal to or less than the threshold value is not selected as the representative frame.

また、この第１の側面において、上記動画を構成するフレームに対応する画面において一定の変化が検出された時間軸における位置を示すチェンジ点を検出するチェンジ点検出手段と、上記検出されたチェンジ点間の間隔を示すチェンジ点間隔を算出するチェンジ点間隔算出手段とをさらに具備し、上記代表フレーム候補判別手段は、上記算出されたチェンジ点間隔毎に上記代表フレーム候補を判別し、上記代表フレーム判別手段は、上記チェンジ点間隔毎に判別された代表フレーム候補の中から代表フレームを判別することができる。これにより、チェンジ点を検出するとともにチェンジ点間隔を算出し、この算出されたチェンジ点間隔毎に代表フレーム候補を判別し、チェンジ点間隔毎に判別された代表フレーム候補の中から代表フレームを判別するという作用をもたらす。   Further, in the first aspect, change point detecting means for detecting a change point indicating a position on a time axis at which a certain change is detected on a screen corresponding to a frame constituting the moving image, and the detected change point Change point interval calculating means for calculating a change point interval indicating an interval between the representative frame candidates, wherein the representative frame candidate determining means determines the representative frame candidate for each of the calculated change point intervals. The discriminating means can discriminate the representative frame from the representative frame candidates discriminated at every change point interval. As a result, change points are detected, change point intervals are calculated, representative frame candidates are determined for each calculated change point interval, and representative frames are determined from representative frame candidates determined for each change point interval. The effect of doing.

本発明によれば、動画を構成する各フレームから適切な代表フレームを判別することができるという優れた効果を奏し得る。   According to the present invention, it is possible to achieve an excellent effect that an appropriate representative frame can be determined from each frame constituting a moving image.

次に本発明の実施の形態について図面を参照して詳細に説明する。   Next, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。この情報処理装置１００は、動画入力部１１０と、ビデオ・オーディオデマルチプレクサ１２０と、ビデオデコード部１３０と、データベース１４０と、特徴量照合部１５０と、判定結果出力部１６０と、特徴量抽出部２００とを備える。なお、この情報処理装置１００は、例えば、デジタルビデオカメラ等の撮像装置で撮影された動画について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。   FIG. 1 is a block diagram illustrating a functional configuration example of an information processing apparatus 100 according to an embodiment of the present invention. The information processing apparatus 100 includes a moving image input unit 110, a video / audio demultiplexer 120, a video decoding unit 130, a database 140, a feature amount matching unit 150, a determination result output unit 160, and a feature amount extraction unit 200. With. For example, the information processing apparatus 100 extracts a feature amount by video analysis from a moving image shot by an imaging device such as a digital video camera, and performs various image processing using the extracted feature amount. It can be realized by a possible personal computer.

動画入力部１１０は、動画を入力する動画入力部であり、入力された動画をビデオ・オーディオデマルチプレクサ１２０に出力する。動画入力部１１０に入力される動画としては、例えば、撮像装置で撮影された動画やテレビジョン放送で受信された動画等が考えられる。   The moving image input unit 110 is a moving image input unit that inputs a moving image, and outputs the input moving image to the video / audio demultiplexer 120. As the moving image input to the moving image input unit 110, for example, a moving image shot by an imaging device or a moving image received by television broadcasting can be considered.

ビデオ・オーディオデマルチプレクサ１２０は、動画入力部１１０から出力された動画について、ビデオデータ（信号）とオーディオデータ（信号）とに分離するものであり、分離されたビデオデータをビデオデコード部１３０に出力する。なお、分離されたオーディオデータは、本発明の実施の形態においては特に利用されない。   The video / audio demultiplexer 120 separates the video output from the video input unit 110 into video data (signal) and audio data (signal), and outputs the separated video data to the video decoding unit 130. To do. Note that the separated audio data is not particularly used in the embodiment of the present invention.

ビデオデコード部１３０は、ビデオ・オーディオデマルチプレクサ１２０から出力されたビデオデータをデコードしてベースバンドデータを生成するものであり、生成されたベースバンドデータを特徴量抽出部２００に出力する。   The video decoding unit 130 decodes the video data output from the video / audio demultiplexer 120 to generate baseband data, and outputs the generated baseband data to the feature amount extraction unit 200.

特徴量抽出部２００は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて特徴量を抽出するものであり、抽出された特徴量をデータベース１４０および特徴量照合部１５０に出力する。具体的には、特徴量抽出部２００は、動画を構成する各フレームから少なくとも１つの代表フレームを判別して、この代表フレームに対応するカラーヒストグラムである代表ヒストグラムを特徴量としてデータベース１４０および特徴量照合部１５０に出力する。なお、特徴量抽出部２００については、図２を参照して詳細に説明する。   The feature amount extraction unit 200 extracts feature amounts based on the baseband data output from the video decoding unit 130, and outputs the extracted feature amounts to the database 140 and the feature amount collation unit 150. Specifically, the feature amount extraction unit 200 discriminates at least one representative frame from each frame constituting the moving image, and uses the representative histogram which is a color histogram corresponding to the representative frame as the feature amount, and the database 140 and the feature amount. The data is output to the verification unit 150. The feature quantity extraction unit 200 will be described in detail with reference to FIG.

データベース１４０は、特徴量抽出部２００から出力された代表ヒストグラムを動画毎に格納するデータベースであり、格納されている代表ヒストグラムを動画毎に特徴量照合部１５０に出力する。   The database 140 is a database that stores the representative histogram output from the feature amount extraction unit 200 for each moving image, and outputs the stored representative histogram to the feature amount matching unit 150 for each moving image.

特徴量照合部１５０は、特徴量抽出部２００から出力された代表ヒストグラムと、データベース１４０に格納されている代表ヒストグラムとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４０に格納されている代表ヒストグラムに対応する動画とを照合して、両者が一致または類似するか否かを判定するものであり、この判定結果を示す類似リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５０は、動画入力部１１０に入力された動画と一致または類似する動画に対応する代表ヒストグラムを、データベース１４０に格納されている代表ヒストグラムの中から検索して、一致または類似の判定を行う。   The feature amount matching unit 150 compares the representative histogram output from the feature amount extraction unit 200 with the representative histogram stored in the database 140, and based on the comparison result, the moving image input to the moving image input unit 110 And the moving image corresponding to the representative histogram stored in the database 140 are determined to determine whether or not they match or are similar, and a similar list indicating the determination result is determined as the determination result output unit 160. Output to. That is, the feature amount matching unit 150 searches the representative histogram stored in the database 140 for a representative histogram corresponding to a moving image that matches or is similar to the moving image input to the moving image input unit 110, and matches or resembles it. Judgment is made.

判定結果出力部１６０は、特徴量照合部１５０から出力された類似リストを出力するものである。例えば、特徴量照合部１５０から出力された類似リストを表示して出力することができる。   The determination result output unit 160 outputs the similarity list output from the feature amount matching unit 150. For example, the similarity list output from the feature amount matching unit 150 can be displayed and output.

図２は、特徴量抽出部２００の機能構成例を示すブロック図である。特徴量抽出部２００は、カラーヒストグラム抽出部２１０と、候補選択閾値保持部２２０と、代表フレーム候補判別部２３０と、参照ヒストグラム保持部２４０と、決定閾値保持部２５０と、代表フレーム判別部２６０と、代表ヒストグラム保持部２７０とを備える。   FIG. 2 is a block diagram illustrating a functional configuration example of the feature amount extraction unit 200. The feature amount extraction unit 200 includes a color histogram extraction unit 210, a candidate selection threshold storage unit 220, a representative frame candidate determination unit 230, a reference histogram storage unit 240, a determination threshold storage unit 250, and a representative frame determination unit 260. And a representative histogram holding unit 270.

図３（ａ）および（ｂ）は、ビデオデコード部１３０から出力されたベースバンドデータからフレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号[0]（赤）Ｃｒのカラーヒストグラムの一例を示す図である。図３（ａ）および（ｂ）に示すグラフおいて、横軸は階調を示し、縦軸は頻度を示す。図３（ｃ）は、図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分を示す図である。図３（ｃ）において、斜線で示す領域が、図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分値に相当する領域である。なお、図３については、図２を参照して詳細に説明する。   3A and 3B show the luminance signal Y, the color difference signal (blue) Cb, and the color difference signal [0] (red) Cr extracted from the baseband data output from the video decoding unit 130 for each frame. It is a figure which shows an example of a color histogram. In the graphs shown in FIGS. 3A and 3B, the horizontal axis indicates gradation and the vertical axis indicates frequency. FIG. 3C is a diagram showing a difference in area between the color histograms shown in FIGS. 3A and 3B. In FIG. 3C, the shaded area is an area corresponding to the difference value of the area of the color histogram shown in FIGS. 3A and 3B. 3 will be described in detail with reference to FIG.

図４は、動画を構成する各フレームを時系列に並べられた場合を概念的に示す図である。この例では、撮像装置により撮影された動画３００を構成するフレーム３０１乃至３１５を概略的に示す。なお、図４については、図２を参照して詳細に説明する。   FIG. 4 is a diagram conceptually illustrating a case where frames constituting a moving image are arranged in time series. In this example, frames 301 to 315 constituting the moving image 300 photographed by the imaging device are schematically shown. 4 will be described in detail with reference to FIG.

カラーヒストグラム抽出部２１０は、ビデオデコード部１３０から出力されたベースバンドデータをバッファに保持して、このバッファに保持されたベースバンドデータから画面全体のＹ、ＣｂおよびＣｒのカラーヒストグラムをサンプリングし、このサンプリングされたカラーヒストグラムについて、階調をＮ段階（例えば、Ｎ＝１６）に分け、各階調における頻度の和が一定になるように正規化を行うものである。そして、正規化が施されたＹ、ＣｂおよびＣｒのヒストグラムを代表フレーム候補判別部２３０にフレーム毎に出力するものである。例えば、動画を構成する１つのフレームについて抽出されたＹ、ＣｂおよびＣｒのヒストグラムを図３（ａ）に示し、図３（ａ）に示すヒストグラムに対応するフレームとは異なるフレームについて抽出されたＹ、ＣｂおよびＣｒのヒストグラムを図３（ｂ）に示す。このように、動画入力部１１０に入力された動画を構成する各フレームについて、Ｙ、ＣｂおよびＣｒのヒストグラムが抽出される。   The color histogram extraction unit 210 holds the baseband data output from the video decoding unit 130 in a buffer, samples the Y, Cb, and Cr color histograms of the entire screen from the baseband data held in the buffer, The sampled color histogram is divided into N stages (for example, N = 16), and normalization is performed so that the sum of frequencies in each gradation is constant. Then, the normalized histograms of Y, Cb, and Cr are output to the representative frame candidate determination unit 230 for each frame. For example, a histogram of Y, Cb, and Cr extracted for one frame constituting a moving image is shown in FIG. 3A, and Y extracted for a frame different from the frame corresponding to the histogram shown in FIG. A histogram of Cb and Cr is shown in FIG. In this manner, Y, Cb, and Cr histograms are extracted for each frame constituting the moving image input to the moving image input unit 110.

候補選択閾値保持部２２０は、代表フレーム候補判別部２３０が代表フレーム候補を判別する場合に用いられる閾値を保持するものであり、保持されている閾値を代表フレーム候補判別部２３０に出力する。   The candidate selection threshold value holding unit 220 holds a threshold value used when the representative frame candidate determination unit 230 determines a representative frame candidate, and outputs the stored threshold value to the representative frame candidate determination unit 230.

代表フレーム候補判別部２３０は、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムと、参照ヒストグラム保持部２４０に保持されている参照ヒストグラムとの面積の差分値を算出するものである。そして、代表フレーム候補判別部２３０は、この算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上であるか否かに基づいて、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムに対応するフレームが代表フレーム候補であるか否かを判別する。すなわち、代表フレーム候補判別部２３０は、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上である場合には、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムに対応するフレームが代表フレーム候補であると判別して、そのカラーヒストグラムを参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力する。一方、代表フレーム候補判別部２３０は、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値未満である場合には、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムに対応するフレームが代表フレーム候補ではないと判別する。このように代表フレーム候補ではないと判別された場合には、参照ヒストグラム保持部２４０および代表フレーム判別部２６０にはカラーヒストグラムが出力されない。なお、代表フレーム候補判別部２３０は、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムに対応するフレームが、動画の先頭のフレームである場合には、参照ヒストグラム保持部２４０に保持されている参照ヒストグラムが存在しないため、この先頭のフレームが代表フレーム候補であると判別して、そのカラーヒストグラムを参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力する。   The representative frame candidate determination unit 230 calculates a difference value of the area between the color histogram output from the color histogram extraction unit 210 and the reference histogram held in the reference histogram holding unit 240. Then, the representative frame candidate determination unit 230 is output from the color histogram extraction unit 210 based on whether or not the calculated histogram difference value is equal to or greater than the threshold value stored in the candidate selection threshold value storage unit 220. It is determined whether or not the frame corresponding to the color histogram is a representative frame candidate. That is, the representative frame candidate determination unit 230 responds to the color histogram output from the color histogram extraction unit 210 when the calculated histogram difference value is equal to or greater than the threshold stored in the candidate selection threshold storage unit 220. It is determined that the frame to be represented is a representative frame candidate, and the color histogram is output to the reference histogram holding unit 240 and the representative frame determination unit 260. On the other hand, the representative frame candidate determination unit 230 corresponds to the color histogram output from the color histogram extraction unit 210 when the calculated histogram difference value is less than the threshold stored in the candidate selection threshold storage unit 220. It is determined that the frame to be performed is not a representative frame candidate. As described above, when it is determined that the frame is not a representative frame candidate, a color histogram is not output to the reference histogram holding unit 240 and the representative frame determination unit 260. Note that the representative frame candidate determination unit 230, when the frame corresponding to the color histogram output from the color histogram extraction unit 210 is the first frame of the moving image, the reference histogram stored in the reference histogram storage unit 240. Therefore, it is determined that the first frame is a representative frame candidate, and the color histogram is output to the reference histogram holding unit 240 and the representative frame determination unit 260.

ここで、図４に示すフレーム３０１乃至３１５が代表フレーム候補判別部２３０に入力された場合について説明する。なお、図４に示すフレーム３０１乃至３１５において、例えば、フレーム３０１は先頭のフレームであり、フレーム３１５は後端のフレームであるものとする。この場合においては、フレーム３０１は先頭のフレームであるため、代表フレーム候補判別部２３０は、フレーム３０１が代表フレーム候補であると判別して、フレーム３０１に対応するカラーヒストグラムを参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力する。続いて、フレーム３０２が入力されると、代表フレーム候補判別部２３０は、参照ヒストグラム保持部２４０に保持されているフレーム３０１に対応するカラーヒストグラムと、フレーム３０２に対応するカラーヒストグラムとのヒストグラム差分値を算出し、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上であるか否かにより、フレーム３０２が代表フレーム候補であるか否かを判別する。また、同様に、フレーム３０１に対応するカラーヒストグラムと、フレーム３０３乃至３０７に対応するカラーヒストグラムとのヒストグラム差分値が順次算出され、フレーム３０３乃至３０７が代表フレーム候補であるか否かが順次判別される。   Here, a case where the frames 301 to 315 illustrated in FIG. 4 are input to the representative frame candidate determination unit 230 will be described. Note that, in the frames 301 to 315 illustrated in FIG. 4, for example, the frame 301 is a leading frame and the frame 315 is a trailing frame. In this case, since the frame 301 is the first frame, the representative frame candidate determination unit 230 determines that the frame 301 is a representative frame candidate, and displays the color histogram corresponding to the frame 301 as the reference histogram holding unit 240 and The data is output to the representative frame determination unit 260. Subsequently, when the frame 302 is input, the representative frame candidate determination unit 230 causes the histogram difference value between the color histogram corresponding to the frame 301 held in the reference histogram holding unit 240 and the color histogram corresponding to the frame 302. And whether or not the frame 302 is a representative frame candidate is determined based on whether or not the calculated histogram difference value is equal to or greater than the threshold stored in the candidate selection threshold storage unit 220. Similarly, histogram difference values between the color histogram corresponding to the frame 301 and the color histogram corresponding to the frames 303 to 307 are sequentially calculated, and it is sequentially determined whether or not the frames 303 to 307 are representative frame candidates. The

例えば、図４に示すフレーム３０１乃至３１５については、フレーム３０１および３０７、フレーム３０７および３１０、フレーム３１０および３１５に対応するカラーヒストグラムのそれぞれのヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上であるものとし、これら以外のヒストグラム差分値は候補選択閾値保持部２２０に保持されている閾値未満であるものとする。この場合には、フレーム３０１、３０７、３１０、３１５が代表フレーム候補であると順次判別される。そして、フレーム３０１、３０７、３１０、３１５に対応するカラーヒストグラムが参照ヒストグラム保持部２４０および代表フレーム判別部２６０に順次出力される。   For example, for the frames 301 to 315 shown in FIG. 4, the histogram difference values of the color histograms corresponding to the frames 301 and 307, the frames 307 and 310, and the frames 310 and 315 are held in the candidate selection threshold holding unit 220. It is assumed that the threshold difference value other than these is less than the threshold value held in the candidate selection threshold value holding unit 220. In this case, it is sequentially determined that the frames 301, 307, 310, and 315 are representative frame candidates. Then, the color histograms corresponding to the frames 301, 307, 310, and 315 are sequentially output to the reference histogram holding unit 240 and the representative frame determination unit 260.

参照ヒストグラム保持部２４０は、代表フレーム候補判別部２３０から出力されたカラーヒストグラムを参照ヒストグラムとして保持するとともに、保持されている参照ヒストグラムを代表フレーム候補判別部２３０に出力するものである。なお、参照ヒストグラム保持部２４０は、代表フレーム候補判別部２３０からカラーヒストグラムが出力される毎に、保持されている参照ヒストグラムを削除する。すなわち、代表フレーム候補判別部２３０から最後に出力されたカラーヒストグラムのみが参照ヒストグラムとして保持される。   The reference histogram holding unit 240 holds the color histogram output from the representative frame candidate determination unit 230 as a reference histogram, and outputs the stored reference histogram to the representative frame candidate determination unit 230. The reference histogram holding unit 240 deletes the held reference histogram every time a color histogram is output from the representative frame candidate determination unit 230. That is, only the color histogram output last from the representative frame candidate determination unit 230 is held as the reference histogram.

決定閾値保持部２５０は、代表フレーム判別部２６０が代表フレームを決定する場合に用いられる閾値を保持するものであり、保持されている閾値を代表フレーム判別部２６０に出力する。なお、候補選択閾値保持部２２０または決定閾値保持部２５０に保持される閾値は、同一の値を用いるようにしてもよく、異なる値を用いるようにしてもよい。   The determination threshold value holding unit 250 holds a threshold value used when the representative frame determination unit 260 determines a representative frame, and outputs the stored threshold value to the representative frame determination unit 260. Note that the same value may be used as the threshold value held in the candidate selection threshold value holding unit 220 or the decision threshold value holding unit 250, or different values may be used.

代表フレーム判別部２６０は、代表フレーム候補判別部２３０から出力されたカラーヒストグラムと、代表ヒストグラム保持部２７０に保持されている各カラーヒストグラムとの面積の差分値をそれぞれ算出するものである。そして、代表フレーム判別部２６０は、この算出された各ヒストグラム差分値が、決定閾値保持部２５０に保持されている閾値以下であるか否かに基づいて、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームであるか否かを判別する。すなわち、代表フレーム判別部２６０は、算出されたヒストグラム差分値の全てが、決定閾値保持部２５０に保持されている閾値以上である場合には、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームであると判別して、そのカラーヒストグラムを代表ヒストグラム保持部２７０、データベース１４０および特徴量照合部１５０に出力する。一方、代表フレーム判別部２６０は、算出されたヒストグラム差分値のうちの少なくとも１つが、決定閾値保持部２５０に保持されている閾値以下である場合には、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームではなく類似フレームであると判別する。このように代表フレームではないと判別された場合には、代表ヒストグラム保持部２７０、データベース１４０および特徴量照合部１５０にはカラーヒストグラムが出力されない。なお、代表フレーム判別部２６０は、算出されたヒストグラム差分値のうちの少なくとも１つが、決定閾値保持部２５０に保持されている閾値以上である場合には、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームであると判別するようにしてもよい。この場合において、代表フレーム判別部２６０は、算出されたヒストグラム差分値の全てが、決定閾値保持部２５０に保持されている閾値以下である場合には、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームではなく類似フレームであると判別する。   The representative frame discriminating unit 260 calculates an area difference value between the color histogram output from the representative frame candidate discriminating unit 230 and each color histogram held in the representative histogram holding unit 270. Then, the representative frame determination unit 260 is output from the representative frame candidate determination unit 230 based on whether or not each of the calculated histogram difference values is equal to or less than the threshold value stored in the determination threshold value storage unit 250. It is determined whether or not the frame corresponding to the color histogram is a representative frame. That is, the representative frame discriminating unit 260 displays the color histogram output from the representative frame candidate discriminating unit 230 when all of the calculated histogram difference values are equal to or larger than the threshold held in the decision threshold holding unit 250. It is determined that the corresponding frame is a representative frame, and the color histogram is output to the representative histogram holding unit 270, the database 140, and the feature amount matching unit 150. On the other hand, the representative frame discriminating unit 260 is output from the representative frame candidate discriminating unit 230 when at least one of the calculated histogram difference values is equal to or less than the threshold held in the decision threshold holding unit 250. It is determined that the frame corresponding to the color histogram is not a representative frame but a similar frame. As described above, when it is determined that the frame is not a representative frame, the color histogram is not output to the representative histogram holding unit 270, the database 140, and the feature amount matching unit 150. The representative frame discriminating unit 260 is output from the representative frame candidate discriminating unit 230 when at least one of the calculated histogram difference values is equal to or greater than the threshold held in the decision threshold holding unit 250. It may be determined that the frame corresponding to the color histogram is the representative frame. In this case, the representative frame discriminating unit 260 determines that the color output from the representative frame candidate discriminating unit 230 when all of the calculated histogram difference values are equal to or less than the threshold held in the decision threshold holding unit 250. It is determined that the frame corresponding to the histogram is not a representative frame but a similar frame.

例えば、図４に示すフレーム３０１、３０７、３１０、３１５が代表フレーム判別部２６０に順次入力される。例えば、フレーム３１０が代表フレーム判別部２６０に入力された場合には、代表ヒストグラム保持部２７０に既に保持されているフレーム３０１、３０７に対応する各カラーヒストグラムと、フレーム３１０に対応するカラーヒストグラムとのヒストグラム差分値が順次算出され、算出されたヒストグラム差分値の少なくとも１つが、決定閾値保持部２５０に保持されている閾値以下であるか否かにより、フレーム３１０が代表フレームであるか否かが判別される。   For example, the frames 301, 307, 310, and 315 illustrated in FIG. 4 are sequentially input to the representative frame determination unit 260. For example, when the frame 310 is input to the representative frame determination unit 260, the color histograms corresponding to the frames 301 and 307 already held in the representative histogram holding unit 270 and the color histograms corresponding to the frame 310 are Histogram difference values are sequentially calculated, and whether or not the frame 310 is a representative frame is determined based on whether or not at least one of the calculated histogram difference values is equal to or less than the threshold value held in the decision threshold value holding unit 250. Is done.

代表ヒストグラム保持部２７０は、代表フレーム判別部２６０から出力された各カラーヒストグラムの全てを代表ヒストグラムとして保持するとともに、保持されている各代表ヒストグラムを代表フレーム判別部２６０に出力するものである。なお、代表ヒストグラム保持部２７０は、代表ヒストグラムとして保持する各カラーヒストグラムを、１つの動画の判別が終了した後に削除する。   The representative histogram holding unit 270 holds all the color histograms output from the representative frame determination unit 260 as representative histograms, and outputs the held representative histograms to the representative frame determination unit 260. Note that the representative histogram holding unit 270 deletes each color histogram held as the representative histogram after the determination of one moving image is completed.

次に、本発明の実施の形態における情報処理装置１００の動作について図面を参照して説明する。   Next, the operation of the information processing apparatus 100 according to the embodiment of the present invention will be described with reference to the drawings.

図５は、情報処理装置１００による代表フレーム候補判別処理の処理手順を示すフローチャートである。この代表フレーム候補判別処理は、代表フレーム候補判別部２３０により行われる。   FIG. 5 is a flowchart illustrating a processing procedure of representative frame candidate determination processing by the information processing apparatus 100. This representative frame candidate determination process is performed by the representative frame candidate determination unit 230.

最初に、カラーヒストグラム抽出部２１０により抽出されたカラーヒストグラムが入力される（ステップＳ９０１）。続いて、入力されたカラーヒストグラムに対応するフレームが、動画の先頭フレームであるか否かが判断される（ステップＳ９０２）。入力されたカラーヒストグラムに対応するフレームが、動画の先頭フレームである場合には（ステップＳ９０２）、入力されたカラーヒストグラムに対応するフレームが、代表フレーム候補であると判別され（ステップＳ９０５）、そのカラーヒストグラムが参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力される（ステップＳ９０６）。代表フレーム候補判別部２３０からカラーヒストグラムが出力されると、このカラーヒストグラムのみを参照ヒストグラム保持部２４０が保持する。   First, the color histogram extracted by the color histogram extraction unit 210 is input (step S901). Subsequently, it is determined whether or not the frame corresponding to the input color histogram is the first frame of the moving image (step S902). If the frame corresponding to the input color histogram is the first frame of the moving image (step S902), it is determined that the frame corresponding to the input color histogram is a representative frame candidate (step S905). The color histogram is output to the reference histogram holding unit 240 and the representative frame determination unit 260 (step S906). When the color histogram is output from the representative frame candidate determination unit 230, only the color histogram is stored in the reference histogram storage unit 240.

一方、入力されたカラーヒストグラムに対応するフレームが、動画の先頭フレームではない場合には（ステップＳ９０２）、入力されたカラーヒストグラムと、参照ヒストグラム保持部２４０に保持されている参照ヒストグラムとのヒストグラム差分値が算出される（ステップＳ９０３）。   On the other hand, if the frame corresponding to the input color histogram is not the first frame of the moving image (step S902), the histogram difference between the input color histogram and the reference histogram held in the reference histogram holding unit 240. A value is calculated (step S903).

続いて、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上であるか否かが判断される（ステップＳ９０４）。算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上である場合には（ステップＳ９０４）、入力されたカラーヒストグラムに対応するフレームが、代表フレーム候補であると判別され（ステップＳ９０５）、そのカラーヒストグラムが参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力される（ステップＳ９０６）。   Subsequently, it is determined whether or not the calculated histogram difference value is equal to or greater than a threshold value held in the candidate selection threshold value holding unit 220 (step S904). If the calculated histogram difference value is equal to or greater than the threshold value stored in the candidate selection threshold value holding unit 220 (step S904), it is determined that the frame corresponding to the input color histogram is a representative frame candidate. (Step S905), the color histogram is output to the reference histogram holding unit 240 and the representative frame discriminating unit 260 (Step S906).

一方、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値未満である場合には（ステップＳ９０４）、入力されたカラーヒストグラムに対応するフレームが、代表フレーム候補ではないと判別され、代表フレーム候補判別処理の動作を終了する。   On the other hand, when the calculated histogram difference value is less than the threshold held in the candidate selection threshold holding unit 220 (step S904), the frame corresponding to the input color histogram is not a representative frame candidate. After the determination, the operation of the representative frame candidate determination process is terminated.

図６は、情報処理装置１００による代表フレーム判別処理の処理手順を示すフローチャートである。この代表フレーム判別処理は、代表フレーム判別部２６０により行われる。また、この例では、代表フレーム候補判別部２３０から出力されたカラーヒストグラムと代表ヒストグラムとのヒストグラム差分値の全てが、決定閾値保持部２５０に保持されている閾値以上である場合に、そのカラーヒストグラムに対応するフレームが代表フレームであると判別し、そのヒストグラム差分値のうちの少なくとも１つが、決定閾値保持部２５０に保持されている閾値以下である場合に、そのカラーヒストグラムに対応するフレームが代表フレームではなく類似フレームであると判別する場合について説明する。   FIG. 6 is a flowchart illustrating a processing procedure of representative frame discrimination processing by the information processing apparatus 100. This representative frame determination process is performed by the representative frame determination unit 260. Further, in this example, when all of the histogram difference values between the color histogram output from the representative frame candidate determination unit 230 and the representative histogram are equal to or greater than the threshold held in the decision threshold holding unit 250, the color histogram Is determined to be a representative frame, and if at least one of the histogram difference values is equal to or smaller than the threshold value held in the decision threshold value holding unit 250, the frame corresponding to the color histogram is the representative frame value. A case where it is determined that the frame is not a frame but a similar frame will be described.

最初に、代表フレーム候補判別部２３０から出力されたカラーヒストグラムが入力されたか否かが判断される（ステップＳ９１１）。カラーヒストグラムが入力されていない場合には（ステップＳ９１１）、カラーヒストグラムが入力されるまで監視を継続する。   First, it is determined whether or not the color histogram output from the representative frame candidate determination unit 230 is input (step S911). If no color histogram is input (step S911), monitoring is continued until the color histogram is input.

代表フレーム候補判別部２３０からのカラーヒストグラムが入力された場合には（ステップＳ９１１）、代表ヒストグラム保持部２７０に代表ヒストグラムが保持されているか否かが判断される（ステップＳ９１２）。代表ヒストグラム保持部２７０に代表ヒストグラムが保持されていない場合には（ステップＳ９１２）、ステップＳ９１１で入力されたカラーヒストグラムに対応する代表フレーム候補が代表フレームとして判別され（ステップＳ９１７）、そのカラーヒストグラムが代表ヒストグラム保持部２７０、データベース１４０および特徴量照合部１５０に出力される（ステップＳ９１８）。   When the color histogram is input from the representative frame candidate determination unit 230 (step S911), it is determined whether or not the representative histogram is held in the representative histogram holding unit 270 (step S912). When the representative histogram is not held in the representative histogram holding unit 270 (step S912), a representative frame candidate corresponding to the color histogram input in step S911 is determined as a representative frame (step S917), and the color histogram is displayed. The data is output to the representative histogram holding unit 270, the database 140, and the feature amount matching unit 150 (step S918).

代表ヒストグラム保持部２７０に代表ヒストグラムが保持されている場合には（ステップＳ９１２）、代表ヒストグラム保持部２７０に保持されている代表ヒストグラムの中から１つの代表ヒストグラムが取得され（ステップＳ９１３）、入力されたカラーヒストグラムと、取得された代表ヒストグラムとのヒストグラム差分値が算出される（ステップＳ９１４）。   When the representative histogram is held in the representative histogram holding unit 270 (step S912), one representative histogram is acquired from the representative histograms held in the representative histogram holding unit 270 (step S913) and input. A histogram difference value between the obtained color histogram and the acquired representative histogram is calculated (step S914).

続いて、算出されたヒストグラム差分値が、決定閾値保持部２５０に保持されている閾値以下であるか否かが判断される（ステップＳ９１５）。算出されたヒストグラム差分値が、決定閾値保持部２５０に保持されている閾値以下である場合には（ステップＳ９１５）、ステップＳ９１１で入力されたカラーヒストグラムに対応する代表フレーム候補に類似する代表フレームが存在すると判別され、そのカラーヒストグラムが削除される（ステップＳ９１９）。   Subsequently, it is determined whether or not the calculated histogram difference value is equal to or less than a threshold value held in the decision threshold value holding unit 250 (step S915). When the calculated histogram difference value is equal to or less than the threshold value stored in the determination threshold value storage unit 250 (step S915), a representative frame similar to the representative frame candidate corresponding to the color histogram input in step S911 is displayed. It is determined that it exists, and the color histogram is deleted (step S919).

一方、算出されたヒストグラム差分値が、決定閾値保持部２５０に保持されている閾値以下ではない場合には（ステップＳ９１５）、代表ヒストグラム保持部２７０に保持されている代表ヒストグラムの中で、取得されていない代表ヒストグラムが存在するか否かが判断される（ステップＳ９１６）。代表ヒストグラム保持部２７０に保持されている代表ヒストグラムの中で、取得されていない代表ヒストグラムが存在する場合には（ステップＳ９１６）、ステップＳ９１３に戻り、ヒストグラム差分値の比較処理を繰り返す（ステップＳ９１３乃至ステップＳ９１５）。   On the other hand, if the calculated histogram difference value is not less than or equal to the threshold value held in the decision threshold value holding unit 250 (step S915), it is acquired from the representative histogram held in the representative histogram holding unit 270. It is determined whether or not there is a representative histogram that is not present (step S916). If there is a representative histogram that has not been acquired among the representative histograms held in the representative histogram holding unit 270 (step S916), the process returns to step S913 to repeat the histogram difference value comparison process (steps S913 to S913). Step S915).

一方、代表ヒストグラム保持部２７０に保持されている代表ヒストグラムの中で、取得されていない代表ヒストグラムが存在しない場合には（ステップＳ９１６）、ステップＳ９１１で入力されたカラーヒストグラムに対応する代表フレーム候補が代表フレームとして判別され（ステップＳ９１７）、そのカラーヒストグラムが代表ヒストグラム保持部２７０、データベース１４０および特徴量照合部１５０に出力される（ステップＳ９１８）。   On the other hand, if there is no representative histogram that has not been acquired among the representative histograms held in the representative histogram holding unit 270 (step S916), the representative frame candidate corresponding to the color histogram input in step S911 is displayed. It is determined as a representative frame (step S917), and the color histogram is output to the representative histogram holding unit 270, the database 140, and the feature amount matching unit 150 (step S918).

次に、動画におけるチェンジ点毎に代表フレームを判別する例について図面を参照して詳細に説明する。チェンジ点は、例えば、動画において撮影場面が瞬間的に変化する場合におけるその境界点を示すカットチェンジ点や、動画において撮影場面が比較的大きく変化する場合におけるその境界点を示すクロスフェード点等を含むものである。また、このチェンジ点間隔は、連続するチェンジ点間の区間における時間やフレーム数等の間隔を示すものである。   Next, an example of determining a representative frame for each change point in a moving image will be described in detail with reference to the drawings. The change point is, for example, a cut change point indicating the boundary point when the shooting scene changes momentarily in the moving image, a crossfade point indicating the boundary point when the shooting scene changes relatively large in the moving image, etc. Is included. The change point interval indicates an interval such as time or the number of frames in a section between successive change points.

図７は、図１に示す情報処理装置１００の一部を変形した情報処理装置１０１の構成例を示すブロック図である。情報処理装置１０１は、図１に示す情報処理装置１００において、データベース１４０、特徴量照合部１５０および特徴量抽出部２００の代わりに、データベース１４１、特徴量照合部１５１および特徴量抽出部４００を設けた情報処理装置である。なお、データベース１４１、特徴量照合部１５１および特徴量抽出部４００以外の構成は、図１に示す情報処理装置１００と同様であるため、これらの以外の構成についての説明は省略する。   FIG. 7 is a block diagram illustrating a configuration example of the information processing apparatus 101 obtained by modifying a part of the information processing apparatus 100 illustrated in FIG. The information processing apparatus 101 includes a database 141, a feature amount matching unit 151, and a feature amount extraction unit 400 in place of the database 140, the feature amount matching unit 150, and the feature amount extracting unit 200 in the information processing apparatus 100 illustrated in FIG. Information processing apparatus. Note that the configuration other than the database 141, the feature amount matching unit 151, and the feature amount extraction unit 400 is the same as that of the information processing apparatus 100 shown in FIG.

特徴量抽出部４００は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて、動画におけるチェンジ点間隔、および、チェンジ点間隔における代表フレームに対応する代表ヒストグラムを抽出するものであり、抽出されたチェンジ点間隔および代表ヒストグラムをデータベース１４１および特徴量照合部１５１に出力する。なお、特徴量抽出部４００については、図８を参照して詳細に説明する。   Based on the baseband data output from the video decoding unit 130, the feature amount extraction unit 400 extracts a change point interval in a moving image and a representative histogram corresponding to a representative frame in the change point interval. The change point interval and the representative histogram are output to the database 141 and the feature amount matching unit 151. The feature quantity extraction unit 400 will be described in detail with reference to FIG.

データベース１４１は、特徴量抽出部４００から出力されたチェンジ点間隔および代表ヒストグラムを動画毎に格納するデータベースであり、格納されているチェンジ点間隔および代表フレームを動画毎に特徴量照合部１５１に出力する。   The database 141 is a database that stores the change point interval and the representative histogram output from the feature amount extraction unit 400 for each moving image, and outputs the stored change point interval and the representative frame to the feature amount checking unit 151 for each moving image. To do.

特徴量照合部１５１は、特徴量抽出部４００から出力されたチェンジ点間隔と、データベース１４１に格納されているチェンジ点間隔との比較、または、特徴量抽出部４００から出力された代表ヒストグラムと、データベース１４１に格納されている代表ヒストグラムとの比較により、動画入力部１１０に入力された動画と、データベース１４１に格納されているチェンジ点間隔および代表フレームに対応する動画とが一致または類似するか否かを判定するものであり、この判定結果を示す類似リストを判定結果出力部１６０に出力する。なお、特徴量照合部１５１については、図１０を参照して詳細に説明する。   The feature amount matching unit 151 compares the change point interval output from the feature amount extraction unit 400 with the change point interval stored in the database 141, or the representative histogram output from the feature amount extraction unit 400, Whether or not the moving image input to the moving image input unit 110 matches or is similar to the moving image corresponding to the change point interval and the representative frame stored in the database 141 by comparison with the representative histogram stored in the database 141. The similarity list indicating the determination result is output to the determination result output unit 160. The feature amount matching unit 151 will be described in detail with reference to FIG.

図８は、特徴量抽出部４００の機能構成例を示すブロック図である。特徴量抽出部４００は、代表ヒストグラム抽出部２０１と、カラーヒストグラム抽出部４１０と、連続フレーム間ヒストグラム差分算出部４２０と、閾値保持部４３０と、カットチェンジ点判別部４４０と、Ｎフレーム間ヒストグラム差分算出部４６０と、閾値保持部４７０と、Ｎフレームチェンジ点判別部４８０と、チェンジ点間隔算出部４９０とを備える。なお、カラーヒストグラム抽出部４１０は、カラーヒストグラム抽出部２１０と同様であるため、ここでの説明を省略する。   FIG. 8 is a block diagram illustrating a functional configuration example of the feature amount extraction unit 400. The feature amount extraction unit 400 includes a representative histogram extraction unit 201, a color histogram extraction unit 410, a continuous inter-frame histogram difference calculation unit 420, a threshold holding unit 430, a cut change point determination unit 440, and an N-frame histogram difference. A calculation unit 460, a threshold value holding unit 470, an N frame change point determination unit 480, and a change point interval calculation unit 490 are provided. Note that the color histogram extraction unit 410 is the same as the color histogram extraction unit 210, and a description thereof will be omitted here.

連続フレーム間ヒストグラム差分算出部４２０は、カラーヒストグラム抽出部４１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒのカラーヒストグラムについて、連続する２フレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をカットチェンジ点判別部４４０に出力するものである。   The inter-continuous frame histogram difference calculation unit 420 calculates the difference value of the area of the color histogram between two consecutive frames for the Y, Cb, and Cr color histograms output from the color histogram extraction unit 410. Yes, the calculated histogram difference value is output to the cut change point determination unit 440.

閾値保持部４３０は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部４４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をカットチェンジ点判別部４４０に出力する。   The threshold holding unit 430 holds a threshold used when the cut change point discriminating unit 440 discriminates whether or not between two consecutive frames is a cut change point. The data is output to the point determination unit 440.

カットチェンジ点判別部４４０は、連続フレーム間ヒストグラム差分算出部４２０から出力されたヒストグラム差分値が、閾値保持部４３０に保持されている閾値を超えたか否かに基づいて、連続する２フレーム間がカットチェンジ点であるか否かを判別するものである。すなわち、カットチェンジ点判別部４４０は、連続フレーム間ヒストグラム差分算出部４２０から出力されたヒストグラム差分値が、閾値保持部４３０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、代表ヒストグラム抽出部２０１およびチェンジ点間隔算出部４９０に出力する。一方、カットチェンジ点判別部４４０は、連続フレーム間ヒストグラム差分算出部４２０から出力されたヒストグラム差分値が、閾値保持部４３０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点ではないと判別する。このようにカットチェンジ点ではないと判別された場合には、チェンジ点間隔算出部４９０には時刻が出力されない。   The cut change point discriminating unit 440 determines whether the two consecutive frames are based on whether or not the histogram difference value output from the continuous frame histogram difference calculating unit 420 exceeds the threshold value stored in the threshold value holding unit 430. It is determined whether or not it is a cut change point. That is, the cut change point determination unit 440 responds to the histogram difference value when the histogram difference value output from the continuous interframe histogram difference calculation unit 420 exceeds the threshold value held in the threshold value holding unit 430. It is determined that the interval between two consecutive frames is a cut change point, and the time corresponding to that frame is output to the representative histogram extraction unit 201 and the change point interval calculation unit 490 as the time of the cut change point. On the other hand, when the histogram difference value output from the continuous interframe histogram difference calculation unit 420 does not exceed the threshold value stored in the threshold value holding unit 430, the cut change point determination unit 440 sets the histogram difference value as the histogram difference value. It is determined that the corresponding two consecutive frames are not cut change points. As described above, when it is determined that the current point is not a cut change point, the time is not output to the change point interval calculation unit 490.

Ｎフレーム間ヒストグラム差分算出部４６０は、カラーヒストグラム抽出部４１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒのカラーヒストグラムについて、連続するＮフレームにおける最初のフレームおよび最後のフレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をＮフレームチェンジ点判別部４８０に出力するものである。   The N-frame histogram difference calculation unit 460 calculates the area of the color histogram between the first frame and the last frame in consecutive N frames for the Y, Cb, and Cr color histograms output from the color histogram extraction unit 410. The difference value is calculated, and the calculated histogram difference value is output to the N frame change point determination unit 480.

閾値保持部４７０は、連続するＮフレーム間がチェンジ点であるか否かをＮフレームチェンジ点判別部４８０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をＮフレームチェンジ点判別部４８０に出力する。   The threshold holding unit 470 holds a threshold used when the N frame change point discriminating unit 480 determines whether or not there is a change point between consecutive N frames. The data is output to the change point determination unit 480.

Ｎフレームチェンジ点判別部４８０は、Ｎフレーム間ヒストグラム差分算出部４６０から出力されたヒストグラム差分値が、閾値保持部４７０に保持されている閾値を超えたか否かに基づいて、連続するＮフレーム間がチェンジ点（クロスフェード点）であるか否かを判別するものである。すなわち、Ｎフレームチェンジ点判別部４８０は、Ｎフレーム間ヒストグラム差分算出部４６０から出力されたヒストグラム差分値が、閾値保持部４７０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続するＮフレーム間がチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、代表ヒストグラム抽出部２０１およびチェンジ点間隔算出部４９０に出力する。一方、Ｎフレームチェンジ点判別部４８０は、Ｎフレーム間ヒストグラム差分算出部４６０から出力されたヒストグラム差分値が、閾値保持部４７０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続するＮフレーム間がチェンジ点ではないと判別する。このようにチェンジ点ではないと判別された場合には、チェンジ点間隔算出部４９０には時刻が出力されない。   The N frame change point discriminating unit 480 determines whether the difference between histograms output from the N frame inter-frame histogram difference calculation unit 460 exceeds the threshold value stored in the threshold value holding unit 470. Is a change point (crossfade point). That is, when the histogram difference value output from the N-frame histogram difference calculation unit 460 exceeds the threshold held in the threshold holding unit 470, the N frame change point determination unit 480 sets the histogram difference value to the histogram difference value. It is determined that the corresponding consecutive N frames are change points, and the time corresponding to the frames is output to the representative histogram extraction unit 201 and the change point interval calculation unit 490 as the time of the cut change point. On the other hand, if the histogram difference value output from the N-frame histogram difference calculation unit 460 does not exceed the threshold value held in the threshold value holding unit 470, the N frame change point determination unit 480 determines the histogram difference value. It is determined that there is no change point between consecutive N frames corresponding to. When it is determined that the current point is not a change point, the time is not output to the change point interval calculation unit 490.

チェンジ点間隔算出部４９０は、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０から出力されたカットチェンジ点またはチェンジ点の時刻に基づいて、隣接する２つのチェンジ点間の時間間隔を算出するものであり、算出されたチェンジ点間隔をデータベース１４１および特徴量照合部１５１に出力する。すなわち、チェンジ点間隔算出部４９０は、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０からカットチェンジ点またはチェンジ点の時刻が出力された場合には、この時刻と、この時刻の直前に出力された時刻との差の値を算出して、隣接する２つのチェンジ点間の時間間隔を算出する。なお、隣接する２つのチェンジ点間の間隔として、このチェンジ点間に含まれるフレームの数を算出し、この算出されたフレーム数をチェンジ点間隔とするようにしてもよい。   The change point interval calculation unit 490 calculates a time interval between two adjacent change points based on the cut change point or the time of the change point output from the cut change point determination unit 440 or the N frame change point determination unit 480. The calculated change point interval is output to the database 141 and the feature amount matching unit 151. That is, the change point interval calculation unit 490 outputs the cut change point or the change point time from the cut change point determination unit 440 or the N frame change point determination unit 480 and immediately before this time. A value of a difference from the output time is calculated, and a time interval between two adjacent change points is calculated. Note that the number of frames included between the two change points may be calculated as an interval between two adjacent change points, and the calculated number of frames may be used as the change point interval.

代表ヒストグラム抽出部２０１は、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０から出力されたカットチェンジ点またはチェンジ点の時刻に基づいて、隣接する２つのチェンジ点間に含まれるフレームから少なくとも１つの代表フレームを判別して、この代表フレームに対応する代表ヒストグラムをデータベース１４１および特徴量照合部１５１に出力する。すなわち、代表ヒストグラム抽出部２０１は、同一カット内における代表ヒストグラムを抽出する。なお、動画入力部１１０に入力された１つの動画について、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０からカットチェンジ点またはチェンジ点の時刻が１つも出力されない場合には、代表ヒストグラム抽出部２０１は、この入力された１つの動画を構成するフレームから少なくとも１つの代表フレームを判別して、この代表フレームに対応する代表ヒストグラムを抽出する。なお、代表ヒストグラム抽出部２０１については、図９を参照して詳細に説明する。   Based on the cut change point or the time of the change point output from the cut change point discriminating unit 440 or the N frame change point discriminating unit 480, the representative histogram extracting unit 201 at least from the frames included between two adjacent change points. One representative frame is discriminated, and a representative histogram corresponding to this representative frame is output to the database 141 and the feature amount matching unit 151. That is, the representative histogram extraction unit 201 extracts a representative histogram in the same cut. If no cut change point or change point time is output from the cut change point determination unit 440 or the N frame change point determination unit 480 for one moving image input to the moving image input unit 110, representative histogram extraction is performed. The unit 201 discriminates at least one representative frame from the frames constituting one input moving image, and extracts a representative histogram corresponding to the representative frame. The representative histogram extraction unit 201 will be described in detail with reference to FIG.

図９は、代表ヒストグラム抽出部２０１の機能構成例を示すブロック図である。代表ヒストグラム抽出部２０１は、図２に示す特徴量抽出部２００において、カラーヒストグラム抽出部２１０を省略するとともに、参照ヒストグラム保持部２４０および代表ヒストグラム保持部２７０の代わりに、参照ヒストグラム保持部２４１および代表ヒストグラム保持部２７１を設けたものである。なお、参照ヒストグラム保持部２４１および代表ヒストグラム保持部２７１以外の構成は、図２に示す特徴量抽出部２００と同様であるため、参照ヒストグラム保持部２４１および代表ヒストグラム保持部２７１以外の構成についての説明は省略する。   FIG. 9 is a block diagram illustrating a functional configuration example of the representative histogram extraction unit 201. The representative histogram extracting unit 201 omits the color histogram extracting unit 210 in the feature amount extracting unit 200 shown in FIG. 2 and replaces the reference histogram holding unit 240 and the representative histogram holding unit 270 with each other. A histogram holding unit 271 is provided. Since the configuration other than the reference histogram holding unit 241 and the representative histogram holding unit 271 is the same as that of the feature amount extraction unit 200 shown in FIG. 2, the configuration other than the reference histogram holding unit 241 and the representative histogram holding unit 271 will be described. Is omitted.

参照ヒストグラム保持部２４１は、代表フレーム候補判別部２３０から出力されたカラーヒストグラムを参照ヒストグラムとして保持するとともに、保持されている参照ヒストグラムを代表フレーム候補判別部２３０に出力するものである。なお、参照ヒストグラム保持部２４１は、代表フレーム候補判別部２３０からカラーヒストグラムが出力される毎に、保持されている参照ヒストグラムを削除する。また、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０からカットチェンジ点またはチェンジ点の時刻が入力された場合にも、保持されている参照ヒストグラムを削除する。   The reference histogram holding unit 241 holds the color histogram output from the representative frame candidate determination unit 230 as a reference histogram and outputs the held reference histogram to the representative frame candidate determination unit 230. The reference histogram holding unit 241 deletes the held reference histogram every time a color histogram is output from the representative frame candidate determination unit 230. Also, when the cut change point or the time of the change point is input from the cut change point determination unit 440 or the N frame change point determination unit 480, the held reference histogram is deleted.

代表ヒストグラム保持部２７１は、代表フレーム判別部２６０から出力された各カラーヒストグラムの全てを代表ヒストグラムとして保持するとともに、保持されている各代表ヒストグラムを代表フレーム判別部２６０に出力するものである。なお、代表ヒストグラム保持部２７１は、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０からカットチェンジ点またはチェンジ点の時刻が入力された場合には、代表ヒストグラムとして保持する各カラーヒストグラムを削除する。   The representative histogram holding unit 271 holds all the color histograms output from the representative frame determination unit 260 as representative histograms, and outputs the held representative histograms to the representative frame determination unit 260. Note that the representative histogram holding unit 271 deletes each color histogram held as the representative histogram when the cut change point or the time of the change point is input from the cut change point determination unit 440 or the N frame change point determination unit 480. To do.

次に、チェンジ点間隔または代表ヒストグラムの何れかを用いて動画一致検索を行う例について図面を参照して詳細に説明する。   Next, an example of performing a moving image match search using either the change point interval or the representative histogram will be described in detail with reference to the drawings.

ここで、チェンジ点間隔および代表ヒストグラムのデータ量を比較した場合には、代表ヒストグラムのデータ量よりもチェンジ点間隔のデータ容量が少ない場合が多い。このため、動画の一致判定処理を行う場合において、チェンジ点間隔が存在する場合には、チェンジ点間隔を用いて一致判定処理を行う。一方、チェンジ点間隔が存在しない場合には、代表ヒストグラムを用いて一致判定処理を行う。これにより、動画の一致判定処理を迅速に行うことができる。   Here, when the change point interval and the data amount of the representative histogram are compared, the data capacity of the change point interval is often smaller than the data amount of the representative histogram. For this reason, in the case where the moving image match determination process is performed, if there is a change point interval, the match determination process is performed using the change point interval. On the other hand, when there is no change point interval, a matching determination process is performed using a representative histogram. Accordingly, the moving image matching determination process can be quickly performed.

図１０は、特徴量照合部１５１の機能構成例を示すブロック図である。特徴量照合部１５１は、照合方法決定部１５２と、チェンジ点間隔照合部１５３と、カラーヒストグラム照合部１５４とを備える。   FIG. 10 is a block diagram illustrating a functional configuration example of the feature amount matching unit 151. The feature amount matching unit 151 includes a matching method determination unit 152, a change point interval matching unit 153, and a color histogram matching unit 154.

図１１は、照合方法決定部１５２が照合する方法を決定する場合における決定方法の概略を示す図である。本発明の実施の形態では、特徴量抽出部４００からチェンジ点間隔が出力されたか否かと、データベース１４１にチェンジ点間隔が格納されているか否かに基づいて、照合方法が決定される。具体的には、図１１に示すように、特徴量抽出部４００からチェンジ点間隔が出力されるとともに（入力動画のチェンジ点間隔５１１が「有」の場合）、データベース１４１にチェンジ点間隔が格納されている場合（ＤＢ動画のチェンジ点間隔５１２が「有」の場合）には、照合方法としてチェンジ点間隔を用いた照合方法が決定される。一方、特徴量抽出部４００からチェンジ点間隔が出力されない場合（入力動画のチェンジ点間隔５１１が「無」の場合）、または、データベース１４１にチェンジ点間隔が格納されていない場合（ＤＢ動画のチェンジ点間隔５１２が「無」の場合）には、照合方法としてカラーヒストグラムを用いた照合方法が決定される。   FIG. 11 is a diagram showing an outline of a determination method when the verification method determination unit 152 determines a verification method. In the embodiment of the present invention, the collation method is determined based on whether or not the change point interval is output from the feature amount extraction unit 400 and whether or not the change point interval is stored in the database 141. Specifically, as shown in FIG. 11, the change point interval is output from the feature amount extraction unit 400 (when the change point interval 511 of the input moving image is “present”), and the change point interval is stored in the database 141. If it is set (when the change point interval 512 of the DB moving image is “present”), a collation method using the change point interval is determined as the collation method. On the other hand, when the change point interval is not output from the feature amount extraction unit 400 (when the change point interval 511 of the input moving image is “none”), or when the change point interval is not stored in the database 141 (change of the DB moving image) When the point interval 512 is “none”), a collation method using a color histogram is determined as the collation method.

照合方法決定部１５２は、特徴量抽出部４００からチェンジ点間隔が出力されたか否かと、データベース１４１にチェンジ点間隔が格納されているか否かとに応じて、図１１に示すように、照合方法を決定するものであり、決定された照合方法に応じて、チェンジ点間隔照合部１５３またはカラーヒストグラム照合部１５４に照合指示信号を出力する。すなわち、照合方法決定部１５２は、照合方法としてチェンジ点間隔を用いた照合方法が決定された場合には、チェンジ点間隔照合部１５３に照合指示信号を出力し、照合方法としてカラーヒストグラムを用いた照合方法が決定された場合には、カラーヒストグラム照合部１５４に照合指示信号を出力する。   As shown in FIG. 11, the collation method determination unit 152 determines the collation method according to whether or not the change point interval is output from the feature amount extraction unit 400 and whether or not the change point interval is stored in the database 141. In accordance with the determined collation method, a collation instruction signal is output to the change point interval collation unit 153 or the color histogram collation unit 154. That is, when the collation method using the change point interval is determined as the collation method, the collation method determination unit 152 outputs a collation instruction signal to the change point interval collation unit 153 and uses the color histogram as the collation method. When the collation method is determined, a collation instruction signal is output to the color histogram collation unit 154.

チェンジ点間隔照合部１５３は、照合方法決定部１５２からの照合指示信号を入力すると、特徴量抽出部４００から出力されたチェンジ点間隔と、データベース１４１に格納されているチェンジ点間隔とを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４１に格納されているチェンジ点間隔に対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、動画入力部１１０に入力された動画と一致する動画に対応するチェンジ点間隔を、データベース１４１に格納されている特徴量リストの中から検索する。   When the collation instruction signal from collation method determination unit 152 is input, change point interval collation unit 153 compares the change point interval output from feature amount extraction unit 400 with the change point interval stored in database 141. Based on the comparison result, it is determined whether or not the moving image input to the moving image input unit 110 matches the moving image corresponding to the change point interval stored in the database 141. Is output to the determination result output unit 160. That is, a change point interval corresponding to a moving image that matches the moving image input to the moving image input unit 110 is searched from the feature amount list stored in the database 141.

カラーヒストグラム照合部１５４は、照合方法決定部１５２からの照合指示信号を入力すると、特徴量抽出部４００から出力された代表ヒストグラムと、データベース１４１に格納されている代表ヒストグラムとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４１に格納されている代表ヒストグラムに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、カラーヒストグラム照合部１５４は、照合方法決定部１５２からの照合指示信号を入力すると、特徴量抽出部４００から出力された代表ヒストグラムと、データベース１４１に格納されている代表ヒストグラムとを比較してヒストグラム差分値を算出し、この算出されたヒストグラム差分値が閾値以下となった場合に、動画入力部１１０に入力された動画と、データベース１４１に格納されている特徴量リストに対応する動画とが一致すると判別する。   When the color histogram collation unit 154 receives the collation instruction signal from the collation method determination unit 152, the color histogram collation unit 154 compares the representative histogram output from the feature amount extraction unit 400 with the representative histogram stored in the database 141, and compares the comparison result. Based on the result, it is determined whether or not the moving image input to the moving image input unit 110 matches the moving image corresponding to the representative histogram stored in the database 141, and a matching list indicating the determination result Is output to the determination result output unit 160. That is, when the collation instruction signal from the collation method determination unit 152 is input, the color histogram collation unit 154 compares the representative histogram output from the feature amount extraction unit 400 with the representative histogram stored in the database 141. A histogram difference value is calculated, and when the calculated histogram difference value is equal to or smaller than a threshold value, a moving image input to the moving image input unit 110 and a moving image corresponding to the feature amount list stored in the database 141 are displayed. It is determined that they match.

例えば、映画、テレビ番組等のように編集された動画コンテンツについては、チェンジ点があると想定される。この場合には、チェンジ点間隔を用いて動画一致検索を迅速に行うことができる。また、入力動画の代表ヒストグラムとデータベースに格納されている代表ヒストグラムとを照合するカラーヒストグラム照合は、動画一致検索以外にも、動画類似検索を行うことが可能である。なお、チェンジ点が存在しない動画コンテンツについては、カラーヒストグラムの変化量が小さいか、カラーヒストグラムの変化がない動画であるため、カラーヒストグラムをサンプリングすべき画像を少なくすることができる。このため、情報量を削減することができる。   For example, it is assumed that there is a change point for a moving image content edited like a movie or a television program. In this case, the moving image matching search can be quickly performed using the change point interval. In addition, the color histogram collation that collates the representative histogram of the input moving image with the representative histogram stored in the database can perform a moving image similarity search in addition to the moving image match search. Note that the moving image content in which no change point exists is a moving image in which the amount of change in the color histogram is small or the color histogram does not change, so that the number of images for which the color histogram should be sampled can be reduced. For this reason, the amount of information can be reduced.

次に、動画入力部１１０から入力された動画の代表フレームを判別する判別方法として、その動画を構成するフレームに対応する各カラーヒストグラムの差分値以外の比較結果に基づいて動画の代表フレームを判別する例について、図面を参照して詳細に説明する。   Next, as a determination method for determining the representative frame of the moving image input from the moving image input unit 110, the representative frame of the moving image is determined based on a comparison result other than the difference value of each color histogram corresponding to the frame constituting the moving image. An example of this will be described in detail with reference to the drawings.

図１２（ａ）は、動画を構成する各フレームから抽出されたカラーヒストグラムが３階調（＃１、＃２、＃３）で表される場合におけるカラーヒストグラムの一例を示す図である。図１２（ｂ）は、３次元空間上において、動画を構成する各フレームから抽出されたカラーヒストグラムの点の軌跡が時系列に配置された場合を概念的に示す図である。   FIG. 12A is a diagram illustrating an example of a color histogram in a case where the color histogram extracted from each frame constituting the moving image is represented by three gradations (# 1, # 2, # 3). FIG. 12B is a diagram conceptually showing a case where the locus of the points of the color histogram extracted from each frame constituting the moving image is arranged in time series on the three-dimensional space.

例えば、動画を構成する各フレームから抽出されたカラーヒストグラムを１６階調で表す場合には、カラーヒストグラムを示すデータは１６次元のベクトルデータとして表現される。この例では、図１２に示すように、動画を構成する各フレームから抽出されたカラーヒストグラムを３階調（＃１、＃２、＃３）で表す場合を例にして説明するが、３階調以外の場合についても、３階調と同様に考えることができる。   For example, when the color histogram extracted from each frame constituting the moving image is expressed by 16 gradations, the data indicating the color histogram is expressed as 16-dimensional vector data. In this example, as shown in FIG. 12, a case where a color histogram extracted from each frame constituting a moving image is expressed by three gradations (# 1, # 2, # 3) will be described as an example. The cases other than the key can also be considered in the same manner as the three gradations.

図１２（ａ）に示すグラフにおいて、横軸は階調を示し、縦軸は頻度を示す。また、図１２（ｂ）において、３次元空間上における互いに直行する３方向の各軸をｘ、ｙ、ｚ軸とし、ｘ軸は、カラーヒストグラムの階調「＃１」の頻度を示す軸とし、ｙ軸は、カラーヒストグラムの階調「＃２」の頻度を示す軸とし、ｚ軸は、カラーヒストグラムの階調「＃３」の頻度を示す軸とする。   In the graph shown in FIG. 12A, the horizontal axis indicates gradation and the vertical axis indicates frequency. In FIG. 12B, the three axes orthogonal to each other in the three-dimensional space are x, y, and z axes, and the x axis is an axis indicating the frequency of the gradation “# 1” of the color histogram. The y axis is an axis indicating the frequency of the gradation “# 2” of the color histogram, and the z axis is an axis indicating the frequency of the gradation “# 3” of the color histogram.

ここで、図１２（ｂ）に示す３次元空間上において、動画を構成するフレームから抽出されたカラーヒストグラムのうちの２つカラーヒストグラムの位置をＰｎ（ｘｎ，ｙｎ，ｚｎ）およびＰｍ（ｘｍ，ｙｍ，ｚｍ）とする。この場合において、この２つのカラーヒストグラムの差分値は、以下に示す絶対距離ｄ１の式１を用いて算出することができる。
ｄ１（Ｐｎ，Ｐｍ）＝｜ｘｎ−ｘｍ｜＋｜ｙｎ−ｙｍ｜＋｜ｚｎ−ｚｍ｜……（式１） Here, on the three-dimensional space shown in FIG. 12B, the positions of two color histograms among the color histograms extracted from the frames constituting the moving image are represented by P n (x n , y n , z n ) and P m (x m, y m , z m) to. In this case, the difference value between the two color histograms can be calculated using Equation 1 of the absolute distance d1 shown below.
d1 (P n, P m) = | x n -x m | + | y n -y m | + | z n -z m | ...... ( Equation 1)

このように、図１２（ｂ）に示す３次元空間上における２つの位置Ｐｎ（ｘｎ，ｙｎ，ｚｎ）およびＰｍ（ｘｍ，ｙｍ，ｚｍ）の差分値を用いる代わりに、Ｐｎ（ｘｎ，ｙｎ，ｚｎ）およびＰｍ（ｘｍ，ｙｍ，ｚｍ）間のユークリッド距離を用いることができる。Ｐｎ（ｘｎ，ｙｎ，ｚｎ）およびＰｍ（ｘｍ，ｙｍ，ｚｍ）間のユークリッド距離ｄ２は、以下に示す式２を用いて算出することができる。

Figure 2009049667
Thus, instead of using the difference values of the two positions P n (x n , y n , z n ) and P m (x m , y m , z m ) in the three-dimensional space shown in FIG. In addition, the Euclidean distance between P n (x n , y n , z n ) and P m (x m , y m , z m ) can be used. The Euclidean distance d2 between P n (x n , y n , z n ) and P m (x m , y m , z m ) can be calculated using Equation 2 shown below.
Figure 2009049667

このユークリッド距離ｄ２は、図１２（ｂ）に示す３次元空間上における２つの位置Ｐｎ（ｘｎ，ｙｎ，ｚｎ）およびＰｍ（ｘｍ，ｙｍ，ｚｍ）の距離に等しい。 The Euclidean distance d2 is equal to the distance between two positions P n (x n , y n , z n ) and P m (x m , y m , z m ) in the three-dimensional space shown in FIG. .

図１２（ｂ）では、１つの動画を構成する各フレームから抽出された各カラーヒストグラムに対応する各位置を、点６０１乃至６２０として配置する。なお、１つの動画を構成する各フレームのうちの先頭のフレームに対応するカラーヒストグラムの位置を点６０１とし、１つの動画を構成するフレームのうちの後端のフレームに対応するカラーヒストグラムの位置を点６２０とし、点６０１および点６２０間の各点については、時系列に数字を付して、これらの各点を時系列に曲線で結ぶ。   In FIG. 12B, the positions corresponding to the color histograms extracted from the frames constituting one moving image are arranged as points 601 to 620. Note that the position of the color histogram corresponding to the first frame of each frame constituting one moving image is the point 601, and the position of the color histogram corresponding to the rearmost frame of the frames constituting one moving image is A point 620 is used, and each point between the points 601 and 620 is numbered in time series, and these points are connected by a curve in time series.

２つのカラーヒストグラムのユークリッド距離は式２を用いて算出され、この算出されたユークリッド距離の値は、図１２（ｂ）に示す３次元空間上において、２つのカラーヒストグラムに対応する２つの点の距離に等しい。例えば、図１２（ｂ）に示す３次元空間上において、点６０１と点６０７とのユークリッド距離は、矢印６３１で示すベクトルの長さに等しい。また、同様に、点６０７と点６１３とのユークリッド距離、点６１３と点６１７とのユークリッド距離、点６１０と点６０７とのユークリッド距離は、それぞれ矢印６３２乃至６３４で示すベクトルの長さに等しい。   The Euclidean distance between the two color histograms is calculated using Expression 2, and the calculated Euclidean distance value is obtained by calculating the two points corresponding to the two color histograms in the three-dimensional space shown in FIG. Equal to the distance. For example, in the three-dimensional space shown in FIG. 12B, the Euclidean distance between the points 601 and 607 is equal to the length of the vector indicated by the arrow 631. Similarly, the Euclidean distance between the points 607 and 613, the Euclidean distance between the points 613 and 617, and the Euclidean distance between the points 610 and 607 are equal to the lengths of the vectors indicated by arrows 632 to 634, respectively.

図１２（ｂ）に示す３次元空間上における点６０１乃至６２０について、ユークリッド距離を用いて代表フレームを判別する場合には、最初は、点６０１が参照ヒストグラムとされる。そして、点６０２以降の点と、点６０１とのユークリッド距離を順次算出していき、ユークリッド距離の値が候補選択閾値保持部２２０の閾値以上となる点を検出する。例えば、点６０１および点６０７のユークリッド距離（矢印６３１の長さ）が、候補選択閾値保持部２２０の閾値以上であるものとする。この場合には、点６０７が参照ヒストグラムとされる。そして、点６０１の場合と同様に、点６０８以降の点と、点６０７とのユークリッド距離を順次算出していき、ユークリッド距離の値が候補選択閾値保持部２２０の閾値以上となる点を検出する。   When the representative frame is determined using the Euclidean distance for the points 601 to 620 in the three-dimensional space shown in FIG. 12B, the point 601 is initially used as a reference histogram. Then, the Euclidean distance between the points after the point 602 and the point 601 is sequentially calculated, and a point where the value of the Euclidean distance is equal to or larger than the threshold value of the candidate selection threshold value holding unit 220 is detected. For example, it is assumed that the Euclidean distance between the points 601 and 607 (the length of the arrow 631) is equal to or greater than the threshold value of the candidate selection threshold value holding unit 220. In this case, the point 607 is a reference histogram. Then, similarly to the case of the point 601, the Euclidean distance between the points after the point 608 and the point 607 is sequentially calculated, and a point where the value of the Euclidean distance is equal to or larger than the threshold of the candidate selection threshold holding unit 220 is detected. .

図１２（ｂ）に示す３次元空間上においては、このようにして検出された点を点６０１、６０７、６１３、６１７、６２０とする。このように検出された点６０１、６０７、６１３、６１７、６２０に対応するフレームが、代表フレーム候補と判別される。   In the three-dimensional space shown in FIG. 12B, the points detected in this way are set as points 601, 607, 613, 617, and 620. Frames corresponding to the points 601, 607, 613, 617, and 620 detected in this way are determined as representative frame candidates.

続いて、代表フレーム候補の中から、互いに類似する代表フレーム候補を検出して、互いに類似する代表フレーム候補のうちの一方を削除する。そして、互いに類似する代表フレーム候補を削除した後に残っている代表フレーム候補が、代表フレームとして判別される。   Subsequently, representative frame candidates similar to each other are detected from the representative frame candidates, and one of the similar representative frame candidates is deleted. Then, representative frame candidates remaining after deleting similar representative frame candidates are determined as representative frames.

例えば、代表フレーム候補として判別された点６０１、６０７、６１３、６１７、６２０について、代表フレーム候補が判別される毎に、この代表フレーム候補と、既に判別されている代表フレーム候補とを比較して、互いに類似するか否かが判別される。この判別は、例えば、比較対象の２つの代表フレーム候補に対応するカラーヒストグラムのユークリッド距離を算出して、この算出されたユークリッド距離の値が、決定閾値保持部２５０に保持されている閾値以下であるか否かに基づいて判別される。例えば、図１２（ｂ）に示す３次元空間上においては、点６０１および点６２０間のユークリッド距離が、決定閾値保持部２５０に保持されている閾値以下であるものとする。この場合には、点６０１よりも後に判別された点６２０が削除される。そして、代表フレーム候補として判別された点６０１、６０７、６１３、６１７、６２０のうちで、点６２０以外の点６０１、６０７、６１３、６１７が代表フレームとして判別される。   For example, for each of the points 601, 607, 613, 617, and 620 determined as representative frame candidates, each time the representative frame candidate is determined, the representative frame candidate is compared with the already determined representative frame candidate. It is determined whether or not they are similar to each other. For this determination, for example, the Euclidean distance of the color histogram corresponding to the two representative frame candidates to be compared is calculated, and the calculated value of the Euclidean distance is less than or equal to the threshold held in the decision threshold holding unit 250. It is determined based on whether or not there is. For example, on the three-dimensional space shown in FIG. 12B, it is assumed that the Euclidean distance between the points 601 and 620 is equal to or less than the threshold held in the decision threshold holding unit 250. In this case, the point 620 determined after the point 601 is deleted. Of the points 601, 607, 613, 617, and 620 determined as representative frame candidates, points 601, 607, 613, and 617 other than the point 620 are determined as representative frames.

また、特徴量のベクトルデータを用いて代表フレームを判別する判別方法としては、図１２（ｂ）に示すように、ユークリッド距離を用いて代表フレームを判別する判別方法以外に、図１２（ｂ）に示す３次元空間上に配置される各点間における内積（コサイン尺度）を用いて代表フレームを判別する判別方法を用いることができる。   Further, as a determination method for determining the representative frame using the vector data of the feature amount, as shown in FIG. 12B, in addition to the determination method of determining the representative frame using the Euclidean distance, FIG. A discriminating method for discriminating a representative frame using an inner product (cosine scale) between points arranged in the three-dimensional space shown in FIG.

さらに、動画に関する特徴量として、動画を構成するフレームに対応するカラーヒストグラムを用いて代表フレームを判別する判別方法以外に、動画を構成するフレームを画面分割し、この分割された領域内の各カラーヒストグラムやエッジ情報を各フレームの特徴量として用いて、代表フレームを判別するようにしてもよい。   Furthermore, as a feature amount related to the moving image, in addition to the determination method of determining the representative frame using the color histogram corresponding to the frame constituting the moving image, the frame constituting the moving image is divided into screens, and each color in the divided area is divided. The representative frame may be determined using the histogram or edge information as the feature amount of each frame.

以上で示したように、本発明の実施の形態では、代表フレーム候補判別部２３０が代表フレーム候補を判別し、この代表フレーム候補の中から代表フレーム判別部２６０が代表フレームを判別する。このため、似ている特徴量を有するフレームを重複してサンプリングすることを阻止することができる。これにより、保存すべき特徴量のサイズを低減させることができる。   As described above, in the embodiment of the present invention, the representative frame candidate determination unit 230 determines a representative frame candidate, and the representative frame determination unit 260 determines a representative frame from the representative frame candidates. For this reason, it is possible to prevent duplicate frames having similar feature amounts from being sampled. Thereby, the size of the feature quantity to be stored can be reduced.

また、チェンジ点間隔においては、チェンジ点間隔に含まれる各フレームの中から代表フレームをチェンジ点間隔毎に判別することができる。なお、同一のチェンジ点間隔内では、カラーヒストグラムの変化量が小さいため、代表フレーム候補の中から互いに類似するフレームを削除して代表フレームを判別しても、検索精度に与える影響は少ない。   Further, in the change point interval, the representative frame can be determined for each change point interval from among the frames included in the change point interval. Since the amount of change in the color histogram is small within the same change point interval, even if frames similar to each other are deleted from the representative frame candidates and the representative frames are determined, the influence on the search accuracy is small.

このように、本発明の実施の形態によれば、動画を構成する各フレームから適切な代表フレームを判別することができる。   Thus, according to the embodiment of the present invention, an appropriate representative frame can be determined from each frame constituting a moving image.

また、本発明の実施の形態では、情報処理装置に入力される動画から代表フレームを判別して一致または類似検索する場合について説明したが、例えば、インターネット上に流通する動画コンテンツの検索、コンテンツホルダ内（映画会社、テレビ局、ＣＭコンテンツホルダ）での一致または類似検索、テレビ番組等をユーザが携帯電話でキャプチャしてサーバ側に送信し、同一または類似のコンテンツを紹介または配信するシステム、動画コンテンツの分類、動画共有サイトでの動画コンテンツ分類等に本発明の実施の形態を適用することができる。   In the embodiment of the present invention, the case where the representative frame is discriminated from the moving image input to the information processing apparatus and the matching or similarity search is performed has been described. For example, searching for moving image content distributed on the Internet, content holder Video content, a system that introduces or distributes the same or similar content by the user capturing a match or similarity search within a movie company, a TV station, a CM content holder, a user capturing a TV program with a mobile phone, and transmitting it to the server side The embodiment of the present invention can be applied to classification of video content, video content classification on a video sharing site, and the like.

なお、本発明の実施の形態では、情報処理装置を例にして説明したが、動画を検索することができる携帯端末装置等の画像検索装置に本発明の実施の形態を適用することができる。   In the embodiment of the present invention, the information processing device has been described as an example. However, the embodiment of the present invention can be applied to an image search device such as a mobile terminal device capable of searching for a moving image.

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。   The embodiment of the present invention is an example for embodying the present invention and has a corresponding relationship with the invention-specific matters in the claims as shown below, but is not limited thereto. However, various modifications can be made without departing from the scope of the present invention.

すなわち、請求項１乃至９において、情報処理装置は、例えば情報処理装置１００または１０１に対応する。   That is, in claims 1 to 9, the information processing apparatus corresponds to the information processing apparatus 100 or 101, for example.

また、請求項１において、特徴量抽出手段は、例えば特徴量抽出部２００または４００に対応する。また、代表フレーム候補判別手段は、例えば代表フレーム候補判別部２３０に対応する。また、代表フレーム判別手段は、例えば代表フレーム判別部２６０に対応する。   Further, in claim 1, the feature quantity extraction means corresponds to the feature quantity extraction unit 200 or 400, for example. The representative frame candidate determination unit corresponds to the representative frame candidate determination unit 230, for example. The representative frame determination unit corresponds to the representative frame determination unit 260, for example.

請求項３において、参照特徴量保持手段は、例えば参照ヒストグラム保持部２４０または２４１に対応する。   In claim 3, the reference feature amount holding means corresponds to, for example, the reference histogram holding unit 240 or 241.

また、請求項４または５において、候補選択閾値保持手段は、例えば候補選択閾値保持部２２０に対応する。   Further, in claim 4 or 5, the candidate selection threshold value holding means corresponds to, for example, the candidate selection threshold value holding unit 220.

また、請求項６において、代表特徴量保持手段は、例えば代表ヒストグラム保持部２７０または２７１に対応する。   Further, in claim 6, the representative feature amount holding means corresponds to, for example, the representative histogram holding unit 270 or 271.

また、請求項７または８において、決定閾値保持手段は、例えば決定閾値保持部２５０に対応する。   Further, in claim 7 or 8, the determination threshold value holding unit corresponds to, for example, the determination threshold value holding unit 250.

また、請求項９において、チェンジ点検出手段は、例えばカットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０に対応する。また、チェンジ点間隔算出手段は、例えばチェンジ点間隔算出部４９０に対応する。   In claim 9, the change point detection means corresponds to, for example, the cut change point determination unit 440 or the N frame change point determination unit 480. The change point interval calculation means corresponds to the change point interval calculation unit 490, for example.

また、請求項１０または１１において、特徴量抽出手順は、例えば特徴量抽出部２００または４００により行われる。また、代表フレーム候補判別手順は、例えばステップＳ９０５に対応する。また、代表フレーム判別手順は、例えばステップＳ９１７に対応する。   In claim 10 or 11, the feature amount extraction procedure is performed by, for example, the feature amount extraction unit 200 or 400. The representative frame candidate determination procedure corresponds to, for example, step S905. The representative frame determination procedure corresponds to, for example, step S917.

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。   The processing procedure described in the embodiment of the present invention may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program May be taken as

情報処理装置１００の機能構成例を示すブロック図である。2 is a block diagram illustrating a functional configuration example of an information processing apparatus 100. FIG. 特徴量抽出部２００の機能構成例を示すブロック図である。3 is a block diagram illustrating a functional configuration example of a feature amount extraction unit 200. FIG. フレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号[0]（赤）Ｃｒのカラーヒストグラムの例を示す図である。It is a figure which shows the example of the color histogram of the luminance signal Y extracted for every flame | frame, the color difference signal (blue) Cb, and the color difference signal [0] (red) Cr. 動画を構成する各フレームを時系列に並べられた場合を概念的に示す図である。It is a figure which shows notionally the case where each flame | frame which comprises a moving image is arranged in time series. 情報処理装置１００による代表フレーム候補判別処理の処理手順を示すフローチャートである。5 is a flowchart illustrating a processing procedure of representative frame candidate determination processing by the information processing apparatus 100. 情報処理装置１００による代表フレーム判別処理の処理手順を示すフローチャートである。5 is a flowchart illustrating a processing procedure of representative frame determination processing by the information processing apparatus 100. 情報処理装置１０１の構成例を示すブロック図である。2 is a block diagram illustrating a configuration example of an information processing apparatus 101. FIG. 特徴量抽出部４００の機能構成例を示すブロック図である。3 is a block diagram illustrating an example of a functional configuration of a feature amount extraction unit 400. FIG. 代表ヒストグラム抽出部２０１の機能構成例を示すブロック図である。3 is a block diagram illustrating an exemplary functional configuration of a representative histogram extraction unit 201. FIG. 特徴量照合部１５１の機能構成例を示すブロック図である。3 is a block diagram illustrating a functional configuration example of a feature amount matching unit 151. FIG. 照合方法決定部１５２が照合する方法を決定する場合における決定方法の概略を示す図である。It is a figure which shows the outline of the determination method in the case of the collation method determination part 152 determining the method to collate. カラーヒストグラムが３階調で表される場合におけるカラーヒストグラムの一例と、カラーヒストグラムの点の軌跡が時系列に３次元空間上に配置された場合を概念的に示す図である。It is a figure which shows notionally an example in case a color histogram is represented by 3 gradations, and the case where the locus | trajectory of the point of a color histogram is arrange | positioned on a three-dimensional space in time series.

符号の説明Explanation of symbols

１００、１０１ 情報処理装置
１１０ 動画入力部
１２０ ビデオ・オーディオデマルチプレクサ
１３０ ビデオデコード部
１４０、１４１ データベース
１５０、１５１ 特徴量照合部
１５２ 照合方法決定部
１５３ チェンジ点間隔照合部
１５４ カラーヒストグラム照合部
１６０ 判定結果出力部
２００、４００ 特徴量抽出部
２０１ 代表ヒストグラム抽出部
２１０ カラーヒストグラム抽出部
２２０ 候補選択閾値保持部
２３０ 代表フレーム候補判別部
２４０、２４１ 参照ヒストグラム保持部
２５０ 決定閾値保持部
２６０ 代表フレーム判別部
２７０、２７１ 代表ヒストグラム保持部
４１０ カラーヒストグラム抽出部
４２０ 連続フレーム間ヒストグラム差分算出部
４３０、４７０ 閾値保持部
４４０ カットチェンジ点判別部
４６０ Ｎフレーム間ヒストグラム差分算出部
４８０ Ｎフレームチェンジ点判別部
４９０ チェンジ点間隔算出部 100, 101 Information processing device 110 Video input unit 120 Video / audio demultiplexer 130 Video decoding unit 140, 141 Database 150, 151 Feature amount collation unit 152 Collation method determination unit 153 Change point interval collation unit 154 Color histogram collation unit 160 Determination result Output unit 200, 400 Feature amount extraction unit 201 Representative histogram extraction unit 210 Color histogram extraction unit 220 Candidate selection threshold storage unit 230 Representative frame candidate determination unit 240, 241 Reference histogram storage unit 250 Determination threshold storage unit 260 Representative frame determination unit 270, 271 Representative histogram holding unit 410 Color histogram extracting unit 420 Continuous frame histogram difference calculating unit 430, 470 Threshold holding unit 440 Cut change point determining unit 460 Inter-frame histogram difference calculator 480 N frame change point determiner 490 change point interval calculator

Claims (11)

動画を構成するフレーム毎の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量に基づいて、前記動画を構成するフレームの中から代表フレーム候補を判別する代表フレーム候補判別手段と、
前記代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、前記代表フレーム候補の中から代表フレームを判別する代表フレーム判別手段と
を具備する情報処理装置。 Feature quantity extraction means for extracting feature quantities for each frame constituting the video;
Based on the feature amount extracted by the feature amount extraction means, representative frame candidate determination means for determining a representative frame candidate from the frames constituting the moving image;
An information processing apparatus comprising: representative frame discrimination means for discriminating a representative frame from the representative frame candidates by using a difference between representative frame candidate feature amounts, which are feature amounts extracted for the representative frame candidate. 前記代表フレーム判別手段は、前記代表フレーム候補特徴量のそれぞれの差分を算出し、当該算出された差分が所定の範囲内に存在するか否かに基づいて前記代表フレームを判別する
請求項１記載の情報処理装置。 The representative frame determining unit calculates a difference between the representative frame candidate feature quantities, and determines the representative frame based on whether the calculated difference is within a predetermined range. Information processing device. 前記代表フレーム候補のうちで最後に判別された代表フレーム候補について抽出された特徴量を参照特徴量として保持する参照特徴量保持手段をさらに具備し、
前記代表フレーム候補判別手段は、前記参照特徴量と前記抽出された特徴量とを比較して当該比較結果に基づいて前記代表フレーム候補を判別する
請求項１記載の情報処理装置。 Reference feature amount holding means for holding, as a reference feature amount, a feature amount extracted with respect to the representative frame candidate determined last among the representative frame candidates,
The information processing apparatus according to claim 1, wherein the representative frame candidate determination unit compares the reference feature amount with the extracted feature amount and determines the representative frame candidate based on the comparison result. 前記代表フレーム候補を判別するための閾値を保持する候補選択閾値保持手段をさらに具備し、
前記代表フレーム候補判別手段は、前記参照特徴量と前記抽出された特徴量との差分値を算出し、当該算出された差分値と前記候補選択閾値保持手段に保持されている閾値とを比較することにより前記代表フレーム候補を判別する
請求項３記載の情報処理装置。 Candidate selection threshold value holding means for holding a threshold value for determining the representative frame candidate,
The representative frame candidate determination unit calculates a difference value between the reference feature amount and the extracted feature amount, and compares the calculated difference value with a threshold value held in the candidate selection threshold value holding unit. The information processing apparatus according to claim 3, wherein the representative frame candidate is determined. 前記代表フレーム候補を判別するための閾値を保持する候補選択閾値保持手段をさらに具備し、
前記代表フレーム候補判別手段は、前記参照特徴量と前記抽出された特徴量とのユークリッド距離を算出し、当該算出されたユークリッド距離の値と前記候補選択閾値保持手段に保持されている閾値とを比較することにより前記代表フレーム候補を判別する
請求項３記載の情報処理装置。 Candidate selection threshold value holding means for holding a threshold value for determining the representative frame candidate,
The representative frame candidate discriminating means calculates a Euclidean distance between the reference feature quantity and the extracted feature quantity, and calculates the value of the calculated Euclidean distance and the threshold value held in the candidate selection threshold value holding means. The information processing apparatus according to claim 3, wherein the representative frame candidate is determined by comparison. 前記代表フレームについて抽出された特徴量を代表特徴量として保持する代表特徴量保持手段をさらに具備し、
前記代表フレーム判別手段は、前記代表特徴量保持手段に保持されている各代表特徴量と前記代表フレーム候補特徴量との差分を算出し、当該算出された差分が所定の範囲内に存在するか否かに基づいて前記代表フレームを判別する
請求項１記載の情報処理装置。 A representative feature amount holding means for holding the feature amount extracted for the representative frame as a representative feature amount;
The representative frame discriminating unit calculates a difference between each representative feature amount held in the representative feature amount holding unit and the representative frame candidate feature amount, and whether the calculated difference exists within a predetermined range. The information processing apparatus according to claim 1, wherein the representative frame is determined based on whether or not. 前記代表フレームを判別するための閾値を保持する決定閾値保持手段をさらに具備し、
前記代表フレーム判別手段は、前記代表特徴量保持手段に保持されている各代表特徴量と前記代表フレーム候補特徴量との差分値を算出し、当該算出された差分値と前記決定閾値保持手段に保持されている閾値とを比較することにより前記算出された差分値のうちの少なくとも１つが前記決定閾値保持手段に保持されている閾値以下である代表フレーム候補を前記代表フレームとして選択しない
請求項６記載の情報処理装置。 A decision threshold value holding means for holding a threshold value for discriminating the representative frame;
The representative frame discriminating unit calculates a difference value between each representative feature amount held in the representative feature amount holding unit and the representative frame candidate feature amount, and the calculated difference value and the determination threshold holding unit 7. The representative frame candidate in which at least one of the calculated difference values is equal to or less than the threshold held in the decision threshold holding means by comparing with a held threshold is not selected as the representative frame. The information processing apparatus described. 前記代表フレームを判別するための閾値を保持する決定閾値保持手段をさらに具備し、
前記代表フレーム判別手段は、前記代表特徴量保持手段に保持されている各代表特徴量と前記代表フレーム候補特徴量とのユークリッド距離を算出し、当該算出されたユークリッド距離の値と前記決定閾値保持手段に保持されている閾値とを比較することにより前記算出されたユークリッド距離の値のうちの少なくとも１つが前記決定閾値保持手段に保持されている閾値以下である代表フレーム候補を前記代表フレームとして選択しない
請求項６記載の情報処理装置。 A decision threshold value holding means for holding a threshold value for discriminating the representative frame;
The representative frame discriminating unit calculates a Euclidean distance between each representative feature amount held in the representative feature amount holding unit and the representative frame candidate feature amount, and holds the calculated Euclidean distance value and the determination threshold value. A representative frame candidate having at least one of the calculated Euclidean distance values equal to or less than the threshold held in the decision threshold holding means is selected as the representative frame by comparing with a threshold held in the means The information processing apparatus according to claim 6 which is not. 前記動画を構成するフレームに対応する画面において一定の変化が検出された時間軸における位置を示すチェンジ点を検出するチェンジ点検出手段と、
前記検出されたチェンジ点間の間隔を示すチェンジ点間隔を算出するチェンジ点間隔算出手段とをさらに具備し、
前記代表フレーム候補判別手段は、前記算出されたチェンジ点間隔毎に前記代表フレーム候補を判別し、
前記代表フレーム判別手段は、前記チェンジ点間隔毎に判別された代表フレーム候補の中から代表フレームを判別する
請求項１記載の情報処理装置。 Change point detecting means for detecting a change point indicating a position on a time axis at which a constant change is detected on a screen corresponding to a frame constituting the moving image;
Change point interval calculating means for calculating a change point interval indicating an interval between the detected change points;
The representative frame candidate determination means determines the representative frame candidate for each calculated change point interval,
The information processing apparatus according to claim 1, wherein the representative frame determining unit determines a representative frame from representative frame candidates determined at each change point interval. 動画を構成するフレーム毎の特徴量を抽出する特徴量抽出手順と、
前記特徴量抽出手順で抽出された特徴量に基づいて、前記動画を構成するフレームの中から代表フレーム候補を判別する代表フレーム候補判別手順と、
前記代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、前記代表フレーム候補の中から代表フレームを判別する代表フレーム判別手順と
を含む情報処理方法。 A feature quantity extraction procedure for extracting feature quantities for each frame constituting the video;
Based on the feature amount extracted in the feature amount extraction procedure, a representative frame candidate determination procedure for determining a representative frame candidate from the frames constituting the moving image;
An information processing method comprising: a representative frame determination procedure for determining a representative frame from among the representative frame candidates by using a difference between representative frame candidate feature amounts that are feature amounts extracted for the representative frame candidate. 動画を構成するフレーム毎の特徴量を抽出する特徴量抽出手順と、
前記特徴量抽出手順で抽出された特徴量に基づいて、前記動画を構成するフレームの中から代表フレーム候補を判別する代表フレーム候補判別手順と、
前記代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、前記代表フレーム候補の中から代表フレームを判別する代表フレーム判別手順と
をコンピュータに実行させるプログラム。 A feature quantity extraction procedure for extracting feature quantities for each frame constituting the video;
Based on the feature amount extracted in the feature amount extraction procedure, a representative frame candidate determination procedure for determining a representative frame candidate from the frames constituting the moving image;
A program for causing a computer to execute a representative frame discrimination procedure for discriminating a representative frame from the representative frame candidates by using respective differences of representative frame candidate feature amounts, which are feature amounts extracted for the representative frame candidates.
JP2007213220A 2007-08-20 2007-08-20 Information processor, and processing method and program thereof Pending JP2009049667A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007213220A JP2009049667A (en) 2007-08-20 2007-08-20 Information processor, and processing method and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007213220A JP2009049667A (en) 2007-08-20 2007-08-20 Information processor, and processing method and program thereof

Publications (1)

Publication Number Publication Date
JP2009049667A true JP2009049667A (en) 2009-03-05

Family

ID=40501455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007213220A Pending JP2009049667A (en) 2007-08-20 2007-08-20 Information processor, and processing method and program thereof

Country Status (1)

Country Link
JP (1) JP2009049667A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010125757A1 (en) * 2009-04-28 2010-11-04 三菱電機株式会社 Video/audio reproduction device, video/audio recording/ reproduction device, video/audio reproduction method, and video/audio recording/reproduction method
WO2012102276A1 (en) * 2011-01-24 2012-08-02 エイディシーテクノロジー株式会社 Still image extraction device
JP2015026202A (en) * 2013-07-25 2015-02-05 日本放送協会 Program retrieval device and program retrieval program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010125757A1 (en) * 2009-04-28 2010-11-04 三菱電機株式会社 Video/audio reproduction device, video/audio recording/ reproduction device, video/audio reproduction method, and video/audio recording/reproduction method
WO2012102276A1 (en) * 2011-01-24 2012-08-02 エイディシーテクノロジー株式会社 Still image extraction device
JPWO2012102276A1 (en) * 2011-01-24 2014-06-30 エイディシーテクノロジー株式会社 Still image extraction device
JP2015026202A (en) * 2013-07-25 2015-02-05 日本放送協会 Program retrieval device and program retrieval program

Similar Documents

Publication Publication Date Title
CN105653700B (en) Video retrieval method and system
JP4428424B2 (en) Information processing apparatus, information processing method, program, and recording medium
US9432702B2 (en) System and method for video program recognition
US8295611B2 (en) Robust video retrieval utilizing audio and video data
JP5371083B2 (en) Face identification feature value registration apparatus, face identification feature value registration method, face identification feature value registration program, and recording medium
EP1081960A1 (en) Signal processing method and video/voice processing device
US20060245724A1 (en) Apparatus and method of detecting advertisement from moving-picture and computer-readable recording medium storing computer program to perform the method
US20050228849A1 (en) Intelligent key-frame extraction from a video
US20110085734A1 (en) Robust video retrieval utilizing video data
JP2005513663A (en) Family histogram based techniques for detection of commercial and other video content
KR101812103B1 (en) Method and program for setting thumbnail image
CN110688524A (en) Video retrieval method and device, electronic equipment and storage medium
KR20090007177A (en) Apparatus and method for selective real time recording based on face identification
WO2013056311A1 (en) Keypoint based keyframe selection
JP4197014B2 (en) Video search method and apparatus
KR100896336B1 (en) System and Method for related search of moving video based on visual content
JP5096259B2 (en) Summary content generation apparatus and summary content generation program
JP2009049667A (en) Information processor, and processing method and program thereof
JP4333808B2 (en) Video search method and apparatus
KR100930529B1 (en) Harmful video screening system and method through video identification
JP2006039753A (en) Image processing apparatus and image processing method
CN114189754A (en) Video plot segmentation method and system
JP6091552B2 (en) Movie processing apparatus and movie processing system
JP2007060606A (en) Computer program comprised of automatic video structure extraction/provision scheme
JP4853564B2 (en) Information processing apparatus, information processing method, program, and recording medium