JP2015026202A - Program retrieval device and program retrieval program - Google Patents
Program retrieval device and program retrieval program Download PDFInfo
- Publication number
- JP2015026202A JP2015026202A JP2013154854A JP2013154854A JP2015026202A JP 2015026202 A JP2015026202 A JP 2015026202A JP 2013154854 A JP2013154854 A JP 2013154854A JP 2013154854 A JP2013154854 A JP 2013154854A JP 2015026202 A JP2015026202 A JP 2015026202A
- Authority
- JP
- Japan
- Prior art keywords
- program
- search
- histogram
- image
- image type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 16
- 238000002360 preparation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Abstract
Description
本発明は、番組検索装置及び番組検索プログラムに関する。 The present invention relates to a program search device and a program search program.
多数の番組の中から視聴したい目的の番組を検索する手法として、例えば予め各番組に割り当てられた出演者や番組タイトル等のメタ情報を用いたキーワード検索がある。また、上述したメタデータ等を用いたキーワード検索だけではなく、番組に付属のＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）データを利用したキーワード検索や、番組の内容を表すテキスト情報（例えば、ＥＰＧデータの番組概要）の類似性に基づいた検索手法がある（例えば、特許文献１及び２参照）。 As a technique for searching for a desired program to be viewed from a large number of programs, for example, there is a keyword search using meta information such as performers and program titles assigned in advance to each program. In addition to keyword search using the above-described metadata or the like, keyword search using EPG (Electronic Program Guide) data attached to the program, text information representing the content of the program (for example, program overview of EPG data) There is a search method based on the similarity of (see, for example, Patent Documents 1 and 2).
しかしながら、上述したような従来手法では、各番組にメタ情報が付与されていなかったり、ＥＰＧ等に番組の概要文が付与されていない場合に検索ができない。また、メタ情報や概要文が付与されていたとしても、その質が低い場合には、検索精度が著しく低下する。 However, with the conventional method as described above, searching is not possible when meta information is not assigned to each program, or an outline of the program is not assigned to EPG or the like. Further, even if meta information and summary text are given, if the quality is low, the search accuracy is significantly reduced.
本発明は、上述した問題点に鑑みなされたものであり、高精度な番組検索を実現するための番組検索装置及び番組検索プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object thereof is to provide a program search device and a program search program for realizing high-accuracy program search.
本発明の一態様における番組検索装置は、複数の番組映像から要求に対応する番組を検索する番組検索装置において、サンプル映像から所定のフレーム画像をサンプリングするサンプリング取得手段と、前記サンプリング取得手段により得られる各フレーム画像に対する特徴情報を用いて画像の種類毎にまとめた画像種データを生成する画像種データ生成手段と、前記画像種データ生成手段により得られる画像種データを用いて、１又は複数の検索対象番組に対する画像種ヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により得られる画像種ヒストグラムを用いて、前記要求に対応する番組を検索する検索手段とを有する。 According to another aspect of the present invention, there is provided a program search device for searching for a program corresponding to a request from a plurality of program videos, a sampling acquisition unit that samples a predetermined frame image from a sample video, and the sampling acquisition unit. Image type data generating means for generating image type data collected for each type of image using the feature information for each frame image, and one or more of the image type data obtained by the image type data generating means Histogram generation means for generating an image type histogram for a search target program, and search means for searching for a program corresponding to the request using the image type histogram obtained by the histogram generation means.
また、本発明の一態様における番組検索プログラムは、コンピュータを、請求項１乃至４の何れか１項に記載の番組検索装置が有する各手段として機能させるための番組検索プログラムである。 The program search program according to one aspect of the present invention is a program search program for causing a computer to function as each unit included in the program search device according to any one of claims 1 to 4.
本発明によれば、高精度な番組検索を実現することができる。 According to the present invention, a highly accurate program search can be realized.
＜本発明について＞
本発明は、例えば番組映像の中にどのような種類の画像が、どのくらいの比率で出現するかを数値化した特徴を用いて番組検索を行う。これにより、キーワードや番組の概要文（要約）等のテキスト情報の質に関係なく、ユーザの「視覚的嗜好」に基づいた高精度な番組検索を実現し、例えばユーザの好みに合致しているにもかかわらず、従来のテキストベースの検索では辿りつくことが困難であった番組を見つけ出すことが可能となる。
<About the present invention>
According to the present invention, for example, a program search is performed using a characteristic in which what kind of image appears in a program video and at what ratio. This realizes a high-accuracy program search based on the user's “visual preference” regardless of the quality of text information such as keywords and program summary sentences (summary), and matches the user's preference, for example. Nevertheless, it becomes possible to find programs that were difficult to reach by conventional text-based search.
例えば、本実施形態では、映像に含まれる各フレーム画像から所定間隔でサンプリングされたフレーム画像の全体或いは画像を所定のスケール（大きさや数等）で分割したブロック領域単位の特徴情報を画像種データとして生成し、生成した画像種データのヒストグラム（画像種ヒストグラム）に基づいて、画像の検索を行う。 For example, in the present embodiment, the entire frame image sampled at a predetermined interval from each frame image included in the video, or feature information in units of block areas obtained by dividing the image by a predetermined scale (size, number, etc.) is image type data. The image search is performed based on the generated image type data histogram (image type histogram).
以下に、番組検索装置及び番組検索プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下の説明では、一般にテレビ番組等の番組検索手法について説明するが、これに限定されるものではなく、例えばインターネット上における投稿映像や映画等の各種映像等を含むコンテンツや、映像配信のオンデマンドサービス等における映像検索手法に広く適用することができる。 Below, the form which implemented suitably the program search device and the program search program is explained in detail using a drawing. In the following description, a method for searching for a program such as a TV program is generally described. However, the present invention is not limited to this. For example, content including various videos such as posted videos and movies on the Internet, and video distribution It can be widely applied to video search methods in on-demand services.
＜番組検索装置の機能構成例＞
図１は、番組検索装置の機能構成の一例を示す図である。図１の例に示す番組検索装置１０は、ヒストグラム生成装置１１と、検索装置１２とを有する。ヒストグラム生成装置１１と検索装置１２とは、各装置が一体に構成されていてもよく、別体に構成されていてもよい。別体に構成されている場合には、ヒストグラム生成装置１１と、検索装置１２とは、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワーク等によりデータの送受信が可能な状態で接続されている。
<Functional configuration example of program search device>
FIG. 1 is a diagram illustrating an example of a functional configuration of a program search device. The program search device 10 illustrated in the example of FIG. 1 includes a histogram generation device 11 and a search device 12. The histogram generation device 11 and the search device 12 may be configured integrally with each other or may be configured separately. When configured separately, the histogram generation device 11 and the search device 12 are connected in a state where data can be transmitted / received through a communication network such as the Internet or a LAN (Local Area Network). Has been.
ヒストグラム生成装置１１は、学習用のサンプル映像等を含む準備用映像集合を入力し、後述する「画像種データ」を生成する。なお、サンプル映像とは、予め蓄積された１又は複数の映像のジャンル（例えば、ニュース番組、スポーツ、ドラマ、風景映像の多い旅番組）等から無作為又は予め設定された条件（例えば、ニュース番組等の特定のジャンル）に基づいて抽出された映像の集合である。 The histogram generation device 11 inputs a preparation video set including a sample video for learning and generates “image type data” to be described later. The sample video is a random or preset condition (for example, a news program) based on one or a plurality of video genres (for example, news programs, sports, dramas, travel programs with many landscape videos), etc. A specific genre such as a video).
また、ヒストグラム生成装置１１は、検索対象となる１又は複数の番組映像を入力し、各番組に対する「画像種ヒストグラム」を生成する。なお、ヒストグラム生成装置１１において生成される画像種ヒストグラムは、例えば従来手法におけるメタ情報やＥＰＧ等の代わりに検索に使用されるため、検索用ヒストグラムと言い換えることもできる。 Further, the histogram generation device 11 inputs one or more program videos to be searched, and generates an “image type histogram” for each program. Note that the image type histogram generated by the histogram generation device 11 is used for searching instead of meta information, EPG, and the like in the conventional method, and can also be called a search histogram.
検索装置１２は、ユーザからの要求番組の問い合わせに対して、その要求番組と上述した「画像種ヒストグラム」との類似性に基づいて、番組を検索し、問い合わせに対応した番組を検索結果として出力する。 In response to an inquiry about a requested program from a user, the search device 12 searches for the program based on the similarity between the requested program and the above-described “image type histogram”, and outputs the program corresponding to the inquiry as a search result. To do.
なお、ヒストグラム生成装置１１における処理と、検索装置１２における処理とは、連続して実行されなくてもよく、検索装置１２による検索処理を行う前に、ヒストグラム生成装置１１により各番組の画像種ヒストグラムが生成されていればよい。 Note that the processing in the histogram generation device 11 and the processing in the search device 12 do not have to be performed continuously, and before the search processing by the search device 12 is performed, the histogram generation device 11 uses the image type histogram of each program. Should just be generated.
次に、図１に示すヒストグラム生成装置１１と、検索装置１２との機能構成例について具体的に説明する。 Next, a functional configuration example of the histogram generation device 11 and the search device 12 illustrated in FIG. 1 will be specifically described.
＜ヒストグラム生成装置１１の機能構成例＞
図１に示すヒストグラム生成装置１１は、サンプリング取得手段２１と、分割ブロック設定手段２２と、画像種データ生成手段２３と、ヒストグラム生成手段２４とを有するよう構成されている。
<Functional Configuration Example of Histogram Generation Device 11>
The histogram generation apparatus 11 shown in FIG. 1 includes a sampling acquisition unit 21, a divided block setting unit 22, an image type data generation unit 23, and a histogram generation unit 24.
サンプリング取得手段２１は、予め蓄積された準備用映像集合（サンプル映像）３１から、所定の間隔（例えば、Ｔ１フレーム）毎にフレーム画像をサンプリングし、準備用フレーム画像集合３２（Ｐ１，…,ＰＮ＿Ｐ）を出力する。なお、所定の間隔（Ｔ１）は、例えば予め設定された一定のフレーム間隔でもよく、一定の時間間隔であってもよく、またシーンを構成する各ショット（例えば、映像の切り替わり）の先頭画像であってもよいが、これに限定されるものではない。 The sampling acquisition means 21 samples a frame image at a predetermined interval (for example, T 1 frame) from a preparatory video set (sample video) 31 stored in advance, and prepares a preparatory frame image set 32 (P 1 ,... , P N — P). Note that the predetermined interval (T 1 ) may be, for example, a preset fixed frame interval or a fixed time interval, and the top image of each shot (for example, video switching) constituting the scene. However, the present invention is not limited to this.
分割ブロック設定手段２２は、画像種データ生成手段２３により準備用フレーム画像に対する画像種データ３３（Ｗ）を生成する場合に、フレーム画像全体から画像種データを生成するか、フレーム画像を分割したブロック画像を用いて画像種データを生成するかの設定を行う。また、分割ブロック設定手段２２は、フレーム画像を分割する場合に、そのスケール（画像サイズの大きさ）、種類、及び数等のうち、少なくとも１つを設定する。例えば、分割ブロック設定手段２２は、分割したブロック画像の大きさを４×４画素、８×８画素、１６×３２画素のように複数種類を設定することもできるが、画像片の大きさや数はこれに限定されるものではない。なお、ブロック画像の設定は、予めユーザが設定しておいてもよく、また入力される映像の解像度や映像のジャンル等に対応して自動的に設定されてもよい。 When the image type data generating unit 23 generates the image type data 33 (W) for the preparation frame image, the divided block setting unit 22 generates image type data from the entire frame image or a block obtained by dividing the frame image. Sets whether to generate image type data using an image. The divided block setting unit 22 sets at least one of the scale (size of the image size), the type, the number, and the like when dividing the frame image. For example, the divided block setting unit 22 can set a plurality of types of divided block images such as 4 × 4 pixels, 8 × 8 pixels, and 16 × 32 pixels. Is not limited to this. The setting of the block image may be set in advance by the user, or may be automatically set according to the resolution of the input video, the genre of the video, or the like.
更に、分割ブロック設定手段２２は、映像に対して画像全体における「目立つ領域」を表す顕著性マップ(Ｓａｌｉｅｎｃｙ Ｍａｐ)に基づいて、ブロック画像の大きさ、種類、及び数等のうち、少なくとも１つを設定してもよい。顕著性マップは、周辺領域と性質の異なる領域を「顕著性が高い(注意を引く)領域」として抽出するものである。 Furthermore, the divided block setting means 22 is based on a saliency map (Saliency Map) representing a “conspicuous area” of the entire image with respect to the video, and at least one of the size, type and number of block images. May be set. In the saliency map, an area having a property different from that of the surrounding area is extracted as an “area having high saliency (attracting attention)”.
なお、本実施形態では、画像種データ生成手段２３において、常にフレーム画像全体から画像種データを生成する場合に、ヒストグラム生成装置１１に分割ブロック設定手段２２を有しない構成にしてもよい。 In the present embodiment, when the image type data generating unit 23 always generates image type data from the entire frame image, the histogram generating apparatus 11 may not include the divided block setting unit 22.
画像種データ生成手段２３は、例えば分割ブロック設定手段２２により設定された条件等に基づいて、準備用フレーム画像集合３２からフレーム画像毎に特徴情報を取得し、取得した特徴情報を用いて画像の種類毎にまとめた画像種データ３３（Ｗ）を生成する。 The image type data generation unit 23 acquires feature information for each frame image from the preparation frame image set 32 based on, for example, the conditions set by the divided block setting unit 22, and uses the acquired feature information to acquire the image information. Image type data 33 (W) collected for each type is generated.
例えば、画像種データ生成手段２３は、上述した分割ブロック設定手段２２により、複数の異なる分割条件が設定された場合には、それぞれの条件に基づいて分割したブロック画像に対して特徴情報を取得し、取得した特徴情報に対応する画像種データ３３（Ｗ）を生成してもよい。また、画像種データ生成手段２３は、ヒストグラム生成装置１１に分割ブロック設定手段２２を有しない構成である場合には、フレーム画像全体から画像種データを生成してもよい。なお、画像種データ生成手段２３における画像種データ３３（Ｗ）の具体的な生成手法については、後述する。 For example, when a plurality of different division conditions are set by the divided block setting unit 22 described above, the image type data generation unit 23 acquires feature information for the block images divided based on the respective conditions. The image type data 33 (W) corresponding to the acquired feature information may be generated. Further, the image seed data generating means 23 may generate image seed data from the entire frame image when the histogram generating apparatus 11 does not have the divided block setting means 22. A specific method for generating the image type data 33 (W) in the image type data generation unit 23 will be described later.
ヒストグラム生成手段２４は、入力された検索対象番組３４（Ｖ１，…，ＶＮ＿Ｔ）に対して、画像種データ３３を用いて検索対象番組に含まれる各番組の画像種ヒストグラム３５（Ｈ１，…，ＨＮ＿Ｓ）を生成する。 The histogram generation means 24 uses the image type data 33 for the input search target program 34 (V 1 ,..., V N_T ) to display the image type histogram 35 (H 1 , ..., H N — S ) are generated.
例えば、ヒストグラム生成手段２４は、画像種データ３３（Ｗ）と同じ要素数のベクトルＨ＝｛ｈ［１］，ｈ［２］，…，ｈ［Ｋ］｝を準備し、検索対象番組３４の映像から所定のフレーム間隔毎にサンプリングしたフレーム画像に対して特徴情報を取得する。また、ヒストグラム生成手段２４は、各フレーム画像Ｐｉについて、画像種データ３３（Ｗ）のｖ［１］，ｖ［２］，…，ｖ［Ｋ］の中で、Ｐｉの特徴情報と最も類似度の高い（差分の小さい）ものをｖ［ｋ］とし、対応するｈ［ｋ］に１を加算する。また、ヒストグラム生成手段２４は、ベクトルＨの各要素をフレーム画像数で除算して得られたＨ＝｛ｈ［１］，ｈ［２］，…，ｈ［Ｋ］｝を番組の画像種ヒストグラムとして生成する。更に、ヒストグラム生成手段２４は、上述した処理を検索対象番組３４に含まれる番組毎に行うことで、各番組の画像種ヒストグラム３５（Ｈ１，…，ＨＮ＿Ｓ）を生成する。 For example, the histogram generation unit 24 prepares a vector H = {h [1], h [2],..., H [K]} having the same number of elements as the image seed data 33 (W), and sets the search target program 34. Feature information is acquired for a frame image sampled at predetermined frame intervals from the video. In addition, the histogram generation means 24 has the feature information of P i most in v [1], v [2],..., V [K] of the image type data 33 (W) for each frame image P i. A thing with high similarity (small difference) is set as v [k], and 1 is added to the corresponding h [k]. Further, the histogram generating means 24 uses H = {h [1], h [2],..., H [K]} obtained by dividing each element of the vector H by the number of frame images as a program image type histogram. Generate as Further, the histogram generation means 24 generates the image type histogram 35 (H 1 ,..., H N — S ) of each program by performing the above-described processing for each program included in the search target program 34.
＜検索装置１２の機能構成例＞
図１に示す検索装置１２は、ヒストグラム生成手段４１と、検索手段４２とを有するよう構成されている。
<Example of Functional Configuration of Search Device 12>
The search device 12 shown in FIG. 1 is configured to include a histogram generation unit 41 and a search unit 42.
ヒストグラム生成手段４１は、ユーザから入力された要求番組５１（ＶＱ）に対して、上述したヒストグラム生成装置１１のヒストグラム生成手段２４と同様に、要求番組５１（ＶＱ）の画像種ヒストグラム５２（ＨＱ）を生成する。なお、本実施形態において、要求番組５１（ＶＱ）は、ユーザが視聴する複数のフレーム画像からなる番組映像そのものを入力してもよく、また番組映像から抽出した所定のシーン又はカット（ショットともいう）に対応する１又は複数のフレーム画像でもよい。 Similar to the histogram generation means 24 of the histogram generation apparatus 11 described above, the histogram generation means 41 receives the requested program 51 (V Q ) of the requested program 51 (V Q ) from the user. H Q ). In the present embodiment, the requested program 51 (V Q ) may be input as a program video consisting of a plurality of frame images viewed by the user, or a predetermined scene or cut (shot) extracted from the program video. 1) or a plurality of frame images corresponding to the above.
検索手段４２は、例えば要求シーンの画像種ヒストグラム５２（ＨＱ）を用いて、各番組の画像種ヒストグラム３５（Ｈ１，…，ＨＮ＿Ｓ）に対する検索を行い、検索結果５３を出力する。なお、検索結果５３としては、例えば画像種ヒストグラム５２と類似度の高い画像種ヒストグラム３５を有する番組のうち、最も類似度の高い番組から上位ＮＨＩＴ（ＮＨＩＴ≧１）個の番組、番組に割り当てられたメタ情報、及び番組に対応するＥＰＧ情報等のうち、少なくとも１つの情報等を出力するが、これに限定されるものではない。また、番組全体ではなく、番組中の所定のシーンを検索結果として出力してもよい。 The search means 42 searches the image type histogram 35 (H 1 ,..., H N — S ) of each program using, for example, the image type histogram 52 (H Q ) of the requested scene, and outputs a search result 53. As the search result 53, for example, among the programs having the image type histogram 35 having a high degree of similarity with the image type histogram 52, the program having the highest similarity is assigned to the top N HIT (N HIT ≧ 1) programs and programs. Of the allocated meta information and EPG information corresponding to the program, at least one information is output, but the present invention is not limited to this. Further, a predetermined scene in the program may be output as a search result instead of the entire program.
また、上述した類似度については、例えば画像種ヒストグラム５２と検索対象番組３４に対する各番組の画像種ヒストグラム３５との距離Ｄｉを計算し、その距離に基づいて類似度を算出することができるが、これに限定されるものではない。なお、上述の距離Ｄｉが近い方が、類似度が高くなる。 As for the similarity described above, for example, to calculate the distance D i between the image type histogram 35 of each program with respect to the image type histogram 52 and the search target program 34, it is possible to calculate the degree of similarity based on the distance However, the present invention is not limited to this. Note that the closer the distance D i is, the higher the degree of similarity is.
このように、番組検索装置１０は、映像中にどのような種類の画像が含まれているかを数値化し、その値を用いることにより、例えば検索精度の向上等につながる高精度な画像の特徴情報を取得することができる。また、番組検索装置１０は、その特徴情報を用いて高精度な番組検索や映像検索、コンテンツ検索等を実現することができる。 As described above, the program search device 10 quantifies what type of image is included in the video, and uses the value to provide high-precision image feature information that leads to, for example, improvement in search accuracy. Can be obtained. Further, the program search device 10 can realize highly accurate program search, video search, content search, and the like using the feature information.
また、本実施形態によれば、番組に割り当てられたメタ情報や番組の概要文等のテキスト情報に縛られることなく、映像等に対するユーザの「視覚的嗜好」に基づいた番組検索を実現し、ユーザの好みに合致しているにもかかわらず、従来のテキストベースの検索では辿りつくことが困難であった番組を見つけ出すことが可能となる。 In addition, according to the present embodiment, without being bound by text information such as meta information assigned to a program or summary text of the program, a program search based on a user's “visual preference” for video or the like is realized, Despite the user's preference, it is possible to find a program that was difficult to reach by a conventional text-based search.
なお、番組検索装置１０において、上述したヒストグラム生成装置１１と検索装置１２とが一体に構成される場合には、上述したヒストグラム生成手段４１における処理をヒストグラム生成手段２４で行ってよい。この場合、ヒストグラム生成手段４１の構成は不要となる。 In the program search device 10, when the histogram generation device 11 and the search device 12 described above are configured integrally, the processing in the histogram generation unit 41 described above may be performed by the histogram generation unit 24. In this case, the configuration of the histogram generation means 41 is not necessary.
また、本実施形態において、上述した準備用映像集合３１、準備用フレーム画像集合３２、画像種データ３３、検索対象番組３４、各番組の画像種ヒストグラム３５、要求番組５１、画像種ヒストグラム５２、及び検索結果５３は、例えば番組検索装置１０内に設けられる記憶手段等に記憶されていてもよく、また外部装置（例えば、データベースサーバ）等で管理されていてもよい。外部装置で管理される場合、番組検索装置１０は、例えばインターネットやＬＡＮ等に代表される通信ネットワークを介して外部装置とデータの送受信が可能な状態で接続され、外部装置で記憶されているデータの読み出しや、外部装置への書き込みを行うことができる。 In the present embodiment, the above-described preparation video set 31, preparation frame image set 32, image type data 33, search target program 34, image type histogram 35 of each program, requested program 51, image type histogram 52, and The search result 53 may be stored in, for example, a storage unit provided in the program search device 10 or may be managed by an external device (for example, a database server). When managed by an external device, the program search device 10 is connected to the external device in a state where data can be transmitted / received via a communication network represented by the Internet, a LAN, etc., and is stored in the external device. Can be read or written to an external device.
＜番組検索処理例について＞
次に、本実施形態の番組検索装置１０における番組検索処理例についてフローチャートを用いて説明する。図２は、番組検索処理の一例を示すフローチャートである。図２の例において、ヒストグラム生成装置１１は、例えば１又は複数のジャンルからなる複数の映像集合から無作為に選んだ準備用映像集合３１を入力し（Ｓ０１）、入力した準備用映像集合３１から所定のフレーム画像をサンプリングする（Ｓ０２）。なお、サンプリングは、例えば一定間隔毎のフレーム画像を取得してもよく、映像区切り等に基づいてフレーム画像を取得してもよい。
<Example of program search processing>
Next, an example of program search processing in the program search device 10 of the present embodiment will be described using a flowchart. FIG. 2 is a flowchart illustrating an example of a program search process. In the example of FIG. 2, the histogram generation device 11 inputs a preparation video set 31 randomly selected from a plurality of video sets including, for example, one or a plurality of genres (S01), and from the input preparation video set 31 A predetermined frame image is sampled (S02). For sampling, for example, frame images at regular intervals may be acquired, or frame images may be acquired based on video segmentation or the like.
次に、ヒストグラム生成装置１１は、サンプリングされた準備用フレーム画像集合３２からフレーム画像全体又はフレーム画像を分割した各ブロック画像を用いて画像種データ３３を生成する（Ｓ０３）。次に、ヒストグラム生成装置１１は、１又は複数の検索対象番組３４と、画像種データ３３とを用いて、各番組の画像種ヒストグラムを生成する（Ｓ０４）。 Next, the histogram generation device 11 generates image type data 33 using the entire frame image or each block image obtained by dividing the frame image from the sampled preparation frame image set 32 (S03). Next, the histogram generation device 11 generates an image type histogram of each program using one or a plurality of search target programs 34 and the image type data 33 (S04).
次に、検索装置１２は、類似する番組を検索するために要求番組５１を入力し（Ｓ０５）、入力した要求番組５１に対する画像種ヒストグラム５２を生成する（Ｓ０６）。次に、検索装置１２は、上述したＳ０４の処理で得られた各番組の画像種ヒストグラム５２と、要求番組に対する画像種ヒストグラム５２とを用いて番組を検索し（Ｓ０７）、検索結果５３を出力する（Ｓ０８）。なお、本実施形態における番組検索処理では、上述したＳ０１〜Ｓ０４のヒストグラム生成処理とＳ０５〜Ｓ０８の検索処理とを連続して行う必要がなく、例えばＳ０５以降の処理を実行する前に各番組の画像種ヒストグラム３５が生成されていればよい。 Next, the search device 12 inputs the requested program 51 in order to search for a similar program (S05), and generates an image type histogram 52 for the input requested program 51 (S06). Next, the search device 12 searches for a program using the image type histogram 52 of each program obtained by the process of S04 described above and the image type histogram 52 for the requested program (S07), and outputs a search result 53. (S08). In the program search process according to the present embodiment, the above-described histogram generation process of S01 to S04 and the search process of S05 to S08 do not need to be performed continuously. For example, before executing the processes after S05, It is sufficient that the image type histogram 35 is generated.
また、Ｓ０８の処理において出力される検索結果５３は、例えば要求番組との類似度が最も高い番組から順に所定数（１以上）の番組を出力するが、その数については任意に設定することができる。また、検索結果５３として、例えば類似度が所定の閾値以上の番組を全て出力することもできるが、これに限定されるものではない。 The search result 53 output in the process of S08 outputs a predetermined number (1 or more) of programs in order from the program having the highest similarity to the requested program, for example, but the number can be arbitrarily set. it can. Further, as the search result 53, for example, all programs having a similarity equal to or higher than a predetermined threshold can be output, but the search result 53 is not limited to this.
＜画像種データ生成手段２３における画像種データの生成例＞
次に、画像種データ生成手段２３における画像種データの生成例について、具体的に説明する。図３は、画像種データ生成手段の処理の一例を示すフローチャートである。また、図４は、画像種データの生成の流れを説明するための図である。
<Example of Image Type Data Generation in Image Type Data Generation Unit 23>
Next, an example of generating image type data in the image type data generating unit 23 will be specifically described. FIG. 3 is a flowchart illustrating an example of processing of the image type data generation unit. FIG. 4 is a diagram for explaining the flow of generation of image type data.
図３の例において、画像種データ生成手段２３は、例えば準備用映像集合から３１からサンプリング取得手段２１により所定のフレーム間隔（例えば、Ｔ１フレーム間隔）でサンプリングされた準備用フレーム画像集合３２（Ｐ１，…，ＰＮ＿Ｐ）を入力し（Ｓ１１）、Ｐ１，…，ＰＮ＿Ｐに対する特徴情報（例えば、画像特徴ベクト等）を計算する（Ｓ１２）。ここで、画像特徴ベクトルとは、例えば画像全体又は画像を分割したブロック領域単位で計算された色特徴（例えば、ＲＧＢ平均値ベクトル等）やテクスチャ特徴（例えば、エッジ方向ヒストグラム等）により構成されるが、これに限定されるものではない。 In the example of FIG. 3, the image type data generating means 23, for example, a predetermined frame interval by the sampling acquisition section 21 from the preparation for the video set from 31 (for example, T 1 frame interval) Preparation frame image has been sampled by a set 32 ( P 1 ,..., P N_P ) are input (S 11), and feature information (for example, image feature vector etc.) for P 1 ,..., P N_P is calculated (S 12). Here, the image feature vector is composed of, for example, a color feature (for example, an RGB average value vector) or a texture feature (for example, an edge direction histogram) calculated for the entire image or a block area unit obtained by dividing the image. However, the present invention is not limited to this.
次に、画像種データ生成手段２３は、画像特徴ベクトルの類似性等に基づき、図４の例に示すように、Ｐ１，…，ＰＮ＿ＰをＫ個のクラスタへ自動分類する（Ｓ１３）。また、画像種データ生成手段２３は、各クラスタの中心特徴ベクトルをｖ［１］，ｖ［２］，…，ｖ［Ｋ］とし、クラスタ中心特徴ベクトルの系列｛ｖ［１］，ｖ［２］，…，ｖ［Ｋ］｝を、画像種データ３３（Ｗ）として出力する（Ｓ１４）。 Next, the image type data generation means 23 automatically classifies P 1 ,..., P N_P into K clusters based on the similarity of the image feature vectors, as shown in the example of FIG. Further, the image seed data generating unit 23 sets the center feature vectors of each cluster as v [1], v [2],..., V [K], and sets a cluster center feature vector series {v [1], v [2]. ],..., V [K]} are output as image type data 33 (W) (S14).
＜ヒストグラム生成手段２４における画像種ヒストグラムの生成例＞
次に、ヒストグラム生成手段２４における画像種ヒストグラムの生成例について、具体的に説明する。図５は、ヒストグラム生成手段の処理の一例を示すフローチャートである。また、図６は、画像種ヒストグラムの生成の流れを説明するための図である。
<Generation Example of Image Type Histogram in Histogram Generation Unit 24>
Next, an example of generating an image type histogram in the histogram generation unit 24 will be specifically described. FIG. 5 is a flowchart illustrating an example of processing of the histogram generation unit. FIG. 6 is a diagram for explaining the flow of generating an image type histogram.
図５の例において、ヒストグラム生成手段２４は、画像種データ３３（Ｗ）と同じ要素数のベクトルＨ＝｛ｈ［１］，ｈ［２］，…，ｈ［Ｋ］｝を準備し、全ての値を０に初期化する（Ｓ２１）。 In the example of FIG. 5, the histogram generation means 24 prepares a vector H = {h [1], h [2],..., H [K]} having the same number of elements as the image type data 33 (W). Is initialized to 0 (S21).
次に、ヒストグラム生成手段２４は、１又は複数の検索対象番組３４に含まれる各番組（図６の例では、番組映像Ｖ）から所定のフレーム画像をサンプリングし、サンプリングしたフレーム画像Ｐ１，…，ＰＮ＿ＳＰの画像特徴ベクトルを計算する（Ｓ２２）。なお、Ｓ２２の処理において、サンプリングは、例えば所定のフレーム間隔（図６の例では、Ｔ２フレーム間隔）に画像を取得してもよく、また映像区切り等に基づいてフレーム画像を取得してもよいが、これに限定されるものではない。 Next, the histogram generating means 24 samples a predetermined frame image from each program (program video V in the example of FIG. 6) included in one or a plurality of search target programs 34, and samples the sampled frame images P 1 ,. , P N_SP image feature vectors are calculated (S22). In the process of S22, sampling, for example (in the example of FIG. 6, T 2 frame interval) predetermined frame intervals may be acquired image, also be acquired frame image based on the video separator or the like Although it is good, it is not limited to this.
また、画像特徴ベクトルは、例えば上述したＳ１２の処理と同様に画像特徴ベクトルを計算することができるが、これに限定されるものではない。また、画像特徴ベクトルは、フレーム画像全体を用いて計算してもよく、上述したように分割ブロック設定手段２２等により設定された分割条件に基づいて分割されたブロック画像を用いて計算してもよい。 Further, for example, the image feature vector can be calculated in the same manner as the processing of S12 described above, but is not limited thereto. Further, the image feature vector may be calculated using the entire frame image, or may be calculated using the block image divided based on the division condition set by the divided block setting means 22 as described above. Good.
次に、ヒストグラム生成手段２４は、図６の例に示すように、各フレーム画像Ｐｉ（ｉ＝１〜Ｎ＿Ｐ）において、画像種データ３３（Ｗ）のｖ［１］，ｖ［２］，…，ｖ［Ｋ］の中で、Ｐｉの画像特徴ベクトルと最も類似度の高い（差分の小さい）ものをｖ［ｋ］とし（Ｓ２３）、ｈ［ｋ］に１を加算する（Ｓ２４）。 Next, as shown in the example of FIG. 6, the histogram generation unit 24 uses the v [1], v [2], v [1], v [2] of the image type data 33 (W) in each frame image P i (i = 1 to N_P). ..., v in [K], the highest similarity to the image feature vectors of the P i (difference small) ones and v [k] (S23), and adds 1 to h [k] (S24) .
ここで、ヒストグラム生成手段２４は、各フレーム画像について処理したか否かを判断し（Ｓ２５）、各フレーム画像について処理していない場合（Ｓ２５において、ＮＯ）、Ｓ２３に戻り、未処理のフレーム画像について処理を行う。また、ヒストグラム生成手段２４は、各フレーム画像について処理した場合（Ｓ２５において、ＹＥＳ）、ベクトルＨの各要素をフレーム画像数Ｎ＿ＳＰで除算し（Ｓ２６）、計算されたＨ＝｛ｈ［１］，ｈ［２］，…，ｈ［Ｋ］｝を各番組（図６の例では、番組映像Ｖ）の画像種ヒストグラム３５として出力する（Ｓ２７）。 Here, the histogram generation unit 24 determines whether or not each frame image has been processed (S25). If each frame image has not been processed (NO in S25), the process returns to S23, and an unprocessed frame image. Process. Further, when processing is performed for each frame image (YES in S25), the histogram generation unit 24 divides each element of the vector H by the number of frame images N_SP (S26), and calculates H = {h [1], h [2],..., h [K]} are output as the image type histogram 35 of each program (program video V in the example of FIG. 6) (S27).
なお、上述した画像種ヒストグラム生成処理は、例えば検索装置１２におけるヒストグラム生成手段４１においても適用することができ、例えば入力される要求番組５１（ＶＱ）に対して同様の処理を行うことで、要求番組５１（ＶＱ）に対する画像種ヒストグラム５２を取得することができる。 Note that the above-described image type histogram generation processing can also be applied to, for example, the histogram generation means 41 in the search device 12. For example, by performing the same processing on the input requested program 51 (V Q ), An image type histogram 52 for the requested program 51 (V Q ) can be acquired.
ここで、図７は、画像種データ及び画像種ヒストグラムの一例を示す図である。なお、図７（Ａ）は画像種データの一例を示し、図７（Ｂ）は画像種ヒストグラムの一例を示している。 Here, FIG. 7 is a diagram illustrating an example of image type data and an image type histogram. 7A shows an example of image type data, and FIG. 7B shows an example of an image type histogram.
図７（Ａ）の例において、画像種データ３３は、各クラスタの中心特徴ベクトルｖに対して、各クラスタに属する画像の中で、中心特徴ベクトルに最も近い画像が割り当てられている。 In the example of FIG. 7A, in the image type data 33, the image closest to the center feature vector among the images belonging to each cluster is assigned to the center feature vector v of each cluster.
また、図７（Ｂ）の例において、図７（Ａ）で示されている最も近い画像をまとめて画像種ヒストグラムを生成する。なお、最も近い画像をまとめるとは、例えば最も近い画像毎にその画像数をカウントすることである。本実施形態では、上述した処理を行うことで、番組映像に含まれるフレーム画像毎の出現比率を画像種ヒストヒストグラムとして取得することができる。 Further, in the example of FIG. 7B, the closest image shown in FIG. 7A is collected to generate an image type histogram. It should be noted that putting together the nearest images means, for example, counting the number of images for each nearest image. In the present embodiment, by performing the above-described processing, the appearance ratio for each frame image included in the program video can be acquired as an image type histogram.
＜検索手段４２における検索例＞
次に、検索手段４２における検索例について、具体的に説明する。図８は、検索手段の処理の一例を示すフローチャートである。図８の例において、検索手段４２は、検索対象番組３４に含まれる番組数に対応する変数ｉの初期値として１を設定し（ｉ＝１）（Ｓ３１）、検索対象番組３４に含まれる各番組の画像種ヒストグラムＨｉと要求番組５１（ＶＱ）に対応する画像種ヒストグラム５２（ＨＱ）との距離Ｄｉを計算する（Ｓ３２）。
<Search example in the search means 42>
Next, a search example in the search means 42 will be specifically described. FIG. 8 is a flowchart showing an example of processing of the search means. In the example of FIG. 8, the search means 42 sets 1 as an initial value of a variable i corresponding to the number of programs included in the search target program 34 (i = 1) (S31), and each of the search target programs 34 includes A distance D i between the image type histogram H i of the program and the image type histogram 52 (H Q ) corresponding to the requested program 51 (V Q ) is calculated (S32).
次に、検索手段４２は、変数ｉを１増加し（ｉ＝ｉ＋１）（Ｓ３３）、ｉが検索対象番組数（Ｎ＿Ｔ）より大きいか否かを判断し（Ｓ３４）、ｉが検索対象番組数（Ｎ＿Ｔ）より大きくない場合（Ｓ３４において、ＮＯ）、Ｓ３２の処理に戻り、他の番組の画像種ヒストグラムＨｉと画像種ヒストグラム５２（ＨＱ）との距離Ｄｉを計算する。 Next, the search means 42 increases the variable i by 1 (i = i + 1) (S33), determines whether i is larger than the number of search target programs (N_T) (S34), and i is the number of search target programs. If it is not larger than (N_T) (NO in S34), the process returns to S32 to calculate the distance D i between the image type histogram H i and the image type histogram 52 (H Q ) of another program.
なお、ヒストグラム間の距離の計算手法としては、例えば各ヒストグラムの要素数は同一であるため、同じ位置に属する要素毎（例えば、ｈ［１］とｈ［１］、ｈ［２］とｈ［２］）に差を算出し、要素毎の差を合計することで、ヒストグラムの距離を計算することができるが、計算手法については、これに限定されるものではない。 As a method for calculating the distance between histograms, for example, since the number of elements in each histogram is the same, each element belonging to the same position (for example, h [1] and h [1], h [2] and h [ 2]), the distance of the histogram can be calculated by calculating the difference and summing the differences for each element. However, the calculation method is not limited to this.
また、検索手段４２は、ｉが検索対象番組数（Ｎ＿Ｔ）より大きい場合（Ｓ３４において、ＹＥＳ）、距離Ｄｉの小さい方が、類似度が高いため、距離Ｄｉの小さい方から上位ＮＨＩＴ個のシーン（番組全体でもよい）等を検索結果５３として出力する（Ｓ３５）。 The search means 42, i is searched program number (N_T) (In S34, YES) larger case, smaller distance D i is due to the high degree of similarity, the upper N HIT from smaller distances D i Individual scenes (which may be the entire program) or the like are output as search results 53 (S35).
なお、上述したＮＨＩＴ個は、予めユーザ等により設定された１以上の整数である。また、Ｓ３５の処理においては、検索手段４２は、距離Ｄｉが閾値よりも小さい全てのシーン（番組）を検索結果５３として出力してもよい。例えば、距離Ｄｉが閾値よりも小さいシーン（番組）が存在しなかった場合、検索手段４２は、検索結果がない旨のメッセージを画面等に出力してもよい。 The N HIT items described above are integers of 1 or more set in advance by the user or the like. In the process of S35, the search means 42 may output all the scenes (programs) whose distance Di is smaller than the threshold value as the search results 53. For example, when there is no scene (program) in which the distance D i is smaller than the threshold, the search unit 42 may output a message indicating that there is no search result on a screen or the like.
＜番組検索の具体例＞
ここで、図９は、番組検索の具体例を示す図である。図９の例では、オンデマンド等の番組配信サービスにおいて、ユーザが視聴している再生中の番組に対して画像種ヒストグラムを用いた番組検索を行い、類似する番組を画面に提示する例を示している。
<Specific example of program search>
Here, FIG. 9 is a diagram showing a specific example of program search. In the example of FIG. 9, in a program distribution service such as on-demand, an example is shown in which a program search using an image type histogram is performed on a program that is being viewed by a user and a similar program is presented on the screen. ing.
図９（Ａ）では、番組再生画面６０に番組映像６１が再生されている。番組再生画面６０は、例えばデータ放送に対応したテレビやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、スマートフォン、携帯端末等の情報端末の表示手段に表示される画面である。 In FIG. 9A, a program video 61 is reproduced on the program reproduction screen 60. The program playback screen 60 is a screen displayed on a display unit of an information terminal such as a television, a PC (Personal Computer), a tablet terminal, a smartphone, or a mobile terminal that supports data broadcasting.
ここで、ユーザが、番組再生画面６０に表示されている類似番組表示ボタン６２をクリックすると、上述した番組検索処理に従って再生中の番組を要求番組として画像種ヒストグラムの類似性に基づいた検索処理を行う。 Here, when the user clicks the similar program display button 62 displayed on the program playback screen 60, a search process based on the similarity of the image type histogram is performed with the program being played back as a requested program according to the program search process described above. Do.
そして、検索結果が得られると、例えば図９（Ｂ）に示すように、番組再生画面６０の検索結果表示領域６３に、再生中の番組映像６１と類似度が高い番組が所定数提示される。なお、検索結果表示領域６３に提示される番組は、例えば各番組に対して予め設定されたシーンの代表サムネイル画像でもよく、複数の要約画像が連続して表示されるスライド映像でもよく、所定のシーン又は番組全体が再生された再生映像でもよい。また、検索結果表示領域６３には、画像や映像の表示ではなく、番組に関する文字情報や類似度を表示してもよく、画像や映像、文字情報、類似度を組み合わせて表示してもよい。 When the search result is obtained, for example, as shown in FIG. 9B, a predetermined number of programs having a high similarity to the program video 61 being reproduced are presented in the search result display area 63 of the program reproduction screen 60. . Note that the program presented in the search result display area 63 may be, for example, a representative thumbnail image of a scene set in advance for each program, or a slide video in which a plurality of summary images are continuously displayed. It may be a playback video in which the entire scene or program is played back. In addition, the search result display area 63 may display not only images and videos but also text information and similarities related to the program, or a combination of images, videos, text information, and similarities.
ユーザは、検索結果表示領域６３に表示される番組から１つを選択することにより、その選択した番組が番組映像６１の表示領域に表示され、再生される。これにより、ユーザは、類似する番組を視聴することができる。なお、本実施形態において、番組検索を行う画面レイアウトについては、図９の例に限定されるものではない。また、上述した画面制御等は、例えば上述した検索手段４２により行ってもよく、また番組検索装置１０に画面制御手段等を設けて処理を行ってもよい。 When the user selects one of the programs displayed in the search result display area 63, the selected program is displayed in the display area of the program video 61 and reproduced. Thereby, the user can view a similar program. In the present embodiment, the screen layout for performing the program search is not limited to the example of FIG. Further, the above-described screen control or the like may be performed by, for example, the search means 42 described above, or the program search apparatus 10 may be provided with a screen control means or the like.
上述したように、本実施形態によれば、ＥＰＧデータや番組の内容に関するテキスト情報（メタ情報）が付与されていない場合も、高精度に類似番組を検索することができる。また、本実施形態によれば、例えば内容や嗜好が類似しているにもかかわらずテキストベース検索ではたどり着けないような番組を見つけることができる。更に、番組タイトルが同じなだけでなく、例えばテーマが類似した番組を見つけることができる。 As described above, according to the present embodiment, similar programs can be searched with high accuracy even when EPG data or text information (meta information) about the contents of a program is not given. Further, according to the present embodiment, for example, it is possible to find a program that cannot be reached by text-based search even though the contents and preferences are similar. Further, not only the program title is the same, but also a program with a similar theme can be found, for example.
＜実行プログラム＞
ここで、上述した番組検索装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶装置、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
<Execution program>
Here, the program search apparatus 10 described above includes, for example, a CPU (Central Processing Unit), a volatile storage device such as a RAM (Random Access Memory), a nonvolatile storage device such as a ROM (Read Only Memory), a mouse and a keyboard. It can be configured by a computer having an input device such as a pointing device, a display device for displaying images and data, and an interface device for communicating with the outside.
したがって、番組検索装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。 Therefore, the above-described functions of the program search device 10 can be realized by causing the CPU to execute a program describing these functions. These programs can also be stored and distributed in a recording medium such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), or a semiconductor memory.
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（番組検索プログラム）を生成し、例えば汎用のＰＣやサーバ、タブレット端末、スマートフォン等の情報端末に、そのプログラムをインストールすることにより、番組検索処理を実現することができる。なお、本実施形態における実行プログラムによる処理については、例えば上述した各処理を実現することができる。 That is, by generating an execution program (program search program) for causing a computer to execute the processing in each configuration described above, and installing the program in an information terminal such as a general-purpose PC, server, tablet terminal, or smartphone, for example. The program search process can be realized. In addition, about the process by the execution program in this embodiment, each process mentioned above is realizable, for example.
上述したように本実施形態によれば、高精度な番組検索を実現することができる。例えば、本実施形態によれば、キーワードや番組の概要文等のテキスト情報に縛られることなく、ユーザの「視覚的嗜好」に基づいた番組検索を実現し、ユーザの好みに合致しているにもかかわらず、従来のテキストベースの検索では辿りつくことが困難であった番組を見つけ出すことが可能となる。本実施形態における番組検索装置は、コンピュータ及びハードディスクを用いた映像検索分野に適用することができる。 As described above, according to the present embodiment, a highly accurate program search can be realized. For example, according to the present embodiment, a program search based on a user's “visual preference” is realized without being restricted by text information such as a keyword or a program summary sentence, and matches a user's preference. Nevertheless, it becomes possible to find programs that were difficult to reach by conventional text-based search. The program search device in this embodiment can be applied to the video search field using a computer and a hard disk.
以上、好ましい実施形態について詳述したが、開示の技術は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された開示の技術の要旨の範囲内において、種々の変形、変更が可能である。 The preferred embodiment has been described in detail above, but the disclosed technique is not limited to the specific embodiment, and various modifications, within the scope of the disclosed technique described in the claims, It can be changed.
１０ 番組検索装置
１１ ヒストグラム生成装置
１２ 検索装置
２１ サンプリング取得手段
２２ 分割ブロック設定手段
２３ 画像種データ生成手段
２４，４１ ヒストグラム生成手段
３１ 準備用映像集合
３２ 準備用フレーム画像集合
３３ 画像種データ
３４ 検索対象番組
３５，５２ 画像種ヒストグラム
４２ 検索手段
５１ 要求番組
５３ 検索結果
６０ 番組再生画面
６１ 番組映像
６２ 類似番組表示ボタン
６３ 検索結果表示領域
DESCRIPTION OF SYMBOLS 10 Program search device 11 Histogram generation device 12 Search device 21 Sampling acquisition means 22 Divided block setting means 23 Image type data generation means 24, 41 Histogram generation means 31 Preparation video set 32 Preparation frame image set 33 Image type data 34 Search target Program 35, 52 Image type histogram 42 Search means 51 Requested program 53 Search result 60 Program playback screen 61 Program video 62 Similar program display button 63 Search result display area
Claims (5)
サンプル映像から所定のフレーム画像をサンプリングするサンプリング取得手段と、
前記サンプリング取得手段により得られる各フレーム画像に対する特徴情報を用いて画像の種類毎にまとめた画像種データを生成する画像種データ生成手段と、
前記画像種データ生成手段により得られる画像種データを用いて、１又は複数の検索対象番組に対する画像種ヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により得られる画像種ヒストグラムを用いて、前記要求に対応する番組を検索する検索手段とを有することを特徴とする番組検索装置。 In a program search device for searching for a program corresponding to a request from a plurality of program videos,
Sampling acquisition means for sampling a predetermined frame image from a sample video;
Image type data generating means for generating image type data summarized for each type of image using feature information for each frame image obtained by the sampling acquisition means;
Histogram generation means for generating an image type histogram for one or a plurality of search target programs using the image type data obtained by the image type data generation means;
A program search apparatus comprising: search means for searching for a program corresponding to the request using an image type histogram obtained by the histogram generation means.
前記要求された番組に対して生成された画像種ヒストグラムと、前記１又は複数の検索対象番組に対する画像種ヒストグラムとにおける類似度に基づいて検索を行うことを特徴とする請求項１に記載の番組検索装置。 The search means includes
2. The program according to claim 1, wherein a search is performed based on a similarity between an image type histogram generated for the requested program and an image type histogram for the one or more search target programs. Search device.
前記要求された番組に対して生成された画像種ヒストグラムと、前記１又は複数の検索対象番組に対する画像種ヒストグラムとの距離を計算し、計算された距離が短い方から所定数の番組を検索結果として出力することを特徴とする請求項２に記載の番組検索装置。 The search means includes
The distance between the image type histogram generated for the requested program and the image type histogram for the one or more search target programs is calculated, and a predetermined number of programs are searched from the shorter calculated distance. The program search device according to claim 2, wherein the program search device outputs the program.
請求項１乃至４の何れか１項に記載の番組検索装置が有する各手段として機能させるための番組検索プログラム。 Computer
The program search program for functioning as each means which the program search device of any one of Claims 1 thru | or 4 has.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013154854A JP6220179B2 (en) | 2013-07-25 | 2013-07-25 | Program search device and program search program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013154854A JP6220179B2 (en) | 2013-07-25 | 2013-07-25 | Program search device and program search program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015026202A true JP2015026202A (en) | 2015-02-05 |
| JP6220179B2 JP6220179B2 (en) | 2017-10-25 |
Family
ID=52490820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013154854A Active JP6220179B2 (en) | 2013-07-25 | 2013-07-25 | Program search device and program search program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6220179B2 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001125903A (en) * | 1999-10-22 | 2001-05-11 | Real World Computing Partnership | Device and method for retrieving data sequence and recording medium |
| JP2003242510A (en) * | 2002-02-13 | 2003-08-29 | Nippon Telegr & Teleph Corp <Ntt> | Signal retrieval device, signal retrieval method, signal retrieval program, and storage medium with signal retrieval method program stored therein |
| JP2006510240A (en) * | 2002-11-29 | 2006-03-23 | ソニー・ユナイテッド・キングダム・リミテッド | Media processing system |
| JP2009021732A (en) * | 2007-07-11 | 2009-01-29 | Nippon Hoso Kyokai <Nhk> | Storage type broadcasting receiver and digest video reproduction program |
| JP2009049667A (en) * | 2007-08-20 | 2009-03-05 | Sony Corp | Information processor, and processing method and program thereof |
| JP2011248671A (en) * | 2010-05-27 | 2011-12-08 | Kddi Corp | Image retrieval device, program, and method for retrieving image among multiple reference images using image for retrieval key |
| JP2012234395A (en) * | 2011-05-02 | 2012-11-29 | Nippon Hoso Kyokai <Nhk> | Composition data generating device and composition data generating program |
| US20120321181A1 (en) * | 2011-06-20 | 2012-12-20 | Microsoft Corporation | Near-duplicate video retrieval |
| WO2012176317A1 (en) * | 2011-06-23 | 2012-12-27 | サイバーアイ・エンタテインメント株式会社 | Image recognition system-equipped interest graph collection system using relationship search |
| US20130060766A1 (en) * | 2011-09-02 | 2013-03-07 | Zhe Lin | K-nearest neighbor re-ranking |
-
2013
- 2013-07-25 JP JP2013154854A patent/JP6220179B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001125903A (en) * | 1999-10-22 | 2001-05-11 | Real World Computing Partnership | Device and method for retrieving data sequence and recording medium |
| JP2003242510A (en) * | 2002-02-13 | 2003-08-29 | Nippon Telegr & Teleph Corp <Ntt> | Signal retrieval device, signal retrieval method, signal retrieval program, and storage medium with signal retrieval method program stored therein |
| JP2006510240A (en) * | 2002-11-29 | 2006-03-23 | ソニー・ユナイテッド・キングダム・リミテッド | Media processing system |
| JP2009021732A (en) * | 2007-07-11 | 2009-01-29 | Nippon Hoso Kyokai <Nhk> | Storage type broadcasting receiver and digest video reproduction program |
| JP2009049667A (en) * | 2007-08-20 | 2009-03-05 | Sony Corp | Information processor, and processing method and program thereof |
| JP2011248671A (en) * | 2010-05-27 | 2011-12-08 | Kddi Corp | Image retrieval device, program, and method for retrieving image among multiple reference images using image for retrieval key |
| JP2012234395A (en) * | 2011-05-02 | 2012-11-29 | Nippon Hoso Kyokai <Nhk> | Composition data generating device and composition data generating program |
| US20120321181A1 (en) * | 2011-06-20 | 2012-12-20 | Microsoft Corporation | Near-duplicate video retrieval |
| WO2012176317A1 (en) * | 2011-06-23 | 2012-12-27 | サイバーアイ・エンタテインメント株式会社 | Image recognition system-equipped interest graph collection system using relationship search |
| US20130060766A1 (en) * | 2011-09-02 | 2013-03-07 | Zhe Lin | K-nearest neighbor re-ranking |
Non-Patent Citations (1)
| Title |
|---|
| 久保 裕明、外２名: "ＳＩＦＴ特徴点軌跡を用いた周辺ヒストグラムによる動画類似度", 電子情報通信学会技術研究報告, vol. 第１１０巻，第４１４号, JPN6017012405, 10 February 2011 (2011-02-10), JP, pages 43 - 48, ISSN: 0003535417 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6220179B2 (en) | 2017-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10242265B2 (en) | Actor/person centric auto thumbnail | |
| US9913001B2 (en) | System and method for generating segmented content based on related data ranking | |
| CN104994426B (en) | Program video identification method and system | |
| US10936646B2 (en) | Systems and methods for enhancing search results by way of updating search indices | |
| US9098807B1 (en) | Video content claiming classifier | |
| US8938153B2 (en) | Representative image or representative image group display system, representative image or representative image group display method, and program therefor | |
| WO2018177139A1 (en) | Method and apparatus for generating video abstract, server and storage medium | |
| KR101811468B1 (en) | Semantic enrichment by exploiting top-k processing | |
| US9542395B2 (en) | Systems and methods for determining alternative names | |
| US20220107978A1 (en) | Method for recommending video content | |
| US9305215B2 (en) | Apparatus, method and computer readable recording medium for analyzing video using image captured from video | |
| CN113779303B (en) | Video set indexing method and device, storage medium and electronic equipment | |
| US20180288460A1 (en) | Systems and methods for navigating custom media presentations | |
| CN106407268B (en) | Content retrieval method and system based on coverage optimization method | |
| US9715509B2 (en) | Method for navigating identifiers placed in areas and receiver implementing the method | |
| US20090136208A1 (en) | Virtual Video Clipping and Ranking Based on Spatio-Temporal Metadata | |
| TW201901492A (en) | Video search method and device | |
| JP2009060413A (en) | Method and system for extracting feature of moving image, and method and system for retrieving moving image | |
| JP5973309B2 (en) | Distribution apparatus and computer program | |
| US9106966B2 (en) | Multi-dimensional channel directories | |
| JP2014130536A (en) | Information management device, server, and control method | |
| JP6220179B2 (en) | Program search device and program search program | |
| KR20090096158A (en) | System and Method for cross-media search based on moving video still cut | |
| KR102281266B1 (en) | System and Method for Extracting Keyword and Ranking in Video Subtitle | |
| KR20180105522A (en) | Appratus and method for tagging metadata |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160530 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170929 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6220179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |