JP2007272651A - Video provision device and method - Google Patents
Video provision device and method Download PDFInfo
- Publication number
- JP2007272651A JP2007272651A JP2006098686A JP2006098686A JP2007272651A JP 2007272651 A JP2007272651 A JP 2007272651A JP 2006098686 A JP2006098686 A JP 2006098686A JP 2006098686 A JP2006098686 A JP 2006098686A JP 2007272651 A JP2007272651 A JP 2007272651A
- Authority
- JP
- Japan
- Prior art keywords
- video
- index
- order
- similarity
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は映像提供装置及び映像提供方法に関する。詳しくは、多数のアーカイブ映像情報を時系列関係及び類似関係を分りやすく整理し表示するアーカイブ映像提供装置及びアーカイブ映像提供方法に関する。 The present invention relates to an image providing apparatus and an image providing method. More specifically, the present invention relates to an archive video providing apparatus and an archive video providing method for organizing and displaying a large number of archive video information in a time-sequential relationship and a similar relationship.
従来の情報の類似度を判定するものとして、文書の類似度をベクトル空間モデルを用いて判定するものがあった。ベクトル空間モデルは、出現単語に基づいて文書を１つのベクトルで表現し、文書間の類似性をベクトル間の関係（余弦など）で定義する手法である。この系列で、文書集合を構成する文書の特徴を要素とするベクトルデータを文書集合の特徴量とすることにより文書集合の類似性を判定するものや、多変数の時系列データ同士の類似度を判定するために、データセットを平均値ベクトル、分散ベクトル、主成分分析の結果などの特徴量ベクトルに変換して、類似度を演算するものがあった。また、コンピュータを発想支援に利用して類似関係を２次元空間に分かり易く整理し表示しようとする試みがあった。（特許文献１，２、非特許文献１，２参照） As a conventional method for determining the similarity of information, there is a method for determining the similarity of documents using a vector space model. The vector space model is a technique in which documents are expressed by one vector based on appearance words, and the similarity between documents is defined by the relationship between vectors (such as cosine). In this series, the similarity of document sets is determined by using vector data whose elements are the features of the documents that make up the document set as feature quantities of the document set, and the similarity between multi-variable time series data is determined. In order to make a determination, there is one that calculates a similarity by converting a data set into a feature vector such as an average vector, a variance vector, and a result of principal component analysis. There has also been an attempt to organize and display similar relationships in a two-dimensional space in an easy-to-understand manner by using a computer for idea support. (See Patent Documents 1 and 2, Non-Patent Documents 1 and 2)
多数の映像を１画面に配列する場合、通常は２次元に（縦横に）配列される。従って、縦横２つの要素を選択できる。その場合、一方を時系列順、他方を類似度順に選択して配列配置できれば、利用価値が大きいと考えられる。しかしながら、ベクトル空間を用いる方法では時系列関係はベクトルの１つの次元としてしか扱われず、また、コンピュータを発想支援に利用する方法では時系列関係を開示しておらず、従来の方法で、映像情報、特にアーカイブ映像情報を提供するに際し、多数の映像について時系列関係及び類似関係を分りやすく整理し表示するものは見当たらない。 When many images are arranged on one screen, they are usually arranged two-dimensionally (vertically and horizontally). Accordingly, it is possible to select two elements in the vertical and horizontal directions. In that case, if one can be arranged in time series order and the other in order of similarity, it can be considered that the utility value is great. However, in the method using the vector space, the time series relationship is treated as only one dimension of the vector, and in the method using the computer for idea support, the time series relationship is not disclosed. In particular, when providing archive video information, there are no videos that clearly organize and display time-series relationships and similar relationships for a large number of videos.
本発明は、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置及び映像提供方法を提供することを目的とする。 It is an object of the present invention to provide an image providing apparatus and an image providing method for easily organizing and displaying time series relationships and similar relationships for a large number of images.
上記課題を解決するために、請求項１に記載の映像提供装置１は、例えば図１に示すように、表題毎にグループにまとめられた複数の映像を蓄積した映像情報データベース３と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段５と、映像情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出手段６と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示手段４とを備える。 In order to solve the above-described problem, the video providing apparatus 1 according to claim 1 includes a video information database 3 storing a plurality of videos grouped for each title, and each video as shown in FIG. The index assigning means 5 for assigning a similarity index indicating the similarity between the time index and the content to the video information database 3 and extracting the video of interest in the same group as the video of interest. A video extraction means 6 that extracts a predetermined number and arranges in order of temporal index, extracts a predetermined number of videos whose similarity index is closest to the target video, and arranges in order of similarity index, and a predetermined centering on the extracted target video The video having the closest extracted temporal index is arranged in the order of the temporal index along the first axis, and the video having the closest extracted similar index is arranged in the order of the similar index along the second axis. Place and display on screen And a video display unit 4.
ここにおいて、時間的指標とは、各グループの映像における時系列順序を示す指標をいい、典型的にはストーリー順をいうが、工程順、歴史順、製作順でも良い。また、類似度指標とは、内容の類似性を表す指標をいい、指標値の差が小さい程類似性が高い。全映像を対象にしても良く、各グループの代表映像を対象にしても良い。また、映像抽出手段６は、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出してから時間的指標の順に並べても良く、時間的指標の順に並べてから所定数抽出しても良い。また、注目映像に類似度指標が最も近い映像を所定数抽出してから類似度指標の順に並べても良く、類似度指標の順に並べてから所定数抽出しても良い。また、所定数とは、画面に表示する映像数をいうが、所定数以上抽出し、並べ、画面に表示する際に所定数に絞っても、所定数の映像が含まれた状態で抽出され、まとまった状態で並べられるので、それでも良い。このように構成すると、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置を提供できる。 Here, the time index refers to an index indicating the time series order in the video of each group, and typically refers to a story order, but may be a process order, a history order, or a production order. The similarity index is an index representing the similarity of contents, and the similarity is higher as the difference in index values is smaller. All videos may be targeted, or representative videos of each group may be targeted. Further, the video extraction means 6 may extract a predetermined number of videos having the closest temporal index in the same group as the target video and then arrange them in the order of temporal indexes, or extract a predetermined number after arranging them in the order of temporal indexes. Also good. Alternatively, a predetermined number of videos whose similarity index is closest to the target video may be extracted and then arranged in the order of the similarity index, or a predetermined number may be extracted after being arranged in the order of the similarity index. The predetermined number refers to the number of videos to be displayed on the screen. However, when a predetermined number or more are extracted, arranged and displayed on the screen, the predetermined number of videos are extracted. Because it is arranged in a grouped state, it's okay. With this configuration, it is possible to provide a video providing apparatus that organizes and displays time-series relationships and similar relationships for a large number of videos.
また、請求項２に記載の発明は、請求項１に記載の映像提供装置において、例えば図６に示すように、時間的指標は前記注目映像が属するグループにおけるストーリーの順序に基づいて定められる。このように構成すると、教材、講義、プレゼンテーション等に適した映像の表示ができる。 Further, according to a second aspect of the present invention, in the video providing apparatus according to the first aspect, for example, as shown in FIG. 6, the temporal index is determined based on the order of the stories in the group to which the target video belongs. With this configuration, video suitable for teaching materials, lectures, presentations, and the like can be displayed.
また、請求項３に記載の発明は、請求項１又は請求項２に記載の映像提供装置において、例えば図４に示すように、類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各映像に係るプロット点の前記第１主成分軸に対する回転角により定められる。このように構成すると、類似度を回転角で表示でき、映像をリング状に配置できるので、２次元表示の一軸上に配置でき、便利である。 Further, the invention according to claim 3 is the video providing apparatus according to claim 1 or 2, in which, for example, as shown in FIG. In Cartesian coordinates composed of principal components, it is determined by the rotation angle of the plot points related to each image with respect to the first principal component axis. With this configuration, the degree of similarity can be displayed at a rotation angle, and the video can be arranged in a ring shape, which is convenient because it can be arranged on one axis of two-dimensional display.
また、請求項４に記載の発明は、請求項３に記載の映像提供装置において、主成分分析は、映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする。このように構成すると、キーワードを特徴として選ぶことにより、類似度を判断する具体的データを作成できる。 According to a fourth aspect of the present invention, in the video providing apparatus according to the third aspect, the principal component analysis uses the appearance frequency of a predetermined keyword in the explanatory text relating to the video as each feature amount. With this configuration, specific data for determining similarity can be created by selecting a keyword as a feature.
また、請求項５に記載の発明は、請求項１乃至請求項４のいずれか１項に記載の映像提供装置において、例えば図１に示すように、映像抽出手段６は、映像をグループ毎に時間的指標順に記憶し、各映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段７と、指標順記憶手段７に記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、指標順記憶手段７に記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出手段８とを有する。このように構成すると、指標順に記憶する指標順記憶手段を用いることにより、注目映像の前後の所定数のデータを取得するに際し、高速度の読み出しが可能になる。 Further, according to a fifth aspect of the present invention, in the video providing apparatus according to any one of the first to fourth aspects, for example, as shown in FIG. Index order storage means 7 for storing each video or representative video of each group in order of similarity index, and temporal index order within the same group as the target video stored in the index order storage means 7. Index order data extraction means 8 for obtaining a predetermined number of data before and after the target video from the data, and acquiring a predetermined number of data before and after the target video from the similarity index order data stored in the index order storage means 7; Have If comprised in this way, when using the index order memory | storage means to memorize | store in order of an index, when acquiring the predetermined number of data before and behind an attention image, high-speed reading becomes possible.
また、請求項６に記載の映像提供方法は、例えば図９に示すように、表題毎にグループにまとめられた複数の映像を映像情報データベース３に蓄積する映像蓄積工程（Ｓ００１）と、各映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与工程（Ｓ００２）と、映像情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出工程（Ｓ００３）と、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示工程（Ｓ００４）とを備える。 The video providing method according to claim 6 includes a video storage step (S001) for storing a plurality of videos grouped by title in the video information database 3 as shown in FIG. An index assigning step (S002) for assigning a similarity index representing the similarity between the temporal index and the content to the video information database 3 and extracting the target video from the same group as the target video. A video extraction step (S003) of extracting a predetermined number of videos and arranging them in order of temporal index, extracting a predetermined number of videos whose similarity index is closest to the target video and arranging them in order of similarity index, and extracting the extracted target video At the center, the video with the closest extracted temporal index is arranged in the order of the temporal index along the first axis, and the video with the closest extracted similar index along the second axis is similar. Index Arranged, and a video display step of displaying on the screen (S004).
ここにおいて、映像抽出工程（Ｓ００３）は、注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出してから時間的指標の順に並べても良く、時間的指標の順に並べてから所定数抽出しても良い。また、注目映像に類似度指標が最も近い映像を所定数抽出してから類似度指標の順に並べても良く、類似度指標の順に並べてから所定数抽出しても良い。このように構成すると、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供方法を提供できる。 Here, in the video extraction step (S003), a predetermined number of videos having the closest temporal index in the same group as the target video may be extracted and then arranged in the order of temporal index, or the predetermined number after being arranged in the order of temporal index. It may be extracted. Alternatively, a predetermined number of videos whose similarity index is closest to the target video may be extracted and then arranged in the order of the similarity index, or a predetermined number may be extracted after being arranged in the order of the similarity index. With this configuration, it is possible to provide a video providing method for organizing and displaying time-series relationships and similar relationships for a large number of videos.
また、請求項７に記載の発明は、請求項６に記載の映像提供方法において、時間的指標は注目映像が属するグループにおけるストーリーの順序に基づいて定められ、類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各映像に係るプロット点の第１主成分軸に対する回転角により定められ、主成分分析は、映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする。このように構成すると、教材、講義、プレゼンテーション等に適した映像の表示ができる。 The invention described in claim 7 is the video providing method according to claim 6, wherein the temporal index is determined based on the order of stories in the group to which the target video belongs, and the similarity index is determined in the principal component analysis. In Cartesian coordinates composed of the first principal component and other principal components, the plot point relating to each video is determined by the rotation angle with respect to the first principal component axis, and the principal component analysis is performed by the appearance of a predetermined keyword in the explanatory text relating to the video. Let frequency be each feature quantity. With this configuration, video suitable for teaching materials, lectures, presentations, and the like can be displayed.
また、請求項８に記載の発明は、請求項６又は請求項７に記載の映像提供方法において、例えば図９に示すように、映像抽出工程（Ｓ００３）は、映像をグループ毎に時間的指標順に記憶し、また、映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶工程（Ｓ００５）と、指標順記憶工程（Ｓ００５）で記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶工程（Ｓ００５）で記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出工程（Ｓ００６）とを有する。ここにおいて、指標順記憶工程及び指標順データ抽出工程では、映像情報データベース３に記憶された全ての映像又は或るグループの全ての映像について指標順に記憶又は取得されなければならない意味ではなく、記憶又は取得された全ての映像が時間的指標順又は類似度指標順に整列されていれば良い意味である。このように構成すると、指標順に記憶する指標順記憶工程を用いることにより、注目映像の前後の所定数のデータを取得するに際し、高速度の読み出しが可能になる。 Further, the invention described in claim 8 is the video providing method according to claim 6 or 7, in which, for example, as shown in FIG. 9, the video extraction step (S003) includes a time index for each group. An index order storage step (S005) for storing videos or representative videos of each group in order of similarity index, and a temporal index within the same group as the target video stored in the index order storage step (S005) An index for acquiring a predetermined number of data before and after the target video from the sequential data, and acquiring a predetermined number of data before and after the target video from the data of the similarity index order stored in the index order storage step (S005) And a forward data extraction step (S006). Here, in the index order storage step and the index order data extraction step, not all the videos stored in the video information database 3 or all the videos of a certain group must be stored or acquired in the index order. It means that all the acquired videos are arranged in order of temporal index or similarity index. With this configuration, by using the index order storage step of storing in the order of indices, high-speed reading can be performed when acquiring a predetermined number of data before and after the video of interest.
本発明によれば、多数の映像について時系列関係及び類似関係を分りやすく整理し表示する映像提供装置及び映像提供方法を提供できる。 According to the present invention, it is possible to provide a video providing apparatus and a video providing method for organizing and displaying time series relationships and similar relationships for a large number of videos in an easily understandable manner.
〔第１の実施の形態〕
図１に第１の実施の形態における映像提供装置の構成例を示す。本実施の形態を含め以下の実施の形態では、映像がアーカイブ映像であり、映像提供装置がアーカイブ映像提供装置であり、映像提供方法がアーカイブ映像提供方法であり、映像情報データベースがアーカイブ情報データベースである例について説明する。アーカイブ映像提供装置１は、アーカイブ映像提供装置１全体を制御して、アーカイブ映像を提供するように機能させると共に、必要な各種演算を行なう演算制御装置２と、多数のアーカイブ映像を蓄積したアーカイブ情報データベース３と、抽出された注目映像を含む複数のアーカイブ映像を画面に表示する映像表示手段４により構成される。アーカイブ情報データベース３に蓄積されるアーカイブ映像は表題毎にストーリーを有し１つのグループにまとめられている。演算制御装置２は、各アーカイブ映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段５と、アーカイブ情報データベース３から注目映像を含む複数の映像を抽出する映像抽出手段６とを有する。映像抽出手段６は、アーカイブ映像をグループ毎に時間的指標順に記憶し、また、各アーカイブ映像又は各グループの代表映像を類似度指標順に記憶する指標順記憶手段７と、指標順記憶手段７に記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶手段７に記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する指標順データ抽出手段８とを有する。映像表示手段４は、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する。
[First Embodiment]
FIG. 1 shows a configuration example of a video providing apparatus according to the first embodiment. In the following embodiments including this embodiment, the video is an archive video, the video providing device is an archive video providing device, the video providing method is an archive video providing method, and the video information database is an archive information database. An example will be described. The archive video providing device 1 controls the entire archive video providing device 1 to function so as to provide an archive video, and performs an arithmetic control device 2 that performs various necessary calculations, and archive information that stores a large number of archive videos. The database 3 and video display means 4 for displaying a plurality of archive videos including the extracted video of interest on the screen. Archive videos stored in the archive information database 3 have a story for each title and are grouped into one group. The arithmetic and control unit 2 includes an index assigning unit 5 that assigns a similarity index indicating the similarity between the temporal index and the content to each archive video, and a video extraction unit that extracts a plurality of videos including the video of interest from the archive information database 3. 6. The video extraction means 6 stores the archive video in the order of temporal index for each group, and stores the archive video or the representative video of each group in the order of similarity index in the index order storage means 7 and the index order storage means 7. A predetermined number of data before and after the target video is obtained from the temporal index order data in the same group as the stored target video, and the target video is obtained from the similarity index order data stored in the index order storage means 7. Index order data extraction means 8 for acquiring a predetermined number of data before and after the. The video display means 4 arranges the video having the closest time index extracted by a predetermined number around the extracted target video in the order of the time index along the first axis, and the similar index extracted by the predetermined number is displayed. The closest video is arranged in the order of similar indices along the second axis and displayed on the screen.
本実施の形態では、アーカイブ映像が漆工芸に係わる例について具体的に説明する。 In this embodiment, an example in which an archive video is related to lacquer craft will be described in detail.
図２に映像とその説明文の例を示す。図２（ａ）に映像、（ｂ）にその説明文を示す。アーカイブ情報データベース３は、かかる映像とそれに付随する説明文の組み合わせを多数蓄積している。映像は、撮影画像、描画画像、グラフィック画像、合成画像のいずれの映像でも良く、サムネイルなどとしてアーカイブ情報データベース３に蓄積されている。図２（ｂ）の説明文は、「この映像は、硯箱の蓋に蒔絵を施した漆器で、黒塗りの円を背景に大きく羽を広げた鶴が描かれています。白、黒を基調に、赤、金、青、紫の配色がされて美しく描かれています。蒔絵は日本文化が育んだ工芸であり、奈良時代から、経文、文具、茶道具などを収納する木箱等に描かれてきました。蒔絵には、置目、地塗り、粉蒔き、磨き、上絵付け等の工程があり、その値打は熟練者の技と美的感覚に強く依存します。」であり、このサムネイルの説明文からキーワードが文字認識技術を用いてピックアップされる。 FIG. 2 shows an example of a video and its explanatory text. FIG. 2A shows an image, and FIG. The archive information database 3 stores a large number of combinations of such videos and explanatory texts accompanying the videos. The video may be any of a captured image, a drawn image, a graphic image, and a composite image, and is stored in the archive information database 3 as a thumbnail or the like. The explanation in Fig. 2 (b) is: "This video is a lacquerware with a lacquered picture on the lid of a basket box, and a crane with a widened wing against a black circle. It is based on white and black. The paintings are beautifully painted in red, gold, blue, and purple.The lacquer painting is a craft cultivated by Japanese culture, and has been drawn on wooden boxes etc. since the Nara period to store sutras, stationery, tea utensils, etc. There are processes such as setting, ground painting, powdering, polishing, and painting, and the value depends strongly on the skill and aesthetic sense of the skilled worker. ”This thumbnail The keyword is picked up from the description of the text using the character recognition technology.
例えば、伝統工芸教科用のアーカイブ映像提供装置では、これら伝統工芸に関する映像を、１つの映像から次に参照したい映像を直ぐに見出せるように整理して配置配列し、画面に表示する必要がある。その分かりやすい整理の仕方の１つは、もし、１つのテーマ（１つの授業）に関する講義、講演、セミナー、解説、物語の中で複数の映像が時系列的に参照されていれば、その時系列順に映像を配列して示すことであり、また、他の１つは、表示されている映像に類似するものほど参照される度合いが大きいと考えられるため、類似度の高い程近くに、低い程遠くになるように配列して示すことである。また、その他、映像名のアイウエオ順とか、製作日順とか、関連する地域や時代の順序に配列して示す方法もある。 For example, in an archive video providing apparatus for a traditional craft subject, it is necessary to arrange, arrange, and display these videos related to traditional crafts so that the video to be referred to next can be found immediately from one video. One of the easy ways to organize is if a series of lectures, lectures, seminars, explanations, and stories about one theme (one class) are referenced in chronological order. The other one is that the images are arranged in order, and the other one is considered to be referred to as the similarity to the displayed image is higher, so that the closer the similarity is, the farther the lower the similarity is. It is to arrange and show as follows. In addition, there are other methods in which the video names are arranged in the order of Aueo, the order of production date, and the order of related regions and times.
ところで、多数の映像を１画面に配列する場合、通常は２次元に（縦横に）配列される。従って、縦横２つの要素を選択できる。その場合、一方を時系列順、他方を類似度順に選択して配列配置できれば、利用価値が大きいと考えられる。ところで時系列順は直ぐに定められるが、類似度については多様な基準があるので、どのような基準を用いるのが最も適切かは単純に定められない。 By the way, when many images are arranged on one screen, they are usually arranged two-dimensionally (vertically and horizontally). Accordingly, it is possible to select two elements in the vertical and horizontal directions. In that case, if one can be arranged in time series order and the other in order of similarity, it can be considered that the utility value is great. By the way, the time series order is determined immediately, but there are various standards for similarity, so it is not simply determined what standard is most appropriate to use.
多変量データについては特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を用いた主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行うことによって、相関関係にある変数を合成して次元を縮退させることができる。多変量データは、類似するデータを他と識別でき、近くに集まるように、直交するいくつかの主成分で構成される空間上に射影される。この手法を用い第１主成分を横軸に第２主成分を縦軸にして映像を配置すると、全ての映像を２次元配置でき、このとき中心点の周りの角度が類似性を表示する指標となる。すなわち、類似性のあるものが中心から同じ角度の放射線近傍に集まり、角度の開きが類似度に対応することとなる。本実施の形態では、第１主成分と第２主成分のみを抽出し、第１主成分を横軸に第２主成分を縦軸に配置した。第３主成分以下を割愛したのは類似度評価の簡素化のためであり、２次元表示を実現させるためである。 For multivariate data, by performing principal component analysis (PCA: Principal Component Analysis) using singular value decomposition (SVD), dimensions can be reduced by synthesizing correlated variables. Multivariate data is projected onto a space composed of several orthogonal principal components so that similar data can be distinguished from others and gathered nearby. By using this technique and arranging images with the first principal component on the horizontal axis and the second principal component on the vertical axis, all the images can be arranged two-dimensionally. At this time, the angle around the center point is an index for displaying the similarity. It becomes. That is, similar things gather near the radiation at the same angle from the center, and the opening of the angle corresponds to the similarity. In the present embodiment, only the first principal component and the second principal component are extracted, and the first principal component is arranged on the horizontal axis and the second principal component is arranged on the vertical axis. The reason why the third principal component or less is omitted is to simplify the similarity evaluation and to realize two-dimensional display.
図３に映像とキーワードの関係を頻度で示す。ここで、Ｎｏ．が映像Ｎｏ．を示す。キーワードが変数の要素として用いられる。すなわち、これらのキーワードを有する映像の母集団に基づいて、第１主成分、第２主成分、・・・、及び各成分値が定められる。すなわち、各映像が２次元表示のどこに配置されるかが定まり、中心の周りの角度により類似性が定まる。 FIG. 3 shows the relationship between video and keywords by frequency. Here, no. Is video no. Indicates. Keywords are used as variable elements. That is, the first principal component, the second principal component,..., And each component value are determined based on the video population having these keywords. That is, where each video is arranged in the two-dimensional display is determined, and the similarity is determined by the angle around the center.
図４は、特異値分解を用いた主成分分析による映像配置の例を示す。データを示す表でＡ，Ｂ，Ｃが映像を示し、ｘ、ｙ、ｚが例えばキーワードを示し、データは説明文中のキーワードの出現頻度を示す。データの行列から、特異値分解により特異値および特異ベクトルが定まり、これに基づき主成分分析すると、第１主成分（主成分１）、第２主成分（主成分２）、・・・、及び各成分値が定まる。第１主成分を横軸に、第２主成分を縦軸にすると、これらの成分値に応じて、Ａ，Ｂ，Ｃ等の各映像がグラフ上に配置される。このとき、各映像のプロット点を単位円上に射影すると、各映像は円周（コンテンツ環）上に射影配置されて、横軸からの回転角が類似度指標を表し、データ間の円周距離又は円周角が類似度を表すことになり、類似性が高いものが近くに集まることになる。例えば、「研ぎ出し蒔絵」に関連するコンテンツの集合は第１象限の或る領域に集まり、作家「Ｍさん」に関連するコンテンツの集合は第４象限の或る領域に集まる。 FIG. 4 shows an example of video arrangement by principal component analysis using singular value decomposition. In the table showing data, A, B, and C indicate videos, x, y, and z indicate keywords, for example, and the data indicates the frequency of appearance of keywords in the description. From the matrix of data, singular values and singular vectors are determined by singular value decomposition, and based on this, a principal component analysis is performed. Then, a first principal component (principal component 1), a second principal component (principal component 2),. Each component value is determined. When the first principal component is on the horizontal axis and the second principal component is on the vertical axis, images such as A, B, and C are arranged on the graph according to these component values. At this time, if the plot points of each video are projected onto the unit circle, each video is projected and arranged on the circumference (content ring), and the rotation angle from the horizontal axis represents the similarity index, and the circumference between the data The distance or the circumferential angle represents the similarity, and those having high similarity are gathered nearby. For example, a set of contents related to “sharpening lacquer” gathers in a certain area in the first quadrant, and a set of contents related to the artist “Mr. M” gathers in a certain area in the fourth quadrant.
図５に映像を類似度−時間軸表示に配置する例を示す。横軸に時系列順に配置するための時間軸をとり、縦軸を円環で表示し円周角を類似性に関連させたものである。このようにすると、各映像は第１主成分を横軸、第２主成分を縦軸とするグラフの円周角に応じてこの円環上に配置される。 FIG. 5 shows an example in which video is arranged in the similarity-time axis display. The horizontal axis is a time axis for arranging in chronological order, the vertical axis is displayed as a ring, and the circumference angle is related to similarity. In this way, each image is arranged on this ring according to the circumferential angle of the graph with the first principal component as the horizontal axis and the second principal component as the vertical axis.
円周上には類似性の順序に従って映像が並ぶ。必ずしも回転角の射影点に配置するのでなく、類似性の順序に従って近い順に並べるので、重なって配置されることはない。また、２以上の映像が同じ類似度、すなわち同じ角度上に併存する場合には、例えば第１主成分値が大きい方（従って第２主成分値も大きい）を近くに配置する、さらに、第１主成分値が等しい場合には、第３主成分が大きい方を近くに配置する等により順序を決めれば良い。したがって、アーカイブ映像の類似度指標によるコンテンツ環への配列順序は固定的に定まる。時間軸上には説明（ストーリー）の順序に従って映像が並ぶ。この場合も時間通りに配置するのではなく、ストーリー順に配置するので、重なって配置されることはない。 Images are arranged on the circumference according to the order of similarity. They are not necessarily arranged at the projection point of the rotation angle, but are arranged in the closest order according to the order of similarity, so that they are not overlapped. Further, when two or more videos are present at the same degree of similarity, that is, at the same angle, for example, the one having the larger first principal component value (and hence the second principal component value is larger) is arranged nearby. When the one principal component value is equal, the order may be determined by arranging the larger third principal component closer. Therefore, the arrangement order in the content ring based on the similarity index of the archive video is fixedly determined. On the time axis, images are arranged in the order of explanations (story). Also in this case, they are not arranged on time, but are arranged in the order of stories, so they are not arranged in an overlapping manner.
次に、アーカイブ情報データベース３に蓄積された多数の映像の中から目的とする映像を見出すには、通常の情報提供システムと同様に検索を行う。例えばキーワードの乗算を用いて検索を行い、ヒットした映像のリストを一覧表示し、その中から目的とする映像を特定し、抽出する。例えば、図２の映像を目的として「蒔絵」×「漆器」で検索を行い、一覧表示に、タイトル、著作者、著作日等を表示し、これらの中から該当すると思われるもの、或は適切と思われるものを抽出して、画面に表示する。これにより、目的とする映像を中心に横軸に時間的指標順に、縦軸に類似度指標順に、映像が十文字状に配置される。 Next, in order to find a target video from among a large number of videos stored in the archive information database 3, a search is performed in the same manner as in a normal information providing system. For example, a search is performed using keyword multiplication, a list of hit videos is displayed as a list, and a target video is identified and extracted from the list. For example, for the purpose of the image shown in FIG. 2, a search is performed with “Maki-e” × “Lacquerware”, and the title, author, date of writing, etc. are displayed in the list display. Extract what you think and display it on the screen. As a result, the video is arranged in a cross shape centered on the target video in the temporal index order on the horizontal axis and the similarity index order on the vertical axis.
アーカイブ映像の類似度指標によるコンテンツ環への配列順序は固定的に定まり、目的とする映像はコンテンツ環のいずれかに位置する。目的とする映像の近傍には当該映像に類似度指標が最も近い映像が類似度指標の順に並び、この順序も固定的に定まる。したがって、各アーカイブ映像を類似度指標順に指標順記憶手段７に記憶すると、目的とする映像の前後の所定数のデータを類似度指標順に取得するに際し、これらのデータを連続して読み出せるので、高速度の読み出しが可能になる。また、同じ表題（グループ）内ではアーカイブ映像をストーリー順に並べると時間指標順になり、この順序も固定的に定まるので、時間指標順に指標順記憶手段７に記憶すると、目的とする映像の前後の所定数のデータを時間指標順に取得するに際し、これらのデータを連続して読み出せるので、高速度の読み出しが可能になる。 The order of arrangement in the content ring based on the similarity index of the archive video is fixed, and the target video is located in one of the content rings. In the vicinity of the target video, videos whose similarity index is closest to the video are arranged in the order of the similarity index, and this order is also fixedly determined. Therefore, if each archive video is stored in the index order storage means 7 in the similarity index order, when acquiring a predetermined number of data before and after the target video in the similarity index order, these data can be read continuously, High-speed reading is possible. Further, when archive videos are arranged in the order of stories within the same title (group), they are in the time index order, and this order is also fixedly fixed. When acquiring a number of data in the order of time index, these data can be read continuously, so that high-speed reading is possible.
図６に類似度−時間軸表示の配列例を示す。目的とする蒔絵を中心に縦軸、横軸上にサムネイルが配置される。横軸に注視しているアーカイブ映像（注目映像）と時間的に連続する映像が時間的指標の順序に配置され、縦軸には注視しているアーカイブ映像（注目映像）と内容的に類似する映像が類似度指標の順序に配置される。例えば、横軸を見ると、左から、説明者、小手箱、硯、硯の蓋に描かれた鶴の蒔絵、別の蒔絵の拡大図、なつめを納めた袋、袋から取り出したなつめが、説明者のストーリーの順序に表示されている。縦軸を見ると、蒔絵の技法の習得に関する内容のものが表示されている。 FIG. 6 shows an arrangement example of similarity-time axis display. Thumbnails are arranged on the vertical axis and horizontal axis centering on the target picture. The archive video (attention video) being watched on the horizontal axis and the temporally continuous video are arranged in the order of temporal indices, and the vertical axis is similar in content to the archive video (attention video) being watched Images are arranged in the order of similarity index. For example, looking at the horizontal axis, from the left, there is an explainer, a small box, a frog, a crane picture drawn on the lid of the crane, an enlarged view of another frog picture, a bag containing a nail, a natsume taken out of the bag, It is displayed in the order of the story of the explainer. Looking at the vertical axis, the contents related to the acquisition of the technique of lacquer work are displayed.
図７に、図６から時間軸上を１つ進めた類似度−時間軸表示の例を示す。別の蒔絵の拡大図が中心に配置され、時間軸上にあった映像が１つずつ左にずれて、右端に扉に描かれた蒔絵が新たに表示されている。縦軸を見ると、内容が全く変り、貝などを使った蒔絵に関する内容のものが表示されている。 FIG. 7 shows an example of the similarity-time axis display in which the time axis is advanced by one from FIG. A magnified view of another map is placed at the center, and the images on the time axis are shifted to the left one by one, and a map drawn on the door is newly displayed at the right end. Looking at the vertical axis, the content has changed completely, and the content related to the lacquer painting using shellfish is displayed.
図８に、図７からさらに時間軸上を辿った類似度−時間軸表示の例を示す。蒔絵が描かれたなつめが中心に配置され、時間軸上にあった映像が２つずつ左にずれて、右端側に説明者が新たに表示されている。縦軸を見ると、内容が全く変り、漆工芸の発展に関する内容（上側は服飾関係、下側は万年筆関係）のものが表示されている。 FIG. 8 shows an example of the similarity-time axis display traced further on the time axis from FIG. The nails on which the lacquer is drawn are arranged at the center, and the images on the time axis are shifted to the left by two, and the presenter is newly displayed on the right end side. Looking at the vertical axis, the content is completely changed, and the content related to the development of lacquer crafts (upper is related to clothing, the lower is related to fountain pens) is displayed.
本実施の形態では、横軸に配置される映像はストーリーに属するものに限られる。他方、縦軸は全ての映像が類似度指標の順序で配置されており、横軸に配置された映像もこの円環のいづれかに存在する。しかし、類似度指標は各映像に固有の値を示すので、映像の配列順序は不変である。したがって、縦軸の表示は，注目映像を中心にして、円環（コンテンツ環）の中からその近傍にある部分が抽出されて表示されることになる。 In the present embodiment, the images arranged on the horizontal axis are limited to those belonging to a story. On the other hand, all the videos are arranged in the order of the similarity index on the vertical axis, and the videos arranged on the horizontal axis also exist in any one of the rings. However, since the similarity index indicates a value unique to each video, the video arrangement order is unchanged. Therefore, the vertical axis is displayed by extracting a portion in the vicinity of the ring (content ring) around the video of interest.
ここで、縦軸で１つ上の映像を注目画像として選択すると、縦軸上の映像は１つずつ下に移る。この場合、横軸は同じストーリーに属する映像であれば、同じストーリーで新たな注目映像が中心になるように映像がずれて表示され、同じストーリーに属さない映像であれば、全く異なるストーリーの映像が配置される。 Here, when the video image one level up on the vertical axis is selected as the attention image, the video image on the vertical axis moves down one by one. In this case, if the horizontal axis is a video belonging to the same story, the video is shifted so that the new video of interest in the same story is centered. If the video does not belong to the same story, the video of a completely different story Is placed.
図９に第１の実施の形態における映像提供方法、すなわちアーカイブ映像提供方法の処理フロー例を示す。まず、表題毎にグループにまとめられた多数のアーカイブ映像をアーカイブ情報データベース３に蓄積する（映像蓄積工程：Ｓ００１）。次に、指標付与手段５において、各アーカイブ映像に時間的指標と内容の類似性を表す類似度指標を付与する（指標付与工程：Ｓ００２）。次に、映像抽出手段６において、アーカイブ情報データベース３から注目映像を抽出すると共に、注目映像と同じグループ内で時間的指標が最も近い映像を時間的指標の順に並べて所定数抽出し、注目映像に類似度指標が最も近い映像を類似度指標の順に並べて所定数抽出する（映像抽出工程：Ｓ００３）。映像抽出工程（Ｓ００３）は、指標順記憶手段７にアーカイブ映像をグループ毎に時間的指標順に記憶し、また、各アーカイブ映像又は各グループの代表映像を類似度指標順に記憶し（指標順記憶工程：Ｓ００５）、指標順データ抽出手段８において、指標順記憶工程（Ｓ００５）で記憶された注目映像と同じグループ内の時間的指標順のデータから注目映像の前後の所定数のデータを取得し、また、指標順記憶工程（Ｓ００５）で記憶された類似度指標順のデータから注目映像の前後の所定数のデータを取得する（指標順データ抽出工程：Ｓ００６）。次に、映像表示手段４において、抽出された注目映像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する（映像表示工程：Ｓ００５）。 FIG. 9 shows a processing flow example of the video providing method according to the first embodiment, that is, the archive video providing method. First, a large number of archive videos grouped by title are stored in the archive information database 3 (video storage step: S001). Next, the index assigning means 5 assigns a similarity index indicating the similarity between the time index and the content to each archive video (index assigning step: S002). Next, the video extraction means 6 extracts the video of interest from the archive information database 3 and extracts a predetermined number of videos with the closest temporal index in the same group as the video of interest in order of the temporal index. A video having the closest similarity index is arranged in the order of the similarity index and a predetermined number is extracted (video extraction step: S003). In the video extraction step (S003), the archive video is stored in the index order storage means 7 in the time index order for each group, and each archive video or the representative video of each group is stored in the similarity index order (index order storage step). In step S005), the index order data extraction unit 8 acquires a predetermined number of data before and after the target video from the temporal index order data in the same group as the target video stored in the index order storage step (S005). Also, a predetermined number of data before and after the video of interest is acquired from the similarity index order data stored in the index order storage step (S005) (index order data extraction step: S006). Next, in the video display means 4, centering on the extracted video of interest, a video having the closest time index extracted by a predetermined number is arranged in the order of the time index along the first axis, and a predetermined number of similarities extracted. The video with the closest target index is arranged in the order of similar indexes along the second axis, and displayed on the screen (video display step: S005).
〔第２の実施の形態〕
第１の実施の形態はすべての映像について類似度指標を求める例を説明したが、第２の実施の形態では、映像を時系列データ（ストーリー）毎にグループ化し、１つの時系列データについては表紙映像などの代表映像について類似度指標を求める例を説明する。このようにすると、類似度指標を求めるための第１主成分−第２主成分グラフにプロットする映像の数を少なくできるので、表示画面に表示される映像の数を少なくでき、このため、多くのグループから目的とするグループの映像を探し易くなる。すなわち、各注目映像について、横軸の時系列映像は第１の実施の形態と同様に表示されるが、縦軸の類似度指標に基づいて縦軸上に配列される映像は、各グループの代表映像に限られ、第１の実施の形態に比して、「平均映像数／グループ」で除した数になり少なくなる。これにより、縦軸方向をサーチする場合は、多くのグループに早く辿りつき、グループ単位に探すのに便宜である。
[Second Embodiment]
In the first embodiment, an example in which the similarity index is obtained for all videos has been described. However, in the second embodiment, videos are grouped by time series data (story), and one time series data is obtained. An example of obtaining a similarity index for a representative image such as a cover image will be described. In this way, since the number of videos plotted on the first principal component-second principal component graph for obtaining the similarity index can be reduced, the number of videos displayed on the display screen can be reduced. Makes it easier to find the video of the target group. That is, for each video of interest, the time-series video on the horizontal axis is displayed in the same manner as in the first embodiment, but the video arranged on the vertical axis based on the similarity index on the vertical axis It is limited to the representative video, and becomes a number divided by “average video number / group” as compared with the first embodiment. Thus, when searching in the vertical axis direction, it is convenient to quickly reach many groups and search in groups.
また、代表映像として、表紙映像、先頭映像、特別に製作した映像などを選択できる。また、類似度指標を作成するための説明文として、例えば、映像グループのストーリーにかかる説明文、その中の１つの映像に係る説明文、グループの全ての映像の説明文を合成したもの、のいずれとしても良い。 In addition, a cover image, a head image, a specially produced image, or the like can be selected as a representative image. In addition, as an explanatory text for creating a similarity index, for example, an explanatory text relating to a story of a video group, an explanatory text relating to one video in the video, and a composite of explanatory texts of all video of the group, Either way.
〔第３の実施の形態〕
第１、第２の実施の形態では、表示画面に縦横十文字に配列する例を説明したが，第３の実施の形態では、中心に位置しない十文字上の映像をクリックした場合、その映像が横軸（時系列）上にあれば、その映像の上下に類似度指標に基づく映像が表示され、その映像が縦軸（類似）上にあれば、その映像の左右に時系列（ストーリー）を示す映像が表示される。そして、これら新たな帯上に表示された映像をクリックする（十文字上の映像については２度目のクリックになる）と、その映像が中心に移動する。このようにすると、表示画面の空きスペースを有効に利用して、十文字上にない映像を早くサーチできる。
[Third Embodiment]
In the first and second embodiments, the example in which the horizontal and vertical characters are arranged on the display screen has been described. However, in the third embodiment, when a video on a cross that is not located at the center is clicked, the video is horizontal. If it is on the axis (time series), the video based on the similarity index is displayed above and below the video, and if the video is on the vertical axis (similar), the time series (story) is shown on the left and right of the video. An image is displayed. Then, when the video displayed on these new bands is clicked (the video with the ten characters is the second click), the video moves to the center. In this way, it is possible to quickly search for an image that does not exceed 10 characters by effectively using the empty space on the display screen.
〔第４の実施の形態〕
第１〜第３の実施の形態では、第１主成分と第２主成分で類似度指標を作成する例を説明したが、第４の実施の形態では、第１主成分と第３主成分、第１主成分と第４主成分、…で類似性の指標を作成する例を説明する。第１主成分は最も識別性の強い指標を示し、第２主成分は次に識別性の強い指標を示し、第３主成分は３番目に識別性の強い指標を示すと解釈されるので、第１主成分と第２主成分で類似性の指標を作成する場合に、最も明瞭な類似度指標を示すと解釈されるが、第１主成分と第３主成分、第１主成分と第４主成分類似性の指標を作成する場合には、第１主成分と第２主成分で類似性の指標を作成する場合にとは異なる角度で、しかも何らかの識別性を反映した類似度指標となり、その識別性とサーチする者の意図がうまく整合した場合には、目標の映像に早く到達できる可能性がある。また、第１主成分と組み合わせる主成分を選択可能に構成しても良い。
[Fourth Embodiment]
In the first to third embodiments, the example in which the similarity index is created with the first principal component and the second principal component has been described. However, in the fourth embodiment, the first principal component and the third principal component. An example of creating a similarity index using the first principal component, the fourth principal component,... Since the first principal component is the most discriminating indicator, the second principal component is the next discriminating indicator, and the third principal component is the third discriminating indicator, When the similarity index is created with the first principal component and the second principal component, it is interpreted as indicating the clearest similarity index, but the first principal component and the third principal component, the first principal component and the first principal component are interpreted. When creating an index of 4-principal similarity, it becomes a similarity index that reflects some discriminability at a different angle from when creating an index of similarity between the first principal component and the second principal component. If the discriminability matches well with the intention of the searcher, there is a possibility that the target video can be reached quickly. Moreover, you may comprise so that the main component combined with a 1st main component can be selected.
〔第５の実施の形態〕
第１〜第４の実施の形態では、アーカイブ情報データベース３が全体で１つのグループを構成する例を説明したが、第５の実施の形態では、アーカイブ情報データベース３を分野に応じて複数のグループに分割して構成する例である。例えば、グループを漆、藍染め、螺鈿等に分割して構成しても良い。このように構成すると、小グループ内でサーチでき、ノイズが少なくなり、専門分野に特化したサーチができる。
[Fifth Embodiment]
In the first to fourth embodiments, the example in which the archive information database 3 forms one group as a whole has been described. However, in the fifth embodiment, the archive information database 3 is divided into a plurality of groups depending on the field. It is an example of dividing and configuring. For example, the group may be divided into lacquer, indigo dyeing, and rake. With this configuration, search can be performed within a small group, noise can be reduced, and a search specialized in a specialized field can be performed.
〔第６の実施の形態〕
例えば、アーカイブを、歴史と地理（文化の類似度）のようなもので整理する。表題を例えば、「蒔絵」、「輪島塗」、「景徳鎮」、「西陣織」等とする。時間軸を時代順とする。類似度指標を特異値分解に基づき、主成分分析を行うと、類似した文化の順に映像が整列するので、これにより、例えば、文化伝来の経路（例えば、陶器、衣類、書画などの伝来の経路）の順序に並び、歴史と文化を理解し易くなる可能性がある。
[Sixth Embodiment]
For example, organize archives with things like history and geography (cultural similarity). The title is, for example, “Maki-e”, “Wajima Nuri”, “Jingdezhen”, “Nishijin Textile”, etc. The time axis is in chronological order. If the principal component analysis is performed based on the singular value decomposition based on the similarity index, the images are arranged in the order of similar cultures. Thus, for example, the path of culture transmission (for example, the path of transmission of pottery, clothing, painting, etc. ) In order, it may be easier to understand history and culture.
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and it is obvious that various modifications can be made to the embodiments.
例えば、以上の実施の形態ではアーカイブ映像の静止映像を使用する例を説明したが、新作映像や動的映像にも本発明を適用可能である。また、以上の実施の形態では、データの特徴量として説明文中のキーワードの出現頻度を使用する例を説明したが、キーワードをシソーラスで整理し、同じシソーラスに属するものには類似ポイントでウエイト付けしても良い。また、以上の実施の形態では、時間的指標としてストーリー順を使用する例を説明したが、工程順としても良い。この場合は工程に則した説明が可能となる。また、時間軸−類似度表示の縦横を逆にしても良く、画面に表示する映像の数等を適宜変更可能である。 For example, in the above embodiment, an example in which a still video of an archive video is used has been described. However, the present invention can also be applied to a new video or a dynamic video. In the above embodiment, the example of using the appearance frequency of keywords in the description as data feature amounts has been described. However, keywords are organized in a thesaurus, and weights are assigned to similar points for those belonging to the same thesaurus. May be. Moreover, although the above embodiment demonstrated the example which uses story order as a time parameter | index, it is good also as process order. In this case, explanation according to the process is possible. Also, the time axis-similarity display may be reversed vertically and horizontally, and the number of videos displayed on the screen can be changed as appropriate.
本発明は、アーカイブ映像等の映像提供に利用される。 The present invention is used for providing video such as archive video.
１ アーカイブ映像提供装置
２ 演算制御装置
３ アーカイブ情報データベース
４ 映像表示手段
５ 指標付与手段
６ 映像抽出手段
７ 指標順記憶手段
８ 指標順データ抽出手段
DESCRIPTION OF SYMBOLS 1 Archive video provision apparatus 2 Arithmetic control apparatus 3 Archive information database 4 Video display means 5 Index provision means 6 Video extraction means 7 Index order storage means 8 Index order data extraction means
Claims (8)
各前記映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与手段と；
前記映像情報データベースから注目映像を抽出すると共に、前記注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、前記注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出手段と；
前記抽出された注目映像を中心に、前記所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、前記所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示手段とを備える；
映像提供装置。 A video information database that stores multiple videos grouped by title;
Index assigning means for assigning a similarity index representing the similarity between the time index and the content to each of the videos;
Extracting a video of interest from the video information database, extracting a predetermined number of videos having the closest temporal index within the same group as the video of interest and arranging them in order of temporal index, and having the similarity index closest to the video of interest Video extraction means for extracting a predetermined number of videos and arranging them in order of similarity index;
Centering on the extracted video of interest, the video having the closest time index extracted by the predetermined number is arranged in order of the time index along the first axis, and the video having the closest similar index extracted by the predetermined number is arranged. Are arranged in the order of similar indices along the second axis, and image display means for displaying on the screen;
Video providing device.
請求項１に記載の映像提供装置。 The temporal index is determined based on the order of stories in the group to which the video of interest belongs;
The video providing apparatus according to claim 1.
請求項１又は請求項２に記載の映像提供装置。 The similarity index is determined by a rotation angle of the plot point related to each video with respect to the first principal component axis in orthogonal coordinates composed of a first principal component and other principal components in principal component analysis;
The video providing apparatus according to claim 1 or 2.
請求項３に記載の映像提供装置。 In the principal component analysis, each feature amount is an appearance frequency of a predetermined keyword in an explanatory note relating to the video;
The video providing apparatus according to claim 3.
請求項１乃至請求項４のいずれか１項に記載の映像提供装置。 The video extracting means stores the video for each group in the order of temporal index, and stores the video or representative video of each group in the order of similarity index, and is stored in the index order storage means. A predetermined number of data before and after the target video is obtained from temporal index order data within the same group as the target video, and before and after the target video from the similarity index order data stored in the index order storage means Index order data extracting means for acquiring a predetermined number of data;
The video providing device according to any one of claims 1 to 4.
各前記映像に時間的指標と内容の類似性を表す類似度指標を付与する指標付与工程と；
前記映像情報データベースから注目映像を抽出すると共に、前記注目映像と同じグループ内で時間的指標が最も近い映像を所定数抽出して時間的指標の順に並べ、前記注目映像に類似度指標が最も近い映像を所定数抽出して類似度指標の順に並べる映像抽出工程と；
前記抽出された注目映像を中心に、前記所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、前記所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置し、画面に表示する映像表示工程とを備える；
映像提供方法。 A video storage process for storing a plurality of videos grouped by title in a video information database;
An index assigning step of assigning a similarity index indicating the similarity between the time index and the content to each of the videos;
Extracting a video of interest from the video information database, extracting a predetermined number of videos having the closest temporal index within the same group as the video of interest and arranging them in order of temporal index, and having the similarity index closest to the video of interest A video extraction step of extracting a predetermined number of videos and arranging them in order of similarity index;
Centering on the extracted video of interest, the video having the closest time index extracted by the predetermined number is arranged in order of the time index along the first axis, and the video having the closest similar index extracted by the predetermined number is arranged. And a video display step of arranging on the screen along the second axis in the order of similar indices;
Video provision method.
前記類似度指標は、主成分分析における第１主成分と他の主成分からなる直交座標において、各前記映像に係るプロット点の前記第１主成分軸に対する回転角により定められ；
前記主成分分析は、前記映像に係る説明文における所定のキーワードの出現頻度を各特徴量とする；
請求項６に記載の映像提供方法。 The temporal index is determined based on the order of stories in the group to which the video of interest belongs;
The similarity index is determined by a rotation angle of a plot point related to each image with respect to the first principal component axis in orthogonal coordinates composed of a first principal component and other principal components in principal component analysis;
In the principal component analysis, each feature amount is an appearance frequency of a predetermined keyword in an explanatory note relating to the video;
The video providing method according to claim 6.
請求項６又は請求項７に記載の映像提供方法。
The projection extraction step stores the video in the order of temporal index for each group, and stores the video or the representative video of each group in the order of similarity index and the index order storage step. In addition, a predetermined number of data before and after the target video is acquired from the temporal index order data in the same group as the target video, and the target index is obtained from the similarity index order data stored in the index order storage step. An index order data extraction step for obtaining a predetermined number of data before and after the video;
The video providing method according to claim 6 or 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006098686A JP4359685B2 (en) | 2006-03-31 | 2006-03-31 | Image providing apparatus and image providing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006098686A JP4359685B2 (en) | 2006-03-31 | 2006-03-31 | Image providing apparatus and image providing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007272651A true JP2007272651A (en) | 2007-10-18 |
| JP4359685B2 JP4359685B2 (en) | 2009-11-04 |
Family
ID=38675378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006098686A Active JP4359685B2 (en) | 2006-03-31 | 2006-03-31 | Image providing apparatus and image providing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4359685B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007279174A (en) * | 2006-04-04 | 2007-10-25 | Fujifilm Corp | Image display controller, and control method and program therefor |
| WO2009157339A1 (en) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | System for determining content topicality, and method and program thereof |
| JP2010055425A (en) * | 2008-08-28 | 2010-03-11 | Toshiba Corp | Display processing apparatus, program and display processing method |
| WO2010119975A1 (en) * | 2009-04-16 | 2010-10-21 | 日本電気株式会社 | Relationship information display device, relationship information display method, and relationship information display program |
| JP2010250842A (en) * | 2010-06-02 | 2010-11-04 | Toshiba Corp | Display processing apparatus, display processing method, and program |
| JP2011060145A (en) * | 2009-09-11 | 2011-03-24 | Toshiba Corp | Display processor and display processing method |
| JP2011060328A (en) * | 2010-12-09 | 2011-03-24 | Toshiba Corp | Display processor and display processing method |
| JP2011129057A (en) * | 2009-12-21 | 2011-06-30 | Toshiba Corp | Display device and display method |
| US8041155B2 (en) | 2007-09-25 | 2011-10-18 | Kabushiki Kaisha Toshiba | Image display apparatus and computer program product |
| US8174523B2 (en) | 2008-08-28 | 2012-05-08 | Kabushiki Kaisha Toshiba | Display controlling apparatus and display controlling method |
| US8244738B2 (en) | 2009-03-25 | 2012-08-14 | Kabushiki Kaisha Toshiba | Data display apparatus, method, and program |
| US8466961B2 (en) | 2007-09-25 | 2013-06-18 | Kabushiki Kaisha Toshiba | Apparatus and method for outputting video images, and purchasing system |
| US8949741B2 (en) | 2009-03-03 | 2015-02-03 | Kabushiki Kaisha Toshiba | Apparatus and method for presenting content |
| US9009604B2 (en) | 2009-10-29 | 2015-04-14 | Kabushiki Kaisha Toshiba | Display processing device, display information distribution device, and display processing method |
| JP2021005208A (en) * | 2019-06-26 | 2021-01-14 | 株式会社ラディウス・ファイブ | Image display system and program |
-
2006
- 2006-03-31 JP JP2006098686A patent/JP4359685B2/en active Active
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007279174A (en) * | 2006-04-04 | 2007-10-25 | Fujifilm Corp | Image display controller, and control method and program therefor |
| US8041155B2 (en) | 2007-09-25 | 2011-10-18 | Kabushiki Kaisha Toshiba | Image display apparatus and computer program product |
| US8466961B2 (en) | 2007-09-25 | 2013-06-18 | Kabushiki Kaisha Toshiba | Apparatus and method for outputting video images, and purchasing system |
| WO2009157339A1 (en) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | System for determining content topicality, and method and program thereof |
| JP5387860B2 (en) * | 2008-06-26 | 2014-01-15 | 日本電気株式会社 | Content topicality determination system, method and program thereof |
| US8306992B2 (en) | 2008-06-26 | 2012-11-06 | Nec Corporation | System for determining content topicality, and method and program thereof |
| US8174523B2 (en) | 2008-08-28 | 2012-05-08 | Kabushiki Kaisha Toshiba | Display controlling apparatus and display controlling method |
| US8527899B2 (en) | 2008-08-28 | 2013-09-03 | Kabushiki Kaisha Toshiba | Display processing apparatus, display processing method, and computer program product |
| JP4675995B2 (en) * | 2008-08-28 | 2011-04-27 | 株式会社東芝 | Display processing apparatus, program, and display processing method |
| JP2010055425A (en) * | 2008-08-28 | 2010-03-11 | Toshiba Corp | Display processing apparatus, program and display processing method |
| US8949741B2 (en) | 2009-03-03 | 2015-02-03 | Kabushiki Kaisha Toshiba | Apparatus and method for presenting content |
| US8244738B2 (en) | 2009-03-25 | 2012-08-14 | Kabushiki Kaisha Toshiba | Data display apparatus, method, and program |
| JP5505411B2 (en) * | 2009-04-16 | 2014-05-28 | 日本電気株式会社 | Related information display device, related information display method, and related information display program |
| WO2010119975A1 (en) * | 2009-04-16 | 2010-10-21 | 日本電気株式会社 | Relationship information display device, relationship information display method, and relationship information display program |
| JP2011060145A (en) * | 2009-09-11 | 2011-03-24 | Toshiba Corp | Display processor and display processing method |
| US9009604B2 (en) | 2009-10-29 | 2015-04-14 | Kabushiki Kaisha Toshiba | Display processing device, display information distribution device, and display processing method |
| JP2011129057A (en) * | 2009-12-21 | 2011-06-30 | Toshiba Corp | Display device and display method |
| JP2010250842A (en) * | 2010-06-02 | 2010-11-04 | Toshiba Corp | Display processing apparatus, display processing method, and program |
| JP2011060328A (en) * | 2010-12-09 | 2011-03-24 | Toshiba Corp | Display processor and display processing method |
| JP2021005208A (en) * | 2019-06-26 | 2021-01-14 | 株式会社ラディウス・ファイブ | Image display system and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4359685B2 (en) | 2009-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4359685B2 (en) | Image providing apparatus and image providing method | |
| US7356777B2 (en) | System and method for providing a dynamic user interface for a dense three-dimensional scene | |
| US20120166472A1 (en) | System and method for collaborative graphical searching with tangible query objects on a multi-touch table | |
| Beltramello et al. | Artistic robotic painting using the palette knife technique | |
| US20190324624A1 (en) | Graphically representing content relationships on a surface of graphical object | |
| Stober et al. | Musicgalaxy: A multi-focus zoomable interface for multi-facet exploration of music collections | |
| CN102930270A (en) | Method and system for identifying hands based on complexion detection and background elimination | |
| Bayraktar et al. | A hybrid image dataset toward bridging the gap between real and simulation environments for robotics: Annotated desktop objects real and synthetic images dataset: ADORESet | |
| Lokoč et al. | Revisiting SIRET video retrieval tool | |
| Wang et al. | Cluster ensemble-based image segmentation | |
| Wei et al. | Robotic object recognition and grasping with a natural background | |
| Truong et al. | Video search based on semantic extraction and locally regional object proposal | |
| En et al. | New public dataset for spotting patterns in medieval document images | |
| Lokoč et al. | VIRET tool meets NasNet | |
| Nguyen et al. | VIREO@ video browser showdown 2019 | |
| Bernhard | Gugelmann Galaxy: an unexpected journey through a collection of Schweizer Kleinmeister | |
| EP2465056B1 (en) | Method, system and controller for searching a database | |
| Yousefi et al. | 3D hand gesture analysis through a real-time gesture search engine | |
| Saravanan et al. | Image retrieval by image feature using data mining technique | |
| Singh et al. | Semantics Based Image Retrieval from Cyberspace-A Review Study. | |
| Meinecke et al. | A visual analytics framework for composing a hierarchical classification for medieval illuminations | |
| Palamas et al. | AI_deation: A Creative Knowledge Mining Method for Design Exploration. | |
| Roullet et al. | Transfer learning methods for extracting, classifying and searching large collections of historical images and their captions | |
| Zhu et al. | Review of human action recognition based on improved deep learning methods | |
| Zurowietz | Large-Scale Marine Image Annotation in the Age of the Web and Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |