JP2002312370A - Multimedia data retrieval device, multimedia data retrieval method and multimedia data retrieval program - Google Patents
Multimedia data retrieval device, multimedia data retrieval method and multimedia data retrieval programInfo
- Publication number
- JP2002312370A JP2002312370A JP2001113009A JP2001113009A JP2002312370A JP 2002312370 A JP2002312370 A JP 2002312370A JP 2001113009 A JP2001113009 A JP 2001113009A JP 2001113009 A JP2001113009 A JP 2001113009A JP 2002312370 A JP2002312370 A JP 2002312370A
- Authority
- JP
- Japan
- Prior art keywords
- data
- multimedia data
- text data
- text
- multimedia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、記録媒体に記録さ
れた映画、ドラマ、教育やニュース等の映像および音声
を再生する際の再生位置を検索するためのマルチメディ
アデータ検索装置、マルチメディアデータ検索方法およ
びマルチメディアデータ検索プログラムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimedia data retrieval apparatus for retrieving a reproduction position when reproducing video and audio such as a movie, a drama, education, news, etc. recorded on a recording medium, and a multimedia data. The present invention relates to a search method and a multimedia data search program.
【０００２】[0002]
【従来の技術】ビデオテープ、ＤＡＴ（Ｄｉｇｉｔａｌ
Ａｕｄｉｏ Ｔａｐｅ）などの磁気テープや、ＣＤ
（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＬＤ（Ｌａｓｅｒ Ｄ
ｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌ
ｅ Ｄｉｓｋ）などの光ディスク等の記録媒体に記録さ
れた映像および音声を再生する際、利用者は見たい場面
を再生するには、読み取り装置により早送り操作や巻き
戻し操作を行って該当する場面の頭出しをする必要があ
る。2. Description of the Related Art Video tapes, DATs (Digital)
Audio tape, CD, etc.
(Compact Disk), LD (Laser D)
isk), DVD (Digital Versatil)
When playing back video and audio recorded on a recording medium such as an optical disk such as an e-disk, the user performs a fast-forward operation or a rewind operation using a reading device to reproduce a scene to be viewed. You need to cue.
【０００３】従来、記録媒体上に記録された映像データ
を検索する装置として、例えば特開平９−１６７４４２
号公報に記載の記録再生装置がある。この記録再生装置
は、データ空き領域に予めテキストデータを記録し、こ
の記録されたテキストデータをキーワードとして用いて
映像データを検索するように構成したものであり、所望
とする映像を高速に頭出しすることが可能である。Conventionally, as an apparatus for searching for video data recorded on a recording medium, for example, Japanese Patent Application Laid-Open No. 9-167442
There is a recording / reproducing apparatus described in Japanese Patent Application Laid-Open Publication No. H10-26095. This recording / reproducing apparatus is configured such that text data is recorded in advance in a data free area, and video data is searched using the recorded text data as a keyword. It is possible to
【０００４】[0004]
【発明が解決しようとする課題】ところが、この記録再
生装置では、取材ジャーナリスト等が撮影現場で映像に
コメントを記録するなどして検索用のテキストデータを
作成する必要がある。この作業は極めて煩わしいもので
あり、映像の記録時間が２〜３時間と長いものではさら
に労力を要する。したがって、映画やドラマなどの映像
をこのような検索用のテキストデータとともに記録して
市販する場合、その製造コストも高くなる。However, in this recording / reproducing apparatus, it is necessary for a journalist or the like to create text data for search by recording a comment on a video at a shooting site. This operation is extremely troublesome, and requires more labor if the recording time of the video is long, such as two to three hours. Accordingly, when a video such as a movie or a drama is recorded and marketed together with such search text data, the manufacturing cost is also increased.
【０００５】また、従来の方法では、キーワードと一致
するテキストデータを検索することによって映像の頭出
しを行うが、必ずしも利用者が見たい場面を表すキーワ
ードと一致するテキストデータが準備されているとは限
らない。したがって、キーワードを入力しても利用者が
意図する場面に頭出しされないことも多い。In the conventional method, the head of a video is searched by searching for text data that matches the keyword. However, it is not always necessary to prepare text data that matches the keyword representing a scene that the user wants to see. Not necessarily. Therefore, even if a keyword is input, the user is often not found at a scene intended by the user.
【０００６】そこで、本発明においては、映画、ドラ
マ、教育やニュース等の映像および音声が記録された記
録媒体から利用者の見たい場面を適切に検索可能とする
マルチメディアデータ検索装置、マルチメディアデータ
検索方法およびマルチメディアデータ検索プログラムを
提供する。Therefore, in the present invention, there is provided a multimedia data search device and a multimedia device which enable a user to appropriately search a scene desired by a user from a recording medium on which video and audio such as a movie, a drama, education and news are recorded. A data search method and a multimedia data search program are provided.
【０００７】[0007]
【課題を解決するための手段】本発明のマルチメディア
データ検索装置は、記録媒体に記録され互いに関連付け
られた映像データおよび音声データを含むマルチメディ
アデータの再生位置を検索するマルチメディアデータ検
索装置であって、マルチメディアデータと関連付けられ
たテキストデータを話題の単位ごとに分割しその分割位
置をマルチメディアデータと関連付けて記憶部に格納す
る手段、検索条件として入力されるテキストデータと話
題の単位ごとに分割したそれぞれのテキストデータとを
比較して互いの意味的な類似度を判定する手段、判定し
た類似度に基づいて記憶部に格納した分割位置からマル
チメディアデータの再生位置を決定する再生位置決定手
段を備えたものである。SUMMARY OF THE INVENTION A multimedia data search device according to the present invention is a multimedia data search device for searching a reproduction position of multimedia data including video data and audio data recorded on a recording medium and associated with each other. Means for dividing text data associated with multimedia data into units of topics and storing the division positions in storage in association with the multimedia data; for text data input as search conditions and units of topics Means for comparing each of the divided text data with each other to determine a semantic similarity between each other, and a reproduction position for determining a reproduction position of multimedia data from a division position stored in the storage unit based on the determined similarity It is provided with determination means.
【０００８】本発明のマルチメディアデータ検索方法
は、記録媒体に記録されたマルチメディアデータを読み
取るステップ、マルチメディアデータと関連付けられた
テキストデータを取得するステップ、テキストデータを
話題の単位ごとに分割するステップ、テキストデータの
分割位置をマルチメディアデータと関連付けて記憶部に
格納するステップ、検索条件として入力されたテキスト
データと話題の単位ごとに分割したそれぞれのテキスト
データとを比較して互いの意味的な類似度を判定するス
テップ、判定した類似度に基づいて記憶部に格納した分
割位置からマルチメディアデータの再生位置を決定する
ステップを含むことを特徴とする。According to the multimedia data search method of the present invention, a step of reading multimedia data recorded on a recording medium, a step of obtaining text data associated with the multimedia data, and dividing the text data into topic units Step: storing the division position of the text data in the storage unit in association with the multimedia data; comparing the text data input as the search condition with each text data divided for each unit of topic, and semantically comparing each other. Determining the reproduction position of the multimedia data from the division positions stored in the storage unit based on the determined similarity.
【０００９】また、本発明のマルチメディアデータ検索
プログラムは、記録媒体に記録されたマルチメディアデ
ータを読み取るステップ、マルチメディアデータと関連
付けられたテキストデータを取得するステップ、テキス
トデータを話題の単位ごとに分割するステップ、テキス
トデータの分割位置をマルチメディアデータと関連付け
て記憶部に格納するステップ、検索条件として入力され
たテキストデータと話題の単位ごとに分割したそれぞれ
のテキストデータとを比較して互いの意味的な類似度を
判定するステップ、判定した類似度に基づいて記憶部に
格納した分割位置からマルチメディアデータの再生位置
を決定するステップをコンピュータに実行させるための
ものであることを特徴とする。A multimedia data search program according to the present invention includes a step of reading multimedia data recorded on a recording medium; a step of acquiring text data associated with the multimedia data; Dividing the text data into divisions, storing the division positions of the text data in the storage unit in association with the multimedia data, comparing the text data input as the search condition with the respective text data divided for each unit of topic, and Determining a semantic similarity; and determining a reproduction position of the multimedia data from a division position stored in the storage unit based on the determined similarity. .
【００１０】これらの発明によれば、利用者によって入
力された検索条件としてのテキストデータに基づいて、
意味的に類似する話題が含まれた部分のマルチメディア
データが検索され、その部分が再生位置として決定され
る。According to these inventions, based on text data as search conditions input by a user,
The multimedia data of a part including a topic that is semantically similar is searched, and the part is determined as a reproduction position.
【００１１】ここで、マルチメディアデータと関連付け
られたテキストデータは、記録媒体に記録されたマルチ
メディアデータが映像データおよび音声データに関連付
けられたテキストデータを含む場合に記録媒体から読み
出したテキストデータ、または、記録媒体から読み出し
た音声データを変換したテキストデータとすることがで
きる。Here, the text data associated with the multimedia data is text data read from the recording medium when the multimedia data recorded on the recording medium includes text data associated with video data and audio data. Alternatively, the audio data read from the recording medium can be converted into text data.
【００１２】記録媒体から読み出した音声データをテキ
ストデータへ変換することによりその映画やドラマ等の
字幕や台本等のテキストデータが予め記録媒体に記録さ
れてない場合であっても利用者の見たい場面を適切に検
索することができるが、記録媒体にこれらのテキストデ
ータが予め映像データおよび音声データに関連付けて記
録されている場合、このテキストデータを処理してマル
チメディアデータの再生位置の決定に利用することで、
音声データからの変換精度に関わらずより高精度な検索
が可能となる。[0012] By converting the audio data read from the recording medium into text data, the user wants to see even if the text data such as subtitles or scripts of the movie or drama is not recorded in the recording medium in advance. Although scenes can be searched properly, if these text data are recorded in advance on the recording medium in association with video data and audio data, the text data is processed to determine the reproduction position of the multimedia data. By using
A more accurate search can be performed regardless of conversion accuracy from voice data.
【００１３】また、判定した類似度に基づいてマルチメ
ディアデータの再生位置を決定する際、類似度の高いも
のから順に再生位置の候補として決定することによっ
て、利用者によって入力された検索条件としてのテキス
トデータに意味的に最も類似する話題が含まれた部分か
ら順に再生位置として決定される。Further, when determining the reproduction position of the multimedia data based on the determined similarity, the reproduction position is determined as a candidate of the reproduction position in descending order of similarity, so that the search condition as the search condition input by the user is determined. The reproduction position is determined in order from the part including the topic semantically most similar to the text data.
【００１４】また、検索条件として入力されるテキスト
データは、キーボードなどの文字入力装置により直接入
力されたデータまたはマイクなどの音声入力装置により
入力された音声をテキスト変換したデータとすることが
可能であり、音声入力装置による音声入力ではキーボー
ドから文字を入力する手間を省くことができ、文字入力
装置による直接入力ではより高精度な検索が可能とな
る。The text data input as a search condition can be data directly input by a character input device such as a keyboard or data obtained by text-converting a voice input by a voice input device such as a microphone. In addition, the voice input by the voice input device can save the trouble of inputting characters from the keyboard, and the direct input by the character input device enables a more accurate search.
【００１５】[0015]
【発明の実施の形態】図１は本発明の実施の形態におけ
るマルチメディアデータ検索装置のハードウェア構成
図、図２は図１のマルチメディアデータ検索装置の機能
ブロック図である。FIG. 1 is a hardware configuration diagram of a multimedia data search device according to an embodiment of the present invention, and FIG. 2 is a functional block diagram of the multimedia data search device of FIG.
【００１６】図１において、本実施形態におけるマルチ
メディアデータ検索装置は、各部を制御する制御部１、
主に制御部１を動作させるプログラムを記憶する主記憶
部２、処理中のプログラムや演算中のデータ等を記憶す
る補助記憶部３、検索条件等を入力するキーボードなど
の入力部４、マルチメディアデータに基づいて映像およ
び音声を再生する再生部５、磁気テープや光ディスク等
の記録媒体６ａから各種データを読み取る読取部６によ
り構成される。記録媒体６ａに記録されるマルチメディ
アデータは、主に映画、ドラマ、教育やニュース等の映
像および音声それぞれの映像データおよび音声データな
どであり、互いに時間軸に沿って関連付けられたもので
ある。In FIG. 1, a multimedia data search device according to the present embodiment has a control unit 1 for controlling each unit,
A main storage unit 2 for mainly storing a program for operating the control unit 1, an auxiliary storage unit 3 for storing a program being processed and data being calculated, an input unit 4 such as a keyboard for inputting search conditions and the like, multimedia It comprises a reproducing unit 5 for reproducing video and audio based on data, and a reading unit 6 for reading various data from a recording medium 6a such as a magnetic tape or an optical disk. The multimedia data recorded on the recording medium 6a is mainly video data and audio data of video and audio such as movies, dramas, education and news, and is associated with each other along the time axis.
【００１７】制御部１は、主記憶部２に記憶したプログ
ラムを読み出し実行することによって、図２に示すテキ
スト変換手段１１、分割手段１２、類似度判定手段１３
および再生位置決定手段１４として機能する。The control section 1 reads out and executes the program stored in the main storage section 2 to execute a text conversion section 11, a division section 12, and a similarity determination section 13 shown in FIG.
And functions as a reproduction position determining means 14.
【００１８】テキスト変換手段１１は、読取部６によっ
て記録媒体６ａから読み出した音声データを変換してテ
キストデータを得る。得られたテキストデータは、マル
チメディアデータ（映像データ、音声データ）と時間軸
に沿って関連付けられたものである。なお、記録媒体６
ａに記録されたマルチメディアデータが映像データおよ
び音声データに関連付けられたテキストデータを予め含
む場合、テキスト変換手段１１は音声データからテキス
トデータへの変換処理を行わないものとする。The text converting means 11 converts text data read from the recording medium 6a by the reading section 6 to obtain text data. The obtained text data is associated with the multimedia data (video data, audio data) along the time axis. The recording medium 6
When the multimedia data recorded in a includes text data associated with video data and audio data in advance, the text conversion unit 11 does not perform the conversion process from audio data to text data.
【００１９】分割手段１２は、マルチメディアデータと
関連付けられたテキストデータを話題の単位ごとに分割
しその分割位置をマルチメディアデータと関連付けて補
助記憶部３に格納する。テキストデータを話題の単位ご
とに分割する処理としては、例えばＨｅａｒｓｔ，Ｍ．
Ａ．： ＴｅｘｔＴｉｌｉｎｇ：Ｓｅｇｍｅｎｔｉｎｇ
Ｔｅｘｔ ｉｎｔｏ Ｍｕｌｔｉ−ｐａｒａｇｒａｐ
ｈ ＳｕｂｔｏｐｉｃＰａｓｓａｇｅｓ， Ｃｏｍｐｕ
ｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ， Ｖｏ
ｌ．２３， Ｎｏ．１， ｐｐ．３３−６４（１９９
７）に記載されたベクトル空間法を用いたテキストセグ
メンテーション手法などを用いることができる。The dividing means 12 divides the text data associated with the multimedia data for each topic unit, and stores the division position in the auxiliary storage unit 3 in association with the multimedia data. As a process for dividing text data for each topic unit, for example, Heartst, M .;
A. : TextTiling: Segmenting
Text into Multi-paragraph
h SubtopicPassages, Compu
national Linguistics, Vo
l. 23, no. 1 pp. 33-64 (199
A text segmentation method using the vector space method described in 7) can be used.
【００２０】図３は分割手段１２によるテキストデータ
の分割処理を示す説明図である。図３に示すように、分
割手段１２は、まず、マルチメディアデータと関連付け
られたテキストデータを形態素解析によって１文ずつ区
切り（文１，文２，・・・，文Ｎ）、それぞれの文１〜
Ｎの開始時間および終了時間を補助記憶部３へ格納す
る。そして、それぞれの文から単語を抽出して話題が切
り替わる部分をベクトル空間法などに基づくテキストセ
グメンテーション手法により決定し、話題の単位ごとに
各文１〜Ｎを各ブロック１〜ｎへとまとめ、それぞれの
ブロック１〜ｎの開始時間および終了時間を補助記憶部
３へ格納する。これにより、テキストデータは話題の単
位ごとに分割されることになる。また、各ブロック１〜
ｎの開始時間および終了時間は、テキストデータの話題
の単位ごとの分割位置となる。FIG. 3 is an explanatory diagram showing the division processing of the text data by the division means 12. As shown in FIG. 3, the dividing unit 12 first separates the text data associated with the multimedia data one by one by morphological analysis (sentence 1, sentence 2,..., Sentence N). ~
The start time and the end time of N are stored in the auxiliary storage unit 3. Then, a word is extracted from each sentence, and a part at which the topic is switched is determined by a text segmentation method based on a vector space method or the like, and the sentences 1 to N are grouped into blocks 1 to n for each unit of the topic. Are stored in the auxiliary storage unit 3. As a result, the text data is divided for each topic unit. In addition, each block 1 to
The start time and the end time of n are division positions for each topic unit of text data.
【００２１】類似度判定手段１３は、入力部４により検
索条件として入力されたテキストデータと話題の単位ご
とに分割したそれぞれのテキストデータとを比較して互
いの意味的な類似度を判定する。この２つのテキストデ
ータの意味的な類似度を判定する処理としては、例えば
ベクトル空間法を用いることができる。ベクトル空間法
では、ｎ個の異なる単語をｎ次元ベクトルのｎ個の単位
元と対応付け、比較する２つのテキストデータにおける
それぞれの単語の出現分布をベクトルで表現し、得られ
た２つのベクトルの内積を計算して類似度を求める（長
尾真編：「自然言語処理」，ｐｐ．４２１−４２６，岩
波書店，１９９６年）。このとき、利用者が検索条件と
して入力したテキストデータ中の個々の単語の類義語を
考慮してこの２つのテキストの類似度を判定することも
可能である。例えば、検索条件として入力されたテキス
トデータ中に「ベースボール」が含まれる場合、これに
関連する類義語「野球」、「草野球」等が、分割された
それぞれのテキストデータ中に出現していれば、それら
の類義語を「ベースボール」と一致したとみなすことに
より、類似度の判定精度を向上させることができる。The similarity determination means 13 compares the text data input as a search condition by the input unit 4 with the text data divided for each topic unit to determine a semantic similarity between them. As a process for determining the semantic similarity between the two text data, for example, a vector space method can be used. In the vector space method, n different words are associated with n unit elements of an n-dimensional vector, and the appearance distribution of each word in two pieces of text data to be compared is represented by a vector. The inner product is calculated and the similarity is calculated (Shin Nagao, "Natural Language Processing", pp. 421-426, Iwanami Shoten, 1996). At this time, it is also possible to determine the similarity between the two texts in consideration of synonyms of individual words in the text data input by the user as search conditions. For example, when “baseball” is included in the text data input as a search condition, synonyms “baseball”, “grass baseball”, and the like related thereto may appear in each of the divided text data. For example, it is possible to improve the accuracy of determining the similarity by regarding those synonyms as coincident with “baseball”.
【００２２】再生位置決定手段１４は、判定した類似度
に基づいて補助記憶部に格納した分割位置からマルチメ
ディアデータの再生位置を決定する。類似度は、入力さ
れたテキストデータまたはこのテキストデータに関連す
る類義語が各ブロック１〜ｎ中に繰り返し多く存在する
ものほど高くなる。再生位置決定手段１４は、類似度の
高いものから順に再生位置の候補として決定する。The reproduction position determining means 14 determines the reproduction position of the multimedia data from the division positions stored in the auxiliary storage unit based on the determined similarity. The similarity increases as input text data or synonyms related to the text data are repeatedly present in each of the blocks 1 to n. The playback position determining means 14 determines playback position candidates in descending order of similarity.
【００２３】図４は上記構成のマルチメディアデータ検
索装置によるマルチメディアデータ検索処理を示すフロ
ー図である。ステップＳ１０１において、制御部１は、
読取部６を制御し、記録媒体６ａに記録されたマルチメ
ディアデータ（映像データ、音声データ）を読み取る。
ステップＳ１０２では、制御部１は、この読み取った音
声データをテキスト変換手段１１によってテキストデー
タへと変換する。ステップＳ１０３では、制御部１は、
この得られたテキストデータを分割手段１２によって話
題の単位ごとに分割し、この分割したテキストデータの
分割位置をステップＳ１０１において読み取ったマルチ
メディアデータと関連付けて補助記憶部３に格納する。FIG. 4 is a flowchart showing a multimedia data search process by the multimedia data search device having the above configuration. In step S101, the control unit 1
The reading unit 6 is controlled to read multimedia data (video data, audio data) recorded on the recording medium 6a.
In step S102, the control unit 1 converts the read voice data into text data by the text conversion unit 11. In step S103, the control unit 1
The obtained text data is divided for each topic unit by the dividing means 12, and the divided position of the divided text data is stored in the auxiliary storage unit 3 in association with the multimedia data read in step S101.
【００２４】ステップＳ１０４では、利用者が入力部４
により入力した検索条件としてのテキストデータとステ
ップＳ１０３において話題の単位ごとに分割したそれぞ
れのテキストデータとを類似度判定手段１３によって比
較し、互いの意味的な類似度を判定する。ステップＳ１
０５では、ステップＳ１０４において判定した類似度に
基づいて再生位置決定手段１４により補助記憶部３に格
納した分割位置からマルチメディアデータの再生位置の
候補を決定する。ステップＳ１０６では、再生位置決定
手段１４は、ステップＳ１０５により決定した再生位置
の候補（類似度の高いもの順）の中から利用者によって
入力部４により選択されたものを再生位置として決定す
る。ステップＳ１０７において、再生部５は、ステップ
Ｓ１０６において決定された再生位置からマルチメディ
アデータの再生を行う。In step S104, the user enters the input
Is compared by the similarity determination means 13 with the text data as search conditions input by the above and the text data divided for each topic unit in step S103, and the mutual similarity is determined. Step S1
In step 05, the reproduction position determination means 14 determines a candidate for a reproduction position of multimedia data from the division positions stored in the auxiliary storage unit 3 based on the similarity determined in step S104. In step S106, the reproduction position determination means 14 determines, as a reproduction position, a reproduction position candidate selected by the user from the reproduction position candidates (in descending order of similarity) determined in step S105. In step S107, the reproducing unit 5 reproduces the multimedia data from the reproduction position determined in step S106.
【００２５】以上のように、本実施形態におけるマルチ
メディアデータ検索装置では、記録媒体６ａより読み出
したマルチメディアデータと関連付けられたテキストデ
ータを話題の単位ごとに分割し、検索条件として入力さ
れたテキストデータと話題の単位ごとに分割したそれぞ
れのテキストデータとを比較して互いの意味的な類似度
を判定し、判定した類似度に基づいてテキストデータの
分割位置からマルチメディアデータの再生位置を決定す
ることで、利用者によって指定された検索条件に対して
意味的に類似する話題が含まれた部分のマルチメディア
データが検索されるため、利用者の見たい場面が適切に
再生される。As described above, in the multimedia data search device according to the present embodiment, the text data associated with the multimedia data read from the recording medium 6a is divided into topic units, and the text input as the search condition is input. The data is compared with the text data divided for each topic unit to determine the semantic similarity of each other, and the playback position of the multimedia data is determined from the division position of the text data based on the determined similarity By doing so, the part of the multimedia data containing a topic that is semantically similar to the search condition specified by the user is searched, so that the scene desired by the user is appropriately reproduced.
【００２６】すなわち、従来の再生装置のように利用者
がキーワードを適切に指定し、かつこれと一致するテキ
ストデータが準備されていない限り、利用者が見たい場
面を検索できないということがなく、利用者は見たい場
面に関連するテキストデータを思いついたままに指定す
るだけでその意図する場面に頭出しがなされ、利用者は
見たい場面を容易に検索することができる。That is, unless the user appropriately designates a keyword and prepares text data that matches the keyword as in the conventional reproducing apparatus, the user cannot search for the scene he wants to see. The user can specify the text data relating to the scene to be viewed simply by coming up with the idea, and the cue is found at the intended scene, and the user can easily search for the scene to be viewed.
【００２７】なお、本実施形態においては、入力部４に
よって入力されるテキストデータは、キーボードなどの
文字入力装置を用いて直接入力されたデータとしている
が、マイクなどの音声入力装置により入力された音声を
テキスト変換したデータとすることが可能であり、音声
入力装置による音声入力ではキーボードから文字を入力
する手間を省くことができる。In this embodiment, the text data input by the input unit 4 is data directly input using a character input device such as a keyboard, but is input by a voice input device such as a microphone. The voice can be converted into text-converted data, and the voice input by the voice input device can save the trouble of inputting characters from the keyboard.
【００２８】[0028]
【発明の効果】本発明により、以下の効果を奏すること
ができる。According to the present invention, the following effects can be obtained.
【００２９】（１）マルチメディアデータと関連付けら
れたテキストデータを話題の単位ごとに分割し、検索条
件として入力されたテキストデータと話題の単位ごとに
分割したそれぞれのテキストデータとを比較して互いの
意味的な類似度を判定し、判定した類似度に基づいてテ
キストデータの分割位置からマルチメディアデータの再
生位置を決定することで、利用者によって入力された検
索条件としてのテキストデータに基づいて、意味的に類
似する話題が含まれた部分のマルチメディアデータが検
索され、利用者の見たい場面を適切に再生することが可
能となる。(1) Text data associated with multimedia data is divided for each topic unit, and text data input as a search condition is compared with each text data divided for each topic unit, and each text data is compared. Is determined based on the text data as a search condition input by the user by determining the playback position of the multimedia data from the division position of the text data based on the determined similarity. Then, multimedia data of a part including a topic that is semantically similar is searched, and a scene desired by the user can be appropriately reproduced.
【００３０】（２）記録媒体から読み出した音声データ
を変換してテキストデータを取得し、このテキストデー
タに基づいてマルチメディアデータの検索処理を行うこ
とで、字幕や台本等のテキストデータが予め記録されて
いない既存の磁気テープや光ディスク等の記録媒体であ
っても利用者の見たい場面を適切に検索して再生するこ
とが可能となる。(2) The audio data read from the recording medium is converted to obtain text data, and a search process for multimedia data is performed based on the text data, so that text data such as subtitles and scripts are recorded in advance. Even a recording medium such as an existing magnetic tape or optical disk that has not been recorded can be appropriately searched for and reproduced by a scene desired by the user.
【００３１】（３）記録媒体に字幕や台本等のテキスト
データが予め映像データおよび音声データに関連付けて
記録されている場合、このテキストデータを処理してマ
ルチメディアデータの再生位置の決定に利用することに
より、音声データの変換精度に関わらず、より高精度な
検索が可能となる。(3) When text data such as subtitles and scripts are recorded in advance on a recording medium in association with video data and audio data, the text data is processed and used for determining a reproduction position of multimedia data. As a result, a more accurate search can be performed regardless of the conversion accuracy of the audio data.
【図１】 本発明の実施の形態におけるマルチメディア
データ検索装置のハードウェア構成図である。FIG. 1 is a hardware configuration diagram of a multimedia data search device according to an embodiment of the present invention.
【図２】 図１のマルチメディアデータ検索装置の機能
ブロック図である。FIG. 2 is a functional block diagram of the multimedia data search device of FIG.
【図３】 図２に示す分割手段によるテキストデータの
分割処理を示す説明図である。FIG. 3 is an explanatory diagram showing a text data dividing process performed by a dividing unit shown in FIG. 2;
【図４】 本実施形態におけるマルチメディアデータ検
索装置によるマルチメディアデータ検索処理を示すフロ
ー図である。FIG. 4 is a flowchart showing multimedia data search processing by the multimedia data search device according to the embodiment.
１ 制御部 ２ 主記憶部 ３ 補助記憶部 ４ 入力部 ５ 再生部 ６ 読取部 ６ａ 記録媒体 １１ 変換手段 １２ 分割手段 １３ 類似度判定手段 １４ 再生位置決定手段 REFERENCE SIGNS LIST 1 control unit 2 main storage unit 3 auxiliary storage unit 4 input unit 5 playback unit 6 reading unit 6a recording medium 11 conversion unit 12 division unit 13 similarity determination unit 14 playback position determination unit
Claims (6)
た映像データおよび音声データを含むマルチメディアデ
ータの再生位置を検索するマルチメディアデータ検索装
置であって、前記マルチメディアデータと関連付けられ
たテキストデータを話題の単位ごとに分割しその分割位
置を前記マルチメディアデータと関連付けて記憶部に格
納する手段、検索条件として入力されるテキストデータ
と前記話題の単位ごとに分割したそれぞれのテキストデ
ータとを比較して互いの意味的な類似度を判定する手
段、前記判定した類似度に基づいて前記記憶部に格納し
た分割位置から前記マルチメディアデータの再生位置を
決定する再生位置決定手段を備えたマルチメディアデー
タ検索装置。1. A multimedia data search device for searching for a reproduction position of multimedia data including video data and audio data recorded on a recording medium and associated with each other, wherein text data associated with the multimedia data is searched for. Means for dividing each topic unit and storing the division position in the storage unit in association with the multimedia data; comparing text data input as a search condition with each text data divided for each topic unit; Multimedia data comprising: means for determining a semantic similarity between each other, and playback position determination means for determining a playback position of the multimedia data from a division position stored in the storage unit based on the determined similarity. Search device.
れたテキストデータは、前記記録媒体に記録されたマル
チメディアデータが前記映像データおよび音声データに
関連付けられたテキストデータを含む場合に前記記録媒
体から読み出したテキストデータ、または、前記記録媒
体から読み出した音声データを変換したテキストデータ
であることを特徴とする請求項１記載のマルチメディア
データ検索装置。2. The text data associated with the multimedia data is read from the recording medium when the multimedia data recorded on the recording medium includes the text data associated with the video data and the audio data. 2. The multimedia data search device according to claim 1, wherein the multimedia data search device is text data or text data obtained by converting audio data read from the recording medium.
高いものから順に前記再生位置の候補として決定するも
のである請求項１または２記載のマルチメディアデータ
検索装置。3. The multimedia data search device according to claim 1, wherein the reproduction position determination means determines the reproduction position candidates in order from the one with the highest similarity.
データは、文字入力装置により直接入力されたデータま
たは音声入力装置により入力された音声をテキスト変換
したデータであることを特徴とする請求項１から３のい
ずれかに記載のマルチメディアデータ検索装置。4. The text data input as the search condition is data directly input by a character input device or data obtained by text-converting a voice input by a voice input device. 3. The multimedia data search device according to any one of 3.
ータを読み取るステップ、前記マルチメディアデータと
関連付けられたテキストデータを取得するステップ、前
記テキストデータを話題の単位ごとに分割するステッ
プ、前記テキストデータの分割位置を前記マルチメディ
アデータと関連付けて記憶部に格納するステップ、検索
条件として入力されたテキストデータと前記話題の単位
ごとに分割したそれぞれのテキストデータとを比較して
互いの意味的な類似度を判定するステップ、前記判定し
た類似度に基づいて前記記憶部に格納した分割位置から
前記マルチメディアデータの再生位置を決定するステッ
プを含むマルチメディアデータ検索方法。5. A step of reading multimedia data recorded on a recording medium, a step of obtaining text data associated with the multimedia data, a step of dividing the text data for each topic unit, and a step of reading the text data. Storing a division position in the storage unit in association with the multimedia data; comparing text data input as a search condition with each of the text data divided for each unit of the topic to determine the degree of semantic similarity with each other; Determining a reproduction position of the multimedia data from a division position stored in the storage unit based on the determined similarity.
ータを読み取るステップ、前記マルチメディアデータと
関連付けられたテキストデータを取得するステップ、前
記テキストデータを話題の単位ごとに分割するステッ
プ、前記テキストデータの分割位置を前記マルチメディ
アデータと関連付けて記憶部に格納するステップ、検索
条件として入力されたテキストデータと前記話題の単位
ごとに分割したそれぞれのテキストデータとを比較して
互いの意味的な類似度を判定するステップ、前記判定し
た類似度に基づいて前記記憶部に格納した分割位置から
前記マルチメディアデータの再生位置を決定するステッ
プをコンピュータに実行させるマルチメディアデータ検
索プログラム。6. A step of reading multimedia data recorded on a recording medium, a step of obtaining text data associated with the multimedia data, a step of dividing the text data into topic units, Storing a division position in the storage unit in association with the multimedia data; comparing text data input as a search condition with each of the text data divided for each unit of the topic to determine the degree of semantic similarity with each other; A multimedia data search program for causing a computer to execute a step of determining a reproduction position of the multimedia data from a division position stored in the storage unit based on the determined similarity.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001113009A JP3685733B2 (en) | 2001-04-11 | 2001-04-11 | Multimedia data search apparatus, multimedia data search method, and multimedia data search program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001113009A JP3685733B2 (en) | 2001-04-11 | 2001-04-11 | Multimedia data search apparatus, multimedia data search method, and multimedia data search program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002312370A true JP2002312370A (en) | 2002-10-25 |
| JP3685733B2 JP3685733B2 (en) | 2005-08-24 |
Family
ID=18964312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001113009A Expired - Fee Related JP3685733B2 (en) | 2001-04-11 | 2001-04-11 | Multimedia data search apparatus, multimedia data search method, and multimedia data search program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3685733B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004333737A (en) * | 2003-05-06 | 2004-11-25 | Nec Corp | Device and program for media retrieval |
| JP2005227813A (en) * | 2004-02-10 | 2005-08-25 | Just Syst Corp | Document search device, method, and program |
| JP2006040040A (en) * | 2004-07-28 | 2006-02-09 | Ntt Communications Kk | Device, method, and program for video retrieval |
| JP2007293602A (en) * | 2006-04-25 | 2007-11-08 | Nec Corp | System and method for retrieving image and program |
| JP2008108166A (en) * | 2006-10-27 | 2008-05-08 | Matsushita Electric Ind Co Ltd | Musical piece selection device and musical piece selection method |
| JP2010218385A (en) * | 2009-03-18 | 2010-09-30 | Nippon Hoso Kyokai <Nhk> | Content retrieval device and computer program |
| JP2020042770A (en) * | 2018-09-07 | 2020-03-19 | 台達電子工業股▲ふん▼有限公司Ｄｅｌｔａ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｉｎｃ． | Data search method and data search system |
| JP2020098443A (en) * | 2018-12-18 | 2020-06-25 | Kddi株式会社 | Program, device, and method for determining semantic similarity between context sequences |
| US11386163B2 (en) | 2018-09-07 | 2022-07-12 | Delta Electronics, Inc. | Data search method and data search system thereof for generating and comparing strings |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH096810A (en) * | 1995-06-21 | 1997-01-10 | Matsushita Electric Ind Co Ltd | Scenario editing material retrieval device |
| JPH0981590A (en) * | 1995-09-13 | 1997-03-28 | Canon Inc | Multimedia information retrieval device |
| JPH1021261A (en) * | 1996-07-05 | 1998-01-23 | Hitachi Ltd | Method and system for multimedia data base retrieval |
| JPH11272699A (en) * | 1998-03-20 | 1999-10-08 | Fujitsu Ltd | Device and method for summarizing document |
| JPH11331761A (en) * | 1998-05-18 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for automatically summarizing image and recording medium with the method recorded therewith |
| JP2000242656A (en) * | 1999-02-19 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Topic extraction method and device and storage medium recorded with topic extraction program |
| JP2001043215A (en) * | 1999-08-02 | 2001-02-16 | Sony Corp | Device and method for processing document and recording medium |
-
2001
- 2001-04-11 JP JP2001113009A patent/JP3685733B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH096810A (en) * | 1995-06-21 | 1997-01-10 | Matsushita Electric Ind Co Ltd | Scenario editing material retrieval device |
| JPH0981590A (en) * | 1995-09-13 | 1997-03-28 | Canon Inc | Multimedia information retrieval device |
| JPH1021261A (en) * | 1996-07-05 | 1998-01-23 | Hitachi Ltd | Method and system for multimedia data base retrieval |
| JPH11272699A (en) * | 1998-03-20 | 1999-10-08 | Fujitsu Ltd | Device and method for summarizing document |
| JPH11331761A (en) * | 1998-05-18 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for automatically summarizing image and recording medium with the method recorded therewith |
| JP2000242656A (en) * | 1999-02-19 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Topic extraction method and device and storage medium recorded with topic extraction program |
| JP2001043215A (en) * | 1999-08-02 | 2001-02-16 | Sony Corp | Device and method for processing document and recording medium |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004333737A (en) * | 2003-05-06 | 2004-11-25 | Nec Corp | Device and program for media retrieval |
| JP4631251B2 (en) * | 2003-05-06 | 2011-02-16 | 日本電気株式会社 | Media search device and media search program |
| JP2005227813A (en) * | 2004-02-10 | 2005-08-25 | Just Syst Corp | Document search device, method, and program |
| JP2006040040A (en) * | 2004-07-28 | 2006-02-09 | Ntt Communications Kk | Device, method, and program for video retrieval |
| JP2007293602A (en) * | 2006-04-25 | 2007-11-08 | Nec Corp | System and method for retrieving image and program |
| JP2008108166A (en) * | 2006-10-27 | 2008-05-08 | Matsushita Electric Ind Co Ltd | Musical piece selection device and musical piece selection method |
| JP2010218385A (en) * | 2009-03-18 | 2010-09-30 | Nippon Hoso Kyokai <Nhk> | Content retrieval device and computer program |
| JP2020042770A (en) * | 2018-09-07 | 2020-03-19 | 台達電子工業股▲ふん▼有限公司Ｄｅｌｔａ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｉｎｃ． | Data search method and data search system |
| US11386163B2 (en) | 2018-09-07 | 2022-07-12 | Delta Electronics, Inc. | Data search method and data search system thereof for generating and comparing strings |
| JP2020098443A (en) * | 2018-12-18 | 2020-06-25 | Kddi株式会社 | Program, device, and method for determining semantic similarity between context sequences |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3685733B2 (en) | 2005-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100922390B1 (en) | Automatic content analysis and representation of multimedia presentations | |
| JP4873018B2 (en) | Data processing apparatus, data processing method, and program | |
| JP4905103B2 (en) | Movie playback device | |
| US8041189B2 (en) | Information processing device and method, program, and recording medium | |
| JPH1021261A (en) | Method and system for multimedia data base retrieval | |
| JP3685733B2 (en) | Multimedia data search apparatus, multimedia data search method, and multimedia data search program | |
| JP2010258615A (en) | Playback apparatus and program | |
| JP3938096B2 (en) | Index creation device, index creation method, and index creation program | |
| JP4064902B2 (en) | Meta information generation method, meta information generation device, search method, and search device | |
| JP2004153764A (en) | Meta-data production apparatus and search apparatus | |
| JP2007511858A (en) | Recording medium on which meta information and subtitle information for providing an extended search function are recorded, and a reproducing apparatus thereof | |
| US20050246625A1 (en) | Non-linear example ordering with cached lexicon and optional detail-on-demand in digital annotation | |
| JP2002281433A (en) | Device for retrieving and reading editing moving image and recording medium | |
| JP2004289530A (en) | Recording and reproducing apparatus | |
| JP2002157112A (en) | Voice information converting device | |
| US7756401B2 (en) | Digital audio-video information reproducing apparatus and reproducing method for reproducing subtitle file and file-based audio-video file | |
| JP2002281432A (en) | Device for retrieving and reading moving image and recording medium | |
| JPH0981590A (en) | Multimedia information retrieval device | |
| JP2008171024A (en) | Electronic dictionary device, electronic dictionary retrieval method, electronic dictionary retrieval program, recording medium and integrated circuit | |
| JP2003230094A (en) | Chapter creating apparatus, data reproducing apparatus and method, and program | |
| JP3838775B2 (en) | Multimedia processing apparatus and recording medium | |
| JP2005352330A (en) | Speech division recording device | |
| KR20050090398A (en) | Method and apparatus for selectable rate playback without speech distortion | |
| JP2002324071A (en) | System and method for contents searching | |
| JP2006332765A (en) | Contents searching/reproducing method, contents searching/reproducing apparatus, and program and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040812 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041027 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080610 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110610 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |