JP2002062881A - Apparatus and method for storing music, apparatus and method for providing music, and music storage system - Google Patents

Apparatus and method for storing music, apparatus and method for providing music, and music storage system

Info

Publication number
JP2002062881A
JP2002062881A JP2000247754A JP2000247754A JP2002062881A JP 2002062881 A JP2002062881 A JP 2002062881A JP 2000247754 A JP2000247754 A JP 2000247754A JP 2000247754 A JP2000247754 A JP 2000247754A JP 2002062881 A JP2002062881 A JP 2002062881A
Authority
JP
Japan
Prior art keywords
music
information
section
attribute
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000247754A
Other languages
Japanese (ja)
Inventor
Kenichi Minami
憲一 南
Takashi Shiozaki
貴司 塩崎
Hidekatsu Kuwano
秀豪 桑野
Haruhiko Kojima
治彦 児島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000247754A priority Critical patent/JP2002062881A/en
Publication of JP2002062881A publication Critical patent/JP2002062881A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a music storage apparatus which automatically detects music data and manages detected music data and attribute information regarding the detected music data so as to increase the convenience to a user who listens to music. SOLUTION: This music storage device (1) has a music detecting means (10) which detects a music section as the section of information representing music from information including at least sound information, a storing means (20) which is connected to the music detecting means (10) and storages music data corresponding to the detected music section, an attribute input means (30) which inputs attribute information relating to the detected music section, and a music managing means (40) which is connected to the storage means (20) and the attribute input means (30) and relates the music data to attribute information and manages them.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、たとえば、放送局
によって配信されるような音情報、又は、音情報を含む
映像情報から、音楽が含まれる部分を検出、蓄積し、蓄
積された音楽を管理する装置及び方法、並びに、音楽を
提供する装置及び方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to, for example, detecting and storing a portion including music from audio information distributed by a broadcasting station or video information including the audio information, and reproducing the stored music. The present invention relates to an apparatus and method for managing, and an apparatus and method for providing music.

【0002】[0002]

【従来の技術】音情報から音楽を自動的に抽出する技術
は従来から提案されている。たとえば、音楽演奏データ
のソースを拡張してフロッピー(登録商標)ディスクに
収められる画像に合わせた音声を同時演奏可能な形で記
録するため、文字放送から音楽演奏データを抽出し、抽
出された音楽演奏データをフロッピーディスクに記録す
る技術は、特開昭64−44183に記載されている。
ビデオカメラ等を用いて録画、録音する場合に、録音す
る音声信号中に音楽が入っているならば、音楽の入って
いる周波数帯域まで録音可能にする技術は、特開平5−
289693に記載されている。音楽データに付与され
たキーワードや、音楽に付随した情報から自動抽出した
キーワードをもとにして、このキーワードに最も適する
映像データを再生する技術は、特開平8−63176に
記載されている。MPEG等の帯域圧縮処理がなされている
映像信号及び音声信号について、比較的簡単な構成によ
ってダイジェスト再生、倍速再生等の特殊再生を実現で
きると共に、再生音声の内容が良好に把握できる技術
は、特開平10−290430に記載されている。
2. Description of the Related Art Techniques for automatically extracting music from sound information have been proposed. For example, music performance data is extracted from teletext to expand the source of the music performance data so that the voice matched to the image stored on the floppy (registered trademark) disk can be recorded simultaneously. A technique for recording performance data on a floppy disk is described in JP-A-64-44183.
When recording and recording using a video camera or the like, if music is included in the audio signal to be recorded, a technique for enabling recording up to the frequency band in which the music is recorded is disclosed in Japanese Patent Application Laid-Open No. H05-205572.
No. 289693. A technique for reproducing video data most suitable for a keyword based on a keyword assigned to music data or a keyword automatically extracted from information accompanying the music is described in JP-A-8-63176. For video signals and audio signals that have been subjected to band compression processing such as MPEG, special reproduction such as digest reproduction and double-speed reproduction can be realized with a relatively simple configuration, and the technology that enables the contents of reproduced audio to be well grasped is a special feature. It is described in Kaihei 10-290430.

【0003】また、視聴を目的として音楽を蓄積する技
術として、特開平10−68158には、テレビやラジ
オの音情報を入力し、音楽データのみを自動的に蓄積・
一覧する技術が記載されている。特開平11−2664
35には、テレビ放送等を介して入力した映像情報に含
まれる音情報から音楽を検出し、検出された音楽と、こ
の音楽に対応した画像とを蓄積し、蓄積された音楽及び
画像を圧縮し、圧縮された画像を表示し、表示された画
像に対応する音楽を再生することにより、長期間蓄積さ
れた音楽を聴くことができるようにする技術が提案され
ている。
As a technique for storing music for the purpose of viewing, Japanese Patent Laid-Open No. Hei 10-68158 discloses a technique for inputting sound information of a television or a radio and automatically storing only music data.
The listed technologies are described. JP-A-11-2664
In 35, music is detected from sound information included in video information input via a television broadcast or the like, the detected music and an image corresponding to the music are stored, and the stored music and images are compressed. In addition, a technique has been proposed in which a compressed image is displayed, and music corresponding to the displayed image is played, so that music stored for a long time can be heard.

【0004】[0004]

【発明が解決しようとする課題】しかし、上述の従来技
術では、利用者は、蓄積された音楽を再生する場合に、
自分が視聴したい音楽を選択・指定することができない
という問題点がある。そのため、本発明は、上記の従来
技術の問題点に鑑みて、利用者が音楽を聴取する際の利
便性を高めるべく、音楽データを自動的に検出し、検出
された音楽データと、検出された音楽データに関連した
属性情報とを管理する音楽蓄積装置及び音楽蓄積方法の
提供を目的とする。
However, according to the above-mentioned prior art, when a user plays back stored music,
There is a problem that it is not possible to select and specify music that the user wants to watch. Therefore, the present invention has been made in view of the above-described problems of the related art, and in order to enhance the convenience of the user when listening to music, the music data is automatically detected, and the detected music data and the detected music data are detected. Music storage device and a music storage method for managing attribute information related to music data.

【0005】また、本発明は、上記音楽蓄積装置及び音
楽蓄積方法を利用して、音楽を提供する音楽提供装置及
び音楽提供方法の提供を目的とする。
Another object of the present invention is to provide a music providing apparatus and a music providing method for providing music using the music storage apparatus and the music storage method.

【0006】さらに、本発明は、属性情報を効率的に取
得し、属性情報の利用側の装置構成を簡単化するため、
属性情報の提供側と属性情報の利用側とがサーバー・ク
ライアント形式で構成された音楽蓄積システムの提供を
目的とする。
Further, the present invention provides a method for efficiently acquiring attribute information and simplifying a device configuration on a side using attribute information.
An object of the present invention is to provide a music storage system in which a provider of attribute information and a user of attribute information use a server / client format.

【0007】[0007]

【課題を解決するための手段】請求項1に係る発明は、
図1に構成図が示されている音楽蓄積装置である。本発
明の音楽蓄積装置1は、少なくとも音情報を含む情報か
ら音楽を表す情報の区間である音楽区間を検出する音楽
検出手段10と、上記音楽検出手段10に接続され、上
記検出された音楽区間に対応する音楽データを保存する
保存手段20と、上記検出された音楽区間に関連した属
性情報を入力する属性入力手段30と、上記保存手段2
0及び上記属性入力手段30に接続され、上記音楽デー
タと上記属性情報を関連付けて管理する音楽管理手段4
0とを有することを特徴とする。
The invention according to claim 1 is
This is a music storage device whose configuration is shown in FIG. The music storage device 1 according to the present invention includes a music detection unit 10 that detects a music section, which is a section of information representing music, from information including at least sound information, and a music section connected to the music detection unit 10 and Storage means 20 for storing music data corresponding to the music data, attribute input means 30 for inputting attribute information relating to the detected music section, and storage means 2
0 and the attribute management means 4 connected to the attribute input means 30 and managing the music data and the attribute information in association with each other.
0.

【0008】請求項2に係る発明は、上記音楽管理手段
40が、上記音楽データに対応する上記音楽区間が検出
された時刻及び上記音楽データの入力源の識別子を用い
て、上記音楽区間に関連した属性情報を上記音楽データ
と関連付けることを特徴とする音楽蓄積装置である。
According to a second aspect of the present invention, the music management means 40 uses the time at which the music section corresponding to the music data was detected and the identifier of the input source of the music data to associate the music section with the music section. A music storage device that associates the attribute information with the music data.

【0009】請求項3に係る発明は、上記音楽検出手段
40が、上記音情報を周波数解析し、得られた周波数ス
ペクトルが時間的に安定している区間を上記音楽区間と
して検出することを特徴とする音楽蓄積装置である。
The invention according to claim 3 is characterized in that the music detecting means 40 analyzes the frequency of the sound information and detects a section in which the obtained frequency spectrum is temporally stable as the music section. Music storage device.

【0010】請求項4に係る発明は、図2に示されるよ
うに、上記少なくとも音情報を含む情報の中の映像情報
からエッジ情報を抽出し、上記抽出されたエッジ情報の
時間的安定性及び空間的密集性に基づいて上記エッジ情
報から文字情報を検出する文字検出手段50を更に有
し、上記属性入力手段30は、上記文字検出手段50に
接続され、上記検出された文字情報を上記属性情報とし
て入力することを特徴とする音楽蓄積装置である。
According to a fourth aspect of the present invention, as shown in FIG. 2, edge information is extracted from video information in the information including at least sound information, and the temporal stability and the temporal stability of the extracted edge information are improved. The apparatus further includes character detection means for detecting character information from the edge information based on spatial density, and the attribute input means is connected to the character detection means and converts the detected character information to the attribute information. A music storage device characterized by being input as information.

【0011】請求項5に係る発明は、上記目的を達成す
る音楽蓄積方法であって、図3にはそのフローチャート
が示されている。図3に示されるように、本発明の音楽
蓄積方法は、少なくとも音情報を含む情報から音楽を表
す情報の区間である音楽区間を検出する過程(ステップ
1)と、検出された上記音楽区間に対応する音楽データ
を保存する過程(ステップ2)と、上記音楽区間に関連
した属性情報を入力する過程(ステップ3)と、上記音
楽データと上記属性情報を関連付けて管理する過程(ス
テップ4)とを有することを特徴とする。
The invention according to claim 5 is a music storage method for achieving the above object, and FIG. 3 is a flowchart showing the method. As shown in FIG. 3, in the music storage method of the present invention, a step of detecting a music section which is a section of information representing music from information including at least sound information (step 1); A step of storing corresponding music data (step 2), a step of inputting attribute information related to the music section (step 3), and a step of managing the music data in association with the attribute information (step 4). It is characterized by having.

【0012】請求項6に係る発明は、上記音楽データと
上記属性情報を関連付けて管理する過程において、上記
音楽区間に関連した属性情報が、上記音楽データに対応
する上記音楽区間が検出された時刻及び上記音楽データ
の入力源の識別子を用いて上記音楽データと関連付けら
れることを特徴とする音楽蓄積方法である。
According to a sixth aspect of the present invention, in the step of managing the music data and the attribute information in association with each other, the attribute information related to the music section is a time when the music section corresponding to the music data is detected. And a music storage method associated with the music data using an identifier of the input source of the music data.

【0013】請求項7に係る発明は、上記音楽区間を検
出する過程が、上記音情報を周波数解析し、得られた周
波数スペクトルが時間的に安定している区間を上記音楽
区間として検出することを特徴とする音楽蓄積方法であ
る。
In the invention according to claim 7, in the step of detecting the music section, the sound information is subjected to frequency analysis, and a section in which the obtained frequency spectrum is temporally stable is detected as the music section. Music storage method.

【0014】さらに、請求項8に係る発明は、上記属性
情報を入力する過程(ステップ3)の前に、上記少なく
とも音情報を含む情報の中の映像情報からエッジ情報を
抽出し、上記抽出されたエッジ情報の時間的安定性及び
空間的密集性に基づいて上記エッジ情報から文字情報を
検出する過程(ステップ5)を更に有し、上記属性情報
を入力する過程(ステップ3)が、上記検出された文字
情報を上記属性情報として入力することを特徴とする音
楽蓄積方法である。図3に示されるように、このステッ
プ5は、ステップ3の以前に実行されればよく、ステッ
プ1及びステップ2との前後関係は問わない。
Further, in the invention according to claim 8, before the step of inputting the attribute information (step 3), edge information is extracted from video information in the information including at least sound information, and the extracted edge information is extracted. Further comprising the step of detecting character information from the edge information based on the temporal stability and spatial density of the edge information (step 5), and the step of inputting the attribute information (step 3) A music storage method characterized in that the input character information is input as the attribute information. As shown in FIG. 3, this step 5 may be executed before step 3, and the order of step 1 and step 2 does not matter.

【0015】請求項9に係る発明は、図4にその構成図
が示されている音楽提供装置である。本発明の音楽提供
装置3は、少なくとも音情報を含む情報を入力する情報
入力手段60と、上記情報入力手段60に接続され、上
記入力された音情報から音楽を表す情報の区間である音
楽区間を検出する音楽検出手段10と、上記音楽検出手
段10に接続され、検出された上記音楽区間に対応する
音楽データを保存する保存手段20と、上記音楽区間に
関連した属性情報を入力する属性入力手段30と、上記
保存手段20及び上記属性入力手段30に接続され、上
記音楽データと上記属性情報を関連付けて管理する音楽
管理手段40と、上記保存手段20に接続され、上記保
存された音楽データを再生装置7に適合した形式に変換
する変換手段70と、上記保存手段20、上記変換手段
70及び上記音楽管理手段40に接続され、上記保存手
段20又は上記変換手段70から音楽データを受け、上
記音楽管理手段40から上記音楽データに関連付けられ
た上記属性情報を受け、関連付けられた上記音楽データ
及び上記属性情報を再生装置7に提供する音楽提供手段
80とを有することを特徴とする。
A ninth aspect of the present invention is a music providing apparatus whose configuration is shown in FIG. The music providing device 3 of the present invention includes an information input unit 60 for inputting information including at least sound information, and a music section connected to the information input unit 60 and being a section of information representing music from the input sound information. , A storage means 20 connected to the music detection means 10 for storing music data corresponding to the detected music section, and an attribute input for inputting attribute information related to the music section. Means 30, a music management means 40 connected to the storage means 20 and the attribute input means 30 for managing the music data in association with the attribute information, and a music management means 40 connected to the storage means 20 and 70, which is connected to the storage means 20, the conversion means 70, and the music management means 40, for converting the Music providing unit 20 receives music data from the conversion unit 70, receives the attribute information associated with the music data from the music management unit 40, and provides the associated music data and the attribute information to the playback device 7. Means 80.

【0016】請求項10に係る発明は、音楽提供方法で
あって、図5には本発明の音楽提供方法のフローチャー
トが示されている。同図に示されるように、本発明の音
楽提供方法は、少なくとも音情報を含む情報を入力する
過程(ステップ11)と、上記入力された音情報から音
楽を表す情報の区間である音楽区間を検出する過程(ス
テップ12)と、検出された上記音楽区間に対応する音
楽データを保存する過程(ステップ13)と、上記音楽
区間に関連した属性情報を入力する過程(ステップ1
4)と、上記音楽データと上記属性情報を関連付ける過
程(ステップ15)と、上記関連付けられた音楽データ
及び属性情報を、再生装置に適した形式で上記再生装置
に提供する過程(ステップ16)とを有することを特徴
とする。
The invention according to claim 10 relates to a music providing method, and FIG. 5 shows a flowchart of the music providing method of the present invention. As shown in the figure, in the music providing method of the present invention, a step of inputting information including at least sound information (step 11), and a music section which is a section of information representing music from the input sound information is performed. Detecting (step 12), storing music data corresponding to the detected music section (step 13), and inputting attribute information related to the music section (step 1)
4), a step of associating the music data with the attribute information (step 15), and a step of providing the linked music data and attribute information to the playback device in a format suitable for the playback device (step 16). It is characterized by having.

【0017】請求項1乃至10に係る発明によれば、た
とえば、ネット配信若しくは放送されたディジタル情報
から音楽を検出し、検出された音楽の区間に対し利用者
が任意にインデックスを付加して蓄積し、利用者が受聴
する際の利便性を向上させることができ、特に、インデ
ックスとして、曲名や歌手名等の属性情報をディジタル
情報からテロップ認識技術を用いて解析して、音楽情報
を対応付けて管理することができるようになる。
According to the first to tenth aspects of the present invention, for example, music is detected from digital information distributed or broadcast over the Internet, and a user adds an index to the detected music section arbitrarily and stores the index. In addition, it is possible to improve the convenience of the user when listening to music.In particular, attribute information such as a song name or a singer name is analyzed as an index from digital information using telop recognition technology, and music information is associated with the index. And manage it.

【0018】さらに、請求項11に係る発明は、音楽デ
ータに関連した属性情報を蓄積、提供する情報提供装置
と、上記情報提供装置に通信接続され、音楽データを蓄
積、再生する少なくとも1台の利用者端末とを含む音楽
蓄積システムであって、上記利用者端末は、少なくとも
音情報を含む情報を受信する音・映像入力手段と、上記
音・映像入力手段に接続され、上記受信された情報から
音楽を表す情報の区間である音楽区間を検出する音楽検
出手段と、上記音楽検出手段に接続され、上記検出され
た音楽区間に対応した表示データを表示させる表示手段
と、上記音楽検出手段及び上記表示手段に接続され、上
記検出された音楽区間に対応する音楽データ及び表示デ
ータを保存する保存手段と、上記検出された音楽区間に
関連した属性情報を入力する属性入力手段と、上記保存
手段に保存された音楽データの形式を再生用フォーマッ
トに変換する変換手段と、上記変換手段に接続され、上
記再生用フォーマットに変換された音楽データを再生す
る再生手段とを具備し、上記音楽データと上記属性情報
を関連付けて管理し、上記情報提供装置は、少なくとも
映像情報を含む情報を受信する映像・音入力手段と、上
記少なくとも映像情報を含む情報の中の映像情報からエ
ッジ情報を抽出し、上記抽出されたエッジ情報の時間的
安定性及び空間的密集性に基づいて上記エッジ情報から
文字情報を検出する文字検出手段と、上記検出された文
字情報を、上記文字情報が検出された時刻及び上記文字
情報の入力源の識別子を用いて指定できる属性情報とし
て蓄積する属性情報蓄積手段とを有し、上記利用者端末
の上記属性入力手段は、上記音楽データに対応する上記
音楽区間が検出された時刻及び上記音楽データの入力源
の識別子を用いて、上記情報提供装置から対応した属性
情報を取得することを特徴とする。
Further, according to an eleventh aspect of the present invention, there is provided an information providing apparatus for storing and providing attribute information related to music data, and at least one apparatus connected to the information providing apparatus for storing and reproducing music data. A music storage system including a user terminal, wherein the user terminal is connected to the audio / video input means for receiving at least information including audio information, and the received information is A music detecting means for detecting a music section which is a section of information representing music from; a display means connected to the music detecting means for displaying display data corresponding to the detected music section; and Storage means connected to the display means for storing music data and display data corresponding to the detected music section; and attribute information associated with the detected music section Attribute input means for inputting, conversion means for converting the format of the music data stored in the storage means to a playback format, and playback connected to the conversion means for playing back the music data converted to the playback format Means for managing the music data and the attribute information in association with each other, wherein the information providing apparatus includes a video / sound input means for receiving at least information including video information, and Character detecting means for extracting edge information from the video information, detecting character information from the edge information based on temporal stability and spatial density of the extracted edge information, and detecting the detected character information. And attribute information storage means for storing the attribute information as attribute information that can be specified using the time at which the character information is detected and the identifier of the input source of the character information. The attribute input unit of the user terminal acquires corresponding attribute information from the information providing apparatus using a time at which the music section corresponding to the music data is detected and an identifier of an input source of the music data. It is characterized by doing.

【0019】請求項11に係る発明によれば、利用者端
末において、音情報或いは音情報を含む映像情報を入力
し、入力された音情報或いは映像情報から音楽区間が検
出される。そして、検出された音楽区間が、対応する映
像情報の静止画像若しくは図式化された画像、又は、テ
キストによって一覧表示され、音楽区間に対応する音楽
データ及び静止画像若しくは図式化された画像が保存さ
れ、音楽データを再生することにより、音楽データに対
応した画像又はテキストを一覧しながら音楽データを聴
くことができる。また、音楽データの属性情報を入力す
ることにより、音楽データの選別が容易に行えるように
なる。さらに、音楽データを一つ以上の形式に変換する
ことにより、異種端末で同じ音楽データを再生すること
ができる。
According to the eleventh aspect, in the user terminal, audio information or video information including audio information is input, and a music section is detected from the input audio information or video information. Then, the detected music section is displayed as a list of still images or graphic images of the corresponding video information or texts, and music data and still images or graphic images corresponding to the music sections are stored. By reproducing the music data, the user can listen to the music data while viewing the images or texts corresponding to the music data. Further, by inputting attribute information of music data, selection of music data can be easily performed. Further, by converting music data into one or more formats, the same music data can be reproduced on different types of terminals.

【0020】一方、情報提供装置において、映像情報或
いは音情報を含む映像情報を入力し、音情報を含む映像
情報から音楽区間を検出し、映像情報から文字情報が検
出される。検出された音楽区間及び/又は文字情報を用
いて、たとえば、曲名、アーティスト名、作詞者名、作
曲者名、歌詞、曲長、検出時刻、放送局などの属性情報
を抽出することができ、その中の少なくとも一つの属性
情報を蓄積することによって、利用者端末で蓄積された
音楽データに対応した詳細情報を蓄積することができ
る。また、利用者端末は、検出した音楽データに関連し
た属性情報(すなわち、詳細情報)を、音楽データが検
出された時刻及び音楽データの入力源を表す識別子を用
いて、通信網などを経由して、情報提供装置から取得す
ることができる。
On the other hand, in the information providing apparatus, video information including video information or sound information is input, a music section is detected from the video information including sound information, and character information is detected from the video information. Using the detected music section and / or character information, for example, attribute information such as a song title, an artist name, a lyricist name, a composer name, lyrics, a song length, a detection time, a broadcasting station, etc. can be extracted. By storing at least one of the attribute information, detailed information corresponding to the music data stored in the user terminal can be stored. Further, the user terminal transmits attribute information (that is, detailed information) related to the detected music data via a communication network or the like using an identifier indicating a time at which the music data is detected and an input source of the music data. Thus, it can be obtained from the information providing device.

【0021】利用者端末及び情報提供装置では、音情報
を周波数解析し、周波数スペクトルの時間的安定性を用
いることで、音楽を検出することができる。さらに、映
像情報中の濃度及びエッジ情報についての時間的安定性
及び空間的密集性を用いることにより、文字情報を検出
することができる。
In the user terminal and the information providing apparatus, music can be detected by analyzing the frequency of the sound information and using the temporal stability of the frequency spectrum. Furthermore, character information can be detected by using temporal stability and spatial density of density and edge information in video information.

【0022】[0022]

【発明の実施の形態】以下、本発明の実施例について図
面を参照して説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0023】図6は、本発明の第1実施例の音楽蓄積シ
ステムの概略構成を示すブロック図である。本実施例の
音楽蓄積システムは、通信回線112を介して接続され
た少なくとも1台の利用者端末8と、情報提供装置9と
により構成される。利用者端末8は、テレビやラジオ1
13を介して放送局から音情報或いは音情報を含む映像
情報を入力する音・映像入力部101と、音楽区間を検
出する音楽検出部102と、検出された音楽区間を、対
応する映像情報の静止画像若しくは図式化された画像又
はテキストにより一覧表示する表示部103と、音楽区
間に対応する音楽データ及び静止画像を保存する保存部
104と、音楽データを再生する再生部105と、音楽
データの属性情報を入力する属性入力部106と、音楽
データの形式を変換する変換部107とを具備する。情
報提供装置9は、テレビやラジオ114を介して放送局
から映像或いは音情報を含む映像情報を入力する映像入
力部108と、音楽区間を検出する音楽検出部109
と、映像情報から文字情報を検出する文字検出部110
と、曲名、アーティスト名、作詞・作曲者名、歌詞、曲
長、時刻、放送局などを蓄積する属性情報蓄積部111
とを具備する。属性蓄積部111は、通信回線112を
介して属性入力部106と接続される。
FIG. 6 is a block diagram showing a schematic configuration of the music storage system according to the first embodiment of the present invention. The music storage system according to the present embodiment includes at least one user terminal 8 connected via a communication line 112 and an information providing device 9. The user terminal 8 is a television or radio 1
13, a sound / video input unit 101 for inputting sound information or video information including sound information from a broadcast station, a music detection unit 102 for detecting a music section, and a detected music section for corresponding video information. A display unit 103 for displaying a list of still images or graphic images or text, a storage unit 104 for storing music data and still images corresponding to music sections, a reproduction unit 105 for reproducing music data, An attribute input unit 106 for inputting attribute information and a conversion unit 107 for converting the format of music data are provided. The information providing device 9 includes a video input unit 108 for inputting video information including video or sound information from a broadcasting station via a television or a radio 114, and a music detection unit 109 for detecting a music section.
Character detection unit 110 for detecting character information from video information
And an attribute information storage unit 111 for storing a song name, an artist name, a lyric / composer name, lyrics, a song length, a time, a broadcast station, and the like
And The attribute storage unit 111 is connected to the attribute input unit 106 via the communication line 112.

【0024】図7は、本発明の第2実施例における利用
者端末8の処理の流れを示したフローチャートである。
利用者端末8の各構成要素をソフトウェアで実現した場
合にも、このソフトウェアの処理は同図に示したフロー
チャートに従って行われる。
FIG. 7 is a flowchart showing the flow of processing of the user terminal 8 in the second embodiment of the present invention.
Even when each component of the user terminal 8 is realized by software, the processing of this software is performed according to the flowchart shown in FIG.

【0025】利用者端末8は、音情報だけを入力する形
態と、映像情報と音情報の両方を入力する形態の二つの
形態を取ることが可能である。テレビやラジオから、音
入力ステップ201によって入力された音情報は、音楽
検出ステップ202において、FFT(高速フーリエ変
換)を用いて周波数解析され、周波数スペクトルのピー
クの位置が算出される。次に、音楽判断ステップ203
において、周波数スペクトルのピークが周波数方向に安
定したまま時間的に持続したかどうかが判断され、一定
の閾値を超えた場合に音楽であると判定される。
The user terminal 8 can take two forms, a form for inputting only sound information and a form for inputting both video information and sound information. In the music detection step 202, the sound information input from the television or radio in the sound input step 201 is subjected to frequency analysis using FFT (Fast Fourier Transform), and the peak position of the frequency spectrum is calculated. Next, music judgment step 203
In, it is determined whether or not the peak of the frequency spectrum has been temporally maintained while being stable in the frequency direction. If the peak exceeds a certain threshold, it is determined that the music is music.

【0026】尚、このような音楽区間の検出について
は、たとえば、南他、「音解析による映像インデクシン
グ」、電子情報通信学会総合大会、D−12−64、1
997などに記載された技術を利用することができる。
また、周波数解析には、FFTの他に、ウェーブレット
変換などを用いることも可能である。
The detection of such music sections is described in, for example, Minami et al., "Video Indexing by Sound Analysis", IEICE General Conference, D-12-64, 1
997 or the like.
For the frequency analysis, a wavelet transform or the like can be used in addition to the FFT.

【0027】入力された音が音楽であった場合には、音
楽蓄積ステップ204において、音楽が記録媒体に蓄積
され始める。このとき、同時に映像入力判断ステップ2
05において、音情報以外に映像情報が入力されている
かどうかが判定される。映像情報が入力されている場合
には、静止画像作成ステップ206に進んで、音楽が開
始された点に対応する静止画が作成される。この静止画
を作成する点として、音楽が開始された点以外の任意の
点を指定したり、或いは、文字検出技術を用いて、文字
が現れたところで静止画を作成してもよい。一方、映像
情報が入力されていないと判定された場合には、アイコ
ン読み込みステップ207において、予め用意された擬
似的な静止画が読み込まれる。
If the input sound is music, the music starts to be stored in the recording medium in a music storing step 204. At this time, at the same time, video input determination step 2
At 05, it is determined whether video information other than sound information is input. If video information has been input, the process proceeds to a still image creation step 206, where a still image corresponding to the point at which music was started is created. As a point at which the still image is created, an arbitrary point other than the point at which the music is started may be designated, or a still image may be created at the point where a character appears using a character detection technique. On the other hand, when it is determined that the video information has not been input, a pseudo still image prepared in advance is read in the icon reading step 207.

【0028】音楽を蓄積する音楽蓄積ステップ204
は、音楽終了判断ステップ208において、一定の連続
した時間を超えて音楽が蓄積され、かつ、音楽判定ステ
ップ203での閾値を下回ったことが検出され、音楽が
終了したと判定されるまで繰り返される。尚、この閾値
は任意に設定してもよいが、予め音楽データのサンプル
に対して、数種の閾値を変化させて検出処理を行い、縦
軸をデータ数、横軸を閾値として、過剰検出されたデー
タ数と未検出のデータ数とが交差した時の閾値をもって
設定してもよい。また、一定の連続した時間は、利用者
が任意に設定可能であり、たとえば、歌番組の歌謡曲だ
けを蓄積したい場合には、90秒程度に設定することに
よって、コマーシャル中に流れる短時間の曲の蓄積を回
避することができる。
Music storage step 204 for storing music
Is repeated in the music end determination step 208 until it is detected that the music has been stored for more than a certain continuous time and has fallen below the threshold in the music determination step 203, and it is determined that the music has ended. . Note that this threshold may be set arbitrarily. However, detection processing is performed on music data samples in advance by changing several types of thresholds. The threshold may be set when the number of detected data and the number of undetected data intersect. In addition, the user can arbitrarily set the constant continuous time. For example, when only a song song of a song program is to be stored, by setting the time to about 90 seconds, a short time flowing during a commercial can be set. The accumulation of songs can be avoided.

【0029】蓄積された音楽については、音楽検出時の
時刻を記録しておくことにより、検出時刻・曲長保存ス
テップ209において、曲の長さが算出され、時刻と曲
長が保存される。続いて、表示ステップ210に進み音
楽に対応して静止画作成ステップ206又はアイコン読
み込みステップ207で作成された静止画が、ディスプ
レイなどのインタフェース上に表示される。利用者は、
インタフェース上に表示された静止画を指定することに
より、対応する音楽を聴いたり、指定した音楽をたとえ
ば、WAV形式のような汎用的なフォーマットのサウン
ド・ファイルに変換することが可能である。
For the stored music, the time at which the music was detected is recorded, and the length of the music is calculated in the detection time / song length storage step 209, and the time and the music length are stored. Subsequently, the process proceeds to the display step 210, and the still image created in the still image creation step 206 or the icon reading step 207 corresponding to the music is displayed on an interface such as a display. The user
By specifying a still image displayed on the interface, it is possible to listen to the corresponding music or to convert the specified music to a sound file in a general-purpose format such as the WAV format.

【0030】図8は、本発明の第3実施例による音楽蓄
積システムにおける情報提供装置9の処理の流れを示す
フローチャートである。情報提供装置9の各構成要素を
ソフトウェアで実現した場合にも、このソフトウェアの
処理は同図に示したフローチャートに従って行われる。
FIG. 8 is a flowchart showing the flow of processing of the information providing device 9 in the music storage system according to the third embodiment of the present invention. Even when each component of the information providing device 9 is realized by software, the processing of this software is performed according to the flowchart shown in FIG.

【0031】情報提供装置9は、映像情報のみを入力す
る形態、又は、映像情報と音情報の両方を入力する形態
の二つの形態を取ることができる。映像入力ステップ3
01において、映像情報が入力され、入力された映像情
報は、文字検出ステップ302において画像処理され
る。次に、文字判断ステップ303において、画像中の
エッジ部に、時間的変化と空間的変化が安定している部
分が存在する場合には、画像中に文字情報が存在してい
ると判定される。文字情報が存在する場合、文字認識ス
テップ304に進み、画像中の各ライン上の画素濃度の
局所的な二値化が行われ、文字領域が抽出され、二値化
画像中の連結成分の密集程度の特徴を利用して文字認識
が行われる。文字情報が存在しない場合、映像入力ステ
ップ301に戻る。
The information providing device 9 can take two forms, a form for inputting only video information or a form for inputting both video information and sound information. Video input step 3
In step 01, video information is input, and the input video information is subjected to image processing in a character detection step 302. Next, in the character determination step 303, when there is a portion where the temporal change and the spatial change are stable at the edge portion in the image, it is determined that the character information exists in the image. . If character information is present, the process proceeds to a character recognition step 304, where local binarization of pixel density on each line in the image is performed, a character region is extracted, and the density of connected components in the binarized image is increased. Character recognition is performed using the feature of the degree. If there is no character information, the process returns to the video input step 301.

【0032】次に、音入力判断ステップ305におい
て、音情報が入力されている場合には、音楽判定ステッ
プ306によって、音楽が流れているかどうかが判定さ
れる。音楽が流れていないと判定された場合には、映像
入力ステップ301に戻る。音楽が流れていると判定さ
れた場合、検出時刻・認識結果保存ステップ307に進
み、認識されたすべての文字情報を文字情報の検出時刻
と共に蓄積・保存する。また、音入力判断ステップ30
5において、音情報が入力されていないと判定された場
合にも、検出時刻・認識結果保存ステップ307に進
み、認識されたすべての文字情報を文字情報の検出時刻
と共に蓄積・保存する。ここで蓄積される文字情報は、
典型的には、認識結果を文字コードで表現したものであ
るが、たとえば、画像の文字領域を画像データとして蓄
積することも可能である。
Next, if sound information is inputted in the sound input judgment step 305, it is judged in the music judgment step 306 whether or not music is playing. If it is determined that no music is playing, the process returns to the video input step 301. If it is determined that music is playing, the process proceeds to a detection time / recognition result storage step 307, where all recognized character information is stored and stored together with the character information detection time. Also, sound input determination step 30
In step 5, even when it is determined that no sound information has been input, the process proceeds to a detection time / recognition result storage step 307, in which all recognized character information is accumulated and stored together with the character information detection time. The character information stored here is
Typically, the recognition result is represented by a character code. However, for example, a character area of an image can be stored as image data.

【0033】次に、図6に示された本発明の第1実施例
の音楽蓄積システムにおいて、属性情報入力部106が
属性情報蓄積部111から属性情報を取得する本発明の
第4実施例の手順について図9のタイミングチャートを
参照して説明する。ここで、音楽蓄積システムへの入力
信号は、一般的なテレビやラジオの放送信号である場合
を考える。また、情報提供装置9は、情報提供をなすべ
きテレビのチャンネルの個数分だけ並列に動作し、利用
者端末8と情報提供装置9に入力される信号、及び、内
部的な時刻は同期しているものとする。時刻の同期を取
る方法としては、利用者端末8から情報提供装置9の時
刻を通信回線を介して参照して、利用者端末8の時刻を
設定する方法や、利用者端末8と情報提供装置9が郵政
省の標準時間サービスを利用してそれぞれ時刻を設定す
る方法などがある。
Next, in the music storage system according to the first embodiment of the present invention shown in FIG. 6, the attribute information input unit 106 acquires attribute information from the attribute information storage unit 111 according to the fourth embodiment of the present invention. The procedure will be described with reference to the timing chart of FIG. Here, it is assumed that the input signal to the music storage system is a general television or radio broadcast signal. The information providing device 9 operates in parallel by the number of television channels to provide information, and the signals input to the user terminal 8 and the information providing device 9 and the internal time are synchronized. Shall be As a method of synchronizing the time, a method of setting the time of the user terminal 8 by referring to the time of the information providing device 9 from the user terminal 8 via a communication line, or a method of setting the time of the user terminal 8 and the information providing device 9 uses the standard time service of the Ministry of Posts and Telecommunications to set each time.

【0034】利用者が所望の音楽の属性情報を取得する
場合には、利用者端末8上に表示されているその音楽に
対応した静止画若しくは擬似的なアイコンを指定すると
(ステップ401)、利用者端末8が情報提供装置9に
接続される(ステップ402)。接続が確立されると共
に、利用者端末8側で蓄積されている当該所望の音楽の
開始時刻、或いは、開始時刻及び終了時刻が情報提供装
置9に送信される(ステップ403)。情報提供装置9
は、蓄積されている属性情報の中で、開始時刻、或い
は、開始時刻及び終了時刻が利用者端末8から送信され
た開始時刻、或いは、開始時刻及び終了時刻と一致する
属性情報を検索する(ステップ404)。このとき、利
用者端末8と情報提供装置9の間で、たとえば、チャン
ネル番号のような入力源を特定し得る識別子を付加的に
保存し、時刻の情報と共にこの識別子を利用することに
よって、たとえば、同じ時刻に複数のチャンネルで音楽
が流れていた場合にも、検索結果を特定の属性情報に絞
り込むことができる。また、識別子の情報を利用しない
場合であっても、情報提供装置9から利用者端末8に検
索結果のリストを送信し(ステップ405)、利用者端
末8側で検索結果のリストを表示し(ステップ40
6)、利用者に検索結果の中から所望の検索結果を選択
させることが可能である(ステップ407)。検索結果
の選択に応じて、利用者端末8から情報提供装置9に選
択された検索結果に対応した属性情報が要求される。
When the user obtains attribute information of a desired music, the user specifies a still image or a pseudo icon corresponding to the music displayed on the user terminal 8 (step 401). The user terminal 8 is connected to the information providing device 9 (step 402). The connection is established, and the start time or the start time and the end time of the desired music stored in the user terminal 8 are transmitted to the information providing device 9 (step 403). Information providing device 9
Searches the stored attribute information for attribute information in which the start time or the start time and the end time coincide with the start time or the start time and the end time transmitted from the user terminal 8 ( Step 404). At this time, between the user terminal 8 and the information providing device 9, for example, an identifier such as a channel number that can specify an input source is additionally stored, and by using this identifier together with time information, for example, Even when music is being played on a plurality of channels at the same time, search results can be narrowed down to specific attribute information. Further, even when the information of the identifier is not used, the search result list is transmitted from the information providing device 9 to the user terminal 8 (step 405), and the search result list is displayed on the user terminal 8 side ( Step 40
6) It is possible for the user to select a desired search result from the search results (step 407). In response to the selection of the search result, the user terminal 8 requests the information providing device 9 for the attribute information corresponding to the selected search result.

【0035】情報提供装置9は、利用者端末8から属性
情報の要求を受けると、選択された属性情報を利用者端
末8に送信する(ステップ408)。利用者端末8がこ
の属性情報を受信すると(ステップ409)、利用者端
末8と情報提供装置9の間の通信接続が切断され(ステ
ップ410)、属性情報取得手順が終了する。
When receiving the request for the attribute information from the user terminal 8, the information providing device 9 transmits the selected attribute information to the user terminal 8 (step 408). When the user terminal 8 receives this attribute information (step 409), the communication connection between the user terminal 8 and the information providing device 9 is disconnected (step 410), and the attribute information acquisition procedure ends.

【0036】また、利用者端末8から情報提供装置9に
送信する時刻の情報は、音楽の開始時刻や終了時刻に制
限されることはなく、たとえば、開始時刻と終了時刻の
中間時刻とし、情報提供装置9側では、受け取った中間
時刻が、保存されている属性情報の中で開始時刻と終了
時刻の間に収まる属性情報を検索するように構成しても
よい。これにより、利用者端末と情報提供装置の間で時
刻の同期を厳密に設定する必要がなくなる。
The time information transmitted from the user terminal 8 to the information providing device 9 is not limited to the music start time and the music end time. For example, the time information is an intermediate time between the music start time and the music end time. The providing device 9 may be configured to search for attribute information in which the received intermediate time falls between the start time and the end time in the stored attribute information. This eliminates the need to strictly set the time synchronization between the user terminal and the information providing device.

【0037】本発明の第5実施例による情報提供装置9
は、図10に示されるような項目を含む属性情報を蓄積
する。この属性情報は、上述の文字認識の結果を用いて
自動的に作成することが可能であるが、たとえば、人手
で編集しても構わない。この属性情報は、たとえば、リ
レーショナルデータベースに格納することができる。
An information providing device 9 according to a fifth embodiment of the present invention.
Accumulates attribute information including items as shown in FIG. This attribute information can be automatically created using the result of the character recognition described above, but may be edited manually, for example. This attribute information can be stored, for example, in a relational database.

【0038】情報提供装置9に蓄積された属性情報の中
で、利用者端末8から送信された時刻の情報や、入力源
の識別子が一致する属性情報が見つかった場合、或い
は、利用者端末8によって検索結果リストの中から検索
結果が指定された場合、情報提供装置9は、図10に示
されるような曲名(“title”)、アーティスト名(“arti
st”)、歌詞(“lyrics”)などの属性情報を利用者に返
信する。これにより、利用者端末8側では、蓄積された
音楽の詳細な情報を得ることができる。
When attribute information matching the time information transmitted from the user terminal 8 or the identifier of the input source is found in the attribute information stored in the information providing device 9, or when the user terminal 8 When the search result is designated from the search result list by the user, the information providing apparatus 9 sets the song title (“title”) and the artist name (“arti”) as shown in FIG.
Attribute information such as “st”) and lyrics (“lyrics”) is returned to the user, so that the user terminal 8 can obtain detailed information of the stored music.

【0039】本発明の第6実施例による情報提供装置9
は、図11に示されるような記述言語を用いて属性情報
を蓄積する。記述言語として、たとえば、XMLなどを
使用することが可能である。
Information providing device 9 according to a sixth embodiment of the present invention
Accumulates attribute information using a description language as shown in FIG. For example, XML or the like can be used as the description language.

【0040】このように、本発明の種々の実施例の音楽
蓄積システムは、放送若しくは電気通信によって配信さ
れる音情報、或いは、音情報を含む映像情報から音楽が
含まれる部分を検出、蓄積、視聴する利用者端末と、蓄
積された音楽の曲名やアーティスト名などの属性情報を
収集するネットワーク上のサーバーとにより構成され、
利用者端末がサーバーから属性情報を取得することによ
って、利用者が音楽を容易に管理するシステムである。
As described above, the music storage system according to various embodiments of the present invention detects and stores a portion including music from audio information distributed by broadcast or telecommunication or video information including audio information. It consists of a user terminal for viewing and a server on the network that collects attribute information such as the song title and artist name of the stored music,
This is a system in which a user can easily manage music by a user terminal acquiring attribute information from a server.

【0041】上記の本発明の実施例による音楽蓄積シス
テムは、上記の実施例で説明された例に限定されること
なく、システム内の入出力デバイス、通信デバイス、コ
ンピュータのCPUやメモリなどのハードウェア部分を
除く部分は、同等の機能を実現するソフトウェア(プロ
グラム)で構築し、ディスク装置等に記録しておき、必
要に応じてコンピュータにインストールし、或いは、ネ
ットワーク経由でコンピュータにダウンロードして音楽
蓄積サービスを行うことも可能である。さらに、構築さ
れたプログラムをフロッピーディスク、メモリカード、
CD−ROM等の可搬記録媒体に格納し、このようなサ
ービスを用いる場面で汎用的に使用することも可能であ
る。
The music storage system according to the above-described embodiment of the present invention is not limited to the example described in the above-described embodiment, but includes input / output devices, communication devices, and hardware such as a CPU and a memory of a computer. The parts other than the hardware part are constructed with software (programs) that realize the same functions, recorded on a disk device, etc., and installed on a computer as needed, or downloaded to a computer via a network to download music. It is also possible to provide a storage service. In addition, the built program is stored on a floppy disk, memory card,
It is also possible to store it on a portable recording medium such as a CD-ROM or the like and use it versatilely when using such a service.

【0042】以上、本発明の代表的な実施例を説明した
が、本発明は、上記の実施例に限定されることなく、特
許請求の範囲内において、種々変更・応用が可能であ
る。
Although the representative embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications and applications are possible within the scope of the claims.

【0043】[0043]

【発明の効果】上記の説明の通り、本発明は以下の効果
を奏する。
As described above, the present invention has the following effects.

【0044】(1)利用者端末において、音情報或いは
音情報を含む映像情報を入力し、入力された音情報或い
は映像情報から音楽区間が検出され、検出された音楽区
間が、対応する映像情報の静止画像若しくは図式化され
た画像、又は、テキストによって一覧表示され、音楽区
間に対応する音楽データ及び静止画像若しくは図式化さ
れた画像が保存され、音楽データが再生されるので、音
楽データに対応した画像又はテキストを一覧しながら音
楽データを聴くことができる。また、音楽データの属性
情報を入力することにより、音楽データの選別が容易に
行えるようになる。さらに、音楽データを一つ以上の形
式に変換することにより、異種端末で同じ音楽データを
再生することができる。
(1) In the user terminal, sound information or video information including sound information is input, a music section is detected from the input sound information or video information, and the detected music section corresponds to the corresponding video information. The still image or the stylized image or the text is displayed in a list, and the music data corresponding to the music section and the still image or the stylized image are stored, and the music data is reproduced. The user can listen to the music data while viewing the images or texts. Further, by inputting attribute information of music data, selection of music data can be easily performed. Further, by converting music data into one or more formats, the same music data can be reproduced on different types of terminals.

【0045】(2)情報提供装置において、映像情報或
いは音情報を含む映像情報を入力し、音情報を含む映像
情報から音楽区間を検出し、映像情報から文字情報が検
出される。検出された音楽区間及び/又は文字情報を用
いて、たとえば、曲名、アーティスト名、作詞者名、作
曲者名、歌詞、曲長、検出時刻、放送局などの属性情報
を抽出することができ、その中の少なくとも一つの属性
情報を蓄積することによって、利用者端末で蓄積された
音楽データに対応した詳細情報を蓄積することができ
る。
(2) In the information providing device, video information including video information or sound information is input, a music section is detected from the video information including sound information, and character information is detected from the video information. Using the detected music section and / or character information, for example, attribute information such as a song title, an artist name, a lyricist name, a composer name, lyrics, a song length, a detection time, a broadcasting station, etc. can be extracted. By storing at least one of the attribute information, detailed information corresponding to the music data stored in the user terminal can be stored.

【0046】(3)また、利用者端末は、検出した音楽
データに関連した属性情報(すなわち、詳細情報)を、
音楽データが検出された時刻及び音楽データの入力源を
表す識別子を用いて、通信網などを経由して、情報提供
装置から取得することにより、音楽データの正確な詳細
情報を取得することが可能になる。
(3) Further, the user terminal transmits the attribute information (that is, detailed information) related to the detected music data,
It is possible to obtain accurate detailed information of the music data by obtaining from the information providing device via the communication network or the like using the time at which the music data was detected and the identifier indicating the input source of the music data. become.

【0047】(4)利用者端末及び情報提供装置におい
て、音情報を周波数解析し、周波数スペクトルの時間的
安定性を用いることで、音楽を検出することができるよ
うになる。
(4) In the user terminal and the information providing device, music can be detected by analyzing the frequency of the sound information and using the temporal stability of the frequency spectrum.

【0048】(5)映像情報中の濃度及びエッジ情報に
ついての時間的安定性及び空間的密集性を用いることに
より、文字情報を検出することが可能になる。
(5) Character information can be detected by using temporal stability and spatial density of density and edge information in video information.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による音楽蓄積装置の構成図である。FIG. 1 is a configuration diagram of a music storage device according to the present invention.

【図2】文字検出手段を具備した本発明による音楽蓄積
装置の構成図である。
FIG. 2 is a configuration diagram of a music storage device according to the present invention including a character detection unit.

【図3】本発明による音楽蓄積方法のフローチャートで
ある。
FIG. 3 is a flowchart of a music storage method according to the present invention.

【図4】本発明による音楽提供装置の構成図である。FIG. 4 is a configuration diagram of a music providing apparatus according to the present invention.

【図5】本発明による音楽提供方法のフローチャートで
ある。
FIG. 5 is a flowchart of a music providing method according to the present invention.

【図6】本発明の第1実施例の音楽蓄積システムの略構
成図である。
FIG. 6 is a schematic configuration diagram of a music storage system according to a first embodiment of the present invention.

【図7】本発明の第2実施例における利用者端末の処理
フローチャートである。
FIG. 7 is a processing flowchart of a user terminal according to the second embodiment of the present invention.

【図8】本発明の第3実施例における情報提供装置の処
理フローチャートである。
FIG. 8 is a processing flowchart of an information providing apparatus according to a third embodiment of the present invention.

【図9】本発明の第4実施例による属性情報取得手順の
タイミングチャートである。
FIG. 9 is a timing chart of an attribute information acquisition procedure according to a fourth embodiment of the present invention.

【図10】本発明の第5実施例による情報提供装置に蓄
積される属性情報の説明図である。
FIG. 10 is an explanatory diagram of attribute information stored in an information providing device according to a fifth embodiment of the present invention.

【図11】本発明の第6実施例による情報提供装置に記
述言語を用いて蓄積される属性情報の説明図である。
FIG. 11 is an explanatory diagram of attribute information stored using a description language in an information providing apparatus according to a sixth embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 音楽蓄積装置 3 音楽提供装置 5 入力源 7 再生装置 8 利用者端末 9 情報提供装置 10 音楽検出手段 20 保存手段 30 属性入力手段 40 音楽管理手段 50 文字検出手段 60 情報入力手段 70 変換手段 80 音楽提供手段 101 音・映像入力部 102,109 音楽検出部 103 表示部 104 保存部 105 再生部 106 変換部 107 属性入力部 108 映像・音入力部 110 文字検出部 111 属性情報蓄積部 112 通信回線 113,114 テレビ・ラジオ Reference Signs List 1 music storage device 3 music providing device 5 input source 7 reproducing device 8 user terminal 9 information providing device 10 music detecting means 20 storage means 30 attribute inputting means 40 music managing means 50 character detecting means 60 information inputting means 70 converting means 80 music Providing means 101 sound / video input unit 102, 109 music detection unit 103 display unit 104 storage unit 105 playback unit 106 conversion unit 107 attribute input unit 108 video / sound input unit 110 character detection unit 111 attribute information storage unit 112 communication line 113, 114 TV / Radio

───────────────────────────────────────────────────── フロントページの続き (72)発明者 桑野 秀豪 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 児島 治彦 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5D015 AA06 DD03  ──────────────────────────────────────────────────続 き Continued on the front page (72) Hidego Kuwano 2-3-1 Otemachi, Chiyoda-ku, Tokyo Inside Nippon Telegraph and Telephone Corporation (72) Haruhiko Kojima 2--3, Otemachi, Chiyoda-ku, Tokyo No. 1 Nippon Telegraph and Telephone Corporation F-term (reference) 5D015 AA06 DD03

Claims (11)

【特許請求の範囲】[Claims] 【請求項1】 少なくとも音情報を含む情報から音楽を
表す情報の区間である音楽区間を検出する音楽検出手段
と、 上記音楽検出手段に接続され、上記検出された音楽区間
に対応する音楽データを保存する保存手段と、 上記検出された音楽区間に関連した属性情報を入力する
属性入力手段と、 上記保存手段及び上記属性入力手段に接続され、上記音
楽データと上記属性情報を関連付けて管理する音楽管理
手段とを有することを特徴とする音楽蓄積装置。
1. A music detection means for detecting a music section which is a section of information representing music from information including at least sound information, and music data connected to the music detection means and corresponding to the detected music section. Storage means for storing; attribute input means for inputting attribute information related to the detected music section; music connected to the storage means and the attribute input means for managing the music data in association with the attribute information A music storage device comprising management means.
【請求項2】 上記音楽管理手段は、上記音楽データに
対応する上記音楽区間が検出された時刻及び上記音楽デ
ータの入力源の識別子を用いて、上記音楽区間に関連し
た属性情報を上記音楽データと関連付けることを特徴と
する請求項1記載の音楽蓄積装置。
2. The music management means according to claim 1, wherein the attribute information associated with the music section is stored in the music data using a time at which the music section corresponding to the music data is detected and an identifier of an input source of the music data. The music storage device according to claim 1, wherein the music storage device is associated with the music storage device.
【請求項3】 上記音楽検出手段は、上記音情報を周波
数解析し、得られた周波数スペクトルが時間的に安定し
ている区間を上記音楽区間として検出することを特徴と
する請求項1又は2記載の音楽蓄積装置。
3. The music detecting means according to claim 1, wherein the music information is subjected to frequency analysis of the sound information, and a section in which the obtained frequency spectrum is temporally stable is detected as the music section. A music storage device as described.
【請求項4】 上記少なくとも音情報を含む情報の中の
映像情報からエッジ情報を抽出し、上記抽出されたエッ
ジ情報の時間的安定性及び空間的密集性に基づいて上記
エッジ情報から文字情報を検出する文字検出手段を更に
有し、 上記属性入力手段は、上記文字検出手段に接続され、上
記検出された文字情報を上記属性情報として入力するこ
とを特徴とする請求項1乃至3のうちいずれか一項記載
の音楽蓄積装置。
4. Extracting edge information from video information in the information including at least sound information, and extracting character information from the edge information based on temporal stability and spatial density of the extracted edge information. 4. The apparatus according to claim 1, further comprising a character detecting unit for detecting, wherein the attribute input unit is connected to the character detecting unit, and inputs the detected character information as the attribute information. The music storage device according to claim 1.
【請求項5】 少なくとも音情報を含む情報から音楽を
表す情報の区間である音楽区間を検出する過程と、 検出された上記音楽区間に対応する音楽データを保存す
る過程と、 上記音楽区間に関連した属性情報を入力する過程と、 上記音楽データと上記属性情報を関連付けて管理する過
程とを有することを特徴とする音楽蓄積方法。
5. A step of detecting a music section which is a section of information representing music from information including at least sound information; a step of storing music data corresponding to the detected music section; A music storage method, comprising: a step of inputting attribute information obtained by the above-mentioned method; and a step of managing the music data in association with the attribute information.
【請求項6】 上記音楽データと上記属性情報を関連付
けて管理する過程において、上記音楽区間に関連した属
性情報は、上記音楽データに対応する上記音楽区間が検
出された時刻及び上記音楽データの入力源の識別子を用
いて上記音楽データと関連付けられることを特徴とする
請求項5記載の音楽蓄積方法。
6. In the process of managing the music data in association with the attribute information, the attribute information related to the music section includes a time at which the music section corresponding to the music data is detected and an input of the music data. The music storage method according to claim 5, wherein the music data is associated with the music data using a source identifier.
【請求項7】 上記音楽区間を検出する過程は、上記音
情報を周波数解析し、得られた周波数スペクトルが時間
的に安定している区間を上記音楽区間として検出するこ
とを特徴とする請求項5又は6記載の音楽蓄積方法。
7. The step of detecting a music section comprises frequency-analyzing the sound information and detecting a section in which the obtained frequency spectrum is temporally stable as the music section. 7. The music storage method according to 5 or 6.
【請求項8】 上記属性情報を入力する過程の前に、上
記少なくとも音情報を含む情報の中の映像情報からエッ
ジ情報を抽出し、上記抽出されたエッジ情報の時間的安
定性及び空間的密集性に基づいて上記エッジ情報から文
字情報を検出する過程を更に有し、 上記属性情報を入力する過程は、上記検出された文字情
報を上記属性情報として入力することを特徴とする請求
項5乃至7のうちいずれか一項記載の音楽蓄積方法。
8. Prior to the step of inputting the attribute information, edge information is extracted from video information in the information including at least the sound information, and temporal stability and spatial density of the extracted edge information are extracted. 6. The method according to claim 5, further comprising a step of detecting character information from the edge information based on the property, wherein the step of inputting the attribute information includes inputting the detected character information as the attribute information. 8. The music storage method according to claim 7.
【請求項9】 少なくとも音情報を含む情報を入力する
情報入力手段と、 上記情報入力手段に接続され、上記入力された音情報か
ら音楽を表す情報の区間である音楽区間を検出する音楽
検出手段と、 上記音楽検出手段に接続され、検出された上記音楽区間
に対応する音楽データを保存する保存手段と、 上記音楽区間に関連した属性情報を入力する属性入力手
段と、 上記保存手段及び上記属性入力手段に接続され、上記音
楽データと上記属性情報を関連付けて管理する音楽管理
手段と、 上記保存手段に接続され、上記保存された音楽データを
再生装置に適合した形式に変換する変換手段と、 上記保存手段、上記変換手段及び上記音楽管理手段に接
続され、上記保存手段又は上記変換手段から音楽データ
を受け、上記音楽管理手段から上記音楽データに関連付
けられた上記属性情報を受け、関連付けられた上記音楽
データ及び上記属性情報を再生装置に提供する音楽提供
手段とを有することを特徴とする音楽提供装置。
9. An information input means for inputting information including at least sound information, and a music detecting means connected to the information input means for detecting a music section, which is a section of information representing music, from the input sound information. Storage means connected to the music detection means for storing music data corresponding to the detected music section; attribute input means for inputting attribute information related to the music section; the storage means and the attribute A music management unit connected to the input unit and managing the music data and the attribute information in association with each other; a conversion unit connected to the storage unit and converting the stored music data into a format suitable for a playback device; The storage means, the conversion means, and the music management means are connected to each other, receive music data from the storage means or the conversion means, and receive the music data from the music management means. Music providing means for receiving the attribute information associated with data and providing the music data and the attribute information associated with the music information to a playback device.
【請求項10】 少なくとも音情報を含む情報を入力す
る過程と、 上記入力された音情報から音楽を表す情報の区間である
音楽区間を検出する過程と、 検出された上記音楽区間に対応する音楽データを保存す
る過程と、 上記音楽区間に関連した属性情報を入力する過程と、 上記音楽データと上記属性情報を関連付ける過程と、 上記関連付けられた音楽データ及び属性情報を、再生装
置に適した形式で上記再生装置に提供する過程とを有す
ることを特徴とする音楽提供方法。
10. A step of inputting information including at least sound information; a step of detecting a music section which is a section of information representing music from the input sound information; and a music corresponding to the detected music section Storing the data, inputting attribute information related to the music section, associating the music data with the attribute information, converting the associated music data and attribute information into a format suitable for a playback device. Providing the music to the playback device.
【請求項11】 音楽データに関連した属性情報を蓄
積、提供する情報提供装置と、上記情報提供装置に通信
接続され、音楽データを蓄積、再生する少なくとも1台
の利用者端末とを含む音楽蓄積システムであって、 上記利用者端末は、 少なくとも音情報を含む情報を受信する音・映像入力手
段と、 上記音・映像入力手段に接続され、上記受信された情報
から音楽を表す情報の区間である音楽区間を検出する音
楽検出手段と、 上記音楽検出手段に接続され、上記検出された音楽区間
に対応した表示データを表示させる表示手段と、 上記音楽検出手段及び上記表示手段に接続され、上記検
出された音楽区間に対応する音楽データ及び表示データ
を保存する保存手段と、 上記検出された音楽区間に関連した属性情報を入力する
属性入力手段と、 上記保存手段に保存された音楽データの形式を再生用フ
ォーマットに変換する変換手段と、 上記変換手段に接続され、上記再生用フォーマットに変
換された音楽データを再生する再生手段とを具備し、上
記音楽データと上記属性情報を関連付けて管理し、 上記情報提供装置は、 少なくとも映像情報を含む情報を受信する映像・音入力
手段と、 上記少なくとも映像情報を含む情報の中の映像情報から
エッジ情報を抽出し、上記抽出されたエッジ情報の時間
的安定性及び空間的密集性に基づいて上記エッジ情報か
ら文字情報を検出する文字検出手段と、 上記検出された文字情報を、上記文字情報が検出された
時刻及び上記文字情報の入力源の識別子を用いて指定で
きる属性情報として蓄積する属性情報蓄積手段とを有
し、 上記利用者端末の上記属性入力手段は、上記音楽データ
に対応する上記音楽区間が検出された時刻及び上記音楽
データの入力源の識別子を用いて、上記情報提供装置か
ら対応した属性情報を取得することを特徴とする音楽蓄
積システム。
11. A music storage device comprising: an information providing device for storing and providing attribute information related to music data; and at least one user terminal connected to the information providing device for storing and reproducing music data. In the system, the user terminal is a sound / video input unit that receives at least information including sound information, and is connected to the sound / video input unit, and is a section of information representing music from the received information. Music detection means for detecting a certain music section; display means connected to the music detection means for displaying display data corresponding to the detected music section; and connection to the music detection means and the display means, Storage means for storing music data and display data corresponding to the detected music section; attribute input means for inputting attribute information related to the detected music section; Conversion means for converting the format of the music data stored in the storage means to a format for playback; and playback means connected to the conversion means for playing back the music data converted to the format for playback, Managing the music data and the attribute information in association with each other, the information providing device includes: a video / sound input unit that receives at least information including video information; and edge information from video information in the information including at least video information. Character extracting means for extracting and detecting character information from the edge information based on temporal stability and spatial density of the extracted edge information; and detecting the detected character information, wherein the character information is detected. Attribute information accumulating means for accumulating as attribute information that can be designated by using the time of the input and the identifier of the input source of the character information, The attribute input means acquires corresponding attribute information from the information providing device using a time at which the music section corresponding to the music data is detected and an identifier of an input source of the music data. Music storage system.
JP2000247754A 2000-08-17 2000-08-17 Apparatus and method for storing music, apparatus and method for providing music, and music storage system Pending JP2002062881A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000247754A JP2002062881A (en) 2000-08-17 2000-08-17 Apparatus and method for storing music, apparatus and method for providing music, and music storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000247754A JP2002062881A (en) 2000-08-17 2000-08-17 Apparatus and method for storing music, apparatus and method for providing music, and music storage system

Publications (1)

Publication Number Publication Date
JP2002062881A true JP2002062881A (en) 2002-02-28

Family

ID=18737785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000247754A Pending JP2002062881A (en) 2000-08-17 2000-08-17 Apparatus and method for storing music, apparatus and method for providing music, and music storage system

Country Status (1)

Country Link
JP (1) JP2002062881A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627560B2 (en) 2005-04-22 2009-12-01 Sony Corporation Recording and reproducing apparatus, processing method in the apparatus, and program for causing computer to execute the method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627560B2 (en) 2005-04-22 2009-12-01 Sony Corporation Recording and reproducing apparatus, processing method in the apparatus, and program for causing computer to execute the method

Similar Documents

Publication Publication Date Title
US9049468B2 (en) Method and apparatus for identifying media content presented on a media playing device
US9251796B2 (en) Methods and systems for disambiguation of an identification of a sample of a media stream
US7531735B2 (en) Musical piece extraction program, apparatus, and method
US8965916B2 (en) Method and apparatus for providing media content
CN1636240A (en) System for selling a product utilizing audio content identification
KR100676863B1 (en) System and method for providing music search service
US11803589B2 (en) Systems, methods, and media for identifying content
JP2005295375A (en) Information acquisition support system
US6931201B2 (en) Video indexing using high quality sound
US20090133067A1 (en) Multi-media enhancement channel
JP3517065B2 (en) Broadcast type real-time hypertext communication method and receiving apparatus
US20050229204A1 (en) Signal processing method and arragement
JP2002062881A (en) Apparatus and method for storing music, apparatus and method for providing music, and music storage system
JP2002262225A (en) Contents mediating device and method for processing contents mediation
JPH08249343A (en) Device and method for speech information acquisition
JP2006054517A (en) Information presenting apparatus, method, and program
JP4227866B2 (en) Recording device
KR101995531B1 (en) Method for providing broadcasted music and apparatus using the same
JP3797941B2 (en) Information collecting apparatus and information collecting method
JP2001306600A (en) Data retrieval method, information providing system and recording medium