JP2004205605A - 音声および楽曲再生装置およびシーケンスデータフォーマット - Google Patents
音声および楽曲再生装置およびシーケンスデータフォーマット Download PDFInfo
- Publication number
- JP2004205605A JP2004205605A JP2002371750A JP2002371750A JP2004205605A JP 2004205605 A JP2004205605 A JP 2004205605A JP 2002371750 A JP2002371750 A JP 2002371750A JP 2002371750 A JP2002371750 A JP 2002371750A JP 2004205605 A JP2004205605 A JP 2004205605A
- Authority
- JP
- Japan
- Prior art keywords
- data
- audio
- music
- event
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
- G10H2230/005—Device type or category
- G10H2230/021—Mobile ringtone, i.e. generation, transmission, conversion or downloading of ringing tones or other sounds for mobile telephony; Special musical data formats or protocols herefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
- G10H2240/241—Telephone transmission, i.e. using twisted pair telephone lines or any type of telephone network
- G10H2240/251—Mobile telephone transmission, i.e. transmitting, accessing or controlling music data wirelessly via a wireless or mobile telephone receiver, analog or digital, e.g. DECT GSM, UMTS
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Electrophonic Musical Instruments (AREA)
- Telephone Function (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【課題】音声シーケンスの編集、修正を簡単に行うことができ、また、データサイズの無駄を防ぐことができる音声および楽曲再生装置を提供する。
【解決手段】ユーザが楽曲再生を指示すると、プレイヤー２２がファイル２１から、楽曲データを読み出し、ミドルウエア２３へロードする。ミドルウエア２３は、ロードされた楽曲データを楽曲部１２ａへ送る。楽曲部１２ａはその楽曲データに基づいて楽音信号を再生する。次に、ミドルウエア２３は、楽音データ中に混在するユーザイベントを検出すると、そのユーザイベントをプレイヤー２７へ送信する。プレイヤー２７は、ユーザイベントを受け、同イベントが指示するファイル番号の音声データファイル２６をミドルウエア２８にロードする。ミドルウエア２８は、ロードされた音声データを順次音源の音声部１２ｂへ出力する。これにより、音声部１２ｂにおいて音声の再生が行われる。
【選択図】 図１
【解決手段】ユーザが楽曲再生を指示すると、プレイヤー２２がファイル２１から、楽曲データを読み出し、ミドルウエア２３へロードする。ミドルウエア２３は、ロードされた楽曲データを楽曲部１２ａへ送る。楽曲部１２ａはその楽曲データに基づいて楽音信号を再生する。次に、ミドルウエア２３は、楽音データ中に混在するユーザイベントを検出すると、そのユーザイベントをプレイヤー２７へ送信する。プレイヤー２７は、ユーザイベントを受け、同イベントが指示するファイル番号の音声データファイル２６をミドルウエア２８にロードする。ミドルウエア２８は、ロードされた音声データを順次音源の音声部１２ｂへ出力する。これにより、音声部１２ｂにおいて音声の再生が行われる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、楽曲シーケンス中の指定のタイミングにおいて特定の音声シーケンスを再生する音声および楽曲再生装置に関する。
【０００２】
【従来の技術】
近年、携帯電話機等の分野においては、楽曲に同期させて表示を行ったり、音声を再生することが行われる。特許文献１には、所定のタイミングで楽曲と音声を同期させて発音させる技術が開示されている。
【０００３】
【特許文献１】
特開２００２−１０１１９１号公報
【０００４】
また、従来、楽曲に同期させて音声を発生させる方法として、１つのシーケンスファイルに楽曲シーケンスと音声シーケンスの両方を定義し、そのファイルを再生することによって楽曲および音声を同期させて発生させる方法が知られている。図１３は、この場合の音声および楽曲再生装置の概略構成を示す図であり、音声付楽曲データファイル５１をプレイヤー５２がサウンドミドルウエア５３にロードし、サウンドミドルウエア５３がロードされたファイルを解釈して楽曲再生用の音源制御データおよび音声再生用の音源制御データを生成し、音源５４へ出力する。音源５４は楽曲用の音源および音声用の音源を有し、それぞれの音源によって再生した楽音信号および音声信号をミキシングしてスピーカ５５へ出力する。
【０００５】
【発明が解決しようとする課題】
ところで、上述した音声付楽曲データファイル中の音声シーケンスは、発音すべき音声の発音タイミングを示す時間情報を含んでおり、その時間情報によって楽曲シーケンスとの同期が可能となっている。従って、上述した音声および楽曲再生装置にあっては、ファイル作成において、あるいは、音声シーケンスの再生内容を変更する場合において、相方のシーケンスの時間情報を解釈して音声と楽曲の同期を確認しながら、編集や該当個所の修正しなければならず、このため、ファイルの編集、修正に手間が掛かる問題があった。また、再生音声のみが異なる複数の再生パターンが必要な場合は、それぞれの再生音声に対応して同一の楽曲シーケンスを用意しなければならず、データサイズの点で無駄が多い欠点がある。これは、特に、携帯電話機のように小型の機器においては大きな問題となる。
この発明は、このような事情を考慮してなされたもので、その目的は、音声シーケンスの編集、修正を簡単に行うことができ、また、データサイズの無駄も防ぐことができる音声および楽曲再生装置を提供することにある。
【０００６】
【課題を解決するための手段】
この発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、複数のイベントデータからなる楽曲シーケンスデータが記憶された第１の記憶手段と、複数の音声データファイルが記憶された第２の記憶手段と、前記第１の記憶手段から前記楽曲シーケンスデータの各イベントデータを順次読み出し、出力すると共に、前記楽曲シーケンスデータ中にユーザイベントデータがあった場合に、音声再生指示を出力する楽曲再生手段と、前記楽曲再生手段から出力されたイベントデータに基づいて楽音信号を生成する楽曲再生用音源と、前記楽曲再生手段から出力された音声再生指示を受け、前記第２の記憶手段から音声データファイルを読み出し、読み出した音声データファイル内の各音声データを順次出力する音声再生手段と、前記音声再生手段から出力された音声データに基づく音声信号を生成する音声再生用音源とを具備することを特徴とする音声および楽曲再生装置である。
【０００７】
請求項２に記載の発明は、請求項１に記載の音声および楽曲再生装置において、前記音声再生指示には、音声データファイルを特定するデータが含まれていることを特徴とする。
請求項３に記載の発明は、請求項１または請求項２に記載の音声および楽曲再生装置において、ユーザの指示に基づいて前記ユーザイベントデータに所望の前記音声データファイルを割り付ける割付手段を設けたことを特徴とする。
請求項４に記載の発明は、請求項１または請求項２に記載の音声および楽曲再生装置において、ユーザの指示に基づいて前記ユーザイベントデータに所望の前記音声データファイルを割り付けるためのプログラムを受信する受信手段と、前記受信手段によって受信されたプログラムを実行する実行手段とを具備することを特徴とする。
【０００８】
請求項５に記載の発明は、請求項１〜請求項４のいずれかの項に記載の音声および楽曲再生装置において、ユーザによって入力されたデータに基づいて音声データファイルを生成し、前記第２の記憶手段に書き込む音声データファイル生成手段を設けたことを特徴とする。
請求項６に記載の発明は、請求項１〜請求項４のいずれかの項に記載の音声および楽曲再生装置において、ユーザによって入力されたデータに基づいて音声データファイルを生成し、前記第２の記憶手段に書き込むプログラムを受信する受信手段と、前記受信手段によって受信されたプログラムを実行する実行手段とを具備することを特徴とする。
【０００９】
請求項７に記載の発明は、請求項１に記載の音声および楽曲再生装置において、前記第１、第２の記憶手段に代えて、前記楽曲シーケンスデータおよび前記楽音データファイルが共に記憶された第３の記憶手段を設けたことを特徴とする。請求項８に記載の発明は、音源を用いて楽曲と音声を再生させるためのシーケンスデータフォーマットであって、ユーザイベントを有する楽曲シーケンスデータを含むシーケンスデータチャンクと、複数の音声データを含む音声データチャンクを有し、前記ユーザイベントは、該ユーザイベントが生起するタイミングで再生するための音声データが前記複数の音声データから割り付けられていることを特徴とするシーケンスデータフォーマットである。
【００１０】
【発明の実施の形態】
以下、図面を参照し、この発明の一実施の形態について説明する。図１は同実施の形態による音声および楽曲再生装置の機能ブロック図、図２は音声および楽曲再生装置を適用した携帯電話機のハードウエア構成図である。図２において、符号１はＣＰＵ（中央処理装置）、２はＣＰＵ１のプログラムが記憶されたＲＯＭ（リードオンリメモリ）、３はデータ一時記憶用のＲＡＭ（ランダムアクセスメモリ）であり、不揮発性のメモリが使用されている。４はテンキー、ファンクションキーからなる操作部、５は液晶表示器による表示部である。６は通信部であり、アンテナ７を介して基地局との通信を行う。
【００１１】
８は音声処理部であり、通信部６から出力される圧縮音声データを伸張し、アナログ信号に変換してスピーカ９へ出力し、また、マイクロフォン１０からの音声信号をディジタル音声データに変換し、圧縮して通信部６へ出力する。１２は音源であり、楽曲再生用の楽曲部１２ａと音声再生用の音声部１２ｂが設けられている。この場合、楽曲部１２ａはＦＭ方式あるいはＰＣＭ方式によって楽音信号を生成する音源である。また、音声部１２ｂは波形重畳方式あるいはフォルマント合成方式によって音声を合成するものである。上記の楽曲部１２ａによって着信メロディが形成され、また、楽曲部１２ａおよび音声部１２ｂによって後に述べる音声付きの楽音再生が行われる。
【００１２】
次に、図１において、２１が楽曲データファイルであり、ＲＡＭ３内に記憶されている。この楽曲データファイル２１は、着信メロディに使用される楽曲データや鑑賞用の楽曲データ等が含まれており、各楽曲は例えばインターネットを介してダウンロードされる。楽曲データファイル２１は、楽曲部１２ａに対する発音指示等の制御内容を示すイベントデータとそのイベントの発生タイミングを示す時間データからなる。さらに、本発明の実施の形態では、所定の音声データをＲＡＭ３よりロードすることを指示するユーザイベントデータを含んでいる。ユーザイベントデータも前記の時間データによりその発生タイミングが決められている。プレイヤー２２はソフトウエアであり、楽曲データファイル２１内の楽曲データをサウンドミドルウエア２３にロードし、また、ユーザからの指示に応じて楽曲データファイル２１の制御を行う。サウンドミドルウエア２３はソフトウエアであり、プレイヤー２２から供給される楽曲データを音源制御データに変換し、時間データにしたがって順次音源１２（図２）の楽曲部１２ａへ出力する。楽曲部１２ａはその音源制御データを楽音信号に変換し、出力する。
【００１３】
音声データファイル２６は音声データが記録された複数のファイルであり、ＲＡＭ３内に記憶される。プレイヤー２７はサウンドミドルウエア２３から指示されたファイル番号の音声データファイル２６をサウンドミドルウエア２８にロードする。サウンドミドルウエア２８は、プレイヤー２７から供給された音声データファイルの各音声データを順次音源１２の音声部１２ｂへ出力する。音声部１２ｂはその音声データをアナログ音声信号に変換して出力する。音源１２の楽曲部１２ａおよび音声部１２ｂから出力された楽音信号および音声信号は、合成回路２９において合成され、スピーカ１３へ出力される。
【００１４】
次に、上記実施形態の動作を図３に示すフローチャートおよび図４に示す説明図を参照して説明する。なお、この実施形態による携帯電話機の電話機としての動作は従来のものと同様であるので説明を省略し、音声および楽曲再生装置の動作を以下に説明する。
【００１５】
ユーザが操作部４において楽曲番号を入力し、次いで楽曲再生を指示すると、プレイヤー２２が楽曲データファイル２１から、ユーザによって指示された楽曲データを読み出し、サウンドミドルウエア２３へロードする（図３のステップＳａ１）。サウンドミドルウエア２３は、ロードされた楽曲データに基づく楽曲再生処理をスタートする（ステップＳａ２）。まず、最初のイベントデータを読み込み（ステップＳａ３）、そのイベントデータがユーザイベントであるか否かを判断する（ステップＳａ４）。そして、ユーザイベントでなかった場合は、通常イベント（楽曲再生用イベント）であるか否かを判断する（ステップＳａ５）。そして、通常イベントであった場合は、そのイベントデータを音源１２の楽曲部１２ａへ送る（ステップＳａ６）。楽曲部１２ａはそのイベントデータに基づいて楽音信号を再生する（ステップＳａ７）。次に、サウンドミドルウエア２３は、楽曲データのデータエンドを検出したか否かを判断し（ステップＳａ８）、検出していない場合は再びステップＳａ３へ戻り、次のイベントの読み込みを行う。
【００１６】
以後、上述した過程を繰り返すことによって楽曲再生が行われる。その楽曲再生途中において、ユーザイベントが検出されると（ステップＳａ４の判断が「ＹＥＳ」）、サウンドミドルウエア２３がそのユーザイベントをプレイヤー２７へ送信する（ステップＳａ９）。プレイヤー２７は、ユーザイベントを受け、同イベントが指示するファイル番号の音声データファイル２６をサウンドミドルウエア２８にロードする（ステップＳａ１０）。サウンドミドルウエア２８は、音声再生処理をスタートし（ステップＳａ１１）、ロードされた音声データを順次音源１２の音声部１２ｂへ出力する。これにより、音声部１２ｂにおいて音声の再生が行われる（ステップＳａ１２）。
一方、サウンドミドルウエア２３は、ユーザイベントをプレイヤー２７へ出力した後、データエンドを検出したか否かを判断し（ステップＳａ８）、検出していない場合は再びステップＳａ３へ戻る。以下、上記の処理が繰り返される。
【００１７】
図４は、上述した過程を示す説明図であり、楽曲シーケンスの途中において、まず、ユーザイベント１が検出されると、同イベントに対応する音声データ１が再生され、次に、ユーザイベント２が検出されると、同イベントに対応する音声データ２が再生されることを示している。なお、ユーザイベントに基づいて再生される音声データファイルは、予めアプリケーションソフトによって選択され、選択されたファイルの番号が、ユーザによって楽曲データ中のユーザイベントに書き込まれる。ここで、アプリケーションソフトは予めＲＯＭ２内に設定されていてもよく、あるいは、ＪＡＶＡ（登録商標）によるものでもよい。
【００１８】
次に、上述した音声および楽曲再生装置の第１の応用例を説明する。
図５は同応用例の説明図であり、図６は動作を説明するためのフローチャートである。
この応用例においては、まず、アプリケーションが起動されると、質問音声データを音声部１２ｂへ出力して質問音声再生を行う（図５、図６のステップＳｂ１）。例えばクイズの場合は、Ｙｅｓ、Ｎｏ、Ａ、Ｂ、Ｃ・・・等、血液占いの場合は、Ａ、Ｂ、ＡＢ、Ｏ、星占いの場合は、蟹座、獅子座・・・等の質問音声を再生する。この質問に対し、ユーザが操作部４のテンキーによって回答を行うと（ステップＳｂ２）、アプリケーションがその回答を受信し（ステップＳｂ３）、受信した回答結果が指示する音声データファイル２６のファイル番号をユーザイベントに割り付ける（ステップＳｂ４）。次に、楽曲データの再生が行われる（ステップＳｂ５）。その再生途中において、ユーザイベントが検出されると、そのユーザイベントに上記の処理によって割り付けられた音声データが再生される。例えば、「今日の運勢は大吉でしょう」という言葉が楽音に合わせて発生する（図５）。
【００１９】
次に、上述した音声および楽曲再生装置の第２の応用例を説明する。
図７は同応用例の説明図であり、図８は動作を説明するためのフローチャートである。
この応用例においては、まず、アプリケーションが起動されると、歌詞入力を画面表示等にて要求する。この要求に応じて、ユーザが特定の楽曲（ユーザイベントが予め設定されている）を選択し、楽曲内の特定のタイミングにおけるオリジナル歌詞のテキストをテンキーによって入力する（図７，図８のステップＳｃ１）。アプリケーションは、入力された歌詞を音声データに変換し、音声データファイル２６としてＲＡＭ３内に登録する（ステップＳｃ２）。次に、アプリケーションは、その音声データファイルのファイル番号をユーザイベントに割り付ける（ステップＳｃ３）。なお、上述した歌詞の入力および割付けは１つではなく、複数入力し割り付けるようにしてもよい（Ａメロ、Ｂメロ、サビ等）。
【００２０】
次に、楽曲データの再生が行われる（ステップＳｃ４）。その再生途中において、ユーザイベントが検出されると、そのユーザイベントに上記の処理によって割り付けられた歌詞の音声データが再生される。例えば、「ハッピバースデイ、トンちゃん」という言葉が楽音に合わせて発生する（図７）。
【００２１】
なお、オリジナル歌詞に音程を付けて発音してもよい。その場合の音程および音長を割り付ける方法には、
(1)歌詞（テキスト）を登録する際に、予め決められている音程や音長を示すタグをテキストに付け、再生の際に音源ではそのタグに従って音程や音高を制御する、
(2)楽曲部シーケンス再生時に、ユーザイベント以後のメロディの音程や音高を抽出して、同時に歌詞（テキスト）をその音程や音長に制御して再生する、
等の方法がある。
また、上記第１、第２の応用例におけるアプリケーションは予めＲＯＭ２内に設定されていてもよく、あるいは、ＪＡＶＡ（登録商標）によるものでもよい。
【００２２】
次に、この発明の第２の実施形態について説明する。
図９は同実施形態による音声および楽曲再生装置の機能ブロック図であり、この図において、３１は本実施形態におけるＳＭＡＦ（Synthetic music Mobile Application Format）ファイルである。ここで、ＳＭＡＦとは携帯端末用マルチメディアコンテンツのデータフォーマット仕様のファイルであり、本実施形態においては、楽曲データと音声データが１つのファイルに書き込まれる。図１０に本実施形態のＳＭＡＦファイルの構成を示す。この図に示す各ｃｈｕｎｋ（データのかたまり）は次の通りである。
Contents Info Chunk：ＳＭＡＦファイルの各種管理用情報が格納される。
Score Track chunk：音源へ送り込む楽曲のシーケンス・トラックを格納する。
Sequence Data Chunk：実演奏データを格納する。
HV Data chunk：ＨＶ（音声）データＨＶ−１，ＨＶ−２・・・を格納する。
また、実演奏データのシーケンスには、「ＨＶ Ｎｏｔｅ ＯＮ」というイベントが記録され、このイベントによってHV Data chunkの各データの発音が指示される。なお、このイベントは第１の実施形態におけるユーザイベントに相当する。
【００２３】
３２は楽曲用再生のプレイヤー、３３は楽曲用のサウンドミドルウエア、３４は音声用のプレイヤー、３５は音声用のサウンドミドルウエアであり、これらの機能は図１のものと同様である。３６は音源デバイスであり、内部に楽曲を再生するためのシーケンサ３７、シーケンサから出力される音源制御データに基づいて楽音信号を形成する音源３８、音声再生用の音源３９が各々設けられている。そして、音源３８、３９において形成された楽音信号および音声信号が合成回路４０において合成され、スピーカ４１へ出力される。
【００２４】
次に、上記実施形態の動作を図１１、図１２を参照して説明する。
図１１は同実施形態の動作の説明図であり、図１２は動作を説明するためのフローチャートである。
ユーザによる楽曲再生指示があると、プレイヤー３２がＳＭＡＦファイル３１から、楽曲データを読み出し、サウンドミドルウエア３３へロードする（図１２のステップＳｄ１）。サウンドミドルウエア３３は、ロードされた楽曲データを音源制御データに変換し、シーケンサ３７へ出力する（楽曲再生スタート；ステップＳｄ２）。シーケンサ３７は、まず、供給された音源制御データから最初のイベントデータを読み込み（ステップＳｄ３）、そのイベントデータがＨＶ Ｎｏｔｅ ＯＮイベントであるか否かを判断する（ステップＳｄ４）。そして、ＨＶ Ｎｏｔｅ ＯＮイベントでなかった場合は、通常イベント（楽曲再生用イベント）であるか否かを判断する（ステップＳｄ５）。そして、通常イベントであった場合は、そのイベントデータを音源３８へ送る。音源３８はそのイベントデータに基づいて楽音信号を再生する（ステップＳｄ６）。次に、シーケンサ３７は、楽曲データのデータエンドを検出したか否かを判断し（ステップＳｄ７）、検出していない場合は再びステップＳｄ３へ戻り、次のイベントの読み込みを行う。
【００２５】
以後、上述した過程を繰り返すことによって楽曲再生が行われる。その楽曲再生途中において、ＨＶ Ｎｏｔｅ ＯＮイベントが検出されると（ステップＳｄ４の判断が「ＹＥＳ」）、シーケンサ３７がそのＨＶ Ｎｏｔｅ ＯＮイベントに割り付けられているＨＶデータを指定するＩＤをプレイヤー３４へ送信する（ステップＳｄ９）。プレイヤー３４は、そのＩＤが指示するＨＶデータをＳＭＡＦファイルから読み出し、サウンドミドルウエア３５にロードする（ステップＳｄ１０）。サウンドミドルウエア３５は、ＨＶデータを音源制御データ（音声を指定するためのパラメータ）に変換し、音源３９へ出力する。これにより、音源３９において音声の再生が行われる（ステップＳｄ１１）。
【００２６】
一方、シーケンサ３７は、ＨＶ Ｎｏｔｅ ＯＮイベントをプレイヤー３４へ出力した後、データエンドを検出したか否かを判断し（ステップＳｄ７）、検出していない場合は再びステップＳｄ３へ戻る。以下、上記の処理が繰り返される。図１１は、上述した過程を示す説明図であり、楽曲シーケンスの途中において、まず、ＨＶ Ｎｏｔｅ ＯＮイベント１が検出されると、同イベントに対応する音声データＨＶ−１が再生され、次に、ＨＶ Ｎｏｔｅ ＯＮイベント２が検出されると、同イベントに対応する音声データＨＶ−２が再生されることを示している。
【００２７】
この第２の実施形態によれば、前述した第１の実施形態と同様に、歌声やナレーションが挿入された楽曲を再生することが可能となる。
なお、ＳＭＡＦファイルはコンテンツメーカにおいて作成され、配信されるが、ユーザの携帯端末装置においてＳＭＡＦファイル中のデータを加工できる機能があれば、前述した応用例２と同様のことが可能である。
【００２８】
【発明の効果】
以上説明したように、この発明によれば、ユーザイベントを含む楽曲シーケンスデータファイルと、該ユーザイベントにより再生が指示される音声データファイルが定義されていて、それぞれのファイルが異なる再生手段によって処理されるようになっているので、音声シーケンスの編集、修正を簡単に行うことができる効果が得られる。また、音声シーケンスとして複数のパターンを用意する場合においても、音声データファイルのみ複数用意すればよく、データサイズの無駄も防ぐことができる効果がある。
【図面の簡単な説明】
【図１】この発明の第１の実施形態による音声および楽曲再生装置の機能ブロック図である。
【図２】同実施形態による音声および楽曲再生装置を適用した携帯電話機の構成を示すブロック図である。
【図３】同実施形態による音声および楽曲再生装置の動作を説明するためのフローチャートである。
【図４】同実施形態による音声および楽曲再生装置の動作を説明するための説明図である。
【図５】同実施形態による音声および楽曲再生装置の第１の応用例を説明するための説明図である。
【図６】同第１のの応用例を説明するためのフローチャートである。
【図７】同実施形態による音声および楽曲再生装置の第２の応用例を説明するための説明図である。
【図８】同第２の応用例を説明するためのフローチャートである。
【図９】この発明の第２の実施形態による音声および楽曲再生装置の機能ブロック図である。
【図１０】同実施形態におけるＳＭＡＦファイル３１の構成を示す図である。
【図１１】同実施形態の動作を説明するための説明図である。
【図１２】同実施形態の動作を説明するためのフローチャートである。
【図１３】従来の音声および楽曲再生装置の機能ブロック図である。
【符号の説明】
１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、１２…音源、１２ａ…楽曲部、１２ｂ…音声部、１３…スピーカ、２１…楽曲データファイル、２２、２７、３２、３４…プレイヤー、２３、２８、３３、３５…サウンドミドルウエア、２６…楽音データファイル、３６…音源デバイス、３７…シーケンサ、３８…音源、３９…音声用音源。
【発明の属する技術分野】
この発明は、楽曲シーケンス中の指定のタイミングにおいて特定の音声シーケンスを再生する音声および楽曲再生装置に関する。
【０００２】
【従来の技術】
近年、携帯電話機等の分野においては、楽曲に同期させて表示を行ったり、音声を再生することが行われる。特許文献１には、所定のタイミングで楽曲と音声を同期させて発音させる技術が開示されている。
【０００３】
【特許文献１】
特開２００２−１０１１９１号公報
【０００４】
また、従来、楽曲に同期させて音声を発生させる方法として、１つのシーケンスファイルに楽曲シーケンスと音声シーケンスの両方を定義し、そのファイルを再生することによって楽曲および音声を同期させて発生させる方法が知られている。図１３は、この場合の音声および楽曲再生装置の概略構成を示す図であり、音声付楽曲データファイル５１をプレイヤー５２がサウンドミドルウエア５３にロードし、サウンドミドルウエア５３がロードされたファイルを解釈して楽曲再生用の音源制御データおよび音声再生用の音源制御データを生成し、音源５４へ出力する。音源５４は楽曲用の音源および音声用の音源を有し、それぞれの音源によって再生した楽音信号および音声信号をミキシングしてスピーカ５５へ出力する。
【０００５】
【発明が解決しようとする課題】
ところで、上述した音声付楽曲データファイル中の音声シーケンスは、発音すべき音声の発音タイミングを示す時間情報を含んでおり、その時間情報によって楽曲シーケンスとの同期が可能となっている。従って、上述した音声および楽曲再生装置にあっては、ファイル作成において、あるいは、音声シーケンスの再生内容を変更する場合において、相方のシーケンスの時間情報を解釈して音声と楽曲の同期を確認しながら、編集や該当個所の修正しなければならず、このため、ファイルの編集、修正に手間が掛かる問題があった。また、再生音声のみが異なる複数の再生パターンが必要な場合は、それぞれの再生音声に対応して同一の楽曲シーケンスを用意しなければならず、データサイズの点で無駄が多い欠点がある。これは、特に、携帯電話機のように小型の機器においては大きな問題となる。
この発明は、このような事情を考慮してなされたもので、その目的は、音声シーケンスの編集、修正を簡単に行うことができ、また、データサイズの無駄も防ぐことができる音声および楽曲再生装置を提供することにある。
【０００６】
【課題を解決するための手段】
この発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、複数のイベントデータからなる楽曲シーケンスデータが記憶された第１の記憶手段と、複数の音声データファイルが記憶された第２の記憶手段と、前記第１の記憶手段から前記楽曲シーケンスデータの各イベントデータを順次読み出し、出力すると共に、前記楽曲シーケンスデータ中にユーザイベントデータがあった場合に、音声再生指示を出力する楽曲再生手段と、前記楽曲再生手段から出力されたイベントデータに基づいて楽音信号を生成する楽曲再生用音源と、前記楽曲再生手段から出力された音声再生指示を受け、前記第２の記憶手段から音声データファイルを読み出し、読み出した音声データファイル内の各音声データを順次出力する音声再生手段と、前記音声再生手段から出力された音声データに基づく音声信号を生成する音声再生用音源とを具備することを特徴とする音声および楽曲再生装置である。
【０００７】
請求項２に記載の発明は、請求項１に記載の音声および楽曲再生装置において、前記音声再生指示には、音声データファイルを特定するデータが含まれていることを特徴とする。
請求項３に記載の発明は、請求項１または請求項２に記載の音声および楽曲再生装置において、ユーザの指示に基づいて前記ユーザイベントデータに所望の前記音声データファイルを割り付ける割付手段を設けたことを特徴とする。
請求項４に記載の発明は、請求項１または請求項２に記載の音声および楽曲再生装置において、ユーザの指示に基づいて前記ユーザイベントデータに所望の前記音声データファイルを割り付けるためのプログラムを受信する受信手段と、前記受信手段によって受信されたプログラムを実行する実行手段とを具備することを特徴とする。
【０００８】
請求項５に記載の発明は、請求項１〜請求項４のいずれかの項に記載の音声および楽曲再生装置において、ユーザによって入力されたデータに基づいて音声データファイルを生成し、前記第２の記憶手段に書き込む音声データファイル生成手段を設けたことを特徴とする。
請求項６に記載の発明は、請求項１〜請求項４のいずれかの項に記載の音声および楽曲再生装置において、ユーザによって入力されたデータに基づいて音声データファイルを生成し、前記第２の記憶手段に書き込むプログラムを受信する受信手段と、前記受信手段によって受信されたプログラムを実行する実行手段とを具備することを特徴とする。
【０００９】
請求項７に記載の発明は、請求項１に記載の音声および楽曲再生装置において、前記第１、第２の記憶手段に代えて、前記楽曲シーケンスデータおよび前記楽音データファイルが共に記憶された第３の記憶手段を設けたことを特徴とする。請求項８に記載の発明は、音源を用いて楽曲と音声を再生させるためのシーケンスデータフォーマットであって、ユーザイベントを有する楽曲シーケンスデータを含むシーケンスデータチャンクと、複数の音声データを含む音声データチャンクを有し、前記ユーザイベントは、該ユーザイベントが生起するタイミングで再生するための音声データが前記複数の音声データから割り付けられていることを特徴とするシーケンスデータフォーマットである。
【００１０】
【発明の実施の形態】
以下、図面を参照し、この発明の一実施の形態について説明する。図１は同実施の形態による音声および楽曲再生装置の機能ブロック図、図２は音声および楽曲再生装置を適用した携帯電話機のハードウエア構成図である。図２において、符号１はＣＰＵ（中央処理装置）、２はＣＰＵ１のプログラムが記憶されたＲＯＭ（リードオンリメモリ）、３はデータ一時記憶用のＲＡＭ（ランダムアクセスメモリ）であり、不揮発性のメモリが使用されている。４はテンキー、ファンクションキーからなる操作部、５は液晶表示器による表示部である。６は通信部であり、アンテナ７を介して基地局との通信を行う。
【００１１】
８は音声処理部であり、通信部６から出力される圧縮音声データを伸張し、アナログ信号に変換してスピーカ９へ出力し、また、マイクロフォン１０からの音声信号をディジタル音声データに変換し、圧縮して通信部６へ出力する。１２は音源であり、楽曲再生用の楽曲部１２ａと音声再生用の音声部１２ｂが設けられている。この場合、楽曲部１２ａはＦＭ方式あるいはＰＣＭ方式によって楽音信号を生成する音源である。また、音声部１２ｂは波形重畳方式あるいはフォルマント合成方式によって音声を合成するものである。上記の楽曲部１２ａによって着信メロディが形成され、また、楽曲部１２ａおよび音声部１２ｂによって後に述べる音声付きの楽音再生が行われる。
【００１２】
次に、図１において、２１が楽曲データファイルであり、ＲＡＭ３内に記憶されている。この楽曲データファイル２１は、着信メロディに使用される楽曲データや鑑賞用の楽曲データ等が含まれており、各楽曲は例えばインターネットを介してダウンロードされる。楽曲データファイル２１は、楽曲部１２ａに対する発音指示等の制御内容を示すイベントデータとそのイベントの発生タイミングを示す時間データからなる。さらに、本発明の実施の形態では、所定の音声データをＲＡＭ３よりロードすることを指示するユーザイベントデータを含んでいる。ユーザイベントデータも前記の時間データによりその発生タイミングが決められている。プレイヤー２２はソフトウエアであり、楽曲データファイル２１内の楽曲データをサウンドミドルウエア２３にロードし、また、ユーザからの指示に応じて楽曲データファイル２１の制御を行う。サウンドミドルウエア２３はソフトウエアであり、プレイヤー２２から供給される楽曲データを音源制御データに変換し、時間データにしたがって順次音源１２（図２）の楽曲部１２ａへ出力する。楽曲部１２ａはその音源制御データを楽音信号に変換し、出力する。
【００１３】
音声データファイル２６は音声データが記録された複数のファイルであり、ＲＡＭ３内に記憶される。プレイヤー２７はサウンドミドルウエア２３から指示されたファイル番号の音声データファイル２６をサウンドミドルウエア２８にロードする。サウンドミドルウエア２８は、プレイヤー２７から供給された音声データファイルの各音声データを順次音源１２の音声部１２ｂへ出力する。音声部１２ｂはその音声データをアナログ音声信号に変換して出力する。音源１２の楽曲部１２ａおよび音声部１２ｂから出力された楽音信号および音声信号は、合成回路２９において合成され、スピーカ１３へ出力される。
【００１４】
次に、上記実施形態の動作を図３に示すフローチャートおよび図４に示す説明図を参照して説明する。なお、この実施形態による携帯電話機の電話機としての動作は従来のものと同様であるので説明を省略し、音声および楽曲再生装置の動作を以下に説明する。
【００１５】
ユーザが操作部４において楽曲番号を入力し、次いで楽曲再生を指示すると、プレイヤー２２が楽曲データファイル２１から、ユーザによって指示された楽曲データを読み出し、サウンドミドルウエア２３へロードする（図３のステップＳａ１）。サウンドミドルウエア２３は、ロードされた楽曲データに基づく楽曲再生処理をスタートする（ステップＳａ２）。まず、最初のイベントデータを読み込み（ステップＳａ３）、そのイベントデータがユーザイベントであるか否かを判断する（ステップＳａ４）。そして、ユーザイベントでなかった場合は、通常イベント（楽曲再生用イベント）であるか否かを判断する（ステップＳａ５）。そして、通常イベントであった場合は、そのイベントデータを音源１２の楽曲部１２ａへ送る（ステップＳａ６）。楽曲部１２ａはそのイベントデータに基づいて楽音信号を再生する（ステップＳａ７）。次に、サウンドミドルウエア２３は、楽曲データのデータエンドを検出したか否かを判断し（ステップＳａ８）、検出していない場合は再びステップＳａ３へ戻り、次のイベントの読み込みを行う。
【００１６】
以後、上述した過程を繰り返すことによって楽曲再生が行われる。その楽曲再生途中において、ユーザイベントが検出されると（ステップＳａ４の判断が「ＹＥＳ」）、サウンドミドルウエア２３がそのユーザイベントをプレイヤー２７へ送信する（ステップＳａ９）。プレイヤー２７は、ユーザイベントを受け、同イベントが指示するファイル番号の音声データファイル２６をサウンドミドルウエア２８にロードする（ステップＳａ１０）。サウンドミドルウエア２８は、音声再生処理をスタートし（ステップＳａ１１）、ロードされた音声データを順次音源１２の音声部１２ｂへ出力する。これにより、音声部１２ｂにおいて音声の再生が行われる（ステップＳａ１２）。
一方、サウンドミドルウエア２３は、ユーザイベントをプレイヤー２７へ出力した後、データエンドを検出したか否かを判断し（ステップＳａ８）、検出していない場合は再びステップＳａ３へ戻る。以下、上記の処理が繰り返される。
【００１７】
図４は、上述した過程を示す説明図であり、楽曲シーケンスの途中において、まず、ユーザイベント１が検出されると、同イベントに対応する音声データ１が再生され、次に、ユーザイベント２が検出されると、同イベントに対応する音声データ２が再生されることを示している。なお、ユーザイベントに基づいて再生される音声データファイルは、予めアプリケーションソフトによって選択され、選択されたファイルの番号が、ユーザによって楽曲データ中のユーザイベントに書き込まれる。ここで、アプリケーションソフトは予めＲＯＭ２内に設定されていてもよく、あるいは、ＪＡＶＡ（登録商標）によるものでもよい。
【００１８】
次に、上述した音声および楽曲再生装置の第１の応用例を説明する。
図５は同応用例の説明図であり、図６は動作を説明するためのフローチャートである。
この応用例においては、まず、アプリケーションが起動されると、質問音声データを音声部１２ｂへ出力して質問音声再生を行う（図５、図６のステップＳｂ１）。例えばクイズの場合は、Ｙｅｓ、Ｎｏ、Ａ、Ｂ、Ｃ・・・等、血液占いの場合は、Ａ、Ｂ、ＡＢ、Ｏ、星占いの場合は、蟹座、獅子座・・・等の質問音声を再生する。この質問に対し、ユーザが操作部４のテンキーによって回答を行うと（ステップＳｂ２）、アプリケーションがその回答を受信し（ステップＳｂ３）、受信した回答結果が指示する音声データファイル２６のファイル番号をユーザイベントに割り付ける（ステップＳｂ４）。次に、楽曲データの再生が行われる（ステップＳｂ５）。その再生途中において、ユーザイベントが検出されると、そのユーザイベントに上記の処理によって割り付けられた音声データが再生される。例えば、「今日の運勢は大吉でしょう」という言葉が楽音に合わせて発生する（図５）。
【００１９】
次に、上述した音声および楽曲再生装置の第２の応用例を説明する。
図７は同応用例の説明図であり、図８は動作を説明するためのフローチャートである。
この応用例においては、まず、アプリケーションが起動されると、歌詞入力を画面表示等にて要求する。この要求に応じて、ユーザが特定の楽曲（ユーザイベントが予め設定されている）を選択し、楽曲内の特定のタイミングにおけるオリジナル歌詞のテキストをテンキーによって入力する（図７，図８のステップＳｃ１）。アプリケーションは、入力された歌詞を音声データに変換し、音声データファイル２６としてＲＡＭ３内に登録する（ステップＳｃ２）。次に、アプリケーションは、その音声データファイルのファイル番号をユーザイベントに割り付ける（ステップＳｃ３）。なお、上述した歌詞の入力および割付けは１つではなく、複数入力し割り付けるようにしてもよい（Ａメロ、Ｂメロ、サビ等）。
【００２０】
次に、楽曲データの再生が行われる（ステップＳｃ４）。その再生途中において、ユーザイベントが検出されると、そのユーザイベントに上記の処理によって割り付けられた歌詞の音声データが再生される。例えば、「ハッピバースデイ、トンちゃん」という言葉が楽音に合わせて発生する（図７）。
【００２１】
なお、オリジナル歌詞に音程を付けて発音してもよい。その場合の音程および音長を割り付ける方法には、
(1)歌詞（テキスト）を登録する際に、予め決められている音程や音長を示すタグをテキストに付け、再生の際に音源ではそのタグに従って音程や音高を制御する、
(2)楽曲部シーケンス再生時に、ユーザイベント以後のメロディの音程や音高を抽出して、同時に歌詞（テキスト）をその音程や音長に制御して再生する、
等の方法がある。
また、上記第１、第２の応用例におけるアプリケーションは予めＲＯＭ２内に設定されていてもよく、あるいは、ＪＡＶＡ（登録商標）によるものでもよい。
【００２２】
次に、この発明の第２の実施形態について説明する。
図９は同実施形態による音声および楽曲再生装置の機能ブロック図であり、この図において、３１は本実施形態におけるＳＭＡＦ（Synthetic music Mobile Application Format）ファイルである。ここで、ＳＭＡＦとは携帯端末用マルチメディアコンテンツのデータフォーマット仕様のファイルであり、本実施形態においては、楽曲データと音声データが１つのファイルに書き込まれる。図１０に本実施形態のＳＭＡＦファイルの構成を示す。この図に示す各ｃｈｕｎｋ（データのかたまり）は次の通りである。
Contents Info Chunk：ＳＭＡＦファイルの各種管理用情報が格納される。
Score Track chunk：音源へ送り込む楽曲のシーケンス・トラックを格納する。
Sequence Data Chunk：実演奏データを格納する。
HV Data chunk：ＨＶ（音声）データＨＶ−１，ＨＶ−２・・・を格納する。
また、実演奏データのシーケンスには、「ＨＶ Ｎｏｔｅ ＯＮ」というイベントが記録され、このイベントによってHV Data chunkの各データの発音が指示される。なお、このイベントは第１の実施形態におけるユーザイベントに相当する。
【００２３】
３２は楽曲用再生のプレイヤー、３３は楽曲用のサウンドミドルウエア、３４は音声用のプレイヤー、３５は音声用のサウンドミドルウエアであり、これらの機能は図１のものと同様である。３６は音源デバイスであり、内部に楽曲を再生するためのシーケンサ３７、シーケンサから出力される音源制御データに基づいて楽音信号を形成する音源３８、音声再生用の音源３９が各々設けられている。そして、音源３８、３９において形成された楽音信号および音声信号が合成回路４０において合成され、スピーカ４１へ出力される。
【００２４】
次に、上記実施形態の動作を図１１、図１２を参照して説明する。
図１１は同実施形態の動作の説明図であり、図１２は動作を説明するためのフローチャートである。
ユーザによる楽曲再生指示があると、プレイヤー３２がＳＭＡＦファイル３１から、楽曲データを読み出し、サウンドミドルウエア３３へロードする（図１２のステップＳｄ１）。サウンドミドルウエア３３は、ロードされた楽曲データを音源制御データに変換し、シーケンサ３７へ出力する（楽曲再生スタート；ステップＳｄ２）。シーケンサ３７は、まず、供給された音源制御データから最初のイベントデータを読み込み（ステップＳｄ３）、そのイベントデータがＨＶ Ｎｏｔｅ ＯＮイベントであるか否かを判断する（ステップＳｄ４）。そして、ＨＶ Ｎｏｔｅ ＯＮイベントでなかった場合は、通常イベント（楽曲再生用イベント）であるか否かを判断する（ステップＳｄ５）。そして、通常イベントであった場合は、そのイベントデータを音源３８へ送る。音源３８はそのイベントデータに基づいて楽音信号を再生する（ステップＳｄ６）。次に、シーケンサ３７は、楽曲データのデータエンドを検出したか否かを判断し（ステップＳｄ７）、検出していない場合は再びステップＳｄ３へ戻り、次のイベントの読み込みを行う。
【００２５】
以後、上述した過程を繰り返すことによって楽曲再生が行われる。その楽曲再生途中において、ＨＶ Ｎｏｔｅ ＯＮイベントが検出されると（ステップＳｄ４の判断が「ＹＥＳ」）、シーケンサ３７がそのＨＶ Ｎｏｔｅ ＯＮイベントに割り付けられているＨＶデータを指定するＩＤをプレイヤー３４へ送信する（ステップＳｄ９）。プレイヤー３４は、そのＩＤが指示するＨＶデータをＳＭＡＦファイルから読み出し、サウンドミドルウエア３５にロードする（ステップＳｄ１０）。サウンドミドルウエア３５は、ＨＶデータを音源制御データ（音声を指定するためのパラメータ）に変換し、音源３９へ出力する。これにより、音源３９において音声の再生が行われる（ステップＳｄ１１）。
【００２６】
一方、シーケンサ３７は、ＨＶ Ｎｏｔｅ ＯＮイベントをプレイヤー３４へ出力した後、データエンドを検出したか否かを判断し（ステップＳｄ７）、検出していない場合は再びステップＳｄ３へ戻る。以下、上記の処理が繰り返される。図１１は、上述した過程を示す説明図であり、楽曲シーケンスの途中において、まず、ＨＶ Ｎｏｔｅ ＯＮイベント１が検出されると、同イベントに対応する音声データＨＶ−１が再生され、次に、ＨＶ Ｎｏｔｅ ＯＮイベント２が検出されると、同イベントに対応する音声データＨＶ−２が再生されることを示している。
【００２７】
この第２の実施形態によれば、前述した第１の実施形態と同様に、歌声やナレーションが挿入された楽曲を再生することが可能となる。
なお、ＳＭＡＦファイルはコンテンツメーカにおいて作成され、配信されるが、ユーザの携帯端末装置においてＳＭＡＦファイル中のデータを加工できる機能があれば、前述した応用例２と同様のことが可能である。
【００２８】
【発明の効果】
以上説明したように、この発明によれば、ユーザイベントを含む楽曲シーケンスデータファイルと、該ユーザイベントにより再生が指示される音声データファイルが定義されていて、それぞれのファイルが異なる再生手段によって処理されるようになっているので、音声シーケンスの編集、修正を簡単に行うことができる効果が得られる。また、音声シーケンスとして複数のパターンを用意する場合においても、音声データファイルのみ複数用意すればよく、データサイズの無駄も防ぐことができる効果がある。
【図面の簡単な説明】
【図１】この発明の第１の実施形態による音声および楽曲再生装置の機能ブロック図である。
【図２】同実施形態による音声および楽曲再生装置を適用した携帯電話機の構成を示すブロック図である。
【図３】同実施形態による音声および楽曲再生装置の動作を説明するためのフローチャートである。
【図４】同実施形態による音声および楽曲再生装置の動作を説明するための説明図である。
【図５】同実施形態による音声および楽曲再生装置の第１の応用例を説明するための説明図である。
【図６】同第１のの応用例を説明するためのフローチャートである。
【図７】同実施形態による音声および楽曲再生装置の第２の応用例を説明するための説明図である。
【図８】同第２の応用例を説明するためのフローチャートである。
【図９】この発明の第２の実施形態による音声および楽曲再生装置の機能ブロック図である。
【図１０】同実施形態におけるＳＭＡＦファイル３１の構成を示す図である。
【図１１】同実施形態の動作を説明するための説明図である。
【図１２】同実施形態の動作を説明するためのフローチャートである。
【図１３】従来の音声および楽曲再生装置の機能ブロック図である。
【符号の説明】
１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、１２…音源、１２ａ…楽曲部、１２ｂ…音声部、１３…スピーカ、２１…楽曲データファイル、２２、２７、３２、３４…プレイヤー、２３、２８、３３、３５…サウンドミドルウエア、２６…楽音データファイル、３６…音源デバイス、３７…シーケンサ、３８…音源、３９…音声用音源。
Claims (8)
- 複数のイベントデータからなる楽曲シーケンスデータが記憶された第１の記憶手段と、
複数の音声データファイルが記憶された第２の記憶手段と、
前記第１の記憶手段から前記楽曲シーケンスデータの各イベントデータを順次読み出し、出力すると共に、前記楽曲シーケンスデータ中にユーザイベントデータがあった場合に、音声再生指示を出力する楽曲再生手段と、
前記楽曲再生手段から出力されたイベントデータに基づいて楽音信号を生成する楽曲再生用音源と、
前記楽曲再生手段から出力された音声再生指示を受け、前記第２の記憶手段から音声データファイルを読み出し、読み出した音声データファイル内の各音声データを順次出力する音声再生手段と、
前記音声再生手段から出力された音声データに基づく音声信号を生成する音声再生用音源と、
を具備することを特徴とする音声および楽曲再生装置。 - 前記音声再生指示には、音声データファイルを特定するデータが含まれていることを特徴とする請求項１に記載の音声および楽曲再生装置。
- ユーザの指示に基づいて前記ユーザイベントデータに所望の前記音声データファイルを割り付ける割付手段を設けたことを特徴とする請求項１または請求項２に記載の音声および楽曲再生装置。
- ユーザの指示に基づいて前記ユーザイベントデータに所望の前記音声データファイルを割り付けるためのプログラムを受信する受信手段と、前記受信手段によって受信されたプログラムを実行する実行手段とを具備することを特徴とする請求項１または請求項２に記載の音声および楽曲再生装置。
- ユーザによって入力されたデータに基づいて音声データファイルを生成し、前記第２の記憶手段に書き込む音声データファイル生成手段を設けたことを特徴とする請求項１〜請求項４のいずれかの項に記載の音声および楽曲再生装置。
- ユーザによって入力されたデータに基づいて音声データファイルを生成し、前記第２の記憶手段に書き込むプログラムを受信する受信手段と、
前記受信手段によって受信されたプログラムを実行する実行手段とを具備することを特徴とする請求項１〜請求項４のいずれかの項に記載の音声および楽曲再生装置。 - 前記第１、第２の記憶手段に代えて、前記楽曲シーケンスデータおよび前記楽音データファイルが共に記憶された第３の記憶手段を設けたことを特徴とする請求項１に記載の音声および楽曲再生装置。
- 音源を用いて楽曲と音声を再生させるためのシーケンスデータフォーマットであって、
ユーザイベントを有する楽曲シーケンスデータを含むシーケンスデータチャンクと、複数の音声データを含む音声データチャンクを有し、
前記ユーザイベントは、該ユーザイベントが生起するタイミングで再生するための音声データが前記複数の音声データから割り付けられていることを特徴とするシーケンスデータフォーマット。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002371750A JP2004205605A (ja) | 2002-12-24 | 2002-12-24 | 音声および楽曲再生装置およびシーケンスデータフォーマット |
| US10/738,584 US7365260B2 (en) | 2002-12-24 | 2003-12-16 | Apparatus and method for reproducing voice in synchronism with music piece |
| KR1020030095266A KR100682443B1 (ko) | 2002-12-24 | 2003-12-23 | 음성 및 악곡 재생 장치 및 방법 |
| TW092136718A TWI250508B (en) | 2002-12-24 | 2003-12-24 | Voice/music piece reproduction apparatus and method |
| CNB2003101244039A CN100559459C (zh) | 2002-12-24 | 2003-12-24 | 随乐曲同步地再现语音的装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002371750A JP2004205605A (ja) | 2002-12-24 | 2002-12-24 | 音声および楽曲再生装置およびシーケンスデータフォーマット |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004205605A true JP2004205605A (ja) | 2004-07-22 |
Family
ID=32677206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002371750A Pending JP2004205605A (ja) | 2002-12-24 | 2002-12-24 | 音声および楽曲再生装置およびシーケンスデータフォーマット |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7365260B2 (ja) |
| JP (1) | JP2004205605A (ja) |
| KR (1) | KR100682443B1 (ja) |
| CN (1) | CN100559459C (ja) |
| TW (1) | TWI250508B (ja) |
Families Citing this family (168)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7176372B2 (en) * | 1999-10-19 | 2007-02-13 | Medialab Solutions Llc | Interactive digital music recorder and player |
| US9818386B2 (en) | 1999-10-19 | 2017-11-14 | Medialab Solutions Corp. | Interactive digital music recorder and player |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| JP3879402B2 (ja) * | 2000-12-28 | 2007-02-14 | ヤマハ株式会社 | 歌唱合成方法と装置及び記録媒体 |
| GB0500483D0 (en) * | 2005-01-11 | 2005-02-16 | Nokia Corp | Multi-party sessions in a communication system |
| US20060293089A1 (en) * | 2005-06-22 | 2006-12-28 | Magix Ag | System and method for automatic creation of digitally enhanced ringtones for cellphones |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| KR100658869B1 (ko) * | 2005-12-21 | 2006-12-15 | 엘지전자 주식회사 | 음악생성장치 및 그 운용방법 |
| WO2007091475A1 (ja) * | 2006-02-08 | 2007-08-16 | Nec Corporation | 音声合成装置、音声合成方法及びプログラム |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8396714B2 (en) * | 2008-09-29 | 2013-03-12 | Apple Inc. | Systems and methods for concatenation of words in text to speech synthesis |
| US8352268B2 (en) | 2008-09-29 | 2013-01-08 | Apple Inc. | Systems and methods for selective rate of speech and speech preferences for text to speech synthesis |
| US8712776B2 (en) | 2008-09-29 | 2014-04-29 | Apple Inc. | Systems and methods for selective text to speech synthesis |
| US8352272B2 (en) * | 2008-09-29 | 2013-01-08 | Apple Inc. | Systems and methods for text to speech synthesis |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US7977560B2 (en) * | 2008-12-29 | 2011-07-12 | International Business Machines Corporation | Automated generation of a song for process learning |
| US8380507B2 (en) | 2009-03-09 | 2013-02-19 | Apple Inc. | Systems and methods for determining the language to use for speech generated by a text to speech engine |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| WO2011089450A2 (en) | 2010-01-25 | 2011-07-28 | Andrew Peter Nelson Jerram | Apparatuses, methods and systems for a digital conversation management platform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US20110219940A1 (en) * | 2010-03-11 | 2011-09-15 | Hubin Jiang | System and method for generating custom songs |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US8682938B2 (en) * | 2012-02-16 | 2014-03-25 | Giftrapped, Llc | System and method for generating personalized songs |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9263060B2 (en) | 2012-08-21 | 2016-02-16 | Marian Mason Publishing Company, Llc | Artificial neural network based system for classification of the emotional content of digital music |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| EP3809407A1 (en) | 2013-02-07 | 2021-04-21 | Apple Inc. | Voice trigger for a digital assistant |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| AU2014233517B2 (en) | 2013-03-15 | 2017-05-25 | Apple Inc. | Training an at least partial voice command system |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| KR101922663B1 (ko) | 2013-06-09 | 2018-11-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| JP2016521948A (ja) | 2013-06-13 | 2016-07-25 | アップル インコーポレイテッド | 音声コマンドによって開始される緊急電話のためのシステム及び方法 |
| AU2014306221B2 (en) | 2013-08-06 | 2017-04-06 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| JP6399091B2 (ja) * | 2014-06-17 | 2018-10-03 | ヤマハ株式会社 | 文字に基づく音声生成のためのコントローラ及びシステム |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| JP6305275B2 (ja) * | 2014-08-21 | 2018-04-04 | 株式会社河合楽器製作所 | 電子楽器における音声アシスト装置及びプログラム |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9606986B2 (en) | 2014-09-29 | 2017-03-28 | Apple Inc. | Integrated word N-gram and class M-gram language models |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4731847A (en) * | 1982-04-26 | 1988-03-15 | Texas Instruments Incorporated | Electronic apparatus for simulating singing of song |
| JPS62137082A (ja) | 1985-12-11 | 1987-06-19 | 諸木 一義 | 座敷船及び水上座敷 |
| JPH0652034B2 (ja) | 1986-02-19 | 1994-07-06 | 旭化成工業株式会社 | 自動掘削機 |
| JPH05341793A (ja) * | 1991-04-19 | 1993-12-24 | Pioneer Electron Corp | カラオケ演奏装置 |
| JP3507090B2 (ja) * | 1992-12-25 | 2004-03-15 | キヤノン株式会社 | 音声処理装置及びその方法 |
| US5703311A (en) * | 1995-08-03 | 1997-12-30 | Yamaha Corporation | Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques |
| US6304846B1 (en) * | 1997-10-22 | 2001-10-16 | Texas Instruments Incorporated | Singing voice synthesis |
| EP0999538A1 (en) * | 1998-02-09 | 2000-05-10 | Sony Corporation | Method and apparatus for digital signal processing, method and apparatus for generating control data, and medium for recording program |
| JP2000105595A (ja) * | 1998-09-30 | 2000-04-11 | Victor Co Of Japan Ltd | 歌唱装置及び記録媒体 |
| US6327590B1 (en) | 1999-05-05 | 2001-12-04 | Xerox Corporation | System and method for collaborative ranking of search results employing user and group profiles derived from document collection content analysis |
| US6459774B1 (en) * | 1999-05-25 | 2002-10-01 | Lucent Technologies Inc. | Structured voicemail messages |
| US6321179B1 (en) | 1999-06-29 | 2001-11-20 | Xerox Corporation | System and method for using noisy collaborative filtering to rank and present items |
| US6694297B2 (en) * | 2000-03-30 | 2004-02-17 | Fujitsu Limited | Text information read-out device and music/voice reproduction device incorporating the same |
| DE60133660T2 (de) | 2000-09-25 | 2009-05-28 | Yamaha Corp., Hamamatsu | Mobiles endgerät |
| US6928410B1 (en) * | 2000-11-06 | 2005-08-09 | Nokia Mobile Phones Ltd. | Method and apparatus for musical modification of speech signal |
| US7058889B2 (en) * | 2001-03-23 | 2006-06-06 | Koninklijke Philips Electronics N.V. | Synchronizing text/visual information with audio playback |
| JP2002311967A (ja) | 2001-04-13 | 2002-10-25 | Casio Comput Co Ltd | 替え歌作成装置及び替え歌作成プログラム及び替え歌作成方法 |
| JP2002334261A (ja) | 2001-05-09 | 2002-11-22 | Noiman:Kk | 情報提供方法及び情報記録媒体並びに教習所紹介システム |
| US20030200858A1 (en) * | 2002-04-29 | 2003-10-30 | Jianlei Xie | Mixing MP3 audio and T T P for enhanced E-book application |
| US7299182B2 (en) * | 2002-05-09 | 2007-11-20 | Thomson Licensing | Text-to-speech (TTS) for hand-held devices |
-
2002
- 2002-12-24 JP JP2002371750A patent/JP2004205605A/ja active Pending
-
2003
- 2003-12-16 US US10/738,584 patent/US7365260B2/en not_active Expired - Fee Related
- 2003-12-23 KR KR1020030095266A patent/KR100682443B1/ko not_active IP Right Cessation
- 2003-12-24 TW TW092136718A patent/TWI250508B/zh not_active IP Right Cessation
- 2003-12-24 CN CNB2003101244039A patent/CN100559459C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| TW200426778A (en) | 2004-12-01 |
| KR20040058034A (ko) | 2004-07-03 |
| CN100559459C (zh) | 2009-11-11 |
| KR100682443B1 (ko) | 2007-02-15 |
| US7365260B2 (en) | 2008-04-29 |
| US20040133425A1 (en) | 2004-07-08 |
| TWI250508B (en) | 2006-03-01 |
| CN1510659A (zh) | 2004-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004205605A (ja) | 音声および楽曲再生装置およびシーケンスデータフォーマット | |
| KR100832958B1 (ko) | 휴대용 단말장치 | |
| JP4174940B2 (ja) | カラオケ装置 | |
| KR100619826B1 (ko) | 이동 통신 단말기의 음악 및 음성 합성 장치와 방법 | |
| JP4012682B2 (ja) | 音源システム | |
| JP2002152329A (ja) | 携帯端末装置 | |
| JP2001195068A (ja) | 携帯用端末装置、楽音情報利用システム及び基地局 | |
| JP3646703B2 (ja) | 音声メロディ楽曲生成装置およびそれを用いた携帯端末装置 | |
| KR20060050071A (ko) | 악곡 데이터 편집 재생 장치 및 휴대 정보 단말기 | |
| JP3900330B2 (ja) | 携帯用端末装置 | |
| JP2005107285A (ja) | 楽曲再生装置 | |
| JP2001211235A (ja) | 携帯電話機 | |
| JP3795495B2 (ja) | 音源装置 | |
| KR100862126B1 (ko) | 휴대 통신 단말 | |
| JP3675361B2 (ja) | 通信端末 | |
| JP4012587B2 (ja) | カラオケ装置 | |
| KR20080080013A (ko) | 휴대 단말 장치 | |
| JP4153453B2 (ja) | 音楽再生装置 | |
| JP2007079413A (ja) | オーディオ再生装置、オーディオ配信システム、オーディオ再生プログラムおよびオーサリングプログラム | |
| JP2010066739A (ja) | 音程変換装置 | |
| TW200427297A (en) | Speech and music reproduction apparatus | |
| JPH04136998A (ja) | 電子音楽再生装置 | |
| JP2008191292A (ja) | 音声合成方法、プログラム及び音声合成装置並びに音楽音声再生装置 | |
| JP2004166290A (ja) | 携帯用端末装置 | |
| JP2009145382A (ja) | 携帯端末機及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040521 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061212 |