JP2000105595A - 歌唱装置及び記録媒体 - Google Patents

歌唱装置及び記録媒体

Info

Publication number
JP2000105595A
JP2000105595A JP10277120A JP27712098A JP2000105595A JP 2000105595 A JP2000105595 A JP 2000105595A JP 10277120 A JP10277120 A JP 10277120A JP 27712098 A JP27712098 A JP 27712098A JP 2000105595 A JP2000105595 A JP 2000105595A
Authority
JP
Japan
Prior art keywords
information
singing
syllable
data
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10277120A
Other languages
English (en)
Inventor
Kazuo Hikawa
和生 飛河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP10277120A priority Critical patent/JP2000105595A/ja
Priority to US09/374,115 priority patent/US6424944B1/en
Publication of JP2000105595A publication Critical patent/JP2000105595A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 任意のテキストファイルを自動的にメロディ
にのせて歌にしてしまう歌唱装置がなかった。 【解決手段】 供給されるテキストデータはテキスト解
析部４によってその音節データに変換され、供給される
テキストデータと共にメロディ生成部６に出力される。
また、音楽生成用ＳＭＦ２ａもメロディ生成部６に出力
される。そして、音節データは音楽生成用ＳＭＦ２ａの
メロディーに割り当てられてシーケンサ部８に出力さ
れ、ソフトシンセ１２によって、音節データを音声に変
換して音程を変化させながらサウンド出力部１４から出
力する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、入力される文字な
どのテキストデータをメロディ音楽に合わせて読み上げ
る歌唱装置に関するものである。
【０００２】
【従来の技術】従来から音声合成装置として知られてい
る各種音声読み上げ装置は、入力されるテキストデータ
を元に自然な形で読み上げるために、人間と同じイント
ネーションで発音するよう工夫が成されている。
【０００３】また、従来の歌を歌唱する音声合成装置
は、あらかじめメロディラインに音節データを手動で編
集して貼り付けておき、その後でメロディラインに合わ
せた発音を行わせることにより、機械的に歌唱させるも
のであった。
【０００４】
【発明が解決しようとする課題】従来の人工的に歌を歌
わせる装置は、人手を介して音節データとメロディとを
貼り付けていたので、実際に歌わせるまでに時間と手間
が掛かっていた。そして、任意のテキストデータを任意
のメロディに貼り付ける場合には、発音させたい文字が
余ってしまったり、メロディが余ってしまうことが頻繁
に生じるので、実際には、曲と歌詞が対応している歌を
歌わせることしかできなかった。
【０００５】そこで本発明は、任意のテキストファイル
を自動的にメロディにのせて歌にしてしまう歌唱装置を
提供することを目的とする。すなわち、読み上げる音声
(ボーカル)は、バックに流れる音楽に合わせて、音程や
リズムがついた状態で読み上げる歌唱装置を提供する。
そして、その際のバック音楽の内容も任意に選択するこ
とができるようにする。
【０００６】
【課題を解決するための手段】例えば、音楽の一つのジ
ャンルにラップ（Ｒａｐ）がある。これは歌詞を演奏に
合わせて、リズミカルにのせるものである。この場合、
歌そのものは音程があり、ただ単にテキストを棒読みす
るものとは異なっている。また、ラップに限らず、他の
ジャンルの歌であっても、歌詞を演奏に合わせてリズミ
カルにのせることにより、歌にすることができる。本願
はこの点に着目し、入力されたテキストファイルを用い
てラップやその他のメロディを生成し、このメロディに
合わせて発音させることにより音楽に合わせて歌うよう
にした歌唱装置を提供するものである。そして、その際
に、背景音楽に楽器による演奏をミックスすることによ
り、よりいっそう効果的な歌唱装置を実現することがで
きる。
【０００７】このような歌唱装置を実現するために、本
発明の歌唱装置は図７に示すように以下のような構成を
備えている。
【０００８】１．テキストデータ４１を音節情報４５に
変換する音節変換手段４２と、歌唱音程情報４８を出力
する歌唱音程情報出力手段４７と、前記音節変換手段４
２にて変換された音節情報４５を前記歌唱音程情報出力
手段４７から供給される前記歌唱音程情報４８に自動的
に割り当てる割当て手段４６と、前記割当て手段４６に
よって割り当てられた前記音節情報５０を音声５２に変
換して出力する出力手段５１とを有し、前記出力手段５
１は、前記音節情報５０をこの音節情報５０に対応する
前記歌唱音程情報４８に合わせて音程を変化させながら
発音することを特徴とする歌唱装置。
【０００９】２．前記割当て手段４６は、前記音節情報
４５の音節数に応じて割り当てる前記歌唱音程情報４８
に基づく演奏時間を可変させることにより、前記歌唱音
程情報４８に合わせた割り当てを行うことを特徴とする
請求項１記載の歌唱装置。
【００１０】３．前記割当て手段４６は、前記歌唱音程
情報４８に含まれるメロディの音符の数を前記音節情報
４５の音節数に応じて可変させることにより、前記歌唱
音程情報４８に合わせた割り当てを行うことを特徴とす
る請求項１記載の歌唱装置。
【００１１】４．前記割当て手段４６は、前記歌唱音程
情報４８に含まれる複数のメロディから選択することに
より、前記歌唱音程情報４８に合わせた割り当てを行う
ことを特徴とする請求項１記載の歌唱装置。
【００１２】５．前記音節変換手段４２は前記音節情報
４５を適当な音節数に分割する分割手段４４を有し、前
記割当て手段４６は分割された音節情報４５を前記歌唱
音程情報４８に割り当てることを特徴とする請求項１、
請求項２、請求項３または請求項４記載の歌唱装置。
【００１３】６．歌唱に合わせた伴奏を行うための伴奏
情報４９を出力する伴奏情報出力手段４３を有し、前記
出力手段５１は、前記音節情報５０をこの音節情報５０
に対応する前記歌唱音程情報４８に合わせて音程を変化
させながら発音すると共に、前記伴奏情報４９を前記音
節情報４８に同期させて再生することを特徴とする請求
項１、請求項２、請求項３、請求項４または請求項５記
載の歌唱装置。
【００１４】７．前記歌唱音程情報４８と前記伴奏情報
４９とを含んだ複数種類の演奏情報を蓄積する演奏情報
蓄積手段を有することを特徴とする請求項６記載の歌唱
装置。
【００１５】８．前記伴奏情報出力手段４３は、前記演
奏情報蓄積手段に蓄積されている複数種類の演奏情報か
ら選択された演奏情報に含まれる伴奏情報を出力するこ
とを特徴とする請求項７記載の歌唱装置。
【００１６】９．供給されるテキストデータ４１を音節
情報４５に変換し、所望の歌唱音程情報４８に前記音節
情報４５を割り当てて、前記歌唱音程情報４８のメロデ
ィラインに合わせて音程を変化させながら発音させる歌
唱プログラムが記録されていることを特徴とする記録媒
体。
【００１７】１０．バックグランド音楽として再生する
伴奏情報４９と、音節情報４５に割り当てて歌わせるた
め歌唱音程情報４８とを含む演奏情報が記録されている
ことを特徴とする記録媒体。
【００１８】
【発明の実施の形態】本発明の歌唱装置の代表的な構成
例を図７に示す。同図において、テキストデータ４１は
音節変換手段４２に供給されて音節情報４５に変換さ
れ、割り当て手段４６に出力する。また、歌唱音程情報
出力手段４７は歌唱音程情報４８を割り当て手段４６に
出力する。この割当て手段４６は、音節変換手段４２に
て変換された音節情報４５を歌唱音程情報出力手段４７
から供給される歌唱音程情報４８に自動的に割り当て
て、割り当てられた音節情報５０を出力手段５１に出力
する。出力手段５１は、割当て手段４６によって割り当
てられた音節情報５０をこの音節情報５０に対応する歌
唱音程情報４８に合わせて音程を変化させながら発音す
る音声５２に変換して出力する。このような構成にする
ことにより、テキストデータ４１を歌詞として歌わせる
ことができる。
【００１９】そして、割当て手段４６は、音節情報４５
の音節数に応じて割り当てる歌唱音程情報４８に基づく
演奏時間を可変させることにより、歌唱音程情報４８に
合わせた割り当てを行うようにしても良いし、歌唱音程
情報４８に含まれるメロディの音符の数を音節情報４５
の音節数に応じて可変させることにより、歌唱音程情報
４８に合わせた割り当てを行うようにしても良い。さら
には、歌唱音程情報出力手段４７に含まれる複数のメロ
ディから選択することにより、割り当てを行うようにし
ても良い。
【００２０】また、音節変換手段４２内もしくはその後
段に、音節情報４５を適当な音節数に分割する分割手段
４４を設けて、分割された音節情報４５を歌唱音程情報
４８に割り当てるようにしても良い。
【００２１】そして、歌唱に合わせた伴奏を行うための
伴奏情報４９を出力する伴奏情報出力手段４３を設け
て、出力手段５１からは、音節情報４５をこの音節情報
４５に対応する歌唱音程情報４８に合わせて音程を変化
させながら発音すると共に、伴奏情報４９を音節情報４
５に同期させて再生することにより、伴奏付きで歌わせ
ることができる。
【００２２】さらに、歌唱音程情報４８と伴奏情報４９
とを含んだ複数種類の演奏情報を蓄積する演奏情報蓄積
手段（図示せず）を備えておき、そこから歌唱音程情報
４８と伴奏情報４９とを出力するようにしても良い。そ
して、この場合、伴奏情報出力手段４３は、演奏情報蓄
積手段に蓄積されている複数種類の演奏情報から選択さ
れた演奏情報に含まれる伴奏情報を出力する。なお、歌
唱音程情報出力手段４７と伴奏情報出力手段４３とを合
わせたものをこの演奏情報蓄積手段としても良い。
【００２３】そして、本発明の歌唱装置は、パソコンな
どで構成しても良く、そのパソコンで動かすアプリケー
ションソフトとして、供給されるテキストデータを音節
情報に変換し、所望の歌唱音程情報に音節情報を割り当
てて、歌唱音程情報のメロディラインに合わせて音程を
変化させながら発音させる歌唱プログラムが記録されて
いる記録媒体を提供することにより、実現しても良い。
【００２４】さらに、演奏情報の供給手段（または演奏
情報蓄積手段）を、バックグランド音楽として再生する
伴奏情報と、音節情報に割り当てて歌わせるため歌唱音
程情報とを含む演奏情報が記録されている記録媒体を提
供することにより、実現しても良い。
【００２５】以下、本発明の歌唱装置の一実施の形態を
図面と共に説明する。図１は歌唱装置の一実施例の概略
構成を示すブロック図であり、その基幹部分が点線で囲
まれている。そして、図７に示す構成例に対応する構成
部分には、カッコ内にその部品名と符号を付しておく。
【００２６】同図において、テキストファイル１ａ、ワ
ープロ文書ファイル１ｂ、メールテキストファイル１ｃ
は、歌唱する歌詞として入力されるデータであり、各種
ワープロやワープロソフトで作成されたデータや電子メ
ールとして受け取った文字データ、クリップボード上の
データなど、各種ファイル形式や各種文字コード形式
（Shft#JIS, UNICODE, EUC等）のデータ（テキストデ
ータ４１）が、ファイル形式変換部３（音節変換手段４
２，分割手段４４）に入力される。
【００２７】ファイル形式変換部３は、いろいろなファ
イル形式や各種文字コード形式で入力される文字データ
１ａ，１ｂ，１ｃをテキスト解析部４で解析を行うため
の所定のデータ形式に変換してテキスト解析部４に出力
する。テキスト解析部４は、ファイル形式変換部３から
供給される漢字仮名混じり（英字や記号も含む）の文字
データのファイルに含まれる各文字を解析して、文節ご
とに（例えば「」などで）区切る。そして、読み変換テ
ーブル５を参照しながら漢字や記号を送り仮名を考慮し
て最適な読み仮名に変換して、ひらがな、カタカナ、ロ
ーマ字もしくは発音記号などから選ばれた一種類の読み
仮名と文節ごとの区切り記号からなる音節データファイ
ル（句読点などの文章や一定の区切りを示すコードや発
音時に用いる強調や弱い発音などの記号を含めても良
い）を作成して、漢字仮名混じりの文字データのファイ
ルと共にファイル形式変換部３に出力する。
【００２８】なお、読み変換テーブル５は、漢字とその
漢字の読み仮名をテーブルとして有しており、さらに記
号などの読み仮名（例えば、「％」の読み仮名は「パー
セント」）も対応させて格納している。また、漢字の読
みについては、送り仮名も含めた文章解析や文章の前後
関係を考慮した意味解析を行うなどして最適な読み仮名
を出力するようにしても良い。
【００２９】そして、漢字仮名混じりの文字データファ
イルと音節データファイル（音節情報４５）の音節との
相対的な位置関係を文字データファイルの先頭からのバ
イト数で表記する色変わり位置情報ファイルも作成す
る。この色変わり位置情報ファイルは音節データファイ
ルの先頭からの音節ごとに、それが文字データファイル
の何バイト目に相当するかを記述している。
【００３０】この漢字仮名混じりの文字データファイル
と音節データファイルと色変わり位置情報ファイルは、
ファイル形式変換部３からメロディ生成部６（割り当て
手段４６）に出力される。また、音楽生成用ＳＭＦ（St
andard MIDI File）記憶部２（伴奏情報出力手段４３，
歌唱音程情報出力手段４７）に記憶されている図２に示
すような複数種類（ラップやヒップホップなどの複数ジ
ャンル）の音楽の演奏情報（バックミュージックの再生
やボーカルとして読み仮名を発音させるためのＭＩＤＩ
データ）である音楽生成用ＳＭＦ２ａから任意もしくは
使用者によって選択された音楽生成用ＳＭＦ２ａをメロ
ディ生成部６に出力する。なお、ここでは演奏情報とし
てＭＩＤＩを用いているが、音楽の演奏情報を表すコー
ド及びその形式記述ファイルであれば、他のものを用い
ても良い。
【００３１】メロディ生成部６は、まず入力された音節
データから曲全体の構成を決定する。すなわち、入力さ
れた音楽生成用ＳＭＦ２ａをＳＭＦ解析部７へ供給して
ＳＭＦの内容を解析させて、その結果を受け取る。音楽
生成用ＳＭＦ２ａは、例えば、図３に示すようなバッキ
ング演奏データ(セット用アップデータ２１、イントロ
用データ２２、Ａメロ用バッキングパターンデータ２
３、Ｂメロ用バッキングパターンデータ２４、エンディ
ング用データ２５)（伴奏情報４９）と、メロディデー
タ（セットアップ用データ２６、複数種類のＡメロ用パ
ターンデータ２７、セットアップ用データ２８、複数種
類のＢメロ用パターンデータ２９）（歌唱音程情報４
８）とで構成される。メロディデータには、複数のメロ
ディラインが様々なバリエーションをもった演奏データ
として複数のＭＩＤＩチャンネルに各々記述され、再生
状況に応じて使い分けが行われる。
【００３２】また、ＳＭＦのヘッダチャンクに続く先頭
トラックをコンダクター・トラックとする（図示せ
ず）。このコンダクター・トラックは楽曲のテンポなど
を管理する情報で、音楽生成用ＳＭＦ２ａ内に必ず一つ
存在するトラックで、Meta Eventのみで構成される。
【００３３】そして、コンダクター・トラックの先頭
（Δｔ=0）には、ＳＭＦのSequence/Track Name Meta E
vent（Text Meta Eventは不可）を用いて、音楽生成用
ＳＭＦ２ａのファイル名がテキスト形式で記述される。
また、これに続いて（Δｔ=0）、対象音源グループコー
ドをＳＭＦのText Meta Eventを用いて記述する。この
記述形式の例を以下に示す。
【００３４】（Δｔ=0）Sequence/Track Name Meta Eve
nt="ファイル名.拡張子" （Δｔ=0）Text Meta Event="対象音源グループコード"
【００３５】さらに、具体的な例として、例えばHIPHO
P.RAP（ヒップホップ用の音楽生成用ＳＭＦ）の場合を
示す。 (Δｔ=0) Sequence/Track Name Meta Event="HIPHOP.R
AP" (Δｔ=0) Text Meta Event=GM (ただし、GMはGeneralMidiの略)
【００３６】ここで、図１に戻って説明を続けると、メ
ロディ生成部６には、ファイル形式変換部３から文字デ
ータファイル、音節データファイル、色変わり位置情報
ファイル及び音楽作成用ＳＭＦ２ａが入力される。音楽
作成用ＳＭＦ２ａに記述された音楽としては、イントロ
（Intro）に続いて、２種類のメロディ（Ａメロ、Ｂメ
ロ）の組み合わせを行い、最後にエンディング（Endin
g）がくるものを演奏するものとすると、イントロとエ
ンディングに挟まれたＡメロとＢメロの部分に全てのテ
キストをうまく当てはめるために、入力される音節デー
タファイルの総音節数等に応じて演奏する曲時間を調整
（ＡメロとＢメロの挿入数と組み合わせを決定）する。
【００３７】そして、図３に示すように、音楽作成用Ｓ
ＭＦ２ａのＡメロディパターン２７及びＢメロディパタ
ーン２９には、それぞれ最大１６通りのバリエーション
パターンが１６のＭＩＤＩチャンネルに分けられて時間
軸上で並列するように記録されている。また、Ａメロデ
ィパターン２７及びＢメロディパターン２９の各チャン
ネルごとの総音符数も記録されている。例えば、Ａメロ
ディパターン２７のチャンネル１（ｃｈ１）＝３１，ｃ
ｈ２＝２３，ｃｈ３＝４３，…などのような総音符数の
データが、例えばＳＭＦフォーマットのテキストメタイ
ベントなどを用いて音楽作成用ＳＭＦ２ａに記述されて
いる。
【００３８】メロディ生成部６は、音楽作成用ＳＭＦ２
ａが入力されると、Ａメロディパターン２７及びＢメロ
ディパターン２９の各チャンネルのある固定の組合わせ
を循環させながら、各メロディパターンが選択されるた
びにバリエーションパターンを適宜選択していく。循環
する組合せは、例えば、Ａ−Ｂ−Ａ−Ｂ…とか、ＡＡ−
ＢＢ−ＡＡ−ＢＢ…などのような固定の組合わせとす
る。ここで、Ａ−Ｂ−Ａ−Ｂ…という組み合わせが選択
されたとすると、最初にＡメロディパターン２７の各チ
ャンネルにあるバリエーションパターンから任意の一つ
を選択し、その音符数を取り出す。選択するバリエーシ
ョンパタンはランダムでも良いし、チャンネルの若い順
でも、ある一定の法則に従っても良い。次に、Ｂメロデ
ィパターン２９の各チャンネルにあるバリエーションパ
ターンから任意の一つを選択し、その音符数を取り出
す。選択するバリエーションパタンは、Ａメロディパタ
ーン２７と同様、ランダムでも良いし、チャンネルの若
い順でも、ある一定の法則に従っても良い。
【００３９】その後、再びＡメロディパターン２７に戻
り、同様にしてＡメロディパターン２７の各チャンネル
にあるバリエーションパターンから任意の一つを選択
し、その音符数を取り出す。これを順次繰り返して、総
音符数が音節データファイルの音節数を超えた時点で終
了する。その結果、例えば、（Ａ−Ｂ）の組合わせが３
回繰り返され、次のＡメロディパターン２７の途中で総
音符数が音節データファイルの音節数を超えたとする
と、曲の構成は、イントロ−Ａ−Ｂ−Ａ−Ｂ−Ａ−Ｂ−
Ａ−エンディングと決定される。このとき、Ａメロディ
パターン２７からエンディングに移ると音楽的に違和感
が生じると予想される曲の場合には、最後に（Ａ−Ｂ）
の組合わせが来るようにしてから終了しても良い。この
場合の曲の構成は、イントロ−Ａ−Ｂ−Ａ−Ｂ−Ａ−Ｂ
−Ａ−Ｂ−エンディングと決定される。
【００４０】なお、音節データファイルの音節数の中
に、息継ぎに相当する休むべき時間を無発音の音節とし
て入れておき、総音節数に含めておくとより好適であ
る。例えば、句読点などは通常音節として数えないが、
句読点があったときに句点を２個の音節、読点を１個の
音節などの無発音の音節を与えておくことにより、歌唱
時に少し間があくようにする。さらに、前述した文節ご
との区切り（例えば、「」など）を利用して文節ごとに
無発音の音節を入れたり、あるいは各文節の先頭の音節
にアクセントを付けるなどを行っても良い。このことに
より、歌唱された文章の内容が認識しやすくなる。
【００４１】また、メロディパターンに含まれる音符数
が音節数に比べて少なかったり多かったりした場合など
では、音符をところどころで追加したり、メロディライ
ンの音符を間引くなどして音符を音節数に合わせるよう
にしても良い。そして、音節数がメロディラインの音符
数を越えないようにしているが、少し越えてしまう場合
には一つの音符で２音節を歌わせるなどの工夫をして合
わせても良い。
【００４２】さらに、テキストには含まれないお囃子用
音声、かけ声などを随時発音させるようにしても良い。
そして、歌唱の際の声の種類(男性、女性、犬など)を切
り替えるように、音色切り替えを行っても良い。
【００４３】このようにして、演奏曲の全体構成及び演
奏パターンを決定することができる。そして、ボーカル
として発音するためにメロディデータの音符単位に割り
当てられた音節データは、ＭＩＤＩメッセージ（本実施
例の場合は後述するＮＲＰＮメッセージ）に変換され
る。
【００４４】このＮＲＰＮの具体的数値について、下記
に基づいて簡単に説明すると、Ｂｎはコントロールチェ
ンジと呼ばれ制御信号として用いるメッセージを送信す
ることを表し、６３は次のデータがＮＲＰＮを指定する
データのうちのＭＳＢであることを示す記号、Ｈは６３
が１６進数表示であることを示す記号、６２は次のデー
タがＮＲＰＮを指定するデータのうちのＬＳＢであるこ
とを示す記号である。
【００４５】NRPNとして用いる番号: データ形式=Bn63H<MSB>Bn62H<LSB> MSB(CC#=99)=60H LSB(CC#=98)=00H
【００４６】このメッセージにより、この後に続くＮＲ
ＰＮのデータエントリが「発音」であることが表わされ
ており、続いて来るＮＲＰＮのデータエントリのＭＳＢ
とＬＳＢの組合わせにより音節が指定される。例えば
「あ」であれば、送られてくるメッセージは、“Bn63H6
0H62HBn06H00H26H00H"となる。このように発音内容を示
すＮＲＰＮのデータエントリの具体的な例は図４に示す
通りである。
【００４７】また、メロディ生成部６は、表示装置１７
に表示するキャラクタの表示制御を行うために、音楽に
合わせたキャラクタのダンス、テキストに合わせたキャ
ラクタの口の動きなどのデータも生成するが、キャラク
タの動きに関するデータはあらかじめ決められたパター
ンをＭＩＤＩメッセージの形式やメタイベントの形式な
どを用いて音楽生成用ＳＭＦ２ａに記述しておいても良
い。
【００４８】そして、ＮＲＰＮとして変換された音節指
定データ、歌唱生成用のメロディデータ、バックグラン
ド演奏用のデータ及びキャラクタの動きに関するデータ
は、シーケンステーブルとしてシーケンサ部８に出力さ
れる。なお、色変わり位置情報ファイルと漢字仮名混じ
りの文字データファイルは、演奏部分表示制御部１５に
出力される。
【００４９】ここで出力されるシーケンステーブルは、
シーケンサモジュールがシーケンス再生しやすいように
ＳＭＦや音節データを変換したテーブルであり、音楽生
成用ＳＭＦ２ａと同様に、記述形式はＳＭＦ(Standard
MIDI File 1.0）に準拠しても良い。そして、演奏系の
シーケンステーブル（ＮＲＰＮとして変換された音節指
定データ、歌唱生成用のメロディデータ、バックグラン
ド演奏用のデータ）と、表示系のシーケンステーブル
（キャラクタの動きに関するデータ）とを別にしても良
い。
【００５０】シーケンサ部８は、使用者の再生開始の操
作によって、入力されるシーケンステーブルをもとにシ
ーケンスを時間順に再生して出力制御部９に出力する。
これは、通常のＭＩＤＩシーケンサと同様の動作を行う
ものである。
【００５１】出力制御部９は、供給されるシーケンステ
ーブルをソフトシンセ１２（出力手段５１）が認識しや
すい形式の演奏情報記述テーブルに変換してソフトシン
セ１２に出力すると共に、文字の色変わりタイミング情
報を演奏部分表示制御部１５に出力する。そして、出力
制御部９はキャラクタの動きに関するデータをキャラク
タ表示制御部１６に出力する。なお、キャラクタの動き
に関するデータはメロディ生成部６から直接キャラクタ
表示制御部１６に送っても良い。
【００５２】ソフトシンセ１２は、ＧＭ（General MID
I）波形ファイル１０に蓄積されている波形データを使
用して、供給される演奏用のＭＩＤＩデータからバック
ミュージックを生成して、アンプやスピーカなどのサウ
ンド出力部１４に出力すると共に、ボーカル生成部１３
を有しており、ここではボーカル波形ファイル１１に蓄
積されている波形データを使用して、ＭＩＤＩメッセー
ジで示される音程データ及びＮＲＰＮで示された音節デ
ータを基にしてボーカル用のメロディデータに対応する
波形データを用いて発音データを生成し、サウンド出力
部１４に出力する。サウンド出力部１４からは、バック
ミュージックとそれに同期した発音データが音声（音声
５２）として出力される。なお、ボーカル波形ファイル
１１に蓄積されている波形データは、男性や女性、動物
などの種類を用意しておき、選択できるようにしても良
い。また、ソフトシンセサイザの代わりに外部ハード音
源を使用しても良い。
【００５３】演奏部分表示制御部１５は、色変わり位置
情報ファイルと、漢字仮名混じりの文字データファイル
が供給され、出力制御部９より入力される文字の色変わ
りのタイミング情報を基に、漢字仮名混じりの文字デー
タを表示装置１７に出力して表示させると共に、サウン
ド出力部１４から出力されるボーカルの発音タイミング
に合わせて、表示した文字の色変わりを行う。これによ
り、現在どこを歌っているのかを視覚的に確認すること
ができる。
【００５４】キャラクタ表示制御部１６は、供給される
キャラクタの動きに関するデータによって表示装置１７
に表示するキャラクタの動きを変化させる。このことに
より、サウンド出力部１４から出力される音楽に合わせ
て、キャラクタが踊ったり口を動かしたりするように見
える。キャラクタの動きは、何枚かの画像を用意して、
アニメーションＧＩＦのように切り替えても、リアルタ
イムでＣＧを制御しても良い。
【００５５】以上説明したように構成することにより、
サウンド出力部１４からは、バック音楽に合わせて入力
されたテキストが歌として歌われ、表示装置１７には、
歌詞（テキスト）が色変わり表示されると共に、キャラ
クタが歌に合わせて踊ったりする様子を表示することが
できる。
【００５６】次に、本発明の歌唱装置の第１及び第２の
表示画面例をそれぞれ図５及び図６に示し、以下に説明
する。なお、両図に共通する表示部分には同一符号を付
してある。
【００５７】図５及び図６において、テキスト表示エリ
ア３１には、選択された文字データのファイル名を表示
するファイル名表示部３１ａとそのファイルに含まれる
文字データを表示するテキスト表示部３１ｂとを有して
いる。テキスト表示部３１ｂに表示されている文字デー
タは、曲の再生中に現在歌っている文字が色変わり表示
される。この色変わりのタイミング情報は、出力制御部
９及び演奏部分表示制御部１５を介してシーケンサ部８
によって制御される。
【００５８】曲構成中の再生箇所表示部３２には、現在
再生している部分がイントロ、Ａメロ、Ｂメロ、エンデ
ィングのどの部分かを表示するものであり、再生中は色
を変えるなどしている。そして、これを表示するための
情報は、出力制御部９より送られている。SONG PATTERN
選択エリア３３は、バックグラウンド再生曲のジャンル
を選択するものであり、この選択メニューボタンを選択
することにより、所望の音楽ジャンルを選択することが
できる。選択された音楽ジャンルはボタン表示で表さ
れ、曲の再生中は切り替え不可としてグレイ表示にな
る。さらに、ここにオプションボタンを設けて、新たな
曲（又はジャンル）を追加できるようにしても良い。こ
の場合、図２に示す音楽生成用ＳＭＦ記憶部２に新たな
音楽生成用ＳＭＦを追加することになる。
【００５９】なお、本発明では、バッキング演奏データ
とメロディデータとを音楽生成用ＳＭＦ２ａとして同一
のファイル内に記述しているが、別々のファイルから供
給するようにしても良い。
【００６０】Text File選択ボタン３４は歌わせたいテ
キストファイルを選択するためのボタンであり、このボ
タンが押されると、ファイル選択画面が開いてファイル
選択可能状態となる。ファイルが選択された後は、その
ファイルのタイトルがファイル名表示部３１ａに表示さ
れると共に、その内容がテキスト表示部３１ｂに表示さ
れる。テキスト表示部３１ｂはエディタ構成として、自
由にテキストを編集できるようにしても良い。この場合
は編集したファイルを保存するための機能（及びボタ
ン）を追加するとより一層便利になる。
【００６１】再生/停止ボタン３５は音楽と歌（読み上
げ）の再生、停止を行うボタンであり、シーセンサ部８
に対して制御を行う。停止の後に再生された場合には、
停止位置もしくは先頭から再生を再開する。キャラクタ
表示エリア３６には、演奏に同期して踊るキャラクタが
表示される。キャラクタの動き情報は、出力制御部９及
びキャラクタ表示制御部１６を介してシーケンサ部８か
らリアルタイムで制御される。なお、複数種類のキャラ
クタを用意しておき、選択されたジャンルごとに表示キ
ャラクタを変えるようにしても良い。また、表示される
キャラクタを直接操作（クリック）することにより、再
生/停止を行うようにしても良い。
【００６２】ボリューム制御スライダ３７は、サウンド
出力部１４から出力される音楽やボーカル音声の出力音
量を変更するための操作部であり、終了ボタン３８はこ
の歌唱装置のアプリケーションを終了させるためのボタ
ンである。
【００６３】以上説明した歌唱装置は、装置として提供
されるだけでなく、パーソナルコンピュータや携帯用端
末などで使用されるアプリケーションプログラムとして
提供しても良い。この場合、コンピュータ資源を利用し
て、供給される各種のテキストデータを音節データに変
換し、所望の演奏情報のメロディ部分に音節データを割
り当てて、演奏情報のメロディラインに合わせて音程を
変化させながら発音させる歌唱プログラムを記録媒体や
インターネットなどから提供することにより、上述した
歌唱装置の主要な機能を有する歌唱装置を実現すること
ができる。そして、歌詞の色変わり表示やキャラクタの
動き表示なども行う場合には、その制御プログラムを追
加すれば良い。
【００６４】さらに、音楽生成用ＳＭＦ２ａは外部から
供給しても良い。すなわち、図３に示したような構造を
有する、バックグランド音楽として再生するＭＩＤＩ演
奏データと音節データに割り当てて歌わせるためメロデ
ィデータとを含む音楽生成用ＳＭＦ（演奏情報）２ａを
記録媒体やインターネットなどから提供しても良い。
【００６５】そして、上記実施例では、ラップ音楽と共
に説明したが、他の音楽でも実現可能なのは言うまでも
ない。
【００６６】また、本実施例では、バッキング演奏デー
タで示されるバックグランド音楽に同期しているが、バ
ックグランド音楽を用いずに、メロディだけを歌わせる
ように構成しても良い。
【００６７】
【発明の効果】本発明の歌唱装置は、漢字仮名混じりの
文章や記号や英文字の混ざった通常の文章を、自動的に
その長さに合わせた歌に加工して歌わせることができ
る。
【００６８】また、歌に同期させてバックグランド音楽
を演奏することもでできるという効果がある。
【図面の簡単な説明】
【図１】本発明の歌唱装置の一実施の形態を示すブロッ
ク図である。
【図２】音楽生成用ＳＭＦ記憶部２に記憶されている音
楽生成用ＳＭＦ２ａの例を示す図である。
【図３】音楽生成用ＳＭＦ２ａの構成例を示す図であ
る。
【図４】ＮＲＰＮで使用されるＭＳＢとＬＳＢの具体的
な例を示す図である。
【図５】本発明の歌唱装置の表示画面の例を示す図であ
る。
【図６】本発明の歌唱装置の表示画面の例を示す図であ
る。
【図７】本発明の歌唱装置の構成例を示すブロック図で
ある。
【符号の説明】
２ 音楽生成用ＳＭＦ記憶部 ３ ファイル形式変換部 ４ テキスト解析部 ５ 読み変換テーブル ６ メロディ生成部 ７ ＳＭＦ解析部 ８ シーケンサ部 ９ 出力制御部 １０ ＧＭ（General MIDI）波形ファイル １１ ボーカル波形ファイル １２ ソフトシンセ １３ ボーカル生成部 １４ サウンド出力部 １５ 演奏部分表示制御部 １６ キャラクタ表示制御部 １７ 表示装置 ４１ テキストデータ ４２ 音節変換手段 ４３ 伴奏情報出力手段 ４４ 分割手段 ４５ 音節情報 ４６ 割当て手段 ４７ 歌唱音程情報出力手段 ４８ 歌唱音程情報 ４９ 伴奏情報 ５０ 割り当てた音節情報 ５１ 出力手段

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】テキストデータを音節情報に変換する音節
    変換手段と、 歌唱音程情報を出力する歌唱音程情報出力手段と、 前記音節変換手段にて変換された音節情報を前記歌唱音
    程情報出力手段から供給される前記歌唱音程情報に自動
    的に割り当てる割当て手段と、 前記割当て手段によって割り当てられた前記音節情報を
    音声に変換して出力する出力手段とを有し、 前記出力手段は、前記音節情報をこの音節情報に対応す
    る前記歌唱音程情報に合わせて音程を変化させながら発
    音することを特徴とする歌唱装置。
  2. 【請求項２】前記割当て手段は、前記音節情報の音節数
    に応じて割り当てる前記歌唱音程情報に基づく演奏時間
    を可変させることにより、前記歌唱音程情報に合わせた
    割り当てを行うことを特徴とする請求項１記載の歌唱装
    置。
  3. 【請求項３】前記割当て手段は、前記歌唱音程情報に含
    まれるメロディの音符の数を前記音節情報の音節数に応
    じて可変させることにより、前記歌唱音程情報に合わせ
    た割り当てを行うことを特徴とする請求項１記載の歌唱
    装置。
  4. 【請求項４】前記割当て手段は、前記歌唱音程情報に含
    まれる複数のメロディから選択することにより、前記歌
    唱音程情報に合わせた割り当てを行うことを特徴とする
    請求項１記載の歌唱装置。
  5. 【請求項５】前記音節変換手段は前記音節情報を適当な
    音節数に分割する分割手段を有し、前記割当て手段は分
    割された音節情報を前記歌唱音程情報に割り当てること
    を特徴とする請求項１、請求項２、請求項３または請求
    項４記載の歌唱装置。
  6. 【請求項６】歌唱に合わせた伴奏を行うための伴奏情報
    を出力する伴奏情報出力手段を有し、 前記出力手段は、前記音節情報をこの音節情報に対応す
    る前記歌唱音程情報に合わせて音程を変化させながら発
    音すると共に、前記伴奏情報を前記音節情報に同期させ
    て再生することを特徴とする請求項１、請求項２、請求
    項３、請求項４または請求項５記載の歌唱装置。
  7. 【請求項７】前記歌唱音程情報と前記伴奏情報とを含ん
    だ複数種類の演奏情報を蓄積する演奏情報蓄積手段を有
    することを特徴とする請求項６記載の歌唱装置。
  8. 【請求項８】前記伴奏情報出力手段は、前記演奏情報蓄
    積手段に蓄積されている複数種類の演奏情報から選択さ
    れた演奏情報に含まれる伴奏情報を出力することを特徴
    とする請求項７記載の歌唱装置。
  9. 【請求項９】供給されるテキストデータを音節情報に変
    換し、所望の歌唱音程情報に前記音節情報を割り当て
    て、前記歌唱音程情報のメロディラインに合わせて音程
    を変化させながら発音させる歌唱プログラムが記録され
    ていることを特徴とする記録媒体。
  10. 【請求項１０】バックグランド音楽として再生する伴奏
    情報と、音節情報に割り当てて歌わせるため歌唱音程情
    報とを含む演奏情報が記録されていることを特徴とする
    記録媒体。
JP10277120A 1998-09-30 1998-09-30 歌唱装置及び記録媒体 Pending JP2000105595A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10277120A JP2000105595A (ja) 1998-09-30 1998-09-30 歌唱装置及び記録媒体
US09/374,115 US6424944B1 (en) 1998-09-30 1999-08-16 Singing apparatus capable of synthesizing vocal sounds for given text data and a related recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10277120A JP2000105595A (ja) 1998-09-30 1998-09-30 歌唱装置及び記録媒体

Publications (1)

Publication Number Publication Date
JP2000105595A true JP2000105595A (ja) 2000-04-11

Family

ID=17579074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10277120A Pending JP2000105595A (ja) 1998-09-30 1998-09-30 歌唱装置及び記録媒体

Country Status (2)

Country Link
US (1) US6424944B1 (ja)
JP (1) JP2000105595A (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221978A (ja) * 2001-01-26 2002-08-09 Yamaha Corp ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置
JP2002304187A (ja) * 2001-04-03 2002-10-18 Sony Corp 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
KR20030058708A (ko) * 2001-12-31 2003-07-07 에스엘투(주) 텍스트/음성 변환을 이용한 음성 녹음 시스템
JP2003228369A (ja) * 2002-02-01 2003-08-15 Yamaha Corp 音声メロディ楽曲生成装置およびそれを用いた携帯端末装置
KR20040015605A (ko) * 2002-08-13 2004-02-19 홍광석 가상노래 합성장치 및 방법
KR20040052110A (ko) * 2002-12-13 2004-06-19 에스케이 텔레콤주식회사 Ｔｔｓ를 이용한 코러스 및 아카펠라 구현방법
JP2004226671A (ja) * 2003-01-22 2004-08-12 Omron Corp 音楽データ生成システム、音楽データ生成サーバ装置、および音楽データ生成方法
JP2005004107A (ja) * 2003-06-13 2005-01-06 Sony Corp 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置
JP2005326689A (ja) * 2004-05-14 2005-11-24 Xing Inc 音楽メール出力方法、音楽メール出力システム、及び楽曲提供装置
JP2005332339A (ja) * 2004-05-21 2005-12-02 Xing Inc 音楽メール出力方法、音楽メール出力システム、及び音楽出力装置
JP2011180263A (ja) * 2010-02-26 2011-09-15 Brother Industries Ltd 歌詞割当装置、及びプログラム
JP2011209570A (ja) * 2010-03-30 2011-10-20 Yamaha Corp カラオケ装置
JP2013044880A (ja) * 2011-08-23 2013-03-04 Brother Ind Ltd 歌詞割当装置
JP2014013340A (ja) * 2012-07-05 2014-01-23 Pioneer Electronic Corp 作曲支援装置、作曲支援方法、作曲支援プログラム、作曲支援プログラムを格納した記録媒体およびメロディ検索装置
JP2015515647A (ja) * 2012-03-29 2015-05-28 スミュール, インク.Smule, Inc. 曲、ラップ、または対象拍子もしくはリズムを有する他の可聴表現への発語自動変換
JP2016161774A (ja) * 2015-03-02 2016-09-05 ヤマハ株式会社 楽曲生成装置
US10529310B2 (en) 2014-08-22 2020-01-07 Zya, Inc. System and method for automatically converting textual messages to musical compositions

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054249A1 (fr) * 1999-03-08 2000-09-14 Faith, Inc. Dispositif de reproduction de donnees, procede de reproduction de donnees et terminal d'informations
US9818386B2 (en) 1999-10-19 2017-11-14 Medialab Solutions Corp. Interactive digital music recorder and player
US7176372B2 (en) * 1999-10-19 2007-02-13 Medialab Solutions Llc Interactive digital music recorder and player
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
JP3700532B2 (ja) * 2000-04-17 2005-09-28 ヤマハ株式会社 演奏情報編集再生装置
US7120583B2 (en) * 2000-10-02 2006-10-10 Canon Kabushiki Kaisha Information presentation system, information presentation apparatus, control method thereof and computer readable memory
JP2002221980A (ja) * 2001-01-25 2002-08-09 Oki Electric Ind Co Ltd テキスト音声変換装置
JP2003186500A (ja) * 2001-12-17 2003-07-04 Sony Corp 情報伝達システム、情報符号化装置および情報復号装置
JP4150198B2 (ja) * 2002-03-15 2008-09-17 ソニー株式会社 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置
JP2004205605A (ja) * 2002-12-24 2004-07-22 Yamaha Corp 音声および楽曲再生装置およびシーケンスデータフォーマット
JP3858842B2 (ja) * 2003-03-20 2006-12-20 ソニー株式会社 歌声合成方法及び装置
JP3864918B2 (ja) * 2003-03-20 2007-01-10 ソニー株式会社 歌声合成方法及び装置
JP2004287099A (ja) * 2003-03-20 2004-10-14 Sony Corp 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置
JP4483188B2 (ja) * 2003-03-20 2010-06-16 ソニー株式会社 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置
JP2004318332A (ja) * 2003-04-14 2004-11-11 Sharp Corp テキストデータ表示装置、携帯電話装置、テキストデータ表示方法、およびテキストデータ表示プログラム
US20040260551A1 (en) * 2003-06-19 2004-12-23 International Business Machines Corporation System and method for configuring voice readers using semantic analysis
US8103505B1 (en) * 2003-11-19 2012-01-24 Apple Inc. Method and apparatus for speech synthesis using paralinguistic variation
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
KR100658869B1 (ko) * 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
WO2007091475A1 (ja) * 2006-02-08 2007-08-16 Nec Corporation 音声合成装置、音声合成方法及びプログラム
US7737354B2 (en) * 2006-06-15 2010-06-15 Microsoft Corporation Creating music via concatenative synthesis
JP2008004134A (ja) * 2006-06-20 2008-01-10 Sony Corp 音楽再生方法および音楽再生装置
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
WO2009052032A1 (en) * 2007-10-19 2009-04-23 Sony Computer Entertainment America Inc. Scheme for providing audio effects for a musical instrument and for controlling images with same
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US7977560B2 (en) * 2008-12-29 2011-07-12 International Business Machines Corporation Automated generation of a song for process learning
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
JP5471858B2 (ja) * 2009-07-02 2014-04-16 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
WO2012011475A1 (ja) * 2010-07-20 2012-01-26 独立行政法人産業技術総合研究所 声色変化反映歌声合成システム及び声色変化反映歌声合成方法
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8884148B2 (en) * 2011-06-28 2014-11-11 Randy Gurule Systems and methods for transforming character strings and musical input
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
JP5895740B2 (ja) * 2012-06-27 2016-03-30 ヤマハ株式会社 歌唱合成を行うための装置およびプログラム
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9263060B2 (en) 2012-08-21 2016-02-16 Marian Mason Publishing Company, Llc Artificial neural network based system for classification of the emotional content of digital music
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
JP5949607B2 (ja) * 2013-03-15 2016-07-13 ヤマハ株式会社 音声合成装置
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP2016521948A (ja) 2013-06-13 2016-07-25 アップル インコーポレイテッド 音声コマンドによって開始される緊急電話のためのシステム及び方法
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
KR102161237B1 (ko) * 2013-11-25 2020-09-29 삼성전자주식회사 사운드 출력 방법 및 장치
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US11132983B2 (en) 2014-08-20 2021-09-28 Steven Heckenlively Music yielder with conformance to requisites
US20180374461A1 (en) * 2014-08-22 2018-12-27 Zya, Inc, System and method for automatically generating media
US20190147838A1 (en) * 2014-08-22 2019-05-16 Zya, Inc. Systems and methods for generating animated multimedia compositions
US20180268792A1 (en) * 2014-08-22 2018-09-20 Zya, Inc. System and method for automatically generating musical output
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
JP6728754B2 (ja) * 2015-03-20 2020-07-22 ヤマハ株式会社 発音装置、発音方法および発音プログラム
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
CN108806656B (zh) * 2017-04-26 2022-01-28 微软技术许可有限责任公司 歌曲的自动生成
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
WO2018217790A1 (en) * 2017-05-22 2018-11-29 Zya, Inc. System and method for automatically generating musical output

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2109436A1 (de) * 1970-03-04 1972-08-03 Dreyfus J Amphtudenregler für elektrische Signale
US5129303A (en) * 1985-05-22 1992-07-14 Coles Donald K Musical equipment enabling a fixed selection of digitals to sound different musical scales
US4771671A (en) * 1987-01-08 1988-09-20 Breakaway Technologies, Inc. Entertainment and creative expression device for easily playing along to background music
JP2921428B2 (ja) * 1995-02-27 1999-07-19 ヤマハ株式会社 カラオケ装置
US5712953A (en) * 1995-06-28 1998-01-27 Electronic Data Systems Corporation System and method for classification of audio or audio/video signals based on musical content
US5703311A (en) * 1995-08-03 1997-12-30 Yamaha Corporation Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques
US5915238A (en) * 1996-07-16 1999-06-22 Tjaden; Gary S. Personalized audio information delivery system
JP3718919B2 (ja) * 1996-09-26 2005-11-24 ヤマハ株式会社 カラオケ装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221978A (ja) * 2001-01-26 2002-08-09 Yamaha Corp ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置
JP2002304187A (ja) * 2001-04-03 2002-10-18 Sony Corp 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
KR20030058708A (ko) * 2001-12-31 2003-07-07 에스엘투(주) 텍스트/음성 변환을 이용한 음성 녹음 시스템
JP2003228369A (ja) * 2002-02-01 2003-08-15 Yamaha Corp 音声メロディ楽曲生成装置およびそれを用いた携帯端末装置
KR100509126B1 (ko) * 2002-02-01 2005-08-19 야마하 가부시키가이샤 음성 멜로디 악곡 생성 장치 및 그것을 이용한 휴대 단말장치
KR20040015605A (ko) * 2002-08-13 2004-02-19 홍광석 가상노래 합성장치 및 방법
KR20040052110A (ko) * 2002-12-13 2004-06-19 에스케이 텔레콤주식회사 Ｔｔｓ를 이용한 코러스 및 아카펠라 구현방법
JP2004226671A (ja) * 2003-01-22 2004-08-12 Omron Corp 音楽データ生成システム、音楽データ生成サーバ装置、および音楽データ生成方法
JP2005004107A (ja) * 2003-06-13 2005-01-06 Sony Corp 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置
JP4514510B2 (ja) * 2004-05-14 2010-07-28 株式会社エクシング 音楽メール出力方法、音楽メール出力システム、及び楽曲提供装置
JP2005326689A (ja) * 2004-05-14 2005-11-24 Xing Inc 音楽メール出力方法、音楽メール出力システム、及び楽曲提供装置
JP2005332339A (ja) * 2004-05-21 2005-12-02 Xing Inc 音楽メール出力方法、音楽メール出力システム、及び音楽出力装置
JP4514513B2 (ja) * 2004-05-21 2010-07-28 株式会社エクシング 音楽メール出力方法、音楽メール出力システム、及び音楽出力装置
JP2011180263A (ja) * 2010-02-26 2011-09-15 Brother Industries Ltd 歌詞割当装置、及びプログラム
JP2011209570A (ja) * 2010-03-30 2011-10-20 Yamaha Corp カラオケ装置
JP2013044880A (ja) * 2011-08-23 2013-03-04 Brother Ind Ltd 歌詞割当装置
JP2015515647A (ja) * 2012-03-29 2015-05-28 スミュール, インク.Smule, Inc. 曲、ラップ、または対象拍子もしくはリズムを有する他の可聴表現への発語自動変換
US10290307B2 (en) 2012-03-29 2019-05-14 Smule, Inc. Automatic conversion of speech into song, rap or other audible expression having target meter or rhythm
JP2014013340A (ja) * 2012-07-05 2014-01-23 Pioneer Electronic Corp 作曲支援装置、作曲支援方法、作曲支援プログラム、作曲支援プログラムを格納した記録媒体およびメロディ検索装置
US10529310B2 (en) 2014-08-22 2020-01-07 Zya, Inc. System and method for automatically converting textual messages to musical compositions
JP2016161774A (ja) * 2015-03-02 2016-09-05 ヤマハ株式会社 楽曲生成装置

Also Published As

Publication number Publication date
US6424944B1 (en) 2002-07-23

Similar Documents

Publication Publication Date Title
JP2000105595A (ja) 歌唱装置及び記録媒体
KR100582154B1 (ko) 시퀀스 데이터의 데이터 교환 포맷, 음성 재생 장치 및서버 장치
KR20180063163A (ko) 언어 및/또는 그래픽 아이콘 기반 음악적 경험 디스크립터를 채택한 자동화된 음악 작곡 및 생성 기계, 시스템 및 프로세스
EP1512140B1 (en) Musical notation system
US20140046667A1 (en) System for creating musical content using a client terminal
Kirk et al. Digital sound processing for music and multimedia
JP2000194360A (ja) 音の電子的発生方法及び装置
JP2004258563A (ja) スコアデータ表示編集装置およびプログラム
WO2007078261A1 (en) Method and system for text-editing and playing back a score
JP2018163183A (ja) 電子楽器、方法、及びプログラム
CN107430849A (zh) 声音控制装置、声音控制方法和声音控制程序
JP5974436B2 (ja) 楽曲生成装置
KR100664677B1 (ko) 휴대용 단말기에서의 음악 컨텐츠 생성 방법
JPH11126083A (ja) カラオケ再生装置
JP3405123B2 (ja) 音声データ処理装置及びデータ処理プログラムを記録した媒体
JP2001042879A (ja) カラオケ装置
JP3974069B2 (ja) 合唱曲や重唱曲を処理するカラオケ演奏方法およびカラオケシステム
JP4821801B2 (ja) 音声データ処理装置及びプログラムを記録した媒体
JP2006259768A (ja) スコアデータ表示装置およびプログラム
JP2002221978A (ja) ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置
WO2023153033A1 (ja) 情報処理方法、プログラム、および情報処理装置
JP5598056B2 (ja) カラオケ装置およびカラオケ曲紹介プログラム
JP4161714B2 (ja) カラオケ装置
JP4148755B2 (ja) 音声データ処理装置及びデータ処理プログラムを記録した媒体
KR20010088951A (ko) 데이터 합성을 통한 노래 구현 시스템 및 그 응용