JP2003228385A - 携帯端末装置 - Google Patents

Abstract

(57)【要約】 【課題】 比較的簡単な構成によってバックコーラスや
かけ声等のサンプリング音のピッチ変更を最小限の音質
変化で行うことができる携帯端末装置を提供する。 【解決手段】 メモリ１３には、ストリームオーディオ
データと楽曲シーケンスデータとで構成される楽曲デー
タが記憶される。シーケンサ１４はメモリ１３から楽曲
シーケンスデータを読み出し、音源回路９へ出力する。
音源回路９はシーケンサ１４の出力に基づいて楽音を生
成する。ドライバ１６はメモリからストリームオーディ
オデータを読み出し、オーディオ再生回路１７へ出力す
る。再生回路１７はドライバ１６の出力を伸長する。ピ
ッチチェンジ回路１８は、固定波形長で入力されるデー
タを分割し、窓関数を演算し、ピッチ変更指示に基づい
てアライメント処理を行った後、波形合成を行う。これ
により、ピッチ変更後の波形が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、携帯電話、ＰＨ
Ｓ（登録商標）等の携帯端末装置に係り、特に、カラオ
ケ装置の機能を有する携帯端末装置に関する。

【０００２】

【従来の技術】近年、カラオケ機能を有する携帯端末装
置が開発され、実用化されている。この携帯端末装置
は、内部に音源回路と、ストリームオーディオ再生回路
を有しており、カラオケ曲配信サーバにアクセスして楽
曲データを内部のメモリにダウンロードし、このダウン
ロードした楽曲データを音源回路およびストリームオー
ディオ再生回路によって再生してカラオケ演奏を行うよ
うになっている。

【０００３】この場合、楽曲データは楽曲シーケンスデ
ータ（ＳＭＦデータ等）とストリームオーディオデータ
（ＰＣＭデータ、ＡＤＰＣＭデータ等）とから構成され
ており、メインのカラオケ演奏曲は楽曲シーケンスデー
タとして供給され、特別のバックコーラスやかけ声等が
ストリームオーディオデータによって供給される。ここ
で、楽曲シーケンスデータは音高データ、音量データ、
音色データ、タイミングデータ等から構成され、この楽
曲シーケンスデータによって音源回路が駆動されてメイ
ンのカラオケ曲が演奏される。一方、ストリームオーデ
ィオデータは、例えば圧縮されたサンプリングデータで
あり、ストリームオーディオ再生回路において伸長さ
れ、アナログ信号に変換されて発音される。

【０００４】

【発明が解決しようとする課題】ところで、カラオケ装
置においてはピッチ変更（キーコントロール）が必要に
なる。上述した携帯端末装置のカラオケにおいてこのキ
ーコントロールを行う場合、メインのカラオケ演奏は楽
曲シーケンスデータ（ＭＩＤＩデータ等）であることか
ら、その音高データを変えるだけでよく、簡単に実施す
ることができる。しかし、ストリームオーディオデータ
のピッチ変更は簡単ではない。

【０００５】従来、このストリームオーディオデータの
ピッチ変更の方法として、ストリームオーディオの再生
時間を変化させてピッチを変える方法があるが、この方
法は、ピッチ変化量が大きくなると（例えば、５度以
上）、元の音質に比べ不自然な音質になる欠点があり、
また、再生スピードが変わるため、データ量が多いと後
半部分がメインのカラオケ演奏と合わなくなってくる問
題がある。そこで、従来はピッチ変更の際に、ストリー
ムオーディオデータによる音をＯＦＦとしてしまうこと
が行われていた。

【０００６】この発明は、このような事情を考慮してな
されたもので、その目的は、比較的簡単な構成によって
ストリームオーディオデータのピッチ変更を最小限の音
質変化で行うことができる携帯端末装置を提供すること
にある。

【０００７】

【課題を解決するための手段】この発明は上記の課題を
解決するためになされたもので、請求項１に記載の発明
は、ストリームオーディオデータと楽曲シーケンスデー
タとで構成された楽曲データが記憶された記憶部と、前
記記憶部から楽曲シーケンスデータを読み出し、該楽曲
シーケンスデータに基づいて第１の楽音信号を形成する
第１の楽音生成手段と、前記記憶部からストリームオー
ディオデータを読み出し、該ストリームオーディオデー
タに基づいて第２の楽音信号を形成する第２の楽音生成
手段とを具備する携帯端末装置において、前記第２の楽
音生成手段に、外部から入力されたピッチ変更指示に応
じて前記第２の楽音信号のピッチ変更を行う第１のピッ
チ変換手段を設けたことを特徴とする携帯端末装置であ
る。

【０００８】請求項２に記載の発明は、請求項１に記載
の携帯端末装置において、前記第１の楽音生成手段に、
外部から入力された前記ピッチ変更指示に応じて前記第
１の楽音信号のピッチ変更を行う第２のピッチ変換手段
を具備することを特徴とする。請求項３に記載の発明
は、請求項１または請求項２に記載の携帯端末装置にお
いて、前記第１の楽音生成手段の出力と前記第２の楽音
生成手段の出力をミックスしてスピーカへ供給する合成
回路を設けたことを特徴とする。

【０００９】請求項４に記載の発明は、請求項１〜請求
項３のいずれかの項に記載の携帯端末装置において、前
記第１のピッチ変換手段は、固定波形長で前記再生楽音
信号を分割する分割手段と、前記分割手段によって分割
された再生楽音信号に窓関数を演算する演算手段と、上
記演算手段の演算結果として得られた信号について、前
記ピッチ変更指示に基づいてアライメント処理を行った
後、波形合成を行う波形合成手段とを具備することを特
徴とする。請求項５に記載の発明は、請求項１〜請求項
４のいずれかの項に記載の携帯端末装置において、前記
第１のピッチ変換手段は、前記再生楽音信号の音質を変
更する音質変更手段を具備することを特徴とする。

【００１０】請求項６に記載の発明は、請求項４に記載
の携帯端末装置において、前記分割手段は、前記再生楽
音信号のピッチを検出するピッチ検出手段を具備し、該
ピッチ検出手段の検出結果に従って前記再生楽音信号の
分割を行うことを特徴とする。請求項７に記載の発明
は、請求項１〜請求項３のいずれかの項に記載の携帯端
末装置において、前記第２の楽音生成手段は、前記第１
のピッチ変換手段の出力データを記憶する記憶手段と、
該記憶手段内のデータを繰り返し読み出す読み出し手段
とをさらに具備し、前記第１のピッチ変換手段は前記再
生楽音信号を一定データ量毎にピッチ変換して前記記憶
手段に書き込むことを特徴とする。

【００１１】

【発明の実施の形態】以下、図面を参照し、この発明の
実施の形態について説明する。図１はこの発明の第１の
実施形態による携帯端末装置の構成を示すブロック図で
ある。この図において、符号２はＣＰＵ（中央処理装
置）であり、装置各部を制御すると共に、後述するシー
ケンサ（図２参照）等として機能する。３はＣＰＵ２の
プログラムが記憶されたＲＯＭ（リードオンリメモ
リ）、４はデータ記憶用の不揮発性ＲＡＭ（ランダムア
クセスメモリ）である。５はこの携帯端末装置１を無線
によって基地局に接続する通信インターフェイス、６は
この携帯端末装置１を接続コード（図示略）を介してパ
ーソナルコンピュータに接続するシリアルインターフェ
イスである。

【００１２】７は液晶パネルおよびその駆動回路からな
る表示部であり、ＣＰＵ２から供給される表示データに
基づく画像表示を行う。８はテンキー、ファンクション
キーおよびキーインターフェイスから構成される操作部
である。９は音源回路であり、音源方式は代表的にはＦ
Ｍ音源が使用されるが、ＷＴ音源等、他の音源方式でも
よい。ＷＴ音源方式の場合には、内部に楽音波形のサン
プリングデータが書き込まれた複数の波形テーブル（Ｗ
Ｔ）を有している。そして、バスラインＢを介して供給
されるＭＩＤＩデータに従って波形テーブルから楽音波
形を読み出し出力する。

【００１３】次に、上記実施形態の動作を図２〜図６を
参照して説明する。この実施形態による携帯端末装置
は、通常の通信／通話機能を有すと共に、カラオケ機能
を有している。通信／通話機能は従来の携帯端末装置と
同様であるので説明を省略し、以下、カラオケ機能につ
いて説明する。

【００１４】図２はカラオケ機能の機能ブロック図であ
る。この図において、１１はストリームオーディオデー
タと楽曲シーケンスデータとで構成された楽曲データで
あり、例えば、カラオケ曲配信サーバに多数用意されて
いる。１２はＣＰＵ２によって実行されるデータローダ
であり、外部のカラオケ曲配信サーバから楽曲データ１
１を、通信Ｉ／Ｆ５を介してメモリ１３（ＲＡＭ４）に
ダウンロードする。ここで、メインのカラオケ演奏曲は
楽曲シーケンスデータとして供給され、バックコーラス
やかけ声等がストリームオーディオデータとして供給さ
れる。１４はＣＰＵ１４によって実行されるシーケンサ
であり、メモリ１３から、楽曲シーケンスデータ（ＳＭ
Ｆデータ、ＳＭＡＦデータ等）に含まれるタイミングデ
ータに従って楽音制御データ（ＭＩＤＩデータ）を順次
読み出し、音源回路９へ出力する。また、ユーザからピ
ッチ変更の指示があった場合は、楽曲シーケンスデータ
に含まれる音高データをユーザの指示に従って変更し音
源回路９へ出力する。音源回路９はシーケンサ１４から
出力される楽曲制御データ（ＭＩＤＩデータ）に基づい
て、ＷＴ音源方式の場合は、波形テーブルから楽音波形
データを読み出し、合成回路１５へ出力する。また、Ｆ
Ｍ音源方式の場合は、周知のＦＭ演算式に基づき楽音波
形データを生成して合成回路１５へ出力する。

【００１５】１６はストリームオーディオドライバであ
り、シーケンサ１４から出力される、ストリームオーデ
ィオ発生タイミングを示すＭＩＤＩデータを受けて、メ
モリ１３からストリームオーディオデータを順次読み出
し、音源回路９の中にあるオーディオ再生回路１７へ出
力する。オーディオ再生回路１７はストリームオーディ
オドライバ１６から出力されるストリームオーディオデ
ータ（例えば、ＡＤＰＣＭデータに圧縮されている）を
伸長して元のサンプリングオーディオデータに戻し、ピ
ッチチェンジ回路１８へ出力する。ピッチチェンジ回路
１８は、ユーザの指示を受けてそのオーディオデータの
ピッチチェンジを行い、また、ユーザの指示を受けて音
質（声質）の変更を行って、変更後のオーディオデータ
を合成回路１５へ出力する。なお、このピッチチェンジ
回路１８については後に詳述する。合成回路１５は、音
源回路９から出力される楽音データとピッチチェンジ回
路１８から出力されるオーディオデータを合成し、次い
で、アナログ信号に変換してスピーカ１９へ出力する。

【００１６】図３は、上述したカラオケ楽音再生の過程
を示すフローチャートである。この図において、ステッ
プＳａ１はストリームオーディオデータと楽曲シーケン
スデータとで構成される楽曲データをメモリ１３にダウ
ンロードする処理を示し、ステップＳａ２はカラオケ楽
音再生スタート処理であり、ステップＳａ３は、シーケ
ンサ１４によるデータ読み出し／転送処理を示し、ステ
ップＳａ４は音源回路９による楽曲データ再生処理を示
し、ステップＳａ５はストリームオーディオドライバ１
６によるストリームオーディオデータの読み出し／転送
処理を示し、ステップＳａ６はオーディオ再生回路１７
によるデータ再生（伸長）処理を示し、ステップＳａ７
はピッチチェンジ回路１８によるピッチチェンジおよび
音質（声質）変換処理を示し、ステップＳａ８は合成回
路１５による合成処理を示している。上記の各処理の
後、カラオケ曲が終了か否かが判断され（ステップＳａ
９）、終了でない場合はステップＳａ３へ戻り、終了の
場合は処理を終了する。

【００１７】次に、ピッチチェンジ回路１８の詳細を説
明する。図４はピッチチェンジ回路１８における処理の
概略を示す流れ図、図５は処理の詳細を示すフローチャ
ートである。このピッチチェンジ回路１８は、まず、オ
ーディオ再生回路１７から出力されるオーディオデータ
波形（オーディオデータをアナログ表示した波形）のピ
ッチ検出を行う（図４のステップＳ１、図５のステップ
Ｓｂ１）。次に、検出したピッチに従ってオーディオデ
ータ波形を分割する（ステップＳ２、Ｓｂ２）。図６
（イ）に、オーディオデータ波形をピッチに従って分割
したところを示す。

【００１８】次に、ユーザによる音質（声質）変更指示
があった場合は、オーディオデータの加工を行う（ステ
ップＳ３，Ｓｂ３，Ｓｂ４）。この加工によって、例え
ば、男性の声が女性の声に変換される。次に、窓関数演
算を行う（ステップＳ４、Ｓｂ５）。図６（ロ）に窓関
数演算処理が行われたオーディオデータ波形を示す。次
に、ユーザによるピッチ変更指示に応じて、ピッチ変更
／波形合成処理を行う（ステップＳ５）。すなわち、フ
ォルマント固定でピッチを下げる場合は、切り取った波
形を、ターゲットピッチ周期で割り付けていき（アライ
メント処理）（図６（ハ）参照）、その後に波形合成を
行う（ステップＳｂ６，Ｓｂ７、Ｓｂ１０）。また、フ
ォルマント固定でピッチを上げる場合は、切り取った波
形をターゲットピッチ周期で割り付けていき（図６
（ニ）参照）、その後に波形合成を行う。この場合、波
形が重なり合うため、重なり部分によるクリックノイズ
を防ぐためクロスフェード処理を行う（ステップＳｂ
６、Ｓｂ７、Ｓｂ８、Ｓｂ９、Ｓｂ１０）。

【００１９】次に、オーディオ再生回路１７によるオー
ディオデータ波形の出力が終了したか否かを判断し（ス
テップＳｂ１１）、その判断結果が「ＮＯ」の場合はス
テップＳｂ１（ステップＳ１）の処理へ戻り、「ＹＥ
Ｓ」の場合は処理を終了する。なお、上記第１の実施形
態において、ピッチ検出（図４のステップＳ１、図５の
ステップＳｂ１）は必ずしも必要ではなく、固定長で波
形の分割を行ってもよい。また、波形加工処理（ステッ
プＳ３、ステップＳｂ４）も必ずしも必要ではない。

【００２０】次に、この発明の第２の実施形態について
説明する。この第２の実施形態のハードウエアのブロッ
ク構成は図１に示す第１の実施形態のブロック構成と同
じであり、第１の実施形態とはＣＰＵ２の処理が異なっ
ている。図７は第２の実施形態の機能ブロック図であ
り、この図に示す構成が図２に示す構成と異なる点は、
ストリームオーディオドライバ２１およびオーディオ再
生回路２２である。

【００２１】図８はこれらストリームオーディオドライ
バ２１およびオーディオ再生回路２２の機能をさらに明
確にした機能ブロック図である。ピッチチェンジ回路２
３は、図７のシーケンサ１４からストリームオーディオ
データ再生開始のタイミングを指示するＭＩＤＩ信号を
受けると、メモリ１３から例えば５１２バイトのブロッ
ク単位でストリームオーディオデータを順次読み出し、
上述したピッチチェンジ処理を行い、処理済みのデータ
を順次リングバッファ２４ａに書き込む。そして、リン
グバッファ２４ａがＦｕｌｌになった時はリングバッフ
ァ２４ｂに書き込み、リングバッファ２４ｂがＦｕｌｌ
になった場合はリングバッファ２４ａに書き込み、この
動作を繰り返す。

【００２２】一方、波形読み出し再生回路２５はリング
バッファ２４ａがＦｕｌｌになったことをピッチチェン
ジ回路２３から通知を受けてリングバッファ２４ａから
データ読み出しを開始し、読み出したデータを合成回路
１５へ出力する。以後、リングバッファ２４ａの読み出
しが終了すると、次にリングバッファ２４ｂの読み出し
を行い、その読み出しが終了すると再びリングバッファ
２４ａの読み出しを行い、この動作を繰り返す。そし
て、ピッチチェンジ回路２３から書き込み終了の通知を
受けた後所定時間が経過した時点で読み出し処理を終了
する。

【００２３】なお、上記のリングバッファ２４ａ、２４
ｂおよび波形読み出し再生回路２５として、音源回路９
を用いてもよい。すなわち、音源回路９は複数の波形テ
ーブルと複数の楽音発生チャンネルを有しており、各チ
ャンネルにおいてそれぞれ波形テーブルの読み出し処理
が行われる。そこで、ピッチチェンジ後のデータを、未
使用の波形テーブルに書き込み、使用していない楽音発
生チャンネルを利用してその波形テーブルを読み出すこ
とにより、リングバッファ２４ａ、２４ｂおよび波形読
み出し再生回路２５と同じ処理を行うことができる。ま
た、上記第２の実施形態において、ストリームオーディ
オデータ付きカラオケ曲データ１１が圧縮データであっ
た場合は、リングバッファ２４ａ、２４ｂに書き込む前
にデータ伸長を行う必要がある。

【００２４】

【発明の効果】以上説明したように、請求項１の発明に
よれば、外部から入力されたピッチ変更指示に応じて、
ストリームオーディオデータに基づく再生楽音信号のピ
ッチ変更を行うピッチ変換回路を設けたので、バックコ
ーラスやかけ声等のサンプリング音についてもピッチ変
更が可能となる効果が得られる。

【００２５】また、請求項４の発明によれば、ピッチ変
換回路が固定波形長で再生楽音信号を分割する分割手段
と、分割手段によって分割された再生楽音信号に窓関数
を演算する演算手段と、演算手段の演算結果として得ら
れた信号について、ピッチ変更指示に基づいてアライメ
ント処理を行った後、波形合成を行う波形合成手段とを
具備するので、比較的簡単な構成によってのバックコー
ラスやかけ声等のサンプリング音のピッチ変更を最小限
の音質変化で行うことができる。

【００２６】また、請求項５の発明によれば、ピッチ変
換回路が再生楽音信号の音質を変更する音質変更手段を
具備するので、バックコーラスやかけ声等のサンプリン
グ音の音質をユーザの要求に応じて変更することができ
る。

【図面の簡単な説明】

【図１】 この発明の第１、第２のの実施形態の構成を
示すブロック図である。

【図２】 この発明の第１の実施形態の機能ブロック図
である。

【図３】 同第１の実施形態の動作を説明するためのフ
ローチャートである。

【図４】 図２におけるピッチチェンジ回路１８の処理
過程を示す流れ図である。

【図５】 同ピッチチェンジ回路１８の処理過程の詳細
を示すフローチャートである。

【図６】 同ピッチチェンジ回路１８の処理を説明する
ための波形図である。

【図７】 この発明の第２の実施形態の機能ブロック図
である。

【図８】 同実施形態のピッチチェンジ処理の機能ブロ
ック図である。

【符号の説明】

１…携帯端末装置、２…ＣＰＵ、３…ＲＯＭ、４…ＲＡ
Ｍ、９…音源回路、１１…ストリームオーディオデータ
付きカラオケ曲データ、１３…メモリ、１４…シーケン
サ、１５…合成回路、１６、２１…ストリームオーディ
オドライバ、１７、２２…オーディオ再生回路、１８、
２３…ピッチチェンジ回路、２４ａ、２４ｂ…リングバ
ッファ、２５…波形読み出し再生回路。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｍ 11/08 Ｈ０４Ｂ 7/26 １０９Ｈ Ｈ０４Ｑ 7/38 Ｇ１０Ｌ 3/02 Ａ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ストリームオーディオデータと楽曲シー
   ケンスデータとで構成された楽曲データが記憶された記
   憶部と、 前記記憶部から楽曲シーケンスデータを読み出し、該楽
   曲シーケンスデータに基づいて第１の楽音信号を形成す
   る第１の楽音生成手段と、 前記記憶部からストリームオーディオデータを読み出
   し、該ストリームオーディオデータに基づいて第２の楽
   音信号を形成する第２の楽音生成手段と、 を具備する携帯端末装置において、 前記第２の楽音生成手段に、外部から入力されたピッチ
   変更指示に応じて前記第２の楽音信号のピッチ変更を行
   う第１のピッチ変換手段を設けたことを特徴とする携帯
   端末装置。
2. 【請求項２】 前記第１の楽音生成手段に、外部から入
   力された前記ピッチ変更指示に応じて前記第１の楽音信
   号のピッチ変更を行う第２のピッチ変換手段を具備する
   ことを特徴とする請求項１に記載の携帯端末装置。
3. 【請求項３】 前記第１の楽音生成手段の出力と前記第
   ２の楽音生成手段の出力をミックスしてスピーカへ供給
   する合成回路を設けたことを特徴とする請求項１または
   請求項２に記載の携帯端末装置。
4. 【請求項４】 前記第１のピッチ変換手段は、 固定波形長で前記再生楽音信号を分割する分割手段と、 前記分割手段によって分割された再生楽音信号に窓関数
   を演算する演算手段と、 上記演算手段の演算結果として得られた信号について、
   前記ピッチ変更指示に基づいてアライメント処理を行っ
   た後、波形合成を行う波形合成手段と、 を具備することを特徴とする請求項１〜請求項３のいず
   れかの項に記載の携帯端末装置。
5. 【請求項５】 前記第１のピッチ変換手段は、前記再生
   楽音信号の音質を変更する音質変更手段を具備すること
   を特徴とする請求項１〜請求項４のいずれかの項に記載
   の携帯端末装置。
6. 【請求項６】 前記分割手段は、前記再生楽音信号のピ
   ッチを検出するピッチ検出手段を具備し、該ピッチ検出
   手段の検出結果に従って前記再生楽音信号の分割を行う
   ことを特徴とする請求項４に記載の携帯端末装置。
7. 【請求項７】 前記第２の楽音生成手段は、前記第１の
   ピッチ変換手段の出力データを記憶する記憶手段と、該
   記憶手段内のデータを繰り返し読み出す読み出し手段と
   をさらに具備し、前記第１のピッチ変換手段は前記再生
   楽音信号を一定データ量毎にピッチ変換して前記記憶手
   段に書き込むことを特徴とする請求項１〜請求項３のい
   ずれかの項に記載の携帯端末装置。