JP2017116899A - 音声入力によるカラオケ生成 - Google Patents

Abstract

【課題】最近の民生市場においては、その場で利用者の提供する音源とボイスキャンセル機能及び同期楽譜等の外部サービスを使用してカラオケを生成できるようになって来ており、対象楽曲は広がりを見せている。しかし、伴奏や同期歌詞が入手できても、ボーカル部の楽譜データがない為採点機能等において、満足のゆくカラオケ演奏にはなっていない。またこのような方法でカラオケ生成して歌唱した場合、業務用カラオケとしては著作権処理に問題がある。【解決手段】音声データからボーカル部を抽出し、ボーカル音程データを得ることにより採点機能を実現する。また演奏実績をログとしてセンタに送り、著作権処理に必要な演奏実績を管理する。【選択図】図１

Description

本発明は、音源情報と歌詞情報からカラオケを生成する技術に関するものであって特に歌唱採点のための楽譜情報を入手するための技術に関する。

カラオケの演奏には、カラオケ用に制作された伴奏、楽譜データを含む、いわゆるカラオケファイルを使用するのが一般的である。

しかし、カラオケ利用者が歌いたいすべての楽曲がカラオケ化されているわけではなく、新曲もカラオケ店にカラオケファイルとしてカラオケ店に供給されるまでには些かではあるがタイムラグがあるものである。

また、現在、カラオケ化されている楽曲は２０万曲ほどであるが、ＪＡＳＲＡＣに著作権登録されている楽曲は２００万曲あるといわれており、カラオケ用に制作されている楽曲はごく一部にすぎない。これは、カラオケの制作には多くの手間・費用がかかるため、制作側は利用者の希望の多い曲を優先してカラオケ化するため、マイナーな曲、マニアックな曲はなかなかカラオケ化されないことは市場原理としてある意味でやむを得ないと言える。

カラオケ化された楽曲には楽譜情報としてＭＩＤＩデータが作成されており、これを元にすることで歌唱の採点が比較的容易にできる。また現在のカラオケ機にはほとんどにピッチ検出機能があり、歌唱者の歌唱と楽譜情報であるＭＩＤＩデータを比較してピアノロール等で差分が表示されるものが多い。歌唱者は当該ピアノロールを見ながら歌唱を補正し正しい歌唱に近づけることができる。

従来、上記カラオケ歌唱は専用のカラオケ装置で行うことが一般的であったが、近年では、低額で聴き放題の楽曲配信サービスがあり、同期歌詞を入手できるサービスもある。
録音された楽曲から歌唱音声のみをキャンセルする機能を持った機器を利用してマイクとミキシングしてこれらを組み合わせることにより専用機器でなくてもカラオケを楽しむことができる。

一方、上記のような非専用機に対して、専用のカラオケ装置の機能は高度化することで差別化しようとしており、特に採点機能においてカラオケ用に制作されていない一般的な録音媒体によるカラオケ演奏が各社から提案されている。

特開平９−９０９７８号公報 特開２００１−３１２２８８号公報 特開２００６−１９５３８５号公報

特許文献１は、音楽情報から楽譜情報なしに曲構成を自動的に抽出する音楽情報の曲構成自動抽出方法を提供するため、１或は２以上の音響および音声を含む音楽情報からこの音楽情報における音声或はメロディを含んだ有声部分を、無声部分を使用して検出分離し、検出された有声部分から音楽の一区切りであるフレーズを検出して、検出されたフレーズに基づいて音楽情報を曲構成に分割する音楽情報の曲構成自動抽出方法を構成している。

特許文献２は、歌詞の文字情報が記録されていない記録媒体を使用する場合にも、該記録媒体に記録されている曲の歌詞を表示させることができ、どのような記録媒体であっても簡単にカラオケを行える音楽データ処理装置を提供することを目的に、音楽データが記録された記録媒体から音楽データを読み取って再生する際に、該音楽データを再生のための通常の読み取り速度よりも高速で間欠的に記録媒体から読み取るショックプルーフ手段を構成する第１の読み取り部と、第１の読み取り部により読み取られた音楽データに含まれているボーカル情報を音声認識して文字情報を認識する音声認識手段を含む第１のＤＳＰと、音声認識手段により認識された文字情報を出力する第１のディスプレイ及び第１のスピーカとを装備するというものである。

特許文献３は、カラオケ専用のデータを入手せずとも、市販の音楽ＣＤ等を用いて正確な歌詞表示がされるカラオケが楽しめる音楽再生装置を提供することを目的として、例えば市販の音楽ＣＤを音楽データとして記憶媒体に記憶し、各音楽データに対応する歌詞データを、インターネット等から入手して記憶媒体に記憶しておく。音楽データを再生する際に、再生対象の音楽データをボーカル信号と伴奏信号に分離し、分離したボーカル信号を母音認識して、母音列を抽出する。次に、当該抽出した母音列と、当該音楽データに対応する歌詞データの母音列と比較して歌唱位置を特定する。そして、伴奏信号の出力と共に、特定した歌唱位置に対応する歌詞を上記歌詞データから読み出して表示を行うというものである。

前述の特許文献１乃至３は、主に音のみの媒体から歌詞表示を行うことが中心であり、歌詞のテロップ処理に注目した出願であるが、文字だけでは歌唱の採点はできない。また、特許文献３にあるように市販のＣＤから伴奏とボーカルを分離する技術は知られている。

上記の出願にみられるように、最近ではその場で利用者の提供する音源と外部サービスを使用してカラオケを生成できるようになってきている。
しかし、伴奏や同期歌詞が入手できても、採点のためのボーカル部の楽譜データがなく、満足のゆくカラオケ演奏にはなっていない。
またこのようにカラオケ端末装置内で完結した形でカラオケ生成して歌唱した場合、業務用のカラオケシステムとしての著作権処理に必要な演奏実績の管理が行われないという問題がある。

この課題を解決するために本発明の請求項１は、
カラオケ端末装置がセンタサーバと接続され、さらに外部サービスから、楽曲名照会、同期歌詞の配信を受けることができるネットワークカラオケシステムにおいて、
システム内に音声データからボーカル部を取り出すボーカル信号抽出手段及びボーカル信号からピッチ検出するピッチ検出手段を持ち、ボーカル信号抽出手段により楽曲の音声データからボーカル信号を抽出し、ピッチ検出手段により当該ボーカル部からボーカル音程データを取得し、
前記カラオケ端末装置は、楽曲名照会手段と、同期歌詞取得手段、マイク音声のピッチ検出手段をもち、
さらに音声データからボーカル信号をキャンセルするボーカルキャンセル手段、
及び、再生実績をセンタサーバに通知する再生実績通知手段をもち、
前記カラオケ端末装置は、
音声データから、楽曲名を特定し、外部サービスから配信された同期歌詞とボーカル信号をキャンセルした伴奏を同期再生させてカラオケ演奏を行い、マイク音声をピッチ検出し、上記ボーカル音程データと比較することにより、歌唱採点を実現し、
再生実績をセンタサーバに通知することを特徴とするネットワークカラオケシステムである。

また本発明の請求項２は、
前記請求項１記載のネットワークカラオケシステムにおいて、
前記センタサーバは、
楽曲の音声データからボーカル部を取り出すボーカル信号抽出手段と、
ボーカル信号からピッチ検出するピッチ検出手段とを持ち、
ボーカル信号抽出手段により楽曲からボーカル信号を抽出し
ピッチ検出機能により当該ボーカル信号からボーカル音程データを取得し
蓄積し、
カラオケ端末装置は、再生時に当該センタサーバに蓄積されたボーカル音程データを取得して再生することを特徴とする請求項１記載のネットワークカラオケシステムである。

また、本発明の請求項３は、
前記請求項１記載のネットワークカラオケシステムにおいて、
前記カラオケ端末装置は、
請求項１記載の音声データからボーカル信号を抽出するボーカル信号抽出手段及びボーカル信号からピッチ検出するピッチ検出手段とを持ち、
上記楽曲からボーカル信号を抽出してピッチ検出するとともに、
マイクロホンから入力された歌唱音声をピッチ検出して、それぞれを比較することにより
歌唱採点機能を実現することを特徴とする請求項１記載のネットワークカラオケシステムである。

これにより利用者が入手した楽曲を、その場で歌唱採点可能な形でカラオケ生成して楽しむことができると同時に、カラオケ楽曲演奏に係る著作権処理に必要な演奏実績を管理することができる。

本発明の請求項３の実施例に係るシステム構成図。 本発明の請求項２の実施例に係るシステム構成図。 本発明の請求項２の実施例に係るセンタサーバとのシーケンスチャートを示した説明図。

図１は、本発明の請求項３の実施例に係る構成図である。
外部から入力される同期歌詞データベース５と音源３を元に、音源３からボーカルキャンセル２４を行い音声出力するとともに、音源３から曲名照会用データ抽出１４を行い楽曲データベース４から曲名を入手し、同期歌詞データベース５から歌詞を得て歌詞表示３１を行い、同時にボーカル抽出２５によりピッチ検出２６と、マイクロホン２３から入力される歌唱者の歌唱をピッチ検出２７を行い、ピッチ比較２８を行って、採点表示２９を実現する。
ここで、３３が請求項３においてカラオケ端末装置で行う処理である。

また、図２は本発明の請求項２に係るシステム構成図であり、ここでは３４がカラオケ端末装置の機能であり、３２がセンタサーバの機能である。

本発明の請求項２の実施例に係るシーケンスを図３で示す。
利用者はカラオケ端末装置２において、音源３より音声データ入力６が行われる。
音声データ入力６を受けた利用者は楽曲データベース４に楽曲を問い合わせ、取得した楽曲名８をセンタサーバ１へ送るとともに、歌詞を得るために同期歌詞データベース５にも楽曲名８を送る。

楽曲名８をうけとったセンタサーバ１は、予め蓄積されているボーカル楽譜データ１３をカラオケ端末装置２へ送信する。

一方、カラオケ端末装置では、音声データ入力６で入力された楽曲からボーカルをキャンセルして伴奏のみのデータを抽出し、さらに同期歌詞データベース５より歌詞データ１５の配信を受ける。

これにより、カラオケ端末装置２は、カラオケの伴奏データ、ボーカル楽譜データ１３、歌詞データ１５が揃い、採点可能なカラオケ楽曲が生成される。

最後にサーバに対してログ報告１６をすることにより、センタサーバ１において外部サービスの利用履歴を管理することができる。

これによって、利用者が歌唱したいがまだカラオケとして登録されていない楽曲をカラオケ化した場合においても、採点まで行うことができ、カラオケ楽曲演奏に係る著作権処理に必要な演奏実績を管理できる。

１・・・センタサーバ
２・・・カラオケ端末装置
３・・・音源
４・・・楽曲データベース
５・・・同期歌詞データベース
６・・・楽曲配信
７・・・曲名問い合わせ
８・・・楽曲名
１０・・楽曲入力
１２・・ピッチ検出及びボーカル楽譜データ比較
１３・・ボーカル音程データ
１４・・楽曲照会用データ抽出
１５・・歌詞データ
１６・・ログ報告
２３・・マイクロホン
２４・・ボーカルキャンセル
２５・・ボーカル抽出
２６・・ピッチ検出
２７・・ピッチ検出
２８・・ピッチ比較
２９・・採点表示
３０・・音声出力
３１・・歌詞表示
３２・・請求項１におけるセンタサーバ機能
３３・・請求項３に係るカラオケ端末機能
３４・・請求項１に係るカラオケ端末機能
３５・・ボーカル音程データ

Claims (3)

1. カラオケ端末装置がセンタサーバと接続され、さらに外部サービスから、楽曲名照会、同期歌詞の配信を受けることができるネットワークカラオケシステムにおいて、
   システム内に音声データからボーカル部を取り出すボーカル信号抽出手段及びボーカル信号からピッチ検出するピッチ検出手段を持ち、ボーカル信号抽出手段により楽曲の音声データからボーカル信号を抽出し、ピッチ検出手段により当該ボーカル部からボーカル音程データを取得し、
   前記カラオケ端末装置は、楽曲名照会手段と、同期歌詞取得手段、マイク音声のピッチ検出手段をもち、
   さらに音声データからボーカル信号をキャンセルするボーカルキャンセル手段、
   及び、再生実績をセンタサーバに通知する再生実績通知手段をもち、
   前記カラオケ端末装置は、
   音声データから、楽曲名を特定し、外部サービスから配信された同期歌詞とボーカル信号をキャンセルした伴奏を同期再生させてカラオケ演奏を行い、マイク音声をピッチ検出し、上記ボーカル音程データと比較することにより、歌唱採点を実現し、
   再生実績をセンタサーバに通知することを特徴とするネットワークカラオケシステム。
2. 前記請求項１記載のネットワークカラオケシステムにおいて、
   前記センタサーバは、
   楽曲の音声データからボーカル部を取り出すボーカル信号抽出手段と、
   ボーカル信号からピッチ検出するピッチ検出手段とを持ち、
   ボーカル信号抽出手段により楽曲からボーカル信号を抽出し
   ピッチ検出機能により当該ボーカル信号からボーカル音程データを取得し蓄積し、
   カラオケ端末装置は、再生時に当該センタサーバに蓄積されたボーカル音程データを取得して再生することを特徴とする請求項１記載のネットワークカラオケシステム。
3. 前記請求項１記載のネットワークカラオケシステムにおいて、
   前記カラオケ端末装置は、
   請求項１記載の音声データからボーカル信号を抽出するボーカル信号抽出手段及びボーカル信号からピッチ検出するピッチ検出手段とを持ち、
   上記楽曲からボーカル信号を抽出してピッチ検出するとともに、
   マイクロホンから入力された歌唱音声をピッチ検出して、それぞれを比較することにより
   歌唱採点機能を実現することを特徴とする請求項１記載のネットワークカラオケシステム。

Images