JP2018519536A - オーディオ処理方法、装置、およびシステム - Google Patents

Abstract

【課題】本発明は、他の人と一緒に歌うカラオケ体験を実現できるオーディオ処理方法、装置、およびシステムを提供する。
【解決手段】本発明のオーディオ処理方法は、歌のオーディオファイルおよび歌詞ファイルを取得するステップと、歌詞ファイルの第１歌詞部分の表示時間中に、オーディオファイルを再生してユーザーのオーディオデータを録音するステップと、歌詞ファイルの第２歌詞部分の表示時間中にオーディオファイルを再生するステップと、ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合するステップとを備えている。
【選択図】図１

Description

本願は、２０１５年０５月２７日付で中華人民共和国国家知識産権局に提出された中国特許出願２０１５１０２７８９１１．５（発明の名称“カラオケ処理方法および装置”）と、２０１５年０５月２７日付で中華人民共和国国家知識産権局に提出された中国特許出願２０１５１０２８００８７．７（発明の名称“カラオケ処理方法、装置、およびシステム”）と、２０１５年０５月２７日付で中華人民共和国国家知識産権局に提出された中国特許出願２０１５１０２８０４９２．９（発明の名称“カラオケ処理方法およびシステム”）とに基づく優先権を主張しており、ここでこれらの出願に言及することで、これらの出願の全内容が本明細書に組み込まれているとみなされる。

本発明は、オーディオ処理の分野、特にオーディオ処理方法、オーディオ処理装置、およびオーディオ処理システムに関する。

生活の質の向上に伴い、豊富な機能を有するカラオケアプリケーションが、人々の日常生活に徐々に浸透している。

カラオケアプリケーションは、音楽プレイヤーと録音ソフトウェアを組み合わせたものであり、原曲オーディオを再生し、ユーザーの歌を録音し、録音された歌を伴奏オーディオと混合させて音楽ファイルを取得することができる。さらに、ユーザーがこの音楽ファイルをインターネット上にアップロードすることで、多くの人が録音された歌を聞くことができる。

一般的に、ユーザーが歌を録音する際、カラオケアプリケーションは、ユーザーの歌の録音用の伴奏として伴奏オーディオファイルをユーザーに提供する。しかし、これではユーザーは、一人でしかカラオケ体験できず、他の人（例えばスター）と一緒に歌うカラオケ体験ができない。

本発明は、他の人と一緒に歌うカラオケ体験を実現するための、実施形態に係るオーディオ処理方法、オーディオ処理装置、およびオーディオ処理システムを提供する。

本発明の実施形態に係るオーディオ処理方法は、歌のオーディオファイルおよび歌詞ファイルを取得するステップと、
歌詞ファイルの第１歌詞部分の表示時間中に、オーディオファイルを再生してユーザーのオーディオデータを録音するステップと、
歌詞ファイルの第２歌詞部分の表示時間中にオーディオファイルを再生するステップと、
ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合するステップとを備えている。

本発明の実施形態に係るオーディオ処理装置は、少なくとも１つのプロセッサと、プログラム命令を記憶するメモリとを備えており、このプログラム命令は、プロセッサによって実行されると、オーディオ処理装置に本発明のいずれかの実施形態に係る方法を実行させることができる。

本発明の実施形態に係るオーディオ処理システムは、サーバーと、少なくとも１つのクライアント装置を備えており、サーバーおよび／またはクライアント装置は、本発明のいずれかの実施形態に係る方法を実行するように構成されている。

本発明の実施形態に係るオーディオ処理装置は、歌のオーディオファイルおよび歌詞ファイルを取得するように構成された第１取得ユニットと、
歌詞ファイルの第１歌詞部分及び第２歌詞部分の表示時間中にオーディオファイルを再生し、歌詞ファイルの第１歌詞部分の表示時間中にユーザーのオーディオデータを録音するように構成された第１処理ユニットと、
ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合するように構成された第１混合ユニットとを備えている。

従来技術と比較すると、本発明の実施形態では、第１歌詞部分の表示時間中に、オーディオファイル（例えば伴奏オーディオファイル）が再生されてユーザーのオーディオデータが録音され、第２歌詞部分の表示時間中にオーディオファイル（例えば原曲オーディオファイル）が再生され、対象の歌が、第１歌詞部分の表示時間中にユーザーによって歌われ、第２歌詞部分の表示時間中に他の人またはスターによって歌われるので、他の人またはスターと一緒に歌うカラオケ体験を得ることができる。

本発明の実施形態に係るオーディオ処理方法を示す図 本発明の別の実施形態に係るオーディオ処理方法を示す図 本発明のさらに別の実施形態に係るオーディオ処理方法を示す図 本発明のさらに別の実施形態に係るオーディオ処理方法を示す図 本発明のさらに別の実施形態に係るオーディオ処理方法を示す図 本発明の実施形態に係るオーディオ処理装置を示す図 本発明の別の実施形態に係るオーディオ処理装置を示す図 本発明のさらに別の実施形態に係るオーディオ処理装置を示す図 本発明の実施形態に係るオーディオ処理システムを示す図 本発明の別の実施形態に係るオーディオ処理システムを示す図

本発明は、他の人（例えばスター）と一緒に歌うカラオケ体験を実現するための、以下に詳細に説明する実施形態に係るオーディオ処理方法、オーディオ処理装置、およびオーディオ処理システムを提供する。

以下、本発明の実施形態に係る技術的解決策について、図面を参照して明確かつ十分な形で記載する。以下に記載する実施形態は、本発明の実施形態のすべてではなく一部にすぎない。ここで開示されている実施形態に基づいて、当業者が創造性を発揮せずに到達することができる他のすべての実施形態が本発明の保護の範囲に含まれる。

本願の明細書、クレーム、図面において「第１」、「第２」、「第３」、「第４」などの用語が存在する場合、これらの用語は類似の複数の対象を区別するためのものであり、これらの順番を特定するものではない。すなわち以下に記載する実施形態において、序数によって示されるデータは必要に応じて、図面に示され、明細書に記載されている順番とは異なる順番で実施してもよい。また、「含む」（ｉｎｃｌｕｄｅ）、「備える」（ｃｏｍｐｒｉｓｅ）という用語と、これら用語のすべての変形は、明確に記載されていない他の要素を排除するものではないことを意味する。例えば、工程、方法、システム、製品、装置などが一連のステップまたはユニットを含むという記載は、必ずしもここに記載されているステップまたはユニットに限定されるという意味ではなく、ここには記載されていない他のステップまたはユニット、あるいは、工程、方法、製品、装置に本来備わっている他のステップまたはユニットも包含する可能性がある。

本発明の実施形態に係るオーディオ処理方法は、歌のオーディオファイルと歌詞ファイルを取得するステップと、歌詞ファイルの第１歌詞部分の表示時間中にオーディオファイルを再生して、ユーザーのオーディオデータを録音するステップと、歌詞ファイルの第２歌詞部分の表示時間中にオーディオファイルを再生するステップと、ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合するステップとを備えている。歌詞ファイルの第２歌詞部分の表示時間中にオーディオファイルを再生する際、ユーザーのオーディオデータを録音してもよいし録音しなくてもよいが、歌詞ファイルの第２歌詞部分の表示時間中に録音されたユーザーのオーディオデータは、混合処理や合唱ファイル形成時には使用されない。携帯電話、パソコン（ＰＣ、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）および／またはタブレットコンピュータを含むがこれらに限定されないコンピューティング装置によって、本発明の実施形態に係るオーディオ処理方法を実行することができる。また、システムが備えるサーバーとクライアント装置の一方によって、または、サーバーとクライアント装置を協働させることで、本発明の実施形態に係るオーディオ処理方法を実行することができる。

本発明の実施形態に係るオーディオ処理方法は、例えば、カラオケ処理方法からなるが、他の用途で使用されてもよい。また、本発明の原理から逸脱しない範囲で、歌詞ファイルを、他のいずれかのテキストファイルまたは画像と置き換えてもよく、また歌のオーディオを、他のオーディオと置き換えてもよい。

クライアント装置には、携帯電話、パソコン（ＰＣ、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）および／またはタブレットコンピュータなどが含まれる。実際の用途において、これらのクライアント装置を介してウェブページにログインしたり、これらのクライアント装置にプログラムをロードしたり、種々のモバイルプラットフォームから提供されるアプリケーション（Ａｐｐ、Ａｐｐｌｉｃａｔｉｏｎ）を使用してカラオケサービスにアクセスすることができる。

図１は、本発明の実施形態に係るオーディオ処理方法を示す。本実施形態では、オーディオ処理方法を実行する主要素としてクライアント装置を挙げているが、他の主要素によって、本実施形態のオーディオ処理方法を実行してもよい。

ステップ１０１では、クライアント装置が、ユーザーのリクエストを受信する。

例えば、ユーザーは、カラオケ用の歌を選択する際、カラオケ処理をスタートさせるために、カラオケリクエストをクライアント装置に入力する必要がある。

ステップ１０２では、クライアント装置が、ユーザーのリクエストに基づいて、歌のオーディオファイルと、対応する歌詞ファイルを取得する。歌のオーディオファイルは、例えば、歌の伴奏オーディオファイルや原曲オーディオファイル等を含むことができる。すなわち、クライアント装置によって歌のオーディオファイルを取得するステップは、例えば、クライアント装置によって歌の伴奏オーディオファイルと原曲オーディオファイル等を取得するステップであってもよい。

クライアント装置は、ユーザーによって入力されたカラオケリクエストを受信すると、このカラオケリクエストに基づいてユーザーが選択した歌を決定し、歌の伴奏オーディオファイル、原曲オーディオファイル、および対応する歌詞ファイルを取得することができる。クライアント装置は、例えば、サーバーから、歌の伴奏オーディオファイル、原曲オーディオファイル、および対応する歌詞ファイルを取得することができる。

伴奏オーディオファイルと原曲オーディオファイルは、例えば、生のオーディオデータであってもよい。実際の用途において、取得した伴奏オーディオファイルまたは原曲オーディオファイルがＭＰ３などの圧縮形式のオーディオデータである場合、最初に、サーバーが圧縮形式のオーディオデータを展開して生のオーディオデータにする。

歌詞ファイルは、例えば、歌詞の表示時間を識別する時間情報を含むことができ、この時間情報に基づいて、歌詞ファイルが、伴奏オーディオファイルおよび原曲オーディオファイルと同期される。例えば、歌詞ファイルは、ファイルに含まれるタイムスタンプ（ｔｉｍｅｓｔａｍｐ）を介して歌詞の表示時間を識別するＬＲＣ歌詞ファイルであってもよい。

ステップ１０３では、クライアント装置が、歌詞ファイルの第１歌詞部分と第２歌詞部分の表示時間中にオーディオファイルを再生し、歌詞ファイルの第１歌詞部分の表示時間中にユーザーのオーディオデータを録音する。

本発明の実施形態によると、歌詞ファイルの第２歌詞部分の表示時間中、オーディオファイルは再生されるが、例えば、ユーザーのオーディオデータを録音するマイクロホンのスイッチを切ることで、ユーザーのオーディオデータは録音されない。本発明の別の実施形態によると、歌詞ファイルの第２歌詞部分の表示時間中、オーディオファイルの再生とユーザーのオーディオデータの録音が同時に行われるが、歌詞ファイルの第２歌詞部分の表示時間中に録音されたユーザーのオーディオデータは、混合処理や合唱ファイル形成時には除去される（又は、使用されない）。

本発明の実施形態によると、取得された歌のオーディオファイルが、歌の伴奏オーディオファイルと原曲オーディオファイルを含む場合、伴奏オーディオファイルは、歌詞ファイルの第１歌詞部分の表示時間中に再生され、原曲オーディオファイルは、歌詞ファイルの第２歌詞部分の表示時間中に再生される。

クライアント装置は、オーディオファイルの再生とユーザーのオーディオデータの録音を行う前に、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得するように構成することができる。

クライアント装置は、以下に例示する複数の方法で、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得するように構成することができる。

第１の方法では、クライアント装置は、ステップ１０３を実行する前に、ユーザーの分割指示を受信し、この分割指示に基づいて歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得する。

本発明の実施形態では、複数の歌詞分割方法をクライアント装置に予め設定しておき、複数の歌詞分割方法に基づいて、歌詞ファイルを２つの歌詞部分に分割することができる。具体例を以下に示す。

（１）クライアント装置が、歌詞ファイル内の時間情報に基づいて、歌詞ファイルの段落情報を決定し、この段落情報に基づいて、歌詞ファイルを２つの歌詞部分に分割する。

実施形態では、歌詞ファイルの時間情報は、対応する歌の各段落に対応する表示時間の始点と終点を反映するように構成することができる。すなわち、クライアント装置は、時間情報に基づいて、歌詞ファイルに含まれる段落の数と、各段落に対応する表示時間の始点および終点とを決定するように構成することができる。上記の段落情報に基づいて歌詞ファイルを分割する際、サーバーが、少なくとも１つの所定の段落を一方の歌詞部分、残りの段落を他方の歌詞部分と決定するように構成することができる。各歌詞部分の段落の数は限定されず、かつ、どの段落でも一方の歌詞部分または他方の歌詞部分とすることができる。例えば、段落情報の構成は以下のように表すことができる。
typdef struct section_info {
int section_id; //段落id
int start_ms; //開始時間ms
int end_ms; //終了時間ms
int role_id; //役割id
} Ssection, *PSection;

上記の役割（ｒｏｌｅ）ｉｄは、歌の対応するパートが、女性と男性のどちらによって歌われるのかを示している。女性が歌うパートに対応する段落を一方の歌詞部分、男性が歌うパートに対応する段落を他方の歌詞部分に設定して、男女の役割に基づいて歌詞を分割し、互いに異なる役割で構成された２つの歌詞部分を取得することが好ましい。

（２）クライアント装置が、歌詞ファイルのバース部分（主歌：ｖｅｒｓｅ ｐａｒｔ）とリフレイン部分（副歌：ｒｅｆｒａｉｎ ｐａｒｔ）を決定した上で、バース部分を一方の歌詞部分、リフレイン部分を他方の歌詞部分と決定する。

実施形態では、クライアント装置が、リフレインとバースに基づいて歌詞ファイルを２つの歌詞部分に分割して、バース部分に対応する一方の歌詞部分と、リフレイン部分に対応する他方の歌詞部分を取得するように構成することができる。

（３）クライアント装置が、カスタムテンプレートに基づいて歌詞ファイルを分割して、２つの歌詞部分を取得する。

実施形態では、クライアント装置が、歌詞を分割するための複数のカスタムテンプレートを予め設定しておき、次に、これらのカスタムテンプレートに基づいて歌詞ファイルを分割して２つの歌詞部分を取得する。例えば、歌詞の中から決まったＮ個のセンテンスまたはＮ個のワードを一方の歌詞部分として設定することができる。カスタムテンプレートを設定する方法はこれに限定されず、当業者は、実際の状況に基づいて種々のカスタムテンプレートを設定してもよい。

クライアント装置は、ユーザーの分割指示を受信すると、ユーザーの分割指示および対応の歌詞分割方法に基づいて歌詞ファイルを分割して、第１歌詞部部分及び第２歌詞部分を取得する。実際の用途において、ユーザーが、分割された２つの歌詞部分から選択して、あるパートを第１歌詞部分または第２歌詞部分に指定できる選択モジュールをクライアント装置に設けてもよい。例えば、ユーザーは、選択モジュールを介して、男性が歌うパートをユーザー自身が歌う第１歌詞部分として、または、男性が歌うパートを他の人またはスターが歌う第２歌詞部分として選択することができる。

クライアント装置は、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得した後、第１歌詞部分の表示時間中に伴奏オーディオファイルを再生してユーザーのオーディオデータを録音し、第２歌詞部分の表示時間中に原曲オーディオファイルを再生するように構成することができる。

第２の方法では、クライアント装置は、（ユーザーの）音声が入力されているか否かに基づいて、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得する。

具体的に言うと、クライアント装置は、音声が入力されているか否かを検知し、音声の入力があると検知した場合、それに対応する表示時間の歌詞ファイルの歌詞部分を第１歌詞部分として決定した上で、伴奏オーディオファイルを再生し、マイクロホンを入力モードに切替えてユーザーのオーディオデータを録音する。また、クライアント装置は、音声の入力がないと検知した場合、それに対応する表示時間の歌詞ファイルの歌詞部分を第２歌詞部分として決定した上で、原曲オーディオファイルを再生する。この場合、クライアント装置は、第１歌詞部分と第２歌詞部分を取得した後で、第１歌詞部分の表示時間中に伴奏オーディオファイルを再生してユーザーのオーディオデータを録音し、第２歌詞部分の表示時間中に原曲オーディオファイルを再生するという一連の手順の代わりに、歌詞ファイルの分割と、再生や録音といった操作を同時に行う。

本発明の実施形態では、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得する方法を数例のみを挙げて説明しているが、実際の用途において、クライアント装置は、上記の分割方法を組み合わせてもよく、或いは、他の分割方法を用いてもよく、分割方法は限定されない。

クライアントは、クライアント装置上に表示される歌詞のどの部分をユーザー自身と、他の人／スターがそれぞれ歌うのかユーザーが識別／判断できるように構成されてもよい。すなわち、実施形態では、クライアント装置上に表示される第１歌詞部分を第１識別子で識別し、クライアント装置上に表示される第２の歌詞部分を第２識別子で識別するのが好ましい。これらの識別子は色識別子であってもよい。この場合、例えば、第１歌詞部分をある色で表示し、第２歌詞部分を第１歌詞部分の色とは別の色で表示する。或いは、これらの識別子は強調表示識別子であってもよい。この場合、例えば、第１歌詞部分を強調表示し、第２歌詞部分は強調表示しない。実施形態では、識別子の種類は上記に限定されず、当業者は、必要に応じて上記以外の識別子を利用してもよい。

ステップ１０４では、クライアント装置が、ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合して、混合オーディオファイルを取得する。

本発明の実施形態によると、クライアント装置は、ユーザーのオーディオデータ（例えば、マイクロホンで集められたオーディオデータ）を取得した後、ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合して、混合オーディオファイルを取得する。このように、混合オーディオファイルには、ユーザーの音声および対応の伴奏を含む、ユーザーが歌うパートのオーディオデータをすべて反映させることができる。

上記の混合処理は一般的な混合アルゴリズムを用いて行うことができる。例えば、対応するサンプリング点のデータを直接加算して和を取得し、その和を２で割ることによって行う。

オーディオファイルが、伴奏オーディオファイルと原曲オーディオファイルを含む場合、クライアント装置は、第１歌詞部分の表示時間中に、ユーザーのオーディオデータを伴奏オーディオファイルのオーディオデータと混合する。

本発明の実施形態では、クライアント装置は、ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合した後、第１歌詞部分の表示時間中に、混合オーディオファイルを出力（または選択）し、第２歌詞部分の表示時間中に、合唱ファイルを形成するために、オーディオファイルを出力（または選択）することができる。尚、オーディオファイルが伴奏オーディオファイルと原曲オーディオファイルを含む場合、合唱ファイルを形成するために、第２歌詞部分の表示時間中には、原曲オーディオファイルを出力（または選択）する。

合唱ファイルを形成する過程において、第１歌詞部分の表示時間中に、対応する時間間隔の混合オーディオファイルのオーディオデータが取得され、第２歌詞部分の表示時間中に、対応する時間間隔の原曲オーディオファイルのオーディオデータが取得され、次に、各オーディオデータが切替点において、時系列順に１つのオーディオファイルに統合されて合唱ファイルが形成される。また、合唱ファイルを形成する過程において、対象オーディオファイルのオーディオデータが出力される時間と、原曲オーディオファイルのオーディオデータが出力される時間は、歌詞の表示時間に基づいて決定される。このように、取得された合唱ファイルに関しては、第１歌詞部分の表示時間中に、ユーザーが歌った対応する時間間隔のパートが出力され、第２歌詞部分の表示時間中に、対応する時間間隔の原曲パートが出力される。

クライアント装置は、合唱ファイルのオーディオデータに対し、その切替点において平衡処理（ｂａｌａｎｃｅ）を行うように構成することができる。切替点とは、第１歌詞部分の表示時間から第２歌詞部分の表示時間に切り替わる時点、または、第２歌詞部分の表示時間から第１歌詞部分の表示時間に切り替わる時点を意味するが、２つのオーディオファイル同士を接合（ｓｐｌｉｃｅ）することで混合オーディオファイルが形成されるため、この切替点（接合点）において平衡処理を行うことで、混合オーディオファイルのオーディオ品質を確保することができる。実施形態では、平衡処理を行う方法として、平均フィルタ処理（ｍｅａｎ ｆｉｌｔｅｒｉｎｇ）や重ね合せ処理（ｓｕｐｅｒｐｏｓｉｔｉｏｎ）といった従来のオーディオ接合技術を用いることができる。

実施形態では、ユーザーは、クライアント装置を介して合唱ファイルをネットワーク上にアップロードして、他の人またはスターと一緒に歌う合唱を共有することができる。

クライアント装置が取得する歌のオーディオファイルは、上で説明したように、歌の伴奏オーディオファイルと原曲オーディオファイルを含んでいてもよく、或いは、サーバーによって送信され、クライアント装置によって受信される対象オーディオファイルを含んでいてもよい。また、クライアント装置が取得する歌の歌詞ファイルは、サーバーによって送信され、クライアント装置によって受信される対象歌詞ファイルを含んでいてもよい。サーバーによって、対象オーディオファイルおよび／または対象歌詞ファイルを送信するステップについては、以下に詳細に説明する。クライアント装置は、サーバーによって送信された対象オーディオファイルおよび／または対象歌詞ファイルを受信する場合、ステップ１０３において歌詞ファイルを分割しない。

従来技術と比較すると、本発明の実施形態では、第１歌詞部分の表示時間中にのみ、伴奏オーディオファイルの再生とユーザーのオーディオデータの録音が行われ、第２歌詞部分の表示時間中に、原曲オーディオファイルが再生される。したがって、対象の歌が、第１歌詞部分の表示時間中にユーザーによって歌われ、第２歌詞部分の表示時間中に他の人またはスターによって歌われるため、ユーザーは、他の人またはスターと一緒に歌うカラオケ体験を得ることができる。またユーザーは、本発明の実施形態に係るクライアント装置を介して、共通の伴奏オーディオファイルを用いて、他の人またはスターと一緒に歌うカラオケ体験を得ることができる。

図２は、本発明の別の実施形態に係るオーディオ処理方法を示す。本実施形態では、オーディオ処理方法を実行する主要素としてサーバーを挙げているが、他の主要素によって、本実施形態のオーディオ処理方法を実行してもよい。

ステップ２０１では、サーバーが、歌の伴奏オーディオファイル、原曲オーディオファイル、および対応の歌詞ファイルを取得する。歌の伴奏オーディオファイル、原曲オーディオファイル、および対応の歌詞ファイルについては上で詳細に説明しているので、ここでは繰り返して説明しない。

ステップ２０２では、サーバーが、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得し、歌詞分割情報を形成する。

サーバーは、以下に例示する複数の方法で、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得するように構成することができる。第１の方法では、サーバーが、時間情報に基づいて歌詞ファイルの段落情報を決定し、次に、この段落情報に基づいて、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得する。

第２の方法では、サーバーが、歌詞ファイルのバース部分とリフレイン部分を決定し、次に、バース部分を第１歌詞部分、リフレイン部分を第２歌詞部分と決定するか、或いは、リフレイン部分を第１歌詞部分、バース部分を第２歌詞部分と決定する。

第３の方法では、サーバーが、カスタムテンプレートに基づいて歌詞ファイルを分割して、第１歌詞部分と第２歌詞部分を取得する。

歌詞ファイルを分割する複数の方法については上で説明しているので、ここでは詳細に説明しない。複数の方法の詳細な説明については、ステップ１０３に関連する説明を参照されたい。

サーバーは、ステップ２０２を実行する前に、クライアント装置によって送信され、ユーザーが指定する分割方法を示す分割指示を受信した上で、この分割指示に基づいて、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得するように構成することができる。このように、ユーザーは、歌詞分割方法を選択し、自身が希望する形で第１歌詞部分と第２歌詞部分を取得することができる。

実施形態では、サーバーは、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得した後、その分割結果を記録して対応の歌詞分割情報を形成する。歌詞分割情報は、第１歌詞部分を識別する識別情報を含んでいる。歌詞は２つの歌詞部分からなるので、サーバーまたはクライアント装置は、第１歌詞部分を識別する識別情報を取得すると、第２歌詞部分も識別することができる。勿論、歌詞分割情報は、第２歌詞部分を識別する識別情報を含んでいてもよい。

ステップ２０３では、サーバーが、第１歌詞部分の表示時間中に伴奏オーディオファイルを出力（または選択）し、第２歌詞部分の表示時間中に原曲オーディオファイルを出力（または選択）して、対象オーディオファイルを形成する。

対象オーディオファイルを形成する過程において、第１歌詞部分の表示時間中に、対応する時間間隔の伴奏オーディオファイルのオーディオデータが取得され、第２歌詞部分の表示時間中に、対応する時間間隔の原曲オーディオファイルのオーディオデータが取得され、次に、各オーディオデータが切替点において、時系列順に１つのオーディオファイルに統合されて対象オーディオファイルが形成される。また、対象オーディオファイルを形成する過程において、伴奏オーディオファイルのオーディオデータが出力される時間と、原曲オーディオファイルのオーディオデータが出力される時間は、歌詞の表示時間に基づいて決定される。したがって、対象オーディオファイルを再生すると、第１歌詞部分の表示時間中に、対応する時間間隔の伴奏オーディオが出力され、第２歌詞部分の表示時間中に、対応する時間間隔の原曲オーディオが出力される。すなわち、対象オーディオファイルは、伴奏オーディオと原曲オーディオ間で自動的に切り替わることができる。

上記方法は、サーバーによって、対象オーディオファイルのオーディオデータに対し、その切替点において平衡処理を行うステップをさらに含んでいてもよい。切替点とは、第１歌詞部分の表示時間から第２歌詞部分の表示時間に切り替わる時点、または、第２歌詞部分の表示時間から第１歌詞部分の表示時間に切り替わる時点を意味するが、２つのオーディオファイル同士を接合することで対象オーディオファイルが形成されるため、この切替点（接合点）において平衡処理を行うことで、対象オーディオファイルのオーディオ品質を確保することができる。実施形態では、平衡処理を行う方法として、平均フィルタ処理や重ね合せ処理といった従来のオーディオ接合技術を用いることができる。

ステップ２０４では、サーバーが、対象オーディオファイルと対象歌詞ファイルをクライアント装置に送信する。

サーバーが、クライアント装置によって送信されたリクエスト（例えば、カラオケリクエスト）を受信すると、対象オーディオファイルと対象歌詞ファイルをクライアント装置に送信して、クライアント装置が、対象オーディオファイルを伴奏オーディオとして、対象歌詞ファイルを歌詞として再生することでカラオケサービスをユーザーに提供する。対象歌詞ファイルは、歌詞分割情報を含む歌詞ファイルに基づいて取得される。実施形態では、クライアント装置が、対象オーディオデータを再生すると、第１歌詞部分の表示時間中に、対応する時間間隔の伴奏オーディオを出力し、第２歌詞部分の表示時間中に、対応する時間間隔の原曲オーディオを出力することで、対象の歌が、第１歌詞部分の表示時間中にユーザーによって歌われ、第２歌詞部分の表示時間中に他の人（またはスター）によって歌われるため、他の人またはスターと一緒に歌うカラオケ体験を得ることができる。実施形態では、サーバーが、対象オーディオファイルと対象歌詞ファイルを形成し、対象オーディオファイルと対象歌詞ファイルをクライアント装置に送信することで、クライアント装置のロジックを変更せずに、他の人またはスターと一緒に歌うカラオケ体験を得ることができる。

従来技術と比較すると、本発明の実施形態では、サーバーからクライアント装置に送信される対象オーディオファイルは、第１歌詞部分の表示時間に対応する伴奏オーディオと、第２歌詞部分の表示時間に対応する原曲オーディオとからなる。伴奏オーディオファイルがクライアント装置に直接提供される従来技術と比較すると、実施形態では、対象の歌が、第１歌詞部分の表示時間中にユーザーによって歌われ、第２歌詞部分の表示時間中に他の人またはスターによって歌われるので、他の人またはスターと一緒に歌うカラオケ体験を得ることができる。

図３は、ステップ３０１~３０７を備えた本発明の別の実施形態に係るオーディオ処理方法を示す。

ステップ３０１では、サーバーが、歌の伴奏オーディオファイル、原曲オーディオファイル、および歌詞ファイルを取得する。

ステップ３０２では、サーバーが、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得する。

ステップ３０３では、サーバーが、第１歌詞部分の表示時間中に伴奏オーディオファイルを出力し、第２歌詞部分の表示時間中に原曲オーディオファイルを出力して、対象オーディオファイルを形成する。

ステップ３０４では、サーバーが、対象オーディオファイルと対象歌詞ファイルをクライアント装置に送信する。

ステップ３０１~３０４は、図２の実施形態のステップ２０１~２０４と類似しているため、ここでは詳細に説明しない。

ステップ３０５では、クライアント装置が、対象オーディオファイルと対象歌詞ファイルを再生する。

具体的に言うと、クライアント装置が、サーバーによって送信される対象オーディオファイルと対象歌詞ファイルを受信した後、クライアント装置内のカラオケアプリケーションが、対象オーディオファイルと対象歌詞ファイルを再生する。対象オーディオファイルは伴奏オーディオとして再生される。

ステップ３０６では、クライアント装置が、歌詞分割情報に基づいて、第１歌詞部分の表示時間中にユーザーのオーディオデータを録音する。

実施形態では、クライアント装置は、歌詞分割情報に基づいて、第１歌詞部分の表示時間と第２歌詞部分の表示時間を識別し、第１歌詞部分の表示時間中にユーザーのオーディオデータを録音し、第２歌詞部分の表示時間中に録音を停止することが可能であり、録音停止時、クライアント装置が再生する対象オーディオファイルは、他の人またはスターによって歌われる。したがって、対象の歌が、第１歌詞部分の表示時間中にユーザーによって歌われ、第２歌詞部分の表示時間中に他の人またはスターによって歌われるので、他の人またはスターと一緒に歌うカラオケ体験を得ることができる。

ステップ３０７では、クライアント装置が、ユーザーのオーディオデータを、対象オーディオファイルと混合して、合唱ファイルを取得する。

実施形態では、取得された合唱ファイルは、第１歌詞部分の表示時間中にユーザーが歌うオーディオデータと、第２歌詞部分の表示時間中に他の人またはスターが歌うオーディオデータ（すなわち、対応する時間間隔の原曲オーディオファイルのオーディオデータ）とからなる。実施形態では、ユーザーは、クライアント装置を介して合唱ファイルをネットワーク上にアップロードして、他の人またはスターと一緒に歌う合唱を共有することができる。

図４は、ステップ４０１~４０５を備えた本発明の別の実施形態に係るオーディオ処理方法を示す。

ステップ４０１では、第１クライアント装置が、第１ユーザーの第１リクエストを受信する。

第１リクエストは、例えば、合唱開始の第１合唱リクエストであってもよい。例えば、実際の用途において、第１合唱リクエストに対応するボタンを、第１クライアント装置に設けて、第１ユーザーがこのボタンを押すと、第１クライアント装置が、第１合唱リクエストを受信するようにしてもよい。

ステップ４０２では、第１クライアント装置が、第１リクエストに基づいて、歌の伴奏オーディオファイルと歌詞ファイルをサーバーから取得し、伴奏オーディオファイルと歌詞ファイルの歌詞の一部に基づいて第１ユーザーが録音することで、第１録音ファイルを取得する。伴奏オーディオファイル、原曲オーディオファイル、および歌詞ファイルについては上で詳細に説明しているので、ここでは説明しない。

クライアント装置は、伴奏オーディオファイルと歌詞ファイルを取得した後、伴奏オーディオファイルと歌詞ファイルを再生する。第１ユーザーは、自身が歌う歌詞の部分として、歌詞のどの部分を選択してもよいが、勿論、歌詞のすべてを歌うわけではない。クライアント装置は、伴奏オーディオと歌詞ファイルの歌詞の一部に基づいて、第１ユーザーが歌う歌を録音して、第１録音ファイルを取得する。

ステップ４０３では、第１クライアント装置が、第１録音ファイルに基づいて第２歌詞部分を決定し、段落情報を形成する。

第２歌詞部分は、第１ユーザーが歌った歌詞部分を参照して決まる。第１クライアント装置は、第１録音ファイルに基づいて、第１ユーザーが歌った歌詞部分を識別し、対応する段落情報を形成する。段落情報は、第１ユーザーが歌った歌詞部分を記録するために、第２歌詞部分を識別する識別情報を含んでいる。

識別情報は、第２歌詞部分の表示時間、例えば、開始時間が１０秒、終了時間が１５秒からなる第２歌詞部分の表示時間を含んでいてもよい。或いは、識別情報は、第２歌詞部分を識別するセンテンス識別子、例えば、第２歌詞部分が第１センテンス、第３センテンス、および第５センテンスであると識別するセンテンス識別子を含んでいてもよい。第１クライアント装置が識別情報に基づいて第２歌詞部分を識別できるのであれば、識別情報の種類は上記に限定されない。

第１クライアント装置は、複数の方法で、第２歌詞部分を決定するように構成することができる。例えば、第１クライアント装置は、第１録音ファイル内の音声の有効性に基づいて、第１ユーザーが歌った歌詞部分を第２歌詞部分と決定するように構成することができる。

具体的に言うと、第１クライアント装置は、歌詞の一部分に対応する第１ユーザーの録音された音声が有効であるか否かを判断し、この音声が有効であると決定した場合、歌詞のこの部分を第２歌詞部分と決定する。

第１クライアント装置は、歌詞の上記部分に対応する第１ユーザーの録音された音声の音量が第１所定値より大きいか否か判断し、この音量が第１所定値より大きいと決定した場合、上記の録音された音声が有効であると決定するように構成することができる。ＶＤＡアルゴリズムまたはその改良されたアルゴリズムを参照されたい。

第１クライアント装置が、歌詞の上記部分に対応する第１ユーザーの録音された音声が有効であると決定した後、この録音された音声が占める時間が、歌詞の上記部分が占める表示時間と一致するか否かさらに判断して歌詞の上記部分が占める表示時間と一致すると決定した場合、歌詞の上記部分を第２歌詞部分と決定することが好ましい。

例えば、歌詞内の一センテンスを一単位として、歌詞内のある一センテンスに対応する録音された音声が有効であると決定された後、この録音された音声が占める時間が２０〜３０秒であり、歌詞内の上記一センテンスが占める表示時間も２０〜３０秒である場合、歌詞内の上記一センテンスが第２歌詞部分と決定される。具体的に言うと、閾値を設定し、歌詞内の上記一センテンスが占める時間と、歌詞内の上記一センテンスが占める時間が重なる部分がこの閾値より大きい場合、歌詞内の上記一センテンスが占める時間を、歌詞内の上記一センテンスが占める時間と一致すると決定する。

実施形態では、他の方法で第２歌詞部分を決定してもよく、第２歌詞部分の決定方法は限定されない。実際の用途において、第１クライアント装置は、上記の決定方法を用いて、リアルタイムオーディオ検知モジュール（ｒｅａｌ−ｔｉｍｅ ａｕｄｉｏ ｄｅｔｅｃｔｉｏｎ ｍｏｄｕｌｅ）を介して、第２歌詞部分を決定するように構成することができる。

ステップ４０４では、第１クライアント装置が、第１録音ファイルを伴奏オーディオファイルと混合して、対象オーディオファイルを取得する。

上記の混合処理は従来の混合アルゴリズムを用いて行うことができる。例えば、対応するサンプリング点のデータを直接加算して和を取得し、その和を２で割ることで行う。

前記方法は、第１録音ファイルにおいて、第２歌詞部分以外の歌詞部分に対応する、有効でないと決定された音声またはノイズが含まれないようにするために、ステップ４０４の前に、以下のステップをさらに備えていてもよい。

第１クライアント装置は、段落情報に基づいて、第２歌詞部分以外の歌詞部分に対応する第１録音ファイルのオーディオデータを消去する。したがって、取得される第１録音ファイルは、第２歌詞部分の表示時間内のオーディオデータのみ、すなわち、第１ユーザーが歌う有効な音声のみを含んでいる。

ステップ４０５では、第１クライアント装置が、対象オーディオファイルと段落情報をサーバーに送信し、第２クライアント装置が、対象オーディオファイルと段落情報をサーバーから取得して、段落情報に基づいて、対象オーディオファイルを伴奏オーディオとして使用することで、カラオケサービスを第２ユーザーに提供する。

このように、第２クライアント装置は、対象オーディオファイルと段落情報をサーバーから取得して、対象オーディオファイルを伴奏オーディオとして使用することで、段落情報に基づいて、カラオケサービスを第２ユーザーに提供することができる。具体的に言うと、第２ユーザーは、段落情報に基づいて、既に歌われている歌詞部分を判断した上で、まだ歌われていない歌詞部分を歌うことができる。

実施形態の方法は、第１クライアント装置によって、第１ユーザーが使用するサウンドエフェクトパラメータ（ｓｏｕｎｄ ｅｆｆｅｃｔ ｐａｒａｍｅｔｅｒ）を含む構成ファイルを形成するステップと、第１クライアント装置によって、構成ファイルをサーバーに送信して、第２クライアント装置によって、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報と構成ファイルに基づいて、カラオケサービスを第２ユーザーに提供するステップとをさらに含んでもよい。サウンドエフェクトパラメータとして、反響パラメータ（ｒｅｖｅｒｂｅｒａｔｉｏｎ ｐａｒａｍｅｔｅｒ）、トーン変化パラメータ（ｔｏｎｅ ｖａｒｉａｔｉｏｎ ｐａｒａｍｅｔｅｒ）、サウンド美化パラメータ（ｓｏｕｎｄ ｌａｎｄｓｃａｐｉｎｇ ｐａｒａｍｅｔｅｒ）などを挙げることができる。

従来技術と比較すると、本発明の実施形態にかかる対象オーディオファイルは、第２歌詞部分の表示時間中にのみ第１ユーザーによって歌われるオーディオと、第２歌詞部分以外の歌詞部分に対応する伴奏オーディオを含んでいるため、第２クライアント装置が、対象オーディオファイルを伴奏オーディオとして使用することで、段落情報に基づいて、第２歌詞部分以外の歌詞部分が第２ユーザーによって歌われる。このように、対象の歌が、第２歌詞部分の表示時間中に第１ユーザーによって歌われ、第２の歌詞部分以外の歌詞部分の表示時間中に第２ユーザーによって歌われることで、他の人と一緒に歌うカラオケ体験を得ることができる。

図５は、ステップ５０１~５０８を備えた本発明の別の実施形態に係るオーディオ処理方法を示す。

ステップ５０１では、第１クライアント装置が、第１ユーザーの第１リクエストを受信する。

ステップ５０２では、第１クライアント装置が、第１リクエストに基づいて、歌の伴奏オーディオファイルと歌詞ファイルをサーバーから取得し、伴奏オーディオファイルと歌詞ファイルの歌詞の一部に基づいて第１ユーザーによる録音が行われて、第１録音ファイルを取得する。

ステップ５０３では、第１クライアント装置が、第１録音ファイルに基づいて第２歌詞部分を決定し、対応する段落情報を形成する。

ステップ５０４では、第１クライアント装置が、第１録音ファイルを伴奏オーディオファイルと混合して、対象オーディオファイルを取得する。

ステップ５０５では、第１クライアント装置が、対象オーディオファイルと段落情報をサーバーに送信し、第２クライアント装置が、対象オーディオファイルと段落情報をサーバーから取得して、対象オーディオファイルを伴奏オーディオとして使用することで、段落情報に基づいてカラオケサービスを第２ユーザーに提供する。

ステップ５０１~５０５は、図４の実施形態のステップ４０１~４０５と類似しているため、ここでは詳細に説明しない。

ステップ５０６では、第２クライアント装置が、第２ユーザーによって送信された第２リクエストを受信する。

第２リクエストは、合唱への参加を促すために、合唱に参加するようリクエストするために使用される。例えば、実際の用途において、第２合唱リクエストに対応するボタンを、第２クライアント装置に設けて、第２ユーザーがこのボタンを押すと、第２クライアント装置が第２合唱リクエストを受信するようにしてもよい。

ステップ５０７では、第２クライアント装置が、第２リクエストに基づいて、対象オーディオファイル、歌詞ファイル、および段落情報をサーバーから取得し、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報と、歌詞の、第２歌詞部分以外のすべてまたは一部の歌詞部分とに基づいて第２ユーザーによる録音が行われて、第２録音ファイルを取得する。

第２クライアント装置は、第２リクエストを受信すると、まず、対象オーディオファイル、歌詞ファイル、および段落情報をサーバーから取得し、次に、対象オーディオファイルと歌詞ファイルを再生する。第２ユーザーが、歌詞の、第２歌詞部分以外のすべてまたは一部の歌詞部分に基づいて歌を歌い、第２クライアント装置が、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報と、歌詞の、第２歌詞部分以外のすべてまたは一部の歌詞部分とに基づいて、第２ユーザーが歌う歌を録音して、第２録音ファイルを取得する。第２ユーザーが、歌詞の、第２歌詞部分以外のすべての歌詞部分ではなく一部の歌詞部分に基づいて歌を歌う場合、歌詞の別の部分を、さらに他のユーザーが歌うようにしてもよい。

第１クライアント装置が構成ファイルをサーバーに送信することで、構成ファイルがサーバー上に存在する場合、以下のようにステップ５０７を実行してもよい。すなわち、ステップ５０７において、第２クライアント装置が、歌の対象オーディオファイル、歌詞ファイル、段落情報、および構成ファイルをサーバーから取得し、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報と、構成ファイルと、歌詞の、第２歌詞部分以外のすべてまたは一部の歌詞部分とに基づいて、第２ユーザーによる録音が行われて、第２録音ファイルを取得する。実際の用途において、クライアント装置は、構成ファイル内のサウンドエフェクトパラメータに基づいてパラメータを構成し、このように構成されたパラメータを、第２ユーザーが選択できるように第２ユーザーに送信するように構成することができる。ユーザーは、必要に応じて、パラメータの構成を変更してもよい。

ステップ５０８では、第２クライアント装置が、第２録音ファイルを対象オーディオファイルと混合して、混合オーディオファイルを取得する。

上記の混合処理は従来の混合アルゴリズムを用いて行うことができる。例えば、対応するサンプリング点のデータを直接加算して和を取得し、その和を２で割ることができる。

混合オーディオファイルは、第２の歌詞部分では第１ユーザーによって歌われ、歌詞の、第２歌詞部分以外のすべてまたは一部の歌詞部分では第２ユーザーによって歌われるため、二人のユーザーが一緒に歌うカラオケ体験を得ることができる。

実施形態の方法は、第２録音ファイルにおいて、第２歌詞部分以外の歌詞部分に対応する、有効でないと決定された音声またはノイズが含まれないようにするために、ステップ５０８の前に、第２クライアント装置が、段落情報に基づいて、第２歌詞部分に対応する第１録音ファイルのオーディオデータを消去するステップをさらに備えていてもよい。

ここまで、本発明の実施形態に係るオーディオ処理方法について説明したが、以下、本発明の実施形態に係るオーディオ処理装置について説明する。図６に示すように、本発明の実施形態に係るオーディオ処理装置は、第１受信ユニット６０１、第１取得ユニット６０２、第１処理ユニット６０３、および第１混合ユニット６０４を備えている。

第１受信ユニット６０１は、ユーザーのリクエストを受信するように構成されている。

第１取得ユニット６０２は、ユーザーのリクエストに基づいて、歌のオーディオファイルと、歌詞表示時間を識別する時間情報を含む対応の歌詞ファイルとを取得するように構成されている。歌のオーディオファイルは、例えば、歌の伴奏オーディオファイルと原曲オーディオファイルを含んでもよい。

第１処理ユニット６０３は、歌詞ファイルの第１歌詞部分と第２歌詞部分の表示時間中にオーディオファイルを再生し、第１歌詞部分の表示時間中にユーザーのオーディオデータを録音するように構成されている。第１処理ユニット６０３は、歌詞ファイルを分割して、第１歌詞部分と第２歌詞部分を取得するようにさらに構成することができる。

取得された歌のオーディオデータが、歌の伴奏オーディオファイルと原曲オーディオファイルを含む場合、第１処理ユニット６０３は、第１歌詞部分の表示時間中に、伴奏オーディオファイルを再生してユーザーのオーディオデータを録音し、第２歌詞部分の表示時間中に原曲オーディオファイルを再生する。

第１混合ユニット６０４は、ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合して、混合オーディオファイルを取得するように構成されている。オーディオファイルが、伴奏オーディオファイルと原曲オーディオファイルを含む場合、第１混合ユニット６０４は、ユーザーのオーディオデータを、第１歌詞部分の表示時間に対応する伴奏オーディオファイルのオーディオデータと混合するように構成されている。

本発明を十分に理解できるように、以下、本実施形態のオーディオ処理装置の内部の作動フローについて具体的なシナリオを例に挙げて説明する。

第１受信ユニット６０１は、ユーザーによって入力されたカラオケリクエストを受信する。第１取得ユニット６０２は、ユーザーのカラオケリクエストに基づいて、歌の伴奏オーディオファイルと、原曲オーディオファイルと、歌詞表示時間を識別する時間情報を含む歌詞ファイルとを取得する。第１処理ユニット６０３は、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得し、第１歌詞部分の表示時間中に、伴奏オーディオファイルを再生してユーザーのオーディオデータを録音し、第２歌詞部分の表示時間中に原曲オーディオファイルを再生する。

本発明の実施形態に係る技術的解決策によると、第１受信ユニット６０１がユーザーによって入力されたカラオケリクエストを受信すると、クライアント装置の第１取得ユニット６０２が、ユーザーのカラオケリクエストに基づいて、歌の伴奏オーディオファイルと、原曲オーディオファイルと、歌詞表示時間を識別する時間情報を含む対応の歌詞ファイルとを取得する。第１処理ユニット６０３が歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得し、第１歌詞部分の表示時間中に、伴奏オーディオファイルを再生してユーザーのオーディオデータを録音し、第２歌詞部分の表示時間中に原曲オーディオファイルを再生する。次に、録音されたユーザーのオーディオデータが、第１歌詞部分の表示時間に対応する伴奏オーディオファイルのオーディオデータと混合されて、混合オーディオファイルが取得され、第１歌詞部分の表示時間中に混合オーディオファイルが出力され、第２歌詞部分の表示時間中に原曲オーディオファイルが出力されて合唱ファイルが形成される。このように、従来技術と比較すると、本発明の実施形態では、クライアント装置が、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得し、第１歌詞部分の表示時間中にのみ、伴奏オーディオファイルを再生してユーザーのオーディオデータを録音し、第２歌詞部分の表示時間中に原曲オーディオファイルを再生することで、対象の歌が、第１歌詞部分の表示時間中にユーザーによって歌われ、第２歌詞部分の表示時間中にスターによって歌われるので、スタート一緒に歌うカラオケ体験を得ることができる。

本発明の実施形態に係るオーディオ処理装置は、第１形成ユニット６０５をさらに備えていてもよい。

第１形成ユニット６０５は、第１歌詞部分の表示時間中に混合オーディオファイルを出力（または選択）し、第２歌詞部分の表示時間中にオーディオファイルを出力（または選択）して合唱ファイルを形成するように構成されている。オーディオファイルが、伴奏オーディオファイルと原曲オーディオファイルを含む場合、第２歌詞部分の表示時間中に原曲オーディオファイルが出力（または選択）されて、合唱ファイルが形成される。

第１受信ユニット６０１は、ユーザーの分割指示を受信するようにさらに構成することができる。第１処理ユニット６０３は、ユーザーの分割指示に基づいて、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得するように構成することができる。

第１処理ユニット６０３は、音声が入力されているか否かを検知し、音声の入力があると検知した場合、それに対応する表示時間の歌詞ファイルの歌詞部分を第１歌詞部分として決定した上で、伴奏オーディオファイルを再生してユーザーのオーディオデータを録音し、音声の入力がないと検知した場合、それに対応する表示時間の歌詞ファイルの歌詞部分を第２歌詞部分として決定した上で、原曲オーディオファイルを再生するように構成することができる。

オーディオ処理装置は、クライアント装置上に表示される第１歌詞部分を第１識別子で識別し、クライアント装置上に表示される第２の歌詞部分を第２識別子で識別するように構成された識別ユニットをさらに備えてもよい。

オーディオ処理装置は、合唱ファイルのオーディオデータに対し、その切替点において平衡処理を行うように構成された第１平衡処理ユニットをさらに備えてもよい。切替点とは、第１歌詞部分の表示時間から第２歌詞部分の表示時間に切り替わる時点、または、第２歌詞部分の表示時間から第１歌詞部分の表示時間に切り替わる時点を意味する。

図７に示すように、本発明の別の実施形態に係るオーディオ処理装置は、第２取得ユニット７０１、第２処理ユニット７０２、第２形成ユニット７０３、および第１送信ユニット７０４を備えている。

第２取得ユニット７０１は、歌の伴奏オーディオファイルと、原曲オーディオファイルと、歌詞表示時間を識別する時間情報を含む対応の歌詞ファイルとを取得するように構成されている。

第２処理ユニット７０２は、歌詞ファイルを分割して第１歌詞部分と第２歌詞部分を取得し、第１歌詞部分を識別する識別情報を含む対応の歌詞分割情報を形成するように構成されている。

第２形成ユニット７０３は、第１歌詞部分の表示時間中に伴奏オーディオファイルを出力（または選択）し、第２歌詞部分の表示時間中に原曲オーディオファイルを出力（または選択）して対象オーディオファイルを形成するように構成されている。

第１送信ユニット７０４は、（例えば、クライアント装置によって送信されたカラオケリクエストを受信すると、）対象オーディオファイルと対象歌詞ファイルをクライアント装置に送信するように構成されており、この送信によって、クライアント装置は、対象オーディオファイルを伴奏オーディオとして、対象歌詞ファイルを歌詞として再生することで、カラオケサービスをユーザーに提供する。対象歌詞ファイルは、歌詞分割情報を含む歌詞ファイルを介して取得される。

従来技術と比較すると、本発明の実施形態では、サーバー内のオーディオ処理装置からクライアント装置に送信される対象オーディオファイルは、第１歌詞部分の表示時間に対応する伴奏オーディオと、第２歌詞部分の表示時間に対応する原曲オーディオとからなる。伴奏オーディオファイルがクライアント装置に直接提供される従来技術と比較すると、本発明の実施形態では、対象の歌が、第１歌詞部分の表示時間中にユーザーによって歌われ、第２歌詞部分の表示時間中にスターによって歌われるので、スターと一緒に歌うカラオケ体験を得ることができる。

第２処理ユニット７０２は、時間情報に基づいて歌詞ファイルの段落情報を決定し、この段落情報に基づいて歌詞ファイルを分割して、第１歌詞部分と第２歌詞部分を取得するように構成することができる。

第２処理ユニット７０２は、歌詞ファイルのバース部分とリフレイン部分を決定し、次に、バース部分を第１歌詞部分、リフレイン部分を第２歌詞部分と決定するか、或いは、リフレイン部分を第１歌詞部分、バース部分を第２歌詞部分と決定するように構成することができる。

第２処理ユニット７０２は、カスタムテンプレートに基づいて歌詞ファイルを分割して、第１歌詞部分と第２歌詞部分を取得するように構成することができる。

上記のオーディオ処理装置は、対象オーディオファイルのオーディオデータに対し、その切替点において平衡処理を行うように構成された第２平衡処理ユニットをさらに備えてもよい。切替点とは、第１歌詞部分の表示時間から第２歌詞部分の表示時間に切り替わる時点、または、第２歌詞部分の表示時間から第１歌詞部分の表示時間に切り替わる時点を意味する。

図８に示すように、本発明の別の実施形態に係るオーディオ処理装置は、第２受信ユニット８０１、第３取得ユニット８０２、第３処理ユニット８０３、第２混合ユニット８０４、および第２送信ユニット８０５を備えている。

第２受信ユニット８０１は、第１ユーザーの第１リクエストを受信するように構成されている。

第３取得ユニット８０２は、第１リクエストに基づいて、歌の伴奏オーディオファイルと歌詞ファイルをサーバーから取得し、伴奏オーディオファイルと歌詞ファイルの歌詞の一部に基づいて第１ユーザーによる録音が行われて、第１録音ファイルを取得するように構成されている。

第３処理ユニット８０３は、第１録音ファイルに基づいて第２歌詞部分を決定し、少なくとも第２歌詞部分を識別する識別情報を含む対応の段落情報を形成するように構成されている。

第２混合ユニット８０４は、第１録音ファイルを伴奏オーディオファイルと混合して、対象オーディオファイルを取得するように構成されている。

第２送信ユニット８０５は、対象オーディオファイルと段落情報をサーバーに送信するように構成されており、この送信によって、第２クライアント装置が、対象オーディオファイルと段落情報をサーバーから取得して、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報に基づいて、カラオケサービスを第２ユーザーに提供する。

図９に示すように、本発明の実施形態に係るオーディオ処理システムは、サーバー９０１とクライアント装置９０２を備えている。本発明の上記実施形態に係るオーディオ処理方法は、オーディオ処理システムのサーバーおよび／またはクライアント装置によって実行されてもよい。

本発明の実施形態では、サーバー９０１は、図７の実施形態のオーディオ処理装置を含んでいてもよい。

本発明の実施形態では、クライアント装置９０２は、図６の実施形態のオーディオ処理装置を含んでいてもよい。

図１０に示すように、本発明の別の実施形態に係るオーディオ処理システムは、第１クライアント装置１００１、第２クライアント装置１００２、およびサーバー１００３を備えている。

第１クライアント装置１００１は、第１ユーザーから第１リクエスト、例えば、合唱開始の第１リクエストを受信し、第１リクエストに基づいて、歌の伴奏オーディオファイルと歌詞ファイルをサーバー１００３から取得し、伴奏オーディオファイルと歌詞ファイルの歌詞の一部に基づいて第１ユーザーによる録音が行われて、第１録音ファイルを取得し、第１録音ファイルに基づいて第２歌詞部分を決定し、対応の段落情報を形成するように構成されている。第２歌詞部分は、第１ユーザーが歌った歌詞部分であり、段落情報は、第２歌詞部分を識別する識別情報を含んでいる。第１クライアント装置１００１は、第１録音ファイルを伴奏オーディオファイルと混合して、対象オーディオファイルを取得し、対象オーディオファイルと段落情報をサーバー１００３に送信するようにさらに構成されており、この送信により、第２クライアント装置が、対象オーディオファイルと段落情報をサーバー１００３から取得して、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報に基づいて、カラオケサービスを第２ユーザーに提供することができる。

第２クライアント装置１００２は、対象オーディオファイルと段落情報をサーバー１００３から取得して、対象オーディオファイルを伴奏オーディオファイルとして使用することで、さらに、段落情報に基づいて、カラオケサービスを第２ユーザーに提供するように構成されている。

第１クライアント装置１００１は、歌詞のある部分に対応する第１ユーザーの録音された音声が有効であるか否かを判断し、この音声が有効であると決定した場合、それに対応する歌詞の上記部分を第２歌詞部分と決定するように構成することができる。

さらに第１クライアント装置１００１は、歌詞の上記部分に対応する第１ユーザーの録音された音声の音量が所定値より大きいか否か判断し、この音量が所定値より大きいと決定した場合、上記の録音された音声が有効であると決定するように構成してもよい。

さらに第１クライアント装置１００１は、歌詞のある部分に対応する第１ユーザーの録音された音声が有効であるか否か判断して有効であると決定した後、この録音された音声が占める時間が、歌詞の上記部分が占める表示時間と一致するか否かをさらに判断して歌詞のこの部分が占める表示時間と一致すると決定した場合、歌詞のこの部分を第２歌詞部分と決定するように構成してもよい。

またさらに第１クライアント装置１００１は、第１録音ファイルを伴奏オーディオファイルと混合して、対象オーディオファイルを取得する前に、段落情報に基づいて、第２歌詞部分以外の歌詞部分に対応する第１録音ファイルのオーディオデータを消去するように構成することができる。

識別情報は、第２歌詞部分の表示時間、または、第２歌詞部分を識別するセンテンス識別子を含んでもよい。

さらに第１クライアント装置１００１は、対象オーディオファイルと段落情報をサーバーに送信する前に、第１ユーザーが使用するサウンドエフェクトパラメータを含む構成ファイルを形成し、この構成ファイルをサーバーに送信するように構成することができる。

第２クライアント装置１００２は、合唱へ参加するようリクエストするために第２ユーザーが送信する第２リクエストを受信し、第２リクエストに基づいて、歌の対象オーディオファイル、歌詞ファイル、および段落情報をサーバーから取得し、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報と、歌詞の、第２歌詞部分以外のすべてまたは一部の歌詞部分とに基づいて第２ユーザーによる録音が行われて、第２録音ファイルを取得し、第２録音ファイルを対象オーディオファイルと混合して混合オーディオファイルを取得するようにさらに構成することができる。

第２クライアント装置１００２は、第２録音ファイルを対象オーディオファイルと混合して、混合オーディオファイルを取得する前に、段落情報に基づいて、第２歌詞部分に対応する第１録音ファイルのオーディオデータを消去するようにさらに構成することができる。

サーバーが構成ファイルを含んでいる場合、第２クライアント装置１００２は、歌の対象オーディオファイル、歌詞ファイル、段落情報、および構成ファイルを取得し、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報と、構成ファイルと、歌詞の、第２歌詞部分以外のすべてまたは一部の歌詞部分とに基づいて第２ユーザーによる録音が行われて、第２録音ファイルを取得するようにさらに構成することができる。

第２クライアント装置は、合唱へ参加するようリクエストするために、さらに、歌詞の第２歌詞部分以外の歌詞部分のみの録音を行うよう指示するために、第２ユーザーが送信する第３リクエストを受信し、第３リクエストに基づいて、歌の対象オーディオファイル、歌詞ファイル、および段落情報をサーバーから取得し、対象オーディオファイルを伴奏オーディオとして使用することで、さらに、段落情報と、歌詞の第２歌詞部分以外の歌詞部分とに基づいて第２ユーザーによる録音が行われて、第３録音ファイルを取得し、第２ユーザーが歌った歌詞部分を第３歌詞部分と決定し、第３歌詞部分を識別する識別情報を段落情報に追加し、第３録音ファイルを対象オーディオファイルと混合して第３対象ファイルを取得し、第３対象ファイルと段落情報をサーバーに送信するようにさらに構成することができる。このような構成において、第３クライアント装置は、サーバーを介して、第３対象オファイルを伴奏オーディオとして使用することで、さらに、段落情報と、歌詞の第２および第３歌詞部分以外の歌詞部分とに基づいて第３ユーザーの歌を録音する。

図１０の実施形態では、第２クライアント装置１００２は、図１の実施形態のオーディオ処理方法を実行するように構成することができ、サーバー１００３は、図２の実施形態のオーディオ処理方法を実行するように構成することができ、第１クライアント装置１００１は、図４の実施形態のオーディオ処理方法を実行するように構成することができる。

さらに、本発明は、少なくとも１つのプロセッサと、プログラム命令を記憶したメモリを備えたオーディオ処理装置であって、プログラム命令をプロセッサによって実行することによって、上記のいずれかの実施形態の方法を行うことができるオーディオ処理装置を提供する。

さらに、本発明は、プログラム命令を記憶した、コンピュータで読取可能な記憶媒体を提供する。このプログラム命令をプロセッサで実行することにより、コンピューティング装置は上記のいずれかの実施形態の方法を行うことができる。

上記のシステム、装置、およびユニットの具体的な作動工程については、上記の方法に関する実施形態で説明した対応の工程を参照可能であることは当業者にとって明らかであり、説明の便宜上かつ説明を簡略するため、繰り返して説明しない。

本発明の複数の実施形態に係るシステム、装置、および方法は、別の形で実行／使用されてもよく、上で説明した装置の実施形態などは一例に過ぎない。例えば、上記のユニットはそのロジック機能に基づいてのみ分類されているが、実際の用途において別の形で分類されてもよい。例えば、複数のユニット／アセンブリを組み合わせてまたは統合して別のシステムを構成してもよい。或いは、一部の特徴を省略してもよいし、実行／使用しなくてもよい。さらに、ここで開示し説明した連結、直接連結、または通信接続は、インターフェース、装置またはユニットを介した間接的なものと置き換えてもよく、電気、機械または別の形によって実現されてもよい。

別々の構成要素として示した複数のユニットは、物理的に切り離されていてもいなくてもよい。また、ユニットとして示した各構成要素は、物理的なユニットであってもなくてもよい。すなわち、複数の構成要素は同じ場所に配置されてもよく、複数のネットワークユニットに分配されてもよい。本発明の実施形態に係る解決策を実現（本発明の目的を達成）するために、必要に応じて、複数のユニットの一部またはすべてを選択してもよい。

また、本発明の実施形態に係る種々の機能ユニットは、１つの処理ユニットに統合されてもよく、物理的に独立した（切り離された）ユニットであってもよい。或いは、種々の機能ユニットのうち、２つ以上のユニットを統合して１つのユニットとしてもよい。ハードウェアまたはソフトウェア機能ユニットによって、上記の統合ユニットを実行／使用することができる。

統合ユニットがソフトウェア機能ユニットによって実行され、１つの独立した製品として販売または使用される場合、コンピュータで読取可能な記憶媒体に統合ユニットを格納することができる。この理解に基づいて、本発明の技術的解決策は、本質的または部分的に従来技術に貢献する。また、コンピュータ装置（パーソナルコンピュータ、サーバー、またはネットワーク装置など）が、本発明の種々の実施形態に係る方法のステップのすべてまたは一部を実行するための複数の指令を含む、記憶媒体に記憶されたソフトウェア製品の形で、技術的解決策のすべてまたは一部を具体化することができる。上記の記憶媒体として、ＵＳＢフラッシュディスク、モバイルハードディスク、読取専用メモリ（ＲＯＭ，Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク、光ディスクといったプログラムコードを格納できる種々の媒体を挙げることができる。

上記の実施形態は、本発明の技術的解決策を説明するためのものに過ぎず、本発明を限定するものではない。本発明は、上記の実施形態を参照して詳細に説明されているが、上記の実施形態で説明した技術的解決策を修正すること、または、技術的特徴の一部に対して等価な置換えが可能である。このような修正や置換えを行った場合でも、対応する技術的解決策の本質は本発明の実施形態の精神および範囲から逸脱しない。

Claims (31)

1. 歌のオーディオファイルおよび前記歌の歌詞ファイルを取得するステップと、
   前記歌詞ファイルの第１歌詞部分の表示時間中に、前記オーディオファイルを再生してユーザーのオーディオデータを録音するステップと、
   前記歌詞ファイルの第２歌詞部分の表示時間中に、前記オーディオファイルを再生するステップと、
   前記ユーザーの前記オーディオデータを、前記第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合するステップとを含むオーディオ処理方法。
2. 前記ユーザーの前記オーディオデータは、前記歌詞ファイルの前記第２歌詞部分の表示時間中に録音されない請求項１に記載の方法。
3. 前記歌の前記オーディオファイルおよび前記歌の前記歌詞ファイルを取得する前記ステップの前に、前記ユーザーのリクエストを受信するステップをさらに含み、
   前記歌の前記オーディオファイルおよび前記歌詞ファイルを取得する前記ステップが、前記リクエストに基づいて、前記歌の伴奏オーディオファイル、原曲オーディオファイル、および前記歌詞ファイルを取得するステップである請求項１に記載の方法。
4. 前記歌の前記オーディオファイルおよび前記歌詞ファイルを取得する前記ステップの後に、前記歌詞ファイルを分割して前記第１歌詞部分と前記第２歌詞部分を取得するステップをさらに含み、
   前記歌詞ファイルの前記第１歌詞部分の表示時間中に、前記オーディオファイルを再生して前記ユーザーの前記オーディオデータを録音する前記ステップが、前記第１歌詞部分の表示時間中に、前記伴奏オーディオファイルの再生と前記ユーザーの前記オーディオデータの録音を含み、
   前記歌詞ファイルの前記第２歌詞部分の前記表示時間中に、前記オーディオファイルを再生する前記ステップが、前記第２歌詞部分の表示時間中に、前記原曲オーディオファイルを再生するステップである請求項３に記載の方法。
5. 前記ユーザーの前記オーディオデータを、前記第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合する前記ステップが、前記ユーザーの前記オーディオデータを、前記第１歌詞部分の表示時間に対応する伴奏オーディオファイルのオーディオデータと混合するステップである請求項３に記載の方法。
6. 混合オーディオファイルが前記の混合するステップで形成され、
   前記第１歌詞部分の表示時間に対応する前記混合オーディオファイルと、前記第２歌詞部分の表示時間に対応する前記原曲オーディオファイルとに基づいて、合唱ファイルを形成するステップをさらに含む請求項３に記載の方法。
7. 前記ユーザーの分割指示を受信するステップと、
   前記ユーザーの前記分割指示に基づいて、前記歌詞ファイルを分割して前記第１歌詞部分及び前記第２歌詞部分を取得するステップとをさらに含む請求項１に記載の方法。
8. 音声が入力されているか否かを検知するステップと、音声の入力があると検知した場合、前記歌詞ファイルのうち対応する表示時間の歌詞部分を第１歌詞部分と決定するか、或いは、音声の入力がないと検知した場合、前記歌詞ファイルのうち対応する表示時間の歌詞部分を第２歌詞部分と決定するステップをさらに含む請求項１に記載の方法。
9. 混合オーディオファイルが前記の混合するステップで形成され、
   前記第１歌詞部分の表示時間に対応する前記混合オーディオファイルと、前記第２歌詞部分の表示時間に対応する前記歌のオーディオファイルとに基づいて、合唱ファイルを形成するステップをさらに含む請求項１に記載の方法。
10. 前記合唱ファイルのオーディオデータに対し、切替点において平衡処理を行うステップをさらに含み、前記切替点は、前記第１歌詞部分の表示時間から前記第２歌詞部分の表示時間に切り替わる時点、または、前記第２歌詞部分の表示時間から前記第１歌詞部分の表示時間に切り替わる時点である請求項９に記載の方法。
11. 前記歌の前記オーディオファイルおよび前記歌詞ファイルを取得する前記ステップの前に、
    前記歌の伴奏オーディオファイル、原曲オーディオファイル、および前記歌詞ファイルを取得するステップと、
    前記歌詞ファイルを分割して前記第１歌詞部分及び前記第２歌詞部分を取得し、少なくとも前記第１歌詞部分を識別する識別情報を含む歌詞分割情報を形成するステップと、
    前記第１歌詞部分の表示時間に対応する伴奏オーディオファイルと、前記第２歌詞部分の表示時間に対応する原曲オーディオファイルとに基づいて、前記歌の前記オーディオファイルを形成するステップとをさらに備えた請求項１に記載の方法。
12. 前記歌の前記オーディオファイルおよび前記歌詞ファイルを取得する前記ステップは、歌詞分割情報を取得するステップをさらに含み、
    前記歌詞ファイルの前記第１歌詞部分の表示時間中に、前記オーディオファイルを再生して前記ユーザーの前記オーディオデータを録音する前記ステップは、前記歌詞分割情報に基づいて、前記第１歌詞部分の表示時間中に前記ユーザーの前記オーディオデータを録音するステップを含む請求項１１に記載の方法。
13. 前記歌詞ファイルは、歌詞表示時間を識別する時間情報を備え、
    前記時間情報に基づいて、前記歌詞ファイルの段落情報を決定するステップと、
    前記段落情報に基づいて、前記歌詞ファイルを分割して、前記第１歌詞部分及び前記第２歌詞部分を取得するステップとをさらに含む請求項１に記載の方法。
14. 前記歌詞ファイルのバース部分とリフレイン部分を決定するステップと、
    前記バース部分を前記第１歌詞部分、前記リフレイン部分を前記第２歌詞部分と決定するか、又は、前記リフレイン部分を前記第１歌詞部分、前記バース部分を前記第２歌詞部分と決定するステップとをさらに含む請求項１に記載の方法。
15. カスタムテンプレートに基づいて前記歌詞ファイルを分割して、前記第１歌詞部分及び前記第２歌詞部分を取得するステップをさらに含む請求項１に記載の方法。
16. 前記歌の前記オーディオファイルおよび前記歌の前記歌詞ファイルを取得する前記ステップの前に、
    別のユーザーのリクエストを受信するステップと、
    前記別のユーザーの前記リクエストに基づいて、前記歌の伴奏オーディオファイルと前記歌詞ファイルを取得するステップと、
    前記伴奏オーディオファイルと前記歌詞ファイルの歌詞の一部とに基づいて、前記別のユーザーのオーディオデータを録音して、第１録音ファイルを取得するステップと、
    前記第１録音ファイルに基づいて前記第２歌詞部分を決定し、それに対応して少なくとも前記第２歌詞部分を識別する識別情報を含む段落情報を形成するステップと、
    前記第１録音ファイルを、前記伴奏オーディオファイルと混合して、前記歌の前記オーディオファイルを取得するステップとをさらに含む請求項１に記載の方法。
17. 前記第１録音ファイルに基づいて前記第２歌詞部分を決定する前記ステップは、
    歌詞の一部分に対応する前記別のユーザーの録音された音声が有効であるか否か判断し、この録音された音声が有効であると決定した場合、歌詞の前記一部分を前記第２歌詞部分と決定するステップである請求項１６に記載の方法。
18. 前記別のユーザーによって使用されるサウンドエフェクトパラメータを含む構成ファイルを形成するステップをさらに備えた請求項１６に記載の方法。
19. 前記歌詞ファイルの前記第１歌詞部分の表示時間中に、前記オーディオファイルを再生して前記ユーザーの前記オーディオデータを録音する前記ステップは、前記歌のオーディオファイルを伴奏オーディオとして使用することで、さらに、前記段落情報と、前記構成ファイルと、前記歌詞ファイルの、前記第２歌詞部分以外の歌詞部分とに基づいてオーディオデータを録音するステップである請求項１８に記載の方法。
20. 少なくとも１つのプロセッサと、プログラム命令を記憶するメモリとを備えたオーディオ処理装置であって、
    前記プログラム命令を前記プロセッサによって実行することによって、請求項１から１９のいずれか１つに記載の方法を行うことができるオーディオ処理装置。
21. サーバーと、少なくとも１つのクライアント装置を備え、
    前記サーバーおよび／または前記クライアント装置は、請求項１から１９のいずれか１つに記載の方法を実行するように構成されているオーディオ処理システム。
22. 前記少なくとも１つのクライアント装置は、請求項１から１０のいずれか１つに記載の方法を実行するように構成された第１クライアント装置を備えた請求項２１に記載のシステム。
23. 前記サーバーは、
    前記歌の伴奏オーディオファイル、原曲オーディオファイル、および歌詞ファイルを取得し、
    前記歌詞ファイルを分割して第１歌詞部分及び第２歌詞部分を取得し、少なくとも前記第１歌詞部分を識別する識別情報を含む対応の歌詞分割情報を形成し、
    前記第１歌詞部分の表示時間に対応する伴奏オーディオファイルと、前記第２歌詞部分の表示時間に対応する原曲オーディオファイルとに基づいて、前記歌の前記オーディオファイルを形成するように構成された請求項２２に記載のシステム。
24. 前記少なくとも１つのクライアント装置は第２クライアント装置をさらに備え、
    前記第２クライアント装置は、
    別のユーザーのリクエストを受信し、
    前記別のユーザーの前記リクエストに基づいて、前記歌の伴奏オーディオファイルおよび前記歌詞ファイルを取得し、
    前記伴奏オーディオファイルと、前記歌詞ファイルの歌詞の一部に基づいて前記別のユーザーのオーディオデータを録音して第１録音ファイルを取得し、
    前記第１録音ファイルに基づいて前記第２歌詞部分を決定し、前記第２歌詞部分を識別する識別情報を含む対応の段落情報を形成し、
    前記第１録音ファイルを前記伴奏オーディオファイルと混合して、前記歌の前記オーディオファイルを取得するように構成されている請求項２３に記載のシステム。
25. 歌のオーディオファイルおよび前記歌の歌詞ファイルを取得するように構成された第１取得ユニットと、
    前記歌詞ファイルの第１歌詞部分及び第２歌詞部分の表示時間中に前記オーディオファイルを再生し、前記歌詞ファイルの前記第１歌詞部分の表示時間中にユーザーのオーディオデータを録音するように構成された第１処理ユニットと、
    前記ユーザーの前記オーディオデータを、前記第１歌詞部分の表示時間に対応するオーディオファイルのオーディオデータと混合するように構成された第１混合ユニットと、を備えたオーディオ処理装置。
26. 前記ユーザーのリクエストを受信するように構成された第１受信ユニットをさらに備え、
    前記第１取得ユニットは、前記ユーザーの前記リクエストに基づいて、前記歌の伴奏オーディオファイル、原曲オーディオファイル、および前記歌詞ファイルを取得するようにさらに構成されている請求項２５に記載の装置。
27. 前記第１処理ユニットは、
    前記歌詞ファイルを分割して前記第１歌詞部分及び前記第２歌詞部分を取得し、
    前記第１歌詞部分の表示時間中に、前記伴奏オーディオファイルを再生して前記ユーザーのオーディオデータを録音し、
    前記第２歌詞部分の表示時間中に前記原曲オーディオファイルを再生するようにさらに構成されている請求項２６に記載の装置。
28. 前記第１混合ユニットは、前記ユーザーの前記オーディオデータを、前記第１歌詞部分の表示時間に対応する伴奏オーディオファイルのオーディオデータと混合するようにさらに構成されている請求項２６に記載の装置。
29. 前記混合によって混合オーディオファイルが形成され、
    前記第１歌詞部分の表示時間に対応する前記混合オーディオファイルと、前記第２歌詞部分の表示時間に対応する原曲オーディオファイルとに基づいて、合唱ファイルを形成するように構成された第１形成ユニットをさらに備えた請求項２５に記載の装置。
30. 前記歌の伴奏オーディオファイル、原曲オーディオファイル、および前記歌詞ファイルを取得するように構成された第２取得ユニットと、
    前記歌詞ファイルを分割して前記第１歌詞部分と前記第２歌詞部分を取得し、少なくとも前記第１歌詞部分を識別する識別情報を含む歌詞分割情報を形成するように構成された第２処理ユニットと、
    前記第１歌詞部分の表示時間に対応する伴奏オーディオファイルと、前記第２歌詞部分の表示時間に対応する原曲オーディオファイルとに基づいて、前記歌の前記オーディオファイルを形成するように構成された第２形成ユニットと、をさらに備えた請求項２５に記載の装置。
31. 別のユーザーのリクエストを受信するように構成された第２受信ユニットと、
    前記別のユーザーの前記リクエストに基づいて、前記歌の伴奏オーディオファイルと前記歌詞ファイルを取得し、前記伴奏オーディオファイルと前記歌詞ファイルの歌詞の一部に基づいて前記別のユーザーのオーディオデータを録音して、第１録音ファイルを取得するように構成された第３取得ユニットと、
    前記第１録音ファイルに基づいて前記第２歌詞部分を決定し、少なくとも前記第２歌詞部分を識別する識別情報を含む段落情報を形成するように構成された第３処理ユニットと、
    前記第１録音ファイルを前記伴奏オーディオファイルと混合して、前記歌の前記オーディオファイルを取得するように構成された第２混合ユニットと、をさらに備えた請求項２５に記載の装置。

Images