JP2020022158A

JP2020022158A - 音源フィルタリングのための方法およびシステム

Info

Publication number: JP2020022158A
Application number: JP2019124748A
Authority: JP
Inventors: 宇植邊; Woo Sik Byun
Original assignee: Naver Corp
Current assignee: Naver Corp
Priority date: 2018-07-31
Filing date: 2019-07-03
Publication date: 2020-02-06
Also published as: KR102152334B1; KR20200013937A

Abstract

【課題】音源フィルタリングのための方法およびシステムを提供する。【解決手段】音源データをデコードするためのデコーダ、前記デコードされた音源データを処理するためのレンダラー、および音源再生のためのプレイヤを含み、前記レンダラーは、音源と関連する設定にしたがって特定区間の音源データに前記設定と対応する効果を適用するためのフィルタを含み、前記プレイヤは、前記レンダラーから前記効果が適用された音源データを受け取って再生させる、コンピュータシステムを提供する。【選択図】図６

Description

以下の説明は、音源にフィルタ効果を適用する技術に関する。

近年は、多様なオンライン音楽サービスが登場している。一般的なオンライン音楽サービスは、音源をユーザ端末に提供したりストリーミングサービスを提供したりするなどの方式により、オンライン接続したユーザにリアルタイムで音源を提供している。

オンライン音楽サービスの一例として、特許文献１（登録日２００６年０８月１７日）は、音楽コンテンツを内容に基づいて分類し、これによってネットワーク接続するユーザに音楽コンテンツを提供する技術を開示している。

韓国登録特許第１０−０６１５５２２号公報

音源の特定区間に正確にフィルタ効果を適用することができる方法およびシステムを提供する。

コンピュータシステムであって、少なくとも１つのプロセッサ、および、前記少なくとも１つのプロセッサと連結し、前記少なくとも１つのプロセッサによって実行可能な命令を含むメモリを含み、前記少なくとも１つのプロセッサは、音源データをデコードするためのデコーダ、前記デコードされた音源データを処理するためのレンダラー（ｒｅｎｄｅｒｅｒ）、および音源再生のためのプレイヤを含み、前記レンダラーは、音源と関連する設定にしたがって特定区間の音源データに前記設定と対応する効果を適用するためのフィルタを含み、前記プレイヤは、前記レンダラーから前記効果が適用された音源データを受け取って再生させる、コンピュータシステムを提供する。

本発明の実施形態によると、音源の特定区間に正確にフィルタ効果を適用することができる。

本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の例を示した図である。本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の他の例を示した図である。本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。一般的なフィルタ構造をもつ音源フィルタリング装置を説明するためのブロック図である。本発明の一実施形態における、改善されたフィルタ構造をもつ音源フィルタリング装置を説明するためのブロック図である。本発明の一実施形態における、具体的な音源フィルタリング過程を説明するためのフローチャートである。本発明の一実施形態における、ＰＣＭデータのフィルタリングオプションテーブルを例示的に示した図である。本発明の一実施形態における、他のフィルタ構造をもつ音源フィルタリング装置を説明するためのブロック図である。

＜発明の概要＞
コンピュータシステムであって、少なくとも１つのプロセッサ、および、前記少なくとも１つのプロセッサと連結し、前記少なくとも１つのプロセッサによって実行可能な命令を含むメモリを含み、前記少なくとも１つのプロセッサは、音源データをデコードするためのデコーダ、前記デコードされた音源データを処理するためのレンダラー（ｒｅｎｄｅｒｅｒ）、および音源再生のためのプレイヤを含み、前記レンダラーは、音源と関連する設定にしたがって特定区間の音源データに前記設定と対応する効果を適用するためのフィルタを含み、前記プレイヤは、前記レンダラーから前記効果が適用された音源データを受け取って再生させる、コンピュータシステムを提供する。

一側面によると、前記レンダラーは、前記特定区間の音源データを時間単位に分けて複数のセグメントとして生成した後、各セグメント別にフィルタリングを実行してよい。

他の側面によると、前記レンダラーは、前記特定区間の音源データを時間単位に分けて複数のセグメントとして生成した後、各セグメント別にフィルタリングオプションを指定し、指定されたオプションにしたがってフィルタリングを実行してよい。

また他の側面によると、前記音源と関連する設定は、前記音源に関する事前設定情報としてフィルタリングオプションとフィルタリング区間情報を含むフィルタ情報が含まれてよい。

また他の側面によると、前記プレイヤは、前記レンダラーから前記効果が適用された音源データを受け取り、スピーカの要求に応じて前記スピーカに伝達するバッファを含み、前記バッファは、前記バッファ前に前記フィルタによって前記効果が適用された音源データを受け取って記録してよい。

さらに他の側面によると、前記プレイヤは、前記プレイヤのＵＩ（ｕｓｅｒｉｎｔｅｒｆａｃｅ）に入力されるユーザ要求によって定義された効果を音源データに追加で適用するフィルタをさらに含んでよい。

コンピュータシステムで実行される音源フィルタリング方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、音源処理のためのレンダラー、および音源再生のためのプレイヤを含み、前記音源フィルタリング方法は、前記レンダラーにより、音源と関連する設定にしたがって特定区間の音源データに前記設定と対応するフィルタ効果を適用する段階、および前記プレイヤにより、前記特定区間に前記フィルタ効果が適用された音源データを再生させる段階を含む、音源フィルタリング方法を提供する。

前記音源フィルタリング方法をコンピュータに実行させるためのプログラムが記録されている、非一時なコンピュータ読み取り可能な記録媒体を提供する。

＜発明の詳細＞

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

本発明の実施形態は、音源にフィルタ効果を適用する技術に関する。

本明細書で具体的に開示される事項などを含む実施形態は、プレイヤ前端で希望する音源区間にフィルタ効果を適用することができ、これによって正確性、精密性、効率性などの側面において相当な長所を達成することができる。

図１は、本発明の一実施形態における、会話基盤インタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホームやホームネットワークサービスのように宅内のデバイス同士を連結させて制御する技術において、ユーザとの会話を基盤として動作するインタフェースを提供する電子機器１００がユーザ１１０の発話によって受信した音声入力「音楽をかけて」を認識および分析し、電子機器１００のスピーカや電子機器１００と内部ネットワークを介して連係している宅内スピーカを制御する例を示している。

例えば、宅内のデバイスは、上述した宅内スピーカの他にも、照明機器、テレビ、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット掃除機などのような家電製品はもちろん、水道、電気、冷暖房機器などのようなエネルギー消費装置、ドアロック、監視カメラなどのような保安機器など、オンライン上で連結して制御することが可能な多様なデバイスを含んでよい。また、内部ネットワークは、イーサネット（登録商標（Ｅｔｈｅｒｎｅｔ））、ＨｏｍｅＰＮＡ、ＩＥＥＥ１３９４のような有線ネットワーク技術、ブルートゥース（登録商標（Ｂｌｕｅｔｏｏｔｈ））、ＵＷＢ（ｕｌｔｒａＷｉｄｅＢａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、Ｗｉｒｅｌｅｓｓ１３９４、ＨｏｍｅＲＦのような無線ネットワーク技術などが活用されてよい。

電子機器１００は、宅内のデバイスのうちの１つであってよい。例えば、電子機器１００は、宅内に配置された人工知能スピーカや会話ロボット、ロボット清掃機などのようなデバイスの１つであってよい。または、電子機器１００は、スマートフォン、携帯電話、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ＰｏｒｔａｂｌｅＭｕｌｔｉｍｅｄｉａＰｌａｙｅｒ）、タブレットなどのようなユーザ１１０のモバイル機器であってもよい。このように、電子機器１００は、ユーザ１１０の音声入力を認識することができ、これに対応する動作のために各種デバイスと連結する機能を含む機器であれば、特に制限されることはない。また、実施形態によっては、上述したユーザ１１０のモバイル機器が宅内のデバイスとして含まれてもよい。

図２は、本発明の一実施形態における、会話基盤インタフェースを活用したサービス環境の他の例を示した図である。図２は、ユーザとの会話を基盤として動作するインタフェースを提供する電子機器１００がユーザ１１０の発話によって受信した音声入力「音楽をかけて」を認識および分析し、外部ネットワークを介して外部サーバ２１０から音源を取得し、取得した音源を出力する例を示している。

例えば、外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌａｒｅａｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓａｒｅａｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎａｒｅａｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅａｒｅａｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。

図２の実施形態でも、電子機器１００は、宅内のデバイスの１つであるか、ユーザ１１０のモバイル機器の１つであってよく、ユーザ１１０の音声入力を認識して処理するための機能と、外部ネットワークを介して外部サーバ２１０に接続し、外部サーバ２１０が提供するサービスやコンテンツをユーザ１１０に提供するための機能を含む機器であれば、特に制限されることはない。

このように、本発明の実施形態に係る電子機器１００は、会話基盤インタフェースによってユーザ１１０の音声入力をはじめとするユーザ命令を処理することのできる機器であれば、特に制限されることはない。例えば、電子機器１００は、ユーザの音声入力を直接に認識および分析し、これに対応する動作を実行することによってユーザ命令を処理することも可能であるが、実施形態によっては、ユーザの音声入力認識や分析、ユーザに提供される音声や情報合成などの処理を、電子機器１００と連係する外部のプラットフォームで実行することも可能である。

図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０とクラウド人工知能プラットフォーム３２０およびコンテンツ・サービス３３０を示している。

一例として、電子機器３１０は、宅内に配置されたデバイスを意味してよく、少なくとも上述した電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０においてインストールおよび実行されるアプリケーション（以下、アプリ）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係してよい。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０においてインストールおよび実行されるアプリの開発のためのＳＤＫ（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ）および／または開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０においてインストールおよび実行されるアプリが、クラウド人工知能プラットフォーム３２０が提供する機能を活用できるようにしたＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍＩｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者がインタフェースコネクト３４０から提供されるＳＤＫ（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ）および／または開発文書を利用して開発した機器やアプリは、インタフェースコネクト３４０が提供するＡＰＩを利用することで、クラウド人工知能プラットフォーム３２０が提供する機能を活用することができるようになる。

ここで、クラウド人工知能プラットフォーム３２０は、会話基盤のサービスを提供するための機能を提供してよい。例えば、クラウド人工知能プラットフォーム３２０は、受信した音声入力を認識して出力する情報を合成するための音声処理モジュール３２１、受信した映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信した音声入力に適した情報を出力するために適切な会話を決定するための会話処理モジュール３２３、受信した音声入力に適した機能を推薦するための推薦モジュール３２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するように支援するニューラル機械翻訳（ＮｅｕｒａｌＭａｃｈｉｎｅＴｒａｎｓｌａｔｉｏｎ：ＮＭＴ）３２５などのように、会話基盤サービスを提供するための多様なモジュールを含んでよい。

例えば、図１および図２の実施形態において、電子機器１００は、ユーザ１１０の音声入力をインタフェースコネクト３４０が提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信してよい。この場合、クラウド人工知能プラットフォーム３２０は、受信した音声入力を上述したモジュール３２１〜３２５を活用しながら認識および分析してよく、受信した音声入力に適した返答音声を合成して提供したり、適した動作を推薦したりしてよい。

また、拡張キット３５０は、第三者コンテンツ開発者または会社がクラウド人工知能プラットフォーム３２０を基盤として新たな人工知能会話基盤機能を実現することのできる開発キットを提供してよい。例えば、図２の実施形態において、電子機器１００は、受信したユーザ１１０の音声入力を外部サーバ２１０に送信してよく、外部サーバ２１０は、拡張キット３５０が提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０に音声入力を送信してよい。この場合、上述と同じように、クラウド人工知能プラットフォーム３２０は、受信した音声入力を認識および分析して適した返答情報を合成して提供したり、音声入力によって処理されなければならない機能に関する推薦情報を外部サーバ２１０に提供したりしてよい。一例として、図２において、外部サーバ２１０は、音声入力「音楽をかけて」をクラウド人工知能プラットフォーム３２０に送信してよく、クラウド人工知能プラットフォーム３２０から音声入力「音楽をかけて」の認識によって抽出されるキーワード「音楽」および「再生」を受信してよい。この場合、外部サーバ２１０は、キーワード「音楽」および「再生」に基づいて音源リストを生成し、生成された音源リストをクラウド人工知能プラットフォーム３２０に送信してよい。このとき、クラウド人工知能プラットフォーム３２０は、音源リストを外部サーバ２１０に提供してよい。外部サーバ２１０は、音源リストを電子機器１００に送信してよく、電子機器１００で音源リストを再生することにより、ユーザ１１０から受信した音声入力「音楽をかけて」が処理されてよい。

図４は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。

図４の電子機器４１０は、上述した電子機器１００に対応してよく、サーバ４２０は、上述した外部サーバ２１０やクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。

電子機器４１０およびサーバ４２０は、メモリ４１１、４２１、プロセッサ４１２、４２２、通信モジュール４１３、４２３、および入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）、ディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ４１１、４２１とは区分される別の永続的記録装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器４１０においてインストールされ、特定のサービスの提供のために電子機器４１０で実行されるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク４３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。

プロセッサ４１２、４２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１または通信モジュール４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えば、プロセッサ４１２、４２２は、メモリ４１１、４２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール４１３、４２３は、ネットワーク４３０を介して電子機器４１０とサーバ４２０とが互いに通信するための機能を提供してもよいし、電子機器４１０および／またはサーバ４２０が他の電子機器または他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２がメモリ４１１のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール４１３の制御にしたがってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール４２３とネットワーク４３０を経て電子機器４１０の通信モジュール４１３を通じて電子機器４１０に受信されてよい。例えば、通信モジュール４１３を通じて受信されたサーバ４２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボードまたはマウス、カメラなどのような装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０に接続するかサーバ４２０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。

また、他の実施形態において、電子機器４１０およびサーバ４２０は、図４の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器４１０にさらに含まれるように実現されてよい。電子機器４１０は、ユーザの音声入力を受信するためのマイク、音源を出力するためのスピーカ、音源に関する情報を表示するためのディスプレイなどを入力／出力装置４１５として含んでよい。

サーバ４２０は、クライアントである電子機器４１０を対象に音源提供サービスを提供するプラットフォームの役割を行うものである。サーバ４２０は、電子機器４１０上にインストールされたアプリケーションと連動して音源提供サービスを提供するようになるが、このとき、ユーザの要求に対して音源を自動選曲してミキシングした音源ミックスリストを電子機器４１０に提供してよい。

本実施形態に係る電子機器４１０は、ユーザの要求に対応する音源をサーバ４２０から受信してスピーカで出力するにおいて、該当の音源にＬＰＦ（ｌｏｗｐａｓｓｆｉｌｔｅｒ）、ＨＰＦ（ｈｉｇｈｐａｓｓｆｉｌｔｅｒ）、タイムストレッチ、フェードアウトなどのような多様な効果を適用することができる音源フィルタを含んでよい。

本発明に係る音源フィルタリング技術は、プレイヤ前端で希望する音源区間にフィルタ効果を適用するという特徴を含んでよい。本発明に係る音源フィルタリング技術は、図１〜図３を参照しながら説明した会話基盤インタフェースを活用したサービス環境、あるいは図４を参照しながら説明した一般的なクライアント−サーバ環境に適用されてよいが、これに限定されることはなく、復号化（デコード）機能が搭載されたすべての音源再生機器に適用可能である。

図５は、一般的なフィルタ構造をもつ音源フィルタリング装置を説明するためのブロック図である。

図５を参照すると、音源フィルタリング装置５００は、電子機器４１０に含まれるように構成されてよく、音源をデコードするためのデコーダ５０１、デコードされた音源データを一時記録するためのバッファ５０２、バッファリングされた音源データに所望する効果を適用するためのフィルタ５０３、およびフィルタ効果が適用された音源データを出力するためのスピーカ５０４を含んでよい。

デコーダ５０１、バッファ５０２、フィルタ５０３は、電子機器４１０のプロセッサ４１２の構成要素として含まれてよく、スピーカ５０４は、電子機器４１０の入力／出力装置４１５として含まれてよい。バッファ５０２、フィルタ５０３、およびスピーカ５０４は、音源再生のためのプレイヤ領域５１０として構成されてよい。プロセッサ４１２およびプロセッサ４１２の構成要素は、メモリ４１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる命令を実行するように実現されてよい。

上述したフィルタ構造の音源フィルタリング過程は、次のとおりとなる。

デコーダ５０１は、音源をＰＣＭ（ｐｕｌｓｅｃｏｄｅｍｏｄｕｌａｔｉｏｎ）データにデコードした後、デコードされたＰＣＭデータを非同期でバッファ５０２に伝達する（Ｓ５１１）。

一方、スピーカ５０４は、スピーカ５０４で現在再生しようとするＰＣＭデータをフィルタ５０３に要求する（Ｓ５２１）。

フィルタ５０３は、スピーカ５０４の要求に対応し、フィルタリングするＰＣＭデータをバッファ５０２に要求する（Ｓ５２２）。

バッファ５０２は、フィルタ５０３が要求する部分のＰＣＭデータをフィルタ５０３に伝達する（Ｓ５２３）。

フィルタ５０３は、バッファ５０２から受け取ったＰＣＭデータに該当の音源に関する事前設定に基づいて定義された効果を適用した後、該当の効果が適用されたＰＣＭデータをスピーカ５０４に伝達する（Ｓ５２４）。

スピーカ５０４の要求に対して迅速な応答が必要となる状況において、スピーカ５０４がＰＣＭデータを要求する方式であるため、特定の時間内に所望するフィルタ効果を正確に適用するのが困難であり、スピーカ５０４のＰＣＭデータ要求時点にフィルタ５０３の適用値を能動的に変えれば、正確性も低下する。

所望する時間に希望する効果を適用するためには、タイマーなどを利用して該当のタイミングに効果を適用しなければならない。タイマーなどを利用すると、所望の時間にある程度合わせて効果を適用することは可能となるが、プレイヤ領域５１０でスピーカ５０４の要求に応じてフィルタ５０３の効果を適用する構造においては、正確なタイミングに効果を適用することは不可能である。

これを解決するために、本発明では、ＰＣＭデータにフィルタ効果を予め適用させた後、フィルタ効果が適用されたＰＣＭデータを音源再生のためのバッファとして伝達する方式を適用する。

本発明に係る音源フィルタの実現要求事項は、次のとおりとなる。

先ず、希望する区間に所望するフィルタ効果を適用しなければならない。例えば、音源再生うちの５０秒から５５秒までの区間の再生速度を１．５倍に処理する効果を適用してよい。

次に、漸進的なフィルタ効果を適用しなければならない。例えば、音源再生うちの５０秒から５５秒までにＬＰＦを適用するが、フィルタリング周波数を２０，０００Ｈｚから５００Ｈｚまで線形的に適用してよい。

図６は、改善されたフィルタ構造をもつ音源フィルタリング装置を説明するためのブロック図である。

図６を参照すると、本発明に係る音源フィルタリング装置６００は、電子機器４１０に含まれるように構成されてよく、音源をデコードするためのデコーダ６０１、デコードされた音源データに所望する効果を適用するためのフィルタ６０２、フィルタ効果が適用された音源データを一時記録するためのバッファ６０３、フィルタ効果が適用された音源データを出力するためのスピーカ６０４を含んでよい。

デコーダ６０１、フィルタ６０２、バッファ６０３は、電子機器４１０のプロセッサ４１２の構成要素として含まれてよく、スピーカ６０４は、電子機器４１０の入力／出力装置４１５として含まれてよい。このとき、バッファ６０３およびスピーカ６０４は、音源再生のためのプレイヤ領域６１０として構成されてよい。

音源フィルタリング装置６００は、プレイヤ領域６１０の前端に、フィルタ６０２を含む構成要素として音源処理のためのレンダラー６２０を含んでよい。

ＰＣＭデータにフィルタ効果を順に適用し、これをプレイヤ６１０のバッファ６０３に伝達するようになるが、フィルタ効果が音源再生時間に応じて変化し続けるため、効果的な音源処理のためにプレイヤ領域６１０の前にレンダラー６２０を含んでよい。

プロセッサ４１２およびプロセッサ４１２の構成要素は、メモリ４１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる命令を実行するように実現されてよい。

デコーダ６０１は、音源をＰＣＭデータにデコードした後、デコードされたＰＣＭデータをフィルタ６０２が含まれたレンダラー６２０に伝達する（Ｓ６１１）。

レンダラー６２０は、デコーダ６０１から受け取ったＰＣＭデータに該当の音源に関する事前設定に基づいて提議されたフィルタ効果を適用させた後、フィルタ効果が適用されたＰＣＭデータをプレイヤ６１０のバッファ６０３に伝達する（Ｓ６１２）。

レンダラー６２０で適用されるフィルタ情報は、音源に関する事前設定情報であり、サーバ４２０から該当の音源に関する個別の情報として伝達されてよく、フィルタリングオプションやフィルタ効果を適用する区間情報などを含んでよい。

レンダラー６２０は、音源に関する事前設定情報にしたがい、該当の設定と対応する特定の区間に所望するフィルタ効果を正確に適用してよい。

スピーカ６０４は、スピーカ６０４で現在再生しようとするＰＣＭデータをバッファ６０３に要求する（Ｓ６２１）。

バッファ６０３は、スピーカ６０４が要求する部分のＰＣＭデータ、すなわち、事前設定によって定義したフィルタ効果が適用されたＰＣＭデータをスピーカ６０４に伝達する（Ｓ６２２）。

図７は、レンダラー６２０の具体的な音源フィルタリング過程を説明するためのフローチャートである。

図７を参照すると、レンダラー６２０は、デコーダ６０１からデコーダ６０１によってデコードされたＰＣＭデータの入力を受ける（Ｓ７０１）。

レンダラー６２０は、入力されたＰＣＭデータを時間単位に分けて複数のセグメントとして生成してよい（Ｓ７０２）。

レンダラー６２０は、音源に関するフィルタ情報に基づいてフィルタ効果を適用する特定区間のＰＣＭデータを複数のセグメントとして生成し、セグメント別にフィルタリングオプションを予め設定しておく。

例えば、図８を参照すると、ＬＰＦを適用するための４０００フレームのＰＣＭデータが入力されると、入力されたＰＣＭデータを４つのセグメント（ｓｅｇｍｅｎｔ１〜ｓｅｇｍｅｎｔ４）に分け、各セグメント別にフィルタリングオプションと周波数を設定しておいてよい。このとき、各セグメントに対し、ＬＰＦの周波数を段階的に減らしていく形態で設定してよい。

フィルタ効果を適用するＰＣＭデータを複数のセグメントに分け、各セグメント別にフィルタリングオプションを設定することにより、フィルタ効果を適用するにあたり、精密な制御はもちろん、漸進的な制御が可能となる。

レンダラー６２０は、フィルタ効果を適用するＰＣＭデータをセグメント別に順にフィルタ６０２に入力してよい（Ｓ７０３）。

レンダラー６２０は、フィルタ６０２に入力されたセグメントに対し、予め設定されたフィルタリングオプションを指定してよい（Ｓ７０４）。

レンダラー６２０は、フィルタ６０２を利用して該当のセグメントのＰＣＭデータに予め設定されたオプションによるフィルタリングを実行してよい（Ｓ７０５）。

レンダラー６２０は、上述した過程７０３〜７０５をセグメント別に繰り返し実行しながら、セグメントが残っているか確認してよい（Ｓ７０６）。

レンダラー６２０は、特定区間のＰＣＭデータの全セグメントに対するフィルタリングが完了すれば、フィルタリングが実行されたＰＣＭデータを、音源再生のためのプレイヤ領域６１０のバッファ６０３に伝達してよい（Ｓ７０７）。

したがって、本発明では、音源再生のためのプレイヤ６１０のバッファ６０３の前にレンダラー６２０を利用してフィルタ効果を予め適用させたＰＣＭデータを生成し、これを再生させることにより、フィルタ効果を希望する区間に正確に適用することができる。

さらに、本発明では、フィルタ効果を適用するＰＣＭデータを複数のセグメントに分け、セグメント別にフィルタリングオプションを指定することにより、フィルタ効果を漸進的に適用することも可能である。

フィルタ設定は、音源に関する事前設定はもちろん、プレイヤのＵＩ（ｕｓｅｒｉｎｔｅｒｆａｃｅ）に入力されるユーザ要求によっても調節可能である。

図９は、他のフィルタ構造をもつ音源フィルタリング装置を説明するためのブロック図である。

図９を参照すると、本発明に係る音源フィルタリング装置９００は、電子機器４１０に含まれるように構成されてよく、デコーダ９０１、第１フィルタ９０２、バッファ９０３、スピーカ９０５は、図６を参照しながら説明した音源フィルタリング装置６００の構成要素と等しい。ただし、音源フィルタリング装置９００には、電子機器４１０のユーザ要求によって定義されたフィルタ効果を追加で適用するための第２フィルタ９０４がさらに含まれてよい。

デコーダ９０１、第１フィルタ９０２、バッファ９０３、第２フィルタ９０４は、電子機器４１０のプロセッサ４１２の構成要素として含まれてよく、スピーカ９０５は、電子機器４１０の入力／出力装置４１５として含まれてよい。このとき、バッファ９０３、第２フィルタ９０４、およびスピーカ９０５は、音源再生のためのプレイヤ領域９１０として構成されてよい。

音源フィルタリング装置９００は、プレイヤ領域９１０の前端に、第１フィルタ９０２を含む構成要素として音源処理のためのレンダラー９２０を含んでよい。

第１フィルタ９０２は、サーバ４２０の事前設定と対応するフィルタ効果を適用してよく、第２フィルタ９０２は、次曲再生などのようにプレイヤ側から入力されるユーザのアクションに基づいて定義されたフィルタ効果を適用してよい。

デコーダ９０１は、音源をＰＣＭデータにデコードした後、デコードされたＰＣＭデータを第１フィルタ９０２が含まれたレンダラー９２０に伝達する（Ｓ９１１）。

レンダラー９２０は、デコーダ９０１から受け取ったＰＣＭデータに、該当の音源に関する事前設定に基づいて定義されたフィルタ効果を適用させた後、フィルタ効果が適用されたＰＣＭデータをプレイヤ９１０のバッファ９０３に伝達する（Ｓ９１２）。

一方、スピーカ９０５は、スピーカ９０５で現在再生しようとするＰＣＭデータを第２フィルタ９０４に要求する（Ｓ９２１）。

第２フィルタ９０４は、スピーカ９０５の要求に対応し、フィルタリングするＰＣＭデータをバッファ９０３に要求する（Ｓ９２２）。

バッファ９０３は、第２フィルタ９０４が要求する部分のＰＣＭデータを第２フィルタ９０４に伝達する（Ｓ９２３）。

第２フィルタ９０４は、バッファ９０３から受け取ったＰＣＭデータに、ユーザ設定に基づいて定義されたフィルタ効果を適用させた後、該当の効果が適用されたＰＣＭデータをスピーカ９０５に伝達する（Ｓ９２４）。

したがって、本発明では、音源データに対して該当の音源の事前設定によるフィルタ効果はもちろん、非同期で入力されるユーザ要求に基づいて定義されたフィルタ効果を追加で適用することができる。

このように、本発明の実施形態によると、プレイヤ前端で音源の特定区間に所望するフィルタ効果を適用することができる。音源データを複数のセグメントに分け、各セグメント別にフィルタリングオプションを指定してフィルタリングを実行することにより、正確なタイミングにフィルタ効果を適用することができ、漸進的なフィルタ効果を適用することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスクのような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

さらに、本発明は、精密な制御によって漸進的にフィルタ効果を適用することができる方法およびシステムを提供する。

本発明の実施形態によると、さらに、精密な制御によって漸進的にフィルタ効果を適用することができる。

６０１：デコーダ
６０２：フィルタ
６０３：バッファ
６０４：スピーカ
６１０：プレイヤ領域
６２０：レンダラー

Claims

コンピュータシステムであって、
少なくとも１つのプロセッサ、および
前記少なくとも１つのプロセッサと連結し、前記少なくとも１つのプロセッサによって実行可能な命令を含むメモリ
を含み、
前記少なくとも１つのプロセッサは、
音源データをデコードするためのデコーダ、前記デコードされた音源データを処理するためのレンダラー、および音源再生のためのプレイヤを含み、
前記レンダラーは、音源と関連する設定にしたがって特定区間の音源データに前記設定と対応する効果を適用するためのフィルタを含み、
前記プレイヤは、前記レンダラーから前記効果が適用された音源データを受け取って再生させる、
コンピュータシステム。
前記レンダラーは、前記特定区間の音源データを時間単位に分けて複数のセグメントとして生成した後、各セグメント別にフィルタリングを実行する、
請求項１に記載のコンピュータシステム。
前記レンダラーは、前記特定区間の音源データを時間単位に分けて複数のセグメントとして生成した後、各セグメント別にフィルタリングオプションを指定し、指定されたオプションにしたがってフィルタリングを実行する、
請求項１に記載のコンピュータシステム。
前記音源と関連する設定は、前記音源に関する事前設定情報としてフィルタリングオプションとフィルタリング区間情報を含むフィルタ情報が含まれる、
請求項１に記載のコンピュータシステム。
前記プレイヤは、前記レンダラーから前記効果が適用された音源データを受け取り、スピーカの要求に応じて前記スピーカに伝達するバッファを含み、
前記バッファは、前記バッファの前に前記フィルタによって前記効果が適用された音源データを受け取って記録する、
請求項１に記載のコンピュータシステム。
前記プレイヤは、前記プレイヤのＵＩ（ｕｓｅｒｉｎｔｅｒｆａｃｅ）に入力されるユーザ要求によって定義された効果を音源データに追加で適用するフィルタをさらに含む、
請求項１に記載のコンピュータシステム。
コンピュータシステムが実行する音源フィルタリング方法であって、
前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記少なくとも１つのプロセッサは、音源処理のためのレンダラー、および音源再生のためのプレイヤを含み、
前記音源フィルタリング方法は、
前記レンダラーにより、音源と関連する設定にしたがって特定区間の音源データに前記設定と対応するフィルタ効果を適用する段階、および
前記プレイヤにより、前記特定区間に前記フィルタ効果が適用された音源データを再生させる段階
を含む、音源フィルタリング方法。
前記フィルタ効果を適用する段階は、
前記特定区間の音源データを時間単位に分けて複数のセグメントとして生成した後、各セグメント別にフィルタリングを実行する段階
を含む、請求項７に記載の音源フィルタリング方法。
前記フィルタ効果を適用する段階は、
前記特定区間の音源データを時間単位に分けて複数のセグメントとして生成する段階、および
各セグメント別にフィルタリングオプションを指定し、指定されたオプションにしたがってフィルタリングを実行する段階
を含む、請求項７に記載の音源フィルタリング方法。
前記音源と関連する設定は、前記音源に関する事前設定情報としてフィルタリングオプションとフィルタリング区間情報を含むフィルタ情報が含まれる、
請求項７に記載の音源フィルタリング方法。
前記フィルタ効果が適用された音源データを再生させる段階は、
前記プレイヤのバッファにおいて、前記レンダラーから前記バッファの前に前記フィルタ効果が適用された音源データを受け取って記録した後、スピーカの要求に応じて前記スピーカに伝達する段階
を含む、請求項７に記載の音源フィルタリング方法。
前記フィルタ効果が適用された音源データを再生させる段階は、
前記プレイヤのＵＩに入力されるユーザ要求によって定義されたフィルタ効果を音源データに追加で適用する段階
を含む、請求項７に記載の音源フィルタリング方法。
請求項７〜１２のうちのいずれか一項に記載の音源フィルタリング方法をコンピュータに実行させるためのプログラムが記録されている、非一時なコンピュータ読み取り可能な記録媒体。