JP2022040079A - オーディオエフェクトを適用するための方法、装置、およびソフトウェア - Google Patents
オーディオエフェクトを適用するための方法、装置、およびソフトウェア Download PDFInfo
- Publication number
- JP2022040079A JP2022040079A JP2021137938A JP2021137938A JP2022040079A JP 2022040079 A JP2022040079 A JP 2022040079A JP 2021137938 A JP2021137938 A JP 2021137938A JP 2021137938 A JP2021137938 A JP 2021137938A JP 2022040079 A JP2022040079 A JP 2022040079A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- effect
- unit
- data
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Electrophonic Musical Instruments (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
音楽オーディオデータを処理するための装置であって、
-所定の音楽的音色のミクスチャを含む第1の音楽作品を表す入力オーディオデータを受信するための入力ユニットと、
-前記入力ユニットから受信した前記入力オーディオデータを分解して、少なくとも、前記所定の音楽的音色から選択された第1の音楽的音色を表す第1のオーディオトラック、および前記所定の音楽的音色から選択された第2の音楽的音色を表す第2のオーディオトラックを生成するための分解ユニットと、
-所定の第1のオーディオエフェクトを前記第1のオーディオトラックに適用するが、前記第2のオーディオトラックには適用しない、第1のエフェクトユニットと、
-前記第1のオーディオトラックと前記第2のオーディオトラックとを再結合して、再結合オーディオデータを取得するための再結合ユニットと、
を含む、装置。
前記第1のエフェクトユニットが、その再生期間を維持しながら、前記第1のオーディオトラックのオーディオデータのピッチを変更するためのピッチスケーリングユニットである、
項目1記載の装置。
前記分解ユニットが、訓練済みのニューラルネットワークを含むAIシステムを含み、前記ニューラルネットワークが、異なる音楽的音色のミクスチャを含むオーディオデータから所定の音楽的音色のオーディオデータを分離するように訓練されている、
項目1または2記載の装置。
前記装置が、出力データを保存するように適合化されたストレージユニット、および/または前記出力データを再生するように適合化された再生ユニット、および/または前記出力データと第2楽曲出力データとをミキシングするように適合化されたミキシングユニットをさらに含む、
項目1から3までの少なくとも1項記載の装置。
前記装置が、
-前記入力オーディオデータの前記第1の音楽作品の第1のキーを決定するための第1のキー検出ユニットと、
-第2の音楽作品を表す第2楽曲入力データを提供するための第2楽曲入力ユニットと、
-第2楽曲オーディオデータの前記第2の音楽作品の第2のキーを決定するための第2のキー検出ユニットと、
-前記第1のキーおよび前記第2のキーに基づいてピッチシフト値を決定するためのピッチシフト計算ユニットと、
を含み、
前記第1のエフェクトユニットが、前記第2のトラックのピッチを維持しながら、前記第1のオーディオトラックの前記ピッチを前記ピッチシフト値だけシフトさせるように適合化されたピッチスケーリングユニットである、
項目1から4までの少なくとも1項記載の装置。
前記装置が、前記再結合オーディオデータから取得された出力データと前記第2楽曲入力データから取得された第2楽曲出力データとをミキシングして、例えばミキシング出力データを取得するように適合化されたミキシングユニットと、好ましくは、前記ミキシング出力データから取得された再生データを再生するように適合化された再生ユニットと、をさらに含む、
項目5記載の装置。
前記装置が、
-第2の音楽作品を表す第2楽曲入力データを提供するための第2楽曲入力ユニットと、
-前記再結合オーディオデータから取得された出力データと前記第2楽曲入力データから取得された第2楽曲出力データとをミキシングして、例えばミキシング出力データを取得するように適合化されたミキシングユニットと、
-ユーザが操作して制御範囲内の制御位置を設定できるクロスフェードコントローラを有するクロスフェードユニットであって、前記クロスフェードユニットは、前記クロスフェードコントローラの前記制御位置に応じて、前記クロスフェードコントローラが前記制御範囲の一方の端点にあるときに、前記第1の音量レベルが最大となり、前記第2の音量レベルが最小となり、前記クロスフェードコントローラが前記制御範囲のもう一方の端点にあるときに、前記第1の音量レベルが最小となり、前記第2の音量レベルが最大となるように、前記出力データの第1の音量レベルおよび前記第2楽曲出力データの第2の音量レベルを設定する、クロスフェードユニットと、
をさらに含む、
項目1から6までの少なくとも1項記載の装置。
前記装置が、マイクロプロセッサ、ストレージユニット、入力インタフェースおよび出力インタフェースを有するコンピュータを含み、少なくとも前記入力ユニット、前記分解ユニット、前記第1のエフェクトユニット、および前記再結合ユニットが、前記コンピュータ上で実行されるソフトウェアプログラムによって形成されており、前記ソフトウェアが、好ましくは、本発明の第1の態様による方法を実行するように前記コンピュータを制御するように適合化されている、
項目1から7までの少なくとも1項記載の装置。
Claims (24)
- 音楽オーディオデータを処理するための方法であって、
a.所定の音楽的音色のミクスチャを含む第1の音楽作品を表す入力オーディオデータを提供するステップと、
b.前記入力オーディオデータを分解して、少なくとも、前記所定の音楽的音色から選択された第1の音楽的音色を表す第1のオーディオトラック、および前記所定の音楽的音色から選択された第2の音楽的音色を表す第2のオーディオトラックを生成するステップと、
c.前記第1のオーディオトラックに所定の第1のオーディオエフェクトを適用するステップと、
d.前記第2のオーディオトラックに、オーディオエフェクトを適用しないか、または前記第1のオーディオエフェクトとは異なる所定の第2のオーディオエフェクトを適用するステップと、
e.前記第1のオーディオトラックと前記第2のオーディオトラックとを再結合して、再結合オーディオデータを取得するステップと、
を含む、方法。 - 前記第1のオーディオエフェクトが、前記第1のオーディオトラックのオーディオデータのピッチをその再生時間を維持しながら変更する、ピッチスケーリングエフェクトである、
請求項1記載の方法。 - 前記ピッチスケーリングエフェクトが、前記第1のオーディオトラックの前記オーディオデータの前記ピッチを所定の半音数だけ上下にシフトさせる、
請求項1または2記載の方法。 - 前記オーディオデータを分解するステップbが、それらの和が前記入力オーディオデータに実質的に等しくなるような補完関係にある第1のオーディオトラックおよび第2のオーディオトラックを生成する、
請求項1から3までの少なくとも1項記載の方法。 - 前記第1の音楽的音色が、ハーモニックボーカル音色もしくはハーモニックインストゥルメント音色であり、かつ/または前記第2の音楽的音色が、非ハーモニックボーカル音色もしくは非ハーモニックインストゥルメント音色であり、好ましくはドラム音色である、
請求項1から4までの少なくとも1項記載の方法。 - 前記オーディオデータを分解するステップbにおいて、前記第1のオーディオトラック、前記第2のオーディオトラック、および第3の音楽的音色を表す第3のオーディオトラックが生成されており、前記第1のオーディオトラック、前記第2のオーディオトラック、および前記第3のオーディオトラックは、それらの和が前記入力オーディオデータに実質的に等しくなるような補完関係にあり、
ステップcにおいて、前記所定の第1のオーディオエフェクトが、前記第1のオーディオトラックに適用されるが、前記第2のオーディオトラックには適用されず、前記第3のオーディオトラックには適用されず、
ステップdにおいて、前記第1のオーディオトラックと前記第2のオーディオトラックと前記第3のオーディオトラックとが、再結合されて、前記再結合オーディオデータを取得する、
請求項1から5までの少なくとも1項記載の方法。 - 前記入力オーディオデータを分解するステップbが、訓練済みのニューラルネットワークを含むAIシステムにより前記入力オーディオデータを処理することを含む、
請求項1から6までの少なくとも1項記載の方法。 - 前記再結合オーディオデータから取得された出力データが、さらに処理され、好ましくはストレージユニットに保存され、かつ/または再生ユニットによって再生され、かつ/または第2楽曲出力データとミキシングされる、
請求項1から7までの少なくとも1項記載の方法。 - 前記再結合オーディオデータを取得すること、および/または前記出力データをさらに処理することが、前記入力オーディオデータの分解の開始後5秒未満、好ましくは200ミリ秒未満の時間内に実行される、
請求項1から8までの少なくとも1項記載の方法。 - 前記方法が、
-前記入力オーディオデータの前記第1の音楽作品の第1のキーを決定するステップと、
-第2の音楽作品を表す第2楽曲入力データを提供するステップと、
-第2楽曲オーディオデータの前記第2の音楽作品の第2のキーを決定するステップと、
-前記第1のキーおよび前記第2のキーに基づいてピッチシフト値を決定するステップと、
をさらに含み、
ステップcにおいて、前記第1のオーディオトラックのピッチが、前記第2のトラックのピッチを維持しながら、前記ピッチシフト値によってシフトされ、
前記方法が、好ましくは、前記再結合オーディオデータから取得された出力データと前記第2楽曲入力データから取得された第2楽曲出力データとをミキシングして、例えばミキシング出力データを取得するステップをさらに含み、
前記方法が、好ましくは、前記ミキシング出力データから取得された再生データを再生するステップをさらに含む、
請求項1から9までの少なくとも1項記載の方法。 - 音楽オーディオデータを処理するための装置であって、
-所定の音楽的音色のミクスチャを含む第1の音楽作品を表す入力オーディオデータを受信するための入力ユニットと、
-前記入力ユニットから受信した前記入力オーディオデータを分解して、少なくとも、前記所定の音楽的音色から選択された第1の音楽的音色を表す第1のオーディオトラック、および前記所定の音楽的音色から選択された第2の音楽的音色を表す第2のオーディオトラックを生成するための分解ユニットと、
-所定の第1のオーディオエフェクトを前記第1のオーディオトラックに適用するが、前記第2のオーディオトラックには適用しない、エフェクトユニットと、
-前記第1のオーディオトラックと前記第2のオーディオトラックとを再結合して、再結合オーディオデータを取得するための再結合ユニットと、
を含む、装置。 - 前記エフェクトユニットが、その再生期間を維持しながら、前記第1のオーディオトラックのオーディオデータの前記ピッチを変更するためのピッチスケーリングユニットである、
請求項11記載の装置。 - 前記分解ユニットが、訓練済みのニューラルネットワークを含むAIシステムを含み、前記ニューラルネットワークが、異なる音楽的音色のミクスチャを含むオーディオデータから所定の音楽的音色のオーディオデータを分離するように訓練されている、
請求項11または12記載の装置。 - 前記装置が、出力データを保存するように適合化されたストレージユニット、および/または前記出力データを再生するように適合化された再生ユニット、および/または前記出力データと第2楽曲出力データとをミキシングするように適合化されたミキシングユニットをさらに含む、
請求項11から13までの少なくとも1項記載の装置。 - 前記装置が、
-前記入力オーディオデータの前記第1の音楽作品の第1のキーを決定するための第1のキー検出ユニットと、
-第2の音楽作品を表す第2楽曲入力データを提供するための第2楽曲入力ユニットと、
-前記第2楽曲オーディオデータの前記第2の音楽作品の第2のキーを決定するための第2のキー検出ユニットと、
-前記第1のキーおよび前記第2のキーに基づいてピッチシフト値を決定するためのピッチシフト計算ユニットと、
をさらに含み、
前記エフェクトユニットが、前記第2のトラックのピッチを維持しながら、前記第1のオーディオトラックの前記ピッチを前記ピッチシフト値だけシフトさせるように適合化されたピッチスケーリングユニットである、
請求項11から14までの少なくとも1項記載の装置。 - 前記装置が、
前記再結合オーディオデータから取得された出力データと前記第2楽曲入力データから取得された第2楽曲出力データとをミキシングして、例えばミキシング出力データを取得するように適合化されたミキシングユニットと、
好ましくは、前記ミキシング出力データから取得された再生データを再生するように適合化された再生ユニットと、
をさらに含む、請求項15記載の装置。 - 前記装置が、
-第2の音楽作品を表す第2楽曲入力データを提供するための第2楽曲入力ユニットと、
-前記再結合オーディオデータから取得された出力データと前記第2楽曲入力データから取得された第2楽曲出力データとをミキシングして、例えばミキシング出力データを取得するように適合化されたミキシングユニットと、
-ユーザが操作して制御範囲内の制御位置を設定できるクロスフェードコントローラを有するクロスフェードユニットであって、前記クロスフェードユニットは、前記クロスフェードコントローラの前記制御位置に応じて、前記クロスフェードコントローラが前記制御範囲の一方の端点にあるときに前記第1の音量レベルが最大となりかつ前記第2の音量レベルが最小となり、前記クロスフェードコントローラが前記制御範囲のもう一方の端点にあるときに前記第1の音量レベルが最小となりかつ前記第2の音量レベルが最大となるように、前記出力データの第1の音量レベルおよび前記第2楽曲出力データの第2の音量レベルを設定する、クロスフェードユニットと、
をさらに含む、請求項11から16までの少なくとも1項記載の装置。 - 前記装置が、前記エフェクトユニットの動作、特に第1の分解オーディオトラックへの少なくとも前記第1のオーディオエフェクトの適用をユーザが制御することを可能にするように適合化されたエフェクト制御ユニットをさらに含む、
請求項11から17までの少なくとも1項記載の装置。 - 前記エフェクトユニットが複数のオーディオエフェクトを制御し、前記エフェクト制御ユニットが、前記第1のオーディオトラックに適用される前記第1のオーディオエフェクトとして、ユーザが前記複数のオーディオエフェクトから少なくとも1つのオーディオエフェクトを選択することを可能にするように適合化されたエフェクト制御要素を含む、
請求項18記載の装置。 - 前記エフェクト制御ユニットは、ユーザが前記第1のオーディオエフェクトの少なくとも1つのエフェクトパラメータを制御することを可能にするように適合化されたパラメータ制御要素を含む、
請求項18または19記載の装置。 - 前記分解ユニットは、前記入力オーディオデータを分解して、それぞれが前記所定の音楽的音色から選択された異なる音色を表す複数の分解オーディオトラックを生成するように適合化されており、
前記エフェクト制御ユニットは、前記選択された分解オーディオトラックとして、ユーザが前記複数の分解オーディオトラックのうちの少なくとも1つを選択することを可能にするように適合化されたルーティング制御要素を含み、
前記エフェクトユニットが、オーディオエフェクトまたは前記選択されたオーディオエフェクトまたは前記第1のオーディオエフェクトを、前記少なくとも1つの選択された分解オーディオトラックに適用する、
請求項18から20までの少なくとも1項記載の装置。 - 前記分解ユニットが、前記入力オーディオデータを分解して、少なくとも第1の分解オーディオトラックおよび第2の分解オーディオトラックを含む複数の分解オーディオトラックを生成するように適合化されており、前記複数の分解オーディオトラックの各々が、それぞれ、同じ音楽作品の前記所定の音楽的音色から選択された異なる音色を表し、
前記エフェクト制御ユニットが、好ましくはユーザの単一の制御操作によって、少なくとも前記第1の分解オーディオトラックへの第1のオーディオエフェクトの適用を制御し、かつ前記第2の分解オーディオトラックへの前記第1のオーディオエフェクトとは異なる第2のオーディオエフェクトの適用を制御するように適合化されたコンボエフェクト制御要素を含む、
請求項18から21までの少なくとも1項記載の装置。 - 前記装置が、マイクロプロセッサ、ストレージユニット、入力インタフェースおよび出力インタフェースを有するコンピュータを含み、少なくとも前記入力ユニット、前記分解ユニット、前記エフェクトユニット、および前記再結合ユニットが、前記コンピュータ上で実行されるソフトウェアプログラムによって形成されており、前記ソフトウェアが、好ましくは、例えば請求項1から11までの少なくとも1項記載の方法を実行すべく前記コンピュータを制御するように適合化されている、
請求項11から17までの少なくとも1項記載の装置。 - コンピュータ上で実行され、前記コンピュータを制御して、例えば請求項1から10までの少なくとも1項記載の方法を実行するように適合化された、ソフトウェア。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2020/074034 WO2021175460A1 (en) | 2020-03-06 | 2020-08-27 | Method, device and software for applying an audio effect, in particular pitch shifting |
EPPCT/EP2020/074034 | 2020-08-27 | ||
PCT/EP2020/079275 WO2021175461A1 (en) | 2020-03-06 | 2020-10-16 | Method, device and software for applying an audio effect to an audio signal separated from a mixed audio signal |
EPPCT/EP2020/079275 | 2020-10-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022040079A true JP2022040079A (ja) | 2022-03-10 |
JP7136979B2 JP7136979B2 (ja) | 2022-09-13 |
Family
ID=80498732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021137938A Active JP7136979B2 (ja) | 2020-08-27 | 2021-08-26 | オーディオエフェクトを適用するための方法、装置、およびソフトウェア |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7136979B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116092507A (zh) * | 2023-03-22 | 2023-05-09 | 广州感音科技有限公司 | 一种音频混音方法、设备及介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7437636B1 (ja) | 2022-11-04 | 2024-02-26 | 有限会社和田技研 | スライサ |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001188600A (ja) * | 1999-12-28 | 2001-07-10 | Matsushita Electric Ind Co Ltd | 音程変換装置 |
JP2008242287A (ja) * | 2007-03-28 | 2008-10-09 | Yamaha Corp | 演奏装置およびその制御方法を実現するプログラム |
JP2017098999A (ja) * | 2013-05-07 | 2017-06-01 | ボーズ・コーポレーションBose Corporation | ヘッドレストベースのオーディオシステムのための信号処理 |
WO2019229199A1 (en) * | 2018-06-01 | 2019-12-05 | Sony Corporation | Adaptive remixing of audio content |
JP2020025348A (ja) * | 2012-12-04 | 2020-02-13 | サムスン エレクトロニクス カンパニー リミテッド | オーディオ提供装置及びオーディオ提供方法 |
-
2021
- 2021-08-26 JP JP2021137938A patent/JP7136979B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001188600A (ja) * | 1999-12-28 | 2001-07-10 | Matsushita Electric Ind Co Ltd | 音程変換装置 |
JP2008242287A (ja) * | 2007-03-28 | 2008-10-09 | Yamaha Corp | 演奏装置およびその制御方法を実現するプログラム |
JP2020025348A (ja) * | 2012-12-04 | 2020-02-13 | サムスン エレクトロニクス カンパニー リミテッド | オーディオ提供装置及びオーディオ提供方法 |
JP2017098999A (ja) * | 2013-05-07 | 2017-06-01 | ボーズ・コーポレーションBose Corporation | ヘッドレストベースのオーディオシステムのための信号処理 |
WO2019229199A1 (en) * | 2018-06-01 | 2019-12-05 | Sony Corporation | Adaptive remixing of audio content |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116092507A (zh) * | 2023-03-22 | 2023-05-09 | 广州感音科技有限公司 | 一种音频混音方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7136979B2 (ja) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210326102A1 (en) | Method and device for determining mixing parameters based on decomposed audio data | |
US11347475B2 (en) | Transition functions of decomposed signals | |
US7952012B2 (en) | Adjusting a variable tempo of an audio file independent of a global tempo using a digital audio workstation | |
US8198525B2 (en) | Collectively adjusting tracks using a digital audio workstation | |
US11462197B2 (en) | Method, device and software for applying an audio effect | |
US20230120140A1 (en) | Ai based remixing of music: timbre transformation and matching of mixed audio data | |
JP7136979B2 (ja) | オーディオエフェクトを適用するための方法、装置、およびソフトウェア | |
EP3389028A1 (en) | Automatic music production from voice recording. | |
US20230335091A1 (en) | Method and device for decomposing, recombining and playing audio data | |
US11875763B2 (en) | Computer-implemented method of digital music composition | |
WO2021175461A1 (en) | Method, device and software for applying an audio effect to an audio signal separated from a mixed audio signal | |
JP6926354B1 (ja) | オーディオデータの分解、ミキシング、再生のためのaiベースのdjシステムおよび方法 | |
Moralis | Live popular Electronic music ‘performable recordings’ | |
WO2023217352A1 (en) | Reactive dj system for the playback and manipulation of music based on energy levels and musical features | |
JP3743985B2 (ja) | カラオケ装置 | |
Ransom | Use of the Program Ableton Live to Learn, Practice, and Perform Electroacoustic Drumset Works | |
Riordan | Live Processing Into the 21st Century: Delay-Based Performance and Temporal Manipulation in the Music of Joel Ryan, Radiohead, and Sam Pluta | |
Salas | Camilo D Salas, Basics of Music Production (Audio Workshop for visually impaired musicians) | |
Ciesla | More Effects and Digital Audio Workstations | |
Laurello | Cope for chamber ensemble and fixed electronics | |
Eisele | Sound Design and Mixing in Reason | |
Lucas | Triple Synthesis | |
Dixon | Fractures for clarinet and computer | |
Vidiksis | Transfigurations: A symphonic work for orchestra and live computer processing | |
Zagorski-Thomas | " We don't write songs, we write records": a compositional methodology based on late 20th century popular music |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211026 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220527 |
|
C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20220613 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220628 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7136979 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |