JP2022139888A

JP2022139888A - 情報処理装置

Info

Publication number: JP2022139888A
Application number: JP2021040454A
Authority: JP
Inventors: 真長谷川; Makoto Hasegawa; 佑介岡田; Yusuke Okada; 史雄田村; Fumio Tamura
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2022-09-26

Abstract

【課題】オーディオ機器で負荷をかけることなく、聴者にとってより自然な効果音を楽曲に混合する。【解決手段】情報処理装置が、楽曲のオーディオデータの解析により得られる当該楽曲の特徴を取得する楽曲特徴取得部と、前記楽曲の特徴に基づいて、前記楽曲に混合する効果音の種別と当該効果音の混合の仕方を決定する効果音決定部と、前記決定された効果音の種別と混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込み、埋込済オーディオデータを生成するデータ生成部と、を有する。【選択図】図１

Description

本発明は、情報処理装置に関する。

楽曲に効果音を混合し、ライブ会場の雰囲気を味わえるようにする技術が知られている。例えば、特許文献１には、カラオケ効果音システムが開示されており、このカラオケ効果音設定システムでは、楽曲のジャンルに応じて効果音の種別が設定され、選択されたライブ会場の規模に応じて効果音の出力態様（手拍子や歓声を発する人数）が設定されている。

特開２０１６－７０９９９号公報

ライブ会場では、楽曲のリズムや曲調などの楽曲の特徴によって、観客による歓声や拍手の音や大きさなどが変わってくる。そこで、楽曲の特徴に応じた効果音を楽曲に混合することで、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

楽曲の特徴を得るために楽曲を解析する処理や、楽曲の特徴に合った効果音を決定する処理は、負荷の大きい処理であり、カーオーディオなどのオーディオ機器で行うよりも、スマートフォンなどの処理能力の高い装置で行うのが良い。

本発明が解決しようとする課題としては、オーディオ機器で負荷をかけることなく、聴者にとってより自然な効果音を楽曲に混合することが一例として挙げられる。

上記課題を解決するために、請求項１に記載の発明は、楽曲のオーディオデータの解析により得られる当該楽曲の特徴を取得する楽曲特徴取得部と、前記楽曲の特徴に基づいて、前記楽曲に混合する効果音の種別と当該効果音の混合の仕方を決定する効果音決定部と、前記決定された効果音の種別と混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込み、埋込済オーディオデータを生成するデータ生成部と、を有する。

請求項２に記載の発明は、楽曲に混合する効果音の種別と当該効果音の混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込むことで生成された埋込済オーディオデータから前記効果音情報を読み取る効果音情報読取部と、効果音のオーディオデータを記憶部と、前記読み取られた効果音情報に基づいて、前記埋込済オーディオデータに、効果音のオーディオデータを混合する混合部と、を有する。

請求項４に記載の発明は、コンピュータで実行される情報処理方法であって、楽曲に混合する効果音の種別と当該効果音の混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込むことで生成された埋込済オーディオデータから前記効果音情報を読み取る効果音情報読取工程と、前記読み取られた効果音情報に基づいて、前記埋込済オーディオデータに、効果音のオーディオデータを混合する混合工程と、を有する。

請求項５に記載の発明は、請求項４に記載の情報処理方法を、コンピュータにより実行させる。

請求項６に記載の発明は、請求項５に記載の情報処理プログラムを記憶している。

本発明の一実施例に係る効果音混合システムを示す図である。本発明の一実施例に係る制御部１１０を示す図である。効果音の混合の仕方の一例を示す図である。本発明の一実施例に係る効果音混合装置２００の制御部２１０を示す図である。効果音情報埋込装置１００と効果音混合装置２００との間の関係を説明する図である。本発明の一実施例に係る効果音混合システムにおける処理動作の一例を示す図である。効果音混合システムの構成例を示す図である。効果音混合システムの構成例を示す図である。効果音情報の埋め込みの例を示す図である。

本発明の一実施形態に係る情報処理装置は、楽曲のオーディオデータの解析により得られる当該楽曲の特徴を取得する楽曲特徴取得部と、前記楽曲の特徴に基づいて、前記楽曲に混合する効果音の種別と当該効果音の混合の仕方を決定する効果音決定部と、前記決定された効果音の種別と混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込み、埋込済オーディオデータを生成するデータ生成部と、を有する。このように、本実施形態では、効果音情報が埋め込まれた埋込済オーディオデータを予め生成する。このため、本実施形態では、楽曲を解析する処理や効果音を決定する処理などの負荷の大きい処理を行う装置と、楽曲に効果音を混合する処理を行う装置と、を分けることが可能になる。結果、オーディオ機器に負荷をかけることなく、聴者にとってより自然な効果音を楽曲に混合することが可能になる。

本発明の一実施形態に係る情報処理装置は、楽曲に混合する効果音の種別と当該効果音の混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込むことで生成された埋込済オーディオデータから前記効果音情報を読み取る効果音情報読取部と、効果音のオーディオデータを記憶部と、前記読み取られた効果音情報に基づいて、前記埋込済オーディオデータに、効果音のオーディオデータを混合する混合部と、を有する。このように、本実施形態では、効果音情報が埋め込まれた埋込済オーディオデータが予め生成される。このため、オーディオ機器に負荷をかけることなく、聴者にとってより自然な効果音を楽曲に混合することが可能になる。

前記効果音情報は、前記オーディオデータのうち、人間に聴こえない領域に埋め込まれているようにしても良い。このようにすることで、オーディオデータに効果音情報が埋め込まれたとしても、聴者が、違和感なく、楽曲を聴くことが可能になる。

また、本発明の一実施形態にかかる情報処理方法は、コンピュータで実行される情報処理方法であって、楽曲に混合する効果音の種別と当該効果音の混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込むことで生成された埋込済オーディオデータから前記効果音情報を読み取る効果音情報読取工程と、前記読み取られた効果音情報に基づいて、前記埋込済オーディオデータに、効果音のオーディオデータを混合する混合工程と、を有する。このように、本実施形態では、効果音情報が埋め込まれた埋込済オーディオデータが予め生成される。このため、オーディオ機器に負荷をかけることなく、聴者にとってより自然な効果音を楽曲に混合することが可能になる。

また、本発明の一実施形態に係る情報処理プログラムは、上記の情報処理方法を、コンピュータに実行させる。このようにすることで、コンピュータを用いて、オーディオ機器に負荷をかけることなく、聴者にとってより自然な効果音を楽曲に混合することが可能になる。

また、本発明の一実施形態に係るコンピュータ読み取り可能な記憶媒体は、上記の情報処理プログラムを記憶している。このようにすることで、上記の情報処理プログラムを、機器に組み込む以外にも単体で流通することが可能になり、バージョンアップ等を容易に行うことが可能になる。

＜効果音混合システム＞
図１は、本発明の一実施例に係る効果音混合システムを示す図である。効果音混合システムは、効果音情報埋込装置１００と、効果音混合装置２００と、を有する。

効果音情報埋込装置１００は、制御部１１０と、記憶部１２０と、オーディオ信号出力部１３０と、を有する。制御部１１０は、例えば、ＣＰＵなどを有するコンピュータにより構成される。

記憶部１２０は、楽曲のオーディオデータを記憶する。記憶部１２０は、例えば、ハードディスクやメモリなどの記憶装置である。

オーディオ信号出力部１３０は、楽曲のオーディオ信号を出力する。オーディオ信号出力部１３０は、記憶部１２０やＣＤ（ＣｏｍｐｃｔＤｉｓｃ）、クラウド上などに記憶された楽曲のオーディオデータや、制御部１１０により生成されたオーディオデータから楽曲のオーディオ信号を生成し、生成された楽曲のオーディオ信号を出力する。

図２は、本発明の一実施例に係る制御部１１０を示す図である。制御部１１０は、楽曲特徴取得部１１１と、効果音決定部１１２と、データ生成部１１３と、出力処理部１１４と、を有する。

楽曲特徴取得部１１１は、楽曲の特徴を取得する。楽曲の特徴は、例えば、楽曲の音量、楽曲の拍の位置、単位時間あたりの拍の数（例えば、ＢＰＭ（ＢｅａｔｓＰｅｒＭｉｎｕｔｅ））、楽曲の拍子、楽曲に使用される和音の種類の数、単位時間あたりの和音の数、和音の明瞭度、各帯域のパワー、楽曲のサビの位置などである。

楽曲特徴取得部１１１は、楽曲を解析することで、楽曲の特徴を取得するようにしても良いし、事前の解析で得られていた楽曲の特徴が記憶部１２０やクラウド上に記憶されるようにし、楽曲特徴取得部１１１は、記憶部１２０やクラウド上に記憶された楽曲の特徴を取得するようにしても良い。また、楽曲特徴取得部１１１は、記憶部１２０やＣＤなどに記憶された楽曲のデータに付与されたタグ情報から、楽曲の特徴を取得するようにしても良い。

効果音決定部１１２は、楽曲特徴取得部１１１により取得された楽曲の特徴に基づいて、この楽曲に混合する効果音の種別と効果音の混合の仕方を決定する。効果音としては、例えば、ライブ会場において楽曲に始まりや終わりに生じる歓声や拍手などの第１の効果音、ライブ会場において常時発生している環境音（ざわつき）などの第２の効果音、ライブ会場において楽曲のリズムや拍に合わせて行われる手拍子などの第３の効果音がある。また、効果音の各々には、ライブ会場の大きさごとに複数のバージョンを用意するようにしても良い。図３は、効果音の混合の仕方の例を示す図である。図３に示した例では、第１の効果音（歓声や拍手など）は、楽曲の始まりの部分と終わりの部分に混合される。第２の効果音（環境音）は、楽曲が始まる前から混合され始め、楽曲が再生されている間はずっと混合され続ける。第３の効果音（手拍子など）は、楽曲が再生されている間に混合される。

データ生成部１１３は、効果音決定部１１２により決定された効果音の種別と混合の仕方を示す効果音情報を楽曲のオーディオデータに埋め込み、埋込済オーディオデータを生成する。つまり、データ生成部１１３では、楽曲のオーディオデータに、効果音のオーディオデータ自体を混合するのではなく、どのような効果音をどのように混合するのかを示した効果音情報を、楽曲のオーディオデータの一部を上書きすることで、楽曲のオーディオデータ自体に埋め込み、効果音情報が埋め込まれた埋込済オーディオデータを生成する。ここで、効果音情報が埋め込まれる楽曲のオーディオデータは、ＰＣＭ方式などの非圧縮のオーディオデータであり、記憶部１２０に楽曲のオーディオデータの圧縮ファイル（例えば、ＭＰ３ファイル）が記憶されている場合は、データ生成部１１３は、この圧縮ファイルを解凍し、非圧縮のオーディオデータにしてから、効果音情報を埋め込む。

出力処理部１１４は、データ生成部１１３により生成された埋込済オーディオデータからオーディオ信号を生成し、オーディオ信号出力部１３０により、生成されたオーディオ信号を効果音混合装置２００に出力する。

効果音混合装置２００は、制御部２１０と、記憶部２２０と、オーディオ信号入力部２３０と、混合部２４０と、を有する。制御部２１０は、例えば、ＣＰＵなどを有するコンピュータにより構成される。

記憶部２２０は、効果音のオーディオデータを記憶する。効果音に複数の種別があるときは、記憶部２２０は、それぞれの種別用のオーディオデータを記憶する。記憶部１２０は、例えば、ハードディスクやメモリなどの記憶装置である。

オーディオ信号入力部２３０は、効果音情報埋込部１００から出力されたオーディオ信号の入力を受ける。

混合部２４０は、オーディオ信号入力部２４０に入力されたオーディオ信号に、記憶部１２０に記憶された混合音のオーディオデータから生成されたオーディオ信号を混合し、混合済オーディオ信号を出力する。

図４は、本発明の一実施例に係る効果音混合装置２００の制御部２１０を示す図である。制御部２１０は、効果音情報読取部２１１と、混合処理部２１２と、を有する。

効果音情報読取部２１１は、オーディオ信号入力部２３０に入力されたオーディオ信号から効果音情報を読み取る。効果音埋込装置１００から出力されたオーディオ信号が、埋込済オーディオデータのオーディオ信号であれば、このオーディオ信号には、効果音情報が埋め込まれている。効果音情報読取部２１１は、オーディオ信号からこの埋め込まれた効果音情報を読み取る。

混合処理部２１２は、効果音情報読取部２１１により読み取られた効果音情報に基づいて、オーディオ信号入力部２３０に入力されたオーディオ信号に、効果音のオーディオデータから生成されるオーディオ信号を混合部２４０により混合し、混合済オーディオ信号を出力する。効果音情報には、楽曲に混合される効果音の種別と混合の仕方が示されている。そこで、例えば、混合処理部２１２は、この効果音情報に示された種別の効果音のオーディオデータを記憶部２２０から読み出し、読み出された効果音のオーディオデータから効果音のオーディオ信号を生成し、効果音情報に示された混合の仕方に基づいて、この生成された効果音のオーディオ信号を、混合部２４０に出力する。出力された効果音のオーディオ信号は、混合部２４０において、オーディオ信号入力部２３０に入力されたオーディオ信号に、効果音情報に示された混合の仕方に基づいて混合される。

本実施例では、図５に示すように、効果音情報埋込装置１００で生成された埋込済オーディオデータのオーディオ信号を、効果音混合装置２００が受け取り、受け取ったオーディオ信号に、効果音を混合する。そして、例えば、効果音が混合された混合済オーディオ信号が、ＤＡＣ（ＤｉｇｉｔａｌＡｎａｌｏｇＣｏｎｖｅｒｔｅｒ）により、アナログ信号に変換され、このアナログ信号がアンプにより増幅され、増幅されたアナログ信号に基づいた音が、スピーカから出力される。

このように、本実施例では、効果音情報が埋め込まれた埋込済オーディオデータを予め生成するため、楽曲を解析する処理や効果音を決定する処理などの負荷の大きい処理を行う装置（効果音情報埋込装置１００）と、楽曲に効果音を混合する処理を行う装置（効果音混合装置２００）と、を分けることが可能になる。このため、本実施例では、負荷の大きい処理をスマートフォンなどの処理能力の高い装置で行うようにし、カーオーディオなどのオーディオ機器に負荷をかかることを避けることが可能になる。カーオーディオなどのオーディオ機器に負荷をかけることなく、楽曲の特徴にあった効果音を楽曲に混合することが可能になる。結果、オーディオ機器に負荷をかけることなく、聴者にとってより自然な効果音を楽曲に混合することが可能になる。

また、本実施例では、効果音出力装置１００から効果音混合装置２００に送られるものは、オーディオ信号のみであり、効果音出力装置１００と効果音混合装置２００との間で他の情報の通信を行うことなく、楽曲に効果音を混合することが可能である。

図６は、本実施例に係る効果音混合システムにおける処理動作の一例を示す図である。楽曲特徴取得部１１１が、楽曲の特徴を取得する（ステップＳ６０１）。効果音決定部１１２が、楽曲特徴取得部１１１により取得された楽曲の特徴に基づいて、この楽曲に混合する効果音の種別と効果音の混合の仕方を決定する（ステップＳ６０２）。データ生成部１１３が、効果音決定部１１２により決定された効果音の種別と混合の仕方を示す効果音情報を楽曲のオーディオデータに埋め込み、埋込済オーディオデータを生成する（ステップＳ６０３）。出力処理部１１４が、データ生成部１１３により生成された埋込済オーディオデータからオーディオ信号を生成し、オーディオ信号出力部１３０により、生成されたオーディオ信号を効果音混合装置２００に出力する（ステップＳ６０４）。効果音情報読取部２１１が、オーディオ信号入力部２３０に入力されたオーディオ信号から効果音情報を読み取る（ステップＳ６０５）。混合処理部２１２が、オーディオ信号入力部２３０に入力されたオーディオ信号に、効果音情報読取部２１１により読み取られた効果音情報に基づいて、効果音を混合する（ステップＳ６０６）。

＜効果音混合システムの構成＞
本実施例に係る効果音混合システムは、例えば、図７（Ａ）に示すように、スマートフォンとカーオーディオにより構成することや、図７（Ｂ）に示すように、スマートフォンとホームオーディオにより構成することができる。このとき、図７に示すように、スマートフォンが効果音情報埋込装置１００の機能を有し、カーオーディオやホームオーディオが効果音混合装置２００の機能を有する。このようにすることで、カーオーディオやホームオーディオに負荷をかけることなく、聴者にとってより自然な効果音を楽曲に混合することが可能になる。また、スマートフォンからカーオーディオ、ホームオーディオに送られるものは、オーディオ信号のみとなり、スマートフォンとカーオーディオ、ホームオーディオとの間で他の情報の通信を行うことなく、楽曲に効果音を混合することが可能になる。

図７に示した例のように、カーオーディオやホームオーディオが効果音混合装置２００の機能を有する場合、混合部２４０は、オーディオ信号の多チャンネル化の処理も行い、多チャンネル化されたオーディオ信号を出力するようにしても良い。このようにすると、スマートフォンに接続されるオーディオシステムを変えることで、あらゆるチャンネル構成のシステムを実現することが可能になる。

また、本実施例に係る効果音混合システムは、図８（Ａ）に示すように、クラウドとスマートフォンにより構成しても良い。このとき、図７に示すように、クラウドが効果音情報埋込装置１００の機能を有し、スマートフォンが効果音混合装置２００の機能を有する。このようにすることで、スマートフォンに負荷がかかることを避けることが可能になる。なお、図８（Ｂ）に示すように、効果音混合システムのすべてをスマートフォンが有するようにしても良い。

＜効果音情報の埋め込み＞
図９は、効果音情報の埋め込みの例を示す図である。図９に示すように、本実施例では、オーディオデータの一部を効果音情報に書き換えることで、オーディオデータに効果音情報が埋め込まれる。図９には、一例として、量子化ビット数が１６ビットであるオーディオデータを示している。

効果音混合装置２００は、効果音情報を読み取った後、埋込済オーディオデータのオーディオ信号から、効果音情報が埋め込まれた部分をカットする機能（オーディオデータ編集部）を有するようにし、効果音情報が埋め込まれた部分がカットされたオーディオ信号をＤＡＣなどに出力するようにしても良い。このようにすることで、聴者が、違和感なく、楽曲を聴くことが可能になる。

また、データ生成部１１３は、効果音情報を、オーディオデータのうち、人間に聴こえない領域に埋め込むようにしても良い。このようにすることで、オーディオデータに効果音情報が埋め込まれたとしても、聴者が、違和感なく、楽曲を聴くことが可能になる。例えば、図９に示した例では、オーディオデータのうち、最下位ビットの部分に、効果音情報が埋め込まれている。つまり、図９に示した例では、音が小さくて人間に聴こえない小信号領域に埋め込まれている。また、効果音情報を、人間にはほぼ聴こえない超高域の信号として、オーディオデータを埋め込むようにしても良い。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に記載した本発明の趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。

１００効果音情報埋込装置
１１０制御部
１１１楽曲特徴取得部
１１２効果音決定部
１１３データ生成部
１１４出力処理部
１２０記憶部
１３０オーディオ信号出力部
２００効果音混合装置
２１０制御部
２１１効果音情報読取部
２２２混合処理部
２２０記憶部
２３０オーディオ信号入力部
２４０混合部

Claims

楽曲のオーディオデータの解析により得られる当該楽曲の特徴を取得する楽曲特徴取得部と、
前記楽曲の特徴に基づいて、前記楽曲に混合する効果音の種別と当該効果音の混合の仕方を決定する効果音決定部と、
前記決定された効果音の種別と混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込み、埋込済オーディオデータを生成するデータ生成部と、を有する情報処理装置。
楽曲に混合する効果音の種別と当該効果音の混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込むことで生成された埋込済オーディオデータから前記効果音情報を読み取る効果音情報読取部と、
効果音のオーディオデータを記憶部と、
前記読み取られた効果音情報に基づいて、前記埋込済オーディオデータに、効果音のオーディオデータを混合する混合部と、を有する情報処理装置。
前記効果音情報は、前記オーディオデータのうち、人間に聴こえない領域に埋め込まれている、請求項１または２に記載の情報処理装置。
コンピュータで実行される情報処理方法であって、
楽曲に混合する効果音の種別と当該効果音の混合の仕方を示す効果音情報を前記楽曲のオーディオデータに埋め込むことで生成された埋込済オーディオデータから前記効果音情報を読み取る効果音情報読取工程と、
前記読み取られた効果音情報に基づいて、前記埋込済オーディオデータに、効果音のオーディオデータを混合する混合工程と、を有する情報処理方法。
請求項４に記載の情報処理方法を、コンピュータに実行させる情報処理プログラム。
請求項５に記載の情報処理プログラムを記憶しているコンピュータ読み取り可能な記憶媒体。