JP2020008755A - 音楽連動画像表示システム - Google Patents

Abstract

【課題】プロフェッショナルの楽器演者や歌手であっても満足のいく画像表現を実現することを課題とする。【解決手段】表示手段（モニター８、外部表示装置２５）に表示される画像を音楽に連動して変化させる音楽連動画像表示システムであって、演者が演奏する楽器（ギター２）に設置され、該楽器の音源振動を電気信号として検出する検出手段（ピックアップ２３）と、前記検出手段が検出した電気信号に基づく非加工音情報に応じて、前記表示手段に表示される画像を変化させる画像処理手段（パソコン３）とを有することを特徴とする。【選択図】図１

Description

本発明は、表示手段に表示される画像を音楽に連動して変化させる音楽連動画像表示システムに関するものである。

この種の音楽連動画像表示システムとしては、例えば特許文献１に開示された音楽画像表示装置が知られている。この音楽画像表示装置は、タッチパネル上に画像を表示し、その表示態様を、電子鍵盤楽器からの伴奏音および押鍵音に対応するＭＩＤＩデータ等の演奏情報に応じて変化させる。

特開２０１３−２２４９９９号公報

前記特許文献１に記載の音楽画像表示装置のように演奏情報に応じて画像を変化させる場合、演奏情報には演者が演奏する楽器の音や歌手の歌声に関する詳細な音情報が含まれないため、演者が演奏する楽器の音や歌手の歌声との関連性が高い画像変化を実現することは難しい。
一方で、演者が演奏する楽器の音や歌手の歌声は、多くの場合、聴者に向けて出力される前に種々のサウンドエフェクト等の加工が施される。このような加工が施された後の楽器音や歌声は、演者が演奏する楽器の音（原音）や歌手の歌声（原音）を忠実に再現したものではない。そのため、加工が施された後の楽器音や歌声の音情報に応じて画像を変化させる場合、演者が演奏する楽器の音や歌手の歌声と画像変化との関連性は、特にプロフェッショナルの楽器演者や歌手にとっては満足のいくものとはならない。

上述した課題を解決するために、本発明は、表示手段に表示される画像を音楽に連動して変化させる音楽連動画像表示システムであって、演者が演奏する楽器又は歌声が入力されるマイクロフォンに設置され、該楽器の音源振動又は該マイクロフォンに入力される歌声振動を電気信号として検出する検出手段と、前記検出手段が検出した電気信号に基づく非加工音情報に応じて、前記表示手段に表示される画像を変化させる画像処理手段とを有することを特徴とする。
本発明によれば、表示手段に表示される画像を変化させる画像処理が、楽器やマイクロフォンに設置される検出手段が検出する電気信号に基づく非加工の音情報に応じて行われる。この非加工音情報は、サウンドエフェクト等の加工処理を施していない、いわゆる原音を示す情報であり、楽器音や歌声音を直接的に示す情報である。ただし、非加工音情報は、実質的に原音の情報が保持されていれば、例えば可聴域から外れる周波数帯をカットしたり、ホワイトノイズなどをカットしたりするような処理を施したものであってもよい。このような非加工音情報を用いて表示手段に表示される画像を変化させることにより、サウンドエフェクト等による加工の影響を受けない形で、演者が演奏する楽器の音（原音）や歌手の歌声（原音）に忠実な画像変化を実現することが可能となる。その結果、演者が演奏する楽器の音（原音）や歌手の歌声（原音）と関連性の高い画像変化が可能となり、演者や歌手の表現する音楽性と高い親和性をもった画像表現を実現できる。

また、前記音楽連動画像表示システムにおいて、前記画像処理手段は、前記楽器の音源振動又は前記マイクロフォンに入力される歌声振動の電気信号を加工して又は該電気信号に基づく非加工音情報を加工して音出力する際の該加工の内容を示す加工情報も用いて、前記表示手段に表示される画像を変化させてもよい。
このように、原音を加工して音出力される際の加工情報も用いて画像を変化させることにより、楽器演者や歌手による原音と関連性の高い画像変化を実現しつつも、出力される加工済みの音とも関連性の高い画像変化を実現できる。ここでいう加工情報は、出力される音の原音に対し、例えば、リバーブ、コーラス、ディレイ、ディストーションなどのサウンドエフェクトを加える加工処理の内容（例えば、エフェクターの各種パラメータ値）を示す情報である。

また、前記音楽連動画像表示システムにおいて、前記表示手段は、前記楽器又は前記マイクロフォンに設けられていることを特徴とする。
これによれば、楽器やマイクロフォンに設けられる表示手段に表示される画像が、当該楽器を演奏する演者による楽器音や当該マイクロフォンで歌唱する歌手の歌声に関連して変化するという演出効果を得ることができる。

以上、本発明によれば、プロフェッショナルの楽器演者や歌手であっても満足のいく画像表現を実現することが可能となる。

実施形態に係る音楽連動画像表示システムの構成を示す説明図である。 同音楽連動画像表示システムの主要部分を示す機能ブロック図である。 ギターをマイクロフォンに変えた音楽連動画像表示システムの構成を示す説明図である。 変形例に係る音楽連動画像表示システムの主要部分を示す機能ブロック図である。

以下、本発明に係る音楽連動画像表示システムの一実施形態について図面を参照しながら説明する。
図１は、本実施形態に係る音楽連動画像表示システムの構成を示す説明図である。
本実施形態の音楽連動画像表示システム１は、図１に示すように、主に、ギター２と、パソコン３とから構成される。本実施形態では、楽器の一例として、電気楽器であるエレクトリックギター（以下、単に「ギター」という。）の例で説明するが、エレクトリックベースなどの他の電気楽器であってもよい。

ギター２は、弦２２の振動（音源振動）を電気信号として検出する検出手段としてのピックアップ２３を備えている。ピックアップ２３は、例えばギター２のボディ２１などに取り付けられ、弦２２の振動を検出して電気信号に変換する。ピックアップ２３から出力される電気信号は、ギター２のコネクタ２４に有線接続されたエフェクター４に出力される。エフェクター４は、ピックアップ２３から出力された電気信号を加工して、様々なサウンドエフェクト（ディストーション等）を加えるための信号処理を行うものである。

エフェクター４によって加工された電気信号は、アンプ５へ出力される。アンプ５では、入力された電気信号を音信号に変換するとともに、音のトーンやボリュームの調整などが行われる。アンプ５で生成された音信号は、アンプ５に接続された音出力手段としてのスピーカーシステム６から音として出力される。これにより、演者が演奏したギター２の音（楽器音）がスピーカーシステム６から出力される。

なお、ピックアップ２３から出力される電気信号を他の機器を介して音出力するようにしてもよい。例えば、他の機器としてシンセサイザを用いた場合、ピックアップ２３から出力される電気信号に基づき、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した演奏情報（ＭＩＤＩ情報）を生成し、電子機器に出力する。

また、本実施形態におけるギター２のボディ２１には、図１に示すように、表示手段としてのモニター２５が設けられている。このモニター２５は、ギター２の内部に搭載されているコンピュータ装置７によって表示制御され、後述するように、ギター２の楽器音に連動して変化する画像を表示する。

本実施形態において、ピックアップ２３から出力される電気信号は、マイク入力部を備えたコンピュータ装置７にも出力される。コンピュータ装置７は、マイク入力された電気信号から生成される非加工音情報を、無線通信によって、パソコン３へ送信する。なお、ギター２に搭載されたコンピュータ装置７とパソコン３との間の通信は、無線通信に限らず、有線通信であってもよく、また通信方式等は任意に選択される。

パソコン３は、一般的なパーソナルコンピュータであり、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成される情報処理部において、ＲＯＭ等に格納されている各種制御プログラム等を実行することにより各種制御、各種処理を行う。本実施形態のパソコン３には、キーボードやマウスなどの操作入力部３３や表示部３５が備わっている。本実施形態のパソコン３は、ギター２のピックアップ２３から出力される電気信号に基づく非加工音情報を、ギター２に搭載されたコンピュータ装置７から無線通信によって受信し、その非加工音情報に応じて変化する画像を生成する画像処理を実行する。

また、パソコン３の外部コネクタには、表示手段としての外部表示装置８が接続されている。外部表示装置８は、後述するように、ギター２の楽器音に連動して変化する画像を表示する。この外部表示装置８としては、液晶モニターや画像投写装置（プロジェクタ）などが挙げられ、その使用目的に応じて適宜選択される。例えば、ギター２の演者が観客に対して提供するパフォーマンスの演出に用いるような場合には、１又は２以上の液晶モニターで構成される大型モニターを用いたり、大型の画像を投写するプロジェクタ（プロジェクションマッピングを含む。）を用いたりすることができる。また、外部表示装置８の使用目的によっては、仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）などに用いられる表示機器を用いてもよい。

図２は、本実施形態に係る音楽連動画像表示システムの主要部分を示す機能ブロック図である。
演者がギター２を演奏すると、弦２２の振動がピックアップ２３により検出されて電気信号がピックアップ２３から出力される。その電気信号は、ギター２に搭載されたコンピュータ装置７のマイク入力部７３に入力される。マイク入力部７３は、入力された電気信号を、コンピュータによる処理が可能なデジタル信号（非加工音情報）に変換して、コンピュータ装置７の情報処理部７１へ出力する。

コンピュータ装置７は、ギター２に搭載可能な小型のコンピュータであり、一般的なコンピュータと同様、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成される情報処理部７１を備える。情報処理部７１は、マイク入力部７３から非加工音情報が入力されると、その非加工音情報を、サウンドエフェクト等の加工処理を施さないまま、コンピュータ装置７の無線通信部７２から、無線通信によって、パソコン３へ送信する。

パソコン３では、ギター２の無線通信部７２から非加工音情報を無線通信部３２により受信すると、その非加工音情報が情報処理部３１に入力される。そして、情報処理部３１は、画像処理手段として機能し、入力される非加工音情報に応じて変化する画像を生成する画像処理を実行して、ギター２に搭載されたモニター２５や、パソコン３の外部コネクタ３６に接続された外部表示装置８などの表示手段に表示される画像をギター２の楽器音に連動して変化させる。

表示手段に表示される画像内容には特に制限はないが、例えば、ラインアート（複数の線分が位置や角度を変えながら動く画像）や、幾何学模様の画像や、パターン画像が、ギター２の楽器音に連動して時間的に変化するものが挙げられる。なお、モニター２５に表示される画像と外部表示装置８に表示される画像は同じ画像である必要はなく、それぞれに異なる画像を表示させる場合、情報処理部３１は、非加工音情報に応じて変化する画像をそれぞれ生成する。

本実施形態のパソコン３には、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶部３４に、表示手段に表示される表示画像の基礎となる１又は２以上の基礎画像データが記憶されている。基礎画像データは、静止画像データであっても、動画像データであっても、あるいはプログラムによって画像を生成するためのコード情報であってもよい。いずれにしても、表示手段に表示される表示画像の基礎となるデータであればよい。基礎画像データは、予め用意された専用の画像データであるが、所定のサーバからインタネットを介してダウンロードして追加するようにしてもよい。また、ビデオカメラ等の撮像手段によって撮像したリアルタイム画像を基礎画像データとして用いてもよい。

ギター２の演者あるいは他の操作者は、パソコン３の操作入力部３３を操作することで、表示画像の基礎とする基礎画像データを選択することができる。パソコン３の情報処理部３１は、操作入力部３３からの操作情報によって指定される基礎画像データを記憶部３４から読み出し、ＲＡＭ等のワークエリアに展開する。そして、情報処理部３１は、所定の画像処理プログラムを実行し、無線通信部３２から入力される非加工音情報に応じ、ワークエリアに展開された基礎画像データに対して当該画像処理プログラムに従った変更を加え、変化画像情報を生成する。

情報処理部３１は、基礎画像データが静止画像データである場合、ワークエリアに展開した基礎画像データに対し、非加工音情報に応じて連続的に変更を加え、変更後の画像データを動画フレーム単位で順次出力する。また、基礎画像データが動画像データである場合、情報処理部３１は、その基礎画像データの動画像を構成するフレーム画像データをワークエリアに順次展開し、各フレーム画像データに対して非加工音情報に応じた変更を加え、変更後のフレーム画像データを順次出力する。このようにして、情報処理部３１は、基礎画像データに基づく画像が非加工音情報に応じて変化する画像データ（変化画像情報）を生成する。

このようにして情報処理部３１で生成される変化画像情報は、パソコン３の外部コネクタ３６に接続された外部表示装置８へ送られる。これにより、外部表示装置８は、受信した変化画像情報に基づいた画像を表示し、その結果、例えばギター２の演奏を聴いている聴者に対して、ギター２の楽器音に連動して変化する画像を大画面で見せることができる。

また、情報処理部３１で生成される変化画像情報は、パソコン３の無線通信部７２から、無線通信によってギター２のコンピュータ装置７へ送信する。コンピュータ装置７は、パソコン３からの変化画像情報を無線通信部７２により受信すると、その変化画像情報が情報処理部７１に入力される。そして、情報処理部７１は、ギター２に搭載されたモニター２５を制御し、入力された変化画像情報に基づいた画像をモニター２５に表示させる。その結果、例えばギター２の演奏を聴いている聴者に対して、ギター２の演者を見ながら、ギター２の楽器音に連動して変化する画像を見せることができる。

本実施形態においては、非加工情報から所定の音楽構成要素を抽出し、抽出した音楽構成要素に基づいて画像を変化させる。これによれば、非加工情報から抽出される音楽構成要素に応じた画像変化がなされるため、楽器音や歌声による音楽との関連性が高い画像変化を実現できる。ここでいう音楽構成要素とは、音の諸要素（音の高さ（周波数）、音の大きさ（音圧レベル）、音色（周波数成分）など）のほか、メロディ（旋律）、ハーモニー（和声）、リズム（律動）、テンポなどの音楽の諸要素を含むものである。

ギター２の楽器音に連動する画像の変化態様としては、例えば、所定の経路（プログラムによって決められた経路）を移動する円の直径が、非加工音情報に応じて変化するような画像を例に挙げると、非加工音情報に基づく楽器音が大きいほど当該直径が大きくなるような変化態様が挙げられる。また、例えば、パターン画像の繰り返し数が非加工音情報に応じて変化するような画像を例に挙げると、非加工音情報に基づく楽器音が高いほど当該繰り返し数が高くなるような変化態様が挙げられる。また、画像の空間周波数が非加工音情報に応じて変化するような画像を例に挙げると、非加工音情報に基づく楽器音の音程の違いによって当該空間周波数を変化させるような変化態様が挙げられる。

本実施形態によれば、ギター２のモニター２５や外部表示装置８に表示される画像をギター２の楽器音に連動して変化させる画像処理が、ギター２のピックアップ２３が検出する電気信号に基づく非加工音情報に応じて行われる。この非加工音情報は、サウンドエフェクト等の加工処理が施されていない原音の音情報であり、ギター２の楽器音を直接的に示す情報である。このような非加工音情報を用いて画像を変化させることにより、サウンドエフェクト等による加工の影響を受けない形で、ギター２の演者が演奏する楽器音（原音）に忠実な画像変化を実現することが可能となる。その結果、ギター２の演者の表現する音楽性と高い親和性をもった画像表現が実現される。

なお、本実施形態の説明では、電気楽器であるエレクトリックギターを例に挙げて説明したが、他の電気楽器であってもよいし、電気楽器以外の一般楽器（楽器の作る音源振動を電気信号に変換せずに音として出す楽器）であってもよい。一般楽器の場合、その一般楽器の音源振動を電気信号として検出する検出手段（マイクロフォン等）などを当該一般楽器に設置し、当該一般楽器の音源振動だけを検出するようにする。

また、本発明は、演者が演奏する楽器だけでなく、歌手が歌う歌声が入力されるマイクロフォンにも適用可能である。例えば、図３に示すように、上述した実施形態におけるギター２に代えて、歌手のマイクロフォン９を用いる場合、マイクロフォン９に入力される歌声振動を電気信号として検出し、その電気信号に基づく非加工音情報を、無線通信によって、パソコン３に送ればよい。この場合、外部表示装置８に表示される画像をマイクロフォン９を使う歌手の歌声に連動して変化させる画像処理が、マイクロフォン９が検出する電気信号に基づく非加工音情報に応じて行われる。この非加工音情報は、サウンドエフェクト等の加工処理が施されていない原音の音情報であるため、ギター２の場合と同様、サウンドエフェクト等による加工の影響を受けない形で、歌手が歌う歌声（原音）に忠実な画像変化を実現することが可能となる。その結果、歌手の表現する音楽性と高い親和性をもった画像表現が実現される。

また、図３に示すように、マイクロフォン９の外壁面の一部または全部に表示手段９５を設け、ギター２のモニター２５と同様に、当該マイクロフォン９の表示手段９５に変化画像情報に基づいた画像を表示させるようにしてもよい。なお、マイクロフォン９に設ける表示手段９５は、マイクロフォン９の本体ではなく、マイクスタンド等のマイクロフォン付属物に設置してもよい。このような表示手段９５を設けることで、歌手の歌声を聴いている聴者に対して、歌手を見ながら歌手の歌声に連動して変化する画像を見せることができる。

〔変形例〕
次に、上述した実施形態における画像処理の一変形例について説明する。
本変形例では、ギター２のピックアップからの電気信号に基づく非加工音情報だけでなく、ギター２のピックアップからの電気信号に加工を加えてサウンドエフェクト等を付加するエフェクター４での加工の内容を示すエフェクト情報（加工情報）も用いて、画像を変化させる。

図４は、本変形例に係る音楽連動画像表示システムの主要部分を示す機能ブロック図である。
本変形例の音楽連動画像表示システム１は、エフェクター４がパソコン３の入力端子３７に有線接続されており、エフェクター４から出力されるエフェクト情報がパソコン３に入力される。

パソコン３は、上述した実施形態と同様、ギター２の無線通信部７２から非加工音情報を無線通信部３２により受信すると、情報処理部３１は、その非加工音情報に応じて変化する画像を生成する画像処理を実行する。このとき、本変形例では、入力端子３７に入力されるエフェクター４からのエフェクト情報も用いて、前記画像処理を実行する。具体的には、例えば、ギター２からの非加工音情報に応じて変化する画像に対し、さらにエフェクト情報に応じた変化を付加する。

エフェクト情報は、例えば、ディストーションの場合には音の歪みの程度を表すパラメータ値が用いられ、この情報（パラメータ値）に応じて画像を歪ませるように変化させる。また、リバーブの場合は、例えば、残響の程度を表すパラメータ値をエフェクト情報として用いることができ、この情報（パラメータ値）に応じて画像を変化させる。

仮に、スピーカーシステム６から出力される音（原音に対してサウンドエフェクトが加えられた音）に基づいて画像を変化させた場合、サウンドエフェクト等による加工の影響でギター２の演者が演奏する楽器音（原音）に忠実な画像変化を実現することが困難である。本変形例においては、サウンドエフェクト等による加工の影響を受けていない非加工音情報と、加工の内容を示すエフェクト情報（加工情報）とを、個別に入力し、非加工音情報及びエフェクト情報をそれぞれ別々に用いて画像変化をさせる。そのため、本変形例によれば、ギター２の演者による原音と関連性の高い画像変化を実現しつつも、出力される加工済みの音とも関連性の高い画像変化を実現できる。

１：音楽連動画像表示システム ２：ギター ３：パソコン ４：エフェクター ５：アンプ ６：スピーカーシステム ７：コンピュータ装置 ８：外部表示装置 ９：マイクロフォン ２２：弦 ２３：ピックアップ ２４：コネクタ ２５：モニター ３１：情報処理部 ３２：無線通信部 ３３：操作入力部 ３４：記憶部 ３５：表示部 ３６：外部コネクタ ３７：入力端子 ７１：情報処理部 ７２：無線通信部 ７３：マイク入力部 ９５：表示手段

Claims (3)

1. 表示手段に表示される画像を音楽に連動して変化させる音楽連動画像表示システムであって、
   演者が演奏する楽器又は歌声が入力されるマイクロフォンに設置され、該楽器の音源振動又は該マイクロフォンに入力される歌声振動を電気信号として検出する検出手段と、
   前記検出手段が検出した電気信号に基づく非加工音情報に応じて、前記表示手段に表示される画像を変化させる画像処理手段とを有することを特徴とする音楽連動画像表示システム。
2. 請求項１に記載の音楽連動画像表示システムにおいて、
   前記画像処理手段は、前記楽器の音源振動又は前記マイクロフォンに入力される歌声振動の電気信号を加工して又は該電気信号に基づく非加工音情報を加工して音出力する際の該加工の内容を示す加工情報も用いて、前記表示手段に表示される画像を変化させることを特徴とする音楽連動画像表示システム。
3. 請求項１又は２に記載の音楽連動画像表示システムにおいて、
   前記表示手段は、前記楽器又は前記マイクロフォンに設けられていることを特徴とする音楽連動画像表示システム。

Images