JP2014062984A - 音発生装置及び音発生用プログラム - Google Patents

Abstract

【課題】人の顔もしくは人体中のパーツに対するタッチ入力にて音を発生させる。
【解決手段】本発明に係る音発生装置は、画像情報から、人の顔もしくは人体中の各パーツが占めているパーツ領域を認識するパーツ認識処理と、パーツ認識処理にて認識された前記パーツ領域に対して、音階を割り当てる音割り当て処理と、タッチパネル表示手段に、前記画像情報を表示させるとともに、前記パーツ領域に対してタッチ入力が行われた場合、タッチ入力された前記パーツ領域に割り当てられている音階にてスピーカから音を発生させる音発生処理と、を実行可能とする制御手段と、を備えたことを特徴とする。
【選択図】図８

Description

本発明は、音階を有する音を発生可能な音発生装置、並びに、スマートフォンなどの情報処理装置などにインストール可能な音発生用プログラムに関するものである。

現在、タッチパネルを入力手段として備えたスマートフォンなどの情報処理装置では、タッチパネル入力の入力を利用した各種プログラム（アプリケーション）が提供されている。ユーザはこのようなプログラムを自分の情報処理装置に取り込む（インストール）することで、情報処理装置にアプリケーションに応じた各種機能を使用することが可能となる。このような情報処理装置で利用可能な各種プログラムは、ユーザの関心を集めるため思考を凝らしたものが提供されている。

ところで、電子楽器の分野においては、従来の鍵盤等の入力手段に代え、人体の動きなどを使用した入力手段が開発されている。特許文献１には、顔画像の認識結果に基づいてＭＩＤＩメッセージを生成し、当該ＭＩＤＩメッセージによりＭＩＤＩ機器を制御することで、当該顔画像の変化に対応した音声出力をなすことが可能としている。

特開２００６−６４９７３号公報

特許文献１に開示されるような電子楽器は、表情を演奏に反映するものであって、静止画のような画像情報を使用して演奏を行うものではない。

本発明は、スマートフォンなどの情報処理装置において、新たな観点による人物写真の利用方法を提供することを目的とするものであり、特に、人物を楽器にみたてて演奏することを可能な音発生装置、及び、音発生用プログラムを提供することを目的とするものである。

そのため本発明に係る音発生装置は、
各種表示を実行可能とするとともに、ユーザによるタッチ入力を受付可能とするタッチパネル表示手段と、
画像情報から、人の顔もしくは人体中の各パーツが占めているパーツ領域を認識するパーツ認識処理と、
前記パーツ認識処理にて認識された前記パーツ領域に対して、音階を割り当てる音割り当て処理と、
前記タッチパネル表示手段に、前記画像情報を表示させるとともに、前記パーツ領域に対してタッチ入力が行われた場合、タッチ入力された前記パーツ領域に割り当てられている音階にてスピーカから音を発生させる音発生処理と、を実行可能とする制御手段と、を備えたことを特徴とする。
音発生装置。

さらに本発明に係る音発生装置において、
制御手段は、
画像情報から、人の顔もしくは人体中のパーツ特徴を認識する特徴認識処理を実行可能とし、
前記音割り当て処理は、前記特徴認識処理で認識されたパーツ特徴に基づいて、前記パーツ領域に音色を割り当て、
前記音発生処理は、タッチ入力された前記パーツ領域に割り当てられている音色にてスピーカから音を発生させることを特徴とする。

さらに本発明に係る音発生装置において、
前記音色は、前記パーツ特徴に対応する音響効果を付与して形成されることを特徴とする。

さらに本発明に係る音発生装置において、
前記音色は、前記パーツ特徴に対応する音情報にて形成されることを特徴とする。

さらに本発明に係る音発生装置において、
前記音発生処理は、ユーザによって選択された楽器種別に対応する音を発生させることを特徴とする。

さらに本発明に係る音発生装置において、
前記音発生処理は、タッチ入力された前記画像情報中の前記パーツ領域に対して、画像効果を付与することを特徴とする。

また本発明に係る音発生用プログラムは、
各種表示を実行可能とするとともに、ユーザによるタッチ入力を受付可能とするタッチパネル表示手段と、スピーカに対して音を発生可能な情報処理装置にて実行可能な音発生用プログラムにおいて、
画像情報から、人の顔もしくは人体中の各パーツが占めているパーツ領域を認識するパーツ認識処理と、
前記パーツ認識処理にて認識された前記パーツ領域に対して、音階を割り当てる音割り当て処理と、
前記タッチパネル表示手段に、前記画像情報を表示させるとともに、前記パーツ領域に対してタッチ入力が行われた場合、タッチ入力された前記パーツ領域に割り当てられている音階にてスピーカから音を発生させる音発生処理と、を実行可能とすることを特徴とする
音発生用プログラム。

本発明の音発生装置、音発生用プログラムによれば、画像情報内の人物にタッチ入力することで、音階を有する音を発生させることが可能であり、いわば、画像情報に表示される人物を楽器にみたてて演奏を行うことが可能となる。

さらに本発明によれば、画像情報内のパーツ特徴に基づいて、発生させる音の音色を変化させることで、人物の違いによる音色の変化を楽しむことが可能となる。

さらに本発明では、発生させる音の楽器種別を選択することが可能となっており、ユーザの好む楽器種別にて音を発生させることが可能となる。

さらに本発明では、タッチ入力された画像情報中のパーツ領域に対して、画像効果を付与することで、音の発生に併せて画像情報の変化の様子を楽しむことが可能となる。

本発明の実施形態に係る情報処理装置の構成を示す図 本発明の実施形態に係る音発生用プログラムの処理を示すフロー図 本発明の実施形態に係る音発生用プログラムのメニュー選択画面を示す図 本発明の実施形態に係る音発生用プログラムの撮像画面を示す図 本発明の実施形態に係る情報処理装置による撮像の様子を示す図 本発明の実施形態に係る音発生用プログラムの確認画面を示す図 本発明の実施形態に係る音発生用プログラムの音発生画面を示す図 本発明の実施形態に係る音発生用プログラムの音発生画面を示す図 本発明の実施形態に係る音発生用プログラムの音階割り当てテーブルを示す図 本発明の他の実施形態に係る音発生用プログラムの音階割り当てテーブルを示す図 本発明の他の実施形態に係る音発生用プログラムの音階割り当てテーブルを示す図

では、本発明に係る音発生装置、並びに、音発生用プログラムについて図を用いて説明する。図１は、本発明の実施形態に係る情報処理装置の構成を示す図である。この情報処理装置としては、スマートフォン、タブレット端末、パーソナルコンピュータ、カラオケ装置、カラオケ用リモコン装置などを採用することが可能である。この情報処理装置は、音発生用プログラムがインストールされることで音発生装置として機能することとなる。

本実施形態の情報処理装置１は、ＣＰＵ１１、ＲＡＭ１２、記憶部１３、画像処理部１６、音処理部１６を含んで構成された制御手段を有している。記憶部１３は、ハードディスク、ＳＳＤといった不揮発性の記憶手段である。この記憶部１３には、本実施形態の音発生用プログラム、そして、音発生用プログラムで使用する音情報などの各種データが記憶される。この音情報とは、音発生装置として発生させる音の発生源となる情報であり、波形情報などにて構成される。本実施形態の音情報は、音階毎、楽器毎に設けられており、指定された音階、楽器種別に応じて音情報が再生される。音階の変更は、音情報を加工してその音程を変更して行うこととしてもよい。また、本発明における一実施形態では、音色を変更することも可能となるが、その場合、音色の変更は、音発生に使用する音情報自体を変更すること、音情報に対して付与する音響効果を変更すること、の少なくとも一方にて実現される。

ＣＰＵ１１は、情報処理装置１全体を統括して制御する手段であり、記憶部１３に記憶されたプログラム、データに基づいて各種制御を実行する。ＲＡＭ１２には、ＣＰＵ１１の制御によって生成されたデータを一時的に格納する。

画像処理部１４は、情報処理装置１の画像関係の入出力を行う手段である。画像処理部１４は、ＣＰＵ１１で形成された画像を表示部１８ｂに表示出力する。また、画像処理部１４は、情報処理装置１の表示部１８ｂ側に設けられたフロントカメラ１５Ｆ、あるいは、表示部１８ｂとは反対面に設けられたリアカメラ１５Ｒから画像を取り込む機能を有する。

音処理部１６は、ＣＰＵ１１の制御によりスピーカ１７に放音させる手段である。なお、この音処理部１６では、発生させる音に対して残響、ビブラートなどの音響効果（エフェクト）を付与することも可能である。

タッチパネル表示手段１８は、画像を表示する表示部１８ｂとその表面あるいは裏面に
配設されるタッチパネル１８ａを有して構成されている。タッチパネル１８ａは、静電容量方式などユーザのタッチ位置を認識可能とする各種タイプを採用することが可能である。ＣＰＵ１８ｂは、表示部１８ｂに表示を行うとともに、タッチパネル１８ａからのタッチ入力にて、表示させている画像中のどの部分にタッチ入力されたかを判定することが可能である。

通信部１９は、無線ＬＡＮ規格による無線通信を行うことが可能であり、アクセスポイントと無線通信することで、情報処理装置１をインターネットに加入させることが可能である。情報処理装置１はインターネット上のサーバから音発生用プログラムを含む各種プログラムをダウンロードすることが可能である。通信部１９には、このような無線ＬＡＮ規格の通信手段のみならず、携帯電話などに使用される携帯通信網と通信可能な通信手段を採用することも可能である。

本実施形態の情報処理装置１は、入力手段としてタッチパネル１８ａ以外に入力スイッチ２０を備えて構成されている。この入力スイッチ２０には、電源スイッチ、音量調整スイッチ、プログラムに応じて入力用途が変更されるスイッチなど、各種スイッチを設けることが可能である。

外部入力端子２１は、パーソナルコンピュータなど外部機器と通信するための端子であり、情報処理装置１は、この外部入力端子２１にてケーブルを介して外部機器と接続される。外部機器からは、通信部１９と同様に、各種プログラム、データを情報処理装置１に取り込むことが可能である。

外部メモリ接続端子２２は、カード型の外部メモリＥＸを接続可能な端子である。外部メモリ接続端子２２に接続された外部メモリＥＸは、情報処理装置１内部の記憶部１３と同様に機能することとなる。情報処理装置１にて実行されるプログラム、データは、この外部メモリＥＸに記憶しておくことも可能である。

では、本発明の実施形態に係る音発生用プログラムの処理について説明する。図２は、本発明の実施形態に係る音発生用プログラムの処理を示すフロー図である。この音発生用プログラムは、事前に記憶手段１３あるいは情報処理装置１に装着された外部メモリＥＸに記憶された状態であり、情報処理装置１のプログラム選択画面から選択可能となっている。

この音発生用プログラムが実行されると、図３に示されるメニュー選択画面が表示される。このメニュー選択画面では、プログラムにおける２つのモード、「顔でつくる」、「全身でつくる」を選択することが可能となっている。「顔でつくる」は、目、鼻、口など人物の顔のパーツを認識し、各パーツ毎に音階が割り当てられるモードである。一方、「全身でつくる」は、頭、手、足など人体のパーツを認識し、各パーツ領域毎に音階が割り当てられるモードである。両モードにおいて、認識されたパーツ領域をタッチ操作することで、当該音階を有する音がスピーカ１７から放音されることとなる。

ここでは「顔でつくる」を選択した場合について詳細に説明を行う。Ｓ１０４〜Ｓ１０８が「顔でつくる」モードにおける一連の処理である。本モードではまず、画像情報を取得するための撮像処理が実行される（Ｓ１０４）。図４には、撮像処理を実行する際のタッチパネル表示手段１８の様子が示されている。

本実施形態では、タッチパネル表示手段１８が設置される面とは反対面に設けられたリアカメラ１５Ｒを用いて撮像することとしている。また、本実施形態では、認識精度を高めるため、そして、情報処理装置１の認識処理負担を軽減するため、撮像画面の所定位置
にパーツガイド３３が表示されている。撮像時には、図５に示されるようにタッチパネル表示手段１８にモニタ表示される人物の顔をこのパーツガイド３３にあわせ、入力スイッチ２０の操作にて、画像情報が撮像される。撮像された画像情報は、記憶部１３あるいは外部メモリＥＸに記憶される。

本実施形態の画像情報は、リアカメラ１５Ｒを使用することとしているが、フロントカメラ１５Ｆを使用して撮像を行うこととしてもよい。フロントカメラ１５Ｆを使用した場合、タッチパネル表示手段１８で撮像情報を確認しつつ、自分撮りを行うことが可能となる。フロントカメラ１５Ｆとリアカメラ１５Ｒは切り替えられるようにしてもよい。また、画像情報は、予め撮像されたものを使用することも可能である。その場合、画像情報を記憶部１３あるいは外部メモリＥＸに記憶させておき、図示しないメニュー画面にて、音発生用プログラムの対象となる画像情報が選択される。

撮像処理Ｓ１０４の実行により取得された画像情報は、図６に示される確認画面にて、以降の処理にて使用する画像情報とするか、すなわち、音発生用プログラムにおける音発生対象として使用するかユーザに対して確認される。図６において「はい」ボタンがタッチ入力された場合（Ｓ１０５：Ｙｅｓ）には、顔パーツ認識処理（Ｓ１０６）が実行される。一方、図６において「キャンセル」ボタンがタッチ入力された場合（Ｓ１０５：Ｎｏ）には、Ｓ１１４にて入力操作に応じた処理が実行される。あるいは、再度、撮像処理Ｓ１０４を実行することとしてもよい。

顔パーツ認識処理Ｓ１０６では、撮像された画像情報に対して、目、鼻、口といった顔中のパーツが認識され、各パーツが占める領域をパーツ領域として認識する。このような認識処理は、各種周知のアルゴリズムを使用して行うことが可能であるため、ここでの詳細な説明は省略する。図８には、顔中のパーツの認識を行った後の画面であり、パーツ領域表示枠が破線で示されている。また、図９には、本実施形態で認識する顔中のパーツが示されている。本実施形態では、目（左右）、鼻、口、頬（左右）、耳（左右）の領域をパーツ領域として認識することとしている。

顔パーツ認識処理（Ｓ１０６）の実行後、認識された各パーツ領域に対して異なる音階が割り当てられる（Ｓ１０７）。図９には、本実施形態で使用する音階割り当てテーブルが示されている。この音階割り当てテーブルは、音発生用プログラムと同じ記憶手段（記憶部１３あるいは外部メモリＥＸ）に記憶されている。この音階割り当てテーブルを使用することで、認識された各パーツ領域に対して音階が割り当てられる。

なお、パーツ領域が割り当てられた画像情報は、記憶部１３あるいは外部メモリＥＸに記憶しておくこととしてもよい。音発生用プログラムでは、このパーツ領域が割り当てられた画像情報を読み出すことで、Ｓ１０４〜Ｓ１０７の処理を実行することなく、直接音発生処理（Ｓ１０８）を実行することが可能となる。

音割り当て処理（Ｓ１０７）の完了後、音発生処理（Ｓ１０８）に移行して、タッチパネル表示手段１８に対するタッチ入力に応じて、音発生が実行される。図７には、音発生処理を実行しているときのタッチパネル表示手段１８の画面の様子が示されている。タッチパネル表示手段１８には、撮像処理（Ｓ１０４）で撮像された人物の撮像情報が表示されている。この画面にて、目、鼻、口など、顔パーツ認識処理（Ｓ１０６）で認識されたパーツ領域に対して、タッチ入力を実行することで、各パーツに割り当てられている音階の音がスピーカ１７から放音される。

本実施形態では、音発生処理にて発生させる音のデフォルトの音色（基本音色）としてピアノを採用している。各パーツ領域をタッチ入力することで、音階の異なるピアノ音が
放音される。本実施形態では、この基本音色を切り替えることが可能であり、画面上方に位置する楽器切替スイッチ３１をタッチ操作することで、切替可能な楽器名が表示される。ユーザは自分の嗜好する楽器を選択することで、放音される音色を選択した楽器種別に切り替えることが可能である。

図７の画面では、どのパーツ領域に対してどの音階が割り当てられているか視認することができないが、それを視認可能とすることとしてもよい。図８には、図７の音発生画面に対して、パーツ領域表示枠３２を表示させた実施形態となっている。各パーツ領域表示枠３２には、その枠がどの音階を放音させることができるのかが矢印で表示されている。

図７と図８の音発生画面を切り替え可能とすることとしてもよい。どこがパーツ領域であるのか、またどのパーツ領域がどの音階であるのかが分からない、あるいは、慣れないユーザは、図８のような表示形態に切り替え、タッチ入力することで演奏を行うことが可能となる。一方、パーツ領域と音階の関係に熟知したユーザは、図７の音発生画面でタッチ操作することで音階を奏でることが可能となる。

また、この音発生画面では、タッチ操作されたパーツ領域に対して、視覚上の画像効果を付与することとしてもよい。例えば、パーツ領域がタッチされた場合、パーツ領域内のパーツ部分を拡大することが考えられる。このような画像効果は、全てのパーツに対して一律に行うこととしてもよいが、各パーツ領域毎に異なる画像効果を付与することで、タッチ操作時の面白みは向上する。例えば、目のパーツ領域がタッチ入力されたときには、目を閉じるくように縦方向に縮小させ、口のパーツ領域がタッチ入力されたときには口を開くように縦方向に拡大させることなどが考えられる。

以上、本実施形態の音発生装置、音発生用プログラムについて説明したが、本実施形態の音発生装置、音発生用プログラムによれば、ユーザの用意した画像情報を用いて、当該画像情報中の人物にタッチ入力することで、音階の異なる音を放音させることが可能となり、あたかも人物を楽器のように扱う新たな趣向を提供することが可能となる。

なお、本実施形態では、図２のフロー図中、Ｓ１０４〜Ｓ１０８の「顔でつくる」モードについて詳細に説明を行ったが、Ｓ１０９〜Ｓ１１３の「全身でつくる」モードについても、髪、頭、手、体躯、足といった全身に関するパーツ領域を認識し、パーツ領域に音階を割り当てることで音発生処理を実行することが可能である。

前述した実施形態では、音発生処理にて発生させる音は、各パーツ領域毎に音階が異なるのみとしていた。本実施形態では、パーツ特徴を認識する特徴認識処理を実行することで、同じパーツ領域であっても人物の特徴、あるいは、状態（所作）によって音色を異ならせることが可能となっている。この特徴認識処理は、図２のフロー図中、顔パーツ認識処理（Ｓ１０６）、人体パーツ認識処理（Ｓ１１１）で実行される。

図１０には、本実施形態で使用される音階割り当てテーブルが示されている。この音階割り当てテーブルは「顔でつくる」モードで使用される形態である。本実施形態では、顔パーツ認識処理（Ｓ１０６）にて、パーツ領域を認識するのみならず、パーツ特徴を認識することとしている。例えば目のパーツに関してみると、「見開いた目」、「つり目」、「閉じている」などのような目の特徴、あるいは、状態を認識可能としている。

本実施形態の音割り当て処理（Ｓ１０７）では、各パーツ領域に対する音階のみならず、特徴認識処理で認識されたパーツ特徴に基づいて残響、ビブラート、ディストーションなどの音響効果を付与することとしている。例えば、左目に対する認識結果が「たれ目」であった場合、音発生処理では、左目のパーツ領域がタッチ入力されると、音階「ド」に
対して音響効果「効果Ａ３」を付与した音が放音される。音響効果は複数付与することも可能であるため、例えば、右眼に対する認識結果が「たれ目」で「閉じている」であった場合、音階「レ」に対して音響効果「効果Ａ３」と「効果Ａ４」を付与することも可能である。

本実施形態では、認識されたパーツ特徴に基づく音色の変更を音響効果を変更することで行っているが、音色の変更は発生させる音情報を変更することで行うこととしても良い。すなわち、パーツ特徴に対応した音情報を予め用意しておき、特徴認識処理での認識結果に基づいて使用する音情報を変更することで、パーツ特徴に応じた音色にて音を放音することも可能である。音色の変更は、音情報と音響効果の両方を変更することで行ってもよい。

また本実施形態では、各パーツで認識されたパーツ特徴に基づいて、当該パーツに対して音響効果を付与することとしているが、複数のパーツで認識されたパーツ特徴を利用して、１つのパーツに対する音色を変更することとしてもよい。例えば、顔中における目、鼻、口のパーツ配置を認識することで、子どもの顔あるいは大人の顔を認識することが可能である。大人の顔の場合には、あるパーツに対して音色Ａを使用し、子どもの顔の場合にはあるパーツに対して音色Ｂを使用することなどが考えられる。

図１１には、本実施形態で使用される音階割り当てテーブルが示されている。この音階割り当てテーブルは「全身でつくる」モードで使用される形態である。本実施形態では、パーツ領域の認識対象として、髪、顔、手（左右）、体躯、足（左右）を採用している。画像情報から認識された各パーツ領域には、音階、そして、パーツ特徴に応じた音響効果が付与される。また、本実施形態では服の色調をパーツ特徴として認識することとしており、色調に対する音響効果が対応付けられれている。服の色調にて選択された音響効果は、髪、顔、手、体躯、足の各パーツ領域に対する音響効果に重畳されて使用される。

以上、ここで説明した実施形態では、撮像情報からパーツ特徴の認識を行うとともに、認識結果に基づいて、放音する音の音色を変更することで、撮像情報の人物の特徴、あるいは、状態による音色の変化を楽しむことが可能となる。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１…情報処理装置、１１…ＣＰＵ、１２…ＲＡＭ、１３…記憶部、１４…画像処理部、１５Ｆ…フロントカメラ、１５Ｒ…リアカメラ、１６…音処理部、１７…スピーカ、１８…タッチパネル表示手段、１８ａ…タッチパネル、１８ｂ…表示手段、１９…通信部、２０…入力スイッチ、２１…外部入力端子、２２…外部メモリ接続端子、３１…楽器切替スイッチ、３２…パーツ領域表示枠、３３…パーツガイド

Claims (7)

1. 各種表示を実行可能とするとともに、ユーザによるタッチ入力を受付可能とするタッチパネル表示手段と、
   画像情報から、人の顔もしくは人体中の各パーツが占めているパーツ領域を認識するパーツ認識処理と、
   前記パーツ認識処理にて認識された前記パーツ領域に対して、音階を割り当てる音割り当て処理と、
   前記タッチパネル表示手段に、前記画像情報を表示させるとともに、前記パーツ領域に対してタッチ入力が行われた場合、タッチ入力された前記パーツ領域に割り当てられている音階にてスピーカから音を発生させる音発生処理と、を実行可能とする制御手段と、を備えたことを特徴とする
   音発生装置。
2. 制御手段は、
   画像情報から、人の顔もしくは人体中のパーツ特徴を認識する特徴認識処理を実行可能とし、
   前記音割り当て処理は、前記特徴認識処理で認識されたパーツ特徴に基づいて、前記パーツ領域に音色を割り当て、
   前記音発生処理は、タッチ入力された前記パーツ領域に割り当てられている音色にてスピーカから音を発生させることを特徴とする
   請求項１に記載の音発生装置。
3. 前記音色は、前記パーツ特徴に対応する音響効果を付与して形成されることを特徴とする
   請求項２に記載の音発生装置。
4. 前記音色は、前記パーツ特徴に対応する音情報にて形成されることを特徴とする
   請求項２または請求項３に記載の音発生装置。
5. 前記音発生処理は、ユーザによって選択された楽器種別に対応する音を発生させることを特徴とする
   請求項１から請求項４の何れか１項に記載の音発生装置。
6. 前記音発生処理は、タッチ入力された前記画像情報中の前記パーツ領域に対して、画像効果を付与することを特徴とする
   請求項１から請求項５の何れか１項に記載の音発生装置。
7. 各種表示を実行可能とするとともに、ユーザによるタッチ入力を受付可能とするタッチパネル表示手段と、スピーカに対して音を発生可能な情報処理装置にて実行可能な音発生用プログラムにおいて、
   画像情報から、人の顔もしくは人体中の各パーツが占めているパーツ領域を認識するパーツ認識処理と、
   前記パーツ認識処理にて認識された前記パーツ領域に対して、音階を割り当てる音割り当て処理と、
   前記タッチパネル表示手段に、前記画像情報を表示させるとともに、前記パーツ領域に対してタッチ入力が行われた場合、タッチ入力された前記パーツ領域に割り当てられている音階にてスピーカから音を発生させる音発生処理と、を実行可能とすることを特徴とする
   音発生用プログラム。

Images