JP2003228387A - 動作制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 音楽ＣＤやカセットテープなどに収録され
た楽曲の音響信号が入力されると、その楽曲の高揚感等
に合わせて人形・玩具・ＣＧなどの動作パターンを変化
させることが可能な動作制御装置を提供する。 【解決手段】 音楽を記録した音響データが特性判定
部１に入力され、データ波形からその特性が定量化され
る。上記特性判定部は、定位感定量部５を有するものと
して、左右２チャネルの信号のチャネル間差を演算し、
音像の空間的な広がりを定量化する。また、この他に高
調感定量部として複数の周波数帯域の成分比率を定量化
するもの、迫力感定量部として音圧レベルを定量化する
ものでもよい。このように定量化された信号は動作選択
部６に入力され、あらかじめ設定された複数の動作パタ
ーンから上記入力信号に基づいて一つの動作パターンを
選択する。そして、選択されたパターンの動作を人形４
に行わせるように信号を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願に係る発明は、全体又は
一部が動くように作られた人形・玩具等や表示装置に表
示された画像・キャラクタ等を、楽曲に合わせて動作さ
せる動作制御装置に関する。

【０００２】

【従来の技術】従来より、手拍子などの音や音楽に合わ
せて所定の動作や踊りを繰り返す人形や玩具が知られて
いる。これは音楽や周囲の音をマイクロホンで検出し、
音圧値が所定のレベルを越えると、モーターやソレノイ
ドなどのアクチュエータのスイッチをオン状態とし、人
形や玩具の各部を所定の動作パターンで動作させるもの
である。しかし、このような人形・玩具は音圧がある閾
値を超えている場合に、所定の動作を繰り返すだけであ
り、動作パターンを楽曲のリズムに合わせたりすること
はできないため、動作が単調であり、面白みに欠けるも
のであった。

【０００３】このような単調さを改良する発明が、特開
平１０−３１９９５７号公報及び特開２０００−２７６
１３７号公報に開示されている。特開平１０−３１９９
５７号公報に開示される発明は、楽曲に含まれるテンポ
情報に基づいてキャラクタのモーションデータを同期さ
せるキャラクタ舞踏動作表示装置に関するものである。
この装置は、楽曲テンポ情報を抽出するテンポ判定手段
と、テンポ判定手段から得られたテンポ情報に基づい
て、同期再生できるようにモーションデータを圧縮・伸
張する手段を有しているため、楽曲のテンポに合わせた
舞踏表示が可能となっている。

【０００４】一方、特開２０００−２７６１３７号公報
に開示される発明は、楽曲の演奏情報を、その音楽的要
素（メロディ、ハーモニーおよびリズム）に対応したも
のに分類し、各音楽的要素毎に記憶されている描画パタ
ーンを読み出して、それぞれの音楽イベントに対応して
修飾する画像表示装置に関するものである。各描画パタ
ーンは幾何学的な模様あるいは文字であり、演奏情報に
応じてその大きさ、形状、明度、色相、彩度などの属性
が変化して表示される。

【０００５】この画像表示装置は、演奏情報を分類・出
力する複数の音楽的要素として、ＭＩＤＩ(Musical Ins
trument Digital Interface) コードから抽出される音
高、音長、音数密度、レガートあるいはスタッカートで
あるかどうかの情報などのメロディパートに関する情
報、およびメジャー、マイナー、ディミニッシュなどの
コードタイプに関する情報、その音域、強度、デュレー
ション、音色等に関する情報などの楽器鍵盤や操作パネ
ルからの入力情報を用い、これらの音楽的要素に対応さ
せて画像情報を演算することにより、楽曲のメロディー
やハーモニーに対応した画像表示を可能にしている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来技術には、次のような問題点がある。特開平１０−３
１９９５７号公報に開示される発明では、音楽のテンポ
に合わせた動作を人形等にさせることはできるものの、
楽曲の最初から最後まで所定の動作を繰り返し行なうこ
とになり、やはり単調さを感じさせるものとなってしま
う.。また、モーションデータをランダムに読み出すこ
とによって、単調さを回避することも記載されている
が、この場合には、楽曲の様相とは無関係に動作パター
ンが変化することになり、違和感が生じてしまう。

【０００７】一方、特開２０００−２７６１３７号公報
に開示される発明では、演奏情報としてＭＩＤＩデー
タ、もしくは鍵盤や操作パネルからの直接的な入力情報
を必要としており、例えば、一般的なＣＤやカセットテ
ープに収録された楽曲に合わせて動作させることはでき
ない。

【０００８】本願に係る発明は、上記のような問題点に
鑑みてなされたものであり、音楽ＣＤやカセットテープ
などに収録された一般的な楽曲に対しても、楽曲に合わ
せて人形・玩具・ＣＧなどの動作パターンを変化させる
ことが可能な動作制御装置を提供することを目的として
いる。

【０００９】

【課題を解決するための手段】上記問題点を解決するた
めに、請求項１に係る発明は、 音楽を記録した音響デ
ータから、データ波形の特性を数値化する特性判定部
と、 前記特性判定部の出力に基づき、あらかじめ設定
された複数の動作パターンから一つの動作パターンを選
択し、可動物体又は動画表示装置に対して、選択された
前記動作パターンに相当する信号を出力する動作選択部
とを有する動作制御装置を提供するものである。

【００１０】この動作制御装置では、音楽の音響データ
の波形からその特性を定量化することによって音楽の高
揚感や盛り上がりの度合いを検知することができる。つ
まり、定量化された特性と音楽を聴いた時の高揚感等と
をあらかじめ対応させておくことにより、データ波形か
ら得られた値によって音楽の高揚感等を検知するもので
ある。そして、得られた値に基づいて動作パターンを選
択し、その動作を人形等の可動物体に行なわせることに
よって変化する音楽の高揚感や様相に対応した動作を行
なわせることが可能となる。また、定量化する特性は、
音の高さ、音圧レベル、音の定位感、すなわち音像の拡
がり等から選択することができ、音楽の曲相に応じた動
作を可動物体や画像上に実現することができる。

【００１１】請求項２に係る発明は、請求項１に記載の
動作制御装置において、 前記特性判定部は、 左右２
チャネルの音響データの差分を演算するチャネル間差演
算部を含むものとする。

【００１２】ステレオの音響データにおける、左右２チ
ャネルのチャネル間差が小さい、すなわち両チャネルに
同じ信号が多く含まれているということは、中央に定位
される音像成分が多いことを示しており、左右２チャネ
ルのチャネル間差が大きいということは、両側に広がる
音像定位感を有する成分が多いことを示している。この
ため、左右２チャネルのチャネル間差信号を演算するこ
とにより、定位感を定量的に表すことができる。そし
て、上記定位感の相違に対応して動作パターンを変える
ことにより、楽曲に対応した変化に富んだ動作が可能と
なる。なお、左右２チャネルのチャネル間差は、左右の
音響データから時間を追って演算するものであってもよ
いし、所定時間内の振幅の平均値を演算し、これらの差
を求めるもの等であってもよい。

【００１３】請求項３に係る発明は、請求項１に記載の
動作制御装置において、 前記特性判定部は、 複数の
周波数帯域フィルタと、該周波数帯域フィルタからの出
力波形のパワーレベルをそれぞれ演算し、これらを比較
するパワーレベル比較部とを有するものとする。

【００１４】この動作制御装置では、特性判定部におい
て、周波数帯域毎の楽曲信号の成分比率を比較すること
ができ、楽曲の音階の高さの変動を定量的に検出するこ
とができる。したがって、動作選択部では、楽曲の高調
感に対応した動作パターンを選択し、これを人形等に行
なわせることができる。

【００１５】請求項４に係る発明は、請求項１に記載の
動作制御装置において、 前記特性判定部は、 前記音
響データから音圧レベルを演算する音圧レベル演算部を
有するものとする。

【００１６】音圧レベルは人が感じる音の大きさを表す
指標であり、この音圧レベルの変動により楽曲から感じ
る迫力感を定量的に表すことができる。したがって、動
作選択部では、楽曲の迫力感に対応した動作パターンを
選択し、人形等に動作させることができる。

【００１７】請求項５に係る発明は、請求項１に記載の
動作制御装置において、 前記特性判定部は、左右２チ
ャネルの前記音響データの差分を演算するチャネル間差
演算部と、前記音響データが入力された複数の周波数帯
域フィルタの出力波形のパワーレベルをそれぞれ演算し
てこれらを比較するパワーレベル比較部と、前記音響デ
ータから音圧レベルを演算する音圧レベル演算部と、の
内の少なくとも２つを備え、 前記動作選択部は、前記
特性判定部によって演算された複数の演算結果の組み合
わせに基づいて動作パターンを選択するものとする。

【００１８】この動作制御装置では、楽曲の定位感、高
調感及び迫力感のそれぞれについて定量化することがで
き、これらのデータを組合せることによって、楽曲の様
相を数多くのパターンに分類することができる。したが
って、これらのそれぞれについて対応する動作パターン
を選択することにより、楽曲の様相に合致した多様な動
作を人形等に行なわせることが可能となる。

【００１９】

【発明の実施の形態】以下、本願に係る発明の実施の形
態を図に基づいて説明する。図１は、請求項１又は請求
項２に係る発明の一実施形態である動作制御装置を示す
概略構成図である。この動作制御装置１は、ＣＤプレー
ヤー２から出力される音響信号がスピーカー３ａ，３ｂ
によって再生されるのに合わせ、踊る人形４の動作パタ
ーンを選択して駆動させるものであり、特性判定部とし
てチャネル間差を演算する定位感定量部５と、この定位
感定量部５の出力に基づいて人形４の動作パターンを選
択する動作選択部６とを備えている。

【００２０】上記定位感定量部５は、図２に示すよう
に、５００〜１５００Ｈｚの信号のみを透過する帯域フ
ィルタ１１ａ，１１ｂと、帯域フィルタを透過した２チ
ャネルの信号について、これらの差分を演算するチャネ
ル間差演算部１２とを有している。

【００２１】上記帯域フィルタ１１ａ，１１ｂは、主要
音声域信号である５００〜１５００Ｈｚの信号のみを抽
出し、これについてチャネル間差を評価するために設け
られるものである。

【００２２】上記チャネル間差演算部１２は、２チャネ
ルの信号の位相を合わせ、時間を追って差分を演算する
ものであり、時系列の差分信号を得るものとなってい
る。そして、この差分信号に基づいて、差分を数値化し
たデータを動作選択部６に出力するようになっている。
なお、この出力は、デジタル信号であってもよいし、電
気的又は光学的なアナログ信号であってもよい。

【００２３】一方、上記動作選択部６は、チャネル間差
演算部１２からの出力信号に基づいて定位感を３段階に
判別し、あらかじめ定められた３種類の動作パターンか
ら該当する動作パターンを選択し、相当する信号を人形
４に対して出力するようになっている。このとき、出力
信号は、ＣＤプレーヤー２から入力された音響信号から
生成したビート信号に同期したものであり、人形４はス
ピーカー３で再生される楽曲のビートに合わせて動作す
るようになっている。なお、ビート信号に同期させて動
作パターンに相当する信号を出力する手段としては、一
般的なビートトラッキング手法を用いることができる。

【００２４】上記のような動作制御装置１では、ＣＤプ
レーヤー２から出力された左右２チャネルのステレオ電
気信号がスピーカー３ａ，３ｂに入力され、楽曲が音響
的に再生される。これと同時に定位感定量部５に同じ信
号が入力され、帯域フィルタ１１ａ，１１ｂで５００〜
１５００Ｈｚの信号のみを取り出した後、左右のチャネ
ル間の差分を演算する。

【００２５】図３（ａ）及び図３（ｂ）は、ＣＤプレー
ヤー２から出力された左右２チャネルの信号波形の一例
であり、図３（ｃ）は、これらの信号波形が帯域フィル
タを通過した後に差分を演算した結果を示す。一般的
に、リズム楽器やメイン・ボーカル信号は中央に再生音
像を定位させるため、左右２チャネルに同じ信号として
収録されているが、コーラス・パート信号や主旋律を奏
でる楽器の演奏信号は、空間的に広がりのある音像定位
をさせるため、左右の２チャネルで振幅が異なる信号と
して収録される。したがって、左右２チャネルの差分を
演算すると、中央に定位されるべき前者の信号は信号が
うち消され振幅が小さくなり、広い空間に定位されるべ
き後者の信号は振幅が大きくなる。

【００２６】このように、左右のそれぞれの信号波形か
らは認識しにくい信号の特性を検知することができ、例
えばこれらの所定時間内の平均値に基づき動作選択部６
で動作パターンが選択される。したがって、定位感を判
定することによって、変化する楽曲の高揚感や盛り上が
りの度合いと対応した動作パターンの選択が可能とな
る。そして、人形等の可動物体は楽曲の高揚感等に合致
した動作をすることになり、人の興味を強くひきつける
ことができる。

【００２７】次に、本願に係る発明の他の実施形態につ
いて説明する。上記実施形態の動作制御装置では、特性
判定部が、楽曲の音響データから定位感を数値化するも
のであったが、これに代えて、楽曲の高調感を判定する
ものを採用することができる。なお、この動作制御装置
は、請求項３に係る発明の一実施形態である。

【００２８】この動作制御装置の特性判定部は、図４に
示すような高調感定量部７であり、左右２チャネルの信
号を平均的に合成してモノラル信号を生成する左右チャ
ネル波形合成器１３と、１１００〜１２００Ｈｚの主要
音声域における高帯域信号のみを透過する高帯域フィル
タ１４と、１０００〜１１００Ｈｚの主要音声域におけ
る中帯域信号のみを透過する中帯域フィルタ１５と、９
００〜１０００Ｈｚの主要音声域における低帯域信号の
みを透過する低帯域フィルタ１６と、各帯域フィルタか
らの信号を比較して、どの帯域の信号成分が最も強いか
を判定するパワーレベル比較器１７とを備えている。

【００２９】このような特性判定部では、まず、左右チ
ャネル波形合成器１３で左右２チャネルのステレオ電気
信号波形から、モノラル信号が合成される。合成された
モノラル信号は高帯域フィルタ１４、中帯域フィルタ１
５、低帯域フィルタ１６に出力され、各帯域フィルタで
はあらかじめ設定された周波数帯域のみの信号を透過し
て、パワーレベル比較器１７に出力される。これによ
り、周波数帯域毎の楽曲信号の成分比率を比較し、楽曲
の音階の高さの変動を定量的に表すことができる。

【００３０】図５（ａ）、（ｂ）、（ｃ）は、高帯域フ
ィルタ１４、中帯域フィルタ１５、低帯域フィルタ１６
から出力された高・中・低帯域信号波形を示す図であ
る。これらの図から主旋律コーラス部と副旋律ボーカル
部で高・中・低帯域の相対的比率が変わっていることが
分かる。この３波形をパワーレベル比較器１７で比較し
て、どの成分が多いかを判定することにより、上記主旋
律コーラス部や副旋律ボーカル部を切り分けることがで
きる。そして、これらは楽曲の高揚感や盛り上がりの度
合と関連しており、動作選択部６が上記パワーレベル比
較器１７の出力に基づいて動作パターンを選択すること
により、人形４は楽曲の様相に合致した動作を行なうこ
とになる。なお、特性判定部として用いられる高調感定
量部は、この構成に限られるものではなく、音階の高さ
と因果関係のある他の指標に基づいた構成とすることも
できる。

【００３１】一方、特性判定部として、音圧レベルを判
定する迫力感定量部を採用することもできる。迫力感定
量部８は、図６に示すように、左右２チャネルの信号を
平均的に合成してモノラル信号を生成する左右チャネル
波形合成器１８と、聴感補正のためのＡ特性処理を施す
Ａ特性フィルタ１９と、二乗・平滑化処理により音圧レ
ベルを演算する音圧レベル演算器２０とを有するもので
ある。上記Ａ特性フィルタ１９は、人体の聴感が周波数
によって異なり音圧レベルの値と一致しないことからこ
れを補正するために用いるものである。

【００３２】この迫力感定量部８では、左右チャネル波
形合成器１８で生成されたモノラル信号は、Ａ特性フィ
ルタ１９で処理され、その後、音圧レベル演算器２０に
より音圧レベル波形が演算される。音圧レベルは人が感
じる音の大きさを表す指標であり、この音圧レベルの変
動により楽曲から感じる迫力感を定量的に表すことがで
きる。

【００３３】図７は、音圧レベル演算器２０から出力さ
れた音圧レベル波形の一例を示す図である。主旋律コー
ラス部と副旋律ボーカル部で差が生じており、これらを
判別することができる。また、主旋律コーラス部の中で
も、音圧レベルの変動を判定し、高揚感の変動を検知す
ることができ、これに対応した動作パターンの選択が可
能となる。なお、上記迫力感定量部は、上記構成に縛ら
れるものではなく、楽曲から感じる迫力感と因果関係の
ある任意の指標に基づいた構成とすることもできる。

【００３４】次に、請求項５に係る発明の一実施形態で
ある動作制御装置について説明する。この動作制御装置
３０は、図８に示すように、特性判定部３１が、音像の
定位感を定量化する定位感定量部３２と、楽曲に含まれ
る音の高低を定量化する高調感定量部３３と、高圧レベ
ルの大きさを定量化する迫力感定量部３４とを備えてい
る。上記定位感定量部３２は、図２に示す構成を備える
ものである。また、高調感定量部３３及び迫力感定量部
３４は、それぞれ図４及び図６に示す構成を備えるもの
である。

【００３５】この動作選択部３５では、定位感定量部３
２からの情報により、音の拡がりが２〜３段階に判別さ
れ、高調感定量部３３からの情報によって、高・中・低
帯域のいずれの音域の成分が多いか判別される。さら
に、迫力感定量部３４からの情報により、音圧レベルの
大きさが２〜３段階に判別される。そして、これらの情
報の組合せによって楽曲の高揚感を複数の段階に判定す
る。

【００３６】図９は、楽曲の時間を追ったそれぞれの部
分について、動作選択部３５で高揚感を３段階に判別し
た例を示すものである。この図に示されるように、イン
トロ部、副旋律ボーカル部、主旋律ボーカル部、無音
部、エンディング部によって高揚感の違いが３段階に判
別されており、動作選択部３５にあらかじめ記憶された
３種類の動作パターンに相当する情報から該当するもの
を選択して、人形４を動作させることができる。

【００３７】なお、上記実施形態では、高揚感を３段階
に判別しているが、定位感定量部３２、高調感定量部３
３及び迫力感定量部３４から入力される情報の組合せに
よって、さらに多数の段階に高揚感等の楽曲の様相を判
別することもでき、これに相当する数の動作パターンを
あらかじめ準備しておくことによって、人形にさらに高
度な動作をさせることもできる。

【００３８】また、以上に説明した実施形態では可動物
体として人形を用い、これを動作させるものであった
が、この他に、動物や植物等の様々な形態のものを動作
させることができる。また、ディスプレイに表示される
画像を動作させるものでもよく、動画のキャラクターや
抽象的な画像であってもよい。

【００３９】

【発明の効果】以上説明したように、本発明では、音楽
ＣＤ等から再生される一般的な楽曲について、その音響
データから特性を判定して、人形等の可動物体や表示さ
れた画像の動作パターンを制御するので、逐次変化する
楽曲の高揚感や盛り上がりの度合いに対応した動作を行
なわせることができ、可動物体や画像を高度で興味を強
くひきつけるように動作させることが可能となる。

【図面の簡単な説明】

【図１】請求項１又は請求項２に係る発明の一実施形態
である動作制御装置を示す概略構成図である。

【図２】図１に示す動作制御装置で特性判定部として用
いられる定位感定量部の概略構成図である。

【図３】図２に示す定位感定量部に入力される左右チャ
ネルの信号波形の一例、及び帯域フィルタを通過した後
の信号の差分を演算した結果を示す図である。

【図４】図１における定位感定量部に代えて用いること
ができる高調感定量部の概略構成図である。

【図５】図４に示す高調感定量部の高帯域フィルタ、中
帯域フィルタ、低帯域フィルタから出力された高・中・
低帯域信号波形の一例を示す図である。

【図６】図１における定位感定量部に代えて用いること
ができる迫力感定量部の概略構成図である。

【図７】図６に示す音圧レベル演算器から出力された音
圧レベル波形の一例を示す図である。

【図８】請求項５に係る発明の一実施形態を示す概略構
成図である。

【図９】図８に示す動作選択部で、楽曲の高揚感を時間
を追って３段階に判別した例を示す図である。

【符号の説明】

１，３０ 動作制御装置 ２ ＣＤプレイヤー ３ スピーカ ４ 人形 ５，３２ 定位感定量部 ６，３５ 動作選択部 ７，３３ 高調感定量部 ８，３４ 迫力感定量部 １１ 帯域フィルタ １２ チャネル間差演算部 １３ 左右チャネル波形合成器 １４ 高帯域フィルタ １５ 中帯域フィルタ １６ 低帯域フィルタ １７ パワーレベル比較器 １８ 左右チャネル波形合成器 １９ Ａ特性フィルタ ２０ 音圧レベル演算器 ３１ 特性判定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 除村 武志 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社 Ｆターム(参考） 2C150 AA14 BA11 CA01 CA02 CA24 DA24 DA26 DA27 DA28 DA37 DF03 DF04 DF06 DF08 DF33 DK02 DK03 ED10 ED21 ED42 ED52 EF16 EF17 EF27 EF29 EF33 EF36

Claims (5)

【特許請求の範囲】
1. 【請求項１】 音楽を記録した音響データから、デー
   タ波形の特性を数値化する特性判定部と、 前記特性判定部の出力に基づき、あらかじめ設定された
   複数の動作パターンから一つの動作パターンを選択し、
   可動物体又は動画表示装置に対して、選択された前記動
   作パターンに相当する信号を出力する動作選択部とを有
   することを特徴とする動作制御装置。
2. 【請求項２】 前記特性判定部は、 左右２チャネル
   の音響データの差分を演算するチャネル間差演算部を含
   むことを特徴とする請求項１に記載の動作制御装置。
3. 【請求項３】 前記特性判定部は、 複数の周波数帯
   域フィルタと、該周波数帯域フィルタからの出力波形の
   パワーレベルをそれぞれ演算し、これらを比較するパワ
   ーレベル比較部とを有することを特徴とする請求項１に
   記載の動作制御装置。
4. 【請求項４】 前記特性判定部は、 前記音響データ
   から音圧レベルを演算する音圧レベル演算部を有するこ
   とを特徴とする請求項１に記載の動作制御装置。
5. 【請求項５】 前記特性判定部は、 左右２チャネルの前記音響データの差分を演算するチャ
   ネル間差演算部と、前記音響データが入力された複数の
   周波数帯域フィルタの出力波形のパワーレベルをそれぞ
   れ演算してこれらを比較するパワーレベル比較部と、前
   記音響データから音圧レベルを演算する音圧レベル演算
   部と、の内の少なくとも２つを備え、 前記動作選択部は、前記特性判定部によって演算された
   複数の演算結果の組み合わせに基づいて動作パターンを
   選択することを特徴とする請求項１に記載の動作制御装
   置。