JP2005250422A - 視覚に訴える身体的引き込み方法及びシステム - Google Patents

Abstract

【課題】 ノンバーバル情報として取り扱うことのできる運動を抽出することによって、身体的引き込み現象を利用できる範囲を拡大する身体的引き込み方法を提供する。
【解決手段】 ３次元円柱20からなる特定物体に人を意識させる又は注目させるに際し、コンピュータ10はマイク12から取り込まれた人の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、前記動作タイミングで駆動部23が３次元円柱20を揺動運動させて、この３次元円柱20を見る人に３次元円柱20に対する身体的引き込み現象をもたらし、前記人に３次元円柱20を意識させる又は注目させる視覚に訴える身体的引き込み方法である。
【選択図】 図１

Description

本発明は、話し手又は聞き手に身体的引き込み現象をもたらすノンバーバル情報として視覚的な感覚情報を与える身体的引き込み方法と、前記視覚的な感覚情報を与えるシステムとに関する。

会話によりコミュニケーションを図る話し手及び聞き手は、自分又は相手の音声(バーバル情報)を聞き取ると共に、自分又は相手の身体動作をはじめとした感覚情報 (ノンバーバル情報)を五感で取得して身体リズムを共有し、より話しやすい又は聞きやすい状態を作り出して、会話に引き込まれていく。こうした身体リズムの共有により会話に引き込まれていく現象を、「身体的引き込み現象」と呼ぶ。これから、聞き手に代わって話し手に身体的引き込み現象をもたらす装置又はシステム、また話し手に代わって聞き手に身体的引き込み現象をもたらす装置又はシステムがあれば、話し手又は聞き手に、それぞれ身体的引き込み現象をもたらすことができる。

こうした身体的引き込み現象を利用した装置としては、例えば特許文献１がある。この特許文献１は、ノンバーバル情報として視覚的な感覚情報、すなわちロボットの身体動作により、このロボットに話しかける話し手、又はロボットから流れる音声を聞く聞き手に身体的引き込み現象をもたらす。ここで、前記身体動作は、口の開閉動作、目の瞬き動作又は身体の身振り動作の選択的な組み合わせからなるが、各部の動作は頭の頷き動作の動作タイミングを基準として決定される。この頷き動作タイミングは、聞き手の反応が最も顕著に現れると推定される時系列上の特定時点であり、この特許文献１では音声から推定される頷き予測値が予め定めた頷き閾値を越えた時点としている。ここで、ロボットに代えて、コンピュータ画像によるキャラクタであってもよい。

特開2001-009169号公報(２頁〜６頁、図１)

上記特許文献１の装置は、口の開閉動作、目の瞬き動作又は身体の身振り動作の選択的な組み合わせからなるロボットの身体動作を、視覚的な感覚情報からなるノンバーバル情報として与え、話し手又は聞き手に身体的引き込み現象をもたらしている。ここで、各部の動作は頭の頷き動作の動作タイミングを基準として決定されることから、頷き動作の動作タイミングの決定が重要であることが分かるが、依然として頷き動作そのものの重要性については不明な点が多かった。特許文献１では、話し手又は聞き手の代用として、人間を模したロボットを用い、ノンバーバル情報として視覚的な感覚情報である頷き動作を重要としていたに過ぎなかったからである。

頷き動作は、頭を前後に１度又は数度前後させ、話し手又は聞き手が相手方の音声を理解したことを表現する動作である。ここで、ノンバーバル情報として視覚的な感覚情報を話し手又は聞き手に与える頷き動作が、あくまで人間の頭による運動でなければならないとすると、身体的引き込み現象をもたらすノンバーバル情報としての視覚的な感覚情報の種類が限定されてしまう。すなわち、ノンバーバル情報としての視覚的な感覚情報を発信する発信源が人間の頭に限定されてしまうことは、擬人化された樹木や無生物、更には想像上の生物又は無生物等では、十分な身体的引き込み現象をもたらすことができないことになる。

身体的引き込み現象は、いわばノンバーバル情報が与えられた人間を、ノンバーバル情報の発信源に対して意識させる又は注目させる現象である。これから、何か意識させる又は注目させる対象からノンバーバル情報としての視覚的な感覚情報を発信できるようになれば、身体的引き込み現象の利用範囲が拡大されると予想される。そこで、頷き動作を解析し、ノンバーバル情報として取り扱うことのできる運動を抽出することによって、身体的引き込み現象を利用できる範囲を拡大する身体的引き込み方法及びシステムを開発するため、検討した。

検討の結果開発したものが、特定物体又は特定画像に人を意識させる又は注目させるに際し、特定物体又は特定画像は演算部が算出する動作タイミングで駆動部により姿勢変化させられる動作単位を有し、演算部は音声又は音響の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、前記動作タイミングで駆動部が動作単位の上部を手前に変位させる又はこの動作単位の下部を奥側に変位させて、この動作単位を見る人に特定物体又は特定画像に対する身体的引き込み現象をもたらし、前記人に特定物体又は特定画像を意識させる又は注目させる視覚に訴える身体的引き込み方法である。

上記動作タイミングは、動作単位を駆動させる時系列上の特定時点であるが、身体的引き込み現象との関係で言えば、動作単位の動作タイミングは、特定物体又は特定画像に人を意識させる又は注目させるに適切と推定される時系列上の特定時点を意味する。すなわち、本発明の視覚に訴える身体的引き込み方法は、特定物体又は特定画像に人を意識させる又は注目させるに適切と推定される時系列上の特定時点で、駆動する動作単位による視覚的な感覚情報を前記動作単位を見る人に与えることにより、特定物体又は特定画像に対する身体的引き込み現象を前記人にもたらすわけである。

音声又は音響の信号から推定される動作予測値は、現在から一定時間範囲の過去に取得した音声又は音響の信号の現在に対する影響の度合いを積算して算出するとよい。前記影響の度合いは、現在と過去とを線形結合、非線形結合又はニューラルネットワーク等で関係づけることにより導き出すことができる。例えば、現在から一定時間範囲の過去に取得した音声又は音響の信号の現在に対する影響の度合いを線形結合で導き出す場合、動作予測値は音声又は音響の信号の移動平均(Moving Average)により推定する。前記移動平均は、例えば次式を用いる。数１中、ｙ(ｉ)は動作予測値、ａ(ｊ)＝予測係数、そしてｘ(ｉ−ｊ)は音声又は音響の信号を表す。

本発明では、音声又は音響の信号を入力とし、動作単位の駆動を出力とする。ここで、前記入力としての音声は、動作単位を見る人自身の音声である場合が好ましい。この場合、動作単位を見る人を話し手、特定物体又は特定画像を聞き手として、両者は目前に相手方がいる会話をしている関係にあるとみなすことができる。このため、動作単位は、話し手である動作単位を見る人に対して、聞き手の反応が顕著に現れると推定される時系列上の特定時点を動作タイミングとして駆動することになる。そして、前記動作タイミングでの動作単位の駆動を視覚的な感覚情報として動作単位を見る人に感得させ、反応させることにより、この動作単位を見る人に適切な身体的引き込み現象をもたらすことができる。

入力である音声は、動作単位を見る人以外の音声であってもよい。この場合、動作単位を見る人を聞き手、特定物体又は特定画像を話し手として、両者は目前に相手方がいる会話をしている関係にあるとみなすことができる。このため、動作単位は、聞き手である動作単位を見る人に代わって、聞き手の反応が顕著に現れると推定される時系列上の特定時点を動作タイミングとして駆動することになる。そして、前記動作タイミングでの動作単位の駆動を視覚的な感覚情報として動作単位を見る人に感得させ、同期させることにより、この動作単位を見る人に適切な身体的引き込み現象をもたらすことができる。

入力である音響は、音楽のほか、特定物体又は特定画像の周囲にある環境音であってもよい。ここで、環境音とは、特定物体又は特定画像の周囲で聞こえる音を意味し、人の音声、自動車の音、工事の音のほか、風や動物の鳴き声等の単独又は重畳した音を指す。これらの場合、動作単位を見る人を聞き手、特定物体又は特定画像を話し手として、両者は目前に相手方がいる会話をしている関係にあるとみなすことができる。このため、動作単位は、聞き手である動作単位を見る人に代わって、聞き手の反応が顕著に現れると推定される時系列上の特定時点を動作タイミングとして駆動することになる。そして、前記動作タイミングでの動作単位の駆動を視覚的な感覚情報として動作単位を見る人に感得させ、同期させることにより、この動作単位を見る人に適切な身体的引き込み現象をもたらすことができる。

動作単位は、視覚的な感覚情報を与えやすい運動をすればよい。本発明では、特許文献１に見られるロボットの頷き動作に代えて、次のような運動でも、同様な身体的引き込み現象をもたらすことを解明した。すなわち、動作単位が駆動部により動く３次元物体である場合、この動作単位の姿勢変化は、動作単位の上部を手前に傾倒させる又はこの動作単位の下部を奥側に持ち上げる前後の揺動運動であればよい。頷き動作は、前記揺動運動を実現する人の頭部の運動と見ることができる。この前後の揺動運動は、動作単位の下部に揺動軸を設けて上部のみを手前に傾倒させる、動作単位の上部に揺動軸を設けて下部のみを奥側に持ち上げる、又は動作単位の中間に揺動軸を設けて上部を手前に傾倒させると共に下部を奥側に持ち上げる、が含まれる。

３次元物体である動作単位は、上記前後の揺動運動をすればよく、動作単位自身の形状又は大きさは問わない。上述したように、揺動軸の位置は問わないため、動作単位の形状又は大きさに合わせて適宜揺動軸を定めて、前後に揺動運動させればよい。また、動作単位は、特定物体又は特定画像に対する割合も問わない。このため、例えば特定物体の一部を動作単位として前後に揺動運動させてもよいし、特定物体＝動作単位として、特定物体全体を前後に揺動運動させてもよい。また、特定画像に対して、一部又は全部に対応して３次元物体からなる動作単位を設けて、前記動作単位を前後に揺動運動させてもよい。

動作単位を駆動部が表示する場合、３次元物体に比べて上記前後の揺動運動の表現態様に幅が生まれる。具体的には、動作単位が駆動部の表示する２次元画像である場合、この動作単位の姿勢変化は、動作単位の上部を拡大して手前に接近した感じを与える又はこの動作単位の下部を縮小して奥に引っ込んだ感じを与える上下非対称な拡大又は縮小運動で、上記動作単位の前後の揺動運動を表現することができる。動作単位の前後の揺動運動は、上部が動作単位を見る人に接近する又は下部が前記人から離反する運動であり、視覚的には上部の拡大又は下部の縮小として捉えられる。前記２次元画像からなる動作単位の拡大又は縮小運動は、前後の揺動運動を捉える人の目の錯覚を利用して、前記人に前後の揺動運動として認識させる。

動作単位が駆動部の表示する３次元画像である場合、動作単位の姿勢変化は、動作単位の上部を手前に傾倒させる又はこの動作単位の下部を奥側に持ち上げる前後の揺動運動にするとよい。これは、単純に３次元物体をコンピュータの３次元画像として表示する場合に相当するが、表示の自由度は上記２次元画像の場合と同じであるため、３次元画像であっても上記拡大又は縮小運動によっても前後の揺動運動を表現できる。

２次元画像又は３次元画像である動作単位は、上記拡大又は縮小運動や前後の揺動運動をすればよく、動作単位自身の形状又は大きさは問わない。また、動作単位は、特定物体又は特定画像に対する割合も問わない。このため、例えば特定物体の一部に２次元画像又は３次元画像からなる動作単位を表示させ拡大又は縮小運動や前後に揺動運動をさせてもよいし、特定画像＝動作単位として、特定画像全体を拡大又は縮小運動や前後に揺動運動をさせてもよい。

こうした視覚に訴える身体的引き込み方法を利用したシステム構成は、次のようになる。すなわち、特定物体又は特定画像に人を意識させる又は注目させるシステムであって、特定物体又は特定画像の一部又は全体の動作単位と、この動作単位を姿勢変化させる駆動部と、この駆動部の動作タイミングを算出する演算部と、この演算部へ音声又は音響の信号を取り込む信号入力部とからなり、演算部は信号入力部から取り込まれた音声又は音響の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、駆動部は前記動作タイミングで動作単位の上部を手前に変位させる又はこの動作単位の下部を奥側に変位させて、この動作単位を見る人に特定物体又は特定画像に対する身体的引き込み現象をもたらし、前記人に特定物体又は特定画像を意識させる又は注目させる視覚に訴える身体的引き込みシステムである。

例えば、上記身体的引き込みシステムが特定物体である場合、動作単位は特定物体の全部又は一部の可動部位、駆動部は前記可動部位を駆動するモータやシリンダ、演算部はコンピュータ、そして信号入力部は前記コンピュータに接続するマイク等の入力インタフェースから構成される。ここで、駆動部は動作単位を駆動させる部分を意味し、前述のように、特定物体の全部又は一部の可動部位を動作単位、前記可動部位を駆動するモータやシリンダを駆動部と考えてもよいし、可動部位とモータとを一体の動作単位とし、前記モータに駆動信号を送り出す部分を駆動部と考えてもよい。こうしたハードの構成は、従来公知の各種装置又は機器を適宜選択して実現できるほか、専用の装置又は機器として一体に実現できる。

また、上記身体的引き込みシステムが特定画像である場合、動作単位は表示画面に表示される特定画像の全部又は一部、駆動部は前記特定画像及び動作単位を表示するビデオカード等の出力インタフェース、演算部はコンピュータ、そして信号入力部は前記コンピュータに接続するマイク等の入力インタフェースから構成される。ここで、駆動部は動作単位を駆動させる部分を意味し、前述のように、表示画面に表示される特定画像の全部又は一部を動作単位、前記特定画像及び動作単位を表示するビデオカード等の出力インタフェースを駆動部と考えてもよいし、出力インタフェースを含めた範囲を一体の動作単位とし、出力インタフェースに描画する画像信号を送り出す部分を駆動部と考えてもよい。こうしたハードの構成は、従来公知の各種装置又は機器を適宜選択して実現できるほか、専用の装置又は機器として一体に実現できる。

この身体的引き込みシステムにおいても、動作予測値は、音声又は音響の信号の移動平均(Moving Average)により推定するとよい。この場合、前記移動平均は、例えば次式を用いることにより、演算部の負担を軽くしながら、動作予測値を算出する時間間隔を短くすることができ、きめ細やかな動作タイミングの算出が可能となる。数２中、ｙ(ｉ)は動作予測値、ａ(ｊ)は予測係数、そしてｘ(ｉ−ｊ)は音声又は音響の信号を表す。

信号入力部から取り込む音声は、動作単位を見る人自身の音声と、動作単位を見る人以外の音声とがあり、いずれを取り込むかは使用する入力インタフェースの指向性や数により選択できる。また、信号入力部から取り込む音響は、音楽、又は特定物体又は特定画像の周囲にある環境音を用いる。音楽の場合、録音媒体から直接取り込むようにすれば、信号入力部の入力インタフェースとしてマイクを必要としない。環境音の場合、どのような環境音を取り込むかは、使用する入力インタフェースの指向性や数により選択できる。

動作単位が駆動部により動く３次元物体である場合、駆動部は動作単位の上部を手前に傾倒させる又はこの動作単位の下部を奥側に持ち上げる前後の揺動運動として動作単位を姿勢変化させる。こうした３次元物体の前後の揺動運動は、駆動部として用いることのできるモータやシリンダにより、容易に実現できる。

動作単位が駆動部の表示する２次元画像である場合、駆動部は動作単位の上部を拡大して手前に接近した感じを与える又はこの動作単位の下部を縮小して奥に引っ込んだ感じを与える上下非対称な拡大又は縮小運動として動作単位を姿勢変化させる。また、動作単位が駆動部の表示する３次元画像である場合、駆動部は動作単位の上部を手前に傾倒させる又はこの動作単位の下部を奥側に持ち上げる前後の揺動運動として動作単位を姿勢変化させる。２次元画像である動作単位の拡大又は縮小運動や、３次元画像である動作単位の前後の揺動運動は、いずれも駆動部である出力インタフェースにより容易に実現できる。

本発明は、頷き動作を解析し、ノンバーバル情報として取り扱うことのできる運動として、動作単位を見る人に対する前後の揺動運動を抽出することによって、動作単位を含む特定物体又は特定画像に人を意識させる又は注目させることができるようになり、身体的引き込み現象の利用範囲を拡大する。従来でも、特定物体又は特定画像に人を意識させる又は注目させる手段として、発音や発光等により注意喚起するものが存在するが、これらは一方的な注意喚起によって、特定物体又は特定画像に人を一時的に意識させる又は一時的に注目させるに過ぎない。これに対し、本発明によれば、動作単位を見る人が自ら特定物体又は特定画像を意識する又は注目するようになるほか、前記意識又は注意が継続的になる効果がある。こうした観点から、本発明はオブジェや看板に利用できる。

また、本発明の視覚に訴える身体的引き込み方法及びシステムは、目前に相手方のいる会話で身体的引き込み現象をもたらしていたロボットや画像表示のキャラクタに代えて利用することもできる。すなわち、擬人化したロボットやキャラクタを用いなくても、本発明が提示する動作単位を、ロボットに代えて設置したり、キャラクタに代えて画像表示することで、相手方に対する身体的引き込み現象をもたらす効果がある。こうした観点から、本発明は対話的な操作が求められるカーナビに利用できる。具体的には、カーナビの画面に表示される建物や標識を本発明に基づいて前後に揺動運動をさせることで、前記建物や標識を見る人にカーナビの画面への身体的引き込み現象をもたらすことができる。

以下、本発明の実施形態について図を参照しながら説明する。図１はコンピュータ10により３次元物体である３次元円柱20を前後に揺動運動させる身体的引き込みシステムの構成例を示す斜視図、図２は３次元円柱20の前後に揺動運動を説明する斜視図、図３はディスプレイ11上に表示させた２次元画像である２次元長方形21を拡大及び縮小運動させる身体的引き込みシステムの構成例を示す斜視図、図４は２次元長方形21の拡大及び縮小運動を説明する斜視図、図５はディスプレイ11上に表示させた３次元画像である３次元円柱22を前後に揺動運動させる身体的引き込みシステムの構成例を示す斜視図であり、図６は３次元円柱22の前後の揺動運動を説明する斜視図である。

本発明は、特定物体又は特定画像の一部又は全部を構成する動作単位の上部を手前に変位させる又は該動作単位の下部を奥側に変位させて、この動作単位を見る人に、前記特定物体又は特定画像に対する身体的引き込み現象をもたらす。これを、特定物体に適用した例は、図１に見られるような構成として示すことができる。本例は、特定物体全体を３次元円柱20からなる動作単位で構成し、この３次元円柱20を前後に屈曲する駆動部23で支持している。前記駆動部23の動作タイミングを算出する演算部は、コンピュータ10で構成している。また、演算部へ音声又は音響の信号を取り込む信号入力部は、コンピュータ10と接続したマイク12を用いている。

上記３次元円柱20は、マイク12から集音した人の音声又は周囲の音響を演算部に送り込み、前記音声又は音響から推定した動作予測値と予め定めた動作閾値とを比較することで動作タイミングを算出し、この動作タイミングで、図２に見られるように、３次元円柱20全体を前方へ傾倒させ、復帰させる前後の揺動運動(Ｚ軸方向の揺動運動)をさせる。これは、揺動軸24を３次元円柱20下部に設け、３次元円柱20上部のみを手前に傾倒させる前後の揺動運動に等しい。図示は省略するが、３次元円柱の中間部に揺動軸を設け、３次元円柱の上部を手前に傾倒させ、かつ３次元円柱の下部を奥側に持ち上げる前後の揺動運動をさせてもよいし、３次元円柱の上部に揺動軸を設け、３次元円柱の下部のみを奥側に持ち上げる前後の揺動運動をさせてもよい。

３次元円柱20は、３次元円柱20に人を意識させる又は注目させるに適切と推定される時系列上の特定時点である動作タイミングで、かつ３次元円柱20に人を意識させる又は注目させるに適切な前後の揺動運動をする。これにより、３次元円柱20を見る人にこの３次元円柱20を意識させる又は注目させることができる。本例では、３次元円柱20だけで特定物体を構成しているが、例えばこの３次元円柱を部分的に有する特定物体を構成した場合、３次元円柱を見る人を前記特定物体に意識させる又は注目させることができる。

特定物体に代えて、特定画像の一部又は全部を構成する２次元画像又は３次元画像によっても、本発明を利用しうる。２次元画像からなる身体的引き込みシステムは、図３に見られるように、特定画像全体を２次元長方形21からなる動作単位で構成し、この２次元長方形21をコンピュータ10のビデオ回路を駆動部として変形させ、２次元の拡大又は縮小運動をさせている。前記駆動部の動作タイミングを算出する演算部はコンピュータ10、演算部へ音声又は音響の信号を取り込む信号入力部はコンピュータ10と接続したマイク12を用いている点は、上記例示(図１参照)と同じである。

本例の２次元長方形21は、図４に見られるように、上部を拡大して手前に接近した感じを与え、かつ同時に下部を縮小して奥に引っ込んだ感じを与える上下非対称な拡大又は縮小運動(Ｘ軸方向の拡大又は縮小運動)により、この２次元長方形21を見る人に前後の揺動運動をしているように感じさせている。この場合、図示は省略するが、２次元長方形の上部のみを拡大して手前に接近した感じを与えるだけでもよいし、２次元長方形の下部を縮小して奥に引っ込んだ感じを与えるだけにより、２次元長方形全体として上下非対称な拡大又は縮小運動をさせて、この２次元長方形を見る人に前後の揺動運動をしているように感じさせてもよい。

コンピュータによる画像表示では、３次元画像を表示することもできる。この３次元画像からなる身体的引き込みシステムは、図５に見られるように、特定画像全体を３次元円柱22からなる動作単位で構成し、この３次元円柱22をコンピュータ10のビデオ回路を駆動部として変形させ、３次元の前後の揺動運動をさせている。前記駆動部の動作タイミングを算出する演算部はコンピュータ10、演算部へ音声又は音響の信号を取り込む信号入力部はコンピュータ10と接続したマイク12を用いている点は、上記例示(図１参照)と同じである。

本例の３次元円柱22は、図６に見られるように、３次元円柱22の上部を手前に傾倒させ、かつ同時に３次元円柱22の下部を奥側に持ち上げる前後の揺動運動をさせている(Ｚ軸方向の揺動運動)。これは、揺動軸24を３次元円柱22中間部に設け、３次元円柱22上部を手前に傾倒させ、かつ同時に３次元円柱22下部を奥側に持ち上げる前後の揺動運動に等しい。この場合、図示は省略するが、３次元円柱の上部に揺動軸を設け、３次元円柱の下部のみを奥側に持ち上げる前後の揺動運動をさせてもよいし、３次元円柱の下部に揺動軸を設け、３次元円柱の上部のみを手前に傾倒させる前後の揺動運動をさせてもよい。

本発明は、ノンバーバル情報として取り扱うことのできる運動を抽出することによって、身体的引き込み現象を利用できる範囲を拡大している。そこで、まず本発明が解明した前後の揺動運動の良否を同一形状の動作単位による異なる運動の比較による官能試験を実施し、証明を試みた(以下、運動評価試験)。また、こうして解明された前後の揺動運動が、実際に人以外に適用できるか否かについて、人でないキャラクタ(樹木又は花)に適用した上で、官能試験を実施し、証明を試みた(以下、応用実証試験)。

運動評価試験は、図７に見られるように、特定の運動をする３次元円柱(動作単位)を被験者に見せて、被験者の反応を見る構成である。具体的には、図８に見られるように、被験者の音声をマイクにより集音し、前記音声に基づいてコンピュータが算出した動作タイミングで、ディスプレイ上に表示された３次元円柱を回転運動又は平行移動させ、いずれの運動が最も被験者を意識させる又は注目させるかを、各被験者の官能評価を集計することにより、各運動の良否を比較した。

運動評価試験で比較した３次元円柱の運動は、図９に見られる座標系に基づいて定義された表１に見られる(ａ)前後の揺動運動、(ｂ)自転運動、(ｃ)左右の揺動運動、(ｄ)左右の平行運動、(ｅ)上下の平行運動及び(ｆ)前後の平行運動の6種類である(表１中は、各運動を「往復動作」と表記)。前記座標系は、Z軸がディスプレイの法線方向、すなわち被験者に向かう方向を正とする直交座標系で、各運動は前記座標系に従う揺動運動及び平行運動をそれぞれ3種類、計６種類からなる。各運動は、当然運動方向や運動態様が異なるが、できるだけ等価に扱えるように、いずれの運動も20fpsの速度で動作し、10フレーム(0.5秒)で運動が完了するようにしている。

各３次元円柱の運動は、Microsoft Visual C++Ver6.0により記述した制御プログラムにより制御している。また、３次元円柱の描画は、バーチャルリアリティ開発用ライブラリ(SENCE8 WorldToolKit)を用いている。各３次元円柱に所定の運動をさせる動作タイミングは、被験者の音声の信号から推定される動作予測値が予め定めた動作閾値を越えた時点として算出している。ここで、この度の運動評価試験では、次の次式により動作予測値を算出している。数３中、ｙ(ｉ)は動作予測値、ａ(ｊ)は予測係数、そしてｘ(ｉ−ｊ)は被験者の音声の信号を表す。

ここで、被験者の音声の信号ｘ(ｉ−ｊ)は、現時点から過去２secの範囲の信号を60分割、すなわちＪ＝１〜60として、1/30sec単位の値を用いている。この度の運動評価試験では、予測係数ａ(ｊ)に前記1/30sec単位の時間間隔で予め定めた定数を用いている。また、この度は３次元円柱の運動を相対評価するために設けていないが、乱数に基づくノイズｗ(ｉ)を上記動作予測値ｙ(ｉ)に加え、動作予測値ｙ(ｉ)を算出する度に異なる値にしてもよい。前記ノイズｗ(ｉ)は、動作予測値ｙ(ｉ)に自然なゆらぎが加味され、動作タイミングの決定から不自然な規則性を除外する働きがある(後掲応用実証試験参照)。

具体的な試験装置の構成は、図10に示される通りである。この度の運動評価試験では、被験者に対して２つの３次元円柱を提示し、それぞれ異なる運動をさせて比較評価させている。表示される３次元円柱が１つのみであると、その３次元円柱の運動評価試験では、被験者に対して同時に２つの３次元円柱を提示し、それぞれ異なる運動を見せることにより、相対的な官能評価をしてもらっている。これは、１つの３次元円柱だけを提示してその３次元円柱の運動を絶対評価することが困難なことによる。

動作タイミングを算出する元となる音声は、被験者の音声を用い、ヘッドセット(Sony製 DR-200マイク部のみ使用)からコンピュータに取り込んでいる。各ディスプレイ上の３次元円柱の運動を同期させるため、単一のコンピュータのデュアルディスプレイ機能を用いている。被験者と各ディスプレイ(シャープ製20.1型液晶ディスプレイ LL-T2020)の距離は70cmとし、両ディスプレイは表示面が並ぶにように配置した。各ディスプレイは1600×1200pixelで、３次元円柱は約430×594pixelであり、３次元円柱はディスプレイに対して縦50%、横27%に当たる大きさで統一している。各ディスプレイに表示する３次元円柱の運動を制御するため、別室に実験者が操作する制御用ディスプレイを用意し、分配器により前記コンピュータから分配して、被験者用の各ディスプレイの表示を確認している。このほか、この度の運動評価試験では、被験者による官能評価の是非を客観的に判断するため、被験者後方にはカメラを配置して試験状況をモニタすると共に、レコーダで記録した。

運動評価試験の試験光景を、図11に示す。被験者には、左右のディスプレイにそれぞれ表示される異なる運動の３次元円柱を比較しながら見てもらい、どちらの運動に基づく３次元円柱が「話しやすい」かを二者択一してもらった。具体的には、被験者には各３次元円柱に語りかけてもらい、相対的評価により「話しやすい」と感じた方を実験者に伝えるようにしてもらった。同時に表示する異なる運動の組み合わせは、上記表１に示される6パターンからランダムで選び出し、最終的には合計の15組の比較をしてもらった。被験者は、男女18歳から26歳までの20人である。

運動評価試験の試験結果を、表２に示す。表２は、例えば左欄の (ａ)が、残る(ｂ)〜(ｆ)に対してより「話しやすい」場合を数字で示し、右欄に(ａ)〜(ｆ)がそれぞれ他の運動に勝った数の合計を明記している。各被験者についてそれぞれ15組の運動の比較をしてもらったので、前記合計の和は300になる。この試験結果からでは、運動(ａ)、すなわち前後の揺動運動が最も話しやすく(計94)、次いで運動(ｅ)、すなわち上下の平行運動が話しやすいとみてとれる(計70)。

このように、上記試験結果だけでは、各運動のいずれか最良であるかを特定しにくい。そこで、この度の運動評価試験では、上記試験結果を下記式で表されるBradley-Terryモデルに当てはめ、定量的評価を試みた。数４及び数５中π_iはｉの強さの量を、また数４及中Ｐ_ijはｉがｊに勝る確率をそれぞれ表す。

得られたBradley-Terryモデルによる運動(ａ)〜(ｆ)の話しやすさの強さπを、図12に示す。ここで、このBradley-Terryモデルの整合性を検討するため、有意水準５％で適合度検定を試みたところ、このBradley-Terryモデルは却下されず、強さπの値の妥当性が保証されている。

このBradley-Terryモデルの結果(図12)から、同一の３次元円柱を同じ動作タイミングで運動させても、運動の内容が異なるだけで、被験者の反応、すなわち身体的引き込み現象の程度が大きく変化することを示している、と考えられる。特に、運動(ａ)、すなわちX軸中心の前後の揺動運動が、顕著に高く評価されている。これから、動作単位(３次元円柱)が示す前後の揺動運動が、最も身体的引き込み現象をもたらす運動として、有効であることがわかる。

次に、上記運動評価試験の結果を踏まえて、前後に揺動運動する動作単位であれば、どのような特定物体又は特定画像であっても、身体的引き込み現象をもたらすかを確認するため、３次元表示の樹木の一部に前後の揺動運動をさせるようにして、この３次元表示の樹木に対する身体的引き込み現象の程度を、応用実証試験として確認してみた。

システム構成は、上記図８と同様であるため、説明は省略する。上記運動評価試験と異なる点は、部分的な動作単位を用い、より実際的な場面を想定した動作予測値の推定を図っている点にある。まず、３次元表示の樹木における動作単位は、枝及び葉であり、図13に見られるように、幹に対して各枝を前後に揺動運動させ、また図14に見られるように、各枝から出ている葉をそれぞれの枝に対して独立して前後に揺動運動させる。ここで、各枝及び葉は、同じ動作タイミングで前後に揺動運動させてもよいが、樹木としての自然さを担保するため、各枝及び葉それぞれの動作タイミングを算出するために動作予測値と比較する動作閾値を各枝及び葉毎に異ならせて、それぞれ独立した動作タイミングで前後に揺動運動するようにしている。

更に、より実用的に前記枝又は葉を前後に揺動運動させるため、ノイズを加えた次式により動作予測値を算出している。数６中、ｙ(ｉ)は動作予測値、ａ(ｊ)は予測係数、ｘ(ｉ−ｊ)は被験者の音声の信号、そしてｗ(ｉ)＝ノイズを表す。ノイズｗ(ｉ)は乱数により、動作予測値ｙ(ｉ)を算出する度に異なる値を用いる。これにより、動作予測値ｙ(ｉ)に自然なゆらぎが加味され、動作タイミングの決定から不自然な規則性を除外することができる。これから、各枝及び葉は、不自然な規則性が除外された動作予測値と各枝及び葉毎に定めた異なる動作閾値とを比較して、それぞれ独立して前後に揺動運動することになる。

この応用実証試験における３次元表示の樹木による試験光景を、図15に示す。既に、人でない３次元円柱によっても、被験者に対する身体的引き込み現象がもたらされることが証明されている。これから、人でない樹木であっても、被験者の音声に反応して枝又は葉がそれぞれ前後に揺動運動することで、枝又は葉を見る人を樹木に意識させる又は注目させる身体的引き込み現象がもたらされることが想像できる。複数の被験者に、樹木に対する話しやすさを確認してもらったところ、いずれの被験者からも十分に話しやすかったとの回答を得た。これにより、本発明が解明した前後の揺動運動により、人でない特定物体又は特定画像であっても、前記特定物体又は特定画像に意識させる又は注目させるだけの身体的引き込み現象が動作単位を見る人にもたらされることが確認できた。

本発明は、本来対面する人同士の会話において、会話における両者の身体リズムを共有し、互いが相手を引き込み身体的引き込み現象を、相手のいない場面での利用を実現するため、身体的引き込み現象をもたらす運動について解明した。これは、様々な応用が考えられる。例えば、街頭における動く看板や動画表示の広告に対し、前記看板又は広告の一部又は全部を動作単位として、各動作単位を前後に揺動運動させることで、この動作単位を見る通行人を看板又は広告に意識させる又は注目させることができる。これにより、看板又は広告の宣伝効果を高めることができる。

また、カーナビゲーションの表示画面において、人を模したキャラクタでなくても、表示画面に映し出される道路標識や店舗の一部又は全部を動作単位として、各動作単位を前後に揺動運動させることで、この動作単位を見る運転手をカーナビゲーションの表示画面に意識させる又は注目させることができる。これは、カーナビゲーションの表示画面から与えられる視覚的情報をよりよく運転手に伝える効果がある。そして、前記効果は、運転手が表示画面を見ているときにのみ得られるため、運転を妨げない。このように、本発明は、特定物体又は特定画像に人を意識させる又は注目させる場合に有効な方法及びシステムを提供する。

コンピュータにより３次元物体である３次元円柱を前後に揺動運動させる身体的引き込みシステムの構成例を示す斜視図である。 ３次元円柱の前後の揺動運動を説明する斜視図である。 ディスプレイ上に表示させた２次元画像である２次元長方形を拡大及び縮小運動させる身体的引き込みシステムの構成例を示す斜視図である。 ２次元長方形の拡大及び縮小運動を説明する斜視図である。 ディスプレイ上に表示させた３次元画像である３次元円柱を前後に揺動運動させる身体的引き込みシステムの構成例を示す斜視図である。 ３次元円柱の前後の揺動運動を説明する斜視図である。 運動評価試験の概念図である。 運動評価試験のシステム構成図である。 ディズプレイ上の座標系を表す概念図である。 運動評価試験における具体的な試験構成図である。 運動評価試験における試験光景を表した図である。 Bradley-Terryモデルで表されるグラフである。 ３次元表示される樹木の正面図である。 樹木における枝及び葉の部分拡大正面図である。 応用実証試験の試験光景を表した図である。

符号の説明

10 コンピュータ
11 ディスプレイ
12 マイク
20 ３次元円柱
21 ２次元長方形
22 ３次元円柱
23 駆動部
24 揺動軸

Claims (18)

1. 特定物体又は特定画像に人を意識させる又は注目させるに際し、特定物体又は特定画像は演算部が算出する動作タイミングで駆動部により姿勢変化させられる動作単位を有し、演算部は音声又は音響の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、前記動作タイミングで駆動部が動作単位の上部を手前に変位させる又は該動作単位の下部を奥側に変位させて、該動作単位を見る人に特定物体又は特定画像に対する身体的引き込み現象をもたらし、前記人に特定物体又は特定画像を意識させる又は注目させる視覚に訴える身体的引き込み方法。
2. 動作予測値は、音声又は音響の信号の移動平均により推定される請求項１記載の視覚に訴える身体的引き込み方法。
3. 音声は、動作単位を見る人自身の音声である請求項１記載の視覚に訴える身体的引き込み方法。
4. 音声は、動作単位を見る人以外の音声である請求項１記載の視覚に訴える身体的引き込み方法。
5. 音響は、音楽である請求項１記載の視覚に訴える身体的引き込み方法。
6. 音響は、特定物体又は特定画像の周囲にある環境音である請求項１記載の視覚に訴える身体的引き込み方法。
7. 動作単位は、駆動部により動く３次元物体であり、該動作単位の姿勢変化は、動作単位の上部を手前に傾倒させる又は該動作単位の下部を奥側に持ち上げる前後の揺動運動である請求項１記載の視覚に訴える身体的引き込み方法。
8. 動作単位は、駆動部が表示する２次元画像であり、該動作単位の姿勢変化は、動作単位の上部を拡大して手前に接近した感じを与える又は該動作単位の下部を縮小して奥に引っ込んだ感じを与える上下非対称な拡大又は縮小運動である請求項１記載の視覚に訴える身体的引き込み方法。
9. 動作単位は、駆動部が表示する３次元画像であり、該動作単位の姿勢変化は、動作単位の上部を手前に傾倒させる又は該動作単位の下部を奥側に持ち上げる前後の揺動運動である請求項１記載の視覚に訴える身体的引き込み方法。
10. 特定物体又は特定画像に人を意識させる又は注目させるシステムであって、特定物体又は特定画像の一部又は全体の動作単位と、該動作単位を姿勢変化させる駆動部と、該駆動部の動作タイミングを算出する演算部と、該演算部へ音声又は音響の信号を取り込む信号入力部とからなり、演算部は信号入力部から取り込まれた音声又は音響の信号から推定される動作予測値が予め定めた動作閾値を越えた時点を動作タイミングとして算出し、駆動部は前記動作タイミングで動作単位の上部を手前に変位させる又は該動作単位の下部を奥側に変位させて、該動作単位を見る人に特定物体又は特定画像に対する身体的引き込み現象をもたらし、前記人に特定物体又は特定画像を意識させる又は注目させる視覚に訴える身体的引き込みシステム。
11. 動作予測値は、音声又は音響の信号の移動平均により推定される請求項10記載の視覚に訴える身体的引き込みシステム。
12. 音声は、動作単位を見る人自身の音声である請求項10記載の視覚に訴える身体的引き込みシステム。
13. 音声は、動作単位を見る人以外の音声である請求項10記載の視覚に訴える身体的引き込みシステム。
14. 音響は、音楽である請求項10記載の視覚に訴える身体的引き込みシステム。
15. 音響は、特定物体又は特定画像の周囲にある環境音である請求項10記載の視覚に訴える身体的引き込みシステム。
16. 動作単位は、駆動部により動く３次元物体であり、駆動部は動作単位の上部を手前に傾倒させる又は該動作単位の下部を奥側に持ち上げる前後の揺動運動として動作単位を姿勢変化させる請求項10記載の視覚に訴える身体的引き込みシステム。
17. 動作単位は、駆動部が表示する２次元画像であり、駆動部は動作単位の上部を拡大して手前に接近した感じを与える又は該動作単位の下部を縮小して奥に引っ込んだ感じを与える上下非対称な拡大又は縮小運動として動作単位を姿勢変化させる請求項10記載の視覚に訴える身体的引き込みシステム。
18. 動作単位は、駆動部が表示する３次元画像であり、駆動部は動作単位の上部を手前に傾倒させる又は該動作単位の下部を奥側に持ち上げる前後の揺動運動として動作単位を姿勢変化させる請求項10記載の視覚に訴える身体的引き込みシステム。