JP2004057654A

JP2004057654A - Information processing apparatus and method, recording medium, and program

Info

Publication number: JP2004057654A
Application number: JP2002222906A
Authority: JP
Inventors: Hiroshi Yasutomi; 安冨　浩; Akio Yoshioka; 吉岡　章夫; Hideaki Karasawa; 唐澤　英了; Hiroaki Nakano; 中野　広明
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-31
Filing date: 2002-07-31
Publication date: 2004-02-26
Anticipated expiration: 2022-07-31
Also published as: JP3838173B2

Abstract

<P>PROBLEM TO BE SOLVED: To allow a user to have a somesthetic feeling more realistically. <P>SOLUTION: An information processor is constituted by arranging vibration elements 101 to 101-8 to be the same in size as a display part for displaying a picture. When it is displayed that an object which is displayed on the display part and independently vibrated is moved from the vibration element 101-1 to the vibration element 101-5, the vibration element 101-1 is vibrated first, and then, the vibration elements 101-5 are vibrated. When the object displayed on the display part collides with a wall, or the like, for example, the vibration elements 101-1 to 101-8 are simultaneously vibrated in order to express the collision. Thus, a picture and the vibration corresponding to the picture are propagated to the user, so that the user can have the somesthetic feeling more realistically. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、よりリアルな体感をユーザに与えるための装置に適用して好適な情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
コンピュータゲームなどで画面や音声を提供することは勿論であるが、より臨場感をユーザに与えるために、コントローラが振動するなどの仕組みを有するものがある。このように、視覚や聴覚だけでなく、触覚でも楽しめる仕組みが設けられた装置がゲーム機などでは普及している。
【０００３】
【発明が解決しようとする課題】
上述したコンピュータゲームなどにおいてユーザに体感を与える装置は、通常コントローラに設けられている。画像を提供する例えばテレビジョン受像機と、体感を与える装置を有するコントローラは、所定の距離を有して設置されており、その距離感のために、臨場感が損なわれてしまうといったような問題があった。
【０００４】
また、例えば、所定の物体がものにぶつかったときの衝撃を体感させる場合、前からものがぶつかってきたときと、後ろからものぶつかってきたときとで、体感させる衝撃は同じである（強弱の違いはある場合があるが）。例えば、その体感させる衝撃とは、コントローラが一方向に振動するといったものであり、体感はできるものの、方向感までは与えられないなど、よりリアルにするための手段を有していないといったような問題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、ユーザとの一体感をより高め、よりリアルな体感を与えることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の情報処理装置は、画像を表示する表示手段と、振動を発生する振動発生手段と、ユーザにより加えられた力の大きさと方向を検知する検知手段と、表示手段により表示される画像のうちの所定の画像が、力の大きさに基づく移動速度で、検知手段により検知された力の方向に移動するように、表示手段を制御する表示制御手段と、表示手段により表示される所定の画像の移動に伴う振動が、振動発生手段により発生されるように、振動発生手段を制御する振動制御手段とを含むことを特徴とする。
【０００７】
前記振動発生手段は、複数の振動素子から構成され、振動制御手段は、複数の振動素子をそれぞれ独立して振動させるようにすることができる。
【０００８】
音声を出力する音声出力手段と、表示手段により表示される所定の画像の移動に伴う音声が出力されるように、音声出力手段を制御する音声制御手段とをさらに含むようにすることができる。
【０００９】
前記表示手段の画枠の大きさと前記振動発生手段の大きさは、略同一に構成されているようにすることができる。
【００１０】
本発明の情報処理方法は、画像を表示する表示手段と、振動を発生する振動発生手段と、ユーザにより加えられた力の大きさと方向を検知する検知手段とを含む情報処理装置の情報処理方法であって、表示手段により表示される画像のうちの所定の画像が、力の大きさに基づく移動速度で、検知手段により検知された力の方向に移動するように、表示手段を制御する表示制御ステップと、表示手段により表示される所定の画像の移動に伴う振動が、振動発生手段により発生されるように、振動発生手段を制御する振動制御ステップとを含むことを特徴とする。
【００１１】
本発明の記録媒体のプログラムは、画像を表示する表示手段と、振動を発生する振動発生手段と、ユーザにより加えられた力の大きさと方向を検知する検知手段とを含む情報処理装置のプログラムであって、表示手段により表示される画像のうちの所定の画像が、力の大きさに基づく移動速度で、検知手段により検知された力の方向に移動するように、表示手段を制御する表示制御ステップと、表示手段により表示される所定の画像の移動に伴う振動が、振動発生手段により発生されるように、振動発生手段を制御する振動制御ステップとを含むことを特徴とする。
【００１２】
本発明のプログラムは、画像を表示する表示手段と、振動を発生する振動発生手段と、ユーザにより加えられた力の大きさと方向を検知する検知手段とを含む情報処理装置を制御するコンピュータに、表示手段により表示される画像のうちの所定の画像が、力の大きさに基づく移動速度で、検知手段により検知された力の方向に移動するように、表示手段を制御する表示制御ステップと、表示手段により表示される所定の画像の移動に伴う振動が、振動発生手段により発生されるように、振動発生手段を制御する振動制御ステップとを実行させることを特徴とする。
【００１３】
本発明の情報処理装置および方法、並びにプログラムにおいては、表示されている画像に対応した振動が発生される。その画像は、ユーザにより加えられた力により切り換えられ、画像が切り換えられることにより、振動が、その画像の変化を表現するかたちで発生される。
【００１４】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図１は、本発明の情報処理装置を含むシステムの一実施の形態の構成を示している。ＰＣ（パーソナルコンピュータ）１と情報処理装置２は、コード３により接続されている。情報処理装置２は、後述するように、画像を表示する機能を有すると共に、その画像に合った振動をユーザに提供する機能を有している。情報処理装置２は、ユーザが両手（片手）で支えることができる形状に構成されている。
【００１５】
画像処理装置２に表示される画像のデータは、ＰＣ１からコード３を介して伝達される。コード３は有線だが、有線のコード３の代わりに、無線によりデータの授受を行えるようにしても良い。
【００１６】
図２は、ＰＣ１の内部構成例を示す図である。ＰＣ１のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース１５は、キーボードやマウスから構成される入力部１６が接続され、入力部１６に入力された信号をＣＰＵ１１に出力する。また、入出力インタフェース１５には、ディスプレイやスピーカなどから構成される出力部１７も接続されている。
【００１７】
さらに、入出力インタフェース１５には、ハードディスクなどから構成される記憶部１８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部１９も接続されている。ドライブ２０は、磁気ディスク３１、光ディスク３２、光磁気ディスク３３、半導体メモリ３４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【００１８】
コード３は、例えば、入出力インタフェース１５に接続されるようにしても良いし、通信部１９を介して接続されるようにしても良い。また、本実施の形態においては、情報処理装置２は、出力部１７として用いられる。
【００１９】
図３は、情報処理装置２の外観の構成例を示す図である。情報処理装置２は、ＰＣ１から供給されたデータに基づく画像を表示する表示部５１が、上部（図中、上側）に設けられている。下部には、振動をユーザに提供する機能を有する振動部５２が設けられている。また情報処理装置２の側面には、コード３が設けられている。
【００２０】
図４は、図３に示した情報処理装置２に対応する内部構成例を示す図である。ＰＣ１から出力されたデータは、コード３を介して、情報処理装置２の入力部６１に入力される。入力部６１により入力されたデータは、制御部６２に供給される。制御部６２は、供給されたデータが、画像データである場合、そのデータを表示制御部６３に供給する。表示制御部６３は、供給されたデータを基に、表示部５１を制御し、供給されたデータに基づく画像を表示させる。
【００２１】
制御部６２には、力検知部６４により検知され、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部６５によりアナログデータからデジタルデータに変換された、情報処理装置２に加えられた力に関するデータも供給される。制御部６２は、供給された力に関するデータを基に、振動部５２を制御し、ユーザに対して振動を供給する。
【００２２】
情報処理装置２を図３および図４に示したような構成とすると、ＰＣ１側から画像データが供給されるため、様々な画像をユーザに提供することが可能となる。また、ＰＣ１側で処理を行うようにすれば、情報処理装置２側で行う処理を軽減することが可能となる。
【００２３】
しかしながら、情報処理装置２は、ユーザが両手（片手）で支えることができる形状に構成されており、換言すれば、ユーザが情報処理装置２を保持できる構成とされており、そのために、コード３でＰＣ１と接続される構成とすると、ユーザが保持できる形状に構成されているにもかかわらず、コード３の長さの制限により、ユーザが自由に動き回れないという問題がある。すなわち、ユーザの自由度が奪われてしまい、また、ＰＣ１が存在している状況下でないと、情報処理装置２により与えられる効果を享受できないということになってしまう。
【００２４】
そこで、自由度を増すために、情報処理装置２を図５に示したような構成とすることも可能である。図５に示した構成では、情報処理装置２の側面から、コード３を取り除いた構成とされている。この構成においては、外部とのデータの授受を行うためにスロット５３が設けられている。このスロット５３には、例えば、メモリースティック（商標）などの記録媒体が挿入され、その挿入された記録媒体からデータが読み出されるようになっている。
【００２５】
勿論、スロット５３を設けない構造、または、スロット５３の他にさらに他の構造も設けることも考えられる。設けない構造とした場合、例えば、他の装置と無線によりデータの授受を行える機能を設けるようにしても良いし、インターネットなどのネットワークに接続する機能を設け、ネットワークを介してデータの授受を行える機能を設けるようにしても良い。記録媒体やネットワークを介して行われるデータの授受は、表示部５１に表示させる画像データの授受や、更新プログラムなどである。
【００２６】
図５のような構成にした場合の情報処理装置２の内部構成例を図６に示す。図６は、図５に示した情報処理装置２の断面図である。情報処理装置２の上面には、表示部５１が設けられている。この表示部５１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などで構成される。
【００２７】
図中、左側には、力検知部６４が設けられている。この力検知部６４は、情報処理装置２に加えられた力を検知するために設けられているが、例えば、ジャイロセンサや加速度センサで構成される。ジャイロセンサや加速度センサで構成される力検知部６４は、加えられた力の方向と大きさを検知する。
【００２８】
ここで、情報処理装置２に加えられる力とは、情報処理装置２の体勢を変化させた力のことを意味する。情報処理装置２の体勢の変化とは、例えば、水平に保たれていた状態から、傾けられた状態にされた場合などであり、そのように傾けられた状態にされるために加えられた力の方向と大きさが、力検知部６４により検知される。
【００２９】
図６中、右側には、スピーカ７１が設けられている。このスピーカ７１は、音を出力するために設けられている。情報処理装置２の下部には、振動部５２が設けられている。図６には図示していないが、制御部６２などを構成するＣＰＵなども、情報処理装置２内に備えられている。
【００３０】
図７は、振動部５２の外観の構成例を示す図であり、情報処理装置２を下側から見たときの図である。図７に示した例では、振動部５２は、８個の振動素子１０１−１乃至１０１−８（以下、個々に振動素子１０１―１乃至１０１−８を区別する必要がない場合、単に振動素子１０１と記述する）から構成されている。各振動素子１０１は、略長方形に構成され、この長方形が振動するように構成されている。
【００３１】
なお、ここでは、振動部５２には、８個の振動素子１０１が備えられ、各振動素子１０１は、略長方形であるとして説明するが、８個以外の個数の振動素子１０１が振動部５２に備えられるようにしても良いし、各振動素子１０１の形状は、略長方形以外、例えば、円形などでも良い。
【００３２】
振動素子１０１−１乃至１０１−８は、それぞれ別々に振動する（独立的に振動する）ことが可能であり、例えば、振動素子１０１―１だけが振動する、振動素子１０１−１乃至１−８全てが振動するなど、ユーザによりリアルな振動を与えるように構成されている。また、各振動素子１０１が発生する振動の強弱も制御可能にされている。
【００３３】
各振動素子１０１は、例えば、図８に示すように、モータとおもりから構成されている。モータの回転軸には、偏心されたおもり（偏心カム）が付けられており、このおもりが回転することにより、図７に示したような振動素子１０１を形成する略長方形の板状の部材が振動するように構成されている。
【００３４】
図９は、表示部５１と振動部５２の位置的な関係をイメージ的に示した図である。図７に示したように、振動部５２の各振動素子１０１は、略円形になるように配置されているが、その略円形の大きさと、表示部５１の略長方形の大きさ（画枠の大きさ）は、略同一になるように構成されている。
【００３５】
これは、表示部５１に表示されている画像が、例えばボールであり、そのボールが、表示部５１の上方の中央の位置に衝突したようなときに、振動素子１０１−１が振動するようにすることにより、本当に、ボールが、表示部５１の上方の中央の位置に衝突して振動が発生したかのような擬似的な体験を、ユーザに与えることを可能とするためである。
【００３６】
表示部５１と振動部５２に、このような位置的な関係を持たせることにより、表示部５１に表示される画像（映像）から視覚的に得られる衝突というものを、視覚以外に、よりリアルに、触覚的な振動としてユーザに与えることが可能となる。
【００３７】
図１０は、図５に示した、すなわち、コード３が備えられていない情報処理装置２の内部構成例を示す図である。図１０に示した情報処理装置２と、図４に示した情報処理装置２を比較するに、図１０に示した情報処理装置２は、図４に示した情報処理装置２から、入力部６１を取り除いた構成とされ、スロット５３、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）８１、および、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）８２を追加した構成とされている。
【００３８】
ＲＯＭ８１には、制御部６２が情報処理装置２内の各部を制御する上で必要となるプログラムやデータが記憶されている。ＲＡＭ８２には、制御部６２が各部を制御する上で必要となるプログラムやデータが必要に応じロードされる。スロット５３には、記録媒体が挿入され、その記録媒体から読み出されたデータが、制御部６２に供給されるようになっている。
【００３９】
例えば、ＲＯＭ８１には、表示部５１に表示させる画像データが記憶されており、その画像データが制御部６２に読み出され、表示制御部６３により制御が行われることにより、その画像データに基づく画像が表示部１５に表示される。例えば、表示部５１には、図１１に示すような画像が表示される。
【００４０】
図１１に示した表示部５１に表示される画像は、金魚が泳いでいる姿を上方から見ている状態である。ユーザは、あたかも情報処理装置２を、金魚が泳いでいる水槽として扱うことができ、そのような擬似的体験をすることが可能とされている。図１２に示すように、ユーザは、情報処理装置２を両手（片手でも良い）で支えるようにして保持する。このように保持することにより、ユーザは、あたかも、水槽を持っているような感覚を得ることができ、また、その水槽に泳いでいる金魚を眺めている感覚を得ることができる。
【００４１】
このような画面が情報処理装置２に表示されているとき、この情報処理装置２が傾むけられたときの表示画面の変化について説明する。以下の説明においては、説明の都合上、図においては金魚のみを示し、背景は記述しない。また、以下の説明においては、表示部５１と振動素子１０１との位置関係は図９に示したような関係になっており、振動素子１０１―１が位置する方向を上方向とし、１０１−５が位置する方向を下方向と記述する。
【００４２】
図１２に示したように、金魚がユーザ側に位置する状態（振動素子１０１−５の方、すなわち、下方向に位置する状態）から、ユーザが、図１３に示すように、情報処理装置２をユーザに対して前方に傾けたとき、その傾きに合わせて金魚も前方の方（振動素子１０１−１の方、すなわち、上方向）に移動する。
【００４３】
このような表示画面の変化について、図１４を参照して再度説明にするに、表示部５１に表示されている金魚が、図中下側に位置する状態から、図中上側に位置する状態まで、すなわち矢印方向に金魚は泳いで移動するといった表示が、ユーザが情報処理装置２を前方に傾けたことに対応して行われる。なお、図中の矢印は、説明のために付したものであり、表示部５１に表示されるわけではない。
【００４４】
このように、金魚が、図中下側から上側に泳いで移動する際、その移動する早さは、ユーザの情報処理装置２の傾け方に依存する。すなわち、ユーザが、情報処理装置２を急な角度で傾けた場合、金魚は、素早く下側から上側に泳いで移動するし、逆に、ユーザが情報処理装置２を緩やかな角度で傾けた場合、金魚は、ゆっくりと下側から上側に泳いで移動する。
【００４５】
また、図示はしないが、ユーザが例えば、情報処理装置２を、右方向に傾けた場合、金魚は、右方向に泳いで移動し、左方向に傾けた場合、金魚は、左方向に泳いで移動する。
【００４６】
このように、金魚は、ユーザが情報処理装置２を傾けた方向に泳ぐように設定されている。すなわち、ユーザは、金魚を操作しているような感覚を得ることができる。金魚との一体感を感じることもできる。
【００４７】
このように表示が制御される際、その表示の制御にあわせて、振動の制御も行われる。図１４に示したように、金魚が図中下側から上側に移動するということを換言すれば、金魚が振動素子１０１―５の方から振動素子１０１−１の方に移動したことになる。
【００４８】
このことを視覚的な画像だけでなく、触覚的な振動としてユーザに感じさせるために、金魚が図中下側から上側に移動する際、振動素子１０１−５と振動素子１０１−１を、金魚が表示されている位置に合わせて振動させる。すなわち、金魚が、図中下側を泳いでいるときは、振動素子１０１−５が振動し、金魚が、図中上側を泳いでいるときは、振動素子１０１−１が振動するように制御される。
【００４９】
また、振動素子１０１−１または振動素子１０１−５によりユーザに提供される振動の大きさは、金魚の移動速度に応じて制御される。すなわち、金魚が早く移動するときには、振動は大きくなるように制御され、ゆっくり移動するときには、振動は小さくなるように制御される。
【００５０】
このようにユーザに対して画像だけでなく、その画像に対応した振動も提供することにより、ユーザは、生きている金魚が、あたかも情報処理装置２に存在し、その金魚が、自分の意志（指示）に反応して移動するといった感じを得ることができる。
【００５１】
このような画像の提供と、振動の提供を行う情報処理装置２の動作について、図１５のフローチャートを参照して説明する。ステップＳ１１において、力検知部６４により、情報処理装置２に加えられた力を検知したか否かが判断される。この力検知部６４における力の検知は、情報処理装置２の電源がオンにされた状態で、例えば図１１に示したような画像が表示されている状態のときに行われる。
【００５２】
力検知部６４で力が検知されない場合、ステップＳ１１の状態が繰り返され（待機状態が維持され）、力検知部６４で力が検知されると、ステップＳ１２に進む。ステップＳ１２において、検知された力の方向と大きさが判断される。例えば、力検知部６４として、加速度センサが用いられている場合、その加速度センサにより検知された加速度をもとに、方向と大きさが判断される。
【００５３】
方向は、垂直方向、水平方向、高さ方向の３方向、それぞれの加速度が検知されるように、加速度センサを備えるようにすれば、３方向毎の加速度を検知することができる。また、加速度の大きさから、加えられた力の大きさを求めることができる。
【００５４】
ステップＳ１２において、加えられた力の方向と大きさが判断されると、ステップＳ１３において、表示部５１に表示されている物（この場合、金魚）が移動する際の移動速度が決定される。これは、例えば、ＲＯＭ８１に、力検知部６４により検知された力の大きさと、移動速度を関連付けたテーブルを記憶させておき、そのテーブルが参照されることにより決定される。
【００５５】
移動速度が決定されると、ステップＳ１４において、振動の方向と大きさが決定される。振動の方向は力検知部６４が検知した力の方向に対応するように決定される。振動の大きさは、移動速度の決定と同じように、予めＲＯＭ８１に記憶されている、力検知部６４が検知した力の大きさと、振動の大きさが関連付けられたテーブルが参照されて決定される。
【００５６】
ここでは、ＲＯＭ８１に記憶されているテーブルが参照されて、移動速度や振動の大きさが決定されるとしたが、所定の演算式を用いて算出されるようにしても良い。例えば、所定の係数に、検知された力の大きさを乗算することにより、移動速度や振動の大きさが算出されるようにしても良い。
【００５７】
このようにして決定された移動速度、振動の方向と大きさに基づいて、表示の制御と振動の制御が行われる。ステップＳ１５において、表示の制御が行われるわけだが、その制御は、ステップＳ１２において判断された方向に、ステップＳ１３において決定された移動速度で金魚が移動するような表示の制御が行われる。このような制御は、制御部６２から表示制御部６３に指示が出されることにより行われる。
【００５８】
このような表示の制御が行われるとともに、制御部６２は、振動部５２に対しても指示を出し、振動の制御も行う。ステップＳ１６において、振動の制御が行われるわけだが、制御部６２は、まず、振動させる振動素子１０１を、ステップＳ１４において決定された方向に応じて決定する。すなわち、金魚の移動元から移動先までを振動でユーザに、最も効率よく、よりリアルに伝えるために振動させるべき振動素子１０１が決定される。
【００５９】
また、振動素子１０１をどのような大きさで振動させるかの指示が出される。その指示は、ステップＳ１４において決定された振動の大きさに基づいて指示され、また、どれだけの時間振動させるかの指示も出される。振動の大きさは、振動素子１０１としてのモータの回転数を変化させることにより制御される。
【００６０】
このようにして、振動素子１０１−１乃至１０１−８のうちのいずれかの振動素子１０１が、決定された大きさで、決定された時間だけ振動される。
【００６１】
このようにして、ユーザには、ユーザの指示に基づく画像と、その画像に対応した振動が提供される。
【００６２】
上述した実施の形態においては、金魚は、ユーザの指示により移動するとしたが、ユーザの指示以外に、自主的に移動する機能を持たせても良い。勿論、自主的にと記載しているが、その動作は、予めプログラムなどにより制御されるものである。金魚が自主的に移動する場合、その移動に合わせた振動がユーザに提供されるようにしても良い。また、その移動に関し、金魚が急に方向を変化させたときなどは、強く振動するようにするなどしても良い。
【００６３】
振動は、金魚の移動に伴うものだけでなく、例えば、金魚が表示部５１の画枠に衝突したときなども、そのことを表現するために、振動がユーザに提供されるようにしても良い。
【００６４】
また、上述した実施の形態においては、金魚が１匹の場合を例に挙げて説明したが、複数の金魚が泳いでいても勿論良い。そのようなときには、各金魚の位置に応じて振動がユーザに提供されるようにしても良い。また、２匹の金魚が近傍に位置するときなどは、その位置に対応する振動素子１０１が激しく振動するなど、よりリアルにユーザに体感させる仕組みを設けることは適宜可能である。
【００６５】
振動素子１０１は、１つの振動素子１０１だけが駆動されるわけでなく、１つの振動素子１０１だけが駆動させるときもあるし、複数の振動素子１０１が同時に駆動されることもある。よりリアルに振動をユーザに提供されるように、駆動される振動素子１０１の数は、適宜、最も効果的と思われる数だけ駆動される。
【００６６】
上述した実施の形態で、金魚以外に、水泡なども表示されるようにしても良い。また、その水泡に合わせた振動が、ユーザに提供されるようにしても良い。
【００６７】
このように、ユーザに提供される画像や振動は、１つに限定されるものではなく、さまざまな形態が可能であり、本発明を、それらのさまざまな形態に適用することは可能である。
【００６８】
図１６に、他の表示の例を示す。図１６に示した表示例ではボール１１１が表示され、複数のかべ１１２が表示されている。この例では、ボール１１１が迷路内を転がるようなイメージである。この例では、ボール１１１は、ユーザが情報処理装置２を傾けた方向に移動し、そのボール１１１がかべ１１２に衝突すると、その衝突による振動がユーザに提供されるようになっている。
【００６９】
また、上述した金魚の例と同様に、ボール１１１が移動すると、その移動に合わせて振動がユーザに提供されるようになっている。また、そのボール１１１の移動速度は、金魚の例と同様に、ユーザがどれだけ情報処理装置２を傾けたかに依存している。
【００７０】
このようなボール１１１が迷路内を転がるような場合、情報処理装置２は図１７に示したようなフローチャートに従って処理を行う。ステップＳ２１において、力検知部６４により情報処理装置２に加えられた力が検知されると、ステップＳ２２において、加えられた力の方向と大きさが判断される。このステップＳ２１とステップＳ２２における処理は、図１５のフローチャートのステップＳ１１とステップＳ１２の処理と基本的に同様である。
【００７１】
ステップＳ２３において、ボール１１１がかべ１１２に衝突するか否かが判断される。この判断は、ステップＳ２２において判断された方向にかべ１１２が存在するか否かが判断され、かべ１１２が存在すると判断されると、判断された力の大きさに基づいて、ボール１１１を移動させると、ボール１１１はかべ１１２に衝突するか否か、換言すれば、判断された力の大きさに基づくと、ボール１１１は、かべ１１２の手前で停止するか否かが判断されることにより行われる。
【００７２】
このような判断は、予めＲＯＭ８１（スロット５３に挿入されている記録媒体）に記憶されているかべ１１２の座標のデータなどが参照されることにより行われる。ステップＳ２３において、ボール１１１がかべ１１２に衝突しないと判断されると、ステップＳ２４に進み、衝突すると判断されると、ステップＳ２８に進む。
【００７３】
ステップＳ２４乃至Ｓ２７の処理は、図１５のフローチャートのステップＳ１３乃至Ｓ１６と略同一の処理なので、その説明は省略する。一方、ステップＳ２８以降の処理は、基本的に、図１５のフローチャートのステップＳ１３乃至Ｓ１６と略同一の処理ではあるが、衝突に関して考慮された処理が行われる。
【００７４】
ステップＳ２８において、移動速度の決定が行われるわけだが、その決定された速度で移動すると、かべ１１２に当たるまでには、どのくらいの時間がかかるかも判定される。また、かべ１１２に衝突したときに、ボール１１１が跳ね返るなどの処理も実行する場合、どのくらい跳ね返るかなどの判定も行われる。
【００７５】
ステップＳ１４において、振動素子１０１の振動の方向と大きさが決定されるわけだが、その大きさは、ボール１１１が転がっているときの振動の大きさと、転がった先でかべ１１２に衝突したときの振動の大きさとが決定される。
【００７６】
このような決定に基づいて、ステップＳ３０において表示の制御が、ステップＳ３１において振動の制御が、それぞれ行われる。
【００７７】
このように、本発明を適用した情報処理装置２においては、ユーザにより加えられた力が検出され、その力に応じて画像が変化し、その画像の変化に応じて、振動がユーザに提供される。ユーザは、供給される画像と振動が連動していることにより、よりリアルな体感を得ることができる。振動は、画像内の振動を発生するものの位置にも対応しているため、よりリアルな体感をユーザに与えることができる。
【００７８】
上述した実施の形態においては、ユーザが情報処理装置２に対して加えた力を検知する力検知部６４を例に挙げて説明したが、他の情報を検知し、その情報に応じた処理が実行されるようにしても良い。検知される他の情報とは、例えば、ユーザや周囲の温度、ユーザの心拍数などである。これらの情報も、用いられて画像が変更される、振動が提供されるなどの処理が実行されるようにしても良い。
【００７９】
上述した実施の形態においては、音については記述しなかったが、例えば、金魚の例の場合、金魚の泳ぐ音を、スピーカ７１（図６）から出力するようにしても良い。また、ボール１１１の例の場合、ボール１１１が転がる音や、かべ１１２に衝突する音などが、スピーカ７１から出力されるようにしても良い。ボール１１１が転がるときの音は、その転がる速度により音の強弱が制御されるようにしても良い。
【００８０】
上述した一連の処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８１】
記録媒体は、図２に示すように、ＰＣ１とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フレキシブルディスクを含む）、光ディスク３２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）を含む）、光磁気ディスク３３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（登録商標）を含む）、若しくは半導体メモリ３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ１２や記憶部１８が含まれるハードディスクなどで構成される。
【００８２】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８４】
【発明の効果】
以上の如く、本発明の情報処理装置および方法、並びにプログラムによれば、表示される画像に対応した振動が発生されることにより、ユーザに、よりリアルな体感を与えることができる。
【００８５】
また、表示される画像は、ユーザの指示に従って切り換えられ、その切り換えに応じて振動が発生されるため、ユーザに、よりリアルな体感を与えることができる。
【図面の簡単な説明】
【図１】本発明を適用した情報処理システムの一実施の形態の構成を示す図である。
【図２】ＰＣ１の内部構成例を示す図である。
【図３】情報処理装置２の外観の構成例を示す図である。
【図４】図３に示した情報処理装置２の内部構成例を示す図である。
【図５】情報処理装置２の他の外観の構成例を示す図である。
【図６】図５に示した情報処理装置２の断面図を示す図である。
【図７】振動部５２の外観の構成例を示す図である。
【図８】振動部５２の内部構成例を示す図である。
【図９】表示部５１と振動部５２の位置的な関係を示す図である。
【図１０】図５に示した情報処理装置２の内部構例を示す図である。
【図１１】表示部５１に表示される中間調画像の写真である。
【図１２】情報処理装置２に加えられる力について説明するための図である。
【図１３】情報処理装置２に加えられる力について説明するための図である。
【図１４】表示部５１に表示される金魚の動きについて説明する図である。
【図１５】情報処理装置２の動作について説明するフローチャートである。
【図１６】表示部５１に表示される中間調画像の写真である。
【図１７】情報処理装置２の他の動作について説明するフローチャートである。
【符号の説明】
１　ＰＣ，　２　情報処理装置，　５１　表示部，　５２　振動部，　６１　入力部，　６２　制御部，　６３　表示制御部，　６４　力検出部，　６５　Ａ／Ｄ変換部，　７１　スピーカ，　１０１　振動素子[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing apparatus and method, a recording medium, and a program, and more particularly, to an information processing apparatus and method, a recording medium, and a program that are suitable for application to an apparatus for giving a more realistic experience to a user.
[0002]
[Prior art]
In addition to providing screens and sounds in computer games and the like, there are those having a mechanism in which a controller vibrates to give the user a more realistic feeling. As described above, devices provided with a mechanism that can be enjoyed not only visually and auditorily but also by tactile sensation are widely used in game machines and the like.
[0003]
[Problems to be solved by the invention]
An apparatus that gives a user a feeling in the above-described computer game or the like is usually provided in a controller. For example, a television receiver that provides an image and a controller having a device for giving a sense of experience are installed at a predetermined distance, and the sense of distance impairs the sense of reality. was there.
[0004]
In addition, for example, when experiencing a shock when a predetermined object hits an object, the shock that is felt when the object hits from the front and when the object hits from behind is the same (strong and weak) There may be differences). For example, the impact to be felt is that the controller vibrates in one direction, and although it can be felt, it does not have a means to make it more realistic, such as not being given a sense of direction. There was a problem.
[0005]
This invention is made | formed in view of such a condition, and it aims at improving a sense of unity with a user and giving a more realistic experience.
[0006]
[Means for Solving the Problems]
An information processing apparatus according to the present invention includes a display unit that displays an image, a vibration generation unit that generates vibration, a detection unit that detects the magnitude and direction of a force applied by a user, and an image displayed by the display unit. A display control means for controlling the display means so that the predetermined image moves in the direction of the force detected by the detection means at a moving speed based on the magnitude of the force, and a predetermined display displayed by the display means. And vibration control means for controlling the vibration generating means so that the vibration accompanying the movement of the image is generated by the vibration generating means.
[0007]
The vibration generating means may be composed of a plurality of vibration elements, and the vibration control means may vibrate the plurality of vibration elements independently.
[0008]
An audio output unit that outputs audio and an audio control unit that controls the audio output unit so as to output audio accompanying movement of a predetermined image displayed by the display unit can be further included.
[0009]
The size of the image frame of the display means and the size of the vibration generating means can be configured to be substantially the same.
[0010]
An information processing method according to the present invention is an information processing method for an information processing apparatus including display means for displaying an image, vibration generation means for generating vibration, and detection means for detecting the magnitude and direction of a force applied by a user. A display for controlling the display means so that a predetermined image of the images displayed by the display means moves in the direction of the force detected by the detection means at a moving speed based on the magnitude of the force. It includes a control step and a vibration control step for controlling the vibration generating means so that the vibration accompanying the movement of the predetermined image displayed by the display means is generated by the vibration generating means.
[0011]
The recording medium program of the present invention is a program for an information processing apparatus including display means for displaying an image, vibration generation means for generating vibration, and detection means for detecting the magnitude and direction of a force applied by a user. Display control for controlling the display means so that a predetermined image of the images displayed by the display means moves in the direction of the force detected by the detection means at a moving speed based on the magnitude of the force. And a vibration control step for controlling the vibration generating means so that the vibration accompanying the movement of the predetermined image displayed by the display means is generated by the vibration generating means.
[0012]
The program of the present invention is a computer that controls an information processing apparatus including display means for displaying an image, vibration generation means for generating vibration, and detection means for detecting the magnitude and direction of a force applied by a user. A display control step for controlling the display means so that a predetermined image of the images displayed by the display means moves in the direction of the force detected by the detection means at a moving speed based on the magnitude of the force; A vibration control step for controlling the vibration generating means is executed so that the vibration accompanying the movement of the predetermined image displayed by the display means is generated by the vibration generating means.
[0013]
In the information processing apparatus and method and the program according to the present invention, vibration corresponding to the displayed image is generated. The image is switched by the force applied by the user, and when the image is switched, vibration is generated in a manner that represents a change in the image.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a configuration of an embodiment of a system including an information processing apparatus of the present invention. A PC (personal computer) 1 and an information processing apparatus 2 are connected by a cord 3. As will be described later, the information processing apparatus 2 has a function of displaying an image and a function of providing a user with vibrations suitable for the image. The information processing apparatus 2 is configured in a shape that can be supported by a user with both hands (one hand).
[0015]
Image data displayed on the image processing apparatus 2 is transmitted from the PC 1 via the code 3. The code 3 is wired, but data may be exchanged wirelessly instead of the wired code 3.
[0016]
FIG. 2 is a diagram illustrating an internal configuration example of the PC 1. A CPU (Central Processing Unit) 11 of the PC 1 executes various processes according to a program stored in a ROM (Read Only Memory) 12. A RAM (Random Access Memory) 13 appropriately stores data and programs necessary for the CPU 11 to execute various processes. The input / output interface 15 is connected to an input unit 16 including a keyboard and a mouse, and outputs a signal input to the input unit 16 to the CPU 11. The input / output interface 15 is also connected to an output unit 17 including a display and a speaker.
[0017]
The input / output interface 15 is also connected to a storage unit 18 composed of a hard disk and a communication unit 19 that exchanges data with other devices via a network such as the Internet. The drive 20 is used when reading data from or writing data to a recording medium such as the magnetic disk 31, the optical disk 32, the magneto-optical disk 33, and the semiconductor memory 34.
[0018]
For example, the cord 3 may be connected to the input / output interface 15 or may be connected via the communication unit 19. In the present embodiment, the information processing apparatus 2 is used as the output unit 17.
[0019]
FIG. 3 is a diagram illustrating a configuration example of the appearance of the information processing apparatus 2. In the information processing apparatus 2, a display unit 51 that displays an image based on data supplied from the PC 1 is provided in the upper part (upper side in the drawing). A vibration part 52 having a function of providing vibration to the user is provided in the lower part. A code 3 is provided on the side surface of the information processing apparatus 2.
[0020]
FIG. 4 is a diagram illustrating an internal configuration example corresponding to the information processing apparatus 2 illustrated in FIG. 3. Data output from the PC 1 is input to the input unit 61 of the information processing apparatus 2 via the code 3. Data input by the input unit 61 is supplied to the control unit 62. When the supplied data is image data, the control unit 62 supplies the data to the display control unit 63. The display control unit 63 controls the display unit 51 based on the supplied data, and displays an image based on the supplied data.
[0021]
Data relating to the force applied to the information processing device 2 detected by the force detector 64 and converted from analog data to digital data by the A / D (Analog / Digital) converter 65 is also supplied to the controller 62. The The control part 62 controls the vibration part 52 based on the data regarding the supplied force, and supplies a vibration with respect to a user.
[0022]
When the information processing apparatus 2 is configured as shown in FIG. 3 and FIG. 4, image data is supplied from the PC 1 side, so that various images can be provided to the user. If processing is performed on the PC 1 side, processing performed on the information processing device 2 side can be reduced.
[0023]
However, the information processing apparatus 2 is configured in a shape that can be supported by the user with both hands (one hand). In other words, the information processing apparatus 2 is configured so that the user can hold the information processing apparatus 2. If the PC 1 is connected to the PC 1, there is a problem that the user cannot freely move around due to the limitation of the length of the cord 3, even though it is configured to be held by the user. That is, the user's degree of freedom is deprived, and the effect provided by the information processing apparatus 2 cannot be enjoyed unless the PC 1 is present.
[0024]
Therefore, in order to increase the degree of freedom, the information processing apparatus 2 can be configured as shown in FIG. In the configuration illustrated in FIG. 5, the code 3 is removed from the side surface of the information processing apparatus 2. In this configuration, a slot 53 is provided to exchange data with the outside. For example, a recording medium such as a Memory Stick (trademark) is inserted into the slot 53, and data is read from the inserted recording medium.
[0025]
Of course, a structure in which the slot 53 is not provided, or another structure in addition to the slot 53 may be provided. When the structure is not provided, for example, a function that can exchange data with other devices wirelessly may be provided, or a function that connects to a network such as the Internet may be provided so that data can be exchanged via the network. A function may be provided. The exchange of data performed via a recording medium or a network is exchange of image data to be displayed on the display unit 51, an update program, or the like.
[0026]
FIG. 6 shows an example of the internal configuration of the information processing apparatus 2 configured as shown in FIG. 6 is a cross-sectional view of the information processing apparatus 2 shown in FIG. A display unit 51 is provided on the upper surface of the information processing apparatus 2. The display unit 51 includes an LCD (Liquid Crystal Display) or the like.
[0027]
In the drawing, a force detection unit 64 is provided on the left side. The force detection unit 64 is provided to detect a force applied to the information processing apparatus 2, and includes, for example, a gyro sensor or an acceleration sensor. A force detector 64 composed of a gyro sensor or an acceleration sensor detects the direction and magnitude of the applied force.
[0028]
Here, the force applied to the information processing device 2 means a force that changes the posture of the information processing device 2. The change in the posture of the information processing device 2 is, for example, a case where the posture is tilted from a state where the information processing device 2 is kept horizontal, and the force applied to make such a tilted state. Is detected by the force detection unit 64.
[0029]
In FIG. 6, a speaker 71 is provided on the right side. The speaker 71 is provided for outputting sound. A vibration unit 52 is provided below the information processing apparatus 2. Although not shown in FIG. 6, a CPU that constitutes the control unit 62 and the like are also provided in the information processing apparatus 2.
[0030]
FIG. 7 is a diagram illustrating a configuration example of the appearance of the vibration unit 52, and is a diagram when the information processing apparatus 2 is viewed from below. In the example illustrated in FIG. 7, the vibration unit 52 includes eight vibration elements 101-1 to 101-8 (hereinafter, when it is not necessary to individually distinguish the vibration elements 101-1 to 101-8, the vibration unit 52 is simply a vibration element. 101). Each vibration element 101 is configured in a substantially rectangular shape, and is configured so that the rectangle vibrates.
[0031]
Here, it is assumed that the vibration unit 52 includes eight vibration elements 101 and each vibration element 101 has a substantially rectangular shape. However, a number of vibration elements 101 other than eight are included in the vibration unit 52. The shape of each vibration element 101 may be other than a substantially rectangular shape, for example, a circle or the like.
[0032]
The vibration elements 101-1 to 101-8 can vibrate separately (vibrate independently). For example, only the vibration element 101-1 vibrates, and the vibration elements 101-1 to 1-8 vibrate. It is configured to give more realistic vibration to the user, such as all vibrating. Further, the intensity of vibration generated by each vibration element 101 can be controlled.
[0033]
For example, as shown in FIG. 8, each vibration element 101 includes a motor and a weight. An eccentric weight (eccentric cam) is attached to the rotating shaft of the motor. By rotating the weight, a substantially rectangular plate-like member forming the vibration element 101 as shown in FIG. It is configured to vibrate.
[0034]
FIG. 9 is a diagram conceptually showing the positional relationship between the display unit 51 and the vibration unit 52. As shown in FIG. 7, each vibration element 101 of the vibration unit 52 is arranged so as to be substantially circular. However, the size of the substantially circular shape and the size of the rectangular shape of the display unit 51 (the image frame) (Size) is configured to be substantially the same.
[0035]
This is because the image displayed on the display unit 51 is, for example, a ball, and the vibrating element 101-1 vibrates when the ball collides with the center position above the display unit 51. By doing so, it is possible to give the user a pseudo experience as if the ball really collided with the center position above the display unit 51 to generate vibration.
[0036]
By giving the display unit 51 and the vibration unit 52 such a positional relationship, a collision visually obtained from an image (video) displayed on the display unit 51 is more realistic than visual. In addition, it can be given to the user as a tactile vibration.
[0037]
FIG. 10 is a diagram illustrating an internal configuration example of the information processing apparatus 2 illustrated in FIG. 5, that is, not including the code 3. Compared with the information processing apparatus 2 shown in FIG. 10 and the information processing apparatus 2 shown in FIG. 4, the information processing apparatus 2 shown in FIG. And a slot 53, a ROM (Read Only Memory) 81, and a RAM (Random Access Memory) 82 are added.
[0038]
The ROM 81 stores programs and data required for the control unit 62 to control each unit in the information processing apparatus 2. Programs and data necessary for the control unit 62 to control each unit are loaded into the RAM 82 as necessary. A recording medium is inserted into the slot 53, and data read from the recording medium is supplied to the control unit 62.
[0039]
For example, the image data to be displayed on the display unit 51 is stored in the ROM 81, and the image data is read by the control unit 62 and controlled by the display control unit 63, whereby an image based on the image data is stored. Is displayed on the display unit 15. For example, an image as shown in FIG. 11 is displayed on the display unit 51.
[0040]
The image displayed on the display unit 51 shown in FIG. 11 is a state in which a goldfish swimming is seen from above. The user can treat the information processing apparatus 2 as a water tank in which goldfish are swimming, and can make such a simulated experience. As shown in FIG. 12, the user holds the information processing apparatus 2 so as to be supported by both hands (may be one hand). By holding in this way, the user can feel as if he has a water tank, and can also feel that he is looking at a goldfish swimming in the water tank.
[0041]
When such a screen is displayed on the information processing apparatus 2, a change in the display screen when the information processing apparatus 2 is tilted will be described. In the following description, for convenience of explanation, only goldfish is shown in the figure, and the background is not described. In the following description, the positional relationship between the display unit 51 and the vibration element 101 is as shown in FIG. 9, and the direction in which the vibration element 101-1 is located is defined as the upward direction. The direction in which is located is described as downward.
[0042]
As shown in FIG. 12, from the state in which the goldfish is located on the user side (the vibration element 101-5, ie, the state in which the goldfish is located in the downward direction), as shown in FIG. Is tilted forward with respect to the user, the goldfish also moves forward (vibrating element 101-1, that is, upward) in accordance with the tilt.
[0043]
Such a change in the display screen will be described again with reference to FIG. 14. From the state where the goldfish displayed on the display unit 51 is located on the lower side in the drawing to the state located on the upper side in the drawing. That is, the display that the goldfish swims and moves in the direction of the arrow is performed in response to the user tilting the information processing apparatus 2 forward. In addition, the arrow in a figure is attached | subjected for description and is not necessarily displayed on the display part 51. FIG.
[0044]
Thus, when the goldfish swims and moves from the lower side to the upper side in the figure, the moving speed depends on how the information processing apparatus 2 is tilted by the user. That is, when the user tilts the information processing device 2 at a steep angle, the goldfish swims and moves quickly from the lower side to the upper side, and conversely, when the user tilts the information processing device 2 at a gentle angle. The goldfish slowly swims from the bottom to the top.
[0045]
Although not shown, for example, when the user tilts the information processing device 2 to the right, the goldfish swims and moves to the right, and when the user tilts to the left, the goldfish swims to the left. Moving.
[0046]
Thus, the goldfish is set to swim in the direction in which the user tilts the information processing apparatus 2. In other words, the user can feel as if the user is operating a goldfish. You can feel a sense of unity with the goldfish.
[0047]
When the display is controlled in this way, the vibration is also controlled in accordance with the display control. As shown in FIG. 14, in other words, the goldfish moves from the lower side to the upper side in the figure, the goldfish has moved from the vibrating element 101-5 toward the vibrating element 101-1.
[0048]
In order to make the user feel this not only as a visual image but also as a tactile vibration, when the goldfish moves from the lower side to the upper side in the figure, the vibrating element 101-5 and the vibrating element 101-1 are moved. Vibrate according to the position where is displayed. That is, when the goldfish is swimming in the lower side in the figure, the vibration element 101-5 is vibrated, and when the goldfish is swimming in the upper side in the figure, the vibration element 101-1 is controlled to vibrate. The
[0049]
Further, the magnitude of vibration provided to the user by the vibration element 101-1 or the vibration element 101-5 is controlled according to the moving speed of the goldfish. That is, when the goldfish moves quickly, the vibration is controlled to increase, and when it moves slowly, the vibration is controlled to decrease.
[0050]
Thus, by providing not only an image but also vibration corresponding to the image to the user, the user has a living goldfish as if it exists in the information processing apparatus 2, and the goldfish is his own will ( The feeling of moving in response to (instruction) can be obtained.
[0051]
The operation of the information processing apparatus 2 that provides such images and vibrations will be described with reference to the flowchart of FIG. In step S <b> 11, the force detection unit 64 determines whether a force applied to the information processing device 2 has been detected. The force detection by the force detection unit 64 is performed when the information processing apparatus 2 is turned on and an image as shown in FIG. 11 is displayed, for example.
[0052]
If no force is detected by the force detector 64, the state of step S11 is repeated (the standby state is maintained), and if a force is detected by the force detector 64, the process proceeds to step S12. In step S12, the direction and magnitude of the detected force are determined. For example, when an acceleration sensor is used as the force detection unit 64, the direction and size are determined based on the acceleration detected by the acceleration sensor.
[0053]
If the acceleration sensor is provided so that the acceleration is detected in the three directions of the vertical direction, the horizontal direction, and the height direction, the acceleration in each of the three directions can be detected. Further, the magnitude of the applied force can be obtained from the magnitude of the acceleration.
[0054]
When the direction and magnitude of the applied force are determined in step S12, in step S13, the moving speed when the object (in this case, a goldfish) displayed on the display unit 51 moves is determined. This is determined, for example, by storing a table in which the magnitude of the force detected by the force detection unit 64 is associated with the moving speed in the ROM 81 and referring to the table.
[0055]
When the moving speed is determined, the direction and magnitude of vibration are determined in step S14. The direction of vibration is determined so as to correspond to the direction of the force detected by the force detector 64. The magnitude of the vibration is determined by referring to a table in which the magnitude of the force detected by the force detection unit 64 and the magnitude of the vibration are stored in advance in the ROM 81 as in the determination of the moving speed. The
[0056]
Here, the table stored in the ROM 81 is referred to determine the moving speed and the magnitude of vibration, but may be calculated using a predetermined arithmetic expression. For example, the moving speed and the magnitude of vibration may be calculated by multiplying a predetermined coefficient by the magnitude of the detected force.
[0057]
Display control and vibration control are performed based on the moving speed and the direction and magnitude of vibration determined in this way. In step S15, the display is controlled. The display is controlled such that the goldfish moves in the direction determined in step S12 at the moving speed determined in step S13. Such control is performed when an instruction is issued from the control unit 62 to the display control unit 63.
[0058]
While such display control is performed, the control unit 62 also instructs the vibration unit 52 to control vibration. In step S16, the vibration is controlled. First, the control unit 62 determines the vibration element 101 to be vibrated according to the direction determined in step S14. In other words, the vibration element 101 to be vibrated is determined in order to transmit the goldfish from the movement source to the movement destination to the user most efficiently and more realistically.
[0059]
Also, an instruction is given as to what size the vibrating element 101 should vibrate. The instruction is instructed based on the magnitude of vibration determined in step S14, and an instruction on how long to vibrate is also issued. The magnitude of the vibration is controlled by changing the rotation speed of the motor as the vibration element 101.
[0060]
In this way, any one of the vibrating elements 101-1 to 101-8 is vibrated for the determined time with the determined size.
[0061]
In this manner, the user is provided with an image based on the user's instruction and vibration corresponding to the image.
[0062]
In the above-described embodiment, the goldfish is moved according to the user's instruction. However, in addition to the user's instruction, the goldfish may have a function of moving independently. Of course, although described as being voluntary, the operation is controlled in advance by a program or the like. When the goldfish moves voluntarily, a vibration in accordance with the movement may be provided to the user. Further, regarding the movement, when the goldfish suddenly changes its direction, it may be vibrated strongly.
[0063]
The vibration is not only accompanied by the movement of the goldfish, but also, for example, when the goldfish collides with the image frame of the display unit 51, the vibration may be provided to the user in order to express that fact. .
[0064]
Moreover, in embodiment mentioned above, although the case where there was one goldfish was described as an example, it is needless to say that a plurality of goldfish may be swimming. In such a case, vibration may be provided to the user according to the position of each goldfish. In addition, when two goldfishes are located in the vicinity, it is possible to appropriately provide a mechanism that allows the user to experience more realistically, for example, the vibrating element 101 corresponding to the position vibrates vigorously.
[0065]
The vibration element 101 is not driven by only one vibration element 101, but may be driven by only one vibration element 101 or a plurality of vibration elements 101 may be driven simultaneously. In order to provide vibration to the user in a more realistic manner, the number of the vibration elements 101 to be driven is appropriately driven as many as it seems to be most effective.
[0066]
In the embodiment described above, water bubbles may be displayed in addition to the goldfish. Moreover, you may make it provide the vibration according to the water bubble to a user.
[0067]
As described above, the image and vibration provided to the user are not limited to one, and various forms are possible, and the present invention can be applied to these various forms.
[0068]
FIG. 16 shows another display example. In the display example shown in FIG. 16, a ball 111 is displayed and a plurality of walls 112 are displayed. In this example, the image is such that the ball 111 rolls in the maze. In this example, the ball 111 moves in a direction in which the user tilts the information processing apparatus 2, and when the ball 111 collides with the wall 112, vibration due to the collision is provided to the user.
[0069]
Similarly to the goldfish example described above, when the ball 111 moves, vibration is provided to the user in accordance with the movement. Further, the moving speed of the ball 111 depends on how much the user tilts the information processing apparatus 2 as in the goldfish example.
[0070]
When such a ball 111 rolls in the maze, the information processing apparatus 2 performs processing according to the flowchart shown in FIG. When the force applied to the information processing apparatus 2 is detected by the force detection unit 64 in step S21, the direction and magnitude of the applied force are determined in step S22. The processes in steps S21 and S22 are basically the same as the processes in steps S11 and S12 in the flowchart of FIG.
[0071]
In step S23, it is determined whether or not the ball 111 collides with the wall 112. In this determination, it is determined whether or not the wall 112 exists in the direction determined in step S22. If it is determined that the wall 112 exists, the ball 111 is moved based on the determined magnitude of the force. When the ball 111 is moved, it is determined whether or not the ball 111 collides with the wall 112, in other words, based on the determined magnitude of the force, whether or not the ball 111 stops before the wall 112 is determined. Is done.
[0072]
Such a determination is made by referring to the data of the coordinates of the wall 112 stored in advance in the ROM 81 (recording medium inserted in the slot 53). If it is determined in step S23 that the ball 111 does not collide with the wall 112, the process proceeds to step S24. If it is determined that the ball 111 collides, the process proceeds to step S28.
[0073]
The processes in steps S24 to S27 are substantially the same as steps S13 to S16 in the flowchart of FIG. On the other hand, the processing after step S28 is basically the same processing as steps S13 to S16 in the flowchart of FIG. 15, but processing in consideration of the collision is performed.
[0074]
In step S28, the moving speed is determined, and it is also determined how long it takes to hit the wall 112 when moving at the determined speed. Further, when a process such as the ball 111 rebounding when it collides with the wall 112 is performed, a determination is made as to how much the ball 111 rebounds.
[0075]
In step S14, the direction and magnitude of the vibration of the vibration element 101 are determined. The magnitude of the vibration is when the ball 111 is rolling and when the ball 111 collides with the wall 112 at the point of rolling. The magnitude of vibration is determined.
[0076]
Based on such determination, display control is performed in step S30, and vibration control is performed in step S31.
[0077]
Thus, in the information processing apparatus 2 to which the present invention is applied, the force applied by the user is detected, the image changes according to the force, and the vibration is provided to the user according to the change in the image. The The user can obtain a more realistic sensation because the supplied image and vibration are linked. Since the vibration also corresponds to the position of the vibration in the image, a more realistic sensation can be given to the user.
[0078]
In the above-described embodiment, the force detection unit 64 that detects the force applied by the user to the information processing apparatus 2 has been described as an example. However, other information is detected and processing according to the information is performed. It may be executed. Other information to be detected is, for example, the user, the ambient temperature, the user's heart rate, and the like. Such information may also be used to perform processing such as changing the image or providing vibration.
[0079]
In the embodiment described above, the sound is not described. For example, in the case of the goldfish, the sound of the goldfish swimming may be output from the speaker 71 (FIG. 6). In the case of the example of the ball 111, a sound that the ball 111 rolls or a sound that collides with the wall 112 may be output from the speaker 71. The sound when the ball 111 rolls may be controlled in intensity by the rolling speed.
[0080]
The series of processes described above can be executed by hardware having respective functions, but can also be executed by software. When a series of processing is executed by software, various functions can be executed by installing a computer in which the programs that make up the software are installed in dedicated hardware, or by installing various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0081]
As shown in FIG. 2, the recording medium is distributed to provide a program to the user separately from the PC 1, and a magnetic disk 31 (including a flexible disk) on which the program is recorded, an optical disk 32 (CD-ROM). (Including Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), magneto-optical disk 33 (including MD (Mini-Disc) (registered trademark)), or semiconductor memory 34, etc. In addition, it is configured by a hard disk including a ROM 12 storing a program and a storage unit 18 provided to a user in a state of being pre-installed in a computer.
[0082]
In this specification, the steps for describing the program provided by the medium are performed in parallel or individually in accordance with the described order, as well as the processing performed in time series, not necessarily in time series. The process to be executed is also included.
[0083]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0084]
【The invention's effect】
As described above, according to the information processing apparatus and method and the program of the present invention, vibration corresponding to the displayed image is generated, so that a more realistic sensation can be given to the user.
[0085]
Further, the displayed image is switched according to the user's instruction, and vibration is generated in accordance with the switching, so that a more realistic sensation can be given to the user.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an embodiment of an information processing system to which the present invention is applied.
FIG. 2 is a diagram illustrating an internal configuration example of a PC 1;
FIG. 3 is a diagram illustrating an example of an external configuration of the information processing apparatus 2;
4 is a diagram illustrating an internal configuration example of the information processing apparatus 2 illustrated in FIG. 3;
FIG. 5 is a diagram showing another configuration example of the external appearance of the information processing apparatus 2;
6 is a diagram showing a cross-sectional view of the information processing apparatus 2 shown in FIG.
7 is a diagram illustrating a configuration example of an appearance of a vibration unit 52. FIG.
FIG. 8 is a diagram illustrating an internal configuration example of a vibration unit 52;
9 is a diagram illustrating a positional relationship between the display unit 51 and the vibration unit 52. FIG.
10 is a diagram illustrating an internal configuration example of the information processing apparatus 2 illustrated in FIG. 5;
11 is a photograph of a halftone image displayed on the display unit 51. FIG.
FIG. 12 is a diagram for explaining a force applied to the information processing apparatus 2;
FIG. 13 is a diagram for explaining a force applied to the information processing apparatus 2;
14 is a diagram for explaining the movement of a goldfish displayed on the display unit 51. FIG.
15 is a flowchart for explaining the operation of the information processing apparatus 2. FIG.
16 is a photograph of a halftone image displayed on the display unit 51. FIG.
17 is a flowchart for explaining another operation of the information processing apparatus 2. FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 PC, 2 Information processing apparatus, 51 Display part, 52 Vibration part, 61 Input part, 62 Control part, 63 Display control part, 64 Force detection part, 65 A / D conversion part, 71 Speaker, 101 Vibration element

Claims

Display means for displaying an image;
Vibration generating means for generating vibration;
Detection means for detecting the magnitude and direction of the force applied by the user;
The display means is controlled so that a predetermined image of the images displayed by the display means moves in the direction of the force detected by the detection means at a moving speed based on the magnitude of the force. Display control means for
An information processing apparatus comprising: vibration control means for controlling the vibration generating means so that vibration accompanying movement of the predetermined image displayed by the display means is generated by the vibration generating means. .

The information processing apparatus according to claim 1, wherein the vibration generating unit includes a plurality of vibration elements, and the vibration control unit vibrates each of the plurality of vibration elements independently.

Audio output means for outputting audio;
The information processing according to claim 1, further comprising: an audio control unit that controls the audio output unit so that an audio accompanying the movement of the predetermined image displayed by the display unit is output. apparatus.

The information processing apparatus according to claim 1, wherein a size of the image frame of the display unit and a size of the vibration generation unit are substantially the same.

Display means for displaying an image;
Vibration generating means for generating vibration;
In an information processing method of an information processing apparatus including a detection means for detecting the magnitude and direction of a force applied by a user,
The display means is controlled so that a predetermined image of the images displayed by the display means moves in the direction of the force detected by the detection means at a moving speed based on the magnitude of the force. Display control step to
A vibration control step of controlling the vibration generating means so that vibration accompanying the movement of the predetermined image displayed by the display means is generated by the vibration generating means. .

Display means for displaying an image;
Vibration generating means for generating vibration;
A program for an information processing apparatus including a detecting means for detecting the magnitude and direction of a force applied by a user,
The display means is controlled so that a predetermined image of the images displayed by the display means moves in the direction of the force detected by the detection means at a moving speed based on the magnitude of the force. Display control step to
And a vibration control step for controlling the vibration generating means so that the vibration accompanying the movement of the predetermined image displayed by the display means is generated by the vibration generating means. A recording medium on which possible programs are recorded.

Display means for displaying an image;
Vibration generating means for generating vibration;
A computer for controlling an information processing apparatus including a detecting means for detecting the magnitude and direction of a force applied by a user;
The display means is controlled so that a predetermined image of the images displayed by the display means moves in the direction of the force detected by the detection means at a moving speed based on the magnitude of the force. Display control step to
A program for executing a vibration control step for controlling the vibration generating means so that the vibration accompanying the movement of the predetermined image displayed by the display means is generated by the vibration generating means.