本発明に係る入力装置は、自装置の筐体の動きまたは姿勢と、筐体に加えられた外力の方向との組み合わせに応じた操作指示(指示情報)を決定する。このように構成することにより、ユーザは、入力装置の筐体が動いているとき、あるいは姿勢を変化させたときに、筐体の動きや姿勢に応じた操作を受け付けることにより、操作指示の入力を行うことができる。
以下では、本発明に係る入力装置を適用した表示装置1を例に挙げて説明するが、これに限定されない。すなわち、表示部32は、本発明に係る入力装置の必須の構成ではない。例えば、本発明に係る入力装置は、操作指示を外部機器に送信するマウス、タッチパッド、各種機器(テレビ、空気調和機など)のリモートコントローラ、およびゲーム機のコントローラなどに適用することができる。あるいは、マイク(音声入力装置)、スピーカ(音声出力装置)、照明装置、投影装置、ロボット装置、自走式掃除機などの機器に適用することも可能である。
以下、本発明の実施の形態について、図1〜21を参照しながら、詳細に説明する。
〔実施形態1〕
(表示装置1の外観)
まず、表示装置1の外観について図2を用いて説明する。図2は、表示装置1の外観の一例を示す図である。図2の(a)および(b)に示す表示装置1は、球状の筐体3に表示部32が設けられた構成である。より詳細には、筐体3は、一部が欠けた球状であり、この欠けた部分の断面に表示部32の表示面が位置している。すなわち、筐体3は、球体の一部を、当該球体を横切る平面によって切り取った形状であり、その断面に表示部32の円形の表示面が配されている。表現を変えれば、球体の一部を平面で切り取った形状の筐体3の、切り取られた円形の切断面が表示部32の表示面である。さらに表現を変えれば、筐体3は、球体を割平面で分割して得られる立体(球欠)であり、割平面の部分が表示部32の表示面となっている。なお、図示の表示面は平面であるが、表示面は曲面であってもよい。また表示面の形状は円形に限定されず、長方形などの多角形、楕円形などであってもよい。
表示装置1は、筐体3の球状の外縁部に沿って転がって移動したり、筐体を回転させて姿勢を変更したりすることが可能である。詳細は後述するが、表示装置1は、この筐体3の形状を利用して、転がったり滑ったりすることにより移動することができる。すなわち、表示装置1は、自装置を移動させたり姿勢を変更させたりすることによって、表示部32の表示面の向きおよび姿勢を変更することができる。また、表示装置1は、表示面が所望の方向を向く姿勢となったときに、その姿勢で動きを止めて、所望の姿勢をとることもできる。
表示装置1の電源が切られている場合など、表示装置1に映像を表示させていない場合には、表示装置1の姿勢は、表示部32の表示面が任意の方向を向いている。一方、表示装置1に映像を表示しているときには、図2の(a)および(b)に示すように、表示部32の表示面が所定の方向を向くような姿勢(以下では、この状態を基準姿勢と呼ぶ)となってもよい。すなわち、表示装置1は、起動してから映像の表示を開始するまでの間に、筐体3の姿勢を変更して基準姿勢となる。これにより、表示部32に表示する映像が見やすいように表示面をユーザに向けることができる。なお、表示装置1は、撮像部(図示せず)と画像解析部(図示せず)とを備え、撮像部が周囲を撮像した画像を画像解析部が解析し、ユーザ(ユーザの顔など)が撮像された方向に表示面を向ける姿勢を基準姿勢とする構成であってもよい。表示部32の上下方向(表示する映像の上下方向)が予め設定されている場合には、基準姿勢において表示部32の上端が最も上側に来るように筐体3を回転させればよい。
表示装置1は、映像を表示部32に表示した状態のまま、移動してもよいし表示面の向きを変更してもよい。例えば、表示部32に映像を表示したまま筐体3を動かすことが可能であり、筐体3が動いて表示面の方向を上下および左右に揺動させたり、筐体3が回転して表示面の向きを変更せずに上下を反転させたりすることもできる。また、表示部32に表示する映像の上下方向などを表示制御部(図示せず)により変更できる場合には、筐体3を基準姿勢とした後で映像の表示方向を調整してもよい。なお、表示制御部は、表示装置1の筐体3が回転して、表示部32の表示面が時計回り(あるいは反時計回り)に回転している場合であっても、筐体3の動きに追従して映像の表示方向を制御する構成であってもよい。これにより、表示装置1が回転している場合にも、ユーザに対して回転していない映像を提示することができる。
(表示装置1の内部構成)
次に、表示装置1の内部構成について図1を用いて説明する。図1は、本発明の実施形態1に係る表示装置1の要部構成の一例を示すブロック図である。表示装置1は、制御部10、記憶部20、出力部30、およびセンサ部40を備えている。なお、図1には図示していないが、撮像部(デジタルカメラまたはデジタルビデオ)、音声入力部(マイク)、通信部(図示せず)などを備える構成であってもよい。例えば、通信部を備えることにより、インターネットなどのネットワークを介して配信されるアプリケーションプログラム、映像データ、および音声データなどを受信したり、他の装置によって撮像された映像データなどを受信したりすることができる。さらに、表示装置1が撮像部を備えることにより、他のユーザとのテレビ電話の端末およびモニタとして利用することが可能となる。
出力部30は、動作機構31、表示部32、および音声出力部33を備えている。出力部30の各部は制御部10からの制御指示に従って動作する。
記憶部20は、制御部10が実行する各種アプリケーションプログラム、OSプログラム、制御プログラム、およびこれらプログラムを実行する場合に読み出されて利用される各種データ(設定値、テーブルなど)を記憶する記憶領域である。記憶部20には、表示装置1の筐体3の動きまたは姿勢と、筐体3に加えられた外力の方向との組み合わせに対応する、表示装置1への操作指示を規定する操作指示ルール21が格納されている。なお、操作指示ルール21は、表示装置1の筐体3の動きまたは姿勢と、筐体3に加えられた外力による操作と、表示部32に表示されている映像中の所定のオブジェクト(顔の表情など)との組み合わせに対応する、表示装置1への操作指示を規定していてもよい。また、記憶部20には、アプリケーションプログラムとしては、表示部32に表示する映像を管理する映像管理アプリケーション(図示せず)、および筐体3の動きまたは姿勢を制御するアプリケーション(図示せず)などが格納されていてもよい。操作指示ルール21については具体例を挙げて後に説明する。
制御部10は、動作データ生成部11、モータ制御部12、外力検出部13(動き特定部)、および操作指示決定部14(指示決定部)を備えている。なお、説明を簡略化するために、表示部32を制御する表示制御部、音声出力部33から出力する音声を制御する音声制御部などはその図示を省略している。
動作データ生成部11は、動作機構31を駆動させることにより筐体3の動きおよび姿勢の少なくともいずれか一方を制御するための動作データを生成する。図示では、動作データ生成部11が、センサ部40から取得した、ユーザの位置など周囲の状態を示すセンサ情報に基づいて動作データを生成する構成を例示している。すなわち、動作データとは筐体3の動きを制御するためのデータである。動作データ生成部11は、後述するように、表示部32に表示する映像を解析して、当該映像に応じた動作データを生成してもよいし、他の装置から受信した動作データを用いてもよい。
モータ制御部12は、動作データ生成部11から取得した動作データに従って、動作機構31を駆動させる。表示装置1が備える動作機構31については、後に説明する。
外力検出部13は、動作データ生成部11から、筐体3の動きまたは姿勢を制御するための動作データ(状態情報)を取得すると共に、センサ部40(例えば、ジャイロセンサ41)から検出結果を取得して、筐体3の動きまたは姿勢を特定する。外力検出部13は、動作データが示す筐体3の動きまたは姿勢と、ジャイロセンサ41の検出結果とのずれに基づいて、筐体3に加えられた外力を検出する。なお、外力検出部13が検出する外力は、筐体3の動きまたは姿勢を変化させる外力であってもよい。外力検出部13は、外力の有無に加え、当該外力の方向を検出してもよい。なお、表示装置1が筐体3に生じた加速度を検知する加速度センサ(図示せず)をさらに備え、筐体3に加えられた外力によって生じた筐体3の加速度変化に基づいて、外力を検出してもよい。なお、外力検出部13が、ジャイロセンサ41によって測定された筐体3の傾き(角度、姿勢情報)を用いて、筐体3に加えられた外力の方向を検出する仕組みについては、後に具体例を挙げて説明する。
操作指示決定部14は、外力検出部13から、筐体3の動きまたは姿勢と、筐体3に加えられた外力の方向(あるいは外力の有無)とに関する情報を取得する。操作指示決定部14は、筐体3に加えられた外力による操作が検出された場合、当該操作と筐体3の動きや姿勢との組み合せに対応する操作指示を、操作指示ルール21を参照して決定する。
このように、表示装置1は、筐体3に対して外力が加えられたことに基づいて、各種の動作を指示する操作指示の入力を受け付けることができる。よって、ユーザは、入力装置の筐体の動きまたは姿勢に適した操作によって指示情報の入力を行うことができる。
表示装置1は、ユーザからの操作を受け付けるときに表示装置1の筐体3が動いていたり、姿勢が変更していたりすることが考えられる。このような表示装置1において、ユーザは筐体3上の所定の位置に対して正確に操作することは困難である。上記のように構成することによって、ユーザは、簡単で直観的な操作に基づく操作指示を表示装置1に対して入力することができる。
(動作機構)
続いて、表示装置1が動いたり姿勢を変更したりための動作機構について、図3に基づいて説明する。図3は、表示装置1の備える動作機構31を説明する図である。図3の(a)および(b)は、表示部32の表示面に垂直で筐体3の中心(球面の一部である筐体3の表面からの距離が等しい点)を通る平面における表示装置1の断面を示す図であり、図3の(c)は動作機構31の構成を示す斜視図である。なお、図3では図示を省略しているが、筐体3の内部には、動作機構31以外にも該動作機構31を動作させる電源、映像を表示部32に表示するための構成などが含まれている。また、図3の(c)に破線で示す構成要素は、筐体3の内部(筐体3の内側)に収容されている構成要素である。
図3の(a)〜(c)に示すように、表示装置1の筐体3の内部には、動作機構31、制御部10、および筐体3の傾き具合を検知するジャイロセンサ41が設けられている。そして、動作機構31には、軸311、モータ312、支柱313、重り314、ガイドレール315が含まれている。また、以下では、表示部32の表示面に垂直な軸をZ軸、紙面に垂直な軸をX軸、Z軸およびX軸に垂直な軸(図3(a)〜(c)の状態における軸311と平行な軸)をY軸として説明を行う。
軸311は、モータ312を支持するものである。軸311は、真っ直ぐな棒状の支持体であり、その長手方向の中央部にモータ312が固定されている。より詳細には、軸311は、筐体3の中心を通るように設けられている。このため、軸311の長さは、球形状である筐体3の直径に等しく、軸311の長手方向の中央部に取り付けられたモータ312の回転軸は、筐体3の中心に位置する。
モータ312は、上述のように、回転軸が筐体3の中心に位置するように軸311に固定されている。モータ312は、例えば、ステッピングモータであってもよい。モータ312は、図示しない電源からの電力の供給を受けて駆動する。また、モータ312の回転軸には、支柱313が取り付けられており、モータ312を駆動することにより、上記回転軸を支点として、支柱313をX軸周りの何れの方向にも回転させることができるようになっている。
支柱313は、重り314を支持する直線状の支持体であり、その一端がモータ312の回転軸に接続されており、他端が重り314に接続されている。支柱313がモータ312によって回動されたときには、同図の(b)に示すように、支柱313に支持される重り314の位置が変化する。そして、これにより表示装置1の重心の位置が変化して、筐体3が接地面に沿って転動し、表示部32の表示面が動く。
重り314は、表示装置1の重心の位置を変化させるための重りである。上述のように、支柱313の一端に接続されており、支柱313の回動に伴って、重り314の筐体3の内部における位置が変化し、これにより表示装置1の重心の位置が変化するようになっている。
ガイドレール315は、軸311をZ軸周りに回転させるためのものであり、表示部32の表示面と平行に、筐体3の内壁に沿って配設されている。ガイドレール315には、軸311の両端部が当該ガイドレール315上を移動可能に接続される。そして、モータ制御部12は、図示しないモータを駆動して、軸311の両端部をガイドレール315上で移動させることにより、軸311を、筐体3の中心を回転軸として、Z軸周りの何れの方向にも回転させることができる。
次に、動作機構31の動作についてより詳細に説明する。同3の(a)に示すように、モータ制御部12は、モータ312を駆動して支柱313をZ軸と並行になるように支持させることにより、重り314を表示部32の表示面の中央部の真下に位置させ、表示部32の表示面を真上に向けさせることができる。
また、図3の(b)に示すように、モータ制御部12は、モータ312を駆動して、Z軸に対してθだけ傾いた状態で支柱313を支持させることもできる。この場合、図3の(a)および(b)に示すように、支柱313の長さをL、重り314の高さをT、重り314の幅をW、球の中心から表示部32の表示面までの距離をKとし、重り314が表示部32の表示面に筐体3の内部側から接する位置まで移動可能であるとすれば、回転角度θは、
θ=arcsin[K−{W/2+(L+T)}]
と表すことができる。
よって、K>W/2とすればθ>90°とすることが可能になる。したがって、筐体3をKが正の値となるような形状(球体を割平面で分割して生じる2つの立体(球欠)のうち、球体の中心を含む側の形状)とし、かつ、K>W/2とすれば、θ>90°の範囲まで支柱313を傾けることができる。表現を変えれば、筐体3の中心を通り表示部32の表示面に平行な面で筐体3を分断して生じる半球と球台のうち、球台の内部に重り314を移動させることができる形状の筐体3および重り314を用いれば、θ>90°の範囲まで支柱313を傾けることができる。
そして、これにより、図3の(b)に示すように、表示部32の表示面が下方を向く(接地面と表示部32の表示面のなす角度が90°未満となる)程度まで、表示部32の表示面を傾けることが可能になる。そして、モータ制御部12は、モータ312を制御することによって、支柱313および重り314に振り子運動させることにより、180°以上の揺れ幅で表示部32の表示面を揺動させることも可能である。これにより、筐体3を上下に揺動させて、表示部32の表示面の向きを上下に変化させることにより、擬人化された「うなずき」や「同意」などを示すジェスチャーなどにより表現することが可能である。また、筐体3を左右に揺動させて、表示部32の表示面の向きを左右に変化させることにより、擬人化された「上機嫌」や「拒否」などを示すジェスチャーなどにより表現することも可能である。このように、表示部32に表示した映像に合わせて筐体3の動きまたは姿勢を制御する例については後に説明する。
また、図3の(c)で説明したように、軸311は、ガイドレール315に沿ってZ軸周りに回転させることが可能である。このため、軸311の回転と、モータ312による支柱313および重り314の移動とを組み合わせることにより、筐体3の内部で筐体3の中心から距離Lの球面上における任意の位置に重り314を移動させることができる。これにより、一方向の揺動および回転のみに限定されない複雑な動きで表示部32の表示面を動かすことが可能になる。
また、図3の例のように、筐体3をKが正の値となるような形状とした場合、筐体3と表示部32の表示面との接続角度αを90°より大きくすることができる。これにより、筐体3と表示部32の表示面との接続部分に対して筐体3の外部から加えられる衝撃や圧力を、筐体3と表示部32の表示面との両方に分散させることが可能になる。例えば、表示装置1を誤って床などに落としてしまった場合などに、当該接続部分が破損するリスクを低減することができる。
なお、Kが正の値である場合、筐体3を表示部32の表示面に垂直な面で切断した断面の形状は、円を割線で分割して得られる2つの図形(欠円)のうち、長い方の弧(優弧)を含む側の形状であるとも言える。
(表示装置1の筐体3の形状について)
次に、表示装置1の筐体の形状について、図4を用いて説明する。図4は、表示装置1の筐体形状のバリエーションを示す図である。図4の(a)〜(c)の表示装置1は、何れも直径Dの球体の一部を切り欠いた球欠状の筐体3を有している点で共通しているが、切り欠きの位置(筐体3の中心から表示部32の表示面までの距離)が相違している。すなわち、図4の(a)の表示装置1は、表示部32の表示面を真上に向けた場合の接地面から表示部32の表示面までの高さがH1であるのに対し、図4の(b)の表示装置1は高さがH2、図4の(c)の表示装置1は高さがH3である点で相違している(H2>H1>H3)。
より詳細には、図4の(c)の表示装置1は、球体を、その中心を通る割平面で切断することで得られる半球状の筐体3を有しており、その高さH3は、球体の半径(D/2)に等しい。また、図4の(a)の表示装置1の高さH1は2D/3に等しく、図4の(b)の表示装置1の高さH2は3D/4に等しい。
表示装置1の高さHは、D>Hの範囲で適宜設定すればよい。ただし、高さHの値によって、表示装置1の外観から受ける印象が変わるので、この点を考慮して高さHを設定することが好ましい。例えば、表示装置1を側面から見た外観としては、図4の(a)の表示装置1は円(球)の一部を切り欠いた形状であると認識される。これに対し、図4の(b)の表示装置1のように、高さがDに近くなると、楕円あるいはゆがんだ円(球)であるかのように認識され得る。
また、高さHの値によって表示部32の表示面のサイズも変わる。例えば、図4の例では、図4の(c)の表示部32の表示面が最も広く、図4の(a)の表示部32の表示面はこれよりも狭く、図4の(b)の表示部32の表示面はさらに狭い。なお、図示していないが、高さHをD/2未満としてもよく、この場合には高さHが小さいほど表示部32の表示面は狭くなる。つまり、表示部32の表示面を広くするという観点からは、高さHをD/2かまたはこれに近い値とすることが好ましい。
さらに、高さHの値によって表示部32の表示面の向きを変更できる範囲、および表示装置1を設置したときの安定性も変わる。これについて、図5に基づいて説明する。図5は、表示装置1の筐体3の形状に応じた動きまたは姿勢の変更を説明する図である。なお、図5の(a)〜(c)には、H>D/2の表示装置1の動きまたは姿勢を示し、図5の(d)〜(f)には、H≦D/2の表示装置1の動きまたは姿勢を示している。
H>D/2の表示装置1の筐体3は、図5の(b)に示すような表示部32の表示面が鉛直方向に向く(接地面に水平な)状態から、図5の(a)に示すような表示部32の表示面が水平方向に向く(接地面に垂直な)状態まで転動可能な形状である。なお、厳密には、図1に基づいて上述したように、H>D/2の条件に加えて、K>W/2の条件を満たす必要がある。このように、H>D/2の表示装置1では、図5の(b)に示す矢印のように180°あるいはそれ以上の大きい揺れ幅で表示部32の表示面を揺動させることができる。
また、図5の(a)の状態から、軸311を回転させることにより、図5の(c)に示すように、表示部32の表示面を接地面に対して垂直に立てた状態で、表示装置1を直線的に移動させることも可能となる。つまり、H>D/2の表示装置1は、筐体3を回転させて転がることにより、移動することが可能である。
一方、H≦D/2の表示装置1は、図5の(d)に示すように、表示部32の表示面が接地面に対して垂直となるまで傾けることは難しい。このため、図5の(e)に示すように、揺れ幅は180°未満となり、図5の(b)の例と比べて小さいものとなる。また、表示部32の表示面と接地面との角度が90°より大きくなるため、表示部32の表示面を最大に傾けた状態で軸311を回転させた場合には、図5の(f)に示すように、接地点の軌跡が円弧状となる。つまり、H≦D/2の表示装置1は、一定範囲内で動くことになる。
なお、Hを大きくする程(HをDに近付ける程)、表示部32の表示面の可動範囲は広がる。また、図1に基づいて上述したように、Hを大きくすることにより、表示部32の表示面と筐体3との接続角度αが大きくなるので、表示装置1の衝撃に対する耐性を高めることができる。ただし、Hを大きくするにつれて表示部32の表示面の面積が狭くなり、また設置したときに転がりやすくなる。以上のことから総合的に考えれば、表示装置1の高さは、図3の(a)の例のように、2D/3とすることが好ましい。なお、高さを2D/3とした場合、筐体3の中心から表示部32の表示面までの距離は、球体の半径(D/2)の1/3となる。
なお、ここでは、球欠形状を有する表示装置1の筐体3について説明したが、表示装置1はこれらの形状に限定されない。表示装置1の筐体の形状のバリエーションについては後に具体例を挙げて説明する(図20参照)。
(映像に応じた筐体3の動かし方)
上述のように、表示装置1は、表示部32に表示した映像に応じて表示装置1の筐体3の動きまたは姿勢を制御する構成であってもよい。筐体3を動かすことにより、表示部32の表示面の向きを変えることができるので、この動きを利用して、表示装置1は表示している映像に加えて、該映像に関連するさまざまな情報をユーザに伝えることができる。表示部32に表示した映像に応じた筐体3の動かし方の一例について、図6を用いて説明する。図6は、映像に応じた筐体3の動かし方の例を示す図である。図6の左側が表示する映像を示し、矢印を挟んだ右側が各映像に応じた表示装置1の筐体3の動きの例を示している。なお、ここに示す動きは一例であり、表示装置1の筐体3の形状や、可能な動きのバリエーションに応じて、他の動きをするように構成されてもよい。
表示装置1は、図6の左側に示すような映像を表示部32に表示しているときに、筐体3を図6の右側に示すように動かすことができる。筐体3の動きに対応した動作データを用いて、動作機構31を動作させることにより、図6に示すような、映像と連動した筐体3の動きが実現される。なお、動作データとは筐体3の動きを示すデータである。表示装置1は、例えば表示する映像を解析する等して生成した動作データを用いてもよいし、センサ部40(図1参照)が取得した、ユーザの位置など周囲の状態を示すセンサ情報に基づいて生成した動作データを用いてもよいし、他の装置から受信した動作データを用いてもよい。
図6の(a)に示すように、表示部32において表示している映像中の人物がうなずいた場合、映像中の人物の頭部の動きを模倣するように(あたかも、表示部32の表示面が表示装置1の顔であるかのように)、筐体3を動かしてもよい。図示の例では、うなずいた人物の頭部の前方に倒れ込む動きに合わせて、表示部32の表示面も前方に倒れ込むように動かしている。映像中の人物がうなずく動作は平面的であるのに対して、このように筐体3を動かして表現することにより、映像よりも強調してうなずきを伝えることができる。
また、図6の(b)に示すように、表示している映像中の人物の表情に応じて表示部32の表示面を動かしてもよい。図示の例では、映像中の人物の表情がほほえみの表情となったときに、表示装置1の筐体3は、真上から見て表示部32の向きが時計回りおよび反時計回りに円運動するように動いている。
この例のように、モータ制御部12(図1参照)は、映像中の人物が所定の表情となったときに、その表情に予め対応付けられた動きで筐体3を動かしてもよい。なお、所定の表情は、ほほえみに限られず、表情に対応付ける動きも特に限定されない。ただし、表情に対応付ける動きは、表情のイメージに合う動きとすることが好ましい。例えば、ほほえみのような穏やかな表情であれば、対応付ける動きも緩やかな揺動とすることが好ましく、怒りのような激しい感情に基づく表情であれば、対応付ける動きも、激しい動きであることが好ましい。激しい動きとは、例えば、揺動の幅を大きくしたり、動く速度を早くしたりすることである。なお、表示している映像から表情を検出する対象は、人物に限定されず、アニメーションなどのキャラクターであってもよい。
あるいは、図6の(c)および(d)に示すように、映像中の人物の視線の方向(黒目の動き)に応じて筐体3を動かしてもよい。図示の例では、映像中の人物が左方向に動いた場合、表示部32の表示面がその人物の視線と同じ方向を向くように筐体3を動かし、映像中の人物の視線が上方向に動いた場合、表示部32の表示面がその人物の視線と同じく上を向くように筐体3を動かしている。
これらの例のように、モータ制御部12は、表示している映像中の所定のオブジェクトの動きに応じて表示部32の表示面を動かしてもよい。図6の(a)の例では、人物の頭部(または顔)、図6の(c)および(d)の例では、人物の黒目部分が所定のオブジェクトということになるが、この所定のオブジェクトは、映像中の所定範囲を占めるものであればよく、これらの例に限られない。例えば、映像中の人物の体全体をオブジェクトとし、該人物の体の動きに応じて筐体3を動かしてもよく、この場合、映像中の人物が右方向に移動した場合、筐体3も同じ方向を向くように動かしてもよい。なお、所定のオブジェクトは、人以外の動物であってもよく、物体(非生物)であってもよい。また、アニメーションのキャラクターのようにバーチャルなオブジェクトであってもよい。あるいは、表示装置1は、所定の顔を表示部32に表示してもよい。表示部32の表示部に所定の顔を表示することにより、表示装置1は、表示する顔の表情の変化と、当該表情に対応付けられた筐体3の動きとによって、ユーザとのコミュニケーションを豊かなものにすることができる。
また、図6の(e)に示すように、表示している映像中の人物(通話相手)の発話内容に応じて筐体3を動かしてもよい。図示の例では、映像中の人物が驚いた旨の発話をしたときに、筐体3が後ろ側に倒れ込むように動かすことにより、該人物の驚きを強調して伝えている。なお、どのような内容の発話が行われたときに筐体3を動かすか、また、発話内容に対応付ける筐体3の動きは、特に限定されない。
図6の(f)に示す例では、キャラクターが怒っている映像を表示しており、このときに、この映像に予め対応付けられた動き(例えば、筐体3を前後に激しく揺動させるパターン)で筐体3を動かしている。このように、映像に応じた動きを予め定めておくことにより、映像の内容を解析することなく、表示している映像に応じた動きで筐体3を動かすことができる。
以上のようにして、表示している映像に応じた動きで筐体3を動かすことができるが、同じ感情に対応する映像については、同じパターンの動きで筐体3を動かすように構成することが好ましい。例えば、映像中の人物の動きからその人物が怒っていると判定できる場合や、表情から怒っていると判定できる場合、および発話内容から怒っていると判定できる場合にも、上記図6の(f)に示す例と同じパターンで筐体3を動かすことが好ましい。これにより、そのパターンの動きが、怒りの感情を示していることをユーザに正確に認識させることができ、表示装置1が感情を有し、その感情を筐体3を動かすことによって表現しているかのような感覚をユーザに与えることができる。
なお、所定の感情は怒りに限られない。また、上述の表情の例と同様に、感情に対応付ける動き(動きのパターン)は、その感情のイメージに合うものが好ましいが、どのような動きを対応付けるかは特に限定されない。さらに、映像に応じた感情は、映像がストーリー性のあるものであれば、表示中のシーンから特定してもよい。これにより、例えば、悲しみの感情に、表示部32の表示面をうつむかせる動きを対応付けた場合に、泣いているキャラクターを表示するとき、映像中の人物が泣いているとき、および悲しいシーンが表示されているときのそれぞれに、筐体3を動かして表示部32の表示面をうつむかせることも可能である。この他、筐体3の動きは、出力される音声も考慮して決定してもよい。例えば、動きのパターンは映像から決定し、動きの速度は音声のテンポ、音量などに応じて決定してもよい。
なお、筐体3は、表示と関連のあるタイミングで動かせばよく、筐体3を動かすタイミングは、上記の各例のような、所定の内容の映像が表示されたタイミングに限られない。例えば、ユーザが所定の操作を表示装置1に対して行ったときに筐体3を動かしてもよい。また、例えば、表示装置1の周囲に人が存在していることを検知して、検知した人に表示部32の表示面が向くように筐体3を動かしてもよい。さらに、例えば、複数のユーザがテレビ電話にて通話をする際に、各ユーザがそれぞれ自分用の表示装置1をテレビ電話のモニタとして使用してもよく、各表示装置1の筐体3の動きが同期するように、各表示装置1の筐体3を動かしてもよい。この場合、筐体3が動かされた表示装置1における当該筐体3の動きを示す動作データを当該表示装置1が生成し、この動作データを他の表示装置1に送信すればよく、これにより各表示装置1の表示部32の表示面の動きを同期させることができる。
(操作検知面43)
表示装置1の筐体3の表面に、ユーザによる入力操作を受け付ける操作検知面43を設けてもよい。図7は、操作検知面43を用いた表示装置1に対する入力操作の一例を示す図である。図7の(a)に示すように、表示装置1では、筐体3の表面の一部に操作検知面43が設けられている。
操作検知面43には、ユーザの体との接触を検知する接触センサが配されており、筐体3の操作検知面43の部分にユーザの指などが接触した場合、接触した位置とその移動、接触した位置の数、および接触が開始したタイミングと離れたタイミングなどを検知する。
より詳細には、操作検知面43は、筐体3の表面領域のうち、筐体3の中心を通り表示部32の表示面に平行な面で筐体3を2分割した場合に表示部32の表示面側となる領域(上記面と表示部32の表示面とで挟まれた球帯上の領域)に設けられている。なお、ここでは、該領域の全面を操作検知面43とする例を説明するが、この領域の一部を操作検知面43としてもよい。
操作検知面43をこの領域に設けた場合、図示のように、ユーザが筐体3の表示部32の表示面が設けられていない側の半球を手に保持したときに、表示部32の表示面がユーザ側を向くと共に、操作検知面43もユーザ側を向く。これにより、ユーザは、表示装置1の筐体3を手に保持して、表示部32の表示面を見ながら、操作検知面43に対して入力操作を行うことができる。
操作検知面43にて受け付ける入力操作の内容は特に限定されないが、例えば図7の(b)〜(g)のような入力操作を受け付けてもよい。図7の(b)には、操作検知面43に指を触れ、その直後に、触れた指を操作検知面43から離す操作を、シングルクリック(タップ)操作として受け付ける例を示している。また、図7の(c)には、図7の(b)の操作が2回連続で行われた場合に、これらの操作をダブルクリック(タップ)操作として受け付ける例を示している。
さらに、図7の(d)では、操作検知面43の2か所に指を触れ、その直後に、触れた指を操作検知面43から離す操作を、表示部32の表示面に映像を出力させる画面ON操作として受け付ける例を示している。
また、図7の(e)には、操作検知面43の2か所に触れた指の少なくとも一方を操作検知面43に沿ってスライドさせて接触位置の間隔を広げる操作を、表示内容のズームアウト(縮小)操作として受け付ける例を示している。そして、図7の(f)には、操作検知面43の2か所に指を触れた指の少なくとも一方を操作検知面43に沿ってスライドさせて接触位置の間隔を狭める操作を、表示内容のズームイン(拡大)操作として受け付ける例を示している。
また、図7の(g)には、操作検知面43の2か所に指を触れ、双方の指を、操作検知面43に沿ってスライドさせる操作を、表示内容の回転操作として受け付ける例を示している。
(映像を再生する速度を切り替える操作例)
次に、図8を用いて、表示装置1の使用例を説明する。図8は、筐体3に加えられた外力を用いて表示装置1を操作する例を示す図である。図8の(a)は、ここで説明する操作指示を規定する操作指示ルール21であり、図8の(b)〜(d)は、検出された外力に対応する操作指示を説明する図である。
図8の(a)に示す例では、筐体3が右方向へ揺れているときに、その揺動の向きと同じ方向(順方向)へ筐体3が傾くような外力(外力の方向は順方向)が加えられた場合、表示部32にて表示している映像の再生速度を上げる。一方、揺動の向きと反対の方向(逆方向)へ筐体3に外力(外力の方向は逆方向)が加えられた場合、表示部32にて表示している映像の再生速度を下げる。このように筐体3が、表示部32の向きを変えずに左右に揺動しているときに検出された外力が、その揺動に従った向き(順方向)か、逆らった向き(反対の向き、逆方向)かによって、異なる操作指示が対応付けられている。
図8の(b)は、図の左側に示す映像を再生(表示)しながら、筐体3を右方向へ揺動させている様子を示している。このとき、図8の(c)に示すように、筐体3を順方向に動かすような外力が加えられた場合、再生している映像の再生速度を上げる(例えば、倍速再生)。一方、図8の(d)に示すように、筐体3を逆方向に動かすような外力が加えられた場合、再生していた映像の再生速度を下げる。なお、揺動を止めるような外力が加えられた場合に、映像の再生を停止させてもよい。
筐体3が左右に揺動している場合、筐体3の所定の位置(操作ボタンなど)に対して操作を行うことが困難である。上記のように、表示装置1の筐体3の揺動に対して、その揺動を変化させるような外力を筐体3に加えることによる操作指示を入力が可能であれば、表示装置1の利便性を向上させることができる。
なお、ここでは、映像を再生するときに筐体3が左右揺動する例を示したが、上下揺動や回転などであってもよい。
(顔の表情を切り替える操作例)
続いて、図9を用いて、表示装置1の他の使用例を説明する。図9は、筐体3に加えられた外力を用いて表示装置1を操作する例を示す図である。図9の(a)は、ここで説明する操作指示を規定する操作指示ルール21であり、図9の(b)〜(d)は、検出された外力に対応する操作指示を説明する図である。
図9の(a)に示す例では、表示部32に真顔を表示しており、筐体3が下方向へ揺れているときに、その揺動の向きと同じ方向(順方向)へ筐体3が傾くような外力(外力の方向は順方向)が加えられた場合、表示部32にて表示している顔(例えば、ロボットの顔)を笑った顔に切り替えて表示する。一方、揺動の向きと反対の方向(逆方向)へ筐体3が傾くような外力(外力の方向は順方向)が加えられた場合、表示部32にて表示している顔を怒った顔に切り替えて表示する。このように筐体3が、表示部32の向きが上下に揺動するように動いているときに検出された外力が、その揺動に従った向き(順方向)か、逆らった向き(反対の向き、逆方向)かによって、異なる操作指示が対応付けられている。
図9の(b)は、図の左側に示す顔を表示しながら、筐体3を下方向へ揺動させている様子を示している。このとき、図9の(c)に示すように、筐体3を順方向に動かすような外力が加えられた場合、表示している顔は笑った顔になる。一方、図9の(d)に示すように、筐体3を逆方向に動かすような外力が加えられた場合、表示していた顔は怒った顔になる。なお、揺動を止めるような外力が加えられた場合に、表示している顔が驚いた顔に切り替わってもよい。
このように、筐体3が動いているときに、その筐体3の動きの方向と同じ方向の外力が加えられた場合には、楽しいときの表情を表示し、逆に、筐体3の動きの方向と反対の方向の外力が加えられた場合には、憤慨したときの表情を表示する。これにより、あたかも表示装置1が感情を有しているかのように、ユーザに感じさせることができる。
なお、ここでは、筐体3が上下揺動する例を示したが、左右揺動、振動、および回転などであってもよい。また、ここでは筐体の動きの方向に対して、筐体3に加えられた外力が順方向か逆方向かによって操作指示が異なる場合を例示したがこれに限定されない。すなわち、筐体の動きの方向と、筐体3に加えられた外力の方向との相対的な関係(例えば、両者の方向がなす角度など)に基づいて操作指示が異なるように構成してもよい。
さらにまた、ここでは、表示部32に真顔を表示しているときに、筐体3が上下に揺動している例を示したが、筐体3は別の動きをしていてもよいし、停止していてもよい。
(ゲームのキャラクターなどの操作例)
続いて、図10を用いて、表示装置1の他の使用例を説明する。図10は、筐体3に加えられた外力を用いて表示装置1を操作する例を示す図である。図10の(a)および(b)は、ここで説明する操作指示を規定する操作指示ルール21であり、図10の(c)〜(e)は、検出された外力に対応する操作指示を説明する図である。
図10の(a)に示す例では、ユーザが表示装置1を用いて対戦ゲームを行っている場合を示す。制御部10は記憶部20に記憶されているゲームのアプリケーションプログラムを実行し、当該ゲームのキャラクターを表示部32に表示させている。図10の(c)に示すように、表示装置1の筐体3は、キャラクターの姿勢が攻撃でも防御でもない戦闘準備の状態であるとき、筐体3を振動させている。なお、筐体3が振動していることは必須ではなく、左右または上下に揺動していてもよいし、回転していてもよいし、転がっていてもよい。また筐体3は停止して、所定の姿勢になっていてもよい。
図10の(d)に示すように、筐体3が振動しているときに、筐体3を左右に揺らすような外力が加えられた場合、ゲームの対戦相手に対して攻撃を加えると共に、表示部32にて表示しているキャラクターの姿勢(例えば、格闘家の姿勢)を、攻撃姿勢に切り替えて表示する。一方、図10の(e)に示すように、振動を止めるような外力(例えば、筐体3を押さえる)が加えられた場合、対戦相手の攻撃から身を守ると共に、表示部32にて表示しているキャラクターの姿勢を、防御姿勢に切り替えて表示する。
あるいは、図10の(b)に示す例のように、ユーザが表示装置1を用いてレース(車やバイクなどの運転)ゲームを行うことも可能である。表示装置1の筐体3は、ゲーム中は筐体3を振動させている。筐体3が振動しているときに、例えば、筐体3を左に揺らすような外力が加えられた場合、表示部32にて表示している路面や周囲の景色を、左折した様子を示す映像に切り替えて表示する。一方、振動を止めるような外力が加えられた場合、停車したことを示す映像に切り替える(例えば、表示部32にて表示している路面や周囲の景色の動きを止める)。
このように表示装置1をゲームのコントローラとして使用することも可能である。
(表示装置1に加えられた外力を検出する処理)
次に、表示装置1に加えられた外力を検出する処理について、図11および図12を用いて説明する。図11は、表示装置1が自装置に加えられた外力を検出する方法の一例を示す図である。図12は、表示装置1が外力を検出する処理の流れの一例を示すフローチャートである。なお、ここでは筐体3の動きまたは姿勢を変化させるような外力の方向を検出する場合について説明する。筐体3の動きまたは姿勢を変化させないような外力は、操作検知面43などによって検出することができる。
動作データ生成部11から取得した動作データを取得すると、図11の(a)に示すように、モータ制御部12は動作機構31を駆動させて、筐体3を角度αだけ傾ける。外力検出部13は、動作データ生成部11から動作データが示す角度α(状態情報)を取得し(図12のステップ1(以後、S1と記す))、ジャイロセンサ41から筐体3の傾き角度β(姿勢情報)を取得して、筐体3の動きまたは姿勢を特定する(図12のS2:特定ステップ)。
筐体3に外力が加えられていない場合、ジャイロセンサ41が示す角度βは、動作データ生成部が生成した動作データが示す角度αと等しくなる。外力検出部13は、角度αが角度βと等しい場合(図12のS2にてYES)、筐体3に加えられている外力は検出されない、として処理はS1に戻る。
一方、外力が筐体3に加えられた場合、ジャイロセンサ41が示す角度βと、動作データ生成部11が生成した動作データが示す角度αとの間にずれが生じる。外力検出部13は、角度αが角度βと異なる場合(図12のS2にてNO)、外力が加えられたと判断することにより外力を検出する。より具体的には、筐体3に順方向の外力が加えられた場合、図11の(b)に示すように、角度αは角度βよりも小さくなる。逆に、筐体3に逆方向の外力が加えられた場合、図11の(c)に示すように、角度αは角度βよりも大きくなる。
外力検出部13は、角度αと角度βとを比較して、角度αが角度βよりも小さい場合(図12のS4にてYES)、筐体3に対して順方向の外力が加えられたことを検出し、角度αが角度βよりも大きい場合(図12のS4にてNO)、筐体3に対して逆方向の外力が加えられたことを検出する(図12のS4:外力検出ステップ)。
操作指示決定部14は、外力検出部13から、筐体3の動きまたは姿勢と、筐体3に加えられた外力の方向(あるいは外力の有無)とを取得して、筐体3に加えられた外力が検出された場合、筐体3の動きや姿勢と当該外力の方向との組み合せに対応する操作指示を、操作指示ルール21を参照して決定する。すなわち、操作指示決定部14は、角度αが角度βよりも小さい場合には筐体3に対して順方向の外力が加えられた場合に対応する操作指示を決定し(図12のS5:指示決定ステップ)、角度αが角度βよりも大きい場合には筐体3に対して逆方向の外力が加えられた場合に対応する操作指示を決定する(図12のS6:指示決定ステップ)。
〔実施形態2〕
本発明の他の実施形態について、図13〜図19に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
例えば、ユーザが表示装置1aの筐体3を持ち上げるときには、重力の方向とは逆方向の加速度が生じる。表示装置1aの筐体3がユーザの手によって持ち上げられるとき、筐体3には、該筐体に加えられた外力がユーザの手から加えられる。本実施形態に係る表示装置1aは、筐体3の動きまたは姿勢と、該筐体3を持ち上げる重力と反対方向の外力との組み合わせに応じた操作指示の入力が可能である。
(表示装置1aの内部構成)
まず、表示装置1aの構成について図13を用いて説明する。図13は、本発明の表示装置1aの要部構成の一例を示すブロック図である。表示装置1aは、センサ部40aに、筐体3に生じた加速度の大きさと方向とを検出する加速度センサ42をさらに備えている点で表示装置1と異なっている。加速度センサ42は、ジャイロセンサ41と同様に、表示装置1aの筐体3の内部に設けられており、筐体3に生じた加速度を検知する。なお、加速度センサ42は、筐体3の内側であれば、如何なる位置に配されてもよい。
また、表示装置1aは、通信部50をさらに備え、スマートフォン100との通信が可能である。なお、表示装置1aは、1または複数の、他の表示装置1a(例えば、他のユーザが所有する表示装置1aなど)およびパーソナルコンピュータ(PC)200との通信も可能である(図21参照)。
表示装置1aは、通信部50を介して操作指示決定部14が決定した操作指示を他の表示装置1a、スマートフォン100、およびPC200に送信してもよい。この構成によれば、表示装置1aを用いて、他の表示装置1a、スマートフォン100、およびPC200への操作指示を入力することができる。
以下では、図14〜18を用いて、表示装置1aの筐体3が持ち上げられたことを検知して動きまたは姿勢を切り替える操作例を説明する。
(筐体3の動きを切り替える操作例1)
図14は、筐体3を持ち上げる操作(外力)によって表示装置1aの動作を切り替える動作例を示す図である。図14の(a)は、ここで説明する操作指示を規定する操作指示ルール21であり、図14の(b)および(c)は、持ち上げる操作に対応する操作指示を説明する図である。
図14の(a)に示す例では、表示装置1aをテレビ電話の端末およびモニタとして利用した場合を例示している。また、表示装置1aは、図6の(b)に示すように、表示部32に表示されている映像中の人物(通話相手)の表情がほほえみの表情(笑顔)となったときに、表示装置1の筐体3は、真上から見て表示部32の向きが時計回りおよび反時計回りに円運動するように動く。
机などの上に筐体3が戴置された状態のままであれば、表示装置1aは、図14の(b)に示すように、円運動を継続する。一方、ユーザが表示装置1aの筐体3を持ち上げるような外力を検出した場合、すなわち持ち上げが行われた場合、図14の(c)に示すように、筐体3の運動を円運動から振動に切り替える。このように、表示装置1aは、筐体3がユーザによって持ち上げられた場合に、机の上などに戴置されているときの動きとは異なる動きに切り替える。
持ち上げられた筐体3の動きを、回転および揺動などの動きから振動へと切り替えることにより、ユーザが表示装置1aの筐体3を取り落さないようにすることができる。なお、図14に示す例とは反対に、持ち上げられた筐体3の動きを、筐体3が机の上などに戴置されているときよりも激しい動きへと切り替えてもよい。筐体3がユーザによって持ち上げられた場合、表示装置1aは、単に視覚的な情報に加えて、感覚的な刺激をユーザに与えることができる。このように、ユーザが筐体3を持ち上げるという動作を操作入力として利用することにより、表示装置1aの利便性を向上させると共に、表示装置1aとユーザとのコミュニケーションを豊かなものにすることができる。
(筐体3の動きを切り替える操作例2)
図15は、筐体3を持ち上げる操作によって表示装置1aの動きを切り替える動作例を示す図である。図15の(a)は、ここで説明する操作指示を規定する操作指示ルール21であり、図15の(b)および(c)は、持ち上げる操作に対応する操作指示を説明する図である。
図15の(a)に示す例では、表示装置1aの筐体3は、表示部32に顔の映像を表示した状態で、表示部32の向きが上下に揺動するように動いている。そこで、図15の(b)に示すように、筐体3を持ち上げる外力を検出した場合、表示している顔が笑顔であれば、その揺動の振幅を持ち上げられる前に比較して大きくする。これにより、笑顔を表示しているときに持ち上げられた場合、ユーザにかまってもらったことがうれしいという感情を表現することができる。一方、図15の(c)に示すように、筐体3を持ち上げる外力を検出した場合、表示している顔が怒った顔であれば、筐体の揺動を止める。これにより、怒っているときに持ち上げられてもユーザを無視して動きを止めているようなしぐさ(動き)を表現することができる。
このように、表示装置1aは、筐体の動きまたは姿勢と、表示している映像(表示内容)と、筐体3に加えられた外力の方向との組み合せに応じて、操作指示を決定する。これにより、操作を行ったユーザに対してさまざまな感情およびしぐさを示し、豊かなコミュニケーションを実現することができる。
(筐体3の姿勢を制御する例)
図16は、表示装置1aが、筐体3を持ち上げられた後、元の位置に下ろされた場合に、元の姿勢に戻す制御例を示す図である。机などの上に戴置されている表示装置1aは、起動後、図16の(a)のように表示部32の表示面を斜め上方(図示では、表示部32を50°傾斜させた姿勢を例示している)に向けた姿勢をとる。
このとき、ユーザによって筐体3が持ち上げられ(図16の(b))、その後に机の上に、例えば表示部32が略真上方向を向くような姿勢で再び戴置された場合(図16の(c))、表示装置1aは、筐体3の姿勢を、元の姿勢(ユーザによって持ち上げられる前の姿勢)に戻す。なお、表示装置1aが筐体3を持ち上げられた後に下ろされてから、すぐに元の姿勢に戻してもよいし、所定の時間(例えば、3秒)筐体3への外力が検出されない場合に、元の姿勢に戻してもよい。なお、表示装置1aの筐体3は、元の位置に戻されなくてもよく、例えば、ユーザによって持ち運ばれた後に、別の場所に戴置されてもよい。
これにより、ユーザに筐体3を持ち上げられた後に、再度机の上などに戴置された場合に、表示装置1aの筐体3の姿勢をユーザに調節させる煩わしさを回避することができる。それゆえ、ユーザが、表示装置1aの筐体3を気軽に手に取ったり、机の上などに戴置したりするように促すことができる。よって、表示装置1aの利便性を向上させることができる。
なお、ユーザによって筐体3が持ち上げられ(図16の(b))、その後に机の上に、例えば表示部32が机の上面側を向くような姿勢(うつ伏せの姿勢)で戴置された場合には、主電源をOFFにしたり、充電モードに切り替えたりしてもよい。この場合には、例えば、表示装置1aは、持ち上げられた後に下ろされた時の筐体3の姿勢を特定し、動作機構31によって姿勢が変更不可能な姿勢であれば、主電源をOFFにしたり、充電モードに切り替えたりすればよい。なお、表示装置1aは、持ち上げられた後に下ろされた時の筐体3の姿勢がどのような姿勢であるか、に応じた操作指示を決定する構成であってもよい。
(表示装置1aが持ち上げられたことを検出する処理)
ここでは、表示装置1aの筐体3が持ち上げられたことを検出する処理について、図17を用いて説明する。図17は、表示装置1aが、筐体3を持ち上げる操作を検出する処理の方法の一例を示す図である。
外力検出部13は、筐体3の傾き角度β(姿勢情報)をジャイロセンサ41から取得し(S11)、加速度センサ42によって検知された筐体3に生じた加速度を取得する(S12)。
次に、外力検出部13は、角度βと筐体3に生じた加速度の大きさと方向に基づいて、該加速度の重力と平行な方向の成分である、加速度Azを算出する(S13)。加速度の方向を反対方向に筐体3が移動した場合、加速度Azが重力加速度よりも小さくなる。外力検出部13は、このことを利用して、算出した加速度Azと重力加速度とのずれを判定する(S14)。
加速度Azが重力加速度よりも小さい場合(S14にてYES)、外力検出部13は、筐体3が持ち上げられたと判定する。操作指示決定部14は、該判定結果を取得して、操作指示ルール21を参照して、筐体3の動きまたは姿勢と、筐体3の持ち上げが行われたか否かとの組み合せ、に対応する操作指示を決定する(S15)。
上記のように、表示装置1aは、筐体3に加えられた、重力と反対方向の外力を検出して、筐体3の動きまたは姿勢と、検出した重力と反対方向の外力との組み合わせに応じた操作指示を決定することができる。
(表示装置1aへの操作によって他機器の動作を制御する動作例)
表示装置1aは通信部50を介して、スマートフォン100などの外部機器と通信することが可能である。この通信を用いて、表示装置1aに対する操作に対してスマートフォン100などの動作を操作することも可能である。このように、表示装置1aへの操作によってスマートフォン100などの他機器の動作を制御する例について、図18および図19を用いて説明する。なお、ここでは表示装置1aからスマートフォン100へ操作指示を送信する例について説明するが、これに限定されない。例えば、表示装置1aから、別の表示装置1aへ操作指示を送信してもよいし、据え付け型のPC200へ操作指示を送信してもよい。
図18は、筐体3を持ち上げる操作(外力)によって表示装置1aからスマートフォン100へ操作指示を送信する動作例を示す図である。図18の(a)は、ここで説明する操作指示を規定する操作指示ルール21であり、図18の(b)〜(d)は、持ち上げる操作に対応する操作指示を説明する図である。
図18に示す例では、表示装置1aをスマートフォン100の外部端末およびディスプレイとして利用した場合を例示している。図示のように、表示装置1aの筐体3は、表示部32にソーシャルネットワーキングサービス(SNS)のタイムラインを表示しており、SNSに新規のメッセージが投稿される度に筐体3を振動させる。
新規の投稿が有り、筐体3が振動しているときに、筐体3が持ち上げられると、図18の(b)に示すように、表示装置1aは、スマートフォン100に操作指示を送信して、SNS表示画面に「OK!」、「いいよ!」、「いいね!」などを表示させる。これにより、新規に投稿されたメッセージに対する感想や賛同する意思を、SNS上に示すことができる。一方、SNSに新規のメッセージの投稿が無く筐体3が停止しているときに、筐体3が持ち上げられても、図18の(c)に示すように、表示装置1aは、スマートフォン100に対して何も操作指示を送信しない。
なお、図18の(d)に示すように、表示装置1aの表示部32にて商品画像が表示されているときに筐体3が持ち上げられた場合に、スマートフォン100に操作指示を送信して、当該表示されていた商品に関連する広告、取扱店、価格等の情報を表示させる構成であってもよい。なお、商品画像を表示しているときに表示装置1aの筐体3は、図示のように停止していてもよいし、左右に揺動していてもよい。
このように、表示装置1aに加えられた外力による操作を受け付けたときに、当該操作に対応付けられた操作指示を決定して、表示装置1aから他の機器に決定した操作指示を送信する構成であってもよい。これにより、筐体3を持ち上げる、という簡単な操作によって、他機器の動作を制御することができる。よって、表示装置1aの利便性が向上し、その適用範囲を拡大させることができる。
(表示装置1aと他機器との連携例)
図19は、表示装置1aと他の表示装置1aとの通信、および表示装置1aとPC200およびスマートフォン100などの外部機器(C)との通信が可能である場合における、各装置の構成要素および状態の組み合せによる多彩なバリエーションについて説明する図である。なお、図示では、表示装置(A)および表示装置(B)が表示装置1aである場合を例示しているがこれに限定されない。
図示のように、表示装置(A)、表示装置(B)、および外部機器(C)には、指示情報の入力を受け付ける時点の構成要素に応じて複数の指示情報の入力が可能である。例えば、表示装置(A)について説明すれば、次の(1)〜(4)のような指示情報の入力が可能である。(1)表示装置(A)が表示する表示内容に応じた指示情報、(2)タッチ入力を受け付けたときの指示情報、(3)受信・出力時に振動(または揺動、回転など)しているときに筐体に加えられた外力の方向に応じた指示情報、および、(4)送信・出力時に振動(または揺動、回転など)しているときに筐体に加えられた外力の方向に応じた指示情報。さらに、上記(1)〜(4)の指示情報は、表示装置(A)の筐体3は、机の上などに戴置(設置)されている状態と、持ち上げられている状態とで、異ならせることが可能である。
一方、表示装置(A)からの指示情報を受信する表示装置(B)についても同様に、複数の構成要素と複数の状態とがあるため、表示装置(B)において、受信した指示情報に基づいて、多彩な処理を実行することができる。
〔実施形態3〕
本発明の他の実施形態について、図20に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
上記実施形態では、球面を有する筐体3を備える表示装置1および1aの重心の位置を変える動作機構31を備え、この動作機構31によって筐体3を動かして、表示部32の表示面が向く方向を変更したり、姿勢を変更したりする表示装置1および1aについて説明した。しかし、表示装置1および1aは、筐体3を動作機構31にて動かしたり姿勢を変更したりすることができる構成となっていればよく、上述の形状に限定されない。本実施形態では、筐体3を動かしたり姿勢を変更したりする動作機構31の他の例を、図20に基づいて説明する。図20は、筐体3の動きまたは姿勢を変更する動作機構31の他の例を示す図である。
図20の(a)に示す例では、断面が長方形となるように円柱を1つの平面で切断した形状(例えば、半円柱形状)の筐体3aを使用し、筐体3aの表面のうち、長方形の平面部分(切断面に相当する部分)に表示部32の表示面を配置している。この構成では、上述の動作機構31と同様の動作機構にて重心を移動させることにより、図示のように筐体3aの外縁部(円柱の側面に相当する曲面部分)に沿って筐体3aを動かしたり姿勢を変更したりすることができる。これに伴い、表示部32の表示面の向きを変更することができる。図20の(a)に示す例では、上記実施形態と同様に、筐体3aの外縁部が円弧状であるから、滑らかな揺動が可能である。
図20の(b)に示す例では、表示部32が第1筐体3bに設けられ、第1筐体3bは、ヒンジ3dを介して第2筐体3cと接続されており、これにより同図の矢印方向に回動可能に構成されている。このように、ヒンジ3dなどの回動部材により、表示部32の表示面の向きを変更することも可能である。なお、この場合、回動部材にモータなどの駆動部(図示せず)を接続することにより、表示面の向きを制御することが可能である。図20の(b)に示す例は、一般的なノート型パソコンや携帯電話の筐体と同様の構成である。それゆえ、一般的なノート型パソコンや携帯電話が備えるヒンジ部の開閉動作における角度を制御する動作機構を搭載することにより、本発明の表示装置とすることも可能である。
図20の(c)に示す例では、関節部61が設けられているアームに、関節部60を介して表示部32が取り付けられている。この場合、関節部60および関節部61を動かす動作機構(図示せず)により、表示部32の表示面の向きや姿勢を制御することができる。
図20の(d)〜(f)に示す例では、ディスプレイスタンド70と表示部32を、接続部71を介して接続している。接続部71は、ディスプレイスタンド70と表示部32を回動可能に接続しており、これにより、表示部32の表示面は接続部71を固定点として可動となっている。例えば、表示面の向きは固定した状態で旋回させたり(同図のd)、表示面の向きを左右に動かしたり(同図のe)、表示面の向きを上下に動かしたり(同図のf)することが可能である。この場合、接続部71に駆動部(図示せず)を接続することにより、表示部32の表示面の動きや姿勢を制御することが可能である。
〔実施形態4〕
本発明の他の実施形態について、図21に基づいて説明する。図21は、本発明の一実施形態に係る配信システム300の概要を示すブロック図である。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態では、サーバから動作データを配信する配信システムについて説明する。
図21に示す配信システム300は、表示装置1aに動作データを配信するシステムであって、動作データを配信するサーバ310と、配信される動作データを受信する表示装置1およびスマートフォン100とを含む。なお、配信システム300において動作データを受信する装置は、表示装置1aとスマートフォン100に限られず、サーバ310と通信可能な装置であれば任意の装置が動作データの受信主体となり得る。
サーバ310は、上記実施形態のスマートフォン100と同様に、動作データを生成する機能を備えており、アップロードされた映像に応じた動作データを自動的に生成し、これを配信する構成であってもよい。
例えば、表示装置1aにて撮影した映像がアップロードされた場合、サーバ310はアップロードされた映像を取得し、取得した映像に応じた動作データを生成し、該動作データを当該表示装置1aに送信してもよい。これにより、表示装置1aに動作データの生成機能を持たせることなく、表示面を動かしながら映像を閲覧させることができる。
なお、サーバ310は、動作データを映像と共に送信してもよい。例えば、上記の例において、映像をアップロードした表示装置1aとは異なる他の表示装置1aにも動作データを映像と共に送信してもよい。また、このような送信は、表示装置1aからのリクエストに応じて行ってもよいし、サーバ310が主体的に所定の表示装置1に対して配信してもよい。そして、配信先は複数であってもよく、例えば1つの表示装置1aから受信した映像と、その映像に応じた動作データとを、複数の表示装置1aに対して一斉に配信してもよい。
また、図21に示すように、スマートフォン100がサーバ310と通信して動作データを取得してもよい。なお、サーバ310に送信する映像の取得元は特に限定されず、例えば表示装置1aであってもよいし、動画投稿サイトなどのコンテンツ配信サーバ(図示せず)であってもよい。この他にも、スマートフォン100が撮影装置を備えている場合には、該撮影装置で撮影した映像を用いてもよいし、スマートフォン100で動作するアプリケーションソフトウェア(例えばゲームなど)により生成あるいは取得された映像を用いてもよい。
また、スマートフォン100は、映像および動作データの送信をサーバ310に要求し、この要求に応じて送信された映像および動作データを表示装置1aに転送してもよい。この場合、ユーザは、サーバ310が送信可能な映像の中から、所望の映像をスマートフォン100で選択し、その映像を表示面の動きと共に表示装置1aにて楽しむことができる。例えば、SNS(Social Networking Service)には、動画の投稿、閲覧が可能なものがあるため、SNSサーバ(図示せず)にサーバ310と同様の機能を持たせ、ユーザがスマートフォン100で選択した映像と、その映像に応じた動作データとを配信してもよい。また、動画投稿サイトや動画配信サイトのサーバにサーバ310と同様の機能を持たせ、ユーザがスマートフォン100で選択した映像と、その映像に応じた動作データとを配信してもよい。
この他にも、映像をライブ配信するサービスや、コンテンツ配信プラットフォームなどにサーバ310を設け、動作データと共に映像コンテンツを配信する構成などが考えられる。また、広告の配信を行うサーバにサーバ310と同様の機能を持たせ、該サーバにより広告の映像に応じた動作データを生成し、広告の映像と共に配信してもよい。
なお、上述のサーバ310は、映像の取得、動作データの生成、映像の送信、および動作データの送信を行うが、これらの処理を個別のサーバで行う構成としてもよい。例えば、映像のアップロードを受け付けるサーバと、動作データを生成するサーバと、動作データを送信するサーバと、映像を送信するサーバとの組み合わせによってもサーバ310と同様の機能を実現できる。
〔ソフトウェアによる実現例〕
表示装置1、1aの制御ブロック(特に動作データ生成部11、モータ制御部12、外力検出部13、および操作指示決定部14)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、表示装置1、1aは、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る入力装置(表示装置1、1a)は、筐体3に加えられる外力に基づく指示情報を入力可能な入力装置であって、上記筐体の動きまたは姿勢を特定する動き特定部(外力検出部13)と、上記外力を検出する外力検出部13と、上記動き特定部が特定した上記筐体の動きまたは姿勢と、上記外力検出部が検出した上記外力の方向との組み合わせに応じた上記指示情報を決定する指示決定部(操作指示決定部14)と、を備えている。
上記の構成によれば、入力装置の筐体に加えられる外力を検出して、筐体の動きまたは姿勢と、検出した外力の方向との組み合わせに応じた指示情報を決定する。これにより、入力装置の筐体の動きまたは姿勢に適した操作によって指示情報の入力を受け付けることができる。よって、ユーザからの操作を受け付けるときに入力装置の筐体が動いていたり、姿勢が変更していたりする場合であっても、簡単な操作によって指示情報を入力することができる。
本発明の態様2に係る入力装置は、上記態様1において、上記筐体を動かす動作機構を備え、上記指示決定部は、上記動き特定部が特定する上記筐体の動きまたは姿勢と、上記動作機構によって動いている上記筐体に対して加えられる上記外力の方向との組み合わせに応じた上記指示情報を決定してもよい。
筐体が動いたり、筐体の姿勢が変化したりする場合、ボタンやタッチパネルなどの従来の入力装置では正確に操作することが難しくなる。上記の構成によれば、筐体の動きまたは姿勢と、動いている筐体に対して加えられる外力の方向との組み合わせに応じた指示情報を決定する。これにより、動いたり姿勢が変化したりする筐体に対して、外力を加えるだけの簡単な操作によって容易に操作入力が可能となる。
例えば、筐体に対して同じ方向の外力が加えられた場合であっても、筐体が動いていれば、その外力が筐体に加えられた時の筐体の動きまたは姿勢に応じて、多様な指示情報を決定することができる。それゆえ、簡単な操作によって、多様な操作入力が可能となるため、筐体が動くことによって入力装置の利便性を向上させることができる。
本発明の態様3に係る入力装置は、上記態様1または2において、上記指示決定部は、上記筐体の動きの方向と上記外力の方向との関係に応じた上記指示情報を決定してもよい。
例えば、動いている筐体の所定の位置をタッチ操作することは困難であるのに対し、筐体に対して加える外力の方向を変えることは容易である。上記のように構成すれば、筐体に対して加えられる外力の方向を変えるだけで、異なる指示情報を決定することができる。
本発明の態様4に係る入力装置は、上記態様1から3のいずれかにおいて、上記指示決定部は、上記外力検出部が、上記筐体に対して重力と反対方向に加えられた上記外力を検出した場合、該外力が検出されたときの上記筐体の動きまたは姿勢に応じた上記指示情報を決定してもよい。
これにより、筐体が持ち上げられたことに応じた指示情報を決定することができる。よって、例えば、ユーザは筐体を持ち上げるという簡単な操作によって、指示情報を入力することができる。
本発明の態様5に係る入力装置は、上記態様1から4のいずれかにおいて、表示部をさらに備え、上記指示決定部は、上記動き特定部が特定した上記筐体の動きまたは姿勢と、上記表示部にて表示している表示内容と、上記外力検出部が検出した上記外力の方向との組み合わせに応じた上記指示情報を決定してもよい。
上記の構成によれば、筐体の動きまたは姿勢と、表示部にて表示している表示内容と、外力検出部が検出した外力の方向との組み合わせに応じた指示情報を決定する。これにより、ユーザは、表示部に表示される表示内容を視認しながら、表示内容に適したさまざまな指示情報を入力することができる。
本発明の態様6に係る入力装置(表示装置1、1a)の制御方法は、筐体3に加えられる外力に基づく指示情報を入力可能な入力装置の制御方法であって、上記筐体の動きまたは姿勢を特定する特定ステップ(S2)と、上記外力を検出する外力検出ステップ(S4)と、上記特定ステップにて特定した上記筐体の動きまたは姿勢と、上記外力検出ステップにて検出した上記外力の方向との組み合わせに応じた上記指示情報を決定する指示決定ステップ(S5、S6)と、を含んでいる。上記の構成によれば、上記態様1と同様の効果を奏する。
本発明の各態様に係る入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記入力装置が備える各部(ソフトウェア要素)として動作させることにより上記入力装置をコンピュータにて実現させる入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。