JP2014238750A - 入力装置、そのプログラム及び画像表示システム - Google Patents

Abstract

【課題】入力装置が水平である場合に、ユーザーがどの方向から入力操作を行っているかを判別し、タッチ操作の入力方向を変換する。【解決手段】入力装置１１は、ユーザーの入力面に対するタッチ操作に応じた入力操作信号を出力する入力操作部１４０と、入力装置１１の傾きを検出する傾きセンサ１１１と、物体が近づいたことを検出する近接センサ１１２と、入力装置１１の状態として、その傾きが水平を含む所定の角度範囲内にあり、且つ物体が近接センサ１１１から所定範囲内にある第１状態と、その傾きが所定の角度範囲内にあり、且つ物体が近接センサ１１１から所定範囲内にない第２状態とを判別する状態判別部１３０と、第１状態であるか第２状態であるかに応じて、入力操作信号Ｃ１の示すタッチ操作の入力方向を変換した出力操作信号Ｃ２を生成する入力方向変換部１５０とを備える。【選択図】図３

Description

本発明は、ユーザーのタッチ操作に応じた操作指示の入力に関する。

近年、携帯型の入力装置を用いて、ユーザーの操作指示を入力するシステムが知られている。特許文献１には、ユーザーが端末装置を傾けると、その傾きを検出し、検出結果に応じた操作コマンドを生成する技術が開示されている。
また、特許文献２には、ユーザーが操作指示を入力するタッチパッドを備えた端末装置において、端末装置が横向きか縦向きかを判定し、判定結果に応じて、タッチパッドから出力されるタッチ操作の方向の座標軸を変換する技術が開示されている。

特許３５８２４３３号公報

特開２０１３−２１３７８号公報

ところで、特許文献１に記載された従来技術では、端末装置の傾きを検出して表示コンテンツの方向を変更する場合、入力の方向とコンテンツの方向は一致しているため、コンテンツの向きに合わせて入力操作を行えばよく、ユーザーがどの方向から入力操作を行っているか判定する必要はない。
しかしながら、画像を表示する表示装置として、ヘッドマウントディスプレイ（以下、ＨＭＤと称する）などの眼鏡型端末に映像が表示されていて、端末装置を入力操作を行うための装置として用いる場合は、ユーザーは端末装置を視認して、端末装置の上下を確認することができない。仮に、上下逆だった場合には、コンテンツが眼鏡型端末に表示されているにもかかわらず、わざわざ手に持っている端末装置に目を向け、上下を確認しなければならない。
特許文献２に記載の従来技術では、端末装置が縦向きであるか、横向きであるかに応じて、座標軸を変換するが、端末装置が水平である場合に、ユーザーがどの方向から入力操作を行っているかを判別することができなかった。
また、端末装置の傾きが分かっても、どのようにユーザーが端末装置を持っているかは不明であった。
そこで、本発明は、上述した事情に鑑みてなされたものであり、ユーザーの入力操作が端末装置に対してどの方向から行われているのか、簡易な構成で判別し、タッチ操作の入力方向を自動的に変換することを解決課題とする。

かかる課題を解決するために、本発明に係る端末装置の第１の態様は、ユーザーの入力面に対するタッチ操作に応じた入力操作信号を出力する入力操作部と、当該端末装置の傾きを検出する傾きセンサと、前記入力面と同一の面に設けられ、物体が近づいたことを検出する近接センサと、前記傾きセンサの出力信号及び前記近接センサの出力信号に基づいて、当該端末装置の状態として、当該端末装置の傾きが水平を含む所定の角度範囲内にあり、且つ物体が前記近接センサから所定範囲内にある第１状態と、当該端末装置の傾きが前記所定の角度範囲内にあり、且つ物体が前記近接センサから前記所定範囲内にない第２状態とを判別する状態判別部と、前記状態判別部の判別結果が前記第１状態であるか前記第２状態であるかに応じて、前記入力操作信号の示すタッチ操作の入力方向を変換した出力操作信号を生成する入力方向変換部とを備える。

また、本発明に係る端末装置の第２の態様は、ユーザーの入力面に対するタッチ操作に応じた入力操作信号を出力する入力操作部と、前記入力面と同一の面に設けられ、物体が近づいたことを検出する近接センサと、記前入力面と反対側の面に設けられ、画像を撮像する撮像部と、前記近接センサの出力信号及び前記撮像部の出力信号に基づいて、当該端末装置の状態として、物体が前記近接センサから所定範囲内にあり、且つ前記撮像部がユーザーの手で覆われている第３状態と、物体が前記近接センサから所定範囲内にあり、且つ前記撮像部がユーザーの手で覆われていない第４状態とを判別する状態判別部と、前記状態判別部の判別結果が前記第３状態であるか前記第４状態であるかに応じて、前記入力操作信号の示すタッチ操作の入力方向を変換した出力操作信号を生成する入力方向変換部とを、備える。

本発明に係る端末装置の第１の態様によれば、端末装置の傾きが水平を含む所定の角度範囲内にある場合に、近接センサの出力信号に基づいて、ユーザーの手が近接センサを覆うように近づいたのか（第１状態）、あるいは、ユーザーの手が近接センサを避けるように近づいたのか（第２状態）を判別し、判別結果に応じてタッチ操作の入力方向を変換する。よって、端末装置が机の上に置かれている場合であっても、ユーザーは端末装置を視認して上下を確認することなく、入力操作を行うことが可能となる。

また、本発明に係る端末装置の第２の態様によれば、物体が近接センサから所定範囲内にないことを前提とし、入力面と反対側に設けられた撮像部の出力信号に基づいて、撮像部がユーザーの手で覆われているか（第３状態）、あるいは撮像部がユーザーの手で覆われていないか（第４状態）を判別し、判別結果に応じてタッチ操作の入力方向を変換する。入力面に指でタッチ操作を行うので、端末装置をユーザーが把持する場合、入力面と反対側の裏面を掌で握ることになる。入力面と同じ面に設けられた近接センサは物体が所定範囲内にあることを検知しない。このような場合に、撮像部がユーザーの手で覆われているか否かを判別することによって、端末装置において撮像部が配置されている位置に応じてユーザーが端末装置のどの部分を把持しているかを特定することができる。例えば、撮像部が端末装置の上部に配置されているのであれば、撮像部がユーザーの手で覆われている場合、ユーザーは端末装置の上部を掌で把持している。一方、撮像部が端末装置の下部に配置されているのであれば、撮像部がユーザーの手で覆われている場合、ユーザーは端末装置の下部を掌で把持している。このように、端末装置の状態を判別するので、ユーザーは端末装置を視認して上下を確認することなく、入力操作を行うことが可能となる。

画像表示システムの構成を示すブロック図である。 端末装置の外観を示す平面図である。 端末装置の構成を示すブロック図である。 表示装置に表示される画像の一例を示す説明図である。 端末装置の上部下部とタッチ操作の入力方向との関係を示す説明図である。 端末装置が机上に置かれる第１の態様を示す説明図である。 ユーザーが端末装置を手持ちとする第２の態様を示す説明図である。 ユーザーが端末装置をポケット中に入れる第３の態様を示す説明図である。 第１の態様において、端末装置の上部からユーザーの手が近づく状態と、端末装置の下部からユーザーの手が近づく状態とを示す説明図である。 コンテンツ画面、オーバーレイ用の画面、及び合成画面を説明するための説明図である。 画像表示システムの動作を示すフローチャートである。 入力装置の状態判別処理の内容を示すフローチャートである。 変形例に係る近接センサの配置例を示す平面図である。 変形例に係るアウトカメラの配置例を示す平面図である。

＜実施形態＞
以下、本発明に係る画像表示システムの一実施形態を、図面を参照しながら説明する。図１は画像表示システムの構成を示すブロック図である。
この図に示すように、画像表示システム１は、端末装置１０、表示装置２０、及びコンテンツサーバ３０を備える。コンテンツサーバ３０は、動画や静止画などの各種のコンテンツを蓄積しており、コンテンツ蓄積部として機能する。端末装置１０は、通信網ＮＥＴを介してコンテンツサーバ３０と通信可能であり、コンテンツサーバ３０から受信したコンテンツデータに基づいて画像信号を生成し、生成した画像信号を表示装置２０に供給する。端末装置１０は、表示装置２０との間で、有線又は無線で通信することが可能である。

表示装置２０は、画像を表示できるのであれば、いかなる装置であってもよい。本実施形態においては、表示装置２０の一例として、非シースルー式のＨＭＤを用いる。ユーザーはＨＭＤを装着し、端末装置１０をタッチ操作することによって各種の操作指示を入力する。しかしながら、ユーザーがＨＭＤを装着した状態では、端末装置１０の上下を確認することができない。なお、シースルー式のＨＭＤを用いる場合には、ユーザーはＨＭＤを装着した状態であっても端末装置１０を視認すること可能である。但し、端末装置１０の外観が上下対称のデザインである場合には、端末装置１０に映像が表示されないと、非シースルー式のＨＭＤと同様に上下を確認することができない。
例えば、非シースルー式のＨＭＤを装着したユーザーが端末装置１０を左手で持って、右手の指で上から下へタッチ操作したとする。端末装置１０で読み取られるタッチ操作の方向は、指が触れているタッチパネル上の座標の変化に基づいて特定される。ユーザーが端末装置１０を視認して上下を確認できる場合には、端末装置１０を一定の方向に持つことができるが、ユーザーが非シースルー式のＨＭＤを装着しており端末装置１０を視認不能な場合には、端末装置１０を逆さまに持つことがあり得る。本実施形態の端末装置１０は、そのような場合を考慮して、端末装置１０の状態を判別し、判別結果に応じて、タッチ操作の入力方向を変換する。これにより、ユーザーは端末装置１０を視認しなくても、タッチ操作によって各種の入力操作を行えるようになっている。

図２を参照して、端末装置１０の外観を説明する。図２において、右側は端末装置１０の外観を示す正面図であり、左側は端末装置１０の外観を示す裏面図である。この図に示すように、端末装置１０の正面には、スピーカ１２５、物体が近づいたことを検出する近接センサ１１２、インカメラ１２１、及び入力操作部１４０が設けられている。入力操作部１４０は、タッチセンサを備えており、ユーザーのタッチ操作に応じた入力操作信号Ｃ１を出力する。具体的には、入力操作部１４０は、タッチセンサを備えた液晶パネルや有機ＥＬパネルなどの表示パネルによって構成され、そこには、画像が表示される。

また、スピーカ１２５や近接センサ１１２が配置されるのが端末装置１０の上部であり、その逆側が端末装置１０の下部である。なお、インカメラ１２１、近接センサ１１２、及びスピーカ１２５は、入力操作部１４０の入力面の上辺Ｘ１から端末装置１０の上端部Ｘ２までの第1上部領域Ｒ１に配置される。ユーザーは、端末装置１０を携帯電話として使用する場合は、スピーカ１２５を耳に押し当てて話す。この際、近接センサ１１２にはユーザーの顔が押し当てられる。携帯電話の使用時においては、近接センサ１１２の出力信号に基づいて、ユーザーの顔が押し当てられたことが検知されると、入力操作部１４０に対する入力を受け付けないようになっている。これによって、通話中の誤作動を防ぐことができる。このように通話時の端末装置１０の状態を検知できるように、近接センサ１１２は、入力操作部１４０におけるユーザーの入力面と同一の面に設けられている。

次に、端末装置１０の裏面の上部には、アウトカメラ１２２が設けられている。より具体的には、第1上部領域Ｒ１に対応した第２上部領域Ｒ２にアウトカメラ１２２は位置する。インカメラ１２１は、ユーザー側の画像を撮像する一方、アウトカメラ１２２はユーザーと反対に位置する外側の画像を撮像する。

次に、端末装置１０は、上述したスピーカ１２５、近接センサ１１２、インカメラ１２１、及びアウトカメラ１２２の他、ＣＰＵ（Central Processing Unit）、メモリ、マイク及び通信インターフェースなどを備え、携帯電話としての無線通信やインターネットを介したコンテンツの閲覧が可能である。

図３に、端末装置１０の機能構成を示す。この図に示すように端末装置１０は、ユーザーのタッチ操作を受け付けて、タッチ操作に応じた出力操作信号Ｃ２を生成する入力装置１１、コンテンツデータＤを取得するコンテンツ取得部１６０、及びコンテンツデータＤと出力操作信号Ｃ２に基づいて、画像信号Ｇを生成して表示装置２０に供給する表示画像生成部１７０とを備える。

そして、入力装置１１は、傾きセンサ１１１及び近接センサ１１２を含むセンサ部１１０、インカメラ１２１及びアウトカメラ１２２を含む撮像部１２０、端末装置１０の状態を判別する状態判別部１３０、上述した入力操作部１４０並びに入力方向変換部１５０を備える。なお、状態判別部１３０及び入力方向変換部１５０は、ＣＰＵがメモリに記憶されたアプリケーションプログラムを実行することによって実現される。また、アプリケーションプログラムは、例えば、インターネット上のサイトからダウンロードすることによって取得可能である。また、傾きセンサ１１１は、端末装置１０の傾きを検出できるのであれば、どのようなセンサであってもよいが、例えば、３軸の加速度センサを用いることができる。加速度センサによれば、重力加速度の方向を知ることができるので、端末装置１０の傾きを検出できる。また、センサ部１１０は、方位を検出する地磁気センサ、照度を検出する照度センサ、又は圧力を検出する圧力センサを備えてもよい。

入力方向変換部１５０は、状態判別部１３０において判別した端末装置１０の状態に応じて、タッチ操作の入力方向を変換する。本実施形態では、例えば、図４に示す画像を表示装置２０に表示させ、カーソルＣをタッチ操作によって移動させて、各種の操作指示を行う。ここで、カーソルＣを矢印Ｙで示すように下から上に移動させる場合を想定する。
ユーザーの端末装置１０の持ち方によって、図５の左側に示すように端末装置１０の上部とタッチ操作の上が一致する場合と、端末装置１０の上部とタッチ操作の上が逆になる場合がある。なお、図５において矢印Ｙはタッチ操作の方向を示しており、下から上に操作している。以下の説明では、端末装置１０の上部とタッチ操作の上が一致する場合を、入力操作部１４０によって得られたタッチ操作の入力方向をそのまま利用するこができる順方向、端末装置１０の上部とタッチ操作の上が逆になる場合を、入力操作部１４０によって得られたタッチ操作の入力方向を逆の変換する必要がある逆方向と称する。

状態判別部１３０は、センサ部１１０及び撮像部１２０の各々から供給される出力信号に基づいて、端末装置１０の状態を判別する。状態判別部１３０が判別する状態には、以下の態様がある。第１の態様は、図６に示すように端末装置１０が机の上に置かれており、水平な状態にある。第２の態様は、図７に示すようにユーザーが端末装置１０を手に持っている状態である。第３の態様は、図８に示すようにユーザーが端末装置１０をポケットの中に入れている状態である。状態判別部１３０は、第１乃至第３の態様にいずれに該当するかを判別し、更に、端末装置１０の状態が順方向に対応するものであるか、あるいは、逆方向に対応するものであるかを判別する。

より具体的には、第１の態様において、状態判別部１３０は、図９に示すように端末装置１０の上部からユーザーの手が近づく状態か、あるいは端末装置１０の下部からユーザーの手が近づく状態かを判別する。以下の説明では、第１の態様において、端末装置１０の上部からユーザーの手が近づく状態を第１状態、端末装置１０の上部からユーザーの手が近づく状態を第２状態と称する。

また、第２の態様において、状態判別部１３０は、アウトカメラ１２２がユーザーの手で覆われている状態か、あるいは、アウトカメラ１２２がユーザーの手で覆われていない状態かを判別する。以下の説明では、第２の態様において、アウトカメラ１２２がユーザーの手で覆われている状態を第３状態、アウトカメラ１２２がユーザーの手で覆われていない状態を第４状態と称する。この例では、図２に示すようにアウトカメラ１２２が端末装置１０の上部に設けられているので、第３状態ではユーザーが端末装置１０の上部を把持しており、第４状態ではユーザーが端末装置１０の下部を把持しているといえる。

また、第３の態様において、状態判別部１３０は、端末装置１０の上部が地面を向いている状態か、あるいは、端末装置１０の下部が地面を向いている状態かを判別する。以下の説明では、第３の態様において、端末装置１０の上部が地面を向いている状態を第５状態、端末装置１０の下部が地面を向いている状態を第６状態と称する。

次に、第１状態、第３状態、又は第５状態は逆方向に相当する。この場合、入力方向変換部１５０は、入力操作信号Ｃ１の示すタッチ操作の入力方向を変更して出力操作信号Ｃ２を生成する。一方、第２状態、第４状態、又は第６状態は順方向に相当する。この場合、入力方向変換部１５０は、入力操作信号Ｃ１の示すタッチ操作の入力方向を変更せずに出力操作信号Ｃ２を生成する。

ところで、本実施形態におけるタッチ操作は、ユーザーが端末装置１０を視認しなくても入力指示を可能にするものであり、ユーザーが指でタッチした位置のボタンを押下する入力操作とは異なる。即ち、いわゆるトラックパッドを用いた操作と同じであり、カーソルＣを表示させる必要がある。本実施形態のようにコンテンツデータＤを端末装置１０で受信し、コンテンツデータＤに基づいて生成した画像信号ＧをＨＭＤなどの表示装置２０に出力する場合、端末装置１０に対するタッチ操作によってカーソルＣを移動させる点は、マウスなどのポインティングデバイス操作によってカーソルＣを移動させるのと同様である。

このため、図１０に示すようにコンテンツ画面とオーバーレイ用の画面とを合成して合成画面を生成する。カーソルＣは背景が透明なオーバーレイ用の画面に含まれる。ユーザーがタッチパネルなどの入力操作部１４０に対して行うタッチ操作は、オーバーレイ用の画面にのみ反映される。これらの機能は、図３に示す表示画像生成部１７０が担う。カーソル画像生成部１７１は、出力操作信号Ｃ２に基づいてカーソル画像（オーバーレイ用の画面）を生成し、画像合成部１７２に出力する。画像合成部１７２は、コンテンツデータＤの示すコンテンツ画像（コンテンツ画面）とカーソル画像とを合成して画像信号Ｇを生成する。これによって、コンテンツ画像にカーソル画像が重なった画像を得ることができ、タッチ操作の入力方向に応じてカーソルＣを移動させることが可能となる。
また、表示画像生成部１７０は、出力操作信号Ｃ２に基づいて表示画像の制御を行う。例えば、図４において示されるカーソルＣをボタンＢ１に重なるように移動させた状態で、ユーザーが入力面をタップすると１つ前の画像を表示させる。この場合、表示画像生成部１７０は、コンテンツ取得部１６０に一つ前の画像を取得するように要求する。

次に、画像表示システム１の全体動作を図１１に示す。まず、端末装置１０は、状態判別処理を実行する（Ｓ１）。状態判別処理では、端末装置１０の状態判別部１３０が、端末装置１０の状態が上述した第１状態乃至第６状態の何れに該当するかを判別する。次に、端末装置１０の入力方向変換部１５０は、判別結果に基づいてタッチ操作の入力方向を変換して出力操作信号Ｃ２を生成する（Ｓ２）。
この後、表示画像生成部１７０は、コンテンツデータＤに出力操作信号Ｃ２に基づく入力指示を反映させて画像信号Ｇを生成する（Ｓ３）。画像信号ＧがＨＭＤなどの表示装置２０に供給されると、画像が表示される（Ｓ４）。

次に、図１２に示す状態判別部１３０の動作を示すフローチャートを参照して、状態判別処理の内容を説明する。まず、状態判別部１３０は、傾きセンサ１１１の出力信号に基づいて、端末装置１０の傾きが水平を含む所定の角度範囲内にあるか否かを判定する（Ｓ１００）。例えば、端末装置１０の傾きが、水平を基準として±５度の角度範囲内にあるか否かを判定する。ステップＳ１００に判定結果が肯定である場合には、端末装置１０の姿勢は、ほぼ水平となっている。この場合は、図６に示すように端末装置１０が机の上に置かれており、上述した第１の態様に該当する。

次に、状態判別部１３０は、近接センサ１１２の出力信号に基づいて、近接センサ１１２から所定範囲内に物体が有るか否かを判定する（Ｓ１０１）。図９に示すように端末装置１０の上部からユーザーの手が近づき、近接センサ１１２によって手が検知される。一方、端末装置１０の下部からユーザーの手が近づく場合には、近接センサ１１２によって手が検知されない。従って、スッテプＳ１０１の判定結果が肯定である場合、状態判別部１３０は、第１の態様において、端末装置１０の上部からユーザーの手が近づく第１状態であると判別する（Ｓ１０２）。この場合、タッチ操作の入力方向は逆方向であり、入力方向の変換が必要となる。一方、スッテプＳ１０１の判定結果が否定である場合、状態判別部１３０は、第１の態様において、端末装置１０の下部からユーザーの手が近づく第２状態であると判別する（Ｓ１０３）。この場合、タッチ操作の入力方向は順方向であり、入力方向の変換は不要となる。

ステップＳ１００の判定結果が否定の場合、端末装置１０は水平ではないので、上述した第２の態様又は第３の態様であると考えることができる。この場合、状態判別部１３０は、近接センサ１１２から所定範囲内に物体が有るか否かを判定する（Ｓ１０４）。図５に示す第２の態様では、近接センサ１１２を遮るようにユーザーの手やポケットの服地が無い。一方、図６に示す第３の態様では、近接センサ１１２の近傍にはポケットの服地がある。従って、ステップＳ１０４の判定結果が否定である場合、端末装置１０は、第２の態様である一方、ステップＳ１０４の判定結果が肯定である場合、端末装置１０は、第３の態様であると考えることができる。

ステップＳ１０４の判定結果が否定である場合、状態判別部１３０は、アウトカメラ１２２の出力信号に基づいて、アウトカメラ１２２で撮像された画像が暗いか否かを判定する（Ｓ１０５）。より具体的には、アウトカメラ１２２の出力信号を基準レベルと比較し、出力信号が基準レベル未満である場合に、アウトカメラ１２２で撮像された画像が暗いと判定する。ここで、基準レベルは、アウトカメラ１２２を手で覆った場合と、手で覆わない場合とが判別できるように定めればよい。また、アウトカメラ１２２の出力信号を、所定期間、積分し、積分結果と基準レベルを比較してもよい。

アウトカメラ１２２は、図２に示すように端末装置１０の裏面の上部に配置されている。このため、ユーザーが端末装置１０の上部を把持すると、掌がアウトカメラ１２２を覆うので、アウトカメラ１２２で撮像された画像は暗くなる。一方、ユーザーが端末装置１０の下部を把持すると、掌はアウトカメラ１２２を覆わないので、アウトカメラ１２２で撮像された画像は暗くならない。

従って、スッテプＳ１０５の判定結果が否定である場合、状態判別部１３０は、第２の態様において、端末装置１０の上部をユーザーが把持しており、アウトカメラ１２２がユーザーの手で覆われている第３状態であると判別する（Ｓ１０６）。この場合、タッチ操作の入力方向は逆方向であり、入力方向の変換が必要となる。一方、スッテプＳ１０５の判定結果が肯定である場合、状態判別部１３０は、第２の態様において、端末装置１０の下部をユーザーが把持しており、アウトカメラ１２２がユーザーの手で覆われていない第４状態であると判別する（Ｓ１０７）。この場合、タッチ操作の入力方向は順方向であり、入力方向の変換は不要となる。

次に、ステップＳ１０４の判定結果が肯定である場合、状態判別部１３０は、傾きセンサ１１１の出力信号に基づいて、端末装置１０の上部が地面を向いているか否かを判定する（Ｓ１０８）。ステップＳ１０８の判定結果が肯定である場合は、状態判別部１３０は、第３の態様において、端末装置１０の上部が地面を向いている第５状態であると判別する（Ｓ１０９）。この場合、図５の右側に示すように、タッチ操作の入力方向は逆方向となり、入力方向の変換が必要となる。一方、ステップＳ１０８の判定結果が否定である場合は、状態判別部１３０は、第３の態様において、端末装置１０の下部が地面を向いている第６状態であると判別する（Ｓ１１０）。この場合、図５の左側に示すように、タッチ操作の入力方向は順方向となり、入力方向の変換が不要となる。

上述したように本実施形態においては、端末装置１０の状態をセンサ部１１０の出力信号や撮像部１２０の出力信号に基づいて判別し、判別結果に応じてタッチ操作の入力方向を変換したので、ユーザーは端末装置１０を視認することなく、操作指示を入力することが可能になる。
また、端末装置１０の状態を判別するために用いた傾きセンサ１１１、近接センサ１１２、アウトカメラ１２２は、スマートホンなどでは、通常用いられる構成要素である。従って、新たな構成要素を追加することなく、端末装置１０の状態を判別することが可能となる。

＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば、以下に述べる各種の変形が可能である。
（１）上述した実施形態では、ユーザーが端末装置１０のどの部分を把持したかを特定するために、アウトカメラ１２２の出力信号に基づいて判別を行ったが（図１２に示すＳ１０５）、本発明はこれに限定されるものではなく、把持した部分が特定できるのであれば、どのようなセンサを用いてもよい。例えば、端末装置１０の上部側面、あるいは下部側面に圧力センサを設け、圧力センサの出力信号に基づいて、ユーザーが把持している部分を判別してもよい。

（２）上述した実施形態では、端末装置１０に表示画像生成部１７０とコンテンツ取得部１６０とを設けたが、本発明はこれに限定されるものではなく、それらのうち少なくとも一方を表示装置２０に設けてもよい。例えば、インターネットに接続可能なディスプレイを表示装置２０として用いる場合には、表示画像生成部１７０及びコンテンツ取得部１６０を表示装置２０に設けることが好ましい。この場合、端末装置１０から表示装置２０へ出力操作信号Ｃ２を供給すればよい。
また、表示装置２０がパーソナルコンピュータとプロジェクタとから構成されてもよい。プレゼンテーションでは、ユーザーは視聴者やプロジェクタによって映し出された画面を見ながらプレゼンテーション進行させることが好ましい。このような場合、パーソナルコンピュータにコンテンツが蓄積するコンテンツ蓄積部と表示画像生成部１７０が配置されている。この場合、ユーザーは端末装置１０を用いて各種の操作指示を入力するが、ユーザーは端末装置１０を見る必要がなく、プレゼンテーションに集中することができる。

（３）上述した実施形態では、近接センサ１１２が第１上部領域Ｒ１に設けられており、アウトカメラ１２２が第２上部領域Ｒ２に設けられていたが本発明は、これに限定されるものではなく、ユーザーの手がどの方向から近づくのか、あるいは、ユーザーが端末装置１０のどの部分を把持しているのかを判定できるのであれば、どこに配置してもよい。例えば、近接センサ１１２を図１３に示すように端末装置１０に表面の下部に配置してもよい。この場合、図１２に示すステップＳ１０１の判定結果が肯定である場合、第２状態と判別し、判定結果が否定である場合、第１状態と判別すればよい。
また、例えば、アウトカメラ１２２を図１４に示すように端末装置１０に裏面の下部に配置してもよい。この場合、図１２に示すステップＳ１０５の判定結果が肯定である場合、第４状態と判別し、判定結果が否定である場合、第３状態と判別すればよい。
なお、実施形態で説明したように近接センサ１１２が当該端末装置１０の上部に配置される場合、入力方向変換部１５０は、第１状態において入力操作信号Ｃ１の示すタッチ操作の入力方向を逆方向に変換し、第２状態において入力操作信号の示すタッチ操作の入力方向を変更せずに出力操作信号Ｃ２を生成することが好ましい。
また、アウトカメラ１２２（撮像部１２０）が当該端末装置１０の上部に配置される場合、入力方向変換部１５０は、第３状態において入力操作信号Ｃ１の示すタッチ操作の入力方向を逆方向に変換し、第４状態において入力操作信号Ｃ１の示すタッチ操作の入力方向を変更せずに出力操作信号Ｃ２を生成することが好ましい。

（４）上述した実施形態においては、状態判別処理において、まず、端末装置１０の傾きが所定の角度範囲内にあるか否かを判定したが（図１２に示すＳ１００）、水平状態におけるユーザーの手が近づく方向を判定しないのであれば、ステップＳ１００〜Ｓ１０３を省略してもよい。即ち、ステップＳ１００は必須ではない。
また、実施形態では、ステップＳ１０４の後にステップＳ１０５を実行したが、逆の順序であってもよい。但し、アウトカメラ１２２の出力信号を用いる場合には電力を消費するので、所費電力を削減する観点からは、ステップＳ１０４の後にステップＳ１０５を実行し、ステップＳ１０５を実行する際に、アウトカメラ１２２に電源を供給することが好ましい。

１０…端末装置、２０…表示装置、１１１…傾きセンサ、１１２…近接センサ、１２０…撮像部、１３０…状態判別部、１４０…入力操作部、１５０…入力方向変換部、１７１…カーソル画像生成部、１７２…画像合成部、Ｃ１…入力操作信号、Ｃ２…出力操作信号、Ｇ…画像信号。

Claims (7)

1. ユーザーの入力面に対するタッチ操作に応じた入力操作信号を出力する入力操作部と、
   当該端末装置の傾きを検出する傾きセンサと、
   前記入力面と同一の面に設けられ、物体が近づいたことを検出する近接センサと、
   前記傾きセンサの出力信号及び前記近接センサの出力信号に基づいて、当該端末装置の状態として、当該端末装置の傾きが水平を含む所定の角度範囲内にあり、且つ物体が前記近接センサから所定範囲内にある第１状態と、当該端末装置の傾きが前記所定の角度範囲内にあり、且つ物体が前記近接センサから前記所定範囲内にない第２状態とを判別する状態判別部と、
   前記状態判別部の判別結果が前記第１状態であるか前記第２状態であるかに応じて、前記入力操作信号の示すタッチ操作の入力方向を変換した出力操作信号を生成する入力方向変換部とを、
   備えることを特徴とする端末装置。
2. ユーザーの入力面に対するタッチ操作に応じた入力操作信号を出力する入力操作部と、
   前記入力面と同一の面に設けられ、物体が近づいたことを検出する近接センサと、
   記前入力面と反対側の面に設けられ、画像を撮像する撮像部と、
   前記近接センサの出力信号及び前記撮像部の出力信号に基づいて、当該端末装置の状態として、物体が前記近接センサから所定範囲内にあり、且つ前記撮像部がユーザーの手で覆われている第３状態と、物体が前記近接センサから所定範囲内にあり、且つ前記撮像部がユーザーの手で覆われていない第４状態とを判別する状態判別部と、
   前記状態判別部の判別結果が前記第３状態であるか前記第４状態であるかに応じて、前記入力操作信号の示すタッチ操作の入力方向を変換した出力操作信号を生成する入力方向変換部とを、
   備えることを特徴とする端末装置。
3. 当該端末装置の傾きを検出する傾きセンサを備え、
   前記状態判別部は、前記近接センサの出力信号及び前記傾きセンサの出力信号に基づいて、当該端末装置の状態として、物体が前記近接センサから所定範囲内にあり、且つ当該端末装置の上部が地面を向いている第５状態と、物体が前記近接センサから所定範囲内にあり、且つ当該端末装置の下部が地面を向いている第６状態とを判別し、
   前記入力方向変換部は、前記状態判別部の判別結果が前記第５状態であるか前記第６状態であるかに応じて、前記入力操作信号の示すタッチ操作の入力方向を変換した出力操作信号を生成する、
   ことを特徴とする請求項２に記載の端末装置。
4. 前記出力操作信号に基づいてカーソルを示すカーソル画像を生成するカーソル画像生成部と、
   コンテンツ画像と前記カーソル画像とを合成した画像を示す画像信号を生成する画像合成部とを備える、
   ことを特徴とする請求項１乃至３のうちいずれか１項に記載の端末装置。
5. 請求項１乃至３のうちいずれか１項に記載の端末装置と、
   画像を表示すると共に、前記出力操作信号に基づいて、表示する画像を制御する表示装置と、
   を備えた画像表示システム。
6. ユーザーの入力面に対するタッチ操作に応じた入力操作信号を出力する入力操作部と、 当該端末装置の傾きを検出する傾きセンサと、前記入力面と同一の面に設けられ、物体が近づいたことを検出する近接センサと、コンピュータとを備えた端末装置のプログラムであって、
   前記コンピュータを、
   前記傾きセンサの出力信号及び前記近接センサの出力信号に基づいて、当該端末装置の状態として、当該端末装置の傾きが水平を含む所定の角度範囲内にあり、且つ物体が前記近接センサから所定範囲内にある第１状態と、当該端末装置の傾きが前記所定の角度範囲内にあり、且つ物体が前記近接センサから前記所定範囲内にない第２状態とを判別する状態判別部と、
   前記状態判別部の判別結果が前記第１状態であるか前記第２状態であるかに応じて、前記入力操作信号の示すタッチ操作の入力方向を変換した出力操作信号を生成する入力方向変換部として、機能させる、
   ことを特徴とする端末装置のプログラム。
7. ユーザーの入力面に対するタッチ操作に応じた入力操作信号を出力する入力操作部と、 前記入力面と同一の面に設けられ、物体が近づいたことを検出する近接センサと、記前入力面と反対側の面に設けられ、画像を撮像する撮像部と、コンピュータとを備えた端末装置のプログラムであって、
   前記近接センサの出力信号及び前記撮像部の出力信号に基づいて、当該端末装置の状態として、物体が前記近接センサから所定範囲内にあり、且つ前記撮像部がユーザーの手で覆われている第３状態と、物体が前記近接センサから所定範囲内にあり、且つ前記撮像部がユーザーの手で覆われていない第４状態とを判別する状態判別部と、
   前記状態判別部の判別結果が前記第３状態であるか前記第４状態であるかに応じて、前記入力操作信号の示すタッチ操作の入力方向を変換した出力操作信号を生成する入力方向変換部として、機能させる、
   ことを特徴とする端末装置のプログラム。
   

Images