JP2012108800A - 表示装置、表示装置の制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザの操作性及び視認性を維持しつつ、透視投影図法における消失点を基準にして画像の内容を変更する。
【解決手段】表示装置１０はタッチスクリーン１１Ｄに対する操作に応じて消失点を基準とした画像の内容の変更処理を行うので、例えばユーザがタッチスクリーンを傾ける必要も無く、ユーザの視認性が悪くなることもない。また、表示装置１０は、消失点を通る消失線に沿った方向の操作がなされたときにその消失点を基準とした画像の内容の変更処理を行うので、消失線とは全く異なる方向の操作がなされたときに消失点を基準とした画像の内容の変更処理を行うというようなケースと比較すると、ユーザの操作方向の基準と画像の変更内容の基準とが一致しているので、ユーザにとっては自然な感覚で操作することができる。
【選択図】図４

Description

本発明は、表示装置、表示装置の制御方法及びプログラムに関する。

携帯電話機やＰＤＡ（Personal Digital Assistant）等の表示装置においては、様々な方法で行われた操作を検知し、検知した操作の内容に応じて各種処理を実行する技術がある。例えば特許文献１には、携帯機器に搭載された３軸加速度センサを用いてその携帯機器の傾きを検知し、検知した傾きに応じて表示内容を拡大又は縮小させる技術が開示されている。

特開２００８−７７６５５号公報

ところで、３次元空間において或る視点から物体を観察したとおりに２次元平面に描画する図法のことを、透視投影図法と呼んでいる。この透視投影図法を用いて画像が表示されている状態において、その画像の内容を変更することで、上述した視点の位置が画像の奥行き方向及びその逆方向にあたかも移動したかのように表示するといった場合や、ユーザから見て手前側から奥行き方向に配置されている画像オブジェクトの位置が変わったかのように表示するといった場合がある。これらの表示処理はいずれも、透視投影図法における消失点と呼ばれるものを基準としてなされる。

ここで、例えば特許文献１に記載の技術を転用すれば、加速度センサが検知した傾きに応じて上記のような表示処理を行うということも可能である。しかし、特許文献１に記載の技術では、表示装置を大きく傾けてしまうと、表示面に対する視線方向の角度が小さくなり、表示面の視認性が損なわれてしまう。また、表示装置の傾き方向と画像の奥行き方向とは必ずしも同一直線上にはないため、ユーザが表示装置を傾けるという操作内容と画像の変更内容とが感覚的に一致しないという問題も考えられる。このように、特許文献１の技術を転用することで、消失点を基準として画像の内容を変更しようとした場合には、ユーザにとっての操作性及び視認性が良好であるとはいえない。

本発明は上述の背景を鑑みてなされたものであり、その目的は、ユーザの操作性及び視認性を維持しつつ、透視投影図法における消失点を基準にして画像の内容を変更し得る仕組みを提供することにある。

上記課題を解決するため、本発明は、画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段と、透視投影図法で表現された透視投影画像を前記表示面に表示させる表示制御手段と、前記表示面に表示された前記透視投影画像において、前記ユーザの操作によって指定された点と透視投影図法における消失点とを結ぶ消失線を特定する特定手段とを備え、前記表示制御手段は、特定された前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記消失点を基準にして前記透視投影画像の内容を変更することを特徴とする表示装置を提供する。

前記表示制御手段は、複数の画像オブジェクトを含む前記透視投影画像を前記表示面に表示させ、前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更するようにしてもよい。

さらに前記表示制御手段は、前記消失線に沿った方向のフリック操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更するようにしてもよい。

またさらに、前記表示制御手段は、前記消失線に沿った方向の操作であって、前記複数の画像オブジェクトのいずれをも指定しないドラッグアンドドロップ操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更するようにしてもよい。

また、本発明において、前記表示制御手段は、複数の画像オブジェクトを含む前記透視投影画像を前記表示面に表示させ、前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記複数の画像オブジェクトのいずれかの表示位置を、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変更するようにしてもよい。

さらに、前記表示制御手段は、前記消失線に沿った方向の操作であって、前記複数の画像オブジェクトのいずれかを指定したドラッグアンドドロップ操作が前記操作手段によって受け付けられると、指定された当該画像オブジェクトの表示位置を前記ドラッグアンドドロップ操作により指定された量だけ前記奥行き方向又はその逆方向に沿って変更するようにしてもよい。

また、本発明において、前記表示制御手段は、２つの消失点を含む前記透視投影画像を前記表示面に表示させ、前記操作手段によって受け付けられた操作が、各々の前記消失点を基準にして前記特定手段によって特定された２つの消失線のいずれにも沿った方向の操作である場合、前記操作に応じて前記複数の画像オブジェクトの表示位置を変更するときに基準とする消失点を特定し、特定した消失点を基準にして前記透視投影画像の内容を変更するようにしてもよい。

また、本発明において、前記表示制御手段は、ユーザに対して、操作の方向と、当該操作を行ったときに変更される前記透視投影画像の内容とを案内する画像を前記表示面に表示させるようにしてもよい。

さらに、本発明は、画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段を有する表示装置の制御方法であって、透視投影図法で表現された透視投影画像が前記表示面に表示されているときに前記操作手段によってユーザの操作が受け付けられた場合に、前記操作の方向が、当該操作によって指定された点と透視投影図法における消失点とを結ぶ消失線に沿った方向であれば、前記消失点を基準にして前記透視投影画像の内容を変更して前記表示面に表示させる工程を備えることを特徴とする制御方法を提供する。

また、本発明は、画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段を有するコンピュータを、透視投影図法で表現された透視投影画像を前記表示面に表示させる表示制御手段と、前記表示面に表示された前記透視投影画像において、前記ユーザの操作によって指定された点と透視投影図法における消失点とを結ぶ消失線を特定する特定手段として機能させ、前記表示制御手段が、特定された前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記消失点を基準にして前記透視投影画像の内容を変更させるプログラムを提供する。

本発明によれば、ユーザの操作性及び視認性を維持しつつ、透視投影図法における消失点を基準にして画像の内容を変更することが可能となる。

本発明の実施形態に係る表示装置の外観を示した正面図である。 同実施形態に係る表示装置のハードウェア構成を示したブロック図である。 同実施形態における処理テーブルの一例を示した図である。 同実施形態において消失点が１つの場合の動作を表す模式図である。 同実施形態においてユーザによる操作が消失線に沿ったものであるかを判定する方法を説明する模式図である。 同実施形態において消失点が１つの場合のフローチャートである。 同実施形態において消失点が２つの場合の動作を表す模式図である。 同実施形態において消失点が２つの場合のフローチャートである。 変形例１においてアシスト表示を行う際の模式図である。

以下、本発明の実施形態について説明する。
＜構成＞
図１は、本発明の一実施形態に係る表示装置１０の外観を示した図である。
表示装置１０は、表示面及びタッチセンサからなる長方形のタッチスクリーン１１Ｄ及び操作子１４１Ａ〜１４１Ｃを有するコンピュータであり、例えばＰＤＡ、スマートフォン、無線ＬＡＮ（Local Area Network）端末、ゲーム機、パーソナルコンピュータなどの電子機器である。ユーザは、タッチスクリーン１１Ｄ及び操作子１４１Ａ〜１４１Ｃを指やスタイラスペンで触れることで表示装置１０を操作することができるようになっている。

図２は、表示装置１０のハードウェア構成を示したブロック図である。なお、同図には表示装置１０が最低限備えるべき構成を示しており、図示したもの以外の構成を備えていてもよいことはもちろんである。同図に示すように、表示装置１０は、制御部１１０、記憶部１２０、表示部１３０、及び操作部１４０を備えている。制御部１１０は、ＣＰＵ（Central Processing Unit）などの演算処理装置と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などの記憶装置とを備える。制御部１１０のＣＰＵが、ＲＡＭをワークエリアとして、ＲＯＭや記憶部１２０などに記憶されたプログラムを実行することによって、表示装置１０の各部の動作が制御される。また、制御部１１０はシステムクロックに基づいて現在時刻を計測する計時機能なども備えている。

表示部１３０は、例えば液晶ディスプレイ等の表示面１３１と、表示面１３１の制御を行う制御回路とを有しており、制御部１１０から供給されるデータに応じた画像を表示面１３１に表示させる。この表示面１３１は、長方形の形状であり、ＸＹ直交座標系が設定されている。このＸＹ直交座標系の原点Ｐは、表示面１３１の４隅のうちのいずれか（図１においては左上隅）に位置している。この原点Ｐを含む、表示面１３１の２辺のうち、一方の辺（ここでは表示面１３１の短手方向の辺）がＸ軸に対応し、他方の辺（ここでは表示面１３１の長手方向の辺）がＹ軸に対応している。

操作部１４０は、ユーザの操作を受け付ける操作子１４１Ａ〜１４１Ｃ及びタッチセンサ１４１Ｄを有している。操作子１４１Ａ〜１４１Ｃは、表示装置１０の正面側にＸ軸方向に並べて配置されており、ユーザの操作に応じた信号を制御部１１０へ出力する。タッチセンサ１４１Ｄは、表示部１３０の表示面１３１の全体を覆うようにその表示面１３１に重ねられた状態で配置されており、その大きさ及び形状は前述した表示面１３１の大きさ及び形状とほぼ同じである。このタッチセンサ１４１Ｄは光を透過する材料で構成されており、表示面１３１に表示された画像はタッチセンサ１４１Ｄを透過してユーザに視認されるようになっている。前述した表示面１３１と同様に、このタッチセンサ１４１Ｄにも、ＸＹ直交座標系が設定されている。つまり、ＸＹ直交座標系の原点Ｐは、タッチセンサ１４１Ｄの４隅のうちのいずれか（ここでは図の左上隅）に位置している。この原点Ｐを含む、タッチセンサ１４１Ｄの２辺のうち、一方の辺（ここではタッチセンサ１４１Ｄの短手方向の辺）がＸ軸に対応し、他方の辺（ここではタッチセンサ１４１Ｄの長手方向の辺）がＹ軸に対応している。これらＸ軸及びＹ軸と直交する直線をＺ軸とする。

このタッチセンサ１４１Ｄは、指やスタイラスペンの先端が接触したか否かを所定のサンプリング周期で検知し、その接触位置（操作点という）を示す座標を制御部１１０へ出力する。また、タッチセンサ１４１Ｄは、操作点が移動された場合にも、移動された期間において、操作点を示す座標を制御部１１０へ出力し続ける。以降の説明において、タッチセンサ１４１Ｄの表面を、ユーザが指などで瞬間的に触れて払うようにタッチする操作を、「フリック」と称する。また、タッチセンサ１４１Ｄの表面における或る箇所をユーザが指などで一定期間以上触れた後に、この指を任意の距離だけスライドさせてから離す操作を、「ドラッグ＆ドロップ」と称する。両者の操作の違いは、ドラッグ＆ドロップには、ユーザが最初に閾値以上の期間だけタッチセンサ１４１Ｄの同一箇所に触れるという動作が含まれるのに対し、フリックにはそのような動作が含まれないこと、そして、ドラッグ＆ドロップにおいてはユーザが操作し終わる終点の位置に応じて処理が異なるのに対して、フリックにおいてはユーザが操作し終わる終点の位置に応じて処理が異なるということがないということである。このタッチセンサ１４１Ｄは、画像を表示する表示面に重ねられその画像を透過してユーザに視認させるとともに、ユーザの操作を受け付ける操作手段として機能する。

このように、タッチセンサ１４１Ｄ及び表示面１３１には、共通のＸＹ直交座標系が設定されており、タッチセンサ１４１Ｄによって出力される操作点の位置及び表示面１３１によって表示される画像の位置のいずれもが、共通のＸＹ直交座標系で規定されるようになっている。これら表示面１３１及びタッチセンサ１４１Ｄによってタッチスクリーン１１Ｄが構成されている。なお、以下の説明においては、矢印Ｘが指す方向をＸ軸方向といい、矢印Ｙが指す方向をＹ軸方向というものとする。

記憶部１２０は、例えばフラッシュメモリやハードディスク等の不揮発性の記憶手段であり、各種のデータを記憶している。記憶部１２０に記憶されているデータには、制御部１１０が実行するプログラムに加え、タッチスクリーン１１Ｄに対するユーザの操作の内容と表示装置１０が行う処理の内容とを対応付けた処理テーブル１２１や各種の閾値などが含まれる。図３は、特にユーザの操作がフリックであった場合の処理の内容が記述された処理テーブル１２１を図示したものであり、操作の内容に相当する「フリック速度」と、処理の内容に相当する「奥行き制御量」というフィールドを有している。

ここで、図４に例示した表示面１３１の表示内容を参照しながら、図３の処理テーブル１２１の内容について説明する。まず、消失点及び消失線という用語について説明する。消失点とは、複数の画像オブジェクトを含む画像が透視投影図法によって表示面１３１に表示される場合において、その画像オブジェクトが遠くになるほど小さくなりやがては点に収束してしまう、その点のことを言う。具体的には、３次元空間において実際には平行線になっている部分を２次元平面で奥行き方向に延長した直線どうしが交わる交点が消失点である。表示されている画像において、消失点は１つのみの場合もあるし、複数存在する場合もある。そして、消失線とは、この消失点を通過する直線のことであり、２次元平面上で消失点以外の点を指定すると、その点と消失点を結ぶ消失線が与えられる。このため、消失線の向きは、指定される点によって変わる。

図４（ａ）は、画像オブジェクトの一例に相当するアイコンが、一点透視投影図法で表現された透視投影画像においてその奥行き方向に沿って順番に配置されている様子を表示した例を示している。各アイコンの右上隅の位置を結んだ点線及び左上隅の位置を結んだ点線が消失線の一例であり、これらの消失線が交わった点が消失点である。図４においては、説明を簡便にするために、２本の消失線のみを例示しているが、上記のとおり消失線は指定される点によって異なるため、実際は無数の消失線が存在している。以降において、図４のように透視投影図法により複数の画像オブジェクトが並べて表示される場合、消失点から遠ざかる方向がユーザから見ると手前方向であるため、これを「手前」、「手前側」又は「手前方向」と呼び、消失点に近づく方向がユーザから見ると奥方向であるため、これを「奥」、「奥側」又は「奥行き方向」と呼ぶ。

ここで、制御部１１０が、フリック又はドラッグ＆ドロップという操作に応じて行う処理の内容について説明する。ユーザが、指などでタッチセンサ１４１Dに触れた場合、この触れられた位置（つまり、操作の始点）と消失線とを結んだ消失線が特定される。つまり、本実施形態では、ユーザがフリック又はドラッグ＆ドロップという操作を行うときに最初に操作を開始した始点を、消失点を一意に決めるためにユーザが指定した点とみなす。ユーザが、この消失線に沿った方向にフリック又はドラッグ＆ドロップを行うと、制御部１１０は、消失点を基準として画像の内容を変更する。逆に、ユーザがフリック又はドラッグ＆ドロップを行っても、その操作方向が、消失線に沿った方向でないと、制御部１１０は、消失点を基準として画像の内容を変更する処理を行わない。ここで、消失点を基準として画像の内容を変更する処理には、透視投影図法における視点の位置が、消失点を基準とした奥行き方向及びその逆方向に移動したかのように表示するといった処理と、画像オブジェクトの表示位置が消失点を基準とした奥行き方向またはその逆方向に沿って変わったかのように表示するといった処理とが含まれる。以降、前者のことを、画像に対する視点位置の変更と呼び、後者のことを、画像の奥行き方向における表示位置の変更と呼ぶ。このように、制御部１１０は、透視投影図法における消失点を通る消失線を特定する特定手段、及び透視投影図法で表現された透視投影画像を表示面に表示させると共に、特定された消失線に沿った方向の操作が操作手段によって受け付けられると、消失点を基準にして透視投影画像の内容を変更する表示制御手段として機能する。

図４（ｂ）は、ユーザが図４（ａ）において、矢印Ａで示されるように、消失線に沿った方向且つ手前に向かってフリックした後の表示内容を表している。このようなフリックが行われた場合、制御部１１０は、画像に対する視点位置を変更する。具体的には、図４（ｂ）に示すように、画像に対する視点位置がアイコン１つ分の距離だけ奥に移動することで、「○」と表記されたアイコンが表示されなくなると共に、「△」と表記されたアイコンが最も手前側に表示され、さらに、最も奥に「×」と表記されたアイコンが新たに表示される。制御部１１０が画像に対する視点位置を変更する際に、アイコン幾つ分をその移動距離とするか（これを奥行き制御量という）はフリック速度の大きさに応じて決まっている。フリック速度とは、ユーザがフリックを行うときに、タッチセンサ１４１Ｄ上を接触した状態で移動する指の移動速度のことである。

前掲した図３に示すように、処理テーブル１２１においては、フリック速度が遅い程、奥行き制御量が少なくなるように、又、フリック速度が速い程、奥行き制御量が多くなるように設定されている。具体的には、フリック速度は、遅い、中程度、速い、の３段階に区分されており、例えば速い速度でフリックが行われると、アイコン３つ分だけ画像に対する視点位置が変更されるし、遅い速度でフリックが行われると、アイコン１つ分だけ画像に対する視点位置が変更される。例えば図４（ａ）では、アイコン１つ分だけ画像に対する視点位置が奥行き方向に変更されているから、ユーザが遅い速度で且つ消失点から遠ざかる方向にフリックを行ったということを意味している。

フリック速度の求め方は以下のとおりである。上述したように、タッチセンサ１４１Ｄは、操作点を示す座標を所定のサンプリング周期で制御部１１０へ出力している。ここで、フリックの速度が速い程、時間的に連続して出力された２つの座標間の距離（操作点間隔という）は長くなる。逆に、フリックの速度が遅いと、操作点間隔は短いものとなる。制御部１１０は、この操作点間隔の長さに基づいてフリック速度を算出する。より具体的には、制御部１１０は、ユーザがタッチセンサ１４１Ｄに指で触れた視点からタッチセンサ１４１Ｄから指を離した終点までにおいて全ての操作点間隔を求め、その平均値を算出する。そして、制御部１１０は、予め３段階に区分された操作点間隔の範囲に、算出した平均値を当てはめて、フリック速度が遅いか、中程度か、速いかを特定する。

このように、ユーザはフリックの速度を変えることで、画像に対する視点位置を変更するときの量をコントロールすることが可能であるため、例えばあたかも実際に紙をめくる動作を行うときのように、実体のあるものをユーザ自身の指で動かしているときに感じる自然な操作感を得ることが可能となる。なお、図４（ａ）においては、手前側にフリックした場合を例示しているが、奥側にフリックすることも勿論可能である。この場合、最も手前に表示されていたアイコンが、フリック速度に応じた奥行き制御量の分だけ奥側の位置に表示されるとともに、手前に仮想的に存在していて、フリックが行われるまでは表示されていなかったアイコンが最も手前に新たに表示されることとなる。つまり、フリックの方向と、画像に対する視点位置を変更する方向は、逆の関係である。

次に、図４（ｃ）は、ユーザが図４（ａ）において「△」と表記されたアイコンを、矢印Ｂで示されるように、消失線に沿った方向且つ手前に向かってドラッグ＆ドロップした後の表示内容を表している。このように、アイコンの表示領域内の位置を始点としてドラッグ＆ドロップが行われた場合、制御部１１０は、そのアイコンが指定されたと判断して、そのアイコンについて、画像の奥行き方向における表示位置を変更する。図４（ｃ）の場合、「△」と表記されたアイコンの表示位置が、図４（ａ）に比べてアイコン１つ分だけ手前に変更されている。具体的には、「△」が表記されたアイコンと、そのアイコンの１つ奥に表示されている、「○」と表記されたアイコンとの位置が入れ替わって表示される。つまり、アイコンの表示領域内の位置を始点としてドラッグ＆ドロップが行われた場合、制御部１１０は、ドラッグ＆ドロップの始点に表示されているアイコンを、ドラッグ＆ドロップの終点の位置に移動させて表示する。このような、ドラッグ＆ドロップの操作の内容と、画像の奥行き方向における表示位置を変更するという処理の内容とが、互いに対応付けられて記憶部１２０に記憶されている。

次に、図４（ｄ）は、ユーザが図４（ａ）においてアイコンを指定せずに、矢印Ｃで示されるように、消失線に沿った方向且つ手前に向かってドラッグ＆ドロップした場合を表している。このように、アイコンの表示領域外の位置を始点としてドラッグ＆ドロップが行われた場合、制御部１１０は、画像に対する視点位置を変更する。具体的には、図４（ｄ）に示すように、画像に対する視点位置がアイコン２つ分だけ奥に移動することで、「○」及び「△」がそれぞれ表記されたアイコンが表示されなくなると共に、「□」と表記されたアイコンが最も手前側で表示され、その奥に「×」と表記されたアイコンが新たに表示され、さらにその奥に「◇」と表記されたアイコンが新たに表示される。つまり、アイコンが表示されていない位置を始点としてドラッグ＆ドロップが行われた場合、制御部１１０は、ドラッグ＆ドロップの始点に最も近いアイコンが、ドラッグ＆ドロップの終点に最も近いアイコンの表示位置に表示されるように、画像に対する視点位置を変更する。アイコンを指定しないドラッグ＆ドロップの方向と、画像に対する視点位置を変更する方向も、逆の関係である。このような、ドラッグ＆ドロップの操作の内容と、画像に対する視点位置を変更するという処理の内容とが、互いに対応付けられて記憶部１２０に記憶されている。

ここで、ユーザによる操作が消失線に沿ったものであるかの判定するときの詳細について、図５を参照して説明する。これまで述べたように、ユーザがフリック又はドラッグ＆ドロップを行っても、その操作の方向が消失線に沿った方向でないと、制御部１１０は、消失点を基準にして画像の内容を変更するという処理を行わない。そこで、制御部１１０は、以下のようにしてユーザによる操作が消失線に沿ったものであるかを判定する。消失点ＶＰは、表示装置１０に表示される画像毎に予め定められている。プログラマは、透視投影図法で表現される画像のレイアウトを設計する段階で消失点ＶＰを決めているはずだから、その消失点ＶＰのＸＹ座標を各画像のプロファイルに記述しておく。制御部１１０はこのプロファイルから消失点ＶＰのＸＹ座標を読み出す。この消失点ＶＰは、表示装置１０のタッチスクリーン１１Ｄ上に存在してもよいし、タッチスクリーン１１Ｄの領域外において仮想的に定められてもよい。図５の例では、タッチスクリーン１１Ｄの領域外に、仮想的に消失点ＶＰが定められている。なお、図５においては説明の便宜上、消失点ＶＰを、ある大きさを持った円として表しているが、実際には消失点ＶＰは、１つの仮想的なＸＹ座標を持つ点である。

図５において、Ｆ１は、ユーザがフリックを行ったときに指がタッチセンサ１４１Ｄ上を移動した軌跡（フリック軌跡という）である。制御部１１０は、フリック軌跡Ｆ１の始点と消失点ＶＰとを通る直線を消失線ＶＬ３とし、フリック軌跡Ｆ１と消失線ＶＬ３とがその交点において成す２種類の角度のうち、小さいほうの角度θ１を算出する。ここで、フリック軌跡Ｆ１が必ずしも直線ではないことに鑑みれば、角度θ１は、上記交点におけるフリック軌跡Ｆ１の接線と、消失線ＶＬ３とが成す角度ということになる。つまり、フリックの方向とは、上記交点におけるフリック軌跡Ｆ１の接線方向に沿った方向である。制御部１１０は、算出した角度θ１が予め記憶部１２０に記憶されている閾値よりも小さければ、フリック軌跡Ｆ１を、消失線に沿った操作であると判断する。そして制御部１１０は、フリック軌跡Ｆ１におけるフリック速度と処理テーブル１２１とに基づいて、画像に対する視点位置の変更を行う。なお、制御部１１０が角度θ１を算出するにあたっては、以下のようにすればよい。消失線ＶＬ３は直線であるから一次方程式で表すことが可能である。また、フリック軌跡Ｆ１についても、その始点から終点を結ぶ直線として、一次方程式で表せる。ここで、両者の連立方程式の解として、交点のＸＹ座標が求まる。後は三角関数を用いることで、交点の角度を求めればよい。

図５において、Ｄ１は、ユーザがアイコンの表示領域以外の位置を始点としてドラッグ＆ドロップを行ったときに指がタッチセンサ１４１Ｄ上を移動した軌跡（ドラッグ軌跡という）である。また、消失線ＶＬ６は、ドラッグ軌跡Ｄ１の始点を通る消失線である。この場合も、上記フリックの場合と同様の処理が行われる。ここで、ドラッグ軌跡Ｄ１と消失線ＶＬ２とがその交点において成す角度θ２が、予め記憶部１２０に記憶されている閾値よりも小さかった場合、制御部１１０は、ドラッグ軌跡Ｄ１を、消失線上に沿った操作であると判断する。そして制御部１１０は、ドラッグ軌跡Ｄ１における始点に最も近いアイコンが、ドラッグ軌跡Ｄ１の終点に最も近いアイコンの表示位置に表示されるように、画像に対する視点位置を変更する。なお、上述したθ１とθ２とは同じ値であってもよいし、異なる値であってもよい。

＜動作＞
次に実施形態の動作について説明する。
＜消失点が１つの場合＞
図６は、消失点が１つの場合に制御部１１０が実行する処理の手順を示したフローチャートである。制御部１１０は、タッチスクリーン１１Ｄをユーザがタッチする操作があると（ステップＳ１０；ＹＥＳ）、上述した方法によって、その始点を通る消失線を特定する（ステップＳ２０）。次に、制御部１１０は、このユーザの操作が、消失線に沿ったフリック又はドラッグ＆ドロップであるかを判定する（ステップＳ３０）。制御部１１０は、ユーザの操作が消失線に沿ったフリック又はドラッグ＆ドロップであると判定すると（ステップＳ３０；ＹＥＳ）、次に、その操作が特にフリックであるか否かを判定する（ステップＳ４０）。一方、ステップＳ３０で、ユーザの操作が消失線に沿ったフリック又はドラッグ＆ドロップではないと判定すると（ステップＳ３０；ＮＯ）、制御部１１０は、その操作に対応した処理を行い（ステップＳ１２０）、ステップＳ１０の処理に戻る。

ステップＳ１２０における処理は、消失点を基準にして画像の内容を変更する処理以外の処理であり、例示すると、次のとおりである。例えば複数の写真のサムネイル画像（オブジェクト画像）が透視投影図法で表示されている場合において、ユーザが、或るサムネイル画像を消失線に沿わない方向（例えばＸ軸方向）にドラッグ＆ドロップしたときには、制御部１１０は、メーラを起動させ、メールにサムネイル画像に対応する写真の画像データを添付する。その他にも例えば、静止画や動画に対応するサムネイル画像が透視投影図法により表示されている場合において、ユーザが或るサムネイル画像を消失線に沿わない方向（例えばＹ軸方向）にフリックした場合、制御部１１０は、そのサムネイル画像に対応する静止画を拡大して表示したり、そのサムネイル画像に対応する動画を専用のアプリケーションで再生するようにしてもよい。ステップＳ１２０におけるこのような処理は、予め定められていてもよいし、ユーザによりその内容が変更可能であってもよい。

さて、ステップＳ４０において、ユーザの操作がフリックと判定した場合（ステップＳ４０；ＹＥＳ）、制御部１１０は、そのフリックの方向を特定し、操作点間隔に基づいてフリック速度を算出する（ステップＳ５０）。そして、制御部１１０は、算出したフリック速度と処理テーブル１２１の内容とに基づいて奥行き制御量を特定する（ステップＳ６０）。そして制御部１１０は、タッチスクリーン１１Ｄに表示される画像の表示態様を変更する（ステップＳ１１０）。すなわち、ステップＳ６０を経た後のステップＳ１１０においては、制御部１１０は、特定したフリックの方向と奥行き制御量とに応じて、画像に対する視点位置を変更する。

また、制御部１１０は、ステップＳ４０においてユーザの操作をドラッグ＆ドロップであると判定すると（ステップＳ４０；ＮＯ）、制御部１１０は、ドラッグの方向を特定すると共に、ドラッグの始点と終点を特定する（ステップＳ７０）。次に、制御部１１０は、アイコンの指定があるか否か、つまりドラッグの始点がいずれかのアイコンの表示領域内であるか否かを判定する（ステップＳ８０）。ここで、アイコンの指定がある場合（ステップＳ８０；ＹＥＳ）、制御部１１０は、特定したドラッグの方向と、ドラッグの始点及び終点とに基づいて、指定されたアイコンの表示位置及び、その指定されたアイコンの表示位置の変更に伴って変更される他のアイコンの表示位置を特定する（ステップＳ９０）。そして制御部１１０は、タッチスクリーン１１Ｄに表示される画像の表示態様を変更する（ステップＳ１１０）。すなわち、ステップＳ９０を経た後のステップＳ１１０においては、制御部１１０は、特定したドラッグの方向とドラッグの始点及び終点とに応じて、画像の奥行き方向におけるアイコンの表示位置を変更する。

一方、ステップＳ８０において、アイコンが指定されていない場合（ステップＳ８０；ＮＯ）、制御部１１０は、特定したドラッグの方向と、ドラッグの始点及び終点とに基づいて、ドラッグの始点と最も近いアイコンを基準とした奥行き制御量を特定する（ステップＳ１００）。そして制御部１１０は、タッチスクリーン１１Ｄに表示される画像の表示態様を変更する（ステップＳ１１０）。すなわち、ステップＳ１００を経た後のステップＳ１１０においては、制御部１１０は、特定したドラッグの方向と、ドラッグの始点及び終点とに基づいて、画像に対する視点位置を変更する。

＜消失点が２つの場合＞
次に、消失点が２つの場合における表示装置１０の動作について説明する。
図７は、消消失点が２つの場合に制御部１１０が実行する処理の手順を示したフローチャートである。消失点が２つの場合であっても、制御部１１０が行う処理の内容は基本的に同じ考え方に沿ったものである。ただし、図７（ａ）のように、第１消失点ＶＰ１と第２消失点ＶＰ２という、２つの消失点がある場合には、ユーザが行ったフリック又はドラッグ＆ドロップが、第１消失点ＶＰ１に対する操作であるのか、又は第２消失点ＶＰ２に対する操作であるのかが判断できない場合がある。具体的には、フリック軌跡（又はドラッグ軌跡）及び第１消失点ＶＰ１から延びる第１消失線の交点における角度θと、フリック軌跡（又はドラッグ軌跡）及び第２消失点ＶＰ２から延びる第２消失線の交点における角度θとが、いずれも閾値以下というような場合である。例えば、矢印Ｅのような方向にフリックした場合には、制御部１１０は、第１消失点ＶＰ１を基準として画像の内容を変更すればよいのか、第２消失点ＶＰ２を基準として画像の内容を変更すればよいのかが判断できない。

そこで、制御部１１０は以下のような判定を行う。制御部１１０は、ユーザによるフリック又はドラッグ＆ドロップの始点のＸＹ座標が、第１消失点又は第２消失点から最も遠い位置にあるアイコンの表示領域内にある場合、その遠い位置にある消失点を基準として画像の内容を変更する。従って、「Ａ」と表記されたアイコンが指定されて、第１消失点ＶＰ１に対する操作であるのか、又は第２消失点ＶＰ２に対する操作であるのかが判断できないような操作があった場合には、制御部１１０は、第１消失点ＶＰ１に対する操作であると判断する。同様に、「△」と表記されたアイコン及び「□」と表記されたアイコンが指定されて、第１消失点ＶＰ１に対する操作であるのか、又は第２消失点ＶＰ２に対する操作であるのかが判断できないような操作があった場合には、制御部１１０は、第２消失点ＶＰ２に対する操作であると判断する。ここで、第１消失点及び第２消失点のいずれからも最も遠い「○」と表記されたアイコンが指定された場合には、いずれか一方の消失点（ここでは第１消失点ＶＰ１）に対して操作されたものであると判断すると予め決められている。そして、ユーザによるフリック又はドラッグ＆ドロップの始点のＸＹ座標が、第１消失点又は第２消失点から最も遠い位置にある以外のアイコンである場合には、第２消失点ＶＰ２に対して操作されたものであると判断すると予め決められている。つまり、「Ｂ」と表記されたアイコン及び「Ｃ」と表記されたアイコンが指定されて、第１消失点ＶＰ１に対する操作であるのか、又は第２消失点ＶＰ２に対する操作であるのかが判断できないような操作があった場合には、制御部１１０は、第２消失点ＶＰ２に対する操作であると判断する。

例えば図７（ｂ）は、ユーザが図７（ａ）において「○」と表記されたアイコンを、矢印Ｄで示されるように、第１消失線及び第２消失線に沿った方向で、且つ第１消失点ＶＰ１に近づく方向にフリックした後の表示内容を表している。このようなフリックが行われた場合、制御部１１０は、第１消失点ＶＰ１から遠ざかる方向に、画像に対する視点位置を変更する。具体的には、図７（ｂ）に示すように、画像に対する視点位置がアイコン１つ分だけ第１消失点ＶＰ１から遠ざかる方向に移動することで、「□」と表記されたアイコンが表示されなくなると共に、「○」及び「△」と表記されたアイコンがそれぞれ１つずつ第１消失点ＶＰ１に近づく方向に移動している。そして、第１消失点ＶＰ１を基準としてさらに手前に仮想的に存在していて表示されていなかった「☆」と表記されたアイコンが最も手前に新たに表示されることとなる。

次に、図７（ｃ）は、ユーザが図７（ａ）において「○」と表記されたアイコンを、矢印Ｅで示されるように、第１消失線及び第２消失線に沿った方向で、且つ第１消失点ＶＰ１に近づく方向にドラッグ＆ドロップした後の表示内容を表している。この場合には、制御部１１０が第１消失点ＶＰ１を基準とした奥行き方向における表示位置を変更した結果、「○」と表記されたアイコンと、「△」と表記されたアイコンとの位置が入れ替わって表示される。

そして、図７（ｄ）は、ユーザが図７（ａ）において「Ｂ」と表記されたアイコンを、矢印Ｆで示されるように、第１消失線及び第２消失線に沿った方向で、且つ第２消失点ＶＰ２から遠ざかる方向にドラッグ＆ドロップした後の表示内容を表している。この場合、制御部１１０が、第２消失点ＶＰ２を基準とした奥行き方向における表示位置を変更した結果、「Ｂ」と表記されたアイコンと、「△」と表記されたアイコンとの位置が入れ替わって表示される。

図８は、消失点が２つの場合のフローチャートである。
ステップＳ１０〜ステップＳ３０までの処理内容は、図６に示した消失点が１つの場合の処理と同一である。ステップＳ３０の次に、制御部１１０は、ユーザのフリック又はドラッグ＆ドロップが第１消失点又は第２消失点のどちらに対するものかが角度θのみに基づいて判別できるか否かを判定する（ステップＳ３１）。例えば、図７（ａ）の矢印Ｇで示される軌跡のように、フリック軌跡又はドラッグ軌跡と第１消失線との交点における角度θが閾値を超え、且つ、上記軌跡と第２消失線との交点における角度θが閾値以下というような場合には、第２消失点に対する操作ということになるから、ステップＳ３１でＹＥＳとなり、制御部１１０は、以下のステップＳ４０〜ステップＳ１１０において、消失点が１つの場合と同一の処理を行う。

一方、制御部１１０が、ユーザの操作を第１消失点及び第２消失点のどちらに対するものかが角度θのみに基づいて判別できなかった場合（ステップＳ３１；ＮＯ）、制御部１１０は、アイコンの指定があるか否か、つまりユーザの操作の始点がいずれかのアイコンの表示領域内であるか否かを判定する（ステップＳ３２）。ここで、例えば図７の矢印Ｈで示される軌跡のように、アイコンの指定がない場合（ステップＳ３２；ＮＯ）、制御部１１０の処理はステップＳ１０に戻る。一方、アイコンの指定がある場合（ステップＳ３２；ＹＥＳ）、制御部１１０は、前述した方法に従い、ユーザの操作の始点と各アイコンの表示位置に基づいて、どちらの消失点に対する操作であるのかを特定する（ステップＳ３３）。すなわち上述したように、以降のステップＳ４０〜ステップＳ１１０においては、消失点が１つの場合と同一の処理を行う。

以上説明した実施形態によれば、表示装置１０はタッチスクリーン１１Ｄに対する操作に応じて消失点を基準とした画像の内容の変更処理を行うので、例えば特許文献１の技術を転用した場合と比べると、ユーザがタッチスクリーンを傾ける必要も無く、ユーザの視認性が悪くなることもない。
また、表示装置１０は、消失点を通る消失線に沿った方向の操作がなされたときにその消失点を基準とした画像の内容の変更処理を行うので、消失線とは全く異なる方向の操作がなされたときに消失点を基準とした画像の内容の変更処理を行うというようなケースと比較すると、ユーザの操作方向の基準と画像の変更内容の基準とが一致しているので、ユーザにとっては自然な感覚で操作することができる。つまり、良好な操作性を実現し得る。
また、表示装置１０は、消失線に沿った方向以外のフリック又はドラッグ＆ドロップ操作を、消失点を基準とした画像内容の変更以外の処理（画像のメール添付や画像拡大等）に割り当てているので、フリック又はドラッグ＆ドロップ操作に複数の意味合いを持たせることが可能となる。これは特に表示装置１０が小型の場合に効果的である。
また、表示装置１０は、消失点が２つあるような場合であっても、いずれか１つの消失点を基準として画像の内容を変更することができる

＜変形例＞
上述した実施形態の内容を以下のように変形してもよい。なお、以下に示す各変形例は、必要に応じて組み合わせて実施されてもよい。

＜変形例１＞
制御部１１０は、ユーザに対して、操作の方向と、その操作を行ったときに変更される画像の内容とを案内する画像をタッチスクリーン１１Ｄに表示させるような、いわゆる操作のアシストを行ってもよい。図９は、ユーザが指２００を用いてタッチスクリーン１１Ｄに触れたときの様子を表している。このように、ユーザが指などでタッチスクリーン１１Ｄに触れると、制御部１１０は、図９に示すような矢印Ａｒ１及び矢印Ａｒ２とともに、当該矢印の示す方向に操作を行った場合の画像の変更内容を表すメッセージを表示する。具体的には、制御部１１０は、タッチスクリーン１１Ｄにおいて触れられたら位置を特定し、その位置を通る消失線を特定する。そして、制御部１１０は、その消失線に沿って奥側を指し示す矢印Ａｒ１の画像を表示するとともに、ユーザの判断を支援するような、視点が「手前へ移動」というメッセージを表示する。また、制御部１１０は、その消失線に沿って手前側を指し示す矢印Ａｒ２の画像を表示するとともに、ユーザの判断を支援するような、視点が「奥へ移動」というメッセージを表示する。このように、ユーザの判断を支援するようなアシストを行うことで、ユーザの操作性が高まることとなる。

＜変形例２＞
実施形態においては、消失点が予め定められているものとしたが、これに限らず、以下のようにしてもよい。すなわち、消失点が予め定められていない場合、制御部１１０が、タッチスクリーン１１Ｄに表示されている複数の表示画像から少なくとも２つ以上の消失線を求め、これらの消失線が交わる点を消失点として特定してもよい。この消失線を求める際には、例えば以下のようにすればよい。つまり、タッチスクリーン１１Ｄにおいて画像が透視投影的に表示されている状態で、例えば制御部１１０が、最も手前側に表示されている画像の左上隅と、それよりも一つ奥側に表示されている画像の左上隅とを結んだ直線と、最も手前側に表示されている画像の右上隅とそれよりも一つ奥側に表示されている画像の右上隅とを結んだ直線との交点を消失点として特定するようにすればよい。このようにしても、実施形態と同様の効果を得ることが可能となる。

＜変形例３＞
フリック又はドラッグ＆ドロップが消失線に沿ったものであるときに制御部１１０が行う処理は、消失点を基準にして画像の内容を変更する処理であればどのようなものでもよい。例えば、ドラッグ＆ドロップにおいて、始点に表示されているアイコンと、終点に表示されているアイコンとを入れ替えて表示し、それ以外のアイコンの表示位置は変更しないなどのの処理が考えられる。

＜変形例４＞
実施形態では、フリック又はドラッグ＆ドロップという操作の方向が、その操作の始点における操作方向であったが、これに限らない。例えばフリック軌跡やドラッグ軌跡の全域における接線の傾きを平均化し、その平均値をフリックの方向としてもよい。

＜変形例５＞
実施形態では、制御部１１０は、フリック又はドラッグ＆ドロップが消失線に沿ったものであるか否かという判断を、そのフリック又はドラッグ＆ドロップという操作の始点において、フリック軌跡やドラッグ軌跡と消失線とが成す角度に基づいて行っていた。つまり、制御部１１０は、消失線を、フリック又はドラッグ＆ドロップという操作の始点と消失点とを結ぶことで特定していた。消失線の特定の仕方はこれに限らず、制御部１１０は、フリック軌跡やドラッグ軌跡上のいずれかの点と消失点とを結んで消失線を特定し、この消失線とフリック軌跡やドラッグ軌跡とが成す角度に基づいて上記の判断を行ってもよい。ここで、フリック軌跡やドラッグ軌跡上のいずれかの点とは、例えば軌跡の中点とか終点などどのような点でもよい。フリック軌跡やドラッグ軌跡は、ユーザによって指定された点の集合であるから、いずれにしろ、制御部１１０は、ユーザの操作によって指定された点と消失点とを結ぶ消失線を特定していると言える。

＜変形例６＞
実施形態では、操作の内容と処理の内容とを対応付けた処理テーブル１２１が記憶部１２０に記憶されていたが、表示装置１１０は、このような処理テーブル１２１を記憶するのではなく、操作の内容（つまりフリック速度）に対する処理の内容（つまり消失点を基準とした画像内容の変更）を一意に決定するような計算式を記憶部１２０に記憶したり或いは図示せぬ通信手段による通信を用いて取得するようにしてもよい。

＜変形例７＞
本発明は、タッチスクリーン等を有するコンピュータに本発明を実現させるためのプログラムや、かかるプログラムを記憶させた光ディスク等の記録媒体としても特定され得る。本発明に係るプログラムは、インターネット等のネットワークを介して、表示装置にダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供され得る。

１０…表示装置、１１Ｄ…タッチスクリーン、１１０…制御部、１２０…記憶部、１２１…処理テーブル、１３０…表示部、１３１…表示面、１４０…操作部、１４１Ａ〜１４１Ｃ…操作子、１４１Ｄ…タッチセンサ、Ｄ１…ドラッグ軌跡、Ｆ１…フリック軌跡、ＶＬ１〜ＶＬ６…消失線、ＶＰ，ＶＰ１，ＶＰ２…消失点

Claims (10)

1. 画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段と、
   透視投影図法で表現された透視投影画像を前記表示面に表示させる表示制御手段と、
   前記表示面に表示された前記透視投影画像において、前記ユーザの操作によって指定された点と透視投影図法における消失点とを結ぶ消失線を特定する特定手段とを備え、
   前記表示制御手段は、特定された前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記消失点を基準にして前記透視投影画像の内容を変更する
   ことを特徴とする表示装置。
2. 前記表示制御手段は、
   複数の画像オブジェクトを含む前記透視投影画像を前記表示面に表示させ、
   前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更する
   ことを特徴とする請求項１記載の表示装置。
3. 前記表示制御手段は、前記消失線に沿った方向のフリック操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更する
   ことを特徴とする請求項２記載の表示装置。
4. 前記表示制御手段は、前記消失線に沿った方向の操作であって、前記複数の画像オブジェクトのいずれをも指定しないドラッグアンドドロップ操作が前記操作手段によって受け付けられると、透視投影図法における視点の位置が、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変わるように、各々の前記画像オブジェクトの表示位置を変更する
   ことを特徴とする請求項２又は３に記載の表示装置。
5. 前記表示制御手段は、
   複数の画像オブジェクトを含む前記透視投影画像を前記表示面に表示させ、
   前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記複数の画像オブジェクトのいずれかの表示位置を、前記透視投影画像において前記消失点に近づく奥行き方向又はその逆方向に変更する
   ことを特徴とする請求項１記載の表示装置。
6. 前記表示制御手段は、前記消失線に沿った方向の操作であって、前記複数の画像オブジェクトのいずれかを指定したドラッグアンドドロップ操作が前記操作手段によって受け付けられると、指定された当該画像オブジェクトの表示位置を前記ドラッグアンドドロップ操作により指定された量だけ前記奥行き方向又はその逆方向に沿って変更する
   ことを特徴とする請求項５記載の表示装置。
7. 前記表示制御手段は、
   ２つの消失点を含む前記透視投影画像を前記表示面に表示させ、
   前記操作手段によって受け付けられた操作が、各々の前記消失点を基準にして前記特定手段によって特定された２つの消失線のいずれにも沿った方向の操作である場合、
   前記操作に応じて前記複数の画像オブジェクトの表示位置を変更するときに基準とする消失点を特定し、特定した消失点を基準にして前記透視投影画像の内容を変更する
   ことを特徴とする請求項１〜６のいずれか１項に記載の表示装置。
8. 前記表示制御手段は、ユーザに対して、操作の方向と、当該操作を行ったときに変更される前記透視投影画像の内容とを案内する画像を前記表示面に表示させる
   ことを特徴とする請求項１〜７のいずれか１項に記載の表示装置。
9. 画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段を有する表示装置の制御方法であって、
   透視投影図法で表現された透視投影画像が前記表示面に表示されているときに前記操作手段によってユーザの操作が受け付けられた場合に、前記操作の方向が、当該操作によって指定された点と透視投影図法における消失点とを結ぶ消失線に沿った方向であれば、前記消失点を基準にして前記透視投影画像の内容を変更して前記表示面に表示させる工程を備えることを特徴とする制御方法。
10. 画像を表示する表示面に重ねられ当該画像を透過してユーザに視認させるとともに、前記ユーザの操作を受け付ける操作手段を有するコンピュータを、
    透視投影図法で表現された透視投影画像を前記表示面に表示させる表示制御手段と、
    前記表示面に表示された前記透視投影画像において、前記ユーザの操作によって指定された点と透視投影図法における消失点とを結ぶ消失線を特定する特定手段として機能させ、
    前記表示制御手段が、特定された前記消失線に沿った方向の操作が前記操作手段によって受け付けられると、前記消失点を基準にして前記透視投影画像の内容を変更させるプログラム。

Images